CN102143371A - 图像处理装置、三维显示装置和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置、三维显示装置和图像处理方法，其中，图像处理装置包括取得单元、设置单元、变换单元和生成单元，所述取得单元取得具有视差的多个图像的每个像素的视差值；所述设置单元在所述视差值的范围内设置至少一个基准范围；所述变换单元对每个像素的视差值实施变换，从而不改变属于所述基准范围的视差值，而改变不属于所述基准范围的视差值，并且不改变像素的视差值之间的大小关系；所述生成单元根据进行实施了变换后的视差值，从所述图像生成视差图像。

Description

图像处理装置、三维显示装置和图像处理方法

本申请基于并要求2010年1月28日提交的在先日本专利申请2010-016227号和2011年1月25日提交的在先日本专利申请2011-012646号的优先权，这两个申请的全部内容通过引用结合在本申请中。

技术领域

这里所述的实施方式一般地涉及一种能够调节图像之间的视差值的图像处理装置、三维显示装置和图像处理方法。

背景技术

三维图像利用各种方法生成，例如：(1)使通过排列多个图像拍摄设备而形成的三维摄像机拍摄多个视点的图像；或(2)根据从一个或多个图像推定的深度来生成多个视点的图像。在很多情况下，已经生成的多个视点的图像被输入用于显示三维图像的装置。因此，对于所显示的三维图像，不同视点的图像之间的每个像素的视差的大小(以下称为视差值)多数情况下具有在生成时固定的预定值。

另一方面，三维图像有时在尺寸不同于在生成时设想的尺寸的显示屏上再现。此时，在所再现的三维图像中，用户可能会有不协调的感觉。另外，例如用户可能有根据自己的眼睛疲劳状态调节视差值来降低疲劳的要求。因此根据需要来调节视差值的技术是很重要的。

作为调节视差值的方法，公开了根据显示屏的尺寸、用户与显示屏之间的距离等得到偏移量，并且将用于一只眼睛的图像在视差产生的方向上平移该偏移量(例如日本专利No.3978392)。即，该技术能够通过将整个图像平移预定的量而针对用户增加或减小深度。因此，如果在图像部分中存在字幕，则会发生字符大小改变等现象，导致用户感觉到不协调。

发明内容

这里所述的实施方式的目的是调节图像之间的视差值。

根据一个实施方式，一种图像处理装置包括：取得单元，取得具有视差的多个图像的每个像素的视差值；设置单元，在所述视差值的范围内设置至少一个基准范围；变换单元，对每个像素的视差值实施变换，从而不改变属于所述基准范围的视差值，而改变不属于所述基准范围的视差值，并且不改变像素的视差值之间的大小关系；以及生成单元，根据实施了变换后的视差值，从所述图像生成视差图像。

根据一个实施方式，一种三维显示装置包括：上述的图像处理装置；和显示所述视差图像的显示单元。

根据一个实施方式，一种图像处理方法包括：取得具有视差的多个图像的每个像素的视差值；在所述视差值的范围内设置至少一个基准范围；对每个像素的视差值实施变换，从而不改变属于所述基准范围的视差值，而改变不属于所述基准范围的视差值，并且不改变像素的视差值之间的大小关系；以及根据实施了变换后的视差值，从所述图像生成视差图像。

根据一个实施方式，能够调节图像之间的视差值。

附图说明

图1是示出第一实施方式所涉及的三维显示装置的框图。

图2是用于说明深度与视差值之间的关系的图。

图3是用于说明深度与视差值之间的关系的图。

图4是用于说明像素位置的图。

图5A是示出输入图像与深度值之间的关系的图。

图5B是示出输入图像与深度值之间的关系的图。

图6是示出视差值变换函数的例子的图。

图7是用于说明视差图像生成方法的图。

图8是示出第二实施方式所涉及的三维显示装置的框图。

图9是用于说明深度与视差值之间的关系的图。

具体实施方式

以下对实施方式进行说明。根据一个实施方式，一种图像处理装置包括取得单元、设置单元、变换单元和生成单元，所述取得单元取得具有视差的多个图像的每个像素的视差值；所述设置单元在所述视差值的范围内设置至少一个基准范围；所述变换单元对每个像素的视差值实施变换，从而不改变属于所述基准范围的视差值，而改变不属于所述基准范围的视差值，并且不改变像素的视差值之间的大小关系；所述生成单元根据实施了变换后的视差值，从所述图像生成视差图像。

注意，相同的附图标记指示执行相同操作的部件或处理，并省略对其的重复说明。

(第一实施方式)

本实施方式的三维显示装置可以采用诸如眼镜方式或裸眼方式等能够进行三维显示的各种方式中的任意一种。在下述实施方式中，将对通过使用眼镜的时分方式显示三维图像的两眼显示进行说明。时分方式的例子是液晶快门眼镜方式、偏振滤波眼镜方式和RGB波带分割滤波眼镜方式。在本实施方式中，将对利用液晶快门眼镜方式的眼镜的时分方式进行说明。时分方式可以是场序列或帧序列。在本实施方式中，将对帧序列时分方式进行说明。

图1是示出本实施方式所涉及的三维显示装置的框图。本实施方式的三维显示装置包括：图像处理装置10，调节输入图像的视差值；和显示单元106，显示由图像处理装置10进行了视差值调节的三维图像。显示单元106交替地显示具有视差的左眼图像和右眼图像。专用的眼镜将显示图像分离成左眼图像和右眼图像。具有视差的图像针对用户的左眼和右眼分开地显示，从而利用两眼视差实现三维视觉。本实施方式的三维显示装置的组成部件将后述。

首先参照图2和图3对视差值与深度之间的关系进行说明。深度值Za(＝|Za→|)的轴设置在垂直于显示屏的方向(显示屏的深度方向)上。因此，深度值Za由一维标量表示。视差典型地设置在水平方向上。但是，取决于例如观看环境等因素，视差也可能设置在其它方向(例如垂直方向)上。例如，当用户躺着时，连接用户的眼睛的线(以下称为眼线)不是平行于水平方向，而是平行于垂直或倾斜方向。因此，设想将视差在平行于眼线的轴上移动。由于如上所述可以在任意方向上设置视差，因此在以下说明中将视差表达为向量。在以下说明中，假定视差被设置在水平方向(x轴方向)上。

图2示意性地示出深度值与视差值之间的关系。图2是示出用户观看显示单元106的显示屏时的要素的位置关系的鸟瞰图。深度值设置在z轴上，z＝0对应于显示屏的位置。x轴平行于显示屏(线DE)。在这个例子中，x轴还平行于用户的眼线(线段BC)。点B指示用户左眼的位置。点C指示用户右眼的位置。线段BC的长度(即，用户的两眼之间的距离)由b(＝|b→|)表示。Zs(＝|Zs→|)是用户与显示屏之间的距离。Za是物体的深度值。

点A表示用户感知物体的虚拟位置。点A与显示屏的距离为深度值Za。点D指示针对左眼图像而实际显示在显示屏上的物体的位置。点E指示针对右眼图像而实际显示在显示屏上的物体的位置。即，线段DE的长度表示视差值。视差向量是从点D到点E的向量。在以下说明中，视差向量表示为“d→”。视差值是视差向量d→的大小(绝对值)|d→|。

图3示意性地示出当物体的虚拟位置设置在显示屏的近侧时深度值与视差值之间的关系。图3中的符号与图2中的相同，不对其进行重复说明。将图3与图2进行比较可知，点D和E在x轴上的位置关系相反(即，视差向量d→的方向相反)。

在图2中，考虑到三角形ABC与ADE相似，(|Za→+Zs→|)：|Za→|＝b：|d→|成立。即：

$\left|d\right|=b\frac{\left|Z_a\right|}{\left|Z_a\right|+Z_s}---\left(1\right)$

关于视差值|d→|成立。

另外，考虑到图2中x轴和z轴的定义，

$d=(b\frac{Z_a}{Z_a+Z_s},0)---\left(2\right)$

关于视差向量d→成立。

更具体地说，深度值Za与视差向量d→可以相互变换。在以下说明中，与视差向量有关的说明可以根据需要解释成与深度值有关的说明，反之亦然。

在图4中，图像的每个像素位置由圆圈来表示，并且示出水平轴和垂直轴。每个像素位置由坐标来定义，而坐标由水平轴上的整数位置和垂直轴上的整数位置表示。在以下说明中，除非特别声明，除了视差向量以外的所有向量的起点都在(0，0)处。

对图1进行详细说明。参照图1，图像处理装置10包括处理单元100、视差值取得单元101、基准范围设置单元102、函数设置单元103、变换单元104和视差图像生成单元105。

处理单元100从外部接收第一输入图像(例如用于左眼的三维图像信号)和第二输入图像(例如用于右眼的三维图像信号)，第二输入图像是与第一输入图像的视点不同的视点的图像。可以使用各种方法来提供输入图像。例如，可以从调谐器取得具有视差的多个图像，或者通过读取存储在光盘上的信息来取得具有视差的多个图像。可替代地，可以从外部向处理单元100供给一个二维图像。这种情况下，处理单元100从这一个二维图像推定深度值，从而生成具有视差的多个图像。

视差值取得单元101取得具有视差的多个图像之间的每个像素的视差值。例如，视差值取得单元101推定每个像素的视差值，将所推定的视差值输入到基准范围设置单元102和变换单元104。可以使用各种方法来取得视差值。例如，可以应用立体匹配方法来计算第一输入图像与第二输入图像之间的每个像素的视差值。可替代地，如果处理单元100通过从一个二维图像推定深度值而生成具有视差的多个图像，则可以从生成多个图像时推定的深度值来得到视差值。

图5A和5B示出输入图像与深度值之间的关系。在图5A中，图中左侧的二维图像的像素的深度值越小，对应的像素在图中的右侧就越黑地示出。图像中的任意像素的位置向量可以表示为i→。位置向量i→的像素的深度值可以用z(i)表示，而视差向量可以用d(i)→表示。设ia→为图5B中的左视差图像(即左眼图像)的任意位置A的位置向量。与A点对应的右视差图像(即右眼图像)中的点B例如可以通过块匹配而导出。设对应的点B的位置向量为ib→。这种情况下，视差向量d(ia)→等于(ib→-ia→)。同样可以得到左视差图像中的每个像素的深度值。注意，在本实施方式中，将左视差图像中的每个像素定义为视差向量的起点。但是，当然也可以将右视差图像中的每个像素定义为视差向量的起点。这种情况下，尽管视差向量的符号相反，但可以得到同样的效果。对于三个或更多个视差图像同样可以将任意图像中的每个像素设置为视差向量的起点。

基准范围设置单元102在深度值的范围内设置一个或更多个基准范围R。所设置的基准范围R被发送到函数设置单元103。可以通过各种方法来设置基准范围R。例如，用户可以使用键盘或远程控制器(未示出)来设置基准范围R。例如，可以在显示单元106上显示接受用户进行的基准范围R的设置输入的UI画面，根据来自用户使用的键盘或远程控制器的指定，设置基准范围R。

UI画面例如可以是设置“弱/中/强”这样的立体感的强度的设置画面。这种情况下，用户使用键盘或远程控制器等，从设置画面中选择“弱/中/强”中的任意一个，由此分别设置基准范围R。例如，通过选择“强”，与选择了“弱”的情况相比，可以使基准范围R变窄。

另外，UI画面例如可以是能够从某个范围的数值(例如0～100)中设置一个数值的“条(bar)”。这种情况下，用户使用键盘或远程控制器等，在条中选择设置一个数值，由此来设置基准范围R。

另外，图像处理装置10还可以具有测量从显示单元106到用户的距离的测量单元(未图示)，基准范围设置单元102根据该距离来设置基准范围R。例如，可以是随着该距离变长，基准范围R变窄。另外，也可以是随着该距离变短，基准范围R变宽。

这样，可以根据用户操作直接或间接地调整基准范围R。

基准范围R指示深度轴z上的一个点或具有预定宽度的范围。例如，基准范围R可以通过

R＝{z_r|z＝0}    (3)

被设置成z＝0。

可替代地，可以通过

$R=\left\{z_r\right|\left(\underset{i\∈W}{\min }\left(z\left(i\right)\right)\right)\≤z\≤0\}---\left(4\right)$

来设置基准范围R，其中，W是整个图像(一帧或多帧)的像素的位置向量的集合。在公式(4)中，min(z(i→))＜0。在以下说明中，相对于基准范围R的正向的范围由P表示，相对于基准范围R的负向的范围由Q表示。上述设置基准范围R的方法仅仅是一个例子，当然还可以使用任意其它方法。例如，可以生成图像的所有像素的深度值的直方图，并且可以将最高频度的深度值的周围设置为基准范围R。

利用基准范围R，函数设置单元103设置作为得到变换后的视差值z′的函数的视差值变换函数f(z)。视差值变换函数f(z)的一般形式由下式给出：

$f\left(z\right)=\left\{\begin{array}{cc}{f}_p\left(z\right)& z\∈P\\ z& z\∈P\\ f_q\left(z\right)& z\∈Q\end{array}\right.---\left(5\right)$

更具体地说，视差值变换函数f(z)不是针对包括在基准范围R内的深度值，而是针对包括在范围P和Q内的深度值，利用针对这些范围个别设置的函数来进行变换。视差值变换函数f(z)被设置为不使原始三维图像信号中的放置在近侧的物体与放置在远侧的物体之间的深度关系反转。即，视差值变换函数f(z)是单调增加函数。视差值变换函数f(z)由下式给出：

$f\left(z\right)=\left\{\begin{array}{cc}\mathrm{\αz}+m& z\∈P\\ z& z\∈R\\ \mathrm{\βz}+n& z\∈Q\end{array}\right.---\left(6\right)$

在公式(6)中，由于f(z)是单调增加函数，因此α＞0且β＞0。截距m和n被设置成使范围P与范围R连续，并且范围R与范围Q连续。

图6示出基准范围R＝{Zr|zt1≤z≤zt2}时的视差值变换函数f(z)。图6所示的视差值变换函数f(z)是通过在公式(6)中设置0＜α＜1且β＞1而得到的。参照图6，虚线指示z′＝z。图6所示的视差值变换函数f(z)对具有属于范围P的深度值的像素、即显示在显示屏的远侧的像素的视差值进行变换，使得像素被显示得更靠后。另一方面，视差值变换函数f(z)对具有属于范围Q的深度值的像素、即显示在显示屏的近侧的像素的视差值进行变换，使得突出的程度减弱。为了增加突出或深度的程度，将由公式(6)表示的视差值变换函数f(z)的α或β设置成大于1。为了减弱该程度，将α或β设置成小于1。注意，在公式(6)中，f_p(z)和f_q(z)都是线性函数。但是，本实施方式不限于此。只要f(z)是单调增加函数，则f_p(z)和f_q(z)可以用线性函数以外的函数来替换。

可以设置多个基准范围R。对于不重合的两个基准范围R₁和R₂，视差值变换函数f(z)的一般形式由下式给出：

$f\left(z\right)=\left\{\begin{array}{cc}{f}_p\left(z\right)& z\∈P\\ z& z\∈R_1\\ f_q\left(z\right)& z\∈Q\\ z& z\∈R_2\\ f_s\left(z\right)& z\∈S\end{array}\right.---\left(7\right)$

注意，由公式(7)表示的视差值变换函数f(z)也是单调增加函数。即使当设置了三个或更多个基准范围R时，也可以通过相同的方式来设置视差值变换函数f(z)。视差值变换不必总通过函数运算来实现。例如，可以使用预先准备的变换表来变换视差值。

另外，视差值变换函数可以针对将图像分割成两个以上的区域而形成的每个区域来设置。例如，对于从左方来看显示屏的用户而言，显示屏的右侧与显示屏的左侧相比，观看距离远，从该用户看到的视差值小。图9是在图3中增加了从显示屏的左方看的用户的眼睛的位置的图。

对于显示屏的正面的用户而言，用左眼看点D、用右眼看点E的情况下，感觉图像在点A的位置突出。而对于从显示屏的左方看的用户而言，感觉图像在比点A更靠近显示屏的点A′的位置突出。另外，在显示屏的左边位置上，提供基于同一视差向量的视差值的点D′、点E′的突出位置为点A″，感觉在比点A更远离显示屏的位置上。

即，即使是同一视差值，由于用户与显示屏的角度等的不同，突出位置也变化。为了抑制该变化，可以针对通过分割显示屏而形成的每个区域来设置视差值变换函数。

变换单元104利用由函数设置单元103设置的视差值变换函数来变换每个像素的视差值。通过该变换，属于基准范围R的深度值被保持，而不属于基准范围R的深度值被变换成不同值。该变换没有使视差值的大小关系反转。更具体地说，当d1＜d2时，该变换不会导致d′1＞d′2。

视差图像生成单元105根据由变换单元104变换的每个像素的视差值，从输入图像生成视差图像并将该图像输入到显示单元106。

图7是用于说明视差图像生成方法的图。设ia→为左视差图像的点A的位置向量，d(ia)→为通过立体匹配方法得到的视差向量，d′(ia)→为由变换单元104进行了变换从而减小了视差值的视差向量。图7中的(C)示出基于变换前的视差向量d(ia)→的右视差图像。图7中的(D)示出基于变换后的视差向量d′(ia)→的右视差图像。

如上所述，根据本实施方式的三维显示装置，可以灵活地调节视差，从而例如可以保持深度程度并减弱突出程度。由原始的三维图像信号定义的物体的深度位置关系在视差调节之前和之后被保持。从而，根据本实施方式的三维显示装置，可以生成更自然的三维图像信号。

(第二实施方式)

在第一实施方式中，对任意指定深度值(视差值)的基准范围R的例子进行了说明。在第二实施方式中，将对通过从图像中检测特定信号来设置基准范围R的例子进行说明。例如，当输入的三维图像信号包括字幕时，将字幕位置设置在较远侧还是较近侧会改变由用户感知的字符的大小。这给用户不协调的感觉。当人脸的显示位置的视差值改变时，由于相同的原因也会给用户以不协调感。在本实施方式中，将对如下的三维显示装置进行说明，该三维显示装置检测输入的三维图像信号中的、诸如字幕部分或人脸等吸引用户注意的区域(关注区域[ROI：region of interest])，并且将包括关注区域中的深度值的预定范围设置为基准范围R。

图8示出本实施方式的三维显示装置。与图1中的图像处理装置10不同，本实施方式的图像处理装置20还包括关注区域检测单元201。另外，基准范围设置单元202的操作不同。

关注区域检测单元201接收针对输入图像用作视差向量的起点的图像，并且检测该图像中的关注区域。关注区域检测单元201向基准范围设置单元202输入作为所检测的关注区域的一个或多个像素范围Wj(j是自然数)。检测关注区域的方法可以包括通过一般的叠印内容(telop)检测方法来取得显示有叠印内容的像素范围Wj。注意，如果存在多个叠印内容，则像素范围被区分为W1、W2、...。检测关注区域的方法可以包括通过一般的脸部检测方法来取得显示有图像中的人脸的像素范围Wj。注意，如果存在多人，则像素范围被区分为W1、W2、...。

基准范围设置单元202从关注区域检测单元201取得一个或多个像素范围Wj，从视差值取得单元101取得每个像素的视差向量，并且设置基准范围R。所设置的基准范围R被发送给函数设置单元103。

为了根据一个像素范围W1设置基准范围R，基准范围设置单元202在像素范围W1中搜索最大和最小的深度值，从而设置从最小值到最大值的基准范围R。即，由下式给出根据像素范围W1设置的基准范围R₁：

$R_1=\left\{z_1\right|\underset{i\∈W_1}{\min }\left(z\left(i\right)\right)\≤z\≤\underset{i\∈W_1}{\max }\left(z\left(i\right)\right)\}---\left(8\right)$

如果存在多个基准范围，则直接设置每个基准范围，除非它们完全彼此重合。另一方面，如果一些基准范围重合，则将重合的基准范围相结合而设置为一个基准范围。

如上所述，根据第二实施方式的三维显示装置，针对不希望由于视差值调节而在三维图像中导致变形的区域不执行视差值变换。因此，根据该三维显示装置，能够输出更自然的三维图像信号。

以上说明了特定的实施方式，但这些实施方式仅以例子的方式提出，而并不用于限制本发明的范围。实际上，这里所述的新颖的方法和系统能够以各种其它形式具体实施，而且，在不脱离本发明的精神的情况下，可以对这里所说明的方法和系统的形式进行各种省略、替换和改变。所附的权利要求及其等同方案意在覆盖落入本发明的范围和精神内的上述形式或变形。

Claims (8)

1.一种图像处理装置，包括：

取得单元，取得具有视差的多个图像的每个像素的视差值；

设置单元，在所述视差值的范围内设置至少一个基准范围；

变换单元，对每个像素的视差值实施变换，从而不改变属于所述基准范围的视差值，而改变不属于所述基准范围的视差值，并且不改变像素的视差值之间的大小关系；以及

生成单元，根据实施了变换后的视差值，从所述图像生成视差图像。

2.如权利要求1所述的图像处理装置，还包括：

检测单元，检测图像中的关注区域ROI；

其中，所述设置单元将与所述ROI对应的视差值的范围设置为所述基准范围。

3.如权利要求2所述的图像处理装置，其中，

所述检测单元检测所述图像中的显示有叠印内容的区域作为所述ROI。

4.如权利要求2所述的图像处理装置，其中，

所述检测单元检测所述图像中的显示有人脸的区域作为所述ROI。

5.如权利要求2所述的图像处理装置，其中，

所述设置单元将包括视差值等于0的范围设置为基准范围。

6.如权利要求1所述的图像处理装置，其中，

所述设置单元利用每个像素的深度值来设置所述基准范围。

7.一种三维显示装置，包括：

如权利要求1所述的图像处理装置；和

显示所述视差图像的显示单元。

8.一种图像处理方法，包括：

取得具有视差的多个图像的每个像素的视差值；

在所述视差值的范围内设置至少一个基准范围；

对每个像素的视差值实施变换，从而不改变属于所述基准范围的视差值，而改变不属于所述基准范围的视差值，并且不改变像素的视差值之间的大小关系；以及

根据实施了变换后的视差值，从所述图像生成视差图像。

Images