CN102326394B - 图像处理方法以及装置 - Google Patents

Abstract

一种从2维运动图像生成用于立体显示的视差图像的图像处理方法，具有：根据2维运动图像的任意时刻的第1图像、和与第1图像不同时刻的第2图像，针对第1图像的每个块检测与第2图像之间的运动向量的步骤；从运动向量中检测进深成为最深侧的部分的最深向量的步骤；求各运动向量与最深向量的差分向量，越是与差分向量大的运动向量对应的第1图像的块，越分配跟前侧的进深的步骤；以及根据第1图像和上述进深生成1张以上的视差图像的步骤。

Description

图像处理方法以及装置

技术领域

本发明涉及从2维图像生成用于立体显示的视差图像的图像处理方法以及装置。

背景技术

已知有通过进行显示以便用左眼、右眼来视觉观察每一个有视差的图像，从而识别立体图像的立体显示技术。根据三角测量的要领，如果用右眼看用左眼看时的像，则位置会偏离若干。通过三角测量的要领掌握该偏差，从而判定该物体是在跟前还是在深处。即，为了实现立体显示，需要在图像间有两眼视差的3维图像。

近年来，正在开发对于一般的电视广播那样原本不包含3维信息的2维图像也生成能够进行3维显示那样的影像的技术。在从2维图像生成3维图像时，表示从左眼看物体时和从右眼看物体时偏差多少的视差成为非常重要的因素。因为用一台照相机拍摄被拍摄体时进深的信息损失，所以如何求出进深就成为从2维图像向3维图像变换的问题。例如，专利文献1提供了如下所述的方法：检测从2维运动图像的基准帧向其它帧的运动向量，根据运动向量的水平分量决定帧延迟量，根据运动向量的垂直分量决定线延迟量，从帧和/或线延迟量生成与基准帧对应的视差图像，并根据运动立体原理对其进行立体观察。但在该方法中，虽然能够修正画面整体的上下运动而生成正确的视差图像，但当在画面内包含有局部运动的物体的情况下，物体晃动而不能生成正确的视差图像。

另外，在专利文献2中提供了如下的方法：检测运动向量和背景区域，从背景区域的运动向量计算背景向量，通过从全部运动向量中减去背景向量而计算出相对向量，并以相对向量越大越配置在跟前的方式生成视差图像。但是，在这种方法中，根据背景区域的检测结果，有时变成存在于深处的物体被配置在跟前那样的异样感的视差图像。

专利文献1：日本特开平7-264631号公报

专利文献2：日本特开2000-261828号公报

发明内容

本发明的目的在于：在输入了2维运动图像时，生成能够立体观察的1张以上的视差图像。另外，其目的还在于：在用立体眼镜立体观察2维运动图像那样用途的情况下生成左右2张视差图像。

本发明的一方式提供一种从2维运动图像生成用于3维显示的视差图像的图像处理方法，该图像处理方法具有：根据2维运动图像的任意时刻的第1图像、和与上述第1图像不同时刻的第2图像，针对上述第1图像的每个块检测与第2图像之间的运动向量的步骤；从上述运动向量中检测进深为深处侧的部分的最深向量的步骤；求各运动向量与上述最深向量的差分向量，越是与上述差分向量大的上述运动向量对应的上述第1图像的块，越分配跟前侧的进深的步骤；根据上述第1图像和上述进深生成1张以上的视差图像的步骤。

附图说明

图1是本发明的第1种实施方式的、从2维图像生成用于立体显示的视差图像的图像处理装置的框图。

图2是表示本发明的第1实施方式的图像处理方法的流程图。

图3是用于说明运动立体的原理的图。

图4是用于说明运动晃动的情况的图。

图5是用于说明从视差向量向进深的变换模式的图。

图6是用于说明图像的物体冲突的图。

图7是表示最深向量检测方法的流程图。

图8是用于说明进深变换模式的图。

图9是用于说明视差图像生成的图。

符号说明

21：帧存储器

22：运动向量检测器

23：分组(clustering)装置

24：最深向量检测器

25：进深计算器

26：视差向量计算器

27：视差图像生成器

具体实施方式

以下，详细说明本发明的实施方式。

[第1实施方式]

参照图1的框图说明第1实施方式的、从2维图像生成用于立体显示的视差图像的图像处理装置。

根据图1所示的图像处理装置，帧存储器11以帧单位存储来自视频照相机、视频再现机等视频装置的输入运动图像。该帧存储器11与运动向量检测器21连接。运动向量检测器21通过块匹配等公知的方法从输入运动图像和存储在帧存储器11中的图像检测运动向量。运动向量检测器21的输出与分组装置23连接。分组装置23将图像(帧)分割成多个区域(组)。分组装置23的输出与最深向量检测器24连接，该最深向量检测器24根据组检测最深的物体的向量，即最深向量。具体地说，根据组检测深处的物体和跟前的物体的重合，将重叠最多的组确定为最深，将该组的向量作为最深向量检测出来。最深向量检测器24的输出与进深计算器25连接，该进深计算器25从最深向量计算进深。具体地说，从最深向量和最跟前的物体的向量、即最跟前向量计算直到最深物体的进深。进深计算器25的输出与视差向量计算器26连接，该视差计算器26根据进深信息计算视差向量。视差向量计算器26的输出与视差图像生成器27连接。该视差图像生成器27通过以后说明的方法从视差向量制成用右眼看的影像和用左眼看的影像。

在参照图2的流程图说明图1的图像处理装置的作用之前，说明从2维图像变换到3维图像的机理。

从2维图像生成3维图像的根据是利用图3所示那样的运动立体的原理。即如果考虑1台照相机一边从左向右移动一边拍摄的状况，则可以考虑t1时刻的影像酷似能够用左眼看到的图像，t2时刻的影像酷似能够用右眼看到的图像。通过用右眼以及左眼看这样的移动照相机的影像，立体观察成为可能。像这样地将来自移动照相机的运动图像分别作为左视差图像以及右视差图像利用的技术就是运动立体。但如图4所示，如果在画面内有和照相机的运动独立地运动着的物体，则不同时刻的影像进入到右眼和左眼，手和脚晃动而不能正确地立体观察物体。

因此，在本实施方式中，求从输入的运动图像的基准帧向其它时刻的帧的运动向量，将运动向量看做视差向量并从视差向量计算进深图，从计算出的进深图再次计算视差向量，根据视差向量从基准帧生成2张视差图像(但并不限于2张)。通过这样做，因为能够从1张(1时刻)基准帧生成同时刻的视差图像，所以能够解决前面所述的手脚晃动的问题。

已知在将运动向量的水平分量作为视差向量时，从视差向量向进深的变换是根据人的左右眼和向对象物体的几何学关系而按照图5的模式进行的。因为左右眼配置在水平方向上，所以视差基本上在左右水平地发生。根据该模式能够从运动再现自然的进深。但是因为只能利用运动的水平分量，所以限于具有水平方向的运动的影像。

在本实施方式不是检测背景向量，而是采用从运动图像的运动跟踪进深的方法。即，检测应该配置在最深的区域的运动向量(最深向量)，将与最深向量的差分向量越大的物体越配置在跟前。最深向量从运动向量的重叠关系检测出来。由此，就能够根据运动向量的差，将物体从最深的区域依次配置到跟前。

以下，参照图2的流程图说明图1的图像处理装置的作用。

设在输入2维运动图像的时刻t帧的位置x，y的像素值是l_t(x，y)，时刻t-1帧的位置x，y的像素值是l_t-1(x，y)，时刻t+1帧的位置x，y的像素值是l_t+1(x，y)。

<运动向量检测步骤S11>

在运动向量检测步骤S11中，运动向量检测器22检测从t帧到t-1帧的运动向量。在运动向量的检测中可以使用各种方法，但在此讲述使用了块匹配的方法。但是并不限于此。块匹配是将t帧分割为矩形块的部分，从t-1帧上检索与每个块对应的块的方法。设块的大小为M₁，M₂，块的位置为i，j。作为用于求运动的误差函数，能够使用平均绝对值差分(Mean Absolute Difference：MAD)等。

[数学式1]

$\mathrm{MAD}(i,j,t,t-1,u_x,u_y)=$

$\frac{1}{M_1{M}_2}\underset{0\&le;x<M_1,0\&le;y<M_2}{\mathrm{\&Sigma;}}|I_t(M_{1}i+x,M_{2}j+y)-I_{t-1}(M_{1}i+x+u_x,M_{2}j+y+u_y)|---\left(1\right)$

在此u＝(u_x，u_y)^T是想评价的运动向量(T表示转置)。另外也可以使用均方误差(Mean Squared Error)。如果将检索范围设为从-W到W的矩阵区域，则求i，j位置的运动向量u(i，j)的块匹配算法如下。

[数学式2]

$u(i,j)=\underset{-W\&le;u_x\&le;W,-W\&le;u_y\&le;W}{\arg \min }\mathrm{MAD}(i,j,t,t-1,u_x,u_y)---\left(2\right)$

在此，

表示找到将误差函数E设为最小的u_x，u_y。

另外，块内的运动向量设为和块的运动向量相同。

[数学式3]

u(x，y)：＝u(i，j)             ......(3)

另外，即使在此不检测运动向量，也可以使用例如为了MPEG2那样的运动图像编码中的压缩而使用的运动向量，能够使用通过译码器译码后的运动向量。

<分组步骤S12>

在分组步骤S12中，分组装置23对运动向量的方向以及大小接近的对象彼此进行分类。作为分组方法能够使用K-means法等，但并不限于此。以下对采用K-means法的处理的概要进行阐述。

在K-means法中，将运动向量的方向以及大小接近的对象彼此分为称为组的K个区域。用下式(4)来表现x，y位置的运动向量属于哪个组。

[数学式4]

l(x，y)∈{0，1，...，K-1}                    (4)

在l(x，y)＝3的情况下，x，y位置的运动向量表示属于第3组。

[K-means法算法]

步骤1：用随机等适当的方法分配初始标记l⁽⁰⁾(x，y)。

步骤2：求全组的第N迭代的组内平均向量

步骤3：对于各运动向量，在全部组内选择组内平均向量和运动向量的差(差分向量)最小的组，并用该组号码更新标记。

步骤4：直到预先规定的迭代为止重复步骤2、3。

通过以上步骤能够将运动向量分类为K个组，计算K个组内平均向量。

<最深向量检测步骤S13>

在最深向量检测步骤S13中，最深向量检测器24从检测到的组内平均向量中选择应该配置在最深侧的运动向量。最深侧的区域在物体间的重叠中可以称为被其他物体覆盖的概率最高的区域。因此，根据运动向量的重合判断这样的区域。

图6表示物体在背景上移动的状态的剖面图。在此，将用虚线包围的区域定义为运动向量彼此碰撞的区域“冲突(conflict)”。该冲突表示运动向量的重合。尝试关注发生冲突的下式(5)的2个向量。

[数学式5]

u(x₁，y₁)

u(x₂，y₂)                                (5)

因为来到跟前的一方的运动向量始终表现在画面上，所以其像素差值比成为深处的运动向量小。因此，能够根据下式的绝对值像素差决定发生冲突的2个向量的前后关系。

[数学式6]

δ₁＝|I_t-1(x₁+u_x(x₁，y₁)，y₁+u_y(x₁，y₁))-I_t(x₁，y₁)|

(6)

δ₂＝|I_t-1(x₂+u_x(x₂，y₂)，y₂+u_y(x₂，y₂))-I_t(x₂，y₂)|

即，2个向量的前后关系如下式所示。

[数学式7]

在δ₁≤δ₂的情况下：u(x₁，y₁)来到上面

在δ₁＞δ₂的情况下：u(x₂，y₂)来到上面            (7)

此时因为能够通过标记l(x1，y1)以及l(x2，y2)来判别u(x₁，y₁)和u(x₂，y₂)所属的组，所以从由此得到的运动向量的冲突可知组之间的前后关系。在画面整体上进行该判定，决定成为最深侧的组。

参照图7的流程图说明最深向量检测器24的作用。

首先，检测运动向量的冲突(步骤S21)。判定检测到的发生了冲突的向量的前后关系(S22)。更新对应的组的前后关系(S23)。判断是否已处理了画面全体(S24)。如果该判断为“是”，则选择来到最深侧的组(S25)，并结束处理。如果步骤S24的判定为“否”，则处理返回步骤S21。

<进深计算步骤S14>

设组的平均运动向量为最深向量u_deep。在进深计算步骤S14中，进深计算器25根据运动向量和最深向量计算进深值。如图5所示，利用连结右眼、左眼以及物体的三角形，和画面上的由右视差、左视差以及物体所规定的三角形这两个三角形的相似性，从视差向量计算进深值。在此，设图5所示的各参数定义如下。

进深：z

视差向量：d[cm]

眼间距离：b[cm]

到画面的距离：z_s[cm]

跳出距离：z₀[cm]

进深的最大值：z_max

在实际空间上的进深尺寸：L_z[cm]

在此，b、z_s、z₀、L_z设定为任意的值。视差可以从运动向量和最深向量通过下式(8)计算。

[数学式8]

d＝||u(x，y)-u_deep||                                   (8)

在此，注||·||是计算向量的l2规格(长度)的运算符。其中，单位为像素，根据下式(9)进行从像素尺寸向[cm]的变换。

[数学式9]

进深值z是0～255的范围(也可以是0-1)。设0表示跟前，255表示深处。但是该值只不过是假想值，需要换算为实际的距离。使用在实际空间中的进深尺寸L_z按照下式(10)进行变换。

[数学10]

从进深向实际空间的变换： $\mathrm{\&gamma;}=\frac{L_z}{z_{\max }}\left[\mathrm{cm}\right]---\left(10\right)$

在此，z_max＝255。于是用下式(11)求得从画面到对象物的距离。

[数学式11]

z′＝γz-z0                             (11)

根据三角形的相似性，用下式(12)表示视差、进深变换模式。

[数学式12]

d∶b＝(z′)∶(z_s+z′)

d(z_s+z′)＝bz′

$z=\frac{(b-d)z_0+{\mathrm{dz}}_s}{\mathrm{\&gamma;}(b-d)}---\left(12\right)$

针对每个像素通过上述进深变换模式计算进深值。图8表示对用式12计算的结果绘图而制作的曲线。图8的曲线图的纵轴表示视差，横轴表示进深。

根据上述的进深变换模式，越是在右方向上大的运动向量越为深处，越是在左方向上大的运动向量越为跟前。如果使轴反转则相反。

上述进深变换模式虽然是和视差向量反比例关系中的模式，但进深变换模式例如也可以是用局部的比例关系近似了反比例关系的函数的模式。

到画面的距离z_s是与计算的进深值直接有关的值，也可以以计算出的进深值的直方图尽可能宽阔的方式决定到画面的距离z_s。

<视差向量计算步骤S15>

一旦计算出了进深值，则能够根据任意的参数生成视差图像。视差向量计算器26根据进深值计算成为生成视差图像的源的视差向量。

立体感的参数b、z_s、z₀、L_z能够根据想提供的立体感而任意地决定。例如，根据实际画面的位置决定z_s，当想增大跳出的情况下增大z₀。另外，能够由L_z决定进深的深度。

如果决定了立体感的参数，则能够根据改变了式(2)的变换模式的下式(13)的进深视差向量变换模式，从进深值计算出视差向量。

[数学式13]

d∶b＝(z′)∶(z_s+z′)

$d=b\left(\frac{z^{\&prime;}}{z_s+z^{\&prime;}}\right):$ 单位是[cm]                (13)

<视差图像生成步骤S16>

在视差图像生成步骤S16中，视差图像生成器27根据想生成的视差图像的张数、t帧和视差向量生成视差图像。

[数学式14]

$d_L=-\frac{1}{2}d$

                  (14)

$d_R=\frac{1}{2}d$

如图9所示，设t帧的图像是从左眼和右眼的中间的视点得到的图像时，能够根据如下式(14)所示地将视差向量d乘以了-1/2，1/2的视差向量d_L，d_R来生成左视差图像和右视差图像。

[数学式15]

即，设d_L＝-0.5d，d_R＝0.5d，能够生成左右的视差图像。

左视差图像能够通过使t帧的像素值l_t(x，y)按照d_L移动而生成。右视差图像也一样。因为仅仅单纯移动也有可能空出孔洞，所以只要在孔洞的区域中从周边的视差向量进行间插并填满影像即可。在此，举例了2视差的情况，但在多视差的情况下只要进行同样的处理即可。

如上述那样地生成的左视差图像以及右视差图像交互地高速切换，或者以用左眼看画面的第一线、用右眼看第二线那样的方式一边在时间上或者空间上切换一边作为一个画面显示在显示器上，使得左眼和右眼看到各自的影像。

如上所述地根据本发明，将不同时刻的图像存储在帧存储器中，对画面整体从不同时刻的图像检测运动向量。在具有相同方向的向量彼此间分割、汇总该运动向量。即，分组。通过该分组，从画面内提取多个组，观察这些组的重合，检测出在组中被遮挡最多的组。将被遮挡最多的组的平均运动向量作为最深向量。从该最深向量中减去各组的运动向量并决定为差分向量的大小越大为跟前，如果差分向量小则为深处。这样，在决定了各组、即决定各物体的进深时，关于各物体生成左右的视差图像。

根据本发明，则能够生成能够立体观察几乎没有晃动的图像的视差图像。

在本发明的实施方式中记载的本发明的方法能够通过计算机来执行，另外，还可以作为能够让计算机执行的程序而存储在磁盘(软盘，硬盘等)、光盘(CD-ROM，DVD等)、半导体存储器等记录介质中分发。

Claims (4)

1.一种图像处理方法，从2维运动图像生成用于3维显示的视差图像，具有：

根据2维运动图像的任意时刻的第1图像、和与上述第1图像不同时刻的第2图像，针对上述第1图像的每个块检测与第2图像之间的运动向量的步骤；

从上述运动向量中检测对应该将进深设为最深侧的块求出的最深向量的步骤；

求各运动向量与上述最深向量的差分向量，越是与上述差分向量的大小大的上述运动向量对应的上述第1图像的块，越分配跟前侧的进深，越是与上述差分向量的大小小的上述运动向量对应的上述第1图像的块，越分配深侧的进深的步骤；以及

根据上述第1图像和上述进深生成1张以上的视差图像的步骤。

2.根据权利要求1所述的图像处理方法，其特征在于：

检测上述最深向量的步骤包括：

将上述运动向量分类为1个以上的组，并求上述组内的平均运动向量的步骤；以及

将上述平均运动向量的某一个设定为上述最深向量的步骤。

3.根据权利要求2所述的图像处理方法，其特征在于：

检测上述最深向量的步骤包括：检测上述组间的运动向量的重合，将被覆盖最多的组内的平均运动向量设定为上述最深向量的步骤。

4.一种图像处理装置，从2维运动图像生成用于3维显示的视差图像，包括：

运动向量检测器，根据2维运动图像的任意时刻的第1图像、和与上述第1图像不同时刻的第2图像，针对上述第1图像的每个块检测与第2图像之间的运动向量；

进深向量检测器，从上述运动向量中检测进深成为深侧的部分的最深向量；

视差向量计算器，求各运动向量与上述最深向量的差分向量，越是与上述差分向量的大小大的上述运动向量对应的上述第1图像的块，越分配跟前侧的进深，越是与上述差分向量的大小小的上述运动向量对应的上述第1图像的块，越分配深侧的进深；以及

视差图像生成器，根据上述第1图像和上述进深生成1张以上的视差图像。

Images