CN102194231A - 图像处理方法及装置、图像分析装置 - Google Patents

Abstract

本发明涉及图像处理方法及装置、图像分析装置。一种辨识立体像对的左眼图像和右眼图像的方法，包括步骤：比较这些图像以定位仅在其中一幅图像中可见的遮挡区域；检测图像边缘；和，在图像边缘与遮挡区域的左手边缘对准时辨识为右眼图像，而在更多图像边缘与遮挡区域的右手边缘对准时辨识为左眼图像。

Description

图像处理方法及装置、图像分析装置

技术领域

本发明涉及立体图像分析，而本发明的一个实例涉及检测与校正立体图像中的错误。本发明可应用于立体运动图像。

背景技术

通过令观众的左眼和右眼分视同一场景的不同图像以呈现“三维”图像广为人知。这些图像通常由包括两台相机的“立体”相机摄制，这两台相机分别从水平相隔一段距离的各自观察点观察该场景，该段距离与观众左右眼之间的距离相似。

此项技术业已用于“静止”和“运动”图像。当前，对将高清电视的电子图像获取、处理、存储和分配技术用于立体运动图像抱有浓厚兴趣。

现已提出多种分配立体图像序列的方法，一个实例是针对左眼图像和右眼图像使用独立的图像数据流或物理传输媒体。另一实例是在原本供单幅图像使用的帧或光栅中“并排”显现左眼图像和右眼图像。其他方法还包括将一副图像的像素分为两个交插组，并将一组分派给左眼图像而将另一组分派给右眼图像，举例来说，像素的交错行可用于这两幅图像。

为向观众呈现正确的立体感效应，观众的左眼须看到左侧观察点的图像，反之亦然。若左眼图像和右眼图像互换，使左眼观看到右边的场景视图而右眼观看到左边的视图，则立体感效应不逼真且观众会感觉不适。这与左右声道互换产生真实、同样令人愉悦(但不同)的听觉体验的立体声重现中的可类比情况形成了巨大的反差。

立体图像之传输格式的多样性导致左右眼图像无意间互换的可能性极高。互换所导致的极度糟糕的观看体验，催生了对识别给定图像的“立体像对”中哪幅为左眼图像、哪幅为右眼图像之方法的需求。在本说明书中，“立体极性”一词会用来表示将图像的立体像对分派给立体图像处理或显示系统的两条图像通道。如立体极性正确，则呈现给观众左右眼的将会是营造真实立体感效应的正确图像。

在图像的立体像对中，立体感由特定物体在这一对两幅图像中的显像之间的水平位置之差(即水平视差)来表示。欲在显示设备的平面上显示的物体无视差；欲在显示平面后方显示的物体在左图像中移向左而在右图像中移向右；并且，欲在显示平面前方显示的图像在左图像中移向右、在右图像中移向左。

若已知所有(或者绝大多数)被摄物体皆欲在显示平面后方成像，则测量视差即可对左、右眼图像加以辨识：在左眼图像中，物体较之在右眼图像中会更趋左；而在右眼图像中，物体较之在左眼图像中会更趋右。

然而，物体在显示平面前方或者后方成像都是常有的；相应地，作为立体运动图像序列摄制处理的一部分，可在一对图像的视差上加减一恒定值。鉴于这些原因，无法靠简单地测量水平视差来辨识立体像对的左眼图像和右眼图像。

已尝试通过对图像成像进行统计假设来克服此问题，具体来说，在图像中较低处出现之物体被假设位于在图像中较高处出现之物体的前方。关于这一点，可参考US 6,268,881和US2010/0060720。应理解，这一假设在许多图像对中并不足恃。为实现鲁棒识别，需降低对统计假设的依赖性。

发明内容

本发明包括对用于立体呈现的图像进行分析以辨识左眼图像和右眼图像的方法和装置。

适当地，分析像对的第一图像以定位在像对的第二图像中不可见的区域。

优选地，分析步骤包括检测图像边缘，辨识步骤用于在更多图像边缘与所述区域的左手边缘对准的情况下辨识为右眼图像，而在更多图像边缘与所述区域的右手边缘对准的情况下辨识为左眼图像。

有益的是，第一图像的所述区域的边缘的水平位置与第一图像中的成像边缘的水平位置比较。

在优选实施例中，定位所述第一图像的至少一个所述区域的右手边缘，并在所述右手边缘的水平位置与第一图像中的成像边缘的水平位置对应时，辨识该第一图像为左眼图像。

补充地或者可替代地，定位所述第一图像的至少一个所述区域的左手边缘，并在所述左手边缘的水平位置与第一图像中的成像边缘的位置对应时，辨识该第一图像为右眼图像。

在一个实施例中，所述第一图像的所述区域的边缘的水平位置与第一图像中具有高像素值水平梯度的位置进行比较。

适当地，通过比较所述第一图像与所述第二图像中相应像素组的像素值而辨识所述第一图像中的所述区域。

补充地或者可替代地，通过比较所述第一图像与所述第二图像中相应像素的相应运动矢量而辨识所述第一图像中的所述区域。

另外，在优选实施例中，图像的全部或者部分的图像水平梯度测量值与遮挡边缘测量值之积被叠加以确定图像的立体极性测量值。

在另一层面，本发明包括分析用于立体呈现的图像对以辨识左眼图像与右眼图像的装置，包括：遮挡检测器，适于定位仅在其中一幅图像中可见的一个遮挡区域或者更多个遮挡区域；遮挡边缘处理器；水平梯度检测器和立体极性处理器，适于根据该遮挡边缘处理器和该水平梯度检测器的输出得出立体极性标志。

所述遮挡边缘检测器适于分别辨识：

i.水平靠近遮挡区域的左手边缘的图像要素；和

ii.水平靠近遮挡区域的右手边缘的图像要素。

该立体极性处理器适于得出：

i.右立体标志，在相对多数的图像要素具有较大的水平梯度且水平靠近遮挡区域的左手边缘的情况下；和

ii.左立体标志，在相对多数的图像要素具有较大的水平梯度且水平靠近遮挡区域的右手边缘的情况下。

在另一层面，本发明包括一种辨识用于立体呈现的图像对的左眼图像和右眼图像的方法，包括步骤：比较立体像对的图像以定位仅在其中一幅图像中可见的一个区域或更多个区域；检测图像边缘；和，在与所述区域的左手边缘对准的图像边缘多于与所述区域的右手边缘对准的图像边缘时，辨识为右眼图像，而在与所述区域的右手边缘对准的图像边缘多于与所述区域的左手边缘对准的图像边缘时，辨识为左眼图像。

附图说明

现在，将参照附图介绍本发明的实例，附图如下。

图1显示了一幅场景的俯视图，该场景中呈现了两个物体和两个水平分离的观察点。

图2显示了从图1中的观察点观看到的视图之间的关系。

图3显示了一幅供替代的场景的俯视图，该幅供替代的场景呈现了两个物体和两个水平分离的观察点。

图4显示了从图3中的观察点观看到的视图之间的关系。

图5显示了根据本发明实施例的图像分析处理的方框图。

具体实施方式

尽管在随后的说明中，假设图像按照像素阵列数据显现和处理，但是，技术人员应理解，可利用其他图像格式来实施本发明的方法，这其中包括了那些未经空间采样或者数字化的格式。

三维场景的左眼视图与右眼视图之间一个清楚明确的差异是：每幅视图都有一些未呈现于另一视图中的“背景”像素。左眼观看多数背景像素到“前景”物体的左方，而右眼观看多数背景像素到“前景”物体的右方。通过对比两幅视图即可辨识这种“遮挡”。在本说明书中，呈现于立体像对的第一图像中但不呈现于该像对的第二图像中的图像区域，将会被描述为第一图像的遮挡区域。从这个意义上来说，遮挡是第一图像中由第二图像之内容所决定的区域的特性。

已知有多种图像比较技术，“运动补偿”图像处理中用到的用于查找“运动矢量”的方法在查找遮挡区域方面尤为有用。在本说明书中，“运动矢量”一词用来指代描述成像物体在立体像对的两幅图像中的位置差异的矢量。用来确定因在不同时刻摄制的两幅图像之间的运动所引起的位置差异的图像比较方法，同样适用于确定立体视差的情形。一般来说，第一图像中一区域与第二图像中尺寸和形状相同的一区域进行比较；其结果即“位移帧差测量”或DFD。根据由图像相关处理得出的“候选”运动矢量，能够选择出第二图像之区域相对于第一图像中之区域的位移；或者，根据合适的检索策略，能够从第二图像中选择出若干区域用于比较。

有多种计算DFD的方法，一般来说，像素值的差被叠加；可对差进行空间过滤以赋予靠近被匹配区域中心的像素以更大的权重。低值DFD与一对匹配良好的区域相关。在运动估计中，表示第二图像中一区域相对于第一图像中一区域的位移具有低DFD的矢量，被假设为对于第一图像区域中的一个或更多个像素来说更适用的运动矢量。

从立体像对中选出的一幅图像中的遮挡图像区域的特征是，其相对于该像对中的另一副图像来说具有高值DFD；这些遮挡区域通常不会与另一副图像中的任何区域匹配。相应地，可估计图像中各像素的DFD并令其与一阈值比较，那些各自DFD超出阈值的像素被归类为遮挡。

另一种检测遮挡区域的方法是利用遮挡区域无法得出有效运动矢量这一事实。为查找图像中的遮挡区域，按从左眼图像到右眼图像来估计运动矢量，并按从右眼图像到左眼图像来估计运动矢量。这些矢量按照已知的运动补偿视频处理方法分派给各个像素。举例来说，相位相关处理中得到的基于块的运动矢量，可通过选择在以特定像素为中心的区域移位候选矢量并与立体像对中另一幅图像相比提供最低DFD的矢量，来分派给图像的像素。

像对的第一图像中的像素的矢量导出遮挡测量值是这样得到的：“跟随”针对该像素的运动矢量到达该像对的第二图像中的像素，而后根据针对该第二图像像素的运动矢量“返回”第一图像。返回点与第一图像像素的位置之间的差即为针对第一图像像素的遮挡测量值。这可用数学方法表示如下。

令：V[x_A，y_A]为图像A中坐标为[x_A，y_A]的像素从图像A到图像B的运动矢量，该运动矢量的水平分量为V_x[x_A，y_A]，垂直分量为V_y[x_A，y_A]；且W[x，y]为图像B中坐标为[x，y]的像素从图像B到图像A的运动矢量；则：

Occ_A[x_A，y_A]＝|V[x_A，y_A]-W[(x_A+V_x[x_A，y_A])，(y_A+V_y[x_A，y_A])]|

其中：Occ_A[x_A，y_A]为图像A中坐标为[x_A，y_A]的像素的遮挡测量值；且|X|为矢量X的幅度。

由于因观察点的水平位置上的差导致的遮挡与立体视法尤为相关，故优选以运动矢量差的水平分量的幅度作为遮挡测量值，而不是以上述方程中所示的幅度为遮挡测量值。可将各个像素的测量值与阈值比较，测量值超出阈值的像素被辨识为遮挡像素。

在立体图像中，由不同景深的物体之间(例如，前景物体与背景物体之间)的过渡产生的边缘特征包含了与立体极性相关的信息。在根据本发明一个层面的方法中，图像的垂直边缘之位置与该图像的遮挡区域的垂直边缘之位置进行比较。图1到图4示出了这一比较如何能辨识左眼图像与右眼图像。

参照图1，从两个观察点L和R观看两个扁平的矩形物体F和B1。物体F相对物体B1来说更靠近观察点。物体F与B1的右手边缘重叠，使得从L处可观看到B1整体，但从R处仅可观看到B1左手部分。从L处和R处的视线通过F的左手边缘部分分别限定各自的B1可视区域；即图中的线条(1)和(2)。

图2显示了位于L处和R处的相机各自将会观看到的视图。从L处可观看到的视图显示了这两个物体的全部面积。从R(21)处可观看到的视图显示了F的全部，但仅显示了B1的左手部分。因此，B1中在线(22)右侧的部分为遮挡区域。

如果利用上述检测遮挡的方法来分析这两幅视图，则会发现显现F的那些像素在这两幅图像中以低DFD和/或低运动矢量差匹配。这一点由箭头(23)来表现。

类似地，会发现显现B1的左手部分的那些像素是匹配的，且具有低运动矢量差。(尽管B1的左手部分的运动矢量不等于F的运动矢量)。这一点由箭头(24)来表现。

但是，从L(20)处可观看到的视图中显现B1的右手侧的那些像素不会与从R处可观看到的视图中的像素可靠匹配。这些像素会具有高DFD，而尝试生成针对这些像素的运动矢量又会得到极为不稳定的结果。这一点由箭头(24)来表现。

因此，在包括从L(20)处可观看到的视图的图像中，B1中在线(22)右侧的区域可被检测为遮挡区域。该区域的左侧由线(22)的局部界定，这是一个与图像自身无关的理论构成(notional construct)；而该区域的右侧由B1与F之间的边界界定，这是图像的特征。

图3和图4显示了一幅模拟设置，其中物体F水平覆盖更远距离处的物体B2的左手边缘，使得从R处可观看到B2的整体而从L处仅可观看到B1的右手部分。在此，分析包括从R(41)处观看的视图的图像可辨识出一个遮挡区域，该遮挡区域在左侧由F和B2之间的边界界定，这是图像特征；而该遮挡区域在右侧由线(42)的局部界定，这是一个与图像自身无关的理论构成。

因此，能够看出左眼图像会倾向于包括与遮挡区域的右边缘对准的图像边缘；而右眼图像会倾向于包括与遮挡区域的左边缘对准的图像边缘。

图5显示了利用该条规律来确定一对图像A和B的“立体极性”的处理的方框图。参照该图，在遮挡检测器(501)和(502)中，比较显现图像A的输入数据与显现数据B的输入数据，以查找它们各自的遮挡区域。遮挡检测器(501)辨识图像A中那些在图像B中无对应的像素；而后，遮挡检测器(502)辨识图像B中那些在图像A中无对应的像素。举例来说，这些检测器能够使用上述基于DFD或者基于运动矢量的方法。

图像A和图像B的输入图像数据还输入到各自的水平梯度检测器(503)和(504)中。水平梯度检测器(503)和(504)得出各个输入图像的各个像素的水平梯度测量值。通过下述公式得出合适的测量值：

Grad_A[x，y]＝|p[(x+1)，y]-p[(x-1)，y]|

其中：Grad_A[x，y]是图像A中位于坐标[x，y]处的像素的水平梯度测量值；

p[x，y]是位于坐标[x，y]处的像素的亮度值；且

|x|是x的幅度。

在图像A和图像B各自的遮挡边缘处理器(505)和(506)中，分别处理由遮挡检测器(501)和(502)得出的两组遮挡像素数据以生成图像A和图像B各自的遮挡边缘数据组。该数据辨识出水平靠近遮挡区域的边缘的像素；靠近左手遮挡边缘的像素和靠近右手遮挡边缘的像素分别被辨识。适用的方法是查找相应遮挡测量值的带符号的水平梯度测量值，例如水平相邻像素的遮挡测量值之差。在所示出的实例中，从当前像素的值中减去当前像素左侧的像素的值。相减的结果若在遮挡的左手边缘处则为正值，若在右手边缘处则为负值。可通过将该信号与其延迟信号或者超前信号进行非线性组合而“扩展”而信号。对于正值信号来说，这一扩展是一种“膨胀”处理；而对于负值信号来说，这一扩展是一种“腐蚀”处理。

相应地，遮挡边缘处理器(505)和(506)对于水平靠近遮挡的左手边缘的像素其输出为正值，而对于水平靠近遮挡的右手边缘的像素其输出为负值。在这两种输出在乘法器(507)和(508)中分别乘以各自的图像水平梯度幅度值。

对于图像A中靠近遮挡的左手边缘、梯度较大的(任一极性的)像素，其在乘法器(507)中的输出为大的正值；而对于图像A中靠近遮挡的右手边缘、梯度较大的(任一极性的)像素，其在乘法器(507)中的输出为大的负值。在叠加块(509)，针对图像A中的所有像素对这些值进行叠加。若图像A为右眼图像，则该值可能为大且为正；反之，若图像A为左眼图像，则该值可能为大且为负。

类似地，在叠加块(510)，针对图像B中的所有像素对乘法器(508)的输出进行叠加。若图像B为右眼图像，则叠加的结果可能为大且为正；反之，若图像B为左眼图像，则叠加的结果可能为大且为负。

在比较块(511)，比较两项叠加值以得到图像对A和B的“立体极性”的测量值。在图像A为右眼图像的情况下，若叠加块(509)的输出超过叠加块(510)的输出，则图像A和B的立体极性正确。比较的结果在端子(512)处输出。

仅在对具有不同景深的物体进行成像时，方可辨识左眼图像与右眼图像。在运动图像序列中，结合序列中若干图像的分析结果通常会更加有益；若立体极性不太可能频繁变化，则采用时间滤波可以发现变化的迟滞为代价来提高检测的可靠性。还可采用滞后量，使得在分析结果中观察到明显变化之前，一直不报告所检测的极性的变化。

某些分配和存储立体运动图像序列的方法中使用了不对应于同一时间点的左眼图像和右眼图像。在这种情况下，每一立体像对的图像之间将因运动而引入附加视差。该问题可通过将每一图像与两幅眼睛相反的图像(一幅在时间上超前，而一幅在时间上滞后)进行比较来解决。因运动而引入的视差在这两项比较中处于相反方向，而与景深有关的视差则在这两项比较中相似。

图像帧的边缘的遮挡很严重，但是这些遮挡有时是作为摄制过程的一部分而有意修正的。因此，在确定立体极性时，忽略帧边缘处的遮挡通常来说更有益。

本发明还存在数种替代性实施方式。可采用减-采样或滤波图像。由于垂直视差与成像景深无关，故而可特意减少(相对水平方向来说)所分析图像在垂直方向的空间分辨率。

两幅图像之间的“运动估计”处理可以是纯水平方向的，或者说，可丢弃运动矢量的垂直分量。

利用DFD的遮挡检测方法可与矢量差方法相结合，以将像素的运动矢量差和DFD的组合用作该像素的遮挡测量值。

在图像边缘与遮挡边缘的位置相关性方面，如上所述，可膨胀图像边缘数据，而不膨胀遮挡边缘。已发现用七个像素来膨胀/腐蚀遮挡边缘效果良好，但是亦可采用其他值。

用来检测遮挡的阈值无需是固定的，该阈值可以是通过对待处理图像进行分析得出的，也可以是用来描述待处理图像的元数据。

可采用像素值(而非亮度值)来定位图像中的边缘或过渡。亮度信息与色度信息的组合能够更好地定位物体间的图像过渡。

除相乘或相加之外的技术可用来确定：与某一区域的左手边缘对准的图像边缘是否比与该区域的右手边缘对准的图像边缘更多，或者，与某一区域的右手边缘对准的图像边缘是否比与某一区域的左手边缘对准的图像边缘更多。

Claims (13)

1.一种处理用于立体呈现的图像的方法，包括步骤：比较一立体像对中的图像以定位仅在其中一幅图像中可见的一个区域或更多个区域；分析该立体像对中的一幅或者全部两幅图像；和从中辨识出该像对的左眼图像与右眼图像。

2.根据权利要求1所述的方法，其中所述分析该立体像对中的一幅或者全部两幅图像的步骤包括：分析所述区域与所述一幅或者全部两幅图像的空间关系。

3.根据权利要求2所述的方法，其中所述分析所述区域与所述一幅或者全部两幅图像的空间关系的步骤包括：定位所述区域的边界并将该边界或者该边界的一部分或者更多个部分与该图像的特征建立关联。

4.根据权利要求2所述的方法，其中所述将该边界与该图像的特征建立关联的步骤包括：将该边界的垂直延伸部分与该图像的垂直延伸边缘特征建立关联。

5.根据权利要求1所述的方法，其中该像对的第一图像中的所述区域的边缘的水平位置与该第一图像中的成像边缘的水平位置进行比较。

6.根据权利要求5所述的方法，其中定位所述第一图像的至少一个所述区域的右手边缘，并在所述右手边缘的水平位置与所述第一图像中的成像边缘的水平位置对应时，辨识该第一图像为左眼图像。

7.根据权利要求5或6所述的方法，其中定位所述第一图像的至少一个所述区域的左手边缘，并在所述左手边缘的水平位置与所述第一图像中的成像边缘的位置对应时，辨识该第一图像为右眼图像。

8.根据权利要求5到7中任一项所述的方法，其中所述第一图像的所述区域的边缘的水平位置与所述第一图像中具有高像素值水平梯度的位置进行比较。

9.根据权利要求5到8中任一项所述的方法，其中通过比较所述第一图像与所述第二图像中相应像素组的像素值而辨识所述第一图像中的所述区域。

10.根据权利要求5到9中任一项所述的方法，其中通过比较所述第一图像与所述第二图像中相应像素的相应运动矢量而辨识所述第一图像中的所述区域。

11.根据权利要求5到10中任一项所述的方法，其中图像的全部或者部分的图像水平梯度测量值与遮挡边缘测量值之积被叠加以确定图像的立体极性测量值。

12.一种分析用于立体呈现的图像对以辨识左眼图像与右眼图像的装置，包括：遮挡检测器，适于定位仅在其中一幅图像中可见的区域；遮挡边缘处理器；水平梯度检测器；和处理器，适于根据该遮挡边缘处理器和该水平梯度检测器的输出得出立体极性标志。

13.根据权利要求12所述的装置，其中所述遮挡边缘处理器适于分别辨识：

i.水平靠近遮挡区域的左手边缘的图像要素；和

ii.水平靠近遮挡区域的右手边缘的图像要素；

且，优选情况下，该极性处理器适于得出：

i.右立体标志，在相对多数的图像要素具有较大的水平梯度且水平靠近遮挡区域的左手边缘的情况下；和

ii.左立体标志，在相对多数的图像要素具有较大的水平梯度且水平靠近遮挡区域的右手边缘的情况下。

Images