CN103297790A

CN103297790A - 图像处理装置、图像处理方法及程序

Info

Publication number: CN103297790A
Application number: CN2012104801796A
Authority: CN
Inventors: 山崎寿夫
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-11-29
Filing date: 2012-11-22
Publication date: 2013-09-11
Also published as: US8798390B2; US20130156338A1; JP2013114517A

Abstract

提供了一种图像处理装置、图像处理方法及程序。该图像处理装置包括：误差确定处理单元，该误差确定处理单元输入具有到物体的距离信息或视差信息的距离图像，检测距离图像中所包含的误差信号，并根据图像区域单位的误差程度输出合成系数；低通滤波器处理单元，该低通滤波器处理单元将低通滤波器应用于距离图像并且生成噪声减小距离图像；及距离图像合成单元，该距离图像合成单元利用距离图像与噪声减小距离图像的合成处理来生成经校正的距离图像，其中，距离图像合成单元根据误差确定处理单元输出的图像区域单位的合成系数，以所述图像区域单位执行设置距离图像与噪声减小图像的合成比率的合成处理并且生成经校正的距离图像。

Description

图像处理装置、图像处理方法及程序

技术领域

本公开涉及一种图像处理装置、图像处理方法以及程序。特别是，本公开涉及一种生成并校正距离图像（视差图像）的图像处理装置、图像处理方法以及程序。

背景技术

近来，能够对立体的图像（也称为立体图像）进行成像的照相机已得到普及。例如，使用左右并排设置镜头的立体照相机，存在对由左眼观察的左眼图像与右眼观察的右眼图像对配置而成的双眼视差图像进行成像的照相机。

通过分别将上述的左眼图像与右眼图像加以分离并在能够向观察者的左眼和右眼执行呈现的显示装置（3D显示装置）上执行其显示，观察者能够看到作为立体图像（即三维（3D）图像）的图像。

上述左眼图像和右眼图像不仅可作为立体图像供观看，而且能够在各种应用中被使用。例如，可能实现以下处理，诸如确定作为立体图像的成像物体与照相机的距离，对应于该距离切出图像上的对象，并且执行与另一图像的合成，或者在三维空间中再现立体对象。

在上述这种立体图像的应用中，一个重要的因素是正确地计算从照相机到成像物体的距离。作为到物体的距离的信息的表现方法，例如存在通过遮蔽图像来表现距离值的距离图像。物体距离对应于与左眼图像和右眼图像的像素位置中的偏差相当的视差，距离图像有时也被称为视差图像。

利用上述距离图像（视差图像），执行对应于距离切出图像上的对象的处理。在这种处理中，距离图像的精度是提高质量的重点。

公开了与距离图像的质量改善有关的相关技术。例如，日本未经审查的专利申请第11-120359号公报提出了一种方法，该方法包括：确定距离图像，将邻接且距离值较近的距离值设置为相同的距离值，对相同的距离值一起进行标记，确定每个标记的面积，将附加了如下标记的视差设置为噪声，所述标记的面积为固定值或更小，对具有被设置为噪声的距离值的像素应用中值滤波器以去除噪声，去除被确定为距离图像的原始图像的噪声，并且提高从原始图像确定的距离图像的精度。

然而，虽然上述方法具有局部的噪声去除效果，但是存在如下问题：难以去除大范围的图像误差（诸如在大范围内发生的图像的偏差）。另外，在上述日本未经审查的专利申请第11-120359号公报中，为了确定存在于图像内的噪声区域，配置包括：执行图像的经划分的区域单位的标记处理，确定各个经标记的区域单位的距离，计算距离单位的面积等，从而预计其处理成本会增大。

发明内容

根据本公开的实施例，提供一种降低处理成本并生成更精确的距离图像（视差图像）的图像处理装置、图像处理方法以及程序。

根据本公开的实施例，提供一种图像处理装置，该装置包括：

误差确定处理单元，该误差确定处理单元输入具有与物体的距离信息或视差信息的距离图像，检测距离图像中所包含的误差信号，并根据图像区域单位的误差程度输出合成系数；低通滤波器处理单元，该低通滤波器处理单元将低通滤波器应用于所述距离图像，并生成噪声减小距离图像；及距离图像合成单元，该距离图像合成单元利用所述距离图像和所述噪声减小距离图像的合成处理来生成经校正的距离图像，其中，距离图像合成单元根据误差确定处理单元输出的图像区域单位的合成系数，以所述图像区域单位执行设置所述距离图像与所述噪声减小图像的合成比率的合成处理，并生成经校正的距离图像。

此外，根据本公开的图像处理装置的实施例，所述误差确定处理单元包括：方差计算处理单元，该方差计算处理单元计算所述距离图像的经划分的区域单位的方差；及非线性转换处理单元，该非线性转换处理单元利用所述方差计算处理单元所计算的经划分的区域单位的方差的非线性转换处理来计算所述合成系数。

此外，根据本公开的图像处理装置的实施例，所述误差确定处理单元包括：带间相似度计算单元，该带间相似度计算单元确定带形区域之间的相似度，所述带形区域是距离图像在横向（水平）方向上被均匀地或不均匀地以任意宽度分割成的经分割的区域；及非线性转换处理单元，该非线性转换处理单元利用由带间相似度计算单元所计算的带间相似度的非线性转换处理来计算所述合成系数。

此外，根据本公开的图像处理装置的实施例，所述带形区域具有与在立体图像的生成处理时所使用的带形宽度相同的宽度，所述立体图像由三维图像显示中应用的左眼图像和右眼图像构成。

此外，根据本公开的图像处理装置的实施例，所述带间相似度计算单元计算距离图像中的每隔一个带形区域之间的距离信号的绝对差的和作为带间相似度。

此外，根据本公开的图像处理装置的实施例，所述误差确定处理单元包括：带间不均匀度确定单元，该带间不均匀度确定单元检测带形区域之间的信号值的不均匀状态，并且生成并输出反映误差程度的合成系数，所述带形区域是距离图像在横向（水平）方向上被均匀地或不均匀地以任意宽度分割成的经分割的区域。

此外，根据本公开的图像处理装置的实施例，所述带间不均匀度确定单元计算距离图像中的三个连续带形区域的距离信号的平均值，从三个计算出的信号平均值计算相邻带形之间的信号平均值的两个差，基于这两个计算出的差来确定带间不均匀度是否存在，并根据该确定结果生成并输出合成系数。

此外，根据本公开的图像处理装置的实施例，所述带间不均匀度确定单元计算并输出用于使三个连续带形区域的距离信号的平均值变平坦的偏移值。

此外，根据本公开的图像处理装置的实施例，所述低通滤波器处理单元执行边缘保持型噪声减小处理。

此外，根据本公开的图像处理装置的实施例，所述低通滤波器处理单元应用所述偏移值，并通过将低通滤波器应用于为其执行了使三个连续带形区域的距离信号的平均值变平坦的校正处理的距离图像来生成噪声减小距离图像。

此外，根据本公开的另一实施例，提供一种在图像处理装置中执行的图像处理方法，该方法包括：输入具有到物体的距离信息或视差信息的距离图像，检测距离图像中所包含的误差信号，并且根据图像区域单位的误差程度来输出合成系数；将低通滤波器应用于所述距离图像，并生成噪声减小距离图像；及利用所述距离图像和所述噪声减小距离图像的合成处理来生成经校正的距离图像，其中，在经校正的距离图像的生成中，根据在距离图像的输入中输出的图像区域单位的合成系数，以所述图像区域单位执行设置所述距离图像与所述噪声减小图像的合成比率的合成处理，并生成经校正的距离图像。

此外，本公开的又一实施例，提供一种使图像处理装置执行图像处理的程序，该图像处理包括：输入具有到物体的距离信息或视差信息的距离图像，检测距离图像中所包含的误差信号，并且根据图像区域单位的误差程度来输出合成系数；将低通滤波器应用于所述距离图像，并生成噪声减小距离图像；及利用所述距离图像和所述噪声减小距离图像的合成处理来生成经校正的距离图像，其中，在经校正的距离图像的生成中，根据在距离图像的输入中输出的图像区域单位的合成系数，以所述图像区域单位执行设置所述距离图像与所述噪声减小图像的合成比率的合成处理，并生成经校正的距离图像。

这里，本公开的实施例的程序例如是关于能够执行各种类型的程序和代码的通用系统的、可以在以计算机可读格式设置的可读介质上提供的或由通信介质提供的程序。通过以计算机可读格式提供上述程序，可在计算机系统上实现根据该程序的处理。

通过基于稍后描述的本公开的实施例的示例或附图的更详细说明，本公开的实施例的其它目的、特征和优点将变得明确。这里，本说明书中的所述系统是多个装置的逻辑组配置，配置的装置都不限于被设置在同一外壳内。

根据本公开的实施例的一个示例配置，实现了执行减小距离图像或视差图像中所包含的误差的校正处理的图像处理装置及方法。

具体地，提供误差确定处理单元，该误差确定处理单元输入具有到物体的距离信息或视差信息的距离图像，检测距离图像中所包含的误差信号，并根据图像区域单位的误差程度输出合成系数；低通滤波器处理单元，该低通滤波器处理单元将低通滤波器应用于所述距离图像，并生成噪声减小距离图像；及距离图像合成单元，该距离图像合成单元利用所述距离图像和所述噪声减小距离图像的合成处理来生成经校正的距离图像，其中，距离图像合成单元根据误差确定处理单元输出的图像区域单位的合成系数来执行在图像区域单位内设置所述距离图像与所述噪声减小图像的合成比率的合成处理，并生成经校正的距离图像。

根据上述处理，可能生成经校正的距离图像或视差图像，其中，距离图像或视差图像中包含的误差被减小。

附图说明

图1是说明了立体图像的感知原理和立体图像的感知距离的图。

图2是说明了图像处理装置的配置示例的图。

图3是说明了误差信号确定处理单元的示例的图。

图4A和图4B是说明了距离图像中出现的误差的示例的图。

图5是说明了误差信号确定处理单元中的非线性转换处理单元所执行的从方差计算合成系数（err）的处理示例的图。

图6是说明了距离图像中的带形误差的图。

图7是说明了距离图像中的带形误差的图。

图8是说明了距离图像中生成带形误差的原因的图。

图9是说明了距离图像中生成带形误差的原因的图。

图10是说明了作为通过在带形单位中聚集在一起而生成的距离图像的误差确定处理的有效方法的图。

图11是说明了误差信号确定处理单元的示例的图。

图12是说明了误差信号确定处理单元的带间相似度计算单元的配置示例的图。

图13是说明了误差信号确定处理单元的示例的图。

图14是说明了误差信号确定处理单元的带间不均匀度确定单元的配置的图。

图15是说明了误差信号确定处理单元的示例的图。

图16是说明了边缘保持型LPF处理单元的示例的图。

图17是说明了边缘保持型LPF处理单元的示例的图。

图18是说明了带间不均匀度校正单元的配置示例的图。

图19A-E是说明了应用由本公开的实施例的图像处理装置生成的经校正的距离图像的处理示例的图。

图20是示出了说明距离图像的生成顺序的流程图的图。

图21是示出了说明切出如下物体的处理顺序的流程图的图，对所述物体应用了从距离图像得出的物体距离。

图22是示出了说明距离图像的校正处理顺序的流程图的图。

具体实施方式

下面，将参照附图对本公开的实施例的图像处理装置、图像处理方法及程序进行详细地说明，说明如下。

1.立体图像的感知原理和立体图像的感知距离

2.图像处理装置的配置示例

3.误差信号确定处理单元的第一配置示例

4.对在带形单位中出现的误差的说明

5.误差信号确定处理单元的第二配置示例

6.误差信号确定处理单元的第三配置示例

7.结合三种类型的误差信号确定处理的配置示例

8.边缘保持型LPF的配置示例

9.应用使用本公开的实施例的处理所得出的经校正的高精度距离图像的应用示例

10.对本公开的实施例的配置的总结

[1.立体图像的感知原理和立体图像的感知距离]

将参照图1对立体图像的感知原理和立体图像的距离进行说明。

如图1中所示，用观察者的左眼21观察左眼图像11并且用右眼22观察右眼图像12。在左眼图像11和右眼图像12中，存在与物体距离相对应的图像的位置偏差（视差），感知距离根据上述视差而改变，由此观察者能够观察立体图像。

在左眼图像11和右眼图像12中，将同一物体的像素位置的偏差设为视差d，并且将感知的立体图像的距离设为感知立体图像距离Ld。

当：

从观察者眼睛位置到显示屏幕的距离为视觉距离Ls，并且

观察者的双眼之间的间隔为de时，

用以下（公式1）来表示上述视差d与感知立体图像距离Ld之间的关系。

L_{d} = \frac{L_{s} \times d_{e}}{d_{e} - d}

（公式1）

这样，当确定视觉距离Ls时，视差d和感知立体图像距离Ld是若确定一个值则另一个值也确定的一一对应的相互依存的数据。

即，如上所述，

（a）感知立体图像距离Ld：观察者所感知的距离（≈物体距离），

（b）视差d：左眼图像和右眼图像中的同一物体的像素位置的偏差量，

并且上述（a）和（b）的值是一一对应的相互依存的数据。

在下面对示例的说明中，将对使用感知立体图像距离（物体距离）数据的处理的设置进行说明，然而，也可以应用视差数据而不是物体距离数据来执行处理的设置。

在下面的说明中，将距离图像描述为具有到物体的距离信息或视差信息的图像。

[2.图像处理装置的配置示例]

图2是说明了本公开的实施例的图像处理装置的基本配置示例的图。从能够被立体地看到的左眼图像和右眼图像确定距离图像110。距离图像是在成像的图像上示出物体距离（感知立体图像距离＝离观察者或成像照相机的距离）以作为例如从黑色到白色的遮蔽图像信息的图像。

这里，如上所述，从与左眼图像和右眼图像中的对应像素位置的偏移量相对应的视差确定物体距离。因此，对应于该距离的遮蔽信息在示出了物体距离的同时也示出了视差量，距离图像也被称为视差图像。

即，距离图像与视差图像是等效的图像数据。

在下面的示例中，将说明对具有以像素为单位的、对应于到物体的距离的数据（距离信号）的距离图像进行应用的示例的设置，然而，也可以应用具有以像素为单位的视差信号的视差图像而不是距离图像来执行处理的设置。

因此，在下面的说明中，将距离图像描述为具有到物体的距离信息或视差信息的图像。

如图2中所示，将距离图像110输入至误差信号确定处理单元120、距离图像合成单元140和边缘保持型LPF处理单元160。

误差信号确定处理单元120输入距离图像110，对示出距离图像110中所包含的物体距离的距离信号（=视差信号）进行分析，并将确定距离信号（视差信号）中是否生成误差的误差程度作为数值输出。

作为在误差信号确定处理单元120中所执行的误差确定处理，例如，计算以下值中的任一值或者多个值，并基于这些计算值而执行误差确定处理。

（1）距离图像的预定区域单位的变化程度（方差）

（2）示出了距离图像的带形之间的相似度的值

（3）示出了距离图像的带形之间的不均匀度的值

这里，上述（2）和（3）中使用的带形表示在横向（水平）方向上以任意宽度对距离图像110进行均匀或不均匀分割的分割区域。

在下段中，将对这些处理进行详细描述。

如图2中所示，将距离图像110输入到边缘保持型LPF处理单元160。

边缘保持型LPF处理单元160执行去除距离图像110中包含的噪声的滤波器应用处理。边缘保持型LPF处理单元160执行应用边缘保持型的低通滤波器（LPF）的滤波处理。

上述LPF处理可以是通用的边缘保持型LPF，例如可以使用ε滤波器、双边滤波器等。

在边缘保持型LPF处理单元160中，将经LPF处理的距离图像在距离图像合成单元140中与原始距离图像110进行合成。

合成处理执行根据所述数值的合成处理，所述数值示出了从误差信号确定处理单元120输出的区域单位的误差程度。

这里，示出了从误差信号确定处理单元120输出的区域单位的误差程度的数值被设置为

误差程度=0.0至1.0。

0.0指示误差程度为最低，1.0指示误差程度为最高。

距离图像合成单元140应用从误差信号确定处理单元120输出的区域单位的误差程度作为合成系数（err），并根据以下（公式2）执行合成处理。

D_out＝D_in×(1-err)+D_inLPFed×err

（公式2）

然而，

Dout：合成后的经校正的距离图像150的像素值（距离信号），

Din：输入的原始距离图像110的像素值（距离信号），

err：误差程度（=合成系数）

DinLPFed：边缘保持型LPF处理单元160中经LPF处理的距离图像

上述（公式2）示出了使用合成处理（混合处理）生成经校正的距离图像150的处理，在合成处理（混合处理）中，对于输入的距离图像110的高误差程度像素区域，在边缘保持型LPF处理单元160中经LPF处理的距离图像的合成比率（混合比率）被设置为高值；对于输入的距离图像110的低误差程度像素区域，输入的距离图像的合成比率（混合比率）被设置为高值。

根据上述（公式2），距离图像合成单元140执行经LPF处理的距离图像与原始距离图像110的合成处理。

经合成处理的距离图像作为经校正的距离图像150被输出。

[3.误差信号确定处理单元的第一配置示例]

图3示出了误差信号确定处理单元120的示例。

如图3中所示，误差信号确定处理单元120具有：

方差计算处理单元121，和

非线性转换处理单元122。

在方差计算处理单元121中，输入到误差信号确定处理单元120的距离图像110首先被分割成预先定义距离图像的N×M个像素的经划分的区域，然后计算经划分的区域单位的像素值的方差。

这里，如上所述，距离图像是具有根据物体距离的像素值的图像。

图4说明了在距离图像中无误差出现的情况和有误差出现的情况的示例图像。

（a）无误差的距离图像

（b）产生误差的距离图像

示出了以上两个图像的示例。

如图中所示，在出现误差的距离图像的（b）中的场合，生成了具有非常不同于周围的像素值的区域（图中所示的黑线）。

这样，在出现误差的区域中，距离图像的像素值（距离信号）的变化程度变大。此示例使用了方差以将变化程度用于误差信号的确定。

然而，在上述配置中，因为足以确定距离图像中的区域单位的变化程度，所以只要指数值是与变化程度有关联的值，就不限于方差，并且可使用其它的指数值。例如，可以采用利用经划分的区域单位的像素值的标准偏差的配置。

图3中所示的方差计算处理单元121中确定的经划分的区域（N×M个像素）单位的方差被输入到非线性转换处理单元122。

非线性转换处理单元122进行将显示距离图像的经划分的区域单位的变化程度的方差转换成在距离图像合成单元140中使用的合成系数（err）的处理。

图5示出了在非线性转换处理单元122中所执行的非线性转换处理的示例。水平轴是来自方差计算处理单元121的输入信号（方差）。纵轴显示非线性转换处理单元122中的非线性转换处理后的输出，即合成系数（err）。

非线性转换处理单元122利用预先定义的函数f（x）转换输入的方差（In）并输出的合成系数[err]（Out）。即，以下被设置：

Out=f（In）。

各种函数可被用作此转换处理中所应用的函数f（x）。

作为函数f（x）的示例，例如可以应用以下（公式3）中所示的指数函数。

F（x）=x^β （公式3）

例如，非线性转换处理单元122应用以上（公式3）中所示的指数函数，执行对输入的方差（In）的非线性转换处理，生成并输出从如图5中所示的输入方差（In）中输出的合成系数（err）。

这里，在上述（公式3）中，β是预先设置的系数，可以设置为各种值。另外，非线性转换处理单元122中的转换函数并非局限于指数函数，也可以执行线性转换。

[4.对带形单位中出现的误差的说明]

在图6中，示出了在距离图像中出现的误差的另一示例。在该示例中，在带形中产生距离信号的误差。

这些带形单位误差容易在如下情况中生成：通过在水平方向上移动（摇动）照相机而连续成像的多个被成像图像被使用，从每个图像中切分成带形的带形图像被重新合成，并且生成被应用于3D图像显示的左眼图像和右眼图像的处理被执行。

图7中示出了这些种类的误差出现的左眼图像和右眼图像的生成示例。如图7中所示，该方法是通过重新合成从通过在水平方向上移动（摇动）而连续成像的多个被成像图像中切出的带形图像而生成左眼图像和右眼图像的方法。

当执行这种3D图像生成处理时，存在如下情况，其中如图6所示的向带形添加偏移这样的误差被生成。

将参照图8和图9对这些种类的误差的生成原因进行描述。

在如图7中所示的将带形图像合成为左眼图像和右眼图像的立体图像成像方法中，为了构造用于构造左眼图像和右眼图像的带形，不同的成像位置的左眼图像和右眼图像中被使用，即，从具有不同成像定时的被成像图像中切出的带形被使用。

例如，用于构造对应于图像300的（a）左眼图像的带形图像301和用于构造（b）右眼图像的带形图像302是利用从如图所示的每个成像定时t、t+1、t+2、…处的多个连续成像的图像中切出的带形图像的合成处理生成的，如图8所示。

如图8中所示，通过从在时间t到t+4成像的多个图像中切出带形并进行合成，（a）左眼图像和（b）右眼图像被生成。

这些带形区域中的每一个的图像例如是拍摄者用手在水平方向上摇动照相机而成像的图像。在此成像处理期间，只要仅在水平方向上精确地执行移动就没有问题；但在许多情况下，发生照相机在正交方向上的移动或旋转等。

例如，在时间t+1和t+2，以物体方向上的轴为中心的旋转运动被添加到照相机。

例如，其中（a）构成左眼图像的带形图像303和（b）构成右眼图像的带形图像304的带形通过旋转运动被旋转并成像的带形被示出。

从这些带形图像303和304中可见，作为旋转运动的结果，发生以不同角度拍摄同一物体的现象。

如图9中所示，合成发生这种旋转运动的带形的结果被用作左眼图像321和右眼图像322。

从左眼图像321和右眼图像322中确定的距离图像作为距离图像323被示于图9。

一般而言，对于距离图像，到物体的距离是通过确定同一物体在左眼图像和右眼图像间的视差来确定的。

在图9中，该距离例如是从由带形图像324、325和328所显示的左眼图像的带形和右眼图像的带形之间的视差确定的。

由于以物体方向上的轴为中心的旋转运动在时间t+1和t+2被添加到照相机，所以本示例关注带形324的左眼图像的带形与右眼图像的带形的集合。

在这些带形的集合中，左眼图像的带形是正常的，旋转运动被添加到右眼图像的带形。

因此，在距离图像323中，从带形324的集合确定的距离图像的带形区域326成为包含误差的距离图像。

另外，在带形325的集合中，旋转运动被添加到左眼图像的带形和右眼图像的带形二者，并且因为相同的旋转运动被添加到两个带形中，所以确定的距离图像的带形区域327是正确的距离图像。

另外，在带形328的集合中，由于与带形324同样的原因，距离图像的带形区域329变为包含误差的距离图像。

这样，在距离图像中，以物体方向上的轴为中心的旋转运动被添加到照相机的情况的距离图像的误差出现在距离图像的每隔一个带形区域中。

在这种带形单位的误差确定中，采用确定前述图3中说明的像素区域单位的偏差的方法，即，计算距离图像的N×M个像素单位的像素值的方差并基于该方差来确定误差的方法是不实际的。

[5.误差信号确定处理单元的第二配置示例]

下面，将说明作为通过聚集上述带形单位而生成的距离图像的误差确定处理的有效方法。

参照图10，将对该误差确定方法的示例加以简略说明。

在上述使用在带形上成像的图像的立体图像的生成中，距离图像中所包含的距离信号的误差不在带形之内而是在带形之间生成。因此，距离图像在与向其应用了作为立体图像的左眼图像和右眼图像的图像生成的带形相同的位置被分割。当然，这可以是虚拟的划分。

接着，设置检测距离图像中所包含的距离信号的误差的水平方向的处理线。

因为误差出现在带形之间，所以通过对处理线的第N个带形与第M个带形进行比较，确定这些带形中是否出现误差。在本方法中，作为确定方法，水平处理线的第N个带形与第M个带形之间的相似度被确定，并且如果相似度较大，则确定误差已出现。

图11说明了使用此误差确定方法的误差信号确定处理单元120的配置示例。

图11中所示的误差信号确定处理单元120示出了前面所说明的图2的图像处理装置的误差信号确定处理单元120的一个配置示例，尤其具有用于检测带形单位中的误差的有效配置。

将对图11中所示误差信号确定处理单元120的配置及处理进行说明。

如图11中所示，误差信号确定处理单元120包括：

带间相似度计算单元123，和

非线性转换处理单元124。

对于输入到误差信号确定处理单元120中的距离图像110，在带间相似度计算单元123中，相似度是以参照图10说明的水平方向的处理线单位使用任意的第N个带形与第M个带形来计算的。

参照图12，对带间相似度计算单元123的详细配置及处理进行说明。

距离图像110的距离信号按照水平方向的扫描线被输入到带间相似度计算单元123。

按照扫描线输入的距离信号被存储于图像缓冲器A125、图像缓冲器B126、图像缓冲器C127中的处理线单位中。各缓冲器的宽度与带形相等。

如图12中所示，例如各缓冲器中的存储数据存储了图12中所示距离图像401的带形单位的距离图像。即，以下距离信号数据被存储：

由第N个带形的距离信号所形成的距离图像数据被存储于图像缓冲器A125，

由第N+1个带形的距离信号所形成的距离图像数据被存储于图像缓冲器B 126，

由第N+2个带形的距离信号所形成的距离图像数据被存储于图像缓冲器C127。

SAD（绝对差的和）计算单元128计算存储于图像缓冲器A125和图像缓冲器C127中的同一水平线的每隔一个带形之间的距离信号的绝对差的和。

SAD计算单元128根据以下（公式4）计算出每隔一个带形之间的SAD（绝对差的和）R_SAD。

R_{SAD} = Σ_{i = 0}^{N} | D_{A} (i) - D_{C} (i) |

（公式4）

这里，

DA（i）：图像缓冲器A125的位置i的距离信号

DC（i）：图像缓冲器C127的位置i的距离信号

R_SAD：SAD（绝对差的和）

N：图像缓冲器A125的尺寸

绝对差的和示出各带形之间的相似度。由SAD计算单元128计算出的绝对差的和（SAD值）被输出至非线性转换处理单元124。

非线性转换处理单元124应用前面示例中所说明的例如图5中所示的非线性转换函数（fx），执行上述SAD（绝对差的和）R_SAD的非线性转换处理，生成并输出被输出至距离图像合成单元140的合成系数（err）。

这里，在本示例中，说明了应用SAD（绝对差的和）作为表示各带形之间信号相似度的指数值的处理示例；但也可采用使用确定相似度的其他算法的配置。例如，除了SSD（方差和）外，也可以使用归一化互相关等。

另外，在图12中所示的配置中，通过将缓冲器大小与带形宽度相匹配并使用三个缓冲器，计算出第N个带形与第N+2个带形之间的相似度；但因为此配置依赖于从带形生成原始立体图像的方式，所以本公开并不限于此配置。

例如，在带形的宽度不均匀的情况下，要求如下配置，所述配置能够使用带形边界信息的输入以及用于从距离信号获取处于要比较的带形的范围内的距离信号的手段，来根据带形宽度确定相似度。

[6.误差信号确定处理单元的第三配置示例]

接着，参照下面的图13，对参照图6至图9说明的带形单位的误差确定处理的又一处理示例进行说明。

在参照图6至图9说明的在带形单位中产生误差的情况下，关注带形单位的距离信号的平均值，在带形单位中平均值有很大变化。

如参照前面的图8和图9所说明的，其中出现误差的带形被设在每隔一个带形中的可能性较高。

因此，对于包含其中出现误差的带形的距离图像，存在如下倾向：带形的距离信号的平均值在每隔一个带形中有很大不同。即，距离信号的平均值在带形之间是不均匀的。因此，可以确定在带形单位中检测出视差不均匀的情况中存在误差。

图13示出了采用此方法的误差信号确定处理单元120的示例。

图13中所示的误差信号确定处理单元120说明了前述图2的图像处理装置的误差信号确定处理单元120的一个配置示例，特别是具有用于检测带形单位中的误差的有效配置。

如图13中所示，此处理示例中的误差信号确定处理单元120包括

带间不均匀度确定单元129。

对于输入至误差信号确定处理单元120的距离图像110，在带间不均匀度确定单元129中，确定沿前面参照图10说明的水平方向的处理线的第N个、第N+1个和第N+2个带形之间的每个带形的距离信号的平均值是否存在不均匀。

参照图14，对带间不均匀度确定单元129的详细配置及处理进行描述。

输入至误差信号确定处理单元120的距离图像110被发送到并存储于处理线单位的图像缓冲器D131、图像缓冲器E132、和图像缓冲器F133中。

每个缓冲器的宽度与带形相等。

例如如图14中所示，各缓冲器的存储数据存储图14所示的距离图像402的带形单位的距离图像。即，以下距离信号数据被存储：

由第N个带形的距离信号形成的距离图像数据被存储于图像缓冲器D131，

由第N+1个带形的距离信号形成的距离图像数据被存储于图像缓冲器E132，

由第N+2个带形的距离信号形成的距离图像数据被存储于图像缓冲器F133。

基于存储于各缓冲器中的距离图像数据，在第N个带形的平均值计算器134、第N+1个带形的平均值计算器135、和第N+2个带形的平均值计算器136中，计算第N至第N+2个带形区域中的每个带形区域的每个带形的平均值。

在不均匀度确定和偏移值计算处理单元137中，

第N个带形、第N+1个带形、和第N+2个带形的平均值的关系决定了以下的（1）或（2）中的任意一个是否成立：

（1）第N个平均值<第N+1个平均值，并且第N+1个平均值>第N+2个平均值，

（2）第N个平均值>第N+1个平均值，并且第N+1个平均值<第N+2个平均值。

当上述的（1）或（2）被满足时，被确定为误差的合成系数（err）被输出至距离图像合成单元140，在本实施例中为err=1.0。

当上述（1）或（2）中任一个均不被满足时，被确定为不是误差的合成系数（err）被输出至距离图像合成单元140，在本实施例中为err=0.0。

这里，在图14所示的配置中，通过将缓冲器大小与带形宽度相匹配并使用三个缓冲器，第N个带形、第N+1个带形和第N+2个带形的平均值被确定，并且不均匀度确定被执行；但由于此配置依赖于从带形生成原始立体图像的方式，所以本公开并非局限于此配置。

接着，说明由不均匀度确定以及偏移值计算处理单元137确定的偏移值。后面将对使用该偏移值的示例进行描述。

在检测出各带形之间的距离信号的平均值不均匀的情况下，认为可以通过使带形的平均值变平坦而实施误差校正。

因此，在本实施例中，距离信号的偏移值根据以下（公式5）被计算，以便使第N个带形、第N+1个带形和第N+2个带形的距离信号的平均值变平坦。

（公式5）

这里，AveN：第N个带形的距离信号的平均值，

AveN+1：第N+1个带形的距离信号的平均值，

AveN+2：第N+2个带形的距离信号的平均值

这里，在上述（公式5）中，（×1/2）的项是决定偏移值的效果的强弱的可调参数，并且优选的是通过观察效果来执行改变到最佳值的调整。根据上述公式确定的偏移值被用于后述的带间不均匀度校正单元170的校正处理。

[7.结合三种类型的误差信号确定处理的配置示例]

先前已示出了三种类型的误差信号确定处理的示例，但也可以使用全部的这些示例。图15示出了该误差信号确定处理单元120的配置示例。

图15中所示的误差信号确定处理单元120采用其中并列设置了以下这些的配置：

（a）在[x.误差信号确定处理单元的第一配置示例]中，参照图3说明的方差计算处理单元121和非线性转换处理单元122，

（b）在[x.误差信号确定处理单元的第二配置示例]中，参照图11说明的带间相似度计算单元123和非线性转换处理单元124，以及

（c）在[x.误差信号确定处理单元的第三配置示例]中，参照图13说明的带间不均匀度确定单元129。

在本实施例中，因为上述（a）至（c）的误差确定处理的输出被设为0.0至1.0的范围并且误差程度在1.0时被设为最强，所以在乘法单元501和502中计算各个输出的乘积，并且可以将计算的结果作为误差确定结果输出至距离图像合成单元140以被设为合成系数（err）。

这里，其它配置也是可以的，例如也可以采用如下配置：对各个误差程度应用任意系数，对误差程度进行加权，并执行与输入的距离信号的误差特征的匹配。

[8.边缘保持型LPF的配置示例]

如参照图2所描述的，在距离图像合成单元140中，根据合成系数（err）合成的处理目标图像是以下两个图像：

（1）输入距离图像110（=Din），和

（2）由边缘保持型LPF处理单元输出的经滤波处理的图像（=DinLPFed）。

在边缘保持型LPF处理单元160中，执行以减小距离图像中所包含的噪声为目的的边缘保持型滤波器应用处理。

作为将应用此处理的滤波器的示例，图16示出了ε滤波器的配置示例。

当把输入像素值设为x（n）、把输出像素值设为y（n）时，ε滤波器是由以下（公式6）所定义的滤波器。

y (n) = x (x) - Σ_{k = - N}^{N} a_{k} \cdot f {x (n) - x (n - k)}

（公式6）

这里，f（）是以下（公式7）所定义的函数。

（公式7）

上述（公式7）中的α可以定义为α=0或者α=ε。

另外，上述（公式6）中所示的a_k是非递归型线性低通滤波器（FIR滤波器）的滤波器系数，并且为了保持直流分量而将总和设为1.0。

边缘保持型LPF处理单元160中所应用的ε滤波器具有图16中所示的配置。图16中所示的示例是配置（N×2+1）抽头ε滤波器的方框图并采用普通FIR滤波器的配置。

ε滤波器的配置取延迟设备D中所保持的距离图像的像素值（距离信号）与K=0的中心像素值（距离信号）之差，执行函数a_k×函数f（x）的计算处理，并采用抽头长度的总和。

图17中示出了边缘保持型LPF处理单元160的另一配置示例。

图17中所示的配置能够应用于参照图13和图14所说明的具有带间不均匀度确定单元129的配置。

如图17中所示，作为输入，边缘保持型LPF处理单元160而不是距离图像110按照带间不均匀度确定单元129确定的偏移值输入在带间不均匀度校正单元170中校正的距离图像。

图18中示出了带间不均匀度校正单元170的配置示例。

带间不均匀度校正单元170在水平线单位中依次输入距离图像的距离信号，并输入带间不均匀度确定单元129生成的偏移值。

输入的距离信号被发送至处理线单位中的图像缓冲器G171和图像缓冲器H172。各个缓冲器的宽度是与前面参照图14说明的带间不均匀度确定单元129的图像缓冲器D131和图像缓冲器E132相同的宽度，并且被配置成使得带间不均匀度确定单元确定的校正值被反映到相同带形的距离信号上。

对于从图像缓冲器H172输出的带形单位的距离图像的距离信号，其上添加了由带间不均匀度确定单元129确定的偏移值、即按照前面说明的（公式5）计算出的偏移值的偏移添加距离图像被生成并输出至边缘保持型LPF处理单元160。

边缘保持型LPF处理单元160对该偏移添加距离图像执行应用了边缘保持型噪声减小处理滤波器的噪声减小处理。通过添加该偏移添加距离图像生成处理，噪声减小效果被增大并且后续合成处理中的误差信号的校正效果被进一步增大。

[9.应用通过本公开的实施例的处理得出的经校正的高精度距离图像的应用示例]

接着，说明应用通过本公开的实施例的处理而得出的经校正的高精度距离图像或视差图像的应用示例。这里，距离图像（视差图像）能够被应用于各种设备的应用，诸如数码相机、摄像录像机、移动电话、游戏装置、内容编辑设备、PC和TV。下面对其中的一部分示例进行说明。

作为示例，输入图19A中所示的左眼图像和右眼图像，并确定图19B中所示的距离图像。

接着，将描述其中基于以上（B）距离图像的距离信息来分离物体和背景并如图19所示仅输出物体的应用。

首先，参考图20中所示的流程图来描述确定距离图像（=视差图像）的处理顺序。

例如，该处理能够在图像处理装置（诸如PC）中的数据处理单元、即配备了按照预先定义的顺序执行程序的CPU等的数据处理单元中执行。

首先，在步骤S101中，输入由图19A中所示的左眼图像和右眼图像所构成的立体图像。接着，在步骤S102中，执行应用输入的立体图像、即左眼图像和右眼图像的视差检测处理，并且执行根据检测的视差信息的物体距离的计算。例如，以左眼图像或右眼图像的像素为单位计算视差和物体距离。

接着，在步骤S103中，生成其中设置了反映以像素为单位来计算的距离信号的遮蔽等的像素值信号的距离图像。

随后，参照图21中所示流程图，说明利用生成的距离图像并对物体进行分离的处理。

即，该处理利用图19B中所示的距离图像并生成图19C中所示的物体分隔的图像。

此处理也能够在图像处理装置（诸如PC）的数据处理单元、即配备了按照预先定义的顺序执行程序的CPU等的数据处理单元中执行。

在步骤S111和S112中，输入左（或右）眼图像以及根据参照图20所说明的顺序而确定的距离图像。

接着，在步骤S 113中，以左（或右）眼用图像的像素为单位，从距离图像获取像素的距离。

接着，在步骤S114中，像素单位的距离被与预先设置的阈值（th）进行比较。

在步骤S114中，对于被判断为距离为阈值（th）或以下的像素区域，该区域被确定为比预定距离近的物体区域，处理进入步骤S115，并且像素被输出。

同时，在步骤S 114中，对于被判断为距离大于阈值（th）的像素区域，该区域被确定为比预定距离远的物体区域，处理进入步骤S116，并且透明像素（不设置像素值，或者白或黑等单一色的像素值）被输出。

在步骤S117中，判断对所有像素的处理是否完成，并且当对所有像素的处理完成时处理结束。

根据此过程，例如，如图19B中所示，如果距离图像中不包含误差，则切出如图19C中所示的特定物体。

然而，通常，如在图19D中所示的距离图像中，距离图像中包含误差，并且当应用包含这种误差的距离图像时，甚至当按照图21中所示的流程的处理被执行时，例如，执行物体的正确切出是不实际的，如图19E中所示。

但是，利用后面参照图2说明的本公开的实施例的图像处理装置，包含误差的距离图像的校正被执行，精确的距离图像（=视差图像）被确定，并且应用经校正的距离图像的图21中所示的流程被执行，由此能够执行如图19C所示的特定物体的正确切出。

参照图22中所示流程图，说明本公开的实施例的图像处理装置所执行的包含误差的距离图像的校正处理的顺序。

首先，在步骤S151中，输入如图19A中所示的由左眼图像和右眼图像所构成的立体图像。接着，在步骤S152中，执行应用输入的立体图像、即左眼图像和右眼图像的视差检测处理，并且执行根据检测的视差信息的物体距离的计算。例如，以左眼图像或右眼图像的像素为单位计算视差和物体距离面积。

接着，在步骤S153中，生成其中设置了反映以像素为单位计算出的距离信号的遮蔽等的像素值信号的距离图像。

该距离图像中有可能包含误差。

这里，在前面参照图2所说明的配置中，已经说明了输入已生成的距离图像并执行校正处理的配置；但也可以采用具有执行图22中所示流程的步骤S151至S153的处理的距离图像生成单元的配置。在此情况下，距离图像不被输入至图像处理装置，而仅左眼图像和右眼图像被输入为立体图像。

步骤S154的距离图像校正处理是参照图2至图18说明的图像处理装置中执行的距离图像校正处理。

根据该距离图像校正处理，距离图像中包含的误差被去除或减小，由此高精度的经校正的距离图像生成。

在步骤S155中，输出经校正的距离图像。

通过应用该经校正的距离图像并按照前面说明的图21中所示的流程执行处理，可以根据距离来更正确地执行物体切出处理。

[10.对本公开的配置的总结]

上面，参考具体实施例详细说明了本公开的实施例。然而，本领域技术人员可明了的是，在不背离本公开的实施例的精神的范围内可对这些实施例作出修改和替代。即，本公开是以示例的形式公开，不应被解释成是限制性的。为了确定本公开的实施例的精神，应参考权利要求部分。

这里，本说明书中所公开的技术能够采用以下配置。

（1）图像处理装置，包括：

误差确定处理单元，所述误差确定处理单元输入具有到物体的距离信息或视差信息的距离图像、检测所述距离图像中所包含的误差信号、根据图像区域单位的误差程度输出合成系数；

低通滤波器处理单元，所述低通滤波器处理单元将低通滤波器应用于距离图像并且生成噪声减小距离图像；以及

距离图像合成单元，所述距离图像合成单元利用距离图像与噪声减小距离图像的合成处理来生成经校正的距离图像，

其中，距离图像合成单元根据所述误差确定处理单元输出的图像区域单位的合成系数，以所述图像区域单位执行设置距离图像与噪声减小图像的合成比率的合成处理，并生成所述经校正的距离图像。

（2）根据（1）所述的图像处理装置，其中所述误差确定处理单元包括：方差计算处理单元，所述方差计算处理单元计算距离图像的经划分的区域单位的方差；及非线性转换处理单元，所述非线性转换处理单元利用由方差计算处理单元计算的经划分的区域单位的方差的非线性转换处理来计算合成系数。

（3）根据（1）或（2）所述的图像处理装置，其中所述误差确定处理单元包括：带间相似度计算单元，所述带间相似度计算单元确定带形区域之间的相似度，所述带形区域是距离图像在横向（水平）方向上均匀地或不均匀地以任意宽度分割成的经分割的区域；及非线性转换处理单元，所述非线性转换处理单元利用由带间相似度计算单元所计算的带间相似度的非线性转换处理来计算合成系数。

（4）根据（3）所述的图像处理装置，其中所述带形区域具有与在立体图像的生成处理时所使用的带形宽度相同的宽度，所述立体图像由三维图像显示中应用的左眼图像和右眼图像构成。

（5）根据（3）或（4）的图像处理装置，其中所述带间相似度计算单元计算距离图像中的每隔一个带形区域之间的距离信号的绝对差的和（SAD）作为带间相似度。

（6）根据（1）所述的图像处理装置，其中所述误差确定处理单元包括带间不均匀度确定单元，所述带间不均匀度确定单元检测带形区域之间的信号值的不均匀状态，并且生成并输出反映误差程度的合成系数，所述带形区域是距离图像在横向（水平）方向上被均匀地或不均匀地以任意宽度分割成的经分割的区域。

（7）根据（6）所述的图像处理装置，其中带间不均匀度确定单元计算距离图像中的三个连续带形区域的距离信号的平均值，从三个计算出的信号平均值计算相邻带形之间的信号平均值的两个差，基于两个计算的差确定带间不均匀度是否存在，并且根据所确定的结果生成并输出合成系数。

（8）根据（6）或（7）所述的图像处理装置，其中带间不均匀度确定单元计算并输出用于使三个连续带形区域的距离信号的平均值变平坦的偏移值。

（9）根据（1）至（8）中任一项所述的图像处理装置，其中低通滤波器处理单元执行边缘保持型噪声减小处理。

（10）根据（1）至（9）中任一项所述的图像处理装置，其中所述低通滤波器处理单元应用偏移值，通过将低通滤波器应用于为其执行了使三个连续带形区域的距离信号的平均值变平坦的校正处理的距离图像来生成噪声减小距离图像。

进而，本公开的实施例的配置包括在上述装置等中执行的处理的方法及执行该处理的程序。

另外，本说明书中所说明的一系列处理能够利用硬件、软件或者结合两者的配置来执行。在利用软件执行各处理的情况下，可以在构建到专用硬件内的计算机中安装并运行在存储器中记录处理顺序的程序，或者可以在能够运行各种类型的处理的通用计算机中运行程序。例如，可以预先将程序记录在记录介质中。除了将程序从记录介质安装到计算机上以外，还可以经由诸如LAN（局域网）或互联网之类的网络发送程序并安装到内置硬盘等的记录介质上。

这里，说明书中描述的每种类型的处理无需按照符合说明书的时间系列被执行即可根据执行处理的设备的处理能力或者根据需要并列地或独立执行。另外，本说明书中的系统是多个装置的逻辑组配置，并且该配置的装置都不限于被设置在同一壳体内。

本公开包含与2011年11月29日提交给日本专利局的日本优先权专利申请JP 2011-261034的公开内容相关的主题，其全部内容以参考的方式并入本文中。

本领域技术人员应当理解的是，只要在所附权利要求或其等同物的范围内，可根据设计要求以及其它因素进行各种修改、组合、子组合和变更。

Claims

1.一种图像处理装置，包括：

误差确定处理单元，所述误差确定处理单元输入具有到物体的距离信息或视差信息的距离图像，检测所述距离图像中所包含的误差信号，并根据图像区域单位的误差程度输出合成系数；

低通滤波器处理单元，所述低通滤波器处理单元将低通滤波器应用于所述距离图像并生成噪声减小距离图像；以及

距离图像合成单元，所述距离图像合成单元利用所述距离图像与所述噪声减小距离图像的合成处理来生成经校正的距离图像，其中，

所述距离图像合成单元根据所述误差确定处理单元所输出的图像区域单位的合成系数，以所述图像区域单位执行设置所述距离图像与所述噪声减小图像的合成比率的合成处理，并且生成所述经校正的距离图像。

2.根据权利要求1所述的图像处理装置，其中，所述误差确定处理单元包括：

方差计算处理单元，所述方差计算处理单元计算所述距离图像的经划分的区域单位的方差，以及

非线性转换处理单元，所述非线性转换处理单元利用所述方差计算处理单元所计算的经划分的区域单位的方差的非线性转换处理来计算所述合成系数。

3.根据权利要求1所述的图像处理装置，其中，所述误差确定处理单元包括：

带间相似度计算单元，所述带间相似度计算单元确定带形区域之间的相似度，所述带形区域是所述距离图像在横向即水平方向上被不均匀地或均匀地以任意宽度分割成的经分割的区域，以及

非线性转换处理单元，所述非线性转换处理单元利用由所述带间相似度计算单元计算的带间相似度的非线性转换处理来计算所述合成系数。

4.根据权利要求3所述的图像处理装置，其中，所述带形区域具有与在立体图像的生成处理时所使用的带形宽度相同的宽度，所述立体图像由三维图像显示中应用的左眼图像和右眼图像构成。

5.根据权利要求3所述的图像处理装置，其中，所述带间相似度计算单元计算距离图像中的每隔一个带形区域之间的距离信号的绝对差的和SAD作为带间相似度。

6.根据权利要求1所述的图像处理装置，其中，所述误差确定处理单元具有：带间不均匀度确定单元，所述带间不均匀度确定单元检测带形区域之间的信号值的不均匀状态，并且生成并输出反映误差程度的合成系数，所述带形区域是所述距离图像在横向即水平方向上被均匀地或不均匀地以任意宽度分割成的经分割的区域。

7.根据权利要求6所述的图像处理装置，其中，所述带间不均匀度确定单元计算所述距离图像中的三个连续带形区域的距离信号的平均值，从计算出的三个信号平均值计算相邻带形之间的信号平均值的两个差，基于计算出的两个差确定带间不均匀度是否存在，并根据所述确定结果生成并输出合成系数。

8.根据权利要求6所述的图像处理装置，其中，所述带间不均匀度确定单元计算并输出用于使三个连续带形区域的距离信号的平均值变平坦的偏移值。

9.根据权利要求1所述的图像处理装置，其中，所述低通滤波器处理单元执行边缘保持型噪声减小处理。

10.根据权利要求8所述的图像处理装置，其中，所述低通滤波器处理单元应用所述偏移值，并通过将低通滤波器应用于为其执行了使三个连续带形区域的距离信号的平均值变平坦的校正处理的距离图像来生成噪声减小距离图像。

11.一种在图像处理装置中执行的图像处理方法，所述方法包括：

输入具有到物体的距离信息或者视差信息的距离图像，检测所述距离图像中所包含的误差信号、以及根据图像区域单位的误差程度来输出合成系数；

将低通滤波器应用于所述距离图像，并生成噪声减小距离图像；以及

利用所述距离图像与所述噪声减小距离图像的合成处理来生成经校正的距离图像，

其中，在所述经校正的距离图像的生成中，根据在所述距离图像的输入中输出的图像区域单位的合成系数，以所述图像区域单位执行设置所述距离图像与所述噪声减小图像的合成比率的合成处理，并生成所述经校正的距离图像。

12.一种使图像处理装置执行图像处理的程序，包括：

输入具有到物体的距离信息或视差信息的距离图像，检测所述距离图像中所包含的误差信号，并根据图像区域单位的误差程度输出合成系数；

将低通滤波器应用于所述距离图像并且生成噪声减小距离图像；以及

在经校正的距离图像的生成中，根据在所述距离图像的输入中输出的图像区域单位的合成系数，以所述图像区域单位执行设置所述距离图像与所述噪声减小图像的合成比率的合成处理，并生成所述经校正的距离图像。