CN101996403B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明公开了图像处理装置、图像处理方法以及程序。一种图像处理装置包括：轮廓距离估计单元，获取关于图像中包括的区域的轮廓部分的距离信息；区域划分单元，基于像素属性值划分图像中包括的区域；区域平面估计单元，通过使用关于由划分得到的每个区域的轮廓部分的距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；异常数据判断单元，将区域平面与由距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对于区域平面具有高度偏移的距离信息判断为异常数据；以及区域内插单元，通过使用从距离信息中去除异常数据而得到的距离信息来估计区域内的距离。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置、图像处理方法以及程序。更具体地，本发明涉及计算到相机拍摄的图像中包括的每个对象的距离的图像处理装置、图像处理方法以及程序。 

背景技术

如下数据被称为距离映射图：在该数据中关于到相机拍摄的图像中包括的每个对象的距离的信息被与原始图像关联地表示。对距离图像中的不同距离值设定不同的像素值，在距离图像中距离映射图被表示为图像。例如，在距离图像中，较近的对象被表示为亮度值较高的像素，而较远的对象被表示为亮度值较低的像素。图1示出图像和距离图像的示例。参照图1，距离图像12是基于图像11的。如图1中的示例一样，到对象的距离是通过改变距离图像中的亮度值来表示的。 

距离映射图和距离图像可以在例如物体的三维形状的分析中使用。通过图像分析或三维形状的分析产生距离映射图和距离图像在例如日本待审专利申请公布No.2003-216932、日本待审专利申请公布No.2004-125708和日本待审专利申请公布No.2004-257934中公开。 

现在将描述从相机拍摄的图像生成距离图像。为了生成距离图像，需要获知相机和每个对象之间的距离。分析到对象的距离的多种技术包括在改变镜头的聚焦位置的同时找到映射最清楚的对象轮廓或图案的聚焦位置的技术。 

该技术是小型相机的自动聚焦机制中广泛使用的方法中的一种，而且也被称为对比度检测技术。当对象被聚焦时达到高对比度。在通过对比度检测技术的距离测量中，检测对比度的变化以确定每个对象的聚焦位置，并检测对应于聚焦位置的距离作为到对象的距离。 

在对比度检测技术中普遍使用通过使用各种差分滤波器来检测像素的亮度值急剧变化的像素位置的方法。通过这样的方法可获取对象的轮廓 和图案。用来检测轮廓和图案的差分滤波器在下文中被称为边缘检测滤波器。像素的亮度值是从灰度图像中的图像数据中直接获取的，而像素的亮度值则是基于彩色图像中的多个亮度分量的线性组合来计算的。 

通过使用对比度检测技术，在将镜头的聚焦位置从最短距离顺序地移动到无限远距离的同时记录关于在图像中检测到的每个对象的轮廓或图案的位置，这允许获取关于图像中包括的对象的轮廓或图案的距离信息以创建距离映射图。 

然而，因为例如缺少对象的轮廓上的像素之间的亮度差，所以在实际图像中每个对象的轮廓并不是恒定地检测。另外，由于即使改变聚焦位置，在没有图案的区域中用边缘检测滤波器仍然什么也检测不到，因此得到的距离映射图包括很多不确定的地带(即到对象的距离未被限定的地带)。这种地带在下文中称为距离不确定地带。 

现在将描述估计距离不确定地带中的距离以获取整个图像的距离图像。为了计算距离不确定地带中的距离，通常使用内插处理，该内插处理使用距离不确定地带周围的已知信息。换句话说，在对象的轮廓或图案上的位置观测到的已知的距离信息被用来估计关于对象的内部区域(在下文中称为对象区域)中的距离不确定地带的距离信息。 

具体地，如在图2A中示出的示例中一样，对象A 21的图像由相机20拍摄。在图像的拍摄中，通过使用对比度检测技术，在将镜头的聚焦位置从最短距离顺序地移动到无限远距离的同时记录图像中关于检测到的对象的轮廓或图案的位置。这得到图2B中示出的内插之前的距离图像22。 

通过对比度检测，在图2B中示出的内插之前的距离图像22中的对象A 21的轮廓部分中用边缘检测滤波器可以检测边缘以提供距离信息。在内插之前的距离图像22中的对象A 21的轮廓部分中的用不同灰度值表示的圆圈表示位置信息，其中像素的亮度值根据距离值来设定。亮度值越高表示距离越小，而亮度值越低表示距离越大。在图2B中示出的内插之前的距离图像22中的对象A 21的轮廓部分中的用不同灰度值表示的圆圈被示意性地放大，而实际的距离信息可以以像素级别来获取。 

在图2B中的内插之前的距离图像22中，因为内部区域没有图案，所以用对比度检测技术尽管能够获取关于对象A 21的轮廓部分的距离信息，但是不能够获取关于对象A 21的内部区域的距离信息。在此情况下， 进行内插处理以使用轮廓部分中获取的距离信息来估计内部区域中的距离值。由内插处理得到图2C中示出的内插之后的距离图像23。 

在内插处理中，对象区域被基于一定的标准来划分。例如，采用将图像中彼此接近并且颜色相似的部分归到一个区域中的划分方法是有效的。这种划分方法的使用允许例如以对象为单位的区域划分。 

例如，对例如设定为一个划分区域的区域中存在的距离不确定地带可以按以下方式进行内插处理。 

假定：在由对象的拍摄得到的原始图像中，在像素属性值Y(p)平滑地变化的图像区域中距离值D(p)平滑地变化，而在像素属性值Y(p)急剧变化的图像区域中距离值D(p)不连续地变化，其中像素属性值Y(p)表示由对象的拍摄得到的原始图像中的像素p的比如亮度或颜色等属性值。 

基于以上假定来估计像素p的距离值D(p)，其中像素p是在内插之前的距离图像中没有获取距离信息的像素。 

还假定在内插之前已获取了像素p周围的像素q的距离值D(q)。换句话说，像素q对应于例如图2B中示出的内插之前的距离图像22中的对象A 21的轮廓部分中的像素。 

如表达式(A)中所示，针对像素p估计的距离值D(p)可以通过像素p周围的像素q的距离值D(q)和权重w_pq的线性累加来近似。“N(p)”标记像素p周围的像素的集合。 

$\tilde{D}\left(p\right)\≈\underset{q\∈N\left(p\right)}{\mathrm{\Σ}}{w}_{\mathrm{pq}}D\left(q\right)---\left(A\right)$

在表达式(A)中，权重w_pq是函数，其值随着由对象的拍摄得到的原始图像中的像素p的像素属性值Y(p)和像素q的像素属性值Y(q)之间的差减小而增大。每个像素属性值Y(p)和像素属性值Y(q)表示例如亮度值或颜色。例如，其中假定正态分布的表达式(B)可以被用于计算权重w_pq： 

$w_{\mathrm{pq}}\∝e^{\frac{-{(Y\left(p\right)-Y\left(q\right))}^2}{{2\mathrm{\σ}}_p^2}}5---\left(B\right)$

在表达式(B)中，σ_p ²标记集合N(p)中包括的值Y的分布。 

用[向量b]标记以下一维向量：在该一维向量中，与在内插之前的距离图像中获取了距离信息的像素的距离值不同的距离值被设定为零，即其中与距离信息未被限定的距离不确定地带中的每个像素对应的估计的距离值D被设定为零的一维向量。 

用[向量x]标记以下一维向量：在该一维向量中，与距离信息未被限定的距离不确定地带中的每个像素对应的估计的距离值被根据表达式(A)计算以设定针对所有像素的距离信息。当图像具有n个像素×m个像素的大小时，整个图像中的像素数量等于n×m。[向量x]是其中布置针对所有像素(数量为n×m)的估计的距离值D的一维向量。 

向量x和向量b之间的关系可以表示为： 

Ax＝b        (C) 

其中A标记大小为(n×m)×(n×m)并且以权重w_pq作为元素的方矩阵。 

通过根据以下表达式计算向量x的值，能够获得针对整个图像的估计的距离值。通过使用例如共轭梯度法可以在数值上获得方矩阵A的逆矩阵： 

x＝A^-1·b    (D) 

通过按以上方式的内插处理，可以估计对象区域内的距离不确定地带的距离值，以创建针对整个图像的距离映射图和距离图像。 

发明内容

如上所述，可以针对距离值不确定的距离不确定地带进行内插处理以完成距离映射图和距离图像。然而，在例如如下情况下可能产生问题：在图像中的对象A的区域内的距离不确定地带的内插处理中，在该图像中存在另一相邻对象B。 

例如，存在如下情况：在相机拍摄的图像中对象A与对象B相邻，但是在实际空间中对象A与相机之间的距离同对象B与相机之间的距离大不相同的情况。在此情况下，在图像中的对象A的边界观测到的距离信息与在图像中的对象B的边界观测到的距离信息大不相同。当在这种情况下要使用在对象A的轮廓上观测到的距离信息来对对象A的内部区域进行内插时，很可能使用的是关于对象B的轮廓的距离信息。这样的处理可能造成内插的结果中的严重误差。现在将参照图3描述内插处理中的问题。 

参照图3，对象A 31的图像和对象B 32的图像由相机30拍摄以生成距离图像。 

矩形对象A 31距离相机30较远，而三角形对象B 32距离相机30较近。 

图4包括在XY平面、XZ平面和ZY平面上示出对象A 31和对象B32之间的位置关系的图。 

参照图4，X对应于水平方向，Y对应于竖直方向，以及Z对应于深度方向(＝与相机的距离)。 

通过使用对比度检测技术，在将图3中示出的相机30的镜头的聚焦位置从最短距离顺序地移动到无限远距离的同时记录图像中关于检测到的每个对象的轮廓或图案的位置。 

在初始状态下，基于在对象的轮廓上的位置处检测到的边缘信息来创建图5A中示出的观测到的距离值的距离映射图(距离图像a)。只提取图像中的对象A 31得到图5B中示出的距离映射图(距离图像b)。然而，图5B中的距离映射图(距离图像b)不合期望地包括在近侧的三角形对象B 32的轮廓上检测到的距离信息的一部分。 

在此状态下通过根据表达式(A)估计距离不确定地带中的距离值来对后面的矩形对象A 31的区域进行内插处理，得到图5C中示出的错误的内插结果(距离图像c)。图5C中的距离图像不合期望地包括由使用关于对象B 32的距离信息造成的错误区域。 

正常情况下应该产生的正确的距离图像是图5D中的距离图像d。然而，基于图5B中示出的距离图像b进行内插处理得到图5C中的错误的距离图像c。 

这种错误距离信息的混合是由包括下列的多种原因造成的： 

-对象的边界并不与检测到边缘的位置完全重合； 

-既在正确的对象边界之内又在正确的对象边界之外检测边缘。 

因为差分滤波器的特性，对象的边界被在从对象的正确边界向内和向外延伸的位置检测。在对象外检测到的边缘可能被混入到与对象相邻的区域中。然而，通常很难局部地判断边缘的哪一侧对应于对象的内侧。 

例如，当黑色对象存在于白色背景上或白色对象存在于黑色背景上时，无法判断边缘的哪一侧对应于对象的内侧。为了解决这个问题，可采用检测闭合区域以判断闭合区域的内侧对应于对象区域的方法。然而，由于用该方法不能够处理有孔的对象，因此该方法并不实用。 

当对象的边缘被检测时，很难判断对象存在于被所检测的边缘划分的区域的哪一侧。因此，也很难判断所观测到的距离值是否布置在正确的对象区域中。结果，很难精确地判断在轮廓上观测到的距离值是否可以被应用于特定区域的内插处理中，从而内插处理很可能被错误地进行。 

期望提供能够实现如下内插处理的图像处理设备、图像处理方法、程序：混合到该内插处理中的错误距离信息的数量减少，以生成具有高度精确性的距离图像。 

根据本发明的一种实施方式，一种图像处理装置包括：轮廓距离估计单元，获取关于图像中包括的区域的轮廓部分的距离信息；区域划分单元，基于像素属性值对图像中包括的区域进行划分；区域平面估计单元，通过使用关于所述区域划分单元的划分所产生的每个区域的所述轮廓部分的所述距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；异常数据判断单元，对所述区域平面估计单元计算的所述区域平面与由所述轮廓距离估计单元获取的所述距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对于所述区域平面具有高度偏移的所述距离信息判断为异常数据；以及区域内插单元，通过使用从所述轮廓距离估计单元获取的所述距离信息中去除所述异常数据而产生的所述距离信息来估计所述区域内的距离。 

所述图像处理装置还可以包括异常数据处理单元，所述异常数据处理单元保持被所述异常数据判断单元判断为针对所述图像中包括的第一区域的所述异常数据的所述距离信息。在第二区域中的所述异常数据的判断中，所述异常数据判断单元可基于所述第二区域中相对于所述区域平面的偏移程度来判断在所述异常数据处理单元中保持的数据是否是所述异常 数据。如果判断在所述异常数据处理单元中保持的数据不是针对所述第二区域的所述异常数据，则所述区域内插单元可将所述异常数据处理单元中保持的数据应用于所述第二区域的内插处理。 

针对构成由所述区域划分单元划分的所述区域的平面，所述区域平面估计单元可计算在xyz三维空间中的平面定义式ax+by+cz+d＝0中的参数a、b、c和d。 

针对构成由所述区域划分单元划分的所述区域的曲面，所述区域平面估计单元可计算在xyz三维空间中的曲面定义式ax²+by²+cz²+dxy+eyz+fzx+gx+hy+kz+m＝0中的参数a到h、k和m。 

通过最小二乘法或稳健估计法(robust estimation method)，所述区域平面估计单元可使用关于所述区域的所述轮廓部分的所述距离信息来计算所述区域平面定义式。 

所述区域平面估计单元可创建关于所述区域上的所述距离信息的直方图，可判断所创建的直方图是否只包括大致相同的距离数据，以及，如果判断所述直方图只包括大致相同的距离数据，则可判断构成所述区域的所述区域平面具有相同的距离。 

所述异常数据判断单元可将所述区域平面估计单元计算的所述区域平面和所述轮廓距离估计单元获取的所述距离信息在所述三维空间中的每个坐标位置之间的距离与预定阈值进行比较，以将距离大于所述预定阈值的所述距离信息判断为所述异常数据。 

所述异常数据判断单元可计算所述区域平面估计单元计算的所述区域平面和所述轮廓距离估计单元获取的多个距离信息在所述三维空间中的所述坐标位置之间的距离的平均值和标准差，以及，可将每个距离信息和所述平均值之间的差与所述标准差进行比较，以找出所述异常数据。 

根据本发明的另一实施方式，一种在图像处理装置中进行的图像处理方法包括以下步骤：由轮廓距离估计单元获取关于图像中包括的区域的轮廓部分的距离信息；由区域划分单元基于像素属性值对图像中包括的区域进行划分；由区域平面估计单元通过使用关于所述区域划分单元中的划分所产生的每个区域的所述轮廓部分的所述距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；由异常数据判断单元对所述区域平面估计单元计算的所述区域平面与由所述轮廓距离估计单元获取的所述距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对于所述 区域平面具有高度偏移的所述距离信息判断为异常数据；以及由区域内插单元通过使用从所述轮廓距离估计单元获取的所述距离信息中去除所述异常数据而产生的所述距离信息来估计所述区域内的距离。 

根据本发明的又一实施方式，一种程序使图像处理装置进行图像处理。所述程序包括以下步骤：使轮廓距离估计单元获取关于图像中包括的区域的轮廓部分的距离信息；使区域划分单元基于像素属性值对图像中包括的区域进行划分；使区域平面估计单元通过使用关于所述区域划分单元中的划分所产生的每个区域的所述轮廓部分的所述距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；使异常数据判断单元对所述区域平面估计单元计算的所述区域平面与由所述轮廓距离估计单元获取的所述距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对于所述区域平面具有高度偏移的所述距离信息判断为异常数据；以及使区域内插单元通过使用从所述轮廓距离估计单元获取的所述距离信息中去除所述异常数据产生的所述距离信息来估计所述区域内的距离。 

根据本发明的该实施方式的程序是计算机可读程序，其可被从记录介质或通信介质提供给能够执行多种程序代码的图像处理装置或计算机系统。提供该计算机可读程序使得对应于该程序的处理能够在所述图像处理装置或所述计算机系统中实现。 

从随后的参照附图的示例性实施方式的描述中本发明的更多特征和优点将变得显而易见。本说明书中的系统是多个装置的逻辑集合，而不限于组合在同一机箱中的部件。 

根据本发明的实施方式，采用如下配置：其中通过例如对比度检测技术来获取关于图像中包括的区域的轮廓区域的距离信息，以及估计在没有获取距离信息的区域中的地带中的距离值。在上述配置中，计算通过使用关于区域的轮廓区域的距离信息来定义构成区域的区域平面(比如平面)的区域平面定义式。进行区域内插处理，其中，将所计算的区域平面与距离信息所指示的三维坐标空间中的每个坐标位置进行比较，将相对于区域平面具有高度偏移的距离信息确定为异常数据，以及将去除了异常数据而得到的距离信息应用于估计区域内的距离。该处理允许防止产生由于使用异常数据而造成的内插误差，以生成具有高度精确性的距离图像。 

附图说明

图1示出距离图像的示例； 

图2A到图2C示出如何通过对比度检测技术生成距离图像的示例； 

图3是图示出当存在多个对象时内插处理误差如何产生的图； 

图4包括图示出当存在多个对象时内插处理误差如何产生的图； 

图5A到图5D是图示出当存在多个对象时内插处理误差如何产生的图； 

图6图示出根据本发明实施方式的图像处理的概况； 

图7A到图7C图示出根据本发明实施方式的图像处理的概况； 

图8是示出根据本发明第一实施方式的图像处理装置的配置的示例的框图； 

图9示出由根据本发明第一实施方式的图像处理装置产生的轮廓距离信息的示例； 

图10示出由根据本发明第一实施方式的图像处理装置产生的区域信息的示例； 

图11A到图11C示出在根据本发明第一实施方式的图像处理装置中如何判断异常数据的示例； 

图12A到图12B示出在根据本发明第一实施方式的图像处理装置中的区域内插器中如何进行内插处理的示例； 

图13是示出由根据本发明第一实施方式的图像处理装置进行的处理的示例的流程图； 

图14是示出根据本发明第二实施方式的图像处理装置的配置的示例的框图；以及 

图15是示出由根据本发明第二实施方式的图像处理装置进行的处理的示例的流程图。 

具体实施方式

在此将参照附图详细描述根据本发明实施方式的图像处理装置、图像处理方法以及程序。 

[1.本发明的实施方式中的图像处理的概况] 

现在将参照图6和图7描述本发明的实施方式中的图像处理的概况。 

在本发明的实施方式中，进行内插处理以生成距离图像，在内插处理中使用在边缘附近(例如，在对象的边界上)获取的特定距离信息来估计距离不确定地带中的距离。 

在开始内插处理之前，计算定义要经受内插处理的对象的平面的等式(这种等式在下文中被称为平面定义式)，并将相对于平面定义式偏移较大的距离信息判断为异常数据，以去除异常数据。只使用剩下的正常数据(即，只使用被判断为与包括由平面定义式定义的平面的对象对应的正常距离信息)来进行对平面的内部区域的内插处理。 

例如，在图6中示出的示例中，由相机100拍摄的对象A 101的图像和对象B 102的图像被应用于用对比度检测技术获取距离信息。对象A101和相机100之间的距离不同于对象B 102和相机100之间的距离。 

在对象A 101的内部区域的内插处理中，计算图6中示出的对象A 101的平面定义式S：ax+by+cz+d＝0。 

如上所述，初始距离图像只具有关于对象的轮廓的距离信息。图7A示出只具有关于对象A 101的轮廓的距离信息的初始距离图像a。尽管图7A中只示出了对象A 101，但是在对象A 101的边界上，不仅存在与到对象A 101的距离对应的距离信息，而且存在基于对象B 102的边界的距离信息。 

根据本发明实施方式的图像处理装置将基于对象B 102的边界的距离信息判断为异常数据，以去除异常数据。 

在内插处理开始之前，计算定义要经受内插处理的对象A 101的平面的平面定义式[S：ax+by+cz+d＝0]，并将相对于平面定义式偏移较大的距离信息判断为异常数据，以去除异常数据。 

结果，图7A中示出的异常数据120被去除，以提供图7B中示出的距离图像b，在距离图像b中只选择对应于对象A 101的正常的距离信息。距离图像b被应用于进行内插处理。 

由内插处理得到图7C中示出的距离图像c。由于距离图像c中只选择性地使用对象A 101的边界上的关于对象A 101的距离信息来估计对象A 101的内部区域中的距离，因此距离图像c由正确的距离信息构成。 

如上所述，根据本发明实施方式的图像处理装置能够：在开始内插处 理之前计算定义要经受内插处理的对象的平面的平面定义式，将相对于平面定义式偏移较大的距离信息判断为异常数据，以去除异常数据，以及进行其中只应用正常数据以生成没有误差的正确的距离图像的内插处理。 

[2.根据第一实施方式的图像处理装置] 

现在将参照图8到图13描述根据本发明第一实施方式的图像处理装置。 

图8是示出根据本发明第一实施方式的图像处理装置的配置的示例的框图。参照图8，该图像处理装置包括图像接收单元201、轮廓距离估计单元202、区域划分单元203、区域内插单元210、图像输出单元208以及控制单元220。区域内插单元210包括平面估计器204、异常数据判断器205、异常数据去除器206以及区域内插器207。图像处理装置中的这些部件根据例如控制单元220执行的程序来进行处理。 

图像接收单元201接收相机(未示出)拍摄的图像。在将相机的镜头的聚焦位置从最短距离顺序地移动至无限远距离的同时拍摄输入的图像251。 

轮廓距离估计单元202用边缘检测滤波器来检测亮度变化的峰值，以获取例如在每个对象的轮廓或图案上并与其处亮度变化最大化的像素对应的点的聚焦距离作为关于像素的距离信息。具体地，轮廓距离估计单元202获取图9中示出的轮廓距离信息252，以将所获取的轮廓距离信息252提供给区域内插单元210中的平面估计器204和异常数据判断器205。 

图9中的轮廓距离信息252是具有例如只关于每个对象的轮廓部分或图案边界的距离信息的数据。在第一实施方式中假定：对象A 101和对象B 102都没有图案，以及关于对象的内部区域的距离信息并非是通过对比度检测技术获取的。 

再次参照图8，区域划分单元203对基于输入的图像的对象区域进行划分。区域划分单元203将图像中像素值相似的每个区域处理为一个对象。例如，图像中彼此接近并且颜色相似的部分被判断为属于同一对象。例如，作为区域划分单元203中的区域划分的结果，生成图10中示出的区域信息253。 

图10中的区域信息253具有关于区域A 281和区域B 282的信息。区域A 281对应于对象A 101而区域B 282对应于对象B 102。 

区域划分单元203生成的区域信息253被提供给区域内插单元210 中的平面估计器204、异常数据判断器205以及区域内插器207。 

将描述区域内插单元210中的处理。区域内插单元210在控制单元220的控制下以区域划分单元203设定的区域为单位进行内插处理。 

现在将描述由区域内插单元210中的平面估计器204进行的处理。 

平面估计器204以区域划分单元203设定的区域为单位计算平面定义式。例如，当平面估计器204接收到图10中示出的区域信息253时，平面估计器204顺序地计算涉及区域A 281和区域B 282的平面定义式。现在将描述如何计算对应于对象A 101的区域A 281的平面定义式的一个示例。 

平面估计器204还接收由轮廓距离估计单元202生成的轮廓距离信息252(参照图9)。由轮廓距离估计单元202生成的轮廓距离信息252包括关于空间坐标(x，y，z)的信息，其中，除关于边缘(轮廓)部分的平面坐标(x，y)的信息之外的距离信息用z坐标表示。平面估计器204使用坐标信息来计算对应于特定对象的区域的平面定义式。 

由轮廓距离估计单元202生成的轮廓距离信息252(参照图9)包括关于构成对象A 101的平面的轮廓部分的多个坐标信息(x1，y1，z1)到(xn，yn，zn)。尽管这些坐标信息(x1，y1，z1)到(xn，yn，zn)中的一部分属于对象B 102，但其主要部分属于对象A 101。 

多个已知的坐标被用来检测其上设有已知坐标的一个平面。这种平面可以用多种方法计算。例如，可以使用最小二乘法或稳健估计法来计算平面定义式。在此以使用最小二乘法的处理为例。 

在区域的近似平面可通过特定方法确定的情况下，关于整个内部区域的距离数据可被确定。具体地，创建区域中包括的距离数据的直方图，以及，如果判断该直方图只包括大致相同的距离数据，则整个区域被判断为具有代表直方图的距离数据。例如，如果数据集中在高于预定阈值的部分的距离数据的特定范围内，则集中的距离数据被判断为表示整个区域的距离。用上述方法，如下所述的区域的近似平面的估计和区域中的距离不确定地带的内插可被省略以减少计算量。 

现在将描述如何通过最小二乘法计算平面定义式的一个示例。在最小二乘法中，当用假定的函数来近似已观测到的数据序列时，计算使残差的平方之和最小的参数。 

要处理的目标区域的xyz空间中的平面定义式根据表达式1被定义 为： 

S：ax+by+cz+d＝0        (1) 

其中a²+b²+c²＝1。 

平面估计器204按如下方式计算平面定义式S中的未知参数a、b、c，和d。 

将表达式(1)关于“z”重写得到表达式(2)： 

$z=-\frac{a}{c}x-\frac{b}{c}y-\frac{d}{c}=a_{1}x+a_{2}y+a_3$ (2) 

观测到的n个数据序列(x1，y1，z1)、(x2，y2，z2)......(xn，yn，zn)之间的关系用矩阵表示。观测到的n个数据序列(x1，y1，z1)到(xn，yn，zn)是包括在由轮廓距离估计单元202生成的轮廓距离信息252(参照图9)中的信息，并且是关于构成对象A 101的平面的轮廓部分的n个坐标信息。在表达式(2)中，值x和y用矩阵G表示；值a1、a2和a3用矩阵a表示；以及值z用矩阵z表示。具体地，表达式(2)中的值根据表达式(3)来表示： 

$G=\left(\begin{array}{ccc}{x}_1& y_1& 1\\ x_2& y_2& 1\\ & .& \\ & .& \\ x_n& y_n& 1\end{array}\right),a=\left(\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right)=\left(\begin{array}{c}-\frac{a}{c}\\ -\frac{b}{c}\\ -\frac{d}{c}\end{array}\right),z=\left(\begin{array}{c}{z}_1\\ z_2\\ .\\ .\\ z_n\end{array}\right)$ (3) 

如果观测到的n个数据序列(x1，y1，z1)到(xn，yn，zn)全都在平面S上，残差等于零，则表达式(4)成立： 

Ga＝z           (4) 

然而，表达式(5)表示的残差的平方之和J实际在平面S上的观测值和逻辑值之间： 

J＝(Ga-z)^T(Ga-z)(5) 

通过解下列标准方程(6)来计算使残差的平方之和J最小的最小二 乘平面S的参数向量a，在标准方程(6)中表达式(5)中的残差的平方之和J经历了用参数向量a的每个要素的偏微分，以将残差的平方之和J设定为零： 

G^TGa＝G^Tz                (6) 

展开表达式(6)得到表达式(7)： 

a＝(G^TG)^-1G^Tz            (7) 

其中矩阵G^TG由表达式(8)表示： 

$G^{T}G=\left(\begin{array}{ccccc}{x}_1& x_2& x_3& ...& x_n\\ y_1& y_2& y_3& ...& y_n\\ 1& 1& 1& ...& 1\end{array}\right)\left(\begin{array}{ccc}{x}_1& y_1& 1\\ x_2& y_2& 1\\ x_3& y_3& 1\\ & .& \\ & .& 1\\ & .& \\ x_n& y_n& 1\end{array}\right)=\left(\begin{array}{ccc}\mathrm{\Σ}{x}_i^2& \mathrm{\Σ}{x}_i{y}_i& \mathrm{\Σ}{x}_i\\ \mathrm{\Σ}{x}_i{y}_i& \mathrm{\Σ}{y}_i^2& \mathrm{\Σ}{y}_i\\ \mathrm{\Σ}{x}_i& \mathrm{\Σ}{y}_i& n\end{array}\right)$ (8) 

$=\left(\begin{array}{ccc}{p}_{11}& p_{12}& p_{13}\\ p_{21}& p_{22}& p_{23}\\ p_{31}& p_{32}& p_{33}\end{array}\right)=P$

符号∑表示当i＝1，...，n时的值的和。 

除非观测到的数据序列退化为一个点或直线的特殊情况，存在P的逆矩阵。根据表达式(9)代数地计算3×3矩阵的逆矩阵P^-1： 

det P＝p₁₁p₂₂p₃₃+p₂₁p₃₂p₁₃+p₃₁p₁₂p₂₃-p₁₁p₃₂p₂₃-p₃₁p₂₂p₁₃-p₂₁p₁₂p₃₃

$P^{-1}=\frac{1}{\det P}\left(\begin{array}{ccc}{p}_{22}{p}_{33}-p_{23}{p}_{32}& p_{13}{p}_{32}-p_{12}{p}_{33}& p_{12}{p}_{23}-p_{13}{p}_{22}\\ p_{23}{p}_{31}-p_{21}{p}_{33}& p_{11}{p}_{33}-p_{13}{p}_{31}& p_{13}{p}_{21}-p_{11}{p}_{23}\\ p_{21}{p}_{32}-p_{22}{p}_{31}& p_{12}{p}_{31}-p_{11}{p}_{32}& p_{11}{p}_{22}-p_{12}{p}_{21}\end{array}\right)$ (9) 

矩阵G^Tz由表达式(10)表示： 

$G^{T}z=\left(\begin{array}{ccccc}{x}_1& x_2& x_3& ...& x_n\\ y_1& y_2& y_3& ...& y_n\\ 1& 1& 1& ...& 1\end{array}\right)\left(\begin{array}{c}{z}_1\\ z_2\\ z_3\\ .\\ .\\ .\\ z_n\end{array}\right)=\left(\begin{array}{c}\mathrm{\Σ}{x}_i{z}_i\\ \mathrm{\Σ}{y}_i{z}_i\\ \mathrm{\Σ}{z}_i\end{array}\right)=\left(\begin{array}{c}{q}_1\\ q_2\\ q_3\end{array}\right)=q$ (10) 

矩阵a由基于表达式(7)到表达式(9)的表达式(11)表示： 

a＝(G^TG)^-1G^Tz＝P^-1q    (11) 

根据表达式(12)计算矩阵a中的元素a₁、a₂、a₃： 

$a_1=\frac{(p_{22}{p}_{33}-p_{23}{p}_{32})q_1+(p_{13}{p}_{32}-p_{12}{p}_{33})q_2+(p_{12}{p}_{23}-p_{13}{p}_{22})q_3}{\det P}$

(12) 

$a_2=\frac{(p_{23}{p}_{31}-p_{21}{p}_{33})q_1+(p_{11}{p}_{33}-p_{13}{p}_{31})q_2+(p_{13}{p}_{21}-p_{11}{p}_{23})q_3}{\det P}$

$a_3=\frac{(p_{21}{p}_{32}-p_{22}{p}_{31})q_1+(p_{12}{p}_{31}-p_{11}{p}_{32})q_2+(p_{11}{p}_{22}-p_{12}{p}_{21})q_3}{\det P}$

矩阵a中的元素a₁、a₂和a₃具有根据用如上述表达式(3)中所示的平面定义式S：ax+by+cz+d＝0中的参数a、b、c和d的表达式(13)的关系： 

a₁＝-(a/c) 

a₂＝-(b/c) 

a₃＝-(d/c)              (13) 

平面定义式S中的参数a、b、c和d根据关系表达式(13)来确定。 

向量(a，b，c)是平面S的法向向量，并且可以具有任意大小。在此，向量(a，b，c)的大小被设定为1。参数c根据表达式(14)来表示： 

a²+b²+c²＝1              (14) 

$c=\sqrt{1-a^2-b^2}$

因此，平面定义式S中的参数a、b、c和d根据表达式(15)来表示： 

$a=\±\frac{a_1}{\sqrt{a_1^2+a_2^2+1}}$

$b=\±\frac{a_2}{\sqrt{a_1^2+a_2^2+1}}$

$c=\stackrel{\‾}{+}\frac{1}{\sqrt{a_1^2+a_2^2+1}}$

$d=\±\frac{a_3}{\sqrt{a_1^2+a_2^2+1}}$ (15) 

由于不需要区别平面的正面和背面，因此加号或减号都可以使用。 

平面定义式S：ax+by+cz+d＝0基于按上述方式计算的平面参数a、b、c和d来确定。 

平面定义式S定义例如如图6和图7中示出的对象A 101的平面(图10中的区域A 281)。 

图8中的平面估计器204将包括平面参数a、b、c和d或者平面定义式S的平面信息254提供给异常数据判断器205。 

异常数据判断器205从由轮廓距离估计单元202产生的图9中示出的轮廓距离信息252中选择异常数据。由于处理目标是图6和图7中示出的对象A 101(图10中的区域A 281)，因此异常数据判断器205选择对应于对象A 101(区域A 281)的异常数据。 

现在将参照图11A到图11C描述异常数据判断器205如何判断异常数据的一个示例。 

图11A示出yz平面上的对象A 101和对象B 102。z坐标对应于与相机的距离。 

对象A 101的平面被表示为由平面估计器204计算的平面定义式S：ax+by+cz+d＝0。 

图11A中用不同灰度值表示的圆圈表示由轮廓距离估计单元202产生的轮廓距离信息252。轮廓距离信息252具有多个三维位置信息(x1，y1，z1)到(xn，yn，zn)。 

计算平面定义式S：ax+by+cz+d＝0与包括在由轮廓距离估计单元202产生的轮廓距离信息中的位置(x1，y1，z1)到(xn，yn，zn)中的每一个位置之间的距离。 

例如，第i个三维位置数据(xi，yi，zi)与平面S之间的距离d_i由表达式(16)表示： 

$d_i=\frac{|a{x}_i+{\mathrm{by}}_i+c{z}_i+d|}{\sqrt{a^2+b^2+c^2}}=|{\mathrm{ax}}_i+{\mathrm{by}}_i+{\mathrm{cz}}_i+d|$ (16) 

进行如下判断：与平面S的距离d_i比其它数据与平面S的距离大得多的数据是异常数据，以及该数据很可能不属于该区域。此判断可基于与预定阈值Th的比较。如果数据与平面S的距离d_i大于预定阈值Th，则该数据被判断为异常数据。换句话说，数据在表达式(17)成立时被判断为异常数据： 

d_i＞Th                  (17) 

图11A中示出的关于对象B 102的距离信息被判断为异常数据291。 

或者，可以采用如下方法来判断异常数据：计算区域的平面与获取为轮廓距离信息的全部数据(x1，y1，z1)到(xn，yn，zn)之间距离的平均值，计算平均值和每个距离d_i之间的差，以及将计算得到的差数据与距离的标准差σ进行比较，以判断异常数据。 

当基于与标准差σ的比较来判断异常数据时，第i个数据在表达式(18)成立时被判断为异常数据。 

$|\stackrel{\‾}{d}-d_i|>2\mathrm{\σ}$

其中 

标记距离d_i的平均值。 

$\mathrm{\σ}=\sqrt{\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(d_i-\stackrel{\‾}{d})}^2}$ (18) 

如上所述，区域的平面与三维空间上的坐标位置(由轮廓距离估计单元获取的多个距离信息表示)之间距离的平均值以及标准差可以被计算，以及每个距离信息和平均值之间的差可以与标准差进行比较，以找出异常数据。 

在异常数据判断器205中判断异常数据的处理中，例如，异常数据是按上述方式基于包括在由轮廓距离估计单元202产生的轮廓距离信息中的多个位置信息(x1，y1，z1)到(xn，yn，zn)来判断的。 

如图8中所示，异常数据判断器205将距离信息正常数据255提供给区域内插器207。距离信息正常数据255通过由判断异常数据的处理从包括在轮廓距离信息中的多个位置信息(x1，y1，z1)到(xn，yn，zn)中只选择正常数据而得到。此外，异常数据判断器205将只包括异常数据的距离信息异常数据256提供给异常数据去除器206。 

图11B中示出的初始距离图像对应于由轮廓距离估计单元202产生的轮廓距离信息252。图11B中的初始距离图像包括获取为轮廓距离信息的全部数据(x1，y1，z1)到(xn，yn，zn)。 

通过判断异常数据的处理，异常数据判断器205从包括在轮廓距离信息中的多个位置信息(x1，y1，z1)到(xn，yn，zn)中只选择异常数据。结果，由去除异常数据得到的图11C中示出的去除异常数据之后的距离图像被生成并提供给区域内插器207。 

异常数据去除器206去除距离信息异常数据256。 

区域内插器207使用从包括在轮廓距离信息中的多个位置信息(x1，y1，z1)到(xn，yn，zn)中只选择正常数据而得到的距离信息正常数据255来进行内插处理。 

图12A和图12B示出在区域内插器207中如何进行处理的一个示例。区域内插器207只使用包括在图12A中示出的去除异常数据之后的距离图像中的距离信息正常数据来对对象A 101中的距离不确定地带进行内插处理，所述去除异常数据之后的距离图像由去除在异常数据判断器205中判断的异常数据而得到。 

内插处理可根据上述表达式(A)来进行。 

在内插处理中，不使用异常数据，并且只使用关于全都属于对象A 101的轮廓的距离信息。结果，内插处理正确地没有误差区域地进行，图12B中示出的内插处理之后的正确的距离图像就被生成了。 

如图8中所示，图12B中示出的内插处理之后的正确的距离图像被作为整个区域的处理结果257提供给图像输出单元208，以及从图像输出单元208输出正确的距离图像260。 

如上所述，根据本发明第一实施方式的图像处理装置根据像素属性值(比如亮度值或颜色等)来对图像中包括的每个区域进行划分，计算每个区域的平面，以及将相对于计算得到的平面偏移的距离信息判断为异常数据，以去除异常数据。 

接着，图像处理装置进行内插处理，其中，使用只由去除异常数据得到的正常数据构成的距离信息来估计区域中的距离不确定地带中的距离。 

上述处理得到没有由异常数据导致的任何误差的精确的距离图像。 

尽管以上描述的只是对象A 101(区域A 281)的平面的计算和内插处理，但对象B 102(区域B 282)的平面的计算和内插处理在对象A 101(区域A 281)被处理之后进行。 

图13是示出根据本发明第一实施方式的处理的一个示例的流程图。图13中的处理在图8的轮廓距离估计单元202中产生了轮廓距离信息252(参照图9)以及在图8的区域划分单元203中产生了区域信息253(参照图10)之后进行。具体地，图13中的处理由图8中的区域内插单元210进行。如上所述，区域内插单元210在控制单元220的控制下以区域划分单元203所设定的区域为单位进行内插处理。 

参照图13，在步骤S101，图8中的控制单元220参照区域划分单元203中的区域信息253(参照图10)来选择没有进行内插处理的一个未处理区域。 

在步骤S102，图8中的平面估计器204计算对应于所选择的区域的平面定义式或平面参数。如上所述，此步骤通过使用关于空间坐标(x，y，z)的信息来进行，所述关于空间坐标(x，y，z)的信息由距离信息(z坐标)与包括在由轮廓距离估计单元202产生的轮廓距离信息252中的边缘(轮廓)部分的平面坐标(x，y)相加而得。 

通过使用由例如最小二乘法或稳健估计法得到的关于区域轮廓部分的多个坐标信息(x1，y1，z1)到(xn，yn，zn)来计算平面定义式。 

具体地，计算区域的平面定义式S：ax+by+cz+d＝0中的参数a、b、c和d。 

如上所述，在其近似平面可以通过不同于最小二乘法和稳健估计法的特定方法来确定的区域的情况下，关于整个内部区域的距离数据可被确定。具体地，创建区域中包括的距离数据的直方图，如果判断该直方图只包括大致相同的距离数据，则整个区域被判断为具有代表直方图的距离数据。当通过上述处理来估计平面时，对区域中的距离不确定地带的内插(步骤S105)可被省略，以减少计算量。 

在步骤S103，图8中的异常数据判断器205从由轮廓距离估计单元202产生的图9中示出的轮廓距离信息252中选择异常数据。异常数据判断器205中判断异常数据的处理按上述参照图11A到图11C描述的方式来进行。 

如图11A中所示，计算平面定义式S表示的平面和包括在由轮廓距离估计单元202产生的轮廓距离信息252中的多个三维位置信息(x1，y1，z1)到(xn，yn，zn)中的每个信息之间的距离。 

例如，以下数据被判断为异常数据：该数据的在第i个三维位置数据(xi，yi，zi)与平面S之间的距离d_i比其它数据的距离大得多。换句话说，判断这种数据为不属于目标区域的距离信息。 

具体地，可以进行与预定阈值Th的比较以判断异常数据。或者，可计算区域的平面与获取为轮廓距离信息的全部数据(x1，y1，z1)到(xn，yn，zn)之间的距离的平均值，可计算平均值和每个距离d_i之间的差，以及可将计算得到的差数据与距离的标准差σ进行比较，以判断异常数据。 

在步骤S104，图8中的异常数据去除器206去除被异常数据判断器205判断为异常数据的距离信息异常数据。 

在步骤S105，图8中的区域内插器207使用从包括在轮廓距离信息中的多个位置信息(x1，y1，z1)到(xn，yn，zn)中只选择正常数据而得到的距离信息正常数据来进行内插处理。 

该步骤按上述参照图12A和图12B描述的方式进行。区域内插器207只使用包括在图12A中示出的去除异常数据之后的距离图像中的距离信息正常数据来对目标区域(对象A 101)中的距离不确定地带进行内插处理，所述去除异常数据之后的距离图像由去除在异常数据判断器205中判断的异常数据而得到。插值处理可以根据上述表达式(A)来进行。 

在内插处理中，不使用异常数据，并且只使用关于全都属于单个对象A 101的轮廓的距离信息。结果，内插处理正确地没有误差区域地进行， 图12B中示出的内插处理之后的正确的距离图像就被生成了。 

在步骤S106，控制单元220判断是否对所有区域都完成了内插处理。所有区域指的是在区域划分单元203中的区域信息253(参照图10)中包括的所有区域。 

如果控制单元220判断尚未对所有区域完成内插处理和还有未处理的区域(步骤S106中的否)，则在步骤S107控制单元220选择一个未处理的区域。接着，处理返回到步骤S102来重复执行步骤。 

如果控制单元220判断对所有区域都完成了内插处理(步骤S106中的是)，则图13中的处理结束。 

如上所述，根据本发明第一实施方式的图像处理装置进行内插处理，其中，使用只由去除异常数据得到的正常数据构成的距离信息来估计区域中的距离不确定地带中的距离，从而获得没有由异常数据导致的任何误差的精确的距离图像。 

[3.根据第二实施方式的图像处理装置] 

下面将描述根据本发明第二实施方式的图像处理装置。在上述第一实施方式中进行检测异常数据以去除异常数据的处理。相反地，取代去除检测到的异常数据，在第二实施方式中进行将检测到的异常数据移动至相邻区域的处理。 

具体地，进行处理，以移动针对计算平面定义式并且经历内插处理的区域被判断为异常数据的距离信息，作为关于与目标区域相邻的区域的距离信息。在区域边界附近检测到的异常数据很可能原本属于相邻区域。因此，将区域边界附近的异常数据移动至相邻区域。换句话说，针对当前目标区域被判断为异常数据的距离信息被用作对应于相邻区域的距离信息。但是，在对相邻区域的处理中会再次判断该距离信息是正常数据还是异常数据。 

另外，在目的区域中，计算平面定义式以进行对距离信息是否属于该平面的判断。如果判断距离信息是异常数据，则去除该数据。 

根据第二实施方式，上述处理被进行以在相邻区域中有效地再次使用已被判断为异常数据的数据。使用剩下的数据进行对区域的内插，以获取区域中所有位置的估计的距离值。另外，在相邻区域中也以更高的可靠性获取估计的距离值。 

图14是示出根据本发明第二实施方式的图像处理装置的配置的一个示例的框图。参照图14，与上述参照图8描述的第一实施方式的图像处理装置的配置中一样，图像处理装置包括图像接收单元201、轮廓距离估计单元202、区域划分区域203、区域内插单元210、图像输出单元208以及控制单元220。 

第二实施方式的区域内插单元210包括平面估计器204、异常数据判断器205、异常数据处理器209以及区域内插器207。 

第二实施方式的图像处理装置与第一实施方式的图像处理装置的不同仅在于图8中的配置中的区域内插单元210的异常数据去除器206被异常数据处理器209取代。 

异常数据判断器205提供一个目标区域中的异常数据(即距离信息异常数据256)给异常数据处理器209。 

异常数据处理器209保持异常数据，直至在区域内插单元210中开始对随后区域的处理。当开始对随后区域的处理时，异常数据处理器209提供异常数据(即图14中的距离信息移动数据351)给异常数据判断器205。 

异常数据判断器205在对随后区域的处理中判断所提供的距离信息是否是正常数据。该判断以与第一实施方式相同的方式以及基于相对于由平面定义式设定的平面的偏移量来进行。 

图15是示出根据本发明第二实施方式的处理的一个示例的流程图。与第一实施方式中的上述图13的处理中一样，图15中的处理在图14的轮廓距离估计单元202中产生了轮廓距离信息252(参照图9)以及在图14的区域划分单元203中产生了区域信息253(参照图10)之后进行。具体地，图15中的处理由图14中的区域内插单元210进行。区域内插单元210在控制单元220的控制下以区域划分单元203所设定的区域为单位进行内插处理。 

参照图15，在步骤S201，图14中的控制单元220参照区域划分单元203中的区域信息253(参照图10)来选择没有进行内插处理的一个未处理区域。 

在步骤S202，图14中的平面估计器204计算对应于所选择的区域的平面定义式或平面参数。此步骤通过使用关于空间坐标(x，y，z)的信息来进行，所述关于空间坐标(x，y，z)的信息由距离信息(z坐标) 与包括在由轮廓距离估计单元202产生的轮廓距离信息252中的边缘(轮廓)部分的平面坐标(x，y)相加而得，如前所述。 

通过使用由例如最小二乘法或稳健估计法得到的关于区域轮廓部分的多个坐标信息(x1，y1，z1)到(xn，yn，zn)来计算平面定义式。 

具体地，计算区域的平面定义式S：ax+by+cz+d＝0中的参数a、b、c和d。 

如上所述，在其近似平面可以通过不同于最小二乘法和稳健估计法的特定方法来确定的区域的情况下，关于整个内部区域的距离数据可被确定。具体地，创建区域中包括的距离数据的直方图，如果判断该直方图只包括大致相同的距离数据，则整个区域被判断为具有代表直方图的距离数据。当通过上述处理来估计平面时，对区域中的距离不确定地带的内插(步骤S206)可被省略，以减少计算量。 

在步骤S203，图14中的异常数据判断器205从由轮廓距离估计单元202产生的图9中示出的轮廓距离信息252中选择异常数据。异常数据判断器205中判断异常数据的处理按上述参照图11A到图11C描述的方式来进行。 

如图11A中所示，计算平面定义式S表示的平面和包括在由轮廓距离估计单元202产生的轮廓距离信息252中的多个三维位置信息(x1，y1，z1)到(xn，yn，zn)中的每个信息之间的距离。 

例如，以下数据被判断为异常数据：该数据的在第i个三维位置数据(xi，yi，zi)与平面S之间的距离d_i比其它数据的距离大得多。换句话说，判断这种数据为不属于目标区域的距离信息。 

具体地，可以进行与预定阈值Th的比较以判断异常数据。或者，可计算区域的平面与被获取为轮廓距离信息的全部数据(x1，y1，z1)到(xn，yn，zn)之间的距离的平均值，可计算平均值和每个距离d_i之间的差，以及可将计算得到的差数据与距离的标准差σ进行比较，以判断异常数据。 

在步骤S204，图14中的异常数据判断器205判断在步骤S203中被判断为异常数据的距离信息是否是从相邻区域移动来的。换句话说，异常数据判断器205判断在步骤S203中被判断为异常数据的距离信息是否是从异常数据处理器209提供的(是图14中的距离信息移动数据351)。 

如果异常数据判断器205判断异常数据是从相邻区域移动来的距离信息(是图14中的距离信息移动数据351)(步骤S204中的是)，则处理 进入步骤S205。在此情况下，判断异常数据是在例如已被处理的相邻区域中也被判断为异常数据的数据。换句话说，该异常数据是在当前区域和相邻区域中都被判断为异常数据的数据。在步骤S205，图14中的异常数据处理器209去除该异常数据。 

如果异常数据判断器205判断异常数据不是从相邻区域移动来的距离信息(不是图14中的距离信息移动数据351)(步骤S204中的否)，则处理来到步骤S211。 

在步骤S211，图14中的异常数据处理器209判断与作为区域内插单元210的处理中处理的目标的当前区域相邻的区域是否是未处理区域。如果异常数据处理器209判断相邻区域是未处理区域(步骤S211中的是)，则处理来到步骤S213。如果异常数据处理器209判断相邻区域不是未处理区域(步骤S211中的否)，那么，在步骤S212，异常数据处理器209将该相邻区域设置为未处理区域。 

在步骤S213，异常数据处理器209将异常数据设为关于相邻区域的距离信息。距离信息在相邻区域的处理中使用。换句话说，当在区域内插单元210中进行相邻区域的处理时，距离信息被用作对应于相邻区域的距离信息。 

在步骤S206，图14中的区域内插器207使用从包括在轮廓距离信息中的多个位置信息(x1，y1，z1)到(xn，yn，zn)中只选择正常数据而得到的距离信息正常数据来进行内插处理。 

该步骤按上述参照图12A和图12B描述的方式进行。区域内插器207只使用包括在图12A中示出的去除异常数据之后的距离图像(其中的异常数据被在异常数据处理器209中去除)中的距离信息正常数据，来对目标区域(对象A101)中的距离不确定地带进行内插处理。插值处理可以根据上述表达式(A)来进行。 

在内插处理中，不使用异常数据，并且只使用全都被判断为属于单个对象的正确的距离信息。结果，内插处理正确地没有误差区域地进行，从而例如图12B中示出的内插处理之后的正确的距离图像就被生成了。 

在步骤S207，控制单元220判断是否对所有区域都完成了内插处理。所有区域指的是在区域划分单元203中的区域信息253(参照图10)中包括的所有区域。 

如果控制单元220判断尚未对所有区域完成内插处理和还有未处理 的区域(步骤S207中的否)，则在步骤S208控制单元220选择一个未处理的区域。接着，处理返回到步骤S202来重复执行步骤。 

如果控制单元220判断对所有区域都完成了内插处理(步骤S207中的是)，则图15中的处理结束。 

如上所述，根据本发明第二实施方式的图像处理装置进行内插处理，其中，使用只由去除异常数据得到的正常数据构成的距离信息来估计区域中的距离不确定地带中的距离，从而获得没有由异常数据导致的任何误差的精确的距离图像。 

另外，由于一个区域中被判断为异常数据的距离信息被再次用作相邻区域中的距离信息，因此能够有效地使用初始轮廓距离信息而不浪费轮廓距离信息，从而生成精确的距离图像。 

[4.其他实施方式] 

在上述实施方式中，计算每个区域的平面定义式，以基于相对于由平面定义式定义的平面的偏移状态来判断距离信息是否是正常数据。然而，构成对象的面并不限于平面而可以是曲面。 

当构成对象的面是曲面时，由对比度检测技术等初始获取的轮廓的距离信息可以被应用来创建曲面定义式，该距离信息可被基于相对于所创建的曲面的偏移状态而分为正常数据和异常数据，以及可只使用正常数据来在曲面上的每个区域中进行内插处理。 

例如，针对二维曲面的等式ax²+by²+cz²+dxy+eyz+fzx+gx+hy+kz+m＝0可以被用作曲面定义式。 

用上述等式计算曲面定义式中的参数a到h、k和m，以完成曲面定义式。在此情况下，图8和图14中示出的区域内插单元210中的平面估计器204作为曲面估计器工作，以计算参数a到h、k和m。由轮廓距离估计单元202估计的关于区域轮廓的多个数据(x1，y1，z1)到(xn，yn，zn)被用于曲面定义式的计算。与平面定义式的计算中一样，例如最小二乘法或稳健估计法可被用于曲面定义式的计算。 

用上述处理，即使当构成对象的面不是平面而是曲面时，仍然能够生成正确的距离图像。 

尽管使用了特定术语来描述本发明的实施方式，但本领域技术人员还应理解可在不背离所附权利要求的精神或范围的情况下进行改动和变化。 本说明书仅仅是为了举例说明的目的，而不应被限制性地解读。所附权利要求的范围要被最宽泛的解读，以包含所有这种修改和等同的结构及功能。 

以上描述的系列处理可以由硬件或软件或以硬件与软件的组合来执行。当系列处理是由软件执行时，记录有处理序列的程序可被安装在并入专用硬件中的计算机中的存储器中来执行，或者，程序可被安装在能够执行多种处理的通用计算机中来执行。例如，程序可被预先记录在记录介质中。取代从记录介质到计算机的程序安装，程序可被通过网络(比如局域网(LAN))来下载，并可被安装在记录介质(比如内置硬盘)中。 

以上描述的各种处理可以按照说明书的顺序以时间序列来进行，或者，可以根据进行处理的装置的处理能力或根据需要并行地或单个地来进行。 

本发明包含的主题涉及于2009年8月17日递交日本专利局的日本优先权专利申请JP2009-188369中公开的内容，因此通过引用将该申请的整体内容合并于此。 

本领域技术人员应当理解，根据设计要求和其它因素，可以在所附权利要求或其等同方案的范围内进行各种修改、组合、子组合和变型。 

Claims (9)

1.一种图像处理装置，包括：

轮廓距离估计单元，获取关于图像中包括的区域的轮廓部分的距离信息；

区域划分单元，基于像素属性值对图像中包括的区域进行划分；

区域平面估计单元，通过使用关于所述区域划分单元的划分所产生的每个区域的所述轮廓部分的所述距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；

异常数据判断单元，对所述区域平面估计单元计算的所述区域平面与由所述轮廓距离估计单元获取的所述距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对于所述区域平面具有高度偏移的所述距离信息判断为异常数据；以及

区域内插单元，通过使用从所述轮廓距离估计单元获取的所述距离信息中去除所述异常数据而产生的所述距离信息进行内插来估计所述区域内的距离。

2.根据权利要求1所述的图像处理装置，还包括：

异常数据处理单元，保持被所述异常数据判断单元判断为针对所述图像中包括的第一区域的所述异常数据的所述距离信息，

其中，在第二区域中的所述异常数据的判断中，所述异常数据判断单元基于所述第二区域中相对于所述区域平面的偏移程度来判断在所述异常数据处理单元中保持的数据是否是所述异常数据，以及

其中，如果判断在所述异常数据处理单元中保持的数据不是针对所述第二区域的所述异常数据，则所述区域内插单元将所述异常数据处理单元中保持的数据应用于所述第二区域的内插处理。

3.根据权利要求1或2所述的图像处理装置，

其中，针对构成由所述区域划分单元划分的所述区域的平面，所述区域平面估计单元计算在xyz三维空间中的平面定义式ax+by+cz+d＝0中的参数a、b、c和d。

4.根据权利要求1或2所述的图像处理装置，

其中，针对构成由所述区域划分单元划分的所述区域的曲面，所述区域平面估计单元计算在xyz三维空间中的曲面定义式ax²+by²+cz²+dxy+eyz+fzx+gx+hy+kz+m＝0中的参数a到h、k和m。

5.根据权利要求1或2所述的图像处理装置，

其中，通过最小二乘法或稳健估计法，所述区域平面估计单元使用关于所述区域的所述轮廓部分的所述距离信息来计算所述区域平面定义式。

6.根据权利要求1或2所述的图像处理装置，

其中，所述区域平面估计单元创建关于所述区域上的所述距离信息的直方图，判断所创建的直方图是否只包括大致相同的距离数据，以及，如果判断所述直方图只包括大致相同的距离数据，则判断构成所述区域的所述区域平面具有相同的距离。

7.根据权利要求1或2所述的图像处理装置，

其中，所述异常数据判断单元将所述区域平面估计单元计算的所述区域平面和所述轮廓距离估计单元获取的所述距离信息所指示的在所述三维空间中的每个坐标位置之间的距离与预定阈值进行比较，以将距离大于所述预定阈值的所述距离信息判断为所述异常数据。

8.根据权利要求1或2所述的图像处理装置，

其中，所述异常数据判断单元计算所述区域平面估计单元计算的所述区域平面和所述轮廓距离估计单元获取的多个距离信息所指示的在所述三维空间中的所述坐标位置之间的距离的平均值和标准差，以及，将每个距离信息和所述平均值之间的差与所述标准差进行比较，以找出所述异常数据。

9.一种在图像处理装置中进行的图像处理方法，所述方法包括以下步骤：

由轮廓距离估计单元获取关于图像中包括的区域的轮廓部分的距离信息；

由区域划分单元基于像素属性值对图像中包括的区域进行划分；

由区域平面估计单元通过使用关于所述区域划分单元中的划分所产生的每个区域的所述轮廓部分的所述距离信息来估计构成每个区域的区域平面，以计算区域平面定义式；

由异常数据判断单元对所述区域平面估计单元计算的所述区域平面与由所述轮廓距离估计单元获取的所述距离信息所指示的三维空间上的每个坐标位置进行比较，以将相对于所述区域平面具有高度偏移的所述距离信息判断为异常数据；以及

由区域内插单元通过使用从所述轮廓距离估计单元获取的所述距离信息中去除所述异常数据而产生的所述距离信息进行内插来估计所述区域内的距离。

Images