CN1501325A - 伪三维图像生成设备 - Google Patents

Abstract

由有无照明或不同照明强度下捕获的物体的多个图像生成物体的伪进深信息。伪三维图像生成设备生成伪三维图像。它包括存储图像的图像存储单元，以及根据图像中对应像素的像素值之间的运算计算物体的伪进深值的进深计算单元。由此提供了一种紧凑而轻便的三维图像生成设备。

Description

伪三维图像生成设备

技术领域

本发明主要涉及图像生成设备，尤其涉及一种由多个图像生成伪三维图像的设备、方法和计算机程序，以及存储该程序的计算机可读记录介质。

背景技术

现在有多种传统的三维测量方法。这些方法通常分为两类：被动方法和主动方法。立体法是典型的被动方法，而光分段法则是典型的主动方法。

在立体法中，使用两个以特定距离放置的图像捕获设备来捕获物体的图像。使用光学三角测量，根据两个图像捕获设备所捕获的图像中物体的投影位置的差异而确定物体的位置。在光分段法中，利用以特定距离放置的狭缝投影仪和图像捕获设备来捕获物体的图像。使用光学三角测量，根据所捕获的图像中光带投射在物体上的位置而确定物体的位置。

日本专利申请公开No.2000-329524公开了一种技术，其中，使用光学三角测量，利用亮度随物体上的位置而变化的光(例如，亮度自左向右增强的光)照亮物体，并测量每个位置的反射光的强度，从而确定物体的进深。然而，该技术要求以特定的距离放置图像捕获设备和照明设备。很难将该技术实施为紧凑型三维图像生成设备。

日本专利申请公开No.2000-121339公开了另外一种技术，其中，物体和图像捕获设备中间有一个特定距离，利用所谓的“飞行时间”原理，用亮度随时间变化的光照亮物体，并测量反射光的强度。然而，该方法需要用强度调制光照亮物体的特殊照明设备和装备有用于捕获强度调制光中变化的高速快门的图像捕获设备。很难将该技术实施为低成本的三维图像生成设备。

日本专利申请公开No.2-079179公开了一种技术，其中，使用X射线CT捕获的层析X射线照片计算伪进深值，例如，每个层析X射线照片对应于一个离散的进深值，透明图像平滑地与相邻的图像连接。然而，该方法需要透明的图像，例如由X射线CT捕获并且划分为分别对应于一个离散进深值的层析X射线照片。很难将该技术实施为医疗器械之外的通用三维图像生成设备。

最近以来，装备有摄像头的移动终端日益大众化。尽管由此类摄像头捕获的图像是二维，如果能采用三维图像的话，则可以扩展图像的应用并增加图像的使用率。因为传统的方法，不管是被动方法还是主动方法，都使用光学三角测量，需要以特定的距离放置(例如)图像捕获设备和狭缝投影仪。很难将传统方法应用于移动终端。另外，被动方法通常需要较短的测量时间，但是其生成的三维图像精度和质量都比较低。主动方法通常具有高精度，但是它要求较长的测量时间。主动方法更适用于工业设备。因为上面所述的其它方法还需要特殊的设备，所以它们的用途有限。

发明内容

因此，本发明的目的在于提供一种新颖而有效的图像生成设备。本发明的另一个更具体的目的在于提供一种紧凑并且易于使用的伪三维图像生成设备和一种适用于紧凑而易于使用的伪三维图像生成设备的伪三维图像生成方法。

术语“伪进深”指的是在物体的实际距离未知时，如下所述合理地确定并指定给物体而代替其实际进深的进深(距离)。术语“伪三维图像”指的是其进深为伪进深的三维图像。

根据本发明的伪三维图像生成设备由不同照明条件下捕获的多个图像生成物体的伪三维图像。该伪三维图像生成设备包括：存储图像的图像存储单元，和进深计算单元，进深计算单元计算存储在所述图像存储单元中一个图像中的像素的伪进深值，该计算基于所述像素的像素值和所述图像存储单元中存储的另一个图像的另一个像素的像素值，所述另一个像素对应于所述像素。

把不同照明条件下捕获的多个物体图像输入到伪三维图像生成设备中。对这些图像进行比较从而计算像素的进深值。不同的照明条件可以是使用照明设备照亮物体的情形和不使用照明设备照亮物体的情形。两种情形中图像之间的差异越大，则物体越接近于图像捕获设备。虽然进深值是离散的，也可以生成具有离散进深的伪三维图像。可以用连续函数替换离散的进深值，从而可平滑地连接各个离散的进深值。因此，该伪三维图像生成设备可以避免“纸片”效应，并使所生成的伪三维图像看起来很自然并具有很高的质量。

通过以下的详细说明，结合附图，可以更清楚地理解本发明的其它目的、特征和优点。

附图说明

图1是根据本发明第一实施例的伪三维图像生成设备的框图；

图2是根据第一实施例生成伪三维图像的流程图；

图3是根据第一实施例生成离散进深数据的步骤的流程图；

图4是图3所示步骤在使用平均值的情形下的流程图；

图5是根据本发明的第二实施例生成离散进深数据的步骤的流程图；

图6是解释物体的反射系数对离散进深数据的影响的原理图；

图7是图5所示步骤在使用平均值的情形下的流程图；

图8是根据本发明的第三实施例生成离散进深数据的步骤的流程图；

图9是图8所示步骤在使用平均值的情形下的流程图；

图10包含用于解释根据本发明的第四实施例将连续函数应用于伪三维图像的处理的图像和图形；

图11是一组用于解释根据本发明的第五实施例平滑伪进深图像的处理的图像；

图12是根据第五实施例的平滑滤波器的结果示例；

图13用于解释生成根据本发明实施例的离散进深数据所用的阈值的确定；以及

图14解释了根据本发明实施例的对象调整。

具体实施方式

下文将参照附图来详细描述本发明的优选实施例。

[第一实施例]

图1是根据本发明第一实施例的伪三维(3D)图像生成设备的框图。图1所示的伪三维图像生成设备10连接至图像捕获设备11，图像捕获设备11装备有或者连接至照明设备12，照明设备12照亮要捕捉图像的物体。伪三维图像生成设备10中提供了图像存储单元13、运算单元14和控制单元15。图像存储单元13存储物体的图像数据。运算单元14通过对具有不同照明强度的不同照明条件下捕获的多个图像进行比较，从而计算物体的伪进深。控制单元15控制上述单元。

图2是一个流程图，解释了由图1所示伪三维图像生成设备10执行的伪三维图像生成方法。参照图2所示的伪三维图像生成方法的流程图描述三维图像生成设备10的操作。

当生成物体的伪三维图像时，输入照明条件和要捕获的图像的数目k(步骤S21)。照明条件和图像数目k可以是预先固定的。在第j个照明条件下使用照明设备12照亮物体，并且输入由图像捕获设备11捕获的图像(S22)。照明强度在各个照明条件下是不同的。照明设备12响应于照明信号(例如，一个与图像捕获设备的快门同步的脉冲)而照亮物体。第j次捕获的图像信号存储在图像存储单元13的帧存储器j中作为图像数据(步骤S23)。重复处理步骤S22和S23直到所捕获的图像的数量达到数目k(步骤S24、S25)。

图像全部输入后，响应于控制单元15的指令，把所存储的图像数据从帧存储器131-133转移到运算单元14的图像运算单元141(步骤S26)。图像运算单元141根据在不同照明条件下捕获的图像，通过在相应像素的像素值之间执行运算(例如，减和/或除)，并将运算结果与一个预定阈值进行比较，从而生成离散的进深数据(步骤S27)。下面对离散进深数据进行详细的说明。

图像运算单元141执行预处理，以生成图像中的颜色信息，并计算进深值。例如，通过转换图像，使各个图像的对比度最大，并提取对比度最高的图像，从而生成颜色信息。经转换的图像可以适当地加权并组合。例如，预处理可以包括按颜色的边缘检测、对象检测和二值化后的扩展和收缩。可以由控制单元15选择上述处理方法的组合。

进深计算单元142使用图像运算单元141生成的离散进深数据计算各个像素的伪进深值(步骤S28)。

计算物体的进深值要求照亮该物体。图像捕获设备11和照明设备12可以并排放置。因此，伪三维图形生成设备10可以比传统设备更加紧凑。例如，伪三维图像生成设备10可以置于移动终端、笔记本电脑和数字相机中。

图3是图2所示生成离散进深数据的步骤(S27)的流程图。在该实施例中，假定进深值是二值化的以便于描述。设置了两个照明条件，即“有照明”和“无照明”，并且捕获了两个图像。在“有照明”条件下捕获的图像数据的第i像素的像素值表示为Ai，在“无照明”条件下捕获的图像数据的第i像素的像素值表示为Bi。定性地表示离散进深的二值化数据表示为Ci。

在计算进深值时，要确定阈值n和图像规格s(S31)。阈值n是一个参数，它将图像的像素划分为两类，即接近图像捕获设备11的像素和远离图像捕获设备11的像素。阈值n可以任意确定。下面说明阈值n的确定。图像规格s是输入图像数据中宽度方向的像素数目(x)与高度方向的像素数目(y)之积。由像素值Ai中减去像素值Bi。如果该减法的结果等于或者大于阈值n，则将Ci设置为等于1。否则，将Ci设置为等于0(步骤S32-S34)。针对图像数据的所有像素重复步骤S32-S34的处理(步骤S35-S36)。

二值化离散进深值Ci为1的像素被确定为接近图像捕获设备11。其它像素被确定为远离图像捕获设备11。如上所述，二值化数据Ci基于与阈值n的比较定性地表示像素的离散进深。利用二值化处理的结果作为伪进深值，可以高速地生成伪三维图像，不会有过多的计算负荷。

利用基于不同照明条件下捕获的多个图像的二值化处理，或使用不同阈值的二值化处理，可以计算出多级进深值。在此情形下，一个图像用作参考图像，可以执行各个其它图像与参考图像之间的运算。

图4是一个流程图，显示了参照图3所述的生成离散进深数据的步骤(图2中步骤S27)的一个变型。图4所示的生成离散进深数据的步骤与图3所示生成离散进深数据的步骤的不同之处在于：在计算像素i的二值化数据Ci时，分别使用像素i附近的几个像素的平均值A’i和B’i代替像素值Ai和Bi。因为使用了平均值，所以即使要进行比较的多个图像的数据有所偏差，也可以减少偏差的影响。如果适当地确定了要进行平均的像素的范围，则伪三维图像生成设备10也可适用于运动图像。因为平均提高了信噪比，所以运算和比较的结果变得稳定。

[第二实施例]

下文描述本发明的第二实施例。除了生成离散进深数据的步骤之外，第二实施例的伪三维图像生成设备和伪三维图像生成方法与第一实施例相同。因此，下面仅描述其差别。

图5是根据本发明的第二实施例生成离散进深数据的步骤的流程图。在第二实施例中，假定进深值为指示“近”和“远”的二值化数据。在“有照明”条件下的图像数据的第i像素的像素值表示为Ai，在“无照明”条件下的图像数据的第i像素的像素值表示为Bi，定性地指示离散进深的二值化数据表示为Ci。

在计算进深值时，首先确定阈值m和图像规格s(S51)。阈值m是一个用于向图像指定二值化离散进深数据的参数。阈值可以任意确定。图像规格s是输入图像数据中宽度方向的像素数目(x)与高度方向的像素数目(y)之积。如果像素值Ai与像素值Bi之比等于或大于阈值m，则将Ci设置为1，否则将Ci设置为等于0(步骤S52-S54)。针对图像数据的所有像素重复步骤S52-S54的处理(步骤S55-S56)。

二值化数据Ci为1的像素被确定为接近图像捕获设备11，其它像素被确定为远离图像捕获设备11。

如图5所示，在根据第二实施例生成离散进深数据的过程中使用像素值Ai与Bi之比。在存在具有不同反射系数的多个物体的情形下，如果象第二实施例那样根据像素值Ai和Bi之比而确定离散进深数据Ci，则反射系数的差异并不会影响离散进深数据Ci。在这样的情形下，如果象第一实施例那样根据像素值Ai与Bi之差来确定离散进深数据Ci，则反射系数的差异会影响离散进深数据Ci。因为反射系数随物体而异，所以具有高反射系数的物体会被确定为比实际情况更加接近图像捕获设备11，而具有低反射系数的物体会被确定为比实际情况更加远离图像捕获设备11。然而，在很多情况下可以忽略这个问题，比如远近区分，这只需很粗略地测量距离。

图6用于解释具有不同反射系数的多个物体的反射系数的差异对于离散进深数据Ci的影响。如图6所示，物体621和622与图像捕获设备61和照明设备63的距离相等。物体621和622的反射系数分别为ra和rb，且这两个系数并不相同。当图像捕获设备61捕获物体621和622的图像时，所捕获的图像显示在显示器64上。假定由照明设备63到达物体621和622的光强为X，物体621和622在显示器64上显示为亮度分别为ra*X和rb*X的对象641和642。同样，如果由照明设备63到达物体621和622的光强为Y，则物体621和622在显示器64上显示为亮度分别为ra*Y和rb*Y的对象641和642。物体621的亮度的差值为ra*(X-Y)，物体622的亮度的差值为rb*(X-Y)。尽管物体621和622与图像捕获设备61的距离相等，其亮度却并不相同。

如果如同第二实施例那样由除法计算离散进深数据Ci，则物体621的亮度之比为X/Y，物体622的亮度之比也为X/Y。因为反射系数的差异被抵消，所以等距离的物体的亮度之比相等。

在接近图像捕获设备的物体包含由低反射率材料构成的部分的情形下，该部分的亮度差值会小于预定的阈值，并且被错误地确定为远离图像捕获设备。然而，该部分的亮度比值大于预定的阈值，并且被确定为接近于图像捕获设备，这才是正确的。

通过基于不同照明条件下捕获的多个图像的二值化处理，或与第一实施例一样使用不同阈值的二值化处理，可以计算出多级进深值。

图7是一个流程图，显示了参照图5所述的生成离散进深数据的步骤(图2中的步骤S27)的变型。图7所示的生成离散进深数据的步骤与图5所示生成离散进深数据的步骤的不同之处在于：在计算像素i的二值化数据Ci时，分别使用像素i附近的几个像素的平均值A’i和B’i代替像素值Ai和Bi。因为使用了平均值，所以即使要进行比较的多个图像的数据有所偏差，也可以减少偏差的影响。如果适当地确定了要进行平均的像素的范围，则根据第二实施例的这一变型的伪三维图像生成设备10也可适用于运动图像。因为平均提高了信噪比，所以运算和比较的结果变得稳定。

现在参照图13说明第一实施例和第二实施例中使用的确定阈值的方法。图13显示了物体的距离与亮度之间的关系。曲线1310和1320显示了不同光强的照明状态下物体的亮度随距离的变化情况。图形表明，由照明设备到达物体的光强与距离的平方成反比。

在光强1310的情形中，到达距离2L的光强变为Y/4，其中Y是到达距离L的光强。图形中显示了一个阈值n。亮度大于或等于阈值n的像素比使用标号1311表示的距离更加接近于图像捕获设备。同样，在光强1320的情形中，亮度大于或等于阈值n的像素比使用标号1321表示的距离更加接近于图像捕获设备。因此，如果如同第一实施例那样根据像素值之差而确定离散进深数据，则可以根据照明光强而确定对应于某个距离的阈值。然而，在此情形中，必须适当地假设物体的反射系数。并不需要考虑室外日光(对应于照明设备未提供照明的照明条件)的影响，因为它在执行减法时抵消了。通过根据所生成的离散进深数据调节假设的反射系数，可以确定更加合适的阈值。

另一方面，如果如同第二实施例那样根据像素值之比而确定离散进深数据，则可以根据照明设备和室外日光(或者例如室内照明)投射的光强而确定对应于某个距离的阈值。

例如，如果室外光是恒定的，则会使图13所示的亮度的最小值增大一个恒定的偏移量。可以通过除法确定物体的相对距离。例如，因为照明光强与距离的平方成反比而减小，如果像素的除法结果是另外一个像素的除法结果的四倍，则该像素与图像捕捉设备的距离是另外一个像素与图像捕捉设备的距离的一半。

假定投射到物体上的室外日光是恒定的，则可以确定对应于某个距离的阈值。在此情形中，并不需要考虑物体的反射系数的差异的影响，因为它在除法中被抵消了。

根据所生成的离散进深数据调节假设的反射系数，可以确定更加合适的阈值。

[第三实施例]

下文描述本发明的第三实施例。除了生成离散进深数据的步骤之外，根据第三实施例的伪三维图像生成设备和伪三维图像生成方法与第一实施例相同。因此，下面仅描述其差别。

图8是一个流程图，显示了根据第三实施例生成离散进深数据的步骤。假定进深值为指示“近”和“远”的二值化数据。在“有照明”条件下的图像数据的第i像素的像素值表示为Ai，在“无照明”条件下的图像数据的第i像素的像素值表示为Bi，定性地指示离散进深的二值化数据表示为Ci。

在计算进深值时，首先确定用于减法的阈值n、用于除法的阈值m、预定像素值p和图像规格s(S81)。用于减法的阈值n、用于除法的阈值m和预定像素值p是用于向图像指定二值化离散进深数据的参数。这些参数可以任意确定。图像规格s是输入图像数据中宽度方向的像素数目(x)与高度方向的像素数目(y)之积。如果像素值Ai等于或大于预定像素值p，则利用阈值n生成离散进深数据，即在第一实施例中描述的步骤来生成离散进深数据。否则将利用阈值m生成离散进深数据，即在第二实施例中描述的步骤来生成离散进深数据。图8中步骤S82-S86显示了这两个步骤。

二值化数据Ci为1的像素被确定为接近图像捕获设备11，其它像素被确定为远离图像捕获设备11。

如上所述，使用减法计算得来的离散进深数据被作为伪距离而分配给亮度等于或高于预定像素值p的像素。在此情形中，因为计算负荷低，所以根据第三实施例的伪三维图像生成设备可以高速地生成伪三维图像。然而，通过除法计算得来的离散进深数据被作为伪距离而分配给亮度低于预定像素值p的像素。在此情形中，如果图像数据的一部分的亮度因为低反射系数而低于预定像素值，则通过除法计算得来的离散进深数据可以更加精确地表示实际距离。

通过结合基于不同照明条件下捕获的多个图像的二值化处理，或者与第一实施例一样使用不同阈值的二值化处理，可以计算出多级进深值。

图9是一个流程图，显示了参照图8所述的生成离散进深数据的步骤(图2中步骤S27)的变型。图9所示的生成离散进深数据的步骤与图8所示生成离散进深数据的步骤的不同之处在于：在计算像素i的二值化数据Ci时，分别使用像素i附近的几个像素的平均值A’i和B’i代替像素值Ai和Bi。因为使用了平均值，所以即使要进行比较的多个图像的数据有所偏差，也可以减少偏差的影响。如果适当地确定了要进行平均的像素的范围，则根据第三实施例的伪三维图像生成设备10也可适用于运动图像。因为平均提高了信噪比，所以运算和比较的结果变得稳定。

根据第三实施例的变型，可以使用多个预定像素值p1、p2……。例如，在使用两个预定像素值p1和p2且p1＞p2的情形中，如果像素值大于p1，则将阈值n1用于减法运算。如果像素值大于p2，则将另一个阈值n2用于减法运算。如果像素值等于或小于p2，则将另一个阈值n3用于减法运算。根据像素值而使用不同的阈值。在适应性地进行二值化处理的过程中，根据区域而确定阈值。

[第四实施例]

如上所述，在第一到第三实施例中，生成离散进深数据(图2中的步骤S27)，并且使用离散进深数据作为伪三维图像的进深。更具体地，向近物体的预定距离(进深)和远物体的预定距离(进深)赋予Ci值，即1和0。根据本发明的第四实施例，还对生成的离散距离数据进行进一步的处理，这样伪三维图像可以使观测者感觉更加真实(图2中步骤S28)。

图10显示了用于解释根据本发明第四实施例的伪三维图像生成方法的图像。下文参照图10描述该方法的算法。

根据第一到第三实施例中任一个生成的离散进深数据而对原始图像101进行划分。因为离散进深数据Ci是二值化数据，所以离散进深数据图像102是指示Ci的二维黑白图像。原始图像101可以根据离散进深数据图像102而划分为两个图像，即前景图像103和背景图像104。可以利用任何方法，例如根据第一到第三实施例的方法而生成离散进深数据图像102。

通过对各个区域进行区分而从前景图像103中提取出对象。前景图像103中的黑色部分是在另一个部分图像(即背景图像104)上存在的区域。保留在前景图像103中的相邻像素集合而成的部分图像1031、1032就是对应于物体的所谓对象。在此情形中，通过集合相邻的剩余像素而提取对象。可以根据颜色信息划分原始图像101而提取出对象。前景图像103中的对象1031和1032的进深值要重新计算，从而对象1031和1032的进深值平滑地与背景图像104的进深值相连接。更具体地，用适当确定的平滑函数代替对象1031和1032急剧地由背景图像104上升或由背景图像104下降的边缘。

图10显示了3个示例。图像105显示了由在对象的宽度方向上变化的二次函数代替对象的像素值的情形。图像106显示了如下情形：对象的进深值被一个函数替代，该函数的中心部分是恒定的，其各个肩部则是在宽度方向变化的二次函数。图像107显示了如下情形：每个对象的中心部分的进深值是恒定的，而每个对象的周边部分替换为一个二次函数，该函数沿着由各个对象的重心向外辐射的直线而变化。

在生成其中对象的进深值被替换为在对象的宽度方向上变化的二次函数的图像105时，对对象进行水平扫描，且向扫描线上的各个像素提供根据二次函数计算的伪进深值。例如，在扫描直线1051时，检测出直线1051上对象的左边缘和右边缘。把背景图像104的进深值设置为最小值，把距离背景图像104最远的前景图像103的最大进深值设置为最大值。把对象的进深值替换为一个二次函数的值，该函数经过对象的左边缘和右边缘处的最小值，以及对象的中心处的最大值。可以计算所捕获的二维图像的伪进深，并生成伪三维图像，而无需测量物体的实际进深。

在生成图像106时，其中对象的进深值被替换为一个函数，且该函数的中心部分是恒定的而每个肩部是一个二次函数，对对象进行水平扫描，且向各个像素分配伪进深值。例如，在扫描直线1061时，检测出直线1061上对象的左边缘和右边缘。把背景图像104的进深值设置为最小值，把距离背景图像104最远的前景图像103的最大进深值设置为最大值。把对象1031的进深值替换为函数1062。函数1062是一个复合函数，它包括经过对象1031的左(右)边缘处的最小值以及对象1031的中心以左(右)15％的位置处的最大值的二次函数，以及在中心30％的范围内恒定为最大值的线性函数。因为强调了对象的中心部分，所以与观察图像105相比，观察图形106的观测者感觉对象1031与他们的距离更近一些。

在生成图像107时，其中对象1031和1032的中心部分的进深值恒定，且每个对象的周边部分替换为由各个对象的重心沿向外辐射的直线变化的二次函数，计算对象1031的重心，并且向穿过对象1031的计算重心和边缘的各条直线提供伪进深值。例如，在计算直线1071上的进深值时，检测出对象1031的边缘和直线1071的交点。把背景图像104的进深值设置为最小值，把距离背景图像104最远的前景图像103的最大进深值设置为最大值。把各个进深值替换为函数1072的值。函数1072是一个经过交点处的最小值并在以重心为中心的两个交点之间的30％范围内恒定为最大值的函数。

因为强调了对象的中心部分，所以与观察图像105相比，观察图形107的观测者感觉对象1031与他们的距离更近一些。因为进深值是由对象的重心沿向外辐射的直线而计算的，所以对象的边缘得到了均匀的平滑，虽然对象的边界处有斜坡。与观察图像106相比，观察图像107的观测者感觉伪三维图像更加自然。

[第五实施例]

图11A和11B显示了用于解释根据本发明第五实施例的伪三维图像生成方法的图像。图11A显示了根据第四实施例的伪三维图像生成方法计算的部分图像的像素的原始进深值1110。图11B显示了平滑处理之后的进深值1130，在平滑处理中对以各个像素为中心的7×7像素范围进行了平均。

图12说明了根据第五实施例用于平滑处理的平滑滤波器。在此情形中，应用于进深值1110的平滑滤波器是一个简单的移动平均滤波器，其中将位于滤波器规格(7×7)  (以要处理的像素为中心)中所有像素的像素值乘以一个滤波器规格的乘法逆元素(1/49)并且求和。滤波器规格可以任意改变。可以将另一个滤波器用于平滑化，诸如滤波器中各个矩阵都适当加权的加权移动平均滤波器和滤波器中各个矩阵依照高斯分布进行加权的高斯滤波器。

图11A的放大图1112显示了原始进深值1110的颚部周围的部分。另一个图11B的放大图1132显示了经平滑的进深值1130的颚部周围的部分1131。通过放大图1112和1132之间的比较可见，平滑处理减少了进深值的急剧变化。

如果在根据第一到第四实施例的伪三维图像生成方法所生成的对象的进深值中存在急剧变化，则观察伪三维图像的观测者会对此感到不适。如果在对象的边界部分中进深值中存在急剧变化，因为对象看上去远离其它的相邻部分图像，所以观察伪三维图像的观测者也会对此感到不适。

在对象的进深值中存在急剧变化的情形中，对计算的进深值进行平滑处理可以防止观测者对伪三维图像感到不适。此外，在对象的边界部分的进深值中存在急剧变化的情形中，平滑处理可以使对象的进深值与相邻部分图像的进深值之间的连接平滑，并防止观测者对伪三维图像感到不适。

显而易见，适当设计的计算机程序可以使计算机执行上面的流程图中显示的步骤。同样显而易见的是，这样一个计算机程序可以存储在计算机可读记录介质中。

根据第一到第五实施例，基于离散进深数据，从捕获的图像中提取出所捕获的物体作为对象。把伪进深数据赋予包含在所提取对象中的像素。根据本发明的另外一个实施例，可以通过例如边缘检测和/或颜色信息之类的传统方法提取对象。可以把伪进深值赋予基于根据本发明的离散进深数据而使用传统方法提取的对象中包含的像素。例如，边缘检测可以由第一微分滤波器和第二微分滤波器执行。可以使用色彩空间和色彩强度来提取对象。

可以使用通过边缘检测和/或颜色信息提取的对象调整根据离散进深数据提取的对象。图14是用于解释一个对象的调整的原理图。例如，标号1410指示使用边缘检测提取的对象的轮廓。标号1420指示根据离散进深数据提取的区域。由于对象的反射系数的差异和/或对象的移动，离散进深数据会偏离反映对象的实际进深的真实图像。利用轮廓1410对这个偏离进行调节。具体而言，将根据离散进深数据提取的区域1420的轮廓调整到轮廓1410的最近部分。例如，将点1431调整为点1441，而将点1432调整为点1442。

通过在离散进深数据图像中去除小块区域和/或填补小孔，不仅轮廓而且离散进深数据图像都是可以调整的。例如，如果物体的一部分(例如，人的眼睛和纽扣)并未捕获为对象，则可以填补该部分。如果将物体中并未包含的部分捕获为对象，则可以去除该部分。可以根据经验确定要填充或去除的部分的尺寸。同样，如果两个对象之间的间隙很小，则可以填充该间隙以合并两个对象。可以和要填补或去除的部分一样根据经验确定间隙尺寸。

可以降低图像的分辨率以降低生成离散进深数据之前的计算负荷。可以通过降低图像的分辨率而降低计算量。如果所提取的对象因为反射系数和物体移动而有所偏差，则进深值的分辨率与纹理相比变得很粗。因此，偏离真实图像的离散进深数据图像的轮廓变得模糊，偏差看起来要小一些。

如果降低了平均图像的分辨率，则因为图像被平滑滤波器平滑处理，平均图像的信噪比可以有所提高。

信号S指示不带有任何噪声而捕获的无限灰度图像信息。噪声N指示包括光和电噪声及由量化误差造成的量化噪声之类的所有噪声因素在内的噪声量。

只有在分辨率降低之后保留的像素需要进行平均。例如，如果在宽度和高度方向上每隔一个像素进行平均，则需要进行平均的像素的数目可以降低到分辨率降低之前的1/4。使用根据第二实施例的除法运算生成离散进深数据对于图像中的噪声是高度敏感的。即使在此情形中，也可以通过降低图像的分辨率而提高信噪比。

并非需要执行上述所有处理，而是在必要的基础上根据控制单元15的指令仅仅执行所希望的处理。

如上所述，本发明提供了以下效果。

因为图像捕获设备和照明设备可以彼此接近地布置，所以根据本发明一个方面的伪三维图像生成设备比传统设备更加紧凑。

如果将简单二值化处理的结果用作伪距离，则因为计算负荷不大，所以根据本发明另一个方面的伪三维图像生成设备可以高速地生成伪三维图像。

根据本发明另外一个方面的伪三维图像生成设备可以无需任何复杂的测量而很容易地生成连续伪进深值。

根据本发明另外一个方面的伪三维图像生成设备可以减少由所计算的伪进深值中的急剧变化所引起的观测者的不适感受。

本发明的范围不应局限于这些实施例，在不脱离本发明范围的情况下可以进行各种变化和改进。

本专利申请基于2002年9月20日提交的日本专利申请No.2002-275471，在此将其全部内容作为参考资料引入。

Claims (18)

1.一种伪三维图像生成设备，其由不同照明条件下捕获的图像生成伪三维图像，包括：

存储图像的图像存储单元；以及

进深计算单元，其根据对应像素的像素值之间的运算，计算多个对应像素的伪进深值，每个存储的图像包含所述对应像素中的一个。

2.根据权利要求1所述的伪三维图像生成设备，其中：

所述进深计算单元降低图像的分辨率，并且根据分辨率降低之后图像的对应像素的像素值之间的运算计算所述对应像素的伪进深值。

3.根据权利要求2所述的伪三维图像生成设备，其中：

所述进深计算单元使图像平滑并降低图像的分辨率。

4.根据权利要求1所述的伪三维图像生成设备，其中：

所述进深计算单元通过将图像的对应像素的像素值之间的差值和比值之一与为各个像素预先确定的阈值进行比较，从而为各个像素指定离散进深值。

5.根据权利要求1所述的伪三维图像生成设备，还包括对象提取单元，其根据分配给对应像素的伪进深值提取物体的对象，伪进深值是由所述进深计算单元计算的。

6.根据权利要求5所述的伪三维图像生成设备，其中：

所述进深计算单元通过将所述对应像素的像素值之间的差值和比值之一与为各个像素预先确定的阈值进行比较，从而为各个像素指定离散进深值；以及

所述对象提取单元将一个图像的邻接像素提取为对象，所述邻接像素分配的离散进深值彼此相等。

7.根据权利要求6所述的伪三维图像生成设备，其中：

所述进深计算单元根据离散进深值而使一个进深函数适合于所述的对象。

8.根据权利要求6所述的伪三维图像生成设备，其中：

所述进深计算单元对整个图像、对象的周边部分和对象之一中预定区域内像素的离散进深值进行平滑。

9.一种由不同照明条件下捕获的多个图像生成伪三维图像的方法，包括下列步骤：

存储图像；以及

根据对应像素的像素值之间的运算，计算多个对应像素的伪进深值，每个存储的图像包含所述对应像素中的一个。

10.根据权利要求9所述的方法，其中计算伪进深值的步骤还包括：

降低图像的分辨率；以及

根据分辨率降低之后图像的对应像素的像素值之间的运算计算所述对应像素的伪进深值。

11.根据权利要求10所述的方法，其中，当降低图像的分辨率时，对图像进行平滑。

12.根据权利要求9所述的方法，其中，通过将图像的对应像素的像素值之间的差值和比值之一与为各个像素预先确定的阈值进行比较，从而为各个像素指定离散进深值。

13.根据权利要求9所述的方法，还包括根据分配给对应像素的伪进深值提取物体的对象。

14.根据权利要求13所述的方法，其中：

在计算进深值的步骤中，通过将所述对应像素的像素值之间的差值和比值之一与为各个像素预先确定的阈值进行比较，从而为各个像素指定离散进深值；以及

在提取对象的步骤中，将一个图像的邻接像素提取为对象，所述邻接像素分配的离散进深值彼此相等。

15.根据权利要求14所述的方法，还包括根据计算的离散进深值使一个进深函数适应于所述对象的步骤。

16.根据权利要求14所述的方法，还包括对整个图像、对象的周边部分和对象之一中预定区域内像素的离散进深值进行平滑的步骤。

17.一种计算机程序，其使计算机由不同照明条件下捕获的多个图像生成物体的伪三维图像，所述计算机程序包括以下步骤：

存储图像；以及

根据对应像素的像素值之间的运算，计算多个对应像素的伪进深值，每个存储的图像包含所述对应像素中的一个。

18.一种计算机可读记录介质，其存储使计算机由不同照明条件下捕获的多个图像生成物体的伪三维图像的计算机程序，所述计算机程序包括以下步骤：

存储图像；以及

根据对应像素的像素值之间的运算，计算多个对应像素的伪进深值，每个存储的图像包含所述对应像素中的一个。

Images