CN1954236A - 图像处理设备 - Google Patents

Abstract

一种图像处理设备，用于在“在调制频率处经强度调制的光线照射到目标空间内”的前提之下，从光接收元件的电输出产生距离图像和灰度图像。该设备具有图像产生器，用于按照发射出的光线与接收到的光线之间的相位差，产生具有多个像素值的距离图像，其中每一个像素值提供目标空间中的目标与该设备之间的一距离值；并按照接收到的光线强度，产生具有多个像素值的灰度图像，其中每一个像素值提供该目标的灰度值。利用该图像产生器的输出，可提取该目标的轮廓。

Description

图像处理设备

技术领域

本发明涉及一种图像处理设备，用于从目标空间提取空间信息，其中，强度调制光线照射在该目标空间内。

背景技术

过去，已经提出了各种类型的空间信息检测设备，用于通过图像拾取装置的输出来测量目标的距离信息或者提取目标轮廓。例如，日本特开平No.11-284997公开了一种从利用图像传感器生成的灰度图像提取目标轮廓的技术。此外，日本特开平No.64-10108公开了一种按照三角测量法通过向目标照射点状或者线性光图案、由位置灵敏度检测器(PSD)接收从目标反射的光线、然后将位置灵敏度检测器的输出转换为距离来确定与目标距离的技术。此外，PCT公报WO 03/085413公开了一种空间信息检测设备，用于通过对应于接收到的光线强度的电输出来检测例如距离的空间信息，其中，接收到的光线是通过向目标空间照射在发射频率处经强度调制的光线、然后接收从目标空间中的目标反射的光线而获得的。

顺便提及，通过利用灰度图像和距离信息能够获得更大量的空间信息。但是，根据传统技术，由于灰度图像的各灰度值以及对应的距离值并非由同一像素获得，因此，单独需要一个将灰度图像中的各位置与对应的距离值关联起来的处理。例如，在使用三角测量法的仪器中，由于光线是在目标空间中扫描的，因此在灰度图像的产生与距离信息的产生之间出现一个相对较大的时间延迟，使得它们之间的关联处理变得复杂。此外，当同时使用产生灰度图像的设备例如带CCD图像传感器的TV摄像机、和检测距离信息的设备例如位置灵敏度检测器时，整套仪器在尺寸和成本上的增加也成为问题。

发明内容

因此，本发明的主要目的是提供一种图像处理设备，能够通过向目标空间照射在调制频率处经强度调制的光线、并接收目标空间中的目标反射的光线，来产生距离图像和灰度图像。

也就是说，本发明的图像处理设备包括：

光源，构成为：向目标空间照射在调制频率处经强度调制的光线；

光接收元件例如光电转换器，构成为：接收从目标空间中的目标反射的光线，并产生对应于接收到的光线强度的电输出；以及

图像产生器，构成为：按照所述光源发射出的光线与所述光接收元件接收到的光线之间的相位差，产生具有多个像素值的距离图像，其中每一个像素值提供该目标与该图像处理设备之间的一距离值；并按照接收到的光线强度，产生具有多个像素值的灰度图像，其中每一个像素值提供该目标的灰度值。

按照本发明，可以从与在某时间由光接收元件接收到的光线强度相对应的电输出获得目标的灰度图像和距离图像。此外，由于灰度图像的各灰度值和对应的距离图像的距离值是从同一个像素获得的，因此不需要对灰度图像中的各位置与对应的距离值作关联处理。因此，可以利用灰度图像和距离图像获得更大量的空间信息，而不进行这种复杂的关联处理。此外，与将仅产生灰度图像的传统图像拾取设备与提取距离信息的传统距离测量设备组合的情形相比较，另外的优点是缩小了设备的整体尺寸，并实现了成本降低。

在本发明中，优选地，该图像处理设备还包括：微分器，构成为：从所述距离图像产生具有多个像素值的距离微分图像，其中每一个像素值提供一距离微分值；并从所述灰度图像产生具有多个像素值的灰度微分图像，其中每一个像素值提供一灰度微分值；以及轮廓提取器，构成为：利用所述距离微分图像和所述灰度微分图像提取目标的轮廓。在这种情形下，与仅使用灰度图像的情形相比，可减少噪声量，并清楚地提取目标轮廓。

优选地，所述图像产生器以时间序列方式产生所述灰度图像，并且该图像处理设备还包括：微分器，构成为从所述灰度图像产生具有多个像素值的灰度微分图像，其中每一个像素值提供一灰度微分值；以及目标检测器，构成为利用所述灰度微分值和所述距离值检测该目标。在这种情形下，可容易地将目标空间中具有大的对比度差的区域从其它具有相对小的对比度差的区域中分离出来。因此，在目标空间中目标与背景之间高对比度的条件下，能有效地提取目标的轮廓。此外，从与利用灰度微分图像提取的区域相对应的距离图像的距离值可获得所需距离范围内的目标轮廓。

优选地，所述目标检测器产生一对灰度微分图像之间的差值图像(difference image)，在所述差值图像中提取各像素值不小于一阈值的区域，然后当对应于所述区域的所述距离图像的像素值的一代表值在预定范围内时，检测所述区域作为该目标，其中，所述一对灰度微分图像是从在不同时间获得的两个灰度图像产生的。在这种情形下，可以仅提取在目标空间内发生亮度变化的区域。此外，由于去除了各像素值小于该阈值的区域，因此可提取出以下区域：其中，目标在产生两个灰度图像的不同时间之间移动。此外，利用从灰度图像和距离图像得出的差值图像，可以按距离准确地将目标区域从背景分离。

此外，优选地，所述目标检测器：产生多个差值图像，其中各差值图像为从不同时间获得的至少三个灰度图像产生的至少三个灰度微分图像中的两个之间的差；对于各所述差值图像提取各像素值不小于一阈值的区域，来获得二进制图像，在其中一个所述二进制图像的各像素值与另一个所述二进制图像的对应像素值之间进行逻辑运算，来提取它们之间的公共区；以及当对应于所述公共区的所述距离图像的像素值的一代表值在预定范围内时，检测所述公共区作为该目标。在这种情形下，优点是：能提取出在目标空间中移动的目标的轮廓，同时几乎去除了背景。此外，利用从灰度图像和距离图像得出的差值图像，可以按距离准确地将目标区域从背景分离。

作为本发明的优选实施例，该图像处理设备还包括：测量点确定单元，构成为在所述图像产生器产生的所述灰度图像中确定目标上的多个测量点；以及距离计算器，构成为利用与所述图像产生器产生的所述距离图像中的各所述测量点相对应的像素的距离值，来计算目标上的两个所述测量点之间的实际距离。在这种情形下，与将仅产生灰度图像的传统图像拾取设备与提取距离信息的传统距离测量设备组合，然后对灰度图像中的各位置与对应的距离值进行关联处理的情形相比较，可容易地确定目标的所需部分的实际尺寸。

作为本发明的另一优选实施例，该图像处理设备还包括：形状估计单元，构成为从所述图像产生器产生的所述距离图像和所述灰度图像中的至少一个估计该目标的3D模型；以及体积估计单元，构成为按照上述形状估计单元和距离计算器的输出估计该目标的体积。特别地，当提供有用于显示所述图像产生器产生的灰度图像的监视器，并且所述测量点确定单元包括位置指定器，其构成为使得用户能通过触摸所述监视器的屏幕，在显示于所述监视器上的目标上指定所需的测量点时，可通过所述距离计算器计算所述位置指定器指定的两个所需的测量点之间的实际距离。在此图像处理设备中，即使光接收元件仅从一个方向接收三维目标反射的光线，通过利用距离图像和灰度图像也可以相对准确地估计目标的3D信息例如形状和体积。此外，可容易地计算目标的所需部分的实际尺寸。

作为本发明的又一优选实施例，该图像处理设备还包括：目标提取器，构成为从所述图像产生器产生的灰度图像中提取具有预定形状的目标；并且所述测量点确定单元确定所述目标提取器提取的目标上的多个测量点，并且所述距离计算器计算所确定的测量点中的两个测量点之间的实际距离。在这种情形下，由于不需要使得用户来指定测量点，所以可以自动地计算目标的预定部分的实际尺寸。此外，与由用户每次指定测量点的情形相比，可以减少实际尺寸的测量结果的变化。

作为本发明的再一优选实施例，该图像处理设备还包括：参考像素检测器，构成为检测在所述距离图像中的预定区域内具有最小距离值的像素作为参考像素；像素提取器，构成为在所述距离图像内设定包括所述参考像素的特定区域，并从所述特定区域提取一组距离值在预定范围内的像素；以及曝光控制器，构成为按照灰度图像来控制所述光接收元件的灵敏度，其中该灰度图像的各像素与所述像素提取器提取的各像素具有一一对应关系。在这种情形下，光接收元件可被自动地控制来校正曝光，而不管目标空间的亮度或者目标的背景如何。因此，该图像处理设备优选用于TV对讲机。

参照附图，并根据如下所述实现本发明的最佳实施方式，本发明的这些及附加目的与优点将更加明显。

附图说明

图1为根据本发明第一实施例的图像处理设备的方块图；

图2A至图2C中，图2A为示出飞行时间方法的曲线图，图2B和图2C示出向光接收元件的电极施加控制电压的时刻：

图3A和图3B为示出光接收元件的灵敏度控制方法的示意性横截面图；

图4为光接收元件的平面图；

图5为示出另一光接收元件的方块图；

图6A和图6B为示出图像处理设备的电荷产生和保持操作的示意图；

图7A和图7B为示出图像处理设备的另一次电荷产生和保持操作的示意图；

图8示出用于确定距离微分值的3×3像素排列；

图9为根据本发明第二实施例的图像处理设备的方块图；

图10为示出提取在目标空间中移动的目标轮廓的方法的示意图；

图11为根据本发明第三实施例的图像处理设备的方块图；

图12为根据本发明第四实施例的图像处理设备的方块图；

图13为示出图像处理设备的操作的示意图；

图14A和图14B为图像处理设备产生的目标的距离图像的示意图；

图15为根据本发明第五实施例的图像处理设备的方块图；以及

图16为示出图像处理设备的操作的示意图。

具体实施方式

<第一实施例>

如图1所示，本实施例的图像处理设备包括：光源1，用于将光线照射到目标空间内；光接收元件2，用于接收从目标空间中的目标M(例如人)反射的光线；控制单元3，用于光接收元件；图像产生器4，用于从光接收元件2的输出产生距离图像和灰度图像；微分器50，用于从距离图像产生距离微分图像并从灰度图像产生灰度微分图像；以及轮廓提取器52，用于利用距离微分图像和灰度微分图像来提取目标M的轮廓。

本发明基于以下前提：光源1与目标M之间的距离通过飞行时间来确定，该飞行时间定义为：在从光源照射出光线与光接收元件2接收到从目标反射的光线之间经过的时间段。由于飞行时间极短，所以从光源1照射出在所需的调制频率处经强度调制的光线。因此，利用从光源1发射出的强度调制光线与光接收元件2接收到的光线之间的相位差就可以确定距离。

在美国专利No.5,656,667和PCT公报No.WO 03/085413中描述了“飞行时间”方法。因此，本说明书中对其原理只作简要说明。例如，如图2所示，当光源1发射出的光线强度如曲线“S1”所示变化并且光接收元件2接收到的光线强度如曲线“S2”所示变化时，那么可在四个不同的相位(0°，90°，180°，270°)中的各个相位检测接收到的光线强度，从而获得四个强度(A0，A1，A2，A3)。由于不可能检测到正好在各相位(0°，90°，180°，270°)瞬时接收的光线强度，所以各强度(A0，A1，A2，A3)实际上对应于在一个短时间宽度“Tw”内接收的光线强度。假设：在调制周期内相位差“ψ”不变，并且在从光源1照射出光线与接收到从目标M反射的光线之间的时间段内，消光比不变化，那么相位差“ψ”可用以下方程式(1)表示：

ψ＝tan^-1{(A2-A0)/(A1-A3)}    (1)

在本发明中，可在除了相隔90度的四个不同相位(0°，90°，180°，270°)之外的不同相位检测接收到的光线强度。

例如，发光二极管(LED)阵列、或者半导体激光器与发散透镜的组合可用作光源1。用调制信号以所需的调制频率驱动光源1，从而发射出由调制信号调制强度的光线，其中，所需的调制频率由控制单元3提供。例如，由20MHz正弦波调制强度的光线照射到目标空间。可替代地，也可利用其它波形例如三角波或者锯齿波来进行强度调制。

光接收器件2包括：多个光电转换器20，各光电转换器20在光接收面接收目标空间中的目标所反射的光线，并产生与接收到的光线强度对应的电荷量；灵敏度控制器22，用于控制各光电转换器的灵敏度；电荷收集部24，用于收集由光电转换器产生的至少部分电荷；以及电荷发射部26，用于输出来自电荷收集部的电荷。本实施例中，在与光源1发射出的光线强度的变化同步的四个时刻确定接收到的光量(A0，A1，A2，A3)，以获得图像处理设备与目标之间的距离。如下所述，这些时刻由控制单元3控制。由于在光源发射出的光线强度变化的一个周期内，各光电转换器20产生的电荷量少，因此优选在发射出的光线强度变化的多个周期内收集电荷。例如，光电转换器20、灵敏度控制器22以及电荷收集部24设置为单个半导体器件。电荷发射部26可具有与传统CCD图像传感器的垂直传输部或者水平传输部大体上相同的结构。

强度调制光线由目标M反射，然后反射的光线通过所需的光学系统5入射到光电转换器22。如图3A和图3B所示，各光电转换器20包括：掺杂的半导体层11，以及绝缘膜12，例如在掺杂的半导体层11的全表面(generalsurface)上形成的氧化膜。多个控制电极13通过绝缘膜12形成在掺杂的半导体层11上。例如，光电转换器22的100×100矩阵排列可用作图像传感器。

此类型的光接收元件2可通过在单个半导体衬底中形成光电转换器20的矩阵图案而获得。在光电转换器20的矩阵图案的各列中，掺杂的半导体层11通常用作垂直传输部，以在列方向上传输电荷(电子“e”)。另一方面，从该矩阵图案各列的半导体层11的末端提供的电荷通过水平传输部在行方向上传输。例如，如图4所示，光接收元件2具有图像拾取部Da以及累积部Db，其中图像拾取部Da是由光电转换器20的矩阵图案形成的，累积部Db在靠近图像拾取区Da处设置有光屏蔽。收集在累积部Db中的电荷被传输到水平传输部Th中。电荷发射部26包括在垂直方向上传输电荷的功能元件(function)和水平传输部Th。上述的电荷收集部24是指收集图像拾取区Da而不是累积部Db中的电荷的功能元件。换言之，累积部Db属于电荷发射部26。这些垂直和水平传输部与传统的帧传输(FT)CCD图像传感器的结构相似。因此不作更详细的说明。

光学系统5确定连接在各光电转换器20与目标上的对应点之间的视轴(visual axis)，其中，目标M反射的光线通过光学系统5入射到光接收元件2。一般地，光学系统5形成为使得光轴与光电转换器20的矩阵排列的平面正交。例如，在将光学系统50的中心定义为原点，并且正交坐标系设定为垂直和水平方向位于该平面和该光轴时，该光学系统设计为使得：通过用球坐标描述目标空间中的目标M上的位置而获得的角度(即，方位角和仰角)与各光电转换器20对应。因此，当目标M反射的光线通过光学系统5入射到一个光电转换器20时，连接在该光电转换器与目标上的对应位置之间的视轴相对于作为参考方向的光轴的方向可利用该光电转换器20的位置来确定。

具有上述结构的光接收器件2即公知的MIS(金属-绝缘体-半导体)器件。但是，本实施例的光接收器件2与传统的MIS器件的区别在于：在各光电转换器20上形成有多个控制电极13(例如，图3A所示的五个控制电极)。绝缘膜12和控制电极13由半透明材料制成。当光线通过绝缘膜12入射到掺杂的半导体层11时，在该掺杂的半导体层11中产生电荷。图3A所示的掺杂的半导体层11为n-型半导体层。因此，产生的电荷为电子(e)。

根据本实施例的灵敏度控制器22，光电转换器20产生的电荷量可通过改变该光电转换器的光接收区的面积(即，光接收面积)来控制。例如，当在五个控制电极13中的三个上施加控制电压(+V)时，如图3A所示，则在掺杂的半导体层11中对应于这三个控制电极的区域上形成势阱(耗尽层)14，如图3A的点划线所示。当光线入射到具有所形成的势阱14的光电转换器20时，在掺杂的半导体层11中产生的部分电子被捕获在该势阱内，而且所产生电子的平衡由于在掺杂的半导体层11的深部与空穴的直接复合而丧失。

另一方面，当在五个控制电极13的中间一个上施加控制电压(+V)，则在掺杂的半导体层11中对应于这一个电极的区域上形成势阱14，如图3B的点划线所示。由于图3A中势阱14的深度与图3B中势阱14的深度相等，因而图3A中势阱的尺寸大于图3B中势阱的尺寸。因此，当提供给图3A和图3B中的各光接收器件2相同的光量时，图3A的势阱可输出更大量的电荷作为信号电荷。这就意味着，与图3B的情形相比，图3A情形下的光接收元件2具有更高的灵敏度。

这样，通过改变被施加控制电压的控制电极13的数目，在沿着掺杂的半导体层11的全表面的方向上势阱14的尺寸(换言之，在光接收面中电荷收集部24的尺寸)可得到控制，从而获得光接收元件2的期望灵敏度。

可替代地，如PCT公报WO 03/085413所公开的，可通过改变提供给电荷收集部24的电荷量与光电转换器20产生的电荷量之比，来控制光接收元件2的灵敏度。在采用此控制方法的情形下，优选进行以下技术之一：仅控制从光电转换器20到电荷收集部24的电荷流，仅控制从光电转换器到电荷排出部的电荷流，以及控制上述两种电荷流。作为例子，以下说明控制从光电转换器到电荷收集部和电荷排出部的电荷流的情形。

如图5所示，此控制方法使用的光接收元件2具有形成在各光电转换器20与对应的电荷收集部24之间的栅电极23，以及由光电转换器20共用的电荷排出部27。通过改变施加给栅电极23的第一控制电压，可以控制从其中一个光电转换器20移动到对应的电荷收集部24的电荷量。此外，通过改变施加给用于电荷排出部27的控制电极25的第二控制电压，可以控制从其中一个光电转换器20移动到电荷排出部27的电荷量。在这种情形下，例如，可使用具有溢流漏极的行间传输(IT)型、帧传输(FT)型或者帧行间传输(FIT)型CCD图像传感器作为带有灵敏度控制器22的光接收元件2。

接着，说明通过控制光电转换器20的灵敏度确定接收到的光线的四个强度(A0，A1，A2，A3)从而获得与目标M的距离信息的方法。如上所述，控制单元3控制施加给控制电极13的控制电压，来改变在光电转换器20中形成的势阱14的面积，即电荷收集部24的尺寸。在以下的说明中，如图6A和图6B所示，用于一对光电转换器20的六个控制电极13计数为(1)至(6)，其中，所述一对光电转换器20提供一个像素。因此，一对光电转换器20中的一个具有控制电极(1)至(3)，而另一个具有控制电极(4)至(6)。

例如，对应接收到的光线的各强度(A0，A2)的电荷可利用提供一个像素的一对光电转换器20交替地产生。在产生对应于强度(A0)的电荷时，通过向其中一个光电转换器20的所有控制电极(1)至(3)施加恒定的控制电压，可获得大面积的势阱14，如图6A所示。同时，对于另一个光电转换器20，仅向控制电极(4)至(6)的中间电极(5)施加控制电压，以获得小面积的势阱14。在具有控制电极(1)至(3)的光电转换器20中形成的大势阱14处于具有高灵敏度状态的电荷产生期，而在具有控制电极(4)至(6)的另一光电转换器20中形成的小势阱14处于具有低灵敏度状态的电荷保持期。这种情况下，对应于强度(A0)的电荷可被收集在具有控制电极(1)至(3)的光电转换器的大势阱14中。

另一方面，当产生对应于强度(A2)的电荷时，通过向其中一个光电转换器20的所有电极(4)至(6)施加恒定的控制电压，可获得大面积的势阱14，如图6B所示。同时，对于另一个光电转换器20，仅向控制电极(1)至(3)的中间电极(2)施加控制电压，以获得小面积的势阱14。在具有控制电极(4)至(6)的光电转换器20中形成的大势阱14处于具有高灵敏度状态的电荷产生期，而在具有控制电极(1)至(3)的另一光电转换器20中形成的小势阱14处于具有低灵敏度状态的电荷保持期。这种情况下，对应于强度(A2)的电荷可被收集在具有控制电极(4)至(6)的光电转换器20的大势阱14中。这样，通过交替地重复在具有控制电极(1)至(3)的光电转换器20中形成大势阱14以及在具有控制电极(4)至(6)的光电转换器20中形成大势阱14，能够获得与接收的光线的各强度(A0，A2)对应的电荷。

为了产生对应于各强度(A0)和(A2)的电荷，向控制电极施加控制电压的时刻如图2B和图2C所示，其中阴影线区域表示控制电压被施加给控制电极。根据与上述大体相同的方法，利用提供一个像素的一对光电转换器20，可交替地产生与接收的光线的各强度(A1，A3)对应的电荷，方法的不同在于：相对于调制信号的相位，向控制电极施加控制电压的时刻移动了90度。这样，控制单元3控制了向控制电极施加控制电压的时刻以及被施加控制电压的控制电极的数目。换言之，为了确定从光源1照射到目标空间内的光线与光接收元件2接收到的光线之间的相位差，在与用于驱动光源1的调制信号的周期同步的时刻，光接收元件的灵敏度通过控制单元3得到控制。也就是说，通过控制单元3，光接收元件2的高、低灵敏度状态以与调制信号的周期同步的重复周期而交替地重复。

在对应于强度(A0)的电荷收集到图6A所示的大势阱14中，并且对应于强度(A2)的电荷收集到图6B所示的大势阱14中之后，这些电荷从电荷发射单元26输出。类似地，对应于各强度(A1)和(A3)的电荷被收集后从电荷发射单元26输出。这样，通过重复上述过程，就可以获得对应于接收到的光线的四个强度(A0，A1，A2，A3)中的各强度的电荷，并利用上述方程式(1)确定相位差“ψ”。

也可优选为，在电荷产生期中施加给控制电极13的控制电压大于电荷保持期中施加给控制电极的控制电压。在这种情形下，如图7A和图7B所示，在电荷保持期中形成的势阱14的深度小于电荷产生期中形成的势阱的深度。例如，为了获得大深度的势阱14而施加给三个控制电极(1)至(3)或(4)至(6)的控制电压为7V，为了获得小深度的势阱14而仅施加给电极(2)或(5)的控制电压可为3V。当主要用于产生电荷(电子“e”)的势阱14的深度大于用于保持电荷的势阱14的深度时，电荷可在大深度的势阱中容易地流动，使得噪声量可相对减少。

光接收元件2的电荷发射部26提供的电荷发送给图像产生器4。在图像产生器4中，目标M上的点与图像处理设备之间的距离通过对于各光电转换器20将接收的光线强度(A0，A1，A2，A3)代入方程式(1)而确定。结果是，获得关于包括该目标的目标空间的3D信息。利用该3D信息，就可以产生具有多个像素值的距离图像，其中，每一个像素值提供该目标上的一点与图像处理设备之间的距离值。

另一方面，通过光接收元件2的电荷发射单元26提供的电荷量，可获得目标M的亮度信息。也就是说，在各光电转换器20所接收的光线量的总和或者光线量的平均值对应于目标上的点的灰度值。结果是，获得具有多个像素值的灰度图像，其中，每一个像素值提供目标上的点的灰度值。本实施例中，为了最小化入射到光接收元件2上的外部光线，光源1向目标空间照射红外线，并且在光接收元件2前设置红外透明滤镜(未示出)。因此，本实施例的图像处理设备产生的灰度图像为红外灰度图像。

这样，从同一个像素，可获得目标上的点与图像处理设备之间的距离值以及目标上的点的灰度值。因此，可获得在时间上大体相同的距离图像和灰度图像。此外，由于距离图像的各像素与灰度图像的各像素为一一对应，因此不需要对灰度图像中的各位置与对应的距离信息作关联处理。此外，与仅使用灰度图像的情形相比较，可获得更多的关于目标M的空间信息。

图像产生器4产生的距离图像和灰度图像被发送到微分器50。在微分器50中，从距离图像产生具有多个像素值的距离微分图像，其中，每一个像素值提供一距离微分值；并且从灰度图像产生具有多个像素值的灰度微分图像，其中，每一个像素值提供一灰度微分值。利用预定像素区域内的中心像素以及中心像素周围的相邻像素的像素值，可确定各距离微分值和灰度微分值。

例如，如图8所示，距离图像的九个像素(p1～p9)的3×3排列中，中心像素p5的距离微分值“Dd”由以下方程式(2)表示：

Dd＝(ΔX²+ΔY²)^1/2    (2)

“M”和“ΔY”分别通过执行以下计算得到：

ΔX＝(B1+B4+B7)-(B3+B6+B9)

ΔY＝(B1+B2+B3)-(B7+B8+B9)

其中，B1至B9分别是像素p1至p9的像素值。类似地，也可确定灰度图像的中心像素p5的灰度微分值。在距离微分图像中，随着距离图像中距离差的增加，距离微分值变得更大。类似地，随着灰度图像中亮度(对比度)差的增加，灰度微分值变得更大。

然后，该距离微分图像和灰度微分图像被发送到轮廓提取器52，以提取目标M的轮廓。在本发明中，优选地，按照以下方法(1)至(5)之一提取目标的轮廓。

(1)确定在距离微分图像中距离微分值最大(maximize)的区域和在灰度微分图像中灰度微分值最大的区域，从而提取那些区域作为目标的轮廓。

(2)确定在距离微分图像中距离微分值最大的第一区域和在灰度微分图像中灰度微分值最大的第二区域，然后提取第一区域与第二区域之间的对应区域作为目标的轮廓。

(3)确定在距离微分图像中距离微分值不小于一阈值的区域和在灰度微分图像中灰度微分值不小于一阈值的区域中的至少一个区域，并提取该区域作为目标的轮廓。

(4)确定在距离微分图像中距离微分值不小于一阈值的第一区域和在灰度微分图像中灰度微分值不小于一阈值的第二区域，然后提取第一区域与第二区域之间的对应区域作为目标的轮廓。

(5)确定距离微分图像的各像素的距离微分值与灰度微分图像的对应像素的灰度微分值的加权和，然后提取加权和不小于一阈值的区域作为目标的轮廓。

按照以上方法，可提取包括目标轮廓的单像素宽度区域。此外，按照方法(1)或者(3)，能够以较高可能性提取目标的轮廓。例如，能够有效地提取目标的内部轮廓或边缘。按照方法(2)或者(4)，即使在目标空间中存在亮度差大且距离变化大的区域，也可以准确地提取目标的轮廓，同时防止错误地将噪声提取为目标的轮廓。

在方法(3)和(4)中，优选地，将用于灰度微分值的阈值设定为不同于用于距离微分值的阈值。此外，还有另外一个优点是：通过改变阈值的大小，可控制提取目标轮廓的灵敏度。特别地，当提取了灰度微分值和距离微分值都不小于阈值的区域时，可获得去除噪声成分的显著效果。在方法(5)中，通过适当地设定用于确定加权和的权重，可控制距离微分值与灰度微分值之间的优先次序。例如，当用于距离微分值的权重设定为相对地大于用于灰度微分值的权重时，距离变化大的区域作为目标轮廓的优先权高于亮度(集中度)变化大的区域。在这种情形下，例如，易于提取人脸的轮廓。优选地，该图像处理设备还包括用于进行上述方法(1)至(5)中所需的一个方法的选择器。

当由于外部光线和目标反射系数的影响，目标与背景之间的亮度差(灰度差)小时，会出现仅利用灰度微分图像不能准确地提取目标轮廓的情况。此外，当目标与背景之间的距离差小时，仅从距离微分图像将难以提取目标的轮廓。但是，按照本发明，由于距离微分图像与灰度微分图像的缺点得到互相弥补，就可以使图像处理设备对于目标轮廓的检测准确度提高。此外，由于从各灰度微分值和对应的距离微分值获得的信息是从同一像素在目标上的同一位置获得的信息，因此可防止待提取的轮廓的误差(oversight)，并高度可靠地去除噪声成分。

<第二实施例>

除了设置目标检测器54代替轮廓提取器52之外，第二实施例的图像处理设备与第一实施例的设备大体上相同，如图9所示。因此，与图1中相同的元件用相同的标号表示，并且省略重复说明。

利用微分器50的输出、即灰度微分图像，目标检测器54按照以下方法检测目标M。图像产生器4以时间序列方式产生灰度图像。因此，在不同的时间获得多个灰度图像。目标检测器54产生一对灰度微分图像之间的差值图像，然后在差值图像中提取各像素值不小于一阈值的区域，其中，所述一对灰度微分图像是从两个灰度图像产生的。这样提取的区域对应于在目标空间中移动的目标的区域。通过产生差值图像，基本上消除了背景。

顺便提及，当除了目标M之外的移动体存在于目标空间中，这就意味着在差值图像中存在噪声成分。当噪声成分存在于目标M不存在的距离范围内，可按照以下方法将其分离。也就是说，对于从差值图像中提取的区域进行标注(labeling)处理，以获得耦合(coupling)区域。对于各耦合区域，确定距离图像的像素值的平均值，然后，提取平均值在预定范围内的区域作为目标。这样，通过提取对应于所需距离范围的区域，可将噪声成分从目标分离。

为了去除背景，微分器50可以从在目标空间内不存在移动体的情况下获得的灰度图像，先产生参考灰度微分图像。在这种情形下，产生了参考灰度微分图像与不同时间获得的灰度微分图像之间的差值图像。通过从该差值图像提取像素值不小于阈值的区域，可容易地将目标M的区域从背景中分离。

此外，优选地，通过以下方法将除了在目标空间中移动的目标M之外的静态(stationary)背景消除。例如，为了提取对应于在目标空间中移动的目标M的区域，从光接收元件2提供电荷，从而以30帧/秒的速度产生灰度图像，如同使用传统TV摄像机的情形。微分器50从所产生的灰度图像产生灰度微分图像，然后，目标检测器54产生任选的两个灰度微分图像之间的差值图像。当目标M在目标空间中以相对高速移动时，优选地，利用对应于相邻的两个帧的灰度微分图像来产生差值图像。

对于获得的差值图像的各像素，获得不为零的像素值，其中，所述获得的差值图像在灰度微分图像之间的灰度微分值上有变化。因此，通过利用预定的阈值将差值图像数字化，就可以提取如下区域：其中，用于产生差值图像的一对帧之间的灰度微分值的差不小于阈值。这样的区域对应于在两个不同时间之间移动的目标的区域，其中，在所述两个不同时间产生灰度图像。这样，通过消除噪声成分，能够仅提取在目标空间移动的目标。在这种情形下，由于在目标空间移动的目标是从两个帧的每一个中提取的，所以与目标在两个不同时间的位置相对应的两个区域出现在数字化图像中。

在上述情形下，其中一个帧中的目标的区域不能从另一个帧中的目标的区域分离。因此，当仅需要提取在特定时间(即，在特定帧中)在目标空间中移动的目标的区域，优选地，利用在不同时间获得的至少三个帧进行以下处理。

例如，从在三个不同时间((T-ΔT)，(T)，(T+ΔT))获得的灰度图像产生三个灰度微分图像。利用预定的阈值将各灰度微分图像数字化，从而产生三个数字化图像(E(T-ΔT)，E(T)，E(T+ΔT))，如图10所示。在各数字化图像中，包括目标M轮廓的区域具有与背景不同的像素值。在这种情形下，包括目标轮廓的区域的像素值为“1”。

在目标检测器54中，确定在时间序列方式上相邻的数字化图像E(T-ΔT)与E(T)之间的差。类似地，确定在时间序列方式上另一相邻的数字化图像E(T)与E(T+ΔT)之间的差。为了确定这些差，将一对以下像素进行逻辑异或(XOR)运算：相邻的数字化图像中一个图像的各个像素与另一个图像的对应像素。结果是，从各个差获得一数字化的微分图像。如图10所示，与目标在两个不同时间的位置相对应的两个区域出现在各自的数字化微分图像中。

接着，将一对以下像素进行逻辑与运算：数字化微分图像中一个图像的各个像素与另一个数字化微分图像的对应像素。也就是说，由于在这些数字化微分图像中基本上消除了背景，因此通过逻辑与运算可提取与在特定时间(T)的目标空间中的目标相对应的区域。这样，逻辑与运算的结果提供了在目标空间中移动的目标在特定时间(T)的轮廓。

随后，对通过逻辑与运算获得的区域进行标注处理来获得耦合区域。对于各耦合区域，确定距离图像的像素值(距离值)的平均值，然后提取平均值在预定范围内的区域作为目标。此外，存在于预定范围之外的区域可作为噪声成分去除。

在使用多于三个灰度微分图像的情形下，可如下所述进行以上处理。例如，当使用从在五个不同时间获得的灰度图像产生的五个灰度微分图像(1-5)时，进行灰度微分图像(1，2)之间的逻辑与运算，来获得合成的灰度微分图像，然后，确定合成的灰度微分图像与灰度微分图像(3)之间的差。类似地，还进行灰度微分图像(4，5)之间的逻辑与运算，来获得合成的灰度微分图像，然后，确定合成的灰度微分图像与灰度微分图像(3)之间的差。通过在这些差之间进行逻辑与运算，就可以获得在目标空间中移动的目标在特定时间的轮廓。

<第三实施例>

除了以下元件之外，第三实施例的图像处理设备与第一实施例的设备大体上相同。因此，与图1中相同的元件用相同的标号表示，并且省略重复说明。

本实施例的图像处理设备的特征在于包括：实际尺寸计算器62，用于利用图像产生器4产生的距离图像和灰度图像来确定目标的所需部分的实际尺寸；形状估计单元64，用于估计目标M的形状；以及体积估计单元66，用于估计目标的体积。

如图11所示，图像产生器4产生的距离图像被发送到测量点确定单元60。在测量点确定单元60中，在灰度图像中指定多个测量点。可由用户在灰度图像中指定测量点。例如，优选地，该图像处理设备还包括：监视器61，用于显示灰度图像；以及位置指定器63，使得用户可以通过触摸监视器的屏幕或者利用定点设备(未示出)例如鼠标或键盘，在显示于监视器60上的灰度图像中指定所需的测量点。本实施例中，显示于监视器60上的灰度图像为红外灰度图像。与在监视器60上显示距离图像并在距离图像中指定测量点的情形相比，用户可容易地识别出目标与测量点之间的位置关系。

可以在灰度图像中自动地指定测量点。在这种情形下，图像处理设备包括：目标提取器，构成为从图像产生器4产生的灰度图像中提取具有预定形状的目标。例如，通过将目标的整个形状与模板相比较，能够确定灰度图像中目标的位置。测量点确定单元60响应目标的形状，自动地在灰度图像中指定多个预定的测量点。

监视器61上指定的测量点和图像产生器4产生的距离图像被发送到实际尺寸计算器62。在实际尺寸计算器62中，从距离图像确定与各指定的测量点相对应的像素的距离值。此外，还确定距离图像中测量点的位置。利用距离值和测量点的位置，可获得目标上关于测量点的3D信息。实际尺寸计算器62利用获得的3D信息确定两个所需的测量点之间的实际距离。获得的实际尺寸显示在监视器61上。此外，优选地，在监视器上以直线显示获得的实际尺寸。在使用上述目标提取器的情形下，实际尺寸计算器62自动地计算两个预定的测量点之间的实际距离。

当指定了至少三个测量点时，优选地，按照指定的顺序自动设定多对相邻的测量点，并且实际尺寸计算器62对于各对相邻的测量点连续地计算实际尺寸。例如，当指定了三个测量点(m1，m2，m3)时，实际尺寸计算器62连续地计算测量点(m1，m2)之间和测量点(m2，m3)之间的实际尺寸。此外，当沿着目标的轮廓指定多个测量点时，优选地，选择对应于目标的最大宽度或者最小宽度的测量点，然后实际尺寸计算器62计算出所选择的测量点之间的实际尺寸。此外，当利用灰度图像和距离图像中的至少一个提取目标M的轮廓，并且从目标的轮廓中在预定的距离范围内指定测量点时，可对目标轮廓上的测量点进行替换处理。例如，可利用在第一实施例中说明的轮廓提取器52提取目标的轮廓。

形状估计单元64构成为：从图像产生器4产生的距离图像和灰度图像中的至少一个估计关于目标的形状或方位的3D信息。也就是说，将距离图像和灰度图像中的至少一个输入到形状估计单元64中，然后提取出目标的边缘(＝轮廓)。如第一实施例所述，通过对距离图像或灰度图像进行微分处理、然后数字化，而实现对边缘的提取。例如，可将边缘滤镜例如SOBEL滤镜用作微分处理。将提取的边缘与存储有给定目标的3D信息的数据库相比较，来确定它们是否是构成目标的组成部分。

此外，当目标的多个候选物存在于预定距离范围内时，优选地，确定目标是否由那些候选物完整地(integrally)形成。例如，当三维空间中相邻的两个候选物之间的距离差不大于一阈值时，这些候选物被确定为构成单一目标的组成部分。通过利用由构成单一目标的候选物包围的区域中像素的数目和距离值，可以估计目标的尺寸。

体积估计单元66构成为：按照形状估计单元64和实际尺寸计算器62的输出估计目标M的体积。特别地，优选在灰度图像中指定测量点，并且通过体积估计单元66估计由指定的测量点限定的目标部分的体积。

<第四实施例>

本实施例中，说明使用本发明的图像处理设备作为图像拾取摄像机的TV对讲机。除了以下元件之外，该图像处理设备与第一实施例的设备大体上相同。因此，与图1中相同的元件用相同的标号表示，并且省略重复说明。

也就是说，如图12所示，本实施例的图像处理设备的特征在于包括：参考像素检测器70，构成为检测在距离图像中的预定区域内具有最小距离值的像素作为参考像素；以及像素提取器72，构成为设定距离图像内包括该参考像素的特定区域，并从该特定区域提取多个距离值在预定范围内的像素。

例如，在图13中，“E”表示由两条从TV对讲机100延伸的点划线限定的区域。通过图像产生器4，可产生包括目标M(例如人)的区域E的距离图像G1，如图14A所示。此外，“Qm”表示在TV对讲机100与目标M之间提供最小距离的点。检测对应于距离图像G1中的点Qm的像素Pm作为参考像素。

接着，如图14B所示，利用参考像素Pm和通过像素提取器72提取的多个距离值在预定距离范围内的像素，在距离图像中设定特定区域F。例如，通过像素提取器72提取多个距离值在限定于图13中两条点状弧线L1和L2之间的距离范围内的像素。在图14B中，用阴影线区域示出像素提取器72提取的像素。当预定距离范围的下限为参考像素Pm的距离值，且通过向参考值Pm的距离值加上所需值(例如，10cm)而获得的值确定为其上限时，可提取与该参考像素有关的目标(即，位于与TV对讲机最小距离处的目标)。

此外，如图12所示，本实施例的图像处理设备的特征在于还包括：灰度图像存储器74，用于存储图像产生器4产生的灰度图像；平均灰度值计算器76，构成为从灰度图像存储器74读取出灰度图像，并计算灰度图像的像素的平均灰度值，其中，灰度图像的各像素与像素提取器72提取的各像素具有一一对应关系；以及曝光控制器78，构成为按照获得的平均灰度值来控制光接收元件2的曝光。

曝光控制器78通过控制单元3控制光源1的输出或者光接收元件2的灵敏度控制器22，来提供图像处理设备足够的曝光。通过在微机中安装所需的软件，可以实现参考像素检测器70、像素提取器72、平均灰度值计算器76以及曝光控制器78。按照本实施例的图像处理设备，可自动控制曝光来校正曝光，而不管目标空间的亮度或者背景条件如何，从而清楚地识别出目标。因此，可以提供安全性能提高的TV对讲机。

作为上述实施例的改型，彩色图像拾取设备例如彩色CCD可用作图像拾取摄像机。在这种情形下，彩色图像显示在对讲机的TV监视器上，而上述图像处理设备用于控制彩色图像拾取设备的曝光。

<第五实施例>

本实施例中，说明使用本发明的图像处理设备作为图像拾取摄像机的TV对讲机。除了以下元件之外，该图像处理设备与第一实施例的设备大体上相同。因此，与图1中相同的元件用相同的标号表示，并且省略重复说明。

如图15所示，该图像处理设备的特征在于包括：警告模式设定单元80，用于针对不需要的人设定警告模式；目标提取单元82，构成为在距离图像中设定警告区域，并从警告区域提取一组距离值在预定范围内的像素作为目标；特征值提取器84，构成为提取由目标提取单元82提取的目标的特征值；人体识别单元86，用于按照特征值提取器84提取的特征值确定目标是否为人体；以及警告汇报单元88，用于当人体识别单元86确定目标为人体时，向TV对讲机的主机(base unit)发送警告信号。通过在微机中安装所需的软件，可以实现目标提取单元82、特征值提取器84、人体识别单元86以及警告汇报单元88。警告模式设定单元80例如可利用开关实现。

在图16中，“Ra”表示由两条从TV对讲机100延伸的点划线和两条点状弧线L3、L4包围的警告区域。通过目标提取单元82提取多个距离值在警告区域Ra内的像素作为目标。在特征值提取器84中，利用合适的模板进行图案匹配法，来提取相似度高的部分作为特征值。然后，在人体识别单元86中，将提取到的特征值的面积(area)与给定的阈值相比较，来确定目标是否为人体。

按照本实施例的TV对讲机，当陌生人进入警告范围Ra时，目标提取单元82提取目标M，然后人体识别单元86确定目标为人体。结果是，向TV对讲机的主机发送警告信号。另一方面，当除了人体之外的目标例如猫或狗进入警告范围Ra时，人体识别单元86确定目标不是人体。因此，不向TV对讲机的主机发送警告信号。

必要的话，上述TV对讲机可包括：人体传感器，例如热电红外传感器，用于感测人体发出的热。在这种情形下，由于首先是图像处理设备的控制单元3接收到人体传感器的输出，然后TV对讲机才开始工作，因此可节省TV对讲机的电力消耗。

工业实用性

如上所述，按照本发明，于“在调制频率处经强度调制的光线照射到目标空间，并且由光接收元件接收目标空间中的目标反射的光线”的前提之下，从对应于接收到的光线强度的电输出产生距离值和灰度值。因此，可获得在时间上大体相同的距离图像和灰度图像。此外，由于灰度图像的各灰度值和对应的距离图像的距离值是从同一个像素获得的，因此具有以下优点：不需要对灰度图像中的各位置与对应的距离值作复杂的关联处理。具有上述优点的本发明的图像处理设备优选用在各种应用中，例如，用于工厂自动化的监视摄像机、或者用于机场或其它设施的安全摄像机、以及家用的TV对讲机。

Claims (15)

1.一种图像处理设备，包括：

光源，构成为：向目标空间照射在调制频率处经强度调制的光线；

光接收元件，构成为：接收从目标空间中的目标反射的光线，并产生对应于接收到的光线强度的电输出；以及

图像产生器，构成为：按照所述光源发射出的光线与所述光接收元件接收到的光线之间的相位差，产生具有多个像素值的距离图像，其中每一个像素值提供该目标与该图像处理设备之间的一距离值；并按照接收到的光线强度，产生具有多个像素值的灰度图像，其中每一个像素值提供该目标的灰度值。

2.如权利要求1所述的图像处理设备，还包括：

微分器，构成为：从所述距离图像产生具有多个像素值的距离微分图像，其中每一个像素值提供一距离微分值；并从所述灰度图像产生具有多个像素值的灰度微分图像，其中每一个像素值提供一灰度微分值；以及

轮廓提取器，构成为：利用所述距离微分图像和所述灰度微分图像提取该目标的轮廓。

3.如权利要求2所述的图像处理设备，其中，所述轮廓提取器提取在所述距离微分图像中所述距离微分值最大的区域和在所述灰度微分图像中所述灰度微分值最大的区域，作为该目标的轮廓。

4.如权利要求2所述的图像处理设备，其中，所述轮廓提取器确定在所述距离微分图像中所述距离微分值最大的第一区域和在所述灰度微分图像中所述灰度微分值最大的第二区域，然后提取所述第一区域与所述第二区域之间的对应区域作为该目标的轮廓。

5.如权利要求2所述的图像处理设备，其中，所述轮廓提取器提取在所述距离微分图像中所述距离微分值不小于一阈值的区域和在所述灰度微分图像中所述灰度微分值不小于一阈值的区域中的至少一个区域，作为该目标的轮廓。

6.如权利要求2所述的图像处理设备，其中，所述轮廓提取器确定所述距离微分图像的各所述像素的所述距离微分值与所述灰度微分图像的对应像素的所述灰度微分值的加权和，然后提取该加权和不小于一阈值的区域作为该目标的轮廓。

7.如权利要求1所述的图像处理设备，其中，所述图像产生器以时间序列方式产生所述灰度图像，并且该图像处理设备还包括：微分器，构成为从所述灰度图像产生具有多个像素值的灰度微分图像，其中每一个像素值提供一灰度微分值；以及目标检测器，构成为利用所述灰度微分值和所述距离值检测该目标。

8.如权利要求7所述的图像处理设备，其中，所述目标检测器产生一对灰度微分图像之间的差值图像，在所述差值图像中提取各像素值不小于一阈值的区域，然后当对应于所述区域的所述距离图像的像素值的代表值在预定范围内时，检测所述区域作为该目标，其中，所述一对灰度微分图像是从不同时间获得的两个灰度图像产生的。

9.如权利要求7所述的图像处理设备，其中，所述目标检测器：产生多个差值图像，各差值图像为从不同时间获得的至少三个灰度图像产生的至少三个灰度微分图像中的两个之间的差；

对于各所述差值图像提取各像素值不小于一阈值的区域来获得二进制图像，在其中一个所述二进制图像的各像素值与另一个所述二进制图像的对应像素值之间进行逻辑运算，来提取它们之间的公共区；以及

当对应于所述公共区的所述距离图像的像素值的代表值在预定范围内时，检测所述公共区作为该目标。

10.如权利要求1所述的图像处理设备，还包括：测量点确定单元，构成为在所述图像产生器产生的所述灰度图像中确定该目标上的多个测量点；以及

距离计算器，构成为利用与所述图像产生器产生的所述距离图像中的各所述测量点相对应的像素的距离值，来计算该目标的两个所述测量点之间的实际距离。

11.如权利要求10所述的图像处理设备，还包括：形状估计单元，构成为从所述图像产生器产生的所述距离图像和所述灰度图像中的至少一个，估计该目标的3D形状；以及

体积估计单元，构成为按照所述形状估计单元和所述距离计算器的输出估计该目标的体积。

12.如权利要求10所述的图像处理设备，还包括：监视器，构成为显示所述图像产生器产生的所述灰度图像；并且其中所述测量点确定单元包括：位置指定器，构成为使得用户能通过触摸所述监视器的屏幕，在显示于所述监视器上的目标上指定所需的测量点；并且所述距离计算器计算所述位置指定器指定的所需测量点中的两个测量点之间的实际距离。

13.如权利要求10所述的图像处理设备，还包括：目标提取器，构成为从所述图像产生器产生的灰度图像中提取具有预定形状的目标；并且其中所述测量点确定单元确定所述目标提取器提取的目标上的多个测量点，并且所述距离计算器计算所述多个测量点中的两个测量点之间的实际距离。

14.如权利要求1所述的图像处理设备，还包括：

参考像素检测器，构成为检测在所述距离图像中的预定区域内具有最小距离值的像素作为参考像素；

像素提取器，构成为在所述距离图像内设定包括所述参考像素的特定区域，并从所述特定区域提取一组距离值在预定范围内的像素；以及

曝光控制器，构成为按照灰度图像来控制所述光接收元件的灵敏度，其中该灰度图像具有的各像素与所述像素提取器提取的各像素具有一一对应关系。

15.如权利要求14所述的图像处理设备，其中，所述预定范围的下限为所述参考像素的距离值，所述预定范围的上限通过向所述参考像素的距离值加上所需值而确定。

Images