CN1947415A - 空间信息检测设备 - Google Patents

Abstract

一种能够精确确定目标空间的信息的空间信息确定设备。该设备包括多个光电转换部件，用于接收来自一空间的反射光，其中正将闪烁光照射进该空间；通过向在每个光电转换部件上配备的多个电极施加控制电压而在每个光电转换部件上形成的电荷存储部件；控制器，用于控制被施加控制电压的电极的数量，使得电荷存储部件的面积基于闪烁光的闪烁周期而不同；以及幅值图像生成部件，用于生成具有像素值的幅值图像，其中各像素值是电荷存储部件在闪烁光的发光周期内存储的电荷、与另一电荷存储部件在闪烁光的不发光周期内存储的电荷之间的差值。

Description

空间信息检测设备

技术领域

本发明涉及空间信息检测设备，用于通过接收来自目标空间的反射光来检测目标空间的相关信息，其中正将经过强度调制的光照射进该目标空间。

背景技术

近年来，已经在各种技术领域(例如，在工厂自动化中实现质量控制、在机场和车站的安全系统、以及家用TV内线电话系统)中实践使用了通过将光照射进目标空间并接收来自目标空间的反射光而检测诸如目标空间中物体的存在、或物体的轮廓和形状之类的空间信息的设备。

例如，日本专利早期公开[kokai]No.2001-148808公开了一种固态图像拾取设备，其具有通过消除环境光的影响而提供物体的清晰图像的能力。该固态图像拾取设备具有两个CCD，用于存储关于一个光电二极管的电荷。在各个CCD中存储在发光部件的发光周期和不发光周期中接收的电荷，然后使用它们之间的差值信号来消去环境光的影响。

此外，国际公开No.2004/090994公开了一种空间信息检测设备，其具有优异的S/N比和提高的孔径比。该空间信息检测设备配备有：光电转换器，用于生成与接收光的强度相对应的电荷量；光电转换器中形成的电荷选择区域，通过将控制电压施加到光电转换器上的电极，来选择在光电转换器中生成的电荷；电荷排出(ejecting)部件，用于输出来自电荷选择区域的电荷；以及灵敏度控制器，用于控制控制电压，以改变电荷选择区域的尺寸。

然而，从提高空间信息的检测效率、发展有效评价所检测信息的方法、提高在接收光输出饱和的特殊环境下检测设备的操作稳定性、以及简化传统检测设备的复杂结构、以及消除环境光的影响这些观点来看，上述传统的设备还具有很大的改进空间。

发明内容

因此，本发明的主要内容是提供一种空间信息检测设备，其具有通过使用现对简单的设备结构而精确检测空间信息的能力，并能有效地减少环境光的影响。

即，本发明的空间信息检测设备包括：

至少两个光电转换器，被配置来接收来自目标空间的光，其中正将以具有预定频率的调制信号进行强度调制的光照射进该目标空间，并生成与接收光的强度相对应的电输出；

至少一个电极，形成在每个光电转换器上；

通过向至少一个电极施加控制电压而在每个光电转换器中形成的电荷存储部件，用于聚集在光电转换器中生成的电荷的至少一部分；

控制器，被配置来控制向至少一个电极施加的控制电压，从而，在调制信号的两个不同相周期的其中一个内电荷存储部件的面积与在调制信号的另一个相周期内电荷存储部件的面积不同；

电荷排出部件，被配置来输出在电荷存储部件中聚集的电荷；以及

评价单元，被配置来根据由在至少两个光电转换器的一个中形成的电荷存储部件在两个不同相周期的一个内聚集的电荷、与由在至少两个光电转换器的另一个中形成的电荷存储部件在另一个相周期内聚集的电荷之间的差值，来评价目标空间。

根据本发明，因为可通过控制向电极施加的控制电压而改变在光电转换器中形成的电荷存储部件的面积，所以与使用快门和光圈以调整入射到光电转换器上的光量的情况相比，有可能向空间信息检测设备提供相对简单的结构。此外，与通过使用单个光电转换器、然后执行评价、而在调制信号的两个不同相周期的每个内聚集电荷的情况相比，有可能更高效地执行空间信息的检测和评价，这是因为可一次性提供、并然后评价在调制信号的两个不同相周期内聚集的电荷。

在本发明的优选实施例中，至少两个光电转换器接收来自一目标空间的光，其中正将闪烁光照射进该目标空间。控制器控制向至少一个电极施加的控制电压，从而，在闪烁光的发光周期内电荷存储部件的面积不同于在闪烁光的不发光周期内电荷存储部件的面积。评价单元通过使用由在光电转换器的一个中形成的电荷存储部件在闪烁光的发光周期内聚集的电荷、与由在光电转换器的另一个中形成的所述电荷存储部件在闪烁光的不发光周期内聚集的电荷之间的差值，来评价目标空间。在此情况下，优选控制器控制控制电压，使得在每个光电转换器中形成的电荷存储部件的面积，与闪烁光的闪烁时间同步改变。

此外，优选地，控制器控制控制电压，使得在光电转换器的一个中形成的电荷存储部件的面积，在发光周期内比在不发光周期内更大，并且，在光电转换器的另一个中形成的电荷存储部件的面积，在不发光周期内比在发光周期内更大。

此外，优选地，控制器控制控制电压，使得在发光周期内、在一个光电转换器中形成的电荷存储部件的面积，等于在不发光周期内、在另一个光电转换器中形成的电荷存储部件的面积。

优选前述空间信息检测设备的评价单元包括幅值图像生成器，被配置来生成具有像素值的幅值图像，其中每个像素值由上述差值提供。在此情况下，有可能获得相对于背景强调了物体的图像，尤其是不包括背景的物体的图像。因此，有效识别了物体的形状和尺寸。

除幅值图像生成器外，空间信息检测设备优选还包括灰度图像生成器，灰度图像生成器，被配置来生成具有像素值的灰度图像，其中每个像素值由以下提供：所述电荷存储部件在闪烁光的发光周期和不发光周期中的一个周期内聚集的电荷量，或由所述电荷存储部件在发光周期和不发光周期这两者内聚集的电荷量的平均值。

根据此结构，除幅值图像外，还有可能获得考虑了从目标空间提供的光量的灰度图像。此外，因为幅值图像中的每个像素值和灰度图像中的每个像素值都与目标空间中的相同位置有关，所有有可能消除物体的面积、并容易地生成仅有背景的图像。另外，因为可通过使用从电荷排出部件提供的接收光输出而生成灰度图像，以获得幅值图像，所以有可能高效地获得灰度图像和幅值图像这两者。

根据本发明另一优选实施例的空间信息检测设备还包括：特征量提取部件，被配置用来根据由幅值图像生成器生成的幅值图像来提取目标空间中的物体的特征量；相似性计算部件，被配置来通过对特征量与先前准备的模板进行比较而计算相似程度；以及目标识别部件，被配置来当相似程度不小于预定值时、将物体识别为对应于模板的目标物体。

当待检测的物体是脸部时，优选地，空间信息检测设备还包括模板存储部件，被配置来存储根据脸部的特征量而预先准备的脸部模板，并且当由特征量提取部件提取的特征量与在模板存储部件中存储的脸部模板之间的相似性不小于预定值时，物体识别部件将该脸部识别为对应于脸部模板的人。在此情况下，有如下优点：可靠地执行脸部识别，而没有环境光的影响。

根据本发明另一优选实施例的空间信息检测设备还包括：饱和确定部件，被配置来将预定阈值与由电荷存储部件在调制信号的两个不同的相周期的至少一个内聚集的电荷量进行比较；以及输出调节部件，被配置用来根据比较结果而调节对应于接收光强度的电输出。

根据此结构，当由饱和确定部件确定电荷量大于阈值，即接收光输出已饱和时，输出调节部件减少光电转换器的电输出，以减少接收光输出。在根据接收光输出的差值来评价空间信息的情况下，当用于确定差值的一个接收光输出饱和时，变得难于获得重要的空间信息。尤其是，当两个接收光输出都饱和时，差值为0。结构，目标不能从背景区别开。然而，根据本发明，即使当在存在增加的环境光、如室外的环境下使用该空间信息检测设备时，也由饱和确定部件确定接收光输出的饱和状态，并且输出调节部件根据饱和确定结果而防止接收光输出的饱和的发生。因此，即使在发生接收光输出饱和的环境条件下也有可能稳定地从接收光输出的差值提取重要的空间信息。如后面所述，尤其优选输出调节部件控制光电转换器、光源以及光接收光学系统中的至少一个，以防止接收光输出的饱和。

此外，优选本发明的空间信息检测设备包括饱和确定部件，被配置来将预定阈值与由电荷存储部件在调制信号的所述两个不同的相周期的至少一个内聚集的电荷量进行比较，并且，其中当电荷量大于阈值时，评价单元通过使用预设差值代替所述差值来评价目标空间。在此情况下，通过使用允许的差值的最大值作为预设差值，有可能将幅值图像中的接收光输出的饱和区域从背景区别开。

另外，优选本发明的空间信息检测设备包括：饱和确定部件，被配置来将预定阈值与在对应于所述调制信号的多个循环的存储时间周期上的、所述调制信号的所述两个不同相周期的每个内聚集的电荷量进行比较；以及输出调节部件，被配置用来根据比较结果，通过改变存储时间周期而调节对应于接收光强度的电输出。在此情况下，当接收光量增加时，有可能减少存储时间周期，并因此获得改进的响应。另一方面，当接收光量减少时，延长存储时间周期，但其有效抑制噪声水平。存储时间周期等于每个相周期的持续时间与循环的数量(电荷聚集操作的数量)的乘积。可替换地，优选地，饱和确定部件还被配置来将预定阈值与调制信号的一个循环上的、调制信号的两个不同相周期的每个内聚集的电荷量进行比较；以及输出调节部件，被配置来根据比较结果，通过改变两个不同相周期的至少一个的持续时间而调节对应于接收光强度的电输出。

从下面的本发明的优选实施例中，将清楚地理解本发明的其他特征和效果。

附图说明

图1是根据本发明的第一实施例的空间信息检测设备的框图。

图2A和2B是在空间信息检测设备中使用的光接收元件的操作说明图。

图3A和3B是分别示出光源的闪光循环(flash cycle)和接收反射光的周期的图。

图4A和4B是示出在光源的发光周期和不发光周期中的电荷存储部件的示意图。

图5是示出当环境光的强度变化时光接收元件的输出的图。

图6A和6B是分别示出光源的闪光循环和接收反射光的周期的图。

图7A和7B是示出根据第一实施例的第二变型、在光源的发光周期和不发光周期中的电荷存储部件的示意图。

图8A和8B是示出根据第一实施例的第三变型、在光源的发光周期和不发光周期中的电荷存储部件的示意图。

图9是根据本发明的第二实施例的空间信息检测设备的框图。

图10A是灰度图像的例子，图10b是图10A的幅值图像(amplitude image)，图10C是图10A的幅值差值图像，以及图10D是图10A的幅值梯度方向图像。

图11A和11B是示出从幅值图像确定幅值梯度方向图像的方法的说明性视图。

图12A到12C是示出提取作为待检测物体的脸部的特征点的方法的说明视图。

图13A到13C是示出从幅值梯度方向图像提取特征量的方法的说明视图。

图14是根据本发明第三实施例的空间信息检测设备的框图。

图15A到15D是示出由第三实施例的空间信息检测设备获得的图像的示意图。

图16是示出第三实施例的空间信息检测设备的操作的流程图。

具体实施方式

<第一实施例>

如图1所示，本发明第一实施例的空间信息检测设备主要包括：光源1，用于将闪光照射进目标空间；图像传感器2，通过在半导体基板上排列多个用于接收来自目标空间的光的光接收元件20而形成；控制电路3，用于控制光源1和图像传感器2；评价单元4，用于根据图像传感器2的输出来评价目标空间，该评价单元4包括用于生成幅值图像的幅值图像生成器40、以及用于生成灰度图像的灰度图像生成器42。在附图中，附图标记5表示光接收光学系统，通过该系统，将从目标空间提供的光入射到图像传感器2上。

例如，有可能使用通过在平面上排列多个发光二极管(LED)而形成的阵列、或半导体激光器和发散透镜的组合来作为光源1。可使用红外光或可见光来作为从光源1照射的光。在使用红外光的情况下，因为可在夜晚不引人注意地使用光源1，所以其适用于阻止犯罪的目的，如安全照相机。另一方面，当使用可见光时，有可能获得接近于人眼观察的图像。有具有从控制电路3输出的预定频率的调制信号来操作光源1。在本实施例中，方波被用作调制信号。从10到100kHz的范围选择频率。占空比为50％。因此，光源1提供一种闪光，其发光周期和不发光周期具有相同的持续时间，并且以10到100μs的循环交替重复它们。该闪光周期对应于人眼不能识别的短循环。频率和占空比不限于上述值。根据待检测的空间信息和光源1的类型，可以适当地确定频率和占空比。

图像传感器2的每个光接收元件20具有：光电转换器22，用于接收来自目标空间的光、并生成与所接收光的强度相对应的电输出；多个电极24，形成在光电转换器22上；以及通过将控制电压施加到电极24而在光电转换器中感生的电荷存储部件26，以便聚集在光电转换器中生成的电荷的至少一部分；以及电荷排出部件28，用于从电荷存储部件26输出电荷。例如，如图2A和2B所示，每个光接收元件20配备有：半导体层11，由固体材料如掺杂硅制成；绝缘膜12，诸如氧化膜，在半导体层11的整个通用(general)表面上形成；以及电极24，通过绝缘膜12在半导体层11上形成。公知此类光接收元件为MIS装置。然而，本实施例的光接收元件20不同于传统的MIS设备之处在于在作用为单个光接收元件20的区域中形成多个电极24。绝缘膜12和电极24由具有透光性的材料制成。当光通过绝缘膜12入射到半导体层11上时，在半导体层11中生成电荷。即，由图2A和2B中所示的半导体层11的通用表面(上表面)提供光接收元件20的光接收表面。在该图中，半导体层11的导电类型为n型。因此，由光照射生成的电荷为电子。在上述光接收元件20中，当将正控制电压(+V)施加到电极24时，在半导体层11中，在对应于电极24的区域处，形成聚集电子的电势井14(耗尽层)。即，当在将控制电压施加到电极24以形成电势井的情况下将光照射到半导体层11时，在电势井14附近生成的部分电子被捕捉到电势井14中，并且由于与半导体层11深处的空穴的重新组合，使得生成电子的平衡消失。在远离电势井14的位置生成的电子也由于半导体层11的深处的重新组合而消失。由此，当照射光时，半导体层11作用为生成电荷的光电转换器22，而电势井14作用为聚集并保持电荷的电荷存储部件26。

此外，因为在与被施加控制电压的电极24相对应的区域形成电势井14，所以有可能通过改变被施加控制电压的电极的数量而控制沿半导体层11的通用表面的电势井14的尺寸。当电势井14的尺寸(面积)变大时，电势井14中聚集的电荷相对于半导体层11中生成的电荷的比率也增加。在本发明中，如后面所述，因为使用在电势井14中聚集的电荷，所以可通过增加电势井14的尺寸来达到灵敏度的提高。简言之，可通过改变向电极24施加的电压，来控制作为电荷存储部件26的电势井14的尺寸，从而，光电转换器22的灵敏度可调整。

例如，在使用具有五个电极24的光接收元件20的情况下，当如图2A所示，向里面的三个电极24施加控制电压(+V)、且不向外面的两个电极24施加时(0V)，沿着光接收表面的电势井14(即电荷存储部件)的尺寸与如图2B所示的、仅向中间的电极24施加控制电压(+V)而不向剩余四个电极24施加(0V)的情况相比，变得较大。因此，当照射相同的光量时，在图2A所示的电势井中聚集的电荷量比图2B所示的电势井中聚集的电荷量更大。这意味着光电转换器具有更高的灵敏度。

可通过在单半导体基板上准备的二维方格图案的格点上布置每个都具有上述结构的光接收元件20，来形成图像传感器2。例如，可使用100×100光接收元件20的矩阵阵列。另外，当在光接收元件20的矩阵阵列的垂直方向的每一列中整体地和连续地形成半导体层11，并且在垂直方向上相互邻接地布置电极24时，可将半导体层11用作在垂直方向上转移电荷的转移通道。图像传感器2还具有在半导体基板中形成的水平转移部件，并包括CCD，用于从在半导体层11的垂直方向延伸的每一列的末端接收电荷、然后在水平方向上转移电荷。

为从每个光接收元件20中的电势井14(即电荷存储部件26)输出电荷，有可能使用与传统CCD相同的技术。即，在电势井14中聚集电荷之后，通过控制向电极24施加控制电压的方式，来转移电势井14中聚集的电荷，从而可从半导体层11上形成的另一电极(未示出)输出该电荷。用于转移电荷的部件可具有与帧转移CCD或行间转移CCD基本上相同的结构。例如，当其具有与帧转移CCD相同的结构时，可通过改变电势井14的形状而在图2A或2B的左或右方向上转移电荷。此外，当其具有与行间转移CCD相同的结构时，可沿图2A或2B的左和右方向来形成CCD。将电荷从电势井14发送到CCD，然后由CCD在图2A或2B的左和右方向上转移该电荷。

此外，当电荷排出部件28具有与帧转移CCD相同的结构时，通过控制向电极24施加控制电压的方式来转移电荷。在此情况下，可控制向电极24施加的电压，使得在电荷排出周期(其不同于在电荷存储部件26中聚集电荷的电荷聚集周期)内输出电荷存储部件26的电荷。因此，在本实施例中，还可使用电极24来转移电荷，并且半导体层11还用作电荷排出部件28。

另外，为容易地理解本实施例的图像传感器2，在图1中通过光电转换器、电荷存储部件和电荷排出部件，单独地示出了光接收元件20的功能。此外，图1所示的电荷排出部件28包括上述半导体层11和水平转移部件。此外，在光电转换器22、电荷存储部件26和电荷排出部件28中共同使用电极24。

控制电路3生成待施加到电极24的控制电压，并控制向电极施加控制电压的方式，从而调整灵敏度(即在电荷存储部件26中聚集的电荷相对于由于光照在光电转换器22中生成的电荷的比率)、形成电荷存储部件26的定时、以及由电荷排出部件28从电荷存储部件26输出电荷的计时。即，通过控制向电极施加控制电压的方式以及改变该方式的定时，有可能提供在电荷存储部件26中聚集电荷的电荷聚集周期，以及由电荷排出部件28从电荷存储部件26排出电荷、然后作为接收光输出而输出到评价单元4的电荷排出周期，并且该周期在不同于电荷聚集周期的周期内定义。

形成光接收光学系统5，以将目标空间投射在图像传感器2的各个光接收元件20上。即，通过光接收光学系统5，将对应于目标空间的三维空间映射到由图像传感器2的光接收元件20的排列提供的二维平面上。因此，通过光接收光学系统5，可将在从图像传感器2的一侧观察的视野内的物体M与光接收元件20相联系。

评价单元4的灰度图像生成器42生成灰度图像，其包括物体M和背景(例如，如图10A所示)。另一方面，幅值图像生成器生成幅值图像，在其中相对于背景强调物体M(例如，如图10b所示)。可使用这些图像来检查物体M的形状和尺寸。另外，确定物体M的反射是可用的。可根据评价单元4的结构来确定要由使用这些图像而检测的空间信息的类型。

接着，说明本实施例的空间信息检测设备的操作。光源1将闪光照射进目标空间，从而交替重复发光周期和不发光周期，如图3A所示。在该实施例中，将发光周期的持续时间“Ta”设置为等于不发光周期的持续时间“Tb”。即，调制光的占空比是50％。从光源1照射进目标空间并从目标空间中的物体M反射的光，以取决于到物体M的距离的延迟时间“Td”而入射到光接收元件20上。在此情况下，因为延迟时间“Td”比发光时间“Ta”或不发光时间“Tb”短的多，所以其可以忽略。

在本实施例中，因为向评价单元4一次性提供发光周期“Ta”的接收光输出“Aa”和不发光周期“Tb”的接收光输出“Ab”，所以相邻的两个光接收元件20的集合被看作一个像素。即，用作一个像素的相邻两个光接收元件20的光电转换器之一在发光周期“Ta”中被设置为高灵敏状态，以便在电荷存储部件26中聚集电荷，并提供接收光输出。此时，通过调整向电极24施加的控制电压，将另一光电转换器设置为低灵敏度状态。相反，在非发光周期“Tb”，将相邻两个光接收元件20的另一光电转换器设置为高灵敏度状态，以便在电荷存储部件26中聚集电荷，并提供接收光输出。这时，通过调整施加到电极(24)的控制电压将所述光电转换器之一设置为低灵敏度状态。根据此方式，在图像传感器2中形成的不同的电荷存储部件26中，分别保持在与发光周期“Ta”相对应的电荷聚集周期内聚集的电荷、以及在与不发光周期“Tb”相对应的电荷聚集周期内聚集的电荷，并且在单个电荷排出周期内将在两个电荷存储部件中保持的电荷一次性发送到评价单元4。

在下面的说明中，用作一个像素的两个光接收元件20中的每一个都具有三个电极。此外，为了在其中一个光接收元件的电极和另一个光接收元件的电极之间进行区分，由附图标记(1)到(6)指定这些电极24，如图4A和4B所示。即，两个光接收元件20的其中一个具有电极(1)到(3)，而另一个光接收元件20具有电极(4)到(6)。在此情况下，优选形成与用作一个像素的光接收元件20相关的溢漏。

为控制光电转换器22的灵敏度，控制被施加了控制电压的电极24的数量，以改变光接收表面上电势井14的面积。即，在光源1的发光周期“Ta”内，向所有的电极(1)到(3)施加正控制电压(+V)，以获得与电极(1)到(3)相对应的电势井14的面积，如图4A所示。另一方面，在此发光周期内，仅向另一光接收元件20的电极(4)到(6)的居中一个电极(5)施加正控制电压(+V)，以减少电势井14的面积。在此情况下，与电极(1)到(3)相对应的区域提供光电转换器22的高灵敏度状态，而与电极(4)到(6)相对应的区域提供光电转换器22的低灵敏度状态。因此，通过在与电极(4)到(6)相对应的区域接收光而新生成的电荷(电子“e”)的量远少于在与电极(1)到(3)相对应的区域生成的电荷的量。结果，与接收光输出“Aa”相对应的电荷被聚集在与电极(1)到(3)相对应的区域的电势井14中。

在光源1的不发光周期“Tb”内，向所有的电极(4)到(6)施加正控制电压(+V)，以获得与电极(4)到(6)相对应的电势井14的面积，如图4B所示。在此不发光周期内，仅向另一光接收元件20的电极(1)到(3)的居中一个电极(2)施加正控制电压(+V)，以减少电势井14的面积。在此情况下，与电极(4)到(6)相对应的区域提供光电转换器22的高灵敏度状态，而与电极(1)到(3)相对应的区域提供光电转换器22的低灵敏度状态。因此，通过在与电极(1)到(3)相对应的区域接收光而新生成的电荷(电子“e”)的量远少于在与电极(4)到(6)相对应的区域生成的电荷的量。结果，与接收光输出“Ab”相对应的电荷被聚集在与电极(4)到(6)相对应的区域的电势井14中。

如上所述，与发光周期“Ta”相对应的电荷可在图4A所示的情形下聚集，并且与不发光周期“Tb”相对应的电荷可在图4B所示的情形下聚集。通过控制向电极施加控制电压的方式从而获得图4A和4B的情形的一个循环，有可能获得发光周期“Ta”和不发光周期“Tb”的接收光输出(Aa，Ab)。然而，当在仅仅一个发光周期“Ta”和不发光周期“Tb”的循环中未足够地获得入射到光接收元件20上的光量时，担心由于光接收元件中发生的散射噪声的影响而引起接收光输出(Aa，Ab)的S/N比降低。在此情况下，优选在多次重复图4A和4B的情形的循环以在电荷存储部件26中足够地聚集电荷之后，由电荷排出部件28输出接收光输出(Aa，Ab)。

在用作一个像素的两个光接收元件20的电荷存储部件26中分别聚集了在发光周期“Ta”内生成的电荷、以及在不发光周期“Tb”内聚集的电荷之后，电荷排出部件28在电荷排出周期内将两类接收光输出(Aa，Ab)一次性发送到评价单元4。这意味着可通过三个周期，即在发光周期“Ta”内聚集电荷的聚集周期、在不发光周期“Tb”内聚集电荷的聚集周期、以及输出在这些聚集周期内聚集的电荷的排出周期，来获得两类接收光输出(Aa，Ab)。为防止在具有电荷存储部件26的减少的面积的时间周期内混合非希望电荷的电荷这种情况，可在此时间周期内形成光屏蔽膜，以覆盖与电荷存储部件26相对应的电极24的相邻部分。

在本实施例的图4A和4B的情形的每一个中，将向三个电极(1)到(3)或(4)到(6)施加的控制电压(+V)设置为等于向居中电极(2)或(5)施加的控制电压(+V)。因此，即使当电势井14的面积发生改变时，电势井14的深度也可基本保持恒定。因此，在电势井14之间的屏蔽(barrier)的邻近部分处生成的电荷均匀地流到相邻电势井14中。

通过此方式，即使当电势井的面积被减少到获得光电转换器22的低灵敏度状态、并且转移在电势井14中聚集的电荷时，也通过光照射到光接收元件20而在电荷存储部件26中聚集电荷。即，在电荷存储部件26中混合在非光电转换器22的高灵敏度状态的时间周期内生成的电子。在本实施例中，可将不需要的电荷(其在电荷存储部件26中、在保持发光周期“Ta”的电荷和不发光周期“Tb”的电荷的时间期间生成)的影响和与后面说明的、在确定差值的时候的环境光相对应的成分一起排除。当在电荷存储部件26中保持、并且从电荷存储部件26转移电荷时，光电转换器22处于低灵敏度状态。此时，因为减少了电荷存储部件26的面积，所以不需要的电荷的生成量变小。

为了易于解释，假设在电势井14中聚集的电荷量与电势井14的面积成比例。此外，电势井14的面积在光电转换器22的高灵敏度状态比在光电转换器22的低灵敏度状态要大三倍。这意味着在高灵敏度状态中聚集的电荷量比在低灵敏度状态中聚集的电荷量大三倍。

当由(S)表示根据从光源1提供的光在与单个电极相对应的电势井14中聚集的电荷量、并由(N)表示根据环境光聚集的电荷量时，由(S+N)表示在与单个电极(5)相对应的电势并14中聚集的电荷总量，如图4A所示。另一方面，由(3S+3N)表示在与电极(1)到(3)相对应的电势井14中聚集的电荷量。因为图4B的情形对应于不发光周期“Tb”，所以没有根据从光源1提供的光而聚集的电荷。因此，在与电极(2)相对应的电势井14中聚集的电荷量等于根据环境光聚集的电荷量(N)。类似地，在与电极(4)到(6)相对应的电势井14中聚集的电荷量仅仅是(3N)。

为在幅值图像生成器40中生成幅值图像，如上所述，计算由在高灵敏度状态(如图4A所示，其在与电极(1)到(3)相对应的区域上形成)的电势井14中聚集的电荷所提供的接收光输出“Aa”、与由在高灵敏度状态(如图4B所示，其在与电极(4)到(6)相对应的区域上形成)的电势井14中聚集的电荷所提供的接收光输出“Ab”之间的差值。由(3S+4N)表示与接收光输出“Aa”相对应的电荷量，其是在发光周期“Ta”内聚集的电荷(3S+3N)与在图4B的情形中与电极(2)相对应的电势井14中聚集的不需要的电荷(N)的和。另一方面，由(S+4N)表示与接收光输出“Ab”相对应的电荷量，其是在不发光周期“Tb”内聚集的电荷(3N)与在图4A的情形中与电极(5)相对应的电势井14中聚集的不需要的电荷(S+N)的和。通过确定这些接收光输出(Aa，Ab)之间的差值，即，(3S+4N)-(S+4N)＝2S，有可能排除由环境光引起的不需要的电荷(N)的影响，并生成幅值图像。

通过此方式，如图5的曲线E所示，在假设环境光的强度随时间改变的情况下，该曲线E对应于在光源1的不发光周期“Tb”内入射到光电转换器22上的光的强度。结果，其对应于在不发光周期“Tb”内的接收光输出“Ab”。由此，因为光源1的不发光周期“Tb”的接收光输出“Ab”对应于曲线E的高度，所以光源1的发光周期“Ta”的接收光输出“Aa”变得比曲线E更高。即，当交替重复发光周期和不发光周期时，在发光周期“Ta”内，图像传感器2的接收光输出“Aa”、“Ab”比曲线E要高，而在不发光周期内，等于曲线E的高度。由高于曲线E的区域提供与从光源1照射到目标空间的光相对应的接收光输出。因此，通过确定在发光周期“Ta”获得的接收光输出“Aa”和在不发光周期“Tb”获得的接收光输出“Ab”之间的差值(Aa-Ab)，有可能仅提取从光源1照射到目标空间的光的成分，而没有环境光的影响。此差值(Aa-Ab)与每个光接收元件1的位置相关，从而获得幅值图像。

从发光周期“Ta”的接收光输出“Aa”和与发光周期“Ta”相邻的不发光周期“Ta”的接收光输出来确定差值(Aa-Ab)(在图5中，紧接在发光周期“Ta”之后提供不发光周期“Tb”)。在此情况下，假设在确定差值(Aa-Ab)所需要的发光周期“Ta”和不发光周期“Tb”总体内、环境光E的强度没有实质性改变。因此，在发光周期“Ta”内基于环境光的接收光输出和在不发光周期“Tb”内基于环境光的接收光输出被相互抵消，因此仅获得与通过从光源1向目标空间照射光而从物体M反射的反射光相对应的接收光输出。结果，有可能获得幅值图像，其是物体M的强调图像。

另一方面，灰度图像生成器42生成图像，在其中发光周期“Ta”的接收光输出“Aa”、不发光周期“Tb”的接收光输出“Ab”、或这些接收光输出(Aa，Ab)的平均值都与每个光接收元件20的位置相关。在此情况下，因为使用不同于来自物体M的反射光的光来生成该图像，有可能获得包括背景和物体M的综合灰度图像。通过使用在光源1的发光周期“Ta”内获得的接收光输出“Aa”来生成本实施例的灰度图像。

通过此方式，不需要在发光周期“Ta”或不发光周期“Tb”的整个周期上将光电转换器22维持在高灵敏度状态，如图3A所示。根据本发明的技术概念，可将光电转换器22设置为在部分的发光周期“Ta”或不发光周期“Tb”内处于高灵敏度状态。在此情况下，在恒定时间周期内聚集电荷的条件下，发光周期“Ta”和不发光周期“Tb”的占空比可能不同于50％。此外，当已知到物体M的距离时，可考虑依赖于到物体M的距离的延迟时间“Td”来确定发光周期“Ta”和不发光周期“Tb”，如图6A和6B所示。即，可在延迟时间经过(从此时起，打开和关闭光源1)后，分别设置发光周期“Ta”和不发光周期“Tb”，以便在高灵敏度状态的光电转换器22中聚集电荷。在此情况下，与图3A和3B所示的控制方式相比，根据延迟时间“Td”减少了在电荷存储部件26中聚集的电荷量。然而，有可能获得与在发光周期“Ta”和不发光周期“Tb”内接收的光量精确对应的接收光输出(Aa，Ab)，因此可靠地排除环境光的影响。

此外，当将每个发光周期“Ta”和不发光周期“Tb”设置为相对短的时间周期，并且仅执行发光周期“Ta”和不发光周期“Tb”的一个循环时，难于获得评价单元4中所需的足够的接收光输出。在这样的情况下，优选由电荷存储部件26通过多次发光周期“Ta”而聚集的电荷、以及类似地由电荷存储部件26通过多次不发光周期“Tb”而聚集的电荷被分别用作接收光输出。如上所述，可根据向电极24施加的控制电压来调整用于在电荷存储部件26中聚集电荷的聚集周期、以及用于由电荷排出部件28从电荷存储部件26向评价单元4输出聚集电荷的排出周期。在本实施例中，由用作一个像素的两个光接收元件20从以下三个时间周期获得两类接收光输出：在发光周期“Ta”内聚集电荷的聚集周期、在不发光周期“Tb”内聚集电荷的聚集周期、以及输出在该两个周期内聚集的电荷的排出周期。作为本实施例的变型，可将单个光接收元件用作一个像素。在此情况下，优选由控制电路3控制向电极24施加控制电压的方式，从而重复将在光源1的发光周期“Ta”内通过增加电荷存储部件26的面积而在高灵敏度状态下聚集的电荷提供为向评价单元4的接收光输出的排出周期，以及将在光源1的不发光周期“Tb”内通过增加电荷存储部件26的面积而在高灵敏度状态下聚集的电荷提供为向评价单元4的接收光输出的排出周期。因此，通过四个不同的周期，即，在发光周期“Ta”内聚集电荷的聚集周期、输出所聚集电荷的排出周期、在不发光周期“Tb”内聚集电荷的聚集周期、以及排出所聚集电荷的排出周期，来获得两类接收光输出。

作为本实施例的变型，电势井14的面积和深度都可以改变。例如，如图7A和7B所示，优选将同时施加到三个电极(1)到(3)或(4)到(6)的控制电压(+V1，例如7V)设置为高于仅向单个电极(2)或(5)施加的控制电压(+V2，例如3V)。在此情况下，具有大面积的电势井14的深度比具有小面积的电势井14的深度要大。

通过此方式，在与不向其施加控制电压的电极(1)、(3)或(4)、(6)相对应的区域上生成的电荷趋向于流进电势井14。在此情况下，相信当电势井14更深时，电荷容易地流进电势井。这意味着大量电荷流进高灵敏度状态的电势井14。结果，有可能降低在与电极(1)、(3)或(4)、(6)相对应的区域上生成的不需要的电荷流进低灵敏度状态的电势井14的概率。简言之，有可能进一步减少流进用于保持电荷的电势井14的不需要的电荷的量。

作为本实施例的第三变型，如图8A和8B所示，优选向每个光接收元件20的三个电极(1)到(3)的居中电极(2)、或三个电极(4)到(6)的居中电极(5)施加的控制电压高于向两侧的电极(1)、(3)或(4)、(6)施加的控制电压，并在居中电极(2)或(5)上布置光屏蔽膜25。在此情况下，由于光屏蔽膜25的存在，在与电极(2)或(5)相对应的区域可能几乎不生成电荷，但是允许在与光接收元件20的电极(1)、(3)或(4)、(6)相对应的区域上生成的电荷流进与电极(2)或(5)相对应的区域。此外，因为由光屏蔽膜15部分地覆盖了光接收元件20，所以在被光屏蔽膜15覆盖的电势井14的一部分，几乎不生成电荷。因此，在减少保持电荷的电势井14的条件下几乎不生成电荷，从而显著地降低不需要的电荷作为噪声成分而混合的概率。

由此，当在电势井14中以阶梯方式形成深区域和浅区域的情况下，在与电极(1)、(3)或(4)、(6)相对应的区域处一生成电荷，它们就移动到与电极(2)或(5)相对应的区域。因此，即使当在数个纳秒(ns)或更少的短时间周期内切换生成电荷的周期和保持电荷的周期，也有可能降低在相邻光接收元件20中形成的电势井14之间混合电荷的可能性，从而达到噪声成分的减少。可使用不同于光屏蔽膜15的形式的方法来作为以阶梯方式形成电势井14的技术。

在本实施例及上述变型中，在每个光接收元件20上形成的电极的数量不限于3。此外，以高灵敏度状态或低灵敏度状态施加了控制电压的电极的数量，可随意确定。本实施例的图像传感器2由光接收元件20的二维阵列构成。可替换地，可使用光接收元件的一维阵列。如在第一变型中所描述的，使用仅仅一个光接收元件20不是不可能的。还可用的是，根据从电极24开始沿光接收表面的距离，在光接收元件20的半导体层11中形成杂质的集中分布，并且可通过控制向电极24施加的电压来改变电荷存储部件26的面积。

<第二实施例>

本实施例的空间信息检测设备的特征在于：从幅值图像提取诸如脸部的目标的特征量；与先前准备的模板进行比较，以高精度地识别目标；并且其除了下面的组件外，与第一实施例基本上相同。因此，省略相同组件的重复解释。

在此实施例的空间信息检测设备中，如图9所示，特征量提取部件50根据由幅值图像生成器40生成的幅值图像，提取目标空间中的物体(人Ob)的特征量。另一方面，在模板准备/存储部件56中存储脸部模板。通过预先取得待识别的物体(人Ob)的脸部图像、然后由特征量提取部件从脸部图像提取特征量，来准备此脸部模板。将由特征量提取部件50从实际测量中生成的幅值图像提取的物体的特征量，与模板准备/存储部件56中存储的脸部模板进行比较，以便由相似性计算部件52计算它们之间的相似程度。在物体识别部件54中，当由相似性计算部件52计算得到的相似程度不小于预定值时，将所检测的物体识别为对应于脸部模板的人。可由操作模式选择器(未示出)切换准备模板的操作模式和执行实际测量的操作模式。

此实施例的特征量提取部件50包括：幅值差异图像生成器(未示出)，用于生成具有作为像素值的幅值差异值的幅值差异图像，该像素值是根据幅值图像的幅值确定的每个像素的差异强度值；以及图像处理部件(未示出)，用于生成输出图像，其通过以预定阈值对幅值差异图像二值化来获得。从由图像处理部件生成的输出图像提取物体(即，脸部)的特征量。图10A是灰度图像的例子。图10b是对应于该灰度图像的幅值图像。图10C是从该幅值图像准备的幅值差异图像。

在图10b所示的用于幅值图像的坐标系统中，幅值图像的左上位置是原点，x轴的正方向(x方向)对应于水平向右的方向，并且y轴的正方向(y方向)对应于垂直向下的方向。在特征量提取部件50中，通过对幅值图像的全部像素使用x方向的索贝尔(Sobel)过滤器(hx)和y方向的索贝尔过滤器(hy)(其每一个都具有如图10b所示的3×3像素的掩码(mask)尺寸)，来执行局部空间微分，从而生成具有作为像素的幅值差异值的幅值差异图像，其是根据幅值图像的幅值确定的每个像素的差异强度值。可从通过以阈值对幅值差异图像进行二值化而获得的输出图像提取人Ob的脸部的特征量。在图10b的每个索贝尔过滤器中示出在幅值图像上的权重因子的排列。

当由|G(u，v)|表示幅值图像的像素(u，v)处的差异强度值时，其是通过幅值图像中围绕中心像素的8个像素的像素值(在本实施例中，幅值)来确定的值。当如图11A所示、分别用(a)到(i)表示由具有中心像素(p5)的3×3像素排列提供的局部区域(矩形区域)中的像素(p1)到(p9)的像素值时，如图11B所示，由下面使用x方向上的差异值(dx)和y方向上的差异值(dy)的等式(1)来表达差异强度值|G(u，v)|。

|G(u，v)|＝{(dx²(u，v)+dy²(u，v))}^1/2    (1)

其中，

dx(u，v)＝(c+2f+i)-(a+2d+g)              (2)

dy(u，v)＝(g+2h+i)-(a+2b+c)        (3)

在具有由等式(1)确定作为像素值的幅值差异值的幅值差异图像中，当幅值图像中的幅值差异增加时，幅值差异值也变大。在特征量生成部件50通过以阈值对幅值差异值进行二值化而生成输出图像之后，相似性计算部件52将由特征量提取部件50提取的物体Ob的特征量与模板准备/存储部件56中存储的模板进行比较，从而计算出它们之间的相似程度。当从相似性计算部件52提供的相似程度不小于阈值时，物体识别部件54将所检测的物体Ob识别为对应于脸部模板的人的脸部。在物体识别部件54中，可使用传统的脸部识别技术。例如，可适当地采用诸如仿射变换之类的传统变换技术。

在本实施例中，因为使用了通过对幅值差异图像进行二值化而获得的输出图像，所以与使用幅值图像的情况相比，有可能减少数据量(信息量)，并因此有效地执行脸部识别处理。此外，还有另一个精确地识别物体的优点，这是因为可以从具有小距离改变率的区域容易地识别出具有诸如一梯级(astep)之类的大距离改变率的区域。

与在照明光下准备具有像素值(其每一个是灰度图像的每个像素的差异强度值)的灰度差异图像、并使用通过以预定阈值对所准备的灰度差异图像进行二值化而获得的图像的情况相比，在相同的照明光下准备具有像素值(其每一个是幅值图像的每个像素的差异强度值)的幅值差异图像、并使用通过以预定阈值对所准备的幅值差异图像进行二值化而获得的图像的情况下，有可能由物体识别部件54可靠地精确识别物体，同时最小化环境光的影响。

作为本实施例的第一变型，可根据特征量的位置关系来执行识别，代替执行对整个脸部的识别。例如，从图12A所示的幅值图像准备图12B所示的输出图像(即，通过对幅值差异图像二值化而获得的图像)。在对幅值差异图像二值化的情况下，对应于眼、鼻和口的区域与对应于脸颊和前额的区域相比，具有更大的差异强度值。因此，如图12C所示，可将对应于眼、鼻和口的区域的边界点(end point)提取为脸部的特征点C。因为根据这些特征点的位置关系确定具有更高匹配可靠性的脸部模板的候选者，然后通过使用候选者来优先计算相似程度，所以有可能节省识别所需的时间。

作为本实施例的第二变型，代替幅值差异图像，可从图10D所示的幅值梯度方向图像提取特征量。即，特征量提取部件50包括幅值梯度方向图像生成器(未示出)，用于生成具有幅值梯度方向值作为像素值(其是从幅值图像的幅值确定的每个像素的差异方向值)的幅值梯度方向图像。从幅值梯度方向图像提取特征量。在此情况下，在来自物体Ob的反射光有变化时，有降低目标空间中的物体和光源之间的距离的改变的影响的优点，从而即使当发生照明波动时也能精确地识别物体。

为生成幅值梯度方向图像，如上面的实施例所述，对幅值图像的所有像素通过使用每个都具有3×3像素的掩码尺寸的索贝尔滤波器(hx，hy)，来执行局部空间微分，以便生成具有幅值梯度方向值作为像素值(其是从幅值图像的幅值确定的每个像素的差异方向值)的幅值梯度方向图像。由下面的使用上述等式(2)和(3)的等式(4)来表达幅值梯度方向值θ。

θ＝tan^-1{dx/dy}                    (4)

图10D的幅值梯度方向图像是具有集中值作为像素值(其是通过使用尺度而从幅值梯度方向值θ而转换的)的图像，从而当由等式(4)确定的幅值梯度方向值θ在0到359度的范围内增加时，集中值也逐步增加(当幅值梯度方向值θ是0度时，集中值变得最小，而当幅值梯度方向值θ是359度时，集中值变得最大)。在使用幅值梯度方向值的情况下，由相似性计算部件52和物体识别部件54来执行对物体的识别，就像使用幅值差异图像的情况一样。

为在特征量提取部件50中提取特征量，例如，对四个方向E1、E2、E3和E4执行幅值梯度方向值的四值处理，如图13A所示，以便准备幅值梯度方向图像(在此情况下，四值图像)，如图11B所示。接着，通过对所有像素使用具有图11B所示的7×7像素的掩码尺寸的过滤器(h1)，分别对过滤器(h1)中包括的四个方向(E1，E2，E3，E4)的数量进行计数。当方向E1的每个所计数量和方向E3的每个所计数量不小于阈值(例如14)时，将该位置(即，7×7像素的中心像素)看作有效像素。当其小于阈值时，将该位置看作无效像素。结果，获得掩码图像，其中由白色区域显示有效像素而由黑色区域显示无效像素，如图13C所示。通过使用此掩码图像来执行掩码处理，可仅提取对于单个物体特殊的诸如眼、鼻和口的特征部分。因此，可通过使用仅仅是所提取的部分来执行脸部识别。在此情况下，与通过使用整个脸部的图像来执行识别处理的情况相比，有可能节省识别所需的时间。

在上面的特征量提取部件50中，通过使用位于中心像素(p5)周围的8个像素(p1)到(p4)、(p6)到(p9)的像素值(a)到(d)、(f)到(i)(见图11A)来计算dx(u，v)和dy(u，v)，以确定幅值梯度方向值θ。可替换地，其可通过使用位于周围的4个像素或16个像素的像素值来计算得到。此外，在本实施例中使用arctan(tan^-1)作为从dx(u，v)和dy(u，v)确定幅值梯度方向值θ的函数。其他函数也可用。例如，希望使用一种函数，通过使用该函数可修正dx(u，v)和dy(u，v)的非线性比率，以获得线性的幅值梯度方向值θ。

<第三实施例>

本实施例的空间信息检测设备的特征在于执行用于防止接收光输出的饱和的调节处理，以稳定地生成重要的幅值图像，并且，除了下面的组件外，其和第一实施例基本相同。因此，省略对相同组件的重复解释。

在本实施例的空间信息检测设备中，如图14所示，光源1提供具有闪烁周期10到100kHz的闪光。图像传感器2具有对每个像素调整光接收灵敏度的能力。通过在闪光源1的每个发光周期和不发光周期内接收来自目标空间的光，图像传感器1输出在预定数量的调制信号循环内聚集的电荷，作为接收光输出。例如，当调制信号的频率为30Hz时，图像传感器2每1秒(即，30个发光周期和30个不发光周期)可输出60个接收光输出。在下面的说明中，将每次从图像传感器2提供的接收光输出的单位定义为一帧。因此，当在每个发光周期和不发光周期内输出接收光输出时，获得两帧的数据。

由A/D转换器6将图像传感器2的输出转换为数字信号，然后临时存储在帧存储器7中。帧存储器7可具有至少2帧的容量，从而可存储在发光周期和不发光周期内获得的一组接收光输出。假设在调制信号的一个循环内图像传感器2接收的环境光(阳光或照明光)的光量没有波动，则在发光周期和不发光周期内获得的接收光输出之间的差异，与从目标空间(从光源1正向其辐射信号光)中的物体(Ob)反射的反射光的幅值相关。当从图像传感器2输出接收光输出时，其被存储在帧存储器7中，并且当由图像传感器2聚集电荷时，从帧存储器7读出所存储的数据。

评价单元4包括差值运算部件44，用于计算与帧存储器7中存储的两帧数据相对应的接收光输出之间的差值。将该差异值输入幅值图像生成器40，以获得差值图像(即，幅值图像)，其具有对于每个像素在发光周期和不发光周期之间的差值，以作为像素值。此差值图像的每个像素值理想地对应于信号光的接收光强度。因此，有可能获得与由图像传感器2接收的信号光的幅值相关的差值图像。例如，当在发光周期内获得与图15A的图像P1相对应的接收光输出、并且在不发光周期内获得与图15B的图像P2相对应的接收光输出时，获得图15C所示的幅值图像P3。在该幅值图像中，检测在目标空间中不同于反射信号光的物体(Ob)的背景，从而只有物体(Ob)存在于幅值图像中(不同于物体(Ob)的像素值为0，即，黑色像素)。此外，通过仅传递在发光周期和不发光周期内获得的接收光输出中的一个，而不确定它们之间的差值，有可能获得包括背景的灰度图像。

在图14中，附图标记8指示在帧存储器7和评价单元4之间配备的饱和确定部件。在该饱和确定部件8中，将在发光周期和不发光周期内获得的接收光输出与对每个像素预定的饱和阈值进行比较。例如，当在发光周期内获得的每个像素的接收光输出为(Aa)、并且在不发光周期内获得的每个像素的接收光输出为(Ab)时，在短时间周期(其中基本上不发生环境光的改变)内总体实现关系(Aa＞Ab)。因此，当接收光输出(Aa)不超过预定饱和阈值(Th1)时，接收光输出(Ab)也不超过饱和阈值(Th1)。在饱和确定部件8中，将在发光周期内获得的接收光输出(Aa)与饱和阈值(Th1)进行比较，如图16中的步骤(S32)所示。饱和阈值(Th1)是用于检查接收光输出“Aa”的饱和的阈值。当接收光输出(Aa)超出饱和阈值(Th1)时，饱和确定部件8确定接收光输出(Aa)已饱和。若必要，还可执行饱和阈值(Th1)与接收光输出(Ab)之间的比较。

饱和的接收光输出(Aa)不提供空间信息。换言之，即使由评价单元4确定了差值ΔA，也不能生成幅值图像。因此，当饱和确定部件8检测到饱和时，向差值运算部件44发送将输出值改变到预定值的命令。即，当确认饱和时，将差值运算部件44的输出变为预定值。有可能使用差值运算部件44的输出值的允许范围的最大值或中间值、或通常不从差值运算部件44输出的特定值，来作为预定值。例如，当由8位即255级来表示接收光输出(Aa，Ab)时，可将最大值255用作预定值。在使用最大值作为差值确定部件44的输出值时，有可能将提供饱和接收光输出(Aa)的像素从背景区别开。另一方面，当使用差值运算部件44的输出值的允许范围的中间值时，有可能获得没有陌生感的幅值图像，这是因为饱和像素值和周围像素值之间的差值变得相对较小。

此外，当由不在另一像素上出现的值(例如，当使用255级中的254级来表示差值ΔA时，值255不会作为差值ΔA出现)提供预定值时，可将预定值的像素看作无效像素，其显示接收光输出(Aa)已饱和。由此，因为将饱和像素作为无效像素从其他像素区别开，所以可由幅值图像生成器40将周围像素的值内插进无效像素。当使用内插幅值图像时，具有不正常值的像素几乎不显示，因此可获得带有降低的陌生感的图像。

通过此方式，预定值只不过是伪值，用于在显示幅值图像时避免陌生感，并且饱和接收光输出不反射空间信息。因此，需要执行调节，使得下一次在帧存储器7中存储的接收光输出不超出饱和阈值。此外，如上所述，使用幅值图像的目的在于获得仅仅是物体(Ob)的图像，而没有背景。因此，当与物体(Ob)相对应的像素的接收光输出不饱和时，有可能获得想要的幅值图像。

当对于图像传感器2的接收光输出检查到在指定区域中的饱和的出现，并且确认在该指定区域接收光输出已饱和时，优选通过例如减少光源1的发射强度、减少光接收光学系统的透射率、或缩短聚集电荷的周期，来降低由图像传感器2的接收光输出。在此情况下，可有效地防止接收光输出的饱和。

在本实施例中，因为当接收光输出饱和时将差值运算部件44的输出设置为预定值，所以有可能防止幅值图像中陌生感的出现，并且还将该预定值用于调节。使用对应于物体(Ob)的区域作为指定区域。可由区域指定部件60通过使用差值运算部件44的输出来确定该指定区域。即，区域指定部件60确定在其中从差值运算部件44输出的差值ΔA超出有效阈值(Th2)的区域作为指定区域，如图16中步骤(S7)到(S9)所示。在此方法中，可从图15C所示的幅值图像(P3)确定图15D中所示的指定区域(Da)。此外，当使用本设备作为门电话系统的照相机时，预先确定有效阈值(Th2)，因此提取在离图像传感器2的要求距离范围内存在的人脸作为物体(Ob)。

然而，存在一种情况，其中即使在上述预先设置用于物体(Ob)的范围内，差值也不超过有效阈值(Th2)，这是因为由不规则(用预定值代替接收光输出已饱和的位置，从而超出有效阈值(Th2))引起的反射率差值或距离差值。在此情况下，对超出有效阈值(Th2)的区域执行扩展处理。通过此处理，即使当一个区域整体上超出有效阈值(Th2)、但该区域的一小部分未超出有效阈值(Th2)时，该小部分可被包括在指定区域中。例如，当物体(Ob)是脸时，眼睛、眉毛和头发处反射率是低的。在这些小区域中，存在在差值运算部件44处获得的差值变得比有效阈值(Th2)要小的可能性。然而，作为整个脸部，有显著量的像素超过有效阈值(Th2)，有可能通过扩展处理来将眼睛、眉毛和头发考虑为指定区域。

此外，由亮度检测部件62确定由区域指定部件60检测的指定区域中像素的接收光输出的平均值。通过使用此平均值，由输出调节部件9确定用于调节对象的调节量。即，在亮度检测部件62中预先设置与幅值图像中的物体(Ob)的足够亮度相对应的参考值，并且确定上面的平均值和作为目标值的参考值之间的误差。此外，输出调节部件9根据从亮度检测部件62提供的误差，确定针对调节对象的调节量。

在输出调节部件9中，当指定区域中的接收光输出的平均值大于参考值时，在减少接收光输出的方向上确定调节量。相反地，当接收光输出的平均值小于参考值时，在增加接收光输出的方向上确定调节量。调节对象具有可允许的调节范围。因此，当调节量达到可允许调节范围的上限或下限时，维持当前状态。

在调节多个调节对象的情况下，预先确定调节对象的优先级顺序，并且当其中一个调节对象达到可允许调节范围的上限或下限时，可调节其他调节对象。此外，优选调节量的改变率是可依赖误差的量而变化的。此外，优选调节量一次可改变固定的改变率，并且当误差较大时，数次改变调节量，以接近参考值。在此情况下，有可能防止由于响应于光量的瞬间改变而引起的幅值图像的波动。此外，优选参考值具有一个范围，并且当指定区域中的接收光输出的平均值处于参考值的范围内时，不改变调节量。在此情况下，有可能防止对调节对象的不需要的操作。希望使用可允许调节范围的上限来作为在开始操作时调节对象的初始值。

如上所述，区域指定部件60、亮度检测部件62、以及输出调节部件9根据差值运算部件44的结果而确定用于调节对象的调节量。在图14中，可通过在微计算机中执行适当程序来实现除光源1和图像传感器2之外的部件。

参考图16的流程图简要说明本实施例的操作。当开始操作设备时，首先由图像传感器2获取目标空间的图像(S1)。如上所述，与光源1的发光周期和不发光周期同步执行成像。当在发光周期内获得接收光输出(Aa)时(S2)，由饱和确定部件8将其与饱和阈值(Th1)进行比较(S3)。当接收光输出(Aa)不大于饱和阈值(Th1)时，意味着接收光输出还未饱和。因此，由差值运算部件44确定接收光输出(Aa，Ab)之间的差值ΔA(S4)。另一方面，当接收光输出(Aa)超出饱和阈值(Th1)时，将差值ΔA设置为预定值(S5)。将由此获得的差值ΔA通过幅值图像生成器40输出作为幅值图像(S6)。差值运算部件44也将获得的差值ΔA发送到区域指定部件60。在区域指定部件60中，将差值ΔA与有效阈值(Th2)进行比较(S7)。超出有效阈值(Th2)的像素被存储为指定区域的像素(S8)。对幅值图像的所有像素执行此处理(S9)。当获得其中差值ΔA超出有效阈值(Th2)的指定区域时，由亮度检测部件62对指定区域中的像素确定差值ΔA的平均值(S10)。

在输出调节部件9中，将指定区域中的差值ΔA的平均值与参考值进行比较(S11)。当平均值大于参考值时，对调节对象执行调节，以减少接收光输出(S13)。相反，当差值ΔA的平均值不大于参考值时，对调节对象执行调节，以增加接收光输出(S15)。由于对调节对象有效的调节量存在上和下限，所以当调节量在减少接收光输出的方向上变得最小(S12)、或在增加接收光输出的方向上变得最大(S13)时，执行下一个成像步骤(S1)，而不改变调节量。

在上面的操作中，输出调节部件9在每次获得发光周期和不发光周期之间的接收光输出的差值时向调节对象给出命令。可替换地，当由亮度检测部件62确定的接收光输出的平均值大于参考值的情形连续重复了预定次数、或由亮度检测部件62确定的接收光输出的平均值小于参考值的情形连续重复了预定次数时，向调节对象给出命令。

为防止在调节对象处的摆动(hunting)现象，输出调节部件9可具有滞后特性。例如，当平均值变得大于参考值、从而向调节对象给出减少接收光输出的命令时，即使当发生误差而导致平均值变得小于参考值时，也不给出增加接受光输出的下一命令。仅当误差的绝对值不小于预定值时，才提供下一命令。相反，当平均值变得小于参考值、从而向调节对象给出增加接收光输出的命令时，即使当发生误差而导致平均值变得大于参考值时，也不给出减少接收光输出的下一命令。仅当误差的绝对值不小于预定值时，才提供下一命令。代替由亮度检测部件62确定接收光输出的平均值，还优选对指定区域中接收光超出参考值的像素的数量进行计数，并根据所计数的像素数来确定调节量。

在上面的说明中，将指定区域中接收光输出的平均值与单个参考值进行比较。可替换地，可设置多个参考值，使得能够以阶梯方式改变用于调节对象的调节数量。此外，当在多个级的每个中设置参考值时，对于每级，有可能对像素的数量进行计数，并确定调节量，以对应于像素的计数最大的级。

在由区域指定部件60提取指定区域的情况下，还优选将通过由差值运算部件44获得的差值乘以一个系数而获得的结果与有效阈值(Th2)进行比较，并且，该用于相乘的系数根据由亮度检测部件62确定的接收光输出的平均值而以阶梯方式改变。设置系数，从而当平均值越大时，该系数越小。当由于指定区域中接收光输出的小平均值而引起图像变黑时，通过将差值乘以一个更大的系数，来增加被提取为指定区域的区域。为确定该系数，在此实施例中使用作为由亮度检测部件62确定的接收光输出的代表值的平均值。可替换地，有可能使用其他值，如最大值和模式作为代表值。

当信号光的幅值很小，例如物体(Ob)与光源隔开一个大距离、或物体(Ob)的反射很低时，通过增加指定区域，有较高的可能性将该物体(Ob)包括在指定区域中。通过此操作，有可能基本上将对应于物体(Ob)的像素值保持在预定范围内，而与到物体(Ob)的距离的改变、或物体(Ob)的反射无关，因而从幅值图像生成器40获得带有更好可视性的物体(Ob)的幅值图像。

在上面的结构中，用于由亮度检测部件62确定接收光输出的平均值(或满足所需条件的像素的数量)的区域不限于从中提取物体(Ob)的区域。在区域指定部件60中，可将图像中的所有像素设置为指定区域。此外，可将在图像中心部分定义的预定区域或图像中的期望区域设置为指定区域。由此，如何设置指定区域可根据目的而随意确定。在预先确定指定区域的情况下，其可由区域指定部件60独立于由差值运算部件44获得的差值而确定。

在帧存储器7中，存储与发光周期和不发光周期的一个循环相对应的接收光输出，并且，在差值运算部件44确定与发光周期和不发光周期的一个循环相对应的接收光输出之间的差值。可替换地，对应于多次发光周期的接收光输出、和对应于多次不发光周期的接收光输出，可以以附加方式存储在帧存储器7中。在此情况下，因为使用由发光周期和不发光周期的多个循环获得的相加值，以执行在差值运算部件44、饱和确定部件8、以及亮度检测部件62中的处理，所以有可能抑制接收光输出中包括的噪声成分的影响。此外，有可能使用通过将相加值除以输出接收光输出的次数而获得的平均值。另外，可使用由差值运算部件44获得的差值的和、或者差值的平均值。

如上所述，当使用接收光输出的平均值、或接收光输出的差值的平均值，并改变加法的次数和除数之一时，期待出现与在改变用于由区域指定部件60确定指定区域的系数的情况中类似的优点。此外，当使用接收光输出的平均值、或接收光输出的差值的平均值时，与使用与发光周期和不发光周期的一个循环相对应的接收光输出的情况相比，帧速率降低，但能减少在图像传感器2处引起的散射噪声的量。由此，还优选在室内环境(其中环境光的量总体较小)下减少相加的次数，并且另一方面，在室外环境(其中环境光的量总体较大)下增加相加的次数，以使得噪声的影响最小化。

用于控制闪烁光源的调制信号不限于方波。例如，可使用正弦波、三角波、或锯齿波。在此情况下，因为可通过与调制信号的两个不同的相周期同步地从图像传感器2提取接收光输出、并确定这两个相周期的接收光输出之间的差值，来消除环境光成分，所以有可能获得类似于幅值图像的图像。可随意确定用于从图像传感器2提取接收光输出的周期的持续时间。当这些相周期相互差180度的相差时，其基本上等于确定发光周期和不发光周期之间的差值的情况。相周期之间的相差可不同于180度。

此外，可将各种成分用于光接收光学系统5。在使用可变光圈的情况下，优选可根据外部信号调整孔径直径。此外，优选除可变光圈和透镜外，还准备多个具有不同透射率的中性密度滤光片，并可根据外部信号选择确定合适的过滤器。可替换地，有可能使用利用液晶的中性密度滤光片，其具有根据外部信号改变透射率的能力。

工业应用性

如从上面的说明所理解的，本发明的空间信息检测设备具有用于有效地消除环境光的影响的精制设备结构、以及通过执行用于防止接收光输出饱和的输出调节处理而稳定地获得重要的幅值图像的能力。因此，希望本发明将被用于广阔的、在其中希望可靠地检测目标空间的信息的应用领域中。

Claims (15)

1、一种空间信息检测设备，包括：

至少两个光电转换器，被配置来接收来自目标空间的光，其中正将以具有预定频率的调制信号进行强度调制的光照射进该目标空间，并生成与接收光的强度相对应的电输出；

至少一个电极，形成在每个所述光电转换器上；

电荷存储部件，通过向所述至少一个电极施加控制电压而在每个所述光电转换器中形成，用于聚集在所述光电转换器中生成的电荷的至少一部分；

控制器，被配置来控制向所述至少一个电极施加的控制电压，从而，在所述调制信号的两个不同相周期的其中一个内所述电荷存储部件的面积与在所述调制信号的另一个相周期内所述电荷存储部件的面积不同；

电荷排出部件，被配置来输出在所述电荷存储部件中聚集的电荷；以及

评价单元，被配置来根据由在所述至少两个光电转换器的一个中形成的所述电荷存储部件在所述两个不同相周期的一个内聚集的电荷、与由在所述至少两个光电转换器的另一个中形成的所述电荷存储部件在另一个相周期内聚集的电荷之间的差值，来评价目标空间。

2、如权利要求1所述的空间信息检测设备，其中，所述至少两个光电转换器接收来自一目标空间的光，其中正将闪烁光照射进该目标空间，

所述控制器控制向所述至少一个电极施加的控制电压，从而，在所述闪烁光的发光周期内所述电荷存储部件的面积不同于在所述闪烁光的不发光周期内所述电荷存储部件的面积，以及

所述评价单元通过使用由在所述光电转换器的一个中形成的所述电荷存储部件在所述闪烁光的发光周期内聚集的电荷、与由在所述光电转换器的另一个中形成的所述电荷存储部件在所述闪烁光的不发光周期内聚集的电荷之间的差值，来评价目标空间。

3、如权利要求1所述的空间信息检测设备，其中，所述至少一个电极是多个电极，并且所述控制器控制被施加控制电压的所述电极的数量，由此改变所述电荷存储部件的面积。

4、如权利要求1所述的空间信息检测设备，其中，所述评价单元包括幅值图像生成器，被配置来生成具有像素值的幅值图像，其中每个像素值由所述差值提供。

5、如权利要求1所述的空间信息检测设备，还包括：幅值图像生成器，被配置来生成具有像素值的幅值图像，其中每个像素值由所述差值提供；以及灰度图像生成器，被配置来生成具有像素值的灰度图像，其中每个像素值由下述之一提供：所述电荷存储部件在闪烁光的发光周期和不发光周期中的一个周期内聚集的电荷量，和由所述电荷存储部件在发光周期和不发光周期这两者内聚集的电荷量的平均值。

6、如权利要求2所述的空间信息检测设备，其中，所述控制器控制向所述至少一个电极施加的控制电压，从而，在每个所述光电转换器中形成的所述电荷存储部件的面积，与所述闪烁光的闪烁定时同步改变。

7、如权利要求6所述的空间信息检测设备，其中，所述控制器控制向每个所述光电转换器的所述至少一个电极施加的控制电压，从而，在所述光电转换器的一个中形成的所述电荷存储部件的面积，在发光周期内比在不发光周期内要大，并且，在所述光电转换器的另一个中形成的所述电荷存储部件的面积，在不发光周期内比在发光周期内要大。

8、如权利要求7所述的空间信息检测设备，其中，所述控制器控制向每个所述光电转换器的所述至少一个电极施加的控制电压，从而，在发光周期内、在一个所述光电转换器中形成的所述电荷存储部件的面积，等于在不发光周期内、在另一个所述光电转换器中形成的所述电荷存储部件的面积。

9、如权利要求4所述的空间信息检测设备，还包括：特征量提取部件，被配置用来根据由所述幅值图像生成器生成的所述幅值图像来提取所述目标空间中的物体的特征量；相似性计算部件，被配置用来通过对所述特征量与先前准备的模板进行比较而计算相似程度；以及目标识别部件，被配置用来当相似程度不小于预定值时、将所述物体识别为对应于所述模板的目标物体。

10、如权利要求9所述的空间信息检测设备，其中，所述待检测的物体是脸部，并且该空间信息检测设备还包括模板存储部件，被配置用来存储根据所述脸部的特征量而预先准备的脸部模板，并且当由所述特征量提取部件提取的所述特征量与在所述模板存储部件中存储的所述脸部模板之间的相似性不小于预定值时，所述物体识别部件将所述脸部识别为对应于所述脸部模板的人。

11、如权利要求4所述的空间信息检测设备，还包括：饱和确定部件，被配置用来将预定阈值与由所述电荷存储部件在所述调制信号的所述两个不同的相周期的至少一个内聚集的电荷量进行比较；以及输出调节部件，被配置用来根据比较结果而调节对应于接收光强度的电输出。

12、如权利要求11所述的空间信息检测设备，其中，当电荷量大于阈值时，所述输出调节部件减少所述光电转换器的电输出。

13、如权利要求4所述的空间信息检测设备，还包括饱和确定部件，被配置来将预定阈值与由所述电荷存储部件在所述调制信号的所述两个不同的相周期的至少一个内聚集的电荷量进行比较，并且，其中当电荷量大于阈值时，所述评价单元通过使用预设差值代替所述差值来评价目标空间。

14、如权利要求4所述的空间信息检测设备，还包括：饱和确定部件，被配置来将预定阈值与在对应于所述调制信号的多个循环的存储时间周期上的、所述调制信号的所述两个不同相周期的每个内聚集的电荷量进行比较；以及输出调节部件，被配置用来根据比较结果，通过改变存储时间周期而调节对应于接收光强度的电输出。

15、如权利要求4所述的空间信息检测设备，还包括：饱和确定部件，被配置来将预定阈值与所述调制信号的一个循环上的、所述调制信号的所述两个不同相周期的每个内聚集的电荷量进行比较；以及输出调节部件，被配置用来根据比较结果，通过改变所述两个不同相周期的至少一个的持续时间而调节对应于接收光强度的电输出。

Images