CN1950722A

CN1950722A - 个体检测器和共入检测设备

Info

Publication number: CN1950722A
Application number: CNA2005800139668A
Authority: CN
Inventors: 松田启史; 藤井裕之; 类家直哉
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2004-07-30
Filing date: 2005-07-29
Publication date: 2007-04-18
Anticipated expiration: 2025-07-29
Also published as: JP2006064695A; EP1772752A4; CN1950722B; KR20080047485A; US8330814B2; WO2006011593A1; US20090167857A1; KR101072950B1; EP1772752A1; JP4400527B2

Abstract

一种个体检测器包括距离图像传感器和对象检测装置。该距离图像传感器被安排为面对检测区域并生成距离图像。当在该区域中存在一个或多个物理对象时，该距离图像的每一图像元素包括到一个或多个物理对象的每一距离值。根据由传感器生成的距离图像，该对象检测装置单独地检测该区域中的一个或多个物理对象。因此，可能检测该检测区域中的一个或多个物理对象，而不增加用于检测一个或多个物理对象的组成元件的数目。

Description

个体检测器和共入检测设备

技术区域

本发明涉及用于分离地检测检测区域中的一个或多个物理对象的个体检测器、和配备有该个体检测器的跟进(tailgate)检测设备。

背景技术

前沿入口/出口管理系统通过利用生物测定信息而使得精确识别成为可能，但是存在一种即使基于该高技术仍然妨碍安全的简单方法。也就是说，当经认证许可的个体(例如雇员、居民等)通过解锁的门进入时，在门打开的同时由所谓“跟进”允许闯入。

日本专利公开第2004-124497号中描述的现有技术系统通过计算人的三维剪影(silhouettes)的数目而检测跟进。基于物理对象存在于与两个或多个视点对应的体积的公共区域(可视外壳)内的理论，通过体积交集方法而在计算机上虚拟实现该剪影。也就是说，该方法使用两个或多个相机，并将从每个相机的输出获得的二维剪影虚拟投影在实空间上，并然后形成与整个物理对象周围的形状对应的三维剪影。

然而，在以上系统中，由于体积交集方法而需要使用两个或多个相机。该系统也用两个相机之一捕获人脸，并由于体积交集方法需要将检测区域(一个或多个物理对象)放置在每一相机的视野范围内，所以当人脸或正面在该视野范围内时，系统不能形成三维剪影。考虑到此，在检测区域中跟随一个或多个物理对象的移动轨迹变得很难。尽管可通过再添加一个相机来解决该问题，但是这导致系统的成本和安装区域的增大。具体来说，随着门的数目的增加，相机的数目也显著增加。

此外，当三维剪影由重叠物理对象组成时，体积交集方法存在另一个问题，因为其不具备用于分离重叠物理对象的技术。通过利用与一个物理对象对应的参考尺寸，现有技术系统可以检测到两个或多个物理对象重叠的状态，但是系统不能分辨别人和行李重叠的状态与两个或多个人重叠的状态。前者无需给出报警，而后者需要给出报警。另外，现有技术系统通过计算先前记录的背景图像和当前图像之间的差别，而去除噪声，但是即使可能去除例如墙、植物等一个或多个静态物理对象(下面称为“静态噪声”)，系统仍然不能去除例如行李、手推车等一个或多个动态物理对象(下面称为“动态噪声”)。

发明内容

因此，本发明的第一目的在于分离地检测检测区域中的一个或多个物理对象，而无需增加用于检测一个或多个物理对象的组成元件的数目。

本发明的第二目的在于辨别人和动态噪声重叠的状态与两个或多个人重叠的状态。

本发明的个体检测器包括景深(range)图像传感器和对象检测级(stage)。景深图像传感器被安排为面对检测区域，并生成景深图像。当该区域中存在一个或多个物理对象时，该景深图像的每一图像元素分别包括到所述一个或多个物理对象的每一距离值。基于该传感器生成的景深图像，该对象检测级分离地检测该区域中的所述一个或多个物理对象。

在该结构中，由于基于该传感器生成的景深图像而分离地检测该检测区域中的一个或多个物理对象，所以可分离地检测该区域中的一个或多个物理对象，而无需增加用于检测一个或多个物理对象的组成元件(传感器)的数目。

在本发明的替换实施例中，该景深图像传感器被安排为向下面对下面的所述检测区域。所述对象检测级基于从所述景深图像中获得的要检测的一个或多个物理对象的特定或每一高度(altitude)的一部分的数据，而分离地检测在所述区域中要检测的一个或多个物理对象。

在该结构中，例如，可能在不出现动态噪声的高度检测物理对象的一部分，或者检测要检测的每一物理对象的规定部分。结果，可辨别人和动态噪声重叠的状态以及两个或多个人重叠的状态。

在本发明的另一替换实施例中，所述对象检测级基于作为从所述传感器先前获得的景深图像的背景景深图像和从所述传感器获得的当前景深图像之间的差值，而生成前景景深图像，并基于该前景景深图像而分离地检测作为在所述区域中要检测的所述一个或多个物理对象的一个或多个人。根据本发明，由于前景景深图像不包括静态噪声，所以可去除静态噪声。

在本发明的另一替换实施例中，所述对象检测级通过从所述当前景深图像的每一图像元素中提取特定图像元素，而生成所述前景景深图像。该特定图像元素是当距离差大于规定距离阈值时提取的，而该距离差是通过从所述背景景深图像的对应图像元素中减去所述当前景深图像的图像元素而获得的。

在该结构中，由于可能从与背景景深图像对应的位置去除位于前方位置后面的与规定距离阈值对应的距离处的一个或多个物理对象，所以当规定的距离阈值被设置为适当值时，去除了动态噪声(例如行李、手推车等)。结果，可辨别人和动态噪声重叠的状态以及两个或多个人重叠的状态。

在本发明的另一替换实施例中，所述景深图像传感器具有相机结构，其被构造为具有光学系统、和被安排为经由该光学系统而面对该检测区域的二维感光阵列。基于相对于所述景深图像传感器先前记录的相机校准数据，所述对象检测级将取决于所述相机结构的所述前景景深图像的相机坐标系变换为直角坐标系，并由此生成代表所述物理对象的存在/不存在的每一位置的直角坐标变换图像。

在本发明的另一替换实施例中，所述对象检测级将所述直角坐标变换图像的直角坐标系变换为在实空间中虚拟设置的世界坐标系，并由此生成世界坐标变换图像，其将所述物理对象的存在/不存在的每一位置描绘(represents)为实际位置和实际维数。

在该结构中，基于例如俯角、传感器的位置等数据，例如通过旋转、平移等，而将直角坐标变换图像的直角坐标系变换为世界坐标系，从而可能将世界坐标变换图像中的一个或多个物理对象的数据处理为实际位置和实际维数(距离、尺寸)。

在本发明的另一替换实施例中，所述对象检测级通过平行投影而将所述世界坐标换变图像投影在规定平面上，以在所述世界坐标变换图像中生成包括从所述规定平面看到的每一图像元素的平行投影图像。

在该结构中，可能通过生成平行投影图像而降低世界坐标变换图像的数据量。另外，例如，当该平面为天花板一方的水平面时，可从该平行投影图像中分离地提取要检测的一个或多个人的数据。当该平面为垂直面时，可从该平行投影图像中获得每一人的侧脸的二维剪影，并所以如果使用与该剪影对应的图案，则可基于该平行投影图像而检测一个或多个人。

在本发明的另一替换实施例中，所述对象检测级从所述世界坐标变换图像中提取与一个或多个物理对象的一部分对应的采样数据，并识别该数据是否对应于基于人的分区(region)先前记录的参考数据，从而分别辨别与该采样数据对应的一个或多个物理对象是否是一个或多个人。

在该结构中，由于参考数据基本上起到从中去除了静态噪声和动态噪声(例如行李、手推车等)的世界坐标变换图像中的具有人的特征的数据的作用，所以可能在检测区域中分离地检测一个或多个人。

在本发明的另一替换实施例中，所述对象检测级从所述平行投影图像中提取与所述一个或多个物理对象的一部分对应的采样数据，并识别该数据是否对应于基于人的分区先前记录的参考数据，从而分别辨别与该采样数据对应的一个或多个物理对象是否是一个或多个人。

在该结构中，由于人的分区(轮廓)的参考数据基本上起到从中去除了静态噪声和动态噪声(例如行李、手推车等)的平行投影图像中的具有人的特征的数据的作用，所以可能在检测区域中分离地检测一个或多个人。

在本发明的另一替换实施例中，所述采样数据包括在所述世界坐标变换图像中虚拟描绘的一个或多个物理对象的一部分的体积或宽度、深度和高度的比率。所述参考数据是基于一个或多个人的分区而先前记录的，该参考数据是关于所述分区的体积或宽度、深度和高度的比率的值或取值范围。根据本发明，可能检测该检测区域中的人数。

在本发明的另一替换实施例中，所述采样数据包括在所述平行投影图像中虚拟描绘的一个或多个物理对象的一部分的面积或宽度和深度的比率。所述参考数据是基于一个或多个人的分区而先前记录的，该参考数据是关于所述分区的面积或宽度和深度的比率的值或取值范围。根据本发明，可能检测该检测区域中的人数。

在本发明的另一替换实施例中，所述采样数据包括在所述世界坐标变换图像中虚拟描绘的一个或多个物理对象的一部分的三维图案。所述参考数据是基于一个或多个人的分区而先前记录的至少一个三维图案。

在该结构中，例如，通过对于参考数据选择和设置从人肩到头的三维图案，可能检测该检测区域中的人数，并消除人手的移动造成的影响。此外，通过对于参考数据选择和设置人头的三维图案，可能分离地检测一个或多个人，而不管每个人的体形如何。

在本发明的另一替换实施例中，所述采样数据包括在所述平行投影图像中虚拟描绘的一个或多个物理对象的一部分的二维图案。所述参考数据是基于一个或多个人的分区而先前记录的至少一个二维图案。

在该结构中，例如，通过对于参考数据选择和设置人肩和头之间的二维轮廓图案，可能检测该检测区域中的人数，并消除人手的移动造成的影响。此外，通过对于参考数据选择和设置人头的二维轮廓图案，可能分离地检测一个或多个人，而不管每个人的体形如何。

在本发明的另一替换实施例中，所述景深图像传感器还包括光源，其朝向所述检测区域发射经强度调制的光，该传感器除了生成所述景深图像之外，还基于每个图像元素的所接收的光的强度而生成强度图像。所述对象检测级基于所述直角坐标变换图像而提取与所述一个或多个物理对象的一部分对应的采样数据，并基于所述强度图像而辨别是否存在比对应于所述采样数据的一个或多个物理对象的一部分的规定强度低的一个或多个部分。在该结构中，可能检测低于规定强度的一个或多个物理对象的一部分。

在本发明的另一替换实施例中，所述景深图像传感器还包括光源，其朝向所述检测区域发射经强度调制的红外光，该传感器除了生成所述景深图像之外，还基于来自所述区域的所述红外光而生成所述红外光的强度图像。所述对象检测级基于所述世界坐标变换图像而提取与所述一个或多个物理对象的一部分对应的采样数据，并基于所述强度图像而识别来自与所述采样数据对应的每一物理对象的一部分的所述红外光的平均强度是否低于规定强度，从而分别辨别与所述采样数据对应的每一物理对象的一部分是否是人头。在该结构中，由于人头上的头发对红外光的反射系数通常比人肩对红外光的反射系数低，所以可检测人头。

在本发明的另一替换实施例中，所述对象检测级基于辨别为人的物理对象的数目，而将所述平行投影图像中辨别为人的每一物理对象的一部分的位置分配为群集(cluster)的分量，并然后基于通过群集的K平均值算法获得的所划分的域(domains)而验证所述物理对象的数目。在该结构中，可能验证被辨别为人的物理对象的数目，并此外可估计人的位置。

在本发明的另一替换实施例中，所述对象检测级通过从所述景深图像的每一图像元素中提取特定图像元素，而生成前景景深图像，并基于该前景景深图像而分离地检测作为在所述区域中要检测的一个或多个物理对象的一个或多个人。当所述景深图像的图像元素的距离值小于规定距离阈值时，提取所述特定图像元素。

在该结构中，由于可能检测景深图像传感器的位置和远离传感器的前方位置(与规定距离阈值对应的距离)之间的物理对象，所以当规定距离阈值被设置为适当值时，可辨别人与动态噪声(例如行李、手推车等)重叠的状态以及两个或多个人重叠的状态。

在本发明的另一替换实施例中，所述对象检测级识别具有所述景深图像的距离值分布的最小值的图像元素周围的景深图像是否对应于基于人的分区而先前记录的特定形状和特定形状的尺寸，并然后分别辨别与具有所述最小值的图像元素周围的景深图像对应的一个或多个物理对象是否是一个或多个人。

在该结构中，可能辨别人与动态噪声(例如行李、手推车等)重叠的状态以及两个或多个人重叠的状态。

在本发明的另一替换实施例中，所述对象检测级根据所述景深图像的每一距离值而生成分布图像，并基于该分布图像而分离地检测所述检测区域中的一个或多个物理对象。当在所述检测区域中存在一个或多个物理对象时，所述分布图像包括一个或多个分布域。所述分布域由所述景深图像中的具有比规定距离阈值低的距离值的每一图像元素构成。所述规定距离阈值是通过将规定距离值添加到所述景深图像的每一距离值的最小值而获得的。

在该结构中，由于可能检测要在检测区域中检测的一个或多个人头，所以可辨别人与动态噪声(例如行李、手推车等)重叠的状态以及两个或多个人重叠的状态。

本发明的跟进检测设备包括所述个体检测器和跟进检测级。所述景深图像传感器连续生成所述景深图像。根据跟进警告，所述跟进检测级分离地跟随用所述对象检测级检测的一个或多个人的移动轨迹。并且当两个或多个人沿着规定方向向/从所述检测区域移动时，所述跟进检测级检测跟进发生以发送报警信号。

在该结构中，由于当两个或多个人沿着规定方向向/从所述检测区域移动时发送报警信号，所以可防止跟进。另外，即使检测到多个人，但是当两个或多个人没有沿着规定方向向/从所述检测区域移动时，也不发送报警信号，并所以可防止错误报警。

本发明的另一跟进检测设备包括所述个体检测器和跟进检测级。所述景深图像传感器连续生成所述景深图像。所述跟进检测级监视用所述对象检测级检测的一个或多个人的进入和离开、以及进入和离开的每一方向。并且当两个或多个人在跟进警卫设置的规定时间内沿着规定方向向/从所述检测区域移动时，所述跟进检测级检测跟进发生以发送报警信号。

附图说明

现在将更详细地描述本发明的优选实施例。根据以下详细描述和附图，本发明的其他特征和优点将变得更好理解，其中：

图1示出了根据本发明的装备有跟进检测设备的第一实施例的管理系统；

图2示出了图1的管理系统所要管理的房门的附近；

图3是从跟进检测设备的景深图像传感器获得的景深图像或前景景深图像的每一图像元素的三维图；

图4A示出了检测区域中的状态的示例；

图4B示出了图4A的景深图像；

图4C示出了由图4B的景深图像生成的前景景深图像；

图5示出了从该前景景深图像生成的直角坐标变换图像和平行投影图像；

图6示出了从平行投影图像中提取的每一分区；

图7A示出了图6中所提取的分区的示例；

图7B示出了图6中所提取的分区的示例；

图8A示出了图6中所提取的分区的示例；

图8B示出了先前记录的图案的示例；

图8C示出了先前记录的图案的另一示例；

图9示出了从三维直角坐标变换图像或三维世界坐标变换图像获得的每一水平截面(horizontal section)图像；

图10A示出了基于头的横截面和头上的头发而检测的头的位置；

图10B示出了基于头的横截面和头上的头发而检测的头的位置；

图11是形成对象检测级和跟进检测级的CPU所执行的流程图；

图12是CPU执行的流程图；

图13示出了根据本发明的跟进检测设备的第二实施例中的对象检测级所执行的群集(clustering)处理；

图14是根据本发明的跟进检测设备的第三实施例中的对象检测级的操作的示例图；

图15是根据本发明的跟进检测设备的第四实施例中的对象检测级的操作的示例图；

图16是根据本发明的跟进检测设备的第五实施例中的跟进检测级的操作的示例图；

图17是根据本发明的跟进检测设备的第六实施例中的景深图像传感器的结构图；

图18是图17的景深图像传感器的操作的示例图；

图19A示出了与图17的景深图像传感器的一个感光部件对应的域；

图19B示出了与图17的景深图像传感器的一个感光部件对应的域；

图20是图17的景深图像传感器中的电荷拾取单元的示例图；

图21是根据本发明的跟进检测设备的第七实施例中的景深图像传感器的操作的示例图；

图22A是图21的景深图像传感器的操作的示例图；

图22B是图21的景深图像传感器的操作的示例图；

图23A示出了图21的景深图像传感器的替换实施例；和

图23B示出了图21的景深图像传感器的替换实施例。

具体实施方式

图1示出了根据本发明的第一实施例的装备有跟进检测设备的管理系统。

图1和2所示的管理系统包括至少一个跟进检测设备1、安全设备2和至少在要管理的房间的每个门20处的输入设备3，并且还包括控制设备4，用于与每个跟进检测设备1、每个安全设备2和每个输入设备3通信。然而，不限于入口管理系统，本发明的管理系统可以是入口/出口管理系统。

安全设备2是具有自动锁功能的的电子锁，并根据来自控制设备4的解锁控制信号而对门20进行解锁。在锁上门20后，电子锁将关闭通知信号发送到控制设备4。

在替换示例中，安全设备2是自动门系统中的打开/关闭控制设备。该打开/关闭控制设备根据来自控制设备4的打开或关闭控制信号而分别打开或关闭门20。在关闭门20之后，该设备将关闭通知信号发送到控制设备4。

输入设备3是位于门20外面的相邻墙上的卡读取器，并读出ID卡的ID信息而将其发送到控制设备4。在该管理系统是入口/出口管理系统的情况下，另一输入设备3(例如卡读取器)也位于门20里面的要管理的房间的墙壁上。

该控制设备4被构造有CPU以及存储各自先前注册的ID信息、程序等的存储设备，并执行该系统的整体控制。

例如，当来自输入设备3的ID信息符合先前存储在存储设备中的ID信息时，该设备4将解锁控制信息发送到对应的安全设备2，并还将进入许可信息发送到对应的跟进检测设备1。此外，当从安全设备2接收到关闭通知信号时，该设备4将进入禁止信号发送到对应的跟进检测设备1。

在安全设备2是打开/关闭控制设备的替换示例中，当来自输入设备3的ID信息符合先前存储在存储设备中的ID信息时，该设备4将打开控制信号发送到对应的打开/关闭控制设备，并在规定时间之后将关闭控制信号发送到对应的打开/关闭控制设备。此外，当从打开/关闭控制设备接收到关闭通知信号时，该设备4将进入禁止信号发送到对应的跟进检测设备1。

另外，当从跟进检测设备1接收到报警信号时，设备4执行规定的处理，例如通知管理员、延长相机(未示出)的操作时间等。在接收到该报警信号之后，如果执行了规定的放行(release)过程或经过了规定的时间，则设备4将放行信号发送到对应的跟进检测设备1。

跟进检测设备1包括个体检测器，其构造有景深图像传感器10、对象检测级16、跟进检测级17和报警级18。对象检测级16和跟进检测级17包括CPU、和存储有程序的存储设备等。

景深图像传感器10被安排为向下面对下面的检测区域A1，并连续生成景深图像。当区域A1中存在一个或多个物理对象时，景深图像中的每一图像元素分别包括到一个或多个物理对象的每一距离值，如图3所示。例如，当人B1和手推车C1存在于检测区域中时，获得图4B所示的景深图像D1。

在第一实施例中，传感器10包括光源(未示出)，其朝向区域A1发射经强度调制的红外光，并具有相机结构(未示出)，其构造有光学系统和经由该光学系统而被安排为面对区域A1的二维感光阵列，其中该光学系统具有镜头、红外光透射滤光片等。此外，基于来自区域A1的红外光，具有相机结构的传感器10生成除了景深图像之外的红外光的强度图像。

对象检测级16基于从利用传感器10生成的景深图像获得的、要检测的一个或多个人的特定或每一高度中的部分(分区)，而分别检测作为区域A1中要检测的一个或多个物理对象的一个或多个人。因此，如下所示，对象检测级16执行每一处理。

在第一处理中，如图4C所示，对象检测级16基于作为从传感器10先前获得的景深图像的背景景深图像D0和从传感器10获得的当前景深图像D1之间的差值，而生成前景景深图像D2。在门20关闭的情况下，捕获背景景深图像D0。除此之外，背景景深图像可包括时间和空间方向上的平均距离值，从而抑制距离值的离差。

作为对第一处理的进一步扩展，通过从当前景深图像的每一图像元素中提取特定图像元素，而生成前景景深图像。当从背景景深图像的对应图像元素中减去当前景深图像的图像元素所获得的距离差大于规定的距离阈值时，提取该特定图像元素。在该情况下，因为前景景深图像不包括静态噪声，所以去除了静态噪声。另外，因为可能从与背景景深图像对应的位置去除以下这样的一个或多个物理对象，该物理对象位于前方位置后面的与规定距离阈值对应的距离处，所以当规定的距离阈值被设置为适当值时，如图4C所示去除了作为动态噪声的手推车C1。此外，即使门20打开，也去除了门20后面的物理对象。所以，可辨别人与动态噪声(例如手推车C1、门20后的物理对象等)重叠的状态以及两个或多个人重叠的状态。

在第二处理中，如图5所示，对象检测级16将取决于相机结构的前景景深图像D2的相机坐标系变换为基于相对于传感器10先前记录的相机校准数据(例如照片元素间距(pitch)、镜头信息等)的三维直角坐标系(x，y，z)。由此，该级16生成代表物理对象的存在/不存在的每一位置的直角坐标变换图像E1。也就是说，直角坐标变换图像E1的每一图像元素(xi，xj，xk)由“真”或“假”代表，其中“真”示出了物理对象的存在，而“假”示出了物理对象的不存在。

在第二处理的替换示例中，在前景景深图像的图像元素对应于“真”的情况下，如果图像元素的值小于可变高度的阈值，则使得与该图像元素对应的直角坐标变换图像的图像元素为“假”。因此，可能自适应地去除低于可变高度的阈值的高度的动态噪声。

在第三处理中，对象检测级16基于先前记录的相机校准数据(例如照片元素间距的实际距离、俯角、传感器10的位置等)，通过旋转、平移等，而将直角坐标变换图像的直角坐标系变换为在实空间中虚拟设置的三维世界坐标系。由此，该级16生成世界坐标变换图像，其将物理对象的存在/不存在的每一位置描绘为实际位置和实际维数。在该情况下，可能将世界坐标变换图像中的一个或多个物理对象的数据处理为实际位置和实际维数(距离、尺寸)。

在第四处理中，对象检测级16通过平行投影将该世界坐标变换图像投影在例如水平面、垂直面等的规定平面上。由此，该级16生成平行投影图像，其包括该世界坐标变换图像中的从规定平面看到的每一图像元素。在第一实施例中，如图5所示，平行投影图像F1包括从天花板一方的水平面看到的每一图像元素，并且示出了要检测的物理对象的每一图像元素存在于最大高度的位置处。

在第五处理中，如图6所示，对象检测级16从平行投影图像F1中提取与对象检测区域A2中的一个或多个物理对象的部分(团块(Blob))对应的采样数据，并然后执行标记任务。然后，该级16指定采样数据(一个或多个物理对象的一部分)的一个或多个位置(例如：一个或多个重心位置)。在该采样数据重叠在该区域A2的边界上的情况下，该级可进行处理，使得该数据属于该区域A2内部和外部的各区域中的大区域。在图6的例子中，与区域A2外部的人B2对应的采样数据被排除在外。在该情况下，由于仅可提取对象提取区域A2内的一个或多个物理对象的一部分，所以可能去除由例如玻璃门内的反射等引起的动态噪声，并且适于要管理的房间的个体检测也是可能的。

然后并行执行第六处理和第七处理。在第六和第七处理中，对象检测级16基于一个或多个人的分区而识别第五处理中所提取的采样数据是否对应于先前记录的参考数据，从而分别辨别与采样数据对应的每一物理对象是否是人。

在第六处理中，如图7A和7B所示，采样数据包括平行投影图像中虚拟描绘的一个或多个物理对象的一部分的面积S、或者宽度和深度的比率。该比率是包括一个或多个物理对象的一部分的外接方形的宽度W和深度D的比率(W∶D)。该参考数据是基于一个或多个人的分区而先前记录的，并且是关于该分区的面积或宽深比的值或取值范围。因此，可能检测该检测区域A1中的对象提取区域A2中的人的数目。

在第七处理中，如图8A所示，采样数据包括平行投影图像中虚拟描绘的一个或多个物理对象的一部分的二维图案。参考数据是基于一个或多个人的分区而先前记录的至少一个二维图案，如图8B和8C所示。在第一实施例中，利用图8B和8C所示的图案，并且如果通过图案匹配获得的相关值大于规定值，则添加与这些图案对应的人的数目。因此，例如，通过为该参考数据选择和设置人的肩膀和头之间的每一图案，可能检测该检测区域中的人的数目，并可消除人手的移动的影响。此外，通过为该参考数据选择和设置人头的二维轮廓图案，可分离地检测一个或多个人，而不管每个人的体形如何。

在第一实施例中，当第六处理中计算的人的数目与第七处理中的相同时，以下处理返回到第一处理。另一方面，当两者不同时，进一步执行第八到第十一处理。

在第八处理中，对象检测级16通过从三维直角坐标变换图像或三维世界坐标变换图像的每一图像元素中提取规定平面上的每一图像元素，而生成横截面图像。如图9所示，从第一处理中的距离阈值的高度上面的每一高度(例如10cm)处，提取水平面上的每一图像元素，并由此生成水平横截面图像G1-G5。并且只要生成了水平横截面图像，该对象检测级16就从该水平横截面图像中提取与一个或多个物理对象的一部分对应的采样数据，并进行存储。

在第九处理中，对象检测级16识别第八处理中所提取的采样数据是否对应于基于一个或多个人的分区而先前记录的参考数据，从而分别辨别与该采样数据对应的每一物理对象是否是人。采样数据是在水平横截面图像中虚拟描绘的一个或多个物理对象的一部分的横截面。参考数据是关于一个或多个人的头的横截面的值或取值范围。只要生成了水平横截面图像，对象检测级16就识别采样数据是否变得小于参考数据。当采样数据变得小于参考数据(G4和G5)时，该级把最大高度的采样数据当作与人头对应的数据。

在第十处理中，只要在水平横截面图像的高度达到规定高度之后生成了水平横截面图像，对象检测级16就识别与采样数据对应的来自每一物理对象的一部分的红外光的平均强度是否低于规定强度，并然后分别辨别与采样数据对应的每一物理对象的一部分是否是人头。当与采样数据对应的一个或多个物理对象的一部分是一个或多个人头时，将该采样数据当作与一个或多个人头对应的数据。由于人头上的头发对于红外光的反射系数通常低于人肩的反射系数，所以当规定强度被设置为适当值时，可检测到人头。

在第十一处理中，如图10A所示，如果在第九处理中辨别的最大高度处的人B3的头的位置B31与在第十处理中辨别的人B3的头的位置B32彼此相同，则该对象检测级16判断该人B3笔直站立并且在头上有头发。相反，如图10A和10B所示，如果仅通过第九处理辨别最大高度处的人B4的头的位置B41，则该对象检测级16判断该人B4笔直站立并且在头上没有头发或者戴了帽子。如图10B所示，如果仅通过第十处理辨别人B5的头的位置B52，则该级判断该人B5倾斜站立并且在头上有头发。该对象检测级16然后合计人的数目。

在从控制设备4接收到进入许可信号之后，图1的跟进检测级17基于通过对象检测级16检测的人的数目，而检测是否发生了跟进。在第一实施例中，如果通过对象检测级16检测的人的数目为两个或更多，则跟进检测级17检测到跟进发生，并将报警信号发送到该设备4和报警级18，直到从该设备4接收到放行信号为止。另外，如果跟进检测级17没有将报警信号发送到该设备4和报警级18，则该级在从控制设备4接收到进入禁止信号之后转移到待令模式。报警级18在从跟进检测级17接收到报警信号的同时给出报警。

现在解释第一实施例的操作。在待令模式中，当输入设备3读取IC卡的ID信息时，设备3将ID信息发送到控制设备4。该设备4然后证明该ID信息是否与先前记录的ID信息相符。当两者彼此相符时，设备4将进入许可信号和解锁控制信号分别发送到对应的跟进检测设备1和对应的安全设备2。因此，携带该ID卡的人可打开门20，以进入要管理的房间。

现在参考图11和12来解释跟进检测设备1从控制设备4接收到进入许可信号之后的操作。在跟进检测设备1中，利用景深图像传感器10生成景深图像和红外光的强度图像(见图11的S10)。

对象检测级16然后基于该景深图像、背景景深图像和距离阈值而生成前景景深图像(S11)，从前景景深图像中生成直角坐标变换图像(S12)，从直角坐标变换图像中生成世界坐标变换图像(S13)，并从世界坐标变换图像中生成平行投影图像(S14)。该级16然后从该平行投影图像中提取每一物理对象的一部分(轮廓)的数据(采样数据)(S15)。

在步骤S16，对象检测级16基于参考数据(关于人的参考分区的面积和比率的值或取值范围)而辨别与该采样数据(轮廓的面积和比率)对应的物理对象是否是人。如果将任何物理对象辨别为人(S16的“是”)，则该级16在步骤S17中计算在对象提取区域A2内的人的数目(N1)。而且，如果没有物理对象被辨别为人(S16的“否”)，则该级在步骤S18计数零作为N1。

在步骤S19，对象检测级16还基于参考数据(人的参考分区的图案)而辨别与该采样数据(轮廓的图案)对应的物理对象是否是人。如果将任何物理对象辨别为人(S19的“是”)，则该级16在步骤S20中计算在对象提取区域A2内的人的数目(N2)。而且，如果没有物理对象被辨别为人(S19的“否”)，则该级在步骤S21计数零作为N2。

然后，跟进检测级17辨别N1和N2是否彼此一致(S22)。如果N1和N2彼此一致(S22的“是”)，则该级17在步骤S23中基于N1或N2而检测是否发生跟进。另外，相反的话(S22的“否”)，则对象检测级16进行到图12的步骤S30。

当检测到发生跟进时(S23的“是”)时，跟进检测级17将报警信号发送到控制设备4和报警级18，直到从设备4接收到放行信号为止(S24-S25)。因此，报警级18给出报警。在跟进检测级17从设备4接收到放行信号之后，跟进检测设备1返回到待令模式。

在检测到没有发生跟进时(S23的“否”)时，如果跟进检测级17从控制设备4接收到进入禁止信号(S26的“是”)，则跟进检测设备1返回到待令模式。另外，相反的话(S26的“否”)，返回到步骤S10。

在图12的步骤30，对象检测级16从第一处理中与距离阈值对应的高度中生成水平横截面图像。然后在步骤S31，该级16从水平横截面图像中提取每一物理对象的一部分(横截面的轮廓)的数据(采样数据)。在步骤S32，基于参考数据(关于人头的横截面的值或取值范围)，该级辨别与该采样数据(轮廓的面积)对应的物理对象的一部分是否是人头，并由此检测人头的位置(M1)。然后，如果生成了所有水平横截面图像(S33的“是”)，则该级16进行到步骤S35，否则(S33的“否”)，则返回到步骤S30。

另外，在步骤S34，对象检测级16基于强度图像和规定的强度而检测每一人头的位置(M2)，并然后进行到步骤S35。

在步骤S35，对象检测级16比较M1和M2。如果它们相同(S36的“是”)，则在步骤S37，该级检测到人笔直站立并且在头部具有头发。否则(S36的“否”)，如果仅检测M1(S38的“是”)，则在步骤S39，该级16检测到人笔直站立并且在头部没有头发。否则(S38的“否”)，如果仅检测M2(S40的“是”)，则在步骤S41，该级16检测到人歪着头并且在头部具有头发。否则(S40的“否”)，则该级在步骤S42没有检测到人。

该对象检测级16然后在步骤S43合计人的数目，并返回到图11的步骤S23。

在替换实施例中，跟进检测设备1位于门20的外面。在该情况下，当输入设备3读取ID卡的ID信息从而将其发送到待令模式中的控制设备4时，控制设备4激活该跟进检测设备1。如果在门20外面发生跟进情况，则跟进检测设备1将报警信号发送到控制设备4和报警级18，并且控制设备4基于来自跟进检测设备1的报警信号来保持锁住门20，而不管ID卡的ID信息如何。因此，可防止跟进。如果在门20外面没有发生跟进情况，则控制设备4将解锁控制信号发送到安全设备2。因此，携带有ID卡的人可打开门20，而进入要管理的房间。

图13示出了根据本发明的跟进检测设备的第二实施例中的对象检测级的操作的示例图。第二实施例的对象检测级和第一实施例的对象检测级一样执行第一处理到第七处理。并且作为第二实施例的特性，在第七处理之后，当第六处理中计算的人的数目N1与第七处理中计算的人的数目N2不同时，该级执行K平均值算法的群集任务。

也就是说，第二实施例的对象检测级根据辨别为人的物理对象的数目，而将平行投影图像中的辨别为人的每一物理对象的一部分的位置分配给群集的分量，并然后通过群集的K平均值算法而验证以上辨别为人的物理对象的数目。

例如，利用N1和N2中的较大的一个作为群集划分数目的初始值。该对象检测级通过K平均值算法而获得每一划分的域，以计算其划分的域的面积。并且当人的所划分的域的面积和先前记录的面积之间的差值等于或小于规定阈值时，该级通过将所划分的域当作人的分区而进行计算。当该差值大于规定阈值时，对象检测级增加或减小划分数目的初始值，以再次执行K平均值算法。根据K平均值算法，可估计每个人的位置。

图14是根据本发明的跟进检测设备的第三实施例中的对象检测级的操作的示例图。

如图14所示，第三实施例的对象检测级从来自景深图像传感器10的景深图像的每一图像元素中提取特定图像元素(代替第一实施例的每一处理)，并由此生成前景景深图像D20。当景深图像的图像元素的距离值小于规定距离阈值时，提取该特定图像元素。基于该前景景深图像D20，对象检测级分离地检测作为该检测区域中要检测的一个或多个物理对象的一个或多个人。在图14的示例中，由各自具有小于规定距离阈值的距离值的图像元素构成黑色部分，而由各自具有大于规定距离阈值的距离值的图像元素构成白色部分。

在第三实施例中，可能检测在景深图像传感器的位置和远离该传感器的前方位置(与规定距离阈值对应的距离)之间的物理对象。所以，当规定距离阈值被设置为适当值时，可辨别人与动态噪声(例如，行李、手推车等)重叠的状态以及两个或多个人重叠的状态。在图14的例子中，可能分离地检测该检测区域中的人肩上面的分区B6和人头的分区B7。

图15是根据本发明的跟进检测设备的第四实施例中的对象检测级的操作的示例图。

如图15所示，第四实施例的对象检测级从景深图像传感器10生成的景深图像的每一距离值中生成分布图像J(代替第一实施例的每一处理)。并且该级识别分布图像J中的一个或多个分布域是否对应于基于人的分区先前记录的数据，从而分别辨别与分布图像J中的一个或多个分布域对应的每一物理对象是否是人。当一个或多个物理对象存在于该检测区域中时，该分布图像包括一个或多个分布域。由景深图像中的具有低于规定距离阈值的距离值的每一图像元素构成该分布域。将规定距离值(例如典型面长的大约半值)添加到景深图像的每一距离值的最小值中，而获得该规定距离阈值。

在图15的例子中，分布图像J是二值图像，其中黑色部分是分布域，而白色部分由景深图像中大于规定距离值的每一距离值构成。由于分布图像J是二值图像，所以先前记录的数据是人的分区的轮廓的面积或直径，或者在利用图案匹配的情况下，是从人头的轮廓获得的形状(例如圆圈等)的图案。

在第四实施例中，由于检测了在检测区域中要检测的一个或多个人头，所以可辨别人与动态噪声(例如，行李、手推车等)重叠的状态以及两个或多个人重叠的状态。在图15的例子中，可能分离地检测该检测区域中的每一人头B8和B9。

图16是根据本发明的跟进检测设备的第五实施例中的对象检测级的操作的示例图。

如图16所示，第五实施例的跟进检测设备根据跟进警告而分离地跟随用对象检测级检测的一个或多个人的移动轨迹。并且当两个或多个人沿规定方向向/从检测区域移动时，该级检测跟进的发生，并将报警信号发送到控制设备4和报警级18。在图16中，20是自动门。

在第五实施例中，该规定方向被设置为在门20旁边越过检测区域A1的边界而移动到检测区域A1内的方向。例如，如图16所示，由于一个人的移动轨迹B1₁、B1₁和B1₃以及另一人的移动轨迹B2₁和B2₂类似地对应于该规定方向，所以发送报警信号。在该情况下，可在时间点B1₃和B2₂上判断每个人的移动轨迹，并在该时间点上发送报警信号。另外，基于从人B1走过门到人B2走过门的时间，而定义用于跟进警告的特定时间(例如2秒)。例如，该特定时间也可被设置为从自动门20打开到其关闭的时间。

在第五实施例中，当两个或多个人在门20旁边越过检测区域A1的边界而移动到检测区域A1内时，发送报警信号，并所以可立即检测跟进。另外，即使检测到多个人，但是当两个或多个人没有沿规定方向移动到检测区域时，也不发送报警信号，并所以可防止假报警。

在替换实施例中，跟进检测设备1位于门20外面。在该情况下，该规定方向被设置为在门20旁边从检测区域向检测区域的边界移动的方向。

图17示出了根据本发明的跟进检测设备的第六实施例中的景深图像10传感器。第六实施例的景深图像传感器10包括光源11、光学系统12、光检测元件12、传感器控制级14和图像构造级15，并可在以上每一实施例中被利用。

为了确保光强度，光源11被构造为具有例如安排在平面上的红外LED阵列、半导体激光器和发散透镜等。如图18所示，该源调制红外光的强度K1，使得其根据来自传感器控制级14的调制信号而以恒定的周期周期性地改变，并然后将经过强度调制的红外光发射到检测区域。然而，经过强度调制的红外光的强度波形不限于正弦波形，而可以是例如三角波、锯齿波等的形状。

光学系统12是接收光学系统，并被构造有例如镜头、红外光透射滤光片等。并且该系统将来自检测区域的红外光会聚到光检测元件13的接收面(每一感光单元131)中。例如，该系统12被安排为使其光轴与光检测元件13的接收面正交。

光检测元件13形成在半导体器件中，并包括感光单元131、敏感度控制单元132、电荷集合(integration)单元133和电荷拾取单元134。每一感光单元131、每一敏感度控制单元132和每一电荷集合单元133构成二维感光阵列，作为被安排为经由光学系统12面对该检测区域的接收面。

如图19A和19B所示，半导体衬底中的杂质掺杂型半导体层13a将每一感光单元131形成为例如100×100二维感光阵列的感光元件。该单元131以对应敏感度控制单元132控制的感光敏感度，而生成响应于来自检测区域的红外光量的数量的电荷。例如，半导体层13a为n型，并且所生成的电荷来自电子。

当光学系统12的光轴与接收面成直角时，如果光轴以及接收面的垂直(长度)方向和水平(宽度)方向的两个轴被设置为直角坐标系的三个轴，并且原点被设置为该系统12的中心，则每一感光单元131然后生成响应于来自由方位角和仰角(elevation)指明的方向的光量的数量的电荷。当在检测区域中存在一个或多个物理对象时，从光源11发射的红外光在物理对象上被反射并然后被感光单元131接收。因此，感光单元131接收图18所示延迟了相位ψ的强度调制后的红外光，并然后生成响应于其强度K2的数量的电荷，该相位ψ对应于感光单元131和物理对象之间的往返距离。该强度调制后的红外光被表示为

K2·sin(ωt-ψ)+B (算式1)其中ω是角频率，而B是环境光分量。

该敏感度控制单元132被构造有通过绝缘膜(氧化膜)13e而成层形成在半导体层13a的表面上的控制电极13b。并且该单元132根据来自传感器控制级14的敏感度控制信号而控制对应感光单元131的敏感度。在图19A和19B中，沿左右方向的控制电极13B的宽度尺寸被设置为大约1μm。控制电极13B和绝缘膜13e由相对于光源11的红外光半透明的材料形成。如图19A和19B所示，敏感度控制单元132由对于对应感光单元131的多个(例如五个)控制电极构成。例如，当所生成的电荷来自电子时，电压(+V，0V)被施加到每一控制电极13B作为敏感度控制信号。

电荷集合单元133包括响应于施加到对应每一控制电极13b的敏感度控制信号而改变的势阱(耗尽层)13c。并且单元133捕获并集合在势阱13c附近的电子(e)。没有集合在电荷集合单元133中的电子通过与空穴重组而消失。所以，通过利用敏感度控制信号改变势阱13c的分区尺寸，可能控制光检测元件13的感光敏感度。例如，图19A的状态下的敏感度高于图19B的状态下的敏感度。

例如，如图20所示，电荷拾取单元134与帧传递(frame transfer：FT)类型的CCD图像传感器具有类似的结构。在由感光单元131形成的图像拾取分区L1和该分区L1下一个的遮光存储分区L2中，连续集合在每一垂直(长度)方向上的半导体层13a被用作电荷沿垂直方向的传递路径。该垂直方向对应于图19A和19B的左右方向。

电荷拾取单元134被构造有存储分区L2、每一传递路径、和水平传递部分13d，该水平传递部分13d是CCD，并从每一传递路径的一端接收电荷，从而沿着水平方向传递每一电荷。在垂直消隐周期期间，一次执行从图像拾取分区L1到存储分区L2的电荷传递。也就是说，在电荷集合在势阱13c中之后，与敏感度控制信号的电压图案不同的电压图案被施加到每一控制电极13b作为垂直传递信号，从而沿着该垂直方向传递在势阱13c中集合的电荷。对于从水平传递部分13d到图像构造级15的传递，在水平周期期间，水平传递信号被提供到水平传递部分13d，并且传递一个水平线的电荷。在替换实施例中，水平传递部分沿着正常方向将电荷传递到图19A和19B的平面。

传感器控制级14是操作定时控制电路，并控制光源11、每一敏感度控制单元132和电荷拾取单元134的操作定时。也就是说，由于用于上述往返距离的光的传输时间是例如毫微秒级别的非常短的时间，所以传感器控制级14为光源11提供特定调制频率(例如20MHz)的调制信号，以控制强度调制后的红外光的强度的改变定时。

传感器控制级14也为每一控制电极13b施加电压(+V，0V)作为敏感度控制信号，并由此将光检测元件13的敏感度改变为高敏感度或低敏感度。

此外，传感器控制级14在垂直消隐周期期间为每一控制电极13b提供垂直传递信号，并在一个水平周期期间为水平传递部分13d提供水平传递信号。

图像构造级15被构造有例如CPU、用于存储程序等的存储设备等。并且该级15基于来自光检测元件13的信号而构造景深图像和强度图像。

现在解释传感器控制级14和图像构造级15的操作原理。图18的相位(相差)Ψ对应于光检测元件13的接收面和检测区域中的物理对象之间的往返距离。所以，通过计算该相位Ψ，可能计算到该物理对象的距离。可根据以上(算式1)表明的曲线的时间积分值(例如，周期TW中的积分值Q0、Q1、Q2和Q3)来计算相位Ψ。时间积分值(接收的光的数量)Q0、Q1、Q2和Q3分别取相位0°、90°、180°和270°的起始点。Q0、Q1、Q2和Q3的瞬时值q0、q1、q2和q3分别由以下算式给出：

q0＝K2·sin(-Ψ)+B

＝-K2·sin(Ψ)+B

q1＝K2·sin(π/2-Ψ)+B

＝K2·cos(Ψ)+B

q2＝K2·sin(π-Ψ)+B

＝K2·sin(Ψ)+B

q3＝K2·sin(3π/2-Ψ)+B

＝-K2·cos(Ψ)+B。所以，由以下(算式2)给出相位Ψ，并也在该时间积分值的情况下，可由以下(算式2)获得相位Ψ。

Ψ＝tan^-1{(q2-q0)/(q1-q3)}(算式2)

在强度调制红外光的一个周期期间，感光单元131中生成的电荷少，并因此传感器控制级14控制光检测元件13的敏感度，从而将在强度调制红外光的周期期间在感光单元131中生成的电荷集合到电荷集合单元133中。相位Ψ和物理对象的反射系数在强度调制红外光的各周期中几乎不改变。所以，例如，当与时间积分值Q0对应的电荷被集合在电荷集合单元133中时，光检测元件13的敏感度在与Q0对应的期限期间升高，而光检测元件13的敏感度在排除该期限的时间周期期间降低。

如果感光单元131生成与所接收的光量成比例的电荷，则当电荷集合单元133集合电荷Q0时，集合了与αQ0+β(Q1+Q2+Q3)+βQx成比例的电荷，其中α是与Q0到Q3对应的期限中的敏感度，β是排除了该期限的时间周期中的敏感度，而Qx是在排除了用于获得Q0、Q1、Q2和Q3的期限的时间周期中接收的光量。类似地，当电荷集合单元133集合了电荷Q2时，集合了与αQ2+β(Q1+Q2+Q3)+βQx成比例的电荷。由于Q2-Q0＝(α-β)(Q2-Q0)并且Q1-Q3＝(α-β)(Q1-Q3)，所以(Q2-Q0)/(Q1-Q3)理论上成为与(算式2)相同的值，而不管是否混合了不期望的电荷。所以，即使混合了不期望的电荷，要计算的相位Ψ仍成为相同值。

在与强度调制红外光的周期对应的时间周期之后，为了拾取在每一电荷集合单元133中集合的电荷，传感器控制级14在垂直消隐周期中将垂直传递信号提供到每一控制电极13B，并在一个水平周期中将水平传递信号提供到水平传递部分13d。

另外，因为Q0-Q3代表物理对象的亮度，所以Q0-Q3的附加值或平均值对应于红外光的强度图像(灰度图像)中的强度(浓度)值。所以，图像构造级15可根据Q0-Q3构造景深图像和强度图像。此外，通过根据Q0-Q3构造景深图像和强度图像，可能获得相同位置处的距离值和强度值。该图像构造级15借助于(算式2)根据Q0-Q3而计算距离值，并根据每一距离值而构造景深图像。在该情况下，可根据每一距离值来计算检测区域的三维信息，从而根据该三维信息来构造景深图像。由于强度图像包括Q0-Q3的平均值作为强度值，所以可能消除来自光源11的光的影响。

图21是根据本发明的跟进检测设备的第七实施例中的景深图像传感器的操作的示例图。

作为第六实施例的景深图像传感器的对比，第七实施例的景深图像传感器利用两个感光单元作为一个像素，并在调制信号的一个周期内生成与Q0-Q3对应的两种电荷。

如果在一个感光单元131中生成与Q0-Q3对应的电荷，则与视线方向有关的分辨率变高，但是存在时滞的问题，而如果在四个感光单元中生成与Q0-Q3对应的电荷，则该时滞变小，但是与视线方向有关的分辨率变低。

在第七实施例中，如图22A和22B所示，为了解决上述问题而利用两个感光单元作为一个像素。在第六实施例的图19A和19B中，尽管在感光单元131中生成电荷，但是两侧的两个控制电极起到形成势垒的作用，从而防止电荷向外流到相邻感光单元131。在第七实施例中，由于借助于任何感光单元131在相邻感光单元131的势阱之间形成势垒，所以对于每一感光单元提供三个控制电极，从而对于一个单元提供六个控制电极13b-1、13b-2、13b-3、13b-4、13b-5和13b-6。

现在解释第七实施例的操作。在图22A中，电压+V(规定正电压)被施加到每一控制电极13b-1、13b-2、13b-3和13b-5，而电压0V被施加到每一控制电极13b-4和13b-6。在图22B中，电压+V被施加到每一控制电极13b-2、13b-4、13b-5和13b-6，而电压0V被施加到每一控制电极13b-1和13b-3。只要调制信号的相位移位到相反相位(180°)，这些电压图案就交替改变。而且，在另一时间周期中，电压+V被施加到每一控制电极13b-2和13b-5，而电压0V被施加到剩余的每一控制电极。因此，例如，如图21所示，光检测元件可通过图22A的电压图案而生成与Q0对应的电荷，并通过图22B的电压图案而生成与Q2对应的电荷。另外，由于电压+V总是被施加到每一控制电极13b-2和13b-5，所以与Q0对应的电荷和与Q2对应的电荷被集合和保持。类似地，如果利用图22A和22B的两个电压图案，并且这两个电压图案的施加定时移位了90°，则与Q1对应的电荷和与Q3对应的电荷可被集合和保持。

在用于生成与Q0和Q2对应的电荷的期限与用于生成与Q1和Q3对应的电荷的期限之间，电荷从图像拾取分区L1被传递到存储分区L2。也就是说，当与Q0对应的电荷被存储在与控制电极13b-1、13b-2和13b-3对应的势阱13c中，并且与Q2对应的电荷也被存储在与控制电极13b-4、13b-5和13b-6对应的势阱13c中时，与Q0和Q2对应的电荷被拾取。并且然后，当与Q1对应的电荷被存储在与控制电极13b-1、13b-2和13b-3对应的势阱13c中，并且与Q3对应的电荷也被存储在与控制电极13b-4、13b-5和13b-6对应的势阱13c中时，与Q1和Q3对应的电荷被拾取。通过重复该操作，可通过两个读出操作拾取与Q0-Q3对应的电荷，并通过利用所拾取的电荷可计算相位Ψ。例如，当要求每秒30帧的图像时，用于生成与Q0和Q2对应的电荷的期限和用于生成与Q1和Q3对应的电荷的期限的期限和成为比1/60秒短的时间周期。

在替换实施例中，如图23A所示，电压+V被施加到每一控制电极13b-1、13b-2和13b-3，+V和0V之间的电压被施加到控制电极13b-5，而电压0V被施加到每一控制电极13b-4和13b-6。另一方面，如图23B所示，+V和0V之间的电压被施加到控制电极13b-2，电压+V被施加到每一控制电极13b-4、13b-5和13b-6，而电压0V被施加到每一控制电极13b-1和13b-3。由此，主要用于生成电荷的势阱比主要用于保持电荷的势阱更深，并由此在与施加0V电压的每一控制电极对应的分区中生成的电荷容易地流到更深的势阱中。所以，可能降低流入保持电荷的势阱中的噪声分量。

尽管已参考其特定优选实施例而描述了本发明，但是本领域普通技术人员可进行各种修改和变形，而不脱离本发明的真实精神和范围。

例如，在第六和第七实施例中，可利用与隔行传递(interline transfer：IT)或帧隔行传递(FIT)类型类似的构造，来代替与FT类型的CCD图像传感器类似的构造。

Claims

1.一种个体检测器，包括：

景深图像传感器，被安排为面对检测区域并生成景深图像，当在所述区域中存在一个或多个物理对象时，该景深图像的每一图像元素分别包括到所述一个或多个物理对象的每一距离值；和

对象检测级，用于基于由所述传感器生成的景深图像，而分离地检测所述区域中的所述一个或多个物理对象。

2.根据权利要求1的个体检测器，其中：

所述景深图像传感器被安排为向下面对下面的所述检测区域；和

所述对象检测级基于要检测的一个或多个物理对象的特定或每一高度的一部分的数据，而分离地检测在所述区域中要检测的一个或多个物理对象，该数据是从所述景深图像中获得的。

3.根据权利要求2的个体检测器，其中所述对象检测级基于作为从所述传感器先前获得的景深图像的背景景深图像和从所述传感器获得的当前景深图像之间的差值，而生成前景景深图像，并基于该前景景深图像而分离地检测作为在所述区域中要检测的所述一个或多个物理对象的一个或多个人。

4.根据权利要求3的个体检测器，其中：

所述对象检测级通过从所述当前景深图像的每一图像元素中提取特定图像元素，而生成所述前景景深图像，

该特定图像元素是当距离差大于规定距离阈值时提取的，而该距离差是通过从所述背景景深图像的对应图像元素中减去所述当前景深图像的图像元素而获得的。

5.根据权利要求4的个体检测器，其中：

所述景深图像传感器具有相机结构，其被构造为具有光学系统、和被安排为经由该光学系统而面对所述检测区域的二维感光阵列；和

所述对象检测级基于相对于所述景深图像传感器先前记录的相机校准数据，而将取决于所述相机结构的所述前景景深图像的相机坐标系变换为直角坐标系，并由此生成代表所述物理对象的存在/不存在的每一位置的直角坐标变换图像。

6.根据权利要求5的个体检测器，其中所述所述对象检测级将所述直角坐标变换图像的直角坐标系变换为在实空间中虚拟设置的世界坐标系，并由此生成世界坐标变换图像，其将所述物理对象的存在/不存在的每一位置描绘为实际位置和实际维数。

7.根据权利要求6的个体检测器，其中所述对象检测级通过平行投影而将所述世界坐标变换图像投影在规定平面上，以在所述世界坐标变换图像中生成包括从所述平面看到的每一图像元素的平行投影图像。

8.根据权利要求6的个体检测器，其中所述对象检测级从所述世界坐标变换图像中提取与一个或多个物理对象的一部分对应的采样数据，并识别该数据是否对应于基于人的分区先前记录的参考数据，从而分别辨别与该采样数据对应的每一物理对象是否是人。

9.根据权利要求7的个体检测器，其中所述对象检测级从所述平行投影图像中提取与所述一个或多个物理对象的一部分对应的采样数据，并识别该数据是否对应于基于人的分区先前记录的参考数据，从而分别辨别与该采样数据对应的每一物理对象是否是人。

10.根据权利要求8的个体检测器，其中：

所述采样数据包括在所述世界坐标变换图像中虚拟描绘的一个或多个物理对象的一部分的体积或宽度、深度和高度的比率；和

所述参考数据是基于一个或多个人的分区而先前记录的，该参考数据是关于所述分区的体积或宽度、深度和高度的比率的值或取值范围。

11.根据权利要求9的个体检测器，其中：

所述采样数据包括在所述平行投影图像中虚拟描绘的一个或多个物理对象的一部分的面积或宽度和深度的比率；和

所述参考数据是基于一个或多个人的分区而先前记录的，该参考数据是关于所述分区的面积或宽度和深度的比率的值或取值范围。

12.根据权利要求8的个体检测器，其中：

所述采样数据包括在所述世界坐标变换图像中虚拟描绘的一个或多个物理对象的一部分的三维图案；和

所述参考数据是基于一个或多个人的分区而先前记录的至少一个三维图案。

13.根据权利要求9的个体检测器，其中：

所述采样数据包括在所述平行投影图像中虚拟描绘的一个或多个物理对象的一部分的二维图案；和

所述参考数据是基于一个或多个人的分区而先前记录的至少一个二维图案。

14.根据权利要求5的个体检测器，其中：

所述景深图像传感器还包括光源，其朝向所述检测区域发射经强度调制的光，该传感器除了生成所述景深图像之外，还基于每个图像元素的所接收的光的强度而生成强度图像；和

所述对象检测级基于所述直角坐标变换图像而提取与所述一个或多个物理对象的一部分对应的采样数据，并基于所述强度图像而辨别是否存在比对应于所述采样数据的每一物理对象的一部分的规定强度低的部分。

15.根据权利要求6的个体检测器，其中：

所述景深图像传感器还包括光源，其朝向所述检测区域发射经强度调制的红外光，该传感器除了生成所述景深图像之外，还基于来自所述区域的所述红外光而生成所述红外光的强度图像；和

所述对象检测级基于所述世界坐标变换图像而提取与所述一个或多个物理对象的一部分对应的采样数据，并基于所述强度图像而识别来自与所述采样数据对应的每一物理对象的一部分的所述红外光的平均强度是否低于规定强度，从而分别辨别与所述采样数据对应的每一物理对象的一部分是否是人头。

16.根据权利要求8的个体检测器，其中所述对象检测级基于辨别为人的物理对象的数目，而将所述平行投影图像中的辨别为人的每一物理对象的一部分的位置分配给群集的分量，并然后基于通过群集的K平均值算法获得的划分的域而验证所述物理对象的数目。

17.根据权利要求9的个体检测器，其中所述对象检测级基于辨别为人的物理对象的数目，而将所述平行投影图像中的辨别为人的每一物理对象的一部分的位置分配给群集的分量，并然后基于通过群集的K平均值算法获得的划分的域而验证所述物理对象的数目。

18.根据权利要求2的个体检测器，其中：

所述对象检测级通过从所述景深图像的每一图像元素中提取特定图像元素，而生成前景景深图像，并基于该前景景深图像而分离地检测作为在所述区域中要检测的一个或多个物理对象的一个或多个人；

当所述景深图像的图像元素的距离值小于规定距离阈值时，提取所述特定图像元素。

19.根据权利要求2的个体检测器，其中所述对象检测级识别具有所述景深图像的距离值分布的最小值的图像元素周围的景深图像是否对应于基于人的分区而先前记录的特定形状和特定形状的尺寸，并然后分别辨别与具有所述最小值的图像元素周围的景深图像对应的每一物理对象是否是人。

20.根据权利要求2的个体检测器，其中：

所述对象检测级根据所述景深图像的每一距离值而生成分布图像，并基于该分布图像而分离地检测所述检测区域中的一个或多个物理对象，

当在所述检测区域中存在一个或多个物理对象时，所述分布图像包括一个或多个分布域，

所述分布域由具有比所述景深图像中的规定距离阈值低的距离值的每一图像元素构成，

所述规定距离阈值是通过将规定距离值添加到所述景深图像的每一距离值的最小值而获得的。

21.一种跟进检测设备，包括权利要求2的个体检测器和跟进检测级，其中：

所述景深图像传感器连续生成所述景深图像；和

所述跟进检测级：根据跟进警告而分离地跟随用所述对象检测级检测的一个或多个人的移动轨迹；并当两个或多个人沿着规定方向向/从所述检测区域移动时，检测到跟进发生以发送报警信号。

22.一种跟进检测设备，包括权利要求2的个体检测器和跟进检测级，其中：

所述景深图像传感器连续生成所述景深图像；和

所述跟进检测级：监视用所述对象检测级检测的一个或多个人的进入和离开、以及进入和离开的每一方向；并当两个或多个人在跟进警卫设置的规定时间内沿着规定方向向/从所述检测区域移动时，检测到跟进发生以发送报警信号。