CN1839409A - 人物检测装置和人物检测方法 - Google Patents
人物检测装置和人物检测方法 Download PDFInfo
- Publication number
- CN1839409A CN1839409A CNA2004800240071A CN200480024007A CN1839409A CN 1839409 A CN1839409 A CN 1839409A CN A2004800240071 A CNA2004800240071 A CN A2004800240071A CN 200480024007 A CN200480024007 A CN 200480024007A CN 1839409 A CN1839409 A CN 1839409A
- Authority
- CN
- China
- Prior art keywords
- space
- personage
- time segment
- image
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
一种检测运动图像中包含的人物的人物检测装置,包括:时空体积生成部(13),生成将构成拍摄了人物的运动图像的帧图像沿时间轴排列的三维时空图像;时空片断提取部(14),提取作为将该三维时空图像切断时的切断断面或切断片断中的图像的实际图像时空片断;时空片断输出部(15),根据规定了人物的移动特性的人物移动模型,生成并输出作为通过基于该人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断;时空片断核对部(16),将实际图像时空片断、和人体部位移动模型时空片断进行核对;以及属性输出部(17),根据该核对结果,输出包含有运动图像中的人物是否存在的人物属性。
Description
技术领域
本发明涉及通过图像处理而对步行的人物进行检测的人物检测装置等,特别涉及对人物的存在位置和步行方向进行检测的人物检测装置等。
背景技术
以往的人物检测技术大多使用静止图像或一张差分图像。在使用静止图像或一张差分图像进行人物检测的情况下,由于难以在设计时预测可能因遮挡等引起人物的形状特征变化,所以有时导致误检测或未检测,相反,在采用图像序列的方法中,对于因遮挡等引起的临时性的特征量的变动,由于可以采用插补和预测机构,所以对于遮挡或临时性的环境变动,可以期待可靠的检测。
以往,作为采用运动图像序列的人物检测技术(第1现有技术),提出以下方法:通过生成在时间方向上排列图像的三维时空(時空間)图像,按每一帧提取将与人物的脚腕位置对齐来切断三维时空图像后的时空片断图像,并进行人物步行上特有的周期性的检测,从而对人物进行检测(例如,Niyogi、Adelson“Analyzing and RecognizingWalking Figures in XYT”、MIT-TR-223、1994,第3页和图3等)。由此,可进行其他的移动物体和人物的识别,而且,通过使用图像序列,即使在临时性的环境变化中,也可进行稳定的人物检测。
此外,作为其他的现有技术(第2现有技术),提出了以下方法:在图像中配置多条缝隙(slit),用该缝隙区域的时间上的像素值变化来形成移动物体像,判定移动物体的移动方向,并且进行计数(例如,日本专利第3183320号公报,第7页和图4等)。根据这种技术,通过考虑穿过缝隙的人物的时间的变化,可稳定地进行人物的检测以及判定移动方向。
但是,在上述第1现有技术中,被限定于人物的脚腕位置是已知的,并且相对于图像在左右方向上步行着的情况。此外,由于需要事先检测脚腕位置,所以要以人物的初始检测已在进行作为前提。因此,存在难以对图像中各个方向上步行着的人物进行检测的问题。
而在上述第2现有技术中,可以通过将用于人物检测的缝隙在图像中配置多条来检测步行方向,但需要设计者事先决定缝隙配置,存在从图像中进行人物检测的区域被限定的问题。
发明内容
本发明解决上述问题点,其目的在于提供一种人物检测装置,即使在人物的步行方向不固定的情况下,也能够不限定图像中的检测区域而进行包含有人物的存在位置和步行方向的人物检测。
为了实现上述目的,本发明的人物检测装置,检测运动图像中包含的人物,其特征在于,包括:时空体积生成单元,生成将构成拍摄了人物的运动图像的帧图像沿时间轴排列的三维时空图像;时空片断提取单元,从生成的三维时空图像中,提取作为将该三维时空图像切断时的切断断面或切断片断中的图像的实际图像时空片断;时空片断输出单元,根据规定了人物的移动特性的人物移动模型,生成并输出作为通过基于该人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断;时空片断核对单元,将所述时空片断提取单元提取的实际图像时空片断、和所述时空片断输出单元输出的人体部位移动模型时空片断进行核对;以及属性输出单元,根据所述时空片断核对单元的核对结果,输出包含所述运动图像中的人物是否存在的人物属性。由此,将由实际图像生成的实际图像时空片断和由表现了典型的人物的移动的人物移动模型生成的人体部位移动模型时空片断进行核对,所以例如可进行核对的一致度满足一定基准的实际图像时空片断和人体部位移动模型时空片断的搜索,能够不限定人物的步行方向和图像中的检测区域而进行包含有人物的存在位置及步行方向的人物检测。
这里,所述时空片断提取单元决定用于切断所述帧图像的片断提取线,并以通过将决定的片断提取线沿时间轴排列而获得的面作为切断断面,来提取所述实际图像时空片断,例如,采用将所述三维时空图像中的人物的腿切断的片断提取线来提取所述实际图像时空片断。另一方面,所述时空片断输出单元根据规定了人物的步行特性的人物移动模型,生成通过切断该人物移动模型步行时的腿的切断断面而获得的人体部位移动模型时空片断。由此,由于进行利用了人物的移动所特有的步行特性的人物检测,所以避免不具有步行特性的车辆等的移动物体被误检测出来。
再有,作为人物移动模型的具体例子,例如,可以列举以如下方式规定的模型:以对应于两条腿的一端彼此之间被结合的两条线段来表现,各线段以结合点作为旋转中心并以一定的角速度(ω)交替地旋转至最大角度(2θL)。
此外,优选是所述时空片断核对单元通过对所述实际图像时空片断,计算在时间方向上扫描所述时空片断输出单元输出的一步的人体部位移动模型时空片断时的图像彼此之间的一致性,进行所述核对。由此,通过利用人的步行是周期性的动作这一情况,可以用简单的图像匹配来可靠地检测人物。
此外,所述人物检测装置还包括移动方向计算单元,该单元从所述时空体积生成单元生成的三维时空图像中,计算在该三维时空图像中存在的移动物体的移动方向,所述时空片断提取单元根据由所述移动方向计算单元算出的移动方向来决定所述片断提取线。此时,例如,所述移动方向计算单元通过按构成所述三维时空图像的每个帧图像来提取所述移动物体,并求得被提取的移动物体的帧图像中的移动矢量,从而计算所述移动物体的移动方向,也可以通过按构成所述三维时空图像的每个帧图像来划分为小区域,并对每个小区域求帧图像间的移动矢量,从而计算所述移动物体的移动方向。由此,由于跟随人物的移动方向来决定片断提取线,所以无论人物的移动方向和位置如何,都自动决定用于生成最合适的时空片断的片断提取线,例如无论图像中的人物的位置如何,都自动地始终决定切断人物的腿的片断提取线。再有,上述片断提取线例如为直线或曲线。
此外,在通过所述时空片断核对单元核对为所述实际图像时空片断、和所述人体部位移动模型时空片断为一定基准以上的一致的情况下,所述属性输出单元根据确定所述切断断面或切断片断的参数、和确定所述人物移动模型的参数,来计算并输出所述运动图像中的人物的位置和移动方向,所述人物检测装置还包括显示单元,该单元显示从所述属性输出单元输出的包含人物的位置和移动方向的人物属性。由此,不仅确定运动图像中是否存在人物,而且还确定被检测的人物的位置和移动方向,可以应用于监视装置中的摄像机的跟随控制等。
此外,所述人物检测装置还包括周期性解析单元,该单元解析由所述时空片断提取单元提取的实际图像时空片断是否为基于人物的步行所特有的周期性动作的图像,所述时空片断提取单元根据所述周期性解析单元的解析结果来变更片断提取线,并用变更后的片断提取线再次提取实际图像时空片断。此时,在通过对用于表示构成所述实际图像时空片断的各时间中的图像的一维数据求得自相关函数,来生成相关长度的时间序列数据,并且生成的相关长度的时间序列数据中存在周期性的情况下,所述周期性解析单元解析为所述实际图像时空片断是基于人物的步行所特有的周期性动作的图像,并且在通过对所述相关长度的时间序列数据求得自相关函数,来求得用于表示自相关函数值相对相关长度的变化的曲线,并且在该曲线中存在峰值的情况下,判断为在相关长度的时间序列数据中存在周期性。由此,由于变更、决定片断提取线的参数,以在实际图像时空片断中检测出基于人物的移动所特有的步行特性的周期性,所以不依赖于人物的步行方向和位置而可靠地检测出人物。
此外,所述人物检测装置还包括解搜索单元,该单元根据所述时空片断核对单元的核对结果,通过执行:使所述时空片断提取单元变更了确定所述切断断面或切断片断的参数后、再次提取实际图像时空片断;以及使所述时空片断输出单元变更了确定所述人体移动模型的参数后、再次输出人体部位移动模型时空片断中的至少一个,由此搜索用于确定所述切断断面或切断片断的最佳参数和用于确定所述人体移动模型的最佳参数。此时,例如,优选是所述解搜索单元用遗传算法搜索最佳参数。由此,以更短时间来决定精度高的参数,使人物的存在位置和移动方向的检测变得准确。
此外,所述时空体积生成单元通过使对所述帧图像进行背景差分或帧间差分后二值化所得的图像至少重合一张以上,来生成所述三维时空图像。由此,由于只根据移动的物体来生成三维时空图像,所以实现核对速度的高速化及核对精度的提高。
此外,所述时空片断输出单元生成并输出与从预先存储的多个不同种类的人物移动模型中选择的人物移动模型相对应的、人体部位移动模型时空片断,所述时空片断核对单元在所述核对的结果未满足一定的基准的情况下,通过使所述时空片断输出单元生成并输出与新的人物移动模型相对应的人体部位移动模型时空片断,来重复进行所述核对。此时,作为所述时空片断输出单元预先存储的多个人物移动模型的例子,作为模型化对象的人物的性别、年龄、人物进行步行的路面的状况、以及进行步行的场所中的混杂度中的至少一个是不同的。由此,不仅可判别运动图像中包含的人物的是否存在、位置、移动方向,而且还可判别人物的性别和年龄等的类别、路面的状况和混杂度等的有关移动空间的环境。
再有,本发明不仅能够作为人物检测装置来实现,而且也可以作为人物核对装置来实现,该装置将运动图像中包含的人物的图像与预先存储的人物的图像进行核对,其特征在于,包括:上述人物检测装置;核对摄像机,具有全景拍摄、俯仰拍摄和变焦拍摄中的至少一个功能;摄像机控制单元,根据所述人物检测装置检测出的人物的位置或移动方向,控制所述核对摄像机进行的全景拍摄、俯仰拍摄和变焦拍摄中的至少一个;以及人物核对单元,将所述核对摄像机拍摄的人物的图像与预先存储的人物的图像进行核对。由此,可以应用于找出特定的人物、对人物进行认证的人物监视装置或人物认证装置等。
此外,本发明也可以作为一种人物模型拟合装置来实现,该装置使规定了人物的移动特性的人物移动模型拟合至图像上的人物的移动,其特征在于,包括:时空体积生成单元,生成将构成拍摄了人物的运动图像的帧图像沿时间轴排列的三维时空图像;时空片断提取单元,从生成的三维时空图像中,提取作为将该三维时空图像切断时的切断断面或切断片断中的图像的实际图像时空片断;时空片断输出单元,生成并输出作为通过基于所述人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断;时空片断核对单元,将所述时空片断提取单元提取的实际图像时空片断、和所述时空片断输出单元输出的人体部位移动模型时空片断进行核对;以及模型拟合单元,根据所述时空片断核对单元的核对结果,决定用于确定所述人物移动模型的参数的值,以使所述人物移动模型表示所述图像中的人物的移动。由此,不将标志器(marker)等特殊的装置安装在被摄体上,可以对图像中存在的人物进行模型拟合,容易地形成反映了各个人物具有的个性的模型数据。因此,通过将形成的模型数据用作核对的基准,实现了检测特定的人物的装置。
此外,本发明也可以作为图像生成装置来实现,该装置用于生成检测被包含于运动图像中的人物的图像,包括:时空片断输出单元,在以将沿时间轴排列构成运动图像的帧图像而成的三维时空图像切断时的切断断面或切断片断中的图像作为时空片断时,该时空片断输出单元根据规定了人物的移动特性的人物移动模型,生成并输出作为通过基于该人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断。由此,由于根据人物移动模型生成表现了特征性的人体部位的移动的时空片断,所以例如可应用于生成与作为上述人物检测装置中的核对对象的各种人物模型对应的基准数据的专用装置。
再有,本发明不仅可以作为这样的人物检测装置、人物核对装置、人物模型拟合装置和图像生成装置来实现,而且还可以作为人物检测方法、人物核对方法、人物模型拟合方法和图像生成方法来实现,也可以作为使计算机执行这样的方法的程序来实现,也可以作为记录了程序的计算机可读取记录介质来实现。
附图说明
图1是表示本发明第1实施方式的人物检测装置的结构的功能方框图。
图2是表示本发明第1实施方式的人物检测装置的动作的流程图。
图3(a)~图3(b)是表示本发明第1实施方式的提取时空片断的图。
图4是表示本发明第1实施方式的时空片断提取部的结构的功能方框图。
图5是表示本发明第1实施方式的通用(ワ一ルド)坐标上的片断提取线的图。
图6是表示本发明第1实施方式的人体部位移动时空片断输出部的结构的功能方框图。
图7是表示本发明第1实施方式的人物移动模型的图。
图8是表示本发明第1实施方式的时空片断核对部的结构的功能方框图。
图9(a)是表示本发明第1实施方式的时空片断的图,图9(b)是表示本发明第1实施方式的人体部位移动模型时空片断的图,图9(c)是表示本发明第1实施方式中的匹配的图。
图10是表示本发明第2实施方式的人物检测装置的结构的功能方框图。
图11是表示本发明第2实施方式的解搜索部的结构的功能方框图。
图12是表示本发明第3实施方式的人物检测装置的结构的功能方框图。
图13是表示本发明第3实施方式的显示部的显示的图。
图14是表示本发明第4实施方式的人物检测装置的结构的功能方框图。
图15(a)~图15(b)是表示本发明第4实施方式的移动方向计算方法的例子的图。
图16(a)~图16(b)是表示本发明第4实施方式的移动方向计算方法的例子的图。
图17是表示本发明第4实施方式的时空片断提取部的结构的功能方框图。
图18是表示本发明第5实施方式的人物检测装置的结构的功能方框图。
图19是表示本发明第5实施方式的周期性解析部的结构的功能方框图。
图20(a)~图20(f)是表示本发明第5实施方式的自相关函数计算的例子的图。
图21(a)~图21(b)是表示本发明第5实施方式的相关长度的自相关函数计算的例子的图。
图22是表示本发明第6实施方式的人物模型拟合装置的结构的功能方框图。
图23是表示本发明第6实施方式的人物模型拟合部的结构的功能方框图。
图24是表示不同类别的人物移动模型模板的例子的图。
图25是表示在不同的步行路面的状况下不同的多个人物移动模型模板的例子的图。
图26是表示在不同的步行场所混杂度下不同的多个人物移动模型模板的例子的图。
具体实施方式
以下,使用附图对本发明的实施方式进行说明。
(第1实施方式)
首先,说明本发明第1实施方式的人物检测装置。
图1是表示本实施方式的人物检测装置的结构的功能方框图。该人物检测装置是检测在街头、停车场、商店内等进行拍摄的影像中存在的人物的装置,它包括摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、时空片断提取部14、人体部位移动模型时空片断输出部15、时空片断核对部16、属性输出部17及显示部18。再有,在本实施方式,论述有关将时空片断作为图像来提取的情况,但时空片断不一定是图像,也可以是从图像中提取的特征量或通过椭圆、直线等的重合(当てはめ)而提取的参数。
在图1中,摄像机10是拍摄影像,并将拍摄的影像按每一帧输出到影像处理部11的摄像装置。影像处理部11是对输入的影像,按每一帧进行帧间差分处理或背景差分处理,通过阈值将影像二值化的处理部。
连续图像处理部12是在根据输入图像生成三维时空图像的情况下,将输入图像按帧的时间顺序来存储,另一方面,在以图像以外的形式生成时空体积的情况下,用输入图像进行特征提取或椭圆、直线等的重合,将其结果作为参数按时间顺序进行存储的处理部。
时空体积生成部13是使用预先决定的帧数为N张的图像或参数来生成时空体积的处理部。时空片断提取部14是使用由时空体积生成部13生成的时空体积来提取时空片断的处理部。这里,时空片断,是将时空体积表示的三维时空图像沿时间轴切断了的时候的切断断面或切断片断中的图像。例如,是将三维时空图像以平行于帧的横轴并且平行于时间轴的面切断时的切断断面中的图像,此时,成为由帧的横轴和时间轴构成的二维图像。再有,切断片断相当于具有厚度的切断断面,切断片断中的图像为三维图像。
人体部位移动模型时空片断输出部15是输出按照人物移动模型的人体部位移动模型时空片断的处理部。时空片断核对部16是进行时空片断提取部14中生成的来自实际图像的时空片断、和人体部位移动模型时空片断输出部15中根据人物移动模型生成的人体部位移动模型时空片断之间的核对的处理部。
属性输出部17是使用时空片断核对部16的结果,计算被检测的人物的位置、步行方向、角速度等,并且预测t秒后的人物的存在位置的处理部。显示部18是将时空片断核对部16检测出的人物的存在位置和步行方向配置在俯瞰图中来显示的处理部和显示器等。
以下,关于本实施方式的人物检测装置的动作,用图2的流程图详细地说明。
首先,在S201,摄像机10拍摄移动物体等的对象物的影像。再有,摄像机10也可以由多个摄像机构成。
接着,在S202,影像处理部11对从摄像机10输入的影像,按每一帧进行帧间差分处理或背景差分处理,通过阈值进行影像二值化。再有,在进行背景差分处理的情况下,事先准备作为不存在人物的背景的图像。
接着,在S203,为了生成时空体积,连续图像处理部12将二值化处理后的图像存放在作为缓冲器而内置了图像的硬盘等中,按每一帧向时空体积生成部13发送图像,或在由图像以外方式生成时空体积的情况下,用输入图像进行特征提取或椭圆、直线等的重合,将其结果作为参数输出。
接着,在S204至S206,时空体积生成部13用预先决定的帧数为N张的图像、或时刻为N部分的参数来生成时空体积。这里,在新从连续图像处理部12发送了第N+1张的图像的情况下,在S206,通过废弃第1张时空体积,始终生成保持了N帧的图像的时空体积。
再有,后面论述有关时空体积的生成方法。这里,不一定进行每次一张的输入和废弃,只要是取得时刻N部分的连续的数据的方法,任何方法都可以。
接着,在S207,时空片断提取部14决定片断提取线的参数,用决定的片断提取线,从由时空体积生成部13生成的时空体积中提取时空片断。
这里,用图3说明时空片断的形成方法。图3(a)表示时空体积21,图3(b)表示由片断提取线23决定的时空片断22。图3(b)所示的时空片断22是将构成时空体积21的各帧中的片断提取线23处的一维图像排列在时间轴上的时空片断,相当于将时空体积21表示的三维时空图像沿时间轴切断后的切断断面中的图像。
这里,用于提取时空片断的片断提取线23如图3(a)所示,不仅可以是直线,也可以是曲线。而且,也可以是具有一定厚度(粗细)的线。再有,有关片断提取线的决定方法,将在后面论述。
接着,在S208,人体部位移动模型时空片断输出部15根据在S207中决定的片断提取线的参数来决定人物移动模型的参数,并从根据决定的人物移动模型的参数而生成的人物移动模型中,生成人体部位移动模型时空片断。再有,有关人物移动模型的参数决定方法和人体部位移动模型时空片断的生成方法,将在后面论述。
接着,在S209,时空片断核对部16进行时空片断提取部14提取的时空片断、和人体部位移动模型时空片断输出部15生成的人体部位移动模型时空片断之间的匹配。
然后,在S210,在时空片断核对部16将时空片断和人体部位移动模型时空片断进行核对,并且核对结果为不一致的情况下(S210中为“否”),转移到S211,并在没有将人物移动模型的参数全部进行试行时(S211中为“否”),转移到S208,人体部位移动模型时空片断输出部15生成新的人体部位移动模型时空片断,另一方面,在将人物移动模型的参数全部进行了试行时(S211中为“是”),转移到S207,时空片断提取部14再次决定片断提取线23。
另一方面,在S210,在核对结果中时空片断和人体部位移动模型时空片断一致或大于等于阈值的情况下(S210中为“是”),时空片断核对部16将该时刻的片断提取线的参数、以及人物移动模型的参数输出到属性输出部17。
然后,在S212,属性输出部17在可以确认人物存在的情况下,计算人物的存在位置和步行方向,并输出到显示部18。最后,在S213,显示部18将人物是否存在、存在位置及步行方向显示在画面上。
这里,关于时空片断提取部14,用图4详细地说明。如图4所示,时空片断提取部14包括:片断提取线生成部30,用于在作为将实际空间中的人物的存在位置和移动方向表现在实际空间上的坐标轴的通用(ワ一ルド)坐标系中,决定将时空体积切断的片断提取线23;坐标转换部31,用有关摄像机10的设置的参数,进行从通用坐标系向表现图像平面的像素(pixel)坐标系的转换;时空体积切断部32,从时空体积21中提取时空片断22。
以下,作为片断提取线,论述有关以直线进行生成的情况。
首先,片断提取线生成部30定义通用坐标上的直线和曲线。这里,片断提取线生成部30为了根据实际空间中的人物的存在位置和移动方向来生成直线和曲线,采用在实际空间上表现坐标轴的通用坐标系。
再有,将通用坐标以(XW、YW、ZW)表示。通用坐标的细节记述在‘3次元ビジヨン’中(徐、辻著,共立出版,1998年发行,第9页)。
这里,假设ZW为通用坐标上的天地方向,并将ZW设为固定值时,如图5所示,通用坐标中的片断提取线23可以用以下的式1进行定义。
yw=xwtanθw+bw,zw=const (式1)
θw是有关表现实际空间的通用坐标上存在的人物的步行方向的参数。如果可以求切片bw,则通用坐标上的人物的步行为在用该式1所表示的直线上。再有,片断提取线23也可以使用曲线,例如,使用与步行的摆动一致的曲线也是有效的。这种情况下,通过假设步行周期,以sin曲线等决定片断提取线,一边错开相位一边进行片断提取,由此可以进行与步行中的周期性的上下动作一致的片断提取。
而且,例如,在根据从膝下至脚腕的移动来进行人物检测的情况下,通过使片断提取线具有厚度,就可以实现。这种情况下,从时空体积中提取的时空片断具有一定的厚度。此外,上述θw和bw取将监视区域包罗的组合,通过后述的时空片断核对部16的核对结果而依次被决定。再有,在并用其他检测方法的情况下,根据其检测结果来决定所述两个参数就可以,不必是包罗的。
有关与其他的检测方法并用的情况,在第4和第5实施方式中说明。
接着,坐标转换部31进行利用摄像机10的设置位置、焦距、标度因子(scale factor)等的预先已知的参数,将通过该θw和bw的参数生成的片断提取线23,从通用坐标系向表现图像平面的像素坐标系的转换。通过这种转换,片断提取线成为二维图像上的线。
接着,时空体积切断部32进行时空片断的提取。该时空片断的提取用由坐标转换部31生成的像素坐标系中的片断提取线,通过切断由时空体积生成部13生成的时空体积来进行。
接着,时空片断核对部16对由时空体积切断部32切断的时空片断、和从人体部位移动模型时空片断输出部15输出的人体部位移动模型时空片断之间进行核对,根据核对结果,将作为表示片断提取线的参数变更的信号的片断提取线参数变更信号,输出到片断提取线生成部30。
以下,直至片断提取线参数变更信号的输入结束为止,时空片断提取部14同样地形成片断提取线,并形成时空片断。
下面,详细地说明人体部位移动模型时空片断输出部15。
如图6所示,人体部位移动模型时空片断输出部15包括:人物移动模型生成部50,用片断提取线23将通用坐标上的人物的步行模型化;坐标转换部51,进行从通用坐标系向像素坐标系的转换;时空片断输出部52,生成根据人物移动模型的时空片断。
在本实施方式中,说明了有关用表现脚的两条线段来将人物的步行进行模型化的例子。再有,也可以考虑膝关节或脚腕等而使用更精确的人物移动模型。而且,躯体、头部、胳膊、手的移动也可同时地模型化。此外,不限于线段,也可以使用椭圆等来模型化人物的移动。
首先,人物移动模型生成部50以通用坐标系中的步行的一步作为基本单位,如图7所示,来决定人物移动模型步行的通用坐标上的位置(xstart、ystart)和角速度ω。这里,使位置(xstart、ystart)为由时空片断提取部14决定的通用坐标上的片断提取线23上的一点。
再有,图7表示人物移动模型中脚最大地迈开的情况。此外,下一步以(x2nd、y2nd)作为起点,是移动至角速度ω、角度2θL为止的一步。
下面说明作为有关人物移动模型的参数的通用坐标上的位置(xstart、ystart)和角速度ω的决定方法。
由片断提取线生成部30决定的片断提取线的参数θw和bw表现着通用坐标上的直线。作为人物移动模型的参数的通用坐标上的位置(xstart、ystart),在处于该通用坐标上的直线上的约束下,对于监视区域内的位置,包罗性地决定参数。再有,在与其他的检测方法并用的情况下,根据其检测结果来决定与位置有关的参数即可,不必是包罗性的。
接着,论述有关人物移动模型生成部50中的人物移动模型的动作。如图7所示,人物移动模型是将人的腿的移动进行模型化的人物移动模型,通过以两条直线作为腿,以通用坐标中的位置(xstart、ystart)作为起点,以角速度ω移动人物移动模型的腿,生成一步的步行。人物移动模型的腿间的角度为2θL的情况下,2θL/ω为一步步行所需的时间或帧数。这里,将ω作为考虑人物的步行速度来包罗性地试用有可能性的角速度ω,所以生成角速度ω和通用坐标中的位置(xstart、ystart)的组合量的人体部位移动模型时空片断。再有,在本实施方式中,说明了事先由设计者决定脚的长度L和腿间的角度θL的情况,但也可使这些参数根据状况而变化,准备多个种类的人物移动模型,由此也可以形成更精确的人物移动模型。不用说,人物移动模型生成的步行不限定于一步,也可以将几步作为基本单位。
接着,坐标转换部51与坐标转换部31同样,进行通过用摄像机10的设置位置、焦距、标度因子等的预先已知的参数,将人物移动模型生成的通用坐标上的一步的人物移动模型转换为像素坐标系中的步行,从而由人物移动模型来生成时空体积。
接着,时空片断输出部52对于坐标转换部51生成的像素坐标系中的时空体积,用与时空片断提取部14相同的θw和bw的参数来生成时空片断。
再有,这里,用人物移动模型生成部50中生成的人物移动模型,在坐标转换部51中生成时空体积,并由时空体积来生成人物移动模型的时空片断,但通过着眼于人物移动模型的特定部位,直接计算特定部位的移动,也可以生成时空片断。这种情况下,将人物移动模型作为腿的移动来进行模型化,但人体部位移动模型时空片断作为着眼于如脚腕位置等那样腿的一个部位的片断来生成。这样,如果通过直接计算特定部位的移动,来生成人体部位移动模型时空片断,则可削减计算量,并且通过采用人物特有的部位的移动,而具有使人物检测容易的优点。
接着,时空片断核对部16将由时空片断提取部14提取的时空片断、和从人体部位移动模型时空片断输出部15输出的人体部位移动模型时空片断之间进行核对,并根据核对结果,将作为表示人体部位移动模型时空片断的参数变更的信号的人体部位移动模型时空片断参数变更信号,输出到人物移动模型生成部50。
以下,人体部位移动模型时空片断输出部15同样地由人物移动模型,形成人体部位移动模型时空片断,直至人体部位移动模型时空片断参数变更信号的输入结束为止。
如以上那样,人物移动模型的参数是在基于片断提取线的参数而进行的约束下决定的参数,在人物移动模型的参数形成第1处理环路,片断提取线的参数形成第2处理环路时,第1环路是被包含在第2处理环路中的环路。
接着,用图8说明时空片断核对部16。时空片断核对部16包括:核对处理部150,进行时空片断提取部14提取的时空片断、和人体部位移动模型时空片断输出部15中由人物移动模型生成的人体部位移动模型时空片断之间的核对;以及比较部152,保持核对结果,并与预先确定的阈值进行比较,输出核对结果或参数的变更请求。
核对处理部150对从实际图像中提取的时空片断,通过对由人物移动模型生成的人体部位移动模型时空片断在时间方向上进行扫描的同时进行匹配,从而进行核对。以下,说明对于二值化的图像的核对例子。
图9(a)是着眼于从实际图像中提取的人物的腿的移动的时空片断70,图9(b)是由人物移动模型生成的人体部位移动模型时空片断71,图9(c)表示作为两者的核对得分的匹配记分(matchingscore)。
对于从实际图像中提取的时空片断70,在从上到下方向上按每一像素对由人物移动模型生成的人体部位移动模型时空片断71进行扫描,并计算匹配记分。再有,在本实施方式,将计算匹配记分的工序称为步长(step)。
这里,在将时空片断70和人体部位移动模型时空片断71进行了“0”和“1”的二值化的情况下,匹配记分是将“1”的像素作为导通(ON)像素、将“0”的像素作为截止(OFF)像素,并将人体部位移动模型时空片断71的导通像素和截止像素与时空片断70的导通像素和截止像素进行核对的匹配记分。
首先,在时空片断70的任意的场所中,重合人体部位移动模型时空片断71。
接着,以人体部位移动模型时空片断71作为基准,计算人体部位移动模型时空片断71为导通像素、并且时空片断70也为导通像素的情况下的导通像素的核对数。
接着,以人体部位移动模型时空片断71作为基准,计算人体部位移动模型时空片断71为截止像素、并且时空片断70也为截止像素的情况下的截止像素的核对数。
接着,通过将导通像素的核对数用人体部位移动模型时空片断71的导通像素数进行标准化所得的值、和将截止像素的核对数用人体部位移动模型时空片断71的截止像素数进行标准化所得的值相加,从而获得匹配记分。
再有,匹配记分的计算方法也可以采用其他方法。
如图9(c)的核对结果所示,一边按每一步长扫描人体部位移动模型时空片断71一边计算匹配记分,并将匹配记分输出到比较部151。
接着,比较部151将表示了扫描处理中最大的匹配记分的记分与预定的阈值进行比较,将超过阈值的匹配记分、其步长数和人物移动模型的参数作为核对结果输出到属性输出部17。再有,这里,仅对表示了最大的匹配记分的记分与阈值进行比较,但也可以按每个步长与阈值进行比较。
而且,时空片断核对部16在匹配记分小于等于阈值,未结束对全部的人物移动模型的参数的研究的情况下,将请求变更人体部位移动模型时空片断的参数的人体部位移动模型时空片断参数变更信号,输出到人体部位移动模型时空片断输出部15,并在结束了对全部的人物移动模型的参数的研究的情况下,将请求变更片断提取线的参数的片断提取线参数变更信号,输出到时空片断提取部14。
再有,在人体部位移动模型时空片断参数变更信号和片断提取线参数变更信号中,包含作为片断提取线23的参数的θw和bw、作为人物移动模型的参数的(xstart、ystart)和ω。
此外,图9(a)中的时间是在时空体积生成部13中预先决定的帧数N,图9(b)中的时间在人物移动模型生成部50生成的人物移动模型的腿间角度为2θL、角速度为ω的情况下是2θL/ω,图9(c)中的步长是核对处理部150中进行的扫描处理的步长数。
扫描结束后,在片断提取线参数的约束之下,对人体部位移动模型时空片断输出部15的人物移动模型的参数进行变更,从而试行与人物移动模型有关的参数的组合。为了获得最高精度的检测结果,试用包罗了监视区域的所有的参数的组合,但是,在即使是准最佳精度的检测结果也可以的情况下,也可通过核对处理部150中的阈值来作为检测结果。此外,在用其他的初始检测方法就可计算人物侯选区域的情况下,不必试用包罗了监视区域的所有参数的组合。
接着,再次变更时空片断提取部14的片断提取线的参数,从而在片断提取线的约束下,再次重复试用与人物移动模型有关的参数的组合。这里也是为了获得最高精度的检测结果,试用包罗了监视区域的所有参数的组合,但在即使是准最佳精度的检测结果就可以的情况下,也可以通过核对处理部150中的阈值来作为检测结果。此外,在用其他的初始检测方法就可计算人物侯选区域的情况下,不必试用包罗了监视区域的所有参数的组合。
再有,在已使片断提取线具有厚度的情况下,被提取的时空片断成为具有厚度的片断。这种情况下,人体部位移动模型时空片断也同样地成为具有厚度的片断。这种情况下,在时空片断核对部中,可将具有厚度的片断彼此之间进行核对,也可以通过将各个从时空体积中提取的时空片断、和由人物移动模型生成的人体部位移动模型时空片断,压缩在一张图像中来进行图像间的核对。
接着,从包罗了监视区域的所有参数的组合的全部搜索结果、或核对处理部150中大于等于阈值的搜索结果中,将最后获得高的匹配记分的通用坐标上的片断提取线23和人物移动模型的参数作为人物检测结果。但是,在使用其他的初始检测方法就可计算人物侯选区域的情况下,不必试用包罗了监视区域的所有参数的组合。
接着,属性输出部17采用时空片断核对部16输出的参数的组合结果,根据检测出的人物的位置、步行方向、角速度,假设t秒后也以相同的步行方向、并且与检测时同样地以一定的角速度进行移动,从而计算t秒后的人物的存在位置。
这里,在获得了高匹配记分的参数的组合中,片断提取线参数的θw对应于通用坐标上的步行方向,人物移动模型的参数(xstart、ystart)对应于人物的存在位置。而检测时刻根据被附加在参数的组合中的核对处理部150中进行的扫描处理的步长数来计算,具体地说,可根据表示最大的匹配记分时的步长数来计算。
由于人物移动模型的腿的长度L和腿间的角度θL是已知的,所以可计算步幅,从该步幅和人物移动模型的角速度及步行方向,预测在进行检测后经过t秒后的存在位置。再有,该预测值是通用坐标上的人物的存在位置。
最后,显示部18将时空片断核对部16中检测出的人物的存在位置和步行方向配置在俯瞰图中,并进行显示。
由此,可对时刻、位置、步行方向同时地进行检测。再有,本方法不是限定参数的搜索方法的方案。
如以上,根据本实施方式,可以不限定人物的步行方向或位置,检测步行人物的存在位置和移动方向,并进行人物检测。
(第2实施方式)
下面,说明本发明第2实施方式的人物检测装置。
图10是表示本实施方式的人物检测装置的结构的功能方框图。该人物检测装置与第1实施方式同样,是检测在对街头或停车场、商店内等拍摄的影像中存在的人物的装置,但与第1实施方式相比,具有可进行高速的时空片断的核对的特征,该人物检测装置包括摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、时空片断提取部14、人体部位移动模型时空片断输出部15、时空片断核对部16、属性输出部17、显示部18和解搜索部110。该结构相当于在第1实施方式的人物检测装置的结构中附加了解搜索部110。以下,以与第1实施方式不同的点为中心进行说明。
在第1实施方式,全面搜索片断提取线的参数和人物移动模型的参数,或通过搜索核对结果大于等于阈值的参数来进行时空片断的核对,而在本实施方式,通过设有用于决定上述参数的解搜索部110,可进行高速的时空片断的核对。
以下,说明本实施方式的人物检测装置的动作。再有,由于摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、时空片断提取部14、人体部位移动模型时空片断输出部15和时空片断核对部16进行的是与第1实施方式同样的动作,所以省略说明。
首先,时空片断核对部16与第1实施方式同样,进行时空片断70和人体部位移动模型时空片断71之间的核对,在核对后,将匹配记分、步长数、片断提取线的参数和人体部位移动模型时空片断的参数输出到解搜索部110。再有,核对方法与第1实施方式相同。
接着,解搜索部110采用北野著的‘遺伝的アルゴリズム’(1-41页,产业图书,1993年出版)中记载的遗传算法,搜索准最佳参数集,通过将作为片断提取线23的参数的θw和bw输出到片断提取部30,输出作为人物移动模型的参数的(xstart、ystart)和ω,实现高速的人物检测。
图11是表示解搜索部110的详细的结构的功能方框图。
解搜索部110包括:二值化部121,将从时空片断核对部16输入的匹配记分等的参数转换为比特串;遗传因子选择部122,在将转换为比特串的多个参数连结合并而形成为一个比特串的比特串中,选择用于进行遗传操作的比特串;遗传性操作部123,用选择出的比特串的组,实施突发变异、交叉等的遗传性方法来生成新的比特串;以及实数转换部124,将生成的新的比特串再次转换为实数值。
以下,说明解搜索部110中的处理。
首先,二值化部121将从时空片断核对部16输入的、作为片断提取线23的参数的θw和bw、作为人物移动模型的参数的(xstart、ystart)和ω分别转换为比特串,通过将其连结合并而生成一个比特串。再有,向比特串的转换是从十进制向二进制的转换。
接着,遗传因子选择部122可通过随机地选择从时空片断核对部16输入的参数的初始值来决定比特串的初始值,将决定后的比特串以匹配记分高的顺序排列交换。
再有,将使用其他的人物初始检测方法进行初始检测的结果作为初始值也是有效的。
接着,遗传性操作部123通过将连结合并了各参数的比特串看作遗传因子,匹配记分值越高的比特串,越以高概率被选择为亲本(親),并进行交叉、突发变异,获得新的参数的比特串。
这里,交叉例如是在被成对选择的两个比特串中,以随机数决定被称为交叉点的交叉的比特位置,并以交叉点作为边界,通过交替地替换前后的比特串,形成新的比特串,突发变异例如是以某个固定的概率随机地决定引发变异的比特位置,通过将比特串反转,而使比特串改变。其中,表现作为人物移动模型的参数的(xstart、ystart)的比特串使用作为片断提取线23的参数的θw和bw的直线上的约束条件。
再有,通过将遗传性操作部123的输出结果输出到遗传因子选择部122,并重复进行遗传性操作,可进行高效率的解的搜索。
接着,实数转换部124将由遗传性操作部123新形成的比特串转换为实数值的参数,作为包含了各种参数的片断提取线参数变更信号向时空片断提取部14输出,并作为包含了各种参数的人体部位移动模型时空片断参数变更信号向人体部位移动模型时空片断输出部15输出。
接着,时空片断提取部14根据从解搜索部110输入的包含有参数的片断提取线参数变更信号,决定片断提取线23,提取时空片断,人体部位移动模型时空片断输出部15根据从解搜索部110输入的包含有参数的人体部位移动模型时空片断参数变更信号,生成人物移动模型,生成人物移动模型时空片断,并分别将它们向时空片断核对部16输出,时空片断核对部16进行它们的核对。
在将上述解搜索操作重复进行预定的一定次数后,将获得最大的匹配记分的直线和人物移动模型的参数作为人物检测结果。
以后的处理,由于与第1实施方式相同,所以省略这里的说明。
如以上,根据本实施方式,通过遗传性算法来对片断提取线23的参数和人物移动模型的参数进行解搜索,与一边进行全部搜索一边进行时空片断核对的情况相比,可进行更高速的人物检测。
(第3实施方式)
下面,说明本发明第3实施方式的人物核对装置。
图12是表示本实施方式的人物核对装置的结构的功能方框图。该人物核对装置是通过用第1实施方式中的人物检测装置来控制摄像机而进行人物核对的装置,它包括摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、时空片断提取部14、人体部位移动模型时空片断输出部15、时空片断核对部16、属性输出部17、显示部18、摄像机控制部100、人物核对部103和核对摄像机94-1~n。这种结构相当于在第1实施方式的人物检测装置所具备的结构中附加了摄像机控制部100、人物核对部103和核对摄像机94-1~n的结构。以下,以与第1实施方式的不同点为中心进行说明。
再有,人物检测装置即使采用第2~第5实施方式的人物检测装置,也可以获得同样的效果。
摄像机控制部100是用属性输出部17的结果来跟踪符合条件的人物的装置,核对摄像机94-1~n是具有全景(pan)拍摄、俯仰(tilt)拍摄和变焦(zoom)拍摄功能,存储有被设置的通用坐标上的位置、可动范围和可拍摄范围的摄像机。人物核对部103是用核对摄像机94-1~n拍摄的影像,进行人物的核对的装置。
显示部18是将配置了被检测出的人物的俯瞰图进行显示的处理部和显示器等。摄像机控制部100是计算在可拍摄人物91-1~n的通用坐标上位置最近的核对摄像机94-1~n,将进行全景拍摄、俯仰拍摄和变焦拍摄的控制信号输出到摄像机94-1~n的控制部。核对摄像机94-1~n是通过该控制信号进行全景拍摄、俯仰拍摄和变焦拍摄,拍摄符合条件的人物的摄像装置。人物核对部103是比较被拍摄的人物和预先存储的影像,从而进行人物的核对的处理部。
图13表示被显示在显示部18上的俯瞰图90和人物核对的状态。这里,俯瞰图90是可实施人物监视的区域,人物91-1~n是表示人物的位置和步行方向的人物。俯瞰图90通过事先形成与表现实际空间的通用坐标上的位置之间的对应关系,从而显示被检测出的人物的位置。
这里,说明进行人物91-1~n的核对的情况。再有,要核对的人物的选择可以是摄像机控制部100依次进行选择,也可以监视者任意选择。
以下,详细地说明人物核对装置的动作。
首先,属性输出部17通过将预测的人物的位置和由时空片断核对部16检测出的移动方向的人物信息输出到显示部18,使人物91-1被显示在监视器上,并且将表示人物91-1的位置和移动方向的人物信息输出到摄像机控制部100。
接着,摄像机控制部100从属性输出部17输出的人物信息中选择最合适的核对摄像机94-1,将用人物信息决定了最合适的全景拍摄、俯仰拍摄和变焦拍摄的控制量的摄像机控制信号输出到核对摄像机94-1。核对摄像机94-1通过按照摄像机控制信号进行动作,对跟踪对象的人物进行拍摄,并在显示部18的俯瞰图90中,将人物90-1的显示进行突出显示。
接着,核对摄像机94-1根据摄像机控制信号,对人物91-1进行拍摄,将拍摄的图像输出到人物核对部103。
接着,人物核对部103如图13的显示例子所示,对拍摄的图像95和预先存储的核对对象的图像96进行比较、核对。这里,在核对结果97为一致的情况下,核对处理结束,在核对结果97为不一致的情况下,属性输出部17选择作为下一个核对对象的人物91-2,将人物信息输出到摄像机控制部100,以下,重复进行同样的处理,直至核对结果97为一致,或将作为核对对象的人物全部选择为止。
再有,由摄像机控制部100选择的核对摄像机94也可以是多个,而且,通过从多个核对摄像机94拍摄的图像中选择用于核对的图像,可以提高核对精度。
特别是在进行脸部核对的情况中,使用检测出的步行方向,由摄像机控制部100从人物的存在位置来决定可对人物进行拍摄的摄像机,并且,考虑各摄像机的可动范围,从而在检测出的步行方向和最正对的方向上进行摄像机控制,由此可拍摄正面的脸部图像。由此,可提供更详细的脸部图像,并且即使在进行自动脸部核对的情况下,也可提高脸部核对的可靠性。
如以上,根据本实施方式,通过进行人物的存在位置和步行方向的检测,根据其结果来控制摄像机,从而可拍摄更精细的人物的图像。
(第4实施方式)
下面,说明本发明第4实施方式的人物检测装置。
图14是表示本实施方式的人物检测装置的结构的功能方框图。该人物检测装置与第1~第3实施方式同样,是检测在街头、停车场、商店内等进行拍摄的影像中存在的人物的装置,但在计算移动物体的移动方向,根据算出的移动方向来决定片断提取线方面具有特征,它包括摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、时空片断提取部14、人体部位移动模型时空片断输出部15、时空片断核对部16、属性输出部17、显示部18及移动方向计算部140。该结构相当于在第1实施方式的人物检测装置所具备的结构中附加了移动方向计算部140的结构。以下,以与第1实施方式的不同点为中心进行说明。
在第1实施方式,全面搜索片断提取线的参数和人物移动模型的参数,或通过搜索核对结果大于等于阈值的参数来进行时空片断的核对,而在本实施方式中,通过设有用于计算移动物体的移动方向的移动方向计算部140,可进行高速的时空片断的核对,可进行更准确的人物检测。
以下,说明本实施方式的人物检测装置的动作。再有,由于摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、时空片断提取部14、人体部位移动模型时空片断输出部15和时空片断核对部16是进行与第1实施方式同样的动作,所以省略说明。
首先,说明从时空体积生成部13生成的时空体积中,计算图像上的物体的移动方向的移动方向计算部140。
就移动方向的计算方法来说,有检测对象物体的侯选来计算移动方向的方法、以及不进行对象物体的检测来计算移动方向的方法。
首先,说明通过检测对象物体的侯选来计算移动方向的方法。如图15(a)所示,用从一张差分图像中提取孤立的物体的标记(labeling)算法,将孤立的物体捕捉为一个检测对象物体的侯选。
由标记算法进行的物体提取通过将像素值为1的像素连结,并在不同的连结部附带不同的标记来进行。在本实施例,如下进行。
首先,对于在时刻t被二值化的差分图像,检测出像素值为1、并且未被附带标记的像素P,并赋予标记L。对于与像素P连结着的所有像素,赋予相同的标记L。通过持续进行该操作直至不存在没有被附带标记的像素为止,来进行物体提取。当然,只要是能够提取孤立的物体的方法,采用其他的标记方法也可以。
接着,如图15(b)所示,对于时刻t+1的二值化的差分图像,通过使时刻t中标记的移动物体侯选在图像上扰动(摂動)并同时进行匹配,计算匹配值为最高的位置为止的移动矢量。通过在一定时刻进行这种移动矢量计算处理,求每个标记的平均移动矢量,从而计算对象物体侯选的移动方向。
下面,说明不进行对象物体的检测来计算移动方向的方法。这里,如图16(a)所示,说明划分为小区域进行计算的方法。
再有,该方法不限定于小区域的划分的方法。
首先,对于在时刻t的二值化的差分图像,在每个小区域中存在某固定数量以上的像素值为1的像素的情况下,通过使该小区域扰动,进行与时刻t+1的二值化的差分图像之间的匹配。此时,计算从当前位置扰动的结果、具有最大的匹配值的位置为止的移动矢量。由此,如图16(b)所示,在各个小区域中,计算移动矢量。在一定时刻进行这种移动矢量计算处理,求每个小区域的平均移动矢量。然后,在对按每个小区域算出的平均移动矢量投票,并获得某个固定值以上的投票的情况下,形成为对象物体侯选的移动方向。
再有,在本实施方式,论述了上述那样的移动方向计算方法,但只要是能够计算移动矢量,采用其他的物体检测方法也可以。
以下,论述时空片断提取部14用直线生成片断提取线23的情况。
如图17所示,时空片断提取部14包括:生成片断提取线的片断提取线生成部171;提取时空片断的时空体积切断部172;以及将图像上的直线和曲线参数转换为通用坐标上的直线和曲线的坐标转换部173。
这里,说明片断提取线生成部171。首先,对图像上的直线和曲线进行定义。这里,说明通过在图像上引直线,求片断提取线23的情况。
片断提取线23可以用以下的式2来定义。
Yi=aXi+b 式2
其中,斜率a是与图像上的移动物体的移动方向有关的参数,b是图像上的切片。
斜率a可以通过由移动方向计算部140算出的对象物体侯选的移动方向来求。根据该斜率a,通过变更切片b的值而生成片断提取线23,并可用时空体积切断部172提取时空片断22。提取出的时空片断22被传送到时空片断核对部16。
接着,在坐标转换部173,将片断提取线生成部171生成的图像上的直线转换为通用坐标中的直线。在人体部位移动模型时空片断输出部15,由于根据这里转换了的通用坐标系中的直线来生成人物移动模型,所以以下的动作与第1实施方式相同。
接着,时空片断核对部16与第1实施方式同样,进行时空片断70和人体部位移动模型时空片断71之间的核对,从核对结果中将作为表示片断提取线的参数变更的信号的片断提取线参数变更信号,输出到片断提取线生成部171。
以下,时空片断提取部14同样地从时空数据形成依据参数的时空片断,直至片断提取线参数变更信号的输入结束为止。这里,片断提取线参数变更信号根据移动方向计算部算出的移动物体侯选的移动方向,对于所有的参数侯选进行参数变更,也可以直至由属性输出部17进行移动物体检测为止。
再有,片断提取线参数变更信号是作为片断提取线的参数的a和b。
以后的处理与第1实施方式相同,所以省略这里的说明。
如以上,根据本实施方式,通过计算移动物体的移动方向,可以削减片断提取线23的参数和人物移动模型的参数,与一边全面搜索一边进行时空片断核对的情况相比,可进行更高速的人物检测。
(第5实施方式)
下面,说明本发明第5实施方式的人物检测装置。
图18是表示本实施方式的人物检测装置的结构的功能方框图。该人物检测装置与第1~第4实施方式同样,是检测在街头、停车场、商店内等进行拍摄的影像中存在的人物的装置,但在计算移动物体的移动方向,并且验证步行上特有的周期性动作同时决定片断提取线的方面具有特征,它包括摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、时空片断提取部14、人体部位移动模型时空片断输出部15、时空片断核对部16、属性输出部17、显示部18、移动方向计算部140及周期性解析部190。该结构相当于在第1实施方式的人物检测装置所具备的结构中附加了移动方向计算部140和周期性解析部190的结构,即,相当于在第4实施方式的结构中附加了周期性解析部190的结构。以下,以与第1和第4实施方式的不同点为中心进行说明。
在第1实施方式,全面搜索片断提取线的参数和人物移动模型的参数,或通过搜索核对结果大于等于阈值的参数来进行时空片断的核对,而在本实施方式中,通过设有用于计算移动物体的移动方向的移动方向计算部140,而且设有用于验证步行上特有的周期性动作的周期性解析部190,可进行高速的时空片断的核对,可进行更准确的人物检测。
以下,说明本实施方式的人物检测装置的动作。再有,由于摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、人体部位移动模型时空片断输出部15、时空片断核对部16、移动方向计算部140是进行与第1和第4实施方式同样的动作,所以省略说明。
首先,论述时空片断提取部14用直线生成片断提取线23的情况。
在本实施方式,时空片断提取部14根据移动方向计算部140算出的移动物体的移动方向,对图像上的直线和曲线进行定义。这里,说明通过在图像上画直线,求片断提取线23的情况。
片断提取线23可以用以下的式3来定义。
Yi=aXi+b 式3
其中,斜率a是与图像上的移动物体的移动方向有关的参数,b是图像上的切片。
斜率a可以通过由移动方向计算部140算出的对象物体侯选的移动方向来求。根据该斜率a,通过变更切片b的值而生成片断提取线23,并可提取时空片断22。提取出的时空片断22和片断提取线23的参数被传送到周期性解析部190。
如图19所示,周期性解析部190包括:相关长度计算部191,对于时空片断按每个时刻t计算自相关函数,并分别计算相关长度;相关长度自相关计算部192,对于将分别算出的相关长度在时间方向上排列的相关长度的时间序列,再次计算自相关函数;峰值检测部193,通过从相关长度自相关计算部192输入的相关长度的自相关函数中检测峰值位置,并验证被检测出的峰值位置是否与移动物体的移动周期匹配来判定是否为移动物体;以及坐标转换部194,将峰值检测部193中被检测出峰值时的图像上的直线转换为通用坐标中的直线。
周期性解析部190进行时空片断22的周期性解析,在该周期性解析结束后,将作为表示片断提取线23的参数变更的信号的片断提取线参数变更信号输出到时空片断提取部14。
以下,时空片断提取部14同样地形成片断提取线23并形成时空片断22,直至片断提取线参数变更信号的输入结束为止。
下面,说明相关长度计算部191。相关长度计算部191对于图20(a)所示的时空片断201,如图20(b)所示的例子那样,按每个时刻t形成一维数据202,从而对各个一维数据202计算自相关函数203。
再有,图20(a)的时间是时空体积生成部13预先决定的帧数N。图20(b)的长度是图20(a)所示的时空片断201的宽度X。自相关函数203的计算可用以下的式4定义。
其中,f(x)是一维数据202,C(τ)是自相关函数203。即,自相关函数C(τ)成为对将一维数据f(x)错开某个间隔τ的情况下的(f(x+τ)),表示与原来的一维数据f(x)有多少相似的尺度。在图20(c)中,表示自相关函数C(τ)和τ的关系。自相关函数C(0)表示与自身的相关,所以取得最大值。此外,自相关函数C(τp)是自相关函数C(τ)为峰值的位置τp,一维数据中相关程度高的导通像素的间隔相当于τp。在自相关函数C(τ)中峰值存在的位置τp在着眼于移动物体的腿的情况下,表示步幅。即,自相关函数C(τ)的时间性变化表示移动中的步幅的时间性变化,可以期待是周期性的。
再有,图20(d)、图20(e)、图20(f)是在不存在步行的特征(周期性)的情况下,例如是在片断提取线被设定在横切人物的躯体的位置的情况下获得的时空片断的数据例子,分别是时空片断、时空片断的某一时刻中的一维数据的例子,是表示周期τ与自相关函数C(τ)的关系的曲线,与存在步行特征的情况下的图20(a)、图20(b)、图20(c)对应。如图20(f)所示,在时空片断中不存在周期性的情况下,在自相关函数C(τ)的曲线中不存在峰值。
在本实施方式,考虑到有自相关函数C(τp)那样的峰值不一定存在的情况,用自相关函数C(τ)=0的位置τL进行周期性的解析。这在腿闭合的状态时可能发生。以后,将该τL称为相关长度。再有,在本实施方式中,以自相关函数C(τ)=0的位置τL为相关长度,但不一定必须是相关函数C(τ)=0的位置τ,只要可捕捉步幅的周期性变动,在什么位置都可以。
按每个时刻计算相关长度τL,通过将按每个时刻算出的相关长度τL以时间顺序排列,获得相关长度的时间序列数据210。图21(a)中表示相关长度τL的时间序列数据210。相关长度τL的时间序列数据210在输入了理想的时空片断的情况中,相当于步幅的时间性变化,随着时间而周期性地变动。
下面,详细地说明相关长度自相关计算部192。相关长度计算部191将算出的相关长度τL的时间序列数据210输出到相关长度自相关计算部192。相关长度自相关计算部192对于图21(a)所示的相关长度τL的时间序列数据210,计算自相关函数211。计算式与上述的式4相同。图21(b)中表示该计算结果。这里,将作为对于相关长度τL的时间序列数据210计算了自相关函数211的结果的Ct(α)输出到峰值检测部193。
再有,片断提取线参数变更信号是作为片断提取线的参数的b。
下面,说明峰值检测部193。在峰值检测部193,通过从相关长度自相关计算部输入的相关长度的自相关函数Ct(α)中检测峰值位置αw,验证被检测出的峰值位置αw是否与移动物体的移动周期匹配,来判定是否为移动物体,并在判定为移动物体的情况下,确定移动物体的存在位置和移动方向,输出到显示部18。
即,相关长度的自相关函数Ct(α)成为表示将τL(t)错开某一间隔α所得的τL(t+α)与τL(t)有多少相似的尺度。
在本实施方式,峰值位置αw的检测从位置α=0起进行搜索,通过检测最初的峰值来进行,但也可以采用其他的峰值检测方法,也可以采用搜索后述的设计者决定的帧数附近的峰值的方法。
在本实施方式,论述了检测移动一步的移动周期的情况。峰值检测部193在峰值位置αw是移动一步所需的帧数的情况下,判定是移动物体。移动一步所需的帧数因影像处理部11中一秒期间可取得多少帧而有所不同,在本实施方式,在一秒期间被输入30帧的情况下,将从20帧到30帧作为移动一步所需的帧数,在峰值位置α处于从20帧到30帧之间被检测出相关长度的自相关函数Ct(α)的峰值的情况下,判定是移动物体。该帧数可由设计者自由地决定。再有,在进行更高精度的移动物体判定的情况下,也可以检测以两步以上作为一单位的移动周期。这种情况下,通过使所述设计者决定的帧数为步数倍,就可应对。
此外,在检测狗和猫等的动物的情况中,也可同样地判定周期性。
而且,也可以用傅立叶转换来取代计算自相关函数Ct(α)。这种情况下,判定在特定的频率中是否存在峰值。
再有,在本实施方式,论述了按每帧输入了图像的情况,但也可以使用按每固定时间采样的图像。这种情况下,从移动物体移动一步所需的时间中,计算峰值检测部193的峰值位置αw即可。
此外,峰值检测部193将表示作为用于提取时空片断的参数变更的信号的片断提取线参数变更信号,输出到时空片断提取部14。
以下,时空片断提取部14同样地在从移动方向计算部获得的参数的约束下,从时空数据中形成依据参数的时空片断,直至片断提取线参数变更信号的输入结束为止。这里,片断提取线参数变更信号,可根据移动方向计算部算出的移动物体侯选的移动方向,对所有的侯选参数进行参数变更,也可以进行变更,直至属性输出部17进行移动物体检测为止。
接着,峰值检测部193在从相关长度的自相关函数中检测出移动物体的移动所特有的峰值的情况下,将片断提取线参数发送到坐标转换部194。
接着,坐标转换部194将峰值检测部193中检测出峰值时的图像上的直线转换为通用坐标中的直线。人体部位移动模型时空片断输出部15根据这里转换的通用坐标系中的直线而生成人物移动模型。以下的动作与第1实施方式相同。
属性输出部17确定移动物体的存在位置和移动方向,并将其输出到显示部18。
接着,时空片断核对部16与第1实施方式同样,进行在周期性解析部190中可检测出峰值时的时空片断70、和人体部位移动模型时空片断71之间的核对,从核对结果中将作为表示片断提取线的参数变更的信号的片断提取线参数变更信号输出到时空片断提取部14。
以下,时空片断提取部14同样地从时空数据中形成依据参数的时空片断,直至片断提取线参数变更信号的输入结束为止。这里,片断提取线参数变更信号,可根据移动方向计算部算出的移动物体侯选的移动方向,对所有的侯选参数进行参数变更,也可以进行变更,直至属性输出部17进行移动物体检测为止。
再有,片断提取线参数变更信号是作为片断提取线的参数的a和b。
以后的处理与第1实施方式相同,所以省略这里的说明。
如以上,根据本实施方式,通过计算移动物体的移动方向,并对移动物体的周期性进行解析,削减片断提取线23的参数和人物移动模型的参数,从而与一边全面搜索一边进行时空片断核对的情况相比,可进行更高速的人物检测。
(第6实施方式)
下面,说明本发明第6实施方式的人物模型拟合装置。
图22是表示本实施方式的人物模型拟合装置的结构的功能方框图。该人物模型拟合装置是不需要将标志器等特殊的装置安装在被摄体上,可以对图像中存在的人物进行模型拟合的装置,它包括摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、时空片断提取部14、人体部位移动模型时空片断输出部15、时空片断核对部16、显示部18和模型拟合部220。该结构相当于在第1实施方式的人物检测装置所具备的结构元素中,将属性输出部17置换为模型拟合部220的结构。以下,以与第1实施方式不同的点为中心进行说明。
再有,人物模型的拟合是将人物移动模型拟合在图像中存在的人物上,这里,是指决定图7所示的人物移动模型的参数的值(与图像中存在的人物的移动一致的值)。
以下,说明本实施方式的人物模型拟合装置的动作。再有,摄像机10、影像处理部11、连续图像处理部12、时空体积生成部13、时空片断提取部14、人体部位移动模型时空片断输出部15和时空片断核对部16进行与第1实施方式相同的动作,所以省略说明。
如图23所示,模型拟合部220包括模型生成部231和坐标转换部232。
首先,模型生成部231从表示时空片断核对部16输出的通用坐标上的人物存在位置的参数的组合结果中,再次生成图7中所示的人物移动模型。由于人物移动模型的腿的长度和腿间的角度θL是已知的,所以可由这些参数生成图7中所示的人物移动模型。
这里,模型生成部231具有与人体部位移动模型时空片断输出部15所包括的人物移动模型生成部50同样的功能。
此外,该人物移动模型具有通用坐标系中的存在位置或步行方向作为参数,所以在坐标转换部232中,通过进行坐标转换而在图像上拟合人物移动模型。具体地说,在获得了高匹配记分的参数的组合中,片断提取线参数的θw对应于通用坐标上的步行方向,人物移动模型的参数(xstart、ystart)对应于人物的存在位置。另外,检测时刻通过附加在参数的组合中的、时空片断核对部16在核对处理部150中进行的扫描处理的步长数来计算,通过在该时刻的图像上重叠进行了坐标转换的模型,进行拟合。
最后,显示部18显示由模型拟合部220拟合后的图像。
如以上,根据本实施方式,不需要将标志器等特殊的装置安装在被摄体上,就可以对图像中存在的人物拟合模型。
再有,本实施方式如第2、第4和第5实施方式那样,也可取得用于缩短计算时间的结构。
以上,对于本发明的人物检测装置、人物核对装置和人物模型拟合装置,根据六个实施方式进行了说明,但本发明不限定于这些实施方式。
例如,在第1实施方式等中,人体部位移动模型时空片断输出部15的人物移动模型生成部50,根据从时空片断提取部14输出的片断提取线的参数来生成具有具体的参数的人物模型,但也可以预先保持多个人物移动模型模板,从其中选择最合适的模板并输出就可以。作为例子,如图24所示,人体部位移动模型时空片断输出部15从成人(男性)、成人(女性)、儿童和老人这样的不同类别的人物移动模型模板中,选择与从时空片断提取部14输出的参数相近的模板,输出被选择的人物移动模型模板的人体部位移动模型时空片断。然后,时空片断核对部16将从时空片断提取部14输出的时空片断、和从人体部位移动模型时空片断输出部15输出的人体部位移动模型时空片断进行核对。在核对的结果为未满足一定的基准的情况下,人体部位移动模型时空片断输出部15选择作为下一个侯选的人物移动模型模板,输出该人物移动模型模板的人体部位移动模型时空片断,时空片断核对部16重复进行核对。由此,决定一致度最高的人物移动模型模板,决定对象图像中的人物的类别。
再有,在图24所示的人物移动模型模板中,各参数被设定为一个值,但也可以被设定为一定的范围(例如,作为儿童的参数L,为300~700mm等)。这种情况下,通过在设定的范围内时空片断核对部16进行重复核对计算,搜索最合适的值或最合适的类别的人物移动模型模板即可。
此外,作为这样的人物移动模型模板,不限于人物的不同类别,如图25所示,可以按不同的步行的路面状况来准备多个模板,或如图26所示,可以按步行的场所中的不同混杂度来准备多个模板。由此,通过搜索用于生成在从图像中获得的时空片断上最接近的人体部位移动模型时空片断的人物移动模型模板,不仅人物,而且对于步行的环境,也可以判定各种状况。即,从人物在步行的影像中,不仅可以预测人物的类别,而且可以某种程度地预测路面状况、步行场所中的混杂度等。
产业上的利用可能性
本发明可以应用于以下装置:检测人物的存在、位置、步行方向等的人物检测装置等,例如,在街头或设施内部设置的监视装置或对建筑物的进入退出时的认证装置,特别是在人物的当前位置、步行方向不是已知的情况下,可不限定图像中的检测区域、可进行人物检测的人物检测装置、人物核对装置等。
Claims (30)
1.一种人物检测装置,检测运动图像中包含的人物,其特征在于,包括:
时空体积生成单元,生成将构成拍摄了人物的运动图像的帧图像沿时间轴排列的三维时空图像;
时空片断提取单元,从生成的三维时空图像中,提取作为将该三维时空图像切断时的切断断面或切断片断中的图像的实际图像时空片断;
时空片断输出单元,根据规定了人物的移动特性的人物移动模型,生成并输出作为通过基于该人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断;
时空片断核对单元,将所述时空片断提取单元提取的实际图像时空片断、和所述时空片断输出单元输出的人体部位移动模型时空片断进行核对;以及
属性输出单元,根据所述时空片断核对单元的核对结果,输出包含所述运动图像中的人物是否存在的人物属性。
2.如权利要求1所述的人物检测装置,其特征在于,
所述时空片断提取单元决定用于切断所述帧图像的片断提取线,并以通过将决定的片断提取线沿时间轴排列而获得的面作为切断断面,来提取所述实际图像时空片断。
3.如权利要求2所述的人物检测装置,其特征在于,
所述时空片断提取单元用切断所述三维时空图像中的人物的腿的片断提取线来提取所述实际图像时空片断,
所述时空片断输出单元根据规定了人物的步行特性的人物移动模型,生成通过切断该人物移动模型步行时的腿的切断断面而获得的人体部位移动模型时空片断。
4.如权利要求3所述的人物检测装置,其特征在于,
所述人物移动模型被如下规定:以对应于两条腿的一端彼此之间被结合的两条线段来表现,各线段以结合点作为旋转中心并以一定的角速度(ω)交替地旋转至最大角度(2θL)。
5.如权利要求3所述的人物检测装置,其特征在于,
所述时空片断核对单元通过对所述实际图像时空片断,计算在时间方向上扫描所述时空片断输出单元输出的一步的人体部位移动模型时空片断时的图像彼此之间的一致性,进行所述核对。
6.如权利要求2所述的人物检测装置,其特征在于,
所述人物检测装置还包括移动方向计算单元,该单元从所述时空体积生成单元生成的三维时空图像中,计算在该三维时空图像中存在的移动物体的移动方向,
所述时空片断提取单元根据由所述移动方向计算单元算出的移动方向来决定所述片断提取线。
7.如权利要求6所述的人物检测装置,其特征在于,
所述移动方向计算单元通过按构成所述三维时空图像的每个帧图像来提取所述移动物体,并求得被提取的移动物体的帧图像间的移动矢量,从而计算所述移动物体的移动方向。
8.如权利要求6所述的人物检测装置,其特征在于,
所述移动方向计算单元通过按构成所述三维时空图像的每个帧图像来划分为小区域,并对每个小区域求帧图像间的移动矢量,从而计算所述移动物体的移动方向。
9.如权利要求2所述的人物检测装置,其特征在于,
所述片断提取线为直线或曲线。
10.如权利要求1所述的人物检测装置,其特征在于,
在通过所述时空片断核对单元核对为所述实际图像时空片断、和所述人体部位移动模型时空片断为一定基准以上的一致的情况下,所述属性输出单元根据特定所述切断断面或切断片断的参数、和特定所述人物移动模型的参数,来计算并输出所述运动图像中的人物的位置和移动方向。
11.如权利要求10所述的人物检测装置,其特征在于,
所述人物检测装置还包括显示单元,该单元显示从所述属性输出单元输出的包含人物的位置和移动方向的人物属性。
12.如权利要求1所述的人物检测装置,其特征在于,
所述人物检测装置还包括周期性解析单元,该单元解析由所述时空片断提取单元提取的实际图像时空片断是否为基于人物的步行所特有的周期性动作的图像,
所述时空片断提取单元根据所述周期性解析单元的解析结果来变更片断提取线,并用变更后的片断提取线再次提取实际图像时空片断。
13.如权利要求12所述的人物检测装置,其特征在于,
在通过对用于表示构成所述实际图像时空片断的各时间中的图像的一维数据求得自相关函数,来生成相关长度的时间序列数据,并且生成的相关长度的时间序列数据中存在周期性的情况下,所述周期性解析单元解析为所述实际图像时空片断是基于人物的步行所特有的周期性动作的图像。
14.如权利要求13所述的人物检测装置,其特征在于,
在通过对所述相关长度的时间序列数据求得自相关函数,来求得用于表示自相关函数值相对相关长度的变化的曲线图,并且在该曲线图中存在峰值的情况下,所述周期性解析单元判断为在相关长度的时间序列数据中存在周期性。
15.如权利要求1所述的人物检测装置,其特征在于,
所述人物检测装置还包括解搜索单元,该单元根据所述时空片断核对单元的核对结果,通过执行:
使所述时空片断提取单元变更了特定所述切断断面或切断片断的参数后、再次提取实际图像时空片断;以及
使所述时空片断输出单元变更了特定所述人体移动模型的参数后、再次输出人体部位移动模型时空片断
中的至少一个,由此搜索用于特定所述切断断面或切断片断的最佳参数和用于特定所述人体移动模型的最佳参数。
16.如权利要求15所述的人物检测装置,其特征在于,
所述解搜索单元用遗传算法搜索最佳参数。
17.如权利要求1所述的人物检测装置,其特征在于,
所述时空体积生成单元通过使对所述帧图像进行背景差分或帧间差分后二值化所得的图像至少重合一张以上,来生成所述三维时空图像。
18.如权利要求1所述的人物检测装置,其特征在于,
所述时空片断输出单元生成并输出与从预先存储的多个不同种类的人物移动模型中选择的人物移动模型相对应的、人体部位移动模型时空片断,
所述时空片断核对单元在所述核对的结果未满足一定的基准的情况下,通过使所述时空片断输出单元生成并输出与新的人物移动模型相对应的人体部位移动模型时空片断,来重复进行所述核对。
19.如权利要求18所述的人物检测装置,其特征在于,
所述时空片断输出单元预先存储的多个人物移动模型中,作为模型化对象的人物的性别、年龄、人物进行步行的路面的状况、以及进行步行的场所中的混杂度中的至少一个是不同的。
20.一种人物核对装置,将运动图像中包含的人物的图像与预先存储的人物的图像进行核对,其特征在于,包括:
权利要求1~19中任何一项所述的人物检测装置;
核对摄像机,具有全景拍摄、俯仰拍摄和变焦拍摄中的至少一个功能;
摄像机控制单元,根据所述人物检测装置检测出的人物的位置或移动方向,控制所述核对摄像机进行的全景拍摄、俯仰拍摄和变焦拍摄中的至少一个;以及
人物核对单元,将所述核对摄像机拍摄的人物的图像与预先存储的人物的图像进行核对。
21.一种人物模型拟合装置,使规定了人物的移动特性的人物移动模型拟合至图像上的人物的移动,其特征在于,包括:
时空体积生成单元,生成将构成拍摄了人物的运动图像的帧图像沿时间轴排列的三维时空图像;
时空片断提取单元,从生成的三维时空图像中,提取作为将该三维时空图像切断时的切断断面或切断片断中的图像的实际图像时空片断;
时空片断输出单元,生成并输出作为通过基于所述人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断;
时空片断核对单元,将所述时空片断提取单元提取的实际图像时空片断、和所述时空片断输出单元输出的人体部位移动模型时空片断进行核对;以及
模型拟合单元,根据所述时空片断核对单元的核对结果,决定用于特定所述人物移动模型的参数的值,以使所述人物移动模型表示所述图像中的人物的移动。
22.一种图像生成装置,用于生成图像,其特征在于,
包括时空片断输出单元,在以将沿时间轴排列构成运动图像的帧图像而成的三维时空图像切断时的切断断面或切断片断中的图像作为时空片断时,该时空片断输出单元根据规定了人物的移动特性的人物移动模型,生成并输出作为通过基于该人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断。
23.一种人物检测方法,用于检测运动图像中包含的人物,其特征在于,包括:
时空体积生成步骤,生成将构成拍摄了人物的运动图像的帧图像沿时间轴排列的三维时空图像;
时空片断提取步骤,从生成的三维时空图像中,提取作为将该三维时空图像切断时的切断断面或切断片断中的图像的实际图像时空片断;
时空片断输出步骤,根据规定了人物的移动特性的人物移动模型,输出作为通过基于该人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断;
时空片断核对步骤,将在所述时空片断提取步骤提取的实际图像时空片断、和在所述时空片断输出步骤输出的人体部位移动模型时空片断进行核对;以及
属性输出步骤,根据所述时空片断核对步骤的核对结果,输出包含所述运动图像中的人物是否存在的人物属性。
24.一种程序,用于检测运动图像中包含的人物的装置,其特征在于,该程序使计算机执行权利要求23所述的人物检测方法所包含的步骤。
25.一种人物核对方法,用于将运动图像中包含的人物的图像和预先存储的人物的图像进行核对,其特征在于,该方法包括:
权利要求23所述的人物检测方法所包含的步骤;
摄像机控制步骤,根据由所述人物检测方法检测出的人物的位置或移动方向,对核对摄像机的全景拍摄、俯仰拍摄和变焦拍摄中的至少一个进行控制;以及
人物核对步骤,将所述核对摄像机拍摄的人物的图像和预先存储的人物的图像进行核对。
26.一种程序,用于将运动图像中包含的人物的图像和预先存储的人物的图像进行核对的装置,其特征在于,
该程序使计算机执行权利要求25所述的人物核对方法所包含的步骤。
27.一种人物模型拟合方法,使规定了人物的移动特性的人物移动模型拟合至图像上的人物的移动,其特征在于,该方法包括:
时空体积生成步骤,生成将构成拍摄了人物的运动图像的帧图像沿时间轴排列的三维时空图像;
时空片断提取步骤,从生成的三维时空图像中,提取作为将该三维时空图像切断时的切断断面或切断片断中的图像的实际图像时空片断;
时空片断输出步骤,生成并输出作为通过基于所述人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断;
时空片断核对步骤,将所述时空片断提取步骤中提取的实际图像时空片断、和所述时空片断输出步骤中输出的人体部位移动模型时空片断进行核对;以及
模型拟合步骤,根据所述时空片断核对步骤的核对结果,决定用于特定所述人物移动模型的参数的值,以使所述人物移动模型表示所述图像中的人物的移动。
28.一种程序,用于使规定了人物的移动特性的人物移动模型拟合至图像上的人物的移动的装置,其特征在于,
该程序使计算机执行权利要求27所述的人物模型拟合方法所包含的步骤。
29.一种图像生成方法,用于生成在运动图像中包含的人物的检测中所用的图像,其特征在于,该方法包括:
时空片断输出步骤,在以将沿时间轴排列构成运动图像的帧图像而成的三维时空图像切断时的切断断面或切断片断中的图像作为时空片断时,该时空片断输出步骤根据规定了人物的移动特性的人物移动模型,生成并输出作为通过基于该人物移动模型的移动而获得的时空片断的人体部位移动模型时空片断。
30.一种程序,用于生成在运动图像中包含的人物的检测所用的图像的装置,其特征在于,
该程序使计算机执行权利要求29所述的图像生成方法所包含的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003297118 | 2003-08-21 | ||
JP297118/2003 | 2003-08-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1839409A true CN1839409A (zh) | 2006-09-27 |
Family
ID=34213634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2004800240071A Withdrawn CN1839409A (zh) | 2003-08-21 | 2004-08-11 | 人物检测装置和人物检测方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7613325B2 (zh) |
JP (1) | JP3775683B2 (zh) |
CN (1) | CN1839409A (zh) |
WO (1) | WO2005020152A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102334142A (zh) * | 2009-02-24 | 2012-01-25 | 三菱电机株式会社 | 人物追踪装置以及人物追踪程序 |
CN102609680A (zh) * | 2011-12-22 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于三维深度图像信息的并行统计学习人体部位检测方法 |
CN102947863A (zh) * | 2010-06-23 | 2013-02-27 | 国立大学法人大阪大学 | 移动物体检测装置 |
CN103221977A (zh) * | 2010-12-09 | 2013-07-24 | 松下电器产业株式会社 | 姿势状态估计装置及姿势状态估计方法 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4432929B2 (ja) * | 2006-04-25 | 2010-03-17 | トヨタ自動車株式会社 | 駐車支援装置及び駐車支援方法 |
EP1870857A1 (en) * | 2006-06-19 | 2007-12-26 | Koninklijke Philips Electronics N.V. | Global motion estimation |
JP4984728B2 (ja) * | 2006-08-07 | 2012-07-25 | パナソニック株式会社 | 被写体照合装置および被写体照合方法 |
JP4386083B2 (ja) * | 2007-02-27 | 2009-12-16 | トヨタ自動車株式会社 | 駐車支援装置 |
JP4315991B2 (ja) * | 2007-04-20 | 2009-08-19 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム |
JP4894741B2 (ja) * | 2007-12-03 | 2012-03-14 | ソニー株式会社 | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
CN101515374B (zh) * | 2008-02-20 | 2010-12-01 | 中国科学院自动化研究所 | 基于图像的个性化真实感虚拟人物造型方法 |
US8170278B2 (en) | 2008-08-06 | 2012-05-01 | Sri International | System and method for detecting and tracking an object of interest in spatio-temporal space |
US8121424B2 (en) | 2008-09-26 | 2012-02-21 | Axis Ab | System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
JP2011114823A (ja) * | 2009-11-30 | 2011-06-09 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
US8913129B2 (en) * | 2011-01-27 | 2014-12-16 | Thermal Matrix USA, Inc. | Method and system of progressive analysis for assessment of occluded data and redundant analysis for confidence efficacy of non-occluded data |
JP5975353B2 (ja) * | 2011-03-31 | 2016-08-23 | パナソニックIpマネジメント株式会社 | 人数計測装置 |
WO2013114862A1 (ja) * | 2012-01-30 | 2013-08-08 | パナソニック株式会社 | 最適カメラ設定装置及び最適カメラ設定方法 |
US8872850B2 (en) * | 2012-03-05 | 2014-10-28 | Microsoft Corporation | Juxtaposing still and dynamic imagery for cliplet creation |
US9367733B2 (en) * | 2012-11-21 | 2016-06-14 | Pelco, Inc. | Method and apparatus for detecting people by a surveillance system |
US10009579B2 (en) | 2012-11-21 | 2018-06-26 | Pelco, Inc. | Method and system for counting people using depth sensor |
JP5961123B2 (ja) * | 2013-01-30 | 2016-08-02 | パナソニック株式会社 | 人物検出追跡装置、人物検出追跡方法、および人物検出追跡プログラム |
US9639747B2 (en) | 2013-03-15 | 2017-05-02 | Pelco, Inc. | Online learning method for people detection and counting for retail stores |
JP6551226B2 (ja) | 2013-04-26 | 2019-07-31 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
US9256348B2 (en) * | 2013-12-18 | 2016-02-09 | Dassault Systemes Americas Corp. | Posture creation with tool pickup |
KR101679741B1 (ko) * | 2015-05-06 | 2016-11-28 | 고려대학교 산학협력단 | 외곽 공간 특징 정보 추출 방법 |
US9648211B2 (en) * | 2015-05-14 | 2017-05-09 | Xerox Corporation | Automatic video synchronization via analysis in the spatiotemporal domain |
CN105892538B (zh) * | 2016-04-22 | 2018-08-31 | 郑贵林 | 用于构建主动消防体系及智慧建筑的智能终端和智能终端系统 |
US10402643B2 (en) * | 2016-06-15 | 2019-09-03 | Google Llc | Object rejection system and method |
JP6701018B2 (ja) * | 2016-07-19 | 2020-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2018043437A1 (ja) * | 2016-09-01 | 2018-03-08 | 公立大学法人会津大学 | 画像距離算出装置および画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体 |
JP6750183B2 (ja) | 2016-09-01 | 2020-09-02 | 公立大学法人会津大学 | 画像距離算出装置、画像距離算出方法および画像距離算出用プログラム |
CN106652002A (zh) * | 2016-09-20 | 2017-05-10 | 努比亚技术有限公司 | 一种轨迹动画影像的生成方法及生成系统 |
EP3407232B1 (en) * | 2017-05-23 | 2021-07-28 | Ordnance Survey Limited | Spatiotemporal authentication |
WO2019160133A1 (ja) * | 2018-02-19 | 2019-08-22 | 日本電信電話株式会社 | 情報管理装置、情報管理方法及び情報管理プログラム |
US11315363B2 (en) * | 2020-01-22 | 2022-04-26 | Board Of Trustees Of Michigan State University | Systems and methods for gait recognition via disentangled representation learning |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121499A (ja) * | 1993-10-20 | 1995-05-12 | Nippon Telegr & Teleph Corp <Ntt> | 動きパラメータ推定方法 |
JP3183320B2 (ja) | 1994-08-31 | 2001-07-09 | 日本電信電話株式会社 | 移動物体方向別計数方法および装置 |
US5574762A (en) * | 1994-08-31 | 1996-11-12 | Nippon Telegraph And Telephone Corp. | Method and apparatus for directional counting of moving objects |
JP2001109891A (ja) * | 1999-10-08 | 2001-04-20 | Toshiba Corp | 物体領域抽出方法 |
JP2001202379A (ja) * | 2000-01-21 | 2001-07-27 | Kobe University | 仮想空間における仮想人物動作データブラウジング装置 |
JP2001266131A (ja) * | 2000-03-23 | 2001-09-28 | Minolta Co Ltd | 監視システム |
JP3603737B2 (ja) * | 2000-03-30 | 2004-12-22 | 日本電気株式会社 | 移動体追尾方法及びその装置 |
-
2004
- 2004-08-11 CN CNA2004800240071A patent/CN1839409A/zh not_active Withdrawn
- 2004-08-11 JP JP2005513284A patent/JP3775683B2/ja not_active Expired - Fee Related
- 2004-08-11 WO PCT/JP2004/011790 patent/WO2005020152A1/ja active Application Filing
-
2005
- 2005-12-29 US US11/320,416 patent/US7613325B2/en active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102334142A (zh) * | 2009-02-24 | 2012-01-25 | 三菱电机株式会社 | 人物追踪装置以及人物追踪程序 |
CN102947863A (zh) * | 2010-06-23 | 2013-02-27 | 国立大学法人大阪大学 | 移动物体检测装置 |
US8958641B2 (en) | 2010-06-23 | 2015-02-17 | Osaka University | Moving object detection device |
CN103221977A (zh) * | 2010-12-09 | 2013-07-24 | 松下电器产业株式会社 | 姿势状态估计装置及姿势状态估计方法 |
CN103221977B (zh) * | 2010-12-09 | 2015-10-14 | 松下电器产业株式会社 | 姿势状态估计装置及姿势状态估计方法 |
US9262674B2 (en) | 2010-12-09 | 2016-02-16 | Panasonic Corporation | Orientation state estimation device and orientation state estimation method |
CN102609680A (zh) * | 2011-12-22 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于三维深度图像信息的并行统计学习人体部位检测方法 |
CN102609680B (zh) * | 2011-12-22 | 2013-12-04 | 中国科学院自动化研究所 | 一种基于三维深度图像信息的并行统计学习人体部位检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3775683B2 (ja) | 2006-05-17 |
US20060115116A1 (en) | 2006-06-01 |
WO2005020152A1 (ja) | 2005-03-03 |
JPWO2005020152A1 (ja) | 2006-10-19 |
US7613325B2 (en) | 2009-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1839409A (zh) | 人物检测装置和人物检测方法 | |
CN1729485A (zh) | 图像中的移动物体的跟踪方法及装置 | |
CN1271568C (zh) | 信息变换系统 | |
CN1231867C (zh) | 用户认证方法和用户认证装置 | |
CN1669052A (zh) | 使用三维物体模型的图像匹配系统、图像匹配方法以及图像匹配程序 | |
CN1290034C (zh) | 机器人装置及其行为控制方法 | |
CN1158627C (zh) | 用于字符识别的方法和装置 | |
CN1320502C (zh) | 用于跟踪目标的装置、跟踪目标的方法和跟踪目标的程序 | |
CN1173295C (zh) | 运动方向测量设备和跟踪设备 | |
CN1940965A (zh) | 信息处理设备及其控制方法 | |
CN101057257A (zh) | 人脸特征点检测装置、特征点检测装置 | |
CN1457023A (zh) | 监视装置、监视方法和监视用程序 | |
CN1906638A (zh) | 信息识别装置、信息识别方法、信息识别程序以及警报系统 | |
CN1534446A (zh) | 信息显示系统及其信息处理装置、指示装置和标记显示法 | |
CN1711516A (zh) | 运动检测装置 | |
CN1912890A (zh) | 人脸元数据生成设备和生成方法、人脸识别系统和方法 | |
CN1924894A (zh) | 多姿态人脸检测与追踪系统及方法 | |
CN1641683A (zh) | 通过m阵列解码和快速图像匹配的笔划定位 | |
CN1288174A (zh) | 面部影象摄影装置和面部影象摄影方法 | |
CN101038623A (zh) | 特征点检测装置、特征点检测方法及特征点检测程序 | |
CN1627315A (zh) | 目标检测 | |
CN1747559A (zh) | 三维几何建模系统和方法 | |
CN1945580A (zh) | 图像处理装置 | |
CN1151465C (zh) | 利用候选表进行分类的模式识别设备及其方法 | |
CN1484816A (zh) | 参数估计装置和数据匹配装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C04 | Withdrawal of patent application after publication (patent law 2001) | ||
WW01 | Invention patent application withdrawn after publication |