CN102687171B - 人物检索装置及人物检索方法 - Google Patents

Abstract

从监视摄像机的输入影像中检测出人物区域，判定该人物区域中的人物的朝向，并且判定人物服装的分离可能性并生成服装部位分离信息，进而，考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征。基于人物的脸的朝向、人物的运动以及服装的对称性来判定人物的朝向。服装部位分离信息基于人物区域的几何学形状的方向信息、和表示通过人物区域以及背景区域而可视化的人物的服装部位的可视部位信息来生成。基于表示人物服装的种类和颜色的服装查询文本和提取出的人物的服装特征的对照结果来检索人物。

Description

人物检索装置及人物检索方法

技术领域

本发明涉及从输入影像中提取人物服装特征的人物服装特征提取装置。另外，本发明涉及基于从输入影像中提取出的人物服装特征来检索人物的人物检索装置。进而，本发明涉及人物服装特征提取处理方法以及人物检索处理方法。

本申请基于2009年10月16日在日本提出的特愿2009-239360号专利申请而主动优先权，并将其内容引用于此。

背景技术

现有技术中，开发了各种人物检索方法以及监视系统、和图像保存检索系统。专利文献1公开了在监视系统中从所保存的影像中检索人物的人物检索方法。在该监视系统中，在录制影像时，提取人物的脸以及服装的信息并保存在数据库中。在人物检索时，将保存在数据库中的脸/服装特征与作为查询所被赋予的图像的脸/服装特征进行比较，来判定是否为同一人物。

参照图10来详述专利文献1中所公开的人物检索系统。图10表示人物检索装置的构成，由脸区域检测/脸特征提取部1000、1020、穿衣区域检测/穿衣特征提取部1010、1030、穿衣特征数据库1040、脸特征数据库1050、脸相似度计算部1060、穿衣相似度算出部1070、以及人物相同性判定部1080构成。

脸区域检测/脸特征提取部1000从由监视系统取得的影像中进行脸区域检测以及脸特征提取，并将提取出的脸特征输出到脸特征数据库1050中。穿衣区域检测/穿衣特征提取部1010从由监视系统取得的影像中进行穿衣区域检测以及穿衣特征提取，并将提取出的穿衣特征输出到穿衣特征数据库1040中。另一方面，脸区域检测/脸特征提取部1020从所输入的查询图像中进行脸区域检测以及脸特征提取，并将查询脸特征输出给穿衣相似度计算部1070。脸相似度计算部1060比较保存于脸特征数据库1050中的脸特征和从脸区域检测/脸特征提取部1020输入的查询脸特征，并计算出脸相似度，将计算结果输出给人物相同性判定部1080。穿衣相似度计算部1070比较保存在穿衣特征数据库1040中的穿衣特征和从穿衣区域检测/穿衣特征提取部1030输入的查询穿衣特征，并计算出穿衣相似度，将计算结果输出给人物相同性判定部1080。人物相同性判定部1080基于脸相似度计算部1060所计算出的脸相似度和穿衣相似度计算部1070所计算出的穿衣相似度来判定人物的相同性，并输出人物检索结果。

接下来，说明图10所示的人物检索装置的动作。首先，将从监视系统取得的影像输入到脸区域检测/脸特征提取部1000以及穿衣区域检测/穿衣特征提取部1010。脸区域检测/脸特征提取部1000对输入影像的各帧进行脸区域检测，对所检测出的脸区域进行脸特征提取。从由输入影像检测出的脸区域中提取的脸特征被保存到脸特征数据库1050中。

穿衣区域检测/穿衣特征提取部1010从输入影像中检测穿衣区域，提取其视觉特征即穿衣特征。所提取出的穿衣特征被保存在穿衣特征数据库1040中。

人物检索时，将查询图像输入到脸区域检测/脸特征提取部1020以及穿衣区域检测/穿衣特征提取部1030。脸区域检测/脸特征提取部1020以及穿衣区域检测/穿衣特征提取部1030与所述脸区域检测/脸特征提取部1000以及穿衣区域检测/穿衣特征提取部1010发挥相同的作用，提取查询脸特征以及查询穿衣特征。

脸相似度计算部1060将查询脸特征与保存在脸特征数据库105中的脸特征进行比较，计算出脸相似度。另一方面，穿衣相似度计算部1070将查询穿衣特征与保存在穿衣特征数据库1040中的穿衣特征进行比较，计算出穿衣相似度。人物相同性判定部1080综合脸相似度和穿衣相似度来判定人物相同性，并据此输出人物检索结果。

专利文献2公开了一种图像保存/检索系统，检索具有与表现人类主观感知的色调的色觉语言相符的图像特征的图像数据。在此，预先设定人类的自然语言所包含的色调表现与颜色空间的像素的对应关系。另外，从保存在数据库中的图像数据中提取像素，计算出与色调表现之间的相似度并 保存。若赋予色调表现作为查询，则调查该色调表现与图像数据之间的相似度，检索相似度高的图像数据并显示。

在先技术文献

专利文献

专利文献1：JP特开2009-199322号公报

专利文献2：JP特开2009-3581号公报

发明的概要

发明要解决的课题

图10所示的人物检索系统是仅接受查询图像的系统，不能进行基于查询文本的人物检索。即，是从查询图像中提取视觉特征(例如穿衣的颜色或花纹的信息)来进行人物检索的系统，无法将表示“红色衣服”这样的语言表现的查询文本变换为视觉特征来进行人物检索。另外，在从输入影像检测穿衣区域时，不考虑人物的朝向，不能将由人物的朝向不同而引起的能看到的穿衣的差异纳入考虑的范畴。进而，由于提取穿衣区域整体的视觉特征，因此在以“白色上衣配蓝色裤子”这样的上半身/下半身穿衣的视觉特征不同的情况下，不能将上半身/下半身的穿衣的差异反映到人物检索中。因此，即使检索者要检索正面朝向的人物，也会输出符合条件的人物以外的检索结果，另外，即使想要仅以上半身的穿衣来执行人物检索，也会检索出上半身以外的穿衣部分的视觉特征类似的人物。这样，现有的人物检索系统所输出的人物检索结果中包含较多的错误。

专利文献2的图像保存/检索系统针对如“红色衣服”那样由一种颜色构成的穿衣能进行基于查询文本的人物检索，但由于查询文本仅能指定一种颜色，因此不能使用多种颜色进行人物检索。与专利文献1相同，不能将人物朝向的差异、人物的上半身/下半身的视觉特征的差异反映到人物检索结果中。

发明内容

用于解决课题的手段

本发明鉴于上述问题而提出，其目的在于提供一种能正确地提取包含在影像中的人物服装的特征的人物服装特征提取装置。

另外，本发明提供一种对由影像取得的人物服装特征和查询文本进行对照来进行人物检索的人物检索装置。

进而，本发明提供一种描述了人物服装特征提取处理方法和人物检索处理方法的程序。

本发明所涉及的人物服装特征提取装置具备：人物区域检测部，其从输入影像中检测出人物区域；人物朝向判定部，其判定人物区域中的人物的朝向；服装部位分离部，其判定人物区域中的人物服装的分离可能性，并输出服装部位分离信息；服装特征提取部，其考虑人物的朝向以及服装部位分离信息来提取人物区域中表示人物服装的视觉特征的服装特征；和服装特征保存部，其保存所提取出的服装特征。

本发明所涉及的人物检索装置具备：服装特征检索部，其基于表示人物的服装的种类和颜色的服装查询文本来检索服装特征参数；服装特征查询生成部，其基于服装特征参数来输出服装特征查询；服装特征对照部，其将从服装特征保存部中检索出的服装特征与服装特征查询进行对照，并输出其对照结果；和人物检索部，其基于对照结果来输出人物检索结果。

本发明所涉及的人物服装特征提取方法执行如下处理：从输入影像中检测出人物区域的人物区域检测处理；判定人物区域中的人物的朝向的人物朝向判定处理；判定人物区域中的人物服装的分离可能性，来生成服装部位分离信息的人物服装部位分离处理；以及考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征的服装特征提取处理。

本发明所涉及的人物检索方法执行如下处理：基于表示人物服装的种类和颜色的服装查询文本来提取服装特征参数的服装信息提取处理；基于服装特征参数来生成服装特征查询的服装特征查询处理；将从服装特征保存部检索出的服装特征与服装特征查询进行对照的服装特征对照处理；以及基于其对照结果来输出人物检索结果的人物检索处理。

本发明提供以能由计算机读取并执行的格式来描述上述的服装特征提取方法的程序。另外，本发明提供以能由计算机读取并执行的格式来描述上述的人物检索方法的程序。

发明效果

本发明从由监视摄像机等取得的影像中检测出人物区域，并正确地提取该人物区域中所存在的人物的服装特征，并且基于所提取出的人物服装特征来输出接近于检索者的意图的人物检索结果。

附图说明

图1是表示本发明的实施例所涉及的人物服装特征提取装置的构成的框图。

图2是表示本发明的实施例所涉及的人物检索装置的构成的框图。

图3是表示人物朝向判定部的内部构成的框图。

图4是表示服装部位分离部的内部构成的框图。

图5是表示人物服装特征提取装置的处理的流程图。

图6是示出表示人物服装特征的视觉特征的保存形式的一例的图。

图7是表示人物朝向判定部的处理的流程图。

图8是表示服装部位分离部的处理的流程图。

图9是表示人物检索装置的处理的流程图。

图10是表示现有的人物检索系统的构成的框图。

具体实施方式

参照附图来详细说明本发明的实施例。

图1是表示本发明所涉及的人物服装特征提取装置的构成的框图。人物服装特征提取装置由人物区域检测部100、人物朝向判定部110、服装部位分离部120、和服装特征提取部130、以及服装特征保存部140构成。

人物服装特征提取装置能通过使由CPU、ROM、RAM等构成的计算机安装人物服装特征提取程序来实现。也可以将人物服装特征提取程序(或者信息收集程序)保存在各种存储介质中，或者经由通信介质来传输。存储介质包括软盘、硬盘、磁盘、光磁盘、CD-ROM、DVD、ROM盒式磁盘、带电源备份的RAM盒式磁盘、闪存盒式磁盘、以及非易失性RAM盒式磁盘。通信介质包括电话线路等有线通信介质、微波线路等无线通信介质以及英特网。

人物区域检测部100检测存在于输入影像中的人物区域。从输入影像 中检测出的人物区域被输入到人物朝向判定部110、服装部位分离部210以及服装特征提取部130。人物朝向判定部110判定输入影像的人物区域中的人物的朝向，并输出给服装特征提取部130。服装部位分离部120判定存在于输入影像的人物区域中的人物的服装能否按各部位分离，并将服装部位分离信息输出给服装特征提取部130。详细而言，基于输入影像的人物区域以及背景区域来计算出服装部位分离信息，并输出给服装特征提取部130。服装特征提取部130基于输入影像的人物区域、人物朝向以及服装部位分离信息来提取人物的服装的视觉信息，并输出给服装特征保存部140。换言之，从输入影像的人物区域、人物朝向、以及服装部位分离信息中提取出人物服装特征并输出给人物服装特征保存部140。服装特征保存部140从服装特征提取部130输入人物服装特征并将其保存。

接下来，详述图1所示的人物服装特征提取装置的动作。人物区域检测部100输入期望的影像作为图像处理对象，能够受理规定的压缩格式的图像数据、解码处理后的非压缩格式的图像数据。作为压缩格式，可以采用MPEG-2(Moving Picture Expert Group，运动图像专家组)格式或H.264格式(或者MPEG-4格式)。关于压缩格式的图像数据，对其进行解码处理并以帧为单位或以场为单位来进行输入。在下面的说明中，对于输入影像，以帧为单位来进行图像处理，但也可以以场为单位来进行同样的图像处理。另外，能够采用YUV形式、RGB形式、或者其它颜色空间的描述形式来作为输入影像的颜色格式。

人物区域检测部100对输入影像的各帧进行人物区域的检测处理。能采用各种的方法来作为人物区域检测处理方法。例如，计算出预先取得的背景图像和输入影像之间的差分(后面称作“差分图像”)，通过执行阈值处理，从而仅提取输入影像中的人物区域。也可以从各帧中提取表示输入影像和背景图像之间的差分的差分图像，或者也可以将各帧分割成多个区域，针对各分割部分来提取差分图像。即，对输入影像的各帧的每个分割部分判定是否存在运动物体(人物以外的动物)，计算出不存在运动物体的状态下的影像和背景图像之间的差分来提取人物区域。另外，关于对差分图像实施的阈值处理中所使用的阈值，既可以将整个画面设置为一样，也可以对各画面区域进行适宜的设定。例如，可以对信息随时间的变 动大的画面区域增大阈值，另一方面，对信息随时间的变动少且稳定的画面区域减少阈值。

从输入影像提取出的人物区域按每个接近的区域被分组，对各组分配单独的ID(识别信息)，与各ID对应的区域构成人物区域。作为人物区域的描述方法能够应用各种方法。例如可以代入与表示各ID所对应的区域的背景的值不同的值，并计算出表示代入后所构成的二维信息的遮蔽(mask)信息。将如此计算出的人物区域与输入影像一起输出给人物朝向判定部110。

人物朝向判定部110基于输入影像和人物区域来判定人物的朝向。人物的朝向基于脸的朝向、人物的运动方向、以及人物的服装的对称性来决定。这是因为人物的朝向与脸的朝向、人物的动作强烈相关。一般而言，由于服装具有左右对称的花纹图案的情况较多，因此能将服装的对称性应用在人物是否是正面朝向的判定中。将这些信息用在输入图像的人物区域中所存在的人物的朝向判定中。关于人物朝向判定中使用的详细信息，将在后面叙述。不需要将脸的朝向、人物的运动的朝向、以及服装的对称性全部用在人物朝向判定中，也可以基于这些信息中的至少1个信息来进行人物朝向的判定。在此，按每个ID对应区域来计算出人物朝向。例如，将人物朝向划分为正面、背面以及方向未定(即不能判定人物方向)这3个区分。将所计算出的人物朝向输出给人物服装特征提取部130。另外，不需要将人物朝向限定为正面、背面以及方向未定这3个区分，也可以细化为4个区分以上。

服装部位分离部120对输入影像、人物区域以及背景区域进行输入。服装部位分离部120基于这些信息将人物的服装分离为多个部位。

背景区域是表示按照人物区域在背景上的位置而变化的人物所能被看到的样子的信息。例如，在摄像机的摄像范围中，在地板上存在人物区域的下端(脚、鞋子等)的情况下，认为该背景区域使人物的全身可视化。另一方面，在摄像机的摄像范围中存在桌子、书架等障碍物，人物区域的下端与障碍物接触的情况下，认为该背景区域仅使人物的一部分(例如上半身)可视化。如此，在摄像机的摄像范围中存在地板的情况下，标记为能对人物的整体像进行可视化的背景区域，另一方面，将障碍物的上侧标 记为能将人物的一部分(例如上本身)进行可视化的背景区域。由于在监视摄像机中将摄像范围固定，因此只要取得一次背景区域即可。作为该背景区域的取得方法，监视者(或操作人员)人为地对背景区域进行标记来取得该信息。在监视摄像机的摄像范围在多个固定位置变化的情况下，对各固定位置人为地对背景区域进行标记，从而取得该信息。在监视摄像机的摄像范围连续变化的情况下，先人为地临时对背景区域进行标记以取得该信息，再追随监视摄像机的运动，来自动地变更背景区域。具体地，通过用现有技术的特征点提取方法自动地提取书架、桌子的角等特征点，将追随摄像机的运动而在摄像范围内移动的特征点在帧间建立对应，由此能追踪各背景区域中的人物区域的移动。

服装特征提取部130基于输入影像、从人物区域检测部100所输出的人物区域、以及从服装部位分离部120所输出的服装部位分离信息，按人物的每个部位提取人物区域中的视觉特征。

例如，服装部位分离信息是将人物的图像分离为上半身和下半身的信息，且指定了其分离位置的情况下，从人物区域中的比分离位置更靠进上侧的部分中提取上半身视觉特征，从人物区域中的比分离位置更靠进下侧提取下半身的视觉特征。也可以根据人物区域的上半身部分以及下半身部分来判定人物的脸部分和脚部分，并提取除了这些部分以外的视觉特征。如此从人物区域中提取的视觉特征与人物的各部分建立对应地被输出。例如，将上半身的视觉特征与表示是人物的上半身的索引组合来进行输出。另外，也可以与从人物朝向判定部110输出的人物朝向组合来进行输出。例如，在人物朝向是正面方向的情况下，与表示该正面方向的索引一起进行输出。在人物朝向是背面方向(或者侧面方向)的情况下，与表示该背面方向(或者侧面方向)的索引一起进行输出。在人物朝向是方向不定的情况下，与表示方向不定的索引(例如具有特定的值的索引)一起进行输出。

视觉特征是表示人物的服装的颜色、花纹等的特征。在用HSV颜色空间来表现视觉特征的情况下，将人物区域的像素信息变换为色调(Hue)、彩度(Saturation)以及明度(Value)，通过进一步进行量子化来生成HSV直方图。在如ISO/IEC15938-3所规定的MPEG-7的Dominant Color  Descriptor那样将代表色作为视觉特征的情况下，进行人物区域的颜色分割，在各分割区分内检索主导颜色并将其作为视觉特征。除了上述的方法以外，还能如MPEG-7的色彩布局那样，使用表现颜色的各种视觉特征。在使用边缘直方图来作为表现花纹的视觉特征的情况下，提取人物区域内的各方向的边缘来生成边缘直方图。在基于Wavelet法的视觉特征的情况下，对人物区域进行Wavelet变换，计算出Wavelet系数。将该Wavelet系数或者其统计值(即Wavelet系数的方向分量的平均值、离散等)作为视觉特征。进而，也可以如MPEG-7的Homogeneous Texture那样，使用与花纹相关的各种视觉特征。另外，视觉特征并不需要包含颜色以及花纹两种成分，也可以只包含颜色以及花纹的任一一方。进而，视觉特征也可以包含颜色以及花纹以外的成分。

将如上述那样提取出的人物的服装的视觉特征作为服装特征保存在服装特征保存部140中。能使用各种形式来作为服装特征的保存形式。例如，以固定时间长的时间为单位来划分输入影像，以各时间为单位来保存文件。或者，在影像的录像时间较短的情况下，以各影像为单位来保存文件。图6示出视觉特征的保存形式的一例。在此，接着头文件信息来按每个人物区域来依次保存视觉特征。对于各人物区域，依次保存人物区域ID、服装部位索引、人物朝向索引、颜色的视觉特征以及花纹的视觉特征。另外，视觉特征的保存形式并不限于图6的形式，可以是能唯一特定各人物区域的任意形式。

接下来，详述图1所示的人物服装特征提取装置的动作。图5是表示人物服装特征提取装置的处理整体的流程图。首先，人物区域检测部100从输入影像中按每帧来检测人物区域(步骤S100)。接下来，人物朝向判定部110判定人物区域内的人物的朝向(步骤S110)。关于该详细的处理内容在后面进行叙述。接下来，服装部位分离部120将人物的服装分离为多个部位(步骤S120)。关于其详细的处理内容在后面叙述。接下来，服装特征提取部130提取人物的服装特征(步骤S130)。另外，步骤S110和步骤S120的顺序反过来也没关系。

人物服装特征提取装置基于人物的朝向和服装部位的分离可能性来提取服装特征，并保存。因此，能提供使具有因每个人物的朝向或每个服 装部位而不同的视觉特征的服装的检索成为可能的信息(即服装特征信息)。

接下来，详述人物服装特征提取装置的人物朝向判定部110的动作。图3是表示人物朝向判定部110的内部构成的框图。人物朝向判定部110由脸朝向判定部300、人物运动解析部310、服装对称性判定部320、以及综合朝向判定部330构成。

脸朝向判定部300根据输入影像判定人物的脸的朝向，并将其判定结果输出给综合朝向判定部330。人物运动解析部310基于输入影像和人物区域来解析人物运动，并将其解析结果输出给综合朝向判定部330。服装对称性判定部320基于输入影像和人物区域来判定服装对称性，并将其判定结果输出给综合朝向判定部330。综合朝向判定部330基于人物的脸的朝向、人物运动以及服装对称性来判定人物朝向。

接下来，详述人物朝向判定部110的动作。脸朝向判定部300对输入影像的各帧检测人物的脸区域，并且，估计脸的朝向。作为人物的脸区域的检测以及脸的朝向的估计方法，能使用现有的各种方法。在输入图像的各帧中检测出多个人物的脸的情况下，估计各人物的脸的朝向。人物的脸的朝向所涉及的信息是按照各个人物的每张脸汇总了脸的位置、朝向(特别是左右方向的朝向)的集合的信息。在输入图像中未检测出人物的脸的情况下，输出表示未检测出人物的脸的信息。在人物的脸区域的检测和估计脸的朝向时，还算出表示检测/估计的正确性的可靠度，并将其添加到人物的脸的朝向所涉及的信息中。将如此判定的人物的脸的朝向输出给综合朝向判定部330。

人物运动解析部310基于输入影像和人物区域的时间序列信息来解析人物区域的运动。例如，按每帧检测人物区域内的特征点，并在帧间追踪特征点，由此来估计人物区域的运动。或者，在各帧计算出人物区域的重心，通过追踪该移动来估计人物区域的运动。此时，也可以基于在时间序列上前后的两帧来估计人物区域的运动。或者，也可以基于众多的帧来估计人物区域的运动。在人物区域的运动比较小的情况下，在帧间计算出光流(optical flow)，基于该光流来估计人物区域的运动。这种情况下，也可以通过计算出人物区域内的像素间的光流的平均值，或者进行中值等的 非线性统计处理，来估计人物区域的运动。将估计出的人物区域的运动(即人物运动)输出给综合朝向判定部330。

服装对称性判定部320基于输入影像和人物区域来判定服装的对称性。作为判定服装的对称性的方法，能考虑各种方法，例如可以调查在水平方向上扫描人物区域的像素而得到的像素函数是否具有以人物区域的中心附近为轴的对称性。具体地，按照数学式(1)来计算出对称性的偏差。

[数学式1]

$D_s\left(y\right)=\underset{u}{\min }\frac{\underset{x=0}{\overset{W}{\mathrm{\Σ}}}{|I(u-x,y)-I(u+x,y)|}^{2}M(u-x,y)M(u+x,y)}{\underset{x=0}{\overset{W}{\mathrm{\Σ}}}M(u-x,y)M(u+x,y)}$

在此，I(x，y)表示坐标(x，y)中的像素数据(颜色空间R、G、B的三维矢量)。M(x，y)是表示人物区域的遮蔽信息，在坐标(x，y)为人物区域的情况下设定为“1”，在此外的情况设定为“0”。W为常数，u被设定为人物区域的中心附近的值。数学式1对y的各值计算出D_s(y)，作为移动了人物区域的中心的情况下(即，使u值变化的情况下)的对称性的偏离的最小值。将如此计算出的D_s(y)按照数学式2在人物区域的上端y＝Y₀和下端y＝Y₁之间进行平均，由此来计算出对称性的平均失真。

[数学式2]

$\stackrel{\‾}{D_s}=\frac{1}{Y_1-Y_0}\underset{y=Y_0}{\overset{Y_1}{\mathrm{\Σ}}}{D}_s\left(y\right)$

其中，由于假想了摄像区域中的像素数据一样，其不依赖于朝向而对称性变高的情况，因此，在同时还检查图像数据的平坦性，且图像数据的平坦性较高的情况下，即使对称性偏离的计算值较高，也判定为计算的可靠性较低。因此，根据数学式3按水平方向的每条扫描线来计算出像素数据的平坦性(即人物区域的左端x＝X₀和右端x＝X₁)，根据数学式4在人物区域的上端y＝Y₀和下端y＝Y₁之间进行平均，由此计算出对称性的平均失真。

[数学式3]

$D_f\left(y\right)=\underset{x=X_0}{\overset{X_1}{\mathrm{\Σ}}}{(I(x,y)-\stackrel{\‾}{I(x,y)})}^{2}M(x,y)$

[数学式4]

$\stackrel{\‾}{D_f}=\frac{1}{Y_1-Y_0}\underset{y=Y_0}{\overset{Y_1}{\mathrm{\Σ}}}{D}_f\left(y\right)$

在此，I(x，y)横杠表示将y固定来沿水平方向进行扫描而得到的像素数据经过平均后的值。如上所述，将计算出的的D_s横杠以及D_f横杠作为服装对称性来向综合朝向判定部330输出。或者，也可以将以数学式1以及数学式3所表示的对称性以及平坦性的函数值作为服装对称性而输出。

综合朝向判定部330基于人物区域中的人物的脸的朝向、人物的运动、以及服装的对称性来判定综合的人物朝向。在此也能应用各种方法，例如，基于人物的脸的朝向、人物的运动以及服装的对称性中的各个来计算相对于正面方向的得分(下面称作“正面得分”)，并综合该得分来判定人物朝向。这种情况下，也可以将人物的脸的朝向直接设为正面得分。

关于人物的运动，通过对所计算出的运动矢量与向下的矢量之间的相似度进行计算，来推测人物像哪个方向移动(走动)。例如，计算出移动矢量和向下的矢量的余弦值，基于该余弦值的大小来推测人物的朝向。在此，在运动矢量为向上的矢量的情况下，余弦值成为“-1”。具体地，按照数学式5来计算出正面得分。在运动矢量与向下的矢量之间的相关性较高的情况下，正面得分成为较大的正的值。与此相反，在运动矢量与向上的矢量之间的相关性较高的情况下，正面得分成为较大的负的值。在此，设y轴的正的方向为向下。

[数学式5]

$S_m=\frac{1}{\sqrt{{V_x}^2+{V_y}^2}}\left(\begin{array}{c}{V}_x\\ V_y\end{array}\right)\·\left(\begin{array}{c}0\\ 1\end{array}\right)=\frac{V_y}{\sqrt{{V_x}^2+{V_y}^2}}$

在此，也可以还考虑运动矢量的大小来计算出正面得分。例如，也可 以在运动矢量的大小为阈值以下的情况下，设用数学式5计算出的正面得分为“0”。

另外，也可以基于服装对称性来计算出正面得分。即，在D_s横杠以及D_f横杠作为服装对称性被从服装对称性判定部320输出的情况下，按照数学式6来计算出正面得分。

[数学式6]

$S_c=g\left(\stackrel{\‾}{D_f}\right)s\left(\stackrel{\‾}{D_s}\right)$

在此，g(x)是相对于x的单调非减少函数，s(x)是在x较大时成为“0”单调非增加函数。或者，在D_s(y)、D_f(y)作为服装对称性被从服装对称性判定部320输出的情况下，按照数学式7来计算出正面得分。

[数学式7]

$S_c=s\left(\frac{1}{Y_1-Y_0}\underset{y=Y_0}{\overset{Y_1}{\mathrm{\Σ}}}g\left(D_f\left(y\right)\right)D_s\left(y\right)\right)$

如上所述，基于针对人物的脸的朝向、人物的运动、以及服装对称性而算计算出的正面得分来判定人物的朝向。在此，计算出各正面得分的和或者积，在该值大于一定的阈值的情况下，判定为人物朝向正面。或者，也可以采用输入数据的学习功能来构筑在输入各正面得分后输出整体的正面性的判定结果的神经网络等识别系统，由此来判定人物的正面性。在此，作为人物的朝向，分类为正面方向、背面方向以及方向不定的任一者，来判定人物的朝向。

接下来，参照图7所示的流程图来说明图3所示的人物朝向判定部110的整体的处理。首先，脸朝向判定部300判定人物的脸的朝向，并将其判定结果输出给综合朝向判定部330(步骤S300)。接下来，人物运动解析部310估计人物区域的运动，并将其估计结果输出给综合朝向判定部330(步骤S310)。接下来，服装对称性判定部320判定人物的服装对称性，并将其判定结果输出给综合朝向判定部330(步骤S320)。之后，综合朝向判定部330基于人物的脸的朝向、人物的朝向以及服装对称性来判定综合的人物的朝向(步骤S330)。另外，步骤S300、S310以及S320的顺序也可以变更。

接下来，详述图1所示的人物服装特征提取装置的服装部位分离部120。图4是表示服装部位分离部120的内部构成的框图。服装部位分离部120由区域形状分析部400、可视部位判定部410以及综合部位分离部420构成。

区域形状分析部400分析人物区域来生成形状分析信息，并输出给综合部位分离部420。可视部位判定部410基于人物区域和背景区域来生成可视部位信息，并输出给综合部位分离部420。综合部位分离部420基于输入影像、从区域形状判定部400输出的形状分析信息、从可视部位判定部410输出的可视部位信息来生成服装部位分离信息。

接下来，说明图4所示的服装部位分离部120的处理。在下面的说明中，想定上半身和下半身这2个部位作为服装部位，作为将它们分离的信息，生成服装部位分离信息。区域形状分析部400分析人物区域的几何学形状，生成用于判定人物是否是站立的状态，或者是否是仅有人物的上半身映在了摄像范围中的形状分析信息。例如，想定包围人物区域的矩形范围，计算出其纵横比来作为形状分析信息。将所计算出的形状分析信息输出给综合部位分离部420。

可视部位判定部410基于人物区域和背景区域来判定是否能将人物分离为上半身和下半身。具体地，计算出与人物区域的下端对应的坐标值，并基于位于该坐标的背景区域来判定在人物区域中是否对人物的全身进行可视化。在背景区域表示能对人物的全身可视化的情况下，输出表示该意思的可视部位信息。在背景区域表示人物区域仅人物的上半身(或者下半身)可视化的情况下，输出表示该意思的可视部位信息。在上述以外的情况下，输出表示可视部位不明的意思的可视部位信息。将可视部位信息输出给综合部位分离部420。

综合部位分离部420基于形状分析信息和可视部位信息来判定人物的服装部位是否能分离。具体地，基于形状分析信息来判定人物是否被控制在适当的范围(即摄像范围内的适当的范围)内。例如，在直立的人物控制在适当的范围内、且可视部位信息表示能将人物的全身可视化的情况下，综合部位分离部420判定为能将人物分离为上半身和下半身。另一方面，在形状分析信息表示仅将人物的上半身控制在适当的范围内，可视部 位信息表示能够对人物的上本身进行可视化的情况下，综合部位分离部420判定为仅能将人物的上半身可视化。在可视部位信息表示可视部位不明的情况下，综合部位分离部420判定为不能将人物分离为上半身和下半身。另外，在形状分析信息表示直立的人物未被控制在适当的范围内的情况下，或者表示人物的上半身未被控制在适当的范围内的情况下，综合部位分离部420判定为不能将人物分离为上半身和下半身。

综合部位分离部420在判定为能将人物分离为上半身和下半身的情况下，还计算出该分离位置。关于该分离位置的计算方法，可以考虑各种方法。例如按照数学式8来沿着水平方向扫描人物区域的像素数据，计算出在y轴方向上投影的像素函数值。

[数学式8]

$f\left(y\right)=\frac{\underset{x=X_0}{\overset{X_1}{\mathrm{\Σ}}}I(x,y)M(x,y)}{\underset{x=X_0}{\overset{X_1}{\mathrm{\Σ}}}M(x,y)}$

在此，I(x，y)表示坐标(x，y)中的像素数据(颜色空间R、G、B的三维矢量)，M(x，y)表示人物区域的遮蔽信息。在数学式8中，求取像素函数值f(y)变化大的y坐标。例如，按照数学式9来求取像素函数值的差分的最大值，在该最大差分值D₀大于阈值的情况下，判定为能将人物分离为上半身和下半身。在判定为能将人物分离为上半身和下半身的情况下，按照数学式10计算出此时的y坐标的值y₀。如此，除了能将人物分离为上半身和下半身的判定结果之外，综合部位分离部420还将此时的y坐标的值y₀保存到服装部位分离信息中来进行输出。

[数学式9]

$D_0=\underset{v}{\max }(\underset{y=1}{\overset{B}{\mathrm{\Σ}}}f(v-y)-\underset{y=1}{\overset{B}{\mathrm{\Σ}}}f(v+y))$

[数学式10]

$y_0=\underset{v}{\arg \max }(\underset{y=1}{\overset{B}{\mathrm{\Σ}}}f(v-y)-\underset{y=1}{\overset{B}{\mathrm{\Σ}}}f(v+y))$

另外，在人物的服装的上半身和下半身之间的视觉特征的差异比较小的情况下，判定为能以规定的分割比例来分割人物区域，并将该分割比例保存在服装部位分类信息中来进行输出。

接下来，参照图8所示的流程图来说明图4所示的服装部位分离部120的处理。首先，区域形状分析部400分析人物区域的形状并将形状分析信息输出给综合部位分离部420(步骤S400)。接下来，可视部位判定部410基于人物区域和背景区域来判定在摄像机的摄像范围内被可视化的可视部位，并将可视部位信息输出给综合部位分离部420(步骤S410)。综合部位分离部420执行上述的综合部位分离处理，由此生成服装部位分离信息(步骤S420)。另外，步骤S400以及S410的顺序也可以变更。

接下来，详述本发明的实施例所涉及的人物检索装置。图2是表示本实施例所涉及的人物检索装置的构成的框图。人物检索装置由服装特征检索部200、服装特征查询生成部210、服装特征对照部220、人物检索部230、和服装特征保存部140构成。图2所示的人物检索装置也可以不具备图1所示的服装特征保存部140以外的人物服装特征提取装置的构成要素。但是，也可以组合图2的人物检索装置和图1的人物服装特征提取装置。

人物检索装置的功能能通过使由CPU、ROM、RAM等构成的计算机安装人物检索程序来实现。

服装特征检索部200基于服装查询文本来检索表示服装的种类和视觉特征的单词，并作为服装特征参数输出。详细地，参照服装辞典来解析服装查询文本从而生成服装特征参数，并输出给服装特征查询生成部210。服装特征查询生成部210根据服装特征参数来估计服装的视觉特征，生成服装特征查询并输出给服装特征对照部220。服装特征保存部140保存图1所示的人物服装特征提取装置所提取出的人物的服装特征。该服装特征是基于输入影像的人物区域和服装部位分离信息而生成的人物的服装的视觉特征。也可以在该服装特征中加入基于人物的朝向而提取出的服装的视觉特征。服装特征对照部220将保存在服装特征保存部140中的服装特征与服装特征查询进行对照，并将该对照结果输出给人物检索部230。人物检索部230统计服装特征对照部220的对照结果，由此输出人物检索结 果。

接下来，详述图2所示的人物检索装置的动作。服装特征检索部200输入服装查询文本。服装特征检索部200参照服装辞典，根据服装查询文本来检索表示服装的种类和颜色的服装特征参数。服装辞典将像素数据与表示各种的颜色的单词建立对应地进行存储(例如RGB数据或HSV数据)，并作为服装信息。另外，服装辞典还在服装信息中描述服装的种类是与上半身关联，或者是与下半身关联。服装特征检索部200参照登记在服装辞典中的服装信息来解析服装查询文本，由此生成服装特征参数。

例如，在作为服装查询文本输入了“白色衬衫配蓝色外套、黑色裤子”的情况下，服装特征检索部200从服装辞典中检索出“衬衫”和“外套”与上半身关联且颜色分别为“白色”和“蓝色”。另外，服装特征检索部200从服装辞典中检索出“裤子”与下半身关联且其颜色为“黑色”。进而，服装特征检索部200在衬衫和夹克叠穿时判定为夹克在上侧，并且判定为作为上半身的颜色的“蓝色”的比率大于“白色”的比率。考虑在从正面观察人物的情况下，衬衫和夹克两者均可视化，在从背面观察人物的情况下，仅夹克可视化的情况，服装特征检索部200从而针对上半身的正面以及背面生成不同的颜色参数。另外，关于下半身，生成表示正面和背面两者的颜色都是“黑色”的情况下的颜色参数。

在服装查询文本中包含表现日语的“很……”、“……系”这样的模糊语言的情况下，还将其模糊程度描述在服装特征参数中。例如，在用颜色直方图来表示服装特征的情况下，能通过暧昧的程度来调节颜色直方图的扩展的程度。

如上所述，在服装特征参数中描述有与上半身以及下半身对应的像素数据(例如RGB数据或HSV数据)、颜色的比率、颜色参数、颜色表现的模糊程度后，输出给服装特征查询生成部210。

服装特征查询生成部210基于从服装特征检索部200输出的服装特征参数来生成服装特征查询。例如，在将颜色直方图作为服装特征来使用的情况下，将包含在服装特征参数中的像素数据设为峰值，生成具有由颜色表现的模糊程度所规定的扩展的颜色直方图。在此，按照颜色的比率来调整颜色直方图的峰值。另外，由于因人物的朝向(即人物是否朝向正面) 而看到的峰值的颜色不同，因此针对人物的正面方向和非正面方向个别地生成颜色直方图。另外，针对人物的上半身和下半身分别生成服装特征查询。将如此生成的服装特征查询输出给服装特征对照部220。

服装特征对照部220将从服装特征查询生成部210输出的服装特征查询与保存在服装特征保存部140中的服装特征(即成为检索对象的人物的服装特征)进行比较，计算对照得分。服装特征查询与(从服装特征保存部140检索到的)服装特征的比较也可以对由服装部位分离信息所指定的各服装部位来进行。

上述的对照得分表现为服装特征的相似度，例如能通过服装特征矢量的内积而计算。或者，计算出服装特征间的距离(相异)，将其变换成服装特征的相似度。即，按照数学式11将服装特征间的距离d变换为相似度S。

[数学式11]

$S=\frac{1}{1+d}$

保存在服装特征保存部140中的服装特征由于是与人物的朝向、服装部位分离信息建立对应地来保存的，因此，服装特征对照部220再加上该信息来进行服装特征查询与检索服装特征之间的对照。具体地，在检索服装特征与人物的正面对应的情况下，与人物的正面所涉及的服装特征查询进行对照。在检索服装信息与人物的非正面方向对应的情况下，与人物的非正面方向所涉及的服装特征查询进行对照。另外，在检索服装特征所涉及的人物是方向不定的情况下，与人物的正面方向以及非正面方向所涉及的服装特征查询的两者进行对照，采用对照结果较好的一方。

考虑到服装部位分离信息，在检索服装特征与人物的上半身对应的情况下，与人物的上半身所涉及的服装特征查询进行对照。在检索服装特征与人物的下半身对应的情况下，与人物的下半身所涉及的服装特征查询进行对照。另一方面，在不能将人物的服装分离为上半身和下半身的情况下，与将人物的上半身和下半身所涉及的服装特征查询进行综合而得到的综合服装特征查询进行对照。例如，在以颜色直方图来表现服装特征的情况下，将人物的上半身和下半身的服装特征相加，按照需要来进行归一化， 从而与检索服装特征进行对照。

在能同时看见人物的上半身和下半身的情况下，服装特征对照部220能同时获得人物的上半身和下半身两者的对照结果。这种情况下，使用人物的上半身和下半身的服装特征的对照结果的两者来判定对照程度。在只能看到人物的上半身和下半身的其中一者的情况下，或不能将人物的服装分离为上半身和上半身的情况下，服装特征对照部220只能得到1个对照结果。这种情况下，仅使用1个对照结果来判定对照的程度。

如上所述，服装特征对照部220按照看到人物的样子来生成不同数量对照结果。在仅得到1个对照结果的情况下，此时的服装特征的相似度直接成为整体的对照结果。另外，在如人物的上半身和下半身那样得到了多个对照结果的情况下，计算多个服装特征的相似度S₁、S₂。这种情况下，按照数学式10来计算综合相似度S。

[数学式12]

S＝h(S₁+S_s)

在此，h(x)表示单调非减少函数，例如以数学式13来表示。

[数学式13]

$h\left(s\right)=\sqrt{s}$

通过上述的处理，综合性对照的情况下的相似度提高，从而能获得接近于直觉的人物的服装特征的对照结果。将服装特征对照部220的对照结果输出给人物检索部230。

人物检索部230基于服装特征对照部220的对照结果来输出人物检索结果。具体地，按照综合相似度从大到小的顺序来更换排列对照结果，并将它们作为人物检索结果来输出。在包含在人物检索结果中的对照结果的个数被固定为N个的情况下，按照综合相似度从大到小的顺序选择前N个对照结果来进行输出。

接下来，参照图9所示的流程图来详述图2所示的人物检索装置的动作。首先，服装特征检索部200从服装辞典中检索与服装查询文本对应的服装特征参数，并输出给服装特征查询生成部210(步骤S200)。接下来，服装特征查询生成部210基于服装特征参数来生成服装特征查询，并输出 给服装特征对照部220(步骤S210)。接下来，服装特征对照部220将服装特征查询与(从服装特征保存部140读取的)检索服装特征进行对照，并将其对照结果输出给人物检索部230(步骤S220)。人物检索部230基于服装特征查询与检索服装特征的对照结果来生成人物检索结果并输出(步骤S230)。

图2所示的人物检索装置在是基于日语、英语等自然语言所表现的服装查询文本，并考虑了人物的朝向和服装部位分离信息来实现高度的人物检索处理的。换言之，由于本实施例通过自然语言来输入人物的服装特征，考虑人物的朝向和服装特征的相异来进行人物检索，因此能获得接近于检索者的意图的人物的检索结果。

另外，本发明并不限于上述实施例，容许在权利要求书所规定的保护范围内进行变更。例如，服装部位分离部120不仅能将人物的服装部位分离为上半身和下半身这2个，还可以分离为鞋子、帽子等其他服装部位。

产业上的可利用性

由于本发明在监视摄像机的摄像范围中检索人物区域，并提取包含在该人物区域中的人物的服装特征，参照数据库来高精度地检索人物，因此能适用于公共机关、私有企业的安全用途等中。

符号说明

100  人物区域检测部

110  人物朝向判定部

120  服装部位分离部

130  服装特征提取部

140  服装特征保存部

200  服装特征检索部

210  服装特征查询生成部

220  服装特征对照部

230  人物检索部

300  脸朝向判定部

310  人物运动解析部

320  服装特征对称性判定部

330  综合朝向判定部

400  区域形状分析部

410  可视部位判定部

420  综合部位分离部

1000  脸区域检测/脸特征提取部

1010  穿衣区域检测/穿衣特征提取部

1040  穿衣特征数据库(DB)

1050  脸特征数据库(DB)

1060  脸相似度计算部

1070  穿衣相似度计算部

1080  人物相同性判定部

Claims (8)

1.一种人物检索装置，其特征在于，具备：

服装特征保存部，其保存基于输入影像的人物区域、人物的朝向以及表示人物的服装部位的分离可能性的服装部位分离信息而预先生成的服装特征；

服装特征检索部，其基于表示人物服装的种类和颜色的服装查询文本来检索服装特征参数；

服装特征查询生成部，其基于服装特征参数来输出服装特征查询；

服装特征对照部，其将从服装特征保存部中检索出的服装特征与服装特征查询进行对照，并输出对照结果；和

人物检索部，其基于对照结果来输出人物检索结果。

2.根据权利要求1所述的人物检索装置，其特征在于，

所述服装特征对照部按由服装部位分离信息所指定的每个服装部位来对照检索服装特征和服装特征查询。

3.根据权利要求1所述的人物检索装置，其特征在于，

所述人物检索装置还具备：

人物区域检测部，其从输入影像中检测出人物区域；

人物朝向判定部，其判定人物区域中的人物的朝向；

服装部位分离部，其基于表示人物区域的几何学形状的形状分析信息、和基于人物区域和背景区域来表示被可视化的人物的服装部位的可视部位信息，来判定人物的服装部位的分离可能性，并输出服装部位分离信息；和

服装特征提取部，其考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征，

所述服装特征保存部保存所提取出的服装特征。

4.一种人物检索方法，其特征在于，

基于表示人物服装的种类和颜色的服装查询文本来检索服装特征参数，

基于服装特征参数来生成服装特征查询，

将从保存基于输入影像的人物区域、人物的朝向以及表示人物的服装部位的分离可能性的服装部位分离信息而预先生成的服装特征的服装特征保存部检索出的服装特征与服装特征查询进行对照，并输出对照结果，

基于对照结果来输出人物检索结果。

5.根据权利要求4所述的人物检索方法，其特征在于，

所述服装特征保存部保存基于输入影像的人物区域和表示人物的服装部位的分离可能性的服装部位分离信息而预先生成的服装特征。

6.根据权利要求5所述的人物检索方法，其特征在于，

所述服装特征保存部保存除了输入影像的人物区域以及服装部位分离信息之外还考虑了人物的朝向而生成的服装特征。

7.根据权利要求4所述的人物检索方法，其特征在于，

按由服装部位分离信息所指定的每个服装部位来对照检索服装特征和服装特征查询。

8.根据权利要求4所述的人物检索方法，其特征在于，

从输入影像中检测出人物区域，

判定人物区域中的人物的朝向，

判定人物区域中的人物服装的分离可能性，来生成服装部位分离信息，

考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征，并保存在所述服装特征保存部中。