CN1925609A - 影像处理装置 - Google Patents

影像处理装置 Download PDF

Info

Publication number
CN1925609A
CN1925609A CNA2006101277229A CN200610127722A CN1925609A CN 1925609 A CN1925609 A CN 1925609A CN A2006101277229 A CNA2006101277229 A CN A2006101277229A CN 200610127722 A CN200610127722 A CN 200610127722A CN 1925609 A CN1925609 A CN 1925609A
Authority
CN
China
Prior art keywords
mentioned
face
frame
whereabouts
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101277229A
Other languages
English (en)
Other versions
CN100534175C (zh
Inventor
安部素嗣
西口正之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1925609A publication Critical patent/CN1925609A/zh
Application granted granted Critical
Publication of CN100534175C publication Critical patent/CN100534175C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

提供影像处理装置。生成使脸区域与从出现脸区域直到消失为止的信息相对应的影像数据附带信息。由行踪判断部(424)对在脸区域检测部(410)中检测出的帧中的脸区域的位置及属性、与在脸区域预测部(423)中预测的规定行踪的帧中的脸区域的位置及属性进行比较。比较的结果，判断为在脸区域检测部(410)中检测出的帧包含在规定的行踪中的情况下，该帧被加到该规定的行踪中。由结束帧判断部(425)判断行踪的结束帧。在代表脸区域信息生成部(430)中从构成行踪的帧中包含的脸区域来选择代表脸区域，生成代表脸区域信息。根据行踪及代表脸区域，由影像数据附带信息生成部(450)生成影像数据附带信息。

Description

影像处理装置
技术领域
本发明涉及一种从影像数据检测脸区域的影像处理装置，特别是涉及对从出现脸区域直到消失为止进行追踪的影像处理装置、以及它们的处理方法和使计算机执行该方法的程序。
背景技术
影像数据与静止图像数据不同，难以在短时间内掌握其内容。为了在短时间内掌握影像数据的内容，例如使用三倍速再现等高速再现的方法、或将影像数据中的规定场景进行缩略图(thumbnail)显示而进行多个显示等的方法。
然而，即使是高速再现，以三倍速再现程度很难说能够在短时间内掌握影像数据的内容。另一方面，即使提高再现速度，人的眼睛所能看到的再现速度有限。另外，使影像数据中的规定场景为缩略图显示的方法中，并不是表示影像数据特征的场景被缩略图显示，因此对掌握影像数据的内容是不够的。
为了掌握这种影像数据的内容，关注影像数据的出场人物是有效的。因为通常影像数据中人物出场的情况较多。近年来，与脸检测技术有关的研究盛行，正在进行使用该脸检测技术来掌握影像数据的出场人物的技术开发。
例如，有如下的技术：从影像数据检测移动物体，利用脸检测技术对该移动物体进行是否是人物的判断，从包含该人物的影像数据中选择规定数量的帧进行显示(例如参照专利文献1。)。另外，还有如下的技术：从构成影像数据的帧抽出脸区域，按人物对抽出的所有脸区域进行分组，从该分组的脸区域中显示该人物的代表脸区域(例如参照专利文献2。)。
专利文献1：日本特开2000-232638号公报(图1)
专利文献2：日本特开2001-167110号公报(图1)
发明内容
然而，与上述的移动物体有关的技术不检测不移动的物体，因此不是能够直接利用于所有普通的影像数据的技术。另外，一般关于从帧中检测脸区域，理想状态是如图15的(a)所示，在帧中包含有脸区域的情况下利用脸检测技术能够没有遗漏地进行检测，但是在现阶段的脸检测技术中，如图15的(b)所示，即使在帧中包含有脸区域也可能发生检测遗漏。在从上述分组的脸区域中显示该人物的代表脸区域的技术中，作为从帧抽出脸区域的前提，从帧中检测脸区域，但是没有实施关于脸区域的检测遗漏的对策。因而，无法直接充分地掌握脸区域的时间方向的关系，具有难以掌握影像数据内容的问题。
因此，本发明目的在于提供一种生成使脸区域和从出现脸区域到消失为止的信息相对应的影像数据附带信息的影像处理装置。
本发明是为了解决上述问题而完成的，其第一侧面是一种影像处理装置，其特征在于，具备：脸区域检测单元，其检测在构成影像数据的帧中包含的脸区域；行踪(トレ一ス)生成单元，其根据上述检测生成帧标识符，该帧标识符与将上述脸区域从出现直到消失为止的帧的集合作为一个单位的行踪的开始以及结束对应；代表脸区域信息生成单元，其从在构成上述行踪的帧中包含的上述脸区域中选择代表脸区域，生成表示上述代表脸区域的内容的代表脸区域信息；以及影像数据附带信息生成单元，其作为在上述影像数据中附带的影像数据附带信息，对于上述影像数据生成使与上述行踪的开始以及结束对应的帧标识符和上述代表脸区域信息相对应的信息。由此，带来如下作用：生成使脸区域和脸区域从出现直到消失为止的信息相对应的影像数据附带信息。因而，能够有效地管理在庞大的帧中出场的多数人物。
另外，在该第一侧面特征在于，上述行踪生成单元具备：行踪标识符赋予单元，其对上述脸区域从出现直到消失为止的帧赋予相同的行踪标识符；脸区域预测单元，其根据赋予了上述相同的行踪标识符的以前的帧中的上述脸区域，预测当前帧中的上述脸区域；行踪判断单元，其根据上述预测的当前帧中的上述脸区域，判断在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域是否包含在上述行踪中，在判断为包含在上述行踪中的情况下，将上述当前帧添加到上述行踪中；以及结束帧判断单元，其判断为在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域没有包含在上述行踪中的情况下，判断将哪个帧设为上述行踪的结束帧。由此，带来如下作用：通过提供影像数据，自动地生成使脸区域和脸区域从出现直到消失为止的信息相对应的影像数据附带信息。
另外，特征在于，上述脸区域预测单元根据赋予了上述相同的行踪标识符的以前的帧中的上述脸区域，利用线性预测来预测上述当前帧中的上述脸区域。由此，带来如下作用：可得到精度良好的脸区域的位置等预测值。
另外，特征在于，上述行踪判断单元将上述预测的当前帧中的上述脸区域和在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域进行比较，判断位置的差及属性的差是否在规定的阈值内，在上述阈值内的情况下，判断为上述当前帧中的上述脸区域包含在上述行踪中，将上述当前帧添加到上述行踪中。由此，带来如下作用：即使在实际的检测值和预测值中有误差的情况下，也生成脸区域从出现直到消失为止的信息。
另外，特征在于，上述行踪判断单元，作为上述属性根据上述脸区域的大小、上述脸区域的亮度分布、上述脸区域的颜色分布、上述脸区域的形状、上述脸区域的图案中的至少一个要素，判断上述属性的差是否在规定的阈值内。由此，带来如下作用：根据脸区域中的大小、亮度分布、颜色分布、形状、图案等要素，将实际的检测值和预测值进行比较。
另外，特征在于，上述结束帧判断单元在判断为在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域没有包含在上述行踪中的情况下，根据上述行踪判断单元对之后接着的帧的判断结果，判断将哪个帧设为上述结束帧。由此，带来如下作用：即使有脸区域的检测遗漏的情况下，也生成脸区域从出现直到消失为止的信息。
另外，在该第一侧面特征在于，上述代表脸区域信息生成单元根据构成上述行踪的帧中的上述脸区域的大小、上述脸区域中的频率分布、上述脸区域中的颜色的浓淡分布以及上述脸区域颜色分布中的至少一个要素，选择上述代表脸区域。由此，带来如下作用：将由用户容易看到的脸区域选择为代表脸区域。
另外，在该第一侧面特征在于，上述代表脸区域信息生成单元将包含上述代表脸区域的帧的帧编号、和包含上述代表脸区域的帧中的上述代表脸区域的位置以及大小，作为上述代表脸区域信息生成。由此，带来如下作用：降低影像数据附带信息中的代表脸区域信息的信息量。
另外，在该第一侧面特征在于，上述代表脸区域信息生成单元将从包含上述代表脸区域的帧中切出的上述代表脸区域，作为上述代表脸区域信息生成。由此，带来如下作用：将脸区域包含在影像数据附带信息而生成。
另外，特征在于，具备：脸区域特征数据保持单元，其使记述了规定的脸区域的特征的脸区域特征数据、和识别上述脸区域特征数据的脸特征标识符相对应进行保持；脸区域特征数据抽出单元，其从在上述脸区域信息生成单元切出的上述代表脸区域，抽出脸区域特征数据；以及脸区域特征数据检索单元，其从上述脸区域特征数据保持单元检索与上述抽出的脸区域特征数据类似的上述脸区域特征数据，将上述脸特征标识符赋予上述抽出的脸区域特征数据，上述影像数据附带信息生成单元在上述影像数据附带信息中包含上述脸特征标识符而生成。由此，带来如下作用：使将类似的脸区域相关联的脸特征标识符包含在影像数据附带信息中而生成。
另外，特征在于，在上述脸区域特征数据检索单元中没有从上述脸区域特征数据保持单元检索到与上述抽出的脸区域特征数据类似的上述脸区域特征数据的情况下，将新的脸特征标识符赋予上述抽出的脸区域特征数据。由此，带来如下作用：即使没有类似的脸区域，也赋予新的脸特征标识符。即向所有的脸区域赋予脸特征标识符。
另外，本发明的第二侧面是一种影像处理装置，其特征在于，具备：影像数据附带信息保持单元，其对影像数据保持影像数据附带信息，该影像数据附带信息是使与脸区域连续出现的帧的集合即行踪的开始以及结束对应的帧标识符、和表示从在构成上述行踪的帧中包含的上述脸区域选择的代表脸区域的内容的代表脸区域信息相对应的信息；操作菜单一览生成单元，其根据上述影像数据附带信息，生成操作菜单的一览；显示单元，其显示上述操作菜单；操作输入单元，其接受对上述操作菜单的选择。由此，带来如下作用：根据使脸区域和脸区域从出现直到消失为止的信息相对应的影像数据附带信息，管理影像数据。
另外，在该第二侧面特征在于，还具备脸区域获取单元，该脸区域获取单元在从上述操作输入单元选择上述影像数据的一览中的规定的影像数据时，获取与该选择的影像数据有关的上述影像数据附带信息，根据在上述影像数据附带信息中包含的上述代表脸区域信息，显示上述脸区域。由此，带来如下作用：对影像数据中连续出现脸区域的每个场景，显示代表该场景的脸区域。
另外，特征在于，上述影像数据附带信息保持单元对于上述影像数据，使向记述了规定的脸区域特征的脸区域特征数据赋予的脸特征标识符、与上述代表脸区域信息相对应进行保持，影像处理装置还具备类似脸区域检索单元，该类似脸区域检索单元在由上述脸区域获取单元显示的上述脸区域的某一个被上述操作输入单元选择时，检索具有与该选择的上述脸区域相同的上述脸特征标识符的影像数据附带信息，显示其结果。由此，带来如下作用：根据类似的脸区域，检索影像数据。
另外，在该第二侧面特征在于，还具备脸时间线生成单元，该脸时间线生成单元在由上述操作输入单元选择上述影像数据的一览中的规定的影像数据时，获取与该选择的影像数据有关的上述影像数据附带信息，生成包含与上述行踪对应的时间显示以及与上述代表脸区域信息对应的上述脸区域的脸时间线显示。由此，带来如下作用：对在影像数据中连续出现脸区域的每个场景，显示代表该场景的脸区域以及该场景时间。
另外，该第三侧面是一种处理方法或者使计算机执行该处理方法的程序，该处理方法的特征在于，具备：脸区域检测过程，检测在构成影像数据的帧中包含的脸区域；行踪生成过程，根据上述检测生成帧标识符，该帧标识符与将上述脸区域从出现直到消失为止的帧的集合作为一个单位的行踪的开始以及结束对应；代表脸区域信息生成过程，从在构成上述行踪的帧中包含的上述脸区域选择代表脸区域，生成表示上述代表脸区域的内容的代表脸区域信息；以及影像数据附带信息生成过程，作为在上述影像数据中附带的影像数据附带信息，对于上述影像数据生成使与上述行踪的开始以及结束对应的帧标识符和上述代表脸区域信息相对应的信息。由此，带来如下作用：生成使脸区域和脸区域从出现直到消失为止的信息相对应的影像数据附带信息。
根据本发明，能够起到可生成使脸区域和脸区域从出现直到消失为止的信息相对应的影像数据附带信息的优良的效果。
附图说明
图1是表示本发明实施方式中的影像处理装置100的结构的一例的图。
图2是表示生成关于本发明实施方式中的影像数据的影像数据附带信息的功能结构的一例的图。
图3是表示使用了在图2中生成的影像数据附带信息的操作功能结构的一例的图。
图4是表示本发明实施方式中的行踪生成的情形的图。
图5是表示与图4不同的行踪的结束帧的判断方法的图。
图6是表示本发明实施方式中的脸区域信息保持部422的保持内容的图。
图7是表示本发明实施方式中的脸区域特征数据保持部442的保持内容的图。
图8是表示在本发明实施方式中的影像数据附带信息保持部460中保持的影像数据附带信息的图。
图9是表示本发明实施方式中的行踪信息内容的图。
图10是表示本发明实施方式中的操作菜单显示的图。
图11是表示在图10中选择了脸时间线按钮722的情况下的显示画面700的图。
图12是表示在本发明实施方式中的影像处理装置100中直到生成影像数据附带信息为止的流程的图。
图13是表示本发明实施方式中的直到对代表脸区域赋予脸特征标识符为止的流程的图。
图14是表示本发明实施方式中的操作菜单中的操作流程的图。
图15是表示影像数据中的脸区域的检测的情形的图。
附图标记说明
10：天线；20：接收部；30：记录再现处理部；40：系统控制部；41：数据处理部；42：RAM；50：硬盘；60：输入输出控制部；61：显示控制部；62：声音控制部；63：操作控制部；64：盘接口；65：盘；70：显示部；80：声音输出部；90：操作输入部；100：影像处理装置；410：脸区域检测部；420：行踪生成部；421：行踪标识符赋予部；422：脸区域信息保持部；423：脸区域预测部；424：行踪判断部；425：结束帧判断部；430：代表脸区域信息生成部；440：脸特征标识符赋予部；441：脸区域特征数据抽出部；442：脸区域特征数据保持部；443：脸区域特征数据检索部；450：影像数据附带信息生成部；460：影像数据附带信息保持部；470：操作菜单一览生成部；481：脸时间线生成部；482：类似脸区域检索部；483：脸区域获取部；484：再现影像数据获取部；500：影像数据保持部。
具体实施方式
下面参照附图详细说明本发明的实施方式。
图1是表示本发明实施方式中的影像处理装置100的结构的一例的图。影像处理装置100具备天线10、接收部20、记录再现处理部30、系统控制部40、硬盘(Hard disk)50、输入输出控制部60、显示部70、声音输出部80、以及操作输入部90。
天线10具有获取从空间传来的电波的作用。接收部20对由天线10提供的接收数据进行解码处理以及D/A变换等处理。
记录再现处理部30例如按照MPEG-2(Moving PictureExpert Group-2：运动图像专家组-2)标准，对从接收部20提供的数据进行编码等。被编码的数据提供给硬盘50或者盘接口64。另外，记录再现处理部30对从硬盘50或者盘接口64提供的数据进行解码处理等。该被解码的数据提供给显示控制部61、声音控制部62。
系统控制部40具备数据处理部41、RAM(Random AccessMemory：随机存取存储器)42。数据处理部41管理本发明实施方式中的影像处理装置100整体的处理，使用RAM 42作为工作区域。硬盘50事先存储好在记录再现处理部30中实施规定处理的数据。
输入输出控制部60具备显示控制部61、声音控制部62、操作控制部63、以及盘接口64。显示控制部61将由记录再现处理部30等提供的影像数据提供给例如由LCD(Liquid Crystal Display：液晶显示器)等构成的显示部70。在显示部70中输出影像数据。
声音控制部62将由记录再现处理部30等提供的声音数据提供给声音输出部80。由该声音输出部80输出声音数据。操作控制部63将来自操作输入部90的操作信号传递给数据处理部41。数据处理部41判断在操作输入部90中是否进行了某种操作，进行与该判断结果相应的控制处理。
盘接口64将在记录再现处理部30中实施了规定处理的数据写入盘65。另外，盘接口64从盘65读出数据提供给记录再现处理部30。此外，盘65设想为CD、DVD等光盘(optical disk)。另外，也可以利用盘以外的存储介质。
在本发明的实施方式中，由天线10接收从(未图示)播放台提供的影像数据，在硬盘50中保持。在数据处理部41中检测构成保持在该硬盘50中的影像数据的帧所包含的脸区域。根据该脸区域的检测，将相同人物的脸区域在帧中出现后直到消失为止设为一个单位(以下称为行踪)，使与相同人物的脸区域连续出现的场景有关的信息(下面称为行踪信息)包含在关于影像数据的影像数据附带信息中。此外，行踪信息中包含与后述的行踪的开始以及结束对应的帧编号、代表脸区域信息、以及脸特征标识符。
此外，如上所述，作为影像数据举例说明了从播放台提供的影像数据，但并不限于此，作为影像数据，也可以是例如由家庭用摄像机拍摄的影像数据。该情况下，设想从盘接口64读出记录了例如由家庭用摄像机拍摄的影像数据的盘，进行上述处理。
图2是表示生成关于本发明实施方式中的影像数据的影像数据附带信息的功能结构的一例的图。该功能具备脸区域检测部410、行踪生成部420、代表脸区域信息生成部430、脸特征标识符赋予部440、影像数据附带信息生成部450、以及影像数据附带信息保持部460。
脸区域检测部410从提供的帧中检测脸区域。具体地说，脸区域检测部410检测帧中的脸区域的有无、脸区域的位置、脸区域的大小、亮度分布、颜色分布、图案以及形状等脸区域的属性。另外，脸区域检测部410，作为脸区域的属性也可以检测脸区域周边的亮度分布、颜色分布、图案以及形状等。此外，在以下的说明中，将上述帧中的脸区域的有无、脸区域的位置、脸区域的属性统称为“脸区域信息”。脸区域检测部410将脸区域信息以及帧提供给行踪生成部420。
行踪生成部420根据脸区域信息生成与行踪的开始以及结束对应的帧编号的组，具备行踪标识符赋予部421、脸区域信息保持部422、脸区域预测部423、行踪判断部424、结束帧判断部425。
行踪标识符赋予部421对从行踪判断部424提供的脸区域的位置以及属性赋予行踪标识符。行踪标识符是指赋予各行踪的用于区分各行踪的唯一的标识符。在行踪标识符赋予部421中赋予了行踪标识符的脸区域的位置以及属性被提供给脸区域信息保持部422。脸区域信息保持部422，将从行踪标识符赋予部421提供的脸区域的位置以及属性保持在每个行踪标识符中。
脸区域预测部423根据在脸区域信息保持部422中保持在每个行踪标识符中的脸区域的位置以及属性，按每个行踪标识符预测下一帧中的脸区域的位置以及属性。此外，在脸区域预测部423中，设想可通过线性预测来预测脸区域的位置以及属性。在此，线性预测是根据第(n-1)次以前的值估计第n次的值。
行踪判断部424根据从脸区域预测部423提供的每个行踪标识符的下一帧中的脸区域的位置以及属性的预测值，判断在脸区域检测部410中检测出的当前帧中的脸区域包含在哪个行踪中。
具体地说，如果从脸区域预测部423提供的每个行踪标识符的下一帧中的脸区域的位置以及属性的预测值、与在脸区域检测部410中检测出的当前帧中的脸区域的位置以及属性之差在规定的阈值内，则判断为当前帧是构成该行踪的下一帧，当前帧加到该行踪中。
而且，行踪判断部424将该当前帧中的脸区域的位置以及属性提供给行踪标识符赋予部421。当前帧在预测内的情况下，行踪标识符赋予部421将向预测的行踪赋予的行踪标识符赋予当前帧，保持在脸区域信息保持部422中。
另一方面，如果从脸区域预测部423提供的每个行踪标识符的下一帧中的脸区域的位置以及属性的预测值、与在脸区域检测部410中检测出的当前帧中的脸区域的位置以及属性之差不在规定的阈值内，则判断为当前帧不构成任何行踪，当前帧不能加到该行踪中。该情况下，该当前帧被作为新出现的脸区域进行处理，行踪判断部424将该当前帧中的脸区域的位置以及属性提供给行踪标识符赋予部421。而且，行踪标识符赋予部421向当前帧赋予新的行踪标识符，保持在脸区域信息保持部422中。
另外，行踪判断部424在当前帧中没有与从脸区域预测部423提供的每个行踪标识符的下一帧中的脸区域的位置以及属性的预测值对应的脸区域的位置以及属性的情况下，判断为有与该预测值对应的行踪结束的可能性，将该意思的通知以及当前帧提供给结束帧判断部425。
结束帧判断部425，当从行踪判断部424接收上述该意思的通知时，判断行踪中的结束帧。结束帧判断部425，例如在从当前帧经过规定时间(例如0.5秒左右)的期间的帧中不存在与该行踪对应的脸区域的情况下，将接收上述该意思的通知时的帧判断为结束帧。
当在当前帧中没有与从脸区域预测部423提供的每个行踪标识符的下一帧中的脸区域的位置以及属性的预测值对应的脸区域的位置以及属性的情况下，也可以考虑将该时间的帧设为结束帧，但是在脸区域检测部410中也有可能产生脸区域的检测遗漏，因此也将从当前帧经过规定时间的期间的帧中的脸区域设为对象。
另外，结束帧判断部425从由行踪判断部424提供的当前帧，算出脸区域的位置的预测值附近的亮度分布、颜色分布、图案以及形状等，将该算出值和构成行踪的其他帧所包含的脸区域的亮度分布、颜色分布、图案以及形状等中的值进行比较，在两者不类似的情况下，也可以将该当前帧判断为结束帧。在判断为比较两者的结果是类似的情况下，当作由于某些理由没有检测出脸区域，从行踪判断部424提供的当前帧不被判断为结束帧。
代表脸区域信息生成部430从构成由行踪判断部424提供的行踪的帧所包含的脸区域中选择代表脸区域，生成表示代表脸区域的内容的代表脸区域信息。此外，代表脸区域，也可以是两个以上。该代表脸区域信息提供给影像数据附带信息生成部450以及脸特征标识符赋予部440。
根据脸区域的大小、脸区域中的频率分布、脸区域中的浓淡分布以及脸区域中的颜色分布等要素进行代表脸区域的选择。此外，脸区域中的频率分布用作表示脸区域不正常状态的指标，脸区域中的浓淡分布用作表示脸区域对比度的指标，脸区域中的颜色分布用作表示色调的指标。
作为代表脸区域信息，具体地说设想从帧中切出根据上述要素选择的代表脸区域、即代表脸区域部分的影像数据本身。另外，作为代表脸区域信息，还设想包含代表脸区域的帧的帧编号以及代表脸区域的帧中的位置以及大小等信息。能够根据包含该代表脸区域的帧的帧编号以及代表脸区域的帧中的位置以及大小等信息，获取代表脸区域部分的影像数据。
代表脸区域信息中的前者，在根据代表脸区域信息显示脸区域的影像数据的情况下，有不需要每次从影像数据切出代表脸区域部分的影像数据的优点。另一方面，代表脸区域信息中的后者，有由于不是影像数据而能够有效地利用存储区域的优点。
脸特征标识符赋予部440具备脸区域特征数据抽出部441、脸区域特征数据保持部442、脸区域特征数据检索部443。脸区域特征数据抽出部441根据由代表脸区域信息生成部430提供的代表脸区域信息，从代表脸区域抽出关于脸区域的特征数据(以下称为脸区域特征数据。)。被抽出的脸区域特征数据提供给脸区域特征数据检索部443。
此外，作为脸区域特征数据，例如通过抽出表示眼、鼻、口之类的五官的特征点，设想用数值记述各五官的形状、位置关系等的特征向量，但不限于此。
脸区域特征数据保持部442，将脸特征标识符和脸区域特征数据相对应地保持。脸特征标识符是脸区域特征数据的标识符，赋予相同的脸特征标识符的脸区域特征数据，具有相互类似的脸区域的特征。
脸区域特征数据检索部443，在脸区域特征数据保持部442中保持的脸区域特征数据中，检索与从脸区域特征数据抽出部441提供的脸区域特征数据类似的脸区域特征数据。
在脸区域特征数据保持部442中保持的脸区域特征数据中，在检索到与从脸区域特征数据抽出部441提供的脸区域特征数据类似的脸区域特征数据的情况下，对从脸区域特征数据抽出部441提供的脸区域特征数据，赋予与检索到的上述脸区域特征数据相同的脸特征标识符，提供给影像数据附带信息生成部450。另一方面，在脸区域特征数据保持部442中保持的脸区域特征数据中，当没有检索到与从脸区域特征数据抽出部441提供的脸区域特征数据类似的脸区域特征数据的情况下，被赋予新的脸特征标识符提供给影像数据附带信息生成部450。
此外，被提供给脸区域特征数据检索部443并赋予了脸特征标识符的脸区域特征数据，还被提供给脸区域特征数据保持部442，与脸特征标识符相对应进行保持。由此，在脸区域特征数据保持部442中存储与脸特征标识符相对应的脸区域特征数据。
影像数据附带信息生成部450，对影像数据生成使与行踪的开始以及结束对应的帧编号、代表脸区域信息、以及脸特征标识符相对应的影像数据附带信息。即，影像数据附带信息是使图1中说明的行踪信息与影像数据相对应的信息。该生成的影像数据附带信息，在影像数据附带信息保持部460中被保持。
此外，这些图2中的功能，例如在图1中的系统控制部40中实现。
图3是表示使用了在图2中生成的影像数据附带信息的操作功能结构的一例的图。该操作功能具备操作菜单一览生成部470、影像数据附带信息保持部460、影像数据保持部500、脸时间线生成部481、类似脸区域检索部482、脸区域获取部483、再现影像数据获取部484。
操作菜单一览生成部470根据在影像数据附带信息保持部460中保持的影像数据附带信息，生成与影像数据有关的操作菜单的一览。另外，操作菜单一览生成部470，根据从操作输入部90对与影像数据有关的操作菜单的选择，对具备与操作菜单的某项对应的功能的脸时间线生成部481、类似脸区域检索部482、脸区域获取部483以及再现影像数据获取部484进行指示。
脸时间线生成部481接受来自操作菜单一览生成部470的指示，从影像数据附带信息保持部460获取与指示对应的影像数据附带信息，根据该影像数据附带信息生成显示在显示部70的脸时间线显示。
在此，脸时间线显示是指与规定的影像数据中的行踪对应的时间显示以及与对应于代表脸区域信息的脸区域相对应的显示。利用与在影像数据附带信息中包含的行踪的开始以及结束对应的帧编号，生成与行踪对应的时间显示，根据代表脸区域信息生成代表脸区域。
脸区域获取部483接受来自操作菜单一览生成部470或者类似脸区域检索部482的指示，从影像数据附带信息保持部460获取与指示对应的影像数据附带信息，根据该影像数据附带信息获取在显示部70中显示的代表脸区域。具体地说，脸区域获取部483根据在影像数据附带信息中包含的代表脸区域信息获取代表脸区域。
当代表脸区域信息的内容是脸区域的影像数据本身的情况下，脸区域获取部483从影像数据附带信息保持部460获取脸区域。另一方面，当代表脸区域信息的内容是包含代表脸区域的帧的帧编号以及代表脸区域的帧中的位置以及大小等信息的情况下，脸区域获取部483从影像数据保持部500获取对应的帧，从该帧获取脸区域。
类似脸区域检索部482接受来自操作菜单一览生成部470的指示，根据在影像数据附带信息保持部460中保持的影像数据附带信息中的脸特征标识符，在影像数据附带信息保持部460中检索与对应于指示的脸区域类似的脸区域。具体地说，类似脸区域检索部482在影像数据附带信息保持部460中检索具有与从操作菜单一览生成部470指示的脸区域的脸特征标识符相同的脸特征标识符的影像数据附带信息。而且，根据检索到的影像数据附带信息中的代表脸区域信息，使对应的脸区域显示在显示部70。
此外，在本发明的实施方式中，当代表脸区域信息的内容是脸区域的影像数据本身的情况下，类似脸区域检索部482从影像数据附带信息保持部460获取与检索到的脸特征标识符对应的脸区域，显示在显示部70。另一方面，当代表脸区域信息的内容是包含代表脸区域的帧的帧编号以及代表脸区域的帧中的位置以及大小等信息的情况下，类似脸区域检索部482向脸区域获取部483进行指示，使脸区域获取部483从影像数据保持部500获取对应的帧，从该帧切出脸区域显示在显示部70。
再现影像数据获取部484接受来自操作菜单一览生成部470的指示，从影像数据保持部500获取与指示对应的影像数据，提供给显示控制部61。
图4是表示本发明实施方式中的行踪的生成情形的图。此外，在图4中脸区域213至215以虚线表示脸区域。这表示实际上虽然存在脸区域，但是不能够由脸区域检测部410检测出。另外，以实线表示的脸区域表示由脸区域检测部410检测出的人脸区域。
首先，在帧201中由脸区域检测部410检测出脸区域211，开始行踪A的生成。其次，根据帧201中的脸区域211的位置以及属性，在脸区域预测部423中预测下一帧202中的脸区域的位置以及属性。
在帧202中由脸区域检测部410检测脸区域212以及221，比较在脸区域预测部423中预测的脸区域位置以及属性与在帧202中检测出的脸区域212以及221的位置以及属性。如果两者的位置以及属性的差在阈值内，则帧202被加到行踪A。
在图4中，考虑在脸区域预测部423中预测的脸区域的位置以及属性、与在帧202中检测出的脸区域212的位置以及属性的差在阈值内，因此帧202被加到行踪A。
另一方面，考虑在脸区域预测部423中预测的脸区域的位置以及属性、与在帧202中检测出的脸区域221的位置以及属性的差不在阈值内，因此作为新出现的脸区域处理，开始生成行踪B。
其次，在脸区域预测部423中，进行行踪A中的下一帧203中的脸区域的位置和属性的预测、以及行踪B中的下一帧203中的脸区域的位置和属性的预测。
在帧203中由脸区域检测部410检测脸区域222，对行踪B中的下一帧203中的脸区域的位置以及属性的预测、与帧203中的脸区域222的位置以及属性进行比较。在图4中，考虑行踪B中的下一帧203中的脸区域的位置以及属性预测、与帧203中的脸区域222的位置以及属性的差在阈值内，因此帧203被加到行踪B。
关于行踪B，对帧204以及205也进行相同的处理，在脸区域消失的帧206之前的帧205成为行踪B的结束帧。因而，行踪B的开始帧是帧202，行踪B的结束帧成为帧205。
另一方面，在帧203中没有检测到与行踪A对应的脸区域213。因此，不存在应该与行踪A中的下一帧203中的脸区域的位置以及属性的预测进行比较的对象。该情况下，行踪A中的结束帧考虑为应该是202。然而，脸区域检测部410中的检测出脸的概率不是100％，因此实际上也有可能在帧203中存在脸区域213。因而，在本发明的实施方式中，在帧203中即使没有检测出应该与行踪A对应的脸区域213，不会在该时间立刻判断行踪A的结束帧。并且，还加入先前帧中的脸区域，判断行踪A的结束帧。
关于行踪A，帧203至205为止在脸区域检测部410中没有检测出脸区域213至215。在帧206中，检测出脸区域216。将脸区域预测部423中的帧206中的脸区域的位置以及属性的预测、与在帧206中检测出的脸区域216的位置以及属性进行比较时，考虑两者的差在阈值内，包含脸区域216的帧206被加到行踪A。该情况下，在本发明实施方式中，视为在帧203至205中检测出脸区域213至215进行处理，帧203至205也被加到行踪A。此外，对于到对几帧之前的脸区域的状况进行如上所述处理没有限定，但是可设想如上所述处理到例如0.5秒左右之前的帧为止。
关于行踪A，对帧207以及208也进行同样的处理，在脸区域消失的帧208之前的帧207成为行踪A的结束帧。因而，行踪A的开始帧是帧201，行踪A的结束帧成为帧207。
图5是表示与图4不同的行踪中的结束帧的判断方法的图。在图4中，当没有检测出脸区域的情况下，添加数帧前为止的脸区域的检测结果，但是在图5中，通过分析没有检测出脸区域的帧，判断行踪中的结束帧。
图5示出的是图4中的帧202以及203。在帧203中，虽然在脸区域检测部410中没有检测出脸区域，但是根据帧203之前的帧201或者帧202，由脸区域预测部423预测帧203中的脸区域的位置以及属性。该预测的位置是帧203的区域231。
为了判断该帧203是否是行踪A中的结束帧，在结束帧判断部425中算出区域231中的亮度分布、颜色分布、图案以及形状等。而且，在结束帧判断部425中，将算出的上述亮度分布、颜色分布、图案以及形状等、与根据帧201或者帧202预测的帧203的脸区域中的由亮度分布、颜色分布、图案以及形状等构成的属性进行比较。
将两者进行比较的结果，在判断为两者的亮度分布、颜色分布、图案以及形状等类似的情况下，当作由于某种理由没有检测出脸区域，帧203不会被判断为结束帧。另一方面，在判断为两者的亮度分布、颜色分布、图案以及形状等不类似的情况下，帧203被判断为结束帧。
此外，为了提高结束帧的判断精度，也可以使上述区域231中的周边区域即周边区域232作为比较对象，如上所述算出周边区域232中的亮度分布、颜色分布、图案以及形状等。
图6是表示本发明实施方式中的脸区域信息保持部422的保持内容的图。脸区域信息保持部422保持着脸区域信息表4220，脸区域信息表4220具备行踪标识符4221和脸区域信息4222。
行踪标识符4221是赋予各行踪的用来区分各行踪的唯一的标识符，是与在图2中说明的标识符相同的行踪标识符。另外，脸区域信息4222是表示规定帧中的脸区域的位置以及属性的信息。在图6中，虽然表示为帧202(位置202、属性202)，但这意味帧202中的脸区域的位置和属性。行踪有时也由多个帧构成，因此对于一个行踪标识符，在脸区域信息4222中保持多个帧中的脸区域的位置和属性。
图7是表示本发明实施方式中的脸区域特征数据保持部442的保持内容的图。脸区域特征数据保持部442保持着脸区域特征数据表4420，脸区域特征数据表4420具备脸特征标识符4421和脸区域特征数据4422。
脸特征标识符4421是脸区域特征数据的标识符，如在图2中所述，赋予了相同的脸特征标识符的脸区域特征数据具有相互类似的脸区域特征。在图7中，脸特征标识符为“特征A”、“特征B”。脸区域特征数据4422与在图2中说明的脸区域特征数据相同。
图8是表示在本发明实施方式中的影像数据附带信息保持部460中保持的影像数据附带信息的图。影像数据附带信息4600具备影像数据的标题4601和行踪信息4602。在影像数据中，通常存在许多从出现脸区域直到消失为止的状况。为此，关于影像数据的一个标题保持有许多行踪信息。用图9说明行踪信息的具体内容。
图9是表示本发明实施方式中的行踪信息内容的图。图9的(a)是表示本发明实施方式中的行踪信息的一例的图。图9的(a)所示的行踪信息4610具备行踪标识符4611、开始帧编号4612、结束帧编号4613、脸特征标识符4614、以及代表脸区域信息4615。
行踪标识符4611是赋予各行踪的用来区分各行踪的唯一的标识符，是与在图2中说明的标识符相同的行踪标识符。开始帧编号4612是开始行踪的帧编号。另外，结束帧编号4613是结束行踪的帧编号。
脸特征标识符4614是脸区域特征数据的标识符，如在图2中所述，赋予了相同的脸特征标识符的脸区域特征数据具有相互类似的脸区域的特征。即，具有相同的脸特征标识符4614的行踪信息，设为具备具有类似的特征的脸区域，该脸特征标识符4614在检索具有类似的特征的脸区域时被参照。代表脸区域信息4615是表示代表脸区域的内容的信息，在图9的(a)中从帧中切出的脸区域本身为代表脸区域信息。此外，表示代表脸区域信息4615中的代表脸区域的内容的信息，也可以是2个以上。在图9的(a)中，作为表示代表脸区域的内容的信息，除了“代表脸区域信息#1”之外，还示出了“代表脸区域信息#2”。
图9的(b)所示的行踪信息4620具备行踪标识符4621、开始帧编号4622、结束帧编号4623、脸特征标识符4624、以及代表脸区域信息4625。图9的(b)和图9的(a)中的行踪信息的不同点是代表脸区域信息。对于其他点是相同的内容，因此省略说明。图9的(b)中的代表脸区域信息4625如图9的(c)所示，由包含代表脸区域的帧编号4626、脸区域中的规定的坐标4627、和脸区域的高度以及宽度4628构成。通过这些确定帧中的脸区域，作为代表脸区域获取。
图10是表示本发明实施方式中的操作菜单的显示的图。如图10的(a)所示，显示部70的显示画面700中显示操作菜单，该操作菜单由作为影像数据的标题集合的影像数据标题显示组710、脸列举按钮721、以及脸时间线按钮722构成。脸列举按钮721是用于列举光标所在的影像数据中的代表脸区域而进行显示的按钮。另外，脸时间线按钮722是用于使光标所在的影像数据中的由图3说明的脸时间线显示进行显示的按钮。
例如，当将光标对准规定的影像数据标题后选择脸列举按钮721时，显示画面700中显示为如图10的(b)所示。在图10的(b)所示的显示画面700中显示选择影像数据显示730、代表脸区域的集合即代表脸列举组740、类似标题按钮751、以及再现按钮752。
选择影像数据显示730是在图10的(a)中被光标选择的影像数据的标题显示。代表脸列举组740显示被光标选择的影像数据中的代表脸区域。类似标题按钮751是用于检索包含与在图10的(b)中选择的代表脸区域类似的代表脸区域的影像标题的按钮。另外，再现按钮752是用于使构成与在图10的(b)中选择的代表脸区域对应的行踪的影像数据再现的按钮。
当在图10的(b)所示的显示画面700中使光标移动到代表脸区域“脸C”而选择类似标题按钮751时，成为如图10的(c)所示的显示。另一方面，当在图10的(b)所示的显示画面700中使光标移动到代表脸区域“脸C”而选择再现按钮752时，再现构成与代表脸区域“脸C”对应的行踪的影像数据，成为如图10的(d)所示的显示。
在图10的(c)中的显示画面700中，显示包含与在图10的(b)中被光标选择的代表脸区域“脸C”类似的代表脸区域的影像数据标题显示即类似代表脸区域影像数据标题显示组760、由图10的(a)所示的脸列举按钮721、以及脸时间线按钮722。当选择类似代表脸区域影像数据标题显示组760中的某个来选择脸列举按钮721时，显示画面700中成为如图10的(b)所示的显示。
图11是表示在图10中选择了脸时间线按钮722的情况下的显示画面700的图。在图11中的显示画面700中，显示选择影像数据显示730、影像数据时间显示770、脸时间线显示组780、类似标题按钮751、以及再现按钮752。
选择影像数据显示730与图10中说明的相同。影像数据时间显示770显示影像数据的再现时间。在图11中，标题B的影像数据的再现时间是30分钟。脸时间线显示组780是脸时间线显示的集合。
脸时间线显示由行踪时间显示781和代表脸区域782构成。行踪时间显示781是构成行踪的影像数据的再现时间。代表脸区域782是从在构成行踪的帧中包含的脸区域中选择的脸区域。如果观看脸时间线显示，可知影像数据中的行踪的位置，因此便于掌握影像数据的内容。此外，关于类似标题按钮751和再现按钮752，与图10中说明的相同。
接着参照附图说明本发明实施方式中的影像处理装置100的动作。
图12是表示直到生成本发明实施方式中的影像数据附带信息为止的流程的图。
当构成影像数据的帧被输入到脸区域检测部410时(步骤S911)，在脸区域检测部410中进行包含在帧中的脸区域的检测(步骤S912)。接着判断在步骤S912中是否存在未处理的行踪(步骤S913)。
当判断为不存在未处理的行踪时，判断在步骤S912中是否存在新的脸区域(步骤S914)。当判断为存在新的脸区域时，开始新的行踪的生成(步骤S915)。
在步骤S913中，当判断为存在未处理的行踪时，预测脸的位置以及属性(步骤S916)。接着，将在步骤S916中预测的脸的位置以及属性、与在步骤S912中检测出的脸区域的位置以及属性进行比较，判断在步骤S912中检测出的脸区域的位置以及属性是否包含在行踪中(步骤S917)。当判断为在步骤S912中检测出的脸区域的位置以及属性包含在行踪中时，该检测出的脸区域被加到行踪中(步骤S918)。
另一方面，当判断为在步骤S912中检测出的脸区域的位置以及属性没有包含在行踪中时，接着判断是否结束该行踪(步骤S919)。是否结束行踪如在图2中所述，例如在从当前帧经过规定时间的期间的帧中没有检测出与该行踪对应的脸区域的情况下，将接受了上述该意思的通知时的帧判断为结束帧。
当判断为不结束该行踪时，在该帧中认为存在脸区域，并且行踪被继续(步骤S920)。另一方面，当判断为结束该行踪时，接着从该行踪内的脸区域选择代表脸区域，生成代表脸区域信息(步骤S921)。根据与对应于行踪的帧的开始以及结束对应的帧编号以及代表脸区域信息，生成影像数据附带信息(步骤S922)。
图13是表示直到对本发明的实施方式中的代表脸区域赋予脸特征标识符为止的流程的图。首先，向脸区域特征数据抽出部441提供代表脸区域信息(步骤S931)。当提供代表脸区域信息时，脸区域特征数据抽出部441根据代表脸区域信息，抽出代表脸区域中的脸区域特征数据(步骤S932)。而且，在脸区域特征数据抽出部441中抽出的脸区域特征数据被提供给脸区域特征数据检索部443。
脸区域特征数据检索部443，从脸区域特征数据保持部442检索与提供的脸区域特征数据类似的脸区域特征数据(步骤S933)。而且，脸区域特征数据检索部443判断与提供的脸区域特征数据类似的脸区域特征数据是否保持在脸区域特征数据保持部442中(步骤S934)。
在步骤S934中，当判断为与提供的脸区域特征数据类似的脸区域特征数据保持在脸区域特征数据保持部442中时，脸区域特征数据检索部443将与保持在脸区域特征数据保持部442中的该脸区域特征数据对应的脸特征标识符，赋予提供的脸区域特征数据(步骤S935)。
另一方面，在步骤S934中，当判断为与提供的脸区域特征数据类似的脸区域特征数据没有保持在脸区域特征数据保持部442中时，脸区域特征数据检索部443向提供的脸区域特征数据赋予新的脸特征标识符(步骤S936)。
在步骤S935以及步骤S936中，当向提供的脸区域特征数据赋予脸特征标识符时，在脸区域特征数据保持部442中将提供的脸区域特征数据和脸特征标识符相对应进行保持(步骤S937)。另外，向提供的脸区域特征数据赋予的脸特征标识符，被提供给影像数据附带信息生成部450，在影像数据附带信息中包含脸特征标识符(步骤S938)。
图14是表示本发明实施方式中的操作菜单的操作流程的图。首先，在显示部70中显示操作菜单(步骤S941)。此外，作为操作菜单，设想图10所示的操作菜单。以下，设想图10中的操作菜单进行说明。
从操作菜单选择规定的影像数据的标题(步骤S942)。接着，选择脸列举按钮721以及脸时间线按钮722的某个按钮(步骤S943)。当选择脸列举按钮721时，显示代表脸列举组740(步骤S944)。另一方面，当选择脸时间线按钮722时，显示脸时间线显示组780(步骤S945)。
接着，从代表脸列举组740或者脸时间线显示组780的某个，选择代表脸区域(步骤S946)。选择了代表脸区域后，选择类似标题按钮751以及再现按钮752的某个(步骤S947)。
当选择类似标题按钮751时，显示包含与在步骤S946中选择的代表脸区域类似的代表脸区域的影像数据的标题集合即类似代表脸区域影像数据标题显示组760，返回步骤S942(步骤S948)。另一方面，当选择再现按钮752时，再现构成与在步骤S946中选择的代表脸区域对应的行踪的影像数据(步骤S949)。
这样，根据本发明的实施方式，对影像数据生成使脸区域与脸区域连续出现的信息相对应的影像数据附带信息，因此能够有效地管理在庞大的帧中多次出场的人物。另外，在本发明实施方式中，即使在脸区域的检测中有检测遗漏，也能够生成脸区域连续出现的信息。由此，用户能够在短时间内掌握影像数据的内容。
此外，本发明的实施方式示出了用于具体实现本发明的一例，如下所示，与权利要求书中的发明特定事项分别具有对应关系，但是不限于此，在不脱离本发明的要旨的范围可以进行各种变形。
即，在权利要求1中，脸区域检测单元例如对应于脸区域检测部410。另外，行踪生成单元例如对应于行踪生成部420。另外，代表脸区域信息生成单元例如对应于代表脸区域信息生成部430。另外，影像数据附带信息生成单元例如对应于影像数据附带信息生成部450。
另外，在权利要求2中，行踪标识符赋予单元例如对应于行踪标识符赋予部421。另外，脸区域预测单元例如对应于脸区域预测部423。另外，行踪判断单元例如对应于行踪判断部424。另外，结束帧判断单元例如对应于结束帧判断部425。
另外，在权利要求10中，脸区域特征数据保持单元例如对应于脸区域特征数据保持部442。另外，脸区域特征数据抽出单元例如对应于脸区域特征数据抽出部441。另外，脸区域特征数据检索单元例如对应于脸区域特征数据检索部443。
另外，在权利要求12中，影像数据附带信息保持单元例如对应于影像数据附带信息保持部460。另外，操作菜单一览生成单元例如对应于操作菜单一览生成部470。另外，显示单元例如对应于显示部70。另外，操作输入单元例如对应于操作输入部90。
另外，在权利要求13中，脸区域获取单元例如对应于脸区域获取部483。
另外，在权利要求14中，类似脸区域检索单元例如对应于类似脸区域检索部482。
另外，在权利要求15中，脸时间线生成单元例如对应于脸时间线生成部481。
另外，在权利要求16以及权利要求17中，脸区域检测过程例如对应于步骤S912。另外，行踪生成过程例如对应于步骤S913至步骤S920。另外，代表脸区域信息生成过程例如对应于步骤S921。另外，影像数据附带信息生成过程例如对应于步骤S922。
此外，在本发明的实施方式中说明的处理过程，也可以理解为具有这些一系列过程的方法，另外，也可以理解为用于使计算机执行这些一系列过程的程序以及存储该程序的记录介质。

Claims (16)

1.一种影像处理装置，其特征在于，具备：
脸区域检测单元，其检测在构成影像数据的帧中包含的脸区域；
行踪生成单元，其根据上述检测生成帧标识符，该帧标识符与将上述脸区域从出现直到消失为止的帧的集合作为一个单位的行踪的开始以及结束对应；
代表脸区域信息生成单元，其从在构成上述行踪的帧中包含的上述脸区域选择代表脸区域，生成表示上述代表脸区域的内容的代表脸区域信息；以及
影像数据附带信息生成单元，其对于上述影像数据生成影像数据附带信息，该影像数据附带信息使与上述行踪的开始以及结束对应的帧标识符和上述代表脸区域信息相对应。
2.根据权利要求1所述的影像处理装置，其特征在于，
上述行踪生成单元具备：
行踪标识符赋予单元，其对上述脸区域从出现直到消失为止的帧赋予相同的行踪标识符；
脸区域预测单元，其根据赋予了上述相同的行踪标识符的以前的帧中的上述脸区域，预测当前帧中的上述脸区域；
行踪判断单元，其根据上述预测的当前帧中的上述脸区域，判断在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域是否包含在上述行踪中，在判断为包含在上述行踪中的情况下，将上述当前帧添加到上述行踪中；以及
结束帧判断单元，其判断为在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域没有包含在上述行踪中的情况下，判断将哪个帧设为上述行踪的结束帧。
3.根据权利要求2所述的影像处理装置，其特征在于，
上述脸区域预测单元根据赋予了上述相同的行踪标识符的以前的帧中的上述脸区域，利用线性预测来预测上述当前帧中的上述脸区域。
4.根据权利要求2所述的影像处理装置，其特征在于，
上述行踪判断单元将上述预测的当前帧中的上述脸区域和在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域进行比较，判断位置的差及属性的差是否在规定的阈值内，在上述阈值内的情况下，判断为上述当前帧中的上述脸区域包含在上述行踪中，将上述当前帧添加到上述行踪中。
5.根据权利要求4所述的影像处理装置，其特征在于，
上述行踪判断单元，作为上述属性根据上述脸区域的大小、上述脸区域的亮度分布、上述脸区域的颜色分布、上述脸区域的形状、上述脸区域的图案中的至少一个要素，判断上述属性的差是否在规定的阈值内。
6.根据权利要求2所述的影像处理装置，其特征在于，
上述结束帧判断单元在判断为在上述脸区域检测单元中检测出的上述当前帧中的上述脸区域没有包含在上述行踪中的情况下，根据上述行踪判断单元对之后接着的帧的判断结果，判断将哪个帧设为上述结束帧。
7.根据权利要求1所述的影像处理装置，其特征在于，
上述代表脸区域信息生成单元根据构成上述行踪的帧中的上述脸区域的大小、上述脸区域中的频率分布、上述脸区域中的颜色的浓淡分布以及上述脸区域颜色分布中的至少一个要素，选择上述代表脸区域。
8.根据权利要求1所述的影像处理装置，其特征在于，
上述代表脸区域信息生成单元将包含上述代表脸区域的帧的帧编号、和包含上述代表脸区域的帧中的上述代表脸区域的位置以及大小，作为上述代表脸区域信息生成。
9.根据权利要求1所述的影像处理装置，其特征在于，
上述代表脸区域信息生成单元将从包含上述代表脸区域的帧中切出的上述代表脸区域，作为上述代表脸区域信息生成。
10.根据权利要求9所述的影像处理装置，其特征在于，具备：
脸区域特征数据保持单元，其使记述了规定的脸区域的特征的脸区域特征数据、和识别上述脸区域特征数据的脸特征标识符相对应进行保持；
脸区域特征数据抽出单元，其从在上述脸区域信息生成单元切出的上述代表脸区域，抽出脸区域特征数据；以及
脸区域特征数据检索单元，其从上述脸区域特征数据保持单元检索与上述抽出的脸区域特征数据类似的上述脸区域特征数据，将上述脸特征标识符赋予上述抽出的脸区域特征数据，
上述影像数据附带信息生成单元，在上述影像数据附带信息中包含上述脸特征标识符而生成。
11.根据权利要求10所述的影像处理装置，其特征在于，
在上述脸区域特征数据检索单元中没有从上述脸区域特征数据保持单元检索到与上述抽出的脸区域特征数据类似的上述脸区域特征数据的情况下，将新的脸特征标识符赋予上述抽出的脸区域特征数据。
12.一种影像处理装置，其特征在于，具备：
影像数据附带信息保持单元，其对影像数据保持影像数据附带信息，该影像数据附带信息是使与将脸区域从出现直到消失为止的帧的集合作为一个单位的行踪的开始以及结束对应的帧标识符、和表示从在构成上述行踪的帧中包含的上述脸区域选择的代表脸区域的内容的代表脸区域信息相对应的信息；
操作菜单一览生成单元，其根据上述影像数据附带信息，生成与上述影像数据有关的操作菜单的一览；
显示单元，其显示与上述影像数据有关的操作菜单；
操作输入单元，其接受对与上述影像数据有关的操作菜单的选择。
13.根据权利要求12所述的影像处理装置，其特征在于，
还具备脸区域获取单元，该脸区域获取单元在从上述操作输入单元选择上述影像数据的一览中的规定的影像数据时，获取与该选择的影像数据有关的上述影像数据附带信息，根据在上述影像数据附带信息中包含的上述代表脸区域信息，显示上述脸区域。
14.根据权利要求13所述的影像处理装置，其特征在于，
上述影像数据附带信息保持单元对于上述影像数据，使向记述了规定的脸区域特征的脸区域特征数据赋予的脸特征标识符、与上述代表脸区域信息相对应进行保持，
该影像处理装置还具备类似脸区域检索单元，该类似脸区域检索单元在由上述脸区域获取单元显示的上述脸区域的某一个被上述操作输入单元选择时，检索具有与该选择的上述脸区域相同的上述脸特征标识符的影像数据附带信息，显示其结果。
15.根据权利要求12所述的影像处理装置，其特征在于，
还具备脸时间线生成单元，该脸时间线生成单元在由上述操作输入单元选择上述影像数据的一览中的规定的影像数据时，获取与该选择的影像数据有关的上述影像数据附带信息，生成包含与上述行踪对应的时间显示以及与上述代表脸区域信息对应的上述脸区域的脸时间线显示。
16.一种处理方法，其特征在于，具备：
脸区域检测过程，检测在构成影像数据的帧中包含的脸区域；
行踪生成过程，根据上述检测生成帧标识符，该帧标识符与将上述脸区域从出现直到消失为止的帧的集合作为一个单位的行踪的开始以及结束对应；
代表脸区域信息生成过程，从在构成上述行踪的帧中包含的上述脸区域选择代表脸区域，生成表示上述代表脸区域的内容的代表脸区域信息；以及
影像数据附带信息生成过程，作为在上述影像数据中附带的影像数据附带信息，对于上述影像数据生成使与上述行踪的开始以及结束对应的帧标识符和上述代表脸区域信息相对应的信息。
CNB2006101277229A 2005-09-02 2006-09-01 影像处理装置 Expired - Fee Related CN100534175C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005255487 2005-09-02
JP2005255487A JP2007072520A (ja) 2005-09-02 2005-09-02 映像処理装置

Publications (2)

Publication Number Publication Date
CN1925609A true CN1925609A (zh) 2007-03-07
CN100534175C CN100534175C (zh) 2009-08-26

Family

ID=37492298

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101277229A Expired - Fee Related CN100534175C (zh) 2005-09-02 2006-09-01 影像处理装置

Country Status (5)

Country Link
US (1) US8103062B2 (zh)
EP (1) EP1760633A3 (zh)
JP (1) JP2007072520A (zh)
KR (1) KR20070026228A (zh)
CN (1) CN100534175C (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631237B (zh) * 2009-08-05 2011-02-02 青岛海信网络科技股份有限公司 一种视频监控数据存储管理系统
CN102479319A (zh) * 2010-11-25 2012-05-30 鸿富锦精密工业（深圳）有限公司 影像识别方法及其控制电脑
CN101971621B (zh) * 2008-03-14 2012-12-26 三洋电机株式会社 图像处理装置及搭载该装置的摄像装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017042A (ja) * 2006-07-04 2008-01-24 Sony Corp 情報処理装置および方法、並びにプログラム
JP4831623B2 (ja) * 2007-03-29 2011-12-07 Ｋｄｄｉ株式会社 動画像の顔インデックス作成装置およびその顔画像追跡方法
US8077930B2 (en) * 2007-04-13 2011-12-13 Atg Advanced Swiss Technology Group Ag Method for recognizing content in an image sequence
JP4863936B2 (ja) * 2007-06-25 2012-01-25 株式会社ソニー・コンピュータエンタテインメント 符号化処理装置および符号化処理方法
JP2009076982A (ja) * 2007-09-18 2009-04-09 Toshiba Corp 電子機器および顔画像表示方法
JP2009089065A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 電子機器および顔画像表示装置
JP5207489B2 (ja) * 2008-01-25 2013-06-12 株式会社金猪電脳研究所 動画表示装置、コンピュータネットワークシステム、放送ネットワークシステム、携帯ネットワークシステム
US8253819B2 (en) * 2008-02-06 2012-08-28 Panasonic Corporation Electronic camera and image processing method
JP2009212935A (ja) * 2008-03-05 2009-09-17 Omron Corp 画像処理装置および方法、並びにプログラム
JP5116513B2 (ja) * 2008-03-10 2013-01-09 キヤノン株式会社 画像表示装置及びその制御方法
CN101588450B (zh) 2008-05-19 2013-08-14 株式会社日立制作所 记录再现装置及方法
JP5317710B2 (ja) * 2009-01-07 2013-10-16 キヤノン株式会社 画像処理装置、その制御方法、プログラム及び記録媒体
JP2010239210A (ja) * 2009-03-30 2010-10-21 Toshiba Corp 情報処理装置
JPWO2011099299A1 (ja) 2010-02-10 2013-06-13 パナソニック株式会社 映像抽出装置、撮影装置、プログラム及び記録媒体
KR101434768B1 (ko) * 2010-02-19 2014-08-27 가부시끼가이샤 도시바 이동 물체 추적 시스템 및 이동 물체 추적 방법
JP5355446B2 (ja) * 2010-02-19 2013-11-27 株式会社東芝 移動物体追跡システムおよび移動物体追跡方法
US8392450B2 (en) * 2011-02-08 2013-03-05 Autonomy Corporation Ltd. System to augment a visual data stream with user-specific content
US9384302B2 (en) 2013-06-17 2016-07-05 International Business Machines Corporation Generating differences for tuple attributes
WO2016026135A1 (en) * 2014-08-22 2016-02-25 Microsoft Technology Licensing, Llc Face alignment with shape regression
JP6799779B2 (ja) 2016-10-07 2020-12-16 パナソニックＩｐマネジメント株式会社 監視映像解析システム及び監視映像解析方法
CN108446385A (zh) * 2018-03-21 2018-08-24 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN111104915B (zh) * 2019-12-23 2023-05-16 云粒智慧科技有限公司 一种同行分析方法、装置、设备和介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012522A (en) * 1988-12-08 1991-04-30 The United States Of America As Represented By The Secretary Of The Air Force Autonomous face recognition machine
CN1184542A (zh) * 1995-03-20 1998-06-10 Lau技术公司 识别图象的系统和方法
US6639998B1 (en) * 1999-01-11 2003-10-28 Lg Electronics Inc. Method of detecting a specific object in an image signal
JP3727798B2 (ja) 1999-02-09 2005-12-14 株式会社東芝 画像監視システム
US6754389B1 (en) 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
JP2001167110A (ja) 1999-12-08 2001-06-22 Matsushita Electric Ind Co Ltd 画像検索方法及びその装置
US7188319B2 (en) 2000-04-21 2007-03-06 Microsoft Corporation Displaying graphical information and user selected properties on a computer interface
JP3784289B2 (ja) * 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
JP2002335473A (ja) * 2001-05-10 2002-11-22 Webstream:Kk 動画コンテンツの検索情報抽出システム、検索情報抽出方法、検索情報保存システム、動画コンテンツのストリーミング配信方法
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
GB2395264A (en) 2002-11-29 2004-05-19 Sony Uk Ltd Face detection in images
GB2395778A (en) 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
KR100455294B1 (ko) * 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
US7587411B2 (en) * 2003-03-27 2009-09-08 Microsoft Corporation System and method for filtering and organizing items based on common elements
JP4192703B2 (ja) * 2003-06-30 2008-12-10 日本電気株式会社 コンテンツ処理装置、コンテンツ処理方法及びプログラム
JP2005099953A (ja) * 2003-09-22 2005-04-14 Fuji Xerox Co Ltd 画像処理装置、それを備えるオブジェクト追跡システム、画像処理方法及び画像処理プログラム
JP2005227957A (ja) * 2004-02-12 2005-08-25 Mitsubishi Electric Corp 最適顔画像記録装置及び最適顔画像記録方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971621B (zh) * 2008-03-14 2012-12-26 三洋电机株式会社 图像处理装置及搭载该装置的摄像装置
CN101631237B (zh) * 2009-08-05 2011-02-02 青岛海信网络科技股份有限公司 一种视频监控数据存储管理系统
CN102479319A (zh) * 2010-11-25 2012-05-30 鸿富锦精密工业（深圳）有限公司 影像识别方法及其控制电脑

Also Published As

Publication number Publication date
CN100534175C (zh) 2009-08-26
KR20070026228A (ko) 2007-03-08
EP1760633A3 (en) 2011-02-09
US20070053660A1 (en) 2007-03-08
JP2007072520A (ja) 2007-03-22
EP1760633A2 (en) 2007-03-07
US8103062B2 (en) 2012-01-24

Similar Documents

Publication Publication Date Title
CN1925609A (zh) 影像处理装置
CN1277269C (zh) 在记录媒体上记录数据的方法及其再现方法
CN1196328C (zh) 数字图像编辑方法和系统
CN1738440A (zh) 用于处理信息的设备，方法和计算机程序
CN1647528A (zh) 元数据编辑装置、元数据再生装置、元数据分发装置、元数据检索装置、元数据再生成条件设定装置和元数据分发方法
CN1703083A (zh) 移动图像处理装置和方法
CN1530926A (zh) 语音识别词典制作装置及信息检索装置
CN1545807A (zh) 信号记录/再现装置和记录/再现方法、信号再现装置和再现方法以及程序
CN1949271A (zh) 图像处理装置
CN1658226A (zh) 用于检测新闻主持人镜头的方法和装置
CN1685364A (zh) 在图像中分割像素的方法
CN101051514A (zh) 记录和复现装置与记录和复现方法
CN1645357A (zh) 用于识别视频内容和记录视频的装置、方法和计算机产品
CN101051515A (zh) 图像处理设备及图像显示方法
CN1774027A (zh) 数据处理装置、信息处理系统、选择程序及可读记录介质
CN1879157A (zh) 包含字幕的信息存储介质及其处理设备
CN1706185A (zh) 数据处理装置
CN1942899A (zh) 脸图像制作装置和方法
CN1934650A (zh) Av内容处理设备、av内容处理方法、av内容处理程序及av处理设备中使用的集成电路
CN101031055A (zh) 图像处理装置及方法、记录介质、以及程序
CN101030193A (zh) 信息编辑显示设备、方法、及程序，介质、服务器及信息处理系统
CN1227624C (zh) 物体领域信息产生方法和设备
CN1290322C (zh) 再生装置
CN1462995A (zh) 语音识别设备、方法及记录语音识别程序的记录介质
CN1838301A (zh) 视频数据再现设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090826

Termination date: 20130901