CN102172014A - 影像处理装置及影像处理方法 - Google Patents

影像处理装置及影像处理方法 Download PDF

Info

Publication number
CN102172014A
CN102172014A CN201080002809.8A CN201080002809A CN102172014A CN 102172014 A CN102172014 A CN 102172014A CN 201080002809 A CN201080002809 A CN 201080002809A CN 102172014 A CN102172014 A CN 102172014A
Authority
CN
China
Prior art keywords
face
image
mentioned
characteristic quantity
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080002809.8A
Other languages
English (en)
Inventor
寺西康彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Publication of CN102172014A publication Critical patent/CN102172014A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

一种影像处理装置和影像处理方法，不会使用户感到厌烦，而导出能切实确定脸部的适当的特征量。影像处理装置(100)的特征在于，包括：摄像部(120)，取得影像；位置确定部(170)，从影像确定一个脸部图像；脸部关联部(174)，将确定的脸部图像与存储于存储部中的、汇总了一个或多个特征量的脸部信息建立关联；特征量导出部(176)，导出确定的脸部图像的特征量；和存储控制部(178)，对导出的特征量和与确定的脸部图像建立关联的脸部信息的一个或多个特征量进行比较，在满足预定条件时，将导出的特征量追加到脸部信息中，并存储到特征量存储部(134)中。

Description

影像处理装置及影像处理方法
技术领域
本发明涉及一种对用于确定被拍摄体的脸部图像的特征量进行存储的影像处理装置及影像处理方法。
背景技术
近年来，如下的数字静态相机、数码摄像机等影像处理装置得到普及：从生成的影像中确定用户指定的人物的脸部图像(脸部的图像)，并对确定的脸部图像自动调节焦点、曝光。这种影像处理装置，预先从用户指定的脸部图像导出脸部图像的特征量，之后为了确定脸部图像而进行存储。但是，脸部图像的特征量由于受到脸部的朝向的影响，而存在以下情况：即使被拍摄体为同一人物，若脸部的朝向变化过大，则会误判断为不同的人物。
因此提出了如下的技术(例如专利文献1)：使用脸部的代表性特征点而推测了脸部的朝向后，使用脸部的平均的三维模型，将各人不同显著表现的其他的特征位置变换为特定的姿势，在变换后的位置比较特征量，从而进行人物的判断。
专利文献1：JP特开2009-53916号公报。
发明内容
发明要解决的课题
若使用上述专利文献1的技术，则在确定脸部图像时可以使该脸部的朝向具有某种程度的鲁棒性(稳健性)，但改变了姿势(脸部的朝向)的脸部图像毕竟是通过预测生成的，因此若脸部的朝向、表情的变化较大，还是有可能在脸部的认证处理中产生误判断。
此外，影像处理装置若预先对同一人物取得脸部朝向、表情不同的多个脸部图像并导出及存储特征量，则在脸部的认证处理中可以提高确定脸部图像的精度。但是，为此需要使被拍摄体的人物不停改变脸部朝向、表情，同时反复进行摄像及注册的操作。这样会使用户以及被拍摄体的人物都很厌烦。进而，在该摄像及注册的操作中，对于脸部的朝向、表情差异很大的脸部图像能否进行摄像及注册，是由用户来判断的，因此存在注册了多个相同的特征量而导致确定脸部图像时的精度恶化的问题。
因此，本发明鉴于这种问题，其目的在于提供一种影像处理装置及影像处理方法，其不会使用户感到厌烦，便可导出能够切实确定脸部图像的适当特征量。
用于解决课题的手段
为了解决上述课题，本发明的影像处理装置的特征在于，包括：影像取得部，取得影像；位置确定部，从影像确定一个脸部图像；脸部关联部，将确定的脸部图像与存储于存储部中的、汇总了一个或多个特征量的脸部信息建立关联；特征量导出部，导出确定的脸部图像的特征量；和存储控制部，对导出的特征量和与确定的脸部图像建立关联的脸部信息的一个或多个特征量进行比较，在满足预定条件时，将导出的特征量追加到脸部信息中，并存储到存储部中。
优选，上述预定条件为：导出的特征量和与确定的脸部图像建立关联的脸部信息的所有的一个或多个特征量之间的类似度小于预定值。
上述影像处理装置优选包括显示控制部，其使显示部显示：表示实际存储的特征量的数量相对于能够存储的特征量的上限数量的图像。
为了解决上述课题，本发明的另一影像处理装置的特征在于，包括：影像取得部，取得影像；位置确定部，从影像确定一个脸部图像；脸部关联部，将确定的脸部图像与存储于存储部中的、汇总了一个或多个特征量及该脸部的朝向的脸部信息建立关联；脸部朝向导出部，导出确定的脸部图像的脸部的朝向；特征量导出部，导出确定的脸部图像的特征量；和存储控制部，对导出的脸部的朝向和与确定的脸部图像建立关联的脸部信息的一个或多个脸部的朝向进行比较，在满足预定条件时，将导出的特征量和导出的脸部的朝向追加到脸部信息中，并存储到存储部中。
优选，上述预定条件为：在与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量的范围中，包含与确定的脸部图像建立关联的脸部信息的脸部的朝向的一个或多个范围，均不含导出的脸部的朝向。
上述影像处理装置优选包括显示控制部，其使显示部显示表示以下二者中的任一方或双方的图像：实际存储的特征量的数量相对于能够存储的特征量的上限数量；包含实际存储的脸部的朝向的范围相对于与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量的范围。
为了解决上述课题，本发明的影像处理方法的特征在于，取得影像，从影像确定一个脸部图像，将确定的脸部图像与汇总了一个或多个特征量的脸部信息建立关联，导出确定的脸部图像的特征量，对导出的特征量和与确定的脸部图像建立关联的脸部信息的一个或多个特征量进行比较，在满足预定条件时，将导出的特征量追加到脸部信息中并进行存储。
为了解决上述课题，本发明的另一影像处理方法的特征在于，取得影像，从影像确定一个脸部图像，将确定的脸部图像与汇总了一个或多个特征量及该脸部的朝向的脸部信息建立关联，导出确定的脸部图像的脸部的朝向，对导出的脸部的朝向和与确定的脸部图像建立关联的脸部信息的一个或多个脸部的朝向进行比较，在满足预定条件时，将确定的脸部图像的特征量和导出的脸部的朝向追加到脸部信息中并进行存储。
发明效果
综上所述，本发明不会使用户感到厌烦，便可导出能够切实确定脸部图像的适当特征量。
附图说明
图1是表示影像处理装置的一例的外观图。
图2是表示第1实施方式的影像处理装置的简要构成的功能框图。
图3是用于说明脸部的朝向的说明图。
图4是用于说明第1实施方式的特征量向特征量存储部的存储控制的说明图。
图5是表示第1实施方式的影像处理方法的处理流程的流程图。
图6是表示第2实施方式的影像处理装置的简要构成的功能框图。
图7是用于说明第2实施方式的基于脸部朝向的脸部图像的分类的说明图。
图8是用于说明表示特征量的数量的图像和表示包含脸部朝向的范围的图像的说明图。
图9是用于说明从外部设备取得特征量时的处理的说明图。
图10是表示第2实施方式的影像处理方法的处理流程的流程图。
符号说明
100、400…影像处理装置
108…取景器(显示部)
120…摄像部(影像取得部)
130…存储读取部(影像取得部)
132…外部输入输出部(影像取得部)
134…特征量存储部(存储部)
170…位置确定部
172…脸部朝向导出部
174、474…脸部关联部
176、476…特征量导出部
178、478…存储控制部
180、480…显示控制部
具体实施方式
以下参照附图详细说明本发明的优选实施方式。相关实施方式中示出的尺寸、材料、其他具体数值等只不过是用于使本发明的理解变得容易的示例，除非特别指出的情况，否则不用于限定本发明。另外，在本说明书和附图中，对于实质上具有相同功能、构成的要素，标以相同的标号而省略重复说明，此外与本发明无直接关系的要素省略了图示。
(第1实施方式：影像处理装置100)
图1是表示影像处理装置100的一例的外观图。图1(a)作为影像处理装置100示出了数字静态相机，图1(b)作为影像处理装置100示出了摄像机。影像处理装置100包括具有便携性的装置，包括主体102、摄像透镜104、操作部106和作为显示部发挥作用的取景器108。
图2是表示第1实施方式的影像处理装置100的简要构成的功能框图。在此作为影像处理装置100列举了图1(b)所示的摄像机。本实施方式的影像处理装置100的目的在于，确定拍摄到的影像数据上的一个脸部图像，关于该脸部图像新导出与存储的特征量不同的特征量并进行存储，即，将同一人物的脸部的朝向、表情不同的各个脸部图像的特征量导出并进行存储。这样导出并存储的各个脸部图像的特征量，之后可以用于认证影像中的任意的脸部图像(认证模式)。
影像处理装置100包括操作部106、摄像部120、数据处理部122、影像保持部124、取景器108、压缩扩展部128、存储读取部130、外部输入输出部132、特征量存储部134和中央控制部136。
操作部106由包括释放开关的操作键、十字键、操纵杆等开关构成，接受用户的操作输入。此外，还可以在后述取景器108的显示面上配置触摸面板，而作为操作部106。
摄像部120包括用于焦点调整的聚焦透镜150、用于曝光调整的光圈152、使经过摄像透镜104入射的光进行光电变换而A/D变换为影像数据的摄像元件156、以及用于驱动聚焦透镜150和光圈152的驱动电路158。该摄像部120作为取得摄像方向的被拍摄体的影像(影像数据)的影像取得部发挥作用，并将取得的影像数据输出到数据处理部122。
数据处理部122对从摄像部120输出的影像数据进行白平衡调节、噪声减轻处理、电平校正处理、A/D变换处理和色彩校正处理(伽玛校正处理、拐点(knee)处理)等预定的处理，并将处理后的影像数据输出到影像保持部124。
影像保持部124由RAM(Random Access Memory)、闪存、HDD(Hard Disk Drive)等构成，暂时保持从数据处理部122、压缩扩展部128和外部输入输出部132输入的影像数据。
取景器108由液晶显示器、有机EL(Electro Luminescence)显示器等构成，作为显示部发挥作用，而显示数据处理部122和压缩扩展部128输出并由影像保持部124保持的影像数据、与操作部106连动的指示项目。用户可以确认在摄像时显示于取景器108的影像(图像)、由后述存储读取部130存储的影像数据的影像。此外，用户通过在观看显示于取景器108的影像的同时操作操作部106，能够以希望的位置和占有面积捕捉被拍摄体。进而，取景器108显示后述的、表示实际存储的特征量的数量相对于能够存储的特征量的上限数量的图像。
压缩扩展部128使从数据处理部122输出的影像数据成为以M-JPEG(运动(Motion)JPEG)、MPEG(Moving Picture Experts Group)-2、H.264等预定的编码方式编码的编码数据，并将编码数据输出到存储读取部130。
此外，压缩扩展部128将对存储读取部130从存储介质200读取的、以预定编码方式编码的编码数据进行解码后的影像数据，输出到影像保持部124。
存储读取部130使压缩扩展部128编码后的编码数据存储到任意的存储介质200。作为任意的存储介质200，可以使用DVD(Digital Versatile Disc)、BD(Blu-ray Disc)等光盘介质、RAM、EEPROM、非易失性RAM、闪存、HDD等介质。在此，存储介质200能够拆装，但也可以与影像处理装置100成一体。此外，存储读取部130从存储有将影像数据以预定编码方式编码的编码数据的任意存储介质200读取编码数据，并输出到压缩扩展部128。
外部输入输出部132将影像保持部124中保持的影像数据，输出到例如与影像处理装置100连接的显示装置204。此外，外部输入输出部132例如与DVD播放器、BD播放器、HDD播放器等外部的影像播放装置206连接，接收影像播放装置输出的影像数据，并输出到影像保持部124。
特征量存储部134由RAM、闪存、HDD等构成，作为如下的存储部发挥作用：按照后述存储控制部的指示，仅存储同一人物的数量的、将从同一人物的脸部图像导出的一个或多个特征量汇总了的脸部信息。
中央控制部136由包括中央处理装置(CPU)、信号处理装置(DSP：Digital Signal Processor)的半导体集成电路构成，利用预定的程序来管理并控制整个影像处理装置100。
此外，中央控制部136还作为位置确定部170、脸部朝向导出部172、脸部关联部174、特征量导出部176、存储控制部178、显示控制部180发挥作用。
本实施方式的影像处理装置100在注册模式中，确定拍摄到的影像数据上的一个脸部图像，关于该脸部新导出并存储与存储的特征量不同的特征量，在认证模式中为了认证影像中的脸部而使用该特征量。以下，对于影像处理装置100分为注册模式和认证模式进行说明。
(注册模式)
位置确定部170在注册模式中，从摄像部120取得并保持于影像保持部124的中的影像数据中，根据经操作部106的用户输入，确定(选择)一个脸部图像，并利用已有的图像处理技术来追踪该脸部图像。并且，位置确定部170将与每帧的脸部图像相关的图像信息输出到脸部朝向导出部172和特征量导出部176。位置确定部170在检测到多个脸部图像时对各脸部图像同样进行追踪，并将与所有的脸部图像相关的图像信息输出到特征量导出部176。
在此，作为影像取得部使用了摄像部120，但不限于此，也可以使存储读取部130、外部输入输出部132作为影像取得部发挥作用，位置确定部170根据存储读取部130、外部输入输出部132取得的影像来确定一个脸部图像。
这种一个脸部图像的确定如下来执行：使基于影像保持部124所保持的影像数据的影像显示于取景器108，通过操作部106的操作而使用户选择一个脸部图像。此外，作为操作部106，在取景器108的显示面上重叠了触摸面板时，也可以通过触摸面板使用户接触相当于一个脸部图像的位置的部位，而进行一个脸部图像的确定。进而也可以是，位置确定部170自动选择画面内存在的所有脸部图像，后述显示控制部180在以包围所选择的所有脸部图像的方式显示了多个框的状态下，在画面上显示“注册哪个人？”，并使用户选择其中的一个脸部图像。
此外，位置确定部170可以对被拍摄体的人物进行定位以便在画面内的例如中央部的预定区域拍摄脸部，并在用户的操作输入的任意的时序下确定与该预定区域对应的影像中的区域的脸部图像。所述预定区域可以是用户能在画面内任意指定的区域。此时，显示控制部180在显示于取景器108的该预定区域的边界线上例如重叠显示四方框等标识。
在本实施方式中，位置确定部170为了追踪脸部图像，而扫描影像中的预定大小的检索区域，检测表示眼、鼻、口等构成脸部的器官的特征的特征点，从而提取出脸部图像，但脸部图像的提取手段不限于特征点的检测。例如，也可以检测肤色区域或进行图案匹配，而提取出脸部图像。
位置确定部170将至少包含脸部图像的坐标、脸部图像的大小的图像信息输出到脸部朝向导出部172，将至少包含脸部图像的坐标、脸部图像的大小、脸部图像的准确度的图像信息输出到特征量导出部176。脸部图像的坐标表示脸部区域相对于影像尺寸的相对坐标，脸部图像的大小表示脸部区域相对于影像尺寸的相对大小，脸部图像的准确度表示脸部图像为脸部的影像的确切性，例如可以作为表示与标准的脸部图像类似的程度的类似度导出。此外，位置确定部170可以用肤色区域的检测结果对该类似度进行加权，例如可以在肤色区域较少时将类似度修正为较低的值。
图3是用于说明脸部的朝向的说明图。图像信息包括上述脸部图像的坐标、脸部图像的大小、脸部图像的准确度，并且还包括用于脸部图像的旋转校正的脸部图像的滚转角。在此，向特征量导出部176输出的脸部图像的滚转角是绕图3(a)中定义的滚转轴的脸部图像的旋转角。此外，后述俯仰角(绕俯仰轴的旋转角)、偏向角(绕偏向轴的旋转角)的定义还在图3(b)、图3(c)中示出。
脸部朝向导出部172根据位置确定部170输出的图像信息所表示的脸部图像的坐标和脸部图像的大小，从影像保持部124所保持的影像数据中读出位置确定部170确定的脸部图像，并根据作为脸部图像的特征点的眼、口和脸部的轮廓信息等，导出滚转角以外的脸部的朝向、即脸部的俯仰角和偏向角(参照图3(b)、(c))。
特征量导出部176根据从位置确定部170输出的图像信息所表示的脸部图像的坐标、脸部图像的大小，从影像保持部124所保持的影像数据中读出脸部图像。并且，对于读出的脸部图像，根据图像信息所表示的脸部图像的大小、脸部图像的滚转角，进行分辨率变换、滚转角方向的旋转校正，而变换为标准化(以预定的大小正立)的脸部图像。
此外，特征量导出部170根据自身变换了的脸部图像和脸部朝向导出部172导出的作为脸部朝向的俯仰角、偏向角，导出位置确定部170确定的脸部图像的特征量。具体地说，首先，特征量导出部176根据脸部朝向导出部172导出的脸部的俯仰角和偏向角，对标准化后的脸部图像进一步进行仿射变换(affine transformation)，修正为朝向正面的脸部的脸部图像。
并且，特征量导出部176尝试检测与仿射变换后的脸部图像相关的特征点。在此，为了避免特征点的检测产生较大的处理负荷，不是从仿射变换后的脸部图像检测，而使对事先检测出的与仿射变换前的脸部图像相关的特征点进行仿射变换，从而导出仿射变换后的脸部图像的特征点。从仿射变换后的脸部图像的特征点，对每个特征点分别导出表示各特征点为脸部的各部分的特征点的确实度的、为特征点的准确度。在此，例如当被拍摄体的人物闭眼时，为眼的特征点的确实度降低。
进而，特征量导出部176判断该脸部图像是否为值得处理的脸部图像，例如，脸部图像的俯仰角为-15°～+15°的范围，脸部图像的偏向角为-30°～+30°的范围，图像信息所示的脸部图像的准确度、为特征点的准确度满足预先设定的各自所对应的预定条件时，作为脸部图像的特征量，例如导出Gabor Jet(伽柏关键特征点)。
为了求出Gabor Jet而使用的Gabor(伽柏)滤波器是同时具有方向选择性和频率特性的滤波器。特征量导出部176使用使方向和频率各自不同的多个Gabor滤波器进行脸部图像的折叠。将得到的多个标量值的组称为Gabor Jet。特征量导出部176在脸部图像上的特征点的附近，作为局部的特征量求出Gabor Jet。
并且，特征量导出部176将根据仿射变换后的脸部图像的特征点导出的特征量输出到脸部关联部174。在此，特征量被表示为作为多个标量值的组(Gabor Jet)的集合的矢量。从一个脸部图像导出一个矢量。
脸部关联部174首先例如根据特征量之间的类似度，判断汇总了从与位置确定部170根据用户输入确定的脸部图像为同一人物的脸部图像导出的特征量的脸部信息(以下简称为同一人物的脸部信息)是否已经存储到特征量存储部134中。
并且，如果与位置确定部170根据用户输入确定的脸部图像为同一人物的脸部信息尚未存储到特征量存储部134中，则脸部关联部174将该特征量作为新的脸部信息存储到特征量存储部134中。
此外，如果与位置确定部170根据用户输入确定的脸部图像为同一人物的脸部信息已经存储到特征量存储部134中，则脸部关联部174将确定的脸部图像和存储于特征量存储部134中的该同一人物的脸部信息建立关联。以下对脸部关联部174的具体处理进行说明。
在特征量存储部134中，对应于人物的数量而存储有多个将从与一个人物相关的多个脸部图像导出的多个特征量汇总了的脸部信息。脸部关联部174对特征量导出部176导出的特征量和从特征量存储部134读出的多个脸部信息的多个特征量的各个特征量，导出类似度。
即，如果对于一个脸部信息仅存储有一个特征量，则脸部关联部174导出特征量导出部176导出的特征量和特征量存储部134中存储的一个脸部信息的一个特征量之间的类似度。此外，当在一个脸部信息中汇总多个特征量进行存储时，脸部关联部174分别导出特征量导出部176导出的特征量和特征量存储部134中存储的一个脸部信息的多个特征量之间的类似度，将导出的一个或多个类似度中最高的类似度作为特征量导出部176输出的特征量和该一个脸部信息的多个特征量之间的类似度。在特征量存储部134中存储有多个脸部信息时，脸部关联部174对全部的多个脸部信息进行上述对一个脸部信息的类似度的导出处理。
作为具体的类似度的导出处理，脸部关联部174首先通过从特征量导出部176输出的特征量和从特征量存储部134读出的例如一个脸部信息的一个特征量，利用标准化相关运算等方法，求出每个特征点的类似度d0、d1、d2、…、dn(n为正数)。
然后，脸部关联部174将利用标准化相关运算得到的各特征点的类似度d0、d1、d2、…、dn作为要素，导出类似度矢量(类似度的集合)D＝(d0、d1、d2、…、dn)。
脸部关联部174从类似度矢量D，例如使用AdaBoost(自适应增强)算法、支持向量机(SVM：Support Vector Machine)，导出作为脸部整体的类似度Fi。并且，脸部关联部174对于全部的一个脸部信息的多个特征量导出该类似度Fi，将其中的最大值作为从特征量导出部176输出的特征量和该一个脸部信息的多个特征量之间的类似度F。
脸部关联部174对于所有的脸部信息导出这样的类似度F，当导出的类似度F中的最大的类似度比预定的第1阈值小时，判断为位置确定部170确定的脸部图像和同一人物的脸部信息尚未存储到特征量存储部134中。
并且，脸部关联部174将从特征量导出部176输出的特征量作为新的脸部信息的特征量存储到特征量存储部134中。并且，脸部关联部174将位置确定部170确定的脸部图像和新存储到特征量存储部134中的脸部信息作为同一人物建立关联。
此外，对于所有的脸部信息导出的类似度F中最大的类似度在预定的第1阈值以上时，脸部关联部174判断为成为该最大的类似度F的脸部信息与位置确定部170确定的脸部图像属于同一人物，且同一人物的脸部信息已经存储到特征量存储部134中。并且，脸部关联部174将位置确定部170确定的脸部图像和特征量存储部134中存储的类似度F最大的脸部信息作为同一人物建立关联。
进而，脸部关联部174也可以将位置确定部170确定的脸部图像和特征量存储部134中存储的脸部信息，例如根据经操作部106的用户操作输入而建立关联。具体地说，如上所述，用户从影像保持部124所保持的影像数据中确定(选择)一个脸部图像，同时，从预先在特征量存储部134中存储有特征量的脸部信息中，选择将要存储特征量的被拍摄体的人物的脸部信息时，脸部关联部174可以不执行经类似度的导出的同一人物的判断处理，而将位置确定部170确定的脸部图像和特征量存储部134中由用户选择的脸部信息作为同一人物建立关联。
此时，位置确定部170确定的脸部图像，无类似度的导出地与脸部信息建立关联，可以由位置确定部170确定并追踪的脸部图像中的第1张(第1帧)脸部图像作为特征量的存储的对象。进而，即使在例如影像仅为1帧时(照片摄影时)，位置确定部170确定脸部图像但不追踪，也可以将第1张脸部图像作为特征量的存储的对象。
并且，特征量导出部176对于位置确定部170确定的脸部图像，从继续取入的图像信息分别导出特征量。
存储控制部178对特征量导出部176导出的特征量和与确定的脸部图像相关联的脸部信息的一个或多个特征量进行比较，在满足预定条件时，将该导出的特征量追加到脸部信息中并存储于特征量存储部134。
通过所述存储控制部178的构成，在确定的脸部图像中也仅将满足预定条件的脸部图像的特征量自动存储到特征量存储部134，因此在认证模式中也可以适当地确定脸部，用户的操作性得以提高。
如上所述，通过脸部关联部174将位置确定部170确定的脸部图像和特征量存储部134中的脸部信息作为同一人物建立关联后，提取关于同一人物的脸部信息尚未注册(不同)的脸部图像，并将该提取出的脸部图像的特征量存储到特征量存储部134。
为了提取上述同一人物的不同的脸部图像，将特征量导出部176新导出的特征量和存储于特征量存储部134的、与位置确定部170确定的脸部图像相关联的脸部信息的一个或多个特征量之间的类似度低于预定值作为预定条件。
在此，类似度F低于预定值(第2阈值)时，认为是当前的脸部图像和之前注册的脸部图像为同一人物、但脸部朝向不同或表情不同的情况。因此，存储控制部178将这种脸部朝向、表情不同的脸部图像的特征量存储到特征量存储部134。
另一方面，类似度F为第2阈值以上时，认为当前的脸部图像和之前注册的脸部图像为相同的脸部朝向、表情。此时，即使注册当前的脸部图像，在后述的判断影像中的脸部是否已注册的认证模式中对于认证精度的提高基本没有贡献，因此存储控制部178不将这样的脸部图像的特征量存储到特征量存储部134。
图4是用于说明第1实施方式的特征量向特征量存储部134的存储的控制的说明图。如图4(a)所示，在特征量存储部134中，对于任意的脸部信息的特征量230a～230d，存储有标识M1、M2、M3、M4和各特征点的值m1a、m1b、…。在此，输出新从特征量导出部176、从作为同一人物与脸部信息相关联的脸部图像导出的特征量230e。
此时，存储控制部178导出该脸部信息各自的特征量230a～230d和新导出的特征量230e之间的类似度，将最高的特征量、在此例如将特征量230d与第2阈值进行比较，为第2阈值以上时，不将该特征量存储到特征量存储部134中。此外，在低于第2阈值时，如图4(b)所示，将该特征量230e作为该脸部信息的特征量存储到特征量存储部134。
存储于特征量存储部134中的脸部图像的特征量，在认证模式中，在导出与从摄像部120生成的影像所包含的脸部图像导出的特征量之间的类似度时使用。本实施方式的影像处理装置100根据作为与认证模式相同的判断基准的类似度，判断自此存储的特征量的候补与已经存储的特征量是否不同，因此在认证模式中也可以切实提取与有效的同一人物相关的多个不同的特征量，能通过很少的比较处理提高认证的精度。
上述特征量的存储例如通过用户的操作输入而在用于注册确定的脸部图像的特征量的注册模式中执行。用户进行开始注册模式的操作输入并持续拍摄想要注册的脸部时，特征量导出部176对由脸部关联部174与脸部信息建立了关联的确定的脸部图像，顺次导出特征量，存储控制部178随时注册导出的特征量中满足预定条件的特征量。
此时，显示控制部180将特征量存储部134中存储的、表示与确定的脸部图像建立了关联的脸部信息的特征量的数量的图像，重叠到生成的被拍摄体的影像上并显示到取景器108。例如，对于一个人的人物的脸部信息，特征量最多存储8个时，对于某人物的脸部信息已经存储了3个特征量。此时，显示3/8被涂黑的圆圈。这样一来，显示控制部180使表示实际存储的特征量的数量相对于能够存储的特征量的上限数量的图像显示到取景器108。
通过这样的构成，用户能够看到表示显示的脸部信息的特征量的数量的图像，确认脸部图像的特征量的存储的进展情况，能够提高用户的操作性。
在注册模式中，对于注册的对象的人物的脸部，若最大数量、例如8个特征量的注册完成、或通过用户的操作输入结束了注册模式，则变换为输入注册的特征量的注册对象的个人信息的输入模式。
显示控制部180使取景器108显示“请输入注册的人的名字”、“请输入注册的人的出生年月日”等消息。并且，用户通过操作部106输入特征量的注册对象的名字、出生年月日等个人信息。存储控制部178将这些个人信息、表示注册时刻的日期时间的日期时间信息与特征量建立关联，并存储到特征量存储部134。此外，用户还可以不立即输入个人信息而是在事后输入。
进而，在通常的摄影时，在被拍摄体的人物中若特征量已被存储到特征量存储部134且已经存储的特征量的数量低于最大数量，或从日期时间信息所表示的日期时间经过了预定的时间，也可以自动变换为注册模式。此时，显示控制部180使取景器108显示“继续进行A的注册吗”这样的消息，使用户选择可否确认作为特征量的注册对象的脸部信息以及可否变换为注册模式。
此外，特征量存储部134按照每个脸部信息存储特征量，但例如也可以存储导出特征量时使用的脸部图像自身。这样也存储脸部图像，从而在认证模式中用户可以实际观看脸部认证所使用的脸部图像，因此用户可以从特征量存储部134删除极端的表情的脸部图像等认为不需要的脸部图像。此时，特征量存储部134也可以不存储特征量而仅存储脸部图像，特征量导出部176可以在从特征量存储部134读出脸部图像时根据该脸部图像导出特征量。
(认证模式)
在上述注册模式中存储于特征量存储部134的特征量，在认证模式中在认证被拍摄体的脸部时被使用。通过用户的操作输入而存在变换为认证模式的指示时，显示控制部180使取景器108显示存储于特征量存储部134的一个或多个脸部信息。用户选择了希望的脸部信息后，开始摄像时，位置确定部170对摄像部120取得并保持于影像保持部124的影像数据中包含的全部脸部图像，追踪脸部图像，并将包含各帧的脸部图像的坐标的图像信息输出到特征量导出部176。
特征量导出部176根据从位置确定部170输出的脸部图像的坐标，导出位置确定部170确定的脸部图像的特征量。存储控制部178导出存储于特征量存储部134的特征量中用户选择的脸部信息的特征量和特征量导出部176导出的特征量之间的类似度。
并且，导出的类似度为预定阈值、例如上述第1阈值以上时，驱动电路158驱动聚焦透镜150和光圈152，根据对应的被拍摄体来调节焦点、曝光。此外，显示控制部180在显示于取景器108的影像中的对应的脸部图像上重叠显示例如四方框等标识。
如上所述，在本实施方式中，存储控制部178对于可以与脸部信息视为同一人物的被拍摄体的脸部图像的特征量，在脸部的朝向或表情不同、类似度低于第2阈值时，使其自动存储于特征量存储部134。因此，在特征量的注册中，不会使用户感到厌烦，就可以导出能够切实认证脸部的适当的特征量。
(影像处理方法)
还提供了使用上述影像处理装置100的影像处理方法。图5是表示第1实施方式的影像处理方法的处理流程的流程图。在图5中尤其示出了上述注册模式的处理流程。
摄像部120取得影像(S300)，位置确定部170判断是否能够从影像保持部124所保持的影像数据中确定一个脸部图像(S302)。位置确定部170无法确定一个脸部图像时(S302的否)，返回到影像取得步骤(S300)。
位置确定部170能够确定一个脸部图像时(S302的是)，追踪该脸部图像，并将与每帧的脸部图像相关的图像信息输出到特征量导出部176(S304)。特征量导出部176对于位置确定部170追踪的脸部图像，在脸部朝向导出部172导出的脸部朝向、例如俯仰角为-15°～+15°的范围、偏向角为-30°～+30°的范围，图像信息所示的脸部图像的准确度、为特征点的准确度满足预先设定的各自所对应的预定条件时，导出特征量(S306)。
脸部关联部174判断位置确定部170确定的脸部图像是否与存储于特征量存储部134的脸部信息建立了关联(S308)。没有建立关联时(S308的否)，脸部关联部174对于特征量导出部176导出的特征量和从特征量存储部134读出的多个脸部信息中的一个脸部信息的多个特征量中的一个，导出类似度(S310)。并且，脸部关联部174对于与此时导出了类似度的特征量相关的脸部信息，比较目前为止导出的类似度的最大值和此时导出的类似度(S312)，当与目前为止导出的类似度的最大值相比，此时导出的类似度较大时(S312的是)，对对象的脸部信息将类似度的最大值置换为此时导出的类似度(S314)。
脸部关联部174判断对于从特征量存储部134读出的一个脸部信息的全部特征量是否已经完成了类似度的导出(S316)。若没有完成(S316的否)，则返回到类似度导出步骤(S310)，对还没有导出类似度的特征量进行同样的处理。
对于从特征量存储部134读出的一个脸部信息的全部特征量，完成了类似度的导出时(S316的是)，脸部关联部174判断对于从特征量存储部134读出的全部的脸部信息的特征量是否完成了类似度的导出(S318)。若没有完成(S318的否)，则返回到类似度导出步骤(S310)，对还没有导出类似度的其他脸部信息的特征量进行同样的处理。
对于从特征量存储部134读出的全部的脸部信息的特征量，完成了类似度的导出时(S318的是)，脸部关联部174判断导出的各脸部信息的类似度的最大值中成为最大的类似度是否为第1阈值以上(S320)。若为第1阈值以上(S320的是)，则脸部关联部174判断为与位置确定部170确定的脸部图像同一人物的脸部信息已经被存储到特征量存储部134，将位置确定部170确定的脸部图像与对应的脸部信息建立关联(S324)。当低于第1阈值时(S320的否)，脸部关联部174判断为与位置确定部170确定的脸部图像同一人物的脸部信息尚未存储到特征量存储部134，而将导出的特征量作为新的脸部信息的特征量存储到特征量存储部134(S322)，并将位置确定部170确定的脸部图像与该新的脸部信息建立关联(S324)。并且，返回到影像取得步骤(S300)。
在关联判断步骤(S308)中，位置确定部170确定的脸部图像与存储于特征量存储部134的脸部信息建立了关联时(S308的是)，存储控制部178导出特征量导出部176导出的特征量和相同的脸部信息的其他特征量中的一个之间的类似度(S326)。并且，存储控制部178对于相同的脸部信息的其他特征量，比较目前为止导出的类似度的最大值和此时导出的类似度(S328)，当与目前为止导出的类似度的最大值相比，此时导出的类似度较大时(S328的是)，对对象的脸部信息将类似度的最大值置换为此时导出的类似度(S330)。
存储控制部178判断对于相同脸部信息的其他特征量是否完成了类似度的导出(S332)。没有完成时(S332的否)，返回到类似度导出步骤(S326)，对还没有导出类似度的特征量进行同样的处理。
对于相同脸部信息的其他全部的特征量完成了类似度的导出时(S322的是)，存储控制部178判断导出的类似度的最大值是否满足预定条件、即是否低于第2阈值(S334)。低于第2阈值时(S334的是)，存储控制部178将特征量导出部176新导出的特征量作为已有的同一人物的脸部信息的特征量存储到特征量存储部134(S336)。并且，中央控制部136判断存储于特征量存储部134的与对象的脸部信息相关的特征量的数量是否已经达到了最大数量(S338)。特征量的数量达到了最大数量时(S338的是)，显示控制部180使取景器108显示达到了对于一个脸部信息存储的特征量的最大数量这一情况，提示注册模式的结束(S340)。
在预定条件判断步骤(S334)中没有满足预定条件时(S334的否)、在最大数量判断步骤(S338)中特征量的数量没有达到最大数量时(S338的否)、以及达到最大数量显示步骤(S340)后，中央控制部136判断是否通过用户的操作输入而存在注册模式结束的指示(S342)。没有结束的指示时(S342的否)，返回到影像取得步骤(S300)。有结束的指示时(S342的是)，结束注册模式。
如上所述，根据使用了影像处理装置100的影像处理方法，不会使用户感到厌烦，就可以导出能够切实认证脸部的适当的特征量。
(第2实施方式)
在上述第1实施方式中，存储控制部178在判断新导出的特征量是否存储到特征量存储部134中时，导出类似度并与第2阈值比较。在第2实施方式中，说明了根据对特征量影响大的脸部的角度进行判断的影像处理装置400。另外，对于与上述影像处理装置100实质相等的构成要素，标以相同的标号而省略说明。
(影像处理装置400)
图6是表示第2实施方式的影像处理装置400的简要构成的功能框图。影像处理装置400包括操作部106、摄像部120、数据处理部122、影像保持部124、取景器108、压缩扩展部128、存储读取部130、外部输入输出部132、作为存储部发挥作用的特征量存储部134和中央控制部436。作为第1实施方式中的构成要素已经说明的操作部106、摄像部120、数据处理部122、影像保持部124、取景器108、压缩扩展部128、存储读取部130、外部输入输出部132、特征量存储部134，功能实质上相同，因此省略重复说明，在此以构成不同的中央控制部436为主进行说明。
中央控制部436由包括中央处理装置(CPU)、信号处理装置(DSP)的半导体集成电路构成，利用预定的程序来管理并控制整个影像处理装置400。此外，中央控制部436还作为位置确定部170、脸部朝向导出部172、脸部关联部474、特征量导出部476、存储控制部478、显示控制部480发挥作用。
脸部关联部474进行与第1实施方式的脸部关联部174相同的处理，将特定的脸部图像和脸部信息建立关联。此时，存储于特征量存储部134的脸部信息中不仅包含特征量，还包含该脸部的朝向，因此脸部关联部474将汇总了这样的一个或多个特征量和该脸部的朝向的脸部信息，与确定的脸部图像建立关联。
特征量导出部476对脸部朝向导出部172导出的脸部朝向和与位置确定部170确定的脸部图像建立了关联的脸部信息的一个或多个脸部朝向进行比较，在满足预定条件时，导出确定的脸部图像的特征量。在本实施方式中，特征量导出部476仅在满足预定条件时，导出确定的脸部图像的特征量，但也可以无论预定条件如何均导出确定的脸部图像的全部的特征量。
存储控制部478对脸部朝向导出部172导出的脸部朝向和与位置确定部170确定的脸部图像建立了关联的脸部信息的一个或多个脸部朝向进行比较，在满足预定条件时，将特征量导出部476新导出的特征量和脸部朝向导出部172导出的脸部朝向追加到脸部信息中，并存储到特征量存储部134。
此外，在上述实施方式中，上述预定条件为：在与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量的范围中，包含与位置确定部170确定的脸部图像建立关联的脸部信息的脸部的朝向的一个或多个范围，均不含脸部朝向导出部172导出的脸部的朝向。
图7是用于说明第2实施方式的基于脸部朝向的脸部图像的分类的说明图。图7(a)是用于对某脸部信息说明特征量的存储状态的说明图，图7(b)是用于说明在图7(a)中新存储了特征量后的状态的说明图。在本实施方式中，特征量存储部134存储脸部图像(例如图7(a)、图7(b)所示的脸部朝向不同的脸部图像410)来替代特征量。在图7(a)、(b)中，表412表示特征量存储部134中记录的脸部图像自身，表414表示预定的脸部朝向的范围所包含的脸部图像的记录的有无。
与第1实施方式同样，在第2实施方式中也是脸部朝向导出部172导出脸部图像的俯仰角和偏向角，特征量导出部476在俯仰角为+15°～-15°的范围、偏向角为+30°～-30°的范围之外时不导出特征量。
特征量导出部476判断脸部朝向导出部172新导出的脸部图像的脸部朝向即俯仰角、偏向角包含在图7(a)所示的范围(关于俯仰角为-15°～-5°、-5°～5°、5°～15°，关于偏向角为-30°～-10°、-10°～10°、10°～30°)中的哪个范围内。并且，特征量导出部476对于同一人物的脸部信息，在与特征量建立关联并存储的多个标志中与该范围对应的图7(a)所示的表414的标志为表示已经存储了特征量的“1”时，不导出该脸部图像的特征量。
此外，图7(a)所示的标志为表示尚未存储特征量的“0”时，即，当在与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量(在本实施方式中为9个)的范围中，包含存储于特征量存储部134中的、与位置确定部170确定的脸部图像建立关联的脸部信息的脸部的朝向的一个或多个范围，均不含脸部朝向导出部172新导出的脸部图像的脸部的朝向时，特征量导出部476导出位置确定部170确定的脸部图像的特征量。并且，存储控制部478将特征量导出部476导出的特征量和脸部朝向导出部172导出的脸部朝向追加存储到脸部信息中，将表414的对应的标志变更为“1”。
例如，脸部朝向导出部172新导出的脸部图像的脸部朝向的俯仰角、偏向角为图7(a)所示的N7的位置416(俯仰角-15°～-5°、偏向角10°～30°)时，如图7(b)所示，新存储特征量，将标志从“0”变更为“1”。
图8是用于说明表示特征量的数量的图像418a和表示包含脸部朝向的范围的图像418b的说明图。如图8(a)、(b)所示，显示控制部480使取景器108显示表示以下二者中的任一方或双方的图像：实际存储的特征量的数量相对于能够存储的上述特征量的上限数量；包含实际存储的脸部朝向的范围相对于与根据俯仰角和偏向角划分的脸部朝向相关的预定数量的范围。
例如，图7(b)所示的表412被记录到特征量存储部134时，显示控制部480可以与第1实施方式的显示控制部180同样，使取景器108显示6/9被涂黑(描阴影)的圆圈(例如图8(a)所示的图像418a)，其表示实际存储的特征量的数量(在此为6个)相对于能存储的特征量的上限数量(在此为9个)。
此外，在本实施方式中，显示控制部480，作为实际存储的脸部的朝向的范围相对于与脸部的朝向相关的上述预定数量的范围，使取景器108显示相当于N1、N2、N5、N6、N7、N8的位置的网格被涂黑的纵横3×3的网格的图像(例如图8(b)所示的图像418b)。此时，3×3的9个网格中的6个网格被涂黑，因此表示相对于能存储的特征量的上限数量9个，实际存储的特征量的数量为6个。用户可以通过操作输入来设定显示图像418a和图像418b的哪一个图像。
在本实施方式中，不仅显示表示特征量的数量的图像，还以明确实际存储了特征量的脸部朝向的范围和尚未存储的脸部朝向的范围的方式显示图像。因此，具有如下的优点：用户例如容易把握要摄像的脸部的朝向、摄像的必要性较低的脸部的朝向为哪个朝向等状况。
脸部图像的特征量的导出对脸部的朝向的影像很大。本实施方式的影像处理装置400限定为脸部的朝向不同的脸部图像来存储特征量，因此可以排除脸部的表情的影响，而存储仅脸部的朝向有差异的脸部图像的特征量。
此外，对特征量影响大的脸部的朝向可以通过俯仰角和偏向角分类。在本实施方式中，在预定的俯仰角和偏向角的框中预先设定了为了使认证容易而必要的脸部的朝向，存储控制部478对于分类为相同的脸部朝向的特征量不进行存储，而存储分类为不同的脸部朝向的特征量。因此，存储控制部478对于在认证模式中影响大的脸部的朝向，能够参照大范围的脸部的朝向的特征量。
进而，还可以将通过该影像处理装置400以外的设备生成的脸部图像的特征量取入到内部。例如，外部输入输出部132接收到从其他影像处理装置、能够根据脸部图像导出特征量的外部设备420输出的特征量后，存储控制部478将接收到的特征量存储到特征量存储部134。同样，存储读取部130从存储有特征量的存储介质422读出特征量后，存储控制部478将读出的特征量存储到特征量存储部134。
图9是用于说明从外部设备420取得了特征量时的处理的说明图。尤其是，图9(a)为表示存储于特征量存储部134中的任意的脸部信息的特征量被分类的脸部的朝向的范围的表414a，图9(b)为表示与从外部设备420取得的任意的脸部信息同一人物的脸部图像的特征量被分类的脸部朝向的范围的表414b，图9(c)为表示反映了从外部设备420取得的特征量之后的、存储于特征量存储部134中的任意的脸部信息的特征量被分类的脸部朝向的范围的表414c。图9(a)～(c)中的N1～N9各自的标志，与图7(a)、(b)中的N1～N9各自的标志同样，对应于预定的脸部的朝向的范围的特征量的有无。
存储控制部478，在从外部设备420接收到(从存储介质422读出)的特征量与存储于特征量存储部134的脸部信息的特征量之间的类似度为第1阈值以上、或通过用户的操作输入而选择了脸部信息时，进行对象的脸部信息的特征量和特征量的导出元的脸部图像的脸部的朝向的比较。
在该比较中，存储控制部478对于图9(a)所示的标志为“1”的脸部的朝向的范围不更新特征量，对于标志为“0”的脸部的朝向的范围(图9(a)中的N5～N9)，若有与从外部设备420接收到的特征量对应的脸部的朝向的特征量，则将该特征量存储到特征量存储部134。在图9(b)中，有N5的脸部的朝向的特征量，因此存储控制部478将该特征量存储到特征量存储部134。结果，如图9(c)所示，N5的标志也从图9(a)所示的“0”变更为“1”。此外，例如也可以在特征量存储部134中将特征量的导出的时刻作为辅助信息一并存储，当已经存储了相同的脸部朝向的范围的特征量时，存储控制部478优先存储更新导出的特征量。
将从外部设备420接收到的特征量存储到特征量存储部134时，通过根据脸部的朝向判断是否存储的构成，存储控制部478不会过于增加存储的特征量，可以划一且有效地存储特征量。
如上所述，根据本实施方式的影像处理装置400，对于对认证模式影响大的脸部的朝向，可以预先存储大范围的脸部朝向的特征量，在认证模式中可以提高认证的精度。
(影像处理方法)
还提供了使用上述影像处理装置400的影像处理方法。图10是表示第2实施方式的影像处理方法的处理流程的流程图。在图10中，与图5同样地特别示出了注册模式的处理流程。对于与上述第1实施方式的影像处理方法实质上相同的处理，标以相同的标号而省略说明。
在本实施方式中，与第1实施方式不同，在脸部图像追踪步骤(S304)之后、进行特征量导出步骤(图5的S306)之前，脸部关联部174判断位置确定部170确定的脸部图像是否与存储于特征量存储部134中的脸部信息建立了关联(S500)。
没有建立关联时(S500的否)，特征量导出部476导出位置确定部170确定的脸部图像的特征量(S502)。以下，由于从类似度导出步骤(S310)到脸部信息关联步骤(S324)的处理与第1实施方式中说明的影像处理方法实质上相同，因此标以相同标号而省略说明。
在关联判断步骤(S500)中，位置确定部170确定的脸部图像与存储于特征量存储部134中的脸部信息建立了关联时(S500的是)，脸部朝向导出部172导出位置确定部170确定的脸部图像的脸部的朝向(S504)。
特征量导出部476对脸部朝向导出部172导出的脸部的朝向和与位置确定部170确定的脸部图像建立关联的脸部信息的一个或多个脸部的朝向进行比较，判断是否满足预定条件，即，脸部朝向导出部172导出的脸部的朝向是否并非根据与确定的脸部图像建立关联的脸部信息的俯仰角和偏向角划分的预定数量的脸部朝向的任一个(是否为未注册的脸部的朝向)(S506)。并非任一个时(S506的是)，特征量导出部476导出位置确定部170确定的脸部图像的特征量(S508)，存储控制部478将特征量导出部476导出的特征量和脸部朝向导出部172导出的脸部朝向，追加到已有的同一人物的脸部信息中并存储到特征量存储部134(S336)。脸部朝向导出部172导出的脸部的朝向为根据与确定的脸部图像建立关联的脸部信息的俯仰角和偏向角划分的预定数量的脸部朝向的任一个时(S506的否)，转移到最大数量判断步骤(S338)。
以下，从最大数量判断步骤(S338)到模式变换步骤(S342)与第1实施方式中说明的影像处理方法实质上相同，因此标以相同标号而省略说明。
如上所述，根据使用了影像处理装置400的影像处理方法，可以预先存储大范围的脸部的朝向的特征量，在认证模式中可以提高认证的精度。
以上参照附图对本发明的优选实施方式进行了说明，但本发明不限于所述实施方式。本领域技术人员能够在权利要求书所记载的范围内想到各种变更例或修正例，这些也自然属于本发明的技术范围。
另外，本说明书的影像处理方法中的各步骤并非必须按照作为流程图记载的顺序以时间序列来处理，还可以包含并列或子流程的处理。
工业利用性
本发明可以用于对用于确定被拍摄体的脸部图像的特征量进行存储的影像处理装置及影像处理方法。
权利要求书(按照条约第19条的修改)
1.(修改后)一种影像处理装置，其特征在于，包括：
影像取得部，取得影像；
位置确定部，从上述影像确定一个脸部图像；
脸部关联部，将确定的上述脸部图像与存储于存储部中的、汇总了一个或多个特征量的脸部信息建立关联；
特征量导出部，导出上述确定的脸部图像的特征量；和
存储控制部，对导出的上述特征量和与上述确定的脸部图像建立关联的上述脸部信息的一个或多个特征量进行比较，在上述导出的特征量和与上述确定的脸部图像建立关联的脸部信息的所有的一个或多个特征量之间的类似度小于预定值时，将导出的上述特征量追加到上述脸部信息中，并存储到上述存储部中。
2.(删除)
3.(修改后)根据权利要求1所述的影像处理装置，其特征在于，
包括显示控制部，其使显示部显示：表示实际存储的上述特征量的数量相对于能够存储的上述特征量的上限数量的图像。
4.(修改后)一种影像处理装置，其特征在于，包括：
影像取得部，取得影像；
位置确定部，从上述影像确定一个脸部图像；
脸部关联部，将确定的上述脸部图像与存储于存储部中的、汇总了一个或多个特征量及该脸部的朝向的脸部信息建立关联；
脸部朝向导出部，导出上述确定的脸部图像的脸部的朝向；
特征量导出部，导出上述确定的脸部图像的特征量；和
存储控制部，对导出的上述脸部的朝向和与上述确定的脸部图像建立关联的上述脸部信息的一个或多个脸部的朝向进行比较，在与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量的范围中，包含与上述确定的脸部图像建立关联的脸部信息的脸部的朝向的一个或多个范围，均不含上述导出的脸部的朝向时，将导出的上述特征量和上述导出的脸部的朝向追加到上述脸部信息中，并存储到上述存储部中。
5.(删除)
6.(修改后)根据权利要求4所述的影像处理装置，其特征在于，
包括显示控制部，其使显示部显示表示以下二者中的任一方或双方的图像：实际存储的上述特征量的数量相对于能够存储的上述特征量的上限数量；包含实际存储的上述脸部的朝向的范围相对于与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量的范围。
7.(修改后)一种影像处理方法，其特征在于，
取得影像，从上述影像确定一个脸部图像，
将确定的上述脸部图像与汇总了一个或多个特征量的脸部信息建立关联，
导出上述确定的脸部图像的特征量，
对导出的上述特征量和与上述确定的脸部图像建立关联的上述脸部信息的一个或多个特征量进行比较，在上述导出的特征量和与上述确定的脸部图像建立关联的脸部信息的所有的一个或多个特征量之间的类似度小于预定值时，将导出的上述特征量追加到上述脸部信息中并进行存储。
8.(修改后)一种影像处理方法，其特征在于，
取得影像，从上述影像确定一个脸部图像，
将确定的上述脸部图像与汇总了一个或多个特征量及该脸部的朝向的脸部信息建立关联，
导出上述确定的脸部图像的脸部的朝向，
对导出的上述脸部的朝向和与上述确定的脸部图像建立关联的上述脸部信息的一个或多个脸部的朝向进行比较，在与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量的范围中，包含与上述确定的脸部图像建立关联的脸部信息的脸部的朝向的一个或多个范围，均不含上述导出的脸部的朝向时，将上述确定的脸部图像的特征量和上述导出的脸部的朝向追加到上述脸部信息中并进行存储。
9.(增加)根据权利要求7所述的影像处理方法，其特征在于，
还显示表示实际存储的上述特征量的数量相对于能够存储的上述特征量的上限数量的图像。
10.(增加)根据权利要求8所述的影像处理方法，其特征在于，
还显示表示以下二者中的任一方或双方的图像：实际存储的上述特征量的数量相对于能够存储的上述特征量的上限数量；包含实际存储的上述脸部的朝向的范围相对于与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量的范围。

Claims (8)

1.一种影像处理装置，其特征在于，包括：
影像取得部，取得影像；
位置确定部，从上述影像确定一个脸部图像；
脸部关联部，将确定的上述脸部图像与存储于存储部中的、汇总了一个或多个特征量的脸部信息建立关联；
特征量导出部，导出上述确定的脸部图像的特征量；和
存储控制部，对导出的上述特征量和与上述确定的脸部图像建立关联的上述脸部信息的一个或多个特征量进行比较，在满足预定条件时，将导出的上述特征量追加到上述脸部信息中，并存储到上述存储部中。
2.根据权利要求1所述的影像处理装置，其特征在于，
上述预定条件为：上述导出的特征量和与上述确定的脸部图像建立关联的脸部信息的所有的一个或多个特征量之间的类似度小于预定值。
3.根据权利要求1或2所述的影像处理装置，其特征在于，
包括显示控制部，其使显示部显示：表示实际存储的上述特征量的数量相对于能够存储的上述特征量的上限数量的图像。
4.一种影像处理装置，其特征在于，包括：
影像取得部，取得影像；
位置确定部，从上述影像确定一个脸部图像；
脸部关联部，将确定的上述脸部图像与存储于存储部中的、汇总了一个或多个特征量及该脸部的朝向的脸部信息建立关联；
脸部朝向导出部，导出上述确定的脸部图像的脸部的朝向；
特征量导出部，导出上述确定的脸部图像的特征量；和
存储控制部，对导出的上述脸部的朝向和与上述确定的脸部图像建立关联的上述脸部信息的一个或多个脸部的朝向进行比较，在满足预定条件时，将导出的上述特征量和上述导出的脸部的朝向追加到上述脸部信息中，并存储到上述存储部中。
5.根据权利要求4所述的影像处理装置，其特征在于，
上述预定条件为：在与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量的范围中，包含与上述确定的脸部图像建立关联的脸部信息的脸部的朝向的一个或多个范围，均不含上述导出的脸部的朝向。
6.根据权利要求4或5所述的影像处理装置，其特征在于，
包括显示控制部，其使显示部显示表示以下二者中的任一方或双方的图像：实际存储的上述特征量的数量相对于能够存储的上述特征量的上限数量；包含实际存储的上述脸部的朝向的范围相对于与根据俯仰角和偏向角划分的脸部的朝向相关的预定数量的范围。
7.一种影像处理方法，其特征在于，
取得影像，从上述影像确定一个脸部图像，
将确定的上述脸部图像与汇总了一个或多个特征量的脸部信息建立关联，
导出上述确定的脸部图像的特征量，
对导出的上述特征量和与上述确定的脸部图像建立关联的上述脸部信息的一个或多个特征量进行比较，在满足预定条件时，将导出的上述特征量追加到上述脸部信息中并进行存储。
8.一种影像处理方法，其特征在于，
取得影像，从上述影像确定一个脸部图像，
将确定的上述脸部图像与汇总了一个或多个特征量及该脸部的朝向的脸部信息建立关联，
导出上述确定的脸部图像的脸部的朝向，
对导出的上述脸部的朝向和与上述确定的脸部图像建立关联的上述脸部信息的一个或多个脸部的朝向进行比较，在满足预定条件时，将上述确定的脸部图像的特征量和上述导出的脸部的朝向追加到上述脸部信息中并进行存储。
CN201080002809.8A 2009-11-13 2010-09-06 影像处理装置及影像处理方法 Pending CN102172014A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-260364 2009-11-13
JP2009260364A JP4844670B2 (ja) 2009-11-13 2009-11-13 映像処理装置および映像処理方法
PCT/JP2010/065196 WO2011058807A1 (ja) 2009-11-13 2010-09-06 映像処理装置および映像処理方法

Publications (1)

Publication Number Publication Date
CN102172014A true CN102172014A (zh) 2011-08-31

Family

ID=43991469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080002809.8A Pending CN102172014A (zh) 2009-11-13 2010-09-06 影像处理装置及影像处理方法

Country Status (4)

Country Link
US (1) US20110199505A1 (zh)
JP (1) JP4844670B2 (zh)
CN (1) CN102172014A (zh)
WO (1) WO2011058807A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188444A (zh) * 2011-12-28 2013-07-03 佳能株式会社 摄像设备及其控制方法
CN103186770A (zh) * 2011-12-27 2013-07-03 佳能株式会社 被摄体识别装置及词典数据登记方法
CN103516951A (zh) * 2012-06-22 2014-01-15 卡西欧计算机株式会社 图像生成装置以及图像生成方法
CN103632130A (zh) * 2012-08-20 2014-03-12 佳能株式会社 验证被摄体的验证装置及验证方法
CN104349154A (zh) * 2013-08-09 2015-02-11 Lg电子株式会社 眼镜式终端的信息提供设备和信息提供方法
CN110050276A (zh) * 2016-11-30 2019-07-23 皇家飞利浦有限公司 患者识别系统和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877764B (zh) * 2009-04-29 2012-05-30 鸿富锦精密工业（深圳）有限公司 拍摄系统及使用该拍摄系统进行辅助构图的方法
JP5899472B2 (ja) * 2012-05-23 2016-04-06 パナソニックＩｐマネジメント株式会社 人物属性推定システム、及び学習用データ生成装置
US8855369B2 (en) * 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update
CN105282375B (zh) * 2014-07-24 2019-12-31 钰立微电子股份有限公司 附着式立体扫描模块
US9384385B2 (en) * 2014-11-06 2016-07-05 Intel Corporation Face recognition using gradient based feature analysis
JP6873639B2 (ja) * 2016-09-23 2021-05-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6691309B2 (ja) * 2017-10-31 2020-04-28 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
JP7389997B2 (ja) 2019-11-07 2023-12-01 シーテックドライブ株式会社 カメラを用いたマーケティングシステム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003337926A (ja) * 2002-05-21 2003-11-28 Nippon Signal Co Ltd:The アクセスコントロールシステム
CN1494037A (zh) * 2002-11-01 2004-05-05 ��ʽ���綫֥ 人员识别仪器、人员识别方法和通行控制器
JP2007140823A (ja) * 2005-11-17 2007-06-07 Omron Corp 顔照合装置、顔照合方法及びプログラム
CN101401126A (zh) * 2006-03-15 2009-04-01 欧姆龙株式会社 面部图像注册装置、面部图像注册方法、面部图像注册程序、以及记录媒体
CN101408929A (zh) * 2007-10-10 2009-04-15 三星电子株式会社 一种用于人脸识别系统的多模板人脸注册方法和装置
CN101558431A (zh) * 2006-12-13 2009-10-14 松下电器产业株式会社 脸认证设备
US20090256926A1 (en) * 2008-04-09 2009-10-15 Sony Corporation Image capturing device, image processing device, image analysis method for the image capturing device and the image processing device, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4553138B2 (ja) * 2005-09-28 2010-09-29 株式会社デンソー 顔画像認証装置
JP4862447B2 (ja) * 2006-03-23 2012-01-25 沖電気工業株式会社 顔認識システム
JP4577410B2 (ja) * 2008-06-18 2010-11-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003337926A (ja) * 2002-05-21 2003-11-28 Nippon Signal Co Ltd:The アクセスコントロールシステム
CN1494037A (zh) * 2002-11-01 2004-05-05 ��ʽ���綫֥ 人员识别仪器、人员识别方法和通行控制器
JP2007140823A (ja) * 2005-11-17 2007-06-07 Omron Corp 顔照合装置、顔照合方法及びプログラム
CN101401126A (zh) * 2006-03-15 2009-04-01 欧姆龙株式会社 面部图像注册装置、面部图像注册方法、面部图像注册程序、以及记录媒体
CN101558431A (zh) * 2006-12-13 2009-10-14 松下电器产业株式会社 脸认证设备
CN101408929A (zh) * 2007-10-10 2009-04-15 三星电子株式会社 一种用于人脸识别系统的多模板人脸注册方法和装置
US20090256926A1 (en) * 2008-04-09 2009-10-15 Sony Corporation Image capturing device, image processing device, image analysis method for the image capturing device and the image processing device, and program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186770A (zh) * 2011-12-27 2013-07-03 佳能株式会社 被摄体识别装置及词典数据登记方法
CN103186770B (zh) * 2011-12-27 2016-06-01 佳能株式会社 被摄体识别装置及词典数据登记方法
CN103188444A (zh) * 2011-12-28 2013-07-03 佳能株式会社 摄像设备及其控制方法
CN103188444B (zh) * 2011-12-28 2016-02-17 佳能株式会社 摄像设备及其控制方法
CN103516951B (zh) * 2012-06-22 2016-05-25 卡西欧计算机株式会社 图像生成装置以及图像生成方法
CN103516951A (zh) * 2012-06-22 2014-01-15 卡西欧计算机株式会社 图像生成装置以及图像生成方法
CN103632130A (zh) * 2012-08-20 2014-03-12 佳能株式会社 验证被摄体的验证装置及验证方法
CN103632130B (zh) * 2012-08-20 2017-11-14 佳能株式会社 验证被摄体的验证装置及验证方法
CN104349154A (zh) * 2013-08-09 2015-02-11 Lg电子株式会社 眼镜式终端的信息提供设备和信息提供方法
US9761050B2 (en) 2013-08-09 2017-09-12 Lg Electronics Inc. Information provision device for glasses-type terminal and information provision method
CN104349154B (zh) * 2013-08-09 2017-11-14 Lg电子株式会社 眼镜式终端的信息提供设备和信息提供方法
CN110050276A (zh) * 2016-11-30 2019-07-23 皇家飞利浦有限公司 患者识别系统和方法
CN110050276B (zh) * 2016-11-30 2023-09-29 皇家飞利浦有限公司 患者识别系统和方法

Also Published As

Publication number Publication date
JP4844670B2 (ja) 2011-12-28
JP2011109275A (ja) 2011-06-02
US20110199505A1 (en) 2011-08-18
WO2011058807A1 (ja) 2011-05-19

Similar Documents

Publication Publication Date Title
CN102172014A (zh) 影像处理装置及影像处理方法
CN101193208B (zh) 图像拍摄装置、图像处理装置及方法
JP4535164B2 (ja) 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
CN102377945A (zh) 摄像装置
US8063943B2 (en) Digital photographing apparatus, method for controlling the same, and a recording medium for storing a program to implement the method
CN101453573B (zh) 图像显示装置和照相机、图像显示方法及图像显示系统
CN101600051A (zh) 图像拍摄设备、图像拍摄方法和计算机程序
CN101262561B (zh) 成像设备及其控制方法
JP2008078713A (ja) 記録装置および方法、プログラム、並びに再生装置および方法
CN101895679B (zh) 拍摄装置和拍摄方法
JPWO2011089884A1 (ja) 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
JP5754458B2 (ja) 動画像抽出装置、動画像抽出方法及びプログラム
US20170032172A1 (en) Electronic device and method for splicing images of electronic device
CN102006405A (zh) 摄像装置
CN105407268B (zh) 图像校正装置、图像校正方法以及记录介质
CN105100586A (zh) 检测装置及检测方法
CN104917943B (zh) 摄像装置以及摄像装置的拍摄物跟踪方法
CN103037157A (zh) 图像处理装置以及图像处理方法
CN103996190A (zh) 区域特定方法、区域特定装置、服务器及系统
CN105450911A (zh) 图像处理装置、图像处理方法
CN103997593A (zh) 图像生成装置及图像生成方法
CN105744144A (zh) 图像生成方法以及图像生成装置
US20080170129A1 (en) Digital photographing apparatus and method for controlling the same
CN104052908A (zh) 显示装置、以及显示方法
CN103327234A (zh) 图像处理装置、以及图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110831