CN101188677A - 摄影装置、图像处理装置、图像处理方法以及使计算机执行该方法的程序 - Google Patents

摄影装置、图像处理装置、图像处理方法以及使计算机执行该方法的程序 Download PDF

Info

Publication number
CN101188677A
CN101188677A CNA2007101886556A CN200710188655A CN101188677A CN 101188677 A CN101188677 A CN 101188677A CN A2007101886556 A CNA2007101886556 A CN A2007101886556A CN 200710188655 A CN200710188655 A CN 200710188655A CN 101188677 A CN101188677 A CN 101188677A
Authority
CN
China
Prior art keywords
face
mentioned
position mark
image
face position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101886556A
Other languages
English (en)
Other versions
CN100556078C (zh
Inventor
冈田深雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101188677A publication Critical patent/CN101188677A/zh
Application granted granted Critical
Publication of CN100556078C publication Critical patent/CN100556078C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Abstract

本发明提供一种摄影装置、图像处理装置、图像处理方法，用于利用脸识别技术提供便利的用户接口。摄像装置(100)具有：图像输入部(810)，输入由摄像部(120)拍摄的被摄体图像；脸检测部(200)，从该图像中检测出脸；脸位置标记生成部(820)，生成表示检测出的脸在所输入的图像中的位置的脸位置标记；重叠部(830)，将所输入的图像与所生成的脸位置标记重叠；以及图像输出部(840)，输出重叠后的图像。脸位置标记具有矩形形状、椭圆形状和作为仅由矩形的四角形成的形状的四角点形状当中的任意一种形状。生成脸位置标记，使得该脸位置标记在所输入的图像中配置在脸的周围。另外，生成脸位置标记，使得该脸位置标记在所输入的图像中配置成包围该脸。

Description

摄影装置、图像处理装置、图像处理方法以及使计算机执行该方法的程序
技术领域
本发明涉及摄像装置，特别是涉及在包含脸的图像中显示该脸的位置的摄影装置、图像处理装置、其中的图像处理方法以及使计算机执行该方法的程序。
背景技术
目前，数码照相机、数码摄像机等摄像装置以及具备两者的功能的移动图像及静止图像相机等摄像装置得到快速的普及，并且正在推进这些摄像装置的高性能化。
作为摄像装置所具备的功能中的代表性功能，包括检测人物的脸的脸检测功能。该脸检测功能是从摄影图像中检测出人物的脸区域的功能。由于可以从摄影图像中检测出人物的脸区域，因此考虑在摄像装置的自动聚焦(AF)、自动曝光控制(AE)、自动白平衡等各种应用和图像附带数据中应用脸检测功能。
例如，有人提出以下的图像处理方法：从图像中抽出肤色区域，基于该肤色区域检测出人物的嘴、眼等特征点的位置，并基于肤色区域和特征点的位置来判定肤色区域是否为脸区域(例如参照专利文献1)。
[专利文献1]特开2004-5384号公报(图1)
发明内容
发明所要解决的技术问题
根据上述现有技术，可以从摄影图像中检测出人物的脸区域。而且，使用脸识别技术，可以针对所检测出的脸区域，抽出脸的面积的大小、脸的位置、脸相似性的值等各种值。另外，还可以判定笑脸、脸的表情、眨眼的有无等脸的一部分的状态等。
这样，使用脸识别技术，可以抽出与摄影图像中包含的脸有关的各种信息。因此，例如如果在摄像装置中用户可以利用脸识别技术容易地识别与从摄影图像中检测出的脸有关的各种信息，则可以更容易地使用摄像装置，从而可以迅速地进行摄影等。
因此，本发明的目的在于，使用户可以与从图像中检测出的脸一起容易地识别与该脸有关的各种信息。另外，本发明的目的还在于，利用脸识别技术提供一种便利的用户接口。
解决技术问题的技术方案
本发明为了解决上述问题而作出，其第一方面是一种摄像装置、其图像处理方法以及使计算机执行该方法的程序，该摄像装置的特征在于，具有：摄像单元，拍摄被摄体的图像；图像输入单元，输入由上述摄像单元拍摄的图像；脸检测单元，从由上述图像输入单元输入的图像中检测出脸；脸位置标记生成单元，生成表示由上述脸检测单元检测出的脸在上述图像输入单元输入的图像中的位置的脸位置标记；重叠单元，将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记重叠；以及显示单元，显示由上述重叠单元重叠后的图像。由此产生的作用是：可以在输入所拍摄的图像后，从输入的图像中检测出脸，生成表示所检测出的脸在所输入的图像中的位置的脸位置标记，重叠所输入的图像和所生成的脸位置标记，显示重叠后的图像。
另外，在该第一方面中，还具有：设定单元，设定是否由上述脸位置标记生成单元生成脸位置标记。由此产生的作用是：可以设定是否生成脸位置标记，选择脸位置标记的显示的有无。
另外，在该第一方面中，上述脸位置标记具有矩形形状、椭圆形状、和作为仅由矩形的四个角形成的形状的四角点形状当中的任意一种形状。由此产生的作用是：可以显示具有矩形形状、椭圆形状和作为仅由矩形的四个角形成的形状的四角点形状当中的任意一种形状的脸位置标记。
另外，在该第一方面中，上述脸位置标记生成单元生成与由上述脸检测单元检测出的脸有关的脸位置标记，使得该脸位置标记在由上述图像输入单元输入的图像中配置在该脸的周围。由此产生的作用是：可以显示脸位置标记，使得该脸位置标记在所输入的图像中配置在脸的周围。
另外，在该第一方面中，上述脸位置标记生成单元生成与由上述脸检测单元检测出的脸有关的脸位置标记，使得该脸位置标记在由上述图像输入单元输入的图像中配置成包围该脸。由此产生的作用是：可以显示脸位置标记，使得该脸位置标记在所输入的图像中包围脸。
另外，在该第一方面中，在上述脸检测单元从由上述图像输入单元输入的图像中检测出多张脸的情况下，上述脸位置标记生成单元生成上述脸位置标记，使得上述脸位置标记的颜色、上述脸位置标记的线的种类、上述脸位置标记的线的粗细、上述脸位置标记的透过度、上述脸位置标记的闪烁状态、上述脸位置标记的框架的内侧的亮度或颜色当中的至少一者在上述检测出的每张脸中不同。由此产生的作用是：在从输入的图像中检测出多张脸的情况下，可以显示脸位置标记，使得脸位置标记的颜色、线的种类、线的粗细、透过度、闪烁状态、其框架内侧的亮度或颜色当中的至少一者在检测出的每张脸中不同。
另外，在该第一方面中，上述显示单元在由上述重叠单元重叠后的图像中变更上述脸位置标记的框架的内侧或外侧的任意一者的亮度或颜色来进行显示。由此产生的作用是：在重叠后的图像中变更脸位置标记的框架的内侧或外侧的任意一者的亮度或颜色来显示。
另外，在该第一方面中，上述脸检测单元检测出与从上述图像输入单元输入的图像中检测出的脸有关的各种信息；上述脸位置标记生成单元根据与上述脸检测单元检测出的脸有关的各种信息，生成与该脸有关的脸位置标记。由此产生的作用是：可以检测出与从所输入的图像中检测出的脸有关的各种信息，根据与检测出的脸有关的各种信息，生成与该脸有关的脸位置标记。在该情况下，上述与脸有关的各种信息是脸区域的面积、脸区域的坐标、脸相似性的值、脸正面朝向的程度、脸倾斜的程度、表情在笑的程度、表情严肃的程度、闭眼的程度中的任意一种信息或组合了这些信息的信息。由此产生的作用是：可以根据脸区域的面积、脸区域的坐标、脸相似性的值、脸正面朝向的程度、脸倾斜的程度、表情在笑的程度、表情严肃的程度、闭眼的程度中的任意一种信息或组合了这些信息的信息，来生成与该脸有关的脸位置标记。
另外，在该第一方面中，上述脸位置标记生成单元根据与由上述脸检测单元检测出的脸有关的各种信息，变更与该脸有关的脸位置标记的透过率。由此产生的作用是：可以根据与检测出的脸有关的各种信息，依次变更与该脸有关的脸位置标记的透过率来进行显示。
另外，在该第一方面中，还具有：相机控制值检测单元，根据与由上述脸检测单元检测出的脸有关的各种信息，针对该脸检测出聚焦的程度或镜头光圈对准的程度，其中，上述脸位置标记生成单元根据上述相机控制值检测单元检测出的针对该脸的聚焦程度或镜头光圈对准程度，生成与该脸有关的脸位置标记。由此产生的作用是：可以根据与检测出的脸有关的各种信息，针对该脸检测出聚焦的程度或镜头光圈对准的程度，根据针对该脸的聚焦程度或镜头光圈对准程度，生成与该脸有关的脸位置标记来显示。
另外，在该第一方面中，还具有：主要人物推定单元，在上述脸检测单元从上述图像输入单元输入的图像中检测出多张脸的情况下，根据上述与脸有关的各种信息，从上述检测出的多张脸中推定最主要的人物，其中，上述脸位置标记生成单元以使与上述主要人物推定单元推定的主要人物的脸有关的脸位置标记和与其他人物的脸有关的脸位置标记不同的形式，来生成各个脸位置标记。由此产生的作用是：在从所输入的图像中检测出多张脸的情况下，根据与这些脸有关的各种信息，从检测出的多张脸中推定最主要的人物，以使与所推定的主要人物的脸有关的脸位置标记和与其他人物的脸有关的脸位置标记不同的形式，生成各个脸位置标记来显示。
另外，在该第一方面中，还具有：特定人物存储单元，存储与特定人物的脸有关的特定人物信息；和特定人物判定单元，判定由上述脸检测单元检测出的脸是否与存储在上述特定人物存储单元中的特定人物的脸一致，其中，当上述特定人物判定单元判定由上述脸检测单元检测出的脸与存储在上述特定人物存储单元中的特定人物的脸一致时，上述脸位置标记生成单元以使与该脸有关的脸位置标记和与其他人物的脸有关的脸位置标记不同的形式，来生成各个脸位置标记。由此产生的作用是：判定检测出的脸是否与特定人物的脸一致，在判定为一致时，以使与该脸有关的脸位置标记和与其他人物的脸有关的脸位置标记不同的形式，生成各个脸位置标记来显示。
另外，在该第一方面中，当由上述脸检测单元检测出的脸朝向上下左右的某个方向时，上述脸位置标记生成单元根据该方向和角度生成在与该脸有关的脸位置标记附近显示的脸朝向标记；上述重叠单元将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记和脸朝向标记重叠。由此产生的作用是：当检测出的脸朝向上下左右的某个方向时，根据该方向和角度生成在与该脸有关的脸位置标记附近显示的脸朝向标记，将所输入的图像与所生成的脸位置标记和脸朝向标记重叠进行显示。
另外，在该第一方面中，当由上述脸检测单元检测出的脸向转动方向倾斜时，上述脸位置标记生成单元根据该倾斜生成在与该脸有关的脸位置标记附近显示的脸倾斜标记；上述重叠单元将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记和脸倾斜标记重叠。由此产生的作用是：当检测出的脸向转动方向倾斜时，根据该倾斜生成在与该脸有关的脸位置标记附近显示的脸倾斜标记，将所输入的图像与所生成的脸位置标记和脸倾斜标记重叠进行显示。另外，转动方向是指以脸的前后方向为轴来旋转脸的旋转方向。
另外，在该第一方面中，上述脸位置标记生成单元生成作为显示由上述脸检测单元检测出的脸的上下左右的某一个的脸位置标记的特定位置显示标记；上述重叠单元将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的特定位置显示标记重叠。由此产生的作用是：可以生成显示检测出的脸的上下左右的某一个的特定位置显示标记，将所输入的图像与所生成的特定位置显示标记重叠来进行显示。
另外，在该第一方面中，上述脸位置标记生成单元生成在上述脸位置标记上或者其附近显示的、显示由上述脸检测单元检测出的脸的上下左右的某一个的特定位置显示标记；上述重叠单元将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记和特定位置显示标记重叠。由此产生的作用是：可以生成显示检测出的脸的上下左右的某一个的特定位置显示标记，将所输入的图像与所生成的脸位置标记和特定位置显示标记重叠，在脸位置标记上或其附近显示特定位置显示标记。
另外，在该第一方面中，还具有：摄影状态检测单元，根据由上述脸位置标记生成单元生成的特定位置显示标记，检测出处于纵长视角的摄影状态，其中，在由上述摄影状态检测单元检测出处于纵长视角的摄影状态时，上述显示单元将该情况与由上述脸位置标记生成单元生成的特定位置显示标记一起显示在由上述重叠单元重叠后的图像上。由此产生的作用是：可以根据所生成的特定位置显示标记，检测出处于纵长视角的摄影状态，将处于纵长视角的摄影状态的情况与特定位置显示标记一起显示在重叠后的图像上。
另外，在该第一方面中，还具有：输出单元，在由上述摄影状态检测单元检测出处于纵长视角的摄影状态时，将表示该情况的图像附带信息与由上述重叠单元重叠后的图像一起输出到存储介质中。由此产生的作用是：可以将表示处于纵长视角的摄影状态的图像附属信息与重叠后的图像一起输出到存储介质中。
另外，在该第一方面中，还具有：选择单元，在与上述脸检测单元检测出的多张脸对应的脸位置标记与该多张脸一起显示在上述显示单元上时，从上述显示的多张脸中选择希望人物的脸，其中，上述脸位置标记生成单元以使与上述选择单元选择的人物的脸有关的脸位置标记和与其他人物的脸有关的脸位置标记不同的形式，来生成各个脸位置标记。由此产生的作用是：可以在将与多张脸对应的脸位置标记与该多张脸一起显示时，从所显示的多张脸中选择希望人物的脸，以使与所选择的人物的脸有关的脸位置标记和与其他人物的脸有关的脸位置标记不同的形式，来生成脸位置标记并进行显示。
另外，本发明的第二方面是一种图像处理装置、其图像处理方法以及使计算机执行该方法的程序，该图像处理装置的特征在于，具有：图像输入单元，输入图像；脸检测单元，从由上述图像输入单元输入的图像中检测出脸；脸位置标记生成单元，生成表示由上述脸检测单元检测出的脸在上述图像输入单元输入的图像中的位置的脸位置标记；重叠单元，将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记重叠；以及输出单元，输出由上述重叠单元重叠后的图像。由此产生的作用是：从输入的图像中检测出脸，生成表示所检测出的脸在所输入的图像中的位置的脸位置标记，重叠所输入的图像和所生成的脸位置标记，输出重叠后的图像。
发明效果
根据本发明，可以实现的有利效果是，用户可以与从图像中检测出的脸一起容易地识别与该脸有关的各种信息。
附图说明
图1是表示本发明实施方式的摄像装置100的功能结构例的框图。
图2是表示脸检测部200的功能结构例的框图。
图3是表示表情检测部600的功能结构例的框图。
图4是表示与摄像装置100的脸位置标记重叠有关的功能结构例的框图。
图5是表示在显示在显示部161上的摄影图像上重叠脸位置标记时的重叠方法的一例的图。
图6是表示显示在显示部161上的图像的显示例的图。
图7是表示显示在显示部161上的图像的显示例的图。
图8是表示在显示部161上显示附加了矩形的脸位置标记后的人脸501至503的情况下的显示例的图。
图9是表示在显示部161上显示附加了矩形的脸位置标记后的人脸501至503的情况下的显示例的图。
图10是表示在显示部161上显示附加了矩形的脸位置标记后的人脸504的情况下的显示例的图。
图11是表示在显示部161上显示附加了矩形的脸位置标记后的人脸505至507的情况下的显示例的图。
图12是表示在显示部161上显示附加了矩形的脸位置标记后的人脸508至510的情况下的显示例的图。
图13是表示在显示部161上显示附加了矩形的脸位置标记后的人脸511至513的情况下的显示例的图。
图14是表示在显示部161上显示附加了矩形的脸位置标记后的人脸514至518的情况下的显示例的图。
图15是表示在显示部161上显示附加了矩形的脸位置标记后的人脸519至521的情况下的显示例的图。
图16是表示摄像装置100进行的脸位置标记显示处理的处理过程的流程图。
图17是表示摄像装置100进行的脸位置标记的透过率等的选择处理的处理过程的流程图。
图18是表示作为摄像装置100的一个变形例的图像处理装置101的功能结构例的框图。
符号说明
100 摄像装置
101 图像处理装置
110 控制部
120 摄像部
121 光学系统
122 摄像元件
130 信号处理部
140 图像存储部
150 图像压缩解压部
160 用户接口
161 显示部
162 选择接受部
170 输入输出端子
180 存储介质
190 总线
200 脸检测部
210 控制部
220 图像输入部
230 图像放大缩小部
240 图像保持部
250 基准数据保持部
260 判定部
270 检测结果输出部
280 图像输出部
600 表情检测部
610 控制部
620 图像输入部
630 图像放大缩小部
640 图像保持部
650 基准数据保持部
660 判定部
670 检测结果输出部
680 图像输出部
700 保持部
710 振动传感器
810 图像输入部
820 脸位置标记生成部
830 重叠部
840 图像输出部
具体实施方式
以下参照附图详细地说明本发明的实施方式。
图1是表示本发明实施方式的摄像装置100的功能结构例的框图。作为摄像装置100，可以举出数字照相机、数字摄像机等摄像装置或者附属于便携电话、个人计算机等终端装置的相机等摄像装置作为例子。
摄像装置100具备控制部110、摄像部120、信号处理部130、图像存储部140、图像压缩解压部150、用户接口160、输入输出端子170、存储介质180、总线190、脸检测部200、表情检测部600、保持部700、振动传感器710。各块间的图像信号的收发通过直接的交换或者经由图像存储部140或总线190的交换来进行。
控制部110是根据存储在存储器(未图示)中的各种控制程序来控制摄像装置100的各部分的控制部。
摄像部120具有光学系统121和摄像元件122，对来自被摄体的入射光进行光电变换，变换成电信号，并将光电变换后的电信号输出到信号处理部130。光学系统121具有聚焦镜头和变焦镜头等的镜头组，将经由这些镜头组输入的来自被摄体的入射光输出到摄像元件122。摄像元件122对从光学系统121输出的入射光进行光电变换，并将光电变换后的电信号输出到信号处理部130。
信号处理部130对从摄像元件122输出的电信号实施各种信号处理，并将实施了信号处理后的图像数据输出到图像存储部140、图像压缩解压部150、用户接口160和脸检测部200。作为信号处理部130中的信号处理，包括降噪处理、电平校正处理、A/D转换处理和色彩校正处理等信号处理。另外，信号处理部130根据控制部110的指示，对从各部分输入的图像执行各种图像处理。
图像存储部140存储在摄像装置100中成为处理对象的图像数据。
图像压缩解压部150按照各种图像处理对输入的各种图像数据进行压缩或解压。例如，由图像压缩解压部150实施了压缩处理后的图像数据被输出到存储介质180并记录在存储介质180中。另外，由图像压缩解压部150实施了解压处理后的图像数据被输出到图像存储部140、显示部161、脸检测部200。作为压缩形式，例如可以采用JEPG(Joint Photographic Experts Group，联合图像专家组)形式。
用户接口160具有显示部161和选择接受部162，提供针对使用摄像装置100的用户的接口。
显示部161是显示与信号处理部130或图像压缩解压部150输出的图像数据相对应的图像的显示部。显示部161例如显示作为摄像装置100要拍摄的被摄体的图像的摄影图像。
选择接受部162将用户输入的选择信息变换成电信号，并将变换后的电信号输出到控制部110。例如，在脸检测部200从显示在显示部161上的摄影图像中检测出脸的情况下，摄像装置100在该脸上附加脸位置标记，向用户通知摄影图像中包含脸。这样，在图像中包含脸的情况下，可以设定成在该脸上附加脸位置标记(ON设定)，也可以设定成不在该脸上附加脸位置标记(OFF设定)。在选择接受部162中进行该ON、OFF设定。另外，在显示在显示部161上的图像中包含多张脸的情况下，在选择接受部162中进行选择用户所希望的人物的脸的情况下的选择操作。
另外，用户接口160例如可以如图15(b)所示，使显示部161与选择接受部162一体构成为触摸屏，也可以如图15(c)所示，将显示部161作为液晶显示器(LCD)，将选择接受部162作为十字键162a等硬键，分别构成两者。
输入输出端子170是将图像压缩解压部150输出的图像数据输出到外部存储介质等外部装置、并将从外部存储介质输入的图像数据输出到图像压缩解压部150的输入输出端子。
存储介质180是存储图像压缩解压部150输出的图像数据、并将所存储的图像数据输出到图像压缩解压部150的图像存储介质。作为图像存储介质，包括磁盘、光盘、半导体存储介质、磁带等图像存储介质。另外，图像存储介质是可以外部拆卸的存储介质和内置存储介质中的至少一者。
总线190是用于传输图像数据的共用总线。
脸检测部200检测与输入的图像数据相对应的图像中包含的人脸。将参照图2说明脸检测部200的详细情况。
表情检测部600检测由脸检测部200检测出的脸的各种表情等。将参照图3说明表情检测部600的详细情况。
保持部700是存储各种信息的易失性/非易失性存储介质。
振动传感器710检测摄像装置100的加速度、运动、倾斜等，并将检测出的各种信息输出到控制部110。振动检测器710例如可以利用陀螺仪传感器来实现。
图2是表示脸检测部200的功能结构例的框图。
脸检测部200具有控制部210、图像输入部220、图像放大缩小部230、图像保持部240、基准数据保持部250、判定部260、检测结果输出部270和图像输出部280。
控制部210按照来自控制部110的指示控制脸检测部200的各部分。
图像输入部220在从信号处理部130、图像存储部140、图像压缩解压部150中的任何一个输入了图像数据时，将输入的图像数据输出到图像放大缩小部230。
图像放大缩小部230针对与图像输入部220输出的图像数据相对应的图像，对适合于脸的检测的图像执行放大或缩小处理。图像的放大率或缩小率根据来自控制部110的指示来决定。
图像保持部240保持图像放大缩小部230进行了放大或缩小处理后的图像。
基准数据保持部250保持在脸检测中使用的脸的基准数据，并将所保持的脸的基准数据输出到判定部260。这里作为基准的脸数据例如是脸图像本身、作为人脸的特征数据库、与特定人物的脸有关的特征数据库等。一般地，与脸图像本身相比，特征数据可以用较小的存储容量保持更多的脸数据库。
判定部260判定与图像保持部240中保持的图像数据对应的图像中是否包含脸，并将判定结果输出到检测结果输出部270。具体地，判定部260以一定的窗口尺寸部分地取出与图像保持部240中保持的图像数据对应的图像，根据所取出的图像与保持在基准数据保持部250中的脸数据的相关性的高低，来判定所取出的图像是否为脸图像。重复执行这些判定，判定与图像保持部240中保持的图像数据对应的图像中是否包含脸。
另外，判定部260根据与基准数据保持部250中保持的脸数据的相关性的高低，抽出与对应于图像保持部240中保持的图像数据的图像中包含的脸有关的各种数据，并将所抽出的各种数据作为脸检测结果，输出到检测结果输出部270。
检测结果输出部270接收到判定部260输出的判定结果和脸检测结果后，将所接收的判定结果和脸检测结果输出到控制部110。
图像输出部280将保持在图像保持部240中的图像输出到图像存储部140。
这里说明脸检测部200输出的脸检测结果的值。
作为脸检测部200输出的脸检测结果的值，包括以下所示的(1)至(6)等与脸区域有关的评价值。
(1)脸的面积的大小(离相机的距离)
(2)脸的位置(离图像中心的距离)
(3)脸相似性的值
(4)脸朝向旁边的程度(正面方向、上下左右任意一个方向)
(5)脸的倾斜程度(歪头)
(6)脸的上下左右
可以将这些当中的任意一个值单独用于脸位置标记的生成，并且可以对它们进行加权处理，用于脸位置标记的生成。另外，作为(1)至(6)以外的脸检测结果的值，包括以下所示的(7)至(9)等与脸的表情或脸的一部分的状态等有关的评价值。
(7)笑脸的程度
(8)严肃的脸的程度
(9)闭眼(眨眼)的程度
这些也可以用于脸位置标记的生成。
图3(a)是表示表情检测部600的功能结构例的框图。
表情检测部600具有控制部610、图像输入部620、图像放大缩小部630、图像保持部640、基准数据保持部650、判定部660、检测结果输出部670和图像输出部680。
控制部610按照来自控制部110的指示来控制表情检测部600的各部分。
在从图像存储部140输入了与脸检测部200检测出的脸对应的图像数据时，图像输入部620向图像放大缩小部630输出所输入的图像数据。
针对与图像输入部620输出的图像数据对应的图像，图像放大缩小部630对适合于表情等各种信息的检测的图像执行放大或缩小处理。图像的放大率或缩小率根据来自控制部110的指示来决定。
图像保持部640保持图像放大缩小部630进行了放大或缩小处理后的图像。
基准数据保持部650保持在表情检测等中使用的脸的各部分等的基准数据，并将所保持的基准数据输出到判定部660。这里作为基准的基准数据例如是眼或嘴等的图像本身、作为人脸的特征数据库、与特定人物的脸有关的特征数据库等，如图3(b)所示，包括用于抽出脸图像中的右眼和左眼的右眼数据库左眼数据库651、用于判定笑脸的笑脸数据库652、用于判定眨眼脸的眨眼脸数据库653、用于将由用户指定的人物作为特定人物抽出的特定人物数据库654等。一般地，与图像本身相比，特征数据可以用较小的存储容量保持更多的各种数据库。
判定部660判定与图像保持部640中保持的图像数据对应的脸图像中的表情等，并将表情检测结果输出到检测结果输出部670。具体地，判定部660以一定的窗口尺寸部分地取出与图像保持部640中保持的图像数据对应的脸图像，根据所取出的图像与保持在基准数据保持部650中的各种数据的相关性的高低，来抽出与所取出的图像相关的各种数据。重复执行这些抽出处理，根据所抽出的各种数据来判定与图像保持部640中保持的图像数据对应的脸图像的表情等。
另外，判定部660根据脸检测部200输出的脸检测结果的值，判定与图像保持部640中保持的图像数据对应的脸图像的表情等，并将与所判定的表情等有关的各种数据作为表情检测结果输出到检测结果输出部670。
检测结果输出部670接收到判定部660输出的表情检测结果后，将所接收到的表情检测结果输出到控制部110。
图像输出部680将保持在图像保持部640中的图像输出到图像存储部140。
以下说明根据脸检测部200输出的脸检测结果的值来判定被认为是最主要的人物的情况。
例如，在摄影图像中存在多张脸的情况下，可以对脸检测部200检测出的各张脸的各种评价值进行综合，判定被认为是最主要的人物，通过使附加在该人物上的脸位置标记的颜色或粗细与附加在其他人物上的脸位置标记不同，来向用户告知该人物。
作为判定被认为是最主要的人物的判定方法，例如包括以下方法：使用以下的(式1)求出综合评价值E0，将评价值E0最大的脸判定为多张脸中最主要人物的脸。E01至E05表示各个脸评价值的加权系数。
E0＝E01×脸区域的面积
+E02×脸区域的坐标
+E03×脸相似性的值
+E04×正面朝向的程度
+E05×脸倾斜小的程度......(式1)
接着说明根据脸检测部200输出的脸检测结果的值来求脸的焦点·光圈的评价值E1的情况。
作为求脸的焦点·光圈的评价值E1的方法，例如包括使用以下(式2)来求出的方法。E10或E11表示各个脸评价值的加权系数。
E1＝E10×焦点评价值
+E11×光圈评价值......(式2)
接着说明根据脸检测部200输出的脸检测结果的值来求脸表情的评价值E2的情况。参照图17来说明求脸表情的评价值E2的动作。
作为求脸表情的评价值E2的方法，例如包括使用以下(式3)来求出的方法。E20或E21表示各个脸评价值的加权系数。
E2＝E20×笑脸(或严肃的脸)的程度
+E21×眨眼回避程度......(式3)
接着说明根据脸检测部200输出的脸检测结果的值来求表情·眨眼程度的情况。
首先说明计算表情程度的方法。
在最好使用对人物进行摄影时的摄影模式、即肖像模式等来对人物进行摄影的情况下，不漏掉作为被摄体的人物嫣然一笑变成笑脸的瞬间而按下快门(或作为动态图像来录制)是很重要的。目前，作为被摄体的人物是否充分地变成笑脸是由摄影者来判断的。
在本发明的实施方式中，通过使该笑脸的程度数值化，可以由摄像装置100来判断被摄体人物是笑脸。
为了识别人的脸，与综合了大量脸数据的数据库进行模板匹配的方法是已知的(例如参照特开2003-271933、特开2004-30629等)。因此，例如对于笑脸，根据大量笑脸的样本图像来构筑笑脸数据库，对该数据库与取出输入图像的一部分而形成的图像进行模板匹配处理，由此可以判定“是笑脸”/“不是笑脸”。另外，由此可以进行笑脸程度的数值化。
作为笑脸程度的计算式，例如包括以下(式4)的计算式。
笑脸程度Esmile
＝Ws0×(眼变细的程度)
+Ws1×(嘴的左右端横向扩展的程度)
+Ws2×(上下唇间看到牙齿的程度)
+Ws3×(嘴的左右端上升的程度)
+Ws4×(笑纹靠近嘴的左右角的程度)
+Ws5×(面颊向前突出(对光变白)的程度)
+Wsn......
(Wsn：各要素的加权系数)......(式4)
另外，在证件照拍摄等中，严肃的脸会变成按快门的时机。这种情况下，与笑脸同样，根据大量严肃的脸的样本图像来构筑严肃脸数据库，通过进行模板匹配处理，将严肃程度数值化。
在严肃脸的情况下的计算式中，对于眼睁开的程度、嘴的横向宽度窄的程度等，可以利用大致相反的状态来定义上述(式4)中的各要素。
接着说明计算眨眼程度的方法。
在进行人物摄影的情况下，最好基本上避免眨眼。因此，眨眼期间(即从开始闭眼起到完全闭眼、完全睁开眼为止的时间)被认为不适合作为按快门的时机。特别是，在拍摄多人的集体照片的情况下，在所有人物都不眨眼而完全睁开眼的时刻进行拍摄是很困难的。但是，对此，目前也是由摄影者来判断。
在本发明的实施方式中，可以由摄像装置100来识别被摄体人物是否正在眨眼，并且可以将该眨眼的程度数值化。对于眨眼，也可以根据大量眨眼脸的样本图像来构筑眨眼脸数据库，并对该数据库与取出输入图像的一部分而形成的图像进行模板匹配处理，由此来判定“是眨眼脸”/“不是眨眼脸”。另外，可以进行眨眼程度的数值化。
接着说明检测特定人物的方法。
所谓特定人物是指由摄像装置100的用户指定的人物。与该人物的脸区域有关的各种数据作为特定人物数据库654被保持在摄像装置100内。作为各种数据，例如包括脸的轮廓、脸的构成部分(眼、鼻、眉、嘴、耳、头发、胡须、眼镜等)的形状、特征、位置等。另外，也可以从外部向摄像装置100提供特定人物的数据。将与该特定人物的脸有关的特定人物数据库与从输入图像检测出的脸区域中的各种数据进行比较，计算其相关值，判定是否为同一人物，如果是同一人物，则判定该人物为特定人物。对于这样的基于脸图像的特定人物识别，记载在特公平6-7388等中的技术是已知的。
图4是表示本发明实施方式的摄像装置100的与脸位置标记重叠有关的功能结构例的框图。
摄像装置100具有图像输入部810、脸检测部200、表情检测部600、脸位置标记生成部820、重叠部830、图像输出部840和选择接受部162。
图像输入部810输入图像，并将所输入的图像输出到脸检测部200、脸位置标记生成部820和重叠部830。
脸检测部200与图1和图2中所示的脸检测部200相同，用于从图像输入部810输出的图像中检测出脸，并将检测结果等输出到表情检测部600和脸位置标记生成部820。
脸位置标记生成部820生成表示脸检测部200检测出的脸在图像输入部810输出的图像中的位置的脸位置标记，并将所生成的脸位置标记输出到重叠部830。对于脸位置标记，根据脸检测部200输出的检测结果和表情检测部600输出的表情检测结果等，生成脸检测部200检测出的各张脸的脸位置标记。对于脸位置标记生成部820生成的脸位置标记，将利用图5至图15详细说明。另外，脸位置标记生成部820在从选择接受部162输出了与脸位置标记有关的ON设定时，生成脸位置标记，而在从选择接受部162输出了与脸位置标记有关的OFF设定时，不生成脸位置标记。
重叠部830将图像输入部810输出的图像与脸位置标记生成部820生成的脸位置标记进行重叠，并将重叠后的图像输出到图像输出部840。对于重叠方法，将使用图5进行说明。
图像输出部840输出由重叠部830重叠后的重叠图像。图像输出部840例如对应于显示重叠图像的显示部161。另外，例如对应于将与重叠图像对应的图像数据输出到显示重叠图像的其它外部装置的输入输出端子170。另外，可以将与重叠图像对应的图像数据输出到存储介质180等图像存储介质，并将重叠图像存储在该外部装置中。
选择接受部162与图1所示的选择接受部162相同，将涉及与用户输入的脸位置标记有关的ON设定或OFF设定的选择信息输出到脸位置标记生成部820。
图5是表示在显示在显示部161上的摄影图像上重叠脸位置标记时的重叠方法的一例的图。
图5(a)是表示作为显示在显示部161上的摄影图像的图像301的图。显示在显示部161上的图像301在图像存储部140中的规定地址中被依次更新。另外，图像301中包含人脸501至503。
图5(b)是表示重叠在图像301上的、由图形和记号等构成的脸位置标记411至413的图。这些脸位置标记411至413在图像存储部140中被描绘在与图5(a)所示的图像301不同的地址中。这些脸位置标记411至413被描绘在与包含在图像301中的人脸501至503对应的位置上。
图5(c)是表示图5(a)所示的图像301与图5(b)所示的脸位置标记411至413重叠后的图像、即重叠图像303的图。重叠图像303以设定的合成比将摄影图像与脸位置标记重叠。通过使该合成比可以在0～100％的范围内任何设定，可以改变脸位置标记的透过率。由此可以在重叠图像中以使摄影图像以规定的透过率透过的方式来显示脸位置标记。
接着参照附图来说明显示在显示部161上的显示例。
图6和图7表示显示在显示部161上的图像的显示例，表示脸位置标记的形状的显示例。
图6(a)是表示在脸位置标记的显示被设定为OFF时显示部161的显示例(图像304)的图。这样，在选择接受部162中选择了脸位置标记显示为OFF的情况下，在显示部161上不显示脸位置标记。
图6(b)、7(a)、7(b)是表示在脸位置标记的显示被设定为ON时显示部161的显示例的图。这样，在选择接受部162中选择了脸位置标记显示为ON的情况下，当显示在显示部161上的图像中包含脸时，在显示部161上显示脸位置标记。
图6(b)表示在显示部161上显示矩形的脸位置标记421至423、使其包围人脸501至503的至少一部分的情况下的显示例(图像305)。矩形的脸位置标记是可以最简单地显示的形状，其形状可以是正方形，也可以是长方形。例如，如图6(b)所示，如果以脸的上下左右方向与脸位置标记的矩形的各边垂直的方式显示脸位置标记，则可以容易地判断显示在显示部161上的脸是否在转动。具体地说，象脸502那样以脸的前后方向为轴转动脸(以下称为“脸倾斜”)的情况下，象脸位置标记422那样，与该脸的倾斜相一致，以脸位置标记的矩形中心为转动中心，使该矩形转动。另外例如象脸503那样以脸的上下方向为轴转动脸(以下称为“脸朝向旁边”)的情况下，象脸位置标记423那样，与该脸的正面方向相一致，使脸位置标记的矩形转动。
图7(a)表示在显示部161上显示圆形的脸位置标记424至426、使其包围人脸501至503的情况下的显示例(图像306)。在本发明实施方式所示的各图中，为了简化脸的形状，使脸的形状为圆形。但是，人脸的轮廓常常为纵长的椭圆形。因此，可以与人脸的轮廓相一致，来形成椭圆形的脸位置标记。这样，通过使椭圆形的脸位置标记与人脸的轮廓相一致，可以使用户从视觉上容易地区分人脸。例如，在使脸位置标记为椭圆形的情况下，与图6(b)所示的矩形的情况相同，与该脸的转动等相一致地使脸位置标记的椭圆形转动。
图7(b)表示在显示部161上显示四角点的脸位置标记427至429、使其包围人脸501至503的情况下的显示例(图像307)。四角点的脸位置标记如图7(b)所示，是仅显示矩形的四个角的部分、不显示矩形各边的中央部分的脸位置标记。这样，通过仅显示矩形的四个角的部分，可以使显示部161上显示的图像307中的脸显示标记的显示区域较小。因此可以容易地看到显示部161上显示的摄影图像。另外，在使脸位置标记为四角点的情况下，与图6(b)所示的矩形的情况相同，与该脸的转动等相一致地使四角点的脸位置标记转动。
图8和图9表示在显示部161上显示附加了矩形的脸位置标记后的人脸501至503的情况下的显示例，表示脸位置标记的显示变化例。
图8(a)表示分别用不同的颜色显示脸位置标记431至433的显示例(图像308)。例如，在显示部161上显示多种颜色的情况下，使附加在被判定为最主要的人物的脸上的脸位置标记为黄色的脸位置标记，使附加在该人物以外的人物的脸上的脸位置标记为蓝色的脸位置标记，使附加在倾斜的脸或朝向旁边的脸上的脸位置标记为红色的脸位置标记。这样，通过根据显示部161上显示的人物或其脸来变更脸位置标记的颜色，可以使用户容易地识别各张脸的状态等。具体地说，在设显示部161上显示的人物中最主要人物的脸为脸501的情况下，向脸501附加黄色的脸位置标记431。另外，向倾斜的脸502附加红色的脸位置标记432，向朝向旁边的脸503附加红色的脸位置标记433。在图8(a)中省略了各种颜色的显示。
图8(b)表示使脸位置标记434至436分别为实线或虚线，或者变更实线或虚线的粗细来区分脸501至503的显示例(图像309)。例如，在显示部161上显示多张脸的情况下，如果是脸不倾斜也不朝向旁边的状态，则使附加在该脸上的脸位置标记为粗实线的脸位置标记，使附加在倾斜的脸上的脸位置标记为虚线的脸位置标记，使附加在朝向旁边的脸上的脸位置标记为实线的脸位置标记。这样，通过根据显示部161上显示的人物或其脸来变更脸位置标记的线的粗细等，可以使用户容易地识别各张脸的状态等。具体地说，在显示部161上显示的人物中，向脸不倾斜也不朝向旁边的人物的脸501附加粗实线的脸位置标记434，向脸倾斜的人物的脸502附加虚线的脸位置标记435，向脸朝向旁边的人物的脸503附加实线的脸位置标记436。另外，使脸501的实线与脸503的实线相比较粗。另外，也可以将实线或虚线等线的种类进一步设置多种，根据脸的性质或状态来使用这些种类。
图8(c)表示通过变更脸位置标记437至439各自的透过度来区分脸501至503的显示例(图像310)。例如，在显示部161上显示多张脸的情况下，在多张脸中脸相似性的值高的脸的情况下，降低附加在该脸上的脸位置标记的透过率，进行较浓的脸位置标记显示，在多张脸中脸相似性的值低的脸的情况下，提高附加在该脸上的脸位置标记的透过率，进行较浅的脸位置标记显示。这样，通过根据显示部161上显示的人物或其脸来变更脸位置标记的透过率，可以使用户容易地识别各张脸的状态等。具体地说，在设显示部161上显示的人物中脸相似性的值低的人物的脸为脸501、脸相似性的值高的人物的脸为脸502和503的情况下，向脸501附加透过率高的脸位置标记437，向脸502和503附加透过率低的脸位置标记438和439。由于附加在脸501上的脸位置标记437的透过率高，因此用户难以识别脸位置标记437。因此，可以使脸位置标记437的线加粗来显示，以便用户容易识别。
图9(a)表示使脸位置标记440至442中的至少一个闪烁显示的显示例(图像311)。例如，在显示部161上显示多张脸的情况下，使附加在被判定为最主要的人物的脸上的脸位置标记闪烁显示，使附加在该人物以外的人物的脸上的脸位置标记为通常显示。另外，在显示部161上显示多张脸的情况下，在焦点或光圈变化后，使附加在焦点或光圈达到最合适的值的人物的脸上的脸位置标记闪烁显示规定时间，使附加在该人物以外的人物的脸上的脸位置标记为通常显示。这样，通过根据显示部161上显示的人物或其脸等来变更脸位置标记的显示状态，可以使用户容易地识别各张脸的状态等。具体地说，在设显示部161上显示的人物中最主要人物的脸为脸501、其他人物的脸为脸502和503的情况下，使附加在脸501上的脸位置标记440闪烁显示，使附加在脸502和503上的脸位置标记441和442为通常显示。
图9(b)和(c)表示在脸位置标记443至448的内侧(脸区域)和外侧变更图像的亮度或颜色来进行显示的显示例(图像312和313)。例如，在显示部161上显示脸的情况下，对于脸位置标记的框架内侧的图像，不变更亮度等，而对于脸位置标记的框架外侧的图像，降低颜色的色度、使其为单一颜色、或者使其为无彩色(灰色)。这样，通过变更显示部161上显示的脸位置标记的内侧和外侧的图像的显示状态，可以使用户更容易地辨别脸区域。具体地说，如图9(b)所示，对于显示部161上显示的脸位置标记443至445的框架内侧的图像不变更，而对于脸位置标记443至445的框架外侧的图像，使其为无彩色(灰色)。另外，如图9(c)所示，对于显示部161上显示的脸位置标记446至448的框架内侧的图像，附加容易识别脸区域的颜色，而对于脸位置标记446至448的框架外侧的图像，不变更。在这些情况下，也可以仅向被判断为最主要的人物的脸附加脸位置标记的框架线，而对于其他人物的脸不附加框架线。
图10表示在显示部161上显示附加了矩形的脸位置标记后的人脸504的情况下的显示例，表示脸位置标记的显示变化例。
通过根据脸检测部200输出的脸检测结果的值当中、与各个脸区域有关的评价值，使脸位置标记为不同的显示，可以容易地向用户通知脸的变化和摄影条件的变化等。例如，参照图10说明根据笑脸的程度来变更脸位置标记的透过度的显示例(图像314和315)。
例如，在显示部161上显示脸的情况下，在该脸正在笑的程度高的情况下，降低附加在该脸上的脸位置标记的透过率，进行较浓的脸位置标记显示。另一方面，在该脸正在笑的程度低、笑容少的情况下，提高附加在该脸上的脸位置标记的透过率，进行较浅的脸位置标记显示。这样根据脸笑的程度的变化来改变透过率。这种情况下，最好以不被用户识别的细致的步幅来改变脸位置标记的透过率。这样，通过根据显示部161上显示的人物的笑脸的程度来变更脸位置标记的透过率，可以使用户容易地识别该笑脸。具体地说，如图10(a)所示，对于显示部161上显示的人物的脸504，在正在笑的程度低、笑容少的情况下，向脸504附加透过率高的脸位置标记450。另一方面，如图10(b)所示，在脸504正在笑的程度高的情况下，向脸504附加透过率低的脸位置标记451。
另外，与根据笑脸的程度来变更脸位置标记的透过度的显示例相同，对于判断为被摄体人物充分变成笑脸的情况以及判断为多个人物都没有眨眼而都睁着眼的情况等，也可以通过使脸位置标记闪烁等，向用户告知按快门时机，催促进行摄影。
图11表示在显示部161上显示附加了矩形的脸位置标记后的人脸505至507的情况下的显示例(图像316和317)，表示对应于焦点或光圈状态的脸位置标记的显示变化例。
通过根据脸检测部200输出的脸检测结果的值当中、与各个脸区域有关的评价值，使脸位置标记为不同的显示，可以容易地向用户通知摄影条件等。例如，参照图11说明根据焦点或镜头光圈对准的程度来变更脸位置标记的显示的显示例。
作为检测聚焦程度的方法，包括以下方法：在脸区域内设置AF检波框，在框的内侧求出高频分量，高频分量的积分值越大，就越可能视为已聚焦。因此，可以得到聚焦程度作为高精度的评价值。另外，作为镜头光圈对准程度的检测方法，包括以下方法：预先设定适当的镜头光圈值和此时的脸图像亮度值，越接近该值，就越可能视为镜头光圈对准。
另外，作为向用户告知现在聚焦在图像的哪个部分上的方法，考虑几个例子。例如，在聚焦部分上重叠颜色。另外，以根据聚焦程度来切换颜色等的方式改变显示。另外，显示图像整体或AF框内的频率分布曲线，并且显示一边聚焦高频分量一边增加的情况来向用户通知。事先显示AF用的多个框，改变聚焦的框的显示颜色。或者以使其闪烁的方式来改变显示。
但是，这些例子是用于仅向用户告知聚焦部分的显示。而在本发明的实施方式中，脸检测部200从图像中检测出人脸，针对该脸的脸区域求出聚焦的程度，据此来进行脸位置标记的显示。这样，不是将图像整体作为AF检波对象，而是仅对作为图像识别结果得到的脸区域设置AF检波框，将聚焦程度作为脸位置标记进行显示，由此向用户告知。用户在得知被识别为脸的区域的同时，也得知在各个脸区域聚焦到什么程度。因此，在多个人物中存在用户特别认为是主要的人物的情况下，可以容易地理解适当的AF是否针对该人物的脸区域发挥作用。
例如，在离摄像装置100的距离不同的多张脸显示在显示部161上的情况下，使聚焦程度最高的脸和其它脸的脸位置标记的颜色或粗细不同地进行显示，或者根据聚焦的程度变更脸位置标记的透过度来进行显示。另外，同样地，在针对显示部161上显示的多个人物的对光方式不同的情况下，使镜头光圈最对准的脸和其它脸的脸位置标记的颜色或粗细不同地进行显示，或者根据光圈对准的程度变更脸位置标记的透过度来进行显示。这样，通过根据显示部161上显示的人物的脸的聚焦程度等来变更脸位置标记的显示，可以使用户容易地判断对该脸是否聚焦等摄影状态。
具体地说，如图11(a)所示，设显示部161上显示的人物当中聚焦程度最高的人物的脸为脸506、比脸506近的人物的脸为脸505、比脸506远的人物的脸为507的情况下，用粗的黄色显示附加在脸506上的脸位置标记453，用细的红色显示附加在脸505和507上的脸位置标记452和454。
另外，如图11(b)所示，在显示部161上显示的多个人物的对光方式不同的情况下，在设光圈对准程度最高(适当的镜头光圈值)的人物的脸为脸505、光圈对准程度低且颜色暗的脸为脸506、光圈对准程度低且颜色亮的脸为脸507的情况下，用粗的黄色显示附加在脸505上的脸位置标记455，用细的红色显示附加在脸506和507上的脸位置标记456和457。
图12表示在显示部161上显示附加了矩形的脸位置标记后的人脸508至510的情况下的显示例(图像318)，表示对应于特定人物的有无的脸位置标记的显示变化例。
通过根据脸检测部200输出的脸检测结果的值当中、与各个脸区域有关的评价值，使脸位置标记为不同的显示，可以容易地向用户通知特定人物。
例如，在显示部161上显示有多张脸的情况下，在多张脸中存在被识别为特定人物的脸的情况下，优先于与脸有关的其它评价值，执行用于明确区分被识别为特定人物的脸和其它脸的脸位置标记显示。例如使附加在特定人物上的脸位置标记闪烁显示。这样，在显示部161上显示的人物中存在特定人物的情况下，通过变更脸位置标记的显示，可以使用户容易地识别该脸为特定人物的脸。
具体地说，如图12所示，在使显示部161上显示的人物当中的特定人物的脸为脸508、未知人物的脸为脸509和510的情况下，使附加在脸508上的脸位置标记458加粗显示并且闪烁显示，使附加在脸509和脸510上的脸位置标记459和460变细显示。
图13表示在显示部161上显示附加了矩形的脸位置标记后的人脸511至513的情况下的显示例(图像319)，表示对应于脸的朝向或脸的倾斜的脸位置标记的显示变化例。
通过根据脸检测部200输出的脸检测结果的值当中、与各个脸区域有关的评价值，与脸位置标记一起显示脸朝向标记或脸倾斜标记，可以容易地向用户通知脸的朝向或脸的倾斜。
例如，在显示部161上显示有多张脸的情况下，在多张脸中存在不是正面而是朝向上下左右方向中的任意方向的脸的情况下，向该脸附加脸位置标记，并且在脸位置标记的内侧或其附近显示对应于脸的朝向的方向箭头等脸朝向标记。另外，也可以根据该脸从正面朝向偏离什么程度的角度来变更箭头的长度、颜色、浓度等，从而切换脸朝向标记的显示，来向用户进行通知。这样，在显示部161上显示的人物中存在不朝向正面的脸的情况下，通过显示脸位置标记并同时显示脸朝向标记，可以使用户容易地识别该脸是没有朝向正面的脸。
另外，在显示部161上显示有多张脸的情况下，在多张脸中存在使脸倾斜的人物的情况下，向该脸附加脸位置标记，并且在脸位置标记的内侧或其附近显示表示脸的中心线或脸的水平线等的脸倾斜标记。具体地说，如图13所示，在显示部161上显示的人物当中，在脸转动的人物的脸511上与脸位置标记461一起显示脸朝向标记601。并且，在脸倾斜的人物的脸513上与脸位置标记463一起显示由脸的中心线602和脸的水平线603构成的脸倾斜标记。另外，在朝向正面的人物的脸512上显示通常的脸位置标记462。
图14表示在显示部161上显示附加了矩形的脸位置标记后的人脸514至518的情况下的显示例(图像320至322)，表示对应于脸的上下左右方向的脸位置标记的显示变化例。
通过根据脸检测部200输出的脸检测结果的值当中、与各个脸区域有关的评价值，在脸位置标记上变更表示脸的上下左右中的至少一个的边的显示，可以容易地向用户通知脸的朝向或脸的倾斜。
例如，在显示部161上显示脸的情况下，向该脸附加脸位置标记，并且将脸位置标记中的脸的上下方向的上侧的边显示为表示是脸的上侧。例如，用红色加粗显示脸位置标记中的脸的上下方向的上侧的边，对于其它边以通常的粗细用黄色显示。这样，在显示部161上显示的图像中存在人物的脸的情况下，通过在该脸上显示脸位置标记，并且以特定的方式显示脸的上下方向的上侧的边，可以使用户容易地识别该脸的上侧。
具体地说，如图14(a)所示，对于显示部161上显示的人物的脸514至516，分别附加脸位置标记464至466，用红色加粗显示相当于脸位置标记464至466中的各张脸的上下方向的上侧的边464a至466a，对于其它边则以通常的粗细进行黄色显示。颜色的显示在此省略。
另外，如图14(b)和(c)所示，对于显示部161上显示的人物的脸517和518，分别附加脸位置标记467至470，用红色加粗显示相当于脸位置标记467至470中的各张脸的上下方向的上侧的边467a至470a，对于其它边则以通常的粗细进行黄色显示。颜色的显示在此省略。这样，在静止画摄影中，如图14(b)和(c)所示，虽然用纵长的视角拍摄的机会多，但通过用特定的方式显示相当于脸位置标记中的各张脸的上下方向的上侧的边，可以容易地判别脸的上下左右，从而摄像装置100可以自动地识别是用纵长的视角进行的拍摄。
另外，图14(b)表示使摄像装置100的左右两端的一端朝下进行拍摄的情况下的摄影图像321，图14(c)表示使摄像装置100的另一端朝下进行拍摄的情况下的摄影图像322。在摄影图像321和322上显示作为表示摄像装置100的上侧的显示的相机显示350，由此可以使用户容易地识别摄像装置100所判断的纵长的视角的上下左右方向。可以将与该纵长视角有关的信息作为所拍摄的摄影图像的附属信息与摄影图像一起记录在存储介质中。另外，在该情况下，当显示部161上显示的摄影图像的上侧与存储在存储介质中的纵长的各图像中的上侧不一致时，可以将该情况显示在显示部161上。这样可以使存储在存储介质中的摄影图像的纵长图像的上下方向一致，因此在显示部161上观看存储在存储介质中的各图像时，纵长图像的上下方向一致，从而可以容易地观看。
另外，在矩形的脸位置标记的情况下，只要可以显示相当于脸的上侧、下侧、左侧、右侧的各边中的任意一个(例如脸的上侧的边)，就可以容易地识别其它方向。因此，考虑到显示的简化或用户的易见性等，例如用不同的颜色仅显示脸的上侧的边，或者用虚线等显示。另外，也可以通过将相当于脸的上侧、下侧、左侧、右侧的各边进行分色显示等，来容易地识别各边。对于脸的上下左右，也可以根据振动传感器710检测出的各种信息来求出。
另外，在本发明实施方式中，在显示脸位置标记中的脸的上下左右方向中的任意一个的情况下，将相当于该任意一个方向的脸位置标记的边显示为不同于其它边，但也可以在脸位置标记之外生成显示该脸位置标记中的脸的上下左右方向中的任意一个的标记、即特定位置显示标记，在该脸位置标记上或其附近显示特定位置显示标记。
图15表示在显示部161上显示附加了矩形的脸位置标记后的人脸519至521的情况下的显示例(图像323至325)，表示主要人物的脸中的脸位置标记的显示变化例。
通过根据脸检测部200输出的脸检测结果的值当中、与各个脸区域有关的评价值，使附在被认为最主要的人物的脸上的脸位置标记的显示与附在其他人物的脸上的脸位置标记的显示不同，可以容易地向用户通知主要人物的脸。
例如，在显示部161上显示有多张脸的情况下，在多张脸中存在被判定是最主要人物的脸的脸的情况下，用红色加粗显示附在该脸上的脸位置标记，以通常的粗细用黄色显示附在其他人物的脸上的脸位置标记。另外，在被判定是最主要人物的人物与用户意图的人物不同的情况下，可以在用户接口160的选择接受部162中选择用户意图的人物的脸。进而将用户选择的脸作为主要人物继续跟踪，直到不再检测出其脸区域，并且附在该脸上的脸位置标记也保持与其他人物相区别的显示状态。这样，在显示部161上显示的图像中存在最主要人物的脸的情况下，通过使附在该脸上的脸位置标记的显示与其它的脸位置标记不同，可以使用户容易地识别该脸。另外，在继续跟踪图像中包含的多个人物的脸的情况下，CPU的负荷大，但通过仅继续跟踪主要人物的脸，可以减轻CPU的负荷。
具体地说，如图15(a)所示，对于显示部161上显示的人物的脸519至521，设由摄像装置100判定为最主要人物的人物的脸为脸520。这种情况下，向各张脸上附加脸位置标记471至473，用红色加粗显示附加在被判定为最主要人物的人物的脸520上的脸位置标记472，对于其它的脸位置标记471和473，以通常的粗细进行黄色显示。颜色的显示在此省略。
这里，对于显示部161上显示的人物的脸519至521，设由摄像装置100判定为最主要人物的人物的脸为脸520，并将用户接口160作成触摸屏。这种情况下，在被摄像装置100判定为最主要的人物与用户意图的人物不同的情况下，如图15(b)所示，通过在用户接口160上用手指800按下用户意图的人物的脸部分，可以从显示部161上显示的人物的脸519至521中进行选择。例如，设由用户选择的人物的脸为脸521。这种情况下，向各张脸上附加脸位置标记471至473，用红色加粗显示附加在由用户选择的人物的脸521上的脸位置标记473，对于其它的脸位置标记471和472，以通常的粗细进行黄色显示。颜色的显示在此省略。
另外，对于显示部161上显示的人物的脸519至521，设由摄像装置100判定为最主要人物的人物的脸为脸520，并将用户接口160的选择接受部162作成上下左右方向的十字键162a。这种情况下，在被判定为最主要的人物与用户意图的人物不同的情况下，如图15(c)所示，可以使用十字键162a通过手指801的按下从显示部161上显示的人物的脸519至521中选择用户意图的人物。这种情况下，设由用户选择的人物的脸为脸521。这种情况下，向各张脸上附加脸位置标记471至473，用红色加粗显示附加在所选择的人物的脸521上的脸位置标记473，对于其它的脸位置标记471和472，以通常的粗细进行黄色显示。颜色的显示在此省略。
这里说明将用户接口160中的双向操作性应用于自动聚焦(AF(Auto Focus))的情况。
在用户利用用户接口160中的双向操作性选择了主要人物的情况下，例如作为摄像装置100的控制软件的动作，利用脸检测部200检测出的脸区域的水平·垂直坐标和脸区域尺寸，将自动聚焦的检波框(AF检波框)设置在所选择的主要人物的脸、身体、手脚上。然后，即使存在被摄体距离不同的多个人物，也仅在该主要人物上设置AF检波框，驱动聚焦镜头，使得正好聚焦于该主要人物上。由此，可以不受其他人物或背景的影响，针对主要人物实现最佳的自动聚焦动作。
接着说明将用户接口160中的双向操作性应用于自动光圈控制(自动曝光控制)(AE(Auto Exposure))的情况。
可以将用户接口160中的双向操作性应用于自动光圈控制。例如，在同一图像内存在多个人物的脸的情况下，由于照明或对光方式、各张脸的颜色·亮度等的不同，各张脸的最佳光圈值不同。在这样的情况下，通过由用户选择一个脸区域，对该脸区域重新设定AE检波框，并改变光圈，以使该脸达到最佳的亮度。由此，可以避免由于来自其他人物的影响使得AE偏离或出错，从而可以防止AE被背景(天空、壁、通过物体、树等)影响而使主要人物的脸区域变黑或变白的光圈。
接着说明将用户接口160中的双向操作性应用于自动白平衡控制(AWB(Auto White Balance))的情况。
可以将用户接口160中的双向操作性应用于自动白平衡控制。在同一图像内存在多个人物的脸的情况下，由于光源的种类(太阳光·白炽灯·荧光灯)、其色温、光量的不同，最佳的白平衡不同。在这样的情况下，通过由用户选择一个脸区域，对该脸区域重新设定AWB检波框，并改变针对白平衡的各色的增益值，以使该脸达到最佳的肤色。由此，可以避免由于来自其他人物的影响使得AWB偏离或出错，从而可以防止AWB被背景(天空、壁、通过物体、树等)影响而使主要人物的脸区域的肤色变绿或变红的颜色平衡。
而且，关于脸的肤色，在感觉较好的肤色的色泽·彩度的范围已知的情况下，也可以实现将主要人物的肤色引入更好的颜色空间的白平衡。这种情况下，利用比实际皮肤更美的色调来拍摄被选择为主要人物的人，从而自动地得到高品质的图像作为人物肖像。
接着说明将用户接口160中的双向操作性应用于AF、AE、AWB的跟踪功能的情况。
在数字照相机的监视模式和动画摄影模式下，人物可以不静止而是在图像内移动。因此，在用户选择了主要人物的情况下，对该人物的脸的AF控制随着时间继续执行，在主要人物上聚焦一次后，一边跟踪该人物一边进行AF动作，一直持续到该人物从图像内消失。
与AF同样，对于AE、AWB，在监视模式和动画摄影模式下，也可以一边跟踪用户选择的主要人物一边进行AE、AWB动作。
对于向该跟踪功能的应用而言，在AF、AE、AWB中，特别适于对要求最高速的跟踪性能的AF的应用，通过应用主要人物选择，将多个人物中特定的一个人的脸作为目标，可以实现没有错误、不会迷失的高速跟踪AF。
在图9至图15中仅示出矩形的脸位置标记，但对于矩形以外的其它形状的脸位置标记也可以同样适用。
以下参照附图说明本发明实施方式中的摄像装置100的动作。
图16是表示摄像装置100进行的脸位置标记显示处理的处理过程的流程图。
在本发明的实施方式中，说明在摄像装置100中在摄像部120拍摄的图像上重叠脸位置标记的情况下的显示例。在这些各个处理中，步骤S910至步骤S921、步骤S929表示与脸检测有关的动作，步骤S922至步骤S928、步骤S930表示利用了脸检测结果的脸位置标记的显示动作。
一开始，在摄像装置100中输入由摄像部120拍摄的图像，即摄影图像(步骤S910)。从摄像部120输入了摄影图像后，脸检测部200从输入的图像中检测出脸，并且计算出所检测的各脸的评价值(步骤S911)。接着，判断脸位置标记的显示是否被设定为ON(步骤S912)，如果脸位置标记的显示被设定为OFF(步骤S912)，则不必显示脸位置标记，因此前进到步骤S910。
如果脸位置标记的显示被设定为ON(步骤S912)，则判断脸检测部200是否从摄像图像中检测出脸(步骤S913)。如果脸检测部200没有从摄影图像中检测出脸(步骤S913)，则不必显示脸位置标记，因此前进到步骤S910。如果脸检测部200从摄影图像中检测出脸(步骤S913)，则表情检测部600取出所检测出的脸中的一张脸(步骤S914)。
接着，表情检测部600针对所取出的脸，利用上述(式1)求出评价值E0(步骤S915)，利用上述(式2)求出脸的焦点·光圈的评价值E1(步骤S916)，利用上述(式3)求出脸表情的评价值E2(步骤S917)。
接着，判断所取出的脸是否与存储在特定人物数据库中的特定人物的脸一致(步骤S918)。所取出的脸与特定人物的脸一致的情况下，保存“1”作为所取出的脸的特定人物判定标记(步骤S919)。另一方面，所取出的脸与特定人物的脸不一致的情况下，保存“0”作为所取出的脸的特定人物判定标记(步骤S920)。
接着，判断是否取出了所有由脸检测部200检测出的脸(步骤S921)。如果没有取出所有由脸检测部200检测出的脸(步骤S921)，则前进到步骤S914，重复进行针对剩余的脸的各处理(步骤S914至S920)。
如果取出了所有由脸检测部200检测出的脸(步骤S921)，则判断由脸检测部200检测出的各脸中是否存在保存了“1”作为特定人物判定标记的脸(步骤S922)。在由脸检测部200检测出的各脸中存在保存了“1”作为特定人物判定标记的脸的情况下(步骤S922)，使该脸作为最主要人物的脸，选择针对该脸的脸位置标记的颜色和粗细等(步骤S923)。另一方面，在由脸检测部200检测出的各脸中不存在保存了“1”作为特定人物判定标记的脸的情况下(步骤S922)，根据由脸检测部200检测出的各脸的评价值E0来推定最主要人物的脸，选择针对该脸的脸位置标记的颜色和粗细等(步骤S924)。
接着，根据由脸检测部200检测出的各脸的正面朝向的程度，选择脸朝向标记的显示状态(步骤S925)。然后，根据由脸检测部200检测出的各脸的倾斜程度，选择脸倾斜标记的显示状态(步骤S926)。
接着，根据由脸检测部200检测出的各脸的评价值E1，选择脸位置标记的闪烁状态等(步骤S927)。然后，根据由脸检测部200检测出的各脸的评价值E2，选择脸位置标记的透过率等(步骤S928)。通过这些处理，生成脸位置标记、脸朝向标记或脸倾斜标记。
接着，将所生成的脸位置标记、脸朝向标记以及脸倾斜标记描绘在图像存储部140中(步骤S929)。然后，将摄像部120拍摄的、显示在显示部161上的摄影图像与描绘在图像存储部140中的脸位置标记、脸朝向标记以及脸倾斜标记重叠，并将重叠后的重叠图像显示在显示部161上(步骤S930)。
接着，判断在显示在显示部161上的脸位置标记(人物的脸)当中是否存在在选择接受部162中选择的脸位置标记(人物的脸)(步骤S931)。存在在选择接受部162中选择的脸位置标记的情况下(步骤S931)，在变更了在选择接受部162中选择的脸位置标记以及其它脸位置标记等的显示状态等后(步骤S932)，前进到步骤S929，重复进行重叠显示的各处理(步骤S929至S930)。
在显示在显示部161上的脸位置标记当中不存在在选择接受部162中选择的脸位置标记的情况下(步骤S931)，前进到步骤S910，重复进行脸位置标记显示的各处理(步骤S910至S930)。
图17是表示摄像装置100进行的脸位置标记的透过率等的选择处理的处理过程的流程图。该动作如图10所示，表示根据显示在显示部161上的脸的笑脸程度的变化等，依次改变所显示的脸位置标记的透过率的动作，是以图16的步骤S917为中心更详细地展开的动作。
在脸检测部200从所输入的图像中检测出脸的情况下，取出所检测出的脸中的一张脸(步骤S941)。然后，利用右眼数据库左眼数据库651，从所取出的脸中取出两眼(步骤S942)。然后使所取出的眼的位置对齐，将所取出的脸变换成适合判定的尺寸(步骤S943)。然后利用笑脸数据库652，对所取出的脸进行笑脸的判定，求出笑脸的程度(步骤S944)。
接着，利用眨眼脸数据库653，对所取出的脸进行眨眼脸的判定(步骤S945)。然后，求出眨眼程度的倒数作为眨眼回避程度。然后，与各脸对应地存储以上求出的笑脸程度和眨眼回避程度(步骤S946)。
接着，根据以上求出的笑脸程度和眨眼回避程度，利用上述(式3)求出脸表情的评价值E2(步骤S947)。然后判断是否取出了所有由脸检测部200检测出的脸(步骤S948)，如果没有取出所有由脸检测部200检测出的脸，则前进到步骤S941，重复进行求出脸表情的评价值E2的各处理(步骤S941至S948)。
如果取出了所有由脸检测部200检测出的脸(步骤S948)，则根据由脸检测部200检测出的各脸的评价值E2，选择脸位置标记的透过率等(步骤S949)。
以下参照附图详细说明本发明实施方式的一个变形例。
图18是表示作为上述摄像装置100的一个变形例的图像处理装置101的功能结构例的框图。作为图像处理装置101，可以举出个人计算机、录像机等图像记录再生装置作为例子。
图像处理装置101具备控制部110、信号处理部130、图像存储部140、图像压缩解压部150、用户接口160、输入输出端子170、存储介质180、总线190、脸检测部200、表情检测部600、保持部700。在图像处理装置101中，从摄像装置100除去了摄像部120和振动传感器710以外的结构与上述摄像装置100的结构大致相同，因此对同一部件附以相同符号并省略说明。
在图像处理装置101的再生时，从存储介质180向图像压缩解压部150输入图像信息和图像附带信息。然后，在图像信号被压缩的情况下，由图像压缩解压部150实施图像解压处理，并将实施了图像解压处理后的图像输出到脸检测部200。然后，在脸检测部200从图像中检测出脸的情况下，如上所述，在显示部161上显示附加了脸位置标记后的脸。在从外部输入了图像信号的情况下，从外部装置经由输入输出端子170向图像压缩解压部150输入图像信息和图像附带信息。
另外，由脸检测部200检测出的脸检测结果被追加到·被更新为经由控制部110作为图像附带信息输入的图像信号中，与图像信号一起再次记录在存储介质180中。在从外部输入了图像信号的情况下，经由输入输出端子170将图像信息和图像附带信息输出到外部装置并记录。
如上所示，在本发明的实施方式中，可以将基于与脸检测部200检测出的各种脸有关的评价值的各种信息，正确且在视觉上易见地作为脸位置标记显示。由此，可以立即且容易地得知该各种信息的内容。另外，在显示部161上显示有多张脸的情况下，除了由摄像装置100和图像处理装置101进行主要人物的判定外，还可以通过用户的选择操作从多张脸中选择所希望的脸。由此，通过将两者组合，装置与用户可以实现双向、智能的被摄体识别。
另外，通过将作为脸检测部200的脸检测处理的结果得到的各脸的评价值作为脸位置标记重叠在显示图像上，用户可以与脸位置一起容易地得知该脸的评价值等。
而且，在不拍摄人物等不需要脸位置标记的情况下，可以设定脸位置标记显示的ON、OFF，因此可以选择不显示脸位置标记。由此，可以避免所显示的图像不必要地变得繁杂，并且可以节约脸检测处理和与脸检测处理的显示有关的耗电。
另外，由于显示由矩形、椭圆、矩形的四角点等图形或记号等构成的标记来作为脸位置标记，因此，可以在保持显示图像的质量的同时提高用户使用的方便性。
而且，由于可以根据脸检测部200输出的多种脸评价值来变更脸位置标记的颜色、实线和虚线、线的粗细、透过度、闪烁状态、脸位置标记的内侧和外侧的亮度及颜色等，因此用户可以容易地理解各个脸评价值。
另外，可以根据作为被摄体的人物的表情来依次改变脸位置标记。由此，例如在笑脸的程度高或者多个人物都没有眨眼时，利用脸位置标记迅速地通知用户是按快门时机，因此用户可以在较好的时刻拍摄合适的场景。
而且，摄像装置100可以从脸位置标记的显示状态容易地得知焦点或镜头光圈的适当程度。
另外，在检测出预先登记的已知人物(特定人物)的情况下，对于特定人物的脸显示与其他人物的脸相区别的脸位置标记，由此用户可以从多个人物中容易地得知特定人物的位置。
而且，可以与脸位置标记一起追加显示脸朝向标记，由此用户可以一眼就得知各张脸以什么样的角度朝向哪个方向。
另外，可以与脸位置标记一起追加显示脸倾斜标记，由此用户可以一眼就得知各张脸以什么样的角度向哪个方向倾斜。
而且，在矩形的脸位置标记中，通过以颜色或粗细等区别显示各张脸的上边(或下边、右边、左边等)，可以容易地向用户告知脸的转动或摄影时相机的转动。另外，利用脸的上下左右方向来判别为纵长的视角，并将该情况显示在屏幕上，由此用户可以容易地确认与摄像装置100的视角有关的识别。
另外，在图像中存在多张脸的情况下，用户一眼就可以知道最主要人物的脸和由摄像装置100或图像处理装置101判定的脸。而且，在图像上存在多张脸的情况下，通过由用户从该多张脸中进行选择操作，可以自由地指示主要人物。另外，对于该人物可以并入焦点或镜头光圈控制。而且，作为特定人物，即使不是预先登记在装置中的人物，也可以通过来自用户的选择指示，作为主要人物进行处理。
本发明的实施方式示出了用于实现本发明的一例，虽然如下所示与权利要求书中的发明特定事项分别具有对应关系，但不限于此，在不脱离本发明的要义的范围内，可以实施各种变形。
即，在权利要求1至20中，摄像装置对应于摄像装置100。
在权利要求1中，摄像单元例如对应于摄像部120。
在权利要求1或权利要求21中，图像输入单元例如对应于图像输入部810。
在权利要求1、权利要求8或权利要求21中，脸检测单元例如对应于脸检测部200。
在权利要求1、权利要求4至6、权利要求8、权利要求10至17、权利要求20、权利要求21中，脸位置标记生成单元例如对应于脸位置标记生成部820。
在权利要求1、权利要求14至17、权利要求21中，重叠单元例如对应于重叠部830。
在权利要求1、权利要求7或权利要求18中，显示单元例如对应于显示部161。
在权利要求2中，设定单元例如对应于选择接受部162。
在权利要求11中，相机控制值检测单元例如对应于控制部110。
在权利要求12中，主要人物推定单元例如对应于表情检测部600。
在权利要求13中，特定人物存储单元例如对应于特定人物数据库654。另外，特定人物判定单元例如对应于表情检测部600。
在权利要求18中，摄影状态检测单元例如对应于表情检测部600。
在权利要求19中，输出单元例如对应于输入输出端子170。
在权利要求20中，选择单元例如对应于选择接受部162。
在权利要求21中，输出单元例如对应于图像输出部840。另外，图像处理装置例如对应于图像处理装置101。
在权利要求22至23中，图像输入步骤例如对应于步骤S910。脸检测步骤例如对应于步骤S911。脸位置标记生成步骤例如对应于步骤S929。重叠步骤例如对应于步骤S930。输出步骤例如对应于步骤S930。
在本发明实施方式中说明的处理过程可以归纳为具有这一系列步骤的方法，也可以归纳为使计算机执行这一系列步骤的程序以及存储该程序的记录介质。

Claims (23)

1.一种摄像装置，其特征在于，具有：
摄像单元，拍摄被摄体的图像；
图像输入单元，输入由上述摄像单元拍摄的图像；
脸检测单元，从由上述图像输入单元输入的图像中检测出脸；
脸位置标记生成单元，生成表示由上述脸检测单元检测出的脸在上述图像输入单元输入的图像中的位置的脸位置标记；
重叠单元，将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记重叠；以及
显示单元，显示由上述重叠单元重叠后的图像。
2.如权利要求1所述的摄像装置，其特征在于，还具有：
设定单元，设定是否由上述脸位置标记生成单元生成脸位置标记。
3.如权利要求1所述的摄像装置，其特征在于，
上述脸位置标记具有矩形形状、椭圆形状、和作为仅由矩形的四个角形成的形状的四角点形状当中的任意一种形状。
4.如权利要求1所述的摄像装置，其特征在于，
上述脸位置标记生成单元生成与由上述脸检测单元检测出的脸有关的脸位置标记，使得该脸位置标记在由上述图像输入单元输入的图像中配置在该脸的周围。
5.如权利要求1所述的摄像装置，其特征在于，
上述脸位置标记生成单元生成与由上述脸检测单元检测出的脸有关的脸位置标记，使得该脸位置标记在由上述图像输入单元输入的图像中配置成包围该脸。
6.如权利要求1所述的摄像装置，其特征在于，
在上述脸检测单元从由上述图像输入单元输入的图像中检测出多张脸的情况下，上述脸位置标记生成单元生成上述脸位置标记，使得上述脸位置标记的颜色、上述脸位置标记的线的种类、上述脸位置标记的线的粗细、上述脸位置标记的透过度、上述脸位置标记的闪烁状态、上述脸位置标记的框架的内侧的亮度或颜色当中的至少一者在上述检测出的每张脸中不同。
7.如权利要求1所述的摄像装置，其特征在于，
上述显示单元在由上述重叠单元重叠后的图像中变更上述脸位置标记的框架的内侧或外侧的任意一者的亮度或颜色来进行显示。
8.如权利要求1所述的摄像装置，其特征在于，
上述脸检测单元检测出与从上述图像输入单元输入的图像中检测出的脸有关的各种信息；
上述脸位置标记生成单元根据与上述脸检测单元检测出的脸有关的各种信息，生成与该脸有关的脸位置标记。
9.如权利要求1所述的摄像装置，其特征在于，
上述与脸有关的各种信息是脸区域的面积、脸区域的坐标、脸相似性的值、脸正面朝向的程度、脸倾斜的程度、表情在笑的程度、表情严肃的程度、闭眼的程度中的任意一种信息或组合了这些信息的信息。
10.如权利要求9所述的摄像装置，其特征在于，
上述脸位置标记生成单元根据与由上述脸检测单元检测出的脸有关的各种信息，变更与该脸有关的脸位置标记的透过率。
11.如权利要求8所述的摄像装置，其特征在于，还具有：
相机控制值检测单元，根据与由上述脸检测单元检测出的脸有关的各种信息，针对该脸检测出聚焦的程度或镜头光圈对准的程度，
其中，上述脸位置标记生成单元根据上述相机控制值检测单元检测出的针对该脸的聚焦程度或镜头光圈对准程度，生成与该脸有关的脸位置标记。
12.如权利要求8所述的摄像装置，其特征在于，还具有：
主要人物推定单元，在上述脸检测单元从上述图像输入单元输入的图像中检测出多张脸的情况下，根据上述与脸有关的各种信息，从上述检测出的多张脸中推定最主要的人物，
其中，上述脸位置标记生成单元以使与上述主要人物推定单元推定的主要人物的脸有关的脸位置标记和与其他人物的脸有关的脸位置标记不同的形式，来生成各个脸位置标记。
13.如权利要求1所述的摄像装置，其特征在于，还具有：
特定人物存储单元，存储与特定人物的脸有关的特定人物信息；和
特定人物判定单元，判定由上述脸检测单元检测出的脸是否与存储在上述特定人物存储单元中的特定人物的脸一致，
其中，当上述特定人物判定单元判定由上述脸检测单元检测出的脸与存储在上述特定人物存储单元中的特定人物的脸一致时，上述脸位置标记生成单元以使与该脸有关的脸位置标记和与其他人物的脸有关的脸位置标记不同的形式，来生成各个脸位置标记。
14.如权利要求1所述的摄像装置，其特征在于，
当由上述脸检测单元检测出的脸朝向上下左右的某个方向时，上述脸位置标记生成单元根据该方向和角度生成在与该脸有关的脸位置标记附近显示的脸朝向标记；
上述重叠单元将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记和脸朝向标记重叠。
15.如权利要求1所述的摄像装置，其特征在于，
当由上述脸检测单元检测出的脸向转动方向倾斜时，上述脸位置标记生成单元根据该倾斜生成在与该脸有关的脸位置标记附近显示的脸倾斜标记；
上述重叠单元将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记和脸倾斜标记重叠。
16.如权利要求1所述的摄像装置，其特征在于，
上述脸位置标记生成单元生成作为显示由上述脸检测单元检测出的脸的上下左右的某一个的脸位置标记的特定位置显示标记；
上述重叠单元将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的特定位置显示标记重叠。
17.如权利要求1所述的摄像装置，其特征在于，
上述脸位置标记生成单元生成在上述脸位置标记上或者其附近显示的、显示由上述脸检测单元检测出的脸的上下左右的某一个的特定位置显示标记；
上述重叠单元将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记和特定位置显示标记重叠。
18.如权利要求17所述的摄像装置，其特征在于，还具有：
摄影状态检测单元，根据由上述脸位置标记生成单元生成的特定位置显示标记，检测出处于纵长视角的摄影状态，
其中，在由上述摄影状态检测单元检测出处于纵长视角的摄影状态时，上述显示单元将该情况与由上述脸位置标记生成单元生成的特定位置显示标记一起显示在由上述重叠单元重叠后的图像上。
19.如权利要求18所述的摄像装置，其特征在于，还具有：
输出单元，在由上述摄影状态检测单元检测出处于纵长视角的摄影状态时，将表示该情况的图像附带信息与由上述重叠单元重叠后的图像一起输出到存储介质中。
20.如权利要求1所述的摄像装置，其特征在于，还具有：
选择单元，在与上述脸检测单元检测出的多张脸对应的脸位置标记与该多张脸一起显示在上述显示单元上时，从上述显示的多张脸中选择希望人物的脸，
其中，上述脸位置标记生成单元以使与上述选择单元选择的人物的脸有关的脸位置标记和与其他人物的脸有关的脸位置标记不同的形式，来生成各个脸位置标记。
21.一种图像处理装置，其特征在于，具有：
图像输入单元，输入图像；
脸检测单元，从由上述图像输入单元输入的图像中检测出脸；
脸位置标记生成单元，生成表示由上述脸检测单元检测出的脸在上述图像输入单元输入的图像中的位置的脸位置标记；
重叠单元，将由上述图像输入单元输入的图像与由上述脸位置标记生成单元生成的脸位置标记重叠；以及
输出单元，输出由上述重叠单元重叠后的图像。
22.一种图像处理方法，其特征在于，具有：
图像输入步骤，输入图像；
脸检测步骤，从在上述图像输入步骤中输入的图像中检测出脸；
脸位置标记生成步骤，生成表示在上述脸检测步骤中检测出的脸在上述图像输入步骤中输入的图像中的位置的脸位置标记；
重叠步骤，将在上述图像输入步骤中输入的图像与在上述脸位置标记生成步骤中生成的脸位置标记重叠；以及
输出步骤，输出在上述重叠步骤中重叠的图像。
23.一种程序，其特征在于，使计算机执行：
图像输入步骤，输入图像；
脸检测步骤，从在上述图像输入步骤中输入的图像中检测出脸；
脸位置标记生成步骤，生成表示在上述脸检测步骤中检测出的脸在上述图像输入步骤中输入的图像中的位置的脸位置标记；
重叠步骤，将在上述图像输入步骤中输入的图像与在上述脸位置标记生成步骤中生成的脸位置标记重叠；以及
输出步骤，输出在上述重叠步骤中重叠的图像。
CNB2007101886556A 2006-11-21 2007-11-21 摄像装置、图像处理装置、以及图像处理方法 Active CN100556078C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006314891A JP4264663B2 (ja) 2006-11-21 2006-11-21 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2006314891 2006-11-21

Publications (2)

Publication Number Publication Date
CN101188677A true CN101188677A (zh) 2008-05-28
CN100556078C CN100556078C (zh) 2009-10-28

Family

ID=39417017

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2007101886556A Active CN100556078C (zh) 2006-11-21 2007-11-21 摄像装置、图像处理装置、以及图像处理方法

Country Status (3)

Country Link
US (1) US8385607B2 (zh)
JP (1) JP4264663B2 (zh)
CN (1) CN100556078C (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635029A (zh) * 2009-06-01 2010-01-27 北京中星微电子有限公司 一种人脸识别方法与移动终端
CN101848337A (zh) * 2009-03-25 2010-09-29 索尼公司 图像处理设备、图像处理方法和程序
CN102004909A (zh) * 2010-11-30 2011-04-06 方正国际软件有限公司 一种处理身份信息的方法与系统
CN102084397A (zh) * 2009-05-13 2011-06-01 索尼公司 图像处理设备、方法和程序
CN102138322A (zh) * 2008-09-08 2011-07-27 松下电器产业株式会社 图像处理装置、图像处理方法、图像处理程序、摄像装置
CN102265215A (zh) * 2008-12-05 2011-11-30 索尼爱立信移动通讯有限公司 触摸聚焦的摄像机系统和方法
CN102289785A (zh) * 2010-06-18 2011-12-21 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN102334132A (zh) * 2009-02-24 2012-01-25 诺基亚公司 图像对象检测浏览器
CN102693412A (zh) * 2011-03-25 2012-09-26 联发科技股份有限公司 用于检测物件的影像处理方法及影像处理装置
CN101794377B (zh) * 2009-01-28 2012-12-26 精工爱普生株式会社 检测脸的特征部位的坐标位置的图像处理装置
CN103189899A (zh) * 2010-11-08 2013-07-03 株式会社Ntt都科摩 对象显示装置以及对象显示方法
CN103186763A (zh) * 2011-12-28 2013-07-03 富泰华工业（深圳）有限公司 人脸识别系统及方法
CN101640763B (zh) * 2008-08-01 2013-07-24 奥林巴斯映像株式会社 图像再现装置和图像再现方法
CN103339661A (zh) * 2011-07-14 2013-10-02 株式会社Ntt都科摩 对象显示装置、对象显示方法和对象显示程序
CN103597514A (zh) * 2011-06-10 2014-02-19 松下电器产业株式会社 物体检测框显示装置和物体检测框显示方法
CN104205798A (zh) * 2012-04-09 2014-12-10 索尼公司 显示控制装置、显示控制方法和程序
CN105430262A (zh) * 2015-11-17 2016-03-23 小米科技有限责任公司 拍摄控制方法及装置
CN106687991A (zh) * 2014-07-16 2017-05-17 索尼公司 用于基于社交关系来设置数字图像的焦点的系统和方法
CN107045711A (zh) * 2016-02-05 2017-08-15 株式会社万代南梦宫娱乐 图像生成系统以及图像处理方法
CN107851324A (zh) * 2015-07-28 2018-03-27 索尼公司 信息处理系统、信息处理方法和记录介质
CN108833771A (zh) * 2018-05-23 2018-11-16 广州美人信息技术有限公司 一种人像构图线生成方法、系统及装置
CN109978884A (zh) * 2019-04-30 2019-07-05 恒睿(重庆)人工智能技术研究院有限公司 基于人脸分析的多人图像评分方法、系统、设备及介质
CN110557559A (zh) * 2018-05-30 2019-12-10 佳能株式会社 图像处理设备、图像处理方法和存储介质

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4639208B2 (ja) 2007-03-16 2011-02-23 富士フイルム株式会社 画像選択装置、画像選択方法、撮像装置及びプログラム
KR101411910B1 (ko) * 2008-01-04 2014-06-26 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
JP5116514B2 (ja) * 2008-03-11 2013-01-09 キヤノン株式会社 撮像装置および表示制御方法
JP4914398B2 (ja) * 2008-04-09 2012-04-11 キヤノン株式会社 表情認識装置、撮像装置、方法及びプログラム
CN101588450B (zh) 2008-05-19 2013-08-14 株式会社日立制作所 记录再现装置及方法
JP5164692B2 (ja) * 2008-06-27 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP5136245B2 (ja) * 2008-07-04 2013-02-06 カシオ計算機株式会社 画像合成装置、画像合成プログラム及び画像合成方法
CN102100062A (zh) * 2008-07-17 2011-06-15 日本电气株式会社 成像设备、成像方法和程序
KR101474304B1 (ko) 2008-07-24 2014-12-18 삼성전자주식회사 얼굴 표정을 인식하는지에 따라 얼굴 영역을 상이하게가리키는 디지털 영상 처리 장치의 제어 방법 및 상기방법을 실행하는 디지털 영상 처리 장치
JP2010041598A (ja) * 2008-08-07 2010-02-18 Canon Inc 撮像装置、撮像装置の制御方法及び制御プログラム
JP5067884B2 (ja) * 2008-08-07 2012-11-07 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP5458530B2 (ja) * 2008-08-29 2014-04-02 株式会社ニコン カメラ
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8913176B2 (en) 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
KR101505681B1 (ko) * 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
US10469738B2 (en) 2008-09-05 2019-11-05 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
TW201021550A (en) * 2008-11-19 2010-06-01 Altek Corp Emotion-based image processing apparatus and image processing method
JP5003666B2 (ja) * 2008-12-15 2012-08-15 株式会社Ｊｖｃケンウッド 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法
JP5304329B2 (ja) * 2009-03-05 2013-10-02 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
JP5279636B2 (ja) * 2009-06-30 2013-09-04 キヤノン株式会社 撮像装置
JP5346266B2 (ja) 2009-09-30 2013-11-20 富士フイルム株式会社 画像処理装置、カメラ及び画像処理方法
CN102239687B (zh) * 2009-10-07 2013-08-14 松下电器产业株式会社 追踪对象选择装置、方法及其电路
JP5610738B2 (ja) * 2009-10-28 2014-10-22 キヤノン株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
US8988507B2 (en) * 2009-11-19 2015-03-24 Sony Corporation User interface for autofocus
US8379134B2 (en) * 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
EP2362636B1 (en) 2010-02-26 2013-04-24 Research In Motion Limited Object detection and selection using gesture recognition
JP2012058838A (ja) 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
JP5621421B2 (ja) * 2010-09-06 2014-11-12 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
KR101686943B1 (ko) * 2010-09-07 2016-12-15 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US9344632B2 (en) * 2010-10-06 2016-05-17 Mitsubishi Electric Corporation AV system
JP2014170978A (ja) * 2011-05-12 2014-09-18 Nec Corp 情報処理装置、情報処理方法および情報処理プログラム
JP2014143453A (ja) * 2011-05-19 2014-08-07 Panasonic Corp 動画像編集再生装置
JP2013003412A (ja) * 2011-06-17 2013-01-07 Tatsumi Denshi Kogyo Kk 自動写真作成装置、自動写真作成方法およびプログラム
JP2014170981A (ja) * 2011-06-29 2014-09-18 Panasonic Corp 撮像装置
JP2013016030A (ja) * 2011-07-04 2013-01-24 Mitsubishi Electric Corp 番組再生装置および番組再生方法
JP5683402B2 (ja) * 2011-07-29 2015-03-11 三菱電機株式会社 画像合成装置及び画像合成方法
EP2751780B1 (en) * 2011-11-08 2019-07-03 Koninklijke Philips N.V. System and method for interactive image annotation
JP2013207357A (ja) 2012-03-27 2013-10-07 Sony Corp サーバ、クライアント端末、システムおよびプログラム
US9064184B2 (en) 2012-06-18 2015-06-23 Ebay Inc. Normalized images for item listings
TWI464692B (zh) * 2012-07-03 2014-12-11 Wistron Corp 操作物辨識方法、操作物深度資訊建立方法及電子裝置
JP6032987B2 (ja) * 2012-07-24 2016-11-30 オリンパス株式会社 画像出力装置および画像出力装置の作動方法
KR20140014548A (ko) * 2012-07-24 2014-02-06 삼성전자주식회사 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US9554049B2 (en) * 2012-12-04 2017-01-24 Ebay Inc. Guided video capture for item listings
CN103218627A (zh) * 2013-01-31 2013-07-24 沈阳航空航天大学 一种图像检测方法及设备
KR20140102443A (ko) * 2013-02-14 2014-08-22 삼성전자주식회사 카메라를 이용한 물체 추적 방법 및 이를 위한 카메라 시스템
CN103220466B (zh) * 2013-03-27 2016-08-24 华为终端有限公司 图片的输出方法及装置
JP6097150B2 (ja) 2013-05-24 2017-03-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
JP6168882B2 (ja) * 2013-07-04 2017-07-26 キヤノン株式会社 表示制御装置、その制御方法、および制御プログラム
JP6189116B2 (ja) 2013-07-09 2017-08-30 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
EP3070585A4 (en) * 2013-11-13 2017-07-05 Sony Corporation Display control device, display control method and program
JP6351243B2 (ja) * 2013-11-28 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法
JP6241320B2 (ja) * 2014-02-28 2017-12-06 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN103942539B (zh) * 2014-04-09 2017-03-15 上海交通大学 一种人头部椭圆精确高效提取及遮蔽人脸检测方法
CN104008372A (zh) * 2014-05-23 2014-08-27 南京邮电大学 一种无线多媒体传感器网络中的分布式人脸识别方法
US10099644B2 (en) * 2014-05-27 2018-10-16 University Of Southern California Virtual head mounted video camera system
JP6357922B2 (ja) * 2014-06-30 2018-07-18 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
CN105049710B (zh) * 2015-06-30 2018-07-06 广东欧珀移动通信有限公司 一种大视角摄像头控制方法及用户终端
JP6865351B2 (ja) * 2015-07-27 2021-04-28 パナソニックＩｐマネジメント株式会社 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム
CN105933607B (zh) * 2016-05-26 2019-01-22 维沃移动通信有限公司 一种移动终端的拍照效果调整方法及移动终端
JP6948123B2 (ja) * 2016-11-09 2021-10-13 シャープ株式会社 画像ファイルリスト表示方法
CN106600530B (zh) * 2016-11-29 2019-02-15 北京小米移动软件有限公司 照片合成方法及装置
CN108229308A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 目标对象识别方法、装置、存储介质和电子设备
JP2020022054A (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮影装置、電子機器及び通知方法
JP7277133B2 (ja) * 2018-12-27 2023-05-18 キヤノン株式会社 フォーカス制御装置、撮像装置、および、プログラム
JPWO2021044692A1 (zh) * 2019-09-03 2021-03-11
CN112839161A (zh) * 2019-11-22 2021-05-25 北京小米移动软件有限公司 拍摄方法及装置
KR20230050617A (ko) * 2021-10-08 2023-04-17 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03222582A (ja) * 1990-01-29 1991-10-01 Eastman Kodatsuku Japan Kk 電子スチルカメラ装置及びその表示装置
JP3222582B2 (ja) 1992-10-08 2001-10-29 日本信号株式会社 非接触式カード用データ確認装置
CN1254904A (zh) * 1998-11-18 2000-05-31 株式会社新太吉 用于拍摄/识别脸孔的方法和装置
JP4549481B2 (ja) * 2000-03-09 2010-09-22 オリンパス株式会社 ピント合わせ装置
US7127081B1 (en) 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
US7320135B2 (en) * 2000-12-26 2008-01-15 Pioneer Corporation System for serving information in relation to video information broadcasted on electric wave
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP2003107335A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP3984029B2 (ja) * 2001-11-12 2007-09-26 オリンパス株式会社 画像処理装置およびプログラム
JP3849517B2 (ja) 2001-12-14 2006-11-22 ソニー株式会社 写真ブース、画像処理方法、記録媒体、並びにプログラム
JP2004005384A (ja) 2002-04-19 2004-01-08 Sony Corp 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置
EP1434170A3 (en) * 2002-11-07 2006-04-05 Matsushita Electric Industrial Co., Ltd. Method and apparatus for adding ornaments to an image of a person
JP3919691B2 (ja) * 2003-03-28 2007-05-30 キヤノン株式会社 表示制御装置及び表示装置及び表示制御方法
JP4196714B2 (ja) * 2003-04-15 2008-12-17 株式会社ニコン デジタルカメラ
JP4333223B2 (ja) * 2003-06-11 2009-09-16 株式会社ニコン 自動撮影装置
JP4449354B2 (ja) * 2003-06-26 2010-04-14 カシオ計算機株式会社 画像撮影装置及びプログラム
JP2005039424A (ja) * 2003-07-17 2005-02-10 Omron Corp ホームセキュリティシステム
JP4372494B2 (ja) * 2003-08-28 2009-11-25 大日本印刷株式会社 画像処理装置、画像処理方法、プログラム、記録媒体
WO2005031612A1 (ja) * 2003-09-26 2005-04-07 Nikon Corporation 電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム
CN1635539A (zh) 2003-12-30 2005-07-06 中国科学院自动化研究所 移动计算环境下的人脸检测方法
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP4130641B2 (ja) * 2004-03-31 2008-08-06 富士フイルム株式会社 ディジタル・スチル・カメラおよびその制御方法
JP4335727B2 (ja) * 2004-03-31 2009-09-30 富士フイルム株式会社 顔抽出を行うディジタルカメラ
JP4576146B2 (ja) * 2004-04-02 2010-11-04 富士通株式会社 特定画像位置推定装置
JP2006119844A (ja) * 2004-10-20 2006-05-11 Fuji Photo Film Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2006115406A (ja) 2004-10-18 2006-04-27 Omron Corp 撮像装置
JP2006171087A (ja) * 2004-12-13 2006-06-29 Casio Comput Co Ltd フラッシュ装置及びカメラ
JP4534750B2 (ja) * 2004-12-21 2010-09-01 株式会社ニコン 画像処理装置および画像処理プログラム
JP2006201531A (ja) * 2005-01-21 2006-08-03 Konica Minolta Holdings Inc 撮像装置
JP2007097090A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置
CN100397410C (zh) 2005-12-31 2008-06-25 北京中星微电子有限公司 基于视频的面部表情识别方法及装置
JP5032798B2 (ja) * 2006-03-24 2012-09-26 富士フイルム株式会社 情報提供装置、情報提供システムおよび情報提供方法
JP2007295547A (ja) * 2006-03-31 2007-11-08 Nikon Corp デジタルカメラ
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
JP4457358B2 (ja) * 2006-05-12 2010-04-28 富士フイルム株式会社 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
JP4218712B2 (ja) * 2006-08-04 2009-02-04 ソニー株式会社 顔検出装置、撮像装置および顔検出方法
JP2010520567A (ja) * 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッド 顔の位置および向きを用いた赤目の誤検出フィルタリング

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101640763B (zh) * 2008-08-01 2013-07-24 奥林巴斯映像株式会社 图像再现装置和图像再现方法
CN102138322A (zh) * 2008-09-08 2011-07-27 松下电器产业株式会社 图像处理装置、图像处理方法、图像处理程序、摄像装置
CN102265215A (zh) * 2008-12-05 2011-11-30 索尼爱立信移动通讯有限公司 触摸聚焦的摄像机系统和方法
CN101794377B (zh) * 2009-01-28 2012-12-26 精工爱普生株式会社 检测脸的特征部位的坐标位置的图像处理装置
CN102334132A (zh) * 2009-02-24 2012-01-25 诺基亚公司 图像对象检测浏览器
CN101848337B (zh) * 2009-03-25 2012-07-04 索尼公司 图像处理设备、图像处理方法
CN101848337A (zh) * 2009-03-25 2010-09-29 索尼公司 图像处理设备、图像处理方法和程序
CN102084397A (zh) * 2009-05-13 2011-06-01 索尼公司 图像处理设备、方法和程序
CN102084397B (zh) * 2009-05-13 2014-02-05 索尼公司 图像处理设备、方法
CN101635029A (zh) * 2009-06-01 2010-01-27 北京中星微电子有限公司 一种人脸识别方法与移动终端
CN102289785A (zh) * 2010-06-18 2011-12-21 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN102289785B (zh) * 2010-06-18 2013-05-15 卡西欧计算机株式会社 图像处理装置以及图像处理方法
US8842932B2 (en) 2010-06-18 2014-09-23 Casio Computer Co., Ltd. Image processing apparatus, image processing method, and recording medium recording a program
CN103189899B (zh) * 2010-11-08 2016-02-24 株式会社Ntt都科摩 对象显示装置以及对象显示方法
CN103189899A (zh) * 2010-11-08 2013-07-03 株式会社Ntt都科摩 对象显示装置以及对象显示方法
US9454836B2 (en) 2010-11-08 2016-09-27 Ntt Docomo, Inc. Object display device and object display method
CN102004909A (zh) * 2010-11-30 2011-04-06 方正国际软件有限公司 一种处理身份信息的方法与系统
CN102693412A (zh) * 2011-03-25 2012-09-26 联发科技股份有限公司 用于检测物件的影像处理方法及影像处理装置
CN102693412B (zh) * 2011-03-25 2016-03-02 联发科技股份有限公司 用于检测物件的影像处理方法及影像处理装置
US9165390B2 (en) 2011-06-10 2015-10-20 Panasonic Intellectual Property Management Co., Ltd. Object detection frame display device and object detection frame display method
CN103597514A (zh) * 2011-06-10 2014-02-19 松下电器产业株式会社 物体检测框显示装置和物体检测框显示方法
CN103597514B (zh) * 2011-06-10 2016-04-06 松下电器产业株式会社 物体检测框显示装置和物体检测框显示方法
CN103339661B (zh) * 2011-07-14 2015-12-09 株式会社Ntt都科摩 对象显示装置、对象显示方法和对象显示程序
CN103339661A (zh) * 2011-07-14 2013-10-02 株式会社Ntt都科摩 对象显示装置、对象显示方法和对象显示程序
US9305399B2 (en) 2011-07-14 2016-04-05 Ntt Docomo, Inc. Apparatus and method for displaying objects
CN103186763A (zh) * 2011-12-28 2013-07-03 富泰华工业（深圳）有限公司 人脸识别系统及方法
CN103186763B (zh) * 2011-12-28 2017-07-21 富泰华工业（深圳）有限公司 人脸识别系统及方法
CN104205798B (zh) * 2012-04-09 2017-08-04 索尼公司 显示控制装置、显示控制方法和存储介质
CN104205798A (zh) * 2012-04-09 2014-12-10 索尼公司 显示控制装置、显示控制方法和程序
CN106687991A (zh) * 2014-07-16 2017-05-17 索尼公司 用于基于社交关系来设置数字图像的焦点的系统和方法
CN106687991B (zh) * 2014-07-16 2020-08-07 索尼公司 用于基于社交关系来设置数字图像的焦点的系统和方法
CN107851324A (zh) * 2015-07-28 2018-03-27 索尼公司 信息处理系统、信息处理方法和记录介质
CN105430262A (zh) * 2015-11-17 2016-03-23 小米科技有限责任公司 拍摄控制方法及装置
CN105430262B (zh) * 2015-11-17 2019-08-06 小米科技有限责任公司 拍摄控制方法及装置
CN107045711A (zh) * 2016-02-05 2017-08-15 株式会社万代南梦宫娱乐 图像生成系统以及图像处理方法
CN107045711B (zh) * 2016-02-05 2023-08-11 株式会社万代南梦宫娱乐 图像生成系统以及图像处理方法
CN108833771A (zh) * 2018-05-23 2018-11-16 广州美人信息技术有限公司 一种人像构图线生成方法、系统及装置
CN110557559B (zh) * 2018-05-30 2021-12-17 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN110557559A (zh) * 2018-05-30 2019-12-10 佳能株式会社 图像处理设备、图像处理方法和存储介质
US11012650B2 (en) 2018-05-30 2021-05-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN109978884A (zh) * 2019-04-30 2019-07-05 恒睿(重庆)人工智能技术研究院有限公司 基于人脸分析的多人图像评分方法、系统、设备及介质
CN109978884B (zh) * 2019-04-30 2020-06-30 恒睿(重庆)人工智能技术研究院有限公司 基于人脸分析的多人图像评分方法、系统、设备及介质

Also Published As

Publication number Publication date
CN100556078C (zh) 2009-10-28
JP2008131405A (ja) 2008-06-05
JP4264663B2 (ja) 2009-05-20
US8385607B2 (en) 2013-02-26
US20080118156A1 (en) 2008-05-22

Similar Documents

Publication Publication Date Title
CN100556078C (zh) 摄像装置、图像处理装置、以及图像处理方法
CN101325658B (zh) 成像设备和成像方法
JP4898475B2 (ja) 撮影制御装置、撮影装置、及び撮影制御方法
JP4196714B2 (ja) デジタルカメラ
US8570422B2 (en) Apparatus, method, and recording medium containing program for photographing
US9092659B2 (en) Subject determination apparatus that determines whether or not subject is specific subject
CN101262561B (zh) 成像设备及其控制方法
JP4431547B2 (ja) 画像表示制御装置ならびにそれらの制御方法およびそれらの制御プログラム
CN102792672A (zh) 电子设备、摄像装置、图像再现方法、图像再现程序、记录有图像再现程序的记录介质以及图像再现装置
JP4663700B2 (ja) 撮影装置、及び撮影方法
CN102202177A (zh) 图像处理装置、电子相机、图像处理程序
US20080088717A1 (en) Image capturing apparatus, image capturing method, image processing apparatus, image processing method and computer-readable medium
US9253406B2 (en) Image capture apparatus that can display review image, image capture method, and storage medium
CN105100586A (zh) 检测装置及检测方法
US20130235228A1 (en) Image processing apparatus and method, and program
US20100123804A1 (en) Emotion-based image processing apparatus and image processing method
CN105744179A (zh) 摄像装置、摄像控制方法
JP6374849B2 (ja) ユーザ端末、色彩補正システム及び色彩補正方法
US20180077298A1 (en) Image-capturing assistance device and image-capturing device
CN102542251A (zh) 被摄体检测装置以及被摄体检测方法
JP2008035125A (ja) 撮像装置、画像処理方法およびプログラム
CN108259769B (zh) 图像处理方法、装置、存储介质及电子设备
JP5423186B2 (ja) 撮像装置、領域検知方法、及びプログラム
JP2013062711A (ja) 撮影装置、撮影画像処理方法、およびプログラム
KR20150109254A (ko) 셀프 타이머 촬영을 행하는 촬상 장치, 촬상 방법 및 기록 매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant