CN103327228A - 图像处理设备和方法以及程序 - Google Patents

图像处理设备和方法以及程序 Download PDF

Info

Publication number
CN103327228A
CN103327228A CN2013100593394A CN201310059339A CN103327228A CN 103327228 A CN103327228 A CN 103327228A CN 2013100593394 A CN2013100593394 A CN 2013100593394A CN 201310059339 A CN201310059339 A CN 201310059339A CN 103327228 A CN103327228 A CN 103327228A
Authority
CN
China
Prior art keywords
countenance
image
unit
face
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100593394A
Other languages
English (en)
Inventor
钱成昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103327228A publication Critical patent/CN103327228A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理设备和方法以及程序。一种图像处理设备，包括：脸部检测单元，所述脸部检测单元根据输入图像检测脸部；评估值计算单元，所述评估值计算单元针对由脸部检测单元检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；和控制单元，所述控制单元基于由脸部检测单元检测到的脸部的每一种脸部表情的人的数量和由评估值计算单元计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易地提取包括少数人具有的脸部表情的图像。

Description

图像处理设备和方法以及程序
背景技术
本发明涉及一种图像处理设备、图像处理方法和程序，更具体地讲，涉及一种构造为即使当多个被图像捕捉的人的脸部表情不同时也获得具有高满意程度的图像的图像处理设备、图像处理和程序。 
近年来，基于图像信号处理数字操作的图像处理技术已迅速发展。作为例子，公开了从图像检测人的脸部的技术(例如，日本未审专利申请公开No.2005-157679)。这种脸部检测技术已发展为安装在利用固体成像器件执行成像的数字类型成像设备上(诸如，数字静止照相机)。另外，近年来，已注意到识别检测到的脸部的脸部表情的技术。 
例如，在日本未审专利申请公开No.2004-046591中，已提出这样一种技术：对于来自连续地捕捉多个帧的图像信号的每个捕捉图像评估被图像捕捉的人的脸部的脸部表情，并根据评估信息选择合适的图像。 
另外，在日本未审专利申请公开No.2009-217758中，已提出这样一种技术：执行作为图像的评估，而不仅仅是图像中所包括的脸部的评估。 
另外，在日本未审专利申请公开No.2010-117948中，已提出这样一种技术：该技术具有两种脸部表情确定模式，并响应于检测到的脸部的数量选择确定模式，该确定模式是速度优先、准确性优先还是用户的手动操作等。 
另一方面，在成像设备中，在从按压快门按钮的操作过去预定时间之后自动释放快门的所谓的自拍定时器功能(自动成像功能)通常不仅安装在银盐照相机中，还安装在数字静止照相机中。 
然而，在自动成像功能中，释放快门的时间被预先确定，从而它 并不保证被图像捕捉的人在释放快门时必然具有良好的脸部表情，并且经常捕捉到令人不满意的照片。 
相应地，在日本未审专利申请公开No.2011-030163中，已提出这样一种技术：通过在自动成像功能中改变当执行成像和记录时的频率，执行自动成像功能中的功能改进。 
发明内容
然而，在现有技术中，不存在与在多个被图像捕捉的人的脸部表情不同的情况下的自动成像功能相关的建议。 
因此，考虑以上情况，希望即使当多个被图像捕捉的人的脸部表情不同时也获得具有高满意程度的图像。 
一种根据本发明实施例的图像处理设备包括：脸部检测单元，所述脸部检测单元根据输入图像检测脸部；评估值计算单元，所述评估值计算单元针对由脸部检测单元检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；和控制单元，所述控制单元基于由脸部检测单元检测到的脸部的每一种脸部表情的人的数量和由评估值计算单元计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易地提取包括少数人具有的脸部表情的图像。 
当少数人具有的脸部表情是多个时，控制单元改变所述基准，从而容易从少数人具有的多个脸部表情之中提取包括最多数量的儿童具有的脸部表情的图像。 
当少数人具有的脸部表情是多个时，控制单元改变所述基准，从而容易地从少数人具有的多个脸部表情之中提取包括具有少数人具有的脸部表情的人的最靠近视角中央的脸部表情的图像。 
图像处理设备可还包括：提取单元，基于由控制单元改变的基准提取包括少数人具有的脸部表情的图像。 
由提取单元执行的处理是记录输入图像的处理。 
由提取单元执行的处理是自动释放快门的处理。 
由提取单元执行的处理是对用户的指令处理。 
由提取单元执行的处理是施与元数据的处理。 
图像处理设备可还包括：成像单元，所述成像单元捕捉被摄体并输入输入图像；和云台控制单元，所述云台控制单元控制安装有包括成像单元的壳体的云台的驱动。 
图像处理设备可还包括：基准调整单元，所述基准调整单元在由提取单元执行提取处理时沿使该基准恢复到原始基准的方向调整由控制单元改变的基准。 
当预定时间过去时，所述基准调整单元沿进一步改变该基准的方向调整由控制单元改变的基准。 
所述控制单元通过降低或提高与评估值对应的阈值来改变用于提取图像的基准。 
所述控制单元通过把增益应用于评估值来改变用于提取图像的基准。 
另外，一种根据本发明实施例的图像处理方法包括：根据输入图像检测脸部；针对检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；以及基于检测到的脸部的每一种脸部表情的人的数量和计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易提取包括少数人具有的脸部表情的图像。 
另外，一种根据本发明实施例的程序使计算机用作：脸部检测单元，所述脸部检测单元根据输入图像检测脸部；评估值计算单元，所述评估值计算单元针对由脸部检测单元检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；和控制单元，所述控制单元基于由脸部检测单元检测到脸部的每一种脸部表情的人的数量和由评估值计算单元计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易提取包括少数人具有的脸部表情的图像。 
根据本发明的实施例，根据输入图像检测脸部，并且计算针对检测到的脸部的每一种脸部表情的表示脸部表情的程度的评估值。然后，基于检测到的脸部的每一种脸部表情的人的数量和计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易地 提取包括少数人具有的脸部表情的图像。 
根据本发明的实施例，可提取图像。具体地讲，即使当被图像捕捉的人的脸部表情不同时，也可获得具有高满意程度的图像。 
附图说明
图1是表示应用本技术的成像设备的结构例子的方框图； 
图2是表示控制单元的结构例子的方框图； 
图3A-3G是表示使用自动成像模式的成像处理的概述的示图； 
图4是表示使用自动成像模式的成像处理的例子的流程图； 
图5是表示脸部表情评估值计算处理的流程图； 
图6是表示使用自动成像模式的成像处理的另一例子的流程图； 
图7是表示使用自动成像模式的成像处理的又一例子的流程图； 
图8是表示使用云台的使用自动成像模式的成像处理的例子的流程图； 
图9是表示阈值调整处理的例子的流程图； 
图10是表示阈值调整处理的另一例子的流程图；和 
图11是表示计算机的结构例子的方框图。 
具体实施方式显示 
以下，将描述实现本发明的实施例(以下，称为实施例)。 
成像设备的结构例子 
图1是表示作为应用本技术的成像设备的例子的成像设备的结构例子的方框图。 
图1中显示的成像设备11由数字静止照相机等构造，并且可安装在云台12上，由此连接到云台12。 
云台12可利用与安装在(连接到)它上面的成像设备11的通信执行控制以便从各种角度捕捉被摄体，也就是说，云台12沿左右方向 (摇镜头：水平方向)旋转成像设备11或者升高或降低成像设备11的视角(移轴：垂直方向)。另外，操作控制器可构造为嵌入在云台12中。 
成像设备11构造为包括：透镜21、成像装置22、模拟信号处理单元23、A/D转换单元24、控制单元25、聚焦单元26、光圈单元27和变焦单元28。另外，成像设备11构造为包括：显示单元29、记录单元30、操作单元31、存储器32和云台对应通信单元33。 
透镜21具有未示出的聚焦机构、光圈机构和变焦机构。由穿过透镜21的被摄体光在成像装置22中形成图像。成像装置22由例如光电转换器件(诸如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))构造。成像装置22接收将要形成图像的被摄体光，把该被摄体光转换成电信号，并把转换后的电信号输出到模拟信号处理单元23。 
模拟信号处理单元23对来自成像装置22的电信号执行信号处理(诸如,伽马校正或白平衡)，并把信号处理之后的电信号输出到A/D转换单元24。A/D转换单元24对来自模拟信号处理单元23的电信号执行A/D转换，并把转换之后的数字图像数据输出到控制单元25。 
控制单元25是基于来自操作单元31的操作信号或在存储器32中形成的程序总体地控制成像设备11的每个单元的操作的控制电路。也就是说，控制单元25对来自A/D转换单元24的数字图像数据执行预定处理，把处理之后的图像数据显示在显示单元29上或者把处理之后的图像数据记录在记录单元30或存储器32中。另外，控制单元25通过控制聚焦单元26、光圈单元27和变焦单元28来执行成像控制。另外，控制单元25在自动成像模式中通过在云台对应通信单元33中通信来控制云台12的操作，诸如摇·移。 
聚焦单元26驱动透镜21的聚焦机构。光圈单元27驱动透镜21的光圈机构。变焦单元28驱动透镜21的变焦机构。 
显示单元29由例如液晶显示装置形成，并显示与在控制单元25 中制作的用于显示的图像数据对应的图像。记录单元30由IC存储卡或嵌入式存储器形成，并记录来自控制单元25的数据。 
操作单元31由层叠在显示单元29上的触摸面板或者布置在壳体中的按钮、开关和调节控制盘形成，并把与用户的操作对应的信号输入到控制单元25。例如，当操作单元31由触摸面板构造时，操作单元31检测用户的操作并把与检测到的位置对应的信号输入到控制单元25。 
存储器32由随机存取存储器(RAM)等构造，并用作形成预定程序的区域或者存储控制单元25中处理的数据的临时记录区域。 
云台对应通信单元33以预定通信方式执行与云台12的通信。例如，云台对应通信单元33把操作控制信号从控制单元25发送到云台12，并把答复信号从云台12发送到控制单元25。 
控制单元的结构例子 
图2是表示在照相机的操作模式转变为自动成像模式的情况下的控制单元的结构例子的图。响应于由用户通过例如操作单元31输入的引起自动成像模式启动的指令，执行向自动成像模式的转变。 
在图2的例子中，控制单元25构造为包括脸部检测单元51、脸部表情评估单元52、阈值控制单元53和提取单元55。 
来自A/D转换单元24的图像数据被输入到脸部检测单元51和提取单元55。另外，图像数据被输入到显示单元29，并且静止图像被显示在显示单元29上。 
脸部检测单元51从来自A/D转换单元24的图像数据的图像检测人脸部，并在存在多个检测到的脸部时向脸部表情评估单元52提供与检测到的脸部的位置、大小等相关的信息。另外，在脸部检测中，例如，使用日本未审专利申请公开No.2005-157679中公开的技术。另外，儿童确定单元61被嵌入在脸部检测单元51中。儿童确定单元61确定在检测到的人脸部之中是否存在儿童的脸部或成年人的脸部，向脸部表情评估单元52提供确定结果。这里，使用成年人或 儿童的每项学习数据执行是否存在儿童的脸部或成年人的脸部的确定。 
脸部表情评估单元52针对由脸部检测单元51从图像检测到的每个脸部的脸部表情计算脸部表情1的评估值、脸部表情2的评估值和脸部表情3的评估值。然后，脸部表情评估单元52确定每个检测到的脸部的脸部表情被归类为脸部表情1至脸部表情3中的哪一种脸部表情，并把归类的脸部表情的评估值相加。脸部表情1至脸部表情3是脸部表情的类型，并包括例如微笑的脸部、哭泣的脸部、得意的脸部、生气的脸部和滑稽的脸部。另外，脸部表情可被归类为更多的脸部，而不局限于三种脸部表情。 
脸部表情评估单元52向阈值控制单元53提供具有确定的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和相应评估值。另外，脸部表情评估单元52根据需要向阈值控制单元53提供与由脸部检测单元51检测到的脸部的位置相关的信息或者来自儿童确定单元61的是否存在儿童或成年人的确定的结果。 
阈值控制单元53保存关于脸部表情1至脸部表情3中的每一种脸部表情的相应阈值。阈值控制单元53使用来自脸部表情评估单元52的信息基于具有确定的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和相应评估值改变例如少数人具有的表情的阈值。阈值控制单元53向提取单元55提供脸部表情1至脸部表情3的评估值和与各评估值对应的各阈值。 
当脸部表情1至脸部表情3的所有评估值等于或大于各对应阈值时，提取单元55执行快门处理，快门处理是在来自输入的图像数据的图像中仅提取(选择)一部分的处理。 
作为在提取单元55中提取图像的例子，对输入的图像数据执行快门处理。这里，快门处理代表自动快门处理。也就是说，提取单元55提取满足阈值(基准)的图像。提取单元55把提取(也就是说，执行了快门处理)的图像数据提供给记录单元30，并允许提取的数据被记录在记录单元30上。 
也就是说，成像设备11中的自动成像模式是这样的模式：当脸部表情的所有评估值等于或大于各对应阈值时，执行自动快门处理。 
另外，除快门处理之外，图像提取的例子包括把元数据添加到多个图像之中的对应图像的处理或者仅记录多个图像之中的对应图像的处理。 
使用自动成像模式的成像处理的概述 
接下来，将参照图3描述使用上述自动成像模式的成像处理的概述。 
被摄体光穿过透镜21而在成像装置22中形成图像。成像装置22接收形成图像的被摄体光，把该光转换成电信号，并把转换的电信号输出到模拟信号处理单元23。模拟信号处理单元23对来自成像装置22的电信号执行信号处理(诸如,伽马校正或白平衡)，并把信号处理之后的电信号输出到A/D转换单元24。A/D转换单元24对来自模拟信号处理单元23的电信号执行A/D转换，并把转换之后的数字图像数据输出到控制单元25。 
控制单元25把数字图像数据输出到显示单元29，并且图3A中显示的与数字图像数据对应的图像101被显示在显示单元29上。三个人位于上侧并且一个具有哭泣的脸部表情的人位于中下侧的图像101被显示在显示单元29上。从左侧开始，位于上侧的人为没有脸部表情、微笑的脸部表情和微笑的脸部表情。 
在这种状态下，用户使用操作单元31把自动成像模式设置为“启动”。控制单元25读取通过操作单元31输入的自动成像模式启动的轮询处理，并把成像设备11的操作模式改变为自动成像模式。然后，控制单元25如图3B中所示把“自动成像模式启动”的图像102叠加在显示单元29的图像101上，并激活图2中的各部分。 
脸部检测单元51从来自A/D转换单元24的图像数据的图像检测到四个人脸部，并向脸部表情评估单元52提供信息，诸如检测到的脸部的位置和大小。 
首先，如图3C中的虚线所示，脸部表情评估单元52针对位于左上侧的人计算每种脸部表情的评估值。基于每个检测到的脸部表情的评估值，位于左上侧的人的脸部表情被确定为没有脸部表情。在没有脸部表情的情况下，这个人的脸部表情不被归类为任何一种脸部表情。另外，在转变为自动成像模式之后，表示“自动成像模式启动”的图像103以比当执行向自动成像模式的转变时的图像小的尺寸显示在左下侧。 
接下来，脸部表情评估单元52针对位于中上侧的人计算每种脸部表情的评估值，如图3D中的虚线所示。基于每个计算出的脸部表情的评估值，位于中上侧的人的脸部表情被归类为微笑的脸部(脸部表情1)，并且微笑的脸部的数量变为1。 
接下来，脸部表情评估单元52针对位于右上侧的人计算每种脸部表情的评估值，如图3E中的虚线所示。基于每个计算出的脸部表情的评估值，位于右上侧的人的脸部表情被归类为微笑的脸部(脸部表情1)，并且微笑的脸部的数量变为2。 
接下来，脸部表情评估单元52针对位于中下侧的人计算每种脸部表情的评估值，如图3F中的虚线所示。基于每个计算出的脸部表情的评估值，位于中下侧的人的脸部表情被归类为哭泣的脸部(脸部表情2)，并且哭泣的脸部的数量变为1。另外，图3C至3F中的虚线仅为了方便解释而被显示，并且未被显示在真实图像101中。 
当脸部表情评估单元52比较检测到脸部表情的人的数量和在视角内的人的数量4与在视角内检测到的人的数量4时，如果所有的数量相同，则脸部表情评估单元52结束脸部表情评估计算处理。阈值控制单元53参照图像101中的每种脸部表情的评估值和数量改变基准。例如，阈值控制单元53通过把最少数量的人具有的哭泣的脸部的阈值降低一个等级来改变基准。阈值控制单元53向提取单元55提供脸部表情1至脸部表情3的评估值和对应阈值。 
然后，当脸部表情1至脸部表情3的评估值中的每个评估值超过各对应阈值并且脸部表情2(哭泣的脸部)的评估值超过基准被改变的阈值时，提取单元55执行快门处理。提取单元55如图3G中所示执 行快门处理，快门处理是用于从输入的图像数据提取静止图像的处理，并且提取单元55向记录单元30提供被执行快门处理(提取)的静止图像数据，并允许提取的数据被记录在记录单元30上。 
也就是说，在自动成像模式中，当所有的脸部表情的评估值中的每个评估值超过各对应阈值时，提取静止图像。因此，即使并非所有人具有微笑的脸部(也就是说，脸部表情不同)，也提取静止图像。 
然后，在改变基准时，通过把阈值降低一个等级，放松关于图像提取的确定处理的确定基准。确定基准被放松，从而容易地提取基准被改变的脸部表情(也就是说，最少数量的人具有的脸部表情)。 
存在许多的这种情况，即具有与周围的人的脸部不同的脸部的人(换句话说，具有最少数量的人具有的脸部表情的脸部的人)可能是中心人物或领导人物，优选地，希望提取(拍摄)这个人的图像。因此，通过如上所述执行，具有最少数量的人具有的脸部表情的人(领导角色)的图像可被更多地捕捉。 
另外，虽然阈值被降低一个等级，但等级的数量不限于一。另外，基准改变方法不限于降低阈值，只要是容易地提取包括少数人具有的表情的图像的基准改变方法，则可使用该方法。例如，可提高很多人具有的脸部表情的阈值，或者超过一的增益可被应用于少数人具有的脸部表情的评估值。 
使用自动成像模式的成像处理的例子 
接下来，将参照图4描述使用成像设备11的自动成像模式的成像处理。例如，在上述处理中，用户使用操作单元31把自动成像模式设置为启动。相应地，控制单元25把成像设备11的操作模式转变为自动成像模式，由此开始。 
成像装置22接收穿过透镜21而形成图像的被摄体光，把该光转换成电信号，并把转换的电信号输出到模拟信号处理单元23。模拟信号处理单元23对来自成像装置22的电信号执行信号处理(诸如,伽 马校正或白平衡)，并把信号处理之后的电信号输出到A/D转换单元24。然后，由A/D转换单元24执行A/D转换的图像数据被输入到脸部检测单元51。 
在步骤S11中，脸部检测单元51从来自A/D转换单元24的图像数据的图像检测人脸部，并基于检测到的人脸部计算在视角内的人的数量。在步骤S12中，脸部检测单元51确定在视角内的人的数量是否等于或大于1。 
在步骤S12中，当脸部检测单元51确定在视角内的人的数量等于或大于1时，脸部检测单元51向脸部表情评估单元52提供与检测到的脸部的位置、大小等相关的信息，然后流程前进至步骤S13。 
在步骤S13中，脸部表情评估单元52执行脸部表情评估计算处理。以下将参照图5详细描述脸部表情评估计算处理。通过步骤S13的处理，计算确定的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和相应评估值。计算出的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和相应评估值被提供给阈值控制单元53。 
在步骤S14中，阈值控制单元53参照来自脸部表情评估单元52的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和各评估值确定是否存在最少数量的人具有的脸部表情。例如，当脸部表情1(微笑的脸部)的数量为二，脸部表情2(哭泣的脸部)的数量为一并且脸部表情3(得意的脸部)的数量为二时，在步骤S14中，确定存在最少数量的人具有的脸部表情，然后流程前进至步骤S15。 
在步骤S15中，阈值控制单元53把作为最少数量的人具有的脸部表情的脸部表情2(哭泣的脸部)的阈值降低一个等级。另外，在图4的例子中，即使在存在多种最少数量的人具有的脸部表情的情况下，流程也前进至步骤S15。在步骤S15中，针对最少数量的人具有的脸部表情降低阈值。然后，阈值控制单元53向提取单元55提供脸部表情1至脸部表情3的评估值和与各评估值对应的各阈值。 
在步骤S14中，在不存在最少数量的人具有的脸部表情的情况下，跳过步骤S15，然后流程前进至步骤S16。另外，即使当在视角 内的人的数量为一或二时，在步骤S14中，也确定是否不存在最少数量的人具有的脸部表情。然后，阈值控制单元53向提取单元55提供脸部表情1至脸部表情3的评估值和与各评估值对应的各阈值。 
在步骤S16中，提取单元55确定每种脸部表情的评估值是否分别超过对应的阈值。在步骤S16中，在确定每种脸部表情的评估值分别超过对应的阈值的情况下，流程前进至步骤S17。 
在步骤S17中，提取单元55从输入的图像数据提取图像。提取单元55向记录单元30提供提取(也就是说，执行快门处理)的图像数据，并允许提取的数据被记录在记录单元30上。另外，执行快门处理的次数不限于一次，而是可多次执行快门处理。 
在步骤S16中，当确定并非每种脸部表情的评估值分别超过对应的阈值时，也就是说，当确定存在其评估值未超过对应的阈值的至少一种表情时，跳过步骤S17，然后流程前进至步骤S18。 
替代地，在步骤S12中，当脸部检测单元51确定在视角内的人的数量为零时，跳过步骤S13至S17，然后流程前进至步骤S18。 
在步骤S18中，脸部检测单元51确定是否存在通过操作单元31来自用户的处理结束指令。在步骤S18中，当确定不存在处理结束指令时，流程返回到步骤S11，然后重复随后的处理。 
在步骤S18中，当存在处理结束指令时，使用自动成像模式的处理结束。 
如上所述，当确定存在最少数量的人具有的脸部表情时，降低最少数量的人具有的脸部表情的阈值，由此增加获得包括最少数量的人具有的脸部表情(也就是说，可能位于中心的人的表情)的图像的可能性。 
另外，在自动成像模式的情况下，在步骤S18的处理中确定图像是否被提取。如果曾经提取了图像，则图4的成像处理可结束。 
另外，当重复图4的成像处理(像是将参照图8描述的在使用云台12的情况下的自动成像模式的处理)时，在提取图像之后，可执行阈值调整。 
脸部表情评估值计算处理 
将参照图5的流程图描述图4中的步骤S13的脸部表情评估值计算处理。 
脸部表情评估单元52在步骤S31中设置N=1，并在步骤S32中计算第一个人的脸部表情评估值。例如，针对第一个人的脸部表情，分别计算表示脸部表情1的程度的脸部表情1的评估值、表示脸部表情2的程度的脸部表情2的评估值和表示脸部表情3的程度的脸部表情3的评估值。 
在步骤S33中，基于计算出的每种脸部表情的评估值，脸部表情评估单元52把第一个人的脸部表情归类为脸部表情1至脸部表情3中的任何一种脸部表情。在脸部表情评估单元52中，例如使用关于每种脸部表情的学习的数据执行归类。另外，即使在步骤S33中归类时也使用阈值，但该阈值也小于用于在图4中的步骤S16中确定执行图像提取的时间的阈值。 
脸部表情评估单元52在步骤S34中把归类的脸部表情的人的数量加一，并在步骤S35中把在步骤S32中计算出的评估值之中的被归类的第一个人的脸部表情的评估值添加到归类的脸部表情的评估值。 
脸部表情评估单元52在步骤S36中设置N=N+1，并在步骤S37中确定N是否不大于在视角内的人的数量。在步骤S37中，当确定N不大于在视角内的人的数量时，流程返回至步骤S32，然后重复随后的处理。在步骤S37中，当确定N大于在视角内的人的数量时，脸部表情评估值计算处理结束。 
使用自动成像模式的成像处理的另一例子 
接下来，将参照图6中的流程图描述使用成像设备11的自动成像模式的成像处理中的儿童优先的例子。另外，图6中的步骤S51至S54和步骤S59至S61的处理基本上与图4中的步骤S11至S14和步 骤S16至S18的处理相同并且详细的描述重复，从而该描述将会被省略。 
在步骤S51中，脸部检测单元51从来自A/D转换单元24的图像数据的图像检测人脸部，并基于检测到的人脸部计算在视角内的人的数量。此时，儿童确定单元61确定在检测到的人脸部之中是否存在儿童的脸部或成年人的脸部。在步骤S52中，脸部检测单元51确定在视角内的人的数量是否为一个或更多个。 
当在步骤S52中脸部检测单元51确定在视角内的人的数量为一个或更多个时，脸部检测单元51向脸部表情评估单元52提供信息(诸如，检测到的脸部的位置和大小)，然后流程前进至步骤S53。根据需要，来自儿童确定单元61的是否存在儿童或成年人的确定结果也被提供给脸部表情评估单元52。 
在步骤S53中，脸部表情评估单元52执行前述脸部表情评估值计算处理。通过步骤S53的处理，计算确定的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和对应评估值。计算出的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和对应评估值被提供给阈值控制单元53。 
在步骤S54中，阈值控制单元53参照来自脸部表情评估单元52的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和对应评估值确定是否存在最少数量的人具有的脸部表情。在步骤S54中，当确定存在最少数量的人具有的脸部表情时，流程前进至步骤S55。 
在步骤S55中，阈值控制单元53确定最少数量的人具有的脸部表情是否为多种。在步骤S55中，当确定最少数量的人具有的脸部表情仅为一种时，流程前进至步骤S56。在步骤S56中，阈值控制单元53把被确定为最少数量的人具有的脸部表情的脸部表情的阈值降低一个等级，并向提取单元55提供脸部表情1至脸部表情3的评估值和与各评估值对应的各阈值，然后流程前进至步骤S59。 
例如，当脸部表情1(微笑的脸部)的数量为三，脸部表情2(哭泣的脸部)的数量为二并且脸部表情3(得意的脸部)的数量为二时，最少 数量的人具有的脸部表情为多种，从而在步骤S55中确定最少数量的人具有的脸部表情为多种，然后流程前进至步骤S57。 
例如，即使在具有相同数量的脸部表情(诸如，脸部表情1的数量为一、脸部表情2的数量为一并且脸部表情3的数量为一的情况，和脸部表情1的数量为二、脸部表情2的数量为二并且脸部表情3的数量为二的情况)的情况下或者在脸部表情1的数量为一、脸部表情2的数量为一并且脸部表情3的数量为二的情况下，在步骤S55中，也确定最少数量的人具有的脸部表情是多种。 
这里，来自儿童确定单元61的关于是否存在儿童的脸部或成年人的脸部的确定结果通过脸部表情评估单元52被提供给阈值控制单元53。在步骤S57中，阈值控制单元53确定在最少数量的人具有的多种脸部表情之中是否存在很多儿童具有的脸部表情。也就是说，当具有脸部表情2(哭泣的脸部)的两个人之中的一个人的脸部表情是儿童的脸部表情并且具有脸部表情3(得意的脸部)的两个人之中的两个人的脸部表情是儿童的脸部表情时，脸部表情3被确定为最少数量的人具有的脸部表情之中的很多儿童具有的脸部表情。 
在步骤S57中，当确定在最少数量的人具有的多种脸部表情之中存在很多儿童具有的脸部表情时，流程前进至步骤S58。在步骤S58中，阈值控制单元53把少数量的人具有的多种脸部表情之中的很多儿童具有的脸部表情(脸部表情3)的阈值降低一个等级，并向提取单元55提供脸部表情1至脸部表情3的评估值和与各评估值对应的各阈值，然后流程前进至步骤S59。 
在步骤S57中，当确定在最少数量的人具有的多种脸部表情之中不存在很多儿童具有的脸部表情时，跳过步骤S58的处理，然后流程前进至步骤S59。此时，阈值控制单元53向提取单元55提供脸部表情1至脸部表情3的评估值和与各评估值对应的各阈值。 
在步骤S59中，提取单元55确定每种脸部表情的评估值是否分别超过对应的阈值。在步骤S59中，当确定每种脸部表情的评估值分别超过对应的阈值时，流程前进至步骤S60。在步骤S60中，提取单 元55从输入的图像数据提取图像。提取单元55向记录单元30提供提取(也就是说，执行快门处理)的图像数据，并允许提取的数据被记录在记录单元30上。 
另外，在步骤S59中，当确定存在其评估值未超过对应的阈值的至少一种脸部表情时，跳过步骤S60的处理，流程前进至步骤S61。 
替代地，在步骤S52中，当脸部检测单元51确定在视角内的人的数量为零时，跳过步骤S53至S60，然后流程前进至步骤S61。 
在步骤S61中，脸部检测单元51确定是否存在通过操作单元31来自用户的处理结束指令。在步骤S61中，当确定不存在处理结束指令时，流程返回到步骤S52，然后重复随后的处理。 
在步骤S61中，当确定存在处理结束指令时，使用自动成像模式的成像处理结束。 
如上所述，当确定存在最少数量的人具有的多种脸部表情时，构造为降低最少数量的人具有的多种脸部表情之中的很多儿童具有的脸部表情的阈值，由此增加获得图像的可能性，该图像是最少数量的人具有的脸部表情并在该表情中包括很多儿童具有的脸部表情。 
在存在儿童的组中，经常以儿童为中心捕捉图像，由此增加获得儿童的各种脸部表情的图像的可能性。 
使用自动成像模式的成像处理的另一例子 
接下来，将参照图7中的流程图描述使用成像设备11的自动成像模式的成像处理中的视角的中心优先的例子。另外，图7中的步骤S81至S84和步骤S89至S91的处理基本上与图4中的步骤S11至S14和步骤S16至S18的处理相同并且详细的描述重复，从而描述将会被省略。 
在步骤S81中，脸部检测单元51从来自A/D转换单元24的图像数据的图像检测人脸部，并基于检测到的人脸部计算在视角内的人的数量。在步骤S82中，脸部检测单元51确定在视角内的人的数量是否等于或大于一。 
在步骤S82中，当脸部检测单元51确定在视角内的人的数量等于或大于一时，脸部检测单元51向脸部表情评估单元52提供与检测到的脸部的位置、大小等相关的信息，然后流程前进至步骤S83。 
在步骤S83中，脸部表情评估单元52执行以上参照图5描述的脸部表情评估计算处理。通过步骤S83的处理，计算确定的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和各评估值。计算出的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和各评估值被提供给阈值控制单元53。 
在步骤S84中，阈值控制单元53参照来自脸部表情评估单元52的脸部表情1至脸部表情3中的每一种脸部表情的人的数量和各评估值确定是否存在最少数量的人具有的脸部表情。在步骤S84中，当确定存在最少数量的人具有的脸部表情时，流程前进至步骤S85。 
在步骤S85中，阈值控制单元53确定最少数量的人具有的脸部表情是否为多种。在步骤S85中，当确定最少数量的人具有的脸部表情仅为一种时，流程前进至步骤S86。在步骤S86中，阈值控制单元53把被确定为最少数量的人具有的脸部表情的阈值降低一个等级，并向提取单元55提供脸部表情1至脸部表情3的评估值和与各评估值对应的各阈值，然后流程前进至步骤S89。 
例如，当脸部表情1(微笑的脸部)的数量为三，脸部表情2(哭泣的脸部)的数量为二并且脸部表情3(得意的脸部)的数量为二时，确定最少数量的人具有的脸部表情为多种，然后流程前进至步骤S87。 
这里，由脸部检测单元51检测到的脸部的位置的信息通过脸部表情评估单元52被提供给阈值控制单元53。在步骤S87中，阈值控制单元53确定在最少数量的人具有的脸部表情之中是否存在最靠近视角中心的人的脸部表情。例如，当最靠近视角中心的人具有哭泣的脸部时，确定在最少数量的人具有的脸部表情之中存在最靠近视角中心的人的脸部表情(脸部表情2：哭泣的脸部)，然后流程前进至步骤S88。 
在步骤S88中，阈值控制单元53把最少数量的人具有的脸部表 情之中的最靠近视角中心的人的脸部表情(脸部表情2：哭泣的脸部)的阈值降低一个等级，向提取单元55提供脸部表情1至脸部表情3的评估值和与各评估值对应的各阈值，然后流程前进至步骤S89。 
在步骤S87中，当确定在最少数量的人具有的脸部表情之中不存在最靠近视角中心的人的脸部表情时，跳过步骤S88，然后流程前进至步骤S89。此时，阈值控制单元53向提取单元55提供脸部表情1至脸部表情3的评估值和与各评估值对应的各阈值。 
在步骤S89中，提取单元55确定每种脸部表情的评估值是否分别超过对应的阈值。在步骤S89中，当确定每种脸部表情的评估值分别超过对应的阈值时，流程前进至步骤S90。在步骤S90中，提取单元55从输入的图像数据提取图像。提取单元55向记录单元30提供提取(也就是说，执行快门处理)的图像数据，并允许提取的数据被记录在记录单元30上。 
另外，在步骤S89中，当确定存在至少一种评估值未超过对应的阈值的脸部表情时，跳过步骤S90，然后流程前进至步骤S91。 
替代地，在步骤S82中，当脸部检测单元51确定在视角内的人的数量为零时，跳过步骤S83至S90，然后流程前进至步骤S91。 
在步骤S91中，脸部检测单元51确定是否存在通过操作单元31来自用户的处理结束指令。在步骤S91中，当不存在处理结束指令时，流程返回到步骤S82，然后重复随后的处理。 
在步骤S91中，当确定存在处理结束指令时，使用自动成像模式的成像处理结束。 
如上所述，当确定最少数量的人具有的脸部表情为多种时，构造为降低与多种脸部表情之中的最靠近视角中心的人的脸部表情相同的脸部表情的阈值。因此，以上事实增加获得图像的可能性，该图像包括最少数量的人具有的脸部表情并且在该图像中包括位于视角中心的人的脸部表情。 
例如，中心人物绝大多数情况下位于视角中心，比如新娘和新郎在结婚典礼中位于视角中心。因此，以上事实增加获得包括中心人物 的各种脸部表情的图像的可能性。 
另外，图6中的儿童优先的例子和图7中的视角中心优先的例子可被并行地执行。在这种情况下，例如，在图6中的步骤S57中的“否”的情况下，可插入图7中的步骤S87和S88。相比之下，在图7中的步骤S87中的“否”的情况下，可插入图6中的步骤S57和S58。 
另外，本技术适用于使用云台12多次自动释放快门的功能。这种功能描述于日本未审专利申请公开No.2011-030163。在这种功能中应用本技术的情况的例子将在以下被描述为使用云台12的自动成像模式。 
使用云台的使用自动成像模式的成像处理的例子 
成像设备11使用云台12把照相机的操作模式设置为自动成像模式。因此，在作为沿左右方向(偏转：水平方向)旋转成像设备11或者升高或降低成像设备11的视角(俯仰：垂直方向)的结果使用云台12的成像设备11中，多次捕捉在成像设备11附近的各种被摄体。 
也就是说，在成像处理中，在使用云台12的自动成像模式的情况下，频繁地重复快门处理(图像提取)，直至存在处理结束指令。因此，在这种情况下，每次确定脸部表情的评估值是否超过阈值时，阈值控制单元53用作阈值调整单元，该阈值调整单元执行在恢复至原始值之前调整改变的基准(阈值)的调整处理。 
接下来，将参照图8中的流程图描述在成像设备11的使用云台12的自动成像模式中的成像处理的例子。另外，图8中的步骤S111至S117基本上与图4中的步骤S11至S17相同并且详细的描述重复，从而描述将会被省略。 
在步骤S116中确定每种脸部表情的评估值超过各阈值并且在步骤S117中提取图像之后，流程前进至步骤S118。替代地，在步骤S116中确定每种脸部表情的至少一个评估值未超过对应阈值之后，流程前进至步骤S118。 
在步骤S118中，阈值控制单元53执行阈值调整处理。将参照图 9中的流程图描述阈值调整处理的例子。 
在步骤S131中，阈值控制单元53确定在步骤S117中是否提取了图像。在步骤S131中，当确定提取了图像时，流程前进至步骤S132。 
在步骤S132中，阈值控制单元53提高脸部表情的阈值。另外，作为其阈值被调整的目标的脸部表情可以是在步骤S115中降低其阈值的脸部表情、少数人具有的脸部表情或者与预定阈值相比其评估值最高的脸部表情。也就是说，其阈值被升高的目标的脸部表情不限于以上脸部表情，而是可应用各种方法。 
另外，基准调整方法不限于与基准改变方法类似的提高阈值的方法，而是例如可接受降低阈值或针对评估值调整增益的方法。 
另一方面，在步骤S131中，当确定在步骤S117中未提取图像时，跳过步骤S132，阈值调整处理结束，然后流程前进至步骤S119。 
在步骤S119中，脸部检测单元51确定是否存在通过操作单元31来自用户的处理结束指令。在步骤S119中，当不存在处理结束指令时，成像处理返回到步骤S111，并且重复随后的处理。另外，在使用云台12的自动成像模式的情况下，在这个步骤S111之前，控制单元25控制聚焦单元26、光圈单元27、变焦单元28和通过云台对应通信单元33连接的云台12的操作，并改变用于成像的范围。 
在步骤S119中，当确定存在处理结束指令时，使用自动成像模式的处理结束。 
如上所述，在使用云台12时，构造为每次提取图像时调整基准，从而可防止阈值被过度地降低。另外，可抑制捕捉相同的构图。因此，不仅仅局限于其构图(例如，微笑的脸部)，可捕捉各种构图。 
另外，在图9的例子中，以上参照图4描述的在自动成像模式中的处理的例子被解释为使用云台12的情况的例子，但该处理不限于该例子。也就是说，即使在使用云台12的情况下，也可执行参照图6描述的儿童优先的例子和参照图7描述的视角中心优先的例子。 
阈值调整处理的例子 
另外，参照图10中的流程图，将描述图8中的步骤S118的阈值调整处理的另一例子。另外，图10中的步骤S151和S152基本上与图9中的步骤S131至S132相同，从而详细描述将会被省略。 
在步骤S151中，阈值控制单元53确定在图8的步骤S117中是否提取了图像。在步骤S151中，当确定提取了图像时，流程前进至步骤S152。 
在步骤S152中，阈值控制单元53提高脸部表情的阈值，然后流程前进至步骤S153。 
另一方面，在步骤S151中，当确定在步骤S117中未提取图像时，跳过步骤S152，然后流程前进至步骤S153。 
在步骤S153中，阈值控制单元53确定嵌入的定时器的数字是否是N(预定时间)或更大。另外，在稍后描述的步骤S156中启动该定时器。 
在步骤S153中，当确定定时器的数字是N或更大时，也就是说，当确定时间过去N时，流程前进至步骤S154。在步骤S154中，阈值控制单元53降低在步骤S152中升高的脸部表情的阈值，并且在步骤S155中，该定时器被设置为零。 
在步骤S153中，当确定定时器的数字小于N时，也就是说，当确定时间还未过去N时，跳过步骤S154和S155，然后流程前进至步骤S156。 
在步骤S156中，阈值控制单元53在步骤S156中启动定时器，因此结束阈值调整处理。 
如上所述，每隔预定时间降低在每次提取图像时通过阈值调整升高的阈值。因此，例如，由于担心因为在每次提取图像时通过阈值调整升高阈值的事实而导致阈值很快地过度增加，所以可防止图像不被提取。 
另外，在图10的例子中，如果过去预定时间，则阈值被降低， 可构造为对不提取图像的次数进行计数，并且如果时间超过预定数字，则阈值被降低。 
另外，在以上解释中，作为图像提取处理的例子，解释了执行快门处理的例子，但图像提取处理不限于快门处理。本技术中的图像提取可应用于例如在记录的图像的图像处理时、在记录的图像的再现时等执行的记录的图像的图像提取。另外，作为例子，本技术可应用于这样的情况：图像提取的确定被预先执行并存储为元数据，然后图像提取在稍后被处理。 
另外，作为图像提取的例子，描述了自动释放快门，但可对用户使用指令处理，该指令处理向用户指示(命令)现在是快门时机，而不释放快门。 
另外，作为对用户的指令处理，本技术可应用于用于提示用户执行某一处理(在这种情况下，图像提取处理)的指示(音频输出)，诸如，“可提取这个图像”。 
另外，本技术可应用于数字摄录机，而不限于静止照相机。在应用于数字摄录机的情况下，例如，可连同运动画面一起记录元数据，从运动画面提取静止画面，或者施与元数据。元数据的应用对应于提取。因此，当再现图像时，可识别重要的图像。另外，在数字摄录机的情况下，可在记录运动画面的同时提取满足本条件的运动画面(包括元数据的施与)。 
本技术可应用于这样的情况：在没有记录功能的照相机中(也就是说，在照相机侧)不处理构图决定，而是在接收侧(个人计算机或监视照相机系统的接收侧(服务器))执行构图决定。 
另外，本技术可应用于打印机、相簿、缩略图或幻灯片。 
也就是说，具体地讲，作为打印机，考虑打印出基于本技术从以前记录的多个图像提取的图像。作为相簿或幻灯片，考虑根据多个提取的图像制作相簿或幻灯片。另外，相簿由基于本技术提取的图像制成。另外，缩略图的示图由提取的图像制成，其中基于本技术提取的图像作为缩略图。 
前述一系列处理可使用硬件或软件来实现。在使用软件实现前述一系列处理的情况下，构成软件的程序被从程序记录介质安装在专用硬件中所包括的计算机中、安装在安装各种程序以便执行各种功能的通用计算机中，等等。 
图11是表示用于在程序中执行一系列处理的计算机的硬件的结构例子的方框图。 
在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204彼此连接。 
另外，输入/输出接口205连接到总线204。输入单元206、输出单元207、记录单元208、通信单元209和驱动器210连接到输入/输出接口205。 
输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。记录单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210驱动可移动介质211，诸如，磁盘、光盘、磁光盘或半导体存储器。 
在如上构造的计算机中，CPU201通过输入/输出接口205和总线204把存储在记录单元208中的程序加载到RAM203并执行该程序，因此执行前述一系列处理。 
由计算机(CPU201)执行的程序可被记录在可移动介质211上作为例如提供的封装介质。另外，可通过有线或无线传输介质(诸如，局域网、互联网或数字广播)提供程序。 
在计算机中，通过在驱动器210中安装可移动介质211，程序可通过输入/输出接口205被安装在记录单元208中。另外，可通过有线或无线传输介质在通信单元209中接收程序并且程序可被安装在记录单元208中。另外，程序可预先被安装到ROM202或记录单元208中。 
另外，计算机执行的程序可以是按照本发明中公开的时间次序执行其处理的程序或者并行地或在必要的时刻(诸如，当调用时)执行其处理的程序。 
另外，在本说明书中，术语“系统”指的是由多个装置、部、单元等构造的总体设备。 
另外，本发明中的实施例不限于以上实施例，并且在不脱离本发明的精神的情况下，可以做出各种修改。 
虽然以上参照附图描述了本发明的优选实施例，但本发明不限于该实施例。本领域技术人员应该理解，在不脱离所附权利要求或其等同的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。 
另外，本技术可具有下面的结构。 
(1)一种图像处理设备，包括：脸部检测单元，所述脸部检测单元根据输入图像检测脸部；评估值计算单元，所述评估值计算单元针对由脸部检测单元检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；和控制单元，所述控制单元基于由脸部检测单元检测到的脸部的每一种脸部表情的人的数量和由评估值计算单元计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易地提取包括少数人具有的脸部表情的图像。 
(2)如(1)所述的图像处理设备，当少数人具有的脸部表情是多个时，控制单元改变所述基准，从而容易从少数人具有的多个脸部表情之中提取包括最多数量的儿童具有的脸部表情的图像。 
(3)如(1)或(2)所述的图像处理设备，当少数人具有的脸部表情是多个时，控制单元改变所述基准，从而容易地从少数人具有的多个脸部表情之中提取包括具有少数人具有的脸部表情的人的最靠近视角中央的脸部表情的图像。 
(4)如(1)至(3)中任何一项所述的图像处理设备，还包括：提取单元，基于由控制单元改变的基准提取包括少数人具有的脸部表情的图像。 
(5)如(4)所述的图像处理设备，由提取单元执行的处理是记录输入图像的处理。 
(6)如(4)所述的图像处理设备，由提取单元执行的处理是自动释 放快门的处理。 
(7)如(4)所述的图像处理设备，由提取单元执行的处理是对用户的指令处理。 
(8)如(4)所述的图像处理设备，由提取单元执行的处理是施与元数据的处理。 
(9)如(4)所述的图像处理设备，还包括：成像单元，所述成像单元捕捉被摄体并输入输入图像；和云台控制单元，所述云台控制单元控制安装有包括成像单元的壳体的云台的驱动。 
(10)如(9)所述的图像处理设备，还包括：基准调整单元，所述基准调整单元在由提取单元执行提取处理时沿使该基准恢复到原始基准的方向调整由控制单元改变的基准。 
(11)如(10)所述的图像处理设备，当预定时间过去时，所述基准调整单元沿进一步改变该基准的方向调整由控制单元改变的基准。 
(12)如(1)至(11)中任何一项所述的图像处理设备，所述控制单元通过降低或提高与评估值对应的阈值来改变用于提取图像的基准。 
(13)如(1)至(11)中任何一项所述的图像处理设备，所述控制单元通过把增益应用于评估值来改变用于提取图像的基准。 
(14)一种用于图像处理设备的图像处理方法，包括：根据输入图像检测脸部；针对检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；以及基于检测到的脸部的每一种脸部表情的人的数量和计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易提取包括少数人具有的脸部表情的图像。 
(15)一种程序，用于使计算机用作：脸部检测单元，所述脸部检测单元根据输入图像检测脸部；评估值计算单元，所述评估值计算单元针对由脸部检测单元检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；和控制单元，所述控制单元基于由脸部检测单元检测到脸部的每一种脸部表情的人的数量和由评估值计算单元计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易提取包括少数人具有的脸部表情的图像。 
本发明包含与2012年3月6日提交给日本专利局的日本优先权专利申请JP2012-048721中公开的主题相关的主题，该专利申请的全部内容通过引用包含于此。 
本领域技术人员应该理解，在不脱离所附权利要求或其等同的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。 

Claims (15)

1.一种图像处理设备，包括：
脸部检测单元，所述脸部检测单元根据输入图像检测脸部；
评估值计算单元，所述评估值计算单元针对由脸部检测单元检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；和
控制单元，所述控制单元基于由脸部检测单元检测到的脸部的每一种脸部表情的人的数量和由评估值计算单元计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易地提取包括少数人具有的脸部表情的图像。
2.如权利要求1所述的图像处理设备，
其中当少数人具有的脸部表情是多个时，控制单元改变所述基准，从而容易从少数人具有的多个脸部表情之中提取包括最多数量的儿童具有的脸部表情的图像。
3.如权利要求1所述的图像处理设备，
其中当少数人具有的脸部表情是多个时，控制单元改变所述基准，从而容易地从少数人具有的多个脸部表情之中提取包括具有少数人具有的脸部表情的人的最靠近视角中央的脸部表情的图像。
4.如权利要求1所述的图像处理设备，还包括：
提取单元，基于由控制单元改变的基准提取包括少数人具有的脸部表情的图像。
5.如权利要求4所述的图像处理设备，其中由提取单元执行的处理是记录输入图像的处理。
6.如权利要求4所述的图像处理设备，其中由提取单元执行的处理是自动释放快门的处理。
7.如权利要求4所述的图像处理设备，其中由提取单元执行的处理是对用户的指令处理。
8.如权利要求4所述的图像处理设备，其中由提取单元执行的处理是施与元数据的处理。
9.如权利要求4所述的图像处理设备，还包括：
成像单元，所述成像单元捕捉被摄体并输入输入图像；和
云台控制单元，所述云台控制单元控制安装有包括成像单元的壳体的云台的驱动。
10.如权利要求9所述的图像处理设备，还包括：
基准调整单元，所述基准调整单元在由提取单元执行提取处理时沿使该基准恢复到原始基准的方向调整由控制单元改变的基准。
11.如权利要求10所述的图像处理设备，其中当预定时间过去时，所述基准调整单元沿进一步改变该基准的方向调整由控制单元改变的基准。
12.如权利要求1所述的图像处理设备，其中所述控制单元通过降低或提高与评估值对应的阈值来改变用于提取图像的基准。
13.如权利要求1所述的图像处理设备，其中所述控制单元通过把增益应用于评估值来改变用于提取图像的基准。
14.一种用于图像处理设备的图像处理方法，包括：
根据输入图像检测脸部；
针对检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；以及
基于检测到的脸部的每一种脸部表情的人的数量和计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易提取包括少数人具有的脸部表情的图像。
15.一种程序，用于使计算机用作：
脸部检测单元，所述脸部检测单元根据输入图像检测脸部；
评估值计算单元，所述评估值计算单元针对由脸部检测单元检测到的脸部的每一种脸部表情计算表示脸部表情的程度的评估值；和
控制单元，所述控制单元基于由脸部检测单元检测到脸部的每一种脸部表情的人的数量和由评估值计算单元计算出的脸部的每一种脸部表情的评估值，改变用于提取图像的基准，从而容易提取包括少数人具有的脸部表情的图像。
CN2013100593394A 2012-03-06 2013-02-26 图像处理设备和方法以及程序 Pending CN103327228A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012048721A JP2013186512A (ja) 2012-03-06 2012-03-06 画像処理装置および方法、並びにプログラム
JP2012-048721 2012-03-06

Publications (1)

Publication Number Publication Date
CN103327228A true CN103327228A (zh) 2013-09-25

Family

ID=49113802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100593394A Pending CN103327228A (zh) 2012-03-06 2013-02-26 图像处理设备和方法以及程序

Country Status (3)

Country Link
US (1) US9591210B2 (zh)
JP (1) JP2013186512A (zh)
CN (1) CN103327228A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
US20160063317A1 (en) * 2013-04-02 2016-03-03 Nec Solution Innovators, Ltd. Facial-expression assessment device, dance assessment device, karaoke device, and game device
CN104318219B (zh) * 2014-10-31 2017-10-31 上海交通大学 基于局部特征及全局特征结合的人脸识别方法
CN104318221A (zh) * 2014-11-05 2015-01-28 中南大学 一种基于elm的人脸表情识别方法
US20170171462A1 (en) * 2015-12-15 2017-06-15 Le Holdings (Beijing) Co., Ltd. Image Collection Method, Information Push Method and Electronic Device, and Mobile Phone
CN108021852A (zh) * 2016-11-04 2018-05-11 株式会社理光 一种人数统计方法、人数统计系统及电子设备
JP6754412B2 (ja) * 2018-11-07 2020-09-09 スカパーＪｓａｔ株式会社 体験記録システム及び体験記録方法
JP2020077229A (ja) * 2018-11-08 2020-05-21 スカパーＪｓａｔ株式会社 コンテンツ評価システム及びコンテンツ評価方法
US11722762B2 (en) * 2020-09-01 2023-08-08 Motorola Mobility Llc Face tracking dual preview system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046591A (ja) 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP4517633B2 (ja) 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
WO2006040761A2 (en) * 2004-10-15 2006-04-20 Oren Halpern A system and a method for improving the captured images of digital still cameras
JP4757173B2 (ja) * 2006-11-17 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2009118009A (ja) * 2007-11-02 2009-05-28 Sony Corp 撮像装置、その制御方法およびプログラム
JP4919297B2 (ja) 2008-03-13 2012-04-18 富士フイルム株式会社 画像評価装置および方法並びにプログラム
US20110109770A1 (en) * 2008-07-17 2011-05-12 Satoshi Katoh Imaging apparatus, imaging method, and program
JP5106355B2 (ja) 2008-11-13 2012-12-26 キヤノン株式会社 表情判定装置、その制御方法、撮像装置及びプログラム
JP2010147808A (ja) * 2008-12-18 2010-07-01 Olympus Imaging Corp 撮像装置および撮像装置における画像処理方法
JP5249146B2 (ja) * 2009-07-03 2013-07-31 富士フイルム株式会社 撮影制御装置および方法並びにプログラム
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
KR20120019703A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 디지털 촬영 장치의 제어 방법 및 디지털 촬영 장치

Also Published As

Publication number Publication date
US9591210B2 (en) 2017-03-07
JP2013186512A (ja) 2013-09-19
US20130235228A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
CN103327228A (zh) 图像处理设备和方法以及程序
AU2017261537B2 (en) Automated selection of keeper images from a burst photo captured set
CN100556078C (zh) 摄像装置、图像处理装置、以及图像处理方法
CN101867724B (zh) 成像装置以及成像方法
CN101854484B (zh) 图像选择装置、图像选择方法
CN101325658B (zh) 成像设备和成像方法
CN101472070B (zh) 记录符合规定条件的图像的摄像装置及其摄像方法
JP5631106B2 (ja) 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
CN103971090B (zh) 图像处理装置、图像捕获装置及图像处理方法
CN101848337B (zh) 图像处理设备、图像处理方法
CN103222259A (zh) 高动态范围的转换
EP2741293A1 (en) Video processing apparatus and method
US20050200722A1 (en) Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
US9692963B2 (en) Method and electronic apparatus for sharing photographing setting values, and sharing system
CN105939456A (zh) 图像处理装置及图像评价方法
US10911671B2 (en) Automatic processing of automatic image capture parameter adjustment
CN105493493A (zh) 摄像装置、摄像方法及图像处理装置
CN102209196A (zh) 图像处理装置及图像评价方法
JP2008092174A (ja) 撮像装置
US20090190835A1 (en) Method for capturing image to add enlarged image of specific area to captured image, and imaging apparatus applying the same
CN104065909A (zh) 摄像装置、通信方法以及通信系统
JP2019186791A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
US20100166316A1 (en) Method and apparatus for processing a digital image including a face detection finction
JP5381498B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US20170142335A1 (en) Image evaluation apparatus that evaluates continuously photographed images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130925