CN101325658A - 成像设备、成像方法和计算机程序 - Google Patents

成像设备、成像方法和计算机程序 Download PDF

Info

Publication number
CN101325658A
CN101325658A CNA2008101101907A CN200810110190A CN101325658A CN 101325658 A CN101325658 A CN 101325658A CN A2008101101907 A CNA2008101101907 A CN A2008101101907A CN 200810110190 A CN200810110190 A CN 200810110190A CN 101325658 A CN101325658 A CN 101325658A
Authority
CN
China
Prior art keywords
face
detection
target
detects
smiling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101101907A
Other languages
English (en)
Other versions
CN101325658B (zh
Inventor
阿部弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101325658A publication Critical patent/CN101325658A/zh
Application granted granted Critical
Publication of CN101325658B publication Critical patent/CN101325658B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Abstract

本发明提供了一种成像设备、成像方法和计算机程序。利用数码相机，用户自由选择在显示了整个图像的触摸面板上的笑脸并选择具有那个笑脸的对象。数码相机以明显不同方式在整个图像上显示作为笑脸检测目标的笑脸和非目标检测脸部，从而区分笑脸检测目标与非目标检测脸部。例如，当以较大视角拍摄在诸如聚会的活动中的人时，那么可以响应于在聚会中有至少两个成员正在笑的笑脸检测来执行自动拍摄操作。

Description

成像设备、成像方法和计算机程序
相关申请的交叉参考
本申请包括于2007年6月13日向日本专利局提交的日本专利申请JP 2007-156066的主题，其全部内容结合于此作为参考。
技术领域
本发明涉及一种用于拍摄图像(包括了作为对象的人的图像)的成像设备、成像方法和计算机程序。具体地，本发明涉及一种用于响应于从在图像中表示的对象中识别出的特定图案(pattern)来执行自动摄影工作的成像设备、成像方法和计算机程序。
本发明还涉及一种用于响应于包括在图像中的对象笑脸的识别来自动确定拍摄定时的成像设备、成像方法和计算机程序。具体地，本发明涉及一种用于通过用示出了多个对象的输入图像检测适当对象的笑脸来确定拍摄定时的成像设备、成像方法和计算机程序。
背景技术
相机具有很长的历史来用作用于记录可视信息的装置。当前，数码相机正逐渐取代使用照相底板或胶卷的银盐相机并且被广泛使用。数码相机利用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件的固态成像元件来拍摄图像并模数地转换图像。数码相机将数字编码图像存储到存储器上并利用计算机对图像执行图像处理操作和图像管理。这种数码相机不受胶卷的使用寿命的限制。
银盐相机和数码相机在基本摄影工作方面彼此大体上相同。数码相机在摄影工作中结合了先进的自动化技术。即使没有经验的用户也不可能拍摄失败。
数码相机具有自动聚焦(AF)功能、自动曝光(AE)功能和图像稳定功能。数码相机具有不仅通过光学系统而且在数字处理过程中执行AF功能和AE功能的优势。此外，数码相机通过在数字处理过程中图像质量调节所捕获的图像来执行适当的颜色再生。数字处理包括在自动白平衡功能中使所拍摄的图像乘以白平衡增益。
用聚焦在存在于图像框内的至少一个对象上的相机来执行自动对焦和图像质量调节。以前，用户手动设置重要的对象。目前，数码相机结合脸部检测的拍摄技术。例如，相机从所捕获的图像中检测出人的脸部并自动聚焦到检测脸部或相对于脸部自动调节图像质量。
日本未审查专利申请公开第2003-271933号披露了一种从所拍摄的图像信号中检测出脸部的技术。根据该披露，平均脸部图像作为将对用于匹配的输入图像信号进行检验的模板。这种技术被普遍了解。在所拍摄的图像中的脸部倾斜很难检测。在这种情况下，检测脸部的角度，根据检测到的角度值旋转脸部的图像，然后执行匹配处理。日本未审查专利申请公开第9-171560号披露了一种检测脸部的角度的技术。根据该披露，检测脸部的中心线并基于脸部的左右对称来计算中心线的可能性(likeliness)。具有高可能性的中心线的角度被输出作为脸部的角度。
近来已研究并开发出了用于基于诸如笑脸的对象图像的特定图案的识别来确定拍摄定时的自动快门。
日本未审查专利申请公开第2000-347278号、第2004-294498号和第2006-237803号已披露了当满足预定拍摄条件时输出拍摄定时信号的相机。这种相机确定在包括将被拍摄的主要对象中的感兴趣区域内的主要对象是否满足预定拍摄条件。如果拍摄人，则感兴趣的区域可以包括眼睛的形状和颜色以及人的嘴，而如果拍摄鸟，则感兴趣的区域可以包括鸟的羽毛。
用作特定拍摄定时的因素可以为使人在照片中看起来很好的条件，诸如“保持不眨眼”、“看着相机”和“笑”。在相关技术中，修饰技术已经长时间被用于修改人的照片以使人看起来很好。但是，很难将人眨眼的照片修改成人保持不眨眼的照片或很难将为笑脸的人的照片修改为非笑脸的人的照片。这就是笑脸作为一个拍摄条件的原因。
基于与对象中眼睛的白色区域、对象的嘴的水平长度和嘴中的白色部分的区域有关的图像信息来确定“笑”的拍摄条件。如果在经由成像元件输入的图像框中显示多个对象，那么就无法知道哪一个对象将被用于确定拍摄定时。
日本未审查专利申请公开第2006-33437号披露了一种检测多个脸部的数码相机。根据该披露，在AF区域中的最大脸部或最近脸部上设置外框(outline)。当使用整个图像(through image，通过相机取景的图像)执行脸部检测时，整个图像的亮度被增加至高于当不执行脸部检测时使用的亮度等级，以便于脸部检测。数码相机并不基于笑脸检测来执行自动拍摄操作。通过相机自动确定设置在AF区域中的检测脸部。用户不能指定具有用户感兴趣的笑脸的对象。
日本未审查专利申请公开第2006-145629号披露了一种成像设备。根据该披露，成像设备执行聚焦调节，以使聚焦透镜聚焦在检测脸部中最接近成像设备的脸部上。在液晶显示器上显示围住被聚焦脸部的外框。如果外框为主的脸部不是想要人的脸部，那么用户可以使用横向键将外框改变到另一脸部上。成像设备通过确定关于最接近成像设备的脸部的主要对象来执行自动聚焦处理，但是不基于笑脸检测来执行自动聚焦处理。成像设备使用户能够指定他或她想要的对象，但是用户只能指定特定对象。
执行自动聚焦处理，虽然聚焦的方式取决于诸如聚焦深度的光学系统的特征，但基本上都是聚焦在单个点上的。成像设备不能同时聚焦在多个对象上。可以基于笑脸检测来执行自动聚焦处理。例如，可以以相对大的视角来拍摄诸如聚会的活动中的人。在这种情况下，拍摄条件可以为聚会中所有成员都笑而不是任意特定的一个人笑。基于笑脸检测的自动拍摄操作基本不同于基于自动聚焦的自动拍摄操作。
发明内容
因而，需要提供一种用于响应于从包括在所拍摄图像中的对象的特定图案的识别来自动执行摄影工作的出色的成像设备、出色的成像方法和计算机程序。
还需要提供一种用于响应于从包括在所拍摄图像中的对象中对笑脸的识别来自动确定适当摄影定时的出色的成像设备、出色的成像方法和计算机程序。
还需要提供一种用于通过检测包括在所拍摄图像中的多个对象中的一个适当对象的笑脸来自动确定适当拍摄定时的出色的成像设备、出色的成像方法和计算机程序。
根据本发明的一个实施例的成像设备包括：图像输入单元，用于输入对象的图像；图像信号处理单元，用于处理所述输入图像；显示单元，用于在显示屏幕上显示由图像处理单元处理的输入图像；脸部检测单元，用于从由图像信号处理单元处理的输入图像中检测对象的脸部；目标脸部设定单元，用于将通过脸部检测单元检测的多个脸部之一设定为笑脸检测目标；显示控制单元，用于在通过显示单元显示的整个图像上，显示由目标脸部设定单元以使所设定的检测脸部明显不同于其他检测脸部的方式设定的检测脸部；以及检测脸部改变单元，用于响应于在以明显不同方式显示被设定为笑脸检测目标的检测脸部和其他检测脸部的显示屏幕上执行的用户操作，将笑脸检测目标改变为另一检测脸部。
成像设备检测被设定为笑脸检测目标的检测脸部的笑程度，并且当检测出的笑程度达到笑检测阈值水平时执行拍摄操作。还可以响应于笑脸检测结果来执行另一操作。
诸如数码相机的成像设备被广泛使用，并且已经开发出用于自动进行摄影工作的技术。已经对自动摄影工作的自动快门功能进行了研究和开发。自动快门功能使用笑的人(对象)的图像中的特定图案来确定拍摄定时。用作特定拍摄定时的因素可以为使人在照片中看上去很好的条件，诸如“保持不眨眼”、“看着相机”和“笑”。
如果在从成像元件输入的图像框中包括多个对象，那么问题在于多个对象中的哪一个被用作拍摄定时控制中的笑脸检测目标。
成像设备使用户能够选择用户想要的任何对象。更特别地，成像设备将由脸部检测单元检测出的多个脸部中的脸部设定为笑脸检测目标并在屏幕显示器(OSD)上以明显不同方式显示由脸部检测单元设定的检测脸部和其他检测脸部。成像设备响应于在显示屏幕上执行的用户操作将笑脸检测目标改变为另一检测脸部。
当脸部检测单元从输入图像中检测出多个脸部时，目标脸部设定单元可以基于与输入图像中的检测脸部有关的位置和其他信息来确定每个检测脸部的重要性，根据各个检测脸部的重要性来区分检测脸部的优先级顺序，并且将从具有最高优先级的一个开始的预定数量的检测脸部中的每个设定为笑脸检测目标。
显示控制单元可以通过在被设定为笑脸检测目标的检测脸部上附加外框来显示整个图像，以使诸如摄影师的用户可以观看到检测脸部。显示控制单元可以通过在被设定为笑脸检测目标的检测脸部上附加外框来显示整个图像，其中，整个图像被显示带有在显示模式下改变的外框或伴随的预定图标。
如果至少两个检测脸部被设定为笑脸检测目标，则成像设备可以响应于至少一个笑脸的检测或响应于所有所选的N个人的笑脸的检测来自动执行拍摄操作。
显示单元可以包括触摸面板，并且检测脸部改变单元可以响应于在触摸面板上执行的用户操作将笑脸检测目标改变为另一检测脸部。
脸部检测单元可以从输入图像中检测出多个脸部，并且为每个检测脸部附上操作顺序。目标脸部设定单元可以根据每个检测脸部的重要性将多个检测脸部设定为笑脸检测目标。检测脸部改变单元可以以操作顺序识别由用户利用常用方向操作键(诸如上、下、左和右键之一)指定的检测脸部，并以递增的检测脸部优先级顺序，将识别出的检测脸部设定为笑脸检测目标。
如果多个检测脸部被设定为笑脸检测目标，则以递增的检测脸部优先级顺序，将笑脸检测目标改变为由用户在触摸面板上指定的检测脸部。
如果多个检测脸部被设定为笑脸检测目标，则以递增的检测脸部优先级顺序，将笑脸检测目标改变为在显示屏幕上由用户用触摸面板指定的区域中的检测脸部。
如果作为笑脸检测目标的对象的数量限定为N，并且如果多于N个检测脸部包括在显示屏幕上用户利用触摸面板指定的区域中，则检测脸部改变单元可以确定在该区域中的每个检测脸部的重要性，根据重要性来区分每个检测脸部的优先级顺序，并且从具有最高优先级的一个开始将N个检测脸部设定为笑脸检测目标。
本发明的实施例的成像设备使用户能够自由检测笑脸以及选择具有笑脸的对象。用户可以在显示整个图像的触摸面板上将一个对象指定为笑脸检测目标。因而，成像设备在整个图像上以明显不同方式显示作为笑脸检测目标的对象和作为非目标检测脸部的对象。例如，当以较大视角拍摄诸如聚会中的人时，可以响应于聚会中的所有成员都在笑的笑脸检测来执行自动拍摄操作。
根据本发明的一个实施例，使计算机对对象的输入图像执行拍摄操作的计算机可读的计算机程序包括以下步骤：处理输入图像；在显示屏幕上显示所处理的输入图像；从处理的输入图像中检测对象的脸部；将检测脸部之一设定为笑脸检测目标；在显示屏幕上显示的整个图像上，显示以所设定的检测脸部明显不同于其他检测脸部的方式设定的检测脸部；以及响应于在以明显不同方式显示被设定为笑脸检测目标的检测脸部和其他检测脸部的显示屏幕上执行的用户操作，将笑脸检测目标改变为另一检测脸部。
计算机程序是以将在计算机上运行的计算机可读形式描述的。通过将计算机程序安装到计算机上，计算机可以与上述成像装置相同的方式运行。
根据本发明的一个实施例，基于包括在图像中的对象的笑脸的识别来确定适当的拍摄定时。
根据本发明的一个实施例，如果多个对象包括在图像中，则对适当对象执行笑脸检测并且自动地确定适当的拍摄定时。
本发明实施例的成像设备使用户能够自由检测笑脸并选择具有笑脸的对象。用户可以在显示整个图像的触摸面板上指定作为笑脸检测目标的对象。因而，成像设备在整个图像上以明显不同方式显示作为笑脸检测目标的对象和作为非目标检测脸部的对象。例如，当以较大视角拍摄诸如聚会的活动中的人时，可以响应于聚会中的所有成员都在笑的笑脸检测来执行自动拍摄操作。
参考附图，从本发明实施例的以下描述中将显而易见这些和其他目标、特征和优点。
附图说明
图1示意性示出了根据本发明实施例的数码相机的硬件结构；
图2示意性示出了作为显示在监控显示器上的整个图像的摄影图像的数据流；
图3示意性示出了数码相机执行拍摄操作的数据流；
图4是示出了数码相机执行拍摄操作的处理的流程图；
图5是示出了在通知人作为拍摄定时的对象的同时基于笑脸检测来执行自动拍摄操作的数码相机的处理的流程图；
图6示出了具有附在被设定为笑脸检测目标的检测对象上的外框的整个图像；
图7是示出了用于在被设定为笑脸检测目标的检测笑脸上显示外框的处理的流程图；
图8示出了其中在显示模式下仅改变被选择作为笑脸检测目标的检测脸部的外框的整个图像；
图9示出了其中将图标附在被设定为笑脸检测目标的检测脸部的外框上的整个图像；
图10示出了用于将笑脸检测目标从自动选择的脸部改变为另一检测脸部的操作；
图11示出了用于将笑脸检测目标从自动选择的脸部改变为另一检测脸部的操作；
图12示出了将键操作的操作顺序分配给从图像中检测到的每个脸部的处理；
图13示出了响应于上、下、左和右键中的每个的键操作执行检测目标改变处理的屏幕更新；
图14示出了笑脸检测目标被设定在三个检测脸部上的屏幕更新；
图15A示出了多个检测脸部被同时指定作为笑脸检测目标的屏幕更新；
图15B示出了多个检测脸部被同时指定作为笑脸检测目标的屏幕更新；
图15C示出了多个检测脸部被同时指定作为笑脸检测目标的屏幕更新；
图15D示出了多个检测脸部被同时指定作为笑脸检测目标的屏幕更新；以及
图16是用于响应于在触摸面板上的用户操作将笑脸检测目标从一个检测脸部切换到另一个的笑脸检测目标改变处理的流程图。
具体实施方式
以下将参考附图描述本发明的实施例。
图1示出了根据本发明的一个实施例的数码相机1的硬件结构。数码相机1包括成像元件11、模拟前端(AFE)部12和相机数字信号处理(DSP)部16。数码相机1数字处理通过光学系统10输入的图像并记录处理后的图像。
光学系统10包括：透镜，用于聚集来自成像元件11上的对象的光束；驱动机构，用于移动透镜以聚焦和变焦；快门机构，用于响应于快门释放操作，使来自对象的光束在预定时间段内入射到成像元件11上；以及光圈机构，用于在方向和光束的横截面区域方面限制来自对象的光束(这些机构未示出)。驱动器10a响应于来自随后讨论的中央处理单元(CPU)29的控制信号来控制光学系统10中的每个机构。
成像元件11包括像素阵列，每个像素均具有光电转换效应(诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)之一)。成像元件11将来自对象的入射光束转换为电信号。在成像元件11的光接收部上包括具有编码的RB字段的绿(G)字段棋盘式图案(checker board pattern)的板。在每个像素中累积响应于已通过每个滤色器的入射光量的信号电荷，并且根据从多个像素读取的三色信号电荷来再生每个像素位置处的每个入射光束的颜色。从成像元件11输出的模拟图像信号是RGB三色信号中的每个。可选地，模拟图像信号可以是补色信号中的每个。
模拟前端部12是集成电路(IC)芯片并包括CDS/AGC/ADC单元13、定时发生器14和V驱动器15。
在降低来自成像元件11的图像信号中的低电平噪声之后，CDS/AGC/ADC单元13执行相关双采样(CDS)并采样保持图像信号，对图像信号执行自动增益控制(AGC)处理，然后将图像信号模数转换为数字图像信号。
定时发生器14产生驱动成像元件11的定时脉冲信号。响应于定时脉冲信号，V驱动器15输出用于沿垂直方向逐行输出来自成像元件11中的像素的电荷的驱动信号。
相机DSP部16具有单芯片结构并且包括相机信号处理器17、分辨率转换器18、图像压缩编码(codec)处理器19、存储器控制器20、显示器控制器21和介质控制器22。
相机信号处理器17执行预处理，包括对来自模拟前端部12的图像信号进行像素缺陷校正、数字钳位(clamp)和数字增益控制。相机信号处理器17通过AWB功能对预处理后的图像信号执行白平衡增益控制处理，同时还对图像信号执行包括锐化、颜色饱和度、对比度调节的图像质量校正处理。因而，再生了适当的颜色状态。相机信号处理器17通过解拼(demosaic)处理生成RGB图像信号。图像质量校正处理可以包括闪光级别和红眼消减调节。相机信号处理器17还对RGB图像信号执行γ校正，从而将图像信息转换为在灰度(gradation)上适于监控、打印输出或视频记录的信号。相机信号处理器17从来自模拟前端部12的输出图像信号中检测出亮度信息。更具体地，相机信号处理器17执行直方图检测，从而以每个预定范围为单位来检测直方图，并且执行颜色检测，从而以每个预定范围为单位来检测颜色信息。直方图检测结果和颜色检测结果被输出至将在稍后讨论的控制器27。
分辨率转换器18转换图像的尺寸。图像压缩编码处理器19将RGB图像信号颜色空间转换为亮度信号和色差信号(Y、Cr和Cb)，并且还执行包括联合图像专家组(JPEG)压缩和运动图像专家组(MPEG)压缩的压缩编码处理。
存储器控制器20控制存取操作以读取拍摄图像信息的数据和将上述数据写到包括同步DRAM(SDRAM)的存储器24上。
监控器显示器25包括液晶显示器或其他类型的平坦显示面板。显示器控制器21控制监控显示器25。显示器控制器21将从相机信号处理器17输出的图像数据(整个图像)和存储在存储器24中的图像数据转换成将显示在监控器显示器25上的信号，然后将该信号输出至监控器显示器25。
监控器显示器25显示整个图像。监控器显示器25还作为屏幕上显示器(OSD)响应于来自控制器27的请求来显示菜单屏幕和多种设定屏幕以及多种警告信息。监控器显示器25在OSD设定屏幕之一上显示识别由用户指定作为笑脸检测目标的对象的检测外框。监控器显示器25还显示检测外框，并且以明显不同的方式显示被设定为笑脸检测目标的对象和作为非目标对象的对象。
根据本发明的一个实施例，置于监控器显示器25的表面上的触摸传感器用作触摸面板。由触摸面板识别出的坐标基本与显示面板上显示的坐标相同。因而，用户可以直接指向作为笑脸检测目标的对象和其他图形用户界面(GUI)组分。
介质控制器22具有容纳诸如记忆棒(注册商标)的可移除记录介质26，并且在记录介质26上读取和写入数据。例如，介质控制器22将存储在存储器24上的拍摄图像文件记录在记录介质26上。
相机DSP部16经由总线接口单元(BIU)23连接至控制器27。控制器27包括用户接口(UI)28、响应于用户操作整体控制数码相机1的操作的CPU 29、用作CPU 29的主存储器的随机存取存储器(RAM)30和以非易失方式存储程序代码和设备信息的电可擦除可编程只读存储器(EEPROM)31。
CPU 29使用被分辨率转换器18分辨率转换的图像来检测对象的笑脸。CPU 29执行用于在监控显示器25上显示OSD的GUI处理。根据本发明的一个实施例，GUI处理包括显示识别由用户指定为笑脸检测目标的对象的检测外框。GUI还包括显示检测外框，并且以明显不同的方式显示作为笑脸检测目标的对象和非目标对象。
UI 28具有用户可以输入指令的操作功能和作为扬声器和发光二极管(LED)灯的输出功能。为了执行操作功能，UI 28包括用于包括闪光灯开和关的多种设定的快门释放按钮以及键和拨号盘。响应于这些控制器上的用户操作的控制信号被输入至CPU 29。根据本发明的一个实施例，UI 28包括五个操作(十字)键，即，上、下、左和右、以及被这四个键围住的输入键。
在输出功能中，UI 28使用警报音频声音和LED的亮或闪烁，将与摄影工作有关的信息反馈给用户。
闪光灯部32响应于来自控制器27的闪光控制信息来闪光。
在数码相机1中，连续接收然后被成像元件11光电转换后的信号被反馈给模拟前端部12。在经过CDS处理和AFE处理后，得到的信号被模数转换。相机信号处理器17对从模拟前端部12提供的数字图像信号进行图像质量校正，然后将图像质量校正后的信号转换为亮度(Y)信号和差分(R-Y和B-Y)信号。
显示控制器21将从相机图像处理器17输出的图像数据转换为图像信号。然后监控显示器25显示响应于图像信号的整个图像。
图2示出了显示在监控器显示器25上的摄影图像的数据流。
与对象有关的信息通过光学系统10、成像元件11和模拟前端部12被转换为数字信号，然后得到的数字信号被提供给相机DSP部16。相机DSP部16执行图像信号处理，从而校正亮度和颜色。相机DSP部16还对图像执行分辨率转换。然后得到的图像被显示在监控显示器25上。控制器27中的CPU 29通过执行预定程序代码来控制这种图像输出处理。图像输出控制处理实际上被划分为多个小任务段(segment)。由于这种任务段与本发明不是非常相关，所以再次省略了对其的描述。
当用户操作指令经由UI 28被输入至控制器27以指示控制器27记录图像时，来自相机信号处理器17的图像数据被提供给图像压缩编码处理器19。图像压缩编码处理器19对图像数据执行预定的压缩编码处理，并且压缩编码后的图像数据经由存储控制器20被存储到存储器24或经由介质控制器22被记录到记录介质26上。当记录静止图像时，相机信号处理器17将一帧的图像数据提供给图像压缩编码处理器19。当记录运动图像时，处理后的图像数据被连续提供给图像压缩编码处理器19。
图3示意性示出了数码相机1的拍摄操作的数据流。图4是数码相机1的照拍摄作的流程图。
以与参考图2描述的方式相同的方式，对象被显示在监控器显示器25上。当用户按下在UI 28上的快门键(步骤S1)时，UI 28检测按下的键并将键信息的信号发送至CPU 29。作为响应，CPU 29将控制信号输出至驱动器10a并执行拍摄操作(步骤S2)。还一起执行了AF处理和AE处理。
当经由驱动器10a发布执行拍摄操作的命令时，与对象有关的信息经由光学系统10、成像元件11和模拟前端部12被转换为数字信号。然后，所得到的数字信号被提供给相机DSP部16。相机DSP部16执行图像信号处理，从而校正图像信号的亮度和颜色。相机DSP部16还对图像信号执行分辨率转换，从而将图像信号转换为适于拍摄模式的图像尺寸(步骤S3)。图像压缩编码处理器19对图像执行JPEG压缩处理(步骤S4)。然后JPEG压缩后的图像经由介质控制器22被记录在记录介质26上(步骤S5)。
本发明的一个实施例的数码相机1执行自动快门功能。通过自动快门功能，数码相机1基于从笑的人(对象)的图像识别出的特定图案来确定拍摄定时。可以通过执行图像识别处理程序的CPU 29来执行笑脸识别可以通过被结合到控制器27中的图像识别处理引擎(未示出)来执行。笑脸识别。笑脸识别技术可以是现有技术中所披露的任何一种，并且省略其描述。
在拍摄操作中，数码相机1可以使用UI 28的输出功能通知对象拍摄定时。更具体地，数码相机1产生报警声音或光或使灯闪烁来通知对象拍摄定时。
本发明的一个实施例的数码相机1响应于对象的笑脸的检测来执行自动拍摄操作。图5是通过数码相机1响应于检测笑脸执行的自动拍摄操作的流程图。
根据图2的数据流，经由光学系统10输入的摄影图像被显示在监控显示器25上(步骤S11)。然后所显示的图像还被提供给控制器27。
根据本发明的一个实施例，用户可以检测对象的脸部并选择用户希望拍摄的具有笑脸的对象(步骤S12)。更具体地，用户在显示整个图像的监控显示器(触摸面板)25上将对象指定为笑脸检测目标。
执行预定图像识别处理程序的CPU 29(或图像识别引擎(未示出))检测在步骤S12中指定的对象的笑程度(步骤S13)。响应于用户的指定操作，识别所指定对象的检测外框被显示在监控显示器25上的OSD上。以在作为笑脸检测目标的对象和非目标对象之间明显区分的方式来显示外框。
当用户按下UI 28上的快门键时，相机拍摄操作开始(步骤S14)。更具体地，CPU 29经由驱动器10a发布开始拍摄操作的命令。因而，与对象有关的信息通过光学系统10、成像元件11以及模拟前端部12被转换为数字信号。然后，所得到的数字信号被提供给相机DSP部16。相机DSP部16执行图像信号处理，从而校正数字信号的亮度和颜色。当基于笑脸检测启动自动拍摄功能时，响应于快门键的压下，并不马上启动快门释放操作。而是，在对象的笑程度达到预定笑脸检测阈值时才开始相机拍摄操作。
响应于脸部检测结果按下快门键或启动相机拍摄操作。然后，分辨率转换器18将图像转换为与拍摄模式匹配的图像(步骤S15)。图像压缩编码处理器19对图像执行JPEG压缩处理(步骤S16)。然后，介质控制器22将图像记录到记录介质26上(步骤S17)。
通过数码相机1，用户可以指定任何对象作为笑脸检测目标。用户甚至可以指定两个以上的对象作为笑脸检测目标。在整个图像上可以以相互明显不同的方式显示作为笑脸检测目标的对象和非目标对象。在从整个图像获得的对象的笑程度变为满足预定拍摄条件时，自动触发拍摄操作。以下描述响应于笑脸检测的拍摄操作。可以语气，图像识别引擎可以被安装到控制器27中以检测多个对象的笑脸和任意对象的笑脸。然而，为了便于解释，此处这些处理都是通过CPU 29来执行的。
(1)脸部检测处理
分辨率转换器18将相机信号在分辨率上转换为图像信号作为整个图像。所得到的图像数据被提供给运行预定图像识别程序的CPU 29。例如，CPU 29通过执行图案检测来检测脸部，即，提取图像框中的每个对象的脸部区域。本发明不并限定为任何特定的脸部检测处理。例如，可以使用在第十届图像感应讨论会(SSII 2004)中名为“Learning Process of Real Time Face Detector Detecting FaceAt Any Posture Using Pixel Difference Feature”的文章所披露的脸部检测算法。
为了检测脸部，在分辨率被转换后扫描整个图像。如果在图像中包括大量对象，那么就很难校正所有的检测脸部和笑脸。因而，区分检测脸部的优先级顺序并且将具有更高优先级的检测脸部指定为笑脸检测目标。
在优先级顺序中，基于诸如每个脸部区域的尺寸的信息，按照重要性来为对象记分。分数越高，优先级越高。
为了使用户知道当前检测脸部中作为笑脸检测目标的脸部，优选地，在整个图像上以明显不同的方式显示作为笑脸检测目标的对象和非目标对象。为了区分作为笑脸检测目标的对象和非目标对象，希望仅显示作为笑脸检测目标的对象的外框。图6示出了仅显示作为笑脸检测目标的对象的外框的整个图像的实例。
图7是用于示出作为检测目标的检测脸部的外框的处理的流程图。N个对象被设置为笑脸检测目标(N为正整数)。
根据图2的数据流，从光学系统10输入的摄影图像被显示在监控显示器25上(步骤S21)。将显示的整个图像的信息还被提供给控制器27。
在运行预定脸部检测程序的控制器27中的CPU 29根据整个图像的信息检测脸部(步骤S22)。如果检测到M个脸部(M是大于N的正整数)，那么CPU 29确定每个检测脸部的重要性并利用确定结果来区分检测脸部的优先级顺序(步骤S23)。
具有第1～第N优先级顺序的检测脸部是经过处理的笑脸检测GUI，即，在OSD上对N个检测脸部的外框(步骤S24)。另一方面，第(N+1)～第M优先级顺序是经过处理的标准GUI(步骤S25)。
所有检测脸部都伴随有各自的外框。为了区分作为笑脸检测目标的对象与非目标对象，如图8所示，选择作为笑脸检测目标的检测脸部的外框在显示模式下被设置为不同的(例如，改变包括颜色、厚度和线的类型的外框线的属性)。可选地，作为笑脸选择目标的每个检测脸部伴随有图9所示的图标。在图8的实例中，在左前方上的两个人被选择为笑脸检测目标。这两个人的脸部由粗外框围住，并且其他脸部由细虚线外框围住。如图9所示，左前方的两个对象被选择为笑脸检测目标，并且只有这两个对象的检测脸部被标记上表示选择对应脸部的图标。
考虑到两种显示外框的方法。在第一种方法中，对象被自动选择为笑脸检测目标。具有较高优先级顺序的对象被选择和显示有对应的外框。在第二种方法中，在区域中围住的所有脸部都被设置为笑脸检测目标。在第二种方法中，所有检测脸部都被对应的外框围住。不仅用户可以识别作为笑脸检测目标的检测脸部，而且系统也可以识别所有脸部检测对象。
(2)笑脸检测处理
预期笑脸检测的数码相机1的几种规格(specification)。例如，对多个检测脸部中的每个执行笑脸检测，并且统计处理多个笑脸检测结果。为了便于解释，如果以及当检测脸部中具有最高优先级的脸部的人开始笑时，数码相机1自动开始拍摄操作。
笑脸检测处理的算法可以与脸部检测处理的算法相同。例如，可以使用在第十届图像感应讨论会(SSII 2004)中名为“LearningProcess of Real Time Face Detector Detecting Face At Any PostureUsing Pixel Difference Feature”的文章披露的脸部检测算法。但是，在这种情况下，将引用的图像的字典不同。
当输入目标对象的检测脸部的笑脸时，拍摄操作开始。拍摄操作包括将被拍摄的输入图像的分辨率转换、JPEG图像压缩和将压缩编码的图像记录到记录介质上。
如果从输入图像检测出M个脸部，则通过区分M个脸部的优先级顺序，将N个人选择作为笑脸检测对象(M和N为正整数，并且M等于或大于N)。N可以为2或更大，即，可以呈现多个对象来作为笑脸检测目标。在数码相机1的一个规格中，例如，如果检测出至少一个笑脸或如果所有N个人均被检测为笑，则数码相机1自动执行拍摄操作。在这种情况下，根据区分人的优先级顺序的方法从M个人中确定是哪N个人。
在这种规格中，响应于笑脸检测启动拍摄操作。还可以响应于笑脸检测执行除拍摄操作之外的另一处理。
(3)对象的选择
如果多个对象包括在经由成像元件11输入的图像框中，则系统自动选择一个对象作为笑脸检测对象。确定每个检测脸部的重要性并基于确定结果确定检测脸部的优先级顺序。具有最高优先级的检测脸部被指定为笑脸检测目标。
用户可以在显示在监控器显示器25上的整个图像上将对象指定为笑脸检测目标。用户可以使用手指或记录笔在作为触摸面板的监控显示器25的显示屏幕上直接指定对象。用户还可以使用UI 28上的横向键选择对象。以下描述指定对象的方法。
以下参考图10的输入图像描述将笑脸检测目标从自动选择的脸部改变为另一检测脸部的操作。如图10所示，根据优先级顺序将在图像的近似中心处用外框围住的检测脸部自动选择作为笑脸检测目标。用户现在可以将笑脸检测目标改变为紧邻前面的第一个对象的对象。
如图11所示，用户在作为触摸面板的监控显示器25的屏幕上触摸目标脸部附近的区域。识别在屏幕上触摸位置的坐标。通过图像图案检测，在这些坐标附近执行脸部检测。
如果检测出脸部，则将检测脸部的优先级设定为最高。其他检测脸部分别被逐级地降低到最低优先级。
在OSD上，根据新优先级顺序对当前具有最高优先级的脸部执行外框再生处理。将所得到的图像显示在监控器显示器25的OSD上。
通过触摸屏幕成功地检测脸部。如果响应于触摸操作没有检测出脸部，则不改变笑脸检测目标。
代替使用触摸面板，可以使用设置在UI 28上的上、下、左和右键来选择作为笑脸检测目标的对象。以下描述这种操作。
当已经完成脸部检测处理时，给每个检测脸部分配用于操作键的操作顺序。图12示出这种操作顺序分配处理。如图12所示，从上到下水平扫描图像，并且从左到右从上到下给每个脸部分配操作顺序。
当用户操作上、下、左和右键时，通过操作数移动检测脸部的操作顺序。这样，改变作为笑脸检测目标的检测脸部。
图13示出响应于上、下、左和右键中的每个的键操作执行检测目标改变处理的屏幕更新。如图13所示，操作的键被单阴影化。当在将操作顺序分配给脸部之后选择中心处的输入键时，输入笑脸检测目标改变模式。通过选择左键将脸部选择的操作顺序加1，或通过选择右键将脸部选择的操作顺序减1。当完成改变时，选择输入键以确定作为笑脸检测目标的检测脸部。
(4)作为笑脸检测目标的多个检测脸部
在以上讨论中，作为笑脸检测目标的检测脸部的数量为1。多个检测脸部可以被处理作为笑脸检测目标。
图14示出了利用作为笑脸检测目标的三个检测脸部执行检测目标改变处理的屏幕更新。
在脸部检测之后，基于例如指示对象较接近屏幕的中心或脸部区域很大的信息，根据利用每个对象的重要性对对象进行记分的算法来执行优先级排序。具有较高优先级的三个对象被选择作为笑脸检测目标。如图14的左侧部分所示，在监控显示器25的屏幕上，检测脸部被对应各个外框围住。
如图14的中心部分所示，用户指向接近于未被选择作为笑脸检测目标并且用户想要选择的对象的脸部的区域。
响应于用户操作，CPU 29区分用户所需的作为具有最高优先级的对象的优先级排序。然后，CPU 29将其他对象分别逐级降低至最低优先级。因此，具有第三优先级的对象被降为第四优先级，从而落在笑脸检测目标范围之外。
从而，较高的三个对象按照新优先级顺序被设置为笑脸检测目标。如在图14的右侧部分中所示，这些检测脸部被对应的外框围住。如图14的右侧部分中所示，响应于用户的触摸操作，右后方的对象被选择为具有最高优先级，约中后方的对象落在笑脸检测目标范围之外并且围住该对象的外框消失。
(5)对象的选择方法
在以上讨论中，使用触摸面板或左和右键逐一选择对象。用户可以通过在触摸操作中围住触摸面板上的多个脸部指定多个脸部。
图15A～图15D示出了利用附加至其的外框将两个检测脸部指定为笑脸检测目标的屏幕更新。
用户在触摸面板操作中使用触摸面板围住期望作为笑脸检测目标的脸部。CPU 29识别通过在位置检测中检测的触摸坐标限定的区域并通过图像图案检测在检测区域中的脸部。
如果从触摸操作中限定的区域中检测出脸部图像，则那个脸部被优先级排序为具有最高优先级。如果从区域中检测出单个脸部，那么这个脸部就具有最高优先级。如果检测出多个脸部，则根据预定算法来区分检测脸部的优先级顺序。如果检测脸部为两个以上(例如，所示的四个脸部)，则第二优先级下的检测脸部的优先级递增，但是具有第三优先级或更低优先级的检测脸部的优先级不递增。随着优先级的递增，较高优先级的对象的优先级被分别降低。
根据新优先级顺序对当前具有最高优先级的脸部执行外框再生处理。将所得到的图像显示在监控显示器25的OSD上。
如图15A所示，将左前方的两个对象选择作为笑脸检测目标。
如图15B所示，用户使用触摸面板画出围住左后侧的四个脸部的围线(enclosure)。
如果落在围绕区域内的所有脸部均被设定为笑脸检测目标，则将笑脸检测目标从前面的两个对象改变为后面的四个对象。后面的四个对象被对应的外框围住，同时围住前面两个对象的外框消失。
可以切换对应于笑脸检测目标的数目(即，两个对象)。在这种情况下，根据图15D所示的预定算法，两个对象，即，在触摸面板操作中围住的四个对象中的左后方的第三和第四个人被确定为具有高于其他两个对象的优先级顺序。从而显示围住左后方的第三和第四个人的外框。围住左前方的两个检测脸部的外框消失。
图16是用于响应于用户触摸面板操作将笑脸检测目标从一个检测脸部改变为另一个检测脸部的处理的流程图。
数码相机1对输入图像执行脸部检测处理。数码相机1确定每个检测脸部的重要性，区分检测脸部的优先级顺序，并且将从具有最高优先级的对象开始的预定数量的对象选择作为笑脸检测目标(步骤S31)。
在整个图像上用外框围住每个检测脸部。用户识别在监控显示器25上被选择作为笑脸检测目标的对象。用户可能希望将笑脸检测目标改变为另一检测脸部。在这种情况下，用户执行触摸面板操作，以围住所要脸部作为笑脸检测目标(步骤S32)。
如果在位置检测中识别出通过触摸的坐标限定的区域，则CPU29通过图像图案检测在检测区域中的脸部(步骤S33)。如果从通过触摸操作限定的区域中检测出脸部图像，则这个检测出的脸部的优先级递增(步骤S34)。随着优先级的递增，具有高于该对象的优先级的对象的优先级被降低。
根据优先级顺序对当前具有最高优先级的脸部执行外框再生处理。将所得到的图像显示在监控显示器25上的OSD上(步骤S35)。
本发明实施例的成像设备使用户能够自由检测笑脸并选择具有笑脸的对象。用户可以在显示整个图像的触摸面板上将一个对象指定为笑脸检测目标。因而，成像设备在整个图像上以明显不同方式显示作为笑脸检测目标的对象和作为非目标检测脸部的对象。例如，当以较大视角拍摄诸如聚会中的人时，可以响应于聚会中的所有成员都在笑的笑脸检测来执行自动拍摄操作。
本领域技术人员应了解，根据设计要求和其它因素，可以进行各种修改、组合、子组合和改进，均应包含在本发明的权利要求或等同物的范围内。

Claims (23)

1.一种成像设备，包括：
图像输入装置，用于输入对象的图像；
图像信号处理装置，用于处理所输入图像；
显示装置，用于在显示屏幕上显示通过所述图像信号处理装置处理的输入图像；
脸部检测装置，用于从通过所述图像信号处理装置处理的所述输入图像中检测所述对象的脸部；
目标脸部设定装置，用于将由所述脸部检测装置检测的脸部之一设定为笑脸检测目标；
显示控制装置，用于在由所述显示装置显示的整个图像上，显示由所述目标脸部设定装置以使所设定的检测脸部明显不同于其他检测脸部的方式设定的检测脸部；以及
检测脸部改变装置，用于响应于在以明显不同方式显示被设定为所述笑脸检测目标的所述检测脸部和其他检测脸部的所述显示屏幕上执行的用户操作，将所述笑脸检测目标改变为另一检测脸部。
2.根据权利要求1所述的成像设备，进一步包括：
笑程度检测装置，用于检测作为所述笑脸检测目标的所述检测脸部的笑程度；以及
拍摄控制装置，用于响应于由所述笑程度检测装置检测到的所述笑程度达到的笑检测阈值等级来控制拍摄操作。
3.根据权利要求1所述的成像设备，其中，当所述脸部检测装置从所述输入图像中检测出多个脸部时，所述目标脸部设定装置基于与所述输入图像中的检测脸部有关的位置和其他信息来确定每个检测脸部的重要性，根据各个检测脸部的重要性来区分所述检测脸部的优先级顺序，并将从具有最高优先级的一个开始的预定数量的检测脸部中的每个设定为笑脸检测目标。
4.根据权利要求1所述的成像设备，其中，所述显示控制装置通过在被设定为所述笑脸检测目标的所述检测脸部上附加外框来显示所述整个图像。
5.根据权利要求1所述的成像设备，其中，所述显示控制装置通过在由所述脸部检测装置检测的每个脸部上附加外框来显示所述整个图像，其中，被设定为所述笑脸检测目标的所述检测脸部被显示为带有在显示模式下改变的外框或伴随的预定图标。
6.根据权利要求2所述的成像设备，其中，如果至少两个笑脸被设定为笑脸检测目标，则所述拍摄控制装置响应于至少一个笑脸的检测来自动执行所述拍摄操作或响应于从所有所选对象检测出的笑脸来自动执行所述拍摄操作。
7.根据权利要求1所述的成像设备，其中，所述显示装置包括触摸面板，以及
其中，响应于在所述触摸面板上执行的用户操作，所述检测脸部改变装置将所述笑脸检测目标改变为另一检测脸部。
8.根据权利要求1所述的成像设备，其中，所述显示装置包括：
方向操作键，指示在所述显示屏幕上的方向，
其中，所述脸部检测装置从所述输入图像中检测多个脸部，并为每个检测脸部附上操作顺序，并且所述目标脸部设定装置根据每个检测脸部的重要性将所述多个检测脸部设定为笑脸检测目标，以及
其中，所述检测脸部改变装置以所述操作顺序识别由用户利用所述方向操作键指定的检测脸部，并以递增的检测脸部优先级顺序，将识别出的检测脸部设定为笑脸检测目标。
9.根据权利要求7所述的成像设备，其中，所述脸部检测装置从所述输入图像中检测多个脸部，并且所述目标脸部设定装置根据每个检测脸部的重要性，将所述多个检测脸部设定为笑脸检测目标，以及
其中，所述检测脸部改变装置以递增的检测脸部优先级顺序，将所述笑脸检测目标改变为由所述用户在触摸面板上指定的所述检测脸部。
10.根据权利要求7所述的成像设备，其中，所述脸部检测装置从所述输入图像中检测多个脸部，并且所述目标脸部设定装置根据每个检测脸部的重要性，将所述多个检测脸部设定为笑脸检测目标，以及
其中，所述检测脸部改变装置以递增的检测脸部优先级顺序，将所述笑脸检测目标改变为在所述显示屏幕上由所述用户用所述触摸面板指定的区域中的所述检测脸部。
11.根据权利要求10所述的成像设备，其中，作为笑脸检测目标的对象数目限定为N，以及
其中，如果多于N个检测脸部包括在所述显示屏幕上由所述用户用所述触摸面板指定的所述区域中，则所述检测脸部改变装置确定在所述区域内的每个检测脸部的重要性，根据所述重要性来区分每个检测脸部的优先级顺序，并且从具有最高优先级的一个开始将所述N个检测脸部设定为笑脸检测目标。
12.一种对对象的输入图像执行拍摄操作的方法，包括以下步骤：
处理所述输入图像；
在显示屏幕上显示所处理的输入图像；
从所述处理的输入图像中检测所述对象的脸部；
将所检测的脸部之一设定为笑脸检测目标；
在所述显示屏幕上显示的整个图像上，显示以所述设定的检测脸部明显不同于其他检测脸部的方式设定的所述检测脸部；以及
响应于在以明显不同方式显示被设定为所述笑脸检测目标的所述检测脸部和其他检测脸部的所述显示屏幕上执行的用户操作，将所述笑脸检测目标改变为另一检测脸部。
13.根据权利要求12所述的方法，其中，利用在所述脸部检测步骤中从所述输入图像中检测出的多个脸部，所述将所检测脸部设定为笑脸检测目标的步骤包括：基于与在所述输入图像中的所述检测脸部有关的位置和其他信息，确定每个检测脸部的重要性；根据各个检测脸部的重要性区分所述检测脸部的优先级顺序；以及将从具有最高优先级的一个开始的预定数量的检测脸部中的每个设定为笑脸检测目标。
14.根据权利要求12所述的方法，其中，所述显示所述检测脸部的步骤包括：通过在被设定为所述笑脸检测目标的所述检测脸部上附加外框来显示所述整个图像。
15.根据权利要求12所述的方法，其中，所述检测脸部显示步骤包括：通过在检测出的所述脸部之一上附加外框来显示整个图像，其中，被设定为所述笑脸检测目标的所述检测脸部被显示为带有在显示模式下改变的外框或伴随的预定图标。
16.根据权利要求12所述的方法，进一步包括以下步骤：
检测被设定为笑脸检测目标的所述检测脸部的笑程度；以及
如果至少两个检测脸部被设定为笑脸检测目标，则响应于至少一个笑脸的检测或响应于从所有所选对象检测出的笑脸来自动执行所述拍摄操作。
17.根据权利要求12所述的方法，其中，所述显示屏幕包括触摸面板，以及
其中，所述将笑脸检测目标改变为另一检测脸部的步骤包括：响应于在所述触摸面板上执行的用户操作来改变所述检测目标。
18.根据权利要求12所述的方法，其中，所述对象脸部检测步骤包括：从所述输入图像中检测多个脸部并且为每个检测脸部附上操作顺序，
其中，所述将检测脸部设定为笑脸检测目标的步骤包括：根据每个检测脸部的重要性将所述多个检测脸部设定为笑脸检测目标，以及
其中，所述将笑脸检测目标改变为另一检测脸部的步骤包括：以所述操作顺序识别由用户利用方向操作键指定的检测脸部；以及以递增的检测脸部优先级顺序，将所识别的检测脸部设定为笑脸检测目标。
19.根据权利要求17所述的方法，其中，所述对象脸部检测步骤包括：从所述输入图像中检测多个脸部，
其中，所述将检测脸部设定为笑脸检测目标的步骤包括：根据每个检测脸部的重要性，将所述多个检测脸部设定为笑脸检测目标，以及
其中，所述将笑脸检测目标改变为另一检测脸部的步骤包括：以递增的检测脸部优先级顺序，将所述笑脸检测目标改变为由所述用户用所述触摸面板指定的所述检测脸部。
20.根据权利要求17所述的方法，其中，所述对象脸部检测步骤包括：从所述输入图像中检测多个脸部，
其中，所述将检测脸部设定为笑脸检测目标的步骤包括：根据每个检测脸部的重要性，将所述多个检测脸部设定为笑脸检测目标，
其中，所述将笑脸检测目标设定为另一检测脸部的步骤包括：以递增的检测脸部优先级顺序，将所述笑脸检测目标改变为由所述用户在所述触摸面板的所述显示屏幕上指定的区域中的所述检测脸部。
21.根据权利要求20所述的方法，其中，被设定为笑脸检测目标的对象数目限定为N，以及
其中，如果多于N个检测脸部包括在所述显示屏幕上由所述用户用所述触摸面板指定的所述区域中，则所述将笑脸检测目标改变为另一检测脸部的步骤包括：确定在所述区域内的每个检测脸部的重要性；根据所述重要性区分每个检测脸部的优先级顺序；以及从具有最高优先级的所述检测脸部开始将所述N个检测脸部设定为笑脸检测目标。
22.一种使计算机对对象的输入图像执行拍摄操作的计算机可读的计算机程序，包括以下步骤：
处理所述输入图像；
在显示屏幕上显示所处理的输入图像；
从所述处理的输入图像中检测所述对象的脸部；
将所检测的脸部之一设定为笑脸检测目标；
在所述显示屏幕上显示的整个图像上，显示以所设定的检测脸部明显不同于其他检测脸部的方式设定的所述检测脸部；以及
响应于在以明显不同的方式显示被设定为所述笑脸检测目标的所述检测脸部和其他检测脸部的所述显示屏幕上执行的用户操作，将所述笑脸检测目标改变为另一检测脸部。
23.一种成像设备，包括：
图像输入单元，用于输入对象的图像；
图像信号处理单元，用于处理所输入图像；
显示单元，用于在显示屏幕上显示通过所述图像信号处理单元处理的输入图像；
脸部检测单元，用于从所述图像信号处理单元处理的所述输入图像中检测所述对象的脸部；
目标脸部设定单元，用于将由所述脸部检测单元检测的脸部之一设定为笑脸检测目标；
显示控制单元，用于在由所述显示单元显示的整个图像上，显示由所述目标脸部设定单元以使所设定的检测脸部明显不同于其他检测脸部的方式设定的所述检测脸部；以及
检测脸部改变单元，用于响应于在以明显不同方式显示被设定为所述笑脸检测目标的所述检测脸部和其他检测脸部的所述显示屏幕上执行的用户操作，将所述笑脸检测目标改变为另一检测脸部。
CN2008101101907A 2007-06-13 2008-06-12 成像设备和成像方法 Expired - Fee Related CN101325658B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-156066 2007-06-13
JP2007156066A JP4453721B2 (ja) 2007-06-13 2007-06-13 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP2007156066 2007-06-13

Publications (2)

Publication Number Publication Date
CN101325658A true CN101325658A (zh) 2008-12-17
CN101325658B CN101325658B (zh) 2010-09-01

Family

ID=40136514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101101907A Expired - Fee Related CN101325658B (zh) 2007-06-13 2008-06-12 成像设备和成像方法

Country Status (4)

Country Link
US (1) US8542885B2 (zh)
JP (1) JP4453721B2 (zh)
KR (1) KR20080109666A (zh)
CN (1) CN101325658B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158649A (zh) * 2010-02-01 2011-08-17 奥林巴斯映像株式会社 摄影设备和该摄影设备的摄影方法
CN102265602A (zh) * 2008-12-26 2011-11-30 松下电器产业株式会社 图像拍摄装置
CN102447644A (zh) * 2010-10-09 2012-05-09 三星电子（中国）研发中心 基于嵌入有联系人信息的图像进行通信的方法
CN102890604A (zh) * 2011-07-21 2013-01-23 腾讯科技（深圳）有限公司 人机交互中在机器侧标识目标对象的方法及装置
CN102999164A (zh) * 2012-11-30 2013-03-27 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
CN103347117A (zh) * 2013-05-31 2013-10-09 东莞宇龙通信科技有限公司 通信终端的拍摄方法及通信终端
CN103581542A (zh) * 2012-07-24 2014-02-12 三星电子株式会社 电子装置及其控制方法
CN104204938A (zh) * 2012-04-19 2014-12-10 索尼移动通讯有限公司 图像聚焦
CN104410782A (zh) * 2014-11-07 2015-03-11 深圳市金立通信设备有限公司 一种终端
CN104636036A (zh) * 2015-01-12 2015-05-20 青岛海信电器股份有限公司 一种画面显示控制方法及装置
CN104935912A (zh) * 2014-03-19 2015-09-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN108462833A (zh) * 2018-03-26 2018-08-28 北京小米移动软件有限公司 拍摄方法、装置及计算机可读存储介质
CN109151510A (zh) * 2009-08-21 2019-01-04 三星电子株式会社 用于请求或获取数据的设备、方法和记录介质
CN109151325A (zh) * 2018-10-26 2019-01-04 昆山亿趣信息技术研究院有限公司 一种合成笑脸的处理方法及处理装置
CN110268702A (zh) * 2017-04-13 2019-09-20 华为技术有限公司 自拍的方法、装置和终端设备
CN111314760A (zh) * 2020-01-19 2020-06-19 深圳市爱深盈通信息技术有限公司 电视机及其笑脸拍摄方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP5164692B2 (ja) * 2008-06-27 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2010108475A (ja) * 2008-10-03 2010-05-13 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP5116652B2 (ja) * 2008-12-24 2013-01-09 三洋電機株式会社 撮像装置および笑顔記録プログラム
JP5304294B2 (ja) * 2009-02-10 2013-10-02 株式会社ニコン 電子スチルカメラ
JP5272775B2 (ja) * 2009-02-12 2013-08-28 株式会社ニコン 電子スチルカメラ
JP5610738B2 (ja) * 2009-10-28 2014-10-22 キヤノン株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
JP5424851B2 (ja) * 2009-12-16 2014-02-26 キヤノン株式会社 画像処理装置および画像処理方法
JP2011135376A (ja) * 2009-12-24 2011-07-07 Samsung Yokohama Research Institute Co Ltd 撮像装置及び画像処理方法
KR101630304B1 (ko) * 2010-02-04 2016-06-14 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
KR101709503B1 (ko) * 2010-06-04 2017-03-08 엘지전자 주식회사 이동 단말기 및 영상 디스플레이 방법
JP5710940B2 (ja) * 2010-11-09 2015-04-30 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5871473B2 (ja) * 2011-02-09 2016-03-01 キヤノン株式会社 目標物選択装置、その制御方法、および制御プログラム
JP5220157B2 (ja) * 2011-04-01 2013-06-26 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP2012244526A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
KR101231469B1 (ko) 2012-02-23 2013-02-07 인텔 코오퍼레이션 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US8965046B2 (en) 2012-03-16 2015-02-24 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for smiling face detection
EP2838253A4 (en) * 2012-04-09 2015-10-07 Sony Corp DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
JP5970937B2 (ja) * 2012-04-25 2016-08-17 ソニー株式会社 表示制御装置および表示制御方法
US10516829B2 (en) * 2014-05-22 2019-12-24 Lg Electronics Inc. Mobile terminal and method for controlling same
US10027883B1 (en) * 2014-06-18 2018-07-17 Amazon Technologies, Inc. Primary user selection for head tracking
US9729865B1 (en) 2014-06-18 2017-08-08 Amazon Technologies, Inc. Object detection and tracking
KR102294599B1 (ko) * 2014-09-02 2021-08-27 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9571725B2 (en) * 2014-09-02 2017-02-14 Htc Corporation Electronic device and image capture method thereof
CN105516576B (zh) * 2014-09-22 2020-01-21 中兴通讯股份有限公司 一种基于口型识别的拍照方法、装置和移动终端
CN104504366A (zh) * 2014-11-24 2015-04-08 上海闻泰电子科技有限公司 基于光流特征的笑脸识别系统及方法
CN105260732A (zh) * 2015-11-26 2016-01-20 小米科技有限责任公司 图片处理方法及装置
US10136049B2 (en) 2017-01-09 2018-11-20 International Business Machines Corporation System, method and computer program product for contextual focus/zoom of event celebrities
JP7040043B2 (ja) * 2018-01-25 2022-03-23 セイコーエプソン株式会社 写真処理装置、写真データの生産方法および写真処理プログラム
US11113507B2 (en) 2018-05-22 2021-09-07 Samsung Electronics Co., Ltd. System and method for fast object detection
JP2020149304A (ja) * 2019-03-13 2020-09-17 ソニー株式会社 撮像装置および表情検出方法
JP2021150760A (ja) * 2020-03-18 2021-09-27 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09171560A (ja) 1995-12-20 1997-06-30 Oki Electric Ind Co Ltd 顔の傾き検出装置
JP2000347278A (ja) 1999-06-04 2000-12-15 Fuji Photo Film Co Ltd カメラ及び撮影方法
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
JP2003271933A (ja) 2002-03-18 2003-09-26 Sony Corp 顔検出装置及び顔検出方法並びにロボット装置
JP2004294498A (ja) 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP4442344B2 (ja) 2004-07-16 2010-03-31 株式会社ニコン デジタルカメラ
JP4742296B2 (ja) 2004-09-22 2011-08-10 カシオ計算機株式会社 撮像装置、合成画像作成方法及びプログラム
CA2568633C (en) * 2004-10-15 2008-04-01 Oren Halpern A system and a method for improving the captured images of digital still cameras
JP2006145629A (ja) 2004-11-16 2006-06-08 Fuji Photo Film Co Ltd 撮像装置
JP2006201531A (ja) 2005-01-21 2006-08-03 Konica Minolta Holdings Inc 撮像装置
JP2006237803A (ja) 2005-02-23 2006-09-07 Konica Minolta Photo Imaging Inc 撮像システム、写真撮影スタジオ、撮像システムの制御方法
JP2006253805A (ja) 2005-03-08 2006-09-21 Olympus Corp 撮影装置及び撮影方法
US8488847B2 (en) 2005-11-25 2013-07-16 Nikon Corporation Electronic camera and image processing device
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
JP4757173B2 (ja) * 2006-11-17 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2008201531A (ja) 2007-02-20 2008-09-04 Fuji Xerox Co Ltd 画像形成装置
US7664389B2 (en) * 2007-05-21 2010-02-16 Sony Ericsson Mobile Communications Ab System and method of photography using desirable feature recognition
JP5053731B2 (ja) * 2007-07-03 2012-10-17 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
JP4958659B2 (ja) * 2007-07-03 2012-06-20 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
US8750578B2 (en) * 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265602A (zh) * 2008-12-26 2011-11-30 松下电器产业株式会社 图像拍摄装置
CN109151510A (zh) * 2009-08-21 2019-01-04 三星电子株式会社 用于请求或获取数据的设备、方法和记录介质
CN102158649A (zh) * 2010-02-01 2011-08-17 奥林巴斯映像株式会社 摄影设备和该摄影设备的摄影方法
CN102158649B (zh) * 2010-02-01 2014-12-10 奥林巴斯映像株式会社 摄影设备和该摄影设备的摄影方法
CN102447644A (zh) * 2010-10-09 2012-05-09 三星电子（中国）研发中心 基于嵌入有联系人信息的图像进行通信的方法
CN102890604A (zh) * 2011-07-21 2013-01-23 腾讯科技（深圳）有限公司 人机交互中在机器侧标识目标对象的方法及装置
CN102890604B (zh) * 2011-07-21 2015-12-16 腾讯科技（深圳）有限公司 人机交互中在机器侧标识目标对象的方法及装置
CN104204938B (zh) * 2012-04-19 2017-11-17 索尼移动通信株式会社 图像聚焦
CN104204938A (zh) * 2012-04-19 2014-12-10 索尼移动通讯有限公司 图像聚焦
CN103581542A (zh) * 2012-07-24 2014-02-12 三星电子株式会社 电子装置及其控制方法
CN102999164A (zh) * 2012-11-30 2013-03-27 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
CN103347117A (zh) * 2013-05-31 2013-10-09 东莞宇龙通信科技有限公司 通信终端的拍摄方法及通信终端
CN104935912A (zh) * 2014-03-19 2015-09-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN104935912B (zh) * 2014-03-19 2017-09-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN104410782A (zh) * 2014-11-07 2015-03-11 深圳市金立通信设备有限公司 一种终端
CN104636036A (zh) * 2015-01-12 2015-05-20 青岛海信电器股份有限公司 一种画面显示控制方法及装置
CN110268702A (zh) * 2017-04-13 2019-09-20 华为技术有限公司 自拍的方法、装置和终端设备
CN108462833A (zh) * 2018-03-26 2018-08-28 北京小米移动软件有限公司 拍摄方法、装置及计算机可读存储介质
CN108462833B (zh) * 2018-03-26 2021-01-22 北京小米移动软件有限公司 拍摄方法、装置及计算机可读存储介质
CN109151325A (zh) * 2018-10-26 2019-01-04 昆山亿趣信息技术研究院有限公司 一种合成笑脸的处理方法及处理装置
CN111314760A (zh) * 2020-01-19 2020-06-19 深圳市爱深盈通信息技术有限公司 电视机及其笑脸拍摄方法
CN111314760B (zh) * 2020-01-19 2021-07-02 深圳市爱深盈通信息技术有限公司 电视机及其笑脸拍摄方法

Also Published As

Publication number Publication date
KR20080109666A (ko) 2008-12-17
JP2008311817A (ja) 2008-12-25
US8542885B2 (en) 2013-09-24
CN101325658B (zh) 2010-09-01
JP4453721B2 (ja) 2010-04-21
US20080317285A1 (en) 2008-12-25

Similar Documents

Publication Publication Date Title
CN101325658B (zh) 成像设备和成像方法
CN101325659B (zh) 成像装置以及成像方法
CN101334578B (zh) 图像拍摄装置以及图像拍摄方法
US8520116B2 (en) Photographing apparatus and method
US8582891B2 (en) Method and apparatus for guiding user with suitable composition, and digital photographing apparatus
KR101795601B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
JP4732303B2 (ja) 撮像装置
JP5482654B2 (ja) 撮像装置、撮像方法及びプログラム
WO2016008359A1 (zh) 物体运动轨迹图像的合成方法、装置及计算机存储介质
JP2010073002A (ja) 画像処理装置およびカメラ
JP5125734B2 (ja) 撮像装置、画像選択方法及び画像選択プログラム
CN103179345A (zh) 数字拍摄设备及其控制方法
US8856192B2 (en) Method and apparatus for updating composition database by using composition pattern of user, and digital photographing apparatus
KR20150141059A (ko) 동영상의 썸네일 영상을 제공하는 장치 및 방법
JP4849163B2 (ja) 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP5181841B2 (ja) 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム
JP2009089220A (ja) 撮像装置
US8571404B2 (en) Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method
CN101631221B (zh) 视频记录设备和视频记录方法
US20100166316A1 (en) Method and apparatus for processing a digital image including a face detection finction
JPWO2006016461A1 (ja) 撮像装置
JP2009212867A (ja) 撮影画像処理装置、撮影制御プログラム及び撮影制御方法
JP2012029119A (ja) 表示制御装置、カメラ、および、表示装置
KR20110088226A (ko) 영상 처리 방법 및 장치
KR20100099559A (ko) 복수 인물 인식에 의한 촬영 방법 및 촬영 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100901

CF01 Termination of patent right due to non-payment of annual fee