CN101426088A - 成像设备及其控制方法以及程序 - Google Patents

成像设备及其控制方法以及程序 Download PDF

Info

Publication number
CN101426088A
CN101426088A CNA2008101755272A CN200810175527A CN101426088A CN 101426088 A CN101426088 A CN 101426088A CN A2008101755272 A CNA2008101755272 A CN A2008101755272A CN 200810175527 A CN200810175527 A CN 200810175527A CN 101426088 A CN101426088 A CN 101426088A
Authority
CN
China
Prior art keywords
attribute
image
facial
preferential
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008101755272A
Other languages
English (en)
Inventor
小川要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101426088A publication Critical patent/CN101426088A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/0049Output means providing a visual indication to the user, e.g. using a lamp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00419Arrangements for navigating between pages or parts of the menu
    • H04N1/00424Arrangements for navigating between pages or parts of the menu using a list of graphical elements, e.g. icons or icon bar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Abstract

本发明提供了成像设备及其控制方法以及程序。一种成像设备包括以下元件。操作接受单元接受指定与预定对象相关联的属性的操作输入。成像单元将来自被摄体的进入光转换成所摄图像。对象检测单元检测所述所摄图像中包括的一个或多个对象。属性判定单元判定每个检测到的对象的属性。优先对象确定单元基于所指定的属性和所判定的属性,确定检测到的对象中的至少一个来作为优先对象。

Description

成像设备及其控制方法以及程序
技术领域
本发明涉及成像设备,具体而言涉及能够在所摄图像(captured image中检测诸如面部之类的对象(object)的成像设备、用于控制该成像设备的方法,以及使得计算机可以执行该方法的程序。
背景技术
近年来,诸如数码相机之类的用于记录诸如人之类的被摄体(subject)的图像来作为所摄图像的成像设备已得到了广泛普及。此外,已经提出了用于在所摄图像中检测人的面部并且设定用于优美地记录所检测到的面部的最佳成像参数的成像设备。例如,存在这样一种成像设备,其能够从所摄图像中检测人的面部,基于与检测到的面部相关联的信息在所摄图像中的面部上设定自动聚焦目标区域,并且适当地聚焦在所摄图像中的面部上。
此外,存在这样一种成像设备,当在所摄图像中检测到多个面部时,该成像设备能够从这些面部中判定作为主要面部的优先面部(priorityface),并且针对该优先面部来设定最佳成像参数。
另外,已经提出了一种成像设备,用于检测所摄图像中示出的人的面部,并且基于与检测到的面部相关联的大小信息和位置信息来计算该面部的最终重要程度,以判定所摄图像中的该人的重要程度(例如,参见日本未实审专利申请公布No.2007-201980(图1))。
发明内容
根据上述现有技术,在考虑所摄图像中示出的人的面部的大小和位置的情况下,可以很准确地判定该面部的重要程度。此外,可以基于被判定为具有较高重要程度的面部来执行曝光控制。
假定多个人被拍摄,在一些情况下,希望根据拍摄者或被拍摄者的偏好来记录所摄图像,而不依赖于人的面部的大小或者位置。例如,假定在孩子的入学仪式那天拍摄父母和孩子的纪念照。很有可能父亲希望记录其中孩子的面部看起来最美的所摄图像。而对于相同的构图,例如,母亲可能希望记录其中她的面部看起来最美的所摄图像。
如上所述,拍摄者和被拍摄者的偏好是变化多端的。能够很容易地根据拍摄者或被拍摄者的偏好来记录所摄图像,是很重要的。
因此,希望能很容易地根据用户的偏好来记录所摄图像。
本发明是为了解决上述问题而作出的。根据本发明的第一实施例,成像设备包括以下元件。操作接受装置接受指定与预定对象相关联的属性的操作输入。成像装置将来自被摄体的进入光转换成所摄图像。对象检测装置检测所摄图像中包括的一个或多个对象。属性判定装置判定每个检测到的对象的属性。优先对象确定装置基于所指定的属性和所判定的属性,确定检测到的对象中的至少一个来作为优先对象。在此实施例中,优先对象是被赋予比所摄图像中包括的其他预定对象更高优先级的预定对象。例如,优先对象在成像控制中被赋予优先级。涉及聚焦和曝光的成像控制是基于优先对象来执行的。有利的是,此实施例具有以下效果:检测所摄图像中包括的一个或多个对象,判定每个检测到的对象的属性,并且基于所指定的属性和所判定的属性,确定检测到的对象中的至少一个来作为优先对象。
在本发明的第一实施例中,成像设备还可以包括成像控制装置,用于基于优先对象来设定预定的成像参数,以执行成像控制。因此,第一实施例具有基于优先对象来设定预定的成像参数以执行成像控制的效果。
在第一实施例中,成像控制装置可以基于所指定的属性来设定成像参数,以执行成像控制。因此,此实施例具有基于所指定的属性来设定成像参数的效果。
在第一实施例中,成像控制装置可以基于优先对象来设定作为成像参数的白平衡、颜色平衡、曝光和聚焦中的至少一种,以执行成像控制。因此,此实施例具有基于优先对象来设定作为成像参数的白平衡、颜色平衡、曝光和聚焦中的至少一种的效果。
在第一实施例中,该设备还可以包括记录控制装置,用于将在确定优先对象时通过成像装置转换的所摄图像记录到预定的记录介质上。因此,的效果。此实施例具有将在确定优先对象时获得的所摄图像记录到预定记录介质上的效果。
在第一实施例中,操作接受装置可以接受指定与预定对象相关联的多个属性的操作输入,并且优先对象确定装置可以基于所指定的属性和所判定的属性来确定优先对象。因此,此实施例具有基于所指定的属性和所判定的属性来确定优先对象的效果。
在第一实施例中,操作接受装置可以接受指定与预定对象相关联的第一属性和第二属性的操作输入,第一属性和第二属性属于两个不同的类别,并且优先对象确定装置可以基于所指定的第一属性和第二属性以及所判定的属性来确定优先对象。因此,此实施例具有基于所指定的第一和第二属性以及所判定的属性来确定优先对象的效果。
在第一实施例中,优先对象确定装置可以从检测到的对象中选择具有与所指定的属性相匹配的所判定的属性的对象,以确定优先对象。因此,此实施例具有选择具有与所指定的属性相匹配的所判定的属性的对象的效果。
在第一实施例中,对象检测装置可以判定所摄图像中的每个检测到的对象的大小、位置和方向(orientation)中的至少一种。当选择了多个对象时,优先对象确定装置可以基于每个对象的大小、位置和方向中的至少一种来从所选择的对象中确定优先对象。因此,此实施例具有判定所摄图像中的每个检测到的对象的大小、位置和方向中的至少一种并且基于每个对象的大小、位置和方向中的至少一种来从所选择的对象中确定优先对象的效果。
在第一实施例中,对象检测装置可以确定所摄图像中的每个检测到的对象的大小和位置。该设备还可以包括:对象位置标记生成装置,用于基于优先对象的大小和位置,生成指示出所摄图像中优先对象的位置的优先对象位置标记;叠加装置,用于将所生成的优先对象位置标记叠加在所摄图像上;以及显示装置,用于显示所得到的图像。因此,此实施例具有以下效果:确定所摄图像中的对象的大小和位置,基于优先对象的大小和位置生成优先对象位置标记,并且显示其上叠加了优先对象位置标记的所摄图像。
在第一实施例中,对象位置标记生成装置可以基于每个检测到的对象的大小和位置来生成对象位置标记,该标记指示出所摄图像中除了优先对象外的检测到的对象的位置,并且具有与优先对象位置标记的模式不同的模式。叠加装置可以将所生成的对象位置标记叠加在所摄图像上。因此,此实施例具有基于对象的大小和位置生成对象位置标记并且显示其上叠加了对象位置标记的所摄图像的效果。
在第一实施例中,对象可以是人的面部。因此,此实施例具有以下效果:检测所摄图像中包括的至少一个人的面部,判定检测到的面部的属性,并且基于所指定的面部属性和所判定的面部属性,确定检测到的面部中的至少一个来作为优先面部。
根据本发明的第二实施例,成像装置包括以下元件。操作接受装置接受指定与预定对象相关联的属性的操作输入。成像装置将来自被摄体的进入光转换成所摄图像。对象检测装置检测所摄图像中包括的一个或多个对象。属性判定装置判定每个检测到的对象的属性。图像记录指示装置从检测到的对象中选择具有与所指定的属性相匹配的所判定的属性的对象,并且指示将在选择时通过成像装置转换的所摄图像记录到预定的记录介质上。有利的是,此实施例具有以下效果:检测所摄图像中包括的至少一个对象,判定每个检测到的对象的属性,从检测到的对象中选择具有与所指定的属性相匹配的所判定的属性的对象,并且指示将在选择时获得的所摄图像记录到预定的记录介质上。
在本发明的第二实施例中,操作接受装置可以接受指定与预定对象相关联的多个属性的操作输入。图像记录指示装置可以从检测到的对象中选择具有与所指定的属性相匹配的所判定的属性的对象。因此,此实施例具有从检测到的对象中选择具有与所指定的属性相匹配的所判定的属性的对象的效果。
在第二实施例中,操作接受装置可以接受指定与预定对象相关联的第一属性和第二属性的操作输入,第一属性和第二属性属于两个不同的类别。图像记录指示装置可以从检测到的对象中选择具有与所指定的第一属性和第二属性相匹配的所判定的属性的对象。因此,此实施例具有从检测到的对象中选择具有与所指定的第一和第二属性相匹配的所判定的属性的对象的效果。
在第二实施例中,第一属性可以与对象的表面上的变化相关,并且第二属性可以与对象的类型相关。因此,此实施例具有基于与对象表面上的变化相关的属性和与对象的类型相关的属性来选择对象的效果。
在第二实施例中,优选地,对象是人的面部,第一属性与人的面部表情相关,并且第二属性与人的类型相关。因此,此实施例具有基于与人的面部表情相关的属性和与人的类型相关的属性来选择对象的效果。
根据本发明的第三实施例,提供了一种用于控制成像设备的方法,该成像设备具有用于接受指定与预定对象相关联的属性的操作输入的操作接受装置。该方法包括以下步骤:将来自被摄体的进入光转换成所摄图像;检测所摄图像中包括的一个或多个对象;判定每个检测到的对象的属性;以及基于所指定的属性和所判定的属性,确定检测到的对象中的至少一个来作为优先对象。
根据本发明的第四实施例,提供了一种使计算机可以执行用于成像设备的方法的程序,该成像设备具有用于接受指定与预定对象相关联的属性的操作输入的操作接受装置。该方法包括以下步骤:将来自被摄体的进入光转换成所摄图像;检测所摄图像中包括的一个或多个对象;判定每个检测到的对象的属性;以及基于所指定的属性和所判定的属性,确定检测到的对象中的至少一个来作为优先对象。
有利的是,根据本发明的任何实施例,可以很容易地记录符合用户的偏好的所摄图像。
附图说明
图1是示出根据本发明实施例的成像设备100的功能结构的框图;
图2A和2B是根据本发明实施例的成像设备100的透视图;
图3是示出根据本发明实施例的液晶面板201上的显示示例的图;
图4A和4B是示出根据本发明实施例的面部图像的正规化的示例的图;
图5是示出根据本发明实施例用于针对正规化面部图像(normalizedface image)进行的判定的多个判定辞典的图;
图6示出了作为根据本发明实施例由正规化单元140正规化的面部图像的示例的正规化面部图像350;
图7示出了根据本发明实施例通过成像单元110摄取的图像的示例;
图8示意性地示出了根据本发明实施例的包含面部属性判定结果和与面部相关联的信息块的优先面部确定信息集合420;
图9A和9B示出了根据本发明实施例的所摄图像400的显示示例,其中优先面部位置标记被指派给所确定的优先面部;
图10A和10B示出了根据本发明实施例的所摄图像400的显示示例,其中优先面部位置标记被指派给优先面部,并且面部位置标记被指派给其他面部;
图11A和11B示出了根据本发明实施例的所摄图像400的显示示例,其中优先面部位置标记被指派给优先面部,并且面部位置标记被指派给其他面部;
图12是示出根据本发明实施例由成像设备100进行的成像控制的过程的流程图;
图13是示出根据本发明实施例在由成像设备100进行的成像控制的过程中的面部属性判定的过程的流程图;
图14是示出根据本发明实施例在由成像设备100进行的面部属性判定过程中的判定过程的流程图;
图15是示出根据本发明实施例在由成像设备100进行的成像控制的过程中的优先面部确定的过程的流程图;
图16是示出根据本发明另一实施例的成像设备500的功能结构的框图;
图17A和17B示出了根据本发明实施例的液晶面板201上的显示示例;
图18示出了根据本发明实施例通过成像单元110摄取的图像的示例;
图19示意性地示出了根据本发明实施例的包含由属性判定单元150进行的面部属性判定的结果的面部属性判定信息集合600;并且
图20是示出根据本发明实施例由成像设备500进行的所摄图像记录控制的过程的流程图。
具体实施方式
将参考附图详细描述本发明的实施例。
图1是示出根据本发明第一实施例的成像设备100的功能结构的框图。成像设备100包括成像单元110、面部检测单元120、眼睛检测单元130、正规化单元140、属性判定单元150、优先面部确定单元160、面部位置标记生成单元170、叠加单元180、成像控制单元191、记录控制单元192、显示单元200、图像存储单元210、操作接受单元220、辞典存储单元300以及工作存储器301。成像设备100例如可以由具有面部检测功能的数码相机来实现。
成像单元110接收从被摄体反射的、经过成像透镜101(参见图2)的进入光,将该光转换成电信号以生成根据所接收到的光的量的图像信号,并且对该图像信号执行各种信号处理。所得到的图像信号作为所摄图像被输出到面部检测单元120、成像控制单元191、记录控制单元192和叠加单元180。
面部检测单元120检测从成像单元110提供来的所摄图像中包括的面部并且向眼睛检测单元130和正规化单元140输出面部图像,作为包括所摄图像中检测到的面部的图像片段。此外,面部检测单元120将关于检测到的面部的面部信息输出到优先面部确定单元160和面部位置标记生成单元170。关于检测到的面部的面部信息例如指示出所摄图像中面部的位置、大小或方向。当从成像单元110提供来的所摄图像包括多个面部时,面部检测单元120检测这些面部。例如,当从成像单元110输出的所摄图像400如图7所示包括四个人的面部405至408时,这些面部405至408被检测。至于检测面部的方法,例如可以使用记录有面部亮度分布信息的模板与实际图像之间的匹配来检测面部的方法,以及基于表示所摄图像中包括的肤色的图像片段或者人脸的特征量来检测面部的方法。面部检测单元120可以从所摄图像中检测具有预先指定的大小或者预先指定的方向的面部。预先指定的大小例如可以被设定成所摄图像中的预定或更大的大小。至于预先指定的方向,当检测到的面部与正面视图的接近量(以下称为正面方向量)等于或大于预定的值时,面部可以被认为是具有预先指定的方向的面部。
眼睛检测单元130检测从面部检测单元120输出的面部图像中包括的双眼,并且将关于面部图像中检测到的眼睛的位置的信息输出到正规化单元140。例如,在图4B所示的面部图像250中包括的面部251中检测到由点线十字252和253指示的眼睛位置。
正规化单元140保存正规化模板,并且利用正规化模板,基于关于面部图像中的双眼的位置的信息,来对从面部检测单元120输出的面部图像进行正规化,所述信息是从眼睛检测单元130输出的。正规化模板例如可以包括这样一个模板:其中,面部图像中的双眼的位置被用作基准集,如图4A所示。正规化单元140改变从面部检测单元120输出的面部图像的分辨率,并且对面部图像执行旋转和缩放,使得由眼睛检测单元130检测到的眼睛的位置与正规化模板中的基准眼睛位置相匹配,从而对面部图像进行正规化。正规化面部图像被输出到属性判定单元150。在下文中将参考图4A和4B来描述面部图像的正规化和正规化模板。
属性判定单元150利用存储在辞典存储单元300中的多个用于判定的辞典(以下称为判定辞典)来判定从正规化单元140输出的正规化面部图像的面部属性,并将判定结果输出到优先面部确定单元160。存储在辞典存储单元300中的判定辞典被顺序提供给工作存储器301,从而一个判定辞典被存储在工作存储器301中。面部属性判定的过程是利用存储在工作存储器301中的一个判定辞典来执行的。具体而言,属性判定单元150提取从正规化单元140输出的正规化面部图像的各个部分的亮度来作为特征的量(以下称为特征量),并且利用所提取的亮度和判定辞典来执行面部属性判定过程。在下文中将参考图6至8详细描述由属性判定单元150进行的面部属性判定过程。
辞典存储单元300存储用于针对从正规化单元140输出的正规化面部图像进行的判定的多个判定辞典,该判定是由属性判定单元150执行的。所存储的判定辞典被顺序提供给工作存储器301。下文中将参考图5来详细描述这些判定辞典。
工作存储器301对存储在辞典存储单元300中的判定辞典中的一个进行存储,并且将所存储的判定辞典的内容提供给属性判定单元150。
优先面部确定单元160从由面部检测单元120检测到的面部中,确定符合由操作接受单元220指定的面部属性的条件的面部,来作为优先面部。优先面部确定单元160向面部位置标记生成单元170和成像控制单元191输出关于所确定的优先面部的信息(优先面部的位置和大小)。换言之,优先面部确定单元160基于通过操作接受单元220指定的面部属性和从属性判定单元150输出的面部属性判定的结果,来从面部检测单元120所检测的面部中确定优先面部。具体而言,当操作接受单元220接受到指定面部属性的操作输入时,优先面部确定单元160保存所指定的面部属性,然后基于从属性判定单元150输出的面部属性判定的结果来选择符合所保存的面部属性的条件的面部。在此情况下,比起所摄图像中示出的其他的人面部来说,赋予优先面部更高的优先级。例如,在成像控制方面,优先面部被赋予较高的优先级。成像控制单元191设定用于基于优先面部来进行聚焦和曝光的成像参数,以执行成像控制。在所摄图像的显示控制中,优先面部被赋予比其他面部更高的优先级,以便被用户优先识别出来。当多个符合所保存的面部属性的条件的面部被选择为优先候选时,在这些所选择的优先候选中,具有最高评估值的优先候选被确定为优先面部。至于评估值,例如,可以使用关于面部检测单元120检测到的面部的面部信息。例如,可以使用指示出面部的大小的数值、指示出从面部到所摄图像的中心的距离的数值、以及指示出正面方向量的数值。或者,可以将这些数值的总和用作评估值。当一个面部被检测到时,该面部被确定为优先面部。如果基于从属性判定单元150输出的面部属性判定的结果难以选择符合所保存的面部属性的条件的面部,则基于评估值来确定优先面部。下文中将参考图7至9B来详细描述优先面部的确定。
面部位置标记生成单元170基于从优先面部确定单元160输出的关于优先面部的信息来生成指示出所摄图像中优先面部的位置的优先面部位置标记。面部位置标记生成单元170将所生成的优先面部位置标记输出到叠加单元180。此外,面部位置标记生成单元170基于从面部检测单元120输出的关于其他面部的面部信息来生成指示出所摄图像中除优先面部外的面部的位置的面部位置标记,并且将所生成的面部位置标记输出到叠加单元180。在此情况下,面部位置标记生成单元170所生成的面部位置标记和优先面部位置标记彼此模式不同。可以根据通过操作接受单元220提供的操作输入来改变面部位置标记生成单元170将要生成的面部位置标记或优先面部位置标记的类型。将参考图9A至11B来详细描述优先面部位置标记的类型和面部位置标记的类型和显示示例。
叠加单元180把从面部位置标记生成单元170输出的优先面部位置标记或面部位置标记叠加在从成像单元110输出的所摄图像上。叠加单元180向显示单元200输出所得到的其上叠加了优先面部位置标记或面部位置标记的图像。
成像控制单元191对通过成像单元110摄取的图像执行成像控制。成像控制包括对各种成像参数的控制,所述成像参数例如是白平衡、颜色平衡(例如红(R)、绿(G)和蓝(B)之间的平衡)、曝光和聚焦。此外,当优先面部确定单元160输出关于优先面部的信息时,成像控制单元191基于关于优先面部的信息来执行成像控制。例如,成像控制单元191将所摄图像中优先面部的位置设定为AF区域(聚焦区域)并且执行自动聚焦控制。另外,成像控制单元191对白平衡、颜色平衡和曝光执行自动控制,以获得针对优先面部的最佳拍摄条件。如果优先面部确定单元160未输出关于优先面部的信息,成像控制单元191则执行典型成像控制,而不执行针对面部的控制。例如,成像控制单元191基于通过操作接受单元220设定的成像条件来执行控制。
当操作接受单元220接受用于指定面部属性的操作输入时,成像控制单元191保存所指定的面部属性。当优先面部确定单元160输出关于与所保存的面部属性相关的优先面部的信息时,成像控制单元191可以利用针对所保存的面部属性的成像参数来执行成像控制。例如,当“儿童”被指定为面部属性时,成像控制单元191控制曝光,以使得曝光值(EV)被设定到正1/3档或者正2/3档。
记录控制单元192控制图像存储单元210以记录从成像单元110输出的所摄图像。具体而言,当操作接受单元220接受按压快门开关221(在图2中示出)时的操作输入时,记录控制单元192允许图像存储单元210对响应于操作输入而通过成像单元110摄取并从中输出的图像进行记录。
显示单元200显示从叠加单元180输出的图像。
图像存储单元210在记录控制单元192的控制下记录从成像单元110输出的所摄图像。图像存储单元210例如可以包括诸如闪存或盘状存储卡之类的半导体存储器,以及诸如可移动记录介质(例如数字多功能盘(DVD))之类的永久记录介质。图像存储单元210可以被置于成像设备100中,或者可以与成像设备100分离。
操作接受单元220包括各种操作按键和开关。当通过这些按键中的任何一个接收到操作输入时,操作接受单元220将指示出所接受的操作输入的描述的信息输出到优先面部确定单元160、面部位置标记生成单元170以及成像控制单元191或记录控制单元192。例如,当接收到用于指定用来确定优先面部的面部属性的操作输入时,操作接受单元220向优先面部确定单元160和成像控制单元191输出所指定的面部属性。此外,当接收到用于指定优先面部位置标记或面部位置标记的类型的操作输入时,操作接受单元220向面部位置标记生成单元170输出关于所指定的优先面部位置标记或面部位置标记的类型的信息。当接收到用于根据所指定的面部属性设定各种成像条件的操作输入时,操作接受单元220向成像控制单元191输出关于各种成像条件的信息。在本发明的实施例中,如图2A和2B所示,操作接受单元220接收通过操作构件输入的操作输入,所述操作构件即快门开关221、变焦按钮222和液晶面板201。换言之,操作接受单元220作为触摸面板被结合到显示单元200中。
图2A和2B是根据本发明的此实施例的成像设备100的透视图。图2A示出了成像设备100的正面,其中布置了朝向被摄体的透镜。图2B示出了成像设备100的背面,其中设置了朝向拍摄者亦即用户的液晶面板201。
成像设备100包括成像透镜101、液晶面板201、快门开关221和变焦按钮222。快门开关221和变焦按钮222对应于图1所示的操作接受单元220。液晶面板201对应于图1所示的显示单元200和操作接受单元220。虽然成像设备100包括作为操作接受单元220的其他操作构件(例如电源开关),但是其他操作构件在图2A和2B中未示出,并且对其的描述被省略。
成像透镜101包括用于会聚来自被摄体的光的多个透镜(包括变焦透镜和聚焦)。这些透镜被布置在成像设备100的机壳中。经过各个透镜的光的量(即,曝光量)由光圈(未示出)控制,因此成像单元110根据来自被摄体的光形成所摄图像,该光经过这些透镜和光圈。
液晶面板201显示从成像单元110输出的所摄图像。在面部位置标记生成单元170生成优先面部位置标记或面部位置标记的情况下,液晶面板201显示其上叠加有优先面部位置标记或面部位置标记的所摄图像。下文中将参考图9A至11B来详细描述所摄图像的显示示例。液晶面板201还充当触摸面板,该触摸面板能够显示各种选择按钮,并且接收通过用手指触摸与这些选择按钮中的任何一个相对应的区域而输入的操作输入。下文中将参考图3、17A和17B来详细描述选择按钮的显示示例。
在拍摄者想要记录所摄图像时,快门开关221被按压。在拍摄者利用成像设备100执行成像操作(即拍摄照片)的情况下,拍摄者识别出液晶面板201中的所需被摄体,然后按压快门开关221。当快门开关221被按压时,基于对快门开关221的按压的信号被从操作接受单元220提供到记录控制单元192。当接收到来自操作接受单元220的基于对快门开关221的按压的信号时,记录控制单元192允许图像存储单元210在接收到基于对快门开关221的按压的信号后记录从成像单元110输出的所摄图像。
在控制变焦放大倍率时,变焦按钮222被操作。具体而言,变焦按钮222包括广角(W)键和远摄(T)键,如图2B所示。当W键被按压时,变焦透镜向广角端(广角位置)移动。当T键被按压时,变焦透镜向远摄端(远摄位置)移动。
图3是示出根据本发明的此实施例的液晶面板201上的显示示例的图。参考图3,液晶面板201显示面部属性指定窗口,用于指定将要被优先面部确定单元160确定的优先面部的面部属性。面部属性指定窗口包括指定按钮231至235。面部属性指定窗口可以根据例如通过操作接受单元220输入的预定操作输入而被显示在液晶面板201上。
在本发明的实施例中,将描述这样一种情况,其中,指定与人的类型相关的面部属性,即与人紧密相关的属性,例如世代或性别,或者与面部表情相关的面部属性,例如微笑。换言之,将描述从属于两个不同类别的面部属性中指定至少一个面部属性的情况。在此实施例中,将要指定的面部属性不与拍摄者相关联,而是与被摄体相关联。
为了指定优先面部的面部属性,将要按压指定按钮231至235。例如,“男性”指定按钮231用于将所摄图像中包括的男性面部设定为优先面部。“女性”指定按钮232、“成人”指定按钮233、“儿童”指定按钮234、和“婴儿”指定按钮235类似地用于指定与该按钮的显示区域中显示的字符相对应的面部属性。
在此示例中,将描述用于与人的类型相关的面部属性的五个指定按钮被显示并且其中的至少一个被选择的情况。可以显示用于指定另外的面部属性的另外的指定按钮,以便能够指定另外的面部属性。例如,可以选择与面部表情相关的面部属性。在此示例中,将描述指定一个面部属性的情况。当多个面部属性被指定并且符合所指定的面部属性的条件的面部被确定为优先面部时,本发明的此实施例可以应用到这种情况。在此情况下,指定多个面部属性,使得面部属性不会相互矛盾。指定彼此矛盾的面部属性例如是指定“男性”和“女性”或者指定“成人”和“儿童”。
图4A和4B是示出根据本发明实施例的面部图像的正规化的示例的图。图4A示出了用于对面部图像进行正规化的正规化模板141。图4B示出了包括由面部检测单元120检测到的面部251的面部图像250的转变。正规化模板141被正规化单元140保存,并且被用于由正规化单元140进行的正规化。在正规化模板141中,定义了基准位置142和143,该基准位置142和143充当为正规化设定的基准。以下描述涉及这样一种情况,其中,面部图像在经历旋转和缩放的同时,其分辨率被改变,使得面部图像中由眼睛检测单元130检测到的眼睛的位置与正规化模板141中的基准位置142和143匹配。
包括由面部检测单元120检测到的面部251的面部图像250是从成像单元110输出的所摄图像的图像片段。面部图像250中的眼睛位置252和253被眼睛检测单元130检测。在此情况下,假定每只眼睛的中心被设定为眼睛位置。在面部图像250中的眼睛位置252和253如上所述被检测到的情况下,眼睛位置252和253例如通过仿射变换而被变换,以使得眼睛位置252和253与图4A所示的正规化模板141中的基准位置142和143相匹配。例如,当如图4B所示面部图像250的分辨率被改变并且面部图像250被旋转时,面部图像250被正规化以生成正规化面部图像260。在正规化面部图像260中,眼睛位置262和263与图4A所示的正规化模板141中的相应基准位置142和143相匹配。在本发明的此实施例中,假定面部图像的分辨率被改变到48×48像素以生成正规化面部图像。
至于基准位置,可以使用除了面部的眼睛之外的另一特征的位置。例如,可以检测面部的鼻子,并且基于鼻子的位置来对面部图像进行正规化。面部的特征的位置可以被用作基准位置。例如,可以使用眼睛的位置和鼻子的位置。
图5示出了在本发明的此实施例中用于将要对正规化面部图像执行的各个判定的多个判定辞典。这些判定辞典是用于将要对由正规化单元140正规化的面部图像执行的各个判定的判定信息集合,这些判定是由属性判定单元150执行的。判定辞典被存储在辞典存储单元300中。将在假定判定辞典包括世代(成人/儿童)判定辞典310、性别(男性/女性)判定辞典320和婴儿判定辞典330的情况下来描述该实施例。
在此情况下,用于面部属性判定的判定辞典充当包含仅与判定标准相关的数据、而不包含图像的判定信息集合。因此,可以减小存储容量并且迅速地执行判定。
每个判定辞典存储数据元素的t个组合。每个组合的数据元素指示出正规化面部图像中的两个位置pix-1(x,y)和pix-2(x,y)、位置pix-1(x,y)处的亮度和位置pix-2(x,y)处的亮度之间的差的阈值θ,以及基于阈值θ与位置pix-1(x,y)处的亮度和位置pix-2(x,y)处的亮度之间的差之间的比较结果而将要添加或减去的权重α。各个数据元素的这些值是利用通过诸如AdaBoost之类的机器学习算法获得的数据元素的最有效的前100个组合来设定的。由于各个判定辞典如上所述具有相同的结构,因此可以根据同一算法来执行多个判定。参考图5,各个辞典中的数据元素“pix-1(x,y)”、“pix-2(x,y)”、“θ”和“α”由不同的符号来表达。例如,在世代判定辞典310中,数据元素“pix-1(x,y)”被表达为“pix-generation-1(x,y)”,数据元素“pix-2(x,y)”被表达为“pix-generation-2(x,y)”,数据元素“θ”被表达为“世代θ”,数据元素“α”被表达为“世代α”。
在此情况下,利用世代判定辞典310来判定所检测到的面部是成人还是儿童时的基准年龄例如可以被设定到12岁。换言之,看起来为12岁或12岁以上的面部可以被判定为“成人”,而看起来为12岁以下的面部可以被判定为“儿童”。或者,可以利用另外的年龄作为基准来进行世代判定。此外,可以进行更详细的世代判定,例如作为被摄体的人是儿童、中年人还是老年人的判定。另外,将某个年龄范围划分成组,并且可以判定所检测到的面部属于哪个组。
现在将参考图5和6详细描述正规化面部图像经历使用判定辞典进行的判定的情况。
图6示出作为根据本发明的此实施例由正规化单元140正规化的面部图像的示例的正规化面部图像350。在此示例中,假定原点被定义在图6中的正规化面部图像350的左上角,横轴被设定成x轴,纵轴被设定成y轴,并且正规化面部图像350经历利用世代判定辞典310(参见图5)进行的判定。例如,在正规化面部图像350中,位置351被设定为与存储在世代判定辞典310的第一行中的数据元素“pix-generation-1(x,y)”相对应的位置。位置352被设定为与存储在其第一行中的数据元素“pix-generation-2(x,y)”的值相对应的位置。位置353被设定为与存储在其第二行中的数据元素“pix-generation-1(x,y)”相对应的位置。位置354被设定为与存储在其第二行中的数据元素“pix-generation-2(x,y)”的值相对应的位置。位置355被设定为与存储在其第三行中的数据元素“pix-generation-1(x,y)”相对应的位置。位置356被设定为与存储在其第三行中的数据元素“pix-generation-2(x,y)”的值相对应的位置。
首先,将零设定为判定的得分S的值,并且利用存储在世代判定辞典310的第一行中的数据元素的各个值来执行计算。具体而言,提取与存储在世代判定辞典310的第一行中的数据元素“pix-generation-1(x,y)”的值相对应的位置351中的亮度A(1)和与存储在其第一行中的数据元素“pix-generation-2(x,y)”的值相对应的位置352中的亮度B(1)。利用以下式子来计算所提取的亮度之间的差C(1)
C(1)=A(1)-B(1)
然后,将计算出的亮度之间的差C(1)与指示存储在世代判定辞典310的第一行中的阈值的数据元素“世代θ”相比较。换言之,判定差C(1)的值是否小于阈值“世代θ”的值。当差C(1)小于阈值“世代θ”时,向得分S添加指示存储在世代判定辞典310的第一行中的权重的数据元素“世代α”的值。另一方面,当差C(1)不小于阈值“世代θ”时,从得分S中减去世代判定辞典310的第一行中的权重“世代α”。
然后,利用存储在世代判定辞典310的第二行中的数据元素的各个值来重复上述计算。具体而言,提取与存储在世代判定辞典310的第二行中的数据元素“pix-generation-1(x,y)”的值相对应的位置353中的亮度A(2)和与存储在其第二行中的数据元素“pix-generation-2(x,y)”的值相对应的位置354中的亮度B(2)。利用以下式子来计算所提取的亮度之间的差C(2)
C(2)=A(2)-B(2)
然后,将计算出的亮度之间的差C(2)与存储在世代判定辞典310的第二行中的阈值“世代θ”的值相比较。换言之,判定计算出的差C(2)是否小于阈值“世代θ”。当差C(2)小于阈值“世代θ”时,向得分S添加存储在世代判定辞典310的第二行中的权重“世代α”。另一方面,当差C(2)不小于阈值“世代θ”时,从得分S中减去世代判定辞典310的第二行中的权重“世代α”。
然后,利用世代判定辞典310的第三行至第t行的每一行中的数据元素的各个值来重复上述计算。
换言之,为了利用世代判定辞典310对正规化面部图像350进行判定,利用存储在世代判定辞典310的第一至第t行的每一行中的数据元素的各个值,通过以下式(1)计算差C(i)。判定计算出的差C(i)是否满足以下式(2)。在此情况下,变量i是在从1到t范围内的整数。
C(i)=A(i)-B(i)  ......(1)
C(i)<θ(i)        ......(2)
当计算出的差C(i)满足式(2)时,向得分S添加权重α(i)。当计算出的差C(i)不满足式(2)时,从得分S中减去权重α(i)。在此情况下,令A(i)为与存储在第i行中的数据元素“pix-generation-1(x,y)”相对应的亮度,令B(i)为与存储在第i行中的数据元素“pix-generation-2(x,y)”相对应的亮度,令θ(i)为存储在第i行中的阈值“世代θ”,并且令α(i)为存储在第i行中的权重“世代α”。
在利用存储在世代判定辞典310的第t行中的数据元素的各个值进行计算后,判定得分是否大于0。
例如,假定根据上述机器学习算法,在成人判定成功时获得的学习样本被作为正值被学习,而在成人判定不成功时获得的学习样本被作为负值被学习。在利用存储在世代判定辞典310的第一行至第t行中的数据元素的各个值进行计算后,如果得分S大于0,则经历判定的正规化面部图像被判定为目标图像。换言之,在利用世代判定辞典310进行判定时,经历判定的正规化面部图像中包括的面部被判定为成人面部。这同样适用于其他判定辞典。例如,在利用性别判定辞典320进行判定时,假定在成功判定面部为男性面部时获得的学习样本被作为正值被学习,那么当得分S大于0时,经历判定的正规化面部图像中包括的面部被判定为男性面部。另外,在利用婴儿判定辞典330进行判定时,假定在成功判定面部为婴儿面部时获得的学习样本被作为正值被学习,那么当得分S大于0时,经历判定的正规化面部图像中包括的面部被判定为婴儿面部。
另一方面,假定根据上述机器学习算法,在成功判定时获得的学习样本被作为正值被学习,并且在非成功判定时获得的学习样本作为负值被学习,那么当在利用存储在判定辞典的第一行至第t行中的数据元素的各个值进行计算后,得分S不大于0时,经历判定的正规化面部图像被判定为非目标图像。例如,在利用世代判定辞典310进行判定时,假定成功的成人判定的学习样本作为正值被学习,那么当得分S小于0时,经历判定的正规化面部图像中包括的面部被判定为儿童面部。此外,在利用性别判定辞典320进行判定时,假定成功的男性判定的学习样本作为正值被学习,那么当得分S小于0时,经历判定的正规化面部图像中包括的面部被判定为女性面部。在利用婴儿判定辞典330进行判定时,假定成功的婴儿判定的学习样本作为正值被学习,那么当得分S小于0时,经历判定的正规化面部图像中包括的面部被判定为非婴儿面部。
在本发明的此实施例中,针对在利用判定辞典中的至少一个进行判定时将得分S与0相比较的情况进行了说明。非零的值可以被用于判定。换言之,可以适当地调整将要与得分S相比较的值。
在此情况下,在利用存储在判定辞典的第一行至第t行的每一行中的数据元素的各个值来进行计算之后获得的得分S可以表达为下式:
S = &Sigma; i = 1 t [ sign ( &theta; ( i ) - pix 1 ( i ) + pix 2 ( i ) ) &times; &alpha; ( i ) ]
其中sign(x)表示在x>0时等于1、在x≤0时等于-1的函数。
如上所述,经历判定的正规化面部图像的分辨率被设定到相同的值,并且用于判定的特征量被标准化为正规化面部图像的两点处的亮度之间的差。因此,判定辞典中的任何一个都可以被切换到另一个。多个属性信息块可以根据同一算法来生成。
现在将参考附图描述所摄图像包括多个面部的情况下的判定。
图7是示出根据本发明实施例通过成像单元110摄取的图像的图。图7所示的所摄图像400是通过例如经由成像设备100拍摄由四个人构成的家庭的照片来获得的。所摄图像400示出儿子401、父亲402、女儿403和母亲404。在所摄图像400中,儿子401、父亲402、女儿403和母亲404分别具有面部405、406、407和408。儿子401和女儿403是12岁以下的儿童,并且各自被判定为“儿童”。
当所摄图像如图7所示包括多个面部时,面部检测单元120检测出各个面部。例如,从所摄图像400中检测出面部405至408。与检测到的面部相对应的面部图像被正规化,并且正规化面部图像经历面部属性判定。
图8是示意性地示出根据本发明的此实施例由属性判定单元150进行的面部属性判定的结果以及包含关于由面部检测单元120检测到的面部的信息块的优先面部确定信息集合420的图。优先面部确定信息集合420由优先面部确定单元160保存。
优先面部确定信息集合420包含标识(ID)号421、属性信息“成人/儿童(世代)”422、属性信息“男性/女性(性别)”423、属性信息“婴儿/非婴儿”424、面部信息“面部大小”425、以及面部信息“面部位置”426,使得每个ID号与相应的信息块相关。
ID号421被指派给由面部检测单元120检测到的面部。例如,ID号“001”被指派给儿子401的面部405,ID号“002”被指派给父亲402的面部406,ID号“003”被指派给女儿403的面部407,并且ID号“004”被指派给母亲404的面部408。
属性信息“成人/儿童(世代)”422、属性信息“男性/女性(性别)”423和属性信息“婴儿/非婴儿”424对应于属性判定单元150利用相应判定辞典进行面部属性判定的结果。例如,对于属性信息“成人/儿童(世代)”422,作为利用世代判定辞典310对图7所示的面部405至408进行判定的每个结果,信息“成人”或“儿童”被存储。对于属性信息“男性/女性(性别)”423,作为利用性别判定辞典320对图7所示的面部405至408进行判定的每个结果,信息“男性”或“女性”被存储。对于属性信息“婴儿/非婴儿”424,作为利用婴儿判定辞典330对图7所示的面部405至408进行判定的每个结果,信息“婴儿”或“非婴儿”被存储。
面部信息“面部大小”425和面部信息“面部位置”426涉及由面部检测单元120检测到的面部。例如,对于面部信息“面部大小”425,指示出由面部检测单元120检测到的、图7所示的面部405至408中每一个的大小的信息被存储。对于面部信息“面部位置”426,指示出由面部检测单元120检测到的面部405至408中的每一个的位置的信息被存储。
优先面部确定单元160利用优先面部确定信息集合420中包含的各个信息块,来从由面部检测单元120检测到的面部中确定优先面部。
例如,假定在图3所示的液晶面板201中,“成人”指定按钮233被按压,从而使得“成人”被指定为优先面部的面部属性,那么被存储为属性信息“成人/儿童(世代)”422的与信息“成人”相关的面部被选择为优先候选。如果所选择的优先候选的数目为一个,则这个所选择的优先候选被确定为优先面部。当选择了多个优先候选时,基于关于与所选择的优先候选相对应的面部的信息块,来确定优先面部。例如,可以基于被存储为面部信息块“面部大小”425的面部的大小,来确定具有最大大小的所检测到的面部为优先面部。或者,可以基于面部信息块“面部位置”426,来将位于最靠近所摄图像中心的位置的所检测到的面部确定为优先面部。
在此情况下,将描述在假定“成人”被指定为优先面部的面部属性的情况下,如何利用被存储为面部信息块“面部位置”426的面部位置来确定图7的所摄图像400中的优先面部。由于图7的所摄图像400包括两个成人(即,父亲402和母亲404),因此与两个成人的面部相关联的、存储的属性信息块“成人/儿童(世代)”422各自指示“成人”。当将所摄图像400中父亲402的面部406的位置与母亲404的面部408的位置相比较时,父亲402的面部406比起母亲404的面部408来距离所摄图像400的中心更近。因此,虽然父亲402的面部406和母亲404的面部408被选择为优先候选,但位于离中心更近的位置处的父亲402的面部406被确定为优先面部。图9A示出了父亲402的面部406被这样确定为优先面部的显示示例。
类似地,将描述在假定在图3所示的液晶面板201上“儿童”指定按钮234被按压从而“儿童”被指定为优先面部的面部属性的情况下,如何利用被存储为面部信息块“面部位置”426的面部位置来确定图7的所摄图像400中的优先面部。由于图7的所摄图像400示出两个儿童(即,儿子401和女儿403),因此与两个儿童的面部相关联的、存储的属性信息块“成人/儿童(世代)”422各自指示“儿童”。此外,当将所摄图像400中儿子401的面部405的位置与女儿403的面部407的位置相比较时,女儿403的面部407比起儿子401的面部405来距离所摄图像400的中心更近。因此,虽然儿子401的面部405和女儿403的面部407被选择为优先候选,但距离所摄图像400的中心更近的女儿403的面部407被确定为优先面部。图9B示出了女儿403的面部407被这样确定为优先面部的显示示例。
通过判定计算出的得分S可以被存储作为由优先面部确定信息集合420进行的面部属性判定的结果。当多个优先候选被选择时,具有最高得分S的优先候选可以被确定为优先面部。
图9A和9B示出了根据本发明实施例的所摄图像400的显示示例,其中优先面部位置标记被指派给所摄图像400中的所确定的优先面部。图9A示出了父亲402的面部406被确定为所摄图像400中的优先面部的显示示例。图9B示出了女儿403的面部407被确定为所摄图像400中的优先面部的显示示例。
参考图9A和9B,优先面部位置标记412和413中的每一个可以被指派给优先面部,并且面部位置标记不被指派给除了优先面部之外的面部。当优先面部被改变到另一面部时,优先面部位置标记被移动到改变后的优先面部。
图10A、10B、11A和11B示出了根据本发明实施例的所摄图像400的其他显示示例。在每个显示示例中,优先面部位置标记被指派给所确定的优先面部,并且面部位置标记被指派给所摄图像400中其他面部。在图10A至11B中,假定母亲404的面部408被确定为所摄图像400中的优先面部。
参考图10A,实线矩形框形式的优先面部位置标记414被指派给优先面部408以便围绕面部408,并且各自为虚线矩形框形式的面部位置标记415至417分别被指派给面部405至407。
参考图10B,粗实线矩形框形式的优先面部位置标记414被指派给面部408以便围绕该面部,并且各自为细实线矩形框形式的面部位置标记415至417分别被指派给面部405至407。
参考图11A,具有四角标记的实线矩形框形式的优先面部位置标记414被指派给面部408以便围绕该面部,并且各自为实线矩形框形式的面部位置标记415至417分别被指派给面部405至407。在此示例中,角标记被分别指派给框的四个角,如图11A所示。不向框的各边的中央部分指派任何标记。
参考图11B,优先面部位置标记414具有与面部位置标记415至417不同的透过率,并且优先面部位置标记414和面部位置标记415至417分别被指派给面部408和其他面部405至407。例如,指派给优先面部的优先面部位置标记414的透过率被降低,以显示暗标记,而指派给除了优先面部之外的各个面部的面部位置标记415至417中的每一个的透过率被提高,以显示亮标记。
如上所述,指派给优先面部的优先面部位置标记被显示得与指派给其他面部的面部位置标记不同,从而优先面部可以很容易被识别。此外,除了优先面部之外的面部也可以很容易被识别。根据通过操作接受单元220输入的操作输入,标记的显示样式被切换到另一个。
可以利用与图9A至11B所示不同的样式来显示优先面部位置标记和面部位置标记以便它们与彼此相区别。例如,可以利用不同的模式,例如不同的颜色、闪烁和非闪烁状态、或者标记内外不同的亮度和颜色,来识别标记。至于每个标记的形状,只要每个标记能够指示出目标面部的位置,就可以使用另外的形状。例如,可以使用圆圈、椭圆、指向目标面部的箭头。
现在将参考附图来描述根据本发明的本实施例的成像设备100的操作。
图12是示出根据本发明的此实施例由成像设备100进行的成像控制的过程的流程图。现在将描述成像控制单元191基于所确定的优先面部来执行成像控制的情况。假定优先面部确定单元160保存通过操作接受单元220指定的面部属性。
首先,初始化优先候选(步骤S901)。然后,成像单元110将来自被摄体的进入光转换成电信号,从而形成所摄图像(步骤S902)。面部检测单元120检测至少一个人的面部,即所摄图像中示出的一个或多个面部(步骤S903)。面部信息也通过面部检测被检测到。然后,与每个检测到的面部相对应的图像片段(以下称为“面部图像”)中的眼睛位置被检测,并且正规化单元140基于检测到的眼睛位置来对面部图像进行正规化(步骤S904)。
属性判定单元150针对每个正规化面部图像判定面部属性(步骤S920)。下文中将参考图13来详细描述面部属性判定。
优先面部确定单元160基于由属性判定单元150获得的面部属性判定的结果,从由面部检测单元120检测到的面部中确定优先面部(步骤S950)。下文中将参考图15来详细描述优先面部确定。
面部位置标记生成单元170基于关于所确定的优先面部的信息生成优先面部位置标记,并且还基于关于至少一个除了优先面部之外的面部的面部信息来生成面部位置标记(步骤S905)。叠加单元180将所生成的优先面部位置标记和面部位置标记叠加在所摄图像上(步骤S906)。所得到的其上叠加了优先面部位置标记和面部位置标记被显示在显示单元200上(步骤S907)。
成像控制单元191基于所确定的优先面部来执行成像控制(步骤S908)。当优先面部被确定时,优先面部确定单元160可以向记录控制单元192给出记录所摄图像的指示,以便所摄图像被记录。或者,当优先面部被确定时,优先面部确定单元160可以输出语音消息,以便将优先面部的确定通知给用户。
图13是示出根据本发明的本实施例在由成像设备100进行的成像控制的过程中的面部属性判定的过程(图12中的步骤S920)的流程图。以下描述涉及所有判定辞典都用来判定面部属性的情况。可以利用一个判定辞典来判定面部属性。
首先,从输出自正规化单元140的正规化面部图像中提取一个正规化面部图像(步骤S921)。然后,从所获得的正规化面部图像中提取亮度(步骤S922)。然后,将尚未用于判定的判定辞典从存储多个判定辞典的辞典存储单元300加载到工作存储器301中(步骤S923)。然后,利用加载在工作存储器301中的判定辞典来判定面部属性(步骤S930)。下文中将参考图14详细描述该判定。
面部属性的判定的结果被存储为与经历判定的面部相关联的面部属性信息(步骤S924)。然后,判定存储在辞典存储单元300中的判定辞典中的至少一个是否尚未用于判定(步骤S925)。当在辞典存储单元300中存在未使用的判定辞典时(步骤S925中的“是”),过程返回到步骤S923,并且处理步骤(即步骤S923、S930和S924)被重复,以在同一面部上进行面部属性判定。然而,当在辞典存储单元300中没有未使用的判定辞典时(步骤S925中的“否”),判定从正规化单元140输出的所有正规化面部图像是否都已被提取(步骤S926)。
当并非从正规化单元140输出的所有正规化面部图像都已被提取时(步骤S926中的“否”),过程返回到步骤S921,并且处理步骤(即用于面部属性判定的步骤S921、S922、S923、S930、S924和S925)被重复。然而,如果从正规化单元140输出的所有正规化面部图像都已经被提取(步骤S926中的“是”),过程返回到图12中的步骤S920。
图14是示出根据本发明的此实施例在由成像设备100进行的面部属性判定过程中的判定过程(图13中的步骤S930)的流程图。将针对相关正规化面部图像是否是目标图像的判定来描述本发明的实施例。
首先,得分S被初始化到“0”(步骤S931)。变量i被初始化到“1”(步骤S932)。然后,从提取自正规化面部图像的亮度中选择出与加载在工作存储器301中的判定辞典的第i行中的位置pix-1(x,y)和pix-2(x,y)相对应的亮度(步骤S933)。然后,利用式(1),用两个所选择的亮度来计算差C(i)(步骤S934)。
然后,判定计算出的两个亮度之间的差C(i)是否小于阈值θ(i)(步骤S935)。当差C(i)小于阈值θ(i)时(步骤S935中的“是”),向得分S添加权重α(步骤S936)。而当差C(i)不小于阈值θ(i)时(步骤S935中的“否”),从得分S中减去权重α(i)(步骤S937)。
然后,向变量i添加值“1”(步骤S938)。判定变量i是否大于上限t(步骤S939)。当变量i不大于上限t时(步骤S939中的“否”),意味着利用加载在工作存储器301中的判定辞典的每一行中的值进行的判定未完成。因此,过程返回到步骤S933,并且利用相同的判定辞典重复步骤S933至S938。然而,当变量i大于上限t时(步骤S939中的“是”),意味着利用加载在工作存储器301中的判定辞典的每一行中的值进行的判定已完成。因此,过程前进到步骤S940。判定得分S是否大于0(步骤S940)。
当得分S大于0时(步骤S940中的“是”),经历判定的正规化面部图像被判定为目标图像(步骤S941)。然而,当得分S不大于0时(步骤S940中的“否”),经历判定的正规化面部图像被判定为非目标图像(步骤S942)。然后,过程返回到图13中的步骤S930。
图15是示出根据本发明的此实施例在由成像设备100进行的成像控制的过程中的优先面部确定的过程(图12中的步骤S950)的流程图。
首先,优先面部确定单元160从输出自属性判定单元150的判定结果中包括的一个或多个面部中提取一个面部(步骤S951)。然后,优先面部确定单元160判定所提取的面部的属性是否被赋予优先级(步骤S952)。换言之,优先面部确定单元160判定与所提取的面部相关联地存储的每个面部属性的判定结果是否与所保存的面部属性相匹配。
当所提取的面部的属性未被赋予优先级时(步骤S952中的“否”),所提取的面部不符合指定的面部属性的条件。因此,过程前进到步骤S956。然而,当所提取的面部的属性被赋予优先级时(步骤S952中的“是”),优先面部确定单元160判定是否存在优先候选(步骤S953)。
当不存在优先候选时(步骤S953中的“否”),优先面部确定单元160将所提取的面部保存为优先候选(步骤S955)。然而,当存在优先候选时(步骤S953中的“是”),优先面部确定单元160利用关于所检测的面部的面部信息块作为评估值,判定所提取的面部的评估值是否大于优先候选的评估值(步骤S954)。至于评估值,可以使用表示面部的大小、位置或方向的值。或者,可以使用与这些参数的组合相对应的值。
当所提取的面部的评估值大于优先候选的值时(步骤S954中的“是”),优先面部确定单元160删除当前保存的优先候选并且将所提取的面部保存为优先候选(步骤S955)。然而,当所提取的面部的评估值不大于优先候选的值时(步骤S954中的“否”),判定所提取的面部不是优先面部,并且过程前进到步骤S956。
然后,优先面部确定单元160判定从属性判定单元150输出的判定结果中包括的所有面部是否都已被提取(步骤S956)。如果并非所有面部都已被提取(步骤S956中的“否”),则过程返回到步骤S951。然而,当所有面部都已被提取时(步骤S956中的“是”),优先面部确定单元160判定是否存在优先候选(步骤S957)。
当存在优先候选时(步骤S957中的“是”),优先面部确定单元160判定当前保存的优先候选为优先面部(步骤S963)。然而,当不存在优先候选时(步骤S957中的“否”),过程前进到步骤S958。换言之,如果不存在优先候选,则意味着不存在符合指定的面部属性的条件的面部。因此,关于检测到的面部的面部信息块被用作评估值以确定优先面部。
优先面部确定单元160从输出自属性判定单元150的判定结果中包括的一个或多个面部中提取一个面部(步骤S958)。然后,优先面部确定单元160判定是否存在优先候选(步骤S959)。
当不存在优先候选时(步骤S959中的“否”),优先面部确定单元160将所提取的面部保存为优先候选(步骤S961)。然而,当存在优先候选时(步骤S959中的“是”),优先面部确定单元160判定所提取的面部的评估值是否大于优先候选的评估值(步骤S960)。
当所提取的面部的评估值大于优先候选的值时(步骤S960),优先面部确定单元160删除当前保存的优先候选并且将所提取的面部保存为优先候选(步骤S961)。然而,当所提取的面部的评估值不大于优先候选的值时(步骤S960中的“否”),判定所提取的面部不是优先面部,并且过程前进到步骤S962。
优先面部确定单元160判定从属性判定单元150输出的判定结果中包括的所有面部是否都已被提取(步骤S962)。当并非所有面部都已被提取时,则过程返回到步骤S958。然而,当所有面部都已被提取时(步骤S962中的“是”),过程前进到步骤S963。
已经描述了基于面部属性判定的结果来确定优先面部的情况。现在将描述成像设备100基于面部属性判定的结果自动执行成像操作(即拍摄操作)的情况。
图16是示出根据本发明第二实施例的成像设备500的功能结构的框图。成像设备500是通过部分修改图1所示的成像设备100来获得的。具体而言,成像设备500包括图像记录指示单元510和记录控制单元520,用来取代成像设备100中包括的优先面部确定单元160和记录控制单元192。在成像设备500中,假定除了图5所示的判定辞典外,辞典存储单元300还存储微笑面部判定辞典、哭泣面部判定辞典、愤怒面部判定辞典、以及张口面部判定辞典。由于成像设备500中除了图像记录指示单元510和记录控制单元520之外的组件与图1所示的成像设备100的那些组件相同,因此对其他组件的说明将被省略。
图像记录指示单元510基于与人的类型相关的面部属性(即与人紧密相关的属性,例如世代或性别)以及与面部表情相关的面部属性(例如微笑面部或哭泣面部),来指示记录控制单元520何时记录所摄图像。具体而言,图像记录指示单元510基于从属性判定单元150输出的面部属性判定的结果,来判定在通过面部检测单元120检测到的面部中是否存在这样的面部:该面部满足通过操作接受单元220指定的与人的类型相关的面部属性以及与面部表情相关的面部属性的条件。当存在满足条件的面部时,图像记录指示单元510指示记录控制单元520记录所摄图像。将参考图18至20来详细描述记录所摄图像的指示。
记录控制单元520根据来自图像记录指示单元510的指示来控制从成像单元110输出的所摄图像在图像存储单元210上的记录。具体而言,当从图像记录指示单元510接收到记录所摄图像的指示时,记录控制单元520将接收到指示时从成像单元110输出的所摄图像记录到图像存储单元210上。由于记录控制单元520的其他结构与图1所示的记录控制单元192的相同,因此对它的其他结构的描述将被省略。
图17A和17B示出了根据本发明第二实施例的液晶面板201上的显示示例。图17A示出了用于指定与人的类型相关的面部属性的面部属性指定窗口。由于面部属性指定窗口与图3所示的相同,因此相同的组件用相同的标号来指定,并且对其的描述将被省略。图17B示出了用于指定与面部表情相关的面部属性的面部表情指定窗口。在面部表情指定窗口中,示出了指定按钮241至245。面部表情指定窗口例如可以在面部属性指定窗口中指定按钮231至235的至少一个被按压时被显示。面部表情指定窗口和面部属性指定窗口可以同时被显示在液晶面板201上。
指定按钮241至245是用于指定与面部表情相关的面部属性的按钮。例如,为了自动记录示出微笑面部的所摄图像,按压“微笑面部”指定按钮241。类似地,按压“非微笑面部”指定按钮242、“哭泣面部”指定按钮243、“愤怒面部”指定按钮244和“张口面部”指定按钮245中的每一个,以指定与对应于该按钮的显示区域中显示的字符的面部表情相关的面部属性。
将针对与面部表情相关的面部属性的五个指定按钮被显示并且其中的任何一个被选择的情况来描述第二实施例。可以显示用于指定面部表情相关的另外面部属性的另外的指定按钮,以便能够指定另外的面部属性。此外,以下描述涉及与面部表情相关的一个面部属性被指定的情况。本发明的第二实施例适用于下述情况:多个面部属性被指定,并且符合所指定的面部属性的条件的面部被确定为优先面部。注意,面部属性是以面部属性不会相互矛盾的方式被指定的。指定相互矛盾的面部属性例如是指定“微笑面部”和“非微笑面部”。类似地,可以指定与人的类型相关的多个面部属性。此外,可以指定与人的类型相关的多个面部属性和与面部表情相关的多个面部属性。
图18示出根据本发明的此实施例通过成像单元110摄取的图像。图18所示的指示为700的所摄图像是通过经由成像设备500拍摄由四个人(即父母和孩子)组成的家庭来获得的。所摄图像700示出了儿子401、父亲402、女儿403和母亲404。所摄图像700与图7所示的所摄图像400相同,只不过父亲402和女儿403没有微笑。因此,将省略对所摄图像700的详细描述。
图19示意性地示出了根据本发明的此实施例的包含由属性判定单元150获得的面部属性判定的结果的面部属性判定信息集合600。图像记录指示单元510保存面部属性判定信息集合600。
面部属性判定信息集合600包含标识(ID)号601、属性信息“成人/儿童(世代)”602、属性信息“男性/女性(性别)”603、属性信息“婴儿/非婴儿”604、属性信息“微笑面部/非微笑面部”605、属性信息“哭泣面部/非哭泣面部”606、属性信息“愤怒面部/非愤怒面部”607、以及属性信息“张口面部/闭口面部”608,使得每个ID号与相应的属性信息块相关联。由于ID号601、属性信息“成人/儿童(世代)”602、属性信息“男性/女性(性别)”603和属性信息“婴儿/非婴儿”604与图8所示的相同,因此对其的描述将被省略。与属性信息“成人/儿童(世代)”602、属性信息“男性/女性(性别)”603和属性信息“婴儿/非婴儿”604相关的判定的结果是与人的类型(人的属性)相关的面部属性判定结果,其他判定的结果是与面部表情相关的面部属性判定结果。
属性信息“微笑面部/非微笑面部”605、属性信息“哭泣面部/非哭泣面部”606、属性信息“愤怒面部/非愤怒面部”607和属性信息“张口面部/闭口面部”608是由于通过属性判定单元150利用判定辞典进行面部属性判定而获得的。例如,对于属性信息“微笑面部/非微笑面部”605,作为利用微笑面部判定辞典对图18所示的面部405至408中的每一个进行判定的结果,指示出“微笑面部”或“非微笑面部”的属性信息被存储。对于属性信息“哭泣面部/非哭泣面部”606,作为利用哭泣面部判定辞典对图18所示的面部405至408中的每一个进行判定的结果,指示出“哭泣面部”或“非哭泣面部”的属性信息被存储。对于属性信息“愤怒面部/非愤怒面部”607,作为利用愤怒面部判定辞典对图18所示的面部405至408中的每一个进行判定的结果,指示出“愤怒面部”或“非愤怒面部”的属性信息被存储。对于属性信息“张口面部/闭口面部”608,作为利用愤怒张口面部判定辞典对图18所示的面部405至408中的每一个进行判定的结果,指示出“张口面部”或“闭口面部”的属性信息被存储。
基于面部属性判定信息集合600中包含的各个信息块,给出指示,该指示用于记录示出符合面部表情指定窗口和面部属性指定窗口中指定的面部属性的条件的面部的所摄图像。
例如,假定在图17A所示的面部属性指定窗口中“成人”指定按钮23被按压,并且在图17B所示的面部表情指定窗口中“微笑面部”指定按钮241被按钮。在此情况下,当与作为属性信息“成人/儿童(世代)”602的“成人”和作为属性信息“微笑面部/非微笑面部”605的“微笑面部”相关联的面部被从面部属性判定信息集合600中检测到时,图像记录指示单元510向记录控制单元520发送记录所摄图像的指示,从而所摄图像被记录。
参考图18,由于所摄图像700示出两个成人(即,父亲402和母亲404),因此“成人”被存储为与两个成人的面部中的每一个相关联的属性信息“成人/儿童(世代)”422。在此情况下,母亲404在微笑,因此“微笑面部”被存储为与母亲404(由ID号“004”指示)相关联的属性信息“微笑面部/非微笑面部”605。另一方面,由于父亲402(由ID号“002”指示)没有微笑,因此“非微笑面部”被存储为与父亲402相关联的属性信息“微笑面部/非微笑面部”605。因此,从面部属性判定信息集合600中检测出符合条件的母亲404。因此,图像记录指示单元510向记录控制单元520发送记录所摄图像的指示,从而所摄图像被记录。
图20是示出根据本发明第二实施例由成像设备500进行的所摄图像记录控制的过程的流程图。假定图像记录指示单元510保存通过操作接受单元220指定的与人的类型相关的面部属性和与面部表情相关的面部属性。步骤S971至S973以及S920与图12中的步骤S902至S904以及S920相同,对其的描述将被省略。
图像记录指示单元510从输出自属性判定单元150的判定结果中包括的一个或多个面部中提取一个面部(步骤S974)。图像记录指示单元510判定所提取的面部的面部属性是否与通过操作接受单元220指定的与人的类型相关的面部属性相匹配(步骤S975)。具体而言,图像记录指示单元510判定与所提取的面部相关联地存储的判定结果中存储的属性信息“成人/儿童(世代)”602、属性信息“男性/女性(性别)”603和属性信息“婴儿/非婴儿”604中的每一个是否匹配所保存的与人的类型相关的面部属性。
当所提取的面部的属性不与所指定的与人的类型相关的面部属性相同时(步骤S975中的“否”),过程前进到步骤S978。然而,当所提取的面部的属性与所指定的与人的类型相关的面部属性相匹配时(步骤S975中的“是”),图像记录指示单元510判定所提取的面部的属性是否与通过操作接受单元220指定的与面部表情相关的面部属性相同(步骤S976)。具体而言,图像记录指示单元510判定与所提取的面部相关联地存储的判定结果中的属性信息“微笑面部/非微笑面部”605、属性信息“哭泣面部/非哭泣面部”606、属性信息“愤怒面部/非愤怒面部”607和属性信息“张口面部/闭口面部”608中的每一个是否匹配所保存的与面部表情相关的面部属性。
当所提取的面部的属性不与所指定的与面部表情相关的面部属性相同时(步骤S976中的“否”),过程前进到步骤S978。然而,当所提取的面部的属性与所指定的与面部表情相关的面部属性相同时(步骤S976中的“是”),图像记录指示单元510向记录控制单元520输出记录所摄图像的指示(步骤S977)。当接收到记录所摄图像的指示时,记录控制单元520将在接收到指示时从成像单元110输出的所摄图像记录到图像存储单元210上。
另外,图像记录指示单元510判定从属性判定单元150输出的判定结果中包括的所有面部是否已都被提取(步骤S978)。当并非所有面部都已被提取时(步骤S978中的“否”),过程返回到步骤S974。然而,当所有面部都已经被提取时(步骤S978中的“是”),用于所摄图像记录控制的过程终止。
如上所述,根据本发明的第一实施例,具有在液晶面板201中指定的面部属性的人的面部可以被确定为优先面部。因此,可以基于优先面部来设定各种成像参数以记录所摄图像,从而可以清楚且优美地记录具有指定的面部属性的人的面部。此外,可以向优先面部指派优先面部位置标记,使得拍摄者可以很容易地识别被确定为优先面部的人。另外,除了优先面部之外的人可以被显示为带有面部位置标记,使得拍摄者可以很容易地区分优先面部和其他面部。例如,为了拍摄以成人为背景的儿童,拍摄者按压面部属性指定窗口中的“儿童”指定按钮234,然后执行拍摄操作。因此,比起成人来,可以更加清楚和优美地拍摄成人前面的儿童的脸。
根据本发明的第二实施例,当检测到具有在液晶面板201中指定的与人的类型相关的面部属性和与面部表情相关的面部属性的面部时,可以记录检测时的所摄图像。因此,可以很容易地记录与用户指定的人的类型相对应的人的照片来作为所摄图像,使得该人具有用户喜爱的面部表情。例如,为了拍摄以成人为背景的具有微笑面部的儿童,用户按压面部属性指定窗口中的“儿童”指定按钮234,并且还按压面部表情指定窗口中的“微笑面部”指定按钮241,然后执行拍摄操作。因此,虽然即使在背景中的成人微笑时记录所摄图像的操作也未被执行,但是当该儿童微笑时,记录所摄图像的操作可以被自动执行。换言之,可以很容易地记录符合用户的偏好的所摄图像。
已经针对就面部属性“成人/儿童(世代)”、“男性/女性(性别)”、“婴儿/非婴儿”、“微笑面部/非微笑面部”、“哭泣面部/非哭泣面部”、“愤怒面部/非愤怒面部”和“张口面部/闭口面部”进行判定的情况描述了本发明的第一和第二实施例。本发明的实施例可以应用到就面部是否具有另一面部属性进行判定的情况。其他面部属性例如可以与双眼的位置、眼睛的开/闭状态、面部表情、种族、面部拍摄状况和面部方向相关。已经针对辞典存储单元300存储多个判定辞典的情况描述了本发明的实施例。本发明的实施例可以应用到辞典存储单元300存储一个判定辞典的情况。已经针对存储在辞典存储单元300中的各个判定辞典被用作针对关于正规化面部图像是否是目标图像的判定所设定的评估信息的情况描述了本发明的实施例。可以使用另外的可用来就正规化面部图像是否是目标图像进行判定的评估信息。
已经针对检测所摄图像中示出的人的面部并且判定与检测到的面部相关联的面部属性的情况描述了本发明的实施例。本发明的实施例可以应用到从所摄图像中检测除人脸之外的另外的对象并且判定与检测到的对象相关联的属性的情况。所摄图像中示出的除人脸之外的其他对象例如可以包括:宠物(例如猫或狗)的面部、动物(例如马或牛)的面部、以及交通工具(例如汽车或火车)的面部。
已经针对属于一个类别的对象属性是与人的面部表情相关的面部属性并且属于另一类别的对象属性是与人的类型相关的属性的情况描述了本发明的实施例。本发明的实施例可以应用到下述情况:属于一个类别的对象属性是与对象的表面上的变化相关的属性,属于另一类别的对象属性是与对象的类型相关的属性。
已经针对选择多个优先候选并且从优先候选中确定一个优先面部的情况描述了本发明的第一实施例。多个优先候选可以被用作优先面部,并且可以基于优先面部来执行诸如曝光之类的成像控制。
已经针对作为示例的成像设备描述了本发明的第一和第二实施例。本发明的实施例可以应用到各种成像设备,例如摄取静止图像和运动图像的摄像机、以及具有成像功能的移动电话。
本发明的实施例是用于实现本发明的示例。虽然在权利要求的特征和本发明的实施例中的特定要素之间存在对应关系(如后所述),但是本发明并不限于这些实施例。本领域的技术人员应当理解,取决于设计要求和其他因素,可以进行各种修改、组合、子组合和变更,只要它们处于所附权利要求或其等同物的范围之内。
操作接受单元220例如对应于根据本发明实施例的操作接受装置。成像单元110例如对应于根据实施例的成像装置。面部检测单元120例如对应于根据实施例的对象检测装置。属性判定单元150例如对应于根据实施例的属性判定装置。
优先面部确定单元160例如对应于根据本发明实施例的优先对象确定装置。
成像控制单元191例如对应于根据本发明实施例的成像控制装置。
记录控制单元192例如对应于根据本发明实施例的记录控制装置。
面部位置标记生成单元170例如对应于根据本发明实施例的对象位置标记生成装置。叠加单元180例如对应于根据实施例的叠加装置。显示单元200例如对应于根据实施例的显示装置。
图像记录指示单元510例如对应于根据本发明实施例的图像记录指示装置。
步骤S902例如对应于根据本发明实施例的成像步骤。步骤S903例如对应于根据实施例的对象检测步骤。步骤S920例如对应于根据实施例的属性判定步骤。步骤S950例如对应于根据实施例的优先对象确定步骤。
在前述本发明实施例中的每一个中描述的处理步骤可以被视为包括这些处理步骤的方法、使得计算机可以执行这些处理步骤的程序、或者记录该程序的记录介质。
本发明包含与2007年11月2日向日本专利局提交的日本专利申请JP2007-286657相关的主题,这里通过引用将该申请的全部内容并入。

Claims (21)

1.一种成像设备,包括:
操作接受装置,用于接受指定与预定对象相关联的属性的操作输入;
成像装置,用于将来自被摄体的进入光转换成所摄图像;
对象检测装置,用于检测所述所摄图像中包括的一个或多个对象;
属性判定装置,用于判定每个检测到的对象的属性;以及
优先对象确定装置,用于基于所指定的属性和所判定的属性,确定检测到的对象中的至少一个来作为优先对象。
2.根据权利要求1所述的设备,还包括:
成像控制装置,用于基于所述优先对象来设定预定的成像参数,以执行成像控制。
3.根据权利要求2所述的设备,其中所述成像控制装置基于所述所指定的属性来设定所述成像参数,以执行所述成像控制。
4.根据权利要求2所述的设备,其中所述成像控制装置基于所述优先对象来设定作为所述成像参数的白平衡、颜色平衡、曝光和聚焦中的至少一种,以执行所述成像控制。
5.根据权利要求1所述的设备,还包括:
记录控制装置,用于将在确定所述优先对象时通过所述成像装置转换的所摄图像记录到预定的记录介质上。
6.根据权利要求1所述的设备,其中
所述操作接受装置接受指定与所述预定对象相关联的多个属性的操作输入,并且
所述优先对象确定装置基于所指定的属性和所判定的属性来确定所述优先对象。
7.根据权利要求1所述的设备,其中
所述操作接受装置接受指定与所述预定对象相关联的第一属性和第二属性的操作输入,所述第一属性和第二属性属于两个不同的类别,并且
所述优先对象确定装置基于所指定的第一属性和第二属性以及所判定的属性来确定所述优先对象。
8.根据权利要求1所述的设备,其中所述优先对象确定装置从检测到的对象中选择具有与所指定的属性相匹配的所判定的属性的对象,以确定所述优先对象。
9.根据权利要求8所述的设备,其中
所述对象检测装置判定所述所摄图像中的每个检测到的对象的大小、位置和方向中的至少一种,
当选择了多个对象时,所述优先对象确定装置基于每个对象的大小、位置和方向中的至少一种来从所选择的多个对象中确定所述优先对象。
10.根据权利要求1所述的设备,其中
所述对象检测装置确定所述所摄图像中的每个检测到的对象的大小和位置,并且所述设备还包括:
对象位置标记生成装置,用于基于所述优先对象的大小和位置,生成指示出所述所摄图像中所述优先对象的位置的优先对象位置标记;
叠加装置,用于将所生成的优先对象位置标记叠加在所述所摄图像上;以及
显示装置,用于显示所得到的图像。
11.根据权利要求10所述的设备,其中
所述对象位置标记生成装置基于每个检测到的对象的大小和位置来生成对象位置标记,该标记指示出所述所摄图像中除了所述优先对象外的检测到的对象的位置,并且具有与所述优先对象位置标记的模式不同的模式,并且
所述叠加装置将所生成的对象位置标记叠加在所述所摄图像上。
12.根据权利要求1所述的设备,其中所述对象是人的面部。
13.一种成像设备,包括:
操作接受装置,用于接受指定与预定对象相关联的属性的操作输入;
成像装置,用于将来自被摄体的进入光转换成所摄图像;
对象检测装置,用于检测所述所摄图像中包括的一个或多个对象;
属性判定装置,用于判定每个检测到的对象的属性;以及
图像记录指示装置,用于从检测到的对象中选择具有与所指定的属性相匹配的所判定的属性的对象,并且指示将在选择时通过所述成像装置转换的所摄图像记录到预定的记录介质上。
14.根据权利要求13所述的设备,其中
所述操作接受装置接受指定与所述预定对象相关联的多个属性的操作输入,并且
所述图像记录指示装置从检测到的对象中选择具有与所指定的属性相匹配的所判定的属性的对象。
15.根据权利要求13所述的设备,其中
所述操作接受装置接受指定与所述预定对象相关联的第一属性和第二属性的操作输入,所述第一属性和第二属性属于两个不同的类别,并且
所述图像记录指示装置从检测到的对象中选择具有与所指定的第一属性和第二属性相匹配的所判定的属性的对象。
16.根据权利要求15所述的设备,其中
所述第一属性与对象的表面上的变化相关,并且
所述第二属性与对象的类型相关。
17.根据权利要求15所述的设备,其中
所述对象是人的面部,
所述第一属性与人的面部表情相关,并且
所述第二属性与人的类型相关。
18.一种用于控制成像设备的方法,该成像设备具有用于接受指定与预定对象相关联的属性的操作输入的操作接受装置,所述方法包括以下步骤:
将来自被摄体的进入光转换成所摄图像;
检测所述所摄图像中包括的一个或多个对象;
判定每个检测到的对象的属性;以及
基于所指定的属性和所判定的属性,确定检测到的对象中的至少一个来作为优先对象。
19.一种使计算机可以执行用于成像设备的方法的程序,该成像设备具有用于接受指定与预定对象相关联的属性的操作输入的操作接受装置,所述方法包括以下步骤:
将来自被摄体的进入光转换成所摄图像;
检测所述所摄图像中包括的一个或多个对象;
判定每个检测到的对象的属性;以及
基于所指定的属性和所判定的属性,确定检测到的对象中的至少一个来作为优先对象。
20.一种成像设备,包括:
操作接受单元,接受指定与预定对象相关联的属性的操作输入;
成像单元,将来自被摄体的进入光转换成所摄图像;
对象检测单元,检测所述所摄图像中包括的一个或多个对象;
属性判定单元,判定每个检测到的对象的属性;以及
优先对象确定单元,基于所指定的属性和所判定的属性,确定检测到的对象中的至少一个来作为优先对象。
21.一种成像设备,包括:
操作接受单元,接受指定与预定对象相关联的属性的操作输入;
成像单元,将来自被摄体的进入光转换成所摄图像;
对象检测单元,检测所述所摄图像中包括的一个或多个对象;
属性判定单元,判定每个检测到的对象的属性;以及
图像记录指示单元,从检测到的对象中选择具有与所指定的属性相匹配的所判定的属性的对象,并且指示将在选择时通过所述成像单元转换的所摄图像记录到预定的记录介质上。
CNA2008101755272A 2007-11-02 2008-11-03 成像设备及其控制方法以及程序 Pending CN101426088A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007286657A JP2009118009A (ja) 2007-11-02 2007-11-02 撮像装置、その制御方法およびプログラム
JP2007286657 2007-11-02

Publications (1)

Publication Number Publication Date
CN101426088A true CN101426088A (zh) 2009-05-06

Family

ID=40227842

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008101755272A Pending CN101426088A (zh) 2007-11-02 2008-11-03 成像设备及其控制方法以及程序

Country Status (5)

Country Link
US (1) US8384792B2 (zh)
EP (1) EP2056589A3 (zh)
JP (1) JP2009118009A (zh)
KR (1) KR20090045870A (zh)
CN (1) CN101426088A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075682A (zh) * 2009-11-20 2011-05-25 索尼公司 图像捕获装置、图像处理装置、及其控制方法和程序
CN102096898A (zh) * 2009-11-17 2011-06-15 三星电子株式会社 图像处理的方法和设备
CN102244715A (zh) * 2010-05-10 2011-11-16 佳能株式会社 图像处理装置、用于图像处理装置的设置装置及其方法
CN102484676A (zh) * 2009-08-24 2012-05-30 三星电子株式会社 用于提供对象信息的方法和应用该方法的图像拾取装置
CN102572269A (zh) * 2010-12-10 2012-07-11 奥林巴斯映像株式会社 摄像装置以及af控制方法
CN104217194A (zh) * 2013-05-31 2014-12-17 欧姆龙株式会社 图像核对方法及装置、模型模板生成方法及装置以及程序
CN104919791A (zh) * 2013-01-09 2015-09-16 索尼公司 图像处理设备、图像处理方法以及程序
CN104980662A (zh) * 2015-07-21 2015-10-14 小米科技有限责任公司 拍照过程中调整成像风格的方法、装置及摄像装置
CN106303406A (zh) * 2015-06-29 2017-01-04 Lg电子株式会社 移动终端
CN111914811A (zh) * 2020-08-20 2020-11-10 腾讯科技(深圳)有限公司 图像数据处理方法、装置、计算机设备以及存储介质

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5116514B2 (ja) * 2008-03-11 2013-01-09 キヤノン株式会社 撮像装置および表示制御方法
KR20100027700A (ko) * 2008-09-03 2010-03-11 삼성디지털이미징 주식회사 촬영 방법 및 장치
US20100111375A1 (en) * 2008-10-31 2010-05-06 Michael Jeffrey Jones Method for Determining Atributes of Faces in Images
JP2010272109A (ja) * 2009-04-20 2010-12-02 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP5249146B2 (ja) * 2009-07-03 2013-07-31 富士フイルム株式会社 撮影制御装置および方法並びにプログラム
JP5488961B2 (ja) * 2009-07-27 2014-05-14 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US8354680B2 (en) * 2009-09-15 2013-01-15 Seoul Opto Device Co., Ltd. AC light emitting diode having full-wave light emitting cell and half-wave light emitting cell
JP5526727B2 (ja) 2009-11-20 2014-06-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011139282A (ja) 2009-12-28 2011-07-14 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5287756B2 (ja) 2010-02-08 2013-09-11 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2012003539A (ja) * 2010-06-17 2012-01-05 Sanyo Electric Co Ltd 画像処理装置
JP5541360B2 (ja) * 2010-06-25 2014-07-09 富士通株式会社 画像処理装置および画像処理方法
JP5550114B2 (ja) * 2010-09-07 2014-07-16 埼玉日本電気株式会社 撮像装置
US9389774B2 (en) 2010-12-01 2016-07-12 Sony Corporation Display processing apparatus for performing image magnification based on face detection
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2013156958A (ja) * 2012-01-31 2013-08-15 Sony Mobile Communications Inc 表示処理装置
JP2013186512A (ja) * 2012-03-06 2013-09-19 Sony Corp 画像処理装置および方法、並びにプログラム
JP2013196417A (ja) * 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 画像表示装置、画像表示方法、およびプログラム
CN104205798B (zh) * 2012-04-09 2017-08-04 索尼公司 显示控制装置、显示控制方法和存储介质
KR101938381B1 (ko) * 2012-07-10 2019-01-14 삼성전자주식회사 촬상 장치 및 촬상 방법
DE102012111304A1 (de) * 2012-11-22 2014-05-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Rekonstruktion einer Bewegung eines Objekts
JP2015004848A (ja) 2013-06-21 2015-01-08 ソニー株式会社 情報処理装置、通信システムおよび情報処理方法
WO2015045911A1 (ja) 2013-09-24 2015-04-02 ソニー株式会社 撮影装置、撮影方法、およびプログラム
JP6296833B2 (ja) * 2014-03-06 2018-03-20 オリンパス株式会社 画像音声処理装置、画像音声処理方法、およびプログラム
US10099644B2 (en) * 2014-05-27 2018-10-16 University Of Southern California Virtual head mounted video camera system
US10664687B2 (en) * 2014-06-12 2020-05-26 Microsoft Technology Licensing, Llc Rule-based video importance analysis
US10027883B1 (en) * 2014-06-18 2018-07-17 Amazon Technologies, Inc. Primary user selection for head tracking
US9729865B1 (en) 2014-06-18 2017-08-08 Amazon Technologies, Inc. Object detection and tracking
JP6024719B2 (ja) * 2014-09-09 2016-11-16 カシオ計算機株式会社 検出装置、検出方法、及びプログラム
CN106791365A (zh) * 2016-11-25 2017-05-31 努比亚技术有限公司 人脸图像预览处理方法及装置
JP6967464B2 (ja) * 2018-01-26 2021-11-17 日立Astemo株式会社 画像処理装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181805B1 (en) * 1993-08-11 2001-01-30 Nippon Telegraph & Telephone Corporation Object image detecting method and system
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP4196714B2 (ja) * 2003-04-15 2008-12-17 株式会社ニコン デジタルカメラ
US20040207743A1 (en) 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
CN100538498C (zh) 2003-07-15 2009-09-09 欧姆龙株式会社 对象决定装置和摄像装置
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
US7742079B2 (en) * 2005-02-07 2010-06-22 Sony Corporation Digital camera with automatic functions
JP4324170B2 (ja) * 2005-03-17 2009-09-02 キヤノン株式会社 撮像装置およびディスプレイの制御方法
JP2007074143A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及び撮像システム
JP4747003B2 (ja) * 2005-06-22 2011-08-10 富士フイルム株式会社 自動合焦制御装置およびその制御方法
JP4588575B2 (ja) * 2005-08-09 2010-12-01 富士フイルム株式会社 デジタル画像の複数対象物検出方法および装置並びにプログラム
JP2007074141A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及びその制御方法
US7889892B2 (en) * 2005-10-13 2011-02-15 Fujifilm Corporation Face detecting method, and system and program for the methods
JP4315148B2 (ja) 2005-11-25 2009-08-19 株式会社ニコン 電子カメラ
WO2007060980A1 (ja) 2005-11-25 2007-05-31 Nikon Corporation 電子カメラおよび画像処理装置
JP4665780B2 (ja) 2006-01-30 2011-04-06 ソニー株式会社 顔重要度判定装置、方法、および撮像装置
JP4556891B2 (ja) * 2006-03-17 2010-10-06 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4760496B2 (ja) * 2006-04-03 2011-08-31 セイコーエプソン株式会社 画像データ生成装置、画像データ生成方法
JP2007282119A (ja) * 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
JP2007286657A (ja) 2006-04-12 2007-11-01 Sun Corp 機器管理装置及び機器管理プログラム
JP4794584B2 (ja) * 2007-03-30 2011-10-19 カシオ計算機株式会社 撮像装置、画像表示装置、及びそのプログラム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102484676A (zh) * 2009-08-24 2012-05-30 三星电子株式会社 用于提供对象信息的方法和应用该方法的图像拾取装置
CN102096898A (zh) * 2009-11-17 2011-06-15 三星电子株式会社 图像处理的方法和设备
CN102075682A (zh) * 2009-11-20 2011-05-25 索尼公司 图像捕获装置、图像处理装置、及其控制方法和程序
CN102075682B (zh) * 2009-11-20 2013-11-06 索尼公司 图像捕获装置、图像处理装置、及其控制方法
CN102244715B (zh) * 2010-05-10 2015-07-22 佳能株式会社 图像处理装置、用于图像处理装置的设置装置及其方法
CN102244715A (zh) * 2010-05-10 2011-11-16 佳能株式会社 图像处理装置、用于图像处理装置的设置装置及其方法
US9424655B2 (en) 2010-05-10 2016-08-23 Canon Kabushiki Kaisha Image processing apparatus, method, and storage medium for analyzing changes in video
CN102572269A (zh) * 2010-12-10 2012-07-11 奥林巴斯映像株式会社 摄像装置以及af控制方法
CN102572269B (zh) * 2010-12-10 2015-04-08 奥林巴斯映像株式会社 摄像装置以及af控制方法
CN104919791A (zh) * 2013-01-09 2015-09-16 索尼公司 图像处理设备、图像处理方法以及程序
US10547774B2 (en) 2013-01-09 2020-01-28 Sony Corporation Image processing device, image processing method, and program
US11012614B2 (en) 2013-01-09 2021-05-18 Sony Corporation Image processing device, image processing method, and program
CN104217194A (zh) * 2013-05-31 2014-12-17 欧姆龙株式会社 图像核对方法及装置、模型模板生成方法及装置以及程序
CN104217194B (zh) * 2013-05-31 2017-08-25 欧姆龙株式会社 图像核对方法及装置、模型模板生成方法及装置
CN106303406A (zh) * 2015-06-29 2017-01-04 Lg电子株式会社 移动终端
CN106303406B (zh) * 2015-06-29 2021-03-02 Lg电子株式会社 移动终端
CN104980662A (zh) * 2015-07-21 2015-10-14 小米科技有限责任公司 拍照过程中调整成像风格的方法、装置及摄像装置
CN104980662B (zh) * 2015-07-21 2018-02-06 小米科技有限责任公司 拍照过程中调整成像风格的方法、装置及摄像装置
CN111914811A (zh) * 2020-08-20 2020-11-10 腾讯科技(深圳)有限公司 图像数据处理方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
KR20090045870A (ko) 2009-05-08
EP2056589A2 (en) 2009-05-06
JP2009118009A (ja) 2009-05-28
US8384792B2 (en) 2013-02-26
US20090115864A1 (en) 2009-05-07
EP2056589A3 (en) 2011-09-14

Similar Documents

Publication Publication Date Title
CN101426088A (zh) 成像设备及其控制方法以及程序
CN100556078C (zh) 摄像装置、图像处理装置、以及图像处理方法
JP4274233B2 (ja) 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
CN101751574B (zh) 图像处理设备、成像装置和成像处理方法
CN101673342B (zh) 对象检测装置,成像设备,对象检测方法和程序
JP4974788B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP4535164B2 (ja) 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
CN106204435A (zh) 图像处理方法及装置
US20100302595A1 (en) Image Reproducing Apparatus And Imaging Apparatus
EP3173969B1 (en) Method, apparatus and terminal device for playing music based on a target face photo album
JP2001309225A (ja) 顔を検出するためのカメラ及び方法
JP2010061465A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN102103754A (zh) 被摄体跟踪设备、被摄体区域提取设备及其控制方法
CN103945121A (zh) 一种信息处理方法及电子设备
CN105608700B (zh) 照片的筛选方法及系统
CN103098078A (zh) 笑容检测系统及方法
CN105528078B (zh) 控制电子设备的方法及装置
CN105654039A (zh) 图像处理的方法和装置
CN102054165A (zh) 图像处理装置及图像处理方法
CN101262561A (zh) 成像设备及其控制方法
CN106131441A (zh) 拍照方法及装置、电子设备
US20160189413A1 (en) Image creation method, computer-readable storage medium, and image creation apparatus
CN103297670A (zh) 被摄体判断装置以及被摄体判断方法
JP5918996B2 (ja) 被写体認識装置および辞書データ登録方法
CN110363111B (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090506