CN101867712A - 图像拍摄设备和方法、及表情评价设备 - Google Patents

图像拍摄设备和方法、及表情评价设备 Download PDF

Info

Publication number
CN101867712A
CN101867712A CN201010188346A CN201010188346A CN101867712A CN 101867712 A CN101867712 A CN 101867712A CN 201010188346 A CN201010188346 A CN 201010188346A CN 201010188346 A CN201010188346 A CN 201010188346A CN 101867712 A CN101867712 A CN 101867712A
Authority
CN
China
Prior art keywords
image
expression
expression evaluation
evaluation value
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010188346A
Other languages
English (en)
Other versions
CN101867712B (zh
Inventor
小川要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101867712A publication Critical patent/CN101867712A/zh
Application granted granted Critical
Publication of CN101867712B publication Critical patent/CN101867712B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种通过使用固态图像拍摄装置来拍摄图像的图像拍摄设备包括：面部检测器，在将图像信号记录在记录介质上为止的期间内，基于图像信号检测人的面部；表情评价部评价检出面部的表情，并计算表示与除适于图像拍摄的指定表情之外的表情相比检出面部与指定表情的接近程度的表情评价值；通知部，将与计算出的表情评价值对应的通知信息通知给被摄像者；和图像记录控制器，当表情评价值超过预定阈值时，自动将图像信号记录在记录介质上，其中，当面部检测器检测到多个面部，并且表情评价部计算关于多个检出面部中的每个的表情评价值时，图像记录控制器在关于检出面部中预定数目的面部或关于预定比率的面部的表情评价值都超过阈值时会自动记录图像信号。

Description

图像拍摄设备和方法、及表情评价设备
本申请是申请日为2007年8月2日、申请号为200710138044.0、发明名称为“图像拍摄设备和方法、表情评价设备、及程序”的专利申请的分案申请，其全部内容结合于此作为参考。
技术领域
本发明涉及一种用于通过使用固态图像拍摄装置来拍摄图像的图像拍摄设备和方法、一种用于评价所拍摄的图像的面部表情的表情评价设备、以及一种用于执行其处理的程序。
背景技术
一般，在图像拍摄设备中，不仅在卤化银相机，而且在数码相机中也会安装所谓的自拍器功能，其通常从执行用于按下快门的操作开始经过固定时间段之后自动释放快门按钮。然而，要预先确定通过自拍器功能释放快门的定时。因此，难以保证当释放快门时，被摄像者的面部上有所想要的表情，并且存在可能经常会得到不满意照片的问题。
另外，近年来，用于基于图像信号来执行数字计算处理的图像处理技术迅速发展，并且作为一个实例，已知用于从图像中检测人的面部的技术。已知一种面部检测技术，其中，例如，面部图像中的两个像素之间的亮度差异已知为一个特征量，将基于该特征量来计算表示预定区域是否在输入图像中的评价值，并且最后基于一个或多个评价值中的评价值来确定该区域中的图像是否为面部(例如，参考第2005-157679号日本未审查专利申请公开(段落号[0040]至[0052])，图1)。
此面部检测技术的发展已发展到可将此技术安装到用于使用固态图像拍摄装置(诸如，数码相机)执行图像拍摄的数字图像拍摄设备中的水平。此外，最近，用于确定检出面部的表情的技术已引起了注意。例如，已认为，对来自图像信号(其中，连续拍摄多个框)的每个拍摄的图像，可评价被摄像者的面部的表情，以能够基于关于那些评价的信息选择适当的图像(例如，参考第2004-46591号日本未审查专利申请公开(段落号[0063]至[0071])，图3)。
发明内容
近年来，由于数字图像拍摄装置的制造商之间的竞争已变得激烈，所以急需要发展这些图像拍摄设备来增加其产品价值。鉴于如上所述的自拍器功能问题，所拍摄的图像并不一定会满足摄像者和被摄像者。因此，可以说，对于增加产品价值来说，辅助图像拍摄操作以增加这种满意度的功能是非常重要的。特别，已预期使用先进的图像处理技术来实施这种功能。然而，已实施了在执行这种图像拍摄功能的同时实时辅助图像拍摄操作的功能。
鉴于这些问题作出本发明。需要提供一种能够使被摄像者和摄像者都高度满意地来拍摄图像的图像拍摄设备和方法。
另外，还需要提供一种能够使被摄像者和摄像者高度满意地来拍摄图像的表情评价设备、以及用于执行其处理的程序。
根据本发明的实施例，提供了一种用于通过使用固态图像拍摄装置拍摄图像的图像拍摄设备，该图像拍摄设备包括：面部检测器，被配置为在将通过图像拍摄获得的图像信号记录在记录介质上为止的期间内，基于图像信号来检测人的面部；表情评价部，被配置为评价检出面部的表情，并且计算表示与除了指定表情的表情相比检出面部与指定表情的接近程度的表情评价值；以及通知部，被配置为向被摄像者通知对应于所计算的表情评价值的通知信息。
在此图像拍摄设备中，在将通过图像拍摄所获得的图像信号记录在记录介质上为止的时间段中，面部检测器从图像信号中检测人的面部。表情评价部评价通过面部检测器所检测的面部的表情，并且计算表示与除指定表情之外的表情相比面部表情与指定表情的接近程度的表情评价值。通知部向被摄像者通知对应于所计算的表情评价值的通知信息。
在本发明的图像拍摄设备中，在将通过图像拍摄获得的图像信号记录在记录介质上为止的时间段中，从所拍摄图像中检测人的面部，评价面部的表情，并计算表示与除指定表情之外的表情相比上述面部表情与指定表情的接近程度的表情评价值。然后，向被摄像者通知对应于表情评价值的通知信息。因此，能够使被摄像者看出他/她的表情是否适于图像拍摄，因此，能够有利于被摄像者形成更好的表情。因此，能够使被摄像者和摄像者高度满意度地将图像可靠记录在记录介质上。
附图说明
图1是示出了根据本发明的第一实施例的图像拍摄设备的主要部分的配置的框图；
图2是示出了在图像拍摄设备中所提供的用以执行表情评价模式和表情响应记录模式的功能的框图；
图3示出了在表情评价模式下的操作的略图；
图4示出了表示微笑得分的条形图的移动；
图5示出了关于使用条形图的微笑得分的显示屏的实例；
图6示出了当检测到多个面部时关于对应于表情评价值的信息的屏幕显示的第一实例；
图7示出了当检测到多个面部时关于对应于表情评价值的信息的屏幕显示的第二实例；
图8概念示出了为了进行表情评价而预先生成的信息、和信息生成的流程；
图9A、图9B和图9C示出了用于掩蔽将在PCA处理时输入的取样图像的处理过程；
图10概念示出了在像素空间和PCA空间中确定轴与面部的输入图像之间的关系；
图11示出了当将表情评价值作为数值输出时的计算实例；
图12是示出了在表情响应记录模式下图像拍摄设备的处理流程的流程图；
图13示出了根据本发明的第二实施例的图像拍摄设备的外观；
图14示出了根据本发明的第三实施例的图像拍摄设备的外观；
图15示出了根据本发明的第四实施例的图像拍摄设备的外观；以及
图16示出了根据本发明的第五实施例的PC(个人计算机)的外观。
具体实施方式
以下，将参考附图详细描述本发明的优选实施例。
[第一实施例]
图1是示出了根据本发明的第一实施例的图像拍摄设备的主要部分的配置的框图。
图1中所示的图像拍摄设备被实施为数码相机或数码摄像机。图像拍摄设备包括光学组块11、驱动器11a、图像拍摄装置12、定时发生器(TG)12a、模拟前端(AFE)电路13、相机信号处理电路14、图形处理电路15、显示装置16、图像编码器17、记录设备18、微型计算机19、输入部20、LED(发光二极管)发光部21、和声音输出部22。
光学组块11包括用于将来自对象的光集中到图像拍摄装置12中的透镜、用于移动透镜以执行调焦和变焦的驱动机构、快门机构、光圈机构等。基于来自微型计算机19的控制信号，驱动器11a控制光学组块11中每个机构的驱动。
例如，图像拍摄装置12是CCD(电荷耦合器件)型或CMOS(互补金属氧化物半导体)型的固态图像拍摄装置，基于从TG 12a输出的定时信号而被驱动，然后将来自对象的入射光转换为电信号。在微型计算机19的控制下，TG 12a输出定时信号。
AFE电路13取样并保持从图像拍摄装置12输出的图像信号，以通过CDS(相关双取样)处理来令人满意地维持S/N(信号/噪音)比、通过AGC(自动增益控制)处理来控制增益、执行A/D转换、以及输出数字图像数据。
相机信号处理电路14对来自AFE电路13的图像信号执行AF(自动聚焦)、AE(自动曝光)、关于各种图像质量修正处理的检测处理、以及基于检测信息的对应于从微型计算机19输出的信号的图像质量修正处理。如后所述，在此实施例中，相机信号处理电路14具有面部检测功能和提取面部区域的数据的功能。
图形处理电路15将从相机信号处理电路14输出的图像数据转换为将在显示装置16上显示的信号，然后将该信号提供给显示装置16。此外，图形处理电路15响应于来自微型计算机19的请求，将诸如表情得分(稍后描述)的信息组合到图像中。例如，显示装置16由LCD(液晶显示器)形成，并且基于来自图形处理电路15的图像信号来显示图像。
图像编码器17压缩并编码从相机信号处理电路14输出的图像数据，然后将编码数据输出至记录设备18。更特别，图像编码器17根据诸如JPEG(联合图像专家组)的编码方法来压缩并编码关于一个框(其由相机信号处理电路14处理)的图像数据，然后输出静止图像的编码数据。不仅可以压缩和编码静止图像，还可以压缩和编码移动图像的数据。
记录设备18是用于记录来自图像编码器17的编码数据作为图像文件的设备，并且例如，被实施为用于驱动便携式记录介质(诸如，磁带或光盘，或HDD(硬盘驱动器))的设备。
微型计算机19包括CPU(中央处理器)、和存储器(诸如ROM(只读存储器)和RAM(随机存取存储器))，并且通过执行存储于存储器中的程序来集中控制图像拍摄设备。
输入部20向微型计算机19输出与通过用户输入给各种输入开关的操作对应的控制信号。作为输入开关，例如，提供了快门释放按钮、用于选择各种菜单并设定操作模式的横向键(cross key)、以及其他。
基于来自微型计算机19的控制信号，LED发光部21使得设置在图像拍摄设备的外表面上的LED能够被打开。LED的实例包括表示自拍器功能正被操作的那些LED。
基于来自微型计算机19的控制信号，声音输出部22输出诸如操作确认声音的声音。当提供了音频数据编码器/解码器时，可以输出当再生音频数据时的再生声音。
在此图像拍摄设备中，将通过图像拍摄装置12感光并光电转换的信号顺序提供给AFE电路13，从而执行CDS处理和AGC处理，并且此后，将信号转换为数字图像数据。相机信号处理电路14对从AFE电路13提供的图像数据执行图像质量修正处理，并且在处理之后，将图像数据提供给图形处理电路15，从而将图像数据转换为用于显示的图像信号。因此，将当前拍摄的图像(通过相机的图像(camera through image))显示在显示装置16上，以使摄像者能够通过观看图像来确认视角。
在此状态下，当由于按下输入部20的快门释放按钮(shutterrelease button)而对微型计算机19发出用于记录图像的指令时，将来自相机信号处理电路14的图像数据提供给图像编码器17，从而执行压缩和解码处理，然后通过记录设备18记录图像数据。当将要记录静止图像时，将来自一个框的图像数据从相机信号处理电路14提供给图像编码器17。当将要记录移动图像时，将处理的图像数据连续提供给图像编码器17。
接下来，将给出对在图像拍摄设备中所设置的图像拍摄操作模式的描述。图像拍摄设备具有一种模式，其中，当将要拍摄静止图像时，从所拍摄的图像中检测被摄像者的面部、评价该面部的表情，并且将表示评价程度的信息通知给被摄像者的模式，并且还具有另一种模式，其中，响应于评价程度来自动释放快门，并且将静止图像数据记录在记录设备18中。后文中，将前一种模式称为“表情评价模式”，而将后一种模式称为“表情响应记录模式”。
表情评价模式起到当从所拍摄图像中检测面部时评价面部的表情、将对应于该评价的信息通知给被摄像者、以及促使被摄像者形成更适于图像拍摄的表情的作用。例如，评价表情是否是微笑的程度。此外，在表情响应记录模式中，当评价值超过预定值时，确定被摄像者的面部已变为适于图像拍摄的表情，然后自动记录静止图像数据。这有助于使被摄像者能够高度满意地记录图像。已描述了此实施例具有两种模式，即，表情评价模式和表情响应记录模式。可选地，此实施例可仅具有表情响应记录模式。
图2是示出了在图像拍摄设备中设置的用以实施表情评价模式和表情响应记录模式的功能的框图。
如图2所示，作为用于实施每个图像拍摄操作模式的功能，图像拍摄设备包括面部检测器31、面部图像生成器32、表情评价部41、通知控制器42、和记录操作控制器43。在此实施例中，通过在相机信号处理电路14中的硬件来实施面部检测器31和面部图像生成器32。将表情评价部41、通知控制器42、和记录操作控制器43作为由微型计算机19执行的软件功能来实施。然而，这些功能中的每个可通过硬件或软件来实施。可在微型计算机19中预存确定轴信息44，该确定轴信息44用于通过在其中所设置的诸如ROM的存储器上的表情评价部41进行的表情评价计算。如后所述，确定轴信息44包含表示表情的确定轴的向量的系数信息，表情的确定轴是基于通过来自两个表情上的多个面部的取样数据的主要分量分析而获得的信号分量来执行线性判别分析而获得的。
在这点上，将参考以下描述的图3和4来描述图2中所示的每个功能的操作。首先，图3示出了在表情评价模式下的操作的略图。
在表情评价模式下，首先，基于通过使用图像拍摄装置12进行图像拍摄获得并通过相机信号处理电路14传输的图像数据，面部检测器31从图像中检测被摄像者的面部(步骤S1)。然后，将表示检测面部区域的检测信息输出至面部图像生成器32。如在此实施例中，当通过在显示装置16上显示对应于表情评价值的信息来进行通知时，还要将来自面部检测器31的面部的检测信息提供给微型计算机19的通知控制器42。
作为用于检测面部的技术，可使用一项众所周知的技术。例如，可使用在第2005-157679号日本未审查专利申请公开中披露的技术。在此技术中，首先，要了解在面部图像中两个像素之间的亮度差异，并将其预存为特征量。然后，如图3的步骤S1所示，将固定尺寸的窗W1顺序分配给输入图像，基于特征量来评价面部是否包含在窗W1内的图像中，然后输出评价值。此时，通过顺序减少输入图像然后通过执行相同处理，可能通过使用固定尺寸的窗W1来进行评价。然后，基于通过那些操作获得的评价值来最终确定面部存在的区域。
接下来，面部图像生成器32提取所检测面部的区域Af的数据(步骤S2)。然后，面部图像生成器32将所提取的图像数据转换为固定尺寸的图像数据，将其标准化，然后将图像数据提供给表情评价部41(步骤S3)。
在这点上，在本实施例中，作为从面部检测器31输出的面部检测信息的实例，假定将要输出围绕面部外围的长方形的检测框的位置(例如，左端的坐标，后文中称为“面部的位置信息”)、和检测框的尺寸(例如，横向和纵向的每个方向中的像素数，后文中称为“面部的尺寸信息”)。在此情况下，面部图像生成器32访问临时存储有关于将要检测面部的图像数据的存储器(RAM)，并且仅读取与来自面部检测器31的面部的位置信息和尺寸信息对应的区域的数据。
通过使所提取的图像数据经过分辨率转换，将所提取的图像数据标准化为固定尺寸(分辨率)的图像数据。在标准化之后的图像尺寸变为当表情评价部41评价面部的表情时会成为处理单元的尺寸。在此实例中，例如，将尺寸设定为48×48像素。
作为在面部图像生成器32中所提供的图像提取功能和分辨率转换功能，也可使用通常为了检测和生成输出图像而为相关技术的相机信号处理单元14提供的相同功能。
接下来，基于来自面部图像生成器32的面部的标准化图像数据和预存的确定轴信息44，表情评价部41执行用于评价面部表情的适合程度的操作，然后输出表情评价值(步骤S4)。表情评价值表示面部的表情与两个表情中的一个表情的接近程度。例如，作为两个表情，使用“微笑”和“普通表情”。表情评价值越高，表情被评价为“微笑”而非“普通表情”的程度越高。稍后将描述计算表情评价值的方法。
接下来，通知控制器42向被摄像者通知与从表情评价部41输出的表情评价值对应的信息(步骤S5)。例如，通过图形处理电路15将对应于表情评价值的信息显示在朝向被摄像者侧的显示装置16上。在此情况下，可执行显示，以基于关于从面部检测器31提供的面部的位置和尺寸信息，在显示装置16内指定将要评价的面部。可以通过使用LED发光部21，基于亮度的改变、闪光速度的改变、以及LED发光部21的颜色改变来通知表情评价值的差异。可选地，可通过经由声音输出部22来输出根据表情评价值而不同的声音来进行通知。
在以下描述中，作为实例，假定表情评价部41评价面部是微笑还是无表情的程度。在本实施例中，特别，通过将对应于表情评价值的信息显示在显示装置16上来将上述信息通知给被摄像者，显示装置16的显示屏朝向被摄像者侧。在图3中，示出了一个实例，其中，在显示装置16上显示了表示与表情评价值对应的值的“笑容得分”的条形图。
图4示出了表示笑容得分的条形图的移动。
如图4所示，面部表情为微笑的程度越强，表情评价值变得越高，而面部表情为普通表情的程度越强，表情评价值变得越低。条形图中所示的微笑得分与表情评价值成比率地连续或以阶状方式变化。在朝向被摄像者侧的显示装置16上显示条形图。被摄像者可通过在图像拍摄时实时查看条形图来确认他/她的表情是否是适于图像拍摄的微笑。因此，条形图用以帮助图像拍摄操作，以促使被摄像者形成适于图像拍摄的表情，并且可以拍摄到更满意的图像。如稍后所述，可显示用于促使具有低表情评价值的被摄像者形成微笑的指定字符信息。
在这点上，当模式设定为“表情响应记录模式”时，表情评价部41执行控制，以当表情评价值超过预定阈值时，自动释放快门，即，记录所拍摄的图像。在图2中，记录操作控制器43是用于控制所拍摄的图像数据的记录操作的组块。在正常图像拍摄操作中，当记录操作控制器43检测到输入部20的快门释放按钮被按下时，记录操作控制器43执行控制，以使图像拍摄设备的每个部件能够在记录时执行适当的图像拍摄操作(例如，曝光操作和信号处理操作)，从而图像编码器17编码所拍摄的图像数据，并通过记录设备18来记录编码数据。然后，当表情评价值超过预定阈值时，表情评价部41请求记录操作控制器43执行记录图像数据的操作。
因此，当从所拍摄图像中检测到面部，并且面部表情评价为适于图像拍摄时(此处，当面部表情与微笑的接近程度变得高时)，自动记录此时拍摄的图像。因此，与相关技术的自拍器功能(即，在从按下快门释放按钮开始过去固定时间段之后，记录所拍摄图像的功能)相比，可能可靠拍摄被摄像者具有满意表情的图像，并且可能增加被摄像者和摄像者的满意程度。
接下来，以下将描述关于在显示装置16上的微笑得分的指定显示屏的实例。
图5示出了关于使用条形图的微笑得分的屏幕显示的实例。
在图5中，假定数码摄像机100为图像拍摄设备。在数码摄像机100中，在相机主机组(main unit)101的侧表面上设置用于确认视角的显示装置16。在此配置的数字摄像机100中，通常，显示装置16的显示屏的角度是可变的，从而，如图5所示，可以使显示屏朝向设置有图像拍摄透镜102的方向，即，被摄像者的方向。在表情评价模式和表情响应记录模式中，在显示装置16的显示屏朝向摄像者侧的状态下使用数字摄像机100，并且连同被拍摄对象的图像一起来显示对应于表情评价值的信息。
在图5的屏幕显示的实例中，在包含面部201的被拍摄图像上组合微笑得分显示部202，并对其进行显示。在微笑得分显示部202上，将对应于表情评价值的微笑得分显示为条形图203，同样，将微笑得分显示为数值显示部204上的数值。在表情响应记录模式中，显示表示当自动记录所拍摄图像时微笑得分边界的边界显示图标205。在此实例中，将数值形式的阈值显示在边界显示图标205上。
在图5的实例中，连同微笑得分显示部202，在对应于微笑得分的面部201的周围显示面部显示框206，从而以容易理解的方式来显示将对其微笑进行评价的面部201。此外，在面部显示框206的周围提供用于显示字符的字符显示部207，上述字符根据表情评价值而不同，以促进被摄像者通过使用字符来以较低的微笑程度形成较强微笑。
在表情响应记录模式下，可由用户根据需要来设置当记录所拍摄图像时的表情评价值的阈值，以使被摄像者能够在记录所拍摄图像之前自由确定他/她所希望的面部表情与微笑的接近程度。在图5的实例中，例如，通过用户以在输入部20中所提供的左到右方向(未图形)按下方向键，改变表情评价值的阈值，边界显示图标205以左到右的方向移动，并且使用者可视觉上确认对应于表情评价值的阈值的微笑得分。在此情况下，当将模式设置为表情响应记录模式时，以左到右的方向操作的方向键可自动用作用于设置表情评价值的阈值的键，从而能够为使用者增加操作容易度。
表情评价值的阈值的改变并不限于上述方法，而是可以由选自菜单屏幕的专用设置屏幕来执行。可选地，可以提供专用操作键来改变表情评价值的阈值。例如，当显示装置16为触板型时，可通过使手指接触在显示装置16上所显示的键图像来改变阈值。此外，可通过以左到右的方向移动手指来改变阈值，其中，手指接触图5的边界显示图标205。
当从图像拍摄屏幕内检测到多个面部时，可为那些面部中的每个面部计算一个表情评价值，然后将对应于那些值的信息显示在显示装置16上。图6示出了关于当检测到多个面部时与表情评价值对应的信息的屏幕显示的第一实例。
图6示出了检测到两个面部211和212的实例。在面部211和212中，在面部区域周围分别显示面部显示框213和214，并且在其附近分别提供字符显示部215和216。根据面部211和212中每个的表情评价值来改变面部显示框213和214中每个的线型，并且在字符显示部215和216上显示对应于表情评价值的不同字符。
在图6的实例中，评价面部211具有足够强的微笑，但评价面部212微笑的不够。例如，面部211的表情评价值已达到用于自动记录的阈值，但是面部212的表情评价值表示稍低于阈值的值。此时，将评价状态的这些差异通知给对应的被摄像者，其中，用实线表示关于面部211的面部显示框213，以及用由虚线表示关于面部212的面部显示框214，并且同样，在字符显示部216上显示用于促使形成较强微笑的字符信息。在此实例中，使用面部显示框213和214的线型示出了表情评价值的差异。此外，例如，可以通过亮度、颜色、面部显示框的厚度的差异来通知表情评价值的差异。
图7示出了用于当检测到多个面部时显示对应于表情评价值的信息的屏幕显示的第二实例。
同样，在图7的实例中，与图6类似，检测到两个面部，即，面部211和212。评价面部211具有足够强的微笑，而评价面部212的微笑不够。此外，在图7的实例中，通过在面部211和212的每个区域附近分别示出对应于表情评价值的符号217和218，将表情评价值的差异通知给被摄像者。
以上述方式，由于通过使用显示装置执行对应于表情评价值的信息的通知，所以可能通过各种方法将对应于表情评价值的信息通知给被摄像者，各种方法诸如，通过使用条形图或数值来显示对应于表情评价值的微笑得分、随着根据表情评价值而改变的面部显示框的线型、颜色、亮度等，或通过用于促使被摄像者根据面部周围正显示的表情评价值来微笑的字符。特别，在数码摄像机的情况下，由于可使用至今提供的显示屏方向可变的显示装置来进行通知，所以可能对用户来说高度满意地可靠记录图像，不会由于相机的基本配置的改变而引起开发/制造成本的大幅度增加。
以上，将摄像机用作其中安装了显示屏方向可变的显示装置的实例。一些设置有用于确认与图像拍摄透镜相对侧上的视角的显示装置的数码相机使得显示屏的方向可变。如果其显示屏可朝向被摄像者侧，那么就可以显示上述显示图像，从而可能将对应于表情评价值的信息通知给被摄像者。
接下来，将描述用于此图像拍摄设备中的表情评价方法。
图8概念示出了用于表情评价而预先生成的信息、以及信息生成的流程。
在此实例中，作为用于评价表情的方法，使用了所谓的“费希尔线性判别分析”。在此方法中，首先，预先提供各具有两个表情的面部的多个取样图像。基于这些取样图像的数据，通过看作两个表情之间的两类问题，预先形成确定轴Ad，通过线性判别分析(LDA)，用该确定轴Ad来满意地确定两个表情。然后，当进行表情评价时，确定面部图像的输入数据与确定轴Ad的内积，从而计算表情评价值。
如图8所示，在本实施例中，使用微笑的取样图像Ps和普通表情的取样图像Pn。将取样图像Ps和Pn预先提供为被标准化为固定尺寸(例如，48×48像素)的图像。然后，将这些取样图像的数据处理为48×48次元(dimension)的向量数据，然后执行LDA过程。然而，向量空间变为具有48×48坐标轴的非常大次元的空间。因此，在LDA处理之前，对那些向量数据执行主要分量分析(PCA)，以将其转换(次元压缩)为具有仅有效表示面部特征的低次元空间的数据。
在此PCA处理中，首先，考虑获得M轴，以使输入M(例如，M＝300)的N次元(N＝48×48)的取样图像组中的变化变为最大。将这些轴被确定为图像组的积差矩阵的固有值问题的解(固有向量)，并且通过仅提取具有相对大系数的向量分量作为主要分量，可将数据压缩为仅适于显示面部特征的向量分量的N′次元(N＞＞N′)的数据。例如，已知通过设定N′＝约40，可维持面部表情的确定的充分精确度。通过从通过PCA处理获得的主要分量中排除从大系数开始的若干向量，可以进一步减少次元数，并且可以在维持表情确定精确度的同时减少下个PCA过程的负担。
图9A、图9B、和图9C示出了用于掩蔽将要在PCA处理时输入的取样图像的过程。
如图9A所示，当通过实际上使用取样图像P(其中，在预定尺寸的长方形区域中图像拍摄面部221)来执行PCA处理时，可能存在以下情况，其中，由于面部221的背景、头发等，而无法必须选择适当主要分量。鉴于此，如图9B所示，通过将掩蔽物222施加至除面部221外的区域，将取样图像转换为取样图像P1，其中，尽可能仅保留面部区域，并且在增加面部的信息密度的状态下执行PCA处理，从而可能以较高精度执行次元压缩。此外，面部区域内的嘴会根据表情而发生很大的改变，所以常常会变为干扰元素。因此，如图9C所示，通过使用取样图像P2(其中，甚至将掩蔽物223施加到嘴的区域)来执行PCA过程，可能进一步增加次元压缩的精确度。
返回参考图8，以下将给出描述。将由PCA过程进行次元压缩的微笑和普通表情的每个取样图像转换为在仅具有坐标轴(足以显示面部特征)的局部空间(PCA空间SPCA)中的向量数据。图8图解示出了以下状态，其中，微笑的取样图像Ps和普通表情的取样图像Pn被投影到PCA空间SPCA上。如图8所示，可以说具有相同表情的取样图像在PCA空间SPCA中彼此比较接近。因此，将这些表情的取样图像组看作两个群(cluster)CLs和CLn，并且通过LDA处理形成最分离这些群的投影轴(确定轴Ad)。这个确定轴Ad称为“费希尔投影轴”。
通常，在LDA处理中，要确定下确定轴，以使投影在N′次元的固有向量上的类中和类间的变化变为最大。即，确定与类中和类间的积差矩阵中的每个的最大固有值对应的固有向量，并且将该固有向量设为确定轴Ad中的向量(费希尔向量)。在等式(1)和(2)中分别示出了在积差矩阵与固有值之间的关系、以及在积差矩阵与固有向量之间的关系。
R B μ → = λ R W μ → . . . ( 1 )
⇔ R W - 1 R B μ → = λ μ → . . . ( 2 )
(RW：类中积差矩阵，RB：类中积差矩阵，λ：固有值)
费希尔向量→对应于最大固有值的固有向量
对于反转矩阵的计算，可分别使用等式(2)左侧的固有值和固有向量、LU(下到上)分解方法、QR分解方法(Q：正交矩阵，R：上三角矩阵)、和高斯消去法。表情评价部41将信息(诸如，费希尔向量的每个分量的系数)作为在以上述方式获得的确定轴Ad上的信息(确定轴信息44)预存在ROM等中。
图10概念示出了在像素空间和PCA空间中确定轴与面部的输入图像之间的关系。
以下是使用上述确定轴Ad的表情确定的基本过程。首先，使从所拍摄图像中检测的面部的图像数据经过PCA处理，并且提取出主要分量。然后，将面部图像的表情(如图10中的PCA空间SPCA中所示)评价为经PCA处理的面部图像向量(输入面部图像向量)相对于确定轴Ad的投影分量。即，可通过输入面部图像向量与费希尔向量的内积来计算表情评价值Eexp的计算(参见等式(5-1))。
Figure GSA00000125228000181
Figure GSA00000125228000182
E exp = P → in _ pca · A → d = 1.45 0.86 0.64 . . . 0.05 · 0.98 0.45 0.38 . . . 0.09 . . . ( 5 - 1 )
= [ P → in _ pxl - C ] · [ A → d _ pxl - C ] . . . ( 5 - 2 )
Figure GSA00000125228000185
像素空间中的输入面部图像向量
Figure GSA00000125228000186
像素空间中的费希尔向量
Figure GSA00000125228000187
主要分量的向量
Eexp：表情评价值
Figure GSA00000125228000188
经PCA处理后的输入面部图像向量
同样，可以将关于费希尔向量的信息转换为像素空间Spxl(在PCA处理之前的原始图像数据占有的尺寸空间)中的信息。等式(3)示出了作为像素空间Spxl中的向量的输入面部图像向量，以及等式(4)示出了作为像素空间Spxl中的向量的费希尔向量。图10概念示出了这些关系。如等式(3)、等式(4)、和图10所示，可将作为所有输入图像的平均值的常数C来接近除了通过PCA处理获得的主要分量μ1至μN′之外的向量分量。因此，如等式(5-2)所示，可将等式(5-1)中所示的内积计算同样表示为像素空间Spxl中的向量的内积计算。
在等式(5-2)中，由于可预先计算在像素空间Spxl中的费希尔向量分量与常数C之间执行减法的结果，所以表情评价部41中已预先存储了减法结果和常数C作为确定轴信息44。然后，当给出从所拍摄图像检测的面部图像的向量时，执行等式(5-2)的内积计算过程，而不对向量执行PCA处理。在使用等式(5-2)对一个面部进行的表情值计算中，所执行的次数减法、乘法和加法的最大数目仅为48×48。此外，实际上，仅执行对应于40的系数或这些主要分量μ1至μN′的计算。因此，当与执行PCA空间SPCA中的向量的内积计算的情况相比时，可大大减少计算的次数，而不会降低表情评价的精确度，并且可以在记录所拍摄图像之前在视角匹配的状态下，很容易实时计算出表情评价值Eexp。
在此计算方法中，例如，甚至与通过在多个面部图像的模板与检出面部的图像之间进行匹配来评价表情的情况相比，仍然可能低处理负荷并高精确度地执行表情评价。当将要执行使用模板的匹配时，通常，必须从检出面部的图像中进一步提取出诸如眼睛或嘴的部分，从而为每个部分执行匹配处理。比较起来，在此实施例的方法中，在将检出面部的图像的数据标准化为固定尺寸之后，用向量信息取代了面部图像，并且可将面部图像实际上应用于内积计算(或仅部分施加掩蔽物)，然后，内积计算就变为简单的计算，包括约40次元的减法、乘法、和加法计算。
图11示出了当将表情评价值输出为数值时的计算实例。
在本实施例中，作为实例，基于关于简单图像的PCA处理的结果，确定在PCA空间中微笑和普通表情的面部图像的每个分布的平均值，并且预先确定这些平均值相对于确定轴Ad的投影点。然后，通过使用每个平均值的投影点的中间点作为参考点，将表情评价值Eexp转换为数值。即，如图11所示，将输入面部图像相对于确定轴的投影点与平均投影点的中间点之间的距离设为表情评价值Eexp，并将分布了微笑的取样图像的一侧设为正数值。因此，可将所检测的面部图像与微笑和普通表情中的哪一个接近输出为连续数值，并且表情评价值Eexp越高，就评价该面部具有越强微笑。
接下来，将给出在表情响应记录模式下操作的图像拍摄设备的处理过程的描述，其中，用流程图来概括该处理过程。图12是示出了在表情响应记录模式下操作的图像拍摄设备的处理流程的流程图。
[步骤S11]面部检测器31从所拍摄的图像数据中检测面部，然后将所有检出面部的位置信息和尺寸信息输出至面部图像生成器32和通知控制器42。
[步骤S12]基于来自面部检测器31的面部的位置信息和尺寸信息，面部图像生成器32在从所拍摄的图像数据中检测的每个面部区域中提取数据。
[步骤S13]面部图像生成器32将每个所提取的面部区域的数据标准化为预定像素数目(在此，48×48像素)的数据，将掩膜施加至不需要检测表情的区域，然后将处理后的图像数据输出至表情评价部41。
[步骤S14]表情评价部41读取确定轴信息44，然后计算从面部图像生成器32提供的一个面部图像中获得的向量与确定轴的向量分量的内积，从而计算表情评价值。例如，将计算出的表情评价值临时存储在RAM等中。
[步骤S15]表情评价部41确定是否已对所有检测面部都执行了表情评价处理。当没有处理所有检测面部时，对另一个面部再次执行步骤S14，并且当已处理所有检测面部时，执行步骤S16。
[步骤S16]基于在步骤S15中计算的表情评价值和与该表情评价值对应的面部的位置信息和尺寸信息，通知控制器42将诸如微笑得分的表情信息和显示框输出至图形处理电路15，然后将其以在显示装置16上组合的方式显示。
[步骤S18]表情评价部41确定在步骤S14中计算的所有面部的表情评价值是否超过阈值。当存在没有超过阈值的表情评价值时，处理返回到步骤S11，其中，表情评价部41指示相机信号处理单元14检测面部，从而启动用于检测下个面部的处理和表情评价处理。当所有表情评价值超过阈值时，执行步骤S18。
[步骤s17]表情评价部41请求记录操作控制器43将拍摄到的图像的数据记录在记录设备18中。因此，对所拍摄的图像执行记录处理，然后，将处理后的编码图像数据记录在记录设备18中。
由于以上处理，所以可以为所有检测面部计算表情评价值，并且将对应于表情评价值的信息作为显示信息通知给被摄像者，从而能够促使被摄像者形成适于图像拍摄的表情。当所有被摄像者都已形成适于图像拍摄的表情时，自动记录所拍摄图像的数据。因此，能够使被摄像者和摄像者高度满意地可靠记录图像。
步骤S17中的确定标准仅为一个实例，而并非必须以当表情评价值超过阈值时记录图像数据的方式来执行控制。例如，当检出面部中的面部的固定比率的表情评价值超过阈值时，可记录图像数据。可选地，可在固定数目的面部的表情评价值超过阈值时记录图像数据，从而此后，防止对不经意被拍摄的图像的多余面部执行表情评价。
在表情响应记录模式中，当表情评价值超过预定阈值时，自动记录所拍摄的图像。此外，例如，当摄像者按下快门释放按钮时，在经过固定时间段之后，评价被摄像者的表情，然后可以在被摄像者形成适于图像拍摄的表情时，自动记录所拍摄的图像。在此情况下，例如，当检测到快门释放按钮的按下时，微型计算机19仅需要启动计时，并且在过去固定时间段时，启动图12所示的处理。由于这个处理，所以按下快门释放按钮的摄像者可以可靠移动到图像拍摄范围中，且可提高操作的简易性。
在以上描述中，除表情与微笑接近的程度之外，定义两个表情，即，“微笑”和“普通表情”。此外，可执行表情位于“微笑”与除“微笑”之外的表情(称为不微笑)之间的确定。不微笑表情可包括不是微笑的多个表情，诸如严肃表情、哭泣表情、和生气表情。在此情况下，基于与多个表情对应的面部的取样图像的平均值来确定不微笑表情的组(后文中，“不微笑”)，然后，基于“不微笑”组和“微笑”组来计算用于LDA处理的确定轴。
此外，表情评价值并非必须是与一个指定表情(诸如，“微笑”)的接近的测量值。例如，通过考虑为适于图像拍摄的表情的多个指定表情(诸如，“微笑”和“严肃表情”)，表情评价值可表示表情与多个表情中的任一个表情的接近程度。同样，在此情况下，可以基于对应于多个表情的面部的取样图像的平均值来确定“适于图像拍摄的表情”组，并且可以基于“适于图像拍摄的表情”组和“不适于图像拍摄的表情”组来计算用于LDA处理的确定轴。
[第二实施例]
图13示出了根据本发明的第二实施例的图像拍摄设备的外观。
在本实施例中，通过使用图1所示的配置内的LED发光部21的一部分，将对应于表情评价值的信息通知给被摄像者。在图13所示的图像拍摄设备110中，在安装有图像拍摄透镜111、闪光灯发光部112等的一侧上设置用于通知与表情平均值对应的信息的专用LED发光部21a。LED发光部21a在一条线中设置有多个LED21b至21f。基于其中LED发光的数目，将对应于表情评价值的信息(此处，微笑得分)通知给被摄像者。具有了这种配置，不具有显示装置(显示屏方向可变)的图像拍摄设备(诸如，数码相机)还能够将对应于表情评价值的信息通知给被摄像者，并且还能够帮助图像拍摄操作，从而能够记录适当图像。此外，通过使用小发光装置(诸如，LED)，可将图像拍摄设备的主机组的扩大部分抑制为最小。
此外，在LED发光部21a中，可以设置最远侧的LED(图13中的LED 21f)，以在自动记录所拍摄图像时表示微笑得分，并且这个LED可发出不同于其他LED的颜色和亮度的光。因此，能够在执行自动记录时，将微笑得分清楚地通知给被摄像者。同样，被摄像者能够确认是否已执行自动记录。
[第三实施例]
图14示出了根据本发明的第三实施例的图像拍摄设备的外观。
在图14所示的图像拍摄设备120中，在安装有图像拍摄透镜121、闪光灯发光部122等的一侧上，设置仅具有一个LED的LED发光部21g。在此LED发光部21g中，可能基于表情评价值，例如，通过改变LED的闪光速度、或通过改变LED的亮度/颜色，将微笑得分通知给被摄像者。例如，控制有可能随着表情评价值增加，使LED的颜色逐渐从红色变为绿色，然后变为蓝色，或者使LED发出更明亮的光。以上述方式，通过仅使用一个LED，可更显著地防止图像拍摄设备的主机组的扩大。
当图像拍摄设备120具有相关技术的自拍器功能时，还可以在评价表情的操作中，使用当自拍器操作时使用的LED。例如，当自拍器操作时，随着时间从按下快门释放按钮变化到执行记录之前，LED的闪光速度逐渐增加。然后，在表情评价模式和表情响应记录模式中，表情评价值越高，LED的闪光速度增加得越多。具有了这种配置，可能将对应于表情评价值的信息通知给被摄像者，而不会改变相关技术的图像拍摄设备的基本配置和外观。双重功能的发光部并不限于自拍器部的功能，而是可在曝光控制期间用作光测量发光部。然而，在此情况下，这个部件必须能够至少在表情评价时发出可见光。
[第四实施例]
图15示出了根据本发明的第四实施例的图像拍摄设备的外观。
在每个上述实施例中，视觉上通知对应于表情评价值的信息。比较起来，在本实施例中，通过使用图2所示的声音输出部22，使用声音来通知对应于表情评价值的信息。在图15所示的图像拍摄设备130中，在安装有图像拍摄透镜131的一侧上设置扬声器22a，然后复制并输出取决于表情评价值而不同的声音。例如，对于将以与图5和6中所示的字符信息相同的方式输出的声音，使用声音，从而微笑程度越低，就会促使被摄像者形成更强微笑。在此情况下，图像拍摄设备130可以用以阶状方式对应于表情评价值的方式来预先存储将要再生的声音数据。此外，可以采用随着表情评价值而改变声调和声音的输出间隔的方法、或输出悦耳声音的方法，这取决于表情评价值而不同。使用声音的通知和使用视觉信息的通知可组合使用。
[第五实施例]
图16示出了根据本发明的第五实施例的PC(个人计算机)的外观。
同样，可以用各种类型的计算机(如图16所示的PC 140)来实施每个上述实施例中的表情评价功能、基于表情评价值通知信息的功能、和基于表情评价值记录图像的功能。在图16中，作为实例，示出了整体配置有包括LCD、键盘142、和主机组的显示装置141的笔记本型PC 140。在该PC 140中，例如，在显示装置141的上端部分中整体设置图像拍摄单元143，以能够图像拍摄操作PC140的用户一侧。例如，可将图像拍摄单元143通过诸如USB(通用串行总线)的通信接口连接至外部。
在此计算机中，在计算机中，通过计算机执行描述每个功能的处理内容的程序来实施上述功能。可将描述处理内容的程序预先记录在计算机可读记录介质上。计算机可读记录介质的实例包括磁盘、光判、磁光记录介质、和半导体存储器。
当将要散步这个程序时，例如，出售便携式记录介质，诸如记录有程序的光盘。可选地，可将程序预先记录在服务器计算机的存储设备中，并且还可以将程序从服务器计算机转移到另一个计算机中。
例如，执行程序的计算机将记录在便携式记录介质上的程序或从服务器计算机中提取的程序存储在计算机的存储装置中。然后，计算机从其存储装置中读取程序，然后根据程序来执行处理。计算机还可以直接从便携式中读取介质读取程序，然后，可以根据该程序来执行处理。每当从服务器计算机中转移程序时，计算机还可以根据所接收的程序来逐一执行处理。
本领域的技术人员应理解，在附加权利要求或其等同物的范围内，可根据设计要求和其它因素来进行各种修改、组合、子组合、和替换。

Claims (26)

1.一种用于通过使用固态图像拍摄装置来拍摄图像的图像拍摄设备，所述图像拍摄设备包括：
面部检测器，被配置为在将通过图像拍摄获得的图像信号记录在记录介质上为止的期间内，基于所述图像信号来检测人的面部；
表情评价部，被配置为评价检出面部的表情并计算表情评价值，所述表情评价值表示与除适于图像拍摄的指定表情之外的表情相比，所述检出面部与所述指定表情的接近程度；
通知部，被配置为通知对应于计算出的所述表情评价值的通知信息；以及
图像记录控制器，被配置为当所述表情评价值超过预定阈值时，自动将通过图像拍摄获得的图像信号记录在记录介质上，
其中，当所述面部检测器检测到多个面部，并且所述表情评价部计算关于多个检出面部中的每个的所述表情评价值时，所述图像记录控制器在关于所述检出面部中预定数目的面部或关于预定比率的面部的所述表情评价值都超过所述阈值时会自动记录图像信号。
2.根据权利要求1所述的图像拍摄设备，其中，所述表情评价部计算所述表情评价值，所述表情评价值表示与基于被确定为包含在除所述指定表情之外的表情中的多个面部数据的第二面部组相比，所述检出面部与基于被确定包含在所述指定表情中的多个面部数据的第一面部组的接近程度。
3.根据权利要求1所述的图像拍摄设备，其中，所述表情评价部使用微笑作为所述指定表情，并且计算所述检出面部与微笑的接近程度作为所述表情评价值。
4.根据权利要求3所述的图像拍摄设备，其中，所述表情评价部使用普通表情作为除所述指定表情之外的表情。
5.根据权利要求3所述的图像拍摄设备，其中，所述表情评价部使用除微笑之外的表情作为除所述指定表情之外的表情。
6.根据权利要求1所述的图像拍摄设备，其中，所述通知部通知随着所述表情评价值而改变的所述通知信息、和以与所述通知信息的改变对应的方式来表示所述阈值的位置的阈值信息，作为视觉信息。
7.根据权利要求6所述的图像拍摄设备，其中，所述通知部将使用条的长度来表示所述表情评价值的大小的条形图图像显示在显示设备上，并且所述通知部在所述条形图图像上显示表示所述阈值的位置的位置显示图像，
所述阈值响应于用户执行的输入操作而改变，以及所述位置显示图像在所述条形图图像中的位置也响应于所述阈值的改变而改变。
8.根据权利要求1所述的图像拍摄设备，其中，当所述图像记录控制器检测到通过所述用户指令的图像记录操作时，所述图像记录控制器在固定时间段之后，从所述表情评价部获得所述表情评价值，并且当所述表情评价值超过预定阈值时，自动将通过图像拍摄获得的图像信号记录在记录介质上。
9.根据权利要求1所述的图像拍摄设备，其中，所述通知部通知从视觉上表示所述表情评价值的大小的信息作为所述通知信息。
10.根据权利要求9所述的图像拍摄设备，其中，所述通知部将对应于所述表情评价值的所述通知信息、连同所拍摄的图像一起显示在显示设备上。
11.根据权利要求10所述的图像拍摄设备，其中，所述通知部将条形图图像作为所述通知信息显示在所述显示设备上，所述条形图图像通过使用条的长度来表示所述表情评价值的大小。
12.根据权利要求10所述的图像拍摄设备，其中，所述通知部将一个框作为所述通知信息显示在所述显示设备上所显示的被摄像者的面部周围，并且随着所述表情评价值改变所述框的颜色、亮度、和线型中的至少一个。
13.根据权利要求10所述的图像拍摄设备，其中，所述通知部将随着所述表情评价值的大小而不同的字符信息作为所述通知信息显示在所述显示设备上。
14.根据权利要求10所述的图像拍摄设备，其中，当所述面部检测器检测到多个面部时，所述表情评价部计算关于所述检出面部中的每个的所述表情评价值，以及
所述通知部以与所述被摄像者的所述面部中的每个相对应的方式来显示与关于每个面部的所述表情评价值对应的所述通知信息。
15.根据权利要求9所述的图像拍摄设备，其中，所述通知部包括多个发光部，并且所述通知部通过改变发光的发光部的数目来表示所述表情评价值的大小。
16.根据权利要求9所述的图像拍摄设备，其中，所述通知部包括一个发光部，并且所述通知部显示所述表情评价值的大小作为所述发光部的颜色的改变、其亮度的改变、或其闪光速度的改变。
17.根据权利要求16所述的图像拍摄设备，其中，所述发光部用于提供表示所述表情评价值的大小的功能和其他功能。
18.根据权利要求16所述的图像拍摄设备，还包括：
自拍器记录控制器，被配置为执行控制，从而在从检测到快门释放按钮的按下开始的固定时间段之后，编码通过图像拍摄获得的图像信号，并将其自动记录在记录介质上；以及
自拍器发光部，被配置为在由所述自拍器记录控制器的控制期间，在从按下所述快门释放按钮时到将图像信号记录在所述记录介质上之间，向被摄像者通知所述自拍器处于操作中，
其中，被配置为表示所述表情评价值的大小的所述发光部还用于所述自拍器发光部。
19.根据权利要求1所述的图像拍摄设备，其中，所述通知部输出根据所述表情评价值的大小而不同的通知声音作为所述通知信息。
20.根据权利要求1所述的图像拍摄设备，其中，所述表情评价部中已预存通过基于每个均与所述指定表情和除所述指定表情之外的表情中的一个对应的面部的取样图像组来执行线性判别分析而获得的确定轴的信息，并且所述表情评价部根据基于所述面部检测器检测的所述面部的图像信号的向量相对于所述确定轴上的向量的投影分量的大小来计算所述表情评价值。
21.根据权利要求20所述的图像拍摄设备，其中，基于通过主要分量分析来对基于所述取样图像的向量的数据进行次元压缩而得到的数据来计算所述确定轴。
22.根据权利要求21所述的图像拍摄设备，其中，所述表情评价部中已预存所述确定轴上的向量的数据作为具有被次元压缩前的次元的向量的数据，然后通过计算具有被次元压缩之前的次元的所述向量与基于由所述面部检测器检测的所述面部的图像信号的向量的内积，计算所述表情评价值。
23.根据权利要求20所述的图像拍摄设备，其中，所述表情评价部将通过所述面部检测器检测的所述面部的所述图像信号标准化为当确定所述确定轴时所使用的所述取样图像的图像尺寸，并且通过使用所述标准化后的所述图像信号来计算所述表情评价值。
24.根据权利要求23所述的图像拍摄设备，其中，所述表情评价部对所述标准化之后的所述图像信号执行掩蔽处理，并且通过使用所述掩蔽处理之后的所述图像信号来计算所述表情评价值，其中，所述掩蔽处理用于对实质上不会影响表情确定的图像区域中的信号进行掩蔽。
25.一种用于通过使用固态图像拍摄装置来拍摄图像的图像拍摄方法，所述图像拍摄方法包括以下步骤：
检测步骤，在将通过图像拍摄获得的图像信号记录在记录介质上为止的期间内，基于所述图像信号来检测人的面部；
计算步骤，评价在所述检测步骤中检测的所述面部的表情，并且计算表示与除适于图像拍摄的指定表情之外的表情相比，所述检出面部与所述指定表情的接近程度的表情评价值；
通知步骤，通知与在所述计算步骤中计算出的所述表情评价值对应的通知信息；以及
记录步骤，被配置为当所述表情评价值超过预定阈值时，自动将通过图像拍摄获得的图像信号记录在记录介质上，
其中，当在所述检测步骤中检测到多个面部，并且在所述计算步骤中计算关于多个检出面部中的每个的所述表情评价值时，所述记录步骤在关于所述检出面部中预定数目的面部或关于预定比率的面部的所述表情评价值都超过所述阈值时会自动记录图像信号。
26.一种表情评价设备，用于评价使用固态图像拍摄装置拍摄的图像的面部表情，所述表情评价设备包括：
面部检测器，被配置为在将通过图像拍摄获得的图像信号记录在记录介质上为止的期间内，基于所述图像信号来检测人的面部；
表情评价部，被配置为评价检出面部的表情，并计算表示与除适于图像拍摄的指定表情之外的表情相比所述检出面部与所述指定表情的接近程度的表情评价值；
通知信息生成器，被配置为生成通知信息，所述通知信息随着所计算的表情评价值而改变；以及
图像记录控制器，被配置为当所述表情评价值超过预定阈值时，自动将通过图像拍摄获得的图像信号记录在记录介质上，
其中，当所述面部检测器检测到多个面部，并且所述表情评价部计算关于多个检出面部中的每个的所述表情评价值时，所述图像记录控制器在关于所述检出面部中预定数目的面部或关于预定比率的面部的所述表情评价值都超过所述阈值时会自动记录图像信号。
CN2010101883460A 2006-08-02 2007-08-02 图像拍摄设备和方法、及表情评价设备 Expired - Fee Related CN101867712B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-211000 2006-08-02
JP2006211000A JP4197019B2 (ja) 2006-08-02 2006-08-02 撮像装置および表情評価装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2007101380440A Division CN101163199B (zh) 2006-08-02 2007-08-02 图像拍摄设备和方法、及表情评价设备

Publications (2)

Publication Number Publication Date
CN101867712A true CN101867712A (zh) 2010-10-20
CN101867712B CN101867712B (zh) 2013-03-13

Family

ID=39050846

Family Applications (4)

Application Number Title Priority Date Filing Date
CN2010101883085A Expired - Fee Related CN101877766B (zh) 2006-08-02 2007-08-02 图像拍摄设备和方法、及表情评价设备
CN201010188348XA Expired - Fee Related CN101867713B (zh) 2006-08-02 2007-08-02 图像拍摄设备和方法、及表情评价设备
CN2007101380440A Expired - Fee Related CN101163199B (zh) 2006-08-02 2007-08-02 图像拍摄设备和方法、及表情评价设备
CN2010101883460A Expired - Fee Related CN101867712B (zh) 2006-08-02 2007-08-02 图像拍摄设备和方法、及表情评价设备

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN2010101883085A Expired - Fee Related CN101877766B (zh) 2006-08-02 2007-08-02 图像拍摄设备和方法、及表情评价设备
CN201010188348XA Expired - Fee Related CN101867713B (zh) 2006-08-02 2007-08-02 图像拍摄设备和方法、及表情评价设备
CN2007101380440A Expired - Fee Related CN101163199B (zh) 2006-08-02 2007-08-02 图像拍摄设备和方法、及表情评价设备

Country Status (5)

Country Link
US (6) US8416996B2 (zh)
JP (1) JP4197019B2 (zh)
KR (1) KR101401165B1 (zh)
CN (4) CN101877766B (zh)
TW (1) TW200828993A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094590A (zh) * 2012-02-06 2014-10-08 高通股份有限公司 用于无人值守图像俘获的方法及设备
CN111294507A (zh) * 2018-12-07 2020-06-16 瑞萨电子株式会社 拍摄控制装置、拍摄系统和拍摄控制方法

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7945653B2 (en) * 2006-10-11 2011-05-17 Facebook, Inc. Tagging digital media
JP4197019B2 (ja) 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
US8977631B2 (en) 2007-04-16 2015-03-10 Ebay Inc. Visualization of reputation ratings
JP4865631B2 (ja) * 2007-05-11 2012-02-01 オリンパス株式会社 撮像装置
JP4453721B2 (ja) * 2007-06-13 2010-04-21 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
US8041076B1 (en) * 2007-08-09 2011-10-18 Adobe Systems Incorporated Generation and usage of attractiveness scores
JP5144422B2 (ja) * 2007-09-28 2013-02-13 富士フイルム株式会社 撮影装置及び撮影方法
JP5169139B2 (ja) * 2007-10-25 2013-03-27 株式会社ニコン カメラ、および画像記録プログラム
JP2012165407A (ja) * 2007-12-28 2012-08-30 Casio Comput Co Ltd 撮像装置及びプログラム
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
JP5040734B2 (ja) * 2008-03-05 2012-10-03 ソニー株式会社 画像処理装置、画像記録方法およびプログラム
JP2009223524A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
JP4508257B2 (ja) 2008-03-19 2010-07-21 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP2009237611A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 対象画像からの顔領域の検出
JP5493284B2 (ja) * 2008-03-31 2014-05-14 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5004876B2 (ja) * 2008-06-03 2012-08-22 キヤノン株式会社 撮像装置
US8477207B2 (en) 2008-06-06 2013-07-02 Sony Corporation Image capturing apparatus, image capturing method, and computer program
JP5251547B2 (ja) 2008-06-06 2013-07-31 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
US20090324022A1 (en) * 2008-06-25 2009-12-31 Sony Ericsson Mobile Communications Ab Method and Apparatus for Tagging Images and Providing Notifications When Images are Tagged
JP5136245B2 (ja) * 2008-07-04 2013-02-06 カシオ計算機株式会社 画像合成装置、画像合成プログラム及び画像合成方法
JP5482654B2 (ja) * 2008-07-17 2014-05-07 日本電気株式会社 撮像装置、撮像方法及びプログラム
JP5072757B2 (ja) * 2008-07-24 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5195120B2 (ja) * 2008-07-25 2013-05-08 株式会社ニコン デジタルカメラ
JP5386880B2 (ja) * 2008-08-04 2014-01-15 日本電気株式会社 撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体
JP4849106B2 (ja) * 2008-08-28 2012-01-11 ソニー株式会社 画像認識方法、画像認識装置、および画像入出力装置
KR20100027700A (ko) * 2008-09-03 2010-03-11 삼성디지털이미징 주식회사 촬영 방법 및 장치
JP4720880B2 (ja) 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4702418B2 (ja) * 2008-09-09 2011-06-15 カシオ計算機株式会社 撮影装置、画像領域の存否判定方法及びプログラム
JP4561914B2 (ja) * 2008-09-22 2010-10-13 ソニー株式会社 操作入力装置、操作入力方法、プログラム
WO2010044214A1 (ja) * 2008-10-14 2010-04-22 パナソニック株式会社 顔認識装置および顔認識方法
KR20100056280A (ko) * 2008-11-19 2010-05-27 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP4927808B2 (ja) 2008-11-26 2012-05-09 京セラ株式会社 カメラ付き機器
JP4659088B2 (ja) * 2008-12-22 2011-03-30 京セラ株式会社 カメラ付き携帯端末
JP5407338B2 (ja) * 2009-01-07 2014-02-05 カシオ計算機株式会社 撮像装置及びコンピュータプログラム
JP4770929B2 (ja) * 2009-01-14 2011-09-14 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム。
JP2010176224A (ja) * 2009-01-27 2010-08-12 Nikon Corp 画像処理装置およびデジタルカメラ
JP5293223B2 (ja) * 2009-01-27 2013-09-18 株式会社ニコン デジタルカメラ
JP5359318B2 (ja) * 2009-01-29 2013-12-04 株式会社ニコン デジタルカメラ
US8125557B2 (en) * 2009-02-08 2012-02-28 Mediatek Inc. Image evaluation method, image capturing method and digital camera thereof for evaluating and capturing images according to composition of the images
JP5304294B2 (ja) * 2009-02-10 2013-10-02 株式会社ニコン 電子スチルカメラ
KR101559583B1 (ko) * 2009-02-16 2015-10-12 엘지전자 주식회사 이미지 데이터 처리 방법 및 이를 적용한 카메라가 부착된 휴대용 전자 장치
JP5272797B2 (ja) * 2009-02-24 2013-08-28 株式会社ニコン デジタルカメラ
US20120071785A1 (en) * 2009-02-27 2012-03-22 Forbes David L Methods and systems for assessing psychological characteristics
US9603564B2 (en) * 2009-02-27 2017-03-28 The Forbes Consulting Group, Llc Methods and systems for assessing psychological characteristics
US9558499B2 (en) * 2009-02-27 2017-01-31 The Forbes Consulting Group, Llc Methods and systems for assessing psychological characteristics
US20100225773A1 (en) * 2009-03-09 2010-09-09 Apple Inc. Systems and methods for centering a photograph without viewing a preview of the photograph
JP2010226558A (ja) * 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
KR101665130B1 (ko) * 2009-07-15 2016-10-25 삼성전자주식회사 복수의 인물에 대한 이미지 생성 장치 및 방법
KR101661211B1 (ko) * 2009-08-05 2016-10-10 삼성전자주식회사 얼굴 인식률 개선 장치 및 방법
JP5431083B2 (ja) * 2009-09-16 2014-03-05 オリンパスイメージング株式会社 撮影装置および撮影装置の制御方法
CN102088539B (zh) * 2009-12-08 2015-06-03 浪潮乐金数字移动通信有限公司 一种预拍照画质评价方法和系统
US10356465B2 (en) * 2010-01-06 2019-07-16 Sony Corporation Video system demonstration
JP5234833B2 (ja) * 2010-01-19 2013-07-10 日本電信電話株式会社 表情識別器作成装置，表情識別器作成方法，表情認識装置，表情認識方法およびそれらのプログラム
JP4873086B2 (ja) * 2010-02-23 2012-02-08 カシオ計算機株式会社 撮像装置及びプログラム
US9767470B2 (en) 2010-02-26 2017-09-19 Forbes Consulting Group, Llc Emotional survey
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
JP5577793B2 (ja) 2010-03-30 2014-08-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8503722B2 (en) * 2010-04-01 2013-08-06 Broadcom Corporation Method and system for determining how to handle processing of an image based on motion
JP2011234002A (ja) * 2010-04-26 2011-11-17 Kyocera Corp 撮像装置及び端末装置
JP5264831B2 (ja) * 2010-06-21 2013-08-14 シャープ株式会社 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP2012010162A (ja) * 2010-06-25 2012-01-12 Kyocera Corp カメラ装置
JP5577900B2 (ja) * 2010-07-05 2014-08-27 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
KR101755598B1 (ko) * 2010-10-27 2017-07-07 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US20120105663A1 (en) * 2010-11-01 2012-05-03 Cazier Robert P Haptic Feedback Response
JP5762730B2 (ja) * 2010-12-09 2015-08-12 パナソニック株式会社 人検出装置および人検出方法
US9848106B2 (en) * 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
JP5779938B2 (ja) * 2011-03-29 2015-09-16 ソニー株式会社 プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム
US20120281874A1 (en) * 2011-05-05 2012-11-08 Lure Yuan-Ming F Method, material, and apparatus to improve acquisition of human frontal face images using image template
JP2013021434A (ja) * 2011-07-08 2013-01-31 Nec Saitama Ltd 撮像装置、撮像制御方法、及びプログラム
JP2013128183A (ja) * 2011-12-16 2013-06-27 Samsung Electronics Co Ltd 撮像装置及び撮像方法
KR101231469B1 (ko) * 2012-02-23 2013-02-07 인텔 코오퍼레이션 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN103813076B (zh) * 2012-11-12 2018-03-27 联想(北京)有限公司 信息处理的方法及电子设备
US20140153900A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. Video processing apparatus and method
US9008429B2 (en) * 2013-02-01 2015-04-14 Xerox Corporation Label-embedding for text recognition
US20140242560A1 (en) * 2013-02-15 2014-08-28 Emotient Facial expression training using feedback from automatic facial expression recognition
JP6369909B2 (ja) * 2013-04-02 2018-08-08 Ｎｅｃソリューションイノベータ株式会社 顔表情採点装置、ダンス採点装置、カラオケ装置、およびゲーム装置
JP5711296B2 (ja) * 2013-05-07 2015-04-30 オリンパス株式会社 撮像方法及び撮像装置
CN104346601B (zh) * 2013-07-26 2018-09-18 佳能株式会社 对象识别方法和设备
WO2015017868A1 (en) * 2013-08-02 2015-02-05 Emotient Filter and shutter based on image emotion content
WO2015038144A1 (en) * 2013-09-13 2015-03-19 Intel Corporation Processing of images of a subject individual
JP6180285B2 (ja) * 2013-11-06 2017-08-16 キヤノン株式会社 撮像装置、撮像方法、及びプログラム
WO2015115203A1 (ja) * 2014-01-28 2015-08-06 ソニー株式会社 撮影装置、撮影方法、及び、プログラム
USD760261S1 (en) * 2014-06-27 2016-06-28 Opower, Inc. Display screen of a communications terminal with graphical user interface
US9571725B2 (en) * 2014-09-02 2017-02-14 Htc Corporation Electronic device and image capture method thereof
JP6428066B2 (ja) * 2014-09-05 2018-11-28 オムロン株式会社 採点装置及び採点方法
CN105488516A (zh) * 2014-10-08 2016-04-13 中兴通讯股份有限公司 一种图像处理方法及装置
US9473687B2 (en) 2014-12-23 2016-10-18 Ebay Inc. Modifying image parameters using wearable device input
US9715622B2 (en) 2014-12-30 2017-07-25 Cognizant Technology Solutions India Pvt. Ltd. System and method for predicting neurological disorders
US9626594B2 (en) 2015-01-21 2017-04-18 Xerox Corporation Method and system to perform text-to-image queries with wildcards
TWI658315B (zh) * 2015-01-26 2019-05-01 鴻海精密工業股份有限公司 拍照系統及方法
US11049119B2 (en) 2015-06-19 2021-06-29 Wild Blue Technologies. Inc. Apparatus and method for dispensing a product in response to detection of a selected facial expression
WO2017018012A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
US20170053190A1 (en) * 2015-08-20 2017-02-23 Elwha Llc Detecting and classifying people observing a person
US10534955B2 (en) * 2016-01-22 2020-01-14 Dreamworks Animation L.L.C. Facial capture analysis and training system
JP6778006B2 (ja) * 2016-03-31 2020-10-28 株式会社 資生堂 情報処理装置、プログラム及び情報処理システム
EP3229429B1 (en) * 2016-04-08 2021-03-03 Institut Mines-Télécom Methods and devices for symbols detection in multi antenna systems
USD859452S1 (en) * 2016-07-18 2019-09-10 Emojot, Inc. Display screen for media players with graphical user interface
US10282599B2 (en) * 2016-07-20 2019-05-07 International Business Machines Corporation Video sentiment analysis tool for video messaging
JP6697356B2 (ja) * 2016-09-13 2020-05-20 Kddi株式会社 所定対象のうちの特定対象における状態を識別する装置、プログラム及び方法
JP6587995B2 (ja) 2016-09-16 2019-10-09 富士フイルム株式会社 画像表示制御システム，画像表示制御方法および画像表示制御プログラム
CN106419336B (zh) * 2016-09-29 2017-11-28 浙江农林大学 一种led心情显示与激励智能镜子及其使用方法
DE112016007416T5 (de) * 2016-11-07 2019-07-25 Motorola Solutions, Inc. Wächtersystem in einem Netzwerk zur Verbesserung der Situationserkennung bei einem Vorfall
WO2018084726A1 (en) * 2016-11-07 2018-05-11 Motorola Solutions, Inc. Guardian system in a network to improve situational awareness of a crowd at an incident
WO2018165912A1 (en) * 2017-03-15 2018-09-20 SZ DJI Technology Co., Ltd. Imaging method and imaging control apparatus
CN107301390A (zh) * 2017-06-16 2017-10-27 广东欧珀移动通信有限公司 拍摄提示方法、装置及终端设备
US10475222B2 (en) * 2017-09-05 2019-11-12 Adobe Inc. Automatic creation of a group shot image from a short video clip using intelligent select and merge
JP6821528B2 (ja) 2017-09-05 2021-01-27 本田技研工業株式会社 評価装置、評価方法、ノイズ除去装置、およびプログラム
US11048745B2 (en) 2018-06-22 2021-06-29 International Business Machines Corporation Cognitively identifying favorable photograph qualities
US10972656B2 (en) 2018-06-22 2021-04-06 International Business Machines Corporation Cognitively coaching a subject of a photograph
US11403509B2 (en) 2018-10-08 2022-08-02 Google Llc Systems and methods for providing feedback for artificial intelligence-based image capture devices
KR20200040625A (ko) 2018-10-10 2020-04-20 삼성전자주식회사 사용자의 발화를 처리하는 사용자 단말 및 그 제어 방법
JP7527769B2 (ja) * 2019-09-30 2024-08-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7156242B2 (ja) * 2019-10-18 2022-10-19 トヨタ自動車株式会社 情報処理装置、プログラム及び制御方法
US11388334B2 (en) 2020-05-22 2022-07-12 Qualcomm Incorporated Automatic camera guidance and settings adjustment
CN112843731B (zh) * 2020-12-31 2023-05-12 上海米哈游天命科技有限公司 一种拍摄方法、装置、设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659624A (en) * 1995-09-01 1997-08-19 Fazzari; Rodney J. High speed mass flow food sorting appartus for optically inspecting and sorting bulk food products
JP2001043345A (ja) * 1999-07-28 2001-02-16 Mitsubishi Electric Corp 表情認識装置、およびそれを用いた投薬制御システム、覚醒レベル評価システム、回復評価システム
TW546874B (en) * 2000-10-11 2003-08-11 Sony Corp Robot apparatus and its control method with a function of preventing an image from being stolen
JP2003219218A (ja) 2002-01-23 2003-07-31 Fuji Photo Film Co Ltd デジタルカメラ
JP4139942B2 (ja) 2002-02-01 2008-08-27 富士フイルム株式会社 発光体付きカメラ
EP1359536A3 (en) * 2002-04-27 2005-03-23 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
JP2004046591A (ja) 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP4292837B2 (ja) * 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置
WO2004055715A1 (en) * 2002-12-13 2004-07-01 Koninklijke Philips Electronics N.V. Expression invariant face recognition
JP2004294498A (ja) 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
EP2955662B1 (en) 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP4517633B2 (ja) 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
KR100543707B1 (ko) * 2003-12-04 2006-01-20 삼성전자주식회사 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치
JP4254529B2 (ja) * 2003-12-25 2009-04-15 カシオ計算機株式会社 モニタ付き撮像機器
JP2005242567A (ja) * 2004-02-25 2005-09-08 Canon Inc 動作評価装置及び方法
WO2006040761A2 (en) * 2004-10-15 2006-04-20 Oren Halpern A system and a method for improving the captured images of digital still cameras
CN1328908C (zh) * 2004-11-15 2007-07-25 北京中星微电子有限公司 一种视频通信的方法
KR100718124B1 (ko) * 2005-02-04 2007-05-15 삼성전자주식회사 카메라의 움직임을 표현하는 방법 및 장치
US7667736B2 (en) * 2005-02-11 2010-02-23 Hewlett-Packard Development Company, L.P. Optimized string table loading during imaging device initialization
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
JP4197019B2 (ja) 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094590A (zh) * 2012-02-06 2014-10-08 高通股份有限公司 用于无人值守图像俘获的方法及设备
CN104094590B (zh) * 2012-02-06 2019-08-23 高通股份有限公司 用于无人值守图像俘获的方法及设备
CN111294507A (zh) * 2018-12-07 2020-06-16 瑞萨电子株式会社 拍摄控制装置、拍摄系统和拍摄控制方法

Also Published As

Publication number Publication date
CN101163199B (zh) 2012-06-13
US8238618B2 (en) 2012-08-07
US8260012B2 (en) 2012-09-04
US20110216218A1 (en) 2011-09-08
US20110216943A1 (en) 2011-09-08
US20080037841A1 (en) 2008-02-14
CN101163199A (zh) 2008-04-16
TW200828993A (en) 2008-07-01
CN101877766B (zh) 2013-03-13
CN101867713B (zh) 2013-03-13
US8260041B2 (en) 2012-09-04
US8416999B2 (en) 2013-04-09
US20110216216A1 (en) 2011-09-08
TWI343208B (zh) 2011-06-01
US8406485B2 (en) 2013-03-26
JP4197019B2 (ja) 2008-12-17
US20110216217A1 (en) 2011-09-08
US8416996B2 (en) 2013-04-09
CN101877766A (zh) 2010-11-03
US20110216942A1 (en) 2011-09-08
CN101867712B (zh) 2013-03-13
CN101867713A (zh) 2010-10-20
JP2008042319A (ja) 2008-02-21
KR101401165B1 (ko) 2014-05-29
KR20080012231A (ko) 2008-02-11

Similar Documents

Publication Publication Date Title
CN101877766B (zh) 图像拍摄设备和方法、及表情评价设备
JP4315234B2 (ja) 撮像装置および表情評価装置
EP1855459B1 (en) Apparatus and method for photographing a business card in a portable terminal
CN104702826B (zh) 摄像设备及其控制方法
US20050200722A1 (en) Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
CN101325658B (zh) 成像设备和成像方法
CN101753822B (zh) 摄像装置和摄像装置中的图像处理方法
EP2339536B1 (en) Image processing system, image processing apparatus, image processing method, and program
US20100189358A1 (en) Facial expression recognition apparatus and method, and image capturing apparatus
US8760551B2 (en) Systems and methods for image capturing based on user interest
US20090141937A1 (en) Subject Extracting Method, Subject Tracking Method, Image Synthesizing Method, Computer Program for Extracting Subject, Computer Program for Tracking Subject, Computer Program for Synthesizing Images, Subject Extracting Device, Subject Tracking Device, and Image Synthesizing Device
JP5106355B2 (ja) 表情判定装置、その制御方法、撮像装置及びプログラム
JP2008278467A (ja) 画像処理装置および画像処理方法
US20130235228A1 (en) Image processing apparatus and method, and program
US20100027957A1 (en) Motion Picture Reproduction Apparatus
Rahman Real-time face-priority auto-focus and adaptive auto-exposure for digital and cell-phone cameras
JP2006109141A (ja) 電子カメラ
JP2009302835A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130313

CF01 Termination of patent right due to non-payment of annual fee