CN101175187B - 图像存储设备、成像设备以及图像存储方法 - Google Patents

图像存储设备、成像设备以及图像存储方法 Download PDF

Info

Publication number
CN101175187B
CN101175187B CN2007101656925A CN200710165692A CN101175187B CN 101175187 B CN101175187 B CN 101175187B CN 2007101656925 A CN2007101656925 A CN 2007101656925A CN 200710165692 A CN200710165692 A CN 200710165692A CN 101175187 B CN101175187 B CN 101175187B
Authority
CN
China
Prior art keywords
image
facial expression
face
facial
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101656925A
Other languages
English (en)
Other versions
CN101175187A (zh
Inventor
辻村贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101175187A publication Critical patent/CN101175187A/zh
Application granted granted Critical
Publication of CN101175187B publication Critical patent/CN101175187B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

一种图像存储设备包括：面部表情相关性估计器，用于估计表示面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性，面部图像包括在时变化图像数据中；面部表情估计器，用于基于面部表情相关性的转变，通过估计来检测面部图像中的面部表情和预定参考面部表情在预定期间内具有预定相关关系的情况；以及图像存储控制器，用于执行控制，使得从检测开始的预定期间内的图像数据被保持在图像数据存储单元中。

Description

图像存储设备、成像设备以及图像存储方法
相关申请的交叉参考
本发明包含于2006年10月31日向日本专利局提交的日本专利申请第2006-295027号的主题，其全部内容结合于此作为参考。
技术领域
本发明涉及图像存储设备。更具体地，本发明涉及其上记录有目标图像的图像存储设备、用于对目标进行成像的成像设备、用于图像存储设备或成像设备的处理方法以及用于使计算机执行该处理方法的程序。
背景技术
近年来，随着面部识别技术和面部表情识别技术的发展，已经可以识别目标是人脸还是一种人脸的面部表情。这里，面部识别是指确定目标的图像数据是否与包括眼睛、鼻子、嘴巴等的面部图像数据相匹配。面部表情识别是指分析与表示诸如笑脸、哭脸、或怒脸的面部表情的图像数据相匹配的程度。面部识别和面部表情识别通过计算机预先假定处理，并且还被用在成像设备中。
例如，通过在日本未审查专利公开申请第2001-51338号中披露的像机(图1)，当在预定方向上观看面部时，可以识别目标的面部方向，并记录目标的图像数据。
发明内容
然而，根据相关技术，从目标的图像数据与特定面部表情的图像数据相匹配的时间点处开始图像记录。因此，面部表情的匹配定时与记录的结束定时不同。即，成像定时被延迟，使得没有记录用户所期望的面部表情。因此，大概很难记录诸如大笑的瞬时面部表情的图像。
期望可以估计时变图像数据的改变并记录用户想要的图像。
根据本发明的实施例，提供了一种图像存储设备，包括：面部表情相关性估计装置，用于估计表示面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性，该面部图像包括在时变图像数据中；面部表情估计装置，用于通过基于面部表情相关性的转变进行估计，来检测面部图像中的面部表情和预定参考面部表情在预定期间内具有预定相关关系的情况；以及图像存储控制装置，用于执行控制，使得在图像数据存储装置中保留从进行检测开始的预定期间内的图像数据。因此，在图像存储设备中，基于面部图像的面部表情相关性的转变估计预定期间内面部表情的改变，并基于估计在图像数据存储装置中保存预定期间内的图像数据。
在图像存储设备中，当面部表情相关性超过预定程度时，面部表情估计装置可检测到面部图像中的面部表情和预定参考面部表情具有预定的相关关系。在这种情况下，基于面部表情相关性关于预定程度的转变来估计面部表情。
可选地，在图像存储设备中，当面部表情相关性的改变梯度超过预定值并且面部表情相关性超过预定程度时，面部表情估计装置可检测到面部图像中的面部表情和预定参考面部表情具有预定的相关关系。在这种情况下，基于面部表情相关性关于预定程度和改变梯度的转变来估计面部表情。
在图像存储设备中，图像存储控制装置可使从进行检测开始的预定期间内的图像数据存储在图像数据存储装置中。因此，基于面部表情估计将预定期间内的图像数据存储在图像数据存储装置中。
此外，在图像存储设备中，图像存储控制装置可使图像数据存储装置执行更新，使得存储新的图像数据，并在从进行检测开始经过预定期间之后使图像数据存储装置停止更新。在这种情况下，控制图像数据的存储，使得在顺序存储新的图像数据并废除最先前的图像数据的处理中，更新图像数据存储装置中的图像数据，并在预定期间后停止更新。
此外，在图像存储设备中，图像存储控制装置可执行控制，使得从进行检测开始在预定期间内的多个图像数据被保留在图像数据存储装置中。在这种情况下，基于面部表情估计，在图像数据存储装置中保留预定期间内的多个图像数据。
图像存储设备可进一步包括用于将图像数据存储为运动图片数据的运动图片数据存储装置，并且图像存储控制装置可使从进行检测开始的预定期间内的图像数据从运动图片数据存储装置保存到图像数据存储装置。在这种情况下，虽然将图像数据存储为运动图片数据，但基于面部表情估计，将预定期间内的运动图片数据从运动图片数据存储装置保存到图像数据存储装置。
根据本发明的另一个实施例，提供了一种图像存储设备，包括：面部图像检测装置，用于检测包括在时变图像数据中的面部图像；面部表情相关性估计装置，用于估计表示检测的面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性；面部表情估计装置，用于通过基于面部表情相关性的转变进行估计，来检测期望面部图像中的面部表情和预定参考面部表情在预定期间内具有预定相关关系的情况；以及图像存储控制装置，用于执行控制，使得在图像数据存储装置中保留从进行检测开始的预定期间内的图像数据。因此，在图像存储设备中，基于所检测的面部图像的面部表情相关性的转变估计预定期间内面部表情的改变，并基于估计在图像数据存储装置中保存预定期间内的图像数据。
根据本发明的另一个实施例，提供了一种图像存储设备，包括：面部图像检测装置，用于检测包括在时变图像数据中的多个面部图像；面部准确度评估装置，用于评估所检测的多个面部图像的面部准确度；面部表情相关性估计装置，用于估计表示预定参考面部表情和在多个面部图像的面部准确度中具有最高面部准确度的面部图像中的面部表情之间的相关程度的面部表情相关性；面部表情估计装置，用于通过基于面部表情相关性的转变进行估计，来检测期望预定参考面部表情和具有最高面部准确度的面部图像中的面部表情在预定期间内具有预定相关关系的情况；以及图像存储控制装置，用于执行控制，使得在图像数据存储装置中保留从进行检测开始的预定期间内的图像数据。因此，在图像存储设备中，基于具有最高面部准确度的面部图像的面部表情相关性的转变来估计预定期间内面部表情的改变，并基于估计在图像数据存储装置中保留预定期间内的图像数据。
根据本发明的另一个实施例，提供了一种图像存储设备，包括：面部图像检测装置，用于检测包括在时变图像数据中的多个面部勾像；选择接收装置，用于接收所检测的多个面部图像中将被用于估计的面部图像的选择；面部表情相关性估计装置，用于估计表示所选择的面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性；面部表情估计装置，用于通过基于面部表情相关性的转变进行估计，来检测期望所选择的面部图像中的面部表情和预定参考面部表情在预定期间内具有预定相关关系的情况；以及图像存储控制装置，用于执行控制，使得在图像数据存储装置中保留从进行检测开始的预定期间内的图像数据。因此，在图像存储设备中，基于所选择的面部图像的面部表情相关的转变来估计预定期间中面部表情的改变，并基于估计在图像数据存储装置中保留预定期间内的图像数据。
根据本发明的另一个实施例，提供了一种成像设备，包括：成像装置，用于对时变目标进行成像并输出相应的图像数据；面部表情相关性估计装置，用于估计表示包括在图像数据中的面部图像的面部表情和预定参考面部表情之间的相关程度的面部表情相关性；面部表情估计装置，用于通过基于面部表情相关性的转变进行估计，检测面部图像中的面部表情和预定参考面部表情在预定期间内具有预定相关关系的情况；以及图像存储控制装置，用于执行控制，使得在图像数据存储装置中保留从进行检测开始在预定期间内的图像数据。因此，在图像存储设备中，基于所拍摄的面部图像的面部表情相关性的转变来估计预定期间内面部表情的改变，并基于估计在图像数据存储装置中保留预定期间内的图像数据。
根据本发明的这些实施例，可以有利地估计时变图像数据中的改变并记录用户想要的图像。
附图说明
图1是示出根据本发明实施例的成像设备的功能结构实例的示图；
图2是示出实施例中面部检测器的功能结构实例的示图；
图3是示出实施例中面部表情检测器的功能结构实例的示图；
图4是示出该实施例中显示的屏幕实例的示图；
图5是示出该实施例中显示的屏幕的另一实例的示图；
图6是示出该实施例中显示的屏幕的又一实例的示图；
图7是示出该实施例中面部表情相关性的转变实例的示图；
图8是示出该实施例中表示面部表情相关性的时间变化的曲线实例的曲线图；
图9是示出该实施例中表示面部表情相关性的时间变化的曲线的另一实例的曲线图；
图10是示出根据实施例修改的图像存储设备的实例的示图；
图11是示出通过根据实施例的成像设备的计算机执行的处理(主程序)的实例的流程图；
图12是示出该实施例中面部检测过程的流程图；
图13是示出该实施例中目标选择过程的流程图；
图14是示出该实施例中面部表情检测和评估过程的流程图；
图15是示出该实施例中成像处理过程的流程图；
图16是示出该实施例中规则成像过程的流程图；
图17是示出该实施例中成像和保存过程的流程图；以及
图18是示出通过根据实施例修改的图像存储设备的计算机执行的处理(主程序)的实例的流程图。
具体实施方式
接下来，将参照附图详细描述本发明的实施例。
图1是示出根据本发明实施例的成像设备100的功能结构实例的示图。成像设备100包括成像单元110、信号处理器120、总线130、图像存储单元140、控制器150、数据存储器160、用户界面170、图像压缩扩展器180、图像保存单元190、面部检测器200、面部准确度评估器290、面部表情检测器300、以及面部表情估计器390。
成像单元110拍摄目标图像并输出相应的图像数据。成像单元110包括光学系统111和成像元件112。光学系统111包括诸如聚焦透镜和变焦透镜的透镜组，使得由目标反射的光线穿过透镜组。已经穿过透镜组的入射光到达成像元件112。入射光在成像元件112上形成图像，并且成像元件112将图像转换成电信号。将电信号输出至信号处理器120。
信号处理器120对从成像元件112输出的电信号执行各种类型的信号处理，并将得到的图像数据提供给成像设备100的各个部件。例如，在信号处理器120中执行的信号处理包括降噪、水平校正、模数(A/D)转换、以及颜色校正。更具体地，将图像数据提供给图像存储单元140、面部检测器200、用户界面170、以及图像压缩扩展器180。根据从控制器150提供的控制信号控制在信号处理器120中执行的处理。
总线130是用于图像数据传输的共享传输路径。总线130将信号处理器120、图像存储单元140、图像压缩扩展器180、面部检测器200、以及面部表情检测器300互相连接。
图像存储单元140存储被成像设备100处理的图像数据。可经由总线130从信号处理器120、图像压缩扩展器180、面部检测器200、面部表情检测器300、以及用户界面170访问存储在图像存储单元140中的图像数据。
图像压缩扩展器180对从成像设备100的部件提供的图像数据进行压缩并将压缩图像数据提供给图像保存单元190，以及扩展从图像保存单元190提供的图像数据并将扩展图像数据提供给成像设备100的部件。例如，图像压缩扩展器180的压缩可以是JPEG(联合图像专家组)压缩。
图像保存单元190保存从图像压缩扩展器180提供的压缩图像数据。可通过图像压缩扩展器180扩展保存在图像保存单元190中的压缩图像数据。
面部检测器200根据图像数据检测面部图像。面部检测器200从信号处理器120、图像存储单元140、或图像压缩扩展器180接收将从中检测面部图像的图像数据。在检测面部图像的过程中，面部检测器200基于包括在图像数据中的面部图像的估计元素(例如，大小、坐标值、匹配程度、正面度、及垂直度)的组合通过综合观点来估计面部准确度。通过从控制器150提供的系数将估计元素加权。通过面部检测器200所估计的面部准确度被提供至控制器150。
面部准确度评估器290评估通过面部检测器200计算的面部准确度。通过面部准确度的评估，确定例如哪个面部图像具有最高面部准确度。面部准确度评估器290从控制器150接收将被评估的面部准确度，并将面部准确度的评估结果提供给控制器150。
用户界面170用作成像设备100的用户的界面。用户界面170包括显示器171和选择接收单元172。
显示器171显示与从信号处理器120或图像压缩扩展器180提供的图像数据相对应的图像。此外，根据面部准确度评估器290的评估结果，显示器171以叠加在面部图像上的方式显示表示面部图像位置的框。例如，当存在多个面部图像时，显示器171显示具有最高面部准确度的面部图像的框，使得该框在视觉上被加亮，同时正常显示其它框。
选择接收单元172从显示在显示器171上的面部图像接收表示面部图像的用户选择的指示输入。例如，当多个图像被显示在显示器171上时，用户可通过移动叠加框来选择任意一个面部图像。将选择结果提供给控制器150。
面部表情检测器300基于从图像存储单元140提供的图像数据(面部图像已被检测的图像数据)来检测面部表情。通过从控制器150提供的面部表情类型指定信息来指定将被检测的面部表情的类型。下面的描述处理将“笑”指定为面部表情类型指定信息的实例。面部表情检测器300将面部图像与“笑”的参考数据(参考面部表情)进行比较，以估计表示与参考面部表情的相关程度的面部表情相关性。即，面部表情相关性随着面部图像变得与参考面部表情更加相似而增大。将通过面部表情检测器300估计的面部表情相关性提供给控制器150。
面部表情估计器390基于通过面部表情检测器300估计的面部表情相关性来估计面部表情的时间变化。基于面部表情相关性的转变，面部表情估计器390估计图像数据中面部图像的面部表情和参考面部表情是否达到在预定期间内具有特定相关程度。例如，面部表情估计器390将面部表情相关性与参考面部表情阈值进行比较，如果面部表情相关性超过参考面部表情阈值，则确定图像数据中面部图像的面部表情在预定期间内变得接近于参考面部表情。
可选地，如果时间变化前后的面部表情相关性之间的差超过参考面部表情差并且面部表情相关性超过参考面部表情阈值，则面部表情估计器390可确定图像数据中面部图像的面部表情在预定期间内接近于参考面部表情。
面部表情估计器390从控制器150接收用于面部表情估计的面部表情相关性、参考面部表情阈值、以及参考面部表情差，并将上述面部表情估计的结果提供给控制器150。
控制器150控制通过成像设备100中的成像单元110、信号处理器120、图像压缩扩展器180、面部检测器200、面部表情检测器300、面部准确度评估器290、以及面部表情估计器390执行的处理。为了这种控制，焦距值和光圈值、数据输出目的地、压缩/扩展率、用于计算面部准确度的加权系数(面部检测参数)、面部表情类型指定信息(面部表情检测参数)、将被评估的图像数据、以及将被估计的面部图像被分别用作将在成像设备100中的成像单元110、信号处理器120、图像压缩扩展器180、面部检测器200、面部表情检测器300、面部准确度评估器290、以及面部表情估计器390中被处理的参数或数据。因此，控制器150将这些参数提供给上述部件。
首先，控制器150控制成像单元110的成像。更具体地，控制器150控制光学系统111的光圈和焦距。此外，控制器150控制由信号处理器120执行的信号处理，并指示图像信号的输出目的地。
此外，控制器150控制面部检测器200的检测和面部表情检测器300的检测。为了这些检测，用于计算面部准确度的加权系数和面部表情类型指定信息被用作检测参数。因此，控制器150将用于计算面部准确度的加权系数提供给面部检测器200，并将面部表情类型指定信息提供给面部表情检测器300。此外，控制器150指示面部检测器200和面部表情检测器300的检测的开始和停止。控制器150从面部检测器200和面部表情检测器300接收表示检测结果的数据。对于检测结果数据，控制器150将来自面部检测器200的面部检测结果数据(面部准确度)提供给面部准确度评估器290，并将来自面部表情检测器300的面部表情检测结果数据(面部表情相关性)提供给面部表情估计器390。
此外，控制器150控制通过图像压缩扩展器180执行的保存在图像保存单元190中的图像数据的压缩和扩展。
数据存储器160保持用在成像设备100中的各种类型的数据。保持在数据存储器160中的数据可被大致分类为检测结果数据和设置参数。检测结果数据包括面部准确度161和面部表情相关性162。设置参数包括面部检测模式163、参考差164、参考阈值165、连拍(rapid-fire shooting)间隔166、及最大数167。
面部准确度161是用于保持包括在图像数据中的面部图像的面部准确度的区域。通过面部检测器200计算面部准确度的值。
面部表情相关性162是用于保持与包括在图像数据中的各个面部图像相关的面部表情相关性的区域。通过利用面部表情检测器300估计与参考面部表情的相关程度来获得面部表情相关性的值。
面部检测模式163是用于保持表示是否将执行面部检测的面部检测模式标记的区域。当面部检测模式标记表示将执行面部检测时，根据图像数据检测面部图像。
参考差164是用于保持由用户设置的用作参考的差的区域。将参考差与面部表情相关性的时间变化前后的面部表情相关性之间的差进行比较。参考差被称作通过面部表情估计器390执行的处理。
参考阈值165是用于保持由用户设置的用作基准的阈值的区域。将阈值与面部表情相关性进行比较，并被用在通过面部表情估计器390执行的处理中，以检测与参考数据的相关性是否很高。
连拍间隔166是用于保持在连拍模式下拍摄定时与下一个拍摄定时之间的时间间隔设置的区域。
最大数167是用于保持由用户设置的作为在连拍模式中拍摄的最大图片数的值的区域。
图2是示出该实施例中的面部检测器200的功能结构实例的示图。面部检测器200包括图像信号输入单元210、图像放大/缩小单元220、图像存储器230、参考数据存储器240、估计器250、图像信号输出单元260、控制器270、以及检测结果输出单元280。
图像信号输入单元210接收由成像设备100的部件提供(输入)的图像数据，并将图像数据提供给图像放大/缩小单元220。更具体地，图像信号输入单元210从信号处理器120、图像压缩扩展器180、以及图像存储单元140接收图像数据。
图像放大/缩小单元220放大或缩小与从图像信号输入单元210提供的图像数据相对应的图像。图像放大/缩小单元220执行放大或缩小，使得包括在图像数据中的各种大小的面部图像被放大或缩小至预定大小。图像放大/缩小单元220从控制器270接收用于放大或缩小的放大率或缩小率的值。将已经经受图像放大/缩小单元220的放大或缩小的图像数据提供给图像存储器230。
图像存储器230临时保持从图像放大/缩小单元220提供的图像数据。图像存储器230从控制器270接收图像数据将被保持在图像存储器230中的地址。将保持在图像存储器230中的图像数据提供给估计器250和图像信号输入单元260。
参考数据存储器240预先保持面部参考数据，并将面部参考数据提供给估计器250。面部参考数据用于估计器250执行的面部准确度的估计。面部参考数据的面部大小被固定，使得当估计面部准确度时，从将与面部参考数据进行比较的图像数据中提取出与面部参考数据的面部大小相对应的图像数据。
估计器250基于从图像存储器230提供的图像数据估计面部准确度。为了面部准确度的估计，使用面部参考数据和用于计算面部准确度的加权系数。因此，估计器250分别从参考数据存储器240和控制器270接收面部参考数据和加权系数。估计器250从提供至其的图像数据中提取出预定大小的图像数据，使得图像数据的面部大小与面部参考数据的面部大小一致。
现在，将描述面部准确度的估计。通过使用估计元素组合的综合观点来估计面部准确度。例如，估计元素包括大小、坐标值、匹配程度、正面度、以及垂直度。大小元素表示图像数据的整个区域中面部区域的大小。随着大小的相对增加，面部准确度相对增大。坐标值元素表示图像数据的整个区域中面部的坐标值。随着由坐标值表示的位置更加接近中心，面部准确度相对增大。匹配程度元素表示关于面部参考数据确定的面部相似性。随着匹配程度的相对增加，面部准确度相对增大。正面度元素表示关于面部参考数据确定的面部正面度。随着面部的方向更加向前，正面度相对增大，并且面部准确度也相应地相对增大。垂直度元素表示关于面部参考数据确定的面部的垂直度。随着倾斜更接近于零，垂直度相对增大，并且面部准确度也相应地相对增大。通过将这些元素乘以加权系数并将结果相加，可如期地执行面部检测：
面部准确度
＝(面积权重)×(面部区域大小值)
+(坐标权重)×(面部区域的坐标值)
+(匹配权重)×(匹配程度值)
+(正面度权重)×(正面度的值)
+(垂直度权重)×(垂直度的值)
由控制器270提供用于各个估计元素的加权系数。将通过估计器250计算的面部准确度提供给检测结果输出单元280。
图像信号输出单元260接收从图像存储器230提供的图像数据，并将图像数据提供(输出)给图像存储单元140。类似于估计器250，当提供图像数据时，图像信号输出单元260提取出预定大小的图像数据。
控制器270控制由面部检测器200中的图像放大/缩小单元220、图像存储器230、以及估计器250执行的处理。为了这种控制，在图像放大/缩小单元220、图像存储器230、以及估计器250中分别使用放大/缩小率、存储地址、以及用于计算面部准确度的加权系数。因此，控制器270将这些参数提供给上述部件。控制器270从成像设备100的控制器150接收用于计算面部准确度的加权系数。
检测结果输出单元280接收从估计器250提供的面部准确度，并将面部准确度提供(输出)至成像设备100的控制器150。面部准确度被保持在面部准确度161中。
图3是示出该实施例中的面部表情检测器300的功能结构实例的示图。面部表情检测器300包括图像信号输入单元310、图像放大/缩小单元320、图像存储器330、参考数据存储器340、估计器350、图像信号输出单元360、控制器370、及检测结果输出单元380。
图像信号输入单元310接收由成像设备100的部件提供(输入)的图像数据，并将图像数据提供给图像放大/缩小单元320。更具体地，图像信号输入单元310从信号处理器120、图像压缩扩展器180、以及图像存储单元140接收图像数据。
图像放大/缩小单元320放大或缩小与从图像信号输入单元310提供的图像数据相对应的图像。图像放大/缩小单元320执行放大或缩小，使得包括在图像数据中的各种大小的面部图像被放大或缩小至预定大小。图像放大/缩小单元320从控制器370接收用于放大或缩小的放大率或缩小率的值。将已经经受图像放大/缩小单元320的放大或缩小的图像数据提供给图像存储器330。
图像存储器330临时保持从图像放大/缩小单元320提供的图像数据。图像存储器330从控制器370接收图像数据将被保持在图像存储器330中的地址。将保持在图像存储器330中的图像数据提供给估计器350和图像信号输出单元360。
参考数据存储器340预先保持面部表情参考数据(参考面部表情)，并将面部表情参考数据提供给估计器350。面部表情参考数据被用于估计器350的面部表情相关性的估计。为每种面部表情类型提供参考面部表情数据。面部表情参考数据的面部大小被固定，使得当估计面部表情相关性时，从将与面部表情参考数据进行比较的图像数据中提取出与面部表情参考数据的面部大小相对应的图像数据。
估计器350基于从图像存储器330提供的图像数据估计面部表情相关性。为了面部表情相关性的估计，使用面部表情参考数据和面部表情类型指定信息。因此，估计器350分别从参考数据存储器340和控制器370接收这些参数。估计器350从提供至其的图像数据中提取出预定大小的图像数据，使得图像数据的面部大小与面部表情参考数据的面部大小一致。
现在，将描述面部表情相关性的估计。在面部表情相关性的估计中，根据由面部表情类型指定信息指定的面部表情类型(例如，“笑”)，将图像数据中的面部图像与面部表情参考数据(例如，“笑”参考数据)进行比较，以估计与参考面部表情的相关程度作为面部表情相关性。即，随着面部图像变得与面部表情参考数据更加相似，面部表情相关性增大。从控制器370提供用于估计面部表情相关性的面部表情类型指定信息。将通过估计器350估计的面部表情相关性提供给检测结果输出单元380。
图像信号输出单元360接收从图像存储器330提供的图像数据，并将图像数据提供(输出)至图像存储单元140。类似于估计器350，当提供图像数据时，图像信号输出单元360提取出预定大小的图像数据。
控制器370控制由面部表情检测器300中的图像放大/缩小单元320、图像存储器330、以及估计器350执行的处理。为了这个控制，在图像放大/缩小单元320、图像存储器330、以及估计器350中分别使用放大/缩小率、存储地址、以及面部表情类型指定信息。因此，控制器370将这些参数提供至上述部件。控制器370从成像设备100的控制器150中接收面部表情类型指定信息。
检测结果输出单元380接收从估计器350提供的面部表情相关性，并将面部表情相关性提供(输出)至成像设备100的控制器150。面部表情相关性被保持在面部表情相关性162中。
图4是示出在该实施例中显示的屏幕实例的示图。通过成像设备100的用户界面170中的显示器171为用户提供屏幕。参照图4，根据面部准确度评估器290的评估结果，框被叠加在三个人物的面部图像上。更具体地，具有面部准确度的最高评估的面部图像的框视觉上被加亮，而正常显示其它框。通过基于估计元素(例如，大小、坐标值、匹配程度、正面度、及垂直度)的组合的综合观点来估计面部准确度，使得面部准确度可被各个元素的权重所影响。然而，可根据通过选择接收单元172的用户选择改变哪个框被加亮。屏幕包括左侧人物401、正常框402、中间人物403、加亮框404、右侧人物405、以及正常框406。
左侧人物401位于显示区的左部，并且其脸部朝向侧向。正常框402被叠加在左侧人物401的面部图像上。正常框402表示左侧人物401的面部图像不是三个人物中具有面部准确度的最高评估的面部图像。
中间人物403位于显示区的中间部分，并且其脸部朝向前方。加亮框404被叠加在中间人物403的面部图像上。加亮框404表示中间人物403的面部图像是三个人物中具有面部准确度的最高评估的面部图像。
右侧人物405位于显示区的右部，并且其脸部倾斜。正常框406被叠加在右侧人物405的面部图像上。正常框406表示右侧人物405的面部图像不是三个人中具有面部准确度的最高评估的面部图像。
图5是示出在该实施例中显示的屏幕的另一个实例的示图。通过成像设备100的用户界面170中的显示器171为用户提供屏幕。参照图5，类似于图4所示的屏幕，根据面部准确度评估器290的评估结果，框被叠加在三个人物的面部图像上。更具体地，具有面部准确度的最高评估的面部图像的框视觉上被加亮，而正常显示其它框。然而，根据通过选择接收单元172的用户选择，可将加亮框移动至正常框的位置。屏幕包括左侧人物411、加亮框412、中间人物413、正常框414、右侧人物415、以及正常框416。
在图5中，显示出元素加权的效果。更具体地，在面部准确度的估计中，尽管面部准确度随着由面部图像的坐标值表示的位置变得更接近于中心而相对增大，但是可通过将很小的值设置为坐标值的加权系数来增大其它面部的面部准确度。
左侧人物411位于显示区的左部，并且其脸部朝向前方。加亮框412被叠加在左侧人物411的面部图像上。加亮框412表示左侧人物411的面部图像是三个人中具有面部准确度的最高评估的面部图像。
中间人物413位于显示区的中间部分，并且其脸部朝向侧向。正常框414被叠加在中间人物413的面部图像上。正常框414表示中间人物413的面部图像不是三个人中具有面部准确度的最高评估的面部图像。
右侧人物415位于显示区的右部，并且其脸部倾斜。正常框416被叠加在右侧人物415的面部图像上。正常框416表示右侧人物415的面部图像不是三个人中具有面部准确度的最高评估的面部图像。
图6是示出在该实施例中显示的屏幕的又一实例的示图。通过成像设备100的用户界面170中的显示器171为用户提供屏幕。参照图6，类似于图4和5所示的屏幕，根据面部准确度评估器290的评估结果，框被叠加在大量人物的面部图像上。更具体地，具有面部准确度的最高评估的面部图像的框视觉上被加亮，而正常显示其它框。然而，根据通过选择接收单元172的用户选择，可将加亮框移动至正常框的位置。屏幕包括特定人物421和加亮框422。
在图6中，显示出加亮框的移动效果。更具体地，尽管面部准确度随着由面部图像的坐标值表示的位置变得更接近于中心而相对增大(忽略其它元素的效果并假设用于各个元素的加权系数相等)，但是下面的描述“特定人物421的面部图像在显示区的人物中具有面部准确度的最高评估”表示已被叠加在中间人物的面部图像上的加亮框422已经根据用户的选择被移动至特定人物421的面部图像。
特定人物421位于显示区的下部。加亮框422被叠加在特定人物421上。加亮框422表示特定人物421的面部图像在显示区的人物中具有面部准确度的最高评估。
图7是示出该实施例中面部表情相关性转变430的实例的示图。面部表情相关性转变430示出在面部表情类型指定信息指定“笑”的情况下面部表情和面部表情相关性的改变的三个阶段。面部表形相关性转变包括(a)严肃面部、(b)微笑面部、以及(c)笑面部。
严肃面部(a)表示面部表情将被确定的面部。严肃面部(a)的数据与“笑”的面部表情参考数据不同，使得面部表情相关性较低。
微笑面部(b)表示面部表情将被确定的面部。微笑面部(b)的数据更接近于“笑”的面部表情参考数据，使得面部表情相关性较高。
笑面部(c)表示面部表情将被确定的面部。笑面部(c)的数据与“笑”的面部表情参考数据匹配，使得面部表情相关性显示出最大值。
图8是示出该实施例中表示面部表情相关性的时间变化的曲线实例的曲线图。在面部表情相关性的时间变化的该实例中，示出了连拍指示的定时和连拍的时间间隔。水平轴表示时间T，其中，由t1～t5定义的时间间隔恒定。垂直轴表示面部表情相关性，其被表示为评估值E。此外，在垂直轴上，示出了评估阈值Eth和评估差ΔE。评估阈值Eth被用作估计面部表情的参考值。评估值e1、e4、和e5对应于图7中的严肃面部(a)、微笑面部(b)、以及笑面部(c)。
现在，将基于这条曲线描述从面部表情的估计至图像存储的流程。在时间t1～t5处分别由白点表示的评估值e1～e5被用作用于估计面部表情的数据。时间t1处的评估值e1改变至时间t2处的评估值e2，然后改变至时间t3处的评估值e3。在这个改变期间，检测出超过评估阈值Eth的评估值，并且以检测作为触发，在时间t3处发布连拍指示。连拍指示命令图像的连续存储。根据连拍指示，存储表示时间t4和时间t5附近的面部表情的图像。由黑点表示图像被存储的定时。在该实例中，可被存储的最大图像数的设置为三个。在成像设备100的图像存储单元140中存储图像。
可选地，可通过检测时间t1处的评估值e1和时间t2处的评估值e2之间的差超过评估差ΔE并且时间t3处的评估值e3超过评估阈值Eth的情况来触发用于连拍的指示。在这种情况下，可将评估阈值Eth选择为相对小的值。
图9示出该实施例中表示面部表情相关性的时间变化的曲线的另一个实例的曲线图。在该实例中，示出了用于停止更新的指示的定时和连拍的时间间隔。曲线图中的符号和轴名与图8相同。
类似于参照图8所描述的情况来执行根据该曲线图的面部表情的估计，但是存储图像的方法不同。参照图9，从时间t1之前的定时开始规则地存储图像，并且当存储图像的数量已经达到成像设备100的图像存储单元140的最大存储容量时，执行控制，使得从最先存储的图像开始顺序废除图像并保留最近的图像。该控制被称作图像更新。参照图9，作为图8所示连拍指示的对应，在时间t3处发布停止图像更新的指示，使得根据停止指示保持表示时间t3之后面部表情的图像。由黑点表示图像被存储的定时。在该实例中，图像存储单元140的最大存储容量对应于三段图像数据。
图10是示出作为该实施例的修改实例的图像存储设备600的示图。图像存储设备600包括像机单元610、存储单元620、处理单元630、控制器640、以及用户界面650。
像机单元610拍摄目标图像并生成相应的运动图片数据。像机单元610包括变焦透镜611、光阑612、图像传感器613、以及A/D转换器614。变焦透镜611是用于拍摄目标图像的透镜组。变焦透镜611根据从控制器640提供的控制信号，通过改变透镜之间的距离来连续改变其焦点深度(focal depth)。从目标反射的光通过透镜组。类似于变焦透镜611，光阑612根据从控制器640提供的控制信号调节通过变焦透镜611的光量。图像传感器613使已经通过变焦透镜611和光阑612的入射光在其上形成图像，并输出目标图像作为运动图片数据。A/D转换器614将由图像传感器613提供的运动图片数据从模拟信号转换成数字信号。将通过像机单元610生成的运动图片数据提供给存储单元620。
存储单元620接收从像机单元610提供的运动图片数据，并根据从控制器640提供的控制信号临时存储运动图片数据。存储单元620包括接点621、存储器622、以及切换接点623。通过控制器640控制接点621和切换接点623的打开和闭合，使得通过切换接点623将由像机单元610提供的运动图片数据提供给处理单元630。此外，当闭合接点621时，由像机单元610提供的运动图片数据被临时存储在存储器622中，随后被提供给处理单元630。
接点621是根据从控制器640提供的控制信号而打开或闭合的电接点。当接点621闭合时，运动图片数据被提供给存储器622。切换接点623是根据从控制器640提供的控制信号而被切换的电接点。通过切换接点623的切换，从存储器622提供的运动图片数据或从A/D转换器614提供的运动图片数据都被提供给处理单元630。
根据从控制器640提供的用于运动图片记录或静止图片记录的控制信号，处理单元630对从存储单元620提供的运动图片数据执行用于运动图片记录的图像处理或用于静止图片记录的图像处理，并相应地将得到的图像数据记录为运动图片或静止图片。不同时执行用于运动图片记录的图像处理和用于静止图片记录的图像处理，而是只执行其中的一种。现在，将描述在处理单元630中从用于运动图片记录的图像处理向用于静止图片记录的图像处理的切换实例。
当响应于开始运动图片记录的用户指示开始了运动图片的记录时，将从像机单元610输出的运动图片数据从切换接点623提供至处理单元630，而不通过存储单元620的存储器622。随后，处理单元630对运动图片数据执行用于运动图片记录的图像处理。在用于运动图片记录的图像处理的同时，处理单元630执行面部检测和面部表情检测以估计面部表情。如果通过估计确定面部表情变得更接近于参考面部表情，则处理单元630将表示估计结果的信息提供给控制器640。因此，控制器640控制存储单元620，使得接点621闭合。因此，从像机单元610提供的运动图片数据被临时存储在存储器622中。
此外，当响应于用于停止运动图片记录的用户指示停止了运动图片的记录时，将从面部表情的估计至运动图片记录结束期间内存储在存储器622中的运动图片数据提供给处理单元630。处理单元630对从存储单元620的存储器622提供的运动图片数据执行用于静止图片记录的图像处理，并将得到的数据记录为静止图片。通过控制器640彼此独立地控制接点621和切换接点623的打开或闭合。例如，基于开始运动图片记录后的面部表情的估计来闭合接点621，并将其在运动图片记录结束后打开。根据在开始运动图片记录时以及在停止运动图片记录期间存储器622中运动图片数据的存在和不存在来切换切换接点623。
处理单元630包括像机信号处理电路635、运动图片记录单元631、以及静止图片记录单元632。像机信号处理电路635包括面部检测器200、面部准确度评估器290、面部表情检测器300、以及面部表情估计器390。
像机信号处理单元635对从存储单元620提供的运动图片数据执行伽马校正、自动增益控制(AGC)等，并且还执行预定的运动图片编码(例如，MPEG(运动图片专家组)编码)。因此，例如，运动图片数据被编码成与数字视频(DV)标准兼容的格式。这就是用于运动图片记录的图像处理，并且将经过编码的运动图片数据提供给运动图片记录单元631。可选地，代替上述处理，像机信号处理电路635对从存储单元620提供的运动图片数据执行伽马校正、自动增益控制等，并且还执行预定的静止图片编码。此外，像机信号处理电路635执行压缩，使得例如运动图片数据被编码成与JPEG(联合图片专家组)标准兼容的格式。这就是用于静止图片记录的图像处理，并且将经过编码的静止图片数据提供给静止图片记录单元632。
运动图片记录单元631是专用于编码运动图片数据的存储介质。静止图片记录单元632是专用于编码静止图片数据的存储介质。例如，这些介质为存储磁带、数字通用盘(DVDs)、或硬盘。
用户界面650为图像存储设备600的用户提供界面。用户界面650将来自用户的指示提供给控制器640，并为用户展示与从处理单元630提供的运动图片数据相对应的图像。用户界面650包括静止图片记录按钮651、运动图片记录开始/停止按钮652、效果选择按钮653、变焦开关654、图像质量设置按钮655、以及液晶面板656。
当用户发布用于记录静止图片的指示时，操作静止图片记录按钮651。例如，在记录运动图片期间按下静止图片记录按钮651时，在处理单元630中用于运动图片记录的处理的同时，将所拍摄的图像数据临时存储在存储单元620的存储器622中。当用于运动图片记录的处理停止时，对临时存储在存储器622中的图像数据执行静止图片记录的处理。
当用户发布用于开始或停止用于运动图片记录的图像处理的指示时，操作运动图片记录开始/停止按钮652。当首先按下运动图片记录开始/停止按钮652时，开始用于运动图片记录的处理，并且当下一次按下运动图片记录开始/停止按钮652时，停止运动图片记录。
当用户发布改变效果的请求时，操作效果选择按钮653被。这里，效果是指诸如“油画感觉”或“旧照片感觉”的图像显示效果。
当用户发布用于改变焦点深度的指示时，操作变焦开关654。用户可通过按下变焦开关654如所期望地改变变焦透镜611的焦点深度。
当用户发布用于设置图像质量等级的请求时，操作图像质量设置按钮655。例如，用户了通过按下图像质量设置按钮655在高质量、中质量、以及低质量中设置所期望的图像质量。
液晶面板656是液晶显示器的显示部。液晶面板656为用户展示所显示的图像。例如，在记录运动图片期间，液晶面板656显示正在被记录的运动图片。
控制器640控制存储单元620和处理单元630中的处理。控制器640包括微型计算机641、透镜驱动器642、以及陀螺传感器643。微型计算机641是包括中央处理单元和存储单元的小数据处理设备。微型计算机641自动执行数据的输入、计算、处理、以及输出。透镜驱动器642是控制变焦透镜611和光阑612的软件。陀螺传感器643测量成像期间的抖动。
控制器640控制像机单元610的成像。更具体地，控制器640改变变焦透镜611的焦点深度，以改变全景到近景范围内的成像区，并调节光阑612，以限制成像期间的入射光量。此外，控制器640控制存储单元620的存储。更具体地，控制器640通过打开或闭合接点621和切换接点623来控制是否将从像机单元610提供的运动图片数据存储在存储器622中。
此外，控制器640控制处理单元630对运动图片数据的处理。更具体地，控制器640将定义用于运动图片记录或静止图片记录的图像处理的参数提供给处理单元630。随后，控制器640根据面部表情估计器390的面部表情估计结果控制存储单元620。因此，闭合接点621，使得从像机单元610提供的运动图片数据被存储在存储器622中。
此外，控制器640根据用户界面650的操作接收指示，并根据这些指示控制像机单元610、存储单元620、以及处理单元630。例如，当操作变焦开关654时，控制器640控制像机单元610，使得焦点深度被改变。当操作静止图片记录按钮651时，控制器640控制存储单元620，使得运动图片数据被临时存储，并将用于静止图片记录的图像处理参数提供给处理单元630。
控制器640基于来自陀螺传感器643的输入检测成像期间的像机抖动量。例如，像机抖动量用于计算适当校正已经由于像机抖动而偏移的目标位置的校正量。
图11是示出通过该实施例中的成像设备100的计算机执行的处理(主程序)的实例的流程图。首先，检查当前的操作模式是否是面部检测模式(步骤S901)。如果当前的操作模式为面部检测模式，则执行面部检测(步骤S910)。如果当前的操作模式不是面部检测模式，则退出处理。在完成面部检测(步骤S910)后，检查面部是否已经被检测(步骤S902)。如果面部已经被检测，则执行目标选择(步骤S920)和面部表情评估(步骤S930)。随后，退出处理。如果确定没有检测到面部(步骤S902)，则立刻退出处理。
图12是示出该实施例中的面部检测(步骤S910)过程的流程图。这是由成像设备100执行的处理(主程序)中所执行的子程序。
首先，从图像存储单元140获取用作面部检测目标的图像数据(步骤S911)。随后，执行放大或缩小，使得将图像数据中各种大小的面部图像放大或缩小至预定大小(步骤S912)。随后，提取预定大小的图像数据，使得图像数据的面部大小与面部参考数据的面部大小相匹配(步骤S913)。
然后，从面部检测器200的参考数据存储器240获取面部参考数据(步骤S914)。基于上述面部参考数据和图像数据估计面部准确度，并将估计结果提供给数据存储器160的面部准确度161(步骤S915)。
图13是示出在该实施例中执行的目标选择(步骤S920)过程的流程图。这是在由成像设备100执行的处理(主程序)中所执行的子程序。
首先，基于从数据存储器160的面部准确度161获取的面部准确度的估计结果，对每段图像数据执行面部准确度的评估(步骤S921)，并将评估结果提供给控制器150。这里，评估是指面部准确度的评估，例如，表示哪个面部图像具有最高面部准确度。根据评估结果，将评估结果叠加在显示在显示器171的图像数据的面部图像上(步骤S922)。例如，当存在多个面部图像时，具有面部准确度的最高评估的面部图像框视觉上被加亮，而正常显示其它框。此外，用户可根据用户判断通过移动叠加框来选择任意一个面部。
更具体地，检查用于移动框的指示是否已被发布至选择接收单元172(步骤S923)。当已经发布用于移动框的指示时，选择由指示指定的面部(步骤S924)。另一方面，当用于移动框的指示没有被发布至选择接收单元172时，根据评估结果选择特定面部(步骤S925)。例如，特定面部是具有最高面部准确度的面部，即，具有视觉加亮叠加框的面部图像(步骤S922)。
图14是示该实施例中面部表情检测和评估(步骤S930)过程的流程图。这是由成像设备100执行的处理(主程序)中所执行的子程序。
首先，从图像存储单元140获取用作面部表情检测目标的图像数据(步骤S931)。随后，执行放大或缩小，使得图像数据中各种大小的面部图像被放大或缩小至预定大小(步骤S932)。然后，提取预定大小的图像数据，使得图像数据的面部大小与面部表情参考数据的面部大小相匹配(步骤S933)。
随后，从面部表情检测器300的参考数据存储器340获取面部表情的参考数据(参考面部表情)(步骤S934)。基于上述参考面部表情和图像数据估计用于指定面部表情类型(例如，“笑”)的面部表情相关性，并将估计结果(面部表情相关性)提供给数据存储器160的面部表情相关性162(步骤S935)。
然后，计算在图像数据时间改变前后的面部表情相关性的差(步骤S936)。随后，参考数据存储器160的参考差164中的参考差(步骤S937)，并检查面部表情相关性的差和参考差之间的关系(步骤S938)。如果面部表情相关性的差超过参考差，则参照参考阈值(步骤S939)。另一方面，如果面部表情相关性的差没有超过参考差，则程序立刻返回主程序。
在参考数据存储器160的参考阈值165中的参考阈值(步骤S939)之后，检查面部表情相关性和参考阈值之间的关系(步骤S941)。如果面部表情相关性超过参考阈值，则成像处理(步骤S950)被进一步称作子程序。另一方面，如果面部表情相关性没有超过参考阈值，则程序立刻返回主程序。
图15是示出该实施例中的成像处理(步骤S950)过程的流程图。这是由成像设备100执行的处理(主程序)中所执行的子程序。
首先，复位计算所拍摄图片数的图片计数器(步骤S951)。随后，参照数据存储器160的连拍间隔166，并等待成像定时直至连拍间隔过去(步骤S952)。在连拍间隔过去之后，发布用于成像控制的指示(步骤S953)。这里，成像控制是指通过信号处理器120将从成像单元110输出的图像数据存储图像存储单元140中。在成像控制后，对所拍摄的图片数进行计数(步骤S954)。
然后，参照数据存储器160的最大数167，并检查所拍摄的图片数和最大数之间的关系(步骤S955)。如果所拍摄的图片数超过最大数，则将根据上述成像控制指示(步骤S953)存储在图像存储单元140中的图像数据提供给图像压缩扩展器180，图像数据在其中被压缩(步骤S956)。
作为所拍摄的图片数和最大数之间关系的检查结果，如果所拍摄的图片数没有超过最大数(步骤S955)，则程序立刻返回到上述等待成像定时的状态(步骤S952)。
在图像数据压缩(步骤S956)后，压缩图像数据被提供并保存在图像保存单元190中(步骤S957)。
图16是示出该实施例中的常规成像(步骤S960)过程的流程图。这是单独于由成像设备100执行的处理(主程序)所执行的循环。
首先，参考数据存储器160的连拍间隔166，并等待成像定时直至连拍间隔过去(步骤S961)。在连拍间隔过去之后，发布用于成像控制的指示(步骤S962)。用于成像控制的指示类似于图15中用于成像控制的指示(步骤S953)。如上所述，更新通过常规成像(步骤S960)而存储在图像存储单元140中的图像数据。更具体地，当图像数据的总数已达到图像存储单元140的最大存储容量时，从最先存储的图像中顺序删除图像，并保留最近的图像。图17是示出该实施例中成像和保存过程的流程图。这是由成像设备100执行的处理(主程序)中的图15所示成像处理(步骤S950)的部分修改。用作处理目标的图像数据是通过图16所示的常规成像(步骤S960)而存储在图像存储单元140中的图像数据。
首先，发布用于停止成像设备100的图像存储单元140中的图像更新的指示(步骤S971)。因此，用户想要的图像数据被保留在图像存储单元140中。随后，将保留在图像存储单元140中的图像数据提供给图像压缩扩展器180，图像数据在其中被压缩(步骤S972)。将压缩图像数据提供并保存在图像保存单元190中(步骤S973)。
图18是示出根据实施例的修改由图像存储设备600的计算机所执行的处理(主程序)实例的流程图。
首先，控制图像存储设备600的像机单元610(步骤S981)，使得例如改变变焦透镜611的焦点深度，并且使得限制进入光阑612的光量。随后，检查对用户界面650的运动图片记录开始/停止按钮652的用户指示(步骤S982)。如果没有检测到指示，则用户没有指示开始或停止。另一方面，如果检测到指示，则用户指示开始或停止。如果没有检测到指示，则估计面部表情(步骤S983)。面部表情估计确定运动图片数据中的面部表情是否在预定期间内变得类似于参考面部表情。
如果在面部表情估计(步骤S983)中确定面部表情变得类似于参考面部表情，则检查运动图片记录操作是否被执行(步骤S984)。如果确定没有执行运动图片记录操作，则将运动图片数据记录为静止图片(步骤S985)。更具体地，将通过像机单元610生成的运动图片数据提供给处理单元630，而没有被存储在存储单元620的存储器622中。随后，处理单元630对运动图片数据执行用于静止图片记录的图像处理，并将得到的数据记录为静止图片(步骤S985)。另一方面，如果确定执行了运动图片记录操作(步骤S984)，则执行运动图片数据的存储(步骤S986)。更具体地，将通过像机单元610生成的运动图片数据临时存储在存储器622中。
如果在面部表情估计(步骤S983)中确定面部表情没有变得接近于参考面部表情，则立刻对像机单元610执行控制(步骤S981)。
如果确定用户已经对运动图片记录开始/停止按钮652发布了用于开始或停止的指示(步骤S982)，则检查运动图片记录操作是否被执行(步骤S987)。如果确定没有执行运动图片记录操作，则开始运动图片数据的运动图片记录(步骤S988)。更具体地，将通过像机单元610生成的运动图片数据提供给处理单元630，而没有存储在存储单元620的存储器622中。然后，处理单元630对运动图片数据执行用于运动图片记录的图像处理，并开始将得到的数据记录为运动图片。另一方面，如果确定执行了运动图片记录操作(步骤S987)，则处理单元630停止运动图片记录(步骤S989)。随后，暂停运动图片记录。
当暂停运动图片记录时，检查是否已将由像机单元610生成的运动图片数据存储在存储器622中(步骤S991)。如果已经完成运动图片数据的存储，则处理单元630保存并记录静止图片(步骤S992)。更具体地，将存储在存储器622中的运动图片数据提供给处理单元630。随后，处理单元630对运动图片数据执行用于静止图片记录的图像处理，并将所得到的数据记录为静止图片。
如上所述，根据实施例，成像设备100可估计图像数据中的面部表情和参考面部表情是否在预定期间内具有预定相关关系。因此，可以基于估计存储包括与参考面部表情最接近的面部表情的图像数据。
即，可以估计图像数据的时间变化，并记录用户想要的图像。
尽管在检测图像数据的面部表情改变的实例的上下文中描述了实施例，但是不限于面部表情，例如，可检测人体轮廓的改变。
如上所述，根据实施例，对于图像数据中的面部表情，面部表情检测器300估计面部表情相关性，面部表情估计器390估计面部表情相关性和参考面部表情是否在预定期间内达到具有预定相关关系，并基于估计在图像存储单元140中存储预定期间内的图像数据。因此，用户可记录想要的图像数据。
上述实施例仅为实现本发明的实例，并且实施例的部件对应于如下所述的权利要求中的元件。然而，在不背离本发明精神的情况下，可以没有限制地构想各种修改。
例如，权利要求中的面部表情相关性估计装置对应于面部表情检测器300。例如，权利要求中的面部表情估计装置对应于面部表情估计器390。例如，权利要求中的图像数据存储装置对应于图像存储单元140。例如，权利要求中的图像存储控制装置对应于控制器150。
例如，权利要求中的运动图片数据存储装置对应于存储器622。
例如，权利要求中的面部图像检测装置对应于面部检测器200。
例如，权利要求中的面部准确度评估装置对应于面部准确度评估器290。
例如，权利要求中的选择接收装置对应于选择接收单元172。
例如，权利要求中的成像装置对应于成像单元110。
例如，权利要求中估计面部表情相关性对应于步骤S935。例如，权利要求中估计面部表情对应于步骤S938或步骤S938和S941。例如，权利要求中控制图像存储对应于步骤S935或步骤S962和S971。
上述实施例中的处理过程可被认为是包括一系列过程的方法、使计算机执行一系列过程的程序、或在其上记录有程序的记录介质。

Claims (12)

1.一种图像存储设备，包括：
面部表情相关性估计装置，用于估计表示面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性，所述面部图像包括在时变图像数据中；
面部表情估计装置，用于通过基于所述面部表情相关性的转变进行估计，来检测所述面部图像中的所述面部表情和所述预定参考面部表情在预定期间内具有预定相关关系的情况；以及
图像存储控制装置，用于执行控制，使得从进行所述检测开始的所述预定期间内的所述图像数据被保留在图像数据存储装置中。
2.根据权利要求1所述的图像存储设备，
其中，当所述面部表情相关性超过预定程度时，所述面部表情估计装置检测出所述面部图像中的所述面部表情和所述预定参考面部表情具有所述预定相关关系。
3.根据权利要求1所述的图像存储设备，
其中，当所述面部表情相关性的改变梯度超过预定值并且所述面部表情相关性超过预定程度时，所述面部表情估计装置检测出所述面部图像中的所述面部表情和所述预定参考面部表情具有所述预定相关关系。
4.根据权利要求1所述的图像存储设备，
其中，所述图像存储控制装置使从进行所述检测开始的所述预定期间内的所述图像数据存储在所述图像数据存储装置中。
5.根据权利要求1所述的图像存储设备，
其中，所述图像存储控制装置使所述图像数据存储装置执行更新，从而存储新的图像数据，并在从进行所述检测开始经过所述预定期间之后，使所述图像数据存储装置停止更新。
6.根据权利要求1所述的图像存储设备，
其中，所述图像存储控制装置执行控制，使得从进行所述检测开始的所述预定期间内的多个所述图像数据被保留在所述图像数据存储装置中。
7.根据权利要求1所述的图像存储设备，进一步包括：
运动图片数据存储装置，用于将所述图像数据存储为运动图片数据，
其中，所述图像存储控制装置使从进行所述检测开始的所述预定期间内的所述图像数据从所述运动图片数据存储装置保存至所述图像数据存储装置。
8.一种图像存储设备，包括：
面部图像检测装置，用于检测包括在时变图像数据中的面部图像；
面部表情相关性估计装置，用于估计表示所检测的面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性；
面部表情估计装置，用于通过基于所述面部表情相关性的转变进行估计，来检测所述面部图像中的所述面部表情和所述预定参考面部表情在预定期间内具有预定相关关系的情况；以及
图像存储控制装置，用于执行控制，使得从进行所述检测开始的所述预定期间中的所述图像数据被保留在图像数据存储装置中。
9.一种图像存储设备，包括：
面部图像检测装置，用于检测包括在时变图像数据中的多个面部图像；
面部准确度评估装置，用于评估所检测的多个面部图像的面部准确度；
面部表情相关性估计装置，用于估计表示预定参考面部表情和在所述多个面部图像的所述面部准确度中具有最高面部准确度的面部图像中的面部表情之间的相关程度的面部表情相关性；
面部表情估计装置，用于通过基于所述面部表情相关性的转变进行估计，来检测所述预定参考面部表情和具有所述最高面部准确度的所述面部图像中的所述面部表情在预定期间内具有预定相关关系的情况；以及
图像存储控制装置，用于执行控制，使得从进行所述检测开始的所述预定期间内的所述图像数据被保留在图像数据存储装置中。
10.一种图像存储设备，包括：
面部图像检测装置，用于检测包括在时变图像数据中的多个面部图像；
选择接收装置，用于接收对所检测的多个面部图像中将被用于估计的面部图像的选择；
面部表情相关性估计装置，用于估计表示所选择的面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性；
面部表情估计装置，用于通过基于所述面部表情相关性的转变进行估计，来检测所选择的面部图像中的所述面部表情和所述预定参考面部表情在预定期间内具有预定相关关系的情况；以及
图像存储控制装置，用于执行控制，使得从进行检测开始的所述预定期间中的所述图像数据被保留在图像数据存储装置中。
11.一种成像设备，包括：
成像装置，用于对时变目标进行成像并输出相应的图像数据；
面部表情相关性估计装置，用于估计表示包括在所述图像数据中的面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性；
面部表情估计装置，用于通过基于所述面部表情相关性的转变进行估计，来检测所述面部图像中的所述面部表情和所述预定参考面部表情在预定期间内具有预定相关关系的情况；以及
图像存储控制装置，用于执行控制，使得从进行所述检测开始的所述预定期间内的所述图像数据被保留在图像数据存储装置中。
12.一种图像存储方法，包括以下步骤：
估计表示面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性，所述面部图像包括在时变图像数据中；
通过基于所述面部表情相关性的转变进行估计，来检测所述面部图像中的所述面部表情和所述预定参考面部表情在预定期间内具有预定相关关系的情况；以及
执行控制，使得从所述检测开始的所述预定期间内的所述图像数据被保留在图像数据存储装置中。
CN2007101656925A 2006-10-31 2007-10-31 图像存储设备、成像设备以及图像存储方法 Expired - Fee Related CN101175187B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006295027A JP4240108B2 (ja) 2006-10-31 2006-10-31 画像記憶装置、撮像装置、画像記憶方法およびプログラム
JP2006-295027 2006-10-31
JP2006295027 2006-10-31

Publications (2)

Publication Number Publication Date
CN101175187A CN101175187A (zh) 2008-05-07
CN101175187B true CN101175187B (zh) 2010-04-21

Family

ID=39204721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101656925A Expired - Fee Related CN101175187B (zh) 2006-10-31 2007-10-31 图像存储设备、成像设备以及图像存储方法

Country Status (6)

Country Link
US (1) US8254639B2 (zh)
EP (1) EP1921498B1 (zh)
JP (1) JP4240108B2 (zh)
KR (1) KR101354311B1 (zh)
CN (1) CN101175187B (zh)
TW (1) TWI362886B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
JP4720810B2 (ja) 2007-09-28 2011-07-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US8237742B2 (en) 2008-06-12 2012-08-07 International Business Machines Corporation Simulation method and system
JP2009302835A (ja) * 2008-06-12 2009-12-24 Sony Corp 画像処理装置および画像処理方法
US8259992B2 (en) 2008-06-13 2012-09-04 International Business Machines Corporation Multiple audio/video data stream simulation method and system
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP5107806B2 (ja) * 2008-06-23 2012-12-26 オリンパスイメージング株式会社 画像処理装置
JP5164692B2 (ja) * 2008-06-27 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP5157704B2 (ja) * 2008-07-17 2013-03-06 株式会社ニコン 電子スチルカメラ
US20100045821A1 (en) * 2008-08-21 2010-02-25 Nxp B.V. Digital camera including a triggering device and method for triggering storage of images in a digital camera
JP2010147808A (ja) 2008-12-18 2010-07-01 Olympus Imaging Corp 撮像装置および撮像装置における画像処理方法
TWI407429B (zh) * 2009-01-05 2013-09-01 Arcsoft Hangzhou Co Ltd 影像縮放裝置及影像縮放方法
JP5173858B2 (ja) * 2009-01-14 2013-04-03 キヤノン株式会社 動画像処理装置、動画像処理方法、プログラム及び記憶媒体
JP4770929B2 (ja) 2009-01-14 2011-09-14 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム。
JP5294318B2 (ja) * 2009-01-21 2013-09-18 任天堂株式会社 情報処理プログラムおよび情報処理装置
JP4748244B2 (ja) * 2009-03-31 2011-08-17 カシオ計算機株式会社 画像選択装置、画像選択方法及びプログラム
US8452599B2 (en) * 2009-06-10 2013-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for extracting messages
US8743269B2 (en) 2009-06-15 2014-06-03 Olympus Imaging Corp. Photographing device, photographing method, and playback method
US8269616B2 (en) * 2009-07-16 2012-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for detecting gaps between objects
KR101615719B1 (ko) 2009-09-18 2016-04-27 삼성전자주식회사 사용자의 3차원 얼굴 표정 추출 방법 및 장치
US8337160B2 (en) * 2009-10-19 2012-12-25 Toyota Motor Engineering & Manufacturing North America, Inc. High efficiency turbine system
CN102598653B (zh) * 2009-11-02 2015-08-05 日本电气株式会社 移动通信设备和拍摄方法
US8237792B2 (en) * 2009-12-18 2012-08-07 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for describing and organizing image data
TWI447658B (zh) 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
US8424621B2 (en) 2010-07-23 2013-04-23 Toyota Motor Engineering & Manufacturing North America, Inc. Omni traction wheel system and methods of operating the same
JP2012027687A (ja) * 2010-07-23 2012-02-09 Casio Comput Co Ltd 画像処理装置及びプログラム
JP5631106B2 (ja) 2010-08-18 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
US20120076368A1 (en) * 2010-09-27 2012-03-29 David Staudacher Face identification based on facial feature changes
KR101217611B1 (ko) * 2011-01-31 2013-01-02 국방과학연구소 부 영상 기반의 영상등록 방법 및 이를 이용한 침입영상 탐지 방법
JP5953658B2 (ja) * 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
JP6369909B2 (ja) * 2013-04-02 2018-08-08 Ｎｅｃソリューションイノベータ株式会社 顔表情採点装置、ダンス採点装置、カラオケ装置、およびゲーム装置
JP6166981B2 (ja) * 2013-08-09 2017-07-19 日本放送協会 表情解析装置及び表情解析プログラム
JP6369073B2 (ja) * 2014-03-20 2018-08-08 フリュー株式会社 管理サーバ、写真シール作成装置、画像管理システム、画像管理方法、画像送信方法、プログラム、及び、記録媒体
US9576175B2 (en) * 2014-05-16 2017-02-21 Verizon Patent And Licensing Inc. Generating emoticons based on an image of a face
JP7063823B2 (ja) * 2016-06-01 2022-05-09 オハイオ・ステイト・イノベーション・ファウンデーション 表情の認識および注釈付けのためのシステムおよび方法
CN107421499B (zh) * 2017-09-08 2023-11-07 河南科技大学 一种移栽机栽植钵苗直立度检测装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6184926B1 (en) * 1996-11-26 2001-02-06 Ncr Corporation System and method for detecting a human face in uncontrolled environments
JP2000259831A (ja) 1999-03-05 2000-09-22 Atr Media Integration & Communications Res Lab 表情検出装置
JP4227257B2 (ja) 1999-08-12 2009-02-18 キヤノン株式会社 カメラ
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
JP2004294498A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
JP3873994B2 (ja) * 2004-07-14 2007-01-31 コニカミノルタフォトイメージング株式会社 撮像装置、及び画像取得方法
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
CN100358340C (zh) * 2005-01-05 2007-12-26 张健 可选择最佳拍照时机的数码相机
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置

Also Published As

Publication number Publication date
EP1921498A3 (en) 2008-12-17
EP1921498A2 (en) 2008-05-14
US8254639B2 (en) 2012-08-28
EP1921498B1 (en) 2019-07-03
US20080273765A1 (en) 2008-11-06
KR20080039281A (ko) 2008-05-07
TWI362886B (en) 2012-04-21
JP2008113262A (ja) 2008-05-15
KR101354311B1 (ko) 2014-01-24
CN101175187A (zh) 2008-05-07
JP4240108B2 (ja) 2009-03-18
TW200829014A (en) 2008-07-01

Similar Documents

Publication Publication Date Title
CN101175187B (zh) 图像存储设备、成像设备以及图像存储方法
JP4499693B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4274233B2 (ja) 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4581924B2 (ja) 画像再生装置、および画像再生プログラム
EP2741293A1 (en) Video processing apparatus and method
CN101945212B (zh) 图像捕获设备、图像处理方法
US20150003676A1 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
CN102215339A (zh) 电子设备及摄像装置
JP2008054295A (ja) 撮影装置および方法並びにプログラム
JP5754458B2 (ja) 動画像抽出装置、動画像抽出方法及びプログラム
JP2010171964A (ja) 撮像装置
US20110128415A1 (en) Image processing device and image-shooting device
KR20190075654A (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
CN102265602A (zh) 图像拍摄装置
CN105100586A (zh) 检测装置及检测方法
CN102100062A (zh) 成像设备、成像方法和程序
US20140369611A1 (en) Image processing apparatus and control method thereof
JP2012085000A5 (ja) 動画再生装置及びその制御方法、動画管理装置及びその制御方法
CN104065873A (zh) 图像取得装置以及图像取得方法
US9723213B2 (en) Image processing apparatus, control method, and recording medium
JP5157704B2 (ja) 電子スチルカメラ
CN104935807A (zh) 摄像装置以及摄像方法
JP5812808B2 (ja) 画像処理装置及び画像処理方法
JP4998439B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4835545B2 (ja) 画像再生装置、撮像装置、および画像再生方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100421