CN102007499A - 检测数字图像中的脸部表情 - Google Patents

检测数字图像中的脸部表情 Download PDF

Info

Publication number
CN102007499A
CN102007499A CN2009801028660A CN200980102866A CN102007499A CN 102007499 A CN102007499 A CN 102007499A CN 2009801028660 A CN2009801028660 A CN 2009801028660A CN 200980102866 A CN200980102866 A CN 200980102866A CN 102007499 A CN102007499 A CN 102007499A
Authority
CN
China
Prior art keywords
smile
face
image
classification
categorized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801028660A
Other languages
English (en)
Other versions
CN102007499B (zh
Inventor
D·埃米利安
E·斯泰恩伯格
E·扎拉科维
P·比吉奥埃
S·佩特雷斯酷
C·尼格希纳
M·甘吉亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
Tessera Technologies Ireland Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tessera Technologies Ireland Ltd filed Critical Tessera Technologies Ireland Ltd
Publication of CN102007499A publication Critical patent/CN102007499A/zh
Application granted granted Critical
Publication of CN102007499B publication Critical patent/CN102007499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects

Abstract

公开一种用于检测数字图像中的脸部表情的方法和系统及其应用。对数字图像的分析确定微笑和/或眨眼是否存在于人脸上。脸部识别和/或姿态或者照明条件确定允许应用具体的相对小的分类器级联。

Description

检测数字图像中的脸部表情
技术领域
本发明的实施例主要地涉及检测数字图像中的脸部表情及其应用的领域。
背景技术
准确地和自动地标识数字图像中的脸部表情已经证实成问题。脸部图像的近似30％是代表具有各种脸部表情的脸部的图像如快照。当常规脸部分类装置用来检测一般图像中的脸部时，检测准确性与具有基本上相同脸部表情的图像相比较低。因此，问题在于现有技术方案的脸部分类装置不能准确地检测脸部表情和诸如微笑、皱眉等具体脸部表情。
发明内容
提供一种作为采集过程一部分的对包括一个或者多个脸部的静止图像的在相机中的处理的技术。该技术涉及标识与便携相机上的至少一个数字采集图像内的脸部对应的像素组。在相机中生成、捕获或者以别的方式在相机中获得包括脸部的相对较低分辨率图像的集合，并且在集合内跟踪脸部。采集集合的多个图像的裁剪版本。在多个图像内积累脸部的微笑状态信息。基于积累的微笑状态信息对脸部的统计微笑状态进行分类。基于分析结果来选择一个或者多个与微笑状态相关的操作。
脸部识别可以应用于多个图像中的一个或者多个图像。可以训练各自包括具体识别的人脸的图像的相对短的分类器级联。相对短的分类器级联可以包括具体识别的人脸的不同姿态和照明。确定姿态和/或照明条件，并且基于确定的姿态和/或照明来调节相对短的分类器级联。可以在脸部识别为或者未识别为一个或者多个具体人之一时和/或在脸部分类为有微笑或者无微笑时启动或者延迟图像采集。
该技术还可以包括针对脸部确定姿态和/或照明条件，以及训练基于确定的姿态和/或照明条件来调节的具体脸部分类器集。
统计微笑状态的分类可以包括分配哈尔(Haar)和/或人口普查特征链。
对与脸部对应的像素组的标识可以包括应用与分类近似相同的哈尔和/或人口普查特征。
裁剪版本可以各自基本上仅包括图像中的包括脸部的或者仅包括脸部的嘴部区域的区域。
分类可以包括阈值化，从而分类结果可以是微笑、无微笑或者无结论之一。阈值化可以包括比较统计微笑状态与微笑可能性在60％-90％之间的第一阈值或者微笑可能性为10％-40％的第二阈值或者这二者，其中60％-90％或者更多对应于微笑结果，而10％-40％或者更少对应于无微笑结果，并且在10％-40％和60％-90％之间对应于无结论结果。第一阈值可以近似80％而第二阈值可以近似20％。
分类可以包括：计算相对较低分辨率图像的集合中的帧之间的统计微笑差别矢量，以及确定某个阈值或者更多差别对应于姿态、照明或者其他图像参数的骤变或者可变微笑状态。可以确认某个阈值或者更多差别的具体成因。
可以标识和跟踪多个脸部。可以对针对多个脸部中的各脸部的微笑状态信息进行分类。如果将多于第一阈值数目的脸部分类为无微笑和/或如果将少于第二阈值数目的脸部分类为微笑，则可以启动与微笑相关的组拍摄操作。与微笑相关的组拍摄操作可以包括向用户触发告警信号或者延迟对组拍摄的采集直至确定将少于第一阈值数目的脸部分类为无微笑和/或将多于第二阈值数目的脸部分类为微笑。
可以通过组合至少一个数字采集图像的一个或者多个脸部区域与相对较低分辨率图像的集合中的一个或者多个图像的最佳微笑区域来合成最佳微笑图像。最佳微笑区域可以包括分类为微笑的概率最高的嘴部区域。
也提供一种便携数字图像采集设备，该设备包括：透镜和图像传感器，用于采集数字图像；处理器；以及一个或者多个处理器可读介质，具有嵌入于其中的代码，该代码用于对处理器进行编程以实现根据如这里上文或者下文描述的任一技术。
提供一个或者多个处理器可读介质，具有嵌入于其中的代码，用于对处理器进行编程以实现根据如这里上文或者下文描述的任一技术。
也提供一种作为采集过程一部分的对包括一个或者多个脸部的静止图像的在相机中的处理的方法。标识与便携相机上的至少一个数字采集图像内的脸部对应的像素组。该方法也包括：在相机中生成、捕获或者以别的方式在相机中获得包括脸部的相对较低分辨率图像的集合，以及跟踪所述相对较低分辨率图像的集合内的所述脸部。采集包括脸部的集合中的多个图像的裁剪版本。该方法也包括在多个图像内积累脸部的微笑状态信息。基于积累的微笑状态信息对脸部的统计微笑状态进行分类。基于分析结果来选择和/或启动一个或者多个与微笑状态相关的操作。
该方法可以包括将脸部识别应用于多个图像中的一个或者多个图像。
可以针对脸部确定姿态或者照明条件或者这二者。可以基于确定的姿态或者照明或者这二者来调节具体脸部分类器集。
对统计微笑状态的分类可以包括分配哈尔和/或人口普查特征链。
裁剪版本可以各自基本上仅包括图像中的包括脸部的区域或者图像中的仅包括脸部的嘴部区域的区域。
分类可以包括阈值化，从而分类结果包括微笑、无微笑或者无结论。
分类可以包括：计算相对较低分辨率图像的集合中的帧之间的统计微笑差别矢量，以及确定某个阈值或者更多差别对应于姿态、照明或者其他图像参数的骤变或者可变微笑状态。分类可以包括确认某个阈值或者更多差别的具体成因。
可以标识和跟踪多个脸部。可以对针对多个脸部中的各脸部的微笑状态信息进行分类。该方法可以包括如果将多于第一阈值数目的脸部分类为无微笑或者如果将少于第二阈值数目的脸部分类为微笑或者如果这二者均成立则启动与微笑相关的组拍摄操作。
该方法还可以包括合成最佳微笑图像，这包括组合至少一个数字采集图像的一个或者多个脸部区域与相对较低分辨率图像的集合中的一个或者多个图像的最佳微笑区域。
附图说明
可以通过参照简述如下的附图以对实施例举例说明来最好地理解本发明：
图1图示了处理包括脸部的静止图像的技术。
图2图示了处理包括脸部的静止图像的又一技术。
图3图示了用于与图1的技术一起使用的具体分类和标识处理。
图4图示了用于训练微笑和非微笑脸部表情分类器的一个替代实施例。
图5图示了用于用训练的分类器测试图像是否包括带有微笑的脸部的一个替代实施例。
图6图示了分类为非微笑的直视前方的脸部。
图7图示了也分类为非微笑的俯视的脸部。
具体实施方式
描述了用于检测脸部表情(例如，微笑)的系统和方法以及用于这样的系统和方法的应用。在本说明书中，阐述许多具体细节。然而，理解无这些具体细节也可以实现本发明的实施例。换而言之，并未具体示出公知结构和技术以免使本说明书难以理解。
在说明书全文中提及“一个实施例”意味着结合该实施例描述的具体特征、结构或者特性包含于本发明的至少一个实施例中。因此，在本说明书全文中的各处出现短语“在一个实施例中”未必都指代相同实施例。另外，可以在一个或者多个实施例中以任何适当方式组合具体特征、结构或者特性。
本发明的实施例可应用于其中希望检测数字图像中的脸部表情的各种设置中。
对于某些实施例，针对待识别的各脸部创建和使用二元分类器。也就是说，通过脸部检测算法的操作来采集目标脸部的样本，并且使用这些样本作为用于二元分类器的肯定样本。
图1-图3图示了根据一个示例实施例的微笑检测器。先参照图1，在块102采集包括脸部的数字静止图像。在块104，标识与数字静止图像中的脸部对应的像素组。在块106，在相机中生成、捕获或者以别的方式在相机中获得包括脸部的多个实例的低分辨率图像集合。在块108在低分辨率图像集合内跟踪脸部。在块110，采集包括脸部的集合中的图像的裁剪版本。在块112基于裁剪版本来积累脸部的微笑状态信息。在块114对脸部的统计微笑状态进行分类。在块116启动一个或者多个与微笑状态相关的操作。
图2图示了包括在块202应用脸部识别的技术。在块204，训练包括具体识别的人脸的图像的相对短的分类器级联。在块206，针对相对短的分类器级联选择具体识别的人脸的不同姿态和/或照明。
图3图示了可以在图1的方法中有利地使用的具体操作。在块302，在块104的分类中，分配哈尔和/或人口普查特征链。在块304，在标识时，应用与在块114的分类中近似相同的哈尔和/或人口普查特征。
基于脸部检测器级联的微笑检测器
本发明的实施例运用新分类器的在相机中的训练(即，取代重新使用准确检测分类器)，其用于将一个脸部与另一脸部分离。在某些实施例中，针对识别和/或应当识别的脸部构建二元分类器。该训练意味着应用户请求通过运用脸部检测算法来采集目标脸部的样本。然后使用这些样本作为用于二元分类器的肯定样本。使用来自本地存储的其他先前训练的脸部中的和/或小的普通脸部集合中的否定样本。然后训练相对短的分类器级联。
在某些实施例中，针对用户选择用于将来识别的脸部重复该过程。在一种典型现场视图模式中，相机将运行跟踪算法。将新检测到的脸部与识别数据库中的相对短级联中的分类器进行比较。根据在若干帧内的分类器响应和置信积累，表决算法将选择数据库脸部之一或者判决脸部不属于识别集。
在某些实施例中，来自检测过程的信息用来调节识别过程。对于一个这样的实施例，基于检测器/跟踪器来动态地实现对识别过程的调节。
根据各种实施例，具体脸部可以具有多个识别轮廓，因为照明条件可以很明显地改变分类器响应。当在某一条件之下未正确地识别先前训练的脸部时，可以自动地或者在用户输入时向该脸部添加新的识别轮廓。
一般而言，某些实施例允许使用检测分类器以基于检测概率来进行识别。也就是说，脸部检测器的概率输出用来重新缩放用于识别器的分类器。对于一个这样的实施例，检测器指示脸部是“强”还是“弱”脸部，然后根据该指示来增强或者抑制结果。
对于某些实施例，微笑检测作为脸部跟踪算法的附加特征来工作。它将接收多边形如矩形或者代之以方形、菱形、三角形、圆形或者其他形状的形式的脸部区域以及已经计算的整体图像和其他可用映象作为输入。
微笑检测算法将对各跟踪的脸部区域运行二元分类器并且将以某一置信度判决各脸部是在微笑还是未在微笑。如果未达到用于提供答复的所需置信水平，则脸部的微笑状态将声明为不确定或者未知。在某些实施例中，针对脸部的先决条件可以是它应当是前面的，平面内定向接近0、90或者-90。然而，如下文参照图6和图7描述的那样，可以标识不同姿态并且可以根据这些姿态来确定微笑状态。
微笑分类器是类型与脸部检测器相同的具有哈尔和人口普查特征的链。在训练部分期间，了解区分肯定微笑样本与否定非微笑样本。样本是通过运行脸部检测器并且通过以具有脸部的图像上的人工或者自动标记为基础的自动裁剪来获得的脸部裁剪。样本可以具有相同直立定向，具有轻微变化。
在该系统的一个替代实施例中，样本可以是保持对于微笑分类而言最多有用信息的嘴部区域裁剪。这样的替代系统涉及在实际分类之前对嘴部区域的附加标识。这可以通过运行基于特征的嘴部检测器或者用脸部的下半部中的最大色饱和区域或者另一替代方法标识嘴部来完成。这一通用方式增添额外不确定水平，但是优点可以在于利用更少数据。
训练过程可以提供如下二元分类器链，该分类器链可以针对如由脸部检测器递送的整个脸部区域判决微笑状态。可以对个别帧执行微笑检测/分类，但是随着置信积累该逻辑跨越若干帧以便提供针对某个脸部的一致响应。对具体帧，微笑分类器在跟踪算法重新评估矩形位置之前仅对直接来自检测器的脸部矩形(或者其他多边形)进行操作，因为这些矩形(或者其他多边形)最佳地居中和适配于脸部之上。也在脸部区域周围的若干略微移位的位置评估微笑分类器。
将基于这些邻近分类的置信求和并且阈值化。微笑判决可以是肯定、否定或者无结论。分类器评估由与运行脸部检测器的引擎相同的引擎完成，但是提供微笑分类器而不是脸部分类器。在帧序列期间，针对各肯定或者否定微笑响应递增或者递减向各跟踪的脸部分配的微笑置信参数。该置信参数可以是整数，并且可以由上限和下限界定，从而微笑判决有足够响应度，并且不会锁定于某个状态。在各微笑分类(在各帧或者按照间隔出现)之后更新置信参数。可以在每帧查询(可以连续地输出)针对脸部的最终微笑状态输出，并且该状态输出可以基于整数置信参数的符号和绝对值。
根据某些实施例，一种算法能够检测微笑前脸作为在相机中的应用。该算法可以视为用于脸部表情检测(例如，微笑或者皱眉检测)的数字相机的独立特征。某些实施例也可以运用于涉及以微笑者的存在为基础的判决或者进一步动作的装置或者方法中，并且可以包括该算法作为判决算法。
在一个替代实施例中，使用离散余弦变换(DCT)。
算法的训练部分
在某些实施例中，待检测的脸部表情是微笑。可以有两个数据库：一个有微笑灰度级图像，而另一个有非微笑灰度级图像。训练算法应用于各数据库。对于一个实施例，训练算法的步骤可以对于两个数据库而言相同或者基本上相同。可以使用如从脸部检测器输出的如下裁剪，这些裁剪包括整个脸部或者仅包括嘴部区域或者是至少包括嘴部区域的另一子集。在其中检测眨眼的替代实施例中，可以仅使用眼部区域裁剪或者是至少包括一只或者两只眼睛的另一子集。
从数据库读取图像(例如，作为由脸部检测算法递送的方形裁剪)。然后，对于各图像，可以进行以下步骤：
1.将图像的尺度重新设定成25x25像素。这可以使用双线性插值或者代之以双三次样条来实现。
2.应用2DCT变换：
F ( u , v ) = C ( u ) C ( v ) [ Σ x = 0 ( N - 1 ) Σ y = 0 ( N - 1 ) f ( x , y ) cos ( 2 x + 1 ) uπ 2 N cos ( 2 y + 1 ) vπ 2 N ]
3.设置变换的矩阵的左上角中的像素(Ox上的像素数目的20％乘Oy上的像素数目的20％)为0。
这对应于去除与个人特征有关的低频系数。
4.应用2IDCT变换：
f ( x , y ) = [ Σ u = 0 ( N - 1 ) Σ v = 0 ( N - 1 ) C ( u ) C ( v ) F ( u , v ) cos ( 2 x + 1 ) uπ 2 N cos ( 2 y + 1 ) vπ 2 N ]
其中：对于u，v＝0，
Figure BPA00001185490400092
Figure BPA00001185490400093
对于u，v＝1至N-1，
Figure BPA00001185490400094
Figure BPA00001185490400095
5.设置所有负值为零。
这具有忽略值范围(对于灰度255为0...255；对于归一化的值为0...1)以外的值的效果。
6.应用改进的直方图均衡：
a.对于各像素，计算它的水平、竖直和对角线邻近像素的均值；
b.对在它们的灰度水平之后、继而在计算的均值之后的像素进行分类；
c.向各像素分配新灰度水平；
d.对原位置的像素重新分类。
该过程也将与常规直方图均衡一起起作用，尽管结果的质量可能有所下降。
7.将图像重新成形为矢量(例如，使用矢量化)。
对于整个数据库，在所有图像已经重新成形为矢量之后，进行以下步骤：
8.使用k均值对8个聚类中的矢量进行分类。这是已经在经验上确定为足以实现有利概念的任意聚类。一般而言，聚类如本领域技术人员将理解的那样可以不同。
9.保持聚类的质心。
可以离线进行训练算法(即，可以先验地计算并且在存储单元中存储聚类质心)。
图4示了脸部表情检测技术的训练部件的例子。在块402，针对微笑和非微笑数据库初始化参数，并且设置聚类数目为8，而且设置DCT参数为20％。
对于微笑数据库，在块404读取图像。在块406改变尺度。在块408如上文阐述的那样应用2DCT算法。在块410保持高频，并且左上角变成零。在块412如上文阐述的那样应用2IDCT算法。在块414使负值为零。在块416例如如上所述进行直方图均衡。在块418确定是否完成微笑数据库。如果不是，则在块404读取下一图像。如果是这样，则在块420使用K均值对聚类进行分类，并且在块422计算微笑聚类均值。
对于非微笑数据库，在块424读取图像。在块426改变尺度。在块428如上文所述的那样应用2DCT算法。在块430保持高频，并且左上角变成零。在块432如上文阐述的那样应用2IDCT算法。在块434使负值为零。在块436例如如上所述进行直方图均衡。在块438确定是否完成非微笑数据库。如果不是，则在块424读取下一图像。如果是这样，则在块440使用K均值对聚类进行分类，并且在块442计算非微笑聚类均值。
算法的检测/测试部分
可以应用以下序列用于进行对微笑或者非微笑(或者眨眼等)的检测。
1.加载16个聚类质心。
2.读取待分类的图像。
3.如果必要，则将它转变成灰度级图像。
4.将图像的尺度重新设定成25x25像素。
5.应用2DCT变换。
6.设置变换的矩阵的左上角中的像素(Ox上的像素数目的20％乘Oy上的像素数目的20％)为0。
7.应用2IDCT变换。
8.设置负值为0。
9.应用改进的直方图均衡。
10.将图像重新成形为矢量。
11.计算矢量与所有聚类质心之间的欧几里得距离。
12.找到最小距离。
13.向测试图像分配与最近聚类内的图像相同的标记(微笑或者非微笑)。
对于某些实施例，可以变化聚类数目(例如，对于各数据库而言8个聚类)。除此之外或者取而代之，可以变化在2DCT之后变成0的像素数目(在这一情况下为5x5像素)。
图5图示了脸部表情检测技术的检测部件例子。在块502，输入如下数据，该数据包括来自图4的例子的聚类的均值以及测试图像。在块504读取测试图像。在块506改变尺度。在块508如上文阐述的那样应用2DCT算法。在块510保持高频，并且左上角变成零。在块512如上文阐述的那样应用2IDCT算法。在块514使负值为零。在块516例如如上所述进行直方图均衡。在块518计算与中心类的距离。在块520确定最小距离对于微笑聚类而言是否存在。如果不是，则在块522将图像分类为非微笑图像。如果是这样，则在块524将图像分类为微笑图像。
替代实施方式：
如本领域技术人员将理解的那样，本发明的许多替代实施例是可能的。例如，主要实施例描述一种确定数字图像内的脸部区域的微笑/非微笑状态的技术。隐含的是已经对图像运行脸部跟踪/脸部检测器并且使对分析的图像内的一个或者多个脸部区域的位置的了解可为“微笑检测器”所用。这一技术可以应用于给予以充分计算资源的数字相机中，并且可以部分地实施于相机内(例如脸部检测)而部分地实施于相机以外(例如使用导出和保存的脸部检测信息的微笑检测)，或者在某些实施例中脸部检测过程和微笑检测均用来后处理先前采集的图像。
当本发明完全地实施于相机中时，可以实现对本发明操作的各种改进。具体而言，数字相机可以采集恒定预览和/或后览图像流，而当脸部跟踪算法实施于相机中时，那么与预览流的各帧内的确定脸部区域有关的信息在实时基础上可用。当充分地优化本算法时，它可以与脸部跟踪器算法的应用并行或者在其之后依次实时加以应用。这样的实施例实现(i)微笑检测过程本身的改进和(ii)向相机的用户提供附加操作特征。
关于第(i)项并且参照按照上述示例实施例的步骤11和12的矢量与聚类质心之间的欧几里得距离计算和最小距离发现，当实施这样的实时微笑检测算法时，有可能计算跟踪的脸部区域的微笑/非微笑状态并且在多个预采集帧内积累该状态信息。这实现对脸部的微笑/非微笑状态的统计分析，并且有利于避免可能使微笑检测算法的准确性下降的令人混淆的因素，比如照明和/或脸部姿态的骤变。因此，可以忽略微笑特征矢量中的骤然帧间波动直至特征矢量稳定。
在一个实施例中，除了针对各帧计算微笑特征矢量并且确定它的微笑/非微笑状态之外，该算法还计算预览/后览图像流的后续帧之间的差别矢量。当差别矢量大于某一阈值时，它可以解释为指示外部照明或者姿态的骤变(这可以由针对照明情况的相机曝光确定子系统或者由脸部跟踪算法的脸部锁定表征来确认)，或者它可以解释为微笑与非微笑状态之间的转变(这可以通过对后续预览/后览帧的分析来确认)。
在替代实施例中，可以计算微笑特征矢量的行程平均值，并且该平均的特征矢量用来确定脸部区域在多个预览帧内的微笑/非微笑状态。
在又一实施例中，针对各预览帧计算当前微笑特征矢量与最近微笑质心和最近非微笑质心之间的距离。这两个距离之比在若干帧内在统计上加以分析，并且用来确定微笑/非微笑概率测量而不是简单的微笑/非微笑状态测量。因此当微笑矢量特征与最近微笑质心的规范化距离为0.2而与最近非微笑质心的距离为0.8时，它80％可能为微笑或者20％可能不是微笑。在对这一实施例的一种变化中，归一化距离的对数而不是归一化距离本身用来计算概率。
参照上述第(ii)项，当微笑检测过程对预览/后览流可操作时，有可能监视跟踪的脸部区域的状态转变。这例如使相机能够实施改进的“组拍摄”特征，其中当确定预览帧中的每个人在微笑时捕获图像。
在其他实施例中，如果一个或者多个人未在微笑，则相机可以发出报警蜂鸣声(“微笑保证”特征)；或者可以延迟采集直至确定每个人(或者多个或者某个百分比或者某个数目)在微笑。
在其中附加图像重构和/或合成和/或超分辨率算法在相机中可用的实施例中，那么可以与主要采集图像组合来自一个或者多个预览帧的脸部区域或者其部分，以保证最终合成图像针对各检测到的脸部呈现“最佳微笑”。可以如上所述使用微笑/非微笑概率来实现对微笑质量的判断。
涉及微笑/非微笑状态或者微笑概率的元数据可以与涉及相关跟踪的脸部区域的其他信息一起存储/保存。
图6和图7图示了又一实施例。在图6和图7所示两张照片中，对象未在微笑、也未眨眼。在图6中，可以使用多种几何和/或学习技术来检测对象的无微笑、无眨眼状态。然而，较差技术可能往往在图7中将对象错误地检测为微笑和眨眼，即使对象未在微笑、也未眨眼。由于对象在图7中俯视，所以可能看起来对象的唇部在外侧上向上弯曲，恰如微笑嘴部将在前向非倾斜姿态中的脸部上一样。对象也可能在图7中看起来在眨眼或者睡眠或者以别的方式让她的眼部闭上，因为她的眼球部分未示出。
基于三角形的眼部-嘴部(在更多帧上由脸部跟踪算法平滑)，在这一实施例中确定脸部定向在平面中(RIP)还是在平面外(ROP)。基于该信息，在这一实施例中动态地调节微笑接受/拒绝阈值。
可以在不同旋转或者平面(RIP)角度放宽微笑检测阈值，或者可以在精确角度应用微笑检测(通过旋转裁剪图像或者分类器)，并且微笑检测具有0(+/-5)度的更强微笑分类器。[注意：现在它们在训练过程中放宽更多＝＞0(+/-20)度。]
可以在脸部自上而下(节距旋转)时设定更强微笑检测阈值。注意：自上而下的脸部可能以别的方式往往导致大百分比的错误微笑检测。
这一相同思想也可以应用于调节动态眨眼接受/拒绝阈值。
应用
如上所言，检测数字图像中的微笑的本发明实施例有许多应用。更多应用在两个或者更多传感器实施于数字图像采集设备内时是可能的。根据其中至少一个附加传感器实施于设备内并且该传感器面向用户(例如，拍摄者)的本发明一个实施例，可以在拍摄者采集图像的过程中采集拍摄者的图像。这样的实施例允许产生如下双连画，该双连画包括拍摄者以及由用户采集的图像。
当与脸部表情检测一起运用时，这样的实施例可以允许图像采集设备在识别或者检测用户(例如，拍摄者)的给定脸部表情(例如，微笑)时采集图像。这允许减少与典型按钮图像采集方案关联的运动。
类似地，本发明的实施例可以用于在采集一个或者多个图像时基于用户或者后续查看者的脸部表情对采集的图像进行查看和归类。例如，检测查看照片的一个或者多个人的脸部表情(指示情绪)。如果一个或者多个查看者微笑，则将图像自动标注为保持图像或者优选图像。如果图像随时间获得多个“微笑”预览，则它的优选分数上升。优选图像列表可以用于在相机上回放，其中作为回放模式优先于次优选图像先呈现优选图像。
对于某些实施例，基于脸部表情检测的这一情绪确定概念推广如下。微笑和其他脸部表情用于个人计算机、文档、视频上的标注从而在视频中建立感兴趣的入口点或者标签。这种PC应用可以用于例如在个人计算机的显示器中安装的相机。
根据某些实施例，数据处理使用数字处理系统(DPS)。DPS可以配置成存储、处理和传达包括数字图像和视频的多条各种类型的数字信息。
如上文讨论的那样，本发明的实施例可以运用具有数字处理能力的DPS或者设备。这样的系统的示例部件包括中央处理单元(CPU)和耦合到主存储器、静态存储器和海量存储设备的信号处理器。主存储器可以存储用于实现本发明操作的各种应用，而海量存储设备可以存储各种数字内容。
DPS也可以耦合到输入/输出(I/O)设备和音频/视频设备。CPU可以用来处理用于处理系统的信息和/或信号。主存储器可以是用于存储由CPU使用的信息或者指令(程序代码)的随机存取存储器(RAM)或者一些其他动态存储设备。静态存储器可以是用于存储也可以由CPU使用的信息或者指令的只读存储器(ROM)和/或其他静态存储设备。海量存储设备可以例如是用于存储用于处理系统的信息或者指令的硬盘驱动、光盘驱动或者固件。
一般事项
本发明的实施例提供用于检测和确定数字图像中的脸部表情的方法和装置。
本发明的实施例已经描述为包括各种操作。许多过程以它们的最基本形式加以描述，但是可以向任何过程添加或者从任何过程删除操作而不脱离本发明的范围。
本发明的操作可以由硬件部件进行或者可以实施于如下机器可执行指令中，这些指令可以用来使得用这些指令编程的通用或者专用处理器或者逻辑电路进行操作。取而代之，步骤可以通过硬件和软件的组合来进行。可以提供本发明作为如下计算机程序产品，该产品可以包括具有存储于其上的如下指令的机器可读介质，这些指令可以用来对计算机(或者其他电子设备)进行编程以执行根据本发明的过程。机器可读介质可以包括但不限于软盘、光盘、CD-ROM和磁光盘、ROM、RAM、EPROM、EEPROM、磁或者光学卡、闪存或者适合于存储电子指令的其他类型的介质/机器可读介质。另外，也可以下载本发明作为计算机程序产品，其中该程序可以通过实施于载波中的数据信号或者经由通信小区的其他传播介质(例如，调制解调器或者网络连接)从远程计算机传向请求计算机。可以在相同中心站点进行所有操作，或者代之以可以在别处进行一个或者多个操作。

Claims (22)

1.一种作为采集过程一部分的对包括一个或者多个脸部的静止图像的在相机中的处理的方法，包括：
标识与便携相机上的至少一个数字采集图像内的脸部对应的像素组；
在相机中生成、捕获或者以别的方式在相机中获得包括脸部的相对较低分辨率图像的集合；
跟踪所述相对较低分辨率图像的集合内的所述脸部；
采集包括所述脸部的所述相对较低分辨率图像的集合中的多个图像的裁剪版本；
在所述多个图像内积累所述脸部的微笑状态信息；
基于所述积累的微笑状态信息对所述脸部的统计微笑状态进行分类；以及
启动基于分析的结果来选择的一个或者多个与微笑状态相关的操作。
2.根据权利要求1所述的方法，还包括将脸部识别应用于所述多个图像中的一个或者多个图像。
3.根据权利要求1所述的方法，还包括针对所述脸部确定姿态或者照明条件或者这二者，以及训练基于所述确定的姿态或者照明或者这二者来调节的具体脸部分类器集。
4.根据权利要求1所述的方法，其中所述对所述统计微笑状态的分类包括分配哈尔和/或人口普查特征链。
5.根据权利要求1所述的方法，其中所述裁剪版本各自基本上仅包括所述图像中的包括所述脸部的区域。
6.根据权利要求1所述的方法，其中所述裁剪版本各自基本上仅包括所述图像中的包括所述脸部的嘴部区域的区域。
7.根据权利要求1所述的方法，其中所述分类包括阈值化，从而分类结果包括微笑、无微笑或者无结论。
8.根据权利要求1所述的方法，其中所述分类还包括：计算所述相对较低分辨率图像的集合中的帧之间的统计微笑差别矢量，以及确定某个阈值或者更多差别对应于姿态、照明或者其他图像参数的骤变或者可变微笑状态，并且其中所述分类还包括确认所述某个阈值或者更多差别的具体成因。
9.根据权利要求1所述的方法，其中标识和跟踪多个脸部，并且对针对所述多个脸部中的各脸部的微笑状态信息进行分类，并且所述方法还包括：如果将多于第一阈值数目的脸部分类为无微笑或者如果将少于第二阈值数目的脸部分类为微笑或者如果这二者均成立则启动与微笑相关的组拍摄操作。
10.根据权利要求1所述的方法，还包括合成最佳微笑图像，包括组合所述至少一个数字采集图像的一个或者多个脸部区域与所述相对较低分辨率图像的集合中的一个或者多个所述图像的最佳微笑区域。
11.根据权利要求2所述的方法，还包括训练各自包括具体识别的人脸的图像的相对短的分类器级联。
12.根据权利要求11所述的方法，其中所述相对短的分类器级联包括所述具体识别的人脸的不同姿态或者照明或者这二者。
13.根据权利要求2所述的方法，还包括在将所述脸部分类为微笑或者无微笑或者其组合时启动或者延迟图像采集。
14.根据权利要求2所述的方法，还包括在所述脸部未识别为具体识别的人或者未分类为微笑时延迟图像采集。
15.根据权利要求2所述的方法，还包括在所述脸部识别为具体识别的人并且分类为微笑时启动图像采集。
16.根据权利要求9所述的方法，其中所述与微笑相关的组拍摄操作包括向用户触发告警信号或者延迟对组拍摄的采集直至确定将少于所述第一阈值数目的脸部分类为无微笑或者将多于所述第二阈值数目的脸部分类为微笑或者这二者均成立。
17.根据权利要求10所述的方法，其中所述最佳微笑区域包括分类为微笑的概率最高的嘴部区域。
18.根据权利要求1所述的方法，其中所述对与脸部对应的所述像素组的标识包括应用与所述分类近似相同的哈尔和/或人口普查特征。
19.根据权利要求7所述的方法，其中所述阈值化包括比较所述统计微笑状态与微笑可能性在60％-90％之间的第一阈值或者微笑可能性为10％-40％的第二阈值或者这二者，其中所述60％-90％或者更多对应于微笑结果，而所述10％-40％或者更少对应于无微笑结果，并且在所述10％-40％和所述60％-90％之间对应于无结论结果。
20.根据权利要求19所述的方法，其中所述第一阈值包括近似80％而所述第二阈值包括近似20％。
21.一种便携数字图像采集设备，包括：透镜和图像传感器，用于采集数字图像；处理器；以及一个或者多个处理器可读介质，具有嵌入于其中的代码，用于对所述处理器进行编程以实现根据任一前述权利要求所述的作为采集过程一部分的对包括一个或者多个脸部的静止图像的在相机中的处理的方法。
22.一个或者多个处理器可读介质，具有嵌入于其中的代码，用于对处理器进行编程以实现根据权利要求1至20中的任一权利要求所述的作为采集过程一部分的对包括一个或者多个脸部的静止图像的在相机中的处理的方法。
CN200980102866.0A 2008-01-29 2009-01-20 检测数字图像中的脸部表情 Active CN102007499B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US2450808P 2008-01-29 2008-01-29
US61/024,508 2008-01-29
US12/354,707 2009-01-15
US12/354,707 US8750578B2 (en) 2008-01-29 2009-01-15 Detecting facial expressions in digital images
PCT/EP2009/000315 WO2009095168A1 (en) 2008-01-29 2009-01-20 Detecting facial expressions in digital images

Publications (2)

Publication Number Publication Date
CN102007499A true CN102007499A (zh) 2011-04-06
CN102007499B CN102007499B (zh) 2015-03-11

Family

ID=40899277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980102866.0A Active CN102007499B (zh) 2008-01-29 2009-01-20 检测数字图像中的脸部表情

Country Status (5)

Country Link
US (7) US8750578B2 (zh)
JP (1) JP5639478B2 (zh)
KR (1) KR101615254B1 (zh)
CN (1) CN102007499B (zh)
WO (1) WO2009095168A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999164A (zh) * 2012-11-30 2013-03-27 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
CN104541514A (zh) * 2012-09-25 2015-04-22 英特尔公司 利用观看者反应估计和视觉提示检测的视频索引
CN106951856A (zh) * 2017-03-16 2017-07-14 腾讯科技（深圳）有限公司 表情包提取方法及装置
CN107077598A (zh) * 2014-09-12 2017-08-18 微软技术许可有限责任公司 具有隐私保护的视频捕捉
CN107360366A (zh) * 2017-06-30 2017-11-17 广东欧珀移动通信有限公司 拍照方法、装置、存储介质及电子设备
CN108701236A (zh) * 2016-01-29 2018-10-23 快图有限公司 卷积神经网络
CN110895685A (zh) * 2019-11-25 2020-03-20 创新奇智(上海)科技有限公司 基于深度学习的微笑服务质量评价系统及评价方法
CN111183455A (zh) * 2017-08-29 2020-05-19 互曼人工智能科技(上海)有限公司 图像数据处理系统与方法
US11087433B2 (en) 2016-01-29 2021-08-10 Fotonation Limited Convolutional neural network
US11470241B2 (en) 2008-01-27 2022-10-11 Fotonation Limited Detecting facial expressions in digital images

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636486B2 (en) 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8180173B2 (en) * 2007-09-21 2012-05-15 DigitalOptics Corporation Europe Limited Flash artifact eye defect correction in blurred images using anisotropic blurring
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US8995715B2 (en) 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
DE602008001607D1 (de) 2007-02-28 2010-08-05 Fotonation Vision Ltd Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen
US7773118B2 (en) * 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
JP4453721B2 (ja) * 2007-06-13 2010-04-21 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP4356778B2 (ja) * 2007-06-25 2009-11-04 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
US7940962B2 (en) * 2007-08-03 2011-05-10 Delphi Technologies, Inc. System and method of awareness detection
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
JP4919297B2 (ja) * 2008-03-13 2012-04-18 富士フイルム株式会社 画像評価装置および方法並びにプログラム
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
JP4659088B2 (ja) * 2008-12-22 2011-03-30 京セラ株式会社 カメラ付き携帯端末
US8633999B2 (en) * 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US9792012B2 (en) 2009-10-01 2017-10-17 Mobile Imaging In Sweden Ab Method relating to digital images
EP2545411B1 (en) 2009-12-11 2014-02-12 DigitalOptics Corporation Europe Limited Panorama imaging
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
SE534551C2 (sv) * 2010-02-15 2011-10-04 Scalado Ab Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild
US20110216157A1 (en) 2010-03-05 2011-09-08 Tessera Technologies Ireland Limited Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
US20130215928A1 (en) 2010-06-04 2013-08-22 Tecnimed S.R.L. Method and device for measuring the internal body temperature of a patient
US11393133B2 (en) * 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US8723912B2 (en) 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
US9053681B2 (en) 2010-07-07 2015-06-09 Fotonation Limited Real-time video frame pre-processing hardware
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
JP2012068948A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 顔属性推定装置およびその方法
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8730332B2 (en) 2010-09-29 2014-05-20 Digitaloptics Corporation Systems and methods for ergonomic measurement
US9282238B2 (en) 2010-10-29 2016-03-08 Hewlett-Packard Development Company, L.P. Camera system for determining pose quality and providing feedback to a user
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8308379B2 (en) 2010-12-01 2012-11-13 Digitaloptics Corporation Three-pole tilt control system for camera module
US8610788B2 (en) 2011-02-08 2013-12-17 International Business Machines Corporation Content storage management in cameras
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US8896703B2 (en) * 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8947501B2 (en) 2011-03-31 2015-02-03 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8913005B2 (en) 2011-04-08 2014-12-16 Fotonation Limited Methods and systems for ergonomic feedback using an image analysis module
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US9088714B2 (en) * 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
SE1150505A1 (sv) 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Metod och anordning för tagning av bilder
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
CA2841910A1 (en) 2011-07-15 2013-01-24 Mobile Imaging In Sweden Ab Method of providing an adjusted digital image representation of a view, and an apparatus
US20130201344A1 (en) * 2011-08-18 2013-08-08 Qualcomm Incorporated Smart camera for taking pictures automatically
US10089327B2 (en) 2011-08-18 2018-10-02 Qualcomm Incorporated Smart camera for sharing pictures automatically
KR101198322B1 (ko) * 2011-09-23 2012-11-06 (주) 어펙트로닉스 얼굴 표정 인식 방법 및 시스템
WO2013136053A1 (en) 2012-03-10 2013-09-19 Digitaloptics Corporation Miniature camera module with mems-actuated autofocus
US9294667B2 (en) 2012-03-10 2016-03-22 Digitaloptics Corporation MEMS auto focus miniature camera module with fixed and movable lens groups
JP6003124B2 (ja) * 2012-03-15 2016-10-05 オムロン株式会社 認証装置、認証装置の制御方法、制御プログラム、および記録媒体
US8965046B2 (en) 2012-03-16 2015-02-24 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for smiling face detection
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
US9354486B2 (en) 2012-06-07 2016-05-31 DigitalOptics Corporation MEMS MEMS fast focus camera module
US9007520B2 (en) 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9001268B2 (en) 2012-08-10 2015-04-07 Nan Chang O-Film Optoelectronics Technology Ltd Auto-focus camera module with flexible printed circuit extension
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
JP2014119879A (ja) * 2012-12-14 2014-06-30 Nippon Hoso Kyokai <Nhk> 顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム
US9081264B2 (en) 2012-12-31 2015-07-14 Digitaloptics Corporation Auto-focus camera module with MEMS capacitance estimator
KR20140094878A (ko) * 2013-01-23 2014-07-31 삼성전자주식회사 사용자 단말 및 사용자 단말에서 사용자 인식을 이용한 영상 처리 방법
WO2014127065A2 (en) * 2013-02-12 2014-08-21 Emotient Facial expression measurement for assessment, monitoring, and treatment evaluation of affective and neurological disorders
US20140242560A1 (en) * 2013-02-15 2014-08-28 Emotient Facial expression training using feedback from automatic facial expression recognition
US11352812B2 (en) * 2013-03-15 2022-06-07 August Home, Inc. Door lock system coupled to an image capture device
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
EP2824913A1 (en) * 2013-07-09 2015-01-14 Alcatel Lucent A method for generating an immersive video of a plurality of persons
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
US9892413B2 (en) * 2013-09-05 2018-02-13 International Business Machines Corporation Multi factor authentication rule-based intelligent bank cards
CN104850818B (zh) * 2014-02-17 2018-05-18 华为技术有限公司 人脸检测器训练方法、人脸检测方法及装置
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US9813611B2 (en) 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US9628702B2 (en) 2014-05-21 2017-04-18 Google Technology Holdings LLC Enhanced image capture
US9729784B2 (en) 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
US9774779B2 (en) 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
CN104899598B (zh) * 2015-05-14 2019-10-01 中国农业大学 基于二维傅里叶变换的教室人数统计方法及装置
WO2017018012A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
US9830727B2 (en) * 2015-07-30 2017-11-28 Google Inc. Personalizing image capture
JP2017040520A (ja) * 2015-08-19 2017-02-23 株式会社島津製作所 分析データ表示処理装置及び表示処理プログラム
US10257414B2 (en) * 2016-07-15 2019-04-09 Qualcomm Incorporated Method and system for smart group portrait
US10579940B2 (en) 2016-08-18 2020-03-03 International Business Machines Corporation Joint embedding of corpus pairs for domain mapping
US10642919B2 (en) 2016-08-18 2020-05-05 International Business Machines Corporation Joint embedding of corpus pairs for domain mapping
US10657189B2 (en) 2016-08-18 2020-05-19 International Business Machines Corporation Joint embedding of corpus pairs for domain mapping
CN110268702A (zh) * 2017-04-13 2019-09-20 华为技术有限公司 自拍的方法、装置和终端设备
US10318794B2 (en) * 2017-04-28 2019-06-11 Microsoft Technology Licensing, Llc Intelligent auto cropping of digital images
CN107358163A (zh) * 2017-06-14 2017-11-17 广东数相智能科技有限公司 基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质
JP6642523B2 (ja) * 2017-06-19 2020-02-05 カシオ計算機株式会社 表情判定装置、表情判定方法及びプログラム
US10489690B2 (en) * 2017-10-24 2019-11-26 International Business Machines Corporation Emotion classification based on expression variations associated with same or similar emotions
KR102564855B1 (ko) 2018-01-08 2023-08-08 삼성전자주식회사 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법
TWI666941B (zh) * 2018-03-27 2019-07-21 緯創資通股份有限公司 多層次狀態偵測系統與方法

Family Cites Families (204)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4047187A (en) 1974-04-01 1977-09-06 Canon Kabushiki Kaisha System for exposure measurement and/or focus detection by means of image senser
US4367027A (en) 1980-03-12 1983-01-04 Honeywell Inc. Active auto focus system improvement
US4317991A (en) 1980-03-12 1982-03-02 Honeywell Inc. Digital auto focus system utilizing a photodetector array
US4299464A (en) 1980-08-04 1981-11-10 Eastman Kodak Company Method and apparatus for reducing the incidence of eye closures during photographing of a human subject
JPS61105978A (ja) 1984-10-30 1986-05-24 Sanyo Electric Co Ltd オ−トフオ−カス回路
US5291234A (en) 1987-02-04 1994-03-01 Asahi Kogaku Kogyo Kabushiki Kaisha Auto optical focus detecting device and eye direction detecting optical system
US5384912A (en) 1987-10-30 1995-01-24 New Microtime Inc. Real time video image processing system
US5018017A (en) 1987-12-25 1991-05-21 Kabushiki Kaisha Toshiba Electronic still camera and image recording method thereof
US5227837A (en) 1989-05-12 1993-07-13 Fuji Photo Film Co., Ltd. Photograph printing method
US5063603A (en) 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
US5164831A (en) 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
GB9019538D0 (en) 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
JP2748678B2 (ja) 1990-10-09 1998-05-13 松下電器産業株式会社 階調補正方法および階調補正装置
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
JP2790562B2 (ja) 1992-01-06 1998-08-27 富士写真フイルム株式会社 画像処理方法
US5638136A (en) 1992-01-13 1997-06-10 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for detecting flesh tones in an image
US5488429A (en) 1992-01-13 1996-01-30 Mitsubishi Denki Kabushiki Kaisha Video signal processor for detecting flesh tones in am image
JP3288420B2 (ja) 1992-03-10 2002-06-04 株式会社トプコン ステレオ写真撮影用オートフォーカスｃｃｄカメラ
US5680481A (en) 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
JP3298072B2 (ja) 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
US5311240A (en) 1992-11-03 1994-05-10 Eastman Kodak Company Technique suited for use in multi-zone autofocusing cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes
KR100276681B1 (ko) 1992-11-07 2001-01-15 이데이 노부유끼 비디오 카메라 시스템
JPH06178261A (ja) 1992-12-07 1994-06-24 Nikon Corp デジタルスチルカメラ
JP2983407B2 (ja) 1993-03-31 1999-11-29 三菱電機株式会社 画像追尾装置
US5432863A (en) 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
US5781650A (en) 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US5835616A (en) 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US6115509A (en) 1994-03-10 2000-09-05 International Business Machines Corp High volume document image archive system and method
US5774754A (en) 1994-04-26 1998-06-30 Minolta Co., Ltd. Camera capable of previewing a photographed image
US5678098A (en) 1994-06-09 1997-10-14 Fuji Photo Film Co., Ltd. Method and apparatus for controlling exposure of camera
US5692065A (en) 1994-08-18 1997-11-25 International Business Machines Corporation Apparatus and method for determining image quality
US5572596A (en) 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
US5802361A (en) 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US5496106A (en) 1994-12-13 1996-03-05 Apple Computer, Inc. System and method for generating a contrast overlay as a focus assist for an imaging device
US5724456A (en) 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
EP0735510B1 (en) 1995-03-31 2001-11-28 Hitachi Europe Limited Facial image processing
US5870138A (en) 1995-03-31 1999-02-09 Hitachi, Ltd. Facial image processing
DE69507594T2 (de) 1995-03-31 1999-09-02 Hitachi Europ Ltd Bildverarbeitungsverfahren zur Ermittlung von Gesichtsmerkmalen
US5710833A (en) 1995-04-20 1998-01-20 Massachusetts Institute Of Technology Detection, recognition and coding of complex objects using probabilistic eigenspace analysis
JP3426060B2 (ja) 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
US5842194A (en) 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
US5802220A (en) 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5774591A (en) 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5633678A (en) 1995-12-20 1997-05-27 Eastman Kodak Company Electronic still camera for capturing and categorizing images
US6151073A (en) 1996-03-28 2000-11-21 Fotonation, Inc. Intelligent camera flash system
US5842616A (en) * 1996-04-24 1998-12-01 Ter S.R.L. Atomized liquid dispenser applicable to manually operated pumps
US5802208A (en) 1996-05-06 1998-09-01 Lucent Technologies Inc. Face recognition using DCT-based feature vectors
US6188776B1 (en) 1996-05-21 2001-02-13 Interval Research Corporation Principle component analysis of images for the automatic location of control points
US5991456A (en) 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
US5978519A (en) 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
US5963656A (en) 1996-09-30 1999-10-05 International Business Machines Corporation System and method for determining the quality of fingerprint images
US5818975A (en) 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
US6765612B1 (en) 1996-12-09 2004-07-20 Flashpoint Technology, Inc. Method and system for naming images captured by a digital camera
JP3512992B2 (ja) 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
JPH10208047A (ja) 1997-01-23 1998-08-07 Nissan Motor Co Ltd 車載用走行環境認識装置
US6249315B1 (en) 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6125192A (en) 1997-04-21 2000-09-26 Digital Persona, Inc. Fingerprint recognition system
US6803989B2 (en) 1997-07-15 2004-10-12 Silverbrook Research Pty Ltd Image printing apparatus including a microcontroller
AUPO798697A0 (en) 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Data processing method and apparatus (ART51)
US6360021B1 (en) 1998-07-30 2002-03-19 The Regents Of The University Of California Apparatus and methods of image and signal processing
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US6407777B1 (en) 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US6128397A (en) 1997-11-21 2000-10-03 Justsystem Pittsburgh Research Center Method for finding all frontal faces in arbitrarily complex visual scenes
US6148092A (en) 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
US6268939B1 (en) 1998-01-08 2001-07-31 Xerox Corporation Method and apparatus for correcting luminance and chrominance data in digital color images
GB2333590A (en) 1998-01-23 1999-07-28 Sharp Kk Detecting a face-like region
US6556708B1 (en) 1998-02-06 2003-04-29 Compaq Computer Corporation Technique for classifying objects within an image
US6400830B1 (en) 1998-02-06 2002-06-04 Compaq Computer Corporation Technique for tracking objects through a series of images
US6192149B1 (en) 1998-04-08 2001-02-20 Xerox Corporation Method and apparatus for automatic detection of image target gamma
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6097470A (en) 1998-05-28 2000-08-01 Eastman Kodak Company Digital photofinishing system including scene balance, contrast normalization, and image sharpening digital image processing
AUPP400998A0 (en) 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
US6404900B1 (en) 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
DE19837004C1 (de) 1998-08-14 2000-03-09 Christian Eckes Verfahren zum Erkennen von Objekten in digitalisierten Abbildungen
GB2341231A (en) 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
US6456732B1 (en) 1998-09-11 2002-09-24 Hewlett-Packard Company Automatic rotation, cropping and scaling of images for printing
US6606398B2 (en) 1998-09-30 2003-08-12 Intel Corporation Automatic cataloging of people in digital photographs
JP3291259B2 (ja) 1998-11-11 2002-06-10 キヤノン株式会社 画像処理方法および記録媒体
ATE258322T1 (de) 1998-12-02 2004-02-15 Univ Manchester Bestimmung von gesichtsunterräumen
US6263113B1 (en) 1998-12-11 2001-07-17 Philips Electronics North America Corp. Method for detecting a face in a digital image
US6473199B1 (en) 1998-12-18 2002-10-29 Eastman Kodak Company Correcting exposure and tone scale of digital images captured by an image capture device
US6396599B1 (en) 1998-12-21 2002-05-28 Eastman Kodak Company Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters
US6282317B1 (en) 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
US6438264B1 (en) 1998-12-31 2002-08-20 Eastman Kodak Company Method for compensating image color when adjusting the contrast of a digital color image
US6421468B1 (en) 1999-01-06 2002-07-16 Seiko Epson Corporation Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation
US7038715B1 (en) 1999-01-19 2006-05-02 Texas Instruments Incorporated Digital still camera with high-quality portrait mode
US6393148B1 (en) 1999-05-13 2002-05-21 Hewlett-Packard Company Contrast enhancement of an image using luminance and RGB statistical metrics
US6993157B1 (en) 1999-05-18 2006-01-31 Sanyo Electric Co., Ltd. Dynamic image processing method and device and medium
JP3695990B2 (ja) 1999-05-25 2005-09-14 三菱電機株式会社 顔画像処理装置
JP2000347277A (ja) 1999-06-03 2000-12-15 Fuji Photo Film Co Ltd カメラ及び撮影方法
US7248300B1 (en) 1999-06-03 2007-07-24 Fujifilm Corporation Camera and method of photographing good image
US6879705B1 (en) 1999-07-14 2005-04-12 Sarnoff Corporation Method and apparatus for tracking multiple objects in a video sequence
US6501857B1 (en) 1999-07-20 2002-12-31 Craig Gotsman Method and system for detecting and classifying objects in an image
JP2001067459A (ja) 1999-08-26 2001-03-16 Toshiba Corp 顔画像処理方法および顔画像処理装置
US6526161B1 (en) 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
JP4378804B2 (ja) 1999-09-10 2009-12-09 ソニー株式会社 撮像装置
US6501942B1 (en) 1999-10-29 2002-12-31 Qualcomm, Incorporated In-building radio-frequency coverage
US6504951B1 (en) 1999-11-29 2003-01-07 Eastman Kodak Company Method for detecting sky in images
US6754389B1 (en) 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
EP1107166A3 (en) 1999-12-01 2008-08-06 Matsushita Electric Industrial Co., Ltd. Device and method for face image extraction, and recording medium having recorded program for the method
US6516147B2 (en) 1999-12-20 2003-02-04 Polaroid Corporation Scene recognition method and system using brightness and ranging mapping
US6940545B1 (en) 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
US6807290B2 (en) 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US6301440B1 (en) 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP3955170B2 (ja) 2000-07-03 2007-08-08 富士フイルム株式会社 画像検索システム
EP1211640A3 (en) 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
JP4374759B2 (ja) 2000-10-13 2009-12-02 オムロン株式会社 画像比較システムおよび画像比較装置
US7038709B1 (en) 2000-11-01 2006-05-02 Gilbert Verghese System and method for tracking a subject
JP4590717B2 (ja) 2000-11-17 2010-12-01 ソニー株式会社 顔識別装置及び顔識別方法
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US6654507B2 (en) 2000-12-14 2003-11-25 Eastman Kodak Company Automatically producing an image of a portion of a photographic image
US6697504B2 (en) 2000-12-15 2004-02-24 Institute For Information Industry Method of multi-level facial image recognition and system using the same
GB2370438A (en) 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
JP2002199202A (ja) 2000-12-26 2002-07-12 Seiko Epson Corp 画像処理装置
US6760465B2 (en) 2001-03-30 2004-07-06 Intel Corporation Mechanism for tracking colored objects in a video sequence
JP2002305713A (ja) 2001-04-03 2002-10-18 Canon Inc 画像処理装置及びその方法、記憶媒体
JP2002334338A (ja) 2001-05-09 2002-11-22 National Institute Of Advanced Industrial & Technology 物体追跡装置及び物体追跡方法並びに記録媒体
US20020172419A1 (en) 2001-05-15 2002-11-21 Qian Lin Image enhancement using face detection
TW505892B (en) 2001-05-25 2002-10-11 Ind Tech Res Inst System and method for promptly tracking multiple faces
AUPR541801A0 (en) 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6516154B1 (en) 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
US7327891B2 (en) 2001-07-17 2008-02-05 Yesvideo, Inc. Automatic selection of a visual image or images from a collection of visual images, based on an evaluation of the quality of the visual images
US7027619B2 (en) 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US7262798B2 (en) 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US7298412B2 (en) 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
KR100421221B1 (ko) 2001-11-05 2004-03-02 삼성전자주식회사 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
US7162101B2 (en) 2001-11-15 2007-01-09 Canon Kabushiki Kaisha Image processing apparatus and method
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US7050607B2 (en) 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
JP3903783B2 (ja) 2001-12-14 2007-04-11 日本電気株式会社 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
US7035467B2 (en) 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
AU2003219926A1 (en) 2002-02-26 2003-09-09 Canesta, Inc. Method and apparatus for recognizing objects
US7084918B2 (en) 2002-02-28 2006-08-01 Hewlett-Packard Development Company, L.P. White eye portraiture system and method
US7254257B2 (en) 2002-03-04 2007-08-07 Samsung Electronics Co., Ltd. Method and apparatus of recognizing face using component-based 2nd-order principal component analysis (PCA)/independent component analysis (ICA)
US20030190090A1 (en) 2002-04-09 2003-10-09 Beeman Edward S. System and method for digital-image enhancement
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US20040001616A1 (en) 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7020337B2 (en) 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
US7110575B2 (en) 2002-08-02 2006-09-19 Eastman Kodak Company Method for locating faces in digital color images
KR100459438B1 (ko) 2002-10-02 2004-12-03 엘지전자 주식회사 카메라의 정지영상 캡처 방법
US7702489B2 (en) 2002-11-01 2010-04-20 Microsoft Corporation Method and apparatus for fast machine learning using probability maps and fourier transforms
US7233684B2 (en) 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
KR20050085583A (ko) 2002-12-13 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 표정 불변 얼굴 인식
US7120279B2 (en) 2003-01-30 2006-10-10 Eastman Kodak Company Method for face orientation determination in digital color images
JP3984175B2 (ja) 2003-01-31 2007-10-03 富士フイルム株式会社 写真画像選別装置およびプログラム
US7162076B2 (en) 2003-02-11 2007-01-09 New Jersey Institute Of Technology Face detection method and apparatus
US7379560B2 (en) 2003-03-05 2008-05-27 Intel Corporation Method and apparatus for monitoring human attention in dynamic power management
JP2004294498A (ja) 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
US20040223629A1 (en) 2003-05-06 2004-11-11 Viswis, Inc. Facial surveillance system and method
US20040223649A1 (en) 2003-05-07 2004-11-11 Eastman Kodak Company Composite imaging method and system
US7483569B2 (en) 2003-05-29 2009-01-27 Carnegie Mellon University Reduced complexity correlation filters
WO2005113099A2 (en) 2003-05-30 2005-12-01 America Online, Inc. Personalizing content
JP4333223B2 (ja) 2003-06-11 2009-09-16 株式会社ニコン 自動撮影装置
US7317815B2 (en) 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7190829B2 (en) 2003-06-30 2007-03-13 Microsoft Corporation Speedup of face detection in digital images
US7274822B2 (en) 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
US7689033B2 (en) 2003-07-16 2010-03-30 Microsoft Corporation Robust multi-view face detection methods and apparatuses
JP2005044330A (ja) 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP2005078376A (ja) 2003-08-29 2005-03-24 Sony Corp 対象物検出装置、対象物方法、及びロボット装置
US7424170B2 (en) 2003-09-30 2008-09-09 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images
CN100440944C (zh) 2003-11-11 2008-12-03 精工爱普生株式会社 图像处理装置以及图像处理方法
US7274832B2 (en) 2003-11-13 2007-09-25 Eastman Kodak Company In-plane rotation invariant object detection in digitized images
US7924323B2 (en) 2003-12-24 2011-04-12 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
CN1926573A (zh) 2004-01-30 2007-03-07 思代软件公司 用于将主动表观模型应用于图像分析的系统和方法
US7916173B2 (en) 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
CN101036150B (zh) 2004-07-30 2010-06-09 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US7119838B2 (en) 2004-08-19 2006-10-10 Blue Marlin Llc Method and imager for detecting the location of objects
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US20110102553A1 (en) 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7454058B2 (en) 2005-02-07 2008-11-18 Mitsubishi Electric Research Lab, Inc. Method of extracting and searching integral histograms of data samples
US7620208B2 (en) 2005-02-09 2009-11-17 Siemens Corporate Research, Inc. System and method for detecting features from images of vehicles
JP2006254229A (ja) 2005-03-11 2006-09-21 Fuji Photo Film Co Ltd 撮像装置、撮像方法及び撮像プログラム
DE602006009191D1 (de) 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
JP4553384B2 (ja) 2005-09-20 2010-09-29 キヤノン株式会社 撮像装置及びその制御方法、コンピュータプログラム、記憶媒体
US7555149B2 (en) 2005-10-25 2009-06-30 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting videos using face detection
US20070098303A1 (en) 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
CN102231801B (zh) * 2005-11-25 2013-07-10 株式会社尼康 电子摄像机及图像处理装置
US7643659B2 (en) 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
US7953253B2 (en) 2005-12-31 2011-05-31 Arcsoft, Inc. Face detection on mobile devices
JP4767718B2 (ja) 2006-02-24 2011-09-07 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
JP4839908B2 (ja) 2006-03-20 2011-12-21 カシオ計算機株式会社 撮像装置、自動焦点調整方法、およびプログラム
US7787664B2 (en) 2006-03-29 2010-08-31 Eastman Kodak Company Recomposing photographs from multiple frames
JP2007306418A (ja) 2006-05-12 2007-11-22 Fujifilm Corp 撮像装置および撮像制御方法
JP4577275B2 (ja) 2006-06-07 2010-11-10 カシオ計算機株式会社 撮像装置、画像記録方法、および、プログラム
US7715598B2 (en) 2006-07-25 2010-05-11 Arsoft, Inc. Method for detecting facial expressions of a portrait photo by an image capturing electronic device
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8155399B2 (en) * 2007-06-12 2012-04-10 Utc Fire & Security Corporation Generic face alignment via boosting
JP4966816B2 (ja) 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US8266536B2 (en) 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
JP5260360B2 (ja) 2009-03-06 2013-08-14 株式会社ユーシン 電動ステアリングロック装置
ES2880475T3 (es) 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US20170357847A1 (en) * 2016-06-10 2017-12-14 Marwan Jabri Biologically inspired apparatus and methods for pattern recognition

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11689796B2 (en) 2008-01-27 2023-06-27 Adeia Imaging Llc Detecting facial expressions in digital images
US11470241B2 (en) 2008-01-27 2022-10-11 Fotonation Limited Detecting facial expressions in digital images
CN104541514A (zh) * 2012-09-25 2015-04-22 英特尔公司 利用观看者反应估计和视觉提示检测的视频索引
CN104541514B (zh) * 2012-09-25 2018-03-30 英特尔公司 利用观看者反应估计和视觉提示检测的视频索引
CN102999164A (zh) * 2012-11-30 2013-03-27 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
CN107077598A (zh) * 2014-09-12 2017-08-18 微软技术许可有限责任公司 具有隐私保护的视频捕捉
CN108701236A (zh) * 2016-01-29 2018-10-23 快图有限公司 卷积神经网络
US11087433B2 (en) 2016-01-29 2021-08-10 Fotonation Limited Convolutional neural network
CN108701236B (zh) * 2016-01-29 2022-01-21 快图有限公司 卷积神经网络
CN106951856A (zh) * 2017-03-16 2017-07-14 腾讯科技（深圳）有限公司 表情包提取方法及装置
CN107360366B (zh) * 2017-06-30 2020-05-12 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备
CN107360366A (zh) * 2017-06-30 2017-11-17 广东欧珀移动通信有限公司 拍照方法、装置、存储介质及电子设备
CN111183455A (zh) * 2017-08-29 2020-05-19 互曼人工智能科技(上海)有限公司 图像数据处理系统与方法
CN110895685A (zh) * 2019-11-25 2020-03-20 创新奇智(上海)科技有限公司 基于深度学习的微笑服务质量评价系统及评价方法

Also Published As

Publication number Publication date
US9462180B2 (en) 2016-10-04
CN102007499B (zh) 2015-03-11
US8750578B2 (en) 2014-06-10
US10778885B2 (en) 2020-09-15
KR101615254B1 (ko) 2016-04-25
US20180295279A1 (en) 2018-10-11
JP2011511977A (ja) 2011-04-14
KR20100116178A (ko) 2010-10-29
US11470241B2 (en) 2022-10-11
US20210067686A1 (en) 2021-03-04
JP5639478B2 (ja) 2014-12-10
US20220103749A1 (en) 2022-03-31
US20230421886A1 (en) 2023-12-28
US20090190803A1 (en) 2009-07-30
WO2009095168A1 (en) 2009-08-06
US9942470B2 (en) 2018-04-10
US20140347514A1 (en) 2014-11-27
US20170026567A1 (en) 2017-01-26
US11689796B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
CN102007499B (zh) 检测数字图像中的脸部表情
US11527055B2 (en) Feature density object classification, systems and methods
KR102560308B1 (ko) 외관 탐색을 위한 시스템 및 방법
US8358837B2 (en) Apparatus and methods for detecting adult videos
US8867828B2 (en) Text region detection system and method
JP4479478B2 (ja) パターン認識方法および装置
WO2020173022A1 (zh) 一种识别车辆违章行为的方法、服务器及存储介质
US7218759B1 (en) Face detection in digital images
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
US20070041638A1 (en) Systems and methods for real-time object recognition
US20110085728A1 (en) Detecting near duplicate images
Wei et al. Face detection for image annotation
JP2010026603A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
JP2008102611A (ja) 画像処理装置
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN111091056A (zh) 图像中的墨镜识别方法及装置、电子设备、存储介质
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
JP5283267B2 (ja) コンテンツ識別方法及び装置
KR102595910B1 (ko) 차량 번호 자동인식 시스템 및 그 방법
Kilaru Multiple Distortions Identification in Camera Systems
CN115115976A (zh) 视频处理方法、装置、电子设备及存储介质
CN111832626A (zh) 图像识别分类方法、装置及计算机可读存储介质
Kuklyte et al. Identification of moving objects in poor quality surveillance data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Ireland Galway

Applicant after: Digitaloptics Corporation Europe Limited

Address before: Ireland Galway

Applicant before: Tessera Technologies Ireland Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: FOTONATION IRELAND LTD. TO: DIGITAL OPTICAL EUROPE CO., LTD.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Ireland Galway

Applicant after: DIGITALOPTICS CORPORATION EUROPE LIMITED

Address before: Ireland Galway

Applicant before: Digitaloptics Corporation Europe Limited

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: DIGITAL OPTICAL EUROPE CO., LTD. TO: KUAITU CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant