JP2009253848A - 表情認識装置、撮像装置、方法及びプログラム - Google Patents

表情認識装置、撮像装置、方法及びプログラム Download PDF

Info

Publication number
JP2009253848A
JP2009253848A JP2008101818A JP2008101818A JP2009253848A JP 2009253848 A JP2009253848 A JP 2009253848A JP 2008101818 A JP2008101818 A JP 2008101818A JP 2008101818 A JP2008101818 A JP 2008101818A JP 2009253848 A JP2009253848 A JP 2009253848A
Authority
JP
Japan
Prior art keywords
facial expression
evaluation value
image
expression evaluation
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008101818A
Other languages
English (en)
Other versions
JP4914398B2 (ja
JP2009253848A5 (ja
Inventor
Yuji Kaneda
雄司 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008101818A priority Critical patent/JP4914398B2/ja
Priority to US12/936,227 priority patent/US8780221B2/en
Priority to PCT/JP2009/057029 priority patent/WO2009125733A1/en
Publication of JP2009253848A publication Critical patent/JP2009253848A/ja
Publication of JP2009253848A5 publication Critical patent/JP2009253848A5/ja
Application granted granted Critical
Publication of JP4914398B2 publication Critical patent/JP4914398B2/ja
Priority to US14/287,441 priority patent/US9147107B2/en
Priority to US14/831,131 priority patent/US9258482B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】
眼や口などのパーツが似たような形状となっている場合であっても、表情を正確に認識できるようにした表情認識装置、撮像装置、方法及びプログラムを提供する。
【解決手段】
表情認識装置１０は、入力された画像から人物の顔画像を検出し、当該検出した顔画像から表情毎に対応した表情評価値を算出し、当該算出された表情評価値と、表情評価値に対応して設けられた表情判定用閾値との関係を顔画像に基づき更新するとともに、当該更新された表情評価値と表情判定用閾値との関係に基づき顔画像の表情を判定する。
【選択図】 図３

Description

本発明は、表情認識装置、撮像装置、方法及びプログラムに関する。
従来、静止画、動画を含む画像から顔を検出する技術が知られており（非特許文献１）、その検出された顔の表情を判定する技術も知られている（特許文献７）。
この技術に関連して、特許文献１には、複数の表情が含まれた動画から各表情を識別する技術について言及されている。また、特許文献２には、例えば、恐怖、悲しみは音声、幸福、驚きは画像に重み付けして表情を判定する技術について言及されている。また、特許文献３には、無表情とそれ以外の表情との比率に応じて表情を合成して、表情を生成する技術について言及されている。また、特許文献４には、カメラ、マイクロホンなどの各種センサの出力に重み付けを行い、人の情動を推定する技術について言及されている。
また、特許文献５には、例えば、笑顔の度合いと端性さ度合いを算出し、撮影画像がカジュアルな場面であれば、笑顔の度合いに対する評価を端正さの度合いに対する評価よりも優先させて表示させる技術について言及されている。また、特許文献６には、優先度の高い表情と、優先度の低い表情とを設け、表情を表出する技術について言及されている。
特開平１１−２３２４５６号公報 特開平１０−２２８２９５号公報 特開平１０−９１８０８号公報 特開２００５−１９９４０３号公報 特開２００４−４６５９１号公報 特開２００６−２８９５０８号公報 特開２００５−０５６３８８号公報 御手洗祐輔, 森克彦, 真継優和, "選択的モジュール起動を用いたConvolutionalNeuralNetworksによる変動にロバストな 顔検出システム", FIT (情報科学技術フォーラム), Ll-013, 2003
上述した通り、人の表情を認識する技術については種々提案されているが未だ課題がある。例えば、異なる表情であったとしても、眼や口などのパーツが似たような形状となってしまうため、表情を正しく認識できず、誤認識が生じてしまう。このような誤認識は、例えば、図１（ａ）のように笑顔の時に頬の筋肉が持ち上がった状態と、図１（ｃ）のように瞬きにより眼が半開きになった状態との識別に際して生じる。この場合、両者ともに上下瞼間距離が短く、眼の形状が似た状態となり、その区別が難しい。
そのため、例えば、デジタルカメラ等の撮像装置に顔（例えば、眼の形状）の表情を検出する技術を搭載し、図１（ｂ）や図１（ｃ）を眼瞑り画像として判定させるようにした場合、図１（ａ）の画像も失敗とされ、非撮影画像となってしまう虞がある。また、全て眼を開けているときに、笑顔であると判定させるようにした場合には、図２の画像も撮影されてしまう可能性がある。
図２に示す画像を泣き顔とするのか、困っている顔とするのかは、個人差があるためその判定が非常に困難となる。そのため、例えば、複数の識別器から出力される表情評価値の最大値に基づいて表情を判定するようにした場合、困っている表情よりも泣き表情の方が評価値が多少高い場合が多いため、実際には困っている表情であっても、泣き表情と判定されてしまう可能性がある。また、赤ん坊の場合、泣き表情の確率の方が圧倒的に高いが、泣き表情を誤って困り表情と判定してしまう虞がある。
更に、表情の判定に際して、各表情における表情評価値の算出処理を一律に全て行なうような構成では、例えば、図１（ｂ）のように明らかに眼瞑りであっても、複数の表情に対する表情評価値の算出処理が行なわれてしまうため、その処理が無駄となる。
本発明は、上述した問題点に鑑みてなされたものであり、眼や口などのパーツが似たような形状となっている場合であっても、表情を正確に認識できるようにした表情認識装置、撮像装置、方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明の一態様による表情認識装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、前記表情評価値算出手段により算出された表情評価値と、該表情評価値に対応して設けられた表情判定用閾値との関係を前記顔画像に基づき更新する更新手段と、前記更新手段により更新された表情評価値と表情判定用閾値との関係に基づき前記顔画像の表情を判定する表情判定手段とを具備することを特徴とする。
また、本発明の一態様による撮像装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、前記表情評価値算出手段により算出された表情評価値と、該表情評価値に対応して設けられた表情判定用閾値との関係を前記顔画像に基づき更新する更新手段と、前記更新手段により更新された表情評価値と表情判定用閾値との関係に基づき前記顔画像の表情を判定する表情判定手段と、前記表情判定手段により判定された前記顔画像の表情に基づき撮像を行なう撮像手段とを具備することを特徴とする。
また、本発明の一態様による撮像装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、前記表情評価値算出手段により算出された第１の表情に対応した表情評価値及び第２の表情に対応した表情評価値と、該表情評価値各々に対応して設けられた表情判定用閾値との関係に基づき撮像を行なう撮像手段とを具備することを特徴とする。
また、本発明の一態様による表情認識装置における表情認識方法は、画像を入力する画像入力工程と、前記画像入力工程により入力された画像から人物の顔画像を検出する顔検出工程と、前記顔検出工程により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出工程と、前記表情評価値算出工程により算出された表情評価値と、該表情評価値に対応して設けられた表情判定用閾値との関係を前記顔画像に基づき更新する更新工程と、前記更新工程により更新された表情評価値と表情判定用閾値との関係に基づき前記顔画像の表情を判定する表情判定工程とを含むことを特徴とする。
また、本発明の一態様による表情認識プログラムは、コンピュータを、画像から人物の顔画像を検出する顔検出手段、前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段、前記表情評価値算出手段により算出された表情評価値と、該表情評価値に対応して設けられた表情判定用閾値との関係を前記顔画像に基づき更新する更新手段、前記更新手段により更新された表情評価値と表情判定用閾値との関係に基づき前記顔画像の表情を判定する表情判定手段として機能させる。
本発明によれば、表情認識の精度を向上させることができる。
以下、本発明に係わる表情認識装置、撮像装置、方法及びプログラムの一実施の形態について添付図面を参照して詳細に説明する。
（実施形態１）
まず、実施形態１について説明する。図３は、本発明の実施の一形態に係わる表情認識装置１０の構成の一例を示す図である。
表情認識装置１０には、コンピュータが組み込まれている。コンピュータには、ＣＰＵ等の主制御部、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶部が具備される。また、コンピュータには、例えば、各種ボタン、ディスプレイ又はタッチパネル等の入出力部、ネットワークカード等の通信部等も具備される。なお、これら各構成部は、バス等により接続され、主制御部が記憶部に記憶されたプログラムを実行することで制御される。
ここで、表情認識装置１０は、その機能的な構成として、画像入力部１０００と、顔検出部１００１と、表情評価値算出部１００２と、優先処理部１００３と、表情認識部１００４とを具備して構成される。これら機能的な構成の一部又は全ては、ＣＰＵがメモリ等に格納されたプログラム（例えば、表情認識プログラム）を実行することで実現される。なお、ハードウェア構成により実現されてもよい。
画像入力部１０００は、レンズ、ＣＭＯＳセンサ、ＣＣＤなどの撮像素子、アナログ／デジタル（Ａ／Ｄ）変換器、画像処理回路などから成る撮像装置により構成され、画像信号を生成し、それをデジタル画像（以下、単に画像と言う）として入力する。画像入力部１０００では、例えば、人物の顔を含む画像を入力する。なお、画像は、静止画、動画を含むデータである。
顔検出部１００１は、入力された画像から人物の顔を検出する。この顔検出には所定のアルゴリズムを用いればよい。所定のアルゴリズムとしては、例えば、エッジのような低次特徴から眼や口のような高次特徴を階層的に検出し、最終的に顔の重心位置を検出するコンボリューションニューラルネットワークが知られている（非特許文献１）。コンボリューションニューラルネットワークを用いることにより、眼や口の重心位置も求めることができる。
表情評価値算出部１００２は、顔検出部１００１により検出された顔に基づき各表情に対応した表情評価値の算出を行う。表情評価値の算出には所定のアルゴリズムを用いればよい。表情評価値算出部１００２は、表情認識装置１０が表情検出モードで動作している場合のみ機能する。なお、本実施形態においては表情検出モードが選択されているものとして説明する。ここで、表情評価値算出部１００２は、図４に示すように、画像正規化部１１００と、複数表情評価値算出部１１０１とを具備して構成される。
画像正規化部１１００は、顔検出部１００１により検出された顔、眼、口の重心位置に基づき画像入力部１０００により入力された画像に対して正規化処理を行なう。具体的には、図５に示すように、入力された画像１３００から顔画像を切り出し、その画像に対して回転や拡大・縮小等の正規化処理を行う。この正規化処理では、正規化画像１３０１、１３０２に示すように、左右眼位置を結ぶ直線が水平でかつ、左右眼位置の距離が所定距離（例えば、４０ピクセル）となるようにアフィン変換が行なわれる。なお、拡大縮小処理における補間には、どのような技術を採用してもよく、例えば、バイキュービック法を用いればよい。
複数表情評価値算出部１１０１は、喜怒哀楽など基本６表情の基本表情評価値と、眼の開閉度評価値とを算出する。すなわち、笑顔、嫌悪、悲しみ、困り、驚き、怒りに対する各表情に対応した基本表情評価値と、眼の開閉度評価値とを求め、それらを表情評価値として出力する。例えば、笑顔表情評価値と眼の開閉度評価値とを算出する場合には、笑顔表情評価値を算出した後、眼の開閉度評価値を算出する。可能であれば、笑顔表情評価値と眼の開閉度評価値とを並列して算出するようにしてもよい。なお、本実施形態における複数表情評価値算出部１１０１では、喜怒哀楽など基本６表情の評価値と、眼の開閉度の評価値とを算出するが、勿論これ以外の評価値を算出するようにしてもかまわない。
喜怒哀楽などの基本６表情の表情評価値の算出は、周知の技術により実現できる。例えば、特許文献７に開示された技術を用いればよい。この技術では、予め用意された無表情画像から得られた所定の特徴量（図６に示す眼尻と口端点のＹ方向距離Ｙ１など）と入力画像から得られた所定の特徴量（図６に示す眼尻と口端点のＹ方向距離Ｙ２など）との差分から各変化量を算出する。なお、本実施形態においては、予め用意された無表情画像として、複数人物の無表情画像の平均画像を用いる。
また、眼の開閉度評価値の算出方法について簡単に説明すると、眼の開閉度評価値の算出では、まず、図７に示すように、顔検出部１００１により検出された左右の眼重心位置を中心として矩形領域１２００を設定する。矩形領域は、例えば、左右の眼重心位置を中心として所定範囲（上下１０ピクセル、左右１０ピクセル）とする。次に、矩形領域１２００に対して閾値処理を行い、２値化画像を生成する。例えば、矩形領域１２００が８ビット階調（０−２５５階調）である場合には、閾値を１００等に設定する。そして、矩形領域１２００を構成する画素の輝度値が１００以上の画素は輝度値を２５５にし、逆に画素の輝度値が１００より小さい画素は輝度値を０にする。その後、矩形領域１２００内の輝度値が０の画素数をカウントする。図７には、輝度値が０の画素数についてのグラフが示されており、眼を開いた状態では、瞳孔領域が存在するため輝度値が０の画素数が多い。これに対して眼を閉じた状態では、瞳孔領域が隠れてしまうため、輝度値が０の画素数は少なくなる。このことを利用して眼瞑り度の算出を行う（図８参照）。図８に示す目瞑り度は、輝度値が０の画素数を眼瞑り度に変換する関数（例えば、８ビット（０−２５５階調））を用いて算出したものである。この場合、眼瞑り度が２５５に近いほど眼を閉じていることになり、眼瞑り度が０に近いほど眼を開いていることになる。なお、上述した閾値には、画像等に応じた任意の値を設ければよい。
眼瞑り度が２５５となる時の画素数Ｔｈ１は、例えば、大量の眼を閉じた画像から輝度値０の画素数の平均値を算出することにより決められる。また、眼瞑り度が０となる時の画素数Ｔｈ２は、例えば、大量の眼を開いた画像から輝度値０の画素数の平均値を算出することにより決められる。なお、眼瞑り度が２５５となる時の画素数Ｔｈ１、眼瞑り度が０となる時の画素数Ｔｈ２は、これ以外の方法により決めるようにしてもよい。
図３に戻り、優先処理部１００３は、表情評価値算出部１００２で算出された表情評価値に基づき各表情に付与する優先度を決定する。より詳細には、図９に示すような優先度情報テーブル１０１０に基づき表情評価値算出部１００２により算出された表情評価値各々に重み付けを行なうことになる。図９に示す優先度情報テーブル１０１０の一例では、笑顔と眼瞑りがカテゴリ１として分類され、悲しみと困りがカテゴリ２として分類され、驚きはカテゴリ３に分類されている。すなわち、優先度情報テーブル１０１０では、表情各々が所定のカテゴリ毎（表情カテゴリ）に分類されており、優先処理部１００３では、その表情カテゴリ内に分類された表情間との関係で優先度を決める。図９に示す優先度情報テーブル１０１０では、笑顔表情の度合いを示す表情評価値Ｅ１が所定値Ｅｒ１よりも大きければ、笑顔表情の優先度は１、目瞑り表情の優先度は０．５に決められる。つまり、笑顔表情評価値Ｅ１が所定値Ｅｒ１よりも大きければ、目瞑り表情より笑顔表情の重みが大きくなる。一方、笑顔表情の度合いを示す表情評価値Ｅ１が所定値Ｅｒ１よりも小さければ、笑顔表情の優先度は１、目瞑り表情の優先度は１に決められる。なお、図９に示す優先度情報テーブルに規定される優先度（重み）の決め方については後述する。
表情認識部１００４は、顔検出部１００１により検出された顔の表情を判定し、画像入力部１０００により入力された人物の顔の表情を認識する。ここで、表情認識部１００４は、図１０に示すように、表情評価値更新部１４００と、表情判定部１４０１とを具備して構成される。
表情評価値更新部１４００は、優先処理部１００３により決定された表情の優先度に基づき表情評価値算出部１００２により算出された表情評価値と、当該評価値に対応する表情判定用閾値との関係を更新（変更）する。この更新は、下記「式１」のように表情評価値算出部１００２で算出された表情評価値Ｅｉに表情の優先度ｗｉを乗じることで行われる。ｉは表情番号、つまり、各表情を示す値である。例えば、笑顔表情は表情番号１、目瞑り表情は表情番号２とする。Ｅｉ’は更新後の表情番号ｉの表情評価値を示している。
式１ Ｅｉ’＝Ｅｉ×ｗｉ（ｉ≧１）
図１１は、例えば、図１（ａ）に対する更新前の表情評価値Ｅｉと更新後の表情評価値Ｅｉ’を示したグラフである。更新前では表情番号２の表情評価値Ｅ２は比較的高いが、更新後では表情評価値Ｅ２’は低い値になっている。
表情判定部１４０１は、表情評価値更新部１４００による更新結果に基づき顔の表情を判定する。表情の判定は、表情評価値更新部１４００で更新された表情評価値Ｅｉ’に対して所定の閾値処理を実施することにより行なわれる。具体的には、表情評価値Ｅｉ’が表情判定用閾値Ｔｈｉを超えている場合、顔検出部１００１で検出された人物の顔には表情番号ｉの表情が表出していると判定される。
図１２は、例えば、図１（ａ）に対する更新前の表情評価値Ｅｉと更新後の表情評価値Ｅｉ’と各表情番号に対する表情判定用閾値Ｔｈｉを示した図である。図１２に示すように、更新前の表情番号１、２の表情評価値、つまり、笑顔表情の表情評価値Ｅ１と目瞑り表情の表情評価値Ｅ２は夫々の表情判定用閾値Ｔｈ１及びＴｈ２を超えている。よって、更新前の表情評価値Ｅ１とＥ２とからでは、笑顔で眼を閉じていると判定される。しかし、更新後は、笑顔表情の表情評価値Ｅ１’は表情判定用閾値Ｔｈ１を超えているが、目瞑り表情の評価値Ｅ２’は表情判定用閾値Ｔｈ２を超えていないので、笑顔表情であると判定される。つまり、笑顔表情評価値Ｅ１が所定の値以上であれば、目瞑り表情の評価値Ｅ２がそれほど高い値ではない限り、笑顔表情であると判定され、笑顔表情が優先されるようになる。
図１３は、図１（ｂ）に対する更新前の表情評価値Ｅｉと更新後の表情評価値Ｅｉ’と各表情番号に対する表情判定用閾値Ｔｈｉを示した図である。図１３に示すように、更新前の表情番号１、２の表情評価値、つまり、笑顔表情の表情評価値Ｅ１と目瞑り表情の表情評価値Ｅ２は夫々の表情判定用閾値Ｔｈ１及びＴｈ２を超えているので、笑顔で眼を瞑っていると判定される。また、更新後でも笑顔表情の表情評価値Ｅ１と目瞑り表情の表情評価値Ｅ２は夫々の表情判定用閾値Ｔｈ１及びＴｈ２を超えているので、笑顔で眼を瞑っていると判定される。これと同様に、完全に眼を閉じた状態では目瞑りとして判定されることになる。
以上のように、本実施形態では、算出された各表情評価値Ｅｉに基づき各表情の優先度を決定し、各表情評価値Ｅｉを更新するため、例えば、眼瞑り表情の表情評価値Ｅ２が非常に高い値の場合のみ目瞑り表情であると判定されることになる。
ここで、図１４を用いて、図９に示す優先度情報テーブルに規定された優先度について説明する。
優先度情報テーブルには、上述した通り、表情評価値に応じた優先度が設けられる。この優先度をテーブルに規定する際には、まず、所定の表情を有する画像群を用いて表情評価値Ｅｋの度数分布を作成し、その平均μから所定範囲内に存在する最大表情評価値ＥｋＭａｘを算出する。そして、その算出された最大表情評価値ＥｋＭａｘ×優先度ｗｋが表情判定用閾値Ｔｈｋを超えないように優先度ｗｋを決める。例えば、図１（ａ）のような半眼の画像群を用いて目瞑り表情評価値Ｅ２の度数分布を作成し、平均μから所定範囲±２σ内の最大表情評価値Ｅ２Ｍａｘを算出する。そして、最大表情評価値Ｅ２Ｍａｘが表情判定用閾値Ｔｈ２を超えないように優先度ｗ２を決める。
次に、図１５を用いて、図１に示す表情認識装置１０における表情判定処理の流れについて説明する。
ステップＳ１００では、ユーザが、ユーザインターフェイスを用いてモードの選択を行う。例えば、表情検出モードを選択する。ステップＳ１０１では、ユーザにより表情検出モードの選択が行われたかどうか確認し、当該モードが選択されていなければ、ステップＳ１００に戻る。一方、ユーザにより表情検出モードが選択された場合には、ステップＳ１０２へ進む。
ステップＳ１０２では、画像入力部１０００において、画像入力が行われる。ステップＳ１０３では、顔検出部１００１において、ステップＳ１０２で入力された画像から上述した所定の顔検出アルゴリズムを用いた顔検出が行なわれる。
ステップＳ１０４では、ステップＳ１０３で人物の顔が検出されなかった場合には、ステップＳ１０２へ進み、次の画像入力が行われることになるが、人物の顔が検出された場合には、ステップＳ１０５へ進む。
ステップＳ１０５では、画像正規化部１１００において、ステップＳ１０３で検出された人物の顔の画像を正規化するとともに、複数表情評価値算出部１１０１において、当該画像から表情毎の表情評価値Ｅｉを算出する。ステップＳ１０６では、優先処理部１００３において、ステップＳ１０５で算出された表情評価値Ｅｉに基づいて各表情の優先度ｗｉを決定する。
ステップＳ１０７では、表情評価値更新部１４００において、ステップＳ１０６で決定された各表情の優先度ｗｉに基づいて表情評価値Ｅｉを更新するか判定を行う。例えば、表情の優先度ｗ１とｗ２が初期値（例えば、ｗ１＝１．０とｗ２＝１．０）と異なれば、ステップＳ１０８に進み、ステップＳ１０６で決定された表情の優先度ｗｉに基づきステップＳ１０５で算出された表情評価値Ｅｉを更新する。また、そうでないならば、表情評価値Ｅｉの更新は行なわない。
ステップＳ１０９では、表情判定部１４０１において、ステップＳ１０８で更新された表情評価値Ｅｉ’と、上記表情毎の表情判定用閾値Ｔｈｉとを用いた表情の判定がなされる。
ステップＳ１１０では、表情判定処理を終了する場合、そのままこの処理を終了するが、そうでない場合には、ステップＳ１０２へ進み、次の画像入力がなされる。
以上のように実施形態１によれば、算出された表情評価値に基づいて各表情の優先度を決定し、その優先度に基づき表情評価値を更新して表情の判定を行なうようにしたため、表情の判定を精度よく行なえる。例えば、眼や口などのパーツが似たような形状となっている場合であっても、表情を正確に認識できる。これにより、例えば、デジタルカメラなどに表情認識処理を搭載することで最適な撮影を行うことができる。
（実施形態２）
次に、実施形態２について説明する。なお、実施形態２における表情認識装置１０の構成は、実施形態１における図１と同様であるため、その説明は省略する。
ここで、図１６を用いて、実施形態２に係わる表情認識装置１０における表情判定処理の流れについて説明する。なお、ここでは、実施形態１における図１５と相違する処理についてのみ説明する。相違点としては、ステップＳ２０７とステップＳ２０８における処理が異なるところである。
ステップＳ２０７では、実施形態１とは異なり、表情評価値を更新するのではなくて、表情判定用閾値の更新を行う。つまり、図１２で説明したように、表情評価値各々に重みを乗じ、表情評価値を更新するのではなくて、図１７に示すように、表情判定用閾値各々を更新させる。すなわち、表情判定用閾値を変更させることで、表情評価値と当該評価値に対応する表情判定用閾値との関係を更新する。
なお、この表情判定用閾値の決め方としては、図１４に示すように、例えば、図１（ａ）のような半眼の画像群を用いて目瞑り表情評価値Ｅ２の度数分布を作成し、平均μから所定範囲±２σ内の最大表情評価値Ｅ２Ｍａｘを算出する。そして、最大表情評価値Ｅ２Ｍａｘより大きい値を表情判定用閾値Ｔｈ２’とする。
ステップＳ２０７では、表情判定用閾値の更新を行うと判定されたならば、つまり、笑顔表情評価値Ｅ１が表情判定用閾値Ｔｈ１以上ならば、ステップＳ２０８に進み、表情番号２の表情判定用閾値Ｔｈ２をＴｈ２’に変更する。また、そうでなければ、ステップＳ２０９に進む。
以上のように実施形態２によれば、算出された表情評価値に基づいて各表情の優先度を決定し、その優先度に基づき表情判定用閾値を更新して表情の判定を行なうようにしたため、表情の判定を精度よく行なえる。例えば、眼や口などのパーツが似たような形状となっている場合であっても、表情を正確に認識できる。これにより、例えば、デジタルカメラなどに表情認識処理を搭載することで最適な撮影を行うことができる。
（実施形態３）
次に、実施形態３について説明する。なお、実施形態３における表情認識装置１０の構成は、実施形態１における図１と同様であるため、その説明は省略する。
ここで、図１８を用いて、実施形態３に係わる表情認識装置１０における表情判定処理の流れについて説明する。なお、ステップＳ３０１〜ステップＳ３０４までの処理は、実施形態１の図１５におけるステップＳ１０１〜ステップＳ１０４までの処理と同様となるため、ここではその説明は省略し、ステップＳ３０５以降の処理について説明する。
ステップＳ３０５では、画像正規化部１１００において、ステップＳ３０３で検出された人物の顔の画像を正規化するとともに、複数表情評価値算出部１１０１において、当該画像からまず、１つ目の表情評価値Ｅｉを算出する。ここで、実施形態３における表情評価値算出部１００２（実際には、複数表情評価値算出部１１０１）では、表情評価値算出処理を複数並列して行なうことはできず、各表情毎に順番に算出処理を行なう。
ステップＳ３０６では、当該算出された表情評価値Ｅｉが表情判定用閾値Ｔｈｉ以上であるか否かを判定する。例えば、目瞑り表情評価値Ｅｉが所定の表情判定用閾値Ｔｈｉ以上であるか否かを判定する。この結果、表情評価値Ｅｉが表情判定用閾値Ｔｈｉ以上となれば、ステップＳ３０８へ進み、例えば、目瞑り表情評価値Ｅ７が表情判定用閾値Ｔｈ７以上であるならば、その他の表情評価値の算出は行わず、表情を眼瞑りとして判定する。一方、所定の表情評価値Ｅｉが所定の表情判定用閾値Ｔｈｉよりも小さければ、ステップＳ３０７へ進む。
ステップＳ３０７では、全ての表情評価値算出処理が終了したならば、ステップＳ３０８へ進む。一方、全ての表情評価値算出処理が終了していないならば、ステップＳ３０５へ進む。ステップＳ３０８では、全ての表情評価値が算出されれば、全ての表情評価値に基づいて優先度を決め表情を判定する。これに対して、ステップＳ３０６で、所定の表情評価値Ｅｉが所定の表情判定用閾値Ｔｈｉ以上であると判定された場合には、所定の表情判定用閾値Ｔｈｉを超えた表情をステップＳ３０２で入力された画像に含まれた顔の表情として判定する。
以上のように実施形態３によれば、所定の表情評価値Ｅｉが所定の表情判定用閾値Ｔｈｉ以上であれば、所定の表情判定用閾値Ｔｈｉを超えた表情を検出された顔の表情として判定し、その他の表情評価値算出処理を行わない。そのため、余分な処理を省くことができるので、処理負荷を軽減させられる。
（実施形態４）
次に、実施形態４について説明する。実施形態４においては、認証処理（個人認証、年齢認証、性別認証）の結果に基づき優先度を決定し、表情を判定する場合について説明する。なお、実施形態４においては、実施形態１の図１で説明した表情認識装置１０を撮像装置１００に適用した場合について説明する。
図１９は、撮像装置１００における構成の一例を示す図である。実施形態４では撮像装置１００の例として電子スチルカメラを用いる。
１０１は、撮像レンズ群であり、１０２は、絞り装置及びシャッタ装置を備えた光量調節装置である。１０３は、撮像レンズ群を通過した被写体像としての光束を電気信号に変換するＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）等の撮像素子である。１０４は、撮像素子１０３のアナログ信号出力にクランプ処理、ゲイン処理等を行うアナログ信号処理回路である。１０５は、アナログ信号処理回路１０４の出力をデジタル信号に変換するＡ／Ｄ変換器である。
１０７は、デジタル信号処理回路であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御回路１０６からのデータに対して所定の画素補間処理や色変換処理などを行う。また、デジタル信号処理回路１０７は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。更に、その撮像した画像データから、特定被写体の顔検出処理、表情認識処理、個人認証処理、年齢認証処理、性別認証処理を実行する。
システム制御回路１１２は、上述した演算結果に基づき露出制御回路１１３、焦点制御回路１１４に対する制御を実行するＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行う。
メモリ制御回路１０６は、アナログ信号処理回路１０４、Ａ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ１０８、デジタル／アナログ（以下、Ｄ／Ａとする）変換器１０９を制御する。これにより、Ａ／Ｄ変換器１０５でＡ／Ｄ変換されたデータはデジタル信号処理回路１０７、メモリ制御回路１０６を介して、或いはＡ／Ｄ変換器１０５でＡ／Ｄ変換されたデータが直接メモリ制御回路１０６を介して、メモリ１０８に書き込まれる。
メモリ１０８は、表示装置１１０に表示するデータを記憶しており、このメモリ１０８に記録されているデータは、Ｄ／Ａ変換器１０９を介してＴＦＴ、ＬＣＤ等の表示装置１１０に出力されて表示される。また、メモリ１０８は、撮像した静止画象や動画像を格納する。なお、メモリ１０８は、所定枚数の静止画像や所定時間分の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮像する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１０８に対して行うことが可能となる。また、メモリ１０８は、システム制御回路１１２の作業領域としても使用することが可能である。なお、撮像した静止画象や動画像はインターフェース１１１を使用してＣＤ−ＲＯＭ、フロッピー(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等の記憶媒体に書き込んでもよい。
表示装置１１０は、撮像した画像データを逐次表示することができ、この場合、電子ファインダとして機能する。表示装置１１０は、システム制御回路１１２の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合は、オンにした場合に比較して、この撮像装置１００の電力消費を大幅に低減できる。また、システム制御回路１１２でのプログラムの実行に応じて、文字、画像等を用いて動作状態やメッセージ等を表示する。
１１１は、メモリカードやハードディスク等の記憶媒体とのＩ／Ｆ（インタフェース）である。撮像装置１００は、このインターフェース１１１を用いて、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。このインターフェース１１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものにより構成した場合、各種通信カードを接続すれば、インターフェース１１１は通信インターフェースとして機能する。各種通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等が挙げられる。
システム制御回路１１２は、撮像装置１００全体の動作を制御する。システム制御回路１１２内のメモリに、このシステム制御回路１１２の動作用、又は特定被写体の顔や表情を認識する定数、変数、プログラム等を記憶している。なお、ＣＤ−ＲＯＭ、フロッピー(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を使用して、システム制御回路１１２内のメモリに記憶されているこれらの定数、変数、プログラム等も変更可能である。また、このシステム制御回路１１２の動作用、又は特定被写体の顔検出などを行うためのデータやプログラムに関しては、メモリに格納するのではなく、上記記憶媒体等などから読み取ることにより実行させてもよく、上記記載方法に限定しているわけではない。
露出制御回路１１３は、光量調節装置１０２の絞り装置、シャッタ装置を制御する。焦点制御回路１１４は撮像レンズ群１０１のフォーカシング、ズーミングを制御する。露出制御回路１１３、焦点制御回路１１４はＴＴＬ方式を用いて制御されており、撮像した画像データをデジタル信号処理回路１０７によって演算した演算結果に基づき、システム制御回路１１２が露出制御回路１１３、焦点制御回路１１４に対して制御を行う。
図２０は、実施形態４に係わる撮像装置１００における処理の流れを示すフローチャートである。なお、この処理を実行するプログラムは、例えば、システム制御回路１１２内のメモリに記憶されており、システム制御回路１１２の制御の下に実行される。
この処理は、電源投入などにより開始される。まず、ステップＳ４００で、システム制御回路１１２は、内部のメモリの各種フラグや制御変数等を初期化する。
ステップＳ４０１でシステム制御回路１１２は撮像装置１００のモード設定状態を検知する。ユーザはモードとして表情検出モードを選択する。
ステップＳ４０２では、システム制御回路１１２は、選択されたモードに応じた処理を実行し、その処理を終えた後、ステップＳ４０１に戻る。システム制御回路１１２は、ステップＳ４０１で撮影モードが選択されている場合は、ステップＳ４０３に進み、電源の残容量や動作状況が撮像装置１００の動作に問題があるか否かを判断する。システム制御回路１１２は、問題があると判断すると、ステップＳ４０４に進み、表示装置１１０を用いて画像や音声により所定の警告表示を行い、その後、ステップＳ４０１に戻る。電源に問題が無いと判断された場合は、ステップＳ４０５に進む。
ステップＳ４０５では、システム制御回路１１２は記憶媒体の動作状態が撮像装置１００の動作、特に記憶媒体に対する画像データの記録再生動作に問題があるか否かを判断する。システム制御回路１１２は、問題があると判断すると前述のステップＳ４０４に進み、表示装置１１０を用いて、画像や音声により所定の警告表示を行った後、ステップＳ４０１に戻る。記憶媒体に問題がないと判断した場合は、ステップＳ４０６に進む。
ステップＳ４０６では、システム制御回路１１２は、表示装置１１０を用いて画像や音声により撮像装置１００の各種設定状態のユーザインターフェース（以下、ＵＩとする）表示を行う。なお、表示装置１１０の画像表示がオンであったならば、表示装置１１０も用いて画像や音声により撮像装置１００の各種設定状態のＵＩ表示を行ってもよい。こうしてユーザによる各種設定がなされる。
ステップＳ４０７では、システム制御回路１１２は、表示装置１１０の画像表示をオン状態に設定する。更に、ステップＳ４０８で、システム制御回路１１２は、撮像した画像データを逐次表示するスルー表示状態の設定を行なう。スルー表示状態では、メモリ１０８に書き込まれたデータを表示装置１１０に逐次表示することにより、電子ファインダ機能が実現される。
ステップＳ４０９では、撮影者などのユーザによってシャッタースイッチが押下されたかどうかが判定される。シャッタースイッチが押下されていなければ、ステップＳ４０１に戻る。シャッタースイッチが押下されたならば、ステップＳ４１０に進む。
ステップＳ４１０では、システム制御回路１１２は、実施形態１でも説明したような顔検出アルゴリズムを実行させる。ステップＳ４１１では、ステップＳ４１０で人物の顔が検出されたならば、人物の顔に対して所定のＡＥ・ＡＦ制御を行わせる。
ステップＳ４１２では、ステップＳ４１０で検出した人物の顔に対して認証処理を行う。認証処理では、個人認証、年齢認証、性別認証のいずれか又は全てが行なわれる。個人認証には、様々な技術が存在するが、例えば、非特許文献２に開示された技術を用いればよい。具体的には、実施形態１で説明したように、顔検出に用いたＣＮＮの低次（エッジ）特徴から特徴ベクトルを生成し、非特許文献３のようなＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅを用いて予め用意しておいた参照特徴ベクトルと比較し個人認証を行う。
「非特許文献２」
K..Mori, M.Matsugu, T.Suzuki, “Face Recognition Using SVM Fed with Intermediate Output of CNN for Face Detection”, Machine Vision Application, pp410 - 413, 2005
「非特許文献３」
津田宏治, “サポートベクターマシンとは何か”, 電子情報通信学会誌, Vol.83, No.6, pp460-466, 2000
年齢認証では、各年代毎の平均顔を予め用意しておき、当該各年代毎の平均顔とステップＳ４１０で検出した人物の顔とをマッチングし、類似度が最も高い年代をステップＳ４１０で検出した人物の顔の年代として判定（推定）する。なお、各年代毎の平均顔は、例えば、各年代（０〜１０歳、１０〜２０歳、２０〜３０歳など）の正規化画像を大量に収集し、それに基づき作成すればよい。
性別認証では、性別毎の平均顔を予め用意しておき、当該性別毎の平均顔とステップＳ４１０で検出した人物の顔とをマッチングし、類似度が最も高い性別をステップＳ４１０で検出した人物の顔の性別として判定（推定）する。なお、性別毎の平均顔は、例えば、男性と女性の正規化画像を大量に収集し、それに基づき作成すればよい。
ステップＳ４１３では、ステップＳ４１２での認証結果に基づいて表情カテゴリ内の各表情に対する優先度を決める。なお、本実施形態においては、認証処理として個人認証が行なわれたものとする。例えば、ステップＳ４１２における個人認証結果により検出された顔が人物Ａであると判定された場合には、図２１に示すような履歴テーブル２０００を参照することによって表情カテゴリ内の各表情に対して優先度を決める。なお、履歴テーブル２０００は、例えば、システム制御回路１１２内のメモリに格納されており、各人物に対して特定の表情が検出される都度、その履歴が更新される。図２１に示す履歴テーブル２０００を参照すると、人物Ａは、過去に泣き表情が３０回、困り表情が０回検出されており、困り表情よりも泣き表情の方が発生頻度が高いので、泣き表情の優先度は１．３、困り表情の優先度は０．８となっている。この優先度は、履歴テーブル２０００と、優先度情報テーブル（人物用テーブル）とを用いて決められる。例えば、人物Ａは泣き表情が３０回、困り表情が０回で泣き表情と困り表情の比率が３０対０なので、泣き表情の優先度を１．３、困り表情の優先度を０．８とする。
このように表情検出履歴を用いて表情カテゴリ内における各表情の優先度を決めることで、例えば、図２２に示すように、更新前では、人物Ａの表情は困り表情であると判定されるが、更新後では、人物Ａの表情は泣き表情であると判定されるようになる。例えば、人物Ａが赤ちゃんである場合には、泣き表情の方が過去の検出頻度が高いので、困り表情よりも泣き表情と判定される可能性が高くなる。
なお、認証処理に年代認証や性別認証を行う場合も同様に、図２１に示す年代用テーブル２００１、性別用テーブル２００２を用いることにより各優先度を決定する。０〜１０歳は困り表情よりも泣き表情の方が一般的に発生確率が高いので、例えば、図２１の年代用テーブル２００１のように、０〜１０歳は困り表情よりも泣き表情の方が優先度が高くなるように設定されている。
図２０に戻り、ステップＳ４１４で撮像した画像データをスルー表示した後、ステップＳ４１５では実施形態１で説明した表情評価値算出アルゴリズムを用いて表情評価値Ｅｉの算出を行う。
ステップＳ４１６では、ステップＳ４１３で決められた優先度ｗｉに基づきステップＳ４１５で算出された表情評価値Ｅｉを更新した後、表情判定用閾値Ｔｈｉ処理を行うことで表情を判定する。
ステップＳ４１７では、撮像装置は、ステップＳ４１６で判定された表情に基づいて撮影を行うか否かを自動的に判定する。例えば、表情検出履歴を参照して検出頻度が少ない下位３位以内の表情であれば珍しい表情として撮影する。ステップＳ４１７で撮影と判定された場合には撮影動作が行われ、ステップＳ４１８で撮影画像をクイックレビュー表示した後、システム制御回路１１２は、ステップＳ４２０で撮影した画像をインターフェース１１１を通して不揮発性メモリカード等に記憶させる。ステップＳ４１７で撮影と判定されなかった場合には、ステップＳ４１０へ戻り、次の画像に対して処理を行う。ステップＳ４２１で自動撮影終了であれば、自動撮影を終了するが、ステップＳ４２１で自動撮影終了でない場合には、ステップＳ４１０へ戻り、次の画像に対して処理を行う。
以上のように実施形態４によれば、個人認証結果、年齢認証結果、性別認証結果に基づいて各表情に対する優先度を決め、個人、年代、性別に特化した表情認識を行うことができる。なお、本実施形態においては、表情認識装置１０を撮像装置１００に適用させた場合について説明をしたが、表情認識装置１０をパーソナルコンピュータなどに適用し、画像検索に利用してもよい。
（実施形態５）
次に、実施形態５について説明する。実施形態５においては、優先する表情（第１の表情）と非優先の表情（第２の表情）とを予め設定しておき、その設定された表情と表情評価値とに基づき撮影を行なう場合について説明する。なお、実施形態５においては、実施形態４同様に、実施形態１の図１で説明した表情認識装置１０を撮像装置１００に適用した場合について説明する。実施形態５における撮像装置１００の構成は、実施形態４における図１９と同様であるため、その説明は省略する。
図２３は、実施形態５に係わる撮像装置１００における処理の流れを示すフローチャートである。なお、この処理を実行するプログラムは、例えば、システム制御回路１１２内のメモリに記憶されており、システム制御回路１１２の制御の下に実行される。
この処理は、電源投入などにより開始される。まず、ステップＳ５００で、システム制御回路１１２は、内部のメモリの各種フラグや制御変数等を初期化する。
ステップＳ５０１でシステム制御回路１１２は撮像装置１００のモード設定状態を検知する。実施形態５においては、ユーザが撮影対象とする表情として笑顔表情を選択したこととする。撮影対象表情として笑顔表情が選択されると、システム制御回路１１２は、例えば、優先表情を笑顔表情、非優先表情を目瞑り表情に設定する。ここで、ステップＳ５０２からステップＳ５１３までの処理は、実施形態４の図２０におけるステップＳ４０２からステップＳ４１３までの処理と同様となるため、ここではその説明は省略する。
ステップＳ５１４では、ステップＳ５０１で設定された優先表情の表情評価値Ｅ５が表情判定用閾値Ｔｈ５以上か否かを判定する。つまり、優先表情である笑顔表情の表情評価値Ｅ５が表情判定用閾値Ｔｈ５以上であるか判定する。優先表情である笑顔表情の表情評価値Ｅ５が表情判定用閾値Ｔｈ５以上であるならば、ステップＳ５１５へ進む。
ステップＳ５１５では、非優先表情である表情の表情評価値Ｅ６が表情判定用閾値Ｔｈ６以上であるか判定する。つまり、非優先表情である眼瞑り表情の表情評価値Ｅ６が表情判定用閾値Ｔｈ６以上であるか判定する。なお、目瞑り表情の評価値Ｅ６は、眼を瞑っている度合いを示す。非優先表情である眼瞑り表情の表情評価値Ｅ６が表情判定用閾値Ｔｈ６を下回っていれば、ステップＳ５１６へ進み、撮影を行う。
ステップＳ５１７では撮影された画像をクイックレビュー表示した後、システム制御回路１１２は、ステップＳ５１６で撮影した画像をインターフェース１１１を通して不揮発性メモリカード等に記憶させる。ステップＳ５１４で優先表情評価値Ｅ５が表情判定用閾値Ｔｈ５以上でない場合、ステップＳ５１５で非優先表情評価値Ｅ６が表情判定用閾値Ｔｈ６以上である場合には、ステップＳ５２０では撮影は行われない。すなわち、優先表情である笑顔の表情評価値が所定の閾値を超え（笑顔表情の表情判定用閾値以上）、更に、非優先表情である眼瞑り表情が所定の閾値を下回っている場合（眼瞑り表情の表情判定用閾値未満）にのみ撮影が行なわれる。
ステップＳ５１９では、自動撮影終了であるならば、処理を終了させるが、そうでなければ、ステップＳ５１０へ進み、次の画像に対して処理が行われる。
以上のように実施形態５によれば、優先する表情（第１の表情）の表情評価値が所定値以上であっても非優先の表情（第２の表情）の表情報価値が所定値を下回っていなければ、撮影を行わない。このようにすることで眼を開いた笑顔表情のみを笑顔表情として撮影させられる。これにより、ユーザが求める最適な表情を撮影することができる。
なお、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できる。
例えば、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
また、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置に内蔵されたコンピュータがそのプログラムコードを読み出して実行することにより前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
したがって、本発明の機能処理をコンピュータで実現するために、当該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳ（Operating System）に供給するスクリプトデータ等の形態であってもよい。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部又は全部を行ない、その処理によって前述した実施形態の機能が実現される。
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行なう。
顔を含む画像の一例を示す第１の図である。 顔を含む画像の一例を示す第２の図である。 本発明の実施の一形態に係わる表情認識装置１０の構成の一例を示す図である。 図３に示す表情評価値算出部１００２における構成の一例を示す図である。 正規化処理の概要を説明するための図である。 表情評価値の算出処理の概要を説明するための図である。 眼の開閉度評価値の算出処理の概要を説明するための第１の図である。 眼の開閉度評価値の算出処理の概要を説明するための第２の図である。 優先度情報テーブルの概要を示す図である。 図３に示す表情認識部１００４における構成の一例を示す図である。 表情評価値の更新処理の概要を説明するための第１の図である。 表情評価値の更新処理の概要を説明するための第２の図である。 表情評価値の更新処理の概要を説明するための第３の図である。 優先度の規定方法の概要を説明するための図である。 図１に示す表情認識装置１０における表情判定処理の流れを示すフローチャートである。 実施形態２に係わる表情認識装置１０における表情判定処理の流れを示すフローチャートである。 実施形態２に係わる表情評価値の更新処理の概要を説明するための図である。 実施形態３に係わる表情認識装置１０における表情判定処理の流れを示すフローチャートである。 撮像装置１００における構成の一例を示す図である。 図１９に示す撮像装置１００における処理の流れを示すフローチャートである。 履歴テーブル、優先度情報テーブル（人物用、年代用、性別用）の概要を示す図である。 実施形態４に係わる表情評価値の更新処理の概要を説明するための図である。 実施形態５に係わる撮像装置１００における処理の流れを示すフローチャートである。
符号の説明
１０ 表情認識装置
１００ 撮像装置
１０１ レンズ群
１０２ 光量調節装置
１０３ 撮像素子
１０４ アナログ信号処理回路
１０５ Ａ／Ｄ変換器
１０６ メモリ制御回路
１０７ デジタル信号処理回路
１０８ メモリ
１０９ Ｄ／Ａ変換器
１１０ 表示装置
１１１ Ｉ／Ｆ
１１２ システム制御回路
１１３ 露出制御回路
１１４ 焦点制御回路
１０００ 画像入力部
１００１ 顔検出部
１００２ 表情評価値算出部
１００３ 優先処理部
１００４ 表情認識部
１１００ 画像正規化部
１１０１ 複数表情評価値算出部
１４００ 表情評価値更新部
１４０１ 表情判定部

Claims (13)

  1. 画像を入力する画像入力手段と、
    前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、
    前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、
    前記表情評価値算出手段により算出された表情評価値と、該表情評価値に対応して設けられた表情判定用閾値との関係を前記顔画像に基づき更新する更新手段と、
    前記更新手段により更新された表情評価値と表情判定用閾値との関係に基づき前記顔画像の表情を判定する表情判定手段と
    を具備することを特徴とする表情認識装置。
  2. 前記更新手段は、
    前記表情評価値算出手段により算出された表情評価値に基づき、表情評価値と該表情評価値に対応して設けられた表情判定用閾値との関係を更新する
    ことを特徴とする請求項１記載の表情認識装置。
  3. 前記更新手段は、
    前記表情評価値算出手段により算出された表情評価値に基づき、該表情評価値を重み付けすることで前記更新を行なう
    ことを特徴とする請求項２記載の表情認識装置。
  4. 前記更新手段は、
    前記表情評価値算出手段により算出された表情評価値に基づき、前記表情判定用閾値を重み付けすることで前記更新を行なう
    ことを特徴とする請求項２記載の表情認識装置。
  5. 前記更新手段は、
    表情の検出履歴に基づき、表情評価値と該表情評価値に対応して設けられた表情判定用閾値との関係を更新する
    ことを特徴とする請求項１記載の表情認識装置。
  6. 前記更新手段は、
    前記顔検出手段により検出された顔画像から推定された年齢に基づき、表情評価値と該表情評価値に対応して設けられた表情判定用閾値との関係を更新する
    ことを特徴とする請求項１記載の表情認識装置。
  7. 前記表情判定手段は、
    前記顔検出手段により検出された顔から推定された性別に基づき、表情評価値と該表情評価値に対応して設けられた表情判定用閾値との関係を更新する
    ことを特徴とする請求項１記載の表情認識装置。
  8. 表情各々は、カテゴリに分類されており、
    前記更新手段は、
    前記分類されたカテゴリ毎に該カテゴリに属する表情各々の前記表情評価値と前記表情判定用閾値との関係を更新する
    ことを特徴とする請求項１乃至７いずれか一項に記載の表情認識装置。
  9. 画像を入力する画像入力手段と、
    前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、
    前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、
    前記表情評価値算出手段により算出された表情評価値と、該表情評価値に対応して設けられた表情判定用閾値との関係を前記顔画像に基づき更新する更新手段と、
    前記更新手段により更新された表情評価値と表情判定用閾値との関係に基づき前記顔画像の表情を判定する表情判定手段と、
    前記表情判定手段により判定された前記顔画像の表情に基づき撮像を行なう撮像手段と
    を具備することを特徴とする撮像装置。
  10. 画像を入力する画像入力手段と、
    前記画像入力手段により入力された画像から人物の顔画像を検出する顔検出手段と、
    前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段と、
    前記表情評価値算出手段により算出された第１の表情に対応した表情評価値及び第２の表情に対応した表情評価値と、該表情評価値各々に対応して設けられた表情判定用閾値との関係に基づき撮像を行なう撮像手段と
    を具備することを特徴とする撮像装置。
  11. 前記撮像手段は、
    前記第１の表情の表情評価値が該表情評価値に対応して設けられた表情判定用閾値以上で、かつ前記第２の表情の表情評価値が該表情評価値に対応して設けられた表情判定用閾値未満であれば、撮像を行なう
    ことを特徴とする請求項１０記載の撮像装置。
  12. 画像を入力する画像入力工程と、
    前記画像入力工程により入力された画像から人物の顔画像を検出する顔検出工程と、
    前記顔検出工程により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出工程と、
    前記表情評価値算出工程により算出された表情評価値と、該表情評価値に対応して設けられた表情判定用閾値との関係を前記顔画像に基づき更新する更新工程と、
    前記更新工程により更新された表情評価値と表情判定用閾値との関係に基づき前記顔画像の表情を判定する表情判定工程と
    を含むことを特徴とする表情認識装置における表情認識方法。
  13. コンピュータを、
    画像から人物の顔画像を検出する顔検出手段、
    前記顔検出手段により検出された顔画像から表情毎に対応した表情評価値を算出する表情評価値算出手段、
    前記表情評価値算出手段により算出された表情評価値と、該表情評価値に対応して設けられた表情判定用閾値との関係を前記顔画像に基づき更新する更新手段、
    前記更新手段により更新された表情評価値と表情判定用閾値との関係に基づき前記顔画像の表情を判定する表情判定手段
    として機能させるための表情認識プログラム。
JP2008101818A 2008-04-09 2008-04-09 表情認識装置、撮像装置、方法及びプログラム Active JP4914398B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008101818A JP4914398B2 (ja) 2008-04-09 2008-04-09 表情認識装置、撮像装置、方法及びプログラム
US12/936,227 US8780221B2 (en) 2008-04-09 2009-03-31 Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
PCT/JP2009/057029 WO2009125733A1 (en) 2008-04-09 2009-03-31 Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US14/287,441 US9147107B2 (en) 2008-04-09 2014-05-27 Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US14/831,131 US9258482B2 (en) 2008-04-09 2015-08-20 Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008101818A JP4914398B2 (ja) 2008-04-09 2008-04-09 表情認識装置、撮像装置、方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2009253848A true JP2009253848A (ja) 2009-10-29
JP2009253848A5 JP2009253848A5 (ja) 2011-05-26
JP4914398B2 JP4914398B2 (ja) 2012-04-11

Family

ID=41161866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008101818A Active JP4914398B2 (ja) 2008-04-09 2008-04-09 表情認識装置、撮像装置、方法及びプログラム

Country Status (3)

Country Link
US (3) US8780221B2 (ja)
JP (1) JP4914398B2 (ja)
WO (1) WO2009125733A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010034685A (ja) * 2008-07-25 2010-02-12 Nikon Corp デジタルカメラ
JP2010041309A (ja) * 2008-08-04 2010-02-18 Nec Corp 撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体
CN102377905A (zh) * 2010-08-18 2012-03-14 佳能株式会社 图像摄取装置及其控制方法
WO2012036669A1 (en) * 2010-09-13 2012-03-22 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
US8773548B2 (en) 2009-12-18 2014-07-08 Fujitsu Limited Image selection device and image selecting method
CN110688930A (zh) * 2019-09-20 2020-01-14 Oppo广东移动通信有限公司 人脸检测方法、装置、移动终端及存储介质

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
JP5361547B2 (ja) * 2008-08-07 2013-12-04 キヤノン株式会社 撮像装置及び撮影方法、プログラム
US11410438B2 (en) * 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US8610788B2 (en) * 2011-02-08 2013-12-17 International Business Machines Corporation Content storage management in cameras
US8902344B2 (en) * 2011-12-28 2014-12-02 Canon Kabushiki Kaisha Display control apparatus, image capture apparatus, display control method, and image capture apparatus control method
US8984065B2 (en) 2012-08-01 2015-03-17 Eharmony, Inc. Systems and methods for online matching using non-self-identified data
US20140095109A1 (en) * 2012-09-28 2014-04-03 Nokia Corporation Method and apparatus for determining the emotional response of individuals within a group
US10453355B2 (en) 2012-09-28 2019-10-22 Nokia Technologies Oy Method and apparatus for determining the attentional focus of individuals within a group
US20150208000A1 (en) * 2012-10-22 2015-07-23 Nokia Corporation Personalized media remix
US9503632B2 (en) * 2012-12-04 2016-11-22 Lg Electronics Inc. Guidance based image photographing device and method thereof for high definition imaging
US11352812B2 (en) * 2013-03-15 2022-06-07 August Home, Inc. Door lock system coupled to an image capture device
US20140281975A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System for adaptive selection and presentation of context-based media in communications
US9547808B2 (en) 2013-07-17 2017-01-17 Emotient, Inc. Head-pose invariant recognition of facial attributes
US9104907B2 (en) * 2013-07-17 2015-08-11 Emotient, Inc. Head-pose invariant recognition of facial expressions
JP2016529612A (ja) * 2013-08-02 2016-09-23 エモティエント インコーポレイテッド 画像情動コンテンツに基づくフィルタ及びシャッター
WO2015145219A1 (en) 2014-03-28 2015-10-01 Navaratnam Ratnakumar Systems for remote service of customers using virtual and physical mannequins
CN104008320A (zh) * 2014-05-19 2014-08-27 惠州Tcl移动通信有限公司 基于人脸识别的使用权限和用户模式控制方法及系统
KR101653812B1 (ko) 2014-12-05 2016-09-05 연세대학교 산학협력단 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법
US9576190B2 (en) * 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
US10547610B1 (en) * 2015-03-31 2020-01-28 EMC IP Holding Company LLC Age adapted biometric authentication
US9967618B2 (en) * 2015-06-12 2018-05-08 Verizon Patent And Licensing Inc. Capturing a user reaction to media content based on a trigger signal and using the user reaction to determine an interest level associated with a segment of the media content
CN105404878A (zh) * 2015-12-11 2016-03-16 广东欧珀移动通信有限公司 一种照片分类方法和装置
US10229324B2 (en) 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
US10410045B2 (en) * 2016-03-23 2019-09-10 Intel Corporation Automated facial recognition systems and methods
KR20180057096A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 표정 인식과 트레이닝을 수행하는 방법 및 장치
US11196826B2 (en) * 2016-12-23 2021-12-07 DISH Technologies L.L.C. Communications channels in media systems
US10282592B2 (en) * 2017-01-12 2019-05-07 Icatch Technology Inc. Face detecting method and face detecting system
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
TWI662438B (zh) * 2017-12-27 2019-06-11 緯創資通股份有限公司 防止危險自拍之方法、裝置、及儲存媒體
GB2572984A (en) * 2018-04-18 2019-10-23 Sony Corp Method and data processing apparatus
CN108921061B (zh) * 2018-06-20 2022-08-26 腾讯科技（深圳）有限公司 一种表情识别方法、装置和设备
AU2019376682A1 (en) 2018-11-09 2021-05-27 Akili Interactive Labs, Inc, Facial expression detection for screening and treatment of affective disorders
WO2020124577A1 (zh) * 2018-12-21 2020-06-25 华为技术有限公司 相机拍摄参数的确定方法和装置
CN109886697B (zh) * 2018-12-26 2023-09-08 巽腾(广东)科技有限公司 基于表情组别的操作确定方法、装置及电子设备
CN111507143B (zh) * 2019-01-31 2023-06-02 北京字节跳动网络技术有限公司 表情图像效果生成方法、装置和电子设备
US10423773B1 (en) * 2019-04-12 2019-09-24 Coupang, Corp. Computerized systems and methods for determining authenticity using micro expressions
JP6675564B1 (ja) * 2019-05-13 2020-04-01 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
US10705488B1 (en) 2019-09-19 2020-07-07 Coupang Corp. Systems and methods for computer-determined efficient bagging of ordered items
JP7266688B2 (ja) * 2020-05-21 2023-04-28 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ユーザインタラクション方法、装置、機器および媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272933A (ja) * 2004-06-03 2004-09-30 Toshiba Corp 顔画像監視システム
JP2004294498A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP2006237803A (ja) * 2005-02-23 2006-09-07 Konica Minolta Photo Imaging Inc 撮像システム、写真撮影スタジオ、撮像システムの制御方法
JP2006344236A (ja) * 2006-08-04 2006-12-21 Nec Corp 顔メタデータ生成方法および装置、並びに顔認識方法およびシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918499B2 (ja) 1996-09-17 1999-07-12 株式会社エイ・ティ・アール人間情報通信研究所 顔画像情報変換方法および顔画像情報変換装置
JP2967058B2 (ja) 1997-02-14 1999-10-25 株式会社エイ・ティ・アール知能映像通信研究所 階層的感情認識装置
JP2948186B2 (ja) 1998-02-10 1999-09-13 株式会社エイ・ティ・アール知能映像通信研究所 顔動画像からの表情抽出方法
JP2004046591A (ja) 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
EP2955662B1 (en) 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP4743823B2 (ja) 2003-07-18 2011-08-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP4612806B2 (ja) 2003-07-18 2011-01-12 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置
JP2005199403A (ja) 2004-01-16 2005-07-28 Sony Corp 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置
JP2005234686A (ja) * 2004-02-17 2005-09-02 Fuji Xerox Co Ltd 表情認識装置、表情認識方法、およびプログラム
WO2006040761A2 (en) * 2004-10-15 2006-04-20 Oren Halpern A system and a method for improving the captured images of digital still cameras
JP2006289508A (ja) 2005-04-05 2006-10-26 Sony Corp ロボット装置及びその表情制御方法
JP5239126B2 (ja) * 2006-04-11 2013-07-17 株式会社ニコン 電子カメラ
JP4264663B2 (ja) * 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
US20080260212A1 (en) * 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity
JP4999570B2 (ja) 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
JP4829186B2 (ja) 2007-07-27 2011-12-07 オリンパスイメージング株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294498A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP2004272933A (ja) * 2004-06-03 2004-09-30 Toshiba Corp 顔画像監視システム
JP2006237803A (ja) * 2005-02-23 2006-09-07 Konica Minolta Photo Imaging Inc 撮像システム、写真撮影スタジオ、撮像システムの制御方法
JP2006344236A (ja) * 2006-08-04 2006-12-21 Nec Corp 顔メタデータ生成方法および装置、並びに顔認識方法およびシステム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010034685A (ja) * 2008-07-25 2010-02-12 Nikon Corp デジタルカメラ
JP2010041309A (ja) * 2008-08-04 2010-02-18 Nec Corp 撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体
US8773548B2 (en) 2009-12-18 2014-07-08 Fujitsu Limited Image selection device and image selecting method
CN102377905A (zh) * 2010-08-18 2012-03-14 佳能株式会社 图像摄取装置及其控制方法
US8625000B2 (en) 2010-08-18 2014-01-07 Canon Kabushiki Kaisha Image pickup apparatus that continuously takes images to obtain multiple images, control method therefor, and storage medium
US9060158B2 (en) 2010-08-18 2015-06-16 Canon Kabushiki Kaisha Image pickup apparatus that continuously takes images to obtain multiple images, control method therefor, and storage medium
WO2012036669A1 (en) * 2010-09-13 2012-03-22 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
US8983202B2 (en) 2010-09-13 2015-03-17 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
CN110688930A (zh) * 2019-09-20 2020-01-14 Oppo广东移动通信有限公司 人脸检测方法、装置、移动终端及存储介质
CN110688930B (zh) * 2019-09-20 2023-07-18 Oppo广东移动通信有限公司 人脸检测方法、装置、移动终端及存储介质

Also Published As

Publication number Publication date
US20150356348A1 (en) 2015-12-10
US9258482B2 (en) 2016-02-09
JP4914398B2 (ja) 2012-04-11
US9147107B2 (en) 2015-09-29
WO2009125733A1 (en) 2009-10-15
US20140270376A1 (en) 2014-09-18
US20110032378A1 (en) 2011-02-10
US8780221B2 (en) 2014-07-15

Similar Documents

Publication Publication Date Title
JP4914398B2 (ja) 表情認識装置、撮像装置、方法及びプログラム
JP5055166B2 (ja) 眼の開閉度判定装置、方法及びプログラム、撮像装置
JP4974788B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP4898532B2 (ja) 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体
JP5755012B2 (ja) 情報処理装置、その処理方法、プログラム及び撮像装置
US20080117310A1 (en) Image capturing apparatus, control method therefor, program, and storage medium
JP2012044415A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2008310775A (ja) 表情認識装置及び方法、並びに撮像装置
JP2008186303A (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2012118817A (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP5641813B2 (ja) 撮像装置及び撮像方法、画像処理装置及び画像処理方法
JP2010041435A (ja) 撮像装置及びその制御方法
JP2005149370A (ja) 画像撮影装置、個人認証装置及び画像撮影方法
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
JP5386880B2 (ja) 撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体
JP2008167028A (ja) 撮像装置
JP6038242B2 (ja) 撮像装置、撮像装置の作動方法及びプログラム
JP4781299B2 (ja) 画像処理装置及び画像処理方法並びに撮像装置
JP2013141104A (ja) 撮像装置
JP5609367B2 (ja) 電子カメラ及び画像処理プログラム
JP2008217525A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP4909009B2 (ja) 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP2014013986A (ja) 撮像装置
JP2015043603A (ja) 画像処理装置及びその制御方法、撮像装置及びその制御方法、並びにプログラム
JP2010200242A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120120

R151 Written notification of patent or utility model registration

Ref document number: 4914398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3