JP2007004313A - 撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム - Google Patents

撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム Download PDF

Info

Publication number
JP2007004313A
JP2007004313A JP2005181320A JP2005181320A JP2007004313A JP 2007004313 A JP2007004313 A JP 2007004313A JP 2005181320 A JP2005181320 A JP 2005181320A JP 2005181320 A JP2005181320 A JP 2005181320A JP 2007004313 A JP2007004313 A JP 2007004313A
Authority
JP
Japan
Prior art keywords
image data
face
search
unit
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005181320A
Other languages
English (en)
Other versions
JP4457980B2 (ja
Inventor
Miyuki Okada
深雪 岡田
Yoshihiro Suzuki
義弘 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005181320A priority Critical patent/JP4457980B2/ja
Priority to TW095120306A priority patent/TW200721039A/zh
Priority to KR1020060051728A priority patent/KR101180900B1/ko
Priority to EP06253022A priority patent/EP1737215A1/en
Priority to US11/471,076 priority patent/US7796838B2/en
Priority to CN2006100864663A priority patent/CN1885910B/zh
Publication of JP2007004313A publication Critical patent/JP2007004313A/ja
Application granted granted Critical
Publication of JP4457980B2 publication Critical patent/JP4457980B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 効率良く高速に画像データから顔部を検出する。
【解決手段】 モニタリングモード探索方向指示部３３０は、顔検出結果ＲＡＭ１１０に保持されている前フレームまたは数フレーム前の画像データにおける顔部の検出結果に含まれる探索方向などに基づいて顔検出における画像データの探索方向を指示選択部３５０に供給する。また、キャプチャモード探索方向指示部３４０は、予め設定された顔検出における画像データの探索方向を指示選択部３５０に供給する。操作部１１１から画像データを記録すべき旨の信号が出力された場合は、指示選択部３５０は、キャプチャモード探索方向指示部３４０から供給される探索方向を顔検出制御部２５０に伝え、上記信号が出力されない場合は、モニタリングモード探索方向指示部３３０から供給される探索方向を顔検出制御部２５０に伝える。
【選択図】 図４

Description

本発明は、画像データに含まれる顔部を検出する撮像装置に関し、特に操作状態に応じて顔部の検出方法を変える撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、デジタルスチルカメラは、本来の静止画のみならず動画をも撮像可能なものが急速に普及している。これらのデジタルスチルカメラは高性能化してきており、特に検出・認識系技術が注目されてきている。この検出・認識系技術の代表的なものが顔検出技術である。
ところで、デジタルスチルカメラにおいて、被写体を撮像する際には、デジタルスチルカメラをいろいろな向きに傾けて撮像することが多い。横長のデジタルスチルカメラを、例えば、「９０度」回転させて撮像することはよく行われている。このようなデジタルスチルカメラの回転は、時計方向を正方向とすると、「０度」回転、「＋９０度」回転、「−９０度」回転、「１８０度」回転が想定される。従来、このデジタルスチルカメラの回転に関する情報について、例えば、「＋９０度」回転のように回転の向きについての情報を入力して、その入力された回転の向きに基づいて撮像された画像データにおいて顔部の検出をする技術が提案されている（例えば、特許文献１参照。）。また、画像データから検出された顔部が複数ある場合にその顔部の数をカウントして写真の焼き増しに利用する技術も提案されている（例えば、特許文献２参照。）。
特開２００４−６２５６５号公報（図１） 特開平９−２８１６０５号公報（図１）
しかしながら、上述の回転の向きについての情報を入力してその入力された回転の向きに基づいて撮像された画像データにおいて顔部の検出をする技術では、予め回転の向きを入力する必要があり、操作が煩雑である。このような操作を行うことなく画像データから顔部を検出するには「０度」回転、「＋９０度」回転、「−９０度」回転、「１８０度」回転して撮像された全ての場合を考慮して全ての回転の向きから画像データの顔部を探索することが考えられるが、多くの時間を要することになるため現実的ではない。一方、顔検出において画像データの探索を行う際に「０度」回転、「＋９０度」回転、「−９０度」回転、「１８０度」回転して撮像された全ての場合を考慮せずに、例えば「０度」回転、「＋９０度」回転のみを行うというようにすれば高速な顔検出を行うことは可能であるが、顔部を検出できない場合も増加して検出率が低下するおそれがある。
また、画像データから顔部を検出する際に得られる情報を画像データの画像付随情報として画像データと関連付けて記録することができれば、既に記録された画像データを様々な観点から検索することが可能になる。
そこで、本発明は、効率良く高速に画像データから顔部を検出する撮像装置を提供することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、画像データを少なくとも１つの方向から探索して上記画像データにおける顔部を検出する顔検出手段と、上記画像データを記録するモードであるキャプチャモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するキャプチャモード探索方向指示手段と、上記画像データを表示させるモードであるモニタリングモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するモニタリングモード探索方向指示手段とを具備することを特徴とする撮像装置である。これにより、画像データの記録時と画像データを記録しない時とで画像データから顔部を検出する際の探索方向を変化させるという作用をもたらす。すなわち、キャプチャモードとモニタリングモードでは、顔検出における重要性が異なるが、それを反映させた画像データの処理を行うことが可能となる。
また、この第１の側面において、当該撮像装置は、上記画像データを記録すべき旨の操作を受けた場合には上記キャプチャモードを選択する信号を供給し上記操作を受けない場合には上記モニタリングモードを選択する信号を供給する操作手段をさらに具備することを特徴とするものである。これにより、画像データを記録すべき旨の操作によってキャプチャモードとモニタリングモードとを選択させるという作用をもたらす。
また、この第１の側面において、当該撮像装置は、上記キャプチャモードにおける上記画像データの探索方向を設定するキャプチャモード方向設定手段をさらに具備することを特徴とするものである。これにより、キャプチャモードにおける探索方向を設定させるという作用をもたらす。すなわち、キャプチャモードにおける探索方向にユーザーの意思を反映させることが可能となる。
また、この第１の側面において、上記モニタリングモード探索方向指示手段は、上記顔検出手段において過去に検出された上記顔部の探索方向に基づいて上記モニタリングモードにおける上記画像データの探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、モニタリングモードにおける探索方向を合理的に選択させて顔検出を行わせるという作用をもたらす。すなわち、全ての方向から画像データを探索することなく、高速な顔検出が可能となる。
また、当該撮像装置は、上記顔検出手段において上記顔部が検出された探索方向の頻度を判断する探索方向頻度判断手段をさらに具備し、上記モニタリングモード探索方向指示手段は、上記頻度に基づいて上記モニタリングモードにおける上記画像データの探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、ユーザーが撮像する際の癖（行動パターン）に合わせてモニタリングモードにおける顔検出を行わせるという作用をもたらす。
また、上記モニタリングモード探索方向指示手段は、上記顔検出手段において前回検出された顔部の探索方向に基づいて上記モニタリングモードにおける上記画像データの探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、効率良く高速に画像データからモニタリングモードにおける顔検出を行わせるという作用をもたらす。
また、当該撮像装置は、上記顔検出手段において上記画像データを少なくとも２つの方向から探索して上記顔部としての確度を算出して上記確度が最大になる探索方向を判断する最大確度判断手段をさらに具備し、上記モニタリングモード探索方向指示手段は、上記モニタリングモードにおける上記画像データの探索方向として上記確度が最大になる探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、効率良く高速に画像データからモニタリングモードにおける顔検出を行わせるという作用をもたらす。
また、この第１の側面において、当該撮像装置は、当該撮像装置における重力方向からの傾きを検出する傾き検出手段をさらに具備し、モニタリングモード探索方向指示手段は、上記傾きに基づいて上記モニタリングモードにおける上記画像データの探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、実際の撮像装置の傾きに基づいてモニタリングモードにおける顔検出を行わせるという作用をもたらす。
また、この第１の側面において、当該撮像装置は、上記モニタリングモードにおける上記画像データの探索方向を設定するモニタリングモード方向設定手段をさらに具備することを特徴とするものである。これにより、モニタリングモードにおける探索方向をユーザーに設定させるという作用をもたらす。
また、この第１の側面において、上記顔検出手段は、上記画像データに対して時計方向を正方向として、「０度」方向、「＋９０度」方向、「−９０度」方向、「１８０度」方向の少なくとも一方向から探索を行うことを特徴とするものである。これにより、４種類の角度方向のみで顔検出を行わせるという作用をもたらす。
また、上記顔検出手段は、上記画像データにおいて上記「０度」方向、上記「＋９０度」方向、上記「−９０度」方向、上記「１８０度」方向に対して上記顔部の傾きが「＋４５度」乃至「−４５度」の範囲内において上記顔部を検出することを特徴とするものである。これにより、４種類の角度方向を探索するのみで「３６０度」方向全てを考慮した顔検出をさせるという作用をもたらす。
また、この第１の側面において、当該撮像装置は、上記顔検出手段において検出された顔部の数を含む検出結果を画像付随情報として上記画像データと関連付けて記録させる記録制御手段をさらに具備するものである。これにより、画像データの画像付随情報に画像データから検出された顔部の数を含めさせるという作用をもたらす。
また、本発明の第２の側面は、画像を撮像して画像データを生成する撮像手段と、上記画像データを少なくとも１つの方向から探索して上記画像データにおける顔部を検出する顔検出手段と、上記画像データを記録するモードであるキャプチャモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するキャプチャモード探索方向指示手段と、上記画像データを表示させるモードであるモニタリングモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するモニタリングモード探索方向指示手段と、上記画像データを記録すべき旨の操作を受けた場合には上記キャプチャモードを選択する信号を供給し上記操作を受けない場合には上記モニタリングモードを選択する信号を供給する操作手段とを具備することを特徴とする撮像装置である。これにより、画像データの記録時と画像データを記録しない時とで画像データから顔部を検出する際の探索方向を変化させるという作用をもたらす。
また、本発明の第３の側面は、画像データを少なくとも１つの方向から探索して上記画像データにおける顔部を検出する顔検出手段と上記画像データを記録すべき旨の操作を行う操作手段とを備える撮像装置において以下の手順を実行する処理方法または以下の手順をコンピュータに実行させるプログラムであって、上記画像データを記録するモードであるキャプチャモードにおいて上記画像データの上記顔検出手段に対して探索方向を指示するキャプチャモード探索方向指示手順と、上記画像データを表示させるモードであるモニタリングモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するモニタリングモード探索方向指示手順と、上記操作を受けた場合には上記キャプチャモードに移行させ上記操作を受けない場合には上記モニタリングモードを継続させるモード移行手順とを具備することを特徴とする処理方法またはこれらの手順をコンピュータに実行させるプログラムである。これにより、画像データの記録時と画像データを記録しない時とで画像データから顔部を検出する際の探索方向を変化させるという作用をもたらす。
本発明によれば、効率良く高速に画像データから顔部を検出させるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の実施の形態における撮像装置１００の構成の一例を示す図である。撮像装置１００は、撮像部１０と、重力方向センサ１０３と、撮像制御部１０５と、画像圧縮伸張部１０６と、画像ＲＡＭ（Random Access Memory）１０７と、顔検出部１０８と、画像表示部１０９と、顔検出結果ＲＡＭ１１０と、操作部１１１とを備える。
撮像部１０は、レンズ群１０１と、イメージセンサ１０２と、画像信号処理部１０４とを備える。レンズ群１０１は、撮像しようとする被写体を撮像素子に結像させるなどの役割を果たすものである。イメージセンサ１０２は、例えばＣＣＤ（Charge Coupled Device）などの撮像素子により構成され、その結像面に、レンズ群１０１を通じた像が結像される。このイメージセンサ１０２は、シャッター操作に応じて撮像制御部１０５から供給される画像取り込みタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、画像信号処理部１０４に供給する。
重力方向センサ１０３は、例えばジャイロセンサにより構成され、撮像装置１００の重力方向からの傾きを検出するものである。画像信号処理部１０４は、撮像制御部１０５からの制御信号に基づいて撮像信号についてのガンマ補正やＡＧＣ（Auto Gain Control）などの処理を行うとともに、撮像信号をデジタル信号としての画像信号に変換する処理も行う。また、画像信号処理部１０４は、撮像制御部１０５からの制御信号に基づき、画像信号に対してホワイトバランス制御などをさらに行う。撮像制御部１０５は、撮像装置１００全体の処理を司るものであり、画像信号などの記録制御および再生制御などを行うものである。
画像圧縮伸張部１０６は、画像信号処理部１０４から供給された画像信号などを符号化し多重化して圧縮データに変換する符号化機能を有する。一方、画像圧縮伸張部１０６は、圧縮データから画像信号を復号する復号機能を有する。画像ＲＡＭ１０７は、画像データバス１１２を通じて供給される画像データを保持するものである。図１における撮像装置１００においては、画像信号は、各ブロック間で直接受け渡しが行われてもよいし、画像ＲＡＭ１０７を経由して各ブロック間で間接的に受け渡しが行われるようにしてもよい。
顔検出部１０８は、画像データにおける顔部を検出するものである。顔検出部１０８における出力には、画像データにおける顔部の探索方向や画像データにおける顔部の位置、画像データにおける顔部の面積、顔の向いている方向、顔の傾き、検出された顔部の数などが含まれる。顔検出部１０８における出力を利用するとオートフォーカス、オートホワイトバランスおよびオート露出などのカメラ制御が容易になり、常に最適な画像データをユーザーに提供することができる。
顔検出部１０８における出力は、撮像制御部１０５を通じて顔検出結果ＲＡＭ１１０や記録媒体１１３に供給される。なお、記録媒体１１３は、例えばフラッシュメモリをカード型にパッケージしたメモリカードなどにより構成される。また、図１においては、記録媒体１１３は、外部メモリとして図示されているが、これに限るものでなく内部にハードディスクを設けてこれを記録媒体とする構成でもよい。
画像表示部１０９は、例えば、ＬＣＤ（Liquid Crystal Display）により構成され、画像信号処理部１０４から供給された画像データを表示させるものである。また、画像ＲＡＭ１０７を経由して、画像データを画像表示部１０９に供給させるように構成してもよい。
操作部１１１には、ズーム調整キー、露出調整のためのキー、シャッターキー、動画撮影用キー、画像表示部１０９における表示調整キーなどの複数のキーが設けられている。操作部１１１は、これら複数のキーそれぞれに対応する操作信号を撮像制御部１０５に伝える。撮像制御部１０５は、操作部１１１においていずれのキーが操作されたかを判別し、その判別結果に応じた制御処理を行う。
本発明の実施の形態における撮像装置１００においては、操作部１１１中のシャッターキーが押下されない場合、レンズ群１０１で捕らえた画像データは記録媒体１１３に記録されず画像表示部１０９においてリアルタイムにそのまま表示される。この動作状態を以下では、モニタリングモードと呼ぶこととする。一方、操作部１１１中のシャッターキーが押下された場合は、レンズ群１０１で捕らえた画像データは記録媒体１１３に記録されることとなる。この動作状態を以下では、キャプチャモードと呼ぶこととする。
図２は、本発明の実施の形態における顔検出部１０８の構成の一例を示す図である。顔検出部１０８は、拡大縮小処理部２１０と、前処理部２２０と、顔検出画像保持部２３０と、顔探索部２４０と、顔検出制御部２５０とを備える。
拡大縮小処理部２１０は、画像ＲＡＭ１０７から供給された画像データを所定の大きさの画像データに変換するものである。すなわち、画像ＲＡＭ１０７から供給された画像データが予め設定された所定の大きさよりも大きい場合は、拡大縮小処理部２１０は画像ＲＡＭ１０７から供給された画像データを縮小する処理を行い、一方、画像ＲＡＭ１０７から供給された画像データが予め設定された所定の大きさよりも小さい場合は、拡大縮小処理部２１０は画像ＲＡＭ１０７から供給された画像データを拡大する処理を行う。なお、拡大縮小処理部２１０は、その他、画像信号処理部１０４または画像圧縮伸張部１０６から供給される画像データも所定の大きさの画像データに変換する処理を行う。
前処理部２２０は、拡大縮小処理部２１０で縮小処理または拡大処理された画像データに対して所定の処理を行うものである。所定の処理は、例えば画像データの顔部を所定の輝度範囲に正規化するための輝度変換処理や、顔部中の目、鼻、眉および口などの部分を確実に抽出するための輪郭強調処理などが想定される。上記処理までを行うと画像データから顔部を検出するための画像データの前処理が終了する。前処理部２２０は、上記処理を行った画像データを顔検出画像保持部２３０に供給する。顔検出画像保持部２３０は、前処理部２２０から供給された画像データを保持する。
顔探索部２４０は、顔検出画像保持部２３０に保持された画像データの一部を切り出して、予め保持されている平均的な顔のテンプレート画像に基づいてその画像データから顔部を探索する。この際、例えば時計方向を正方向とした場合に、画像データを「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のそれぞれから顔部を探索する。なお、撮像装置１００を「１８０度」回転させて被写体を撮像する頻度は少ないと想定されるため、「１８０度」方向については探索処理を省略してもよい。この顔探索部２４０の出力は、撮像制御部１０５に供給される。
顔検出制御部２５０は、撮像制御部１０５から供給された情報に従って拡大縮小処理部２１０と、前処理部２２０と、顔検出画像保持部２３０と、顔探索部２４０とを制御する。具体的には、顔検出制御部２５０は、拡大縮小処理部２１０に対して例えば画像データの拡大率または縮小率を供給する。また、顔検出制御部２５０は、前処理部２２０に対しては例えば輝度変換処理や輪郭強調処理などに対して必要なパラメータを供給する。また、顔検出制御部２５０は、顔検出画像メモリに対して例えばメモリアドレスを供給する。
また、顔検出制御部２５０は、顔探索部２４０に対して例えば画像データの探索方向などを供給する。本発明の実施の形態における撮像装置１００では、モニタリングモードの場合とキャプチャモードの場合において顔検出部１０８での画像データの探索方向が異なる。この点について、以下に説明する。
図３は、本発明の実施の形態における顔探索部２４０の機能構成の一例を示す図である。顔探索部２４０は、方向制御部２４１と、画像切出し部２４２と、顔テンプレート照合部２４３と、顔抽出部２４４とを備える。
方向制御部２４１は、顔検出制御部２５０から指示された画像データの探索方向に基づいて画像切出し部２４２と、顔テンプレート照合部２４３と、顔抽出部２４４とにおける処理を制御するものである。画像切出し部２４２は、顔検出画像保持部２３０に保持された画像データの一部を切出した切出し画像を顔テンプレート照合部２４３に供給する。具体的には、画像切出し部２４２は、方向制御部２４１からの指示を受けて顔検出画像保持部２３０に保持された画像データの一部を切出す。方向制御部２４１は、１枚の切出し画像における一連の処理が終了すると、画像切出し部２４２に対して前回の切出し画像から所定画素（例えば、２ピクセル）ずらした切出し画像を顔テンプレート照合部２４３に供給するよう画像切出し部２４２に指示する。以上の処理を繰り返し行う。
顔テンプレート照合部２４３は、画像切出し部２４２から供給された切出し画像を自身が保持する平均的な顔のテンプレート画像データと照合して顔部を探索するものである。探索した結果、切出し画像が平均的な顔のテンプレート画像と照合すれば、切出し画像中には顔部が存在するものと判断される。ここでの探索は、顔検出制御部２５０からの指示に従って行われる。顔テンプレート照合部２４３は、顔部が存在すると判断した探索方向を顔抽出部２４４に伝える。なお、撮像装置１００の傾きは０度、＋９０度、−９０度および１８０度になるとは限らないが、後述するように０度、＋９０度、−９０度および１８０度それぞれの角度から顔部の傾きが±４５度の範囲にあれば顔部の探索は可能である。
顔抽出部２４４は、顔テンプレート照合部２４３において画像データに顔部が存在すると判断された場合に画像データにおける顔部の具体的な位置などを抽出するものである。顔抽出部２４４における出力には、顔テンプレート照合部２４３において画像データにおける顔部の探索方向や画像データにおける顔部の位置、顔部の数などが含まれる。顔抽出部２４４における出力は、撮像制御部１０５に供給される。
図４は、本発明の実施の形態における撮像制御部１０５の機能構成の一例を示す図である。撮像制御部１０５は、探索方向頻度判断部３１１と、最大確度判断部３１２と、モニタリングモード方向設定部３１３と、方向補正部３１４と、方向情報選択部３１５と、キャプチャモード方向設定部３１６と、処理指示部３２０と、モニタリングモード探索方向指示部３３０と、キャプチャモード探索方向指示部３４０と、指示選択部３５０と、記録制御部３６０とを備える。
探索方向頻度判断部３１１は、顔検出結果ＲＡＭ１１０に保持されている顔検出部１０８から供給される画像データにおける顔部についての検出結果を監視して顔部が検出された頻度が最も高い探索方向を判断するものである。この判断結果は、頻度選択部３３１へ供給される。最大確度判断部３１２は、例えば本発明の実施の形態における撮像装置１００の電源投入後に、最初に顔部の検出が行われた探索方向のうち最も顔部の存在する確度が高い探索方向はいずれであるかを判断する。この探索方向頻度判断部３１１による判断結果は、最大確度方向選択部３３２に供給される。
モニタリングモード方向設定部３１３は、操作部１１１を介してユーザーにモニタリングモードにおける画像データを探索する方向を設定させるものである。方向補正部３１４は、重力方向センサ１０３から供給された撮像装置１００の傾きが画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のいずれに対応するものかを判断するものである。後述するように０度、＋９０度、−９０度および１８０度それぞれの角度から±４５度の範囲にあれば顔部の探索は可能であるため、例えば、撮像装置の傾きが重力方向に対して２０度の場合は画像データに対して０度回転させた方向に対応すると判断される。また、撮像装置の傾きが重力方向に対して＋８０度の場合は＋９０度回転させた方向に対応すると判断される。
方向情報選択部３１５は、モニタリングモード方向設定部３１３、方向補正部３１４および記録制御部３６０から供給された探索方向のうちいずれかを設定方向選択部３３３に供給するものである。この選択は、処理指示部３２０からの指示に基づいて行われる。
キャプチャモード方向設定部３１６は、操作部１１１を通じてユーザーにキャプチャモードにおける画像データを探索する方向を設定させるものである。キャプチャモードは、撮像している画像データを静止画データとして記録するモードであるから、画像データからの顔部の検出率は高いものであることが要求される。一方、「０度」、「＋９０度」、「−９０度」および「１８０度」それぞれの角度から画像データを探索したのでは処理に時間を要する。そこで、このキャプチャモード方向設定部３１６によって探索方向を限定することにより処理の高速化を図ることができる。
上記説明した探索方向頻度判断部３１１、最大確度判断部３１２、モニタリングモード方向設定部３１３、方向補正部３１４、方向情報選択部３１５およびキャプチャモード方向設定部３１６のいずれの機能を用いるかは、操作部１１１から設定する。機能が操作部１１１から設定されると、その設定された機能の情報が処理指示部３２０に供給される。処理指示部３２０は、設定された機能から供給された探索方向を選択すべき旨の指示を方向情報選択部３１５および処理選択部３３４に供給する。
モニタリングモード探索方向指示部３３０は、モニタリングモードにおける画像データの探索方向の指示を顔探索部２４０に対して行うものであり、頻度選択部３３１と、最大確度方向選択部３３２と、設定方向選択部３３３と、処理選択部３３４とを備える。頻度選択部３３１は、探索方向頻度判断部３１１から供給された顔部の検出された頻度の最も高い探索方向に基づいて顔探索部２４０における画像データの探索方向を選択して処理選択部３３４に供給するものである。過去における顔部が検出された探索方向の頻度に基づいて次の探索方向を決定することによって、ユーザーの癖（行動パターン）を考慮した探索方向を選択することができる。
また、最大確度方向選択部３３２は、最大確度判断部３１２から供給された顔部の確度の最も高い探索方向に基づいてその探索方向を選択して処理選択部３３４に供給するものである。顔部の確度の最も高い探索方向に基づいてその探索方向を選択することによって無駄な探索方向を省いて次回における探索方向を決定でき、高速な顔検出処理が可能となる。
また、設定方向選択部３３３は、方向情報選択部３１５から供給された探索方向に基づいて画像データの探索方向を選択して処理選択部３３４に供給するものである。処理選択部３３４は、処理指示部３２０からの指示に基づいて頻度選択部３３１、最大確度方向選択部３３２および設定方向選択部３３３から供給される探索方向のうちいずれか一つを指示選択部３５０に供給するものである。
モニタリングモードにおいては、上記の機能を用いて顔検出における画像データの無駄な探索方向を省くことによって高速な顔検出が可能となる。そして、高速な顔検出の実現によって顔検出によって得られる結果をオートフォーカス、オートホワイトバランス、オート露出などの制御に高速にフィードバックできる。
キャプチャモード探索方向指示部３４０は、キャプチャモードにおける画像データの探索方向の指示を行うものである。このキャプチャモードにおける画像データの探索方向は、上述のようにキャプチャモード方向設定部３１６から供給される。なお、キャプチャモードにおける画像データの探索方向は、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向の全ての探索方向または上記探索方向から「１８０度」回転させた方向を除いた探索方向が想定される。キャプチャモードにおいては画像データを記録するため、顔検出率を高いものにすることが望ましいからである。
指示選択部３５０は、操作部１１１から画像データの記録を要求する旨の要求信号、例えばシャッターキーに対応する信号が供給された場合に、キャプチャモード探索方向指示部３４０における指示を選択して顔検出制御部２５０に供給するものである。一方、指示選択部３５０は、シャッターキーに対応する信号が供給されない場合にはモニタリングモード探索方向指示部３３０における指示を顔検出制御部２５０に供給する。すなわち、操作部１１１から画像データの記録を要求する旨の要求信号が指示選択部３５０に供給される状態ではキャプチャモードになり、要求信号が供給されない状態ではモニタリングモードになる。
記録制御部３６０は、顔探索部２４０からの出力に含まれる探索方向を方向情報選択部３１５および顔検出結果ＲＡＭ１１０に供給する。また、記録制御部３６０は、操作部１１１から画像データの記録を要求する旨の要求信号が供給されると、それに対応する顔探索部２４０からの出力を、例えばメタデータのような画像付随情報として記録媒体１１３へ供給する。供給された画像付随情報は、画像データと関連付けて記録される。顔探索部２４０からの出力には画像データに含まれる顔部の数も含まれているが、顔部の数を画像データの画像付随情報として画像データと関連付けて記録することによって、顔部の数に基づいてその数に合致する顔部が含まれた画像データを検索することが可能になる。
図５は、画像データと平均的な顔のテンプレートを照合して顔部を探索する方向について示す図である。図５（ａ）は、画像データ４０１に対して「０度」方向の平均的な顔のテンプレート４０２を示す図である。この場合は、画像データ４０１に対して平均的な顔のテンプレート４０２を図５（ａ）の矢印方向を探索方向として画像データ４０１と平均的な顔のテンプレート４０２とを照合する。画像データ４０１中の顔部は、平均的な顔のテンプレート４０２と顔の方向が一致しているため、顔部は検出される。
図５（ｂ）は、画像データ４０３に対して時計方向を正方向として、「＋９０度」方向の平均的な顔のテンプレート４０４を示す図である。この場合は、画像データ４０３に対して平均的な顔のテンプレート４０４を図５（ｂ）の矢印方向を探索方向として画像データ４０３と平均的な顔のテンプレート４０４とを照合する。画像データ４０３中の顔部は、平均的な顔のテンプレート４０４と顔の方向が時計方向を正方向として、「＋９０度」ずれているため、顔部は検出されない。
図５（ｃ）は、画像データ４０５に対して時計方向を正方向として、「−９０度」方向の平均的な顔のテンプレート４０６を示す図である。この場合は、画像データ４０５に対して平均的な顔のテンプレート４０６を図５（ｃ）の矢印方向を探索方向として画像データ４０５と平均的な顔のテンプレート４０６とを照合する。画像データ４０５中の顔部は、平均的な顔のテンプレート４０６と顔の方向が時計方向を正方向として、「−９０度」ずれているため、顔部は検出されない。
図５（ｄ）は、画像データ４０７に対して「１８０度」方向の平均的な顔のテンプレート４０８を示す図である。この場合は、画像データ４０７に対して平均的な顔のテンプレート４０８を図５（ｄ）の矢印方向を探索方向として画像データ４０７と平均的な顔のテンプレート４０８とを照合する。画像データ４０７中の顔部は、平均的な顔のテンプレート４０８と顔の方向が「１８０度」ずれているため、顔部は検出されない。
図６は、４種類の探索方向と傾いた顔の検出動作との組み合わせによる「３６０度」方向の顔検出を示す図である。図６（ａ）は、探索方向として画像データに対して「０度」回転させた方向を示す図である。中心にある顔部と比べて時計方向を正方向とする「＋４５度」乃至「−４５度」傾いた２つの顔部がある。中心にある顔部と比べて「＋４５度」乃至「−４５度」の範囲の傾きを有する顔部は、画像データに対して「０度」回転させた方向からの探索で検出可能である。
図６（ｂ）は、探索方向として画像データに対して時計方向を正方向として、「＋９０度」回転させた方向を示す図である。図６（ｃ）は、探索方向として画像データに対して時計方向を正方向として、「−９０度」回転させた方向を示す図である。図６（ｄ）は、探索方向として画像データに対して「１８０度」回転させた方向を示す図である。これらも図６（ａ）の場合と同様に、「＋４５度」乃至「−４５度」の範囲の傾きを有する顔部は、それぞれの方向から探索することにより検出可能である。このため、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向からの探索によって「３６０度」方向探索可能になり、顔部の位置がどのようになっていても全て検出できることになる。
このように顔部が傾いた場合の顔部の検出方向について以下に説明する。まず、顔の画像データの傾きを求めることによって顔画像の傾きを補正する。これにより、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向からの探索によって「３６０度」方向探索可能になる。具体的には、顔の画像データを所定の角度だけ回転させる。その回転させた回転画像データの顔部における顔の中心線を決定し、その時の中心線の確からしさの度合を算出する。その他の所定の角度においても上記と同様の処理を行い、それぞれの中心線の確からしさの度合を算出する。中心線の確からしさの度合を監視し、最も中心線の確からしさの度合の高い角度を検出する。その角度が顔部の傾きとして決定される。顔部の傾きが分かれば、その傾きの角度を考慮して画像データを回転させることによって画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のいずれかの方向からも探索可能になる。
次に本発明の実施の形態における動作について図面を参照して説明する。
図７は、本発明の実施の形態における撮像装置１００において画像データを探索する際の流れを示す図である。撮像装置１００において撮像中の画像データを記録するためにシャッターが押下されるとキャプチャモードになり、押下されないとモニタリングモードになる（Ｓ９１１）。キャプチャモードにおいては、撮像された画像データから顔検出部１０８によって顔部が探索される。撮像された画像データから顔部を探索する際は、予め保持された平均的な顔のテンプレート画像データと、撮像された後に拡大縮小処理部２１０および前処理部２２０において図２で説明した所定の処理を施された画像データ（以下、「撮像処理画像データ」と呼ぶ。）とを照合する。
上記照合に際して、まず、画像データに対して「０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９１２）。次に、画像データに対して時計方向を正方向として、「＋９０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９１３）。次に、画像データに対して時計方向を正方向として、「−９０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９１４）。次に、画像データに対して「１８０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９１５）。ステップＳ９１２乃至ステップＳ９１５までの処理の結果は、画像データを高画質化する処理に反映される。なお、ステップＳ９１２乃至ステップＳ９１５における処理中、ステップＳ９１５における処理は「１８０度」方向の処理であり、「１８０度」方向から顔部が検出される頻度は低いため、ステップＳ９１５における処理は省略できる。これにより、高速な顔検出が可能となる。
一方、モニタリングモードにおいては、顔部の探索について予めユーザーによって設定された処理によってその手順が異なる（Ｓ９１６）。画像データから顔部を探索する処理の一つ目は、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向から顔部を探索して、そのうち一番顔部が存在する確度が高い探索方向を次回の顔部の探索方向とする最大確度処理である（Ｓ９１７）。画像データから顔部を探索する処理の二つ目は、顔検出部１０８からの出力に含まれる画像データの探索方向を所定時間監視して、その探索方向の頻度が最大のものを次回における顔部の探索方向とする頻度処理である（Ｓ９１８）。画像データから顔部を探索する処理の三つ目は、予めユーザーが設定した探索方向を探索方向とする設定方向処理である（Ｓ９１９）。ステップＳ９１７乃至ステップＳ９１９のいずれかの処理の結果は、オートフォーカス、オートホワイトバランス、オート露出などの制御に反映される。
なお、設定方向処理においては、予めユーザーが設定した探索方向のみならず、重力方向センサ１０３および方向補正部３１４によって決定された探索方向および前フレームにおいて顔部が検出された探索方向を用いることも可能である。
図８は、本発明の実施の形態における最大確度処理の流れを示す図である。最大確度処理においては、最初に画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向から顔部を探索する必要がある。これを一回目の探索と呼ぶ。まず、この一回目の探索が行われたか否かが判断される（Ｓ９３１）。
一回目の探索がまだ行われていないと判断されると、まず、画像データに対して「０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９３２）。次に、画像データに対して時計方向を正方向として、「＋９０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９３３）。次に、画像データに対して時計方向を正方向として、「−９０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９３４）。次に、画像データに対して「１８０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９３５）。なお、ステップＳ９３２乃至ステップＳ９３５における処理中ステップＳ９３５における処理は「１８０度」方向の処理であり、「１８０度」方向から顔部が検出される頻度は低いため、ステップＳ９３５における処理は省略可能である。これにより、高速な顔検出を可能とする。
一回目の探索が既に行われていたと判断されると、一回目の探索結果に基づいて一回目の探索において顔部の存在する確度が一番高い探索方向が、画像データに対して「０度」回転させた方向であるか否かが判断される（Ｓ９３６）。一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して「０度」回転させた方向であると判断されると、画像データに対して「０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９３７）。その他の探索方向の処理は行われない。
一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して「０度」回転させた方向ではないと判断されると、次に一回目の探索結果に基づいて一番顔部が存在する確度が高い探索方向が、画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であるか否かが判断される（Ｓ９３８）。一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「＋９０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９３９）。その他の探索方向の処理は行われない。
一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向ではないと判断されると、次に一回目の探索結果に基づいて一番顔部が存在する確度が高い探索方向が、画像データに対して時計方向を正方向として、「−９０度」回転させた方向であるか否かが判断される（Ｓ９４０）。一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「−９０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９４１）。その他の探索方向の処理は行われない。
一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向ではないと判断されると、次に一回目の探索結果に基づいて一番顔部が存在する確度が高い探索方向が、画像データに対して「１８０度」回転させた方向であるか否かが判断される（Ｓ９４２）。一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して「１８０度」回転させた方向であると判断されると、画像データに対して「１８０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９４３）。その他の探索方向の処理は行われない。
一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して「１８０度」回転させた方向ではないと判断されると、結果として、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のいずれからも顔部が検出されなかったことになる。したがって、次回も一回目の探索を再度行うことになる。すなわち、ステップＳ９３２乃至ステップＳ９３５までの処理を行う。
なお、重力方向センサ１０３によって撮像装置１００の傾きの変化が検出された場合には、ステップＳ９３１において１回目の探索が行われたと判断された後であっても再度１回目の探索を行い、一番顔部が存在する確度が高い探索方向を判断する処理を行うようにしてもよい。
図９は、本発明の実施の形態における頻度処理の流れを示す図である。頻度処理においては、まず、頻度が最大の探索方向が決定しているか否かが判断される（Ｓ９５１）。頻度が最大の探索方向が決定していない場合は、図７で説明したキャプチャモードの際の顔部の探索と同様に画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のそれぞれから顔部の探索が行われる（ステップＳ９５２乃至ステップＳ９５５）。頻度が最大の探索方向が決定するまでステップＳ９５２乃至ステップＳ９５５の処理が繰り返される。
頻度が最大の探索方向が決定した場合は、次に頻度が最大の探索方向が回転させた方向であるか否かが判断される（Ｓ９５６）。頻度が最大の探索方向が画像データに対して「０度」回転させた方向であると判断されると、画像データに対して「０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９５７）。その他の探索方向の処理は行われない。
頻度が最大の探索方向が画像データに対して「０度」回転させた方向ではないと判断されると、次に、頻度が最大の探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向か否かが判断される（Ｓ９５８）。頻度が最大の探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「＋９０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９５９）。その他の探索方向の処理は行われない。
頻度が最大の探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向ではないと判断されると、次に、頻度が最大の探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向か否かが判断される（Ｓ９６０）。頻度が最大の探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「−９０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９６１）。その他の探索方向の処理は行われない。
頻度が最大の探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向ではないと判断されると、頻度が最大の探索方向が画像データに対して「１８０度」回転させた方向となるため、画像データに対して「１８０度」回転させた方向から顔部の探索が行われる（Ｓ９６２）。
図１０は、本発明の実施の形態における設定方向処理の流れを示す図である。まず予めユーザーが設定した探索方向が画像データに対して「０度」回転させた方向であるか否かが判断される（Ｓ９７１）。予めユーザーが設定した探索方向が画像データに対して「０度」回転させた方向であると判断されると、画像データに対して「０度」回転させた方向から顔部の探索が行われる（Ｓ９７２）。
予めユーザーが設定した探索方向が画像データに対して「０度」回転させた方向ではないと判断されるかまたはステップＳ９７２の処理が終了すると、次に予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であるか否かが判断される（Ｓ９７３）。予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「＋９０度」回転させた方向から顔部の探索が行われる（Ｓ９７４）。
予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向ではないと判断されるかまたはステップＳ９７４の処理が終了すると、次に予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向であるか否かが判断される（Ｓ９７５）。予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「−９０度」回転させた方向から顔部の探索が行われる（Ｓ９７６）。
予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向ではないと判断されるかまたはステップＳ９７６の処理が終了すると、次に予めユーザーが設定した探索方向が画像データに対して「１８０度」回転させた方向であるか否かが判断される（Ｓ９７７）。予めユーザーが設定した探索方向が画像データに対して「１８０度」回転させた方向であると判断されると、画像データに対して「１８０度」回転させた方向から顔部の探索が行われる（Ｓ９７８）。
なお、上述のように設定方向処理においては、予めユーザーが設定した探索方向のみならず、重力方向センサ１０３および方向補正部３１４によって決定された探索方向および前フレームにおいて顔部が検出された探索方向を用いることも可能である。このため、上述の説明中「予めユーザーが設定した探索方向」を「重力方向センサ１０３および方向補正部３１４によって決定された探索方向」または「前フレームにおいて顔部が検出された探索方向」と読み替えることによって重力方向センサ１０３および方向補正部３１４によって決定された探索方向、前フレームにおいて顔部が検出された探索方向それぞれについても同様の処理で顔部の探索が行われる。
このように、本発明の実施の形態によれば、モニタリングモードにおいては、高速な顔検出処理を実現でき、顔検出処理の結果に基づくオートフォーカス、オートホワイトバランス、オート露出などの制御に高速にフィードバックできる。一方、キャプチャモードにおいては、高い顔検出率を維持した顔検出を行うことによって記録された画像データを高画質化する処理を確実に行えることを可能とする。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項１において、顔検出手段は、例えば、顔検出部１０８に対応する。また、キャプチャモード探索方向指示手段は、例えばキャプチャモード探索方向指示部３４０に対応する。また、モニタリングモード探索方向指示手段は、例えば、モニタリングモード探索方向指示部３３０に対応する。
また、請求項２において、操作手段は、例えば操作部１１１に対応する。
また、請求項３において、キャプチャモード方向設定手段は、例えば、キャプチャモード方向設定部３１６に対応する。
また、請求項５において、探索方向頻度判断手段は、例えば、探索方向頻度判断部３１１に対応する。
また、請求項７において、最大確度判断手段は、例えば、最大確度判断部３１２に対応する。
また、請求項８において、傾き検出手段は、例えば、重力方向センサ１０３に対応する。
また、請求項９において、モニタリングモード方向設定手段は、例えば、モニタリングモード方向設定部３１３に対応する。
また、請求項１２において、記録制御手段は、例えば、記録制御部３６０に対応する。
また、請求項１３において、撮像手段は、例えば、撮像部１０に対応する。また、顔検出手段は、例えば、顔検出部１０８に対応する。また、キャプチャモード探索方向指示手段は、例えば、キャプチャモード探索方向指示部３４０に対応する。また、モニタリングモード探索方向指示手段は、例えば、モニタリングモード探索方向指示部３３０に対応する。また、操作手段は、例えば、操作部１１１に対応する。
また、請求項１４において、キャプチャモード探索方向指示手順は、例えば、ステップＳ９１２乃至ステップＳ９１５に対応する。また、モニタリングモード探索方向指示手順は、例えば、ステップＳ９１６乃至ステップＳ９１９に対応する。また、モード移行手順は、例えば、ステップＳ９１１に対応する。
また、請求項１５において、キャプチャモード探索方向指示ステップは、例えば、ステップＳ９１２乃至ステップＳ９１５に対応する。また、モニタリングモード探索方向指示ステップは、例えば、ステップＳ９１６乃至ステップＳ９１９に対応する。また、モード移行ステップは、例えば、ステップＳ９１１に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
本発明の実施の形態における撮像装置１００の構成の一例を示す図である。 本発明の実施の形態における顔検出部１０８の構成の一例を示す図である。 本発明の実施の形態における顔探索部２４０の機能構成の一例を示す図である。 本発明の実施の形態における撮像制御部１０５の機能構成の一例を示す図である。 画像データと平均的な顔のテンプレートを照合して顔部を探索する方向について示す図である。 ４種類の探索方向と傾いた顔の検出動作との組み合わせによる「３６０度」の顔検出を示す図である。 本発明の実施の形態における撮像装置１００において画像データを探索する際の流れを示す図である。 本発明の実施の形態における最大確度処理の流れを示す図である。 本発明の実施の形態における頻度処理の流れを示す図である。 本発明の実施の形態における設定方向処理の流れを示す図である。
符号の説明
１０ 撮像部
１００ 撮像装置
１０１ レンズ群
１０２ イメージセンサ
１０３ 重力方向センサ
１０４ 画像信号処理部
１０５ 撮像制御部
１０６ 画像圧縮伸張部
１０７ 画像ＲＡＭ
１０８ 顔検出部
１０９ 画像表示部
１１０ 顔検出結果ＲＡＭ
１１１ 操作部
１１２ 画像データバス
１１３ 記録媒体
２１０ 拡大縮小処理部
２２０ 前処理部
２３０ 顔検出画像保持部
２４０ 顔探索部
２４１ 方向制御部
２４２ 画像切出し部
２４３ 顔テンプレート照合部
２４４ 顔抽出部
２５０ 顔検出制御部
３１１ 探索方向頻度判断部
３１２ 最大確度判断部
３１３ モニタリングモード方向設定部
３１４ 方向補正部
３１５ 方向情報選択部
３１６ キャプチャモード方向設定部
３２０ 処理指示部
３３０ モニタリングモード探索方向指示部
３３１ 頻度選択部
３３２ 最大確度方向選択部
３３３ 設定方向選択部
３３４ 処理選択部
３４０ キャプチャモード探索方向指示部
３５０ 指示選択部
３６０ 記録制御部

Claims (15)

  1. 画像データを少なくとも１つの方向から探索して前記画像データにおける顔部を検出する顔検出手段と、
    前記画像データを記録するモードであるキャプチャモードにおいて前記画像データの探索方向を前記顔検出手段に対して指示するキャプチャモード探索方向指示手段と、
    前記画像データを表示させるモードであるモニタリングモードにおいて前記画像データの探索方向を前記顔検出手段に対して指示するモニタリングモード探索方向指示手段と
    を具備することを特徴とする撮像装置。
  2. 前記画像データを記録すべき旨の操作を受けた場合には前記キャプチャモードを選択する信号を供給し前記操作を受けない場合には前記モニタリングモードを選択する信号を供給する操作手段をさらに具備することを特徴とする請求項１記載の撮像装置。
  3. 前記キャプチャモードにおける前記画像データの探索方向を設定するキャプチャモード方向設定手段をさらに具備することを特徴とする請求項１記載の撮像装置。
  4. 前記モニタリングモード探索方向指示手段は、前記顔検出手段において過去に検出された前記顔部の探索方向に基づいて前記モニタリングモードにおける前記画像データの探索方向を前記顔検出手段に対して指示することを特徴とする請求項１記載の撮像装置。
  5. 前記顔検出手段において前記顔部が検出された探索方向の頻度を判断する探索方向頻度判断手段をさらに具備し、
    前記モニタリングモード探索方向指示手段は、前記頻度に基づいて前記モニタリングモードにおける前記画像データの探索方向を前記顔検出手段に対して指示することを特徴とする請求項４記載の撮像装置。
  6. 前記モニタリングモード探索方向指示手段は、前記顔検出手段において前回検出された顔部の探索方向に基づいて前記モニタリングモードにおける前記画像データの探索方向を前記顔検出手段に対して指示することを特徴とする請求項４記載の撮像装置。
  7. 前記顔検出手段において前記画像データを少なくとも２つの方向から探索して前記顔部としての確度を算出して前記確度が最大になる探索方向を判断する最大確度判断手段をさらに具備し、
    前記モニタリングモード探索方向指示手段は、前記モニタリングモードにおける前記画像データの探索方向として前記確度が最大になる探索方向を前記顔検出手段に対して指示することを特徴とする請求項４記載の撮像装置。
  8. 当該撮像装置における重力方向からの傾きを検出する傾き検出手段をさらに具備し、
    モニタリングモード探索方向指示手段は、前記傾きに基づいて前記モニタリングモードにおける前記画像データの探索方向を前記顔検出手段に対して指示することを特徴とする請求項１記載の撮像装置。
  9. 前記モニタリングモードにおける前記画像データの探索方向を設定するモニタリングモード方向設定手段をさらに具備することを特徴とする請求項１記載の撮像装置。
  10. 前記顔検出手段は、前記画像データに対して時計方向を正方向として、「０度」方向、「＋９０度」方向、「−９０度」方向、「１８０度」方向の少なくとも一方向から探索を行うことを特徴とする請求項１記載の撮像装置。
  11. 前記顔検出手段は、前記画像データにおいて前記「０度」方向、前記「＋９０度」方向、前記「−９０度」方向、前記「１８０度」方向に対して前記顔部の傾きが「＋４５度」乃至「−４５度」の範囲内において前記顔部を検出することを特徴とする請求項１０記載の撮像装置。
  12. 前記顔検出手段において検出された顔部の数を含む検出結果を画像付随情報として前記画像データと関連付けて記録させる記録制御手段をさらに具備することを特徴とする請求項１記載の撮像装置。
  13. 画像を撮像して画像データを生成する撮像手段と、
    前記画像データを少なくとも１つの方向から探索して前記画像データにおける顔部を検出する顔検出手段と、
    前記画像データを記録するモードであるキャプチャモードにおいて前記画像データの探索方向を前記顔検出手段に対して指示するキャプチャモード探索方向指示手段と、
    前記画像データを表示させるモードであるモニタリングモードにおいて前記画像データの探索方向を前記顔検出手段に対して指示するモニタリングモード探索方向指示手段と、
    前記画像データを記録すべき旨の操作を受けた場合には前記キャプチャモードを選択する信号を供給し前記操作を受けない場合には前記モニタリングモードを選択する信号を供給する操作手段と
    を具備することを特徴とする撮像装置。
  14. 画像データを少なくとも１つの方向から探索して前記画像データにおける顔部を検出する顔検出手段と前記画像データを記録すべき旨の操作を行う操作手段とを備える撮像装置における処理方法であって、
    前記画像データを記録するモードであるキャプチャモードにおいて前記画像データの前記顔検出手段に対して探索方向を指示するキャプチャモード探索方向指示手順と、
    前記画像データを表示させるモードであるモニタリングモードにおいて前記画像データの探索方向を前記顔検出手段に対して指示するモニタリングモード探索方向指示手順と、
    前記操作を受けた場合には前記キャプチャモードに移行させ前記操作を受けない場合には前記モニタリングモードを継続させるモード移行手順と
    を具備することを特徴とする処理方法。
  15. 画像データを少なくとも１つの方向から探索して前記画像データにおける顔部を検出する顔検出手段と前記画像データを記録すべき旨の操作を行う操作手段とを備える撮像装置に、
    前記画像データを記録するモードであるキャプチャモードにおいて前記画像データの探索方向を前記顔検出手段に対して指示するキャプチャモード探索方向指示ステップと、
    前記画像データを表示させるモードであるモニタリングモードにおいて前記画像データの探索方向を前記顔検出手段に対して指示するモニタリングモード探索方向指示ステップと、
    前記操作を受けた場合には前記キャプチャモードに移行させ前記操作を受けない場合には前記モニタリングモードを継続させるモード移行ステップと
    を実行させることを特徴とするプログラム。
JP2005181320A 2005-06-21 2005-06-21 撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム Expired - Fee Related JP4457980B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005181320A JP4457980B2 (ja) 2005-06-21 2005-06-21 撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム
TW095120306A TW200721039A (en) 2005-06-21 2006-06-08 Imaging system, processing method for the imaging system, and program for making computer execute the processing method
KR1020060051728A KR101180900B1 (ko) 2005-06-21 2006-06-09 촬상장치, 이 장치의 처리방법 및 그 방법을 컴퓨터에실행시키는 프로그램
EP06253022A EP1737215A1 (en) 2005-06-21 2006-06-12 Imaging apparatus, processing method for the apparatus and computer program to execute the method
US11/471,076 US7796838B2 (en) 2005-06-21 2006-06-20 Imaging apparatus, processing method of the apparatus making computer execute the methods of selecting face search directions specific to a display mode and capture mode of operation
CN2006100864663A CN1885910B (zh) 2005-06-21 2006-06-21 成像设备及其处理方法和数据处理设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005181320A JP4457980B2 (ja) 2005-06-21 2005-06-21 撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム

Publications (2)

Publication Number Publication Date
JP2007004313A true JP2007004313A (ja) 2007-01-11
JP4457980B2 JP4457980B2 (ja) 2010-04-28

Family

ID=37059081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005181320A Expired - Fee Related JP4457980B2 (ja) 2005-06-21 2005-06-21 撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム

Country Status (6)

Country Link
US (1) US7796838B2 (ja)
EP (1) EP1737215A1 (ja)
JP (1) JP4457980B2 (ja)
KR (1) KR101180900B1 (ja)
CN (1) CN1885910B (ja)
TW (1) TW200721039A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262535A (ja) * 2007-03-20 2008-10-30 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、顔検出プログラムおよび記録媒体
JP2009230557A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
JP2010050574A (ja) * 2008-08-19 2010-03-04 Canon Inc 撮像装置、その制御方法及びプログラム
JP2010088093A (ja) * 2008-09-05 2010-04-15 Ricoh Co Ltd 撮像装置、撮像方法、プログラムおよび記録媒体
US8213690B2 (en) 2007-10-02 2012-07-03 Sony Corporation Image processing apparatus including similarity calculating unit, image pickup apparatus, and processing method for the apparatuses
US8243159B2 (en) 2008-04-09 2012-08-14 Sony Corporation Image capturing device, image processing device, image analysis method for the image capturing device and the image processing device, and program for facial attribute detection
JP2018060126A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 像ぶれ補正装置およびその制御方法、撮像装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363909B2 (en) * 2007-03-20 2013-01-29 Ricoh Company, Limited Image processing apparatus, image processing method, and computer program product
US8116537B2 (en) * 2007-04-04 2012-02-14 Sony Corporation Image recording device, player device, imaging device, player system, method of recording image, and computer program
US8064655B2 (en) * 2007-04-20 2011-11-22 Panasonic Corporation Face image detection device, face image detection method and imaging apparatus
US20080266438A1 (en) * 2007-04-30 2008-10-30 Henrik Eliasson Digital camera and method of operation
JP4891144B2 (ja) * 2007-05-08 2012-03-07 キヤノン株式会社 画像検索装置及び画像検索方法
JP5169139B2 (ja) * 2007-10-25 2013-03-27 株式会社ニコン カメラ、および画像記録プログラム
JP4518157B2 (ja) * 2008-01-31 2010-08-04 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8705811B1 (en) * 2010-10-26 2014-04-22 Apple Inc. Luminance adjusted face detection
CN104346601B (zh) * 2013-07-26 2018-09-18 佳能株式会社 对象识别方法和设备
CN108171182B (zh) * 2017-12-29 2022-01-21 Oppo广东移动通信有限公司 电子装置、人脸识别方法及相关产品

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09171560A (ja) 1995-12-20 1997-06-30 Oki Electric Ind Co Ltd 顔の傾き検出装置
JPH09281605A (ja) 1996-04-15 1997-10-31 Fuji Photo Film Co Ltd 画像記録装置
US6597817B1 (en) 1997-07-15 2003-07-22 Silverbrook Research Pty Ltd Orientation detection for digital cameras
JP4153108B2 (ja) 1998-10-29 2008-09-17 富士フイルム株式会社 画像処理方法、画像処理装置及び記録媒体
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
JP2002218480A (ja) * 2001-01-23 2002-08-02 Minolta Co Ltd 画像撮影装置
JP2003271933A (ja) 2002-03-18 2003-09-26 Sony Corp 顔検出装置及び顔検出方法並びにロボット装置
JP2004062565A (ja) 2002-07-30 2004-02-26 Canon Inc 画像処理装置及び方法並びにプログラム記憶媒体
CN100464348C (zh) 2002-09-18 2009-02-25 贺贵明 视频监视识别智能装置与方法
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP4290100B2 (ja) * 2003-09-29 2009-07-01 キヤノン株式会社 撮像装置及びその制御方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262535A (ja) * 2007-03-20 2008-10-30 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、顔検出プログラムおよび記録媒体
US8213690B2 (en) 2007-10-02 2012-07-03 Sony Corporation Image processing apparatus including similarity calculating unit, image pickup apparatus, and processing method for the apparatuses
JP2009230557A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
US8243159B2 (en) 2008-04-09 2012-08-14 Sony Corporation Image capturing device, image processing device, image analysis method for the image capturing device and the image processing device, and program for facial attribute detection
JP2010050574A (ja) * 2008-08-19 2010-03-04 Canon Inc 撮像装置、その制御方法及びプログラム
JP2010088093A (ja) * 2008-09-05 2010-04-15 Ricoh Co Ltd 撮像装置、撮像方法、プログラムおよび記録媒体
JP2018060126A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 像ぶれ補正装置およびその制御方法、撮像装置

Also Published As

Publication number Publication date
KR101180900B1 (ko) 2012-09-07
KR20060133893A (ko) 2006-12-27
US20060285750A1 (en) 2006-12-21
JP4457980B2 (ja) 2010-04-28
TWI333175B (ja) 2010-11-11
TW200721039A (en) 2007-06-01
CN1885910B (zh) 2010-10-13
US7796838B2 (en) 2010-09-14
EP1737215A1 (en) 2006-12-27
CN1885910A (zh) 2006-12-27

Similar Documents

Publication Publication Date Title
JP4457980B2 (ja) 撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム
JP4130641B2 (ja) ディジタル・スチル・カメラおよびその制御方法
US8164643B2 (en) Composition determining apparatus, composition determining method, and program
US8494286B2 (en) Face detection in mid-shot digital images
US8275171B2 (en) Composition determining apparatus, composition determining method, and program
JP4218711B2 (ja) 顔検出装置、撮像装置および顔検出方法
JP4218712B2 (ja) 顔検出装置、撮像装置および顔検出方法
JP2011166442A (ja) 撮像装置
JP5578442B2 (ja) 撮像装置、画像合成方法、及びプログラム
JP2006311154A (ja) 撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム
JP2003092700A (ja) デジタルカメラ撮像装置
JP2007148691A (ja) 画像処理装置
JP2013183306A (ja) 撮像装置、撮像方法、及びプログラム
JP2016019249A (ja) 表示制御装置
JP2007049631A (ja) 撮像装置
JP5013282B2 (ja) 撮像装置、及びプログラム
JP2007265149A (ja) 画像処理装置、画像処理方法および撮像装置
JP5892211B2 (ja) 撮像装置、及びプログラム
JP6427859B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2008129664A (ja) 画像処理装置、撮影装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2011109693A (ja) 撮像装置
JP2005328279A (ja) 記録装置
JP2017063276A (ja) 映像表示装置、映像表示方法、及びプログラム
JP6372176B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011139123A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090730

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091028

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees