JP4264660B2 - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents

撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP4264660B2
JP4264660B2 JP2006160453A JP2006160453A JP4264660B2 JP 4264660 B2 JP4264660 B2 JP 4264660B2 JP 2006160453 A JP2006160453 A JP 2006160453A JP 2006160453 A JP2006160453 A JP 2006160453A JP 4264660 B2 JP4264660 B2 JP 4264660B2
Authority
JP
Japan
Prior art keywords
face
distance
identification information
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006160453A
Other languages
English (en)
Other versions
JP2007329784A (ja
Inventor
哲夫 三瀬
義人 寺島
央 石渡
栄次 山奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006160453A priority Critical patent/JP4264660B2/ja
Priority to US11/756,207 priority patent/US20070285528A1/en
Priority to TW096120020A priority patent/TWI389555B/zh
Priority to CNB2007101102197A priority patent/CN100545733C/zh
Publication of JP2007329784A publication Critical patent/JP2007329784A/ja
Application granted granted Critical
Publication of JP4264660B2 publication Critical patent/JP4264660B2/ja
Priority to US13/025,226 priority patent/US8649574B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、被写体としての人物の顔に基づいて被写体までの距離を算出し、算出距離情報をユーザに提供する構成とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。
デジタルスチルカメラやおよびデジタルビデオカメラ等の撮像装置において被写体に対してピントを合わせるフォーカス処理としては、自動的なフォーカス調整を行うオートフォーカス処理、ユーザ操作によりフォーカス調整を行なうマニュアルフォーカス処理がある。マニュアルフォーカス操作でピント調整を行う場合、一般的には、撮像装置に設けられた液晶画面(以下、LCD)や電子ビューファインダ(以下、EVF)などのモニタ画像を見ながら調整処理を行なう。
このようなモニタ画像を観察しながらマニュアル操作によってフォーカス調整を行なう場合の補助情報としてモニタ画面にフォーカスレンズの位置に応じたフォーカス距離を示すインジケータを表示させる構成が、例えば特許文献1に記載されている。また、被写体に対する合焦度合いを示すインジケータ表示構成が、特許文献2、特許文献3に記載されている。
しかし、一般に撮像装置に搭載されているモニタとしてのLCDやEVFは解像度が比較的低く、狙っている被写体にピントが合っているか否かをモニタ画像から正確に判断することが難しい。この問題を解決する手法として、モニタに提示する画像を拡大して表示する機能を有する撮像装置が提供されている。
しかし、このような拡大表示を行なうと、逆にモニタ画面上の表示からは、実際の被写体距離の把握が困難になるという問題が発生する。結果として、ユーザは、ピントが合うまでランダムにマニュアルフォーカス操作を実行し、ピントが合ってきてはじめてその人物までのおよその距離をインジケータによって知ることになる。すなわち、この場合、インジケータはユーザのマニュアルによるフォーカス制御を補助する役目はほとんど果たすことができない。
特開2004−94103号公報 特開2002−209135号公報 特開2005−181373号公報
本発明は、このような状況に鑑みてなされたものであり、目的とする被写体に対する迅速で正確なフォーカス処理を行なうことを可能としたものであり、特に、人物の顔に基づく距離検出を行い、その検出距離情報を距離インジケータに対応させて表示することで、マニュアルフォーカス処理における効果的なユーザ補助を実現する撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
表示部に前記入力画像と距離インジケータと距離識別情報とピント位置情報と前記顔検出部で検出した顔領域を識別する顔領域識別マークを表示させる制御部とを有し、
前記制御部は、
前記距離識別情報を、前記顔検出部の検出した顔の大きさに基づいて算出した被写体距離に対応する前記距離インジケータの位置に設け、
前記ピント位置情報を、現在のフォーカスポイントに対応する前記距離インジケータの位置に設け、
前記顔領域識別マークを、各顔ごとに前記距離識別情報の表示色と対応付けて表示し、
前記顔の大きさに基づいて算出した距離が前記フォーカスポイントにおける合焦範囲内であるか否かを判定して、該判定結果に基づいて前記距離識別情報と前記顔領域識別マークの表示を変化させる
ことを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記距離識別情報は、顔アイコンであることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔領域識別マークと、該顔領域識別マークが示す顔領域の顔の大きさに基づいて算出した被写体距離を示す前記距離識別情報とを結ぶ接続線を表示させることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、表示部に表示される画像中の顔の近傍に、該顔に基づいて算出した距離情報を表示させることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記合焦範囲内であることを示す表示として、前記距離識別情報と前記顔領域識別マークの点滅または表示色の変更を行うことを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔検出部において検出された複数の顔領域について、順次、各顔に対応する距離を算出し、各顔の距離に対応する前記距離インジケータの位置に前記距離識別情報を表示させることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔検出部において検出された複数の顔領域について、規定の優先順位に従って順次、各顔に対応する距離を算出し、前記距離識別情報の表示予定位置に、すでに距離識別情報が表示済みの場合は、重ねて距離識別情報を表示しないものとすることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記規定の優先順位は、顔検出部の検出した顔の大きさの大きい順、または解析対象画像における中央に近い顔の順であることを特徴とする。
さらに、本発明の第2の側面は、
撮像装置において、情報表示処理を実行する撮像装置制御方法であり、
入力画像から顔領域を検出する顔検出ステップと、
表示部に前記入力画像と距離インジケータと距離識別情報とピント位置情報と前記顔検出部で検出した顔領域を識別する顔領域識別マークを表示させる制御ステップを有し、
前記制御ステップでは、
前記距離識別情報を、前記顔検出ステップで検出した顔の大きさに基づいて算出した被写体距離に対応する前記距離インジケータの位置に設け、
前記ピント位置情報を、現在のフォーカスポイントに対応する前記距離インジケータの位置に設け、
前記顔領域識別マークを、各顔ごとに前記距離識別情報の表示色と対応付けて表示し、
前記顔の大きさに基づいて算出した距離が前記フォーカスポイントにおける合焦範囲内であるか否かを判定して、該判定結果に基づいて前記距離識別情報と前記顔領域識別マークの表示を変化させる
ことを特徴とする撮像装置制御方法にある。
さらに、本発明の第3の側面は、
撮像装置において、情報表示処理制御を実行させるコンピュータ・プログラムであり、
顔検出部において、入力画像から顔領域を検出させる顔検出ステップと、
制御部において、表示部に前記入力画像と距離インジケータと距離識別情報とピント位置情報と前記顔検出部で検出した顔領域を識別する顔領域識別マークを表示させる制御ステップを有し、
前記制御ステップでは、
前記距離識別情報を、前記顔検出ステップで検出した顔の大きさに基づいて算出した被写体距離に対応する前記距離インジケータの位置に設け、
前記ピント位置情報を、現在のフォーカスポイントに対応する前記距離インジケータの位置に設け、
前記顔領域識別マークを、各顔ごとに前記距離識別情報の表示色と対応付けて表示し、
前記顔の大きさに基づいて算出した距離が前記フォーカスポイントにおける合焦範囲内であるか否かを判定して、該判定結果に基づいて前記距離識別情報と前記顔領域識別マークの表示を変化させる
ことを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成によれば、撮像装置において顔検出処理および距離算出処理を実行し、モニタ画面やビューファインダに表示される距離インジケータに併せて算出距離位置に顔アイコンなど距離識別情報を表示する。撮影者は、この表示によって直感的に人物までの距離を認識することができ、マニュアルフォーカス操作でピント合わせをする際にインジケータに併せて表示される顔アイコンを見て容易に人物までのおよその距離を知ることができ、マニュアルによるフォーカス制御(ピント合わせ)を効率的にかつ正確に行なうことができる。
また、本発明の一実施例構成によれば、モニタやビューファインダに表示される被写体画像を囲むように設定される顔領域識別マークの設定色と、距離インジケータに対応させて表示する顔アイコンなどの距離識別情報の色を一致させる構成、あるいは接続線で結んで表示する構成としたので、複数の顔がモニタ上に表示されている場合であっても、容易に目的被写体までの距離を把握でき、目的とする被写体に対するピント合わせを正確に行なうことが可能となる。
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。本発明の撮像装置においては、被写体である人物の顔を検出し、検出した顔までの距離を算出し、算出距離情報を撮像装置の表示部、すなわち、モニタ画面や、ビューファインダにインジケータに併せて表示することで、マニュアルフォーカス処理におけるユーザ補助を実現する。すなわち、被写体としての人物までの距離をユーザ(撮影者)に直感的理解できる情報を提供し、マニュアルフォーカス操作を効率的に正確に実行することを可能とするものである。
具体的には、マニュアルフォーカス操作により撮影者が人物を撮影する場合、顔検出処理および距離算出処理を実行し、モニタ画面やビューファインダに表示される距離インジケータ上、あるいはインジケータの近傍の算出距離位置に顔アイコンなど距離識別情報を表示する。撮影者は、この表示によって直感的に人物までの距離を認識することができる。撮影者はマニュアルフォーカス操作でピント合わせをする前にインジケータに併せて表示される顔アイコンを見て容易に人物までのおよその距離を知ることができ、マニュアルによるフォーカス制御(ピント合わせ)を効率的にかつ正確に行なうことができる。
また、モニタやビューファインダに表示される被写体画像に対応させて、フォーカス調整がなされた被写体を囲むように設定して表示する合焦枠の色と、距離インジケータに対応させて表示する顔アイコンなどの距離識別情報の色を一致させることで、複数の顔がモニタ上に表示されている場合であっても、容易に目的被写体までの距離を把握でき、目的とする被写体に対するピント合わせを正確に行なうことが可能となる。
人物が前後(被写体距離が前後)に動けば、フォーカスインジケータ上の顔アイコンもそれに連動して表示位置を変更する構成であり、人が動く場合でも、その動きに対応する表示がなされることになり、ユーザはモニタ画面から被写体の動きを把握することができる。
まず、図を参照して、本発明の撮像装置の構成について説明する。図1は、本発明の撮像装置10の外観を示す図である。図1(a)は、撮像装置10の上面図、(b)は正面図、(c)は背面図である。(a)上面図のレンズ部分は断面図として示してある。撮像装置10は、電源スイッチ11、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ12、撮像装置によって撮影される画像(スルー画像)や操作情報などを表示するモニタ13、撮像素子(CCD)としてのイメージャ14、ズーム制御を行うためのズームボタン15、マニュアルフォーカス処理など各種の操作情報を入力する操作ボタン16、撮像装置によって撮影される画像(スルー画像)を確認するためのビューファインダ17、フォーカス調整において駆動されるフォーカスレンズ18、ズーム調整に際して駆動されるズームレンズ19、撮影モードを設定するためのモードダイアル20、フォーカスレンズ18を駆動するためのフォーカスレンズモータ(M1)21、ズームレンズ19を駆動するためのズームレンズモータ(M2)22を有する。
被写体画像は、表示部であるビューファインダ17およびモニタ13に表示される。ビューファインダ17およびモニタ13は例えばLCDによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ17またはモニタ13を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ12を押すことで画像の記録処理が実行されることになる。
図2を参照して本発明の撮像装置100の内部構成について説明する。フォーカスレンズ101、ズームレンズ102を介する入射光は、例えばCCD(Charge Coupled Device)などの撮像素子103に入力し、撮像素子103において光電変換される。光電変換データは、アナログ信号処理部104に入力され、アナログ信号処理部104においてノイズ除去等の処理がなされ、A/D変換部105においてデジタル信号に変換される。A/D変換部105においてデジタル変換されたデータは、デジタル信号処理部108においてさまざまな信号の加工および補正処理を行い、108で信号処理されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス115に記録される。さらに、モニタ117、ビューファインダ(EVF)116に表示される。モニタ117、ビューファインダ(EVF)116には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。
操作部118は、図1を参照して説明したカメラ本体にあるレリーズスイッチ12、ズームボタン15、マニュアルフォーカス処理操作情報などの各種の操作情報を入力する操作ボタン16、撮影モードを設定するためのモードダイアル20等を含む操作部である。制御部110は、CPUを有し、撮像装置の実行する各種の処理の制御を予めメモリ(ROM)120などに格納されたプログラムに従って実行する。メモリ(EEPROM)119は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ(ROM)120は、制御部(CPU)110が使用するプログラムや演算パラメータ等を格納する。メモリ(RAM)121は、制御部(CPU)110において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ111は、撮像装置の傾き、揺れなどを検出する。検出情報は、制御部(CPU)110に入力され、手ぶれ防止などの処理が実行される。
モータドライバ112は、フォーカスレンズ101に対応して設定されたフォーカスレンズ駆動モータ113、ズームレンズ102に対応して設定されたズームレンズ駆動モータ114を駆動する。垂直ドラバ107は、撮像素子(CCD)103を駆動する。タイミングジェネレータ106は、撮像素子103およびアナログ信号処理部104の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。
顔検出部130は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔領域を検出する。検出情報は、制御部110に送られ、制御部110では、検出情報に基づいて、目的被写体としての人物の顔領域を特定し、この特定した顔領域に基づいて被写体までの距離を測定する。
本発明の撮像装置は、フォーカス制御処理として、マニュアルによるピント合わせ、すなわちマニュアルフォーカス処理が可能な装置である。マニュアルフォーカス操作により撮影者が人物を撮影する場合、顔検出部130顔検出処理を実行して、制御部110において検出顔情報に基づく距離算出処理を実行し、モニタ117やビューファインダ116に表示される距離インジケータの算出距離位置に顔アイコンなどの距離識別情報の表示を行なう。撮影者は、この表示によって直感的に人物までの距離を認識することができる。
具体的な表示例を図3に示す。図3に示すように、撮像装置10のモニタ13には、図に示す表示情報200が表示される。ここでは、モニタ13のみを示しているが、ビューファインダにも同様の画像が表示される。表示情報200には、撮像装置において撮影されている映像(スルー画)とともに、距離インジケータ210が表示される。距離インジケータ210は図に示す例では、左端が近距離、右端が無限距離を示すインジケータであり、現在のフォーカスレンズ位置に対応するフォーカス設定距離位置に対応するピント位置情報211が示される。ピント位置情報211は、ユーザによるマニュアルフォーカス調整によるフォーカスレンズの移動に伴いインジケータ上をスライドする。
本発明の撮像装置では、顔検出部130による顔領域検出、制御部110による顔までの距離算出によって得られた算出距離情報に基づいて、算出した距離に対応するインジケータ位置に図に示すように顔アイコンが表示される。図に示す例では、スルー画として表示された画像に含まれる顔201に対して算出された距離(約1m)に対応するインジケータ位置に顔アイコン221が示され、顔202に対して算出された距離(約2.2m)に対応するインジケータ位置に顔アイコン222が表示された例を示している。これらのアイコンは、各顔201,202に対応して異なる色を適用して表示される。この色は、モニタ画像に表示される距離の算出された顔に対応して示される顔領域識別マーク203,204の設定色に対応する。顔領域識別マーク203,204は、合焦枠、すなわち被写体に対する合焦成功を示すための情報としても利用され、合焦した場合は、顔領域識別マーク203,204は点滅表示を行なう。さらに合焦時には、顔アイコン221,222も点滅表示させる。
図に示す例では顔201には、赤色の顔領域識別マーク203が表示され、顔202には、青色の顔領域識別マーク204が表示され、距離情報を示す顔アイコンの色も、顔201の算出距離に対応する顔アイコン221は赤、顔202の算出距離に対応する顔アイコン222は青色での表示がなされる。ユーザは、この表示色によって、どの被写体がどの距離であるかを即座に判断することが可能となる。
さらに、顔領域識別マーク203,204は、前述したように合焦枠としても利用される。撮像装置におけるフォーカス調整によって、特定の被写体にピントが合った(合焦成功)場合、モニタ画像中の、合焦被写体を識別可能とするため、合焦表示が実行される。合焦表示とは、モニタやビューファインダに表示される画像中に合焦が完了したことを示すために表示される識別情報であり、例えば、顔を囲む枠を合焦枠として表示するのが一般的である。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
本発明の構成では、合焦成功を示すため、顔領域識別マークを点滅表示する。例えば、図に示す例では、顔201に対する合焦が成功しており、この場合、顔領域識別マーク203を点滅表示する。この際、顔201の算出距離に対応する顔アイコン221も点滅表示する。ユーザは、この点滅表示により、合焦成功を確認してシャッターを操作して撮影を行なうことで、確実なフォーカス調整のなされた画像を撮影することができる。
なお、距離インジケータ210は、被写体の存在する距離に応じて切り替えて表示される。すなわち、図4に示すように複数の異なる距離範囲を持つインジケータが切り替え表示される。図4(a)は、2〜90cmの距離範囲を持つインジケータであり、(b)は90〜無限遠の距離範囲を持つ距離インジケータである。このように複数の距離インジケータが選択的に切り替えられて表示される。例えば、顔検出部130において検出された顔に基づいて制御部110の算出した距離が、すべて90cm以内にあれば、制御部110は、図4(a)に示す距離インジケータを表示して、その距離インジケータ上または近傍に顔アイコンを表示する処理を実行し、算出した距離が、90cmより遠い顔があれば、制御部110は、図4(b)に示す距離インジケータを表示して、その距離インジケータ上または近傍に顔アイコンを表示する処理を実行する。
本発明の撮像装置では、撮影者はマニュアルフォーカス操作でピント合わせをする前に、図3に示すような距離インジケータ210上の表示を見て容易に人物までのおよその距離を知ることができ、マニュアルによるフォーカス制御(ピント合わせ)を効率的にかつ正確に行なうことができる。なお、人物が前後(被写体距離が前後)に動けば、フォーカスインジケータ上の顔アイコンもそれに連動して表示位置を変更する構成であり、人が動く場合でも、その動きに対応する表示がなされることになり、ユーザはモニタ画面から被写体の動きを把握することができる。
本発明の撮像装置では、撮像装置によって撮影される画像データから目的被写体の人物の顔領域を特定し、顔画像に基づく距離算出を実行する。すなわち、顔検出部130による顔領域検出、制御部110による顔までの距離算出を実行する。以下、この処理の具体的な処理構成について説明する。説明は、以下の項目順に行なう。
(1)顔識別処理
(2)顔の大きさに基づく被写体距離算出処理
(1)顔識別処理
まず、顔検出部130の実行する処理、すなわち撮像装置によって取得される画像データから人物の顔領域を特定する手法について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開2004−133637に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔3次元直交座標系のXYZ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。
縮小された画像に対して2次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交3軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離の算出を実行する。
顔画像から算出した距離情報に基づいて、図3を参照して説明したように、モニタ117、ビューファインダ(EVF)116などの表示部に表示される距離インジケータの算出距離位置に例えば顔アイコンなどの識別表示が行なわれる。
(2)顔までの距離算出方法
以下、具体的な顔までの距離の算出方法について説明する。本発明の撮像装置では、撮像装置によって撮影される画像に含まれる顔の大きさによって顔までの距離を求める。この処理について、図5を参照して説明する。図5には、被写体位置301、フォーカスレンズ302、撮像素子303を示している。被写体位置301には人物の顔が存在する。顔の大きさ(顔の幅)はWfである。
顔の実際の大きさ(Wf)が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離(Df)、すなわち、フォーカスレンズ302から被写体位置301までの被写体距離(Df)は以下の式で求めることができる。 Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値:Wref
撮像素子の幅:Wi
焦点距離:f
撮像画像における人の顔の大きさのピクセル数(撮像素子検出値):Wf
人の顔検出に使用した画像の大きさのピクセル数(撮像素子検出値):Ww
人間の顔の大きさ基準値(Wref)は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値(Wref)を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。この処理構成については、後段で説明する。
撮像装置は、撮影される画像(スルー画)に基づいて、上述の式(式1.1)を適用して被写体距離(Df)を算出し、算出した被写体距離(Df)に基づいて、図3を参照して説明したように表示部に表示する距離インジケータの算出距離位置に顔アイコンなどの識別子表示を実行する。なお、前述したように画像中に複数の顔が含まれる場合は、それぞれの顔に対応する距離を算出する。各顔に対応する異なる色を適用したアイコンと、各顔に対する顔領域識別マークを表示する。
上述した距離算出式(式1.1)において適用する人間の顔の大きさ基準値(Wref)は、予め定めた固定値を利用することができるが、この顔大きさ基準値(Wref)を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能である。この処理構成について、図6以下を参照して説明する。すなわち、顔の大きさ基準値:Wrefを、被写体に対応する人種、性別、年齢、体格に応じた適切な値に設定して、被写体に対応する正確な被写体距離(Df)を求めるための処理構成である。この処理のために、様々な人種、性別、年齢、体格に対応する基準値Wrefを算出して利用する。例えば、様々な人種、性別、年齢、体格に対応する基準値Wrefを算出するためのテーブルデータを保持し、画像解析結果またはユーザ入力情報に基づいて被写体に対応する人種、性別、年齢、体格情報を取得して、これらの取得情報に基づいてテーブルから、被写体に応じた顔大きさ基準値:Wrefを求める構成である。
撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定することが可能である。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定する。あるいは、撮影者などのユーザが、被写体情報として人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を適用する構成としてもよい。
このように画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値:Wrefを求める。図6を参照して、この処理例について説明する。
図6に示すように、撮像装置は、顔の大きさ基準値(Wref)算出部310を有し、顔の大きさ基準値(Wref)算出部310は、人種別基準値算出テーブル311、性別基準値算出テーブル312、年齢別基準値算出テーブル313、体格別基準値算出テーブル314と、データ処理部320を有する。
画像解析部331は、撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定する。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定し、その推定情報を顔の大きさ基準値(Wref)算出部310に入力する。あるいは、ユーザ入力部332を介して撮影者などのユーザが、被写体情報としての人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を顔の大きさ基準値(Wref)算出部310に入力する。
顔の大きさ基準値(Wref)算出部310は、画像解析部331または、ユーザ入力部332を介して入力した被写体情報に基づいて、被写体に応じた最適な基準値(Wref)を、各テーブルを適用して算出する。なお、実際の出力としては、ある程度のばらつきを考慮した基準値範囲Wref=(Wref+ΔWrefb)〜(Wref−ΔWrerfs)を算出する構成としてもよい。想定される大きい方へのずれをΔWrefb、想定される小さい方へのずれをΔWrefsとして考慮した結果を出力する。
テーブルのデータ構成例を図7〜図9を参照して説明する。図7(a)は、人種別基準値算出テーブル、図7(b)は、人種、性別基準値算出テーブル、図8(c)は、人種、性別、年齢別基準値算出テーブル、図9(d)は人種、性別、年齢、体格別基準値算出テーブルである。図6に示す構成例においては、人種、性別、年齢、体格の個別のテーブルを設定した例を説明したが、テーブル構成は、個別のテーブルとするばかりでなく、図7〜図9に示す態様のような各種の設定が可能である。
例えば、画像解析部331または、ユーザ入力部332を介して入力した被写体情報に基づいて、人種のみが推定/断定できる時には、図7(a)に示す人種別基準値算出テーブルを用いる。仮に人種の判断ができない場合。「共通」のデータが用いられることとなる。
画像解析部331または、ユーザ入力部332を介して入力した被写体情報に基づいて、人種と性別が推定/判断できる場合には、図7(b)に示す人種、性別基準値算出テーブルが用いられる。仮にアジア系人種であり、男性ということになれば、図7(b)に示すA列のデータが用いられることになる。一方で、例えば人種は判別できないが性別は女性と推定/断定できる場合、人種は共通、性別は女性という図7(b)に示すB列のデータを用いることとなる。
同様にして、年代まで推定/断定できるならば、図8(c)に示す人種、性別、年齢別基準値算出テーブルが用いられることになり、仮にアジア系人種の男性であり、12歳以上ということが分れば、図8(c)に示すC列のデータを用いればよいし、何らかの理由で年代が推定できなかった場合は、図8(c)に示すD列のデータを用いればよい。同様にして、体格まで推定/断定できるならば、図9(d)に示す人種、性別、年齢、体格別基準値算出テーブルを用いて最適な基準値Wref=(Wref+ΔWrefb)〜(Wref−ΔWrerfs)を算出する。
このように、画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値:Wrefを求めることが可能であり、算出した基準値:Wrefを適用することで、より正確な被写体までの距離(Df)を算出することが可能となる。なお、基準値:Wrefの適用処理および被写体までの距離(Df)の算出処理に際しては、顔の横幅、顔の縦の長さのいずれかを適用する構成、さらに、両者を併用する処理構成が可能である。さらに、傾きを考慮した処理構成としてもよい。
このようにして被写体の顔の大きさに基づいて算出した被写体までの距離(Df)に基づいて、図3を参照して説明したように表示部に表示する距離インジケータの算出距離位置に顔アイコンなどの識別子表示を実行する。画像中に複数の顔が含まれる場合は、それぞれの顔に対応する距離を算出して、それぞれの顔に対応する異なる色を適用したアイコンと、各顔に対する顔領域識別マークを表示する。
なお、距離インジケータに対応するアイコンの表示位置は、顔の大きさに基づいて算出した算出距離(Df)について、表示部に表示されるインジケータの表示距離に対応させる正規化処理を実行して表示位置を決定し表示する。
次に、図10に示すフローチャートを参照して、本発明の撮像装置において実行する処理のシーケンスについて説明する。図10に示すフローチャートは、図2に示す撮像装置の制御部110の制御の下に、顔検出部130などの各構成部を制御して実行される。まず、ステップS101において、顔検出部130において、撮像装置の取得画像から、顔領域を検出する。前述したように、例えば顔の輝度分布情報を記録したテンプレートの実画像へのマッチング処理によって、取得画像から顔領域を特定して検出する。
次に、ステップS102において、検出した顔までの距離を算出する。この被写体距離の算出の基本式は、先に説明した式、すなわち、
Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
が適用される。
なお、この距離算出処理においては、前述したように人物の人種、性別、年齢、体格に対応する顔の大きさ基準値[Wref]を適用する構成としてもよい。
次に、ステップS103において、算出距離情報に基づいて、表示部に表示される距離インジケータに対応させて表示する距離識別情報(顔アイコン)の表示位置の計算および表示処理を実行する。この処理に際しては、顔の大きさに基づいて算出した算出距離(Df)を、インジケータの表示に対応させる正規化処理を実行して表示位置を決定し表示する処理が行われる。
次に、ステップS104において、算出した顔までの距離[Df]と、インジケータのピント位置情報の示す距離との比較を実行し、現在のフォーカスレンズの位置(ピント位置)が、距離を算出した被写体の顔の合焦位置にあるか否かを判定する。具体的には、図11に示すように、算出した顔までの距離[Df]が、インジケータに示されるピント位置[Dp]の近傍にあるか否かが検証される。すなわち、算出した顔までの距離[Df]が、ピント位置[Dp]から算出される合焦許容距離範囲Thr_min〜Thr_maxの範囲にあるか否かを判定する。
顔までの距離[Df]が、ピント位置[Dp]から算出される合焦許容距離範囲Thr_min〜Thr_maxの範囲にあると判定されると、ステップS105に進み、インジケータに併せて表示した距離識別情報(顔アイコン)を点滅表示させる。さらに、先に図3を参照して説明したように、合焦枠として利用される顔領域識別マークを点滅表示する。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
一方、ステップS104において、顔までの距離[Df]が、ピント位置[Dp]から算出される合焦許容距離範囲Thr_min〜Thr_maxの範囲にないと判定されると、ステップS105における点滅処理は実行されず、処理は終了する。ただし、ステップS101〜S105における処理は、撮像装置がマニュアルフォーカスに設定されている間は、継続して実行されており、ユーザが操作部の操作によって、フォーカスレンズを移動させることで、ステップS104の判定がYesとなると
ステップS105においてアイコンなどの点滅表示がなされることになり、ユーザはこの時点で、シャッターを操作することで、ピントのあった画像を撮影することができる。
なお、上述の処理フローでは、顔までの距離[Df]が、ピント位置[Dp]から算出される合焦許容距離範囲Thr_min〜Thr_maxの範囲にあると判定されると、ステップS105に進み、インジケータに併せて表示した距離識別情報(顔アイコン)を点滅表示させる処理構成として説明したが、点滅ではなく、例えば表示色を変更することで、合焦を通知する構成としてもよい。合焦枠として利用される顔領域識別マークについても点滅ではなく表示を変更する処理を行なう構成としてもよい。
次に、図12に示すフローチャートを参照して、顔検出部において検出される顔が複数ある場合の処理シーケンスについて説明する。図12に示すフローチャートも、図2に示す撮像装置の制御部110の制御の下に、顔検出部130などの各構成部を制御して実行される。まず、ステップS201において、顔検出部130において、撮像装置の取得画像から、顔領域を検出する。前述したように、例えば顔の輝度分布情報を記録したテンプレートの実画像へのマッチング処理によって、取得画像から顔領域を特定して検出する。ステップS202においては、検出された顔の数(n)に対応するループ数(n)を設定し、ステップS203〜S207の処理を実行する。
ステップS203はループ開始を意味する。ステップS204では、ステップS202において、検出した顔の1つについて、距離を算出する。この被写体距離の算出の基本式は、先に説明した式、すなわち、
Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
が適用される。
なお、この距離算出処理においては、前述したように人物の人種、性別、年齢、体格に対応する顔の大きさ基準値[Wref]を適用する構成としてもよい。
ステップS205では、算出距離位置に対応するインジケータ位置にアイコンが表示されているか否かを判定する。該当位置にアイコンが表示されていない場合は、ステップS206に進み、算出距離位置に対応するインジケータ位置に、距離識別情報(顔アイコン)を表示する。ステップS205において、算出距離位置に対応するインジケータ位置にアイコンが表示されていると判定されると、ステップS206における顔アイコン表示を実行することなく、次の処理、すなわちステップS207に進み、次のループの処理に移行する。ステップS203〜S207の処理を検出した顔に相当する回数、順次、処理対象顔を変更して繰り返し実行して、全ての顔に対する処理が終了すると処理を終了する。
なお、ステップS203〜S207のループの実行に際して、処理を実行する顔の順番は、例えば検出された顔の大きさの大きい順に設定する。このような設定により、より近い距離にある顔が優先的に処理され、近い位置にある人物の顔アイコンが優先的にインジケータに併せて表示されることになる。このように、複数の顔がある場合は、優先度の低い顔についてのアイコンの表示を行なわないことで、表示が重ならないように設定している。
また、上記のように複数人を撮影する場合、予め撮影者にメニュー上で、距離測定を実行する顔を選択させ、選択情報を入力して、制御部がセンタされた顔についてのみ距離算出とアイコン表示を実行する構成としてもよい。また、例えば撮影画像の中央領域を優先領域として設定し、中央位置から順に優先順位を設定して処理を行なう構成としてもよい。
また、最も大きい顔、またはもっとも中央にある顔のみを距離算出とアイコン表示対象とする顔として設定し、唯一の顔のみに対する処理を実行する構成としてもよい。この場合、顔の検出数は1つになるので、それに対応したインジケータ上の顔アイコンも1つになり、撮影者はどの顔がどの顔アイコンに対応しているかが迷うことなく認識することが可能になる。
また、撮影者が急激なパンチルトを行うと、モニタ上に表示され、検出されていた顔が画角内から消えるが、この場合は、それに対応してインジケータ上の顔アイコンについても、表示を消し初期化を実行する。ただし、誤検出などを防止するため、顔アイコンの表示を消す処理は、予め定めた時間遅らせて実行する。アイコンを消して初期化を実行した後、再度、取得画像に基づく、顔検出、距離算出、アイコン表示が実行される。
なお、先に、図3を参照してインジケータおよび顔アイコン、および合焦枠として利用される顔領域識別マークの表示例を説明したが、図13に示すように、顔アイコンと、顔領域識別マークとを接続線521,522で結ぶ表示を実行して、顔、顔領域識別マーク、顔アイコンとの関連を、さらに分かりやすく表示する構成としてもよい。さらに、図14に示すように、合焦枠として利用される顔領域識別マークに併せて距離情報531,532を表示する構成としてもよい。また、図15に示すように検出している顔の中で、横向きが正面を向いたとき、それに対応した横向き顔アイコン551を点滅させて撮影者に知らせる構成としてもよい。この他、顔アイコンの種類として大人、子供、男、女などの顔アイコンを設定し、顔検出部および制御部の検出情報に従って、被写体に応じたアイコンを選択して表示する構成としてもよい。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成によれば、撮像装置において顔検出処理および距離算出処理を実行し、モニタ画面やビューファインダに表示される距離インジケータに併せて算出距離位置に顔アイコンなど距離識別情報を表示する。撮影者は、この表示によって直感的に人物までの距離を認識することができ、マニュアルフォーカス操作でピント合わせをする際にインジケータに併せて表示される顔アイコンを見て容易に人物までのおよその距離を知ることができ、マニュアルによるフォーカス制御(ピント合わせ)を効率的にかつ正確に行なうことができる撮像装置が実現される。
また、本発明の一実施例構成によれば、モニタやビューファインダに表示される被写体画像を囲むように設定される顔領域識別マークの設定色と、距離インジケータに対応させて表示する顔アイコンなどの距離識別情報の色を一致させる構成、あるいは接続線で結んで表示する構成としたので、複数の顔がモニタ上に表示されている場合であっても、容易に目的被写体までの距離を把握でき、目的とする被写体に対するピント合わせを正確に行なうことが可能となる撮像装置が実現される。
本発明の撮像装置の外観構成例について説明する図である。 本発明の撮像装置のハードウェア構成例について説明する図である。 本発明の撮像装置におけるデータ表示例について説明する図である。 本発明の撮像装置において表示する距離インジケータの例について説明する図である。 顔の大きさに基づく被写体距離算出処理について説明する図である。 顔の大きさ基準値算出部の構成および処理について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 本発明の撮像装置の顔検出、距離算出および算出距離情報に基づく表示制御シーケンスについて説明するフローチャートを示す図である。 顔アイコンの点滅処理の条件について説明する図である。 複数の顔が検出された場合の顔検出、距離算出および算出距離情報に基づく表示制御シーケンスについて説明するフローチャートを示す図である。 本発明の撮像装置におけるデータ表示例について説明する図である。 本発明の撮像装置におけるデータ表示例について説明する図である。 本発明の撮像装置におけるデータ表示例について説明する図である。
符号の説明
10 撮像装置
11 電源スイッチ
12 レリーズスイッチ
13 モニタ
14 イメージャ
15 ズームボタン
16 操作ボタン
17 ビューファインダ
18 フォーカスレンズ
19 ズームレンズ
20 モードダイアル
21 フォーカスレンズモータ(M1)
22 ズームレンズモータ(M2)
100 撮像装置
101 フォーカスレンズ
102 ズームレンズ
103 撮像素子
104 アナログ信号処理部
105 A/D変換部
106 タイミングジェネレータ(TA)
107 垂直ドライバ
108 デジタル信号処理部
110 制御部
111 ジャイロ
112 モータドライバ
113,114 モータ
115記録デバイス115
116 ビューファインダ(EVF)
117 モニタ
118 操作部
119 メモリ(EEPROM)
120 メモリ(ROM)
121 メモリ(RAM)
200 表示情報
201,202 顔
203,204 顔領域識別マーク
210 距離インジケータ
211 ピント位置情報
221,222 顔アイコン
301 被写体位置
302 フォーカスレンズ
303 撮像素子
310 顔の大きさ基準値(Wref)算出部
311 人種別基準値算出テーブル
312 性別基準値算出テーブル
313 年齢別基準値算出テーブル
314 体格別基準値算出テーブル
320 データ処理部
331 画像解析部
332 ユーザ入力部
521,522 接続線
531,532 距離情報
551 横向き顔アイコン

Claims (10)

  1. 撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
    表示部に前記入力画像と距離インジケータと距離識別情報とピント位置情報と前記顔検出部で検出した顔領域を識別する顔領域識別マークを表示させる制御部とを有し、
    前記制御部は、
    前記距離識別情報を、前記顔検出部の検出した顔の大きさに基づいて算出した被写体距離に対応する前記距離インジケータの位置に設け、
    前記ピント位置情報を、現在のフォーカスポイントに対応する前記距離インジケータの位置に設け、
    前記顔領域識別マークを、各顔ごとに前記距離識別情報の表示色と対応付けて表示し、
    前記顔の大きさに基づいて算出した距離が前記フォーカスポイントにおける合焦範囲内であるか否かを判定して、該判定結果に基づいて前記距離識別情報と前記顔領域識別マークの表示を変化させる
    ことを特徴とする撮像装置。
  2. 前記距離識別情報は、顔アイコンであることを特徴とする請求項に記載の撮像装置。
  3. 前記制御部は、
    前記顔領域識別マークと、該顔領域識別マークが示す顔領域の顔の大きさに基づいて算出した被写体距離を示す前記距離識別情報とを結ぶ接続線を表示させる
    ことを特徴とする請求項1に記載の撮像装置。
  4. 前記制御部は、
    表示部に表示される画像中の顔の近傍に、該顔に基づいて算出した距離情報を表示させる
    ことを特徴とする請求項1に記載の撮像装置。
  5. 前記制御部は、
    前記合焦範囲内であることを示す表示として、前記距離識別情報と前記顔領域識別マークの点滅または表示色の変更を行う
    ことを特徴とする請求項1に記載の撮像装置。
  6. 前記制御部は、
    前記顔検出部において検出された複数の顔領域について、順次、各顔に対応する距離を算出し、各顔の距離に対応する前記距離インジケータの位置に前記距離識別情報を表示させる
    ことを特徴とする請求項1に記載の撮像装置。
  7. 前記制御部は、
    前記顔検出部において検出された複数の顔領域について、規定の優先順位に従って順次、各顔に対応する距離を算出し、前記距離識別情報の表示予定位置に、すでに距離識別情報が表示済みの場合は、重ねて距離識別情報を表示しないものとする
    ことを特徴とする請求項1に記載の撮像装置。
  8. 前記規定の優先順位は、顔検出部の検出した顔の大きさの大きい順、または解析対象画像における中央に近い顔の順であることを特徴とする請求項に記載の撮像装置。
  9. 撮像装置において、情報表示処理を実行する撮像装置制御方法であり、
    入力画像から顔領域を検出する顔検出ステップと、
    表示部に前記入力画像と距離インジケータと距離識別情報とピント位置情報と前記顔検出部で検出した顔領域を識別する顔領域識別マークを表示させる制御ステップを有し、
    前記制御ステップでは、
    前記距離識別情報を、前記顔検出ステップで検出した顔の大きさに基づいて算出した被写体距離に対応する前記距離インジケータの位置に設け、
    前記ピント位置情報を、現在のフォーカスポイントに対応する前記距離インジケータの位置に設け、
    前記顔領域識別マークを、各顔ごとに前記距離識別情報の表示色と対応付けて表示し、
    前記顔の大きさに基づいて算出した距離が前記フォーカスポイントにおける合焦範囲内であるか否かを判定して、該判定結果に基づいて前記距離識別情報と前記顔領域識別マークの表示を変化させる
    ことを特徴とする撮像装置制御方法。
  10. 撮像装置において、情報表示処理制御を実行させるコンピュータ・プログラムであり、
    顔検出部において、入力画像から顔領域を検出させる顔検出ステップと、
    制御部において、表示部に前記入力画像と距離インジケータと距離識別情報とピント位置情報と前記顔検出部で検出した顔領域を識別する顔領域識別マークを表示させる制御ステップを有し、
    前記制御ステップでは、
    前記距離識別情報を、前記顔検出ステップで検出した顔の大きさに基づいて算出した被写体距離に対応する前記距離インジケータの位置に設け、
    前記ピント位置情報を、現在のフォーカスポイントに対応する前記距離インジケータの位置に設け、
    前記顔領域識別マークを、各顔ごとに前記距離識別情報の表示色と対応付けて表示し、
    前記顔の大きさに基づいて算出した距離が前記フォーカスポイントにおける合焦範囲内であるか否かを判定して、該判定結果に基づいて前記距離識別情報と前記顔領域識別マークの表示を変化させる
    ことを特徴とするコンピュータ・プログラム。
JP2006160453A 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Expired - Fee Related JP4264660B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006160453A JP4264660B2 (ja) 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US11/756,207 US20070285528A1 (en) 2006-06-09 2007-05-31 Imaging apparatus, control method of imaging apparatus, and computer program
TW096120020A TWI389555B (zh) 2006-06-09 2007-06-04 成像裝置,成像裝置之控制方法及電腦程式
CNB2007101102197A CN100545733C (zh) 2006-06-09 2007-06-08 成像设备、成像设备的控制方法以及计算机程序
US13/025,226 US8649574B2 (en) 2006-06-09 2011-02-11 Imaging apparatus, control method of imaging apparatus, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006160453A JP4264660B2 (ja) 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2007329784A JP2007329784A (ja) 2007-12-20
JP4264660B2 true JP4264660B2 (ja) 2009-05-20

Family

ID=38821507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006160453A Expired - Fee Related JP4264660B2 (ja) 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Country Status (4)

Country Link
US (2) US20070285528A1 (ja)
JP (1) JP4264660B2 (ja)
CN (1) CN100545733C (ja)
TW (1) TWI389555B (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4207980B2 (ja) * 2006-06-09 2009-01-14 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2009031870A (ja) * 2007-07-24 2009-02-12 Seiko Epson Corp 被写体距離推定のための画像処理
JP2009053914A (ja) * 2007-08-27 2009-03-12 Seiko Epson Corp 画像処理装置および画像処理方法
KR101431535B1 (ko) 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
JP4851406B2 (ja) * 2007-08-31 2012-01-11 富士フイルム株式会社 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム
JP4544282B2 (ja) * 2007-09-14 2010-09-15 ソニー株式会社 データ処理装置、およびデータ処理方法、並びにプログラム
JP4582152B2 (ja) * 2008-01-25 2010-11-17 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
CN101494735B (zh) * 2008-01-25 2012-02-15 索尼株式会社 摄像装置、摄像装置控制方法
JP4843002B2 (ja) 2008-01-25 2011-12-21 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5116514B2 (ja) * 2008-03-11 2013-01-09 キヤノン株式会社 撮像装置および表示制御方法
JP2009223580A (ja) * 2008-03-14 2009-10-01 Omron Corp 優先対象決定装置、電子機器、優先対象決定方法、プログラム、および記録媒体
JP2009223523A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
US8265474B2 (en) * 2008-03-19 2012-09-11 Fujinon Corporation Autofocus system
EP2279452B1 (en) * 2008-05-19 2015-09-30 Canon Kabushiki Kaisha Image pickup system and lens apparatus
JP5157673B2 (ja) * 2008-06-24 2013-03-06 カシオ計算機株式会社 撮像装置、及びフォーカス位置表示方法、フォーカス位置表示プログラム
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
CN102100062A (zh) * 2008-07-17 2011-06-15 日本电气株式会社 成像设备、成像方法和程序
KR101474304B1 (ko) 2008-07-24 2014-12-18 삼성전자주식회사 얼굴 표정을 인식하는지에 따라 얼굴 영역을 상이하게가리키는 디지털 영상 처리 장치의 제어 방법 및 상기방법을 실행하는 디지털 영상 처리 장치
JP2010041598A (ja) * 2008-08-07 2010-02-18 Canon Inc 撮像装置、撮像装置の制御方法及び制御プログラム
JP5178553B2 (ja) * 2009-01-27 2013-04-10 オリンパス株式会社 撮像装置
JP5573311B2 (ja) * 2009-05-19 2014-08-20 株式会社ニコン カメラ
JP5281972B2 (ja) * 2009-07-01 2013-09-04 オリンパス株式会社 撮像装置
JP5322817B2 (ja) * 2009-07-17 2013-10-23 富士フイルム株式会社 3次元画像撮像装置及び3次元画像表示方法
KR101284798B1 (ko) * 2009-12-08 2013-07-10 한국전자통신연구원 단일 카메라 영상 기반의 객체 거리 및 위치 추정 장치 및 방법
CN102314043A (zh) * 2010-07-09 2012-01-11 华晶科技股份有限公司 人脸区块辅助对焦的方法
CN101908212A (zh) * 2010-07-09 2010-12-08 深圳超多维光电子有限公司 一种跟踪式立体显示设备及跟踪设备以及方法
CN102338972A (zh) * 2010-07-21 2012-02-01 华晶科技股份有限公司 多人脸区块辅助对焦的方法
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
CN102447644B (zh) * 2010-10-09 2017-04-19 三星电子(中国)研发中心 基于嵌入有联系人信息的图像进行通信的方法
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
CN102098524B (zh) * 2010-12-17 2011-11-16 深圳超多维光电子有限公司 跟踪式立体显示设备及跟踪式立体显示方法
US8682388B2 (en) 2010-12-31 2014-03-25 Motorola Mobility Llc Mobile device and method for proximity detection verification
US8508652B2 (en) 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
JP5603302B2 (ja) * 2011-07-21 2014-10-08 株式会社日立製作所 車両監視装置
JP5870533B2 (ja) * 2011-08-09 2016-03-01 株式会社リコー 撮像装置および撮像方法
KR101797040B1 (ko) * 2011-11-28 2017-11-13 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US9146624B2 (en) 2012-02-08 2015-09-29 Google Technology Holdings LLC Method for managing screen orientation of a portable electronic device
US9633186B2 (en) 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
JP6286668B2 (ja) * 2013-05-22 2018-03-07 パナソニックIpマネジメント株式会社 撮像装置および撮像画像の表示方法
US9509913B2 (en) * 2013-06-18 2016-11-29 Olympus Corporation Image pickup apparatus, method of controlling image pickup apparatus, image pickup apparatus system, and image pickup control program stored in storage medium of image pickup apparatus
KR102101740B1 (ko) * 2013-07-08 2020-04-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN105393528B (zh) * 2013-07-22 2018-11-02 松下电器(美国)知识产权公司 信息处理装置、信息处理装置的控制方法以及记录介质
KR102066938B1 (ko) * 2013-08-20 2020-01-16 한화테크윈 주식회사 영상 처리 장치 및 방법
CN103631502B (zh) * 2013-10-31 2019-03-08 小米科技有限责任公司 显示内容调节方法、装置和电子设备
KR102360424B1 (ko) * 2014-12-24 2022-02-09 삼성전자주식회사 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템
CN106060373B (zh) * 2015-04-03 2019-12-20 佳能株式会社 焦点检测装置及其控制方法
JP6485978B2 (ja) * 2015-07-03 2019-03-20 株式会社日立国際電気 画像処理装置および画像処理システム
KR102469694B1 (ko) * 2015-08-24 2022-11-23 삼성전자주식회사 카메라를 구비하는 장치에서 사진 촬영 지원 기법
CN105120165A (zh) * 2015-08-31 2015-12-02 联想(北京)有限公司 图像采集的控制方法以及装置
CN106022209B (zh) * 2016-04-29 2019-09-17 杭州华橙网络科技有限公司 一种基于人脸检测的距离估算和处理的方法及装置
CN107734384A (zh) * 2016-08-10 2018-02-23 北京光子互动科技有限公司 图像处理方法及装置
JP6752681B2 (ja) 2016-10-19 2020-09-09 キヤノン株式会社 表示制御装置、表示制御装置の制御方法及びプログラム並びに記憶媒体
CN106375671B (zh) * 2016-11-22 2020-03-06 Oppo广东移动通信有限公司 控制方法、控制装置和电子装置
EP3355100A1 (de) * 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Vorrichtung zur bestimmung von zentrierparametern für die brillenanpassung
TWI674000B (zh) * 2017-03-01 2019-10-01 坦前科技股份有限公司 具景深效果之影像追蹤系統與標記之方法
CN107247920A (zh) * 2017-05-05 2017-10-13 腾讯科技(深圳)有限公司 交互控制方法、装置和计算机可读存储介质
CN107172352B (zh) 2017-06-16 2020-04-24 Oppo广东移动通信有限公司 对焦控制方法、装置、计算机可存储介质和移动终端
CN107749947A (zh) * 2017-09-28 2018-03-02 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
CN108021669B (zh) * 2017-12-05 2021-03-12 Oppo广东移动通信有限公司 图像分类方法和装置、电子设备、计算机可读存储介质
JP7023699B2 (ja) * 2017-12-14 2022-02-22 キヤノン株式会社 光学機器
CN108012122A (zh) * 2017-12-15 2018-05-08 北京奇虎科技有限公司 监控视频的处理方法、装置和服务器
CN108174108A (zh) * 2018-03-08 2018-06-15 广州三星通信技术研究有限公司 在移动终端中调整拍照效果的方法和设备以及移动终端
JP6739672B2 (ja) * 2018-03-22 2020-08-12 三菱電機株式会社 体格推定装置および体格推定方法
TWI739041B (zh) 2018-10-31 2021-09-11 華碩電腦股份有限公司 電子裝置以及其控制方法
CN110944114B (zh) * 2019-11-28 2021-06-08 维沃移动通信有限公司 拍照方法及电子设备
US11580657B2 (en) * 2020-03-30 2023-02-14 Snap Inc. Depth estimation using biometric data
CN113115086B (zh) * 2021-04-16 2023-09-19 浙江闪链科技有限公司 基于视频视线识别对电梯媒体收视信息进行采集的方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5093680A (en) * 1988-09-22 1992-03-03 Asahi Kogaku Kogyo Kabushiki Kaisha Image magnification control device for a camera
JPH03257440A (ja) * 1990-03-08 1991-11-15 Konica Corp 測距方向変更可能なカメラ
JP3134314B2 (ja) 1990-12-22 2001-02-13 ソニー株式会社 ビデオカメラ装置
US6049674A (en) * 1992-08-24 2000-04-11 Fuji Photo Film Co., Ltd. Self-photography apparatus for making identification photograph
JP3427410B2 (ja) 1993-02-24 2003-07-14 ソニー株式会社 光ディスク記録装置および光ディスク再生装置
JP2001086403A (ja) 1999-09-14 2001-03-30 Nikon Corp 電子スチルカメラおよび電子カメラ
US6298198B1 (en) * 2000-01-28 2001-10-02 Eastman Kodak Company Motion verifying camera and motion verifying photography method
JP2002209135A (ja) 2001-01-11 2002-07-26 Minolta Co Ltd デジタル撮像装置および記録媒体
JP4516236B2 (ja) * 2001-04-19 2010-08-04 株式会社リコー 撮像装置
JP4221944B2 (ja) 2002-04-02 2009-02-12 株式会社ジェイテクト 密封装置
JP2004094103A (ja) 2002-09-03 2004-03-25 Canon Inc 撮像装置および撮像装置の動作処理方法
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP2004320285A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2005181373A (ja) 2003-12-16 2005-07-07 Victor Co Of Japan Ltd ビデオカメラ
CN1716078B (zh) * 2004-06-03 2012-03-28 佳能株式会社 图像拾取设备和图像拾取方法
JP2006145629A (ja) * 2004-11-16 2006-06-08 Fuji Photo Film Co Ltd 撮像装置
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
JP4674471B2 (ja) * 2005-01-18 2011-04-20 株式会社ニコン デジタルカメラ
JP4427515B2 (ja) * 2006-01-27 2010-03-10 富士フイルム株式会社 対象画像検出表示制御装置およびその制御方法
JP4127297B2 (ja) * 2006-06-09 2008-07-30 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4172507B2 (ja) * 2006-07-13 2008-10-29 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4582152B2 (ja) * 2008-01-25 2010-11-17 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4843002B2 (ja) * 2008-01-25 2011-12-21 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
US20110134273A1 (en) 2011-06-09
US20070285528A1 (en) 2007-12-13
TWI389555B (zh) 2013-03-11
US8649574B2 (en) 2014-02-11
CN101086604A (zh) 2007-12-12
TW200808043A (en) 2008-02-01
JP2007329784A (ja) 2007-12-20
CN100545733C (zh) 2009-09-30

Similar Documents

Publication Publication Date Title
JP4264660B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4218720B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4172507B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4127296B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4207980B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4127297B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4182117B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP5251215B2 (ja) デジタルカメラ
CN103024265B (zh) 摄像装置和摄像装置的摄像方法
JP5171468B2 (ja) 撮像装置及び撮像装置の制御方法
JP2022106849A (ja) 画像処理装置、撮像装置および制御方法
JP4730478B2 (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP2021106418A5 (ja) 画像処理装置、撮像装置、制御方法、プログラム及び記憶媒体
JP2009199049A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2008282031A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2010117663A (ja) オートフォーカスシステム
JP2007133301A (ja) オートフォーカスカメラ
JP2009290255A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2008288797A (ja) 撮像装置
JP6834988B2 (ja) 制御装置
JP2009092747A (ja) 撮像装置、および撮像方法
JP2005091432A (ja) カメラ
JP2012195804A (ja) 撮像装置
JP5407538B2 (ja) カメラ、およびフォーカス検出領域表示プログラム
JP2013135448A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees