JP2007150601A - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
JP2007150601A
JP2007150601A JP2005341050A JP2005341050A JP2007150601A JP 2007150601 A JP2007150601 A JP 2007150601A JP 2005341050 A JP2005341050 A JP 2005341050A JP 2005341050 A JP2005341050 A JP 2005341050A JP 2007150601 A JP2007150601 A JP 2007150601A
Authority
JP
Japan
Prior art keywords
face
image
image data
data
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005341050A
Other languages
English (en)
Other versions
JP4315148B2 (ja
Inventor
Hirotake Nozaki
弘剛 野崎
Akira Omura
晃 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2005341050A priority Critical patent/JP4315148B2/ja
Priority to CN2011102312413A priority patent/CN102231801B/zh
Priority to EP06833117A priority patent/EP1962497B1/en
Priority to CN2006800438630A priority patent/CN101313565B/zh
Priority to US12/085,353 priority patent/US8488847B2/en
Priority to PCT/JP2006/323295 priority patent/WO2007060980A1/ja
Publication of JP2007150601A publication Critical patent/JP2007150601A/ja
Application granted granted Critical
Publication of JP4315148B2 publication Critical patent/JP4315148B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 顔認識データを生成する際の登録撮影を容易に行うことのできる電子カメラを提供する。
【解決手段】 電子カメラは、撮像素子と、画像処理部と、顔検出部と、制御部と、顔画像生成部または顔認識データ生成部と、記録部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。画像処理部は、撮像素子からの画像信号に基づいて顔登録画像データを生成するとともに、画像信号に基づいてスルー画像データを生成する。顔検出部は、スルー画像データに基づいて撮影画面内の顔領域を検出する。制御部は、撮影光学系の撮影パラメータを顔領域の検出位置に応じて調整する。顔画像生成部は、顔領域の画像を切り出して顔画像データを生成する。顔認識データ生成部は、顔登録画像データの顔領域の部分から撮影人物の顔の特徴点を抽出し、特徴点に基づいて顔認識データを生成する。記録部は、顔認識データまたは顔画像データを記録する。
【選択図】 図1

Description

本発明は、人物の顔認識機能を備えた電子カメラに関する。
従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている(特許文献1参照)。かかる顔認識の技術では、予め電子カメラなどに顔認識データを登録する必要がある。特に顔認識の精度を向上させるためにはより多くの顔認識データが必要となるので、複数フレームの撮影画像から顔認識データを生成する必要がある。
特開平6−259534号公報
ところで、顔認識データを生成するための登録撮影では、顔の特徴点が抽出し易いように被写体の顔を撮影する必要がある。そのため、上記の登録撮影を簡易に行うことができる撮影モードを備えた電子カメラが要望されている。
本発明は上記従来技術の課題を解決するためのものであって、その目的は、顔認識データを生成する際の登録撮影を容易に行うことのできる電子カメラを提供することである。
第1の発明に係る電子カメラは、撮像素子と、画像処理部と、顔検出部と、制御部と、顔画像生成部または顔認識データ生成部と、記録部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。画像処理部は、撮像素子からの画像信号に基づいて顔登録画像データを生成するとともに、画像信号に基づいてスルー画像データを生成する。顔検出部は、スルー画像データに基づいて撮影画面内の顔領域を検出する。制御部は、撮影光学系の撮影パラメータを顔領域の検出位置に応じて調整する。顔画像生成部は、顔領域の画像を切り出して顔画像データを生成する。顔認識データ生成部は、顔登録画像データの顔領域の部分から撮影人物の顔の特徴点を抽出し、特徴点に基づいて顔認識データを生成する。記録部は、顔画像データまたは顔認識データを記録する。
第2の発明に係る電子カメラは、撮像素子と、画像処理部と、制御部と、顔検出部と、顔画像生成部または顔認識データ生成部と、記録部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。画像処理部は、撮像素子からの画像信号に基づいて顔登録画像データを生成するとともに、画像信号に基づいてスルー画像データを生成する。制御部は、撮影光学系の撮影パラメータを撮影画面の中央部分を基準として調整する。顔検出部は、スルー画像データまたは顔登録画像データに基づいて、撮影画面の中央部分に位置する顔領域を検出する。顔画像生成部は、顔領域の画像を切り出して顔画像データを生成する。顔認識データ生成部は、顔登録画像データの顔領域の部分から撮影人物の顔の特徴点を抽出し、特徴点に基づいて顔認識データを生成する。記録部は、顔画像データまたは顔認識データを記録する。
第3の発明は、第1または第2の発明において、制御部は、スルー画像データに基づく顔検出時に撮像素子のレリーズ動作を実行する。
第4の発明は、第1から第3のいずれかの発明において、スルー画像データの画像を表示する表示部をさらに備える。制御部は、顔登録画像データを生成する撮影モードにおいて表示部の電源をオンにする。
第5の発明は、第1から第3のいずれかの発明において、スルー画像データの画像を表示する表示部をさらに備える。画像処理部は、撮影画面中における顔の位置決めを補助するための構図補助表示をスルー画像データの中央部分に合成して出力する。
第6の発明は、第5の発明において、画像処理部は、被写体の撮影状態の見本表示をスルー画像データにさらに合成して出力する。
第7の発明は、第1から第6のいずれかの発明において、制御部は、顔登録画像データの生成時に顔登録画像データに対する電子ズーム処理を制限する。
第8の発明は、第1から第7のいずれかの発明において、撮影光学系はズームレンズをさらに備える。制御部は、撮影パラメータの調整時およびレリーズ時にズームレンズの倍率調整範囲を通常撮影時よりも制限する。
第9の発明は、第8の発明において、制御部は、レリーズ時にズームレンズのズーム位置を広角端に設定する。
第10の発明は、第1から第9のいずれかの発明において、撮影画面上での像ぶれを補正する像ぶれ補正レンズと、電子カメラの光軸の角度変動を検出する角変位検出部と、レリーズ時において、角度変動に基づいて像ぶれ補正レンズを駆動させる補正レンズ駆動部と、をさらに備える。
第11の発明は、第1から第10のいずれかの発明において、画像信号のゲインを調整する撮像感度変更部をさらに備える。制御部は、レリーズ時に画像信号のゲインを通常撮影時の設定よりも高める。
第12の発明は、第1から第11のいずれかの発明において、被写界に閃光発光を行う閃光発光部をさらに備える。制御部は、レリーズ時に閃光発光部の閃光発光を不能化する。
第13の発明は、第1から第12のいずれかの発明において、制御部はレリーズ時の撮影条件を示す撮影条件データを生成するとともに、該撮影条件データを顔画像データまたは顔認識データに対応付けて記録部に記録する。
第14の発明は、第1から第13のいずれかの発明において、制御部は顔画像データまたは顔認識データの取得時期を示す取得時期データを生成するとともに、該取得時期データを顔画像データまたは顔認識データに対応付けて記録部に記録する。
第15の発明は、第1から第14のいずれかの発明において、画像処理部は顔登録画像データに基づいてインデックス画像データを生成する。制御部はインデックス画像データを顔画像データまたは顔認識データに対応付けて記録部に記録する。
第16の発明は、第1から第15のいずれかの発明において、制御部は、同一の撮影人物から生成した複数の顔画像データまたは顔認識データをグループ化して記録部に記録する。
第17の発明は、第16の発明において、制御部は、撮影人物の顔の向き、撮影人物の眼鏡の有無および顔登録画像データの撮影条件のいずれかが異なる2以上の顔画像データまたは顔認識データをグループ化する。
第18の発明は、第1から第17のいずれかの発明において、制御部は、同一の撮影人物を撮影した顔登録画像データが複数生成されているときに、顔領域の検出状態に基づいて顔登録画像データの優先順位を決定する。顔画像生成部または顔認識データ生成部は、優先順位が高い顔登録画像データから顔画像データまたは顔認識データを生成する。
第19の発明は、第1から第18のいずれかの発明において、制御部は、顔領域の検出状態に基づいて撮影人物の顔の向きを推定し、該顔の向きが所定方向と一致しないときには、撮像素子のレリーズ動作を不能化する。
第20の発明は、第1から第18のいずれかの発明において、制御部は、顔領域の検出状態に基づいて撮影人物の表情を推定し、該表情の種類に応じて撮像素子のレリーズ動作を不能化する。
第21の発明に係る電子カメラは、撮像素子と、顔検出部と、顔認識データ生成部と、制御部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。顔検出部は、撮像素子からの画像信号に基づいて撮影画面内の顔領域を検出する。顔認識データ生成部は、顔領域の部分から撮影人物の顔の特徴点を抽出し、特徴点に基づいて顔認識データを生成する。制御部は、顔認識データを生成するための撮影時の撮影条件を、通常撮影時の撮影条件よりも制限する。
ここで、上記発明に関する構成を方法、記録媒体、コンピュータプログラムなどに変換して表現したものも本発明の具体的態様として有効である。
本発明の電子カメラでは、顔認識データを生成する際の登録撮影を容易に行うことが可能となる。
<第1実施形態の説明>
図1は第1実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影光学系11と、第1レンズ駆動部12と、揺動センサ部13と、像ぶれ補正レンズ14と、第2レンズ駆動部15と、撮像素子16と、アナログ信号処理部17と、A/D変換部18と、内蔵メモリ19と、画像処理部20と、カードI/F21と、入出力I/F22と、操作部材23および液晶モニタ24と、閃光発光部25と、CPU26と、顔登録メモリ27およびデータバス28とを有している。なお、内蔵メモリ19、画像処理部20、カードI/F21、入出力I/F22およびCPU26は、データバス28を介して接続されている。
撮影光学系11は、ズームレンズ11aと、合焦位置調節用のフォーカシングレンズ11bとを含む複数のレンズ群で構成されている。撮影光学系11を構成する各レンズは、第1レンズ駆動部12によって光軸方向に駆動調整される。
揺動センサ部13は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。揺動センサ部13は電子カメラの揺れを示すカメラ揺動データをCPU26に出力する。このカメラ揺動データは、像ぶれ補正レンズ14の移動量の演算に使用される。
像ぶれ補正レンズ14は光軸直角方向に揺動可能に構成されている。第2レンズ駆動部15は、像ぶれ補正レンズ14を縦方向に揺動させる縦揺動手段と、像ぶれ補正レンズ14を横方向に揺動させる横揺動手段とで構成される。この第2レンズ駆動部15は、CPU26が演算した像ぶれ補正レンズ14の移動量に基づいて、像ぶれ補正レンズ14を揺動させてぶれ補正を実行する。
撮像素子16は、撮影光学系11を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。この撮像素子16は、非レリーズ時(撮影待機時)にも所定間隔毎に被写体を露光し、間引き読み出しによるアナログ画像信号(スルー画像信号)を出力する。スルー画像信号は、後述のAF演算、AE演算および顔検出動作や、ファインダ用画像の生成などに使用される。
アナログ信号処理部17は、相関二重サンプリングを行うCDS回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。A/D変換部18は撮像素子16のアナログ画像信号をデジタル画像信号に変換する。内蔵メモリ19は、画像処理部20での画像処理の前工程および後工程でデータを一時的に保存する。なお、内蔵メモリ19には後述の撮影画像データを記録可能な記録領域を設けることもできる。
画像処理部20はデジタル画像信号に所定の画像処理を施す。この画像処理部20はレリーズ時の画像信号に基づいて撮影画像データを生成する。また、画像処理部20はスルー画像信号に基づいてスルー画像データを順次生成する。このスルー画像データの解像度は、撮影画像データの解像度よりも低く設定される。スルー画像データは、CPU26による顔認識処理に使用されるとともに、液晶モニタ24の表示画像(プレビュー画像)としても使用される。さらに、画像処理部20は撮影画像データの圧縮処理なども実行する。さらにまた、画像処理部20は、撮影画像の一部を切り出して解像度を変換する電子ズーム処理を行うことも可能である。
また、画像処理部20は、CPU26の指示により各種表示(顔認識時の枠表示など)のビデオデータを生成し、上記のビデオデータをスルー画像データに重畳させて液晶モニタ24に出力する。これによって、プレビュー画像には上記の各種表示が合成される。
カードI/F21には、記録媒体29を接続するためのコネクタが形成されている。記録媒体29は公知の半導体メモリなどで構成される。そして、カードI/F21は、記録媒体29に対する撮影画像データの書き込み/読み込みを制御する。
入出力I/F22には、操作部材23および液晶モニタ24が接続されている。操作部材23は入力釦やレリーズ釦などを備えている。操作部材23の入力釦は、例えば、電子カメラの撮影モード(通常撮影モード、再生モード、顔登録モード、顔認識撮影モード等)の切り換え入力などを受け付ける。また、操作部材23のレリーズ釦は、半押しによるAF動作の指示入力と、全押しによるレリーズ入力とを受け付ける。
一方、液晶モニタ24は主として電子カメラの背面部分に配置される。この液晶モニタ24には、撮影画像データの再生画像や電子カメラの各種設定を変更するための設定画面などが表示される。上記の設定画面には後述の顔認識データを編集するための編集画面が含まれる。また、撮影モードでの液晶モニタ24には上記のプレビュー画像を動画表示することが可能である。したがって、ユーザーは、液晶モニタ24のプレビュー画像を確認しつつ被写体のフレーミングを行うことができる。
さらに、入出力I/F22には外部接続端子が形成されている。そして、入出力I/F22は、外部接続端子を介して接続されたコンピュータなどとのデータ送受信をUSB(Universal Serial Bus)やIEEE1394などのシリアル通信規格に準拠して制御する。また、入出力I/F22の外部接続端子には、外部との無線通信を行うための拡張機器である通信ユニット30を接続することも可能である。
閃光発光部25は、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光タイミングや光量を調整する発光制御回路などから構成されている。
CPU26は、不図示のROMに格納されたシーケンスプログラムに従って電子カメラの各部動作を制御する。例えば、CPU26はスルー画像信号に基づいて公知のコントラスト方式のAF(オートフォーカス)演算や、公知のAE(自動露出)演算などを実行する。また、CPU26は、上記のカメラ揺動データに基づいて像ぶれ補正レンズ14の移動量を演算する。
さらに、CPU26は顔検出部31、顔認識部32として機能する。顔検出部31は、スルー画像データまたは撮影画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部31は、特開2001−16573号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。
顔認識部32は、「顔登録モード」では、検出した顔の特徴点に基づいて顔認識データを生成する。例えば、顔認識部32は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから登録人物の顔認識データを生成する。
また、顔認識部32は、「顔認識撮影モード」では、撮影画面内の人物の顔が顔認識データの登録人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部32は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部32は、上記の演算結果と顔認識データとを比較して所定の登録人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部32は上記の相似度が閾値を上回る場合に撮影人物が所定の登録人物に合致すると判定する。
なお、CPU26は、顔認識処理の結果に基づいて、撮影条件または画像処理の設定変更や、撮像素子16へのレリーズ指示などを実行することが可能である。
顔登録メモリ27には、CPU26の顔認識部32が生成した顔認識データが記録される。この顔登録メモリ27には登録人物ごとにグループフォルダが生成されている。グループフォルダには、各登録人物の顔認識データがそれぞれ記録されている。すなわち、顔登録メモリ27の顔認識データは、グループフォルダによって登録人物ごとにグループ化されている。例えば、グループフォルダには、同一の登録人物に関して顔の向き、眼鏡の有無および撮影条件などが異なる複数の顔認識データを記録することが可能である。そして、登録人物を指定することで、CPU26はグループフォルダ内の顔認識データを顔登録メモリ27から一括して読み出すことが可能となっている。
また、顔登録メモリ27には、「登録人物の名称」および「顔認識時の処理設定」のデータが記録されている。上記の「登録人物の名称」および「顔認識時の処理設定」は、各登録人物のグループフォルダにそれぞれ対応付けされている。
ここで、「顔認識時の処理設定」には、登録人物が認識された場合に適用される電子カメラの各種制御の設定が記録されている。例えば、「顔認識時の処理設定」には、(1)撮影時の撮影条件の設定、(2)撮影画像データの画像処理の設定、(3)撮影画像データの記録先の設定、(4)撮影画像データの印刷指定の設定、(5)撮影画像データの送信設定、などが含まれる。
上記(1)の撮影条件の設定には、各登録人物を撮影するときの露出補正値や、被写界深度の設定(浅め、標準の選択)などが含まれる。また、登録人物の検出の際にCPU26が自動的に撮影を行う設定も可能である。上記(2)の画像処理の設定には、撮影画像データのソフトフォーカス処理の有無の設定、エッジ強調の抑制の設定などが含まれる。
上記(3)の記録先の設定では、撮影画像データの記録先となる記録媒体29内の記録フォルダのディレクトリパスを各登録人物ごとに指定できる。すなわち、CPU26は顔登録メモリ27のデータを参照し、各登録人物ごとに異なる記録フォルダに撮影画像データを記録することが可能となる。
上記(4)の印刷指定の設定では、例えば、DPOF(Digital Print Order Format)などの規格による撮影画像データの印刷指定の有無を各登録人物ごとに指定できる。なお、上記(5)の送信設定では、登録人物の撮影時における撮影画像データの送信の要否と、送信先のアドレス情報(電子メールアドレス)とを指定できる。
また、顔登録メモリ27には、「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータが記録されている。上記の「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、グループフォルダ内の個々の顔認識データにそれぞれ対応付けされている。
上記の「顔登録画像」は顔認識データ取得時の撮影画像データであって、所定の画素サイズにリサイズされている。そして、「顔登録画像」は上記の編集画面で液晶モニタ24に表示される。すなわち、「顔登録画像」は、登録人物または顔認識データの識別性、検索性を高めるインデックス画像として機能する。例えば、「顔登録画像」によって、ユーザーは誰のどのような画像(顔正面、横向きなど)から顔認識データが生成されたかを編集画面で確認することも可能となる。
「顔認識データの登録時期」は、その顔認識データの元となる顔登録画像データの撮影日時のデータである。また、「顔認識データの取得時の撮影条件」は、顔登録画像データの撮影条件のデータである。上記の撮影条件には、例えば、撮影光学系11の焦点距離のデータや、撮影時のホワイトバランスおよび露出条件や、撮影時のフラッシュ発光の有無などが含まれる。なお、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、CPU26が顔認識処理で使用する顔認識データを絞り込む場合の判定にも使用される。
以下、第1実施形態の電子カメラの動作を「顔登録モード」と「顔認識撮影モード」とに分けて説明する。
(顔登録モードでの動作)
図2は第1実施形態の「顔登録モード」の動作を示す流れ図である。この「顔登録モード」は撮影モードの一種であって、ユーザーが登録人物の顔を撮影して顔認識データを生成するためのモードである。
ステップ101:まず、ユーザーは操作部材23により電子カメラの撮影モードを「顔登録モード」に設定する。
例えば、電子カメラが「通常撮影モード」や「ポートレート撮影モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、CPU26はモード選択画面(図3(a)参照)を液晶モニタ24に表示する。そして、ユーザーは操作部材23でモード選択画面上の選択枠を操作し、CPU26に「顔登録モード」の起動を指示する。これにより、CPU26は「顔登録モード」の一連の動作を開始する。
ステップ102:CPU26は、液晶モニタ24に「顔登録モード」のメニューを表示する(図3(b)参照)。このメニューでは、ユーザーは操作部材23で選択枠を操作して「新規」または「追加」をCPU26に選択入力する。新たな人物の顔を登録する場合には、ユーザーは「新規」を選択入力する。一方、既に登録されている人物の顔をさらに撮影する場合には、ユーザーは「追加」を選択入力する。
ステップ103:CPU26は、メニュー(S102)で「新規」が選択されたか否かを判定する。「新規」の場合(YES側)にはS104に移行する。一方、「追加」の場合(NO側)にはS105に移行する。
ステップ104:S102で「新規」が選択された場合、CPU26は顔登録メモリ27に新規登録人物(今回撮影する登録人物)のグループフォルダを生成する。そして、CPU26は「登録人物の詳細情報画面」(図5参照)を液晶モニタ24に表示するとともに、ユーザーに「登録人物の名称」および「顔認識時の処理設定」の情報の入力を促す。図5の「登録人物の詳細情報画面」で入力された情報は、グループフォルダに対応付けされた状態で顔登録メモリ27に記録される。その後、S106に移行する。
なお、ユーザーは「登録人物の名称」および「顔認識時の処理設定」の入力を省略することもできる。この場合には、ユーザーは、図3(b)の編集の項目から図5の「登録人物の詳細情報画面」を立ち上げて、これらの情報を後で改めて顔登録メモリ27に入力することができる。
ステップ105:一方、S102で「追加」が選択された場合、CPU26は登録人物の選択画面(図4参照)を液晶モニタ24に表示し、今回撮影する登録人物をユーザーに選択入力させる。
ステップ106:CPU26は、電子カメラの撮影時の設定を顔登録撮影に適した設定に変更する。具体的にはCPU26は以下の(1)〜(7)の設定を行う。
(1)CPU26は、「顔登録モード」においてAF方式を顔検出モードに設定する。この場合には、CPU26はレリーズ釦の操作に関係なく、スルー画像データによって検出した顔領域に合わせてピント合わせを自動的に繰り返す。これにより、検出した顔にピントを合わせることが可能となる。なお、ユーザーがレリーズ釦を半押しした場合にCPU26がAFロックを行うようにしてもよい。
(2)CPU26は、「顔登録モード」においてAE方式を顔検出領域を基準とするスポットAEモードに設定する。この場合には、CPU26はスルー画像データによって検出した顔領域に合わせてAE演算を実行する。これにより、検出した顔の露出が最適化される。
(3)CPU26は、「顔登録モード」において画像処理部20の電子ズーム処理を不能化する。または、CPU26は、電子ズームの倍率を例えば2倍程度に制限する等の手段で、電子ズームの最大倍率を通常時よりも小さくなるように制限する。電子ズームを行った場合には撮影した顔登録画像の情報量が少なくなって、顔の特徴点の抽出精度が低下するからである。
(4)CPU26は、「顔登録モード」においてズームレンズ11aの倍率調整範囲を通常撮影時よりも広角側に狭めて最大倍率を小さくする。顔検出時には、ズームレンズを広角側に設定して被写界深度を深くする方が顔検出できる可能性が増加するからである。また、ズームレンズを広角側に設定すれば、撮影画像が手ぶれする可能性も低下するからである。なお、この場合において、ズームレンズ11aの位置を広角端に固定すると被写界深度がより深くなるので特に好ましい。
ところで、撮影光学系の絞り(不図示)を絞っても被写界深度は深くなるが、この場合にはシャッタ秒時に相当する撮影時間が長くなって顔登録画像が手ぶれする可能性が増加する。そのため、手ぶれを回避する観点から、CPU26は絞りをできるだけ開放側に設定することがより好ましい。なお、CPU26は、顔検出ができない場合に被写界深度を徐々に深くする制御を行ってもよい。
(5)CPU26は、「顔登録モード」において、揺動センサ部13の出力に基づいて像ぶれ補正レンズ14を移動させて光学的なぶれ補正を行う。手ぶれによる顔登録画像の撮影失敗を回避するためである。
(6)CPU26は、「顔登録モード」において、アナログ信号処理部17における画像信号のゲイン設定(撮像感度の設定)を通常撮影時の設定よりも高くする。撮像感度が高くなると上記の撮影時間は短くなるので、顔登録画像が手ぶれする可能性も低下するからである。
(7)CPU26は、「顔登録モード」において、閃光発光部25の閃光発光を不能化する。撮影時に閃光発光を行うと撮影人物の顔に影ができて顔検出の精度が低下するからである。なお、被写界が暗く十分な露出が確保できない状態で強制的に撮影する場合や、閃光発光時の顔認識データを意図的に取得しようとする場合には、CPU26は閃光発光部25を例外的に発光させるようにしてもよい。
ステップ107:CPU26は、撮像素子16を駆動させてスルー画像信号の取得を行う。撮像素子16は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部20はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ24にはスルー画像データに基づいてプレビュー画像が動画表示される。
ステップ108:一方、CPU26の顔検出部31は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。
また、S108では、顔検出部31は顔領域の検出精度(顔の検出正解率)を規定する閾値を低くして、顔候補の検出率を通常よりも高めにするのがより好ましい。顔検出がしにくい顔の向き(例えば横向きなど)で顔登録画像を撮影しようとする場合もあるからである。
なお、顔検出部31が撮影画面内で人物の顔を検出した場合、画像処理部20はプレビュー画像の顔領域の位置に矩形の枠を合成表示する(図6参照)。これにより、ユーザーはプレビュー画像で顔検出の有無を確認することができる。
ステップ109:CPU26はS108で撮影画面から顔検出されたか否かを判定する。顔検出された場合(YES側)にはS110に移行する。一方、顔検出されていない場合(NO側)にはS107に戻る。
ステップ110:CPU26は、顔領域における顔の特徴点の検出状態に基づいて顔の向きを推定する。そして、CPU26は推定した顔の向きが、予め指定された顔の向き(正面向き、横向きなど)と一致するか否かを判定する。顔の向きが所定方向である場合(YES側)にはS111に移行する。一方、顔の向きが所定方向以外である場合(NO側)にはS107に戻る。このとき、CPU26は「被写体の顔の向きを変えて撮影しなおして下さい」などの警告表示を液晶モニタ24等に表示させるようにしてもよい。
ここで、S110での顔の向きの検出は公知の手段によって行われる。例えば、特開平9−163212号公報のように、CPU26が顔画像から顔の輪郭と鼻の座標とを検出して顔の向きを計算してもよい。あるいは特開2005−209137号公報のように、顔方向毎に顔画像を分類登録した画像データベースに基づいてCPU26が顔の向きを識別するようにしてもよい。
S110でのNO側の場合にはCPU26はレリーズを行わず、被写体の顔の向きが変わるまで撮影が行われることはない。したがって、所定の顔の向きの顔登録画像から顔認識データを生成することが可能となる。
ステップ111:CPU26は、顔領域における顔の特徴点の検出状態に基づいて顔の表情を推定する。そして、CPU26は推定した顔の表情がニュートラルな状態(目つぶりなどをしていない標準状態)であるか否かを判定する。顔の表情がニュートラルである場合(YES側)にはS112に移行する。一方、顔の表情がニュートラルでない場合(NO側)にはS107に戻る。このとき、CPU26は「被写体の表情を変えて撮影しなおして下さい」などの警告表示を液晶モニタ24等に表示させるようにしてもよい。
ここで、S111での顔の表情の検出は公知の手段によって行われる。例えば、特開2004−272933号公報のように、普通の表情 、目をつぶった顔 、口を開いた顔、笑顔などのクラスに分類された学習用顔画像を予め用意し、CPU26が正準判別分析による識別を行なった上で各クラスごとに設定された評価値で顔の表情を判別してもよい。あるいは、開いた目、閉じた目、開いた口、閉じた口などの標準パターンを予め用意し、CPU26が各パターンと顔領域とのマッチングをとり、パターンの組合せから表情を推定してもよい。
S111でのNO側の場合にはCPU26はレリーズを行わず、被写体の顔の表情が変わるまで撮影が行われることはない。したがって、顔の表情がニュートラルな状態の顔登録画像をより確実に取得できる。笑顔や目をつぶった状態の画像から顔認識データを生成すると顔認識の精度が大きく低下する可能性もあるため、表情がニュートラルな顔登録画像は顔認識に最も適した画像であると考えられるからである。
なお、CPU26は、上記のS110およびS111の処理をユーザーの設定に応じて省略することも可能である。
ステップ112:CPU26は、検出した顔領域の位置を基準としてAF演算およびAE演算を実行する。
ステップ113:CPU26はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合(YES側)にはS114に移行する。一方、レリーズ釦に入力がない場合(NO側)にはCPU26はレリーズ釦の全押し操作を待機する。
ステップ114:CPU26は撮像素子16を駆動させて被写体像を撮影する。その後、画像処理部20はレリーズ時の画像信号に基づいて撮影画像データ(顔登録画像データ)を生成する。
ステップ115:CPU26の顔認識部32は、顔登録画像データ(S114)から登録人物の顔認識データを生成する。また、画像処理部20は、顔登録画像データの顔領域をトリミングするとともに、解像度変換で所定のサイズにリサイズしてインデックス画像データを生成する。
ステップ116:CPU26は、顔認識データ、インデックス画像データ、顔登録画像データの撮影条件および撮影日時を顔登録メモリ27に記録する。上記の各データはそれぞれ対応付けされた状態で、S104またはS105で指定された登録人物のグループフォルダに記録される。上記の各データのうち、インデックス画像データは「顔登録画像」に対応する。また、撮影条件は「顔認識データの登録時期」に対応し、撮影条件は「顔認識データの取得時の撮影条件」に対応する。
以上で、「顔登録モード」での一連の動作が終了する。なお、CPU26は、S116の後にS107に戻って登録人物の顔認識データの登録をさらに続行するようにしてもよい。
以下、第1実施形態の「顔登録モード」の効果を説明する。上記の顔登録撮影では、撮影時の設定が顔登録に適した設定が変更されるとともに、顔領域の検出位置を基準としてAF演算およびAE演算が行われる(S106、S112)。そして、人物の顔を撮影した顔登録画像データに基づいて顔認識データが生成される(S114、S115)。そのため、ユーザーは登録したい人物に電子カメラを向けてレリーズするだけで、適正に撮影された顔登録画像に基づく顔認識データを容易に取得できる。
(顔認識撮影モードでの動作)
図7は第1実施形態の「顔認識撮影モード」の動作を示す流れ図である。この「顔認識撮影モード」は、指定した登録人物が撮影画面に存在する場合に、電子カメラが所定の制御を行って撮影画像データを取得する撮影モードである。
ステップ201:まず、ユーザーは操作部材23により電子カメラの撮影モードを「顔認識撮影モード」に設定する。
例えば、電子カメラが「通常撮影モード」や「ポートレート撮影モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、CPU26はモード選択画面(図3(a)参照)を液晶モニタ24に表示する。そして、ユーザーは操作部材23でモード選択画面上の選択枠を操作し、CPU26に「顔認識撮影モード」の起動を指示する。これにより、CPU26は「顔認識撮影モード」の一連の動作を開始する。
ステップ202:CPU26は、登録人物の選択画面(図4参照)を液晶モニタ24に表示する。そして、CPU26は、顔認識対象の登録人物(撮影時に顔認識を行う登録人物)の指定入力を受け付ける。なお、顔認識対象の登録人物を撮影前に予めユーザーがCPU26に指定入力しておくことも可能である。
ここで、「登録人物の選択画面」では、CPU26は1または2以上の登録人物の指定を受け付けることができる。例えば、CPU26は顔登録メモリ27の登録人物の全指定を受け付けることもできる。また、グループフォルダを所定のカテゴリ(例えば、家族、サークルなど)で予めリンクするとともに、ユーザーが選択画面でカテゴリを指定入力することで、CPU26にリンクされた登録人物の一括指定を入力することもできる。
ステップ203:CPU26は、撮像素子16を駆動させてスルー画像信号の取得を行う。撮像素子16は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部20はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ24にはスルー画像データに基づいてプレビュー画像が動画表示される。
ステップ204:一方、CPU26の顔検出部31は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。
ステップ205:CPU26はS204で撮影画面から顔検出されたか否かを判定する。顔検出された場合(YES側)にはS206に移行する。一方、顔検出されていない場合(NO側)にはS209に移行する。
ステップ206:CPU26は、検出した顔領域の位置を基準としてAF演算を実行する。なお、顔領域を複数検出した場合には、CPU26は、撮影画面の中央に位置する顔領域または最も至近側に位置する顔領域を優先してAF演算を実行する。
ステップ207:CPU26の顔認識部32は、検出した顔領域(S204)に対して顔認識処理を実行する。そして、顔認識部32は、認識対象の顔(S202)が含まれているか否かを判定する。認識対象の顔が含まれている場合(YES側)にはS208に移行する。一方、認識対象の顔が含まれない場合(NO側)にはS210に移行する。
ステップ208:CPU26は、検出された登録人物に対応する「顔認識時の処理設定」のデータに基づいて、電子カメラの撮影条件の設定や画像処理の設定などを変更する。その後、S210に移行する。
ここで、認識対象の顔が撮影画面内に複数検出されている場合には、CPU26は所定のアルゴリズムで登録人物の優先順位を決定する。そして、CPU26は、優先順位が最も高い登録人物に対応する「顔認識時の処理設定」に基づいて電子カメラの各種設定を変更する。なお、「顔認識時の処理設定」で登録人物の自動撮影が設定されている場合には、CPU26はS211に移行して登録人物を自動的に撮影する。
ステップ209:一方、この場合には、CPU26はユーザーによるレリーズ釦の半押し操作に応じて、通常撮影時のアルゴリズムでAFエリアを選択してAF演算を実行する。
ステップ210:CPU26はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合(YES側)にはS211に移行する。一方、レリーズ釦に入力がない場合(NO側)にはCPU26はレリーズ釦の全押し操作を待機する。
ステップ211:CPU26は撮像素子16を駆動させて被写体像を撮影する。その後、画像処理部20はレリーズ時の画像信号に基づいて撮影画像データを生成する。なお、認識対象の顔が撮影されている場合には、画像処理部20はS208で設定された画像処理を撮影画像データに施す。
ステップ212:CPU26は撮影画像データを記録媒体29に記録する。なお、認識対象の顔が撮影されている場合、CPU26は顔登録メモリ27で指定されているディレクトリパスに基づいて、所定の記録フォルダに撮影画像データを分類して記録することもできる。以上で、「顔認識撮影モード」での一連の動作が終了する。
以下、本実施形態の「顔認識撮影モード」の効果を説明する。上記の顔認識撮影モードでは、顔認識データに基づいて撮影人物の顔認識が行われる(S207)。そして、認識対象の顔が検出された場合には、その登録人物に対応する設定で撮影時の各種処理などが行われる(S208、S211、S212)。そのため、登録人物の撮影時にユーザーの意図を反映させた処理を自動的に行うことができ、電子カメラを操作するユーザーの利便性が著しく向上する。
<第2実施形態の説明>
図8は第2実施形態の「顔登録モード」での動作を示す流れ図である。なお、図8のS301〜S312は図2のS101〜S112にそれぞれ対応し、図8のS315は図2のS116に対応するので重複説明を省略する。
ステップ313:CPU26はAF終了後に自動的にレリーズを行って、撮像素子16を駆動させて被写体像を撮影する。その後、画像処理部20はレリーズ時の画像信号に基づいて撮影画像データ(顔登録画像データ)を生成する。
ステップ314:CPU26の顔認識部32は、顔登録画像データ(S313)から登録人物の顔認識データを生成する。また、画像処理部20は、顔登録画像データからインデックス画像データを生成する。
以下、第2実施形態の「顔登録モード」の効果を説明する。第2実施形態では、顔検出時には人物の顔を自動的に撮影して顔認識データが生成される(S313、S314)。そのため、ユーザーは登録したい人物に電子カメラを向けるだけで、適正な顔登録画像に基づく顔認識データを容易に取得することが可能となる。特に、第2実施形態ではピント合わせおよびレリーズが自動化されるので、撮影光学系をユーザー自身に向けてユーザーの顔登録撮影を1人のみで行うことも可能となる。
<第3実施形態の説明>
図9は第3実施形態の「顔登録モード」での動作を示す流れ図である。なお、図9のS401〜S409は図2のS101〜S109にそれぞれ対応し、図9のS414は図2のS116に対応するので重複説明を省略する。
ステップ410:CPU26は、検出した顔領域の位置を基準としてAF演算およびAE演算を実行する。
ステップ411:CPU26は自動的に所定回数のレリーズを連続して行ない、複数の撮影画像データ(顔登録画像データ)を取得する。ここで、S411ではCPU26は撮影条件をすべて同じにして複数の顔登録画像データを撮影する。例えば、被写体が静止していない場合や手ぶれが発生する場合には、同じ撮影条件でも異なる画像が撮影されるためである。なお、CPU26は露出条件やホワイトバランスなどのパラメータを段階的に変化させてブラケティング撮影を行ってもよい。
ステップ412:CPU26の顔検出部31は、S411で取得した複数の顔登録画像データに対してそれぞれ顔検出処理を施して特徴点を抽出する。そして、CPU26は、顔の特徴点の検出状態が良好な順(例えば、抽出された特徴点の数が多い順)に各顔登録画像データに優先順位を設定する。なお、第1実施形態のS110やS111で示したように、CPU26は顔登録画像データの顔の向きや表情も考慮して上記の優先順位を設定してもよい。
ステップ413:CPU26は、S411で取得した複数の顔登録画像データのうちで最も優先順位の高い顔登録画像データを選択する。そして、CPU26の顔認識部32は、この選択された顔登録画像データから顔認識データを生成する。また、画像処理部20は、選択された顔登録画像データからインデックス画像データを生成する。
以下、第3実施形態の「顔登録モード」の効果を説明する。第3実施形態では、複数の顔登録画像データから最適な画像を選択して顔認識データを生成する。そのため、第3実施形態によれば、顔認識撮影時における顔認識の精度をより向上させやすくなる。
<第4実施形態の説明>
図10は第4実施形態の「顔登録モード」での動作を示す流れ図である。なお、図10のS501〜S505は図2のS101〜S105ににそれぞれ対応し、図10のS513、S514は図2のS115、S116にそれぞれ対応するので重複説明を省略する。
ステップ506:CPU26は、電子カメラの撮影時の設定を顔登録撮影に適した設定に変更する。具体的には、CPU26はS106の(3)〜(7)と同様の設定を行うとともに、以下の(a)および(b)の設定を行う。
(a)CPU26は、「顔登録モード」において撮影画面中央のAFエリアを選択してAF演算を行う。この場合には、CPU26はレリーズ釦が半押し操作に応じていわゆる中央重点AFでピント合わせを行うとともに、ピントが合った時点でAFロックする制御を実行する。撮影画面中央で顔登録画像を取得することで、撮影光学系の収差の影響をより小さくして精度の高い顔認識データを生成するためである。
(b)CPU26は、「顔登録モード」においてAE方式を撮影画面中央を基準とするスポットAEモードに設定する。これにより、撮影画面中央で撮影される顔の露出が最適化される。
ステップ507:CPU26は、撮像素子16を駆動させてスルー画像信号の取得を行う。撮像素子16は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部20はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ24にはスルー画像データに基づいてプレビュー画像が動画表示される。
ここで、S507での画像処理部20は、プレビュー画像の撮影画面の中央に構図補助表示を合成する(図11参照)。図11の構図補助表示は撮影画面内における顔を収める位置を矩形状の枠で示したものである。この構図補助表示により、ユーザーはフレーミングの際に顔の位置決めを容易に行うことができる。そのため、ユーザーは状態のよい顔登録画像を簡単に撮影することが可能となる。なお、構図補助表示の他の例として、矩形状の枠の四隅のみをプレビュー画像に合成してもよい。あるいは、構図補助表示の他の例として、例えば、顔を収める範囲以外をモノクロ表示するなどの手段で、顔を収める範囲の内外で画像の表示色を変化させるようにしてもよい(いずれも図示を省略する)。
また、S507での画像処理部20は、プレビュー画像の中央以外の周辺領域に撮影見本表示を合成する(図11参照)。図11の撮影見本表示は所定方向を向いた人物の顔の写真やイラストを表示したものである。例えば、正面向きの顔登録画像を撮影する場合、撮影見本表示には正面向きの顔画像が表示されることとなる。この撮影見本表示により、今回の撮影に適した顔の状態(顔の向きなど)をユーザーは視覚的に理解できる。そのため、ユーザーは状態のよい顔登録画像を簡単に撮影することが可能となる。なお、画像処理部20は、「正面の顔を撮影して下さい」などのメッセージ表示をプレビュー画像に合成してもよい。
ステップ508:CPU26はレリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合(YES側)にはS509に移行する。一方、レリーズ釦に入力がない場合(NO側)にはS507に戻る。
ステップ509:CPU26は、ユーザーによるレリーズ釦半押し操作に応じて撮影画面中央を基準とするAF演算およびAE演算を実行する。
ステップ510:CPU26はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合(YES側)にはS511に移行する。一方、レリーズ釦に入力がない場合(NO側)にはCPU26はレリーズ釦の全押し操作を待機する。
ステップ511:CPU26は、ユーザーによるレリーズ釦全押し操作に応じて撮影画像データ(顔登録画像データ)を取得する。
ステップ512:CPU26の顔検出部31は、顔登録画像データ(S511)の撮影画面中央の部分に公知の顔検出処理を施して撮影画面内の顔領域を検出する。
以下、第4実施形態の「顔登録モード」の効果を説明する。第4実施形態では、ユーザーがマニュアル撮影した顔登録画像データに基づいて顔認識データが生成される。そのため、ユーザーの意図に即した顔認識データを作成することが可能となる。また、撮影光学系の収差の影響が少ない撮影画面中央で顔登録画像を取得するので、より精度の高い顔認識データを生成することが可能となる。
(第1実施形態から第4実施形態における顔登録モードの変形例)
上記の実施形態では撮影時に顔登録画像から顔認識データを生成する例を説明した。しかし、顔登録画像から顔認識データを生成する代わりに、CPUが顔登録画像から顔領域の部分を切り出して顔画像データを生成し、この顔画像データをメモリや記録媒体に記録するようにしてもよい。そして、コンピュータによる後処理で顔画像データから顔認識データを生成するようにすることもできる。
ここで、顔画像データは、顔登録画像の顔領域を例えば80×80画素程度のサイズで切り出して生成される。かかる顔画像データの画像に対しては、解像度変換による変倍処理を施さないようにするのが好ましい。また、顔登録画像データの場合と同様に、CPUは、上記の顔画像データに、インデックス画像データ、顔登録画像データの撮影条件および撮影日時を対応付けして記録しておくことが好ましい。さらに、上記の顔画像データについても、CPUは、同一の撮影人物から生成した複数の顔画像データを同一のフォルダ等にグループ化して記録するのが好ましい。
(実施形態の補足事項)
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではなく、例えば以下のような形態であってもよい。
(1)第1実施形態から第3実施形態までの「顔登録モード」でも、第4実施形態のようにプレビュー画像に構図補助表示や撮影見本表示を合成表示するようにしてもよい。また、第4実施形態の「顔登録モード」でも、レリーズ前にスルー画像データで顔検出処理を行うようにしてもよい。
(2)上記実施形態において、CPU26はレリーズ釦の半押しをトリガとして顔検出によるAF演算を行うようにしてもよい。
(3)上記実施形態において、「顔登録モード」および「顔検出撮影モード」を、「通常撮影モード」、「ポートレート撮影モード」、「再生モード」などと同様にモードダイヤル等で直接指定して立ち上げられるようにしてもよい。
(4)第3実施形態の「顔登録モード」において、CPU26は優先順位の高い順に二以上の顔認識データを生成するようにしてもよい。
(5)第4実施形態の「顔登録モード」において、CPU26は顔登録画像データを記録媒体29などに撮りだめし、複数の顔登録画像データをバッチ処理して顔認識データを一括生成するようにしてもよい。このとき、第3実施形態のように、顔登録画像データに優先順位を設定して、優先順位の高い順に顔認識データを生成するようにしてもよい。
(6)顔登録メモリの「顔認識データの登録時期」のデータは、元となる顔登録画像データが概ねいつ頃撮影されたかを示すものでも足りる。したがって、「顔認識データの登録時期」については撮影年、撮影月、撮影日のいずれかで記録を打ち切って、詳細な時刻などの記録を省略するようにしてもよい。
(7)「顔認識撮影モード」の顔認識処理(S207)では、顔認識部32はグループ化された顔認識データのうちから判定に使用する顔認識データを所定条件で絞り込むようにしてもよい。例えば、顔認識部32は、「顔認識データの登録時期」に基づいて撮影日時よりも一定期間以上古い顔認識データを除外してもよい。同様に、顔認識部32は「顔認識データの取得時の撮影条件」に基づいて今回の撮影条件と大きく異なる撮影条件で生成された顔認識データを除外してもよい。
(8)「顔認識撮影モード」の顔認識処理(S207)では、顔認識部32は撮影光学系11の焦点距離のデータから演算したディストーションの度合いに応じて、顔認識データを補正するようにしてもよい。
(9)「顔登録モード」において、CPU26は顔認識データの顔の向きに関する識別情報を生成し、顔登録メモリ27に上記識別情報も記録するようにしてもよい。顔の向きに関する識別情報は、第1実施形態のS110に示す処理の結果に基づいてCPU26が生成してもよい。あるいは、撮影時または編集時におけるユーザーの入力に基づいてCPU26が上記識別情報を生成してもよい。
(10)本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、内蔵メモリ19と顔登録メモリ27とが共通のメモリで構成されていてもよい。顔登録メモリ27がデータバス28を介してCPU26に接続されていてもよい。また、揺動センサ部13、像ぶれ補正レンズ14および第2レンズ駆動部15からなる光学的なぶれ補正機構が省略されていてもよい。さらに、電子カメラ内に通信ユニット30が内蔵されていてもよい。
(11)CPU26は顔登録メモリ27内のデータを記録媒体29に記録して、顔登録メモリ27のバックアップを可能としてもよい。また、CPU26は、予め他の電子カメラで生成された顔認識データ等を記録媒体29から取得し、電子カメラ間で顔登録メモリ27のデータを共用できるようにしてもよい。
第1実施形態の電子カメラの構成を示すブロック図 第1実施形態の「顔登録モード」での動作を示す流れ図 モード選択画面の一例を示す図 登録人物の選択画面の一例を示す図 登録人物の詳細情報画面の一例を示す図 顔検出時におけるプレビュー画像の表示例を示す図 第1実施形態の「顔認識撮影モード」の動作を示す流れ図 第2実施形態の「顔登録モード」での動作を示す流れ図 第3実施形態の「顔登録モード」での動作を示す流れ図 第4実施形態の「顔登録モード」での動作を示す流れ図 第4実施形態におけるプレビュー画像の表示例を示す図
符号の説明
11…撮影光学系、11a…ズームレンズ、11b…フォーカシングレンズ、12…第1レンズ駆動部、13…揺動センサ部、14…像ぶれ補正レンズ、15…第2レンズ駆動部、16…撮像素子、17…アナログ信号処理部、20…画像処理部、24…液晶モニタ、25…閃光発光部、26…CPU、27…顔登録メモリ、31…顔検出部、32…顔認識部

Claims (21)

  1. 撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
    前記撮像素子からの前記画像信号に基づいて顔登録画像データを生成するとともに、前記画像信号に基づいてスルー画像データを生成する画像処理部と、
    前記スルー画像データに基づいて撮影画面内の顔領域を検出する顔検出部と、
    前記撮影光学系の撮影パラメータを前記顔領域の検出位置に応じて調整する制御部と、
    前記顔領域の画像を切り出して顔画像データを生成する顔画像生成部または前記顔登録画像データの顔領域の部分から撮影人物の顔の特徴点を抽出し、前記特徴点に基づいて顔認識データを生成する顔認識データ生成部と、
    前記前記顔画像データまたは顔認識データを記録する記録部と、
    を備えることを特徴とする電子カメラ。
  2. 撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
    前記撮像素子からの前記画像信号に基づいて顔登録画像データを生成するとともに、前記画像信号に基づいてスルー画像データを生成する画像処理部と、
    前記撮影光学系の撮影パラメータを撮影画面の中央部分を基準として調整する制御部と、
    前記スルー画像データまたは前記顔登録画像データに基づいて、撮影画面の中央部分に位置する顔領域を検出する顔検出部と、
    前記顔領域の画像を切り出して顔画像データを生成する顔画像生成部または前記顔登録画像データの顔領域の部分から撮影人物の顔の特徴点を抽出し、前記特徴点に基づいて顔認識データを生成する顔認識データ生成部と、
    前記顔画像データまたは前記顔認識データを記録する記録部と、
    を備えることを特徴とする電子カメラ。
  3. 前記制御部は、前記スルー画像データに基づく顔検出時に前記撮像素子のレリーズ動作を実行することを特徴とする請求項1または請求項2に記載の電子カメラ。
  4. 前記スルー画像データの画像を表示する表示部をさらに備え、
    前記制御部は、前記顔登録画像データを生成する撮影モードにおいて前記表示部の電源をオンにすることを特徴とする請求項1から請求項3のいずれか1項に記載の電子カメラ。
  5. 前記スルー画像データの画像を表示する表示部をさらに備え、
    前記画像処理部は、撮影画面中における顔の位置決めを補助するための構図補助表示を前記スルー画像データの中央部分に合成して出力することを特徴とする請求項1から請求項3のいずれか1項に記載の電子カメラ。
  6. 前記画像処理部は、被写体の撮影状態の見本表示を前記スルー画像データにさらに合成して出力することを特徴とする請求項5に記載の電子カメラ。
  7. 前記制御部は、前記顔登録画像データの生成時に前記顔登録画像データに対する電子ズーム処理を制限することを特徴とする請求項1から請求項6のいずれか1項に記載の電子カメラ。
  8. 前記撮影光学系はズームレンズをさらに備え、
    前記制御部は、前記撮影パラメータの調整時およびレリーズ時に前記ズームレンズの倍率調整範囲を通常撮影時よりも制限することを特徴とする請求項1から請求項7のいずれか1項に記載の電子カメラ。
  9. 前記制御部は、レリーズ時に前記ズームレンズのズーム位置を広角端に設定することを特徴とする請求項8に記載の電子カメラ。
  10. 撮影画面上での像ぶれを補正する像ぶれ補正レンズと、
    前記電子カメラの光軸の角度変動を検出する角変位検出部と、
    レリーズ時において、前記角度変動に基づいて前記像ぶれ補正レンズを駆動させる補正レンズ駆動部と、
    をさらに備えることを特徴とする請求項1から請求項9のいずれか1項に記載の電子カメラ。
  11. 前記画像信号のゲインを調整する撮像感度変更部をさらに備え、
    前記制御部は、レリーズ時に前記画像信号のゲインを通常撮影時の設定よりも高めることを特徴とする請求項1から請求項10のいずれか1項に記載の電子カメラ。
  12. 被写界に閃光発光を行う閃光発光部をさらに備え、
    前記制御部は、レリーズ時に前記閃光発光部の閃光発光を不能化することを特徴とする請求項1から請求項11のいずれか1項に記載の電子カメラ。
  13. 前記制御部はレリーズ時の撮影条件を示す撮影条件データを生成するとともに、該撮影条件データを前記顔画像データまたは前記顔認識データに対応付けて前記記録部に記録することを特徴とする請求項1から請求項12のいずれか1項に記載の電子カメラ。
  14. 前記制御部は前記顔画像データまたは前記顔認識データの取得時期を示す取得時期データを生成するとともに、該取得時期データを前記顔画像データまたは前記顔認識データに対応付けて前記記録部に記録することを特徴とする請求項1から請求項13のいずれか1項に記載の電子カメラ。
  15. 前記画像処理部は前記顔登録画像データに基づいてインデックス画像データを生成し、
    前記制御部は前記インデックス画像データを前記顔画像データまたは前記顔認識データに対応付けて前記記録部に記録することを特徴とする請求項1から請求項14のいずれか1項に記載の電子カメラ。
  16. 前記制御部は、同一の撮影人物から生成した複数の前記顔画像データまたは前記顔認識データをグループ化して前記記録部に記録することを特徴とする請求項1から請求項15のいずれか1項に記載の電子カメラ。
  17. 前記制御部は、前記撮影人物の顔の向き、前記撮影人物の眼鏡の有無および前記顔登録画像データの撮影条件のいずれかが異なる2以上の前記顔画像データまたは前記顔認識データをグループ化することを特徴とする請求項16に記載の電子カメラ。
  18. 前記制御部は、同一の撮影人物を撮影した前記顔登録画像データが複数生成されているときに、前記顔領域の検出状態に基づいて前記顔登録画像データの優先順位を決定し、
    前記顔画像生成部または前記顔認識データ生成部は、前記優先順位が高い前記顔登録画像データから前記顔画像データまたは前記顔認識データを生成することを特徴とする請求項1から請求項17のいずれか1項に記載の電子カメラ。
  19. 前記制御部は、前記顔領域の検出状態に基づいて撮影人物の顔の向きを推定し、該顔の向きが所定方向と一致しないときには、前記撮像素子のレリーズ動作を不能化することを特徴とする請求項1から請求項18のいずれか1項に記載の電子カメラ。
  20. 前記制御部は、前記顔領域の検出状態に基づいて撮影人物の表情を推定し、該表情の種類に応じて前記撮像素子のレリーズ動作を不能化することを特徴とする請求項1から請求項18のいずれか1項に記載の電子カメラ。
  21. 撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
    前記撮像素子からの前記画像信号に基づいて撮影画面内の顔領域を検出する顔検出部と、
    前記顔領域の部分から撮影人物の顔の特徴点を抽出し、前記特徴点に基づいて顔認識データを生成する顔認識データ生成部と、
    前記顔認識データを生成するための撮影時の撮影条件を、通常撮影時の撮影条件よりも制限する制御部と、
    を備えることを特徴とする電子カメラ。
JP2005341050A 2005-11-25 2005-11-25 電子カメラ Active JP4315148B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005341050A JP4315148B2 (ja) 2005-11-25 2005-11-25 電子カメラ
CN2011102312413A CN102231801B (zh) 2005-11-25 2006-11-22 电子摄像机及图像处理装置
EP06833117A EP1962497B1 (en) 2005-11-25 2006-11-22 Electronic camera and image processing device
CN2006800438630A CN101313565B (zh) 2005-11-25 2006-11-22 电子摄像机及图像处理装置
US12/085,353 US8488847B2 (en) 2005-11-25 2006-11-22 Electronic camera and image processing device
PCT/JP2006/323295 WO2007060980A1 (ja) 2005-11-25 2006-11-22 電子カメラおよび画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005341050A JP4315148B2 (ja) 2005-11-25 2005-11-25 電子カメラ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009092050A Division JP5093178B2 (ja) 2009-04-06 2009-04-06 電子カメラ

Publications (2)

Publication Number Publication Date
JP2007150601A true JP2007150601A (ja) 2007-06-14
JP4315148B2 JP4315148B2 (ja) 2009-08-19

Family

ID=38211495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005341050A Active JP4315148B2 (ja) 2005-11-25 2005-11-25 電子カメラ

Country Status (2)

Country Link
JP (1) JP4315148B2 (ja)
CN (1) CN101313565B (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129703A (ja) * 2006-11-17 2008-06-05 Fujifilm Corp 撮像装置、方法、およびプログラム
WO2008133237A1 (ja) * 2007-04-23 2008-11-06 Sharp Kabushiki Kaisha 撮像装置、その制御プログラムを記録したコンピュータ読取り可能な記録媒体、ならびに制御方法
JP2009010888A (ja) * 2007-06-29 2009-01-15 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2009049489A (ja) * 2007-08-14 2009-03-05 Sony Corp 撮像装置、撮像方法およびプログラム
JP2009089009A (ja) * 2007-09-28 2009-04-23 Canon Inc 撮像装置及び制御方法
JP2009237617A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 画像における顔領域の検出
JP2009237616A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 画像における顔領域の検出
US20100008550A1 (en) * 2008-07-14 2010-01-14 Lockheed Martin Corporation Method and apparatus for facial identification
JP2010117663A (ja) * 2008-11-14 2010-05-27 Fujinon Corp オートフォーカスシステム
JP2010178158A (ja) * 2009-01-30 2010-08-12 Nikon Corp 電子カメラ
JP2010251866A (ja) * 2009-04-10 2010-11-04 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2011066583A (ja) * 2009-09-16 2011-03-31 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
JP2011124819A (ja) * 2009-12-11 2011-06-23 Sanyo Electric Co Ltd 電子カメラ
US8106998B2 (en) 2007-08-31 2012-01-31 Fujifilm Corporation Image pickup apparatus and focusing condition displaying method
JP2012074989A (ja) * 2010-09-29 2012-04-12 Nec Casio Mobile Communications Ltd カメラ装置、撮影者判定方法、撮影者登録方法及び制御プログラム
US8339448B2 (en) 2009-01-26 2012-12-25 Panasonic Corporation Imaging apparatus
US8384792B2 (en) 2007-11-02 2013-02-26 Sony Corporation Imaging apparatus, method for controlling the same, and program
JP2014232958A (ja) * 2013-05-28 2014-12-11 大和ハウス工業株式会社 表情検出システム及び表情検出方法
JP2015111941A (ja) * 2015-03-02 2015-06-18 日立コンシューマエレクトロニクス株式会社 記録再生装置
CN108401109A (zh) * 2018-03-18 2018-08-14 广东欧珀移动通信有限公司 图像获取方法、装置、存储介质及电子设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5231263B2 (ja) * 2009-01-07 2013-07-10 オリンパスイメージング株式会社 撮像装置および撮像装置用プログラム
JP4788792B2 (ja) * 2009-03-11 2011-10-05 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
JP5331532B2 (ja) * 2009-03-24 2013-10-30 オリンパスイメージング株式会社 携帯機器
JP2011087183A (ja) * 2009-10-16 2011-04-28 Olympus Imaging Corp 撮影装置、画像処理装置、およびプログラム
KR101634247B1 (ko) 2009-12-04 2016-07-08 삼성전자주식회사 피사체 인식을 알리는 디지털 촬영 장치, 상기 디지털 촬영 장치의 제어 방법
JP2011130043A (ja) * 2009-12-16 2011-06-30 Sanyo Electric Co Ltd 電子カメラ
JP5355487B2 (ja) 2010-04-26 2013-11-27 キヤノン株式会社 画像送信装置、画像送信装置の認証方法
JP5562154B2 (ja) 2010-07-13 2014-07-30 キヤノン株式会社 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム
US9817488B2 (en) * 2015-01-21 2017-11-14 Pixart Imaging (Penang) Sdn. Bhd. Optical navigation device and related automatic magnification adjusting method
CN105407276A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 拍照方法和设备
CN105704389A (zh) * 2016-04-12 2016-06-22 上海斐讯数据通信技术有限公司 一种智能拍照方法及装置
JP7022686B2 (ja) * 2016-06-30 2022-02-18 株式会社ニコン カメラ
JP2019160004A (ja) * 2018-03-15 2019-09-19 富士フイルム株式会社 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
CN112995507A (zh) * 2021-02-08 2021-06-18 北京蜂巢世纪科技有限公司 提示对象位置的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002333652A (ja) * 2001-05-10 2002-11-22 Oki Electric Ind Co Ltd 撮影装置及び再生装置
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
JP4196714B2 (ja) * 2003-04-15 2008-12-17 株式会社ニコン デジタルカメラ

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129703A (ja) * 2006-11-17 2008-06-05 Fujifilm Corp 撮像装置、方法、およびプログラム
WO2008133237A1 (ja) * 2007-04-23 2008-11-06 Sharp Kabushiki Kaisha 撮像装置、その制御プログラムを記録したコンピュータ読取り可能な記録媒体、ならびに制御方法
US8780227B2 (en) 2007-04-23 2014-07-15 Sharp Kabushiki Kaisha Image pick-up device, control method, recording medium, and portable terminal providing optimization of an image pick-up condition
JP2009010888A (ja) * 2007-06-29 2009-01-15 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム
US8723967B2 (en) 2007-06-29 2014-05-13 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, and image processing method for performing cut-out processing for an image for electronic image-stabilization
JP2009049489A (ja) * 2007-08-14 2009-03-05 Sony Corp 撮像装置、撮像方法およびプログラム
US8233678B2 (en) 2007-08-14 2012-07-31 Sony Corporation Imaging apparatus, imaging method and computer program for detecting a facial expression from a normalized face image
US8106998B2 (en) 2007-08-31 2012-01-31 Fujifilm Corporation Image pickup apparatus and focusing condition displaying method
JP2009089009A (ja) * 2007-09-28 2009-04-23 Canon Inc 撮像装置及び制御方法
US8384792B2 (en) 2007-11-02 2013-02-26 Sony Corporation Imaging apparatus, method for controlling the same, and program
JP2009237616A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 画像における顔領域の検出
JP2009237617A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 画像における顔領域の検出
US20100008550A1 (en) * 2008-07-14 2010-01-14 Lockheed Martin Corporation Method and apparatus for facial identification
US9405995B2 (en) * 2008-07-14 2016-08-02 Lockheed Martin Corporation Method and apparatus for facial identification
JP2010117663A (ja) * 2008-11-14 2010-05-27 Fujinon Corp オートフォーカスシステム
US9197818B2 (en) 2009-01-26 2015-11-24 Panasonic Intellectual Property Corporation Of America Imaging apparatus
US8339448B2 (en) 2009-01-26 2012-12-25 Panasonic Corporation Imaging apparatus
JP2010178158A (ja) * 2009-01-30 2010-08-12 Nikon Corp 電子カメラ
JP2010251866A (ja) * 2009-04-10 2010-11-04 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2011066583A (ja) * 2009-09-16 2011-03-31 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
JP2011124819A (ja) * 2009-12-11 2011-06-23 Sanyo Electric Co Ltd 電子カメラ
JP2012074989A (ja) * 2010-09-29 2012-04-12 Nec Casio Mobile Communications Ltd カメラ装置、撮影者判定方法、撮影者登録方法及び制御プログラム
JP2014232958A (ja) * 2013-05-28 2014-12-11 大和ハウス工業株式会社 表情検出システム及び表情検出方法
JP2015111941A (ja) * 2015-03-02 2015-06-18 日立コンシューマエレクトロニクス株式会社 記録再生装置
CN108401109A (zh) * 2018-03-18 2018-08-14 广东欧珀移动通信有限公司 图像获取方法、装置、存储介质及电子设备
CN108401109B (zh) * 2018-03-18 2020-08-04 Oppo广东移动通信有限公司 图像获取方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
JP4315148B2 (ja) 2009-08-19
CN101313565A (zh) 2008-11-26
CN101313565B (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
JP4315148B2 (ja) 電子カメラ
JP5087856B2 (ja) 電子カメラ
JP5098259B2 (ja) カメラ
JP4910462B2 (ja) カメラ
JP4577275B2 (ja) 撮像装置、画像記録方法、および、プログラム
JP4553346B2 (ja) 焦点調節装置及び焦点調節方法
JP4432886B2 (ja) 電子カメラ
WO2007060980A1 (ja) 電子カメラおよび画像処理装置
JP5070728B2 (ja) カメラ
US20070030381A1 (en) Digital camera
JP4974812B2 (ja) 電子カメラ
JP2004206688A (ja) 顔認識方法、顔切出方法、および撮像装置
JP2007279601A (ja) カメラ
JP5228354B2 (ja) ディジタルカメラ
JP4127521B2 (ja) ディジタル・カメラおよびその制御方法
JP2007148691A (ja) 画像処理装置
JP2008017169A (ja) 電子カメラ
JP4360369B2 (ja) 電子カメラ
JP4577445B2 (ja) 撮像装置、画像記録方法、および、プログラム
JP2007150604A (ja) 電子カメラ
JP2007281647A (ja) 電子カメラおよび画像処理装置
JP4747673B2 (ja) 電子カメラおよび画像処理プログラム
JP2005223658A (ja) デジタルカメラ
JP2005086271A (ja) 電子カメラ
JP5423851B2 (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090511

R150 Certificate of patent or registration of utility model

Ref document number: 4315148

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150529

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150529

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150529

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250