JP2007096440A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置自体を大型化することなく、カメラ目線の静止画像を容易且つ確実に撮像することが出来るようにする。
【解決手段】目線撮影モードにおいては、ステップＳ１乃至Ｓ３でシャッタ釦の操作が検出されると次のステップＳ４で音声出力がなされ被写体がカメラ方向を向く様に報知がなされる。次のステップＳ５において所定時間間隔で被写体の顔画像の撮像がなされ複数の顔画像を含む静止画像が記憶部に記憶される。ステップＳ６では記憶された複数の静止画像の顔画像の目線状態が演算されて比較され、ステップＳ７で最もカメラ目線となっている静止画像が選択されて記録媒体に記録される。
【選択図】 図４

Description

この発明は、被写体を撮影して記録する撮像装置に関する。

視線検出装置として運転者の顔画像を撮影するカメラを自動車に取り付け、顔画像の中から目の黒目の中心を検出して目線方向を検出することが考えられており、この技術を自動車だけでなくパソコンや家電製品などの入力指令デバイスとして用いることが知られている（特許文献１参照）。具体的な例として、例えば、映像を表示するＣＲＴやＬＣＤ等のモニター表示装置の近傍に視線検出装置としてカメラを配置し、この視線検出用のカメラによってモニター表示装置を見ているか否かを検知し、モニター表示装置を見ていない時にはモニター表示装置の電源を自動的にオフすることが考えられている（特許文献２参照）。

このような視線検出装置は、カメラなどの撮像装置に適用することも考えられており、例えば、撮像素子に写し込まれた被写体画像を表示するモニター表示部の近傍に撮影者の視線検出装置を設け、撮影者が見ているモニター表示部の位置に焦点合わせを行わせる様にすることが考えられている（特許文献３参照）。

しかして、静止画を撮影するスチルカメラなどにあっては、被写体が視線をカメラに向けている画像、所謂カメラ目線の画像を撮像することが望まれている。このようなカメラ目線の画像を撮影するために被写体の視線を検出して撮像出来る様にしたカメラは従来知られておらず、カメラ目線の画像を撮影するためには、例えば、カメラ自体から注意を引きつけるための音声を発生させ、被写体がカメラを向いたタイミングでシャッタ操作して撮像を行う様にすることが考えられている（特許文献４参照）。
特開２００４−２５４９６０号公報 特開２０００−２２９０６８号公報 特開平０８−２６５６３０号公報 特開２００３−０７８７９２号公報

しかしながら、上述した特許文献１乃至３の視線検出装置を用いて撮像装置でカメラ目線の静止画像を撮影するためには、撮像装置に視線検出用の別のカメラを取り付け、被写体が目線を撮像装置に向けているか否かを視線検出用のカメラで検出して撮像装置で撮像しなければならないので、撮像装置自体が大型化するばかりか極めて高価なものになってしまうという欠点があった。

また、被写体が目線を撮像装置に向けていることを視線検出用のカメラで検出された際には目線が外れる前に直ちにシャッタ釦を操作して撮像する必要があり、シャッタ釦を操作するタイミングが遅れると目線が撮像装置から外れてしまいカメラ目線の静止画像が撮像できないという欠点もあった。

この欠点は、特許文献４の如く音声で被写体の注意を引きつける場合も同様であり、シャッタ釦を操作するタイミングが遅れると目線が撮像装置から外れてしまいカメラ目線の画像が取れないといったことになり、しかも、音声の場合は、まだ言葉を理解できない幼児や動物では無視されてしまうおそれもあった。

この発明の課題は、装置自体を大型化することなく、カメラ目線の静止画像を容易且つ確実に撮像することが出来る撮像装置を提供することにある。

請求項１記載の発明による撮像装置は、操作スイッチと、この操作スイッチの操作によって顔画像を含む被写体像が写し込まれる撮像素子と、この撮像素子に写し込まれた被写体像の顔画像がカメラ目線画像であるか否かを判断する目線判断手段と、この目線判断手段によってカメラ目線画像であると判断された際に前記撮像素子に写し込まれた被写体像の画像情報を記憶する画像情報記憶手段とを備えたことを特徴とする。

また、請求項２は、更に、前記操作スイッチの操作によって前記撮像素子に写し込まれる被写体像の画像情報を複数記憶する被写体画像記憶手段を備え、前記目線判断手段は前記被写体画像記憶手段に記憶された前記複数の被写体画像のうち最もカメラ目線である画像を前記カメラ目線画像と判断して前記画像情報記憶手段に記憶させることを特徴とする。

請求項３では、更に、前記目線判断手段によってカメラ目線画像ではないと判断された際に再度前記撮像素子に前記被写体像を写し込み、この写し込まれた被写体像がカメラ目線画像であるか否かを判断することを特徴とする。

また、請求項４は、更に、前記撮像素子に写し込まれた被写体像がカメラ目線データであるか否かを判断する為の判断データを予め記憶する判断データ記憶手段を備え、前記目線判断手段は、前記判断データ記憶手段に記憶されている判断データに基づき前記被写体像がカメラ目線画像であるか否かを判断することを特徴とする。

請求項５は、前記目線判断手段は、少なくとも前記被写体像の顔画像の目の黒目位置からカメラ目線画像か否かを判断する黒目位置情報判断手段を備えることを特徴とする。

請求項１記載の発明によれば、被写体像が写し込まれる撮像素子を、カメラ目線の検出と、記憶する撮像画像の写し込みとの両方に用いる様にしたので、極めて容易且つ確実にカメラ目線の画像が得られるばかりか、視線検出用の専用のセンサ装置を別個に設ける必要が無いので撮像装置自体の軽量小型化が図れ、また、低価格でカメラ目線の画像を撮像可能な撮像装置を提供出来るものである。

また、請求項２記載の発明によれば、一度に複数の被写体像を撮像し、その中からカメラ目線として最良の画像を選択して記憶できるので、最もカメラ目線である画像が得られる。

更に、請求項３記載の発明によれば、カメラ目線の画像が得られるとその時点で撮像処理が中止されるので、直ちに次の画像の撮像動作に移ることが出来る。

また、請求項４記載の発明によれば、カメラ目線であることを予め定められたデータと比較することによって判断する様にしているので、複雑な演算処理を必要とせず極めて容易に判断処理が出来る。

更に、請求項５記載の発明によれば、目の黒目位置によって判断する様にしているので確実にカメラ目線か否かを判断し得るものである。

（第１実施例）
以下、図１乃至図６を参照して本発明の第１の実施例を説明する。この実施例は、撮像装置として、デジタルスチルカメラ装置（以下、カメラと略称する。）に適用した場合を例示したもので、図１は、本発明によるカメラの基本的な構成要素を示したブロック図である。

制御部１は、図示していないＣＰＵ、ＲＯＭ（リード・オンリ・メモリ）等から構成され、カメラ全体の動作を制御するための各種プログラムや各種データを内部に備えている。この制御部１には、バスライン２を介して音声出力部３、記憶部４、通信制御部５、表示部６、撮像部７、入力部（操作釦）８及び記録媒体９を駆動する記録媒体駆動部１０が接続されている。

音声出力部３は、図示していない音声データ記憶部、音声合成回路及びスピーカなどから構成されており、制御部１から音声出力指令信号が与えられると音声データ記憶部に記憶されている音声データ、例えば被写体の注意をひくための「こちらを向いて」といった音声データに基づいて音声を出力するものである。記憶部４は、カメラの内部に固定的に設けられ、通常状態では取り出すことができない内部メモリである。この記憶部４は、読み出し及び書き込みが可能な揮発性のメモリであるＲＡＭ（ランダム・アクセス・メモリ）、或いは不揮発性のメモリである、例えばフラッシュメモリ等から構成されている。

図２は、この記憶部４の詳細な構成図を示すもので、モード値記憶領域４Ａには、カメラの基本動作モードを示すモード値Ｍが記憶される。モード値Ｍは、その値が０（以下、Ｍ＝０の様に示す。）の時、後述するシャッタ釦８Aの操作によって外部被写体を撮影して静止画像を前記記録媒体９に記録させる通常撮影モードであり、Ｍ＝１の時は、外部被写体である人物が目線をカメラに向けた時、即ちカメラ目線の時の外部被写体の静止画像を前記記録媒体９に記録させる目線撮影モードである。

また、M＝２の時は、記録媒体９に記録された静止画像を前記表示部６に再生表示させる再生モード、Ｍ＝３の時は、記録された静止画像を選択的に消去する消去モードである。

更に、モード値ＭがＭ＝４の時は記憶媒体９に記録された静止画像を外部の電子機器、例えば他のデジタルカメラや印刷装置などに転送する転送モードであり、Ｍ＝５のときは、記録された静止画及び他の電子機器から送られてきた静止画像を編集する編集モードである。

記憶部４の撮影モード値記憶領域４Ｂは、通常撮影モード或いは目線撮影モード時において、撮影時のシャッタ時間や露出値、ホワイトバランス値などの撮影条件値を記憶するものであり、ワークエリア４Cは、撮影した画像情報の一時記憶や各種処理に使用される記憶領域である。

図１に戻り、通信制御部５は、外部の電子機器、例えば他のカメラや印刷装置、パーソナルコンピュータ等と接続され、静止画情報の送受信を制御するものである。なお、外部の電子機器との接続は、ケーブルなどによる有線で行ってもよく、或いは赤外線や無線などのワイヤレス接続で行っても良い。

表示部６は、例えばカラー液晶表示装置などから構成され、撮影又は再生時の静止画像や各種設定情報、各種動作のガイダンス情報などが表示されるものである。

撮像部７は、外部被写体像を撮影するもので、図３は、この撮像部７の詳細な構成を示したものである。光学系（撮影レンズ）１１を介して入射される光束の開口量は絞り機構１２によって調整され、被写体像がＣＣＤ等の撮像素子１３上に結像される。合焦のために撮影レンズ１１は光学系駆動部１４によって光軸に沿って移動されると共に、適切な露出となるように絞り機構１２の開口量が光学系駆動部１４によって制御される。

即ち、撮影時には、図示しない測距センサや受光センサ及びホワイトバランス制御のための色センサなどを含むセンサ部１５がバスライン２を介して制御部１から送られてくる駆動信号によって駆動され、センサ部１５で検出された検出値がバスライン２を介して制御部１に送られる。制御部１は、予め設定されている撮影条件に基づき、送られてきた検出値から撮影レンズ１１の移動量や絞り機構１２の開口量を演算し、演算結果に基づいた駆動信号が光学系駆動部１４に送られることによって、光学系駆動部１４が撮影レンズ１１の移動や絞り機構１２の開口量を調整するものである。

撮像素子１３に被写体像が結像されることにより撮像素子１３には入射光量に応じた電荷が蓄積され、蓄積された電荷は読み出し駆動回路１６から与えられる駆動パルス信号によって順次読み出されてアナログ処理回路１７に送られる。アナログ処理回路１７では、色分離やゲイン調整、ホワイトバランスなどの各種処理が行われ、処理された信号はＡ／Ｄ変換回路１８を介してデジタルの静止画情報としてバッファレジスタ１９に記憶される。バッファレジスタ１９に記憶された静止画情報は、バスライン２を介して図２で示した記憶部４のワークエリア４Cに一時記憶された後、バスライン２を介して信号処理回路２０に送られ輝度信号及び色差信号に変換されるとともに、圧縮伸長回路２１によってＪＰＥＧ規格に準じて圧縮された後、ファイル化されて図１に示した記録媒体９に記録される。

図１に戻り、入力部８は、後述する如く２段スイッチからなるシャッタ釦８Ａと、図２のモード値記憶領域４Ａに記憶されているモード値Ｍを操作毎に順次切り替えるモード切替釦８Ｂと、撮影条件の設定や撮影し且つ記録した静止画像の再生や消去、外部との通信及び編集などを行うための複数の制御用操作釦１８C、１８D、・・・を備えている。また、各種の選択を行うために上下左右にそれぞれスイッチ操作部が設けられた十字キー１８Ｇも備えられている。

記録媒体駆動部１０は、記録媒体９が着脱可能となっており、記録媒体９に対して画像情報を含む各種情報を記録したり、既に記録されている情報を読み出して再生したりする為の駆動回路である。記録媒体９は撮像部７で撮像され且つファイル化された静止画像を多数記録できる記憶領域を有しており、例えば半導体回路を用いたＩＣカード等が用いられる。なお、ＩＣカードではなく、磁気ディスク、光ディスク、光磁気ディスク等の各種ディスクを記録媒体９として用いても良く、記録媒体駆動部１０もこれら使用される記録媒体９に応じた駆動回路となっていれば良い。

次に、上記の如く構成されたカメラの動作について説明する。モード切替釦８Ｂの操作によって、記憶部４のモード値記憶領域４Ａのモード値Ｍが、Ｍ＝０の通常撮影モードに設定されている際には、シャッタ釦８Ａを操作することによって撮像部７で外部被写体像の静止画像が撮像され、記憶媒体９に記録される。

次に、外部被写体像が人物或いは動物等であり、且つカメラ目線となるように被写体像を撮影したい場合には、モード切替釦８Ｂを操作してモード値ＭをＭ＝１に設定し、撮影モードを目線撮影モードにする。図４は、この目線撮影モードにおいてシャッタ釦８Ａが操作された際のフローチャートである。

先ず、ステップＳ１では、２段スイッチからなるシャッタ釦８Ａが操作されて、１段目のスイッチ（ＳＷ）の入力がなされたか否かが判断され、１段目のスイッチ入力がなされたことが検出されるとステップＳ２に進み、センサ部１５を駆動して被写体像までの距離の測定、被写体の明るさの測定及び色温度の測定等を行い、撮像に先立って、焦点合わせや露出量及びシャッタ時間の決定、ホワイトバランス値の設定などのプレ処理が実行されステップＳ３に進む。

ステップＳ３では、シャッタ釦８Ａが更に操作されて２段目のスイッチ入力がなされたか否かを判断し、１段目のスイッチ入力から一定時間内に２段目のスイッチ入力が検出されなかった場合にはステップＳ１に戻るが、一定時間内に２段目のスイッチ入力が検出された場合にはステップＳ４に進む。

ステップＳ４では、被写体像の注意をひくための音声出力、例えば「こちらを向いて」といった音声出力を音声出力部３から出力させるための指令信号を音声出力部３に出力し、次のステップＳ５に進む。

ステップＳ５では、所定時間間隔で撮像部７の撮像素子１３に被写体像を写し込み、写し込まれた画像を順次読み出して記憶部４のワークエリア４Ｃに順次記憶させるもので、例えば、０．３秒ごとにステップＳ２で決定された露出量及びシャッタースピードで外部被写体を写し込みワークエリア４Ｃに転送記憶させるといった動作を１０回行わせる。

次のステップＳ６では、ワークエリア４Ｃに記憶された１０枚の静止画像それぞれにつき画像認識を行って被写体像の目線がどの程度のカメラ目線になっているか否かを検出し、次のステップＳ７で最もカメラ目線になっている静止画像を撮影画像として記録媒体９に記憶させる。

上記ステップＳ６のカメラ目線の検出は、例えば「背景技術」の項で示した特許文献１乃至３の視線検出の技術を用いることが可能であるが、図５のフローチャートに示す処理を行わせればよい。即ち、ステップＳ１１で、まず画像認識を行って目の画像部分を抽出する。次にステップＳ１２で各部の座標データを求めるエッジ座標検出処理を行う。例えば、認識された目の画像部分が図６（ａ）の様な画像であった場合、これを図６の（ｂ）の如く目の輪郭を矩形に囲み、左下隅の点Ａを座標（０、０）として他の３隅Ｂ、Ｃ、Ｄの座標を求める。

次のステップＳ１３では、更に黒目Ｙを画像認識してのその中心座標Ｚを求める黒目中心座標検出処理を行う。更に次のステップＳ１４では、ステップＳ１３で求められた黒目の中心座標Ｚが目全体の中心とどれ位離れているかの黒目比率計算処理を行い、その演算結果を記憶部４のワークエリア４Ｃに記憶させる処理を行う。このステップＳ１４の黒目比率計算処理は、図６（ｃ）に示す様に、左右の辺から黒目中心までの距離ａ及びｂ、上下の辺から黒目中心までの距離ｃ及びｄを求め、ａ÷ｂ（黒目横比率）及びｃ÷ｄ（黒目縦比率）の演算を行うことによって計算される。即ち、被写体の顔を真正面から撮像した場合、即ち、カメラに対して顔が正対状態にある時、黒目中心座標Ｚが目の中心にある場合は、被写体がカメラをみている、所謂カメラ目線の場合であり、この様な状態では、ａ及びｂは共にほぼ等しく、またｃ及びｄは共にほぼ等しくなり、上記演算結果はどちらも値「１」近傍の値となるはずである。

これに対して、被写体の顔とカメラとが正対状態になっているにもかかわらず、被写体がカメラ以外の方向をみている場合には黒目の中心は目全体の中心から外れた位置となるもので、視線がカメラから離れていればいるほど黒目の中心は目の中心からずれた位置になる。従ってこのよう場合には、上記演算結果は、視線がカメラから離れている程、値「１」との差が大きくなるものである。

しかして、上記ステップＳ１１乃至Ｓ１４の処理は、ワークエリア４Ｃに記憶された１０枚の静止画像それぞれについて行われ、黒目比率計算の演算結果がそれぞれの静止画像と対応付けられてワークエリア４Ｃに記憶されるものである。

そして、図４のステップＳ７では、演算結果の値が「１」或いは最も値「１」に近い静止画像が選択されて記録媒体９に記憶されるものである。

このように、上記の実施例では、ステップＳ４で音声出力が開始されると共に所定時間間隔（実施例では０．３秒）で静止画像が複数枚（実施例１０枚）撮像され、そのうち、最もカメラ目線になっている静止画像が撮影画像として記憶される様になっているので、確実にカメラ目線の画像を得ることが出来るものである。

特に、上記実施例では、音声出力は「こちらを向いて」という言葉の場合、約２秒程度であり、この音声出力開始とほぼ同時に撮像動作が開始されて撮像動作は０．３秒間隔で約３秒間（１０回）なされるものであり、被写体が一旦カメラを見た場合、０．３秒以内に視線をカメラから外せる程目の動きは早くないので、音声発生中或いは音声終了後１秒迄の間に被写体が一度カメラの方を見れば確実にカメラ目線の画像を得られる。

（第２実施例）
図７及び図８は、本発明の第２の実施例を示している。上記第１の実施例では、カメラ目線か否かの判断を、目の中心に黒目があるか否かによって判断していたが、このように目の中心に黒目があるか否かによってカメラ目線か否かを判断出来るのは、被写体の顔がカメラに対して正対状態にある場合のみである。赤ちゃんや幼児を真正面から撮像する時、或いは記念写真の撮影で真正面から取る時などは上記実施例で十分であるが、被写体の顔を斜め前方から撮影する場合や、真正面から撮影する場合であっても、被写体の顔が斜め方向を向いている場合等においては黒目の位置だけでは判断できない。

そこで、この第２の実施例では、顔がカメラに対して斜め方向であってもカメラ目線で撮像できる様にしたものである。

この実施例においては、回路構成は図１及び図２に示した構成と同一である。また、目線撮影モードのフローチャートも図４に示したものとほぼ同一であるが、図４のステップＳ６の目線比較処理が図６のフローチャートではなく、図７のフローチャートの如く動作する点が異なる。また、ステップＳ６の目線比較処理が異なるのでステップＳ７の処理内容も上記実施例とは異なった処理となっている。

図７において、ステップＳ１１乃至Ｓ１４は図６に示したものと同一であるのでその詳細な説明は省略する。しかしてステップＳ１４の処理が終了するとステップＳ１５に進む。ステップＳ１５では、画像認識によって顔画像の抽出が行われ、次のステップＳ１６では、顔画像のエッジ座標検出処理が行われる。このエッジ座標検出は、ステップＳ１２と同様に、認識された顔画像の輪郭部分を矩形に囲み、左下隅を座標（０、０）として他の３隅の座標を求めるものである。これが終わると次のステップＳ１７では、顔の中心である鼻画像を認識しその中心座標の検出が行われる。

ステップＳ１８では、ステップＳ１６及びＳ１７で得られた座標から、顔の左右の辺から顔の中心（鼻の中心）までの距離ｅ及びｆを求めると共に、この距離ｅ及びｆから顔がどの程度斜めを向いているかを示す顔比率計算ｆ÷ｅが行われその演算結果がワークエリア４Ｃに、それぞれの静止画像に対応させて記憶される。

図８は、上記ステップＳ１５乃至Ｓ１７によって検出された顔の左右の辺から鼻の中心までの距離ｅ及びｆを示しており、この距離ｅ及びｆは顔がどれだけ斜めを向いているかによって異なってくる。即ち、わずかに斜めを向いている場合にはｅ及びｆの差は少なく、大きく斜めを向いている場合には差が大きくなる。

次のステップＳ１９では、ステップＳ１４で得られた黒目中心位置の黒目比率計算結果とステップＳ１８で得られた顔比率計算結果を用いて、目線がどの程度カメラ目線になっているかの目線計算が行われる。この目線計算は、もしカメラ目線で撮像したのであれば、顔比率計算結果の値が大きければ大きいほど、黒目横比率の計算の結果の値も大きくなり、逆に、顔比率計算結果の値が小さければ小さいほど、黒目横比率計算の結果の値も小さくなることに鑑み、両比率計算の結果を減算し、その結果をワークエリア４Ｃに記憶させるものである。

例えば、図８に示す様に顔を斜め左側から撮像し、ｅとｆの比率が例えば２：１の場合、顔比率計算の結果は「０．５」である。この時、被写体がカメラを見ているカメラ目線であれば、黒目は目の左側に寄り、図６（ａ）の距離ａとｂとの比率は１：２程度になり黒目横比率計算の結果も「０．５」近くになる。

逆に、顔を斜め右側から撮像すると、ｆの値がｅと比較して大きくなるので顔比率計算の結果は「１」より大きな値となり、わずかに右側方向から撮影した場合程「１」に近く、斜め方向の度合いが大聞ければ大きいほど「１」よりもかなり大きな値となる。この時、被写体がカメラを見ているカメラ目線であれば、黒目は目の右側に寄り、横方向の度合いが大聞ければ大きいほど図６（ａ）の距離ａが大きく、距離ｂが小さくなるので黒目比率計算の結果は、顔比率計算の結果と同様の値となる。

従って、ステップＳ１９では両結果を減算し、その結果（図８の場合は値「０」）をワークエリア４Ｃに記憶する。

そして、図４のステップＳ７では、ステップＳ１９で得られた各静止画像毎の減算結果を比較し、値「０」或いは値「０」に最も近いとされた静止画像をカメラ目線の静止画像として記憶媒体９に記憶させるものである。

このように、この実施例では、顔の斜め横方向から撮像した場合であっても、確実にカメラ目線の静止画像を得ることが出来るものである。

（第３実施例）
図９乃至図１１は本発明の第３の実施例を示している。この実施例においても、回路構成は上記各実施例と同一なのでその詳細な説明は省略する。また、シャッタ釦８Ａが操作されてから音声出力がなされるまでのフローチャートは図４におけるステップＳ１乃至Ｓ４までのフローチャートと同一であり、図４のステップＳ５以降のフローチャートが図９の如く構成されている点が異なる。

しかして、この実施例においては、制御部１のＲＯＭの一部（以下、ＲＯＭ３０と称呼する。）に、図１０の如き各比率データが記載されている。即ち、図１０のＲＯＭ３０は各行のデータを一組のデータとするもので、各行の顔比率データ記憶領域３０Ａには顔比率データが記憶されている。この記憶領域３０Ａに記憶されている顔比率データは第２実施例で示した顔の輪郭と顔の中心との比率を示す値である。また、位置比率データ記憶領域３０Ｂに記憶されている位置比率データは撮像画像全体の中心に対して目の位置がどれだけ上下にあるかを示したデータである。即ち、この位置比率記憶領域３０Ｂには、図１１の如く、撮像素子１３に写し込まれた画像全体の下端から目の位置迄の距離をｇ、画像全体の上端から目の位置迄の距離をｈとした時の比率データｈ÷ｇの値が記憶されているものである。

また、黒目横比率データ１記憶領域３０Ｃには、図６（ｃ）に示した、左右の辺から黒目中心までの距離ａ及びｂの比率データ、即ち黒目横比率データａ÷ｂの値が記憶されており、黒目縦比率データ２記憶領域３０Ｄには、上下の辺から黒目中心までの距離ｃ及びｄの比率データ、即ち黒目縦比率データｃ÷ｄの値が記憶されている。

この場合、黒目横比率データ記憶領域３０Ｃに記憶されている黒目横比率データ及び黒目縦比率データ記憶領域３０Ｄに記憶される黒目縦比率データは、被写体の顔画像が、それぞれ顔比率データ記憶領域３０Ａに記憶されている顔比率データ及び位置比率データ記憶領域３０Ｂに記憶されている位置比率データに合致する状態で且つカメラ目線であった時の比率データが予め記憶されているものである。

即ち、顔の斜め方向から撮像した場合、その斜め度合いに応じてカメラ目線の時の黒目横比率データは予め決められるものであり、また、目の位置が撮像画像中心からどれだけ上下しているかによってカメラ目線の時の黒目縦比率データは予め決められるものなので、これらカメラ目線時の縦横の比率データが予め記憶されているものである。

そして、上記ＲＯＭ３０の各行（各組）には、それぞれ値の異なった顔比率データ及び位置比率データに対応させてカメラ目線の時の黒目横比率データ及び黒目縦比率データがそれぞれ記憶されているものである。

尚、これら黒目の縦横の比率データは、多数の人の顔画像をそれぞれ異なった位置から撮像して統計を取り、最も多かった比率データをサンプルデータとして記憶させることによって実現できる。

しかして、図9のステップＳ２１においては、撮像素子１３から顔画像を含む１枚の静止画像を取込んでワークエリア４Ｃに記憶させ、次のステップＳ２１では、この画像を画像認識して顔比率データ、目の位置を示す位置比率データ、黒目横比率データ及び黒目縦データを算出し、これらをワークエリア４Ｃに記憶させる。

続くステップＳ２２では、ワークエリア４Ｃに記憶された顔比率データ及び目の位置比率データと同じ値を記憶している組をＲＯＭ３０から選択し、同じ組の対応して記憶されている黒目横比率データ及び黒目縦データをワークエリア４Ｃに記憶された黒目横比率データ及び黒目縦データと比較し、その差が予め定められた値よりも小さいか否かを判断し、黒目横比率データ及び黒目縦データのどちらもが予め定められた値よりも小さい場合にはカメラ目線画像であるとしてステップＳ２４に進み、ワークエリア４Ｃに記憶された静止画像に信号処理及び圧縮処理を施してファイル化し記憶媒体９に記憶させフローを終了する。

一方、黒目横比率データ及び黒目縦データの一方もしくは両方が予め定められた値よりも大きい場合には、ステップＳ２５に進み、このステップＳ２５での処理回数が何回目の処理なのかを判断し、所定回数、例えば５回目の処理であればステップＳ２６に進み、表示部６もしくは音声出力部によって「正しい撮影が出来ませんでした」といった報知を行って処理を終了する。

また、ステップＳ２５での処理回数判断が５回目未満であればステップＳ２６に進み、再度、音声にて「こちらを見て下さい」といった出力を行わせ、ステップＳ２１に戻って再度各ステップＳ２１以下の処理を行わせるものである。

このように、この実施例では、撮像素子１３に写し込まれ且つ読み出された静止画像をその都度予め定められているカメラ目線画像を示すデータと比較してカメラ目線か否かを判断しているので、カメラ目線を撮影した時点で直ちに処理を終了できる。

尚、上記実施例のステップＳ２６では、ＲＯＭに記憶されている比率データと撮像した画像の比率データとから、目線がカメラに対してどの方向にずれているかを判断して、例えば、「もっと左を向いて下さい」とか、「上を向いて下さい」といった指示音声を被写体に対して発生させる様にしてもよいものである。

また、ＲＯＭ３０に記憶させてある各種比率データと比較を行わせて判断しているが、例えば、カメラ目線の画像自体を記憶させておいて、その画像と比較してカメラ目線か否かを判断させる様にしてもよいものである。この場合、目の画像だけでなく、耳や腕、足などの両方が画像中に存在するか否かなども判断の材料にしてもよいものである。

以上の如く、上記各実施例によれば、視線検出専用の装置を備えなくとも容易にカメラ目線の静止画像を撮像でき、カメラの小型化、低価格化を実現できるものである。

尚、上記各実施例では、スチルカメラでカメラ目線の静止画像を撮像する様にしたが、例えば、動画撮影するビデオカメラであっても、本発明を適用することによってビデオ撮影中にカメラ目線の静止画像を撮像することが出来る。また、本発明は携帯電話やＰＤＡ、ノートパソコン、腕時計、音楽再生機などであっても、撮像機能を備えた電子機器であれば適用できることは勿論である。

本発明の撮像装置の回路構成を示したブロック図。 図１の撮像部７の詳細な構成を示した図。 図１の記憶部４の内容を示した図。 本発明による目線撮影モードの撮影処理を示したフローチャート。 図４のステップＳ６の詳細なフローチャート。 図４のステップＳ６での比率計算を説明するための図。 本発明の第２実施例を説明したフローチャート。 図７のフローチャートで行われる比率計算を説明するための図。 本発明の第３実施例のフローチャート。 制御部１のＲＯＭに記憶されている各比率データを示す図。 撮像画像全体と顔の目の位置との関係を示す図。

符号の説明

１ 制御部
３ 音声出力部
４ 記憶部
６ 表示部
７ 撮像部
８ 入力部
９ 記憶媒体
１３ 撮像素子
１５ センサ部

Claims (5)

1. 操作スイッチと、この操作スイッチの操作によって顔画像を含む被写体像が写し込まれる撮像素子と、この撮像素子に写し込まれた被写体像の顔画像がカメラ目線画像であるか否かを判断する目線判断手段と、この目線判断手段によってカメラ目線画像であると判断された際に前記撮像素子に写し込まれた被写体像の画像情報を記憶する画像情報記憶手段とを備えたことを特徴とする撮像装置。
2. 更に、前記操作スイッチの操作によって前記撮像素子に写し込まれる被写体像の画像情報を複数記憶する被写体画像記憶手段を備え、前記目線判断手段は前記被写体画像記憶手段に記憶された前記複数の被写体画像のうち最もカメラ目線である画像を前記カメラ目線画像と判断して前記画像情報記憶手段に記憶させることを特徴とする請求項１に記載の撮像装置。
3. 更に、前記目線判断手段によってカメラ目線画像ではないと判断された際に再度前記撮像素子に前記被写体像を写し込み、この写し込まれた被写体像がカメラ目線画像であるか否かを判断することを特徴とする請求項１に記載の撮像装置。
4. 更に、前記撮像素子に写し込まれた被写体像がカメラ目線データであるか否かを判断する為の判断データを予め記憶する判断データ記憶手段を備え、前記目線判断手段は、前記判断データ記憶手段に記憶されている判断データに基づき前記被写体像がカメラ目線画像であるか否かを判断することを特徴とする請求項１乃至３の何れかに記載の撮像装置。
5. 前記目線判断手段は、少なくとも前記被写体像の顔画像の目の黒目位置からカメラ目線画像か否かを判断する黒目位置情報判断手段を備えることを特徴とする請求項１又は４の何れかに記載の撮像装置。

Images