【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関するものであり、詳しくは、被写体を撮影時に、同時に撮影者の目の部分を撮影し、その撮影した瞳孔の開閉状態と大きさを観察して、絞りの制御を行うようにした撮像装置に関する。
【０００２】
【従来の技術】
従来技術における撮像装置、例えば、デジタルスチルカメラやビデオカメラでは、撮影や再生といった機能項目に対してユーザが設定を変更したり、実施したりする際、釦やスイッチといったものが必ず外装に取付けられ、それを入力デバイスとして操作させてきた。
しかし、近年デジタルスチルカメラやビデオカメラは小型化になってきており、その結果、釦やスイッチというものが極力排除される方向に進んでいる。
なくなった釦やスイッチの代用として、現在押圧式の表示装置の利用から、人間の視線や音声を利用して操作を補助する方法が採られてきている。
特に、視線を利用する方法は、釦やスイッチを殆ど使用することなく操作できる。又、音声を使用した撮影においては、被写体を自然な動きで追いながら、操作することができる。
又、現在の視線の入力では、一般的に使用者や電子ビューファインダーを覗き込み、覗き込んだ状態に対して、ＬＥＤを照射し、その反射から瞳孔の位置を検出して位置を特定するものである。
【０００３】
【特許文献１】
特開平０４−９６５８０号公報 （第２頁 第１図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来技術で説明した電子ビューファインダ−を覗き込んで、ＬＥＤを照射することで瞳孔の位置を検出して位置を特定するという手法では、ユーザは常に電子ビューファインダーを覗き込む行為が必要であり、近年のデジタルスチルカメラやビデオカメラで多い大画面の表示装置の利用ができなかったり、又、装置として電子ビューファインダーを必要とするため、小型化するうえで障害になっているという問題がある。
【０００５】
又、現在デジタルスチルカメラやビデオカメラにおいて、絞り制御は、自動、手動と可能であるが、自動の場合、被写体を向いたＣＣＤ部よりフロントエンド部でデジタル信号とされた画像情報を信号処理部に入力し、輝度を算出し、その結果を中央制御装置に通達し、最適な絞り値を計算後、実際の絞り制御情報を作成してアイリスドライバを制御するという方法が一般的であるが、この方法では、実際、極端に周りが明るいような状態で、撮影者がみている被写体の状態と実際の表示器上に投影される画が異なる状況になってしまうという問題もある。
【０００６】
従って、小型化する撮像装置、例えば、デジタルスチルカメラやビデオカメラにおいて、ユーザが所望する絞りの制御を瞳孔の開閉状態及び大きさで特定する手法に解決しなければならない課題を有する。
【０００７】
【課題を解決するための手段】
上記課題を達成するために、本発明に係る撮像装置は、次に示す構成にすることである。
【０００８】
（１）撮像装置は、被写体を撮像する第１の撮像手段と、前記第１の撮像手段に投影される光の量を自動又は手動で変更可能な絞り機能手段と、前記第１の撮像手段で撮像する画像を表示させる表示器と、前記表示器をみている撮影者の目を撮像する第２の撮像手段と、前記第２の撮像手段で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、前記瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り開状態値を算出する瞳孔状態算出手段と、を備え、
前記瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、該差分により前記第１の撮像手段の絞りを制御するようにしたことである。
（２）前記第１の撮像手段の絞りの変更が可能な状態のときに、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする（１）に記載の撮像装置。
（３）前記第１の撮像手段で撮影可能な状態でないときに、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする（１）に記載の撮像装置。
（４）前記第１の撮像手段で撮影可能な状態において、別操作により絞りの制御が行われているときは、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止し、絞りの制御が設定可能な状態になったときに、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を行うようにしたことを特徴とする（１）に記載の撮像装置。
（５）前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御は、手動で行う絞りの制御とで切り替える切替え手段を備えたことを特徴とする（１）に記載の撮像装置。
【０００９】
このように、被写体を撮像するときに撮影者の目を撮像して瞳孔の開閉状態及びその大きさを観察して、絞り機能を制御することで常に最適な絞り状態での撮影ができる。
【００１０】
【発明の実施の形態】
次に、本願発明に係る撮像装置の実施形態について図面を参照して説明する。
【００１１】
本願発明に係る撮像装置は、図１に示すように、大別して被写体を取り込む第１のレンズ部１１、第１のシャッタ１２、第１のアイリス１３を介して撮像素子に結像させるための第１のＣＣＤ部１４と、結像された画像を電気信号に変換し、デジタル信号に変換する第１のフロントエンド部１５と、画像信号の信号処理を行うＤＳＰを備えた信号処理部１７と、ＣＰＵを備えた中央制御装置１８と、ＲＡＭ部１９と、ＲＯＭ部２０と、ＯＳＤ表示を制御するディスプレイコントロール部２１と、液晶画面である表示器に相当するＬＣＤ２２と、メモリーカード２３を制御するメモリーインターフェイス部２４と、中央制御装置１８により制御され第１のＣＣＤ部１４で取り込む映像のクロックを生成するタイミングジェネレータ２５と、中央制御装置１８により制御され第１のＣＣＤ部１４で取り込む映像の同期を取る垂直ドライバー２６と、中央制御装置１８により制御され、第１のレンズ部１１と、第１のアイリス１３を制御するレンズ／アイリスドライバー２７と、電源制御部２８と、温度センサー２９と、釦及びスイッチからなる外部操作部３０と、第１のネットワークインターフェイス部３１と、第２のネットワークインターフェイス部３２と、を備え、加えて更に、撮影者の顔面を撮像する第２のレンズ部３３、第２のシャッタ３４、第２のアイリス３５を介して撮像素子に結像させるための第２のＣＣＤ部３６と、第２のＣＣＤ部３６に結像された画像をデジタル信号に変換する第２のフロントエンド部３７と、からなり、第２のフロントエンド部３７で変換された信号は信号処理部１７に送られ、被写体に対する瞳孔の開閉状態及び大きさを検出する処理が行われる。
【００１２】
このうち、第１のレンズ部１１、第１のシャッタ１２、第１のアイリス１３を介して撮像素子に結像させるための第１のＣＣＤ部１４、第１のフロントエンド部１５が第１の撮像手段１６を形成し、撮影者の顔面を撮像する第２のレンズ部３３、第２のシャッタ３４、第２のアイリス３５を介して撮像素子に結像させるための第２のＣＣＤ部３６と、第２のＣＣＤ部３６に結像された画像をデジタル信号に変換する第２のフロントエンド部３７が第２の撮像手段３８を形成する。そして、中央制御装置１８、ＲＡＭ部１９、ＲＯＭ部２０、ディスプレイコントロール部２１、メモリーインターフェイス部２４、信号処理部１７、第１のネットワークインターフェイス部３１、第２のネットワークインターフェイス部３２がバスライン３９に接続され、中央制御装置１８により制御される構成になっている。
【００１３】
信号処理部１７は、第１の撮像手段１６及び第２の撮像手段３８からの映像信号を受領して演算処理するものであり、ＳＤＲＡＭコントローラ４０を備え、このＳＤＲＡＭコントローラ４０を介してＳＤＲＡＭメモリ４１にデータを蓄積する。
【００１４】
中央制御装置１８は、レンズ／アイリスドライバー２７を制御して、第１の撮像手段１６で撮像する光の量を自動又は手動で変更可能な絞り機能手段を備え、更に、表示器であるＬＣＤ２２をみている撮影者の目を撮像する第２の撮像手段３８で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、この瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り状態値を算出する瞳孔状態算出手段とを備えている。そして、この瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、この差分により第１の撮像手段１６の絞りを制御する。
又、中央制御装置１８は、第２の撮像手段３８で撮像した撮影者の瞳孔による絞りの制御と、外部操作部３０に設けてある絞りの手動による操作とを切り替える切替え手段を備えており、これにより、手動による絞りの制御と、第２の撮影手段３８による絞りの制御を切替えるように制御できる。
更に、中央制御装置１８は、第１の撮像手段１６で撮影可能な状態でないとき、例えば、再生モードのときには、第２の撮像手段３８で撮像した撮影者の瞳孔による絞りの制御を停止すること、具体的には、第２の撮像手段３８への電源の供給を停止するか省電源モードにする。こうすることで、被写体を撮影していないとき、例えば再生モード等のときには第２の撮像手段への電源の供給を停止することで、無駄な電源消費を無くすことができる。
また、中央制御装置１８においては、第１の撮像手段１６で撮影可能な状態、即ち、記録モードのときに、別の操作で絞りの制御が行われているときには、この第２の撮像手段３８による絞りの制御を停止させるようにすることができる。こうすることで、別の操作に基づく絞りの制御を優先させることで、例えば手動による絞り制御を優先させることで違和感のない絞り制御を達成することができるのである。
また、中央制御装置１８は、第１の撮像手段１６の絞りの変更が可能な状態のとき、例えば、記録モードのときに手動で絞りを制御するときには、第２の撮像手段３８で撮像した撮影者の瞳孔による絞りの制御を停止させるように制御する。こうすることで、絞りの制御を優先させることで違和感のない絞り制御を達成することができるのである。
【００１５】
このような構成からなる撮像装置における動作について、以下、説明する。
先ず、実際に撮影者の目の瞳孔を検出して絞りを制御する手法について、図８に示すフローチャートを参照して、以下説明する。
先ず、ユーザが外部操作部３０の瞳孔機能スイッチをオンにする（ステップＳＴ１１）。その結果を中央制御装置１８が受理すると、第２のＣＣＤ部３６と第２のフロントエンド部３７に対して電源を供給し、結像を開始する（ステップＳＴ１２）。
【００１６】
被写体を向いている第１のＣＣＤ部１４より第１のフロントエンド部１５でデジタル信号とされた画像情報を信号処理部１７に送る。同時に、撮影者に向いた第２のＣＣＤ部３６は、撮影者の画像を結像し、そのアナログデータを第２のＣＣＤ部３６に直結した第２のフロントエンド部３７で、デジタル信号し、その情報を信号処理部１７に送る（ステップＳＴ１３）。
信号処理部１７では、第２のフロントエンド部３７より入力されたデジタル信号をＳＤＲＡＭコントローラ４０を介してＳＤＲＡＭメモリ４１に貼付け格納する（ステップＳＴ１４）。
【００１７】
貼り付けを通知された中央制御装置１８では、図２に示すように、ＳＤＲＡＭメモリ４１に格納された情報から先鋭度と肌色領域検出を行い、顔を特定し、その後、白情報のある領域を検出する（ステップＳＴ１５）。
そして、図３に示すように、検出された白情報の領域からその縦横の範囲を決定し、その範囲の最大最小点から伸ばした直線上で縦横が重なる部分の領域ＺをＳＤＲＡＭメモリ４１上の本画像から抜き出し、別のメモリエリアに格納する（ステップＳＴ１６、ＳＴ１７、ＳＴ１８）。
【００１８】
格納された領域から実際の瞳孔の大きさを認識する方法は、色差からと二値化からがあるが、今回は二値化の方法で説明する。
人間の目の領域は、白、虹彩、瞳孔で濃淡が異なる。中央制御装置１８では、この濃淡を正確に検知するため、格納された領域に対して、ステップ毎に二値化の閾値を変化させる（ステップＳＴ１９）。
【００１９】
閾値を変化させ、二値化を行った後、先鋭度を検出して、格納された領域内における最小の円周の先鋭度を算出し、その幅、最大の円周の先鋭度の白の部分Ａ１１、Ａ１２、その次の虹彩の部分の円周の幅Ａ２１、Ａ２２、瞳孔の外周の幅Ａ３１、Ａ３２を決定する（ステップＳＴ２０）。
上記の閾値では、Ａ１１〜Ａ３２までの情報が特定できない場合は、再度閾値をインクリメントかデクリメントし、再度、同様の処理を行う（ステップＳＴ２１）。
【００２０】
検出された、Ａ１１〜Ａ３２の情報から瞳孔の直径がわかり、この結果を中央制御装置１８では、ＲＯＭ部２０に保持した情報からキャリブレーションして検知した標準値からの差分値Ｘ１、即ち絞り状態値を計算する。
【００２１】
そして、瞳孔の外周の幅Ａ３１、Ａ３２の座標情報より、（Ａ３１＋Ａ３２）／２で、実際の瞳孔の注視点である中心点座標Ｐ１が求められる。
【００２２】
次に、中心点座標Ｐ１については、後述するキャリブレーションの結果を使用して位置補正が行われる（ステップＳＴ２２）。
【００２３】
キャリブレーションは、目の注視点とＬＣＤ２２の表示領域との関係を関連付けするもので、キャリブレーション時は、図５及び図６に示すように、中心に指標（Ｐｏ（１２７、１２７））とＬＣＤ２２の四隅に対してキャラクター（Ｐｙ（０、２５５）、Ｐｘ（２５５、０））を表示し、撮影者はそれを注目してもらうことで、画面中心時の瞳孔中心基準座標（Ｐｏ（０、０））と四隅の座標が求められる。
【００２４】
そして、中心点を（０．０）として、各四隅はそこからの規定のオフセット値として算出する。その結果は、中央制御装置１８内に保持する。記録情報は、ＥＥＰＲＯＭといったメモリに保存することも可能である。
【００２５】
このキャリブレーションによるデータイメージは、図７に示すように、センターの位置がＬＣＤ２２では（１２７、１２７）であるのに対してユーザの位置は（３０、３０）、レフトトップの位置がＬＣＤ２２では（０、２５５）であるのに対してユーザの位置は（２０、４０）、ライトトップの位置がＬＣＤ２２では（２５５、２５５）であるのに対して、ユーザの位置は（４０、４０）、レフトボトムの位置がＬＣＤ２２では（０、０）であるのに対して、ユーザの位置は（２０、２０）、ライトボトムの位置がＬＣＤ２２では（０、２５５）であるのに対して、ユーザの位置は（４０、２０）であるように対応付けできるのである。
【００２６】
被写体を向いた第１のＣＣＤ部１４より算出された輝度情報からは従来どおり絞り情報Ｘ２を作成する。
中央制御装置１８では、差分値Ｘ１、絞り情報Ｘ２に対して、差分をとり、絞り情報Ｘ２と差分値Ｘ１の差が閾値以上の場合は、撮影者が意図的に本装置を極端に暗い、又は明るい場所においていると判断し、実際のレンズ／アイリスドライバー２７の制御には、絞り情報Ｘ２の情報を利用し、閾値以下の場合は、被写体と撮影者は同輝度上にいると判断して、差分値Ｘ１でレンズ／アイリスドライバー２７を制御して、絞り制御を行う（ステップＳＴ２３、ＳＴ２４、ＳＴ２５）。
【００２７】
又、ユーザが、本装置の設定をオンにしていても、本装置で絞りをユーザが任意で設定可能な状態とした際は、本機能の再開は、ユーザからの操作部の情報から中央制御装置１８で判断できるまで、設定を自動的にオフにし、第２のＣＣＤ部３６と第２のフロントエンド部３７での結像処理を停止し、電源の供給を遮断する。
【００２８】
以上のように、本願発明の撮像装置は、被写体を撮像する第１の撮像手段１６の他に撮影者の顔、特に目を撮像する第２の撮像手段３８を備え、そこより光電変換された信号から撮影者の顔情報より瞳孔の位置を検出し、その結果から通常の撮像素子からの輝度情報を使った絞り制御を行い、状況により切り替えることによって、ユーザに対して常に最適な絞り状態での撮影を提供できるのである。
【００２９】
又、近年、デジタルスチルカメラやビデオカメラにおいて、全てを装置内で自動的に判断し、最適な露出を判断し、撮影を行える機能が一般化しており、一部の熟練者以外では、絞りを手動で最適な状態にすることは困難であるが、本発明を利用すれば、常に最適で撮影者の見ている状態と同じ明るさやボカシ等を実現可能となる。
【００３０】
また、ユーザが撮影シーンにより、自分の意志により絞りを変更する場合には、自動的に本発明の機能を停止することで、ユーザに対して違和感を与えることなく、操作が可能な装置を提供できる。
【００３１】
更に、撮影中など、ユーザが任意に本発明を利用する必要がない場合には、一時的に本発明の機能を停止し、再開することで、ユーザに対して違和感のない操作性を実現することができる。
【００３２】
【発明の効果】
以上説明したように、本願発明の撮像装置は、被写体を撮像する第１の撮像手段の他に撮影者の顔、特に目を撮像する第２の撮像手段を備え、そこより光電変換された信号から撮影者の顔情報より瞳孔の位置を検出し、その結果から通常の撮像素子からの輝度情報を使った絞り制御を行い、状況により切り替えることによって、ユーザに対して常に最適な絞り状態での撮影を提供できるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る撮像装置のブロック図である。
【図２】同、第２の撮像手段で撮像した撮影者の顔の部分を表示器の撮像画面上に表示した説明図である。
【図３】同、顔の部分のうち目の部分を抽出した様子を示した説明図である。
【図４】同、目の白の部分、虹彩、瞳孔の部分を抽出した様子を示した説明図である。
【図５】同、キャリブレーション時におけるＬＣＤでのエリアメージを示した説明図である。
【図６】同、キャリブレーション時における目のＬＣＤでのエリアイメージを示した説明図である。
【図７】同、キャリブレーション時におけるＬＣＤでの位置と目の位置との関係を示した表である。
【図８】同、視線による目の大きさを処理するフローチャートである。
【符号の説明】
１１；第１のレンズ部、１２；第１のシャッタ、１３；第１のアイリス、１４；第１のＣＣＤ部、１５；第１のフロントエンド部、１６；第１の撮像手段、１７；信号処理部、１８；中央制御装置、１９；ＲＡＭ部、２０；ＲＯＭ部、２１；ディスプレイコントロール部、２２；ＬＣＤ、２３；メモリーカード、２４；メモリーインターフェイス部、２５；タイミングジェネレータ、２６；垂直ドライバ、２７；レンズ／アイリスドライバ、２８；電源制御部、２９；温度センサー、３０；外部操作部、３１；第１のネットワークインターフェイス部、３２；第２のネットワークインターフェイス部、３３；第２のレンズ部、３４；第第２のシャッタ、３５；第２のアイリス、３６；第２のＣＣＤ部、３７；第２のフロントエンド部、３８；第２の撮像手段、３９；バスライン、４０；ＳＤＲＡＭコントローラ、４１；ＳＤＲＡＭメモリ。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging apparatus, and more specifically, controls an aperture by photographing an eye portion of a photographer at the same time as photographing a subject, observing the open / closed state and size of the photographed pupil, and controlling the aperture. The present invention relates to an imaging device configured as described above.
[0002]
[Prior art]
In an imaging device in the related art, for example, a digital still camera or a video camera, when a user changes a setting or implements a function item such as shooting or playback, a button or a switch is always attached to an exterior. , And operated it as an input device.
However, in recent years, digital still cameras and video cameras have been reduced in size, and as a result, buttons and switches have been removed as much as possible.
As a substitute for the missing buttons and switches, a method of assisting the operation by using a human line of sight or voice has been adopted from the use of a currently-displayed display device.
In particular, the method using the line of sight can be operated with little use of buttons and switches. Further, in the photographing using sound, the operation can be performed while following the subject with natural movement.
In addition, the current gaze input generally looks into a user or an electronic viewfinder, irradiates an LED to the looking state, and detects the position of the pupil from its reflection to specify the position. It is.
[0003]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 04-96580 (Page 2 FIG. 1)
[0004]
[Problems to be solved by the invention]
However, in the technique of detecting the position of the pupil by illuminating the LED by looking into the electronic viewfinder described in the related art and specifying the position, the user always needs to act to look into the electronic viewfinder. There is a problem that a large-screen display device, which is often used in digital still cameras and video cameras in recent years, cannot be used, and an electronic viewfinder is required as a device, which is an obstacle to miniaturization. is there.
[0005]
In digital still cameras and video cameras, aperture control can be automatic or manual. In the automatic mode, image information converted into digital signals by the front end unit from the CCD unit facing the subject is processed by the signal processing unit. , Calculate the luminance, notify the result to the central control unit, calculate the optimal aperture value, then create the actual aperture control information and control the iris driver. In this method, there is also a problem that the state of the subject viewed by the photographer and the image projected on the actual display device are different from each other when the surroundings are extremely bright.
[0006]
Therefore, there is a problem that the control of the aperture desired by the user must be solved by a method of specifying the opening / closing state and the size of the pupil in a miniaturized imaging apparatus, for example, a digital still camera or a video camera.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, an imaging device according to the present invention has the following configuration.
[0008]
(1) An imaging apparatus includes: first imaging means for imaging a subject; aperture function means capable of automatically or manually changing the amount of light projected on the first imaging means; and first imaging means. A display for displaying an image captured by the camera, a second imaging means for imaging the eyes of a photographer looking at the display, and a pupil size recognized from information of the eyes captured by the second imaging means. Pupil recognition means, and a pupil state calculation means for calculating an aperture state value based on the pupil size from the pupil size recognized by the pupil recognition means,
A difference between an aperture state value based on the size of the pupil calculated by the pupil state calculation unit and a current aperture state is detected, and the aperture of the first imaging unit is controlled by the difference. .
(2) When the aperture of the first imaging means can be changed, the control of the aperture by the pupil of the photographer imaged by the second imaging means is stopped ( The imaging device according to 1).
(3) The control of the aperture by the pupil of the photographer photographed by the second imaging means is stopped when the photographing by the first imaging means is not possible. An imaging device according to any one of the preceding claims.
(4) If the aperture control is performed by another operation in a state where the first image capturing unit can capture an image, the control of the aperture based on the pupil of the photographer captured by the second image capturing unit is stopped. The imaging apparatus according to (1), wherein when the control of the aperture is settable, the aperture is controlled by the pupil of the photographer photographed by the second imaging means. .
(5) The imaging apparatus according to (1), further comprising switching means for switching control of the iris by the pupil of the photographer photographed by the second imaging means with control of the iris manually performed.
[0009]
As described above, when the subject is imaged, the photographer's eyes are imaged, the open / closed state and size of the pupil are observed, and by controlling the aperture function, the image can always be captured in the optimal aperture state.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of an imaging device according to the present invention will be described with reference to the drawings.
[0011]
As shown in FIG. 1, the imaging device according to the present invention generally includes a first lens unit 11, a first shutter 12, and a first iris 13 for capturing an object, and forms an image on an imaging device through a first iris 13. A first CCD unit 14, a first front end unit 15 that converts an image formed into an electric signal and converts it into a digital signal, a signal processing unit 17 including a DSP that performs signal processing of an image signal, A central control unit 18 having a CPU, a RAM unit 19, a ROM unit 20, a display control unit 21 for controlling an OSD display, an LCD 22 corresponding to a display which is a liquid crystal screen, and a memory for controlling a memory card 23 An interface unit 24, a timing generator 25 controlled by the central control unit 18 to generate a clock of an image captured by the first CCD unit 14, A vertical driver 26 controlled by the controller 18 to synchronize the image captured by the first CCD unit 14, and a lens / lens controlled by the central controller 18 to control the first lens unit 11 and the first iris 13. An iris driver 27, a power supply control unit 28, a temperature sensor 29, an external operation unit 30 including buttons and switches, a first network interface unit 31, and a second network interface unit 32. Further, a second CCD section 36 for forming an image on an image sensor via a second lens section 33 for capturing an image of the face of the photographer, a second shutter 34, and a second iris 35, and a second CCD section And a second front-end unit 37 for converting the image formed on the unit 36 into a digital signal. No. is sent to the signal processing unit 17, processing for detecting the open or closed state and the size of the pupil with respect to the subject is performed.
[0012]
Among them, a first CCD unit 14 and a first front end unit 15 for forming an image on an image pickup device via a first lens unit 11, a first shutter 12, and a first iris 13 are a first unit. A second CCD unit 36 for forming an image pickup means 16 and forming an image on an image pickup device via a second lens unit 33, a second shutter 34, and a second iris 35 for imaging the face of the photographer; A second front end unit 37 that converts an image formed on the second CCD unit 36 into a digital signal forms a second imaging unit 38. The central controller 18, the RAM unit 19, the ROM unit 20, the display control unit 21, the memory interface unit 24, the signal processing unit 17, the first network interface unit 31, and the second network interface unit 32 are connected to the bus line 39. They are connected and controlled by the central control unit 18.
[0013]
The signal processing unit 17 receives video signals from the first imaging unit 16 and the second imaging unit 38 and performs arithmetic processing. The signal processing unit 17 includes an SDRAM controller 40, and an SDRAM memory 41 via the SDRAM controller 40. Accumulates data.
[0014]
The central control device 18 includes a diaphragm function unit that controls the lens / iris driver 27 to automatically or manually change the amount of light captured by the first imaging unit 16, and further controls the LCD 22 as a display. Pupil recognizing means for recognizing the size of the pupil from the eye information captured by the second image capturing means 38 for capturing the eyes of the photographer who is watching; and pupil size based on the pupil size recognized by the pupil recognizing means. Pupil state calculating means for calculating an aperture state value based on the pupil state value. Then, a difference between the aperture state value based on the pupil size calculated by the pupil state calculation unit and the current aperture state is detected, and the aperture of the first imaging unit 16 is controlled based on the difference.
In addition, the central control device 18 includes switching means for switching between control of the iris by the pupil of the photographer imaged by the second imaging unit 38 and manual operation of the iris provided in the external operation unit 30; Thereby, control can be performed so that the control of the aperture manually and the control of the aperture by the second photographing unit 38 are switched.
Further, the central controller 18 stops the control of the aperture by the pupil of the photographer photographed by the second imager 38 when the first imager 16 is not in a state where photographing is possible, for example, in the reproduction mode. Specifically, the power supply to the second imaging unit 38 is stopped or the power saving mode is set. In this way, when the subject is not being photographed, for example, in the reproduction mode or the like, the power supply to the second imaging unit is stopped, so that unnecessary power consumption can be eliminated.
In the central control device 18, when the first image pickup means 16 is ready to take an image, that is, when the aperture control is performed by another operation in the recording mode, the second image pickup means 38 The control of the aperture by the stop can be stopped. In this way, by giving priority to aperture control based on another operation, for example, by giving priority to manual aperture control, it is possible to achieve aperture control without a sense of incongruity.
In addition, when the aperture of the first imaging unit 16 can be changed, for example, when the aperture is manually controlled in the recording mode, the central control unit 18 captures the image captured by the second imaging unit 38. The control of the aperture by the pupil of the person is controlled to be stopped. In this way, by giving priority to the control of the aperture, it is possible to achieve aperture control without a sense of incongruity.
[0015]
The operation of the imaging apparatus having such a configuration will be described below.
First, a method of actually detecting the pupil of the photographer's eye and controlling the aperture will be described with reference to the flowchart shown in FIG.
First, the user turns on the pupil function switch of the external operation unit 30 (step ST11). When the result is received by the central controller 18, power is supplied to the second CCD section 36 and the second front end section 37 to start image formation (step ST12).
[0016]
Image information converted into digital signals by the first front end unit 15 is sent from the first CCD unit 14 facing the subject to the signal processing unit 17. At the same time, the second CCD section 36 facing the photographer forms an image of the photographer, and the analog data is digitally converted by the second front end section 37 directly connected to the second CCD section 36, The information is sent to the signal processing unit 17 (step ST13).
In the signal processing section 17, the digital signal input from the second front end section 37 is pasted and stored in the SDRAM memory 41 via the SDRAM controller 40 (step ST14).
[0017]
As shown in FIG. 2, the central control device 18 notified of the pasting detects the sharpness and the skin color area from the information stored in the SDRAM memory 41, specifies the face, and then determines the area with white information. Detect (step ST15).
Then, as shown in FIG. 3, the vertical and horizontal ranges of the white information are determined from the detected white information area, and the area Z where the vertical and horizontal overlaps on the straight line extending from the maximum and minimum points of the range is defined on the SDRAM memory 41. The image is extracted from the main image and stored in another memory area (steps ST16, ST17, ST18).
[0018]
Methods for recognizing the actual pupil size from the stored area include color difference and binarization, but this time, the binarization method will be described.
In the human eye region, the shading differs in white, iris, and pupil. In order to accurately detect the shading, the central controller 18 changes the binarization threshold for each step in the stored area (step ST19).
[0019]
After changing the threshold value and performing binarization, the sharpness is detected, the sharpness of the smallest circumference in the stored area is calculated, and the width, the whiteness of the sharpness of the largest circumference are calculated. The portions A11 and A12, the circumferential widths A21 and A22 of the next iris portion, and the outer pupil widths A31 and A32 are determined (step ST20).
When the information of A11 to A32 cannot be specified with the above threshold value, the threshold value is incremented or decremented again, and the same processing is performed again (step ST21).
[0020]
The diameter of the pupil can be known from the detected information of A11 to A32, and the central controller 18 calculates the difference value X1 from the standard value detected by calibration from the information held in the ROM unit 20, that is, the aperture state. Calculate the value.
[0021]
Then, from the coordinate information of the widths A31 and A32 of the outer periphery of the pupil, the center point coordinate P1 which is the actual gazing point of the pupil is obtained by (A31 + A32) / 2.
[0022]
Next, with respect to the center point coordinates P1, position correction is performed using the result of calibration described later (step ST22).
[0023]
The calibration associates the relationship between the point of regard of the eye and the display area of the LCD 22. At the time of calibration, as shown in FIGS. 5 and 6, the index (Po (127, 127)) and the LCD 22 are centered. Characters (Py (0, 255), Px (255, 0)) are displayed at the four corners of the pupil, and the photographer receives the attention, so that the pupil center reference coordinates (Po (0, 0)) and the coordinates of the four corners are obtained.
[0024]
Then, the center point is set to (0.0), and each of the four corners is calculated as a specified offset value therefrom. The result is held in the central controller 18. The recording information can be stored in a memory such as an EEPROM.
[0025]
As shown in FIG. 7, the data image obtained by this calibration has the center position (127, 127) on the LCD 22, the user position (30, 30), and the left top position on the LCD 22 ( 0, 255), the position of the user is (20, 40), and the position of the light top is (255, 255) on the LCD 22, whereas the position of the user is (40, 40), The position of the bottom is (0, 0) on the LCD 22, the position of the user is (20, 20), and the position of the light bottom is (0, 255) on the LCD 22, whereas the position of the user is Can be associated as (40, 20).
[0026]
From the luminance information calculated by the first CCD unit 14 facing the subject, aperture information X2 is created as before.
The central controller 18 calculates a difference between the difference value X1 and the aperture information X2, and when the difference between the aperture information X2 and the difference value X1 is equal to or larger than a threshold, the photographer intentionally sets the apparatus to be extremely dark. Alternatively, it is determined that the subject is in a bright place, the information of the aperture information X2 is used for the actual control of the lens / iris driver 27, and when the brightness is equal to or less than the threshold, it is determined that the subject and the photographer are at the same luminance. The aperture control is performed by controlling the lens / iris driver 27 with the difference value X1 (steps ST23, ST24, ST25).
[0027]
Also, even if the user turns on the setting of this device, if the user can set the aperture as desired with this device, the restart of this function is performed by the central control from the information of the operation unit from the user. Until it can be determined by the device 18, the setting is automatically turned off, the imaging process in the second CCD section 36 and the second front end section 37 is stopped, and the power supply is cut off.
[0028]
As described above, the imaging apparatus of the present invention includes the second imaging unit 38 for imaging the face of the photographer, particularly the eyes, in addition to the first imaging unit 16 for imaging the subject, and from which the photoelectric conversion is performed. The position of the pupil is detected from the photographer's face information from the signal, and the result is used to perform aperture control using luminance information from a normal image sensor, and by switching depending on the situation, the user always has the optimal aperture state for the user. It is possible to provide the shooting of.
[0029]
In recent years, in digital still cameras and video cameras, the function of automatically judging everything in the apparatus, judging the optimal exposure, and shooting can be generalized. Although it is difficult to achieve the optimum state manually, the present invention makes it possible to always achieve the optimum brightness and blur as in the state seen by the photographer.
[0030]
Also, when the user changes the aperture according to his / her own intention according to the shooting scene, the function of the present invention is automatically stopped to provide a device that can be operated without giving a sense of incongruity to the user. it can.
[0031]
Furthermore, when the user does not need to use the present invention arbitrarily, such as during shooting, the functions of the present invention are temporarily stopped and restarted, thereby realizing operability without a sense of incongruity for the user. be able to.
[0032]
【The invention's effect】
As described above, the imaging apparatus of the present invention includes the second imaging unit for imaging the face of the photographer, particularly the eyes, in addition to the first imaging unit for imaging the subject, and a signal that is photoelectrically converted from the second imaging unit. The pupil position is detected from the photographer's face information, the aperture control is performed using the luminance information from the normal image sensor based on the result, and switching is performed depending on the situation. There is an effect that photography can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram of an imaging apparatus according to the present invention.
FIG. 2 is an explanatory diagram showing a photographer's face imaged by a second imaging means on an imaging screen of a display device.
FIG. 3 is an explanatory diagram showing a state where an eye portion is extracted from a face portion.
FIG. 4 is an explanatory diagram showing a state in which a white part, an iris, and a pupil of the eye are extracted.
FIG. 5 is an explanatory diagram showing an area image on the LCD during calibration.
FIG. 6 is an explanatory diagram showing an area image on the LCD of an eye during calibration.
FIG. 7 is a table showing the relationship between the position on the LCD and the position of the eyes during calibration.
FIG. 8 is a flowchart for processing the size of the eyes based on the line of sight.
[Explanation of symbols]
11; first lens unit, 12; first shutter, 13; first iris, 14; first CCD unit, 15; first front end unit, 16; first imaging means, 17; Central processing unit, 19; RAM unit, 20; ROM unit, 21; display control unit, 22; LCD, 23; memory card, 24; memory interface unit, 25; timing generator, 26; 27; lens / iris driver; 28; power supply control unit; 29; temperature sensor; 30; external operation unit; 31; first network interface unit; 32; second network interface unit; 34; second shutter, 35; second iris, 36; second CCD section, 37; second front end section, 38; Second imaging means, 39; bus line, 40; SDRAM controller, 41; SDRAM memory.
