JP2004343315A

JP2004343315A - 撮像装置

Info

Publication number: JP2004343315A
Application number: JP2003135859A
Authority: JP
Inventors: Mitsuteru Matsunaga; 光輝松永
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-05-14
Filing date: 2003-05-14
Publication date: 2004-12-02

Abstract

【課題】被写体を撮像する第１の撮像手段と、大画面を見る撮影者の目を撮像する第２の撮像手段を備え、第２の撮像手段で撮像した目の白領域を検出して、目の瞬きを検知して、シャッタースピードを制御する撮像装置を提供する。
【解決手段】撮像装置は、被写体を撮像する第１の撮像手段と、この第１の撮像手段で投影された光の量を自動又は手動で変更可能な絞り機能手段と、この第１の撮像手段で撮像する画像を表示させる表示器と、この表示器をみている撮影者の目を撮像する第２の撮像手段と、この第２の撮像手段により撮像した目の情報から目の白領域の大きさを算出する目白領域算出手段と、を備え、目白領域算出手段で算出された目の白領域の大きさの値の時間的相関より、絞り機能手段のシャッタースピードを変更するようにしたことである。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関するものであり、詳しくは、被写体を撮影時に、同時に撮影者の目の部分を撮影し、その撮影した目の瞬きを観察して、シャッタースピードを自動的に可変にする機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
従来技術における撮像装置、例えば、デジタルスチルカメラやビデオカメラでは、撮影や再生といった機能項目に対してユーザが設定を変更したり、実施したりする際、釦やスイッチといったものが必ず外装に取付けられ、それを入力デバイスとして操作させてきた。
しかし、近年デジタルスチルカメラやビデオカメラは小型化に推移しており、その結果、釦やスイッチというものが極力排除される方向に進んでいる。
なくなった釦やスイッチの代用として、現在押圧式の表示装置の利用から、人間の視線や音声を利用して操作を補助する方法が取られてきている。
特に、視線を利用する方法は、釦やスイッチを殆ど使用することなく操作できる。又、音声を使用した撮影においては、被写体を自然な動きで追いながら、操作することができる。
又、現在の視線の入力では、一般的に使用者や電子ビューファインダーを覗き込み、覗き込んだ状態に対して、ＬＥＤを照射し、その反射から瞳孔の位置を検出して位置を特定するものである。
【０００３】
【特許文献１】
特開平０４−９６５８０号公報（第２頁第１図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来技術で説明した電子ビューファインダ−を覗き込んで、ＬＥＤを照射することで瞳孔の位置を検出して位置を特定するという手法では、ユーザは常に電子ビューファインダーを覗き込む行為が必要であり、近年のデジタルスチルカメラやビデオカメラで多い大画面の表示器の利用ができなかったり、又、装置として電子ビューファインダーを必要とするため、小型化するうえで障害になっているという問題がある。
又、現在のデジタルスチルカメラやビデオカメラにおいて、シャッタースピードの制御は、自動、手動と可能であるが、自動の場合、被写体を向いたＣＣＤ部よりフロントエンド部でデジタル信号とされた画像情報を信号処理部に入力し、輝度を算出し、その結果をＣＰＵに通達し、ＣＰＵ内で、最適なシャッタースピード値を計算した後に、実際のシャッタースピード制御情報を作成して制御するという方法が一般的である。しかし、この方法では、実際、極端に周りが明るいような状態で、撮影者が見ている被写体の状態と実際の表示器上に投影される画が異なるという問題もある。
従って、小型化する撮像装置、例えば、デジタルスチルカメラやビデオカメラにおいて、撮影者が被写体を見ている目の状態でシャッタースピードを制御できる手法に解決しなければならない課題を有する。
【０００５】
【課題を解決するための手段】
上記課題を達成するために、本発明に係る撮像装置は、次に示す構成にすることである。
【０００６】
（１）撮像装置は、被写体を撮像する第１の撮像手段と、前記第１の撮像手段で投影された光の量を自動又は手動で変更可能な絞り機能手段と、前記第１の撮像手段で撮像する画像を表示させる表示器と、前記表示器をみている撮影者の目を撮像する第２の撮像手段と、前記第２の撮像手段により撮像した目の情報から目の白領域の大きさを算出する目の白領域算出手段と、を備え、前記目の白領域算出手段で算出された目の白領域の大きさの値の時間的相関より、前記絞り機能手段のシャッタースピードを変更するようにしたことである。
（２）前記シャッタースピードが変更可能な状態の場合には、前記第２の撮像手段の機能を停止するようにしたことを特徴とする（１）に記載の撮像装置。
（３）前記第１の撮像手段で撮影可能状態でない場合には、前記第２の撮像手段の機能を停止するようにしたことを特徴とする（１）に記載の撮像装置。
（４）前記第１の撮像手段で撮影可能な状態において、別操作によりシャッタースピードの変更が自動的に行われている場合には、前記第２の撮像手段の機能を停止し、再設定可能な状態になるまで、前記第２の撮像手段の機能を停止させることを特徴とする（１）に記載の撮像装置。
（５）前記第２の撮像手段で撮像した撮影者の目の白領域によるシャッタースピードの制御は、手動で行うシャッタースピードの制御とで切り替える切替え手段を備えたことを特徴とする（１）に記載の撮像装置。
【０００７】
このように、被写体を撮像するときに撮影者の目を撮像して、その目の瞬きに応じてシャッタースピードを変更できるようにしたことで、撮影者が被写体を見ているとおりのシャッタースピードを設定することが可能になる。
【０００８】
【発明の実施の形態】
次に、本願発明に係る撮像装置の実施形態について、図面を参照して、以下説明する。
【０００９】
本願発明に係る撮像装置は、図１に示すように、大別して被写体を取り込む第１のレンズ部１１、第１のシャッタ１２、第１のアイリス１３を介して撮像素子に結像させるための第１のＣＣＤ部１４と、結像された画像を電気信号に変換し、デジタル信号に変換する第１のフロントエンド部１５と、画像信号の信号処理を行うＤＳＰを備えた信号処理部１７と、ＣＰＵを備えた中央制御装置１８と、ＲＡＭ部１９と、ＲＯＭ部２０と、ＯＳＤ表示を制御するディスプレイコントロール部２１と、液晶画面である表示部に相当するＬＣＤ２２と、メモリーカード２３を制御するメモリーインターフェイス部２４と、中央制御装置１８により制御され第１のＣＣＤ部１４で取り込む映像のクロックを生成するタイミングジェネレータ２５と、中央制御装置１８により制御され第１のＣＣＤ部１４で取り込む映像の同期を取る垂直ドライバー２６と、中央制御装置１８により制御され、第１のレンズ部１１と、第１のアイリス１３を制御するレンズ／アイリスドライバー２７と、電源制御部２８と、温度センサー２９と、釦及びスイッチからなる外部操作部３０と、第１のネットワークインターフェイス部３１と、第２のネットワークインターフェイス部３２と、を備え、加えて更に、撮影者の顔面を撮像する第２のレンズ部３３、第２のシャッタ３４、第２のアイリス３５を介して撮像素子に結像させるための第２のＣＣＤ部３６と、第２のＣＣＤ部３６に結像された画像をデジタル信号に変換する第２のフロントエンド部３７と、からなり、第２のフロント部３７で変換された信号は信号処理部１７に送られ、撮影者の目の白領域を検出して瞬きを検出し、シャッタースピードを制御する処理が行われる。
【００１０】
このうち、第１のレンズ部１１、第１のシャッタ１２、第１のアイリス１３を介して撮像素子に結像させるための第１のＣＣＤ部１４、第１のフロントエンド部１５が第１の撮像手段１６を形成し、撮影者の顔面を撮像する第２のレンズ部３３、第２のシャッタ３４、第２のアイリス３５を介して撮像素子に結像させるための第２のＣＣＤ部３６と、第２のＣＣＤ部３６に結像された画像をデジタル信号に変換する第２のフロントエンド部３７が第２の撮像手段３８を形成する。そして、中央制御装置１８、ＲＡＭ部１９、ＲＯＭ部２０、ディスプレイコントロール部２１、メモリーインターフェイス部２４、信号処理部１７、第１のネットワークインターフェイス部３１、第２のネットワークインターフェイス部３２がバスライン３９に接続され、中央制御装置１８により制御される構成になっている。
【００１１】
信号処理部１７は、第１の撮像手段１６及び第２の撮像手段３８からの映像信号を受領して演算処理するものであり、ＳＤＲＡＭコントローラ４０を備え、このＳＤＲＡＭコントローラ４０を介してＳＤＲＡＭメモリ４１にデータを蓄積する。
【００１２】
中央制御装置１８は、レンズ／アイリスドライバー２７を制御して、第１の撮像手段１６で撮像する光の量を自動又は手動で変更可能な絞り機能手段と、表示器であるＬＣＤ２２をみている撮影者の目を撮像する第２の撮像手段３８で撮像した目の情報から目の白領域の大きさを算出する目の白領域算出手段と、を備えている。そして、この目の白領域算出手段で算出された目の白領域の大きさの値の時間的相関より絞り機能手段のシャッタースピードを変更するように制御する。
又、中央制御装置１８は、第２の撮像手段３８で撮像した撮影者の目の白領域によるシャッタースピードの制御と、外部操作部３０に設けてあるシャッタースピードの手動による操作とを切り替える切替え手段を備えており、これにより、手動によるシャッタースピードの制御と、第２の撮影手段３８によるシャッタースピードの制御を切替えるように制御できる。
更に、中央制御装置１８は、第１の撮像手段１６で撮影可能な状態でないとき、例えば、再生モードのときには、第２の撮像手段３８で撮像した撮影者の目の白領域によるシャッタースピードの制御を停止すること、具体的には、第２の撮像手段３８への電源の供給を停止するか省電源モードにする。こうすることで、被写体を撮影していないとき、例えば再生モード等のときには第２の撮像手段への電源の供給を停止することで、無駄な電源消費を無くすことができる。
また、中央制御装置１８においては、第１の撮像手段１６で撮影可能な状態、即ち、例えば、記録モードのときに、別の操作でシャッタースピードの制御が行われているときには、この第２の撮像手段３８によるシャッタースピードの制御を停止させるようにすることができる。こうすることで、別の操作に基づくシャッタースピードの制御を優先させることで、例えば手動によるシャッタースピードの制御を優先させることで違和感のないシャッタースピードの制御を達成することができるのである。
また、中央制御装置１８は、第１の撮像手段１６のシャッタスピードの変更が可能な状態のとき、例えば、記録モードのときに手動でシャッタースピードを制御するときには、第２の撮像手段３８で撮像した撮影者の目の白領域によるシャッタースピードの制御を停止させるように制御する。こうすることで、手動のシャッタースピードの制御を優先させることで違和感のないシャッタースピードの制御を達成することができるのである。
【００１３】
このような構成からなる撮像装置における動作について、以下、説明する。
先ず、実際に撮影者の目の白領域を検出して瞬きを検出する手法について、図６に示すフローチャートを参照して、以下説明する。
先ず、ユーザが外部操作部３０のシャッタースピード処理スイッチをオンにする（ステップＳＴ１１）。その結果を中央制御装置１８が受理すると、撮影者側撮像素子を構成する第２のＣＣＤ部３６と第２のフロントエンド部３７に対して電源を供給し、結像を開始する（ステップＳＴ１２）。
【００１４】
被写体を向いた第１のＣＣＤ部１４より第１のフロントエンド部１５でデジタル信号とされた画像情報を信号処理部１７に入力し、輝度を算出する。それと同時に、別の撮影者に向いた第２のＣＣＤ部３６は、撮影者の画像を結像し、そのアナログデータを第２のＣＣＤ部３６に直結した第２のフロントエンド部３７で、デジタル信号に、その情報を信号処理部１７に送る（ステップＳＴ１３）。
信号処理部１７では、図２に示すように、第２のフロントエンド部３７より入力されたデジタル信号をＳＤＲＡＭコントローラ４０を介してＳＤＲＡＭメモリ４１に貼付け格納する（ステップＳＴ１４）。
【００１５】
中央制御装置１８では、ＳＤＲＡＭメモリ４１に格納された情報から先鋭度と肌色領域検出を行い、顔を特定する（ステップＳＴ１５）。
そして、肌色を検出したときには、肌色領域内の白領域を検出する（ステップＳＴ１６、ＳＴ１７）。
白領域を検出すると、図４に示すように、検出された白情報の領域からその縦横の範囲を決定し、その範囲の最大最小点から伸ばした直線上で縦横が重なる部分の領域ＺをＳＤＲＡＭメモリ４１上の本画像から抜き出し、別のメモリエリアに格納する（ステップＳＴ１８）。
【００１６】
その後、中央制御装置１８、この抜き出された領域より、白の情報の割合を算出する（ステップＳＴ１９）。
ここで、人間の瞬きは、基本的に極端に明るい場所に行った場合など、時間内での瞬き回数が増加する傾向があるため、上記処理を時間単位で行った結果で示す。
図５に示すように、中央制御装置では、縦軸に白領域の割合で、横軸を時間として、白領域の量を軸として山登り状の計算を行う（ステップＳＴ２０）。
上記処理を行うと、人間の瞬き（図２、図３参照）のような繰り返しが、図５でみられるような状態になるので、この時間ｔ１のときのピーク値Ｐ１と時間ｔ２のときのピーク値Ｐ２の間の時間的相関を計算する（ステップＳＴ２１）。このピーク値Ｐ１、Ｐ２は白領域が最も多いときで、それは図２及び図３に示すように、目を閉じて開いたときの間隔を表わしている。従って、ピーク値Ｐ１、Ｐ２の間の中間の谷の部分は、図３に示すように、目を閉じたときを表わしている。
【００１７】
そして、通常制御のシャッタースピード値とピーク値Ｐ１、Ｐ２間からでたシャッタースピード値の差分が閾値を超えていないかを判定する（ステップＳＴ２２）。
【００１８】
この計算結果を中央制御装置１８はＲＯＭ部２０に保存した情報から検知した標準値からの差分値を計算する。差分値より、ＲＯＭ部２０に保持されているシャッタースピードの制御情報Ｘ１を決定する。又、被写体を向いた第１のＣＣＤ部１４より算出された輝度情報からは通常制御のアイリス補正値であるシャッタースピード情報Ｘ２を作成する。
【００１９】
中央制御装置１８では、制御情報Ｘ１、Ｘ２に対して、差分をとり、制御情報Ｘ２とＸ１の差が閾値以上の場合は、撮影者が意図的に本装置を極端に暗い、または明るい場所においていると判断し、実際のシャッタースピードの制御には制御情報Ｘ２を利用する（ステップＳＴ２２、ＳＴ２３、ＳＴ２５）。
閾値以下の場合は、被写体と撮影者は同輝度上にいると判断し、中央制御装置１８は制御情報Ｘ１で第１のシャッタ１２を制御して、シャッタースピードを制御する（ステップＳＴ２３、ＳＴ２４）。
【００２０】
また、ユーザが、本装置の設定をオンにしていても、本装置ではシャッタースピードが任意で設定可能な状態とした際は、本機能の再開は、ユーザからの操作部の情報から中央制御装置１８で判断できるまで、設定を自動的にオフにし、第２のＣＣＤ部３６と第２のフロントエンド部３７での結像処理を停止し、電源の供給を遮断する。
【００２１】
以上のように、本発明の撮像装置では、被写体を撮像する撮像手段とは別に、撮影者の顔を映る第２の撮像手段を持ち、そこより光電変換された信号から、撮影者の顔情報より目の位置を検出し、その結果から時間内での白情報の変化情報より最適と思われるシャッタースピード値を算出することと、通常の第１の撮像手段からの輝度情報を使ったシャッタースピード制御を行い、状況により切り替えることによって、ユーザに対して常に最適な絞り状態での撮影を提供できるのである。
【００２２】
近年、デジタルスチルカメラやビデオカメラにおいて、全てを装置内で自動的に判断し、最適な露出を判断し、撮影を行える機能が一般化しており、一部の熟練者以外ではシャッタースピードを手動で最適な状態にすることは困難であるが、本発明を利用すれば、常に最適な状態で、撮影者の見ている状態と同じ明るさを実現可能となる。
【００２３】
又、ユーザが撮影シーンにより、自分の意志によりシャッタースピードを変更する場合においては、自動的に本発明の機能を停止することで、ユーザに対して違和感を与えることなく、操作が可能な装置を提供できる。
【００２４】
更に、撮影中など、ユーザが任意に本発明を利用する必要がない場合には、一時的に本発明の機能を停止し、再開することで、ユーザに対して違和感のない操作性を実現するものである。
【００２５】
【発明の効果】
以上説明したように、本願発明の撮像装置は、被写体を撮像する第１の撮像手段の他に撮影者の顔、特に目を撮像する第２の撮像手段を備え、この第２の撮像手段で撮像した目の白領域を検出して、所謂瞬きを検出することでシャッタースピードを制御するようにしたことで、釦やスイッチといった操作部材を省くことができ、装置自体のコンパクト化及び小型化を図ることができるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る撮像装置のブロック図である。
【図２】同、第２の撮像手段で撮像した撮影者の顔の部分の目が開いている状態を表示部の撮像画面上に表示した説明図である。
【図３】同、第２の撮像手段で撮像した撮影者の顔の部分の目が閉じている状態を表示部の撮像画面上に表示した説明図である。
【図４】同、目の部分を抽出する様子を示した説明図である。
【図５】同、抽出した目の部分のうち、瞬きしたときの白領域範囲を時系列に示したグラフである。
【図６】同、瞬きシャッタースピードに関連する処理のフローチャートである。
【符号の説明】
１１；第１のレンズ部、１２；第１のシャッタ、１３；第１のアイリス、１４；第１のＣＣＤ部、１５；第１のフロントエンド部、１６；第１の撮像手段、１７；信号処理部、１８；中央制御装置、１９；ＲＡＭ部、２０；ＲＯＭ部、２１；ディスプレイコントロール部、２２；ＬＣＤ、２３；メモリーカード、２４；メモリーインターフェイス部、２５；タイミングジェネレータ、２６；垂直ドライバ、２７；レンズ／アイリスドライバ、２８；電源制御部、２９；温度センサー、３０；外部操作部、３１；第１のネットワークインターフェイス部、３２；第２のネットワークインターフェイス部、３３；第２のレンズ部、３４；第第２のシャッタ、３５；第２のアイリス、３６；第２のＣＣＤ部、３７；第２のフロントエンド部、３８；第２の撮像手段、３９；バスライン、４０；ＳＤＲＡＭコントローラ、４１；ＳＤＲＡＭメモリ。

Claims

被写体を撮像する第１の撮像手段と、前記第１の撮像手段で投影された光の量を自動又は手動で変更可能な絞り機能手段と、前記第１の撮像手段で撮像する画像を表示させる表示器と、前記表示器をみている撮影者の目を撮像する第２の撮像手段と、前記第２の撮像手段により撮像した目の情報から目の白領域の大きさを算出する目の白領域算出手段と、を備え、
前記目の白領域算出手段で算出された目の白領域の大きさの値の時間的相関より、前記絞り機能手段のシャッタースピードを変更するようにしたことを特徴とする撮像装置。
前記シャッタースピードが変更可能な状態の場合には、前記第２の撮像手段の機能を停止するようにしたことを特徴とする請求項１に記載の撮像装置。
前記第１の撮像手段で撮影可能状態でない場合には、前記第２の撮像手段の機能を停止するようにしたことを特徴とする請求項１に記載の撮像装置。
前記第１の撮像手段で撮影可能な状態において、別操作によりシャッタースピードの変更が自動的に行われている場合には、前記第２の撮像手段の機能を停止し、再設定可能な状態になるまで、前記第２の撮像手段の機能を停止させることを特徴とする請求項１に記載の撮像装置。
前記第２の撮像手段で撮像した撮影者の目の白領域によるシャッタースピードの制御は、手動で行うシャッタースピードの制御とで切り替える切替え手段を備えたことを特徴とする請求項１に記載の撮像装置。