JP2023047605A - 制御装置、撮像装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】視線検出を常に高精度に実施することが可能な制御装置を提供する。【解決手段】制御装置（１）は、画像を表示する表示手段（２８）と、表示手段を観察するユーザの視線情報を取得する視線取得手段（７０１）と、画像における被写体情報を検出する被写体検出手段（５０ａ）と、画像のシーン判定情報を取得するシーン判定取得手段（５０ｂ）と、視線情報と被写体情報とシーン判定情報とに基づいて、視線位置の補正情報を算出する算出手段（５０ｃ）とを有する。【選択図】図４

Description

本発明は、制御装置、撮像装置、制御方法、およびプログラムに関する。

特許文献１には、光学ファインダのファインダ視野内を覗くユーザの撮影範囲内の視線位置を検出することで、測距点を選択する方法が開示されている。特許文献２には、左右それぞれの眼球の瞳孔のサイズを検出して、瞳孔サイズに応じて左右の視点を補正することで、瞳孔中心を正確に算出して被験者の視点を検出する方法が開示されている。

特開２０１５‐０２２２０８号公報 特開２０１７‐１０２６８８号公報

しかしながら、一眼カメラ等の撮像装置のファインダを用いて撮影する際には、片目で覗くことになるため、特許文献２に開示されている方法を用いることはできない。また、一眼カメラ等の撮像装置では、主に撮影時のみファインダを覗くため、接眼・離眼により瞳孔位置が変わる。このため、常に視点を補正していなければ、視点検出精度が低下する。

そこで本発明は、視線検出を常に高精度に実施することが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することを目的とする。

本発明の一側面としての制御装置は、画像を表示する表示手段と、前記表示手段を観察するユーザの視線情報を取得する視線取得手段と、前記画像における被写体情報を検出する被写体検出手段と、前記画像のシーン判定情報を取得するシーン判定取得手段と、前記視線情報と前記被写体情報と前記シーン判定情報とに基づいて、視線位置の補正情報を算出する算出手段とを有する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、視線検出を常に高精度に実施することが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することができる。

本実施形態における撮像装置のブロック図である。 本実施形態における視線入力操作部の構成図である。 本実施形態における別の視線入力操作部の構成図である。 本実施形態における制御方法のフローチャートである。 本実施形態における視線位置補正の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
［撮像装置］
まず、図１を参照して、本実施形態における撮像装置（制御装置）１について説明する。図１は、撮像装置１のブロック図である。撮像装置１は、デジタルカメラ（カメラ本体）１００と、デジタルカメラ１００に対して着脱可能なレンズユニット（レンズ装置）１５０とを備えて構成される。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズ装置とが一体的に構成された撮像装置にも適用可能である。

レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ（光学系）１０３は、通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６は、レンズユニット１５０がデジタルカメラ１００側と通信を行うための通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行うための通信端子である。レンズユニット１５０は、通信端子６、１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１０２を制御し、ＡＦ駆動回路３を介してレンズ１０３の位置を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０により撮像部２２の露光時間を自由に制御可能なフォーカルプレーンシャッターである。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。撮像部２２から得られた信号は、撮像だけでなく、露出制御、焦点検出制御にも用いられる。撮像部２２には、１つのマイクロレンズに対して、光電変換部が分割された画素が設けられている。光電変換部を分割することにより入射瞳が分割され、それぞれの光電変換部から位相差検出信号を得ることができる。また、分割された光電変換部からの信号を加算することにより、撮像信号も得ることができる。このような画素は、焦点検出画素と撮像画素を兼用できるというメリットがある。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対して、所定の画素補間、縮小等のリサイズ処理、および色変換処理を行う。また画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４から得られた演算結果に基づいて、露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部（表示手段）２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

またメモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。これにより、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１９を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１９においてアナログ変換し、表示部２８に逐次転送して表示する。これにより、表示部２８は、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行うことができる。なお表示部２８は、不図示の接眼部を通して覗き込む電子ビューファインダを設けても、デジタルカメラ１００の背面にディスプレイを設けてもよい。また、電子ビューファインダと、背面のディスプレイの両方を設けてもよい。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述するフローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００の全体を制御する。またシステム制御部５０は、被写体検出手段５０ａ、シーン判定取得手段５０ｂ、および算出手段５０ｃを有する。被写体検出手段５０ａは、画像中の被写体情報を検出する。シーン判定取得手段５０ｂは、画像のシーン判定情報を取得する。算出手段５０ｃは、視線情報と被写体情報とシーン判定情報とに基づいて、視線位置の補正情報を算出する。またシステム制御部５０は、不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。

システムメモリ５２は、例えばＲＡＭである。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。またシステム制御部５０は、メモリ３２、Ｄ／Ａ変換器１９、および表示部２８等を制御することにより表示制御を行う。また表示部２８は、ユーザがのぞき込むＥＶＦと、タッチ操作等が可能でのぞき込まないＴＦＴ液晶等があり、表示部２８のうち、ＥＶＦに設置されているアイセンサで、ユーザが接眼しているか離眼しているかの情報によって表示部２８を制御する表示制御を行う。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮとＯＦＦとを切り替える操作部材である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、および操作部７０は、システム制御部５０に各種の動作指示を入力するための操作部である。操作部７０は、視線入力操作部（視線取得手段）７０１および視線確定操作部（視線確定手段）７０２を含む。視線入力操作部７０１は、表示部２８を観察するユーザの視線情報を取得する。視線確定操作部７０２は、ユーザの視線情報による入力および確定操作が可能であり、視線情報を確定する。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。操作部７０は、ユーザからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、メニュー選択、モード選択、撮影した動画像の再生などを実施するための電子ボタンや十字キーなどが設けられている。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また電源制御部８０は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または優先ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判定可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルへの付加や、画像を回転して記録することが可能である。姿勢検知部５５は、例えば、加速度センサーやジャイロセンサ等を有する。

［視線検出］
次に、図２を参照して、本実施形態における視線検出について説明する。図２は、視線入力操作部（視線取得手段）７０１の構成図である。 本実施形態では、操作部７０の一つとして、視線入力操作部７０１が設けられている。視線入力操作部７０１は、ユーザの視線が表示部２８のいずれの箇所を見ているかを検出するための操作部材である。

図２に示される構成は、特許文献１に開示されているファインダ視野内を覗くユーザの眼球５０１ａの光軸の回転角を検出し、検出した回転角からユーザの視線を検出する方式を実現する構成である。表示部２８には、レンズユニット１５０を通して撮影されたライブビュー表示画像が表示されている。７０１ａはイメージセンサを、７０１ｂは受光レンズを、７０１ｃはダイクロイックミラーを、７０１ｄは接眼レンズを、７０１ｅは照明光源を示す。照明光源７０１ｅにより、眼球５０１ａに赤外光が投射される。眼球５０１ａを反射した赤外光は、ダイクロイックミラー７０１ｃに反射され、イメージセンサ７０１ａにより撮影される。撮影された眼球画像は、不図示のＡ／Ｄ変換器によりデジタル信号に変換され、システム制御部５０に送信される。視線取得手段としてのシステム制御部５０では、撮影された眼球画像から、瞳孔の領域などを抽出し、ユーザの視線を算出する。

なお、視線入力操作部７０１は、この方式に限定されるものではなく、ユーザの両目を撮影し、視線を検出する方式でもよい。図３は、図２とは異なる視線入力操作部７０１の構成図である。図３に示されるように、デジタルカメラ１００の背面に設けられている表示部２８に、レンズユニット１５０を通して撮影されたライブビュー表示画像（撮影画像）が表示されている。図３では、デジタルカメラ１００の背面に、表示部２８を観察しているユーザの顔５００を撮影するカメラ７０１ｆが設けられている。図３において、カメラ７０１ｆが撮影する画角を点線で示している。不図示の照明光源７０１ｅからユーザの顔に投光を行い、カメラ７０１ｆにより眼球画像を取得する。これにより、ユーザの視線を算出する。なお、視線入力操作部７０１は、この方式に限定されるものではなく、ユーザが表示部２８のいずれの箇所を注視しているかを検出できる構成であればよい。

［視線検出及び動的キャリブレーション方法］
次に、図４および図５を参照して、本実施形態における視線位置補正方法について説明する。図４は、視線検出処理方法および視線位置補正方法（制御方法）のフローチャートである。図４は、本実施形態の表示手段である表示部２８に表示された画像をユーザが見ながら視線確定操作を行い、焦点調節手段を実施する場合の動作を示し、システム制御部５０が主体となって実現される。なお本実施形態では、図１の撮像装置１のブロック図を用いて説明するが、少なくともシステム制御部５０、表示部２８、および操作部７０を有する他の装置においても同様の動作が可能である。

まずステップＳ１において、システム制御部５０は、画像データ（撮影画像）を表示部２８に表示する処理（画像表示処理）を開始する。なお、表示用の画像は、例えば表示部２８の解像度に合わせた縮小画像である。画像表示中は所定のフレームレートでの表示が行われており、表示部２８を通じてユーザは表示画像を確認することができる。

続いてステップＳ２において、システム制御部５０は、視線入力操作部（視線取得手段）７０１を用いて、視線情報が取得可能か否かを判定する。また、表示部２８のうち、ＥＶＦに設置されているアイセンサであれば、ユーザが接眼しているか離眼しているかの情報によって視線情報が取得可能か否かを判定して、視線位置情報の信頼性情報（視線信頼性情報）を取得する。このように視線情報は、信頼性情報を含み得る。ＥＶＦをのぞき込んでいれば、アイセンサによりユーザが接眼状態であるとわかる。このとき視線入力操作部７０１は、視線情報が取得可能であると判定する。一方、ＥＶＦをのぞき込んでいなければ、アイセンサによりユーザが離眼しているとわかる。このとき視線入力操作部７０１は、視線情報が取得不能であると判定する。また表示部２８のうち、ＴＦＴ液晶においても、視線入力操作部７０１は視線情報が取得可能か否かを判定する。

続いてステップＳ３において、システム制御部５０は、ステップＳ２にて視線情報が取得可能であると判定された場合、視線検出を開始し、視線入力操作部７０１を用いて視線情報（視線位置情報）を取得する。ステップＳ４以降、視線入力操作部７０１は、ユーザが表示部２８上のどの位置を観察しているか（視線位置）に関する視線情報（視線位置情報）を、ユーザが観察していた表示画像と関連付けて、所定の時間間隔で取得し、蓄積する。なお、ステップＳ２にて視線情報が取得不能であると判定された場合、判定されたタイミングにおける視線情報は取得、蓄積されない。

続いてステップＳ４において、システム制御部５０の被写体検出手段５０ａは、表示部２８に表示されている被写体の位置情報である被写体位置情報、検出された被写体数、検出された被写体種別、および検出された被写体サイズなどの被写体情報を取得する。また被写体検出手段５０ａは、被写体情報として、撮影された画像のレーティング情報を併せて取得する。このとき、レーティング情報は、撮像装置１がピント情報等から判定した値を取得しても良く、またはユーザが判定した手動の値を取得しても良い。なお、これらの被写体情報は、撮像装置１のパンニング動作などにより、シーンが変わるたびに更新されるとする。また、更新タイミングはシーン変更毎であっても構わない。また、連続撮影中であれば、１コマ毎に前コマで取得された被写体情報から更新されたか否かの情報により、変更が生じた場合のみであっても構わない。被写体情報を取得した後、ステップＳ５へ移行する。

続いてステップＳ５において、システム制御部５０のシーン判定取得手段５０ｂは、シーン判定情報として、表示部２８に表示されているシーンの撮影時のカメラ動作情報と表示部２８に表示された被写体動作情報とを取得する。撮影時のカメラ動作情報として取得する情報には、ジャイロセンサ等を用いて取得するパンニング情報、レンズの焦点距離やズーム位置などのレンズ情報、単写・連写などのシャッター設定、およびＴｖ、ＩＳＯなどのカメラ設定情報等がある。また、被写体動作情報として取得する情報には、被写体の表示部２８における面内移動速度ｖ_ｔ、移動ベクトルＶ_ｔ、過去複数点における移動軌跡情報Ｐ_ｔ等がある。カメラ動作情報および被写体動作情報を取得した後、ステップＳ６へ移行する。

続いてステップＳ６において、システム制御部５０は、ユーザによって視線確定操作が行われたか否かを判定する。ユーザによる視線確定操作が行われた場合、表示部２８への視線位置の表示を静止させて、算出手段５０ｃにて視線位置の補正を行うべく、ステップＳ７へ移行する。なお、表示部２８への視線位置の表示は継続したままでも良く、また表示方法を変更するとしても良い。一方、ユーザによる視線確定操作が行われていない場合、ステップＳ２へ戻り、新たな視線情報を取得する。

ステップＳ７において、システム制御部５０の算出手段５０ｃは、視線位置の補正値を算出する。ここで、図５（ａ）～（ｃ）を参照して、視線位置の補正値の算出（視線位置補正）について説明する。図５（ａ）～（ｃ）は、本実施形態における視線位置補正の説明図であり、算出手段５０ｄを使用した場合の表示部２８における様々なシーンを示している。ＥＰは、ユーザの視線位置を表示させた視線表示であり、このとき表示される表示部２８における視線位置座標は、（ｘ_ｅｙｅ，ｙ_ｅｙｅ）で表される。Ｔｒｇは検出被写体で、Ａｒｅａ＿ｄＴは、Ｔｒｇとされる範囲を表しており、Ｔｒｇ座標は（ｘ_ｔｒｇ，ｙ_ｔｒｇ）で表される。また、ＣＡＬ_ｅｙｅは、視線位置補正値を表しており、水平位置補正値と垂直位置補正値とに分けられ、以下の式（１）のように表現することができる。

図５（ａ）は、飛んでいる飛行機に対して、ユーザが視線位置を合わせて、視線確定した瞬間を表している。図５（ａ）では、視線位置座標（ｘ_ｅｙｅ，ｙ_ｅｙｅ）は、Ｔｒｇ座標（ｘ_ｔｒｇ，ｙ_ｔｒｇ）とは異なった位置に表示されている。このとき、ユーザは飛行機を認識したうえで視線確定したと考えられるため、この２つの座標の差が誤差量であると考えられる。そのため、この２つの座標の差から、視線情報、被写体情報、およびシーン判定情報を用いて、動的キャリブレーションを実施する。なお、被写体検出手段５０ａにより被写体が検出されない場合、Ｔｒｇ座標（ｘ_ｔｒｇ，ｙ_ｔｒｇ）が取得できないため、動的キャリブレーションは実施しないと判定される。

まず、視線情報として、ステップＳ２で取得した視線信頼性情報を用いる。視線信頼性情報に応じて、視線位置補正値算出時の視線ゲインＧａｉｎ_ｅｙｅの値（重みづけ）が変わる。視線信頼性情報が低い場合（Ｇａｉｎ_ｅｙｅ＜１）には、取得した視線位置座標（ｘ_ｅｙｅ，ｙ_ｅｙｅ）は何等かの理由で誤差が大きいと考えられるため、そのままの値としては、使用できない。一方、視線信頼性情報が高い場合（Ｇａｉｎ_ｅｙｅ＝１には、取得した視線位置座標（ｘ_ｅｙｅ，ｙ_ｅｙｅ）を使用することができる。

次に、被写体情報として、検出された被写体種別、被写体サイズ、およびレーティング結果によって、視線位置補正値算出時の被写体ゲインＧａｉｎ_Ｔｒｇの値（重みづけ）が変わる。被写体種別および被写体サイズから撮影が困難な被写体であると考えられる場合、Ｇａｉｎ_Ｔｒｇ＜１と被写体ゲインを変更する。一方、被写体種別および被写体サイズから撮影が容易な被写体であると考えられる場合、Ｇａｉｎ_Ｔｒｇ＝１と被写体ゲインを変更する。

最後に、シーン判定情報として、シーン判定ゲインＧａｉｎ_{Ｓｃｅｎｅ}があり、シーンの難易度に応じて値（重みづけ）が変わる。シーン判定情報として、ステップＳ５で取得されるカメラ動作情報および被写体移動情報に基づいてシーン難易度が高いと判定された場合、Ｇａｉｎ_{Ｓｃｅｎｅ}＜１とシーン判定ゲインを変更する。一方、ステップＳ５で取得されるカメラ動作情報および被写体移動情報に基づいてシーン難易度が低いと判定された場合、Ｇａｉｎ_{Ｓｃｅｎｅ}＝１とシーン判定ゲインを変更する。

これらのゲインから、視線位置補正値は、２点間距離（ΔＸ’，ΔＹ’）を用いて、以下の式（２ａ）～（２ｄ）により求められる。

同様に、図５（ｂ）では、視線信頼度が高く（Ｇａｉｎ_ｅｙｅ＝１）、被写体も静止被写体である。このため、容易（Ｇａｉｎ_Ｔｒｇ＝１）であり、シーン難易度も低い（Ｇａｉｎ_{Ｓｃｅｎｅ}＝１）ため、視線位置補正値ＣＡＬ_ｅｙｅは視線位置座標（ｘ_ｅｙｅ，ｙ_ｅｙｅ）とＴｒｇ座標（ｘ_ｔｒｇ，ｙ_ｔｒｇ）の座標の差そのままであると考えられる。

また、図５（ｃ）では、視線位置座標（ｘ_ｅｙｅ，ｙ_ｅｙｅ）における被写体（コーヒー）が被写体検出手段５０ａでは取得できない場合の例である。この場合、Ｔｒｇ座標（ｘ_ｔｒｇ，ｙ_ｔｒｇ）が取得できないため、動的キャリブレーションは実施しないと判定される。以上のように算出された視線位置補正値ＣＡＬ_ｅｙｅで視線位置を補正するため、ステップＳ８へ移行する。

ステップＳ８において、システム制御部５０は、ステップＳ７で算出された視線位置補正値ＣＡＬ_ｅｙｅで視線位置を補正する。視線位置補正値ＣＡＬ_ｅｙｅは、水平位置補正値および垂直位置補正値のそれぞれを含む。このため、各座標を視線位置補正値ＣＡＬ_ｅｙｅで補正して、視線補正位置座標を算出する。視線補正位置座標が算出された後、第１シャッタースイッチ（Ｓｗ１）６２のオンが検出されたか否かを判定するため、ステップＳ９へ移行する。

ステップＳ９において、Ｓｗ１のオンが検出されない（あるいはオフが検出された）場合、システム制御部５０はステップＳ１７へ移行する。ステップＳ１７において、システム制御部５０は、操作部７０に含まれるメインスイッチがオフされたか否かを判定する。一方、ステップＳ９にてＳｗ１のオンが検出された場合、システム制御部５０はステップＳ１０へ移行する。ステップＳ１０において、システム制御部５０は、合焦させる焦点検出領域の設定、および焦点検出を行う。ここでは、ステップＳ８にて補正された視線位置を用いて、焦点検出領域を設定する。ステップＳ３にて取得された視線位置は、ユーザが意図する被写体の位置に対して、様々な要因で、誤差を有するため、ステップＳ８で補正される視線位置を用いる。なお、ステップＳ８で補正されたとしても、誤差をなくすことは困難であるが、軽減させることは可能である。

ステップＳ１０において、システム制御部５０は、後述する処理が施された視線位置情報を用いて、焦点検出領域を設定する。その際に、視線位置と焦点検出領域の中心位置を揃えてもよいし、被写体検出手段５０ａなどによる焦点検出領域の候補が存在する場合には、視線位置に対して検出された被写体領域を紐づけることにより、最も近い被写体領域を焦点検出領域として選択してもよい。ステップＳ１０以降、視線位置情報を用いた焦点検出領域の設定と、焦点検出処理は、撮像を行うたびに、繰り返し実行される。ここで焦点検出処理について説明する。

設定された焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施形態では、システム制御部５０が焦点検出用の像信号の生成と、焦点検出用信号のずれ量（位相差）の算出と、算出したずれ量からデフォーカス量と方向を求める処理を実施するものとする。

設定した焦点検出領域から、焦点検出用の像信号として得られた第１焦点検出信号と第２焦点検出信号に、シェーディング補正、フィルター処理を行い、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。次に、フィルター処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。

フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。さらに、シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とすると、相関量ＣＯＲは式（３）により算出される。

シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ－ｓ１番目の第２焦点検出信号Ｂ（ｋ－ｓ１）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、各行毎に算出された相関量を、シフト量毎に、複数行に渡って加算しても良い。

次に、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。そして、算出した像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋ１をかけて、検出デフォーカス量を検出する。

続いてステップＳ１１において、システム制御部５０は、選択した焦点検出領域で検出されたデフォーカス量に基づき、レンズ駆動を行う。検出されたデフォーカス量が所定値より小さい場合、必ずしもレンズ駆動を行う必要はない。

続いてステップＳ１２において、システム制御部５０は、ステップＳ１にて行った検出・表示用の画像の取得とライブビュー表示、および、焦点検出処理を行う。ライブビュー表示には、前述の通り検出された被写体領域や視線位置の情報も重畳して表示する。ステップＳ１２にて行う処理は、ステップＳ１１のレンズ駆動中に、並列的に行ってもよい。また、随時更新されるライブビュー表示に合わせて、得られる視線位置に対応させて、焦点検出領域を変更してもよい。焦点検出処理を終えると、ステップＳ１３へ移行する。

ステップＳ１３において、システム制御部５０は、撮影開始指示を示す第２シャッタースイッチ６４（Ｓｗ２）のオン／オフを検出する。操作部７０の一つであるレリーズ（撮影トリガ）スイッチは、押し込み量に応じて、２段階のオン／オフを検出することが可能で、前述のＳｗ２は、レリーズ（撮影トリガ）スイッチの２段階目のオン／オフに相当する。システム制御部５０は、ステップＳ１３にてＳｗ２のオンが検出されない場合、ステップＳ９に戻り、Ｓｗ１のオン／オフを検出する。一方、ステップＳ１３にてＳｗ２のオンが検出されると、システム制御部５０は、ステップＳ１４へ移行する。

ステップＳ１４において、システム制御部５０は、画像記録を行うか否かを判定する。本実施形態では、連写中の画像取得を、記録画像用と撮像/表示、焦点検出用で、処理を切り替える。切り替えは、交互でもよいし、例えば、３回に１回撮像/表示、焦点検出を行うなどしてもよい。これにより、単位時間当たりの撮影枚数を、大幅に減らすことなく、高精度な焦点検出を行うができる。ステップＳ１４にて画像記録を行うと判定した場合、ステップＳ１５へ移行する。ステップＳ１５において、システム制御部５０は撮影処理を実行する。ステップＳ１５にて撮影サブルーチンが実行されると、ステップＳ１３に戻り、システム制御部５０は、Ｓｗ２のオンが検出されたか否か、すなわち連写指示がされているか否かを判定する。

ステップＳ１４にて画像記録を行わないと判定された場合、ステップＳ１６へ移行する。ステップＳ１６において、システム制御部５０は、連写中の撮像／表示、焦点検出処理を実行する。連写中の撮像／表示、焦点検出処理は、実行する処理の内容は、ステップＳ１２と同じである。違いは、連写の撮影コマ速、記録画像の生成処理などに応じて、ステップＳ１６で撮像した画像の表示期間、表示更新レート（間隔）、表示遅延が、ステップＳ１２の処理の場合と異なっている点である。この表示制御は、システム制御部５０により実行される。得られた視線位置情報は、上述の通り、焦点検出領域の設定や検出された被写体領域との紐づけなどに用いる。

ステップＳ１６で連写中の撮像／表示、焦点検出処理が実行されると、ステップＳ１３に戻り、システム制御部５０は、Ｓｗ２のオンが検出されたか否か、すなわち連写指示がされているか否かを判定する。ステップＳ９にてＳｗ１のオンが検出されない（あるいはオフが検出された）場合、ステップＳ１７にてメインスイッチのオフが検出されると、焦点検出および撮影動作を終了する。一方、ステップＳ１７にてメインスイッチのオフが検出されない場合、ステップＳ１に戻り、画像表示処理を行う。

以上のように、本実施形態において、制御装置（撮像装置１）は、画像を表示する表示手段（表示部２８）と、表示手段を観察するユーザの視線情報を取得する視線取得手段（視線入力操作部７０１）とを有する。また制御装置は、画像中の被写体情報を検出する被写体検出手段５０ａと、画像のシーン判定情報を取得するシーン判定取得手段５０ｂと、視線情報と被写体情報とシーン判定情報とに基づいて、視線位置の補正情報を算出する算出手段５０ｃとを有する。

好ましくは、算出手段は、信頼性情報（視線信頼性情報）に基づいて補正情報を算出する際の視線位置情報の重みづけ（ゲイン）を変更する。また好ましくは、被写体情報は、画像における被写体数、被写体種別、被写体サイズ、またはレーティング情報の少なくとも一つを含む。より好ましくは、算出手段は、被写体種別、被写体サイズ、またはレーティング情報の少なくとも一つに基づいて、補正情報を算出する際の被写体情報（被写体位置情報）の重みづけ（ゲイン）を変更する。また好ましくは、算出手段は、被写体検出手段が画像における所定範囲内に被写体数が少なくとも２以上存在することを示す被写体情報を取得した場合、補正情報を算出しない。また好ましくは、算出手段は、被写体検出手段が画像から被写体情報を取得できない場合、補正情報を算出しない。また好ましくは、算出手段は、ユーザが表示手段を観察していない場合、補正情報を初期化する。また好ましくは、シーン判定取得手段は、シーン判定情報に基づいて補正情報を算出する際の視線情報（視線位置情報）の重みづけ（ゲイン）を変更する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、視線検出を常に高精度に実施することが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することできる。なお本実施形態では、視線情報、被写体情報、シーン判定情報すべて用いて視線位置の動的キャリブレーション補正を実施しているが、これに限定されるものではなく、これらのうち少なくとも一つを用いて補正しても良い。また、ユーザのファインダへの接眼、離眼状態に応じて、キャリブレーションデータをリセットしても良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ 撮像装置（制御装置）
２８ 表示部（表示手段）
５０ａ 被写体検出手段
５０ｂ シーン判定取得手段
５０ｃ 算出手段
７０１ 視線入力操作部（視線取得手段）

Claims (16)

1. 画像を表示する表示手段と、
   前記表示手段を観察するユーザの視線情報を取得する視線取得手段と、
   前記画像における被写体情報を検出する被写体検出手段と、
   前記画像のシーン判定情報を取得するシーン判定取得手段と、
   前記視線情報と前記被写体情報と前記シーン判定情報とに基づいて、視線位置の補正情報を算出する算出手段と、を有することを特徴とする制御装置。
2. 前記補正情報は、水平位置補正値と垂直位置補正値とを含むことを特徴とする請求項１に記載の制御装置。
3. 前記視線情報を確定する視線確定手段を更に有することを特徴とする請求項１または２に記載の制御装置。
4. 前記視線情報は視線位置情報を含み、前記被写体情報は被写体位置情報を含むことを特徴とする請求項１乃至３のいずれか一項に記載の制御装置。
5. 前記視線情報は、前記視線位置情報の信頼性情報を含むことを特徴とする請求項４に記載の制御装置。
6. 前記算出手段は、前記信頼性情報に基づいて前記補正情報を算出する際の前記視線位置情報の重みづけを変更することを特徴とする請求項５に記載の制御装置。
7. 前記被写体情報は、前記画像における被写体数、被写体種別、被写体サイズ、またはレーティング情報の少なくとも一つを含むことを特徴とする請求項１乃至６のいずれか一項に記載の制御装置。
8. 前記算出手段は、前記被写体種別、前記被写体サイズ、または前記レーティング情報の少なくとも一つに基づいて、前記補正情報を算出する際の前記被写体情報の重みづけを変更することを特徴とする請求項７に記載の制御装置。
9. 前記算出手段は、前記被写体検出手段が前記画像における所定範囲内に前記被写体数が少なくとも２以上存在することを示す前記被写体情報を取得した場合、前記補正情報を算出しないことを特徴とする請求項７または８に記載の制御装置。
10. 前記算出手段は、前記被写体検出手段が前記画像から前記被写体情報を取得できない場合、前記補正情報を算出しないことを特徴とする請求項１乃至９のいずれか一項に記載の制御装置。
11. 前記シーン判定情報は、撮影時のカメラ動作情報と前記表示手段に表示された被写体動作情報とを含むことを特徴とする請求項１乃至１０のいずれか一項に記載の制御装置。
12. 前記算出手段は、ユーザが前記表示手段を観察していない場合、前記補正情報を初期化することを特徴とする請求項１乃至１１のいずれか一項に記載の制御装置。
13. 前記シーン判定取得手段は、前記シーン判定情報に基づいて前記補正情報を算出する際の前記視線情報の重みづけを変更することを特徴とする請求項１乃至１２のいずれか一項に記載の制御装置。
14. 撮像素子と、
    請求項１乃至１３のいずれか一項に記載の制御装置と、を有することを特徴とする撮像装置。
15. 表示手段に画像を表示するステップと、
    前記表示手段を観察するユーザの視線情報を取得するステップと、
    前記画像における被写体情報を検出するステップと、
    前記画像のシーン判定情報を取得するステップと、
    前記視線情報と前記被写体情報と前記シーン判定情報とに基づいて、視線位置の補正情報を算出するステップと、を有することを特徴とする制御方法。
16. 請求項１５に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images