JP2023006771A - 制御装置およびその制御方法 - Google Patents

Abstract

【課題】視線位置の表示において表示品位や利便性を向上させること。【解決手段】観察者が注視する位置に対応する情報を取得する取得手段と、当該位置に対応する指標を表示手段表示させるよう制御する制御手段と、を有し、前記制御手段は、前記位置の変化が第１の閾値よりも小さいことが第１の回数連続した場合には、前記指標の表示位置を変化させないよう構成した【選択図】図６

Description

本発明は、観察者の視線位置を検出し表示する技術に関する。

観察者の視線位置を検出する技術が知られている。特許文献１では、表示手段を覗いている観察者の視線位置を検出し、検出した観察者の視線位置を示す指標を表示手段に表示させることが開示されている。

特開２０２０‐１１９０９３号公報

特許文献１によれば、検出されている視線位置が視認できるためユーザの利便性を向上させることができる。観察者の視線位置情報をそのまま用いると、観察者の意図しない視線位置の変化が表示に反映されてしまい、表示品位や利便性が低下してしまう場合があった。

本発明は、視線位置の表示において表示品位や利便性を向上させることができる制御装置およびその制御方法を提供することを目的とする。

上記目的を達成するために、本発明は、観察者が注視する位置に対応する情報を取得する取得手段と、当該位置に対応する指標を表示手段表示させるよう制御する制御手段と、を有し、
前記制御手段は、前記位置の変化が第１の閾値よりも小さいことが第１の回数連続した場合には、前記指標の表示位置を変化させないよう構成したことを特徴とする。

本発明によれば、視線位置の表示において表示品位や利便性を向上させることができる。

第１の実施形態にかかる構成を示すブロック図 第２の実施形態にかかる撮像装置の画素の瞳面と光電変換部の対応関係を示す図 第２の実施形態にかかる撮像装置の画素の瞳面と開口部の対応関係を示す図 第１の実施形態にかかる視線入力操作部の構成の一例を示す図 第１の実施形態にかかる視線入力操作部の構成の別の例を示す図 第１の実施形態にかかる電子装置の視線検出処理方法及び、視線位置状態判定と判定結果について説明するメインフローチャート 第１の実施形態にかかる視線検出処理について説明するフローチャート 第１の実施形態にかかる視線状態判定処理について説明する図 第１の実施形態にかかる静止判定を説明する図 第１の実施形態にかかる視線確定操作を説明する図 第１の実施形態にかかる動作判定を説明する図 第２の実施形態にかかる焦点検出、視線検出及び撮影動作について説明するフローチャート 第２の実施形態にかかる撮影サブルーチンについて説明するフローチャート

＜第１の実施形態＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［電子装置の構成］
図１は、本発明の実施形態にかかる電子装置を含む撮像装置の構成を示すブロック図である。図１において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００側と通信を行う為の通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６、１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１０２の制御を行い、ＡＦ駆動回路３を介して、レンズ１０３の位置を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。撮像部２２から得られた信号は、撮像だけでなく、露出制御、焦点検出制御にも用いられる。撮像部２２には、１つのマイクロレンズに対して、光電変換部が分割された画素が設けられている。光電変換部を分割することにより入射瞳が分割され、それぞれの光電変換部から位相差検出信号を得ることができる。また、分割された光電変換部からの信号を加算することにより、撮像信号も得ることができる。

このような画素は、焦点検出画素と撮像画素を兼用できるというメリットがある。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示手段としての表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１９を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１９においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。なお、表示部２８は、不図示の接眼部を通して覗き込む電子ビューファインダを設けても、デジタルカメラ１００の背面にディスプレイを設けてもよい。また、電子ビューファインダと、背面のディスプレイの両方を設けてもよい。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。視線表示手段、視線状態判定手段、視線情報判定手段、被写体検出手段、視線取得可否判定手段は、このシステム制御部５０に含まれる。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１９、表示部２８等を制御することにより表示制御も行う。また、表示部２８は、ユーザーがのぞき込むＥＶＦと、タッチ操作等が可能でのぞき込まないＴＦＴ液晶等を有する。表示部２８のうち、ＥＶＦに設置されているアイセンサで、ユーザーが接眼しているか離眼しているかの情報によって表示部２８を制御する表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０は、システム制御部５０に各種の動作指示を入力するための操作部である。なお、視線取得手段、視線確定手段は、この操作部７０に含まれる。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、メニュー選択、モード選択、撮影した動画像の再生などを実施するための電子ボタンや十字キーなどが設けられている。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または優先ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルへの付加や、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。

［視線検出の構成］
本実施例では、操作部７０の１つとして、視線入力操作部７０１が設けられている。視線入力操作部７０１は、視線取得手段であり、ユーザーの視線が表示部２８のいずれの箇所を見ているかを検出するための操作部材である。図４は、視線入力操作部７０１の一例を示す。

図４では、特許文献１に開示されているファインダ視野内を覗くユーザーの眼球５０１ａの光軸の回転角を検出し、検出した回転角からユーザーの視線を検出する方式を実現する構成である。表示部２８には、レンズユニット１００を通して撮影されたライブビュー表示画像が表示されている。７０１ａはイメージセンサを、７０１ｂは受光レンズを、７０１ｃはダイクロイックミラーを、７０１ｄは接眼レンズを、７０１ｅは照明光源を示す。照明光源７０１ｅにより、眼球５０１ａに赤外光が投射される。眼球５０１ａを反射した赤外光は、ダイクロイックミラー７０１ｃに反射され、イメージセンサ７０１ａにより撮影される。撮影された眼球画像は、不図示のＡ／Ｄ変換器によりデジタル信号に変換され、システム制御部５０に送信される。視線取得手段としてのシステム制御部５０では、撮影された眼球画像から、瞳孔の領域などを抽出し、ユーザーの視線を算出する。

なお、視線入力操作部７０１は、この方式に限らず、ユーザーの両目を撮影し、視線を検出する方式でもよい。図５には、図４とは異なる視線入力操作部７０１の一例を示す。図５は、デジタルカメラ１００の背面に設けられている表示部２８に、レンズユニット１００を通して撮影されたライブビュー表示画像が表示されている。図５では、デジタルカメラ１００の背面に、表示部２８を観察しているユーザーの顔５００を撮影するカメラ７０１ｆが設けられている。図５において、カメラ７０１ｆが撮影する画角を点線で示している。不図示の照明光源７０１ｅからユーザーの顔に投光を行い、カメラ７０１ｆにより眼球画像を取得する。これにより、ユーザーの視線を算出する。なお、視線入力操作部７０１は、この方式に限らず、ユーザーが表示部２８のいずれの箇所を注視しているかを検出できる構成であればよい。

［視線検出処理］
以下、図６から図８を参照して、第１の実施例における視線検出処理方法及び、視線位置状態判定と判定結果に基づいた表示方法について説明する。

図６は、第１の本実施形態にかかる電子装置の視線検出処理方法及び、視線位置状態判定と判定結果について説明するメインフローチャートである。図６は、表示手段である表示部２８に表示された画像をユーザーが見ながら視線確定操作を行う場合の動作を示し、システム制御部５０が主体となって実現される。なお、本実施形態では、図１の撮像装置のブロック図を用いて説明するが、少なくともシステム制御部５０、表示部２８、操作部７０を有する電子装置においても同様の動作が可能である。

Ｓ１で、システム制御部５０は、画像データを、表示部２８に表示する。なお、表示用の画像は、例えば表示部２８の解像度に合わせた縮小画像である。画像表示中は所定のフレームレートでの表示が行われており、表示部２８を通じてユーザーは表示画像を確認することができる。

Ｓ２で、システム制御部５０は、視線取得可否判定手段により、視線情報が取得可能か否かを判定する。表示部２８のうち、ＥＶＦに設置されているアイセンサであれば、ユーザーが接眼しているか離眼しているかの情報によって視線情報が取得可能か否かを判定する。ＥＶＦをのぞき込んでいれば、アイセンサによりユーザーが接眼状態であるとわかり、視線取得手段である視線入力操作部７０１で、視線情報が取得可能であると判定される。一方、ＥＶＦをのぞき込んでいなければ、アイセンサによりユーザーが離眼しているとわかり、視線取得手段である視線入力操作部７０１では、視線情報が取得不能であると判定される。また表示部２８のうち、ＴＦＴ液晶においても視線入力操作部７０１で視線情報が取得可能か否かを判定する。

Ｓ３でシステム制御部５０は、Ｓ２で視線情報が取得可能であると判定されれば、視線検出を開始する。Ｓ４以降、視線入力操作部７０１により、ユーザーが、表示部２８上のどの位置を観察しているか（視線位置）を、ユーザーが観察していた表示画像と関連付けて、所定の時間間隔で取得し、蓄積してゆく。また、Ｓ２で視線情報が取得不能であると判定されれば、判定されたタイミングにおける視線情報は取得、蓄積しない。

Ｓ４で、Ｓ３において視線情報が取得、蓄積された回数が所定回数Ｎ以上であるか否かを判定する。所定回数Ｎは、後段のＳ５で実施される視線状態判定が可能な数で決まる。なお、このときＳ２において取得不能であると判定された場合には、取得、蓄積されないため、Ｓ４での所定回数Ｎにはカウントされない。Ｓ３において視線情報が取得、蓄積された回数が所定回数Ｎ以上であると判定された場合には、視線状態判定手段であるＳ５の視線状態判定が可能であるとして、Ｓ５へ移行する。また、Ｓ３において視線情報が取得、蓄積された回数が所定回数Ｎ未満であると判定された場合には、視線状態判定手段であるＳ５の視線状態判定が不能であるとして、Ｓ５をとばしてＳ６へ移行する。

Ｓ５で、システム制御部５０は、視線状態判定手段である視線状態判定を行う。詳しい処理は後述する。

Ｓ６で、Ｓ３もしくはＳ５で取得された視線位置情報を用いて、表示部２８に視線位置を表示させる。Ｓ４において視線蓄積回数が所定回数Ｎ以上であると判定された場合には、Ｓ５で取得された視線位置を用いる。また、Ｓ４において視線蓄積回数が所定回数Ｎ未満であると判定された場合には、Ｓ３で取得された視線位置を用いる。

Ｓ７で、ユーザーによって視線確定操作が行われたか否かを判定する。ユーザーによる視線確定操作が行われた場合には、表示部２８への視線位置の表示を静止させて、本視線位置の状態判定、表示処理フローを終了する。なお、表示部２８への視線位置の表示は継続したままでも良く、また表示方法を変更するとしても良い。また、ユーザーによる視線確定操作が行われていない場合には、視線取得可否判定手段により、視線情報が取得可能か否かを判定するＳ２へ移行して新たな視線情報を取得する。なお、Ｓ７で視線確定操作が行われた場合には、Ｓ３において視線情報が取得、蓄積された回数と、視線位置変化情報ΔＳ_ｊをリセットする。

［視線位置状態判定］
Ｓ５の視線状態判定について、図７の視線状態判定サブフロー図を用いて説明する。本サブフローの一連の動作もシステム制御部５０が主体となって実現される。

Ｓ５０１は、図６のＳ３で取得された視線位置情報Ｓ_ｉを用いて、視線位置変化情報ΔＳ_ｊを取得する。図６のＳ４で所定回数Ｎ以上であると判定されており、視線位置変化情報ΔＳ_ｊのうち、水平位置変化量に対応するΔＳ_ｊＨ、垂直位置変化量に対応するΔＳ_ｊＶ、２点間位置変化量に対応するΔＳ_ｊｒ
ΔＳ_ｊｒは、それぞれ下記の式（１）（２）（３）により算出される。
Ｓ_ｉ＝｛ｘ_ｉ， ｙ_ｉ｝
ΔＳ_ｊＨ＝ｘ_ｊ＋１－ｘ_ｊ （ｊ＝１～Ｎ－１） （１）
ΔＳ_ｊＶ＝ｙ_ｊ＋１－ｙ_ｊ （ｊ＝１～Ｎ－１） （２）

Ｓ５０２は、第１の判定回数ＪＮ_１と第１の閾値Ｔｈ_１を用いて、Ｓ５０１で取得した視線位置変化情報ΔＳ_ｊを判定する。なお、所定回数Ｎと判定回数ＪＮ_１の関係は、
Ｎ≧ＪＮ_１ （４）
上記式（４）の関係にある。なお、本実施形態では、ＪＮ_１を５回という固定値で説明するが、条件に応じて変更してもよい。Ｓ５０２では、Ｓ５０１で取得した視線位置変化情報ΔＳ_ｊが判定時刻を含み、過去連続して第１の判定回数ＪＮ_１回、第１の閾値Ｔｈ_１以下と判定されれば、表示部２８に表示される視線位置の表示を静止させる（動かさない）ためにＳ５０５へ移行する。また、Ｓ５０１で取得した視線位置変化情報ΔＳ_ｊが判定時刻を含み、過去の第１の判定回数ＪＮ_１回の間、１度でも第１の閾値Ｔｈ_１以上と判定されれば、第２の閾値で判定するため、Ｓ５０３へ移行する。

Ｓ５０３は、第２の判定回数ＪＮ_１と第２の閾値Ｔｈ_１を用いて、Ｓ５０１で取得した視線位置変化情報ΔＳ_ｊを判定する。なお、所定回数Ｎと判定回数ＪＮ_２の関係は、
Ｎ ≧ ＪＮ_２ （５）
上記式（５）の関係にある。なお、本実施形態では、ＪＮ_２を５回という固定値で説明するが、条件に応じて変更してもよい。Ｓ５０３では、Ｓ５０１で取得した視線位置変化情報ΔＳ_ｊが判定時刻を含み、過去連続して第２の判定回数ＪＮ_２回、第２の閾値Ｔｈ_２以上か否かを判定する。そうであると判定されれば、表示部２８に表示される視線位置の表示を動作させる（動かす）ための動き出し位置を算出するためにＳ５０４へ移行する。また、Ｓ５０１で取得した視線位置変化情報ΔＳ_ｊが判定時刻を含み、過去の第２の判定回数ＪＮ_２回の間、１度でも第２の閾値Ｔｈ_２以下と判定されれば、それまでの表示から変更させない。このため、Ｓ３で取得した視線位置情報Ｓ_ｉを用いて、表示部２８に表示させる視線表示位置を決定するために、Ｓ５０６へ移行する。

Ｓ５０４は、Ｓ５０３で第２の閾値Ｔｈ_２以上であると判定された場合に行われる。視線表示の動作位置を算出して、Ｓ５０６へ移行する。

Ｓ５０５は、Ｓ５０２で第１の閾値Ｔｈ_１以下であると判定された場合に行われる。視線表示の静止位置を算出して、Ｓ５０６へ移行する。そして、一連のフローが完了したのち、図６のメインフローＳ６へ移行する。

Ｓ５０６では、視線表示位置を決定する。

［表示位置を固定するか否かの判定と、表示位置の算出］
ここで、Ｓ５０２で行う視線位置の表示を静止するための判定方法と表示の固定位置算出について、図８、図９を用いて説明する。図８は、撮影された動画または撮影中の動画が表示部２８に表示されており、ユーザーは視線で特定の被写体に視線確定操作を行う一例を示しており、第１の判定回数ＪＮ_１と第１の閾値Ｔｈ_１を用いた視線情報表示の表示不動方法を説明する。図８は、左から時刻ｔ_１（図８（ａ））、ｔ_２（図８（ｂ））、ｔ_３（図８（ｃ））の瞬間に表示部２８に表示される画像を抜粋して表している。Ｓｍは視線情報表示、Ｔｒｇはユーザーが視線で追っている被写体を表している。

図８（ａ）は、自転車に乗った被写体Ｔｒｇが画面左から移動してきた瞬間である。また、ユーザーは被写体Ｔｒｇを認識して、視線を合わせようと始めている様子を表している。この瞬間はまだ被写体Ｔｒｇに視線情報表示Ｓｍが一致しておらず、かつ視線情報表示Ｓｍが破線表現した通りばらついている。

図８（ｂ）は、被写体Ｔｒｇが停止に向けて自転車のスピードを緩めている瞬間である。また、図８（ａ）の時刻ｔ_１から時間が過ぎて時刻ｔ_２における被写体Ｔｒｇと視線情報表示Ｓｍを表している。この瞬間では被写体Ｔｒｇに視線情報表示Ｓｍが略一致し始めているが、視線情報表示Ｓｍは破線表現した通りばらついている。

図８（ｃ）は、被写体Ｔｒｇが自転車を停止させて立っている瞬間である。また、図８（ｂ）の時刻ｔ_２から時間が過ぎて時刻ｔ_３における被写体Ｔｒｇと視線情報表示Ｓｍを表している。この瞬間では被写体Ｔｒｇに視線情報表示Ｓｍが一致しており、かつ視線情報表示Ｓｍは、第１の判定回数ＪＮ_１と第１の閾値Ｔｈ_１を用いることで視線情報表示は不動表示されている。次に図８の一連の流れを、図９の視線位置変化情報ΔＳ_ｊと、第１の判定回数ＪＮ_１と第１の閾値Ｔｈ_１を用いて説明する。図９は、第１の判定回数ＪＮ_１と第１の閾値Ｔｈ_１を用いた静止判定を説明している。なお、図９では第１の判定回数ＪＮ_１を５回としているが、この数に限られず、ユーザーの視線特性や表示部２８の閲覧状態、ユーザーによるマニュアル操作によって変更しても良い。

図９（ａ）は、時刻ｔにおける視線位置変化情報ΔＳ_ｊのうち、水平位置変化量に対応するΔＳ_ｊＨを表している。水平に引かれた２本の実線は、第１の閾値Ｔｈ_１のうち、水平位置変化量に対応する閾値Ｔｈ_１Ｈを表している。また、グレーのハッチがかかっている部分は、第１の判定回数ＪＮ_１のうち、水平位置変化量に対応する判定回数ＪＮ_１Ｈを表している。

図９（ｂ）は、時刻ｔにおける視線位置変化情報ΔＳ_ｊのうち、垂直位置変化量に対応するΔＳ_ｊＶを表している。水平に引かれた２本の実線は、第１の閾値Ｔｈ_１のうち、垂直位置変化量に対応する閾値Ｔｈ_１Ｖを表している。また、グレーのハッチがかかっている部分は、第１の判定回数ＪＮ_１のうち、水平位置変化量に対応する判定回数ＪＮ_１Ｖを表している。

図９（ｃ）は、時刻ｔにおける視線位置変化情報ΔＳ_ｊのうち、２点間位置変化量に対応するΔＳ_ｊｒを表している。水平に引かれた２本の実線は、第１の閾値Ｔｈ_１のうち、２点間位置変化量に対応する閾値Ｔｈ_１ｒを表している。また、グレーのハッチがかかっている部分は、第１の判定回数ＪＮ_１のうち、２点間位置変化量に対応する判定回数ＪＮ_１ｒを表している。

図９（ａ）は、水平位置変化量に対する視線位置変化情報ΔＳ_ｊＨで視線情報表示の静止判定を行う場合の説明である。時刻ｔ_１から時刻ｔ_２における水平位置変化量に対する視線位置変化情報ΔＳ_ｊＨは、徐々に減少しているがまだ水平位置変化量に対応する閾値Ｔｈ_１Ｈを上回っている状態である。その後、時刻ｔ_２から時刻ｔ_３における水平位置変化量に対する視線位置変化情報ΔＳ_ｊＨは、水平位置変化量に対応する閾値Ｔｈ_１Ｈ以内を推移し、時間がたつにつれて収束している状態である。この時、時刻ｔ_２から水平位置変化量に対応する閾値Ｔｈ_１Ｈ以内であるため、カウントアップしてゆく。そして、本実施形態では水平位置変化量に対応する判定回数ＪＮ_１Ｈを５回として説明するため、５回目となる時刻ｔ_３から表示部２８における視線情報表示を固定値として静止表示させるように変更する。固定値は、表示の固定位置は水平位置変化量に対応する判定回数ＪＮ_１Ｈの平均値とする。なお、固定値として、水平位置変化量に対応する判定回数ＪＮ_１Ｈの最後の値としても良い。

図９（ｂ）は、垂直位置変化量に対する視線位置変化情報ΔＳ_ｊＶで視線情報表示の静止判定を行う場合の説明である。時刻ｔ_１から時刻ｔ_２における垂直位置変化量に対する視線位置変化情報ΔＳ_ｊＶは、徐々に減少しているがまだ垂直位置変化量に対応する閾値Ｔｈ_１Ｖを下回っている状態である。その後、時刻ｔ_２から時刻ｔ_３における垂直位置変化量に対する視線位置変化情報ΔＳ_ｊＶは、垂直位置変化量に対応する閾値Ｔｈ_１Ｖ以内を推移し、時間がたつにつれて収束している状態である。この時、時刻ｔ_２から垂直位置変化量に対応する閾値Ｔｈ_１Ｖ以内であるため、カウントアップしてゆく。そして、本実施形態では垂直位置変化量に対応する判定回数ＪＮ_１Ｖを５回として説明するため、５回目となる時刻ｔ_３から表示部２８における視線情報表示を固定値として静止表示させるように変更する。固定値は、表示の固定位置は垂直位置変化量に対応する判定回数ＪＮ_１Ｖの平均値とする。なお、固定値として、垂直位置変化量に対応する判定回数ＪＮ_１Ｖの最後の値としても良い。

図９（ｃ）は、２点間位置変化量に対する視線位置変化情報ΔＳ_ｊｒで視線情報表示の静止判定を行う場合の説明である。前述したΔＳ_ｊＨやΔＳ_ｊＶとは異なり、ΔＳ_ｊｒは正の値をとるため、２点間位置変化量に対応する閾値Ｔｈ_１ｒは正の値のみとなる。時刻ｔ_１から時刻ｔ_２における２点間位置変化量に対する視線位置変化情報ΔＳ_ｊｒは、徐々に減少しているがまだ２点間位置変化量に対応する閾値Ｔｈ_１ｒを上回っている状態である。その後、時刻ｔ_２から時刻ｔ_３における２点間位置変化量に対する視線位置変化情報ΔＳ_ｊｒは、２点間位置変化量に対応する閾値Ｔｈ_１ｒ以内を推移し、時間がたつにつれて収束している状態である。この時、時刻ｔ_２から２点間位置変化量に対応する閾値Ｔｈ_１ｒ以内であるため、カウントアップしてゆく。そして、本実施形態では２点間位置変化量に対応する判定回数ＪＮ_１ｒを５回として説明するため、５回目となる時刻ｔ_３から表示部２８における視線情報表示を固定値として静止表示させるように変更する。固定値は、表示の固定位置は２点間位置変化量に対応する判定回数ＪＮ_１ｒの平均位置とする。なお、固定値として、２点間位置変化量に対応する判定回数ＪＮ_１ｒの最後の値から決まる位置としても良い。

以上のように視線情報の変化に応じて視線情報表示を静止表示させることで、表示品位や利便性を向上させる電子装置を提供することが可能である。

［表示位置を変化させるか否かの判定と、表示位置の算出］
ここで、Ｓ５０３で行う視線位置の表示を静止するための判定方法と表示の固定位置算出について、図１０、図１１を用いて説明する。図１０は、撮影された動画または撮影中の動画が表示部２８に表示されており、ユーザーは視線で特定の被写体に視線確定操作を行う一例を示しており、第２の判定回数ＪＮ_２と第２の閾値Ｔｈ_２を用いた視線情報表示の表示不動方法を説明する。図１０は、左から時刻ｔ_１’（図１０（ａ））、ｔ_２’（図１０（ｂ））、ｔ_３’（図１０（ｃ））の瞬間に表示部２８に表示される画像を抜粋して表している。Ｓｍは図８同様に視線情報表示を示しており、Ｔｒｇ’はユーザーが視線で追っている、図８とは異なる被写体を表している。

図１０（ａ）は、被写体である自動車Ｔｒｇ’が画面左から動き出そうとしている瞬間である。また、ユーザーは自動車Ｔｒｇ’を認識し続けており、視線が合っている様子を表している。この瞬間は自動車Ｔｒｇ’に視線情報表示Ｓｍが一致しており、前述したＳ５０２の処理により、視線情報表示Ｓｍが静止している。なお、Ｓ５０２の処理が実行される前であれば視線情報表示Ｓｍが動作している場合もありうる。

図１０（ｂ）は、被写体Ｔｒｇ’が動き始めてスピードをあげている瞬間である。また、図１０（ａ）の時刻ｔ_１’から時間が過ぎて時刻ｔ_２’における被写体Ｔｒｇ’と視線情報表示Ｓｍを表している。この瞬間では被写体Ｔｒｇ’から視線情報表示Ｓｍが乖離し始めておりるが、視線情報表示Ｓｍは前述したＳ５０２の処理により、静止している。なお、Ｓ５０２の処理が実行される前であれば視線情報表示Ｓｍが動作している場合もありうる。

図１０（ｃ）は、被写体Ｔｒｇ’である自動車が停止している瞬間である。また、図１０（ｂ）の時刻ｔ_２’から時間が過ぎて時刻ｔ_３’における被写体Ｔｒｇ’と視線情報表示Ｓｍを表している。この瞬間では被写体Ｔｒｇ’に視線情報表示Ｓｍが一致しており、かつ視線情報表示Ｓｍは、第２の判定回数ＪＮ_２と第２の閾値Ｔｈ_２を用いることで視線情報表示は動作表示されており、破線で示したようにバラつきて表示されている。

次に図１０の一連の流れを、図１１の視線位置変化情報ΔＳ_ｊと、第２の判定回数ＪＮ_２と第２の閾値Ｔｈ_１を用いて説明する。図１１は、第２の判定回数ＪＮ_２と本発明の第２の閾値Ｔｈ_２を用いた静止判定を説明している。なお、図１１では第２の判定回数ＪＮ_２を５回としているが、この数に限られず、ユーザーの視線特性や表示部２８の閲覧状態、ユーザーによるマニュアル操作によって変更しても良い。

図１１（ａ）は、時刻ｔ’における視線位置変化情報ΔＳ_ｊのうち、水平位置変化量に対応するΔＳ_ｊＨを表している。水平に引かれた２本の実線は、第２の閾値Ｔｈ_２のうち、水平位置変化量に対応する閾値Ｔｈ_２Ｈを表している。また、グレーのハッチがかかっている部分は、第２の判定回数ＪＮ_２のうち、水平位置変化量に対応する判定回数ＪＮ_２Ｈを表している。

図１１（ｂ）は、時刻ｔ’における視線位置変化情報ΔＳ_ｊのうち、垂直位置変化量に対応するΔＳ_ｊＶを表している。水平に引かれた２本の実線は、第２の閾値Ｔｈ_２のうち、垂直位置変化量に対応する閾値Ｔｈ_２Ｖを表している。また、グレーのハッチがかかっている部分は、第２の判定回数ＪＮ_２のうち、水平位置変化量に対応する判定回数ＪＮ_２Ｖを表している。

図１１（ｃ）は、時刻ｔ’における視線位置変化情報ΔＳ_ｊのうち、２点間位置変化量に対応するΔＳ_ｊｒを表している。水平に引かれた２本の実線は、第２の閾値Ｔｈ_２のうち、２点間位置変化量に対応する閾値Ｔｈ_２ｒを表している。また、グレーのハッチがかかっている部分は、第２の判定回数ＪＮ_２のうち、２点間位置変化量に対応する判定回数ＪＮ_２ｒを表している。

図１１（ａ）は、水平位置変化量に対する視線位置変化情報ΔＳ_ｊＨで視線情報表示の静止判定を行う場合の説明である。時刻ｔ_１’から時刻ｔ_２’における水平位置変化量に対する視線位置変化情報ΔＳ_ｊＨは、徐々に増加しており、水平位置変化量に対応する閾値Ｔｈ_１Ｈを上回ろうとしている状態である。その後、時刻ｔ_２’から時刻ｔ_３’における水平位置変化量に対する視線位置変化情報ΔＳ_ｊＨは、水平位置変化量に対応する閾値Ｔｈ_２Ｈ以内を推移し、時間がたつにつれて被写体Ｔｒｇ’にあわせて移動している状態である。この時、時刻ｔ_２’から水平位置変化量に対応する閾値Ｔｈ_２Ｈ以内であるため、カウントアップしてゆく。そして、本実施形態では水平位置変化量に対応する判定回数ＪＮ_２Ｈを５回として説明するため、５回目となる時刻ｔ_３’から表示部２８における視線情報表示を動作表示させるように変更する。表示させるための値は、表示の固定位置は水平位置変化量に対応する判定回数ＪＮ_２Ｈの平均値とする。なお、固定値として、水平位置変化量に対応する判定回数ＪＮ_２Ｈの最後の値としても良い。また水平位置変化量に対する視線位置変化情報ΔＳ_ｊＨは、水平位置変化量に対応する閾値Ｔｈ_２Ｈ以内を推移していたとしても、水平位置変化量に対応する判定回数ＪＮ_２Ｈ連続で同方向に常に移動していた場合には、次のようにしても良い。すなわち、視線情報表示を動作表示させるように変更しても良い。

図１１（ｂ）は、垂直位置変化量に対する視線位置変化情報ΔＳ_ｊＶで視線情報表示の静止判定を行う場合の説明である。時刻ｔ_１’から時刻ｔ_２’における垂直位置変化量に対する視線位置変化情報ΔＳ_ｊＶは、概ね一定の値をとっており、常に垂直位置変化量に対応する閾値Ｔｈ_２Ｖを下回っている状態である。この時、時刻ｔ_２’から垂直位置変化量に対応する閾値Ｔｈ_２Ｖ以内であるため、カウントアップされない。そのため、垂直位置変化量に対する視線位置変化情報ΔＳ_ｊＶでは、時刻ｔ_３’においても表示部２８における視線情報表示を固定値として静止表示させたままと判定される。

図１１（ｃ）は、２点間位置変化量に対する視線位置変化情報ΔＳ_ｊｒで視線情報表示の静止判定を行う場合の説明である。前述したΔＳ_ｊＨやΔＳ_ｊＶとは異なり、ΔＳ_ｊｒは正の値をとるため、２点間位置変化量に対応する閾値Ｔｈ_２ｒは正の値のみとなる。時刻ｔ_１’から時刻ｔ_２’における２点間位置変化量に対する視線位置変化情報ΔＳ_ｊｒは、徐々に増加しているがまだ２点間位置変化量に対応する閾値Ｔｈ_２ｒを下回っている状態である。その後、時刻ｔ_２’から時刻ｔ_３’における２点間位置変化量に対する視線位置変化情報ΔＳ_ｊｒは、２点間位置変化量に対応する閾値Ｔｈ_２ｒ以内を推移し、時間がたつにつれて変化している状態である。この時、時刻ｔ_２’から２点間位置変化量に対応する閾値Ｔｈ_２ｒ以上であるため、カウントアップしてゆく。そして、本実施形態では２点間位置変化量に対応する判定回数ＪＮ_２ｒを５回として説明するため、５回目となる時刻ｔ_３’から表示部２８における視線情報表示を動作表示させるように変更する。表示させる値は、表示の固定位置は２点間位置変化量に対応する判定回数ＪＮ_２ｒの平均位置とする。なお、固定値として、２点間位置変化量に対応する判定回数ＪＮ_２ｒの最後の値から決まる位置としても良い。

以上のように視線情報の変化に応じて視線情報表示を動作表示させることで、表示品位や利便性を向上させる電子装置を提供することが可能である。

また、図１０、図１１では、視線位置変化量ΔＳ_ｊを用いた判定を説明したが、さらに視線位置が変化した方向が所定範囲内であるか否かに応じて、静止、動作判定しても良い。例えば、所定範囲として、±４５度等を選択することができる。これにより、視線がバラつきながら変化している様子を判定することができる。

以上のように、視線位置変化量に応じて、視線位置の表示を静止もしくは動作させることで、表示品位や利便性を向上させる電子装置を提供することが可能である。本実施形態では、静止判定、動作判定を視線位置変化量に応じて判定する方法について記述したが、視線位置情報の変化角度範囲やベクトル情報等を用いて判定しても良い。また、視線位置情報だけでなく、電子装置のジャイロ情報などの情報を用いて判定しても良い。

また、本実施形態では水平位置、垂直位置、２点間位置でもちいる第１の閾値Ｔｈ_１の値を同一で説明したが、別の値に変更することが可能であり、さらに、それぞれ別の値に変更しても良い。

＜第２の実施形態＞
次に第２の実施形態について図１２、図１３を用いて説明する。本実施形態では、焦点検出装置と組み合わせた場合の視線位置表示方法について説明する。

［焦点検出動作の説明］
図２は、本実施形態にかかる画素の構成と、瞳面と光電変換部の対応関係を示している。２０１が光電変換部を、２５３が瞳面を、２５１がマイクロレンズを、２５２がカラーフィルタをそれぞれ示している。図２には、光電変換部２０１ａ（第１焦点検出画素）と、光電変換部２０１ｂ（第２焦点検出画素）の２つの光電変換部２０１が設けられている。光電変換部２０１ａにおいて、２５３ａで示した瞳面を通過した光が光電変換部２０１ａに入射する。また、光電変換部２０１ｂにおいて、２５３ｂで示した瞳面を通過した光が光電変換部２０１ｂに入射する。これにより、光電変換部２０１ａと、光電変換部２０１ｂから得られた信号から焦点検出が行える。また、光電変換部２０１ａと、光電変換部２０１ｂから得られた信号を加算することにより、撮像信号を生成することができる。

本実施例では、図２に示した画素を、撮像部２２の全画面領域に設けることにより、画面上に写るいずれの被写体に対しても、位相差検出により焦点を合わせることが可能となる。

なお、本実施例では、上記の焦点検出方式で説明を行うが、焦点検出方式はこの場合に限らない。例えば、撮像部２２に、後述の図３に示す焦点検出専用画素を設けて焦点検出を行ってもよい。また、撮像部２２には、焦点検出用の画素を設けず、撮像用の画素のみを設け、コントラスト方式で焦点検出を行ってもよい。

図３は、焦点検出専用画素の構成と、瞳面と光電変換部の対応関係を示している。図３は、図２と異なり、焦点検出専用の画素である。瞳面２５３の形状は、開口部２５４により決定される。また、瞳面２５３を通過した光のみを検出するため、対となる画素、図３において不図示の右側の瞳面からの光を検出する画素、を別途設けて焦点検出信号を取得する必要がある。撮像部２２に、図３に示す焦点検出画素と、撮像画素を全画面領域に設けることにより、画面上に写るいずれの被写体に対しても、位相差検出により焦点を合わせることが可能となる。

上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。

顔検出機能について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。

その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ５２に記憶する。顔検出機能の実現方法は、上述の方法に限らず、公知の機械学習を用いた方法により、同様に、顔の数、サイズ、パーツなどを検出してもよい。また、被写体の種別として、人物の顔に限らず、動物や乗り物などを検出してもよい。

以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。

なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。

次に、図１２を用いて第２の実施形態にかかる電子装置の視線検出処理方法及び、視線位置状態判定と判定結果について説明する。図１２は、本実施形態の電子装置の焦点検出、視線検出及び撮影動作を説明するためのフローチャートである。図１２は、撮影スタンバイ状態などのライブビュー状態（動画撮影状態）から撮影を行うライブビュー撮影時の動作を示し、システム制御部５０が主体となって実現される。

Ｓ１１では、システム制御部５０の制御に従い、撮像部２２を駆動し、撮像データを取得する。取得する撮像データは、後述する記録用ではなく、検出・表示用の画像であるため、記録画像に対してサイズの小さい画像を取得する。Ｓ１１では、焦点検出や被写体検出、もしくは、ライブビュー表示を行うために十分な解像度を有する画像を取得する。ここでは、ライブビュー表示用の動画撮影のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッターを用いた撮影を行う。ここで行うライブビュー表示は、撮影者が撮影範囲や撮影条件の確認を行うためのもので、例えば、３０フレーム／秒（撮影間隔３３．３ｍｓ）や６０フレーム／秒（撮影間隔１６．６ｍｓ）であってよい。

Ｓ１２で、システム制御部５０は、Ｓ１１で得られた撮像データのうち、焦点検出領域に含まれる第１焦点検出画素と第２焦点検出画素から得られる焦点検出データを取得する。また、システム制御部５０は、第１焦点検出画素と第２焦点検出画素の出力信号を加算し撮像信号を生成し、画像処理部２４で色補間処理などを適用して得られる画像データを取得する。このように、１回の撮影により、画像データと、焦点検出データとを取得することができる。なお、撮像画素と、第１焦点検出画素、第２焦点検出画素を個別の画素構成とした場合には、焦点検出用画素の補完処理などを行って画像データを取得する。

Ｓ１３でシステム制御部５０は、Ｓ１２で得られた画像データをもとに、画像処理部２４を用いてライブビュー表示用の画像を生成し、表示部２８に表示する。なお、ライブビュー表示用の画像は、例えば表示部２８の解像度に合わせた縮小画像であり、Ｓ１２で画像データを生成する際に画像処理部２４で縮小処理を実施することもできる。この場合、システム制御部５０はＳ１２で取得した画像データを表示部２８に表示させる。上述の通り、ライブビュー表示中は所定のフレームレートでの撮影と表示が行われるため、表示部２８を通じて撮影者は撮影時の構図や露出条件の調整などを行うことができる。 また、上述の通り、本実施形態では、被写体として人物の顔や動物などを検出することが可能である。Ｓ１３で、ライブビュー表示の開始に合わせて、検出している被写体の領域を示す枠などの表示も行う。なお、第１の実施形態のメインフローＳ１のように、ライブビュー画像ではなく、取得済みの画像を表示させても良い。

以降、Ｓ１４からＳ１９は第１の実施形態のＳ２からＳ７と同一であるため、説明を割愛する。

Ｓ２０でＳｗ１のオンが検出されない（あるいはオフが検出された）場合、システム制御部５０は処理をＳ２８に進め、操作部７０に含まれるメインスイッチがオフされたか否かを判別する。一方、Ｓ２０でＳｗ１のオンが検出されると、システム制御部５０は処理をＳ２１に進め、合焦させる焦点検出領域の設定、および焦点検出を行う。ここでは、Ｓ１８で検出を開始した視線位置を用いて、焦点検出領域を設定する。Ｓ１８で検出される視線位置は、撮影者が意図する被写体の位置に対して、様々な要因で、誤差を有する。

Ｓ２１では、後述する処理が施された視線位置情報を用いて、焦点検出領域を設定する。その際に、視線位置と焦点検出領域の中心位置を揃えてもよい。また、被写体検出手段など他の手段による焦点検出領域の候補が存在する場合には、視線位置に対して検出された被写体領域を紐づけることにより、最も近い被写体領域を焦点検出領域として選択してもよい。Ｓ２１以降、視線位置情報を用いた焦点検出領域の設定と、焦点検出処理は、撮像を行うたびに、繰り返し実行される。ここで焦点検出処理について説明する。

設定された焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施形態では、システム制御部５０が焦点検出用の像信号の生成と、焦点検出用信号のずれ量（位相差）の算出と、算出したずれ量からデフォーカス量と方向を求める処理を実施するものとする。

設定した焦点検出領域から、焦点検出用の像信号として得られた第１焦点検出信号と第２焦点検出信号に、シェーディング補正、フィルター処理を行い、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。次に、フィルター処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。

フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。さらに、シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とすると、相関量ＣＯＲは式（６）により算出される。

シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ－ｓ１番目の第２焦点検出信号Ｂ（ｋ－ｓ１）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、各行毎に算出された相関量を、シフト量毎に、複数行に渡って加算しても良い。

次に、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。そして、算出した像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋ１をかけて、検出デフォーカス量を検出する。

Ｓ２２でシステム制御部５０は、選択した焦点検出領域で検出されたデフォーカス量に基づき、レンズ駆動を行う。検出されたデフォーカス量が所定値より小さい場合には、必ずしもレンズ駆動を行う必要はない。

Ｓ２３で、Ｓ１で行った検出・表示用の画像の取得とライブビュー表示、および、Ｓ６で行った焦点検出処理を行う。ライブビュー表示には、上述の通り検出された被写体領域や視線位置の情報も重畳して表示する。Ｓ２３で行う処理は、Ｓ２２のレンズ駆動中に、並列的に行ってもよい。また、随時更新されるライブビュー表示に合わせて、得られる視線位置に対応させて、焦点検出領域を変更してもよい。焦点検出処理を終えるとＳ２４に進み、システム制御部５０は撮影開始指示を示す第２シャッタースイッチ６４（Ｓｗ２）のオン／オフを検出する。操作部７０の一つであるレリーズ（撮影トリガ）スイッチは、押し込み量に応じて、２段階のオン／オフを検出することが可能で、上述のＳｗ２は、レリーズ（撮影トリガ）スイッチの２段階目のオン／オフに相当する。システム制御部５０は、Ｓ２４でＳｗ２のオンが検出されない場合、Ｓ２０に戻り、Ｓｗ１のオン／オフを検出する。

また、Ｓ１で取得された検出用の画像から、被写体検出を行い、検出被写体位置や範囲の情報を取得する。本実施形態では、取得された検出被写体情報と、Ｓ１８で得られた視線位置情報を用いて視線位置情報を変更する。取得された検出被写体情報と視線位置情報とを比較して、検出被写体範囲内に視線位置が第１の判定回数だけ含まれる場合には、前述した静止判定を実施して、表示部２８における視線情報表示を静止表示させる。なお、検出被写体範囲内ではなくとも、例えば検出被写体範囲近傍の範囲を判定範囲として設定しても良い。また、視線情報表示を静止表示させる代わりに、非表示にしても良い。

また、本実施形態では、設定されているＡＦモードに応じて所定回数Ｎや第１の判定回数ＪＮ_１、第２の判定回数ＪＮ_２を変更できる。ＡＦモードとして、Ｓ２０のＳｗ１検出があった際に、前述したＡＦ制御を１度だけ実施するワンショットＡＦや、Ｓｗ１検出が継続されている間、ＡＦ制御を実施し続けるサーボＡＦがある。まず、ワンショットＡＦが設定されている場合には、例えば、構図が決まっており、低速から静止被写体を撮影する際に使用されることが多いと考えられる。そのため、第１の判定回数、第２の判定回数はサーボＡＦが設定されている場合に比べて、多く設定され、第１の閾値、第２の閾値は大きな値が設定される。これによって、被写体に対する視線位置表示の微調整を行うことができ、良好な視線表示が可能である。

一方、サーボＡＦモードが設定されている場合には、例えば、フレーミング操作が必要な中速から高速な被写体を撮影される際に使用されることが多いと考えられる。そのため、第１の判定回数、第２の判定回数はワンショットＡＦが設定されている場合に比べて、少なく設定され、第１の閾値、第２の閾値は小さな値が設定される。これにより、とっさの動作表示も実施されるため、動きの速い被写体であっても良好な視線表示を行うことが可能である。

なお、上記のようなＡＦモードに応じた設定変更ではなく、ユーザー自身が自由に第１の判定回数、第２の判定回数や、第１の閾値、第２の閾値を設定しても良い。

Ｓ２４でＳｗ２のオンが検出されるとシステム制御部５０は処理をＳ２５に進め、画像記録を行うか否かを判定する。本実施形態では、連写中の画像取得を、記録画像用と撮像／表示、焦点検出用で、処理を切り替える。切り替えは、交互でもよいし、例えば、３回に１回撮像／表示、焦点検出を行うなどしてもよい。これにより、単位時間当たりの撮影枚数を、大幅に減らすことなく、高精度な焦点検出を行うができる。

Ｓ２５で画像記録を行うと判定した場合には、Ｓ２６に進み、撮影サブルーチンを実行する。撮影サブルーチンの詳細については後述する。Ｓ２６で撮影サブルーチンが実行されるとＳ２４に戻り、Ｓｗ２のオンが検出される、すなわち連写指示がされているか否かを判断する。

Ｓ２５で撮像／表示、焦点検出を行うと判定した場合には、Ｓ２７に進み、連写中の撮像／表示、焦点検出処理を実行する。連写中の撮像／表示、焦点検出処理は、実行する処理の内容は、Ｓ２３と同じである。違いは、連写の撮影コマ速、記録画像の生成処理などに応じて、Ｓ２７で撮像した画像の表示期間、表示更新レート（間隔）、表示遅延が、Ｓ２３の処理の場合と異なっている点である。表示手段としてのシステム制御部５０が、これらの表示制御を行う。得られた視線位置情報は、上述の通り、焦点検出領域の設定や検出された被写体領域との紐づけなどに用いる。詳細は後述する。Ｓ２７で連写中の撮像／表示、焦点検出処理が実行されるとＳ２４に戻り、Ｓｗ２のオンが検出される、すなわち連写指示がされているか否かを判断する。Ｓ２０でＳｗ１のオンが検出されず（あるいはオフが検出された）、Ｓ２８で、メインスイッチのオフが検出されると、焦点検出及び撮影動作を終了する。一方で、Ｓ２８でメインスイッチのオフが検出されない場合には、Ｓ１２に戻り、画像データ、焦点検出データの取得を行う。

次に、図１３に示すフローチャートを用いて、図１２のＳ２６で実行する撮影サブルーチンの詳細について説明する。本サブルーチンの一連の動作も、システム制御部５０が主体となって実現される。

Ｓ２６０１でシステム制御部５０は、露出制御処理を実行し、撮影条件（シャッタ速度、絞り値、撮影感度）を決定する。この露出制御処理は、システム制御部５０が画像データの輝度情報に基づいて行うことができるが、任意の公知技術を用いることができる。本実施形態において、露出制御処理を行う際に用いる画像データを得るタイミングなどの詳細は後述する。Ｓ２６０１で、決定した絞り値とシャッター速度に基づいて、シャッター１０１の動作を制御する。また、システム制御部５０により、シャッター１０１を通じて撮像部２２が露光される期間、電荷蓄積を行わせる。

露光期間が終了するとＳ２６０２でシステム制御部５０は、システム制御部５０により、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。また、第１焦点検出画素、もしくは、第２焦点検出画素のいずれかの画像読み出しを行う。焦点検出画素から読みだされた信号は、画像再生時に、被写体のピント状態を検出するために用いる。そのため、高画素静止画撮影の記録画像に対して、領域の制限や、全画素に対して低解像度にすることで、読出しデータ量を低減してもよい。第１焦点検出画素、もしくは第２焦点検出画素の信号があれば、高画素静止画撮影のための画像との差分を算出することで、もう一方の焦点検出信号を算出することができる。本実施形態では、高画素静止画撮影のための画像の信号のＳ／Ｎを優先するため、高画素静止画撮影のための画像信号と一方の焦点検出信号を読み出し、記録し、もう一方の焦点検出信号は演算により算出する。以降の画像に関する処理は、高画素静止画撮影のための画像信号と一方の焦点検出信号に対して施される。

Ｓ２６０３でシステム制御部５０は、読み出された画像データに対して画像処理部２４によって欠陥画素補正処理を実施する。Ｓ２６０４でシステム制御部５０は、欠陥画素補正後の画像データに対して画像処理部２４によってデモザイク（色補間）処理、ホワイトバランス処理、γ補正（階調補正）処理、色変換処理、エッジ強調処理等の画像処理や、符号化処理などを適用する。Ｓ２６０５においてシステム制御部５０は、高画素静止画撮影のための画像信号と一方の焦点検出信号を画像データファイルとしてメモリ３２に記録する。

Ｓ２６０６でシステム制御部５０は、Ｓ２６０５で記録した撮影画像に対応させて、カメラ本体の特性情報をメモリ３２とシステム制御部５０内のメモリに記録する。ここでカメラ本体の特性情報としては、以下の様な情報が例示できる。
・撮影条件（絞り値、シャッタ速度、撮影感度など）
・画像処理部２４で適用した画像処理に関する情報、
・撮像部２２の撮像用画素及び焦点検出用画素の受光感度分布情報、
・カメラ本体内での撮影光束のケラレ情報、
・カメラ本体とレンズユニットとの取り付け面から撮像部２２までの距離情報、
・製造誤差情報

なお、撮像部２２の撮像用画素及び焦点検出用画素の受光感度分布情報は、オンチップマイクロレンズＭＬと光電変換部ＰＤに依存する情報であるため、これら部材に関する情報を記録しても良い。受光感度分布情報は、撮像素子から光軸上の所定の距離における位置に応じた感度の情報である。また、受光感度分布情報は、光の入射角度に対する感度の変化を情報としてもよい。

Ｓ２６０７でシステム制御部５０は、Ｓ２６０５で記録した撮影画像に対応させて、レンズユニットの特性情報をメモリ３２とシステム制御部５０内のメモリに記録する。レンズユニットの特性情報としては、射出瞳の情報、枠情報、撮影時の焦点距離やＦナンバー情報、収差情報、製造誤差情報、撮影時のフォーカスレンズ位置と対応付けられた被写体距離情報などが例示できる。Ｓ２６０８でシステム制御部５０は、撮影した画像に関する画像関連情報をメモリ３２とシステム制御部５０内のメモリに記録する。画像関連情報には、撮影前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などが含まれてよい。

Ｓ２６０９で、システム制御部５０は、表示部２８に、撮影画像のプレビュー表示を行う。これにより撮影者は、撮影画像の簡易的な確認を行うことができる。Ｓ２６０９で行うプレビュー表示に用いる画像は、画像の簡易的な確認が目的であるため、Ｓ２６０３やＳ２６０４で行う各種処理を行わなくてもよい。これらの各種処理を行わない場合には、Ｓ２６０３以降の処理と並列して、Ｓ２６０９のプレビュー表示を行うことで、より露光から表示までのタイムラグを少なくすることができる。

Ｓ２６０９の処理が終わると、システム制御部５０はＳ２６の撮影サブルーチンを終了し、メインルーチンのＳ２４に処理を進める。本実施形態では、連写中は、Ｓ２６の撮影サブルーチンで画像記録する場合も、Ｓ２７で連写中の撮像／表示、焦点検出処理を行う場合も、取得した画像の表示を行う。

以上のように、視線位置変化量に応じて、視線位置の表示を静止もしくは動作させることで、表示品位や利便性を向上させる電子装置を提供することが可能である。本実施形態では、静止判定、動作判定をＡＦモードや被写体検出に応じて判定する方法について記述したが、動画や静止画などの撮影モードや、ファインダーを用いた撮影か背面液晶画面を用いた撮影かなどの撮影機器の操作方法の違いに応じて変更しても良い。

また、実施例では本発明をデジタルカメラで実施する例を説明したが、視線検出を行う装置であればどんな装置に適用しても良い。例えばヘッドマウントディスプレイやスマートフォン、ＰＣ等において実施することも可能である。

また、前述の実施例でフローチャートを用いて説明した動作は、同様の目的を達成することができるように、適宜実行されるステップの順序を変更することが可能である。

本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワークあるいは記憶媒体を介してシステム又は装置に供給する構成をとることも可能である。そして、そのシステムあるいは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０ システム制御部

Claims (10)

1. 観察者が注視する位置に対応する情報を取得する取得手段と、
   当該位置に対応する指標を表示手段に表示させるよう制御する制御手段と、を有し、
   前記制御手段は、前記位置の変化が第１の閾値よりも小さいことが連続して第１の回数あった場合には、前記指標の表示位置を変化させないことを特徴とする制御装置。
2. 前記制御手段は、前記位置の変化が第２の閾値よりも大きいことが連続して第２の回数あった場合には、前記指標の表示位置を変化させることを特徴とする請求項１に記載の制御装置。
3. 前記位置の変化が所定の方向に連続した場合には、前記指標の表示位置を変化させることを特徴とする請求項２に記載の制御装置。
4. 前記位置の変化が所定の方向に連続した場合は、所定の方向に相当する範囲内での変化が少なくとも２回あった場合であることを特徴とする、請求項３に記載の制御装置。
5. 被写体の位置を検出する被写体検出手段をさらに有し、前記位置と当該被写体の位置とが略一致する場合には、前記指標の表示位置を変化させないことを特徴とする、請求項１乃至４のいずれか１項に記載の制御装置。
6. 被写体の位置を検出する被写体検出手段をさらに有し、前記位置と当該被写体の位置とが略一致する場合には、前記指標を表示させないことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
7. 前記第１の判定回数、前記第１の閾値、前記第２の判定回数、および前記第２の閾値のうち少なくとも１つを、水平位置の変化量、垂直位置の変化量、２点間位置の変化量のうち少なくとも１つに応じて変化することを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. フォーカスレンズを駆動させる第１の駆動手段と、フォーカスレンズの駆動を繰り返し実施する第２の駆動手段と、をさらに有し、
   前記第２の駆動手段が選択されている場合には、前記第１の駆動手段が選択されている場合と比べて、前記第１の閾値と前記第２の閾値とが小さいこと、を特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記第２の駆動手段が選択されている場合には、前記第１の駆動手段が選択されている場合と比較して、前記第１の判定回数と前記第２の判定回数とが少ないことを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
10. 観察者が注視する位置に対応する情報を取得する取得ステップと、
    当該位置に対応する指標を表示手段に表示させるよう制御する制御ステップと、を有し、
    前記制御ステップでは、前記位置の変化が第１の閾値よりも小さいことが連続して第１の回数あった場合には、前記指標の表示位置を変化させないことを特徴とする制御装置の制御方法。

Images