JP2021132272A - 電子機器 - Google Patents

Abstract

【課題】ユーザの視線に関する好適な視線情報を取得できる技術を提供する。【解決手段】本発明の電子機器は、表示面に画像を表示するように制御する表示制御手段と、前記表示面を見るユーザの視線を順次検出した結果に基づいて視線情報を生成する生成手段と、前記視線の検出タイミングと、前記視線情報の生成方法との少なくとも一方を制御する制御手段とを有し、前記制御手段は、前記表示面に表示する画像を更新する時間間隔と、前記画像を取得してから前記表示面に表示するまでの遅延時間との少なくとも一方の変化に応じて、前記視線の検出タイミングと、前記視線情報の生成方法との少なくとも一方を変更することを特徴とする。【選択図】図９

Description

本発明は、ユーザの視線に関する視線情報を取得可能な電子機器に関する。

特許文献１には、ファインダ視野内を覗くユーザ（撮影者）の視線を検出することで、測距点を選択する方法が開示されている。特許文献１に開示の撮像装置では、複数の測距点選択方法の優先度に応じて測距点選択を行うため、ユーザの意図に応じた測距点選択を実現することができる。特許文献１に開示の撮像装置は、ピント板状に形成される光学像を観察するいわゆる光学ファインダを有している。

一方、近年では、光学ファインダを備えず、撮影光学系を通過した光束を受光する撮像素子で取得された映像を再生する表示装置として、電子ビューファインダを有する撮像装置が存在する。光学ファインダを有する撮像装置が、光束分割部を有するのに対して、電子ビューファインダを有する撮像装置は、光束分割部を必要としないため、撮影範囲内のより広い範囲で焦点検出を行ったり、被写体検出を行ったりすることができる。

特開２０１５−２２２０８号公報

しかしながら、ユーザの視線（視線位置）を検出可能であり、且つ、電子ビューファインダを備える従来の撮像装置では、ユーザの視線に関する好適な視線情報（ユーザの意図に合った視線情報）を取得できないことがある。その結果、視線の検出結果に基づいて好適に処理が行われないことがある。

例えば、光学ファインダの表示に対して、電子ビューファインダの表示では、撮像素子で取得した信号に施す処理が変更され、映像を表示するまでの遅延時間（表示遅延時間）が変化することがある。さらに、表示する映像を更新する時間間隔（表示更新間隔）なども変化することがある。したがって、ユーザは、表示遅延時間や表示更新間隔が変化する映像を観察することになる。

これにより、ユーザは、観察したい位置に対して、精度よく視線位置を合わせられなかったり、視線位置を合わせるために時間を要したりすることがある。このため、ユーザの意図した位置を視線位置として検出することができず、検出結果に基づいて好適に処理を行うことができない。具体的には、ユーザの意図した位置を視線位置として表示できなかったり、ユーザの意図した位置を測距点として選択できなかったりする。

視線位置の検出期間を長くしたり、視線位置の検出結果とする領域を広げたりすることにより、ユーザの意図した位置を視線位置として検出できるようになるが、測距点の選択など、即時性を必要とするような処理を好適に行うことができない。処理の即時性を考慮（優先）して視線位置を検出すると、上述したように、ユーザの意図した位置を視線位置として表示できなかったり、ユーザの意図した位置を測距点として選択できなかったりする。

本発明は、ユーザの視線に関する好適な視線情報を取得できる技術を提供することを目
的とする。

本発明の電子機器は、表示面に画像を表示するように制御する表示制御手段と、前記表示面を見るユーザの視線を順次検出した結果に基づいて視線情報を生成する生成手段と、前記視線の検出タイミングと、前記視線情報の生成方法との少なくとも一方を制御する制御手段とを有し、前記制御手段は、前記表示面に表示する画像を更新する時間間隔と、前記画像を取得してから前記表示面に表示するまでの遅延時間との少なくとも一方の変化に応じて、前記視線の検出タイミングと、前記視線情報の生成方法との少なくとも一方を変更することを特徴とする。

本発明によれば、ユーザの視線に関する好適な視線情報を取得できる。

本実施形態に係る撮像装置の構成例を示すブロック図 本実施形態に係る撮像装置の射出瞳と光電変換部の対応関係の例を示す図 本実施形態に係る視線検出部の構成例を示す図 本実施形態に係る撮影処理の一例を示すフローチャート 本実施形態に係る撮影サブルーチンのフローチャート 本実施形態に係る視線検出調整処理のフローチャート 本実施形態に係る加工処理などを行う理由を説明するための図 本実施形態に係るライブビュー表示などのタイミングチャート 本実施形態に係るライブビュー表示などのタイミングチャート 本実施形態に係るライブビュー表示などのタイミングチャート 本実施形態に係るライブビュー表示などのタイミングチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は本発明を限定するものではない。また、以下では複数の特徴が記載されているが、その全てが本発明に必須のものとは限らない。また、以下に記載される複数の特徴は任意に組み合わせてもよい。さらに、添付図面において同一若しくは同様の構成には同一の参照番号を付し、重複する説明は省略する。

なお、以下の実施形態では、本発明を撮像装置（具体的にはレンズ交換式のデジタルカメラ）で実施する場合に関して説明する。しかし、本発明は視線情報取得機能（ユーザの視線に関する視線情報を取得する機能）を搭載可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダなどが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。また、以下のデジタルカメラは視線検出機能や撮像機能、表示機能などを有するが、それらの機能を互いに通信可能な複数の機器（例えば本体とリモートコントローラ）に分けて搭載する構成にも本発明は適用可能である。

［構成］
図１は、本発明の実施形態にかかる電子機器の一例としてのデジタルカメラシステムの構成例を示すブロック図である。デジタルカメラシステムは、レンズ交換式デジタルカメラの本体１００と、本体１００に着脱可能なレンズユニット１５０とを有している。なお、レンズ交換式であることは本発明に必須でない。

レンズユニット１５０は、本体１００に装着されると本体１００に設けられた通信端子１０と接触する通信端子６を有する。通信端子１０および通信端子６を通じて本体１００からレンズユニット１５０に電源が供給される。また、レンズユニット１５０のレンズシステム制御回路４と本体１００のシステム制御部５０とは通信端子１０および通信端子６を通じて双方向に通信可能である。

レンズユニット１５０において、レンズ群１０３は可動レンズを含む複数のレンズから構成される撮像光学系である。可動レンズには少なくともフォーカスレンズが含まれる。また、レンズユニット１５０によっては、変倍レンズや、ぶれ補正レンズなどの１つ以上がさらに含まれ得る。ＡＦ駆動回路３は、フォーカスレンズを駆動するモータやアクチュエータなどを含む。フォーカスレンズは、レンズシステム制御回路４がＡＦ駆動回路３を制御することによって駆動される。絞り駆動回路２は、絞り１０２を駆動するモータアクチュエータなどを含む。絞り１０２の開口量は、レンズシステム制御回路４が絞り駆動回路２を制御することによって調整される。

メカニカルシャッタ１０１はシステム制御部５０によって駆動され、撮像素子２２の露光時間を調整する。なお、メカニカルシャッタ１０１は動画撮影時には全開状態に保持される。

撮像素子２２は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像素子２２には複数の画素が２次元配置されており、各画素には１つのマイクロレンズ、１つのカラーフィルタ、および１つ以上の光電変換部が設けられている。本実施形態においては、各画素に複数の光電変換部が設けられており、各画素は光電変換部ごとに信号を読み出し可能に構成されている。画素をこのような構成にすることにより、撮像素子２２から読み出した信号から撮像画像、視差画像対、および位相差ＡＦ用の像信号を生成することができる。

図２（ａ）は、撮像素子２２が有する画素が２つの光電変換部を有する場合の、レンズユニット１５０の射出瞳と各光電変換部との対応関係を模式的に示した図である。

画素に設けられた２つの光電変換部２０１ａ，２０１ｂは１つのカラーフィルタ２５２および１つのマイクロレンズ２５１を共有する。そして、光電変換部２０１ａには射出瞳（領域２５３）の部分領域２５３ａを通過した光が、光電変換部２０１ｂには射出瞳の部分領域２５３ｂを通過した光が、それぞれ入射する。

したがって、或る画素領域に含まれる画素について、光電変換部２０１ａから読み出される信号で形成される画像と、光電変換部２０１ｂから読み出される信号で形成される画像とは視差画像対を構成する。また、視差画像対は位相差ＡＦ用の像信号（Ａ像信号およびＢ像信号）として用いることができる。さらに、光電変換部２０１ａから読み出される信号と光電変換部２０１ｂから読み出される信号とを画素ごとに加算することで、通常の画像信号（撮像画像）を得ることができる。

なお、本実施形態では撮像素子２２の各画素が、位相差ＡＦ用の信号を生成するための画素（焦点検出用画素）としても、通常の画像信号を生成するための画素（撮像用画像）としても機能する。しかしながら、撮像素子２２の一部の画素を焦点検出用画素とし、他の画素を撮像用画素とした構成であってもよい。図２（ｂ）は、焦点検出用画素と、入射光が通過する射出瞳の領域２５３との対応関係の一例を示している。図２（ｂ）に示す焦点検出用画素において、光電変換部２０１は、開口部２５４により、図２（ａ）の光電変換部２０１ｂと同様に機能する。図２（ｂ）に示す焦点検出用画素と、図２（ａ）の光電
変換部２０１ａと同様に機能する別の種類の焦点検出用画素とを、撮像素子２２の全体に分散配置することにより、実質的に任意の場所及び大きさの焦点検出領域を設定することが可能になる。

図２（ａ），２（ｂ）に示す構成は、記録用の画像を得るための撮像素子を位相差ＡＦ用のセンサとして用いる構成であるが、任意の大きさ及び位置の焦点検出領域を設定可能な他のＡＦなど、ＡＦの方式に依らず本発明は実施可能である。例えばコントラストＡＦを用いる構成であっても本発明は実施可能である。コントラストＡＦのみを用いる場合には、各画素が有する光電変換部は１つである。

図１に戻り、Ａ／Ｄ変換器２３は、撮像素子２２から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換するために用いられる。なお、Ａ／Ｄ変換器２３は撮像素子２２が備えてもよい。

Ａ／Ｄ変換器２３が出力する画像データ（ＲＡＷ画像データ）は、必要に応じて画像処理部２４で処理されたのち、メモリ制御部１５を通じてメモリ３２に格納される。メモリ３２は画像データや音声データを一時的に記憶するバッファメモリとして用いられたり、表示部２８用のビデオメモリとして用いられたりする。

画像処理部２４は、画像データに対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

ここで、画像処理部２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、レンズユニット１５０の光学収差を補正する処理、色を補正する処理などが含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理には、位相差ＡＦ用の１対の像信号やコントラストＡＦ用の評価値や、自動露出制御に用いる評価値などの算出処理が含まれる。なお、これらは画像処理部２４が実施可能な画像処理の例示であり、画像処理部２４が実施する画像処理を限定するものではない。また、評価値算出処理はシステム制御部５０が行ってもよい。

Ｄ／Ａ変換器１９は、メモリ３２に格納されている表示用の画像データから、表示部２８での表示に適したアナログ信号を生成して、生成したアナログ信号を表示部２８に供給する。表示部２８は例えば液晶表示装置を有し、Ｄ／Ａ変換器１９からのアナログ信号に基づく表示を表示面上で行う。

動画の撮像（撮像制御）と、撮像された動画の表示（表示制御）とを継続的に行うことで、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部２８をＥＶＦとして機能させるために表示する動画をライブビュー画像と呼ぶ。表示部２８は接眼部を通じて観察するように本体１００の内部に設けられてもよいし、接眼部を用いずに観察可能なように本体１００の筐体表面に設けられてもよい。表示部２８は、本体１００の内部と筐体表面との両方に設けられてもよい。

システム制御部５０は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）である。システム制御部５０は、不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５２に読み込んで実行することにより、本体１００およびレンズユニット１５０の動作を制御し、カメラシステムの機能を実現する。システム制御部５０は、通信端子１０および６を通じた通信によってレンズシステム制御回路４に様々なコマンドを送信することにより、レンズユニット１５０の動作を制御する。

不揮発性メモリ５６は、システム制御部５０が実行するプログラム、カメラシステムの各種の設定値、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の画像データなどを記憶する。システムメモリ５２は、システム制御部５０がプログラムを実行する際に用いるメインメモリである。不揮発性メモリ５６に格納されたデータ（情報）は書き替え可能であってよい。

システム制御部５０はその動作の一部として、画像処理部２４または自身が生成した評価値に基づく自動露出制御（ＡＥ）処理を行い、撮影条件を決定する。例えば、静止画撮影の撮影条件はシャッター速度、絞り値、感度である。システム制御部５０は、設定されているＡＥのモードに応じて、シャッター速度、絞り値、感度の１つ以上を決定する。システム制御部５０はレンズユニット１５０の絞り機構の絞り値（開口量）を制御する。また、システム制御部５０は、メカニカルシャッタ１０１の動作も制御する。

また、システム制御部５０は、画像処理部２４または自身が生成した評価値もしくはデフォーカス量に基づいてレンズユニット１５０のフォーカスレンズを駆動し、レンズ群１０３を焦点検出領域内の被写体に合焦させる自動焦点検出（ＡＦ）処理を行う。

システムタイマー５３は内蔵時計であり、システム制御部５０が利用する。

操作部７０はユーザが操作可能な複数の入力デバイス（ボタン、スイッチ、ダイヤルなど）を有する。操作部７０が有する入力デバイスの一部は、割り当てられた機能に応じた名称を有する。シャッターボタン６１、モード切り替えスイッチ６０、電源スイッチ７２は便宜上、操作部７０と別に図示ししているが、操作部７０に含まれる。表示部２８がタッチパネルを備えるタッチディスプレイである場合には、タッチパネルもまた操作部７０に含まれる。操作部７０に含まれる入力デバイスの操作はシステム制御部５０が監視している。システム制御部５０は、入力デバイスの操作を検出すると、検出した操作に応じた処理を実行する。

シャッターボタン６１は半押し状態でＯＮとなり信号ＳＷ１を出力する第１シャッタースイッチ６２と、全押し状態でＯＮとなり信号ＳＷ２を出力する第２シャッタースイッチ６４とを有する。システム制御部５０は、信号ＳＷ１（第１シャッタースイッチ６２のＯＮ）を検出すると、静止画撮影の準備動作を実行する。準備動作には、ＡＥ処理やＡＦ処理などが含まれる。また、システム制御部５０は、信号ＳＷ２（第２シャッタースイッチ６４のＯＮ）を検出すると、ＡＥ処理で決定した撮影条件に従った静止画の撮影動作（撮像および記録の動作）を実行する。

また、本実施形態の操作部７０は、ユーザの視線（視線方向）を検出して検出結果（ユーザの視線に関する視線情報）を出力する視線検出部７０１を有する。システム制御部５０は、視線検出部７０１からの視線情報に応じて各種制御を実行することができる。視線検出部７０１はユーザが直接操作する部材ではないが、視線検出部７０１が検出する視線を入力として取り扱うため、操作部７０に含めている。

図３（ａ）は、ファインダ内に設ける視線検出部７０１の構成例を模式的に示す側面図
である。視線検出部７０１は、本体１００の内部に設けられた表示部２８をファインダのアイピースを通じて見ているユーザの眼球５０１ａの光軸の回転角を視線の方向として検出する。検出された視線の方向に基づいて、ユーザが表示部２８で注視している位置（表示画像中の注視点）を特定することができる。

表示部２８には例えばライブビュー画像が表示され、ユーザはアイピースの窓を覗き込むことにより、表示部２８の表示内容を接眼レンズ７０１ｄおよびダイクロックミラー７０１ｃを通じて観察することができる。光源７０１ｅは、アイピースの窓方向（本体１００の外部方向）に赤外光を発することができる。ユーザがファインダを覗いている場合には、光源７０１ｅが発した赤外光は眼球５０１ａで反射されてファインダ内に戻ってくる。ファインダに入射した赤外光はダイクロックミラー７０１ｃで受光レンズ７０１ｂ方向に反射される。

受光レンズ７０１ｂは、赤外光による眼球像を撮像素子７０１ａの撮像面に形成する。撮像素子７０１ａは赤外光撮像用のフィルタを有する２次元撮像素子である。視線検出用の撮像素子７０１ａの画素数は撮影用の撮像素子２２の画素数よりも少なくてよい。撮像素子７０１ａによって撮像された眼球画像はシステム制御部５０に送信される。システム制御部５０は、眼球画像から赤外光の角膜反射の位置と瞳孔の位置とを検出し、両者の位置関係から視線方向を検出する。また、システム制御部５０は、検出した視線方向に基づいて、ユーザが注視している表示部２８の位置（表示画像中の注視点）を検出する。なお、眼球画像から角膜反射の位置と瞳孔の位置を画像処理部２４で検出し、システム制御部５０は画像処理部２４からこれらの位置を取得してもよい。

なお、本発明は視線検出の方法や視線検出部の構成には依存しない。したがって、視線検出部７０１の構成は図３（ａ）に示したものに限定されない。例えば、図３（ｂ）に示すように、本体１００の背面に設けられた表示部２８の近傍に配置されたカメラ７０１ｆにより撮像された画像に基づいて視線を検出してもよい。破線で示すカメラ７０１ｆの画角は、表示部２８を見ながら撮影を行うユーザの顔が撮像されるように定められている。カメラ７０１ｆで撮像した画像から検出した目領域（眼球５０１ａと眼球５０１の少なくとも一方の領域）の画像に基づいて視線の方向を検出することができる。赤外光の画像を用いる場合には、カメラ７０１ｆの近傍に光源７０１ｅを配置し、光源７０１ｅで画角内の被写体に赤外光を投写して撮像を行えばよい。その場合は、得られた画像から視線の方向を検出する方法は図３（ａ）の方法と同様でよい。また、可視光の画像を用いる場合には光を投射しなくてもよい。可視光の画像を用いる場合には、目領域の目頭と虹彩の位置関係などから視線の方向を検出することができる。

再び図１に戻り、電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部３０は、電池やＡＣアダプター等からなる。Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００には、撮影された画像や音声などのデータファイルが記録される。記録媒体２００に記録されたデータファイルはＩ／Ｆ１８を通じて読み出され、画像処理部２４およびシステム制御部５０を通じて再生することができる。

通信部５４は、無線通信および有線通信の少なくとも一方による外部機器との通信を実現する。撮像素子２２で撮像した画像（撮像画像；ライブビュー画像を含む）や、記録媒
体２００に記録された画像は、通信部５４を通じて外部機器に送信可能である。また、通信部５４を通じて外部機器から画像データやその他の各種情報を受信することができる。

姿勢検出部５５は重力方向に対する本体１００の姿勢を検出する。姿勢検出部５５は加速度センサ、または角速度センサであってよい。システム制御部５０は、撮影時に姿勢検出部５５で検出された姿勢に応じた向き情報を、当該撮影で得られた画像データを格納するデータファイルに記録することができる。向き情報は、例えば記録済みの画像を撮影時と同じ向きで表示するために用いることができる。

本実施形態の本体１００は、画像処理部２４が検出した特徴領域が適切な画像となるように各種の制御を実施することが可能である。例えば、本体１００は、特徴領域で合焦させる自動焦点検出（ＡＦ）や、特徴領域が適正露出となるような自動露出制御（ＡＥ）を実施することが可能である。また、本体１００は、特徴領域のホワイトバランスが適切になるような自動ホワイトバランスや、特徴領域の明るさが適切になるような自動フラッシュ光量調整なども実施することが可能である。なお、特徴領域を適切にする制御は、これらに限定されない。画像処理部２４は、例えばライブビュー画像に対して公知の方法を適用して、予め定められた特徴に当てはまると判定される領域を特徴領域として検出し、各特徴領域の位置、大きさ、信頼度といった情報をシステム制御部５０に出力する。なお、本発明は特徴領域の種類や検出方法には依存しない。また特徴領域の検出には公知の方法を利用可能であるため、特徴領域の検出方法についての説明は省略する。

また、特徴領域は、被写体情報を検出するためにも用いることができる。特徴領域が顔領域の場合、被写体情報として、例えば、赤目現象が生じているか否か、目をつむっているか否か、表情（例えば笑顔）などが検出される。なお、被写体情報はこれらに限定されない。

本実施形態では、大きさおよび位置が不定である複数の画像領域の一例としての複数の特徴領域から、各種の制御に用いたり、被写体情報を取得したりするための１つの特徴領域（主被写体領域）を、ユーザの視線を用いて選択することができる。視線検出部７０１で検出されるようにユーザが視線を向ける動作は、視線入力と呼ぶことができる。

［動作］
以下、図４を参照して、本体１００で行われる撮影処理について説明する。図４は、本実施形態に係る撮影処理のフローチャートである。撮影モードで本体１００が起動したことや、本体１００のモードとして撮影モードが設定されたことなどに応じて、図４の処理が開始される。

ステップＳ１では、システム制御部５０は、撮像素子２２の駆動を開始し、撮像データ（画像）の取得を開始する。これにより、焦点検出や被写体検出、ライブビュー表示などの少なくともいずれかを行うために十分な解像度を有する画像が順次取得される。ここでは、ライブビュー表示用の動画撮像のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積を撮像データの読み出しの度に行う、いわゆる電子シャッタを用いた撮像を行う。ライブビュー表示は、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させる表示であり、被写体を略リアルタイムで表す表示である。ライブビュー表示は、例えば、ユーザ（撮影者）が撮影範囲や撮影条件の確認を行うために行われ、ライブビュー表示用のフレームレートは、例えば、３０フレーム／秒（撮像間隔３３．３ｍｓ）や６０フレーム／秒（撮像間隔１６．６ｍｓ）などである。

ステップＳ２では、システム制御部５０は、現在の撮像データから焦点検出データと撮像画像データを取得する処理を開始する。焦点検出データは、焦点検出領域における視差
画像対を構成する第１画像と第２画像のデータを含む。例えば、第１画像を構成する画素のデータは、図２（ａ）の光電変換部２０１ａから得られるデータであり、第２画像を構成する画素のデータは、光電変換部２０１ｂから得られるデータである。撮像画像データは、撮像画像のデータであり、第１画像のデータと第２画像のデータとを足し合わせ、画像処理部２４で色補間処理などを適用して得られるデータである。このように、１回の撮像により、焦点検出データと撮像画像データを取得することができる。なお、焦点検出用画素と撮像用画素とを別々の画素とした場合には、焦点検出用画素の位置での画素値を得る補間処理などを行って撮像画像データを取得する。

ステップＳ３では、システム制御部５０はライブビュー表示処理を開始する。システム制御部５０は、ライブビュー表示処理において、画像処理部２４を用いて現在の撮像画像（撮像画像データ）からライブビュー表示用の画像を生成し、生成した画像を表示部２８の画像表示領域に表示する。画像表示領域は、表示部２８の表示面の全領域、表示部２８に表示された画面（ウィンドウなど）の全領域、表示面または画面の一部の領域などのいずれかである。なお、ライブビュー表示用の画像は、例えば、表示部２８の解像度に合わせた縮小画像であり、撮像画像を生成する際に画像処理部２４で縮小処理を実施することもできる。この場合には、システム制御部５０は、生成された撮像画像（縮小処理後の画像）を表示部２８に表示する。上述したように、ライブビュー表示は被写体を略リアルタイムで表すため、ユーザは、ライブビュー表示を確認しながら、撮影時の構図や露出条件の調整などを容易に行うことができる。さらに、本実施形態では、本体１００は、撮像画像から、人物の顔や動物などの被写体を検出することができる。このため、ライブビュー表示において、検出している被写体の領域を示す枠などの表示も行うことができる。

ステップＳ４では、システム制御部５０は、視線検出と焦点検出を開始する。視線検出では、視線検出部７０１により、表示部２８の表示面における視線位置（ユーザの視線の位置）を示す視線情報が、ユーザが見ていた撮像画像と関連付けて、所定の時間間隔で取得される。さらに、ステップＳ４では、システム制御部５０は、検出された視線位置をユーザに通知するため、表示部２８の表示面における視線位置への所定のアイテム（丸など）の表示を開始する。焦点検出については後述する。

ステップＳ５では、システム制御部５０は、信号ＳＷ１（第１シャッタースイッチ６２のＯＮ；撮影準備指示；シャッターボタン６１の半押し状態）が検出された否かを判定する。システム制御部５０は、信号ＳＷ１が検出されたと判定した場合にステップＳ６へ処理を進め、信号ＳＷ１が検出されなかったと判定した場合にステップＳ１１へ処理を進める。

ステップＳ６では、システム制御部５０は、焦点検出領域の設定と、ステップＳ４で開始した焦点検出とを行う。ここでは、システム制御部５０は、ステップＳ４で開始した視線検出の結果（順次検出される視線の検出結果）に基づいて、焦点検出領域を設定する。検出される視線位置は、ユーザが意図する被写体の位置に対して、様々な要因で、誤差を含む。本実施形態では、状況に応じて、検出された視線位置（視線情報）を加工したり、視線検出タイミング（視線位置を検出するタイミング）を制御したりする。そのようにすることで、より高精度な（より好適な）視線情報が生成可能である。詳細は後述する。なお、そのような処理（視線位置の加工や視線検出タイミングの制御）後の視線情報が外部から取得されるようにしてもよい。ステップＳ６では、そのような処理後の視線情報を用いて、焦点検出領域を設定する。その際に、視線位置と焦点検出領域の中心位置とを揃えてもよいし、そうしなくてもよい。検出された被写体の領域など、焦点検出領域の候補が存在する場合には、検出された複数の被写体のうち、視線位置に最も近い被写体の領域（視線位置を含む領域）を、当該視線位置に紐づけて、焦点検出領域に設定することができる。そして、システム制御部５０は、焦点検出領域で合焦する焦点位置（合焦点）を検出
する。ステップＳ６以降では、視線情報を用いた焦点検出（焦点検出領域の設定を含む）が繰り返し実行される。なお、視線情報が取得される前の焦点検出領域の設定方法は特に限定されない。例えば、ユーザが任意に選択した被写体の領域を、焦点検出領域として設定することができる。

焦点検出では、焦点検出領域における視差画像対を構成する第１画像と第２画像の像ずれ量（位相差）が算出され、像ずれ量から焦点検出領域におけるデフォーカス量（大きさと方向を含むベクトル量）が算出される。以下、焦点検出について具体的に説明する。

まず、システム制御部５０は、第１画像と第２画像にシェーディング補正を施すことにより、第１画像と第２画像の間の光量差（輝度差）を低減する。さらに、システム制御部５０は、シェーディング補正後の第１画像と第２画像にフィルター処理を施すことにより、位相差検出を行う空間周波数の画像（データ）を抽出する。

次に、システム制御部５０は、フィルター処理後の第１画像と第２画像を相対的に瞳分割方向にシフトさせるシフト処理を行い、第１画像と第２画像の一致度を表す相関値を算出する。

ここで、フィルター処理後の第１画像におけるｋ番目の画素のデータをＡ（ｋ）とし、フィルター処理後の第２画像におけるｋ番目の画素のデータをＢ（ｋ）とし、焦点検出領域に対応する番号ｋの範囲をＷとする。さらに、シフト処理によるシフト量をｓ１として、シフト量ｓ１の範囲（シフト範囲）をΓ１とする。この場合に、相関値ＣＯＲ（ｓ１）は、以下の式１を用いて算出できる。

具体的には、シフト量ｓ１のシフト処理により、フィルター処理後の第１画像におけるｋ番目の画素のデータＡ（ｋ）に、フィルター処理後の第２画像におけるｋ−ｓ１番目の画素のデータＢ（ｋ−ｓ１）を対応付ける。次に、データＡ（ｋ）からデータＢ（ｋ−ｓ１）を減算し、減算結果の絶対値を算出する。そして、焦点検出領域に対応する範囲Ｗ内で算出された絶対値の総和を、相関値ＣＯＲ（ｓ１）として算出する。なお、必要に応じて、行毎に算出された相関量を、シフト量毎に、複数行に亘って加算してもよい。

次に、システム制御部５０は、相関値から、サブピクセル演算により、相関値が最小となる実数値のシフト量を、像ずれ量ｐ１として算出する。そして、システム制御部５０は、算出した像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系；撮像光学系）のＦ値と、射出瞳距離とに応じた変換係数Ｋ１を乗算することにより、デフォーカス量を算出する。

ステップＳ７では、システム制御部５０は、ステップＳ６で検出（算出）したデフォーカス量に基づき、フォーカスレンズを駆動する。検出されたデフォーカス量が所定値より小さい場合には、必ずしもフォーカスレンズを駆動する必要はない。

ステップＳ８では、システム制御部５０は、ステップＳ１〜Ｓ４で開始した処理（撮像、ライブビュー表示、視線検出、視線位置の表示、焦点検出など）を行う。焦点検出の方法は、ステップＳ６の方法（視線情報を用いた焦点検出）と同様である。なお、ステップＳ８の処理は、ステップＳ７の処理中（フォーカスレンズの駆動中）に、並列的に行ってもよい。また、ライブビュー表示（撮像画像）の変化や、視線位置の変化などに基づいて
、焦点検出領域を変更してもよい。

ステップＳ９では、システム制御部５０は、信号ＳＷ２（第２シャッタースイッチ６４のＯＮ；撮影指示；シャッターボタン６１の全押し状態）が検出された否かを判定する。システム制御部５０は、信号ＳＷ２が検出されたと判定した場合にステップＳ１０へ処理を進め、信号ＳＷ２が検出されなかったと判定した場合にステップＳ５へ処理を戻す。

ステップＳ１０では、システム制御部５０は、撮像画像の記録（撮影）を行うか否かを判定する。システム制御部５０は、撮像画像の記録を行うと判定した場合にステップＳ３００へ処理を進め、撮像画像の記録を行わないと判定した場合にステップＳ４００へ処理を進める。本実施形態では、第２シャッタースイッチ６４の長押しで連写（連写撮影；連続撮影）が行われ、連写中には、撮影（撮像画像の記録）と焦点検出の間で処理が切り替えられる。撮影と焦点検出が交互に行われるように、１回の撮像の度に処理を切り替えてもよい。複数回（例えば、３回）の撮像の度に１回の焦点検出が行われるように処理を切り替えてもよい。これにより、単位時間当たりの撮影枚数を大幅に減らすことなく、焦点検出を好適に行うことができる。

ステップＳ３００では、システム制御部５０は、撮影サブルーチンを実行する。撮影サブルーチンの詳細については後述する。ステップＳ３００の後、ステップＳ９へ処理が戻される。

ステップＳ４００では、システム制御部５０は、ステップＳ８と同様に、ステップＳ１〜Ｓ４で開始した処理（撮像、ライブビュー表示、視線検出、視線位置の表示、焦点検出など）を行う。但し、連写のフレームレート（撮像コマ速）や、撮像画像から記録画像（記録する画像）を生成する生成処理などにより、ステップＳ４００では、撮像画像の表示期間や表示更新レート（間隔）、表示遅延などがステップＳ８と異なる。ステップＳ４００の後、ステップＳ９へ処理が戻される。

撮像画像の表示期間や表示更新レート（間隔）、表示遅延などが変わる際に、ユーザの視線位置は、少なからず影響を受ける。本実施形態では、このような表示状態の変化に応じて、検出される視線位置に誤差が生じることを鑑みて、視線位置の加工や視線検出タイミングの制御を好適に行う。これにより、表示状態の変化によらず、精度度な（好適な）視線位置を取得することができる。得られた視線位置（視線情報）は、上述の通り、視線位置の表示、焦点検出領域の設定、被写体領域との紐づけなどに用いられる。詳細は後述する。

上述したように、ステップＳ５で信号ＳＷ１が検出されなかった場合には、ステップＳ１１へ処理が進められる。ステップＳ１１では、システム制御部５０は、撮影処理の終了指示（操作）があったか否かを判定する。終了指示は、例えば、本体１００のモードを撮影モードから他のモードへ変更する指示や、本体１００の電源を切る指示などである。システム制御部５０は、終了指示があったと判定した場合に図４の撮影処理を終了し、終了指示が無かったと判定した場合にステップＳ５へ処理を戻す。

次に、図５を参照して、図４のＳ３００で実行される撮影サブルーチンの詳細について説明する。図５は、本実施形態に係る撮影サブルーチンのフローチャートである。

ステップＳ３０１では、システム制御部５０は、露出制御を実行し、撮影条件（シャッター速度、絞り値、撮影感度など）を決定する。この露出制御は、任意の公知技術を用いて実行することができ、例えば撮像画像の輝度情報に基づいて実行することができる。そして、システム制御部５０は、決定した絞り値とシャッター速度に基づいて、絞り１０２
とシャッター１０１（メカニカルシャッタ）の動作を制御する。また、システム制御部５０は、シャッター１０１を通じて撮像素子２２が露光される期間（露光期間）、撮像素子２２に電荷蓄積を行わせる。

露光期間が終了した後のステップＳ３０２では、システム制御部５０は、静止画撮影のための撮像画像を撮像素子２２から取得する（読み出す）。さらに、システム制御部５０は、焦点検出領域における視差画像対を構成する第１画像と第２画像の一方である焦点検出画像を撮像素子２２から取得する（読み出す）。焦点検出画像は、記録画像（撮影画像；撮像画像に基づいて記録された画像）の再生時に、被写体のピント状態を検出するために用いられる。撮像画像に比べ狭い領域の画像や、撮像画像に比べ解像度が低い画像を、焦点検出画像として取得することで、焦点検出画像のデータ量を低減してもよい。第１画像と第２画像の一方と撮像画像との差分を、第１画像と第２画像の他方として算出することができる。本実施形態では、撮像画像と一方の焦点検出画像とを取得して（読み出して）記録し、他方の焦点検出画像は算出する。以降の画像処理（画像に関する処理）は、取得した撮像画像と一方の焦点検出画像とに対して施される。

ステップＳ３０３では、システム制御部５０は、画像処理部２４を用いて、ステップＳ３０２で取得した画像に対して欠陥画素補間（補正）処理を施す。ステップＳ３０４では、システム制御部５０は、画像処理部２４を用いて、ステップＳ３０３の欠陥画素補間処理後の画像に対して他の画像処理を施す。他の画像処理は、デモザイク（色補間）処理、ホワイトバランス処理、γ補正（階調補正）処理、色変換処理、エッジ強調処理、符号化処理などである。ステップＳ３０５では、システム制御部５０は、ステップＳ３０３，Ｓ３０４の処理後の画像（静止画撮影のための撮像画像、及び、一方の焦点検出画像）を画像データファイルとしてメモリ３２に記録する。

ステップＳ３０６では、システム制御部５０は、本体１００の特性情報を、ステップＳ３０５で記録した記録画像（撮影画像）に対応させて、メモリ３２（およびシステム制御部５０内のメモリ）に記録する。本体１００の特性情報は、例えば、以下の情報を含む。
・撮影条件（絞り値、シャッタ速度、撮影感度など）に関する情報
・画像処理部２４で適用した画像処理に関する情報
・撮像素子２２の受光感度分布に関する情報
・本体１００内での撮影光束のケラレに関する情報
・本体１００とレンズユニット１５０との取り付け面から撮像素子２２までの距離に関する情報
・製造誤差に関する情報

なお、受光感度分布は、オンチップマイクロレンズと光電変換部に依存するため、これら部材に関する情報を、受光感度分布に関する情報として記録してもよい。受光感度分布に関する情報として、撮像素子２２から光軸上の所定の距離における位置に応じた感度を示す情報を記録してもよい。受光感度分布に関する情報として、光の入射角度の変化に対する感度の変化を示す情報を記録してもよい。

ステップＳ３０７では、システム制御部５０は、レンズユニット１５０の特性情報を、ステップＳ３０５で記録した記録画像に対応させて、メモリ３２（およびシステム制御部５０内のメモリ）に記録する。レンズユニット１５０の特性情報は、例えば、射出瞳の情報、枠情報、撮影時の焦点距離の情報、撮影時のＦナンバー情報、収差情報、製造誤差情報、撮影時のフォーカスレンズ位置と対応付けられた被写体距離情報などを含む。

ステップＳ３０８では、システム制御部５０は、ステップＳ３０５で記録した記録画像に関する画像関連情報を、メモリ３２（およびシステム制御部５０内のメモリ）に記録す
る。画像関連情報は、例えば、撮影前（記録前）の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関する情報などを含む。

ステップＳ３０９では、システム制御部５０は、ステップＳ３０５で記録した記録画像を表示部２８に表示する（プレビュー表示）。これにより、ユーザは、記録画像の簡易的な確認を行うことができる。ステップＳ３０５の記録用の画像は、ステップＳ３０３，Ｓ３０４などの各種処理を施して生成するが、ステップＳ３０９のプレビュー表示用の画像は、簡易的な確認のための画像であるため、これら各種処理を施さずに生成してもよい。これらの各種処理を行わずにプレビュー表示用の画像を生成する場合には、ステップＳ３０３以降の処理と並列に、ステップＳ３０９のプレビュー表示を行うことで、露光から表示までのタイムラグをより短くすることができる。

次に、図６を参照して、視線位置（視線情報）の加工や視線検出タイミングの制御などを含む視線検出調整処理について説明する。図６は、本実施形態に係る視線検出調整処理のフローチャートである。図６の処理は、図４のステップＳ４が行われたことに応じて開始され、ステップＳ４以降の処理と並列に繰り返し行われる。

ステップＳ２０１では、システム制御部５０は、視線検出部７０１により検出された視線位置の情報（視線情報）を取得する。

ステップＳ２０２では、システム制御部５０は、ステップＳ２０１の処理を行ったタイミング（視線位置を検出したタイミング）でのライブビュー設定情報を取得する。ライブビュー設定情報は、ライブビュー表示における撮像画像（フレーム）の表示期間や表示更新レート（間隔）、表示遅延などの情報である。本実施形態のカメラシステムでは、ライブビュー設定情報の影響で、検出される視線位置が、ユーザの意図する位置に対して、位置ずれ（オフセットやばらつき）を有する場合がある。そのため、本実施形態では、ライブビュー設定情報に応じて、視線情報の加工や視線検出タイミングの制御などを行う。ライブビュー設定情報の影響で位置ずれが生じる原因については、後述する。

ステップＳ２０３では、システム制御部５０は、ステップＳ２０２で取得したライブビュー設定情報に基づき、ステップＳ２０１で取得した視線情報の加工処理を行う。加工処理は、複数のタイミングにそれぞれ対応する複数の視線の重みづけ合成（スムージング処理）や、順次検出される視線の間引き処理、注視領域判定に用いる視線情報の個数（注視領域判定に用いる視線情報を取得する期間の長さ）の変更などを含み得る。ステップＳ２０３の処理の詳細は、後述する。

ステップＳ２０４では、システム制御部５０は、加工処理により生成された視線情報（加工済み視線情報）に基づく処理を行う。加工済み視線情報は視線位置の表示や、焦点検出領域の設定に使用される。なお、上記２つの処理（視線位置の表示と焦点検出領域の設定）の一方に加工済み視線情報が使用され、上記２つの処理の他方に加工前の視線情報が使用されてもよい。加工済み視線情報に基づく処理は特に限定されず、上記２つの処理とは異なる処理に加工済み視線情報が使用されてもよい。

ステップＳ２０５では、システム制御部５０は、視線検出タイミングの変更が必要か否かを判定する。具体的には、システム制御部５０は、ライブビュー設定情報（表示更新レートや表示遅延など）に変更があったか否かを判定する。図４の撮影処理では、撮影前の状態から連写中に移行した場合に、表示更新レートや表示遅延が変わる。システム制御部５０は、視線検出タイミングの変更が必要であると判定した場合、つまりライブビュー設定情報に変更があったと判定した場合に、ステップＳ２０６へ処理を進める。一方で、システム制御部５０は、視線検出タイミングの変更が必要でないと判定した場合、つまりラ
イブビュー設定情報に変更が無かったと判定した場合に、図６の視線検出調整処理を終了する。上述したように視線検出調整処理は繰り返し行われるため、視線検出調整処理は、ここで終了されたとしても、再度ステップＳ２０１から開始される。

ステップＳ２０６では、システム制御部５０は、視線検出タイミングを変更する。ステップＳ２０６の処理は、表示更新レートが低い場合や、表示遅延が大きい場合など、ユーザが意図する被写体の近傍を見ることが困難な場合などに、ユーザの意図にあった視線情報が取得されるように、視線検出タイミングを変更する処理である。ステップＳ２０６の処理の詳細は、後述する。

なお、ライブビュー設定情報を取得した後であれば、ステップＳ２０５，Ｓ２０６の処理と他の処理との順序に関する制約は無く、ステップＳ２０５，Ｓ２０６の処理はいつ行ってもよい。また、ステップＳ２０５，Ｓ２０６の処理は他の処理と並列に行ってもよい。

次に、図７（ａ），７（ｂ）を用いて、視線情報の加工（図６のステップＳ２０３）や視線検出タイミングの制御（図６のステップＳ２０６）が必要となる理由について説明する。図７（ａ），７（ｂ）は、撮像中のシーンの一例を示している。図７（ａ）では、表示部２８に表示された画面として、フレームＦ１０１〜Ｆ１１５の１５フレームが時系列に示されており、図７（ｂ）では、表示部２８に表示された画面として、フレームＦ２０１〜Ｆ２１５の１５フレームが時系列に示されている。各フレームにおいて、ライブビュー画像に重ねて表示されたアイテムＷ１０１〜Ｗ１１５，Ｗ２０１〜Ｗ２１５は、検出された被写体領域を示す。被写体が近づくにつれて、検出される領域が、全身、上半身、頭部と変化している。

また、各フレームにおいて、ライブビュー画像に重ねて表示されたアイテムＰ１０１〜Ｐ１１５，Ｐ２０１〜Ｐ２１５は、視線位置を示す。アイテムＰ１０１〜Ｐ１１５，Ｐ２０１〜Ｐ２１５は、加工処理前の視線情報に基づく。なお、例えば、フレームＦ１０１を見たユーザの視線位置を示すアイテムＰ１０１が表示されるのは、視線位置の検出処理を終えた後となるが、図７（ａ）では、検出処理による表示の遅延は考慮せずに、アイテムＰ１０１が示されている。

なお、上述した各種アイテムの形態は図示したもの（破線の矩形、十字）に限られない。視線位置を示すアイテムとして、視認しやすいように大きめの円形アイテムが表示されるようにしてもよい。

図７（ａ）は、フレームＦ１０１からフレームＦ１１５まで、均一の表示更新レートでライブビュー画像が更新された場合を示している。表示更新レートは、例えば、６０ｆｐｓや１２０ｆｐｓである。

図７（ｂ）は、フレームＦ２０１からフレームＦ２１５までの期間において、表示更新レートの変化が生じた場合を示している。表示更新レートの変化により、フレームＦ２０９〜Ｆ２１１の期間では、ライブビュー画像の更新が止まり、フレームＦ２０９と同じライブビュー画像が表示されている。フレームＦ２１２〜Ｆ２１４の期間でも、同様に、フレームＦ２１２と同じライブビュー画像が表示されている。このような現象は、例えば、図４の撮影処理を実行した際に起こり得る。具体的には、フレームＦ２０１〜Ｆ２０９の期間では、図４のステップＳ１〜Ｓ９の処理が実行されており、ライブビュー画像の表示更新レートが一定（例えば６０ｆｐｓ）とされている。その後、図４のステップＳ１０以降の処理が行われ、連写状態に移行すると、フレームＦ２０９〜Ｆ２１５のように、ライブビュー画像の表示更新レートが変化する（例えば２０ｆｐｓ）。連写時における記録画
像の取得には、ライブビュー画像の取得に対して、撮像素子からの画像読み出しや、読み出した画像に対する画像処理などの影響で、比較的長い処理時間を要する。そのため、連写時に表示更新レートが低減され、図７（ｂ）のような状態が生じる。

図７（ａ）では、表示部２８に表示するライブビュー画像を更新する時間間隔（表示更新間隔）も、ライブビュー画像を取得（撮像）してから表示部２８に表示するまでの遅延時間（表示遅延時間）も一定である。このため、ユーザが観察したい被写体（人物）とユーザの視線位置との距離が比較的短い状態で安定した視線検出が可能となる。しかしながら、ユーザは物体の同じ箇所（例えば人物の瞳）を注視し続けることが困難で、視線位置はばらつく。具体的には、固定点を注視していても生じる視線位置のバラツキや、動いている被写体を観察することによる視線位置のバラツキなどが生じる。

図７（ｂ）では、フレームＦ２１１からフレームＦ２１２への変化の際に、表示更新レートが低いことにより、被写体の位置が大きく変化する。このような場合に、ユーザはすぐに視線を移動させることができず、被写体から遠い位置をユーザが注視している状態が発生することがある（視線位置のアイテムＰ２１２）。その後にユーザは視線を移動させるため、フレームＦ２１３，Ｆ２１４では、視線位置は被写体に徐々に近づく（視線位置のアイテムＰ２１３，Ｐ２１４）。このように、表示更新レートによっては、ユーザの視線位置は被写体（ユーザの意図した領域）から遠くなることがある。そのような状態、例えばフレームＦ２１２の状態での視線位置を用いて焦点検出領域を設定すると、ユーザの意図した焦点検出領域を設定できず、ユーザの意図したピント状態を実現できない。同様に、ユーザの意図した位置（見たい位置）での視線位置の表示も実現できない。

そのため、本実施形態では、ユーザが意図していない視線位置を焦点検出領域の設定などに用いないように、表示更新レートに基づいて視線情報の加工や視線検出タイミングの制御を行う。視線情報の加工や視線検出タイミングの制御については後述する。

なお、図７（ｂ）では、表示遅延時間が図７（ａ）と同じであるとしたが、連写状態に移行することで、表示遅延時間が変わる場合もある。具体的には、連写時における記録画像の取得には、ライブビュー画像の取得に対して、撮像素子からの画像読み出しや、読み出した画像に対する画像処理などの影響で、比較的長い処理時間を要する。そのため、連写時には表示遅延時間が長くなりやすい。表示遅延時間が長くなると、ユーザは、本体１００に対して行った操作（例えば、パンニング動作）に対して表示が遅れて行われるため、違和感をおぼえる。その結果、ユーザの視線位置にバラツキが生じる。そのような場合を考慮し、ユーザが意図していない視線位置を焦点検出領域の設定などに用いないように、表示遅延時間に基づいて視線情報の加工や視線検出タイミングの制御を行ってもよい。視線情報の加工や視線検出タイミングの制御は、表示更新レートと表示遅延時間の一方に基づいて行ってもよいし、両方に基づいて行ってもよい。

次に、図８を用いて、視線情報の加工処理について説明する。図８は、ライブビュー表示と視線検出と加工処理のタイミングチャートの一例である。

図８の上段には、ライブビュー画像の種別と表示期間が示されている。図８では、画像Ｄ１〜Ｄ１２が順に表示される。画像Ｄ１〜Ｄ５の表示は、図４のステップＳ３で開始されるライブビュー表示（ＬＶ）であり、画像Ｄ１〜Ｄ５は、例えば６０ｆｐｓで更新されて表示される。画像Ｄ５の表示中に信号ＳＷ２が検出され、図４のステップＳ１０へ処理が進められる。それ以降、ステップＳ３００で取得される記録画像（画像Ｄ７，Ｄ９）の表示と、ステップＳ４００で取得される画像（焦点検出用の画像；画像Ｄ８，Ｄ１０）の表示とが交互に行われる。記録画像の表示には上述の通り時間を要するため、画像Ｄ６の表示は画像Ｄ１〜Ｄ５の表示のようには更新されず（フリーズ）、画像Ｄ６の表示期間は
画像Ｄ１〜Ｄ５の表示期間に比べ延長されている。画像Ｄ１０の表示中に信号ＳＷ２が検出されなくなり、図４のステップＳ３で開始されるライブビュー表示（画像Ｄ１１，Ｄ１２）に戻る。

図８の中段には、視線検出タイミングＥ１〜Ｅ１１が黒丸で示されている。視線位置の検出は、撮像やライブビュー表示などと並列に、視線検出部７０１により行われる。図８では、視線位置の検出は、連写中であるか否かにかかわらず、一定の検出レートで行われている。具体的には、視線位置の検出は３０回／秒で行われている。但し、連写後の視線検出タイミングＥ１１を画像Ｄ１２の表示に同期させる同期処理により、視線検出タイミングＥ１０から視線検出タイミングＥ１１までの検出間隔は、他の検出間隔と異なる。

図８の下段には、加工済み視線情報の取得タイミングＡ〜Ａ１１が黒丸で示されている。取得タイミングＡ１〜Ａ３，Ａ１１は、６０ｆｐｓのライブビュー表示中のタイミングであるため、検出された視線位置（加工前の視線情報）に大きな誤差は無いと考えられる。そのため、取得タイミングＡ１〜Ａ３，Ａ１１では、それら取得タイミングへ向かう矢印で示すように、視線検出タイミングＥ１〜Ｅ３，Ｅ１１で検出された視線位置の情報を、そのまま加工済み視線情報として取得する。取得タイミングＡ４〜Ａ１０では、それら取得タイミングへ向かう矢印で示すように、複数の視線位置を平均化した位置情報を、加工済み視線情報として取得する。加工済み視線情報を得るための複数の視線位置は、例えば、当該加工済み視線情報の取得タイミングまでに得られた所定数の視線位置である。具体的には、取得タイミングＡ４では、視線検出タイミングＥ３で検出された視線位置と、視線検出タイミングＥ４で検出された視線位置とを平均化した位置情報が、加工済み視線情報として取得される。上述の通り、表示更新レートが低下したり、表示遅延時間が長くなったりした場合には、ユーザが意図した位置（被写体など）を注視しておらず、検出される視線位置に誤差（ユーザの意図した被写体位置と検出される視線位置とのずれ）が生じる。そのため、図８では、検出された視線位置の情報をそのまま加工済み視線情報とはせず、平均化処理（重みづけ合成）などの加工処理を行って加工済み視線情報を得ている。これにより、視線の変化に対する加工済み視線情報の変化が小さくなり、検出される視線位置の誤差による影響を低減することができる。

なお、図８には示していないが、連写中にブラックアウト画像が表示される場合には、ブラックアウト画像の表示中に検出された視線位置を使用せずに（間引いて）、平均化処理などの重みづけ合成を実施してもよい。

図８では、連写開始前には平均化処理を行わず、連写中に平均化処理を行って、加工済み視線情報が取得されるように、平滑化処理の実行／非実行が変更される。そして、平均化処理では、常に同じ数の視線位置が使用される。しかしながら、加工処理はこれに限られない。上述の通り、連写中は、連写前や連写後に比べ、視線位置の誤差が大きくなる。このため、連写前や連写後には第１の数の視線位置を平均化する平均化処理を行い、連写中には第１の数よりも多い第２の数の視線位置を平均化する平均化処理を行ってもよい。この場合も、表示部２８に表示する画像を更新する時間間隔、または、画像を取得してから表示部２８に表示するまでの遅延時間である参照時間が長いほど、視線の変化に対する加工済み視線情報の変化を小さくすることができる。平均化処理に用いる視線位置の数を少なくすれば、誤差の低減よりも即時性（遅延少）を重視した視線情報（加工後）を得ることができ、平均化処理に用いる視線位置の数を多くすれば、誤差の低減を重視した視線情報を得ることができる。

図８では、平均化処理（複数の視線位置を同じ重みで合成する重みづけ合成）を行う例を示したが、複数の視線位置の重みは同じでなくてもよい。例えば、視線検出タイミングと現時点と差が大きい視線位置は、現時点の視線位置や、ユーザの意図した視線位置と大
きく異なることがある。そのため、重みづけ合成では、視線検出タイミングと現時点と差が大きいほど小さい重みを視線位置に割り当ててもよい。そうすることで、誤差がより低減された視線情報（加工後）を得ることができる。この際に、連写中か否かで、重みのバランスを変えたり、重みづけ合成に用いる視線位置の数を変えたりしてもよい。

次に、図９を用いて、図８とは異なる加工処理について説明する。図８では、平均化処理を含む加工処理の例を示したが、図９では、間引き処理を含む加工処理の例を示す。図９は、図８と同様に、ライブビュー表示と視線検出と加工処理のタイミングチャートの一例である。図９の上段と中断は図８の上段と同じである。図９では、加工済み視線情報の取得タイミング（下段）が、図８と異なる。

図９では、下段に示すように、視線検出タイミングＥ５，Ｅ８で検出された視線位置（加工前の視線情報）を間引いて、加工済み視線情報が取得される。具体的には、視線検出タイミングＥ１〜Ｅ４，Ｅ６，Ｅ７，Ｅ９〜Ｅ１１に対応する取得タイミングＣ１〜Ｃ４，Ｃ６，Ｃ７，Ｃ９〜Ｃ１１のそれぞれで、対応する視線検出タイミングで検出された視線位置の情報が、加工済み視線情報として取得される。

表示更新レートが低い状態（画像Ｄ６〜Ｄ１０の表示期間）において、表示画像が切り替わった直後に検出された視線位置は、図７（ｂ）のフレームＦ２１２で示したように誤差が大きい。このため、そのような視線位置（誤差の大きい視線位置）を用いないように、間引き処理を行うことが好ましい。図９において、視線検出タイミングＥ５は、表示画像が画像Ｄ６から画像Ｄ７に切り替わった直後であり、視線検出タイミングＥ８は、表示画像が画像Ｄ８から画像Ｄ９に切り替わった直後である。このため、図９の中段では、視線検出タイミングＥ５，Ｅ８で検出された視線位置（加工前の視線情報）を間引いている。間引き処理は、例えば、所定値以下の表示更新レートの場合に、表示画像の切り替わりから第１時間以上かつ第２時間以下の期間に検出された視線位置を間引く処理である。間引き処理は、所定値以下の表示更新レートの場合に、表示画像の切り替わりから所定時間内に検出された視線位置を間引く処理であってもよい。

なお、間引き処理の発動条件は、所定値以下の表示更新レートの場合に限られない。上述の通り、表示更新時の被写体の移動が大きい場合に、検出された視線位置（加工前の視線情報）に誤差が生じる。そのため、表示更新レートが所定値以下であり、かつ、検出された被写体位置の移動量が大きい場合に、間引き処理を行ってもよい。

また、図９において、取得タイミングＣ６で取得された加工済み視線情報は、画像Ｄ７で検出された視線情報として紐づけることができる。この加工済み視線情報の元情報は、表示画像が画像Ｄ７から画像Ｄ８に切り替わった直後（第１時間以内）の視線検出タイミングＥ６で取得されている。しかしながら、ユーザが認識に要する時間（ユーザによる視認から認識までの遅延）を加味して、この加工済み視線情報は、画像Ｄ７の表示中に検出された視線情報としてもよい。同様に、取得タイミングＣ９で取得された加工済み視線情報は、画像Ｄ９で検出された視線情報として紐づけることができる。

次に、図１０を用いて、視線検出タイミングの制御について説明する。図１０は、ライブビュー表示と視線検出のタイミングチャートの一例である。図１０の上段は図８の上段と同じである。

図１０の中段には、連写を含む撮影動作を行っていない状態での視線検出タイミングＥ１〜Ｅ４，Ｅ９が示されている。連写を含む撮影動作を行っていない状態では、視線位置の検出は、ライブビュー表示と同期して、３０回／秒で行われる。

図１０の下段には、連写中の視線検出タイミングＥ５’〜Ｅ８’が示されている。連写中のライブビュー表示（画像Ｄ７〜Ｄ１０の表示）に同期させるため、検出レートが変更されて、視線位置の検出が行われる。ユーザの視線情報として有用な（誤差の少ない）情報を得るために、撮影動作を行っていない状態から連写中に移行する際に同期処理（視線検出タイミングをライブビュー表示に同期させる処理）を改めて行っている。具体的には、視線検出タイミングＥ５’は、画像Ｄ７の表示期間の後半のタイミングとなるように制御されている。同様に、視線検出タイミングＥ６’〜Ｅ８’は、画像Ｄ６〜Ｄ８の表示期間に基づいて制御されている。

本実施形態では、図８〜１０を用いて、視線情報の加工や視線検出タイミングの制御を個別に行う例を説明したが、これらの処理を併用してもよい。また、検出される視線位置と、ユーザの意図する位置とのずれ（誤差）が、ライブビュー表示の表示更新レートや表示遅延によって生じる場合の例を説明したが、誤差の生じる状況は、これに限らない。例えば、フォーカス状態の変化や、絞り状態の変化、露出設定や、その変化などで、撮像画像において被写体がぼけていたり、暗くて視認しにくかったりする場合がある。そのような場合にも、上記誤差が大きくなることがあるため、図８〜１０で説明した処理を行うことは有効である。

（変形例）
上述の実施形態では、静止画を撮影する前のライブビュー表示状態から、連写時のライブビュー表示に移行した際に生じる視線位置の誤差を考慮した例を説明した。検出される視線位置の誤差は、他の状況でも生じ得る。例えば、動画記録（動画撮影）時におけるライブビュー表示の表示更新レートや表示遅延によって、検出される視線位置の誤差は増大する。動画記録時における視線位置の誤差を考慮した例について、図１１（ａ），１１（ｂ）を用いて説明する。図１１（ａ），１１（ｂ）は、動画記録時のライブビュー表示の表示期間と視線検出タイミングのタイミングチャートの一例である。

図１１（ａ）では、動画記録は６０ｆｐｓで行っており、視線検出は３０回／秒で行っている（視線検出タイミングＥ１〜Ｅ７）。動画記録に合わせてライブビュー表示も６０ｆｐｓで行っている（画像Ｄ１〜Ｄ１４）。６０ｆｐｓのライブビュー表示では、ライブビュー画像上の被写体は滑らかに移動するため、ユーザの注視する視線位置の誤差は小さい。そのため、図１１（ａ）では、１枚のライブビュー画像（画像Ｄ１や画像Ｄ３など）の表示期間の中心のタイミングで、視線検出を行っている。

図１１（ｂ）では、動画記録は３０ｆｐｓで行っており、視線検出も同様に３０回／秒で行っている（視線検出タイミングＥ１〜Ｅ７）。動画記録に合わせてライブビュー表示も３０ｆｐｓで行っている（画像Ｄ１〜Ｄ７）。３０ｆｐｓのライブビュー表示では、ライブビュー画像上での被写体の移動の滑らかさが低いため、ユーザの注視する視線位置の誤差は大きい。そのため、図１１（ｂ）では、１枚のライブビュー画像（画像Ｄ１や画像Ｄ２など）の表示期間の後半のタイミングで、視線検出を行っている。これにより、視線位置の誤差を低減した視線情報を取得することができる。

なお、動画記録時におけるライブビュー表示の表示遅延に基づいて、同様の制御を行うことで、ユーザの意図する視線情報を取得することができる。視線検出タイミングをライブビュー表示に同期させると、表示部２８に表示する画像を更新する時間間隔、または、画像を取得してから表示部２８に表示するまでの遅延時間である参照時間が長いほど長い時間間隔で視線位置が順次検出されることになる。この場合に、参照時間が所定の閾値よりも長い場合に、１枚の画像を表示部２８に表示する期間の後半のタイミングで視線位置を検出するように、視線検出タイミングを制御すれば、ユーザの意図する視線情報を取得することができる。

また、視線位置の誤差の低減は、視線検出タイミングの制御によるものに限らない。上述の実施形態で述べたように、スムージング処理（重みづけ合成）のサンプル数を多くしたり、誤差が大きいことが想定されるサンプルを間引いたりすることで、誤差の少ない視線情報が取得されるようにしてもよい。視線検出タイミングの制御、重みづけ合成、間引き処理などを適宜組み合わせて実施してもよい。

本実施形態では、静止画撮影や動画撮影の際に、取得した加工済み視線情報を視線位置の表示や、焦点検出領域の設定に用いる例を説明した。しかし、視線情報の利用方法はこれに限らない。

例えば、動画記録（動画撮影）時に、各フレームに、そのフレームをユーザ（撮影者）が注視した際の視線情報を紐づけて記録してもよい。こうすることで、動画を編集する際などに、撮影者が注視していた領域を、トリミング処理や拡大処理などで自動的に抽出して拡大したり、撮影者の視線位置の移動に伴い、トリミング領域を変えたりといったことが可能となる。動画に対して視線情報を紐づける際には、視線情報を取得した画像の表示と記録のタイミングのずれ（遅延）があることを想定して、紐づけを行うことで、より正確に紐づけを行うことができる。

また、静止画に視線情報を付加することで、同様のトリミング処理や、注視領域に特化した画像処理（明るさや色味の補正など）を行うことができる。

また、視線情報を動画や静止画に紐づけて記録する際には、検出された視線位置、表示更新レート、表示遅延などの情報を合わせて記録してもよい。これにより、本実施形態で説明したような、視線情報の加工や視線検出タイミングの制御は、撮像装置ではなくパソコンなどで後処理として行うことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述の実施形態はあくまで一例であり、本発明の要旨の範囲内で実施形態の構成（処理の順番を含む）を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

１００：本体 ２８：表示部 ５０：システム制御部 ７０１：視線検出部

Claims (9)

1. 表示面に画像を表示するように制御する表示制御手段と、
   前記表示面を見るユーザの視線を順次検出した結果に基づいて視線情報を生成する生成手段と、
   前記視線の検出タイミングと、前記視線情報の生成方法との少なくとも一方を制御する制御手段と
   を有し、
   前記制御手段は、前記表示面に表示する画像を更新する時間間隔と、前記画像を取得してから前記表示面に表示するまでの遅延時間との少なくとも一方の変化に応じて、前記視線の検出タイミングと、前記視線情報の生成方法との少なくとも一方を変更する
   ことを特徴とする電子機器。
2. 前記生成手段は、検出された視線の加工を行って前記視線情報を生成可能であり、
   前記制御手段は、前記時間間隔と前記遅延時間の少なくとも一方の変化に応じて、前記加工の実行／非実行または方法を変更する
   ことを特徴とする請求項１に記載の電子機器。
3. 前記加工は、複数の検出タイミングでそれぞれ検出された複数の視線の重みづけ合成である
   ことを特徴とする請求項２に記載の電子機器。
4. 前記加工は、検出された視線の間引き処理である
   ことを特徴とする請求項２に記載の電子機器。
5. 前記制御手段は、前記時間間隔または前記遅延時間である参照時間が長いほど、前記視線の変化に対する前記視線情報の変化が小さくなるように、前記視線情報の生成方法を制御する
   ことを特徴とする請求項１〜３のいずれか１項に記載の電子機器。
6. 前記制御手段は、
   前記時間間隔または前記遅延時間である参照時間が長いほど長い時間間隔で前記視線を順次検出し、
   前記参照時間が閾値よりも長い場合に、１枚の画像の表示期間の後半のタイミングで前記視線を検出するように、
   前記検出タイミングを制御する
   ことを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
7. 表示面に画像を表示するように制御する表示制御ステップと、
   前記表示面を見るユーザの視線を順次検出した結果に基づいて視線情報を生成する生成ステップと、
   前記視線の検出タイミングと、前記視線情報の生成方法との少なくとも一方を制御する制御ステップと
   を有し、
   前記制御ステップでは、前記表示面に表示する画像を更新する時間間隔と、前記画像を取得してから前記表示面に表示するまでの遅延時間との少なくとも一方の変化に応じて、前記視線の検出タイミングと、前記視線情報の生成方法との少なくとも一方を変更する
   ことを特徴とする電子機器の制御方法。
8. コンピュータを、請求項１〜６のいずれか１項に記載の電子機器の各手段として機能さ
   せるためのプログラム。
9. コンピュータを、請求項１〜６のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images