JP2022095306A - 表示制御装置及びその制御方法 - Google Patents

Abstract

【課題】ユーザーの視線に追従させるインジケーターの表示を好適なものにする。
【解決手段】本発明の表示制御装置は、ユーザーの視線による視線入力を受け付ける受付手段と、ライブビュー画像から被写体を検出する検出手段と、前記ユーザーの視線位置に基づく位置にインジケーターを表示し、前記検出手段により検出された被写体の移動量が第１の移動量の場合は、前記ユーザーの視線の移動に対する前記インジケーターの表示の応答性を第１の応答性にし、前記被写体の移動量が前記第１の移動量よりも小さい第２の移動量の場合は、前記応答性を前記第１の応答性よりも低い第２の応答性にするように制御する制御手段とを有することを特徴とする。
【選択図】図６

Description

本発明は、ユーザーの視線による視線入力が可能な表示制御装置及びその制御方法に関するものである。

ユーザーが自身の視線によって操作（以下、視線入力）を行う表示制御装置が知られている。特にデジタルカメラやゲーム機などに対して、ユーザーが直感的・即時的に操作指示を行いたい場合に、視線入力は有効である。特許文献１には、動体撮影モードの時に、撮影している動体（動体像）の撮像面上での移動量（移動速度）が大きい場合は視線位置に基づくＡＦ枠表示を消灯／減光することが開示されている。

特開２００２－８２２７８号公報

しかしながら、特許文献１に開示の技術では、ユーザーの視線の移動に対するＡＦ枠の表示の追従性（応答性）は変更されない。そのため、合焦させたい被写体の撮像面上での移動量が大きい場合に、視線の移動に対してＡＦ枠の表示（移動）が鈍感すぎたり、合焦させたい被写体の撮像面上での移動量が小さい場合に、視線の移動に対してＡＦ枠（インジケーターの一種）の表示が敏感すぎたりすることがある。その結果、ＡＦ枠指定をユーザー所望の位置で行えず、シャッターチャンスを逃してしまうことがある。

本発明は、ユーザーの視線に追従させるインジケーターの表示を好適なものにすることを目的とする。

本発明の表示制御装置は、ユーザーの視線による視線入力を受け付ける受付手段と、ライブビュー画像から被写体を検出する検出手段と、前記ユーザーの視線位置に基づく位置にインジケーターを表示し、前記検出手段により検出された被写体の移動量が第１の移動量の場合は、前記ユーザーの視線の移動に対する前記インジケーターの表示の応答性を第１の応答性にし、前記被写体の移動量が前記第１の移動量よりも小さい第２の移動量の場合は、前記応答性を前記第１の応答性よりも低い第２の応答性にするように制御する制御手段とを有することを特徴とする。

本発明によれば、ユーザーの視線に追従させるインジケーターの表示を好適なものにすることができる。

デジタルカメラの外観図である。 デジタルカメラのブロック図である。 カメラ起動処理のフローチャートである。 撮影モード処理のフローチャートである。 主被写体決定処理のフローチャートである。 視線位置計算処理のフローチャートである。 視線位置（重心位置）の変化の具体例を示す図である。 ＬＶ画像とＡＦ枠の一例を示す図である。

＜デジタルカメラ１００の外観図＞
以下、図面を参照して本発明の好適な実施形態を説明する。図１（ａ），１（ｂ）に、本発明を適用可能な装置の一例としてのデジタルカメラ１００の外観を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。

表示部２８は、デジタルカメラ１００の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル７０ａは、表示部２８の表示面（タッチ操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、デジタルカメラ１００の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ１００の様々な設定値を表示する。シャッターボタン６１は撮影指示を行うための操作部材である。モード切替スイッチ６０は、各種モード（例えば、マニュアル、ポートレート、料理、スポーツ、キッズ）を切り替えるための操作部材である。端子カバー４０は、デジタルカメラ１００を外部機器に接続するコネクタ（不図示）を保護するカバーである。

メイン電子ダイヤル７１は回転操作部材であり、メイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮとＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は回転操作部材であり、サブ電子ダイヤル７３を回すことで、選択枠（カーソル）の移動や画像送りなどが行える。４方向キー７４は、上、下、左、右部分をそれぞれ押し込み可能に構成され、４方向キー７４の押した部分に応じた処理が可能である。ＳＥＴボタン７５は、押しボタンであり、主に選択項目の決定などに用いられる。マルチコントローラー（以下、ＭＣ）６５は、８方向への方向指示と、中央部分の押し込み操作とを受け付け可能である。

動画ボタン７６は、動画撮影（記録）の開始や停止の指示に用いられる。ＡＥロックボタン７７は押しボタンであり、撮影待機状態でＡＥロックボタン７７を押下することにより、露出状態を固定することができる。拡大ボタン７８は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのＯＮとＯＦＦを切り替えるための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像（ＬＶ画像）の拡大や縮小を行える。再生モードにおいては、拡大ボタン７８は、再生画像を拡大したり、その拡大率を増加させたりするための操作ボタンとして機能する。再生ボタン７９は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに遷移し、記録媒体２００（後述）に記録された画像のうち最新の画像を表示部２８に表示させることができる。メニューボタン８１はメニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン８１が押されると各種の設定が可能なメニュー画面が表示部２８に表示される。ユーザーは、表示部２８に表示されたメニュー画面と、４方向キー７４やＳＥＴボタン７５、またはＭＣ６５とを用いて直感的に各種設定（例えば、ＡＦモードを切り替えるＡＦモード設定）を行うことができる。

通信端子１０は、デジタルカメラ１００がレンズユニット１５０（後述；着脱可能）側と通信を行うための通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザーは、接眼部１６を介して内部のＥＶＦ２９（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ；後述）に表示された映像を視認することができる。接眼検知部５７は、接眼部１６にユーザー（撮影者）が接眼しているか否かを検知す
る接眼検知センサーである。蓋２０２は、記録媒体２００（後述）を格納するスロットの蓋である。グリップ部９０は、ユーザーがデジタルカメラ１００を構える際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラ１００を保持した状態で、右手の人差指で操作可能な位置にモード切替スイッチ６０やシャッターボタン６１とメイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

＜デジタルカメラ１００の構成ブロック図＞
図２は、デジタルカメラ１００の構成例を示すブロック図である。レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、図２では簡略して一枚のレンズのみで示している。通信端子６は、レンズユニット１５０がデジタルカメラ１００側と通信を行うための通信端子であり、通信端子１０は、デジタルカメラ１００がレンズユニット１５０側と通信を行うための通信端子である。レンズユニット１５０は、これら通信端子６，１０を介してシステム制御部５０と通信する。そして、レンズユニット１５０は、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。また、レンズユニット１５０は、レンズシステム制御回路４によってＡＦ駆動回路３を介してレンズ１０３を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（撮像センサー）である。撮像部２２は、システム制御部５０にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の処理（画素補間、縮小といったリサイズ処理、色変換処理、等）を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、システム制御部５０は、画像処理部２４により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、等が行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータの送受信を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介してメモリ３２に書き込まれる。あるいは、Ａ／Ｄ変換器２３からの出力データは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８やＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８やＥＶＦ２９により表示される。表示部２８とＥＶＦ２９のそれぞれは、ＬＣＤや有機ＥＬ等の表示器上で、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを表示部２８またはＥＶＦ２９に逐次転送して表
示することで、ライブビュー表示（ＬＶ表示）が行える。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。

視線検出部１６０（受付部）は、接眼部１６に接眼したユーザーの目の、ＥＶＦ２９を見る視線を検出する。視線検出部１６０は、ダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、視線検出回路１６５、赤外発光ダイオード１６６により構成される。

赤外発光ダイオード１６６は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、接眼部１６に接眼したユーザーの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は、視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサー等の撮像デバイスから構成される。

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は少なくとも１つのプロセッサーを含み、視線検知センサー１６４の出力信号に基づいて、ユーザーの眼球（目）１６１の画像または動きからユーザーの視線位置を検出し、検出情報をシステム制御部５０に出力する。

本実施形態では、視線検出部１６０は、角膜反射法と呼ばれる方式を用いて視線を検出する。角膜反射法とは、赤外発光ダイオード１６６から発せられた赤外光が眼球（目）１６１（特に角膜）で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向き・位置を検出する方式である。なお、視線（視線の向き・位置）を検出する方式は特に限定されず、上記以外の方式を用いてもよい。例えば、黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式を用いてもよい。

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えば、ＦＬａｓｈ－ＲＯＭ等である。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータープログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２は例えばＲＡＭであり、システム制御部５０は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０は、メモリ３２、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

被写体判別部５９は、システム制御部５０を介して画像処理部２４から画像情報（例えばＬＶ画像）を取得し、周知の被写体判別方法により、取得した画像情報から被写体（人
、動物、花、飛行機、車など）を検出して判別する（被写体認識を行う）。そして、被写体判別部５９は、被写体判別結果をシステム制御部５０に通知する。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ＬＶ画像を含む）や、記録媒体２００に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することもできる。

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部５７は、接眼ファインダー（ファインダー）の接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７としては、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（不図示）から投光した赤外線が物体で反射して赤外線近接センサーの受光部（不図示）で受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。本実施形態では、接眼検知部５７の投光部および受光部は、前述の赤外発光ダイオード１６６および視線検知センサー１６４とは別体のデバイスであるものとする。ただし、赤外発光ダイオード１６６は接眼検知部５７の投光部を兼ねてもよく、視線検知センサー１６４は接眼検知部５７の受光部を兼ねてもよい。本実施形態では、非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼さ
れたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

システム制御部５０は、視線検出部１６０を制御することによって、ＥＶＦ２９への以下の視線の状態を検出できる。
・ＥＶＦ２９へ向けられていなかった視線が新たにＥＶＦ２９へ向けられたこと。すなわち、視線入力の開始。
・ＥＶＦ２９に対する視線入力をしている状態。
・ＥＶＦ２９の或る位置へ注視（例えば、ユーザーの視線位置の移動量が所定時間内に所定の移動量を超えない視線入力）している状態。
・ＥＶＦ２９へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・ＥＶＦ２９へ何も視線入力していない状態（ＥＶＦ２９を見ていない状態）。

これらの操作・状態や、ＥＶＦ２９に視線が向いている位置（方向）は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は、通知された情報に基づいてどのような視線入力が行われているかを判定する。

操作部７０は、ユーザーからの操作（ユーザー操作）を受け付ける入力部であり、システム制御部５０に各種の動作指示を入力するために使用される。図２に示すように、操作部７０は、モード切替スイッチ６０、シャッターボタン６１、電源スイッチ７２、タッチパネル７０ａ、等を含む。また、操作部７０は、その他の操作部材７０ｂとして、メイン電子ダイヤル７１、サブ電子ダイヤル７３、４方向キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１、ＭＣ６５等を含む。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード（ポートレート、料理、スポーツ、キッズなど）、カスタムモード等がある。モード切替スイッチ６０により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから、撮像された画像を画像ファイルと
して記録媒体２００に書き込むまでの、一連の撮影処理の動作を開始する。

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは、光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を提供できる。システム制御部５０は、タッチパネル７０ａへの以下の操作、あるいは状態を検出できる。

・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・指やペンがタッチパネル７０ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンがタッチパネル７０ａから離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。そして、システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。タッチパネル７０ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

本実施形態では、ユーザーは、接眼状態でタッチムーブが行われる場合の位置指標（例
えば、ＡＦ枠）の位置を指定する方式を、絶対位置指定方式と相対位置指定方式とのいずれかに設定することができる。絶対位置指定方式とは、タッチパネル７０ａにおける入力座標と、ＥＶＦ２９の表示面上の表示座標とが対応付けられている方式である。絶対位置指定方式の場合、タッチパネル７０ａに対するタッチダウンがあると、タッチムーブが無くとも、タッチされた位置（座標入力された位置）に対応付けられた位置にＡＦ枠が設定される（タッチダウン前の位置から移動する）。絶対位置指定方式で設定される位置は、タッチダウン前に設定されていた位置には関係なく、タッチダウンされた位置に基づいた位置となる。また、タッチダウン後にタッチムーブがあると、タッチムーブ後のタッチ位置に基づいてＡＦ枠の位置も移動する。相対位置指定方式とは、タッチパネル７０ａにおける入力座標と、ＥＶＦ２９の表示面上の表示座標とが対応付けられていない方式である。相対位置指定方式の場合、タッチパネル７０ａに対するタッチダウンがあっただけでタッチムーブが無い状態では、ＡＦ枠の位置はタッチダウン前の位置から移動しない。その後タッチムーブがあると、タッチダウン位置に関わらず、現在設定されているＡＦ枠の位置（タッチダウン前に設定されていた位置）から、タッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、ＡＦ枠の位置が移動する。

＜カメラ起動処理＞
図３に、デジタルカメラ１００におけるカメラ起動処理のフローチャートを示す。この処理は、システム制御部５０が不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開して実行することにより実現する。デジタルカメラ１００を起動すると図３の処理を開始する。

Ｓ３０１では、システム制御部５０は、フラグや制御変数等を初期化する。

Ｓ３０２では、システム制御部５０は、システムメモリ５２に記録されている撮影設定を読み出す。

Ｓ３０３では、システム制御部５０は、モード切替スイッチ６０の設定位置から、撮影モードが設定されているか否かを判定する。撮影モードが設定されている場合はＳ３０５に進み、そうでない場合はＳ３０４に進む。

Ｓ３０４では、システム制御部５０は、モード切替スイッチ６０の設定位置から、再生モードが設定されているか否かを判定する。再生モードが設定されている場合はＳ３０６に進み、そうでない場合はＳ３０７に進む。

Ｓ３０５では、システム制御部５０は、撮影モード処理を行う。撮影モード処理の詳細については、図４を用いて後述する。

Ｓ３０６では、システム制御部５０は、再生モード処理を行う。再生モード処理では、記録媒体２００に格納された画像の表示（再生）や編集などが行われる。

Ｓ３０７では、システム制御部５０は、その他のモードに関する処理を行う。その他のモードは、例えば、記録媒体２００に格納された画像（画像ファイル）の送受信を行う通信モード等を含む。

Ｓ３０８では、システム制御部５０は、電源スイッチ７２が押下されたか否か、つまり電源ＯＦＦ操作があったか否かを判定する。電源ＯＦＦ操作があった場合はＳ３０９に進み、そうでない場合はＳ３０３に進む。

Ｓ３０９では、システム制御部５０は、デジタルカメラ１００の動作を終了させるため
の電源ＯＦＦ処理（周辺回路への電源ＯＦＦの指示や、データの退避等）を行う。

＜撮影モード処理＞
図４に、デジタルカメラ１００における撮影モード処理（Ｓ３０５）のフローチャートを示す。この処理は、システム制御部５０が不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開して実行することにより実現する。システム制御部５０は、撮影モード処理を開始する際に、撮像部２２で撮像されたＬＶ画像を表示部２８やＥＶＦ２９に表示する。また、システム制御部５０は、カメラ設定値に基づいて、カメラ設定値を示す情報アイコンをＬＶ画像に重畳して表示する。

Ｓ４０１では、システム制御部５０は、操作部７０に対し、視線検出機能の有効／無効（ＯＮ／ＯＦＦ）を切り替える操作がなされたか否かを判定する。操作がなされた場合はＳ４０２に進み、そうでない場合はＳ４０３に進む。

Ｓ４０２において、システム制御部５０は、Ｓ４０１での操作に応じて、視線検出機能の有効／無効を切り替えるようにカメラ設定値を変更する。

Ｓ４０３では、システム制御部５０は、操作部７０に対し、視線ポインタ表示の有効／無効を切り替える操作がなされたか否かを判定する。操作がなされた場合はＳ４０４に進み、そうでない場合はＳ４０５に進む。視線ポインタは、例えば、接眼部１６（ＥＶＦ２９の表示面）における視線位置（視線入力のあった位置）を示す表示アイテムであり、視線位置に基づく位置に表示される。本実施形態では、視線ポインタとしてＡＦ枠を表示するが、ＡＦ枠とは別に表示するようにしてもよい。

Ｓ４０４では、システム制御部５０は、Ｓ４０３での操作に応じて、視線ポインタ表示の有効／無効を切り替えるようにカメラ設定値を変更する。

Ｓ４０５では、システム制御部５０は、操作部７０に対し、ＡＦ方式を切り替える操作がなされたか否かを判定する。操作がなされた場合はＳ４０６に進み、そうでない場合はＳ４０７に進む。ＡＦ方式には、例えば、像面位相差ＡＦ（撮像面位相差検出方式）やコントラストＡＦなどがある。

Ｓ４０６では、システム制御部５０は、Ｓ４０５での操作に応じて、ＡＦ方式を切り替えるようにカメラ設定値を変更する。

Ｓ４０７では、システム制御部５０は、操作部７０に対し、ＡＦ動作を切り替える操作がなされたか否かを判定する。操作がなされた場合はＳ４０８に進み、そうでない場合はＳ４０９に進む。ＡＦ動作には、例えば、静止した被写体の撮像に適するワンショットＡＦや、動く被写体の撮像に適するサーボＡＦ（コンティニュアスＡＦ）などがある。ワンショットＡＦでは、ユーザーが任意に選択した焦点検出領域において自動焦点検出が行われる。そして、焦点位置にフォーカスレンズを移動させてフォーカスレンズの駆動が停止する。一方、サーボＡＦでは、焦点位置にフォーカスレンズを移動させた後においても、主被写体の動きが検出される。そして、主被写体の動きが検出されると、焦点検出領域において検出したデフォーカス量に応じてフォーカスレンズを継続的に駆動する。例えば、ワンショットＡＦでは、信号ＳＷ１の発生（シャッターボタン６１の半押し）に応じてピント位置が固定され、サーボＡＦでは、信号ＳＷ２の発生（シャッターボタン６１の全押し）の後もピント位置が変更し続けられる。

Ｓ４０８では、システム制御部５０は、Ｓ４０７での操作に応じて、ＡＦ動作を切り替えるようにカメラ設定値を変更する。

Ｓ４０９では、システム制御部５０は、操作部７０に対し、撮影モードを切り替える操作がなされたか否かを判定する。操作がなされた場合はＳ４１０に進み、そうでない場合はＳ４１１に進む。上述したように、撮影モードには複数のモードがある。

Ｓ４１０では、システム制御部５０は、Ｓ４０９での操作に応じて、撮影モードを切り替えるようにカメラ設定値を変更する。

Ｓ４１１では、システム制御部５０は、視線検出機能が有効であるか否かを判定する。有効である場合はＳ４１２に進み、そうでない場合はＳ４１４に進む。

Ｓ４１２では、システム制御部５０は、視線ポインタ表示が有効であるか否かを判定する。有効である場合はＳ４１３に進み、そうでない場合はＳ４１４に進む。

Ｓ４１３では、システム制御部５０は、ＬＶ画像のうち、後述のＳ４１７で設定されるＡＦ枠位置（ユーザーの視線位置に基づく位置）に、ＡＦ枠を表示する。この処理は、接眼した状態で表示先がＥＶＦ２９（ファインダー内表示部）となっている場合に行われる。システム制御部５０は、Ｓ４１３の処理を行わない場合に、視線位置に基づかない方法でＡＦ枠を表示部２８やＥＶＦ２９に表示してもよい。

Ｓ４１４では、システム制御部５０は、主被写体決定処理を行う。主被写体決定処理の詳細については、図５を用いて後述する。

Ｓ４１５では、システム制御部５０は、視線検出機能が有効であるか否かを判定する。有効である場合はＳ４１６に進み、そうでない場合はＳ４１８に進む。

Ｓ４１６では、システム制御部５０は、視線位置計算処理を行う。視線位置計算処理の詳細については、図６を用いて後述する。

Ｓ４１７では、システム制御部５０は、Ｓ４１６の視線位置計算処理で計算された視線位置情報に基づいて、ＡＦ枠位置を設定（変更）する。前述したＡＦ動作に応じて、ワンショットＡＦである場合はＳ４１６において計算した視線位置情報にＡＦ枠を表示し、ＡＦは実行しない。サーボＡＦである場合はＳ４１６において計算した視線位置情報にＡＦ枠を表示し、表示するＡＦ枠位置でＡＦを実行する。

Ｓ４１８では、システム制御部５０は、操作部７０に対して撮影操作がなされたか否か、例えば撮影準備操作（例えば、シャッターボタン６１の半押し）に続いて撮影操作（例えば、シャッターボタン６１の全押し）がなされたか否かを判定する。撮影操作がなされた場合はＳ４１９に進み、そうでない場合はＳ４２０に進む。

Ｓ４１９では、システム制御部５０は、シャッターボタン６１の全押しがされた時点でのＡＦ枠位置でＡＦを実行し、撮影を行う。上述したように、ＡＦ動作には、静止した被写体の撮像に適するワンショットＡＦや、動く被写体の撮像に適するサーボＡＦなどがある。

Ｓ４２０では、システム制御部５０は、操作部７０に対してその他の操作がなされたか否かを判定する。操作がなされた場合はＳ４２１に進み、そうでない場合はＳ４２２に進む。

Ｓ４２１では、システム制御部５０は、Ｓ４２０での操作に応じて、その他の処理を行
う。例えば、動画記録開始操作に応じて動画撮影が開始されたり、連続撮影開始操作に応じて連続撮影が開始されたり、ＡＥ位置移動操作に応じてＡＥの位置が変更されたりする。

Ｓ４２２では、システム制御部５０は、操作部７０に対して終了操作がなされたか否かを判定する。操作がなされた場合は撮影モード処理を終了し、そうでない場合はＳ４０１に進む。

＜主被写体決定処理＞
図５に、デジタルカメラ１００における主被写体決定処理（Ｓ４１４）のフローチャートを示す。この処理は、システム制御部５０が不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開して実行することにより実現する。図５の主被写体決定処理は、一定周期で繰り返し行われる。

Ｓ５０１では、システム制御部５０は、検出被写体情報、追尾被写体情報、及び、ＡＦ情報を取得する。

検出被写体情報は、被写体の現在位置の情報である。例えば、姿勢検知部５５により取得される加速度情報と角速度情報の少なくとも一方、撮像部２２により取得される画像情報（ＬＶ画像）などを用いて、被写体認識アルゴリズムにより被写体が認識される。被写体認識アルゴリズム（被写体認識処理）により、人物（顔や眼などの器官部）や動物、乗物などを認識することができる。認識される被写体は、無い場合もあれば、１つだけの場合や複数の場合もある。検出被写体情報は、被写体の大きさを含んでもよいし、画像情報や加速度情報から得られる以下の複数の情報の少なくともいずれかを含んでもよい。
・画像情報から得られる距離情報
・画像情報から得られる構図情報
・画像情報から得られる人物情報
・画像情報から得られる動体情報や静止体情報
・加速度情報と角速度情報の少なくとも一方から得られるフレーミング情報

なお、レンズシステム制御回路４が、姿勢検知部５５と同様に、加速度センサーやジャイロセンサーを用いてレンズユニット１５０の動き（加速度や角速度）を検出できてもよい。その場合には、システム制御部５０は、レンズシステム制御回路４により取得される加速度情報と角速度情報の少なくとも一方を用いて、検出被写体情報を取得してもよい。システム制御部５０は、被写体判別部５９の処理結果を検出被写体情報として取得してもよい。

追尾被写体情報は、追尾被写体（前回の主被写体決定処理で決定された主被写体）の現在位置の情報である。追尾被写体情報は追尾被写体の大きさを含んでもよい。例えば、システム制御部５０は、前回の主被写体決定処理の結果（主被写体）に基づいて、検出被写体情報から追尾被写体情報を取得（抽出）する。この処理は、主被写体の追尾とも言える。

ＡＦ情報は、現在のＡＦ枠位置（後述の視線位置計算処理で計算される視線位置情報に基づく位置）の情報である。ＡＦ情報はＡＦ枠の大きさを含んでもよい。例えば、システム制御部５０は、視線位置情報に基づいてＡＦ枠位置を設定（変更）する度に、システムメモリ５２にＡＦ情報を記録する（システムメモリ５２に記録されたＡＦ情報を更新する）。そして、システム制御部５０は、Ｓ５０１のタイミングで、システムメモリ５２からＡＦ情報を取得する。

Ｓ５０２では、システム制御部５０は、検出被写体情報（距離情報、構図情報、人物情報、動体情報、静止体情報、フレーミング情報など）から主被写体候補を選択する。例えば、システム制御部５０は、検出被写体情報で示された各被写体に検出被写体情報に基づく優先度を割り当て、優先度が最大の被写体を主被写体候補として選択する。一例として、撮影者の操作や意思が含まれるパンやチルトなどのフレーミング情報が取得された場合を考える。この場合には、システム制御部５０は、パン方向やチルト方向に移動する被写体（撮像面上での移動量が小さい被写体）に、パン方向やチルト方向に移動しない被写体（撮像面上での移動量が大きい被写体）よりも高い優先度を割り当ててもよい。また、動体情報と静止体情報に基づいて、動体に静止体よりも高い優先度を割り当ててもよい。人物情報に基づいて、人物に他の動物や物よりも高い優先度を割り当ててもよい。構図情報に基づいて、撮像面の中心（画像の中心）に近いほど高い優先度を割り当ててもよい。距離情報に基づいて、デジタルカメラ１００に近いほど高い優先度を割り当ててもよい。

Ｓ５０３では、システム制御部５０は、主被写体候補が選択できたか否かを判定する。主被写体候補が選択できた場合はＳ５０４に進み、そうでない場合はＳ５０７に進む。

Ｓ５０４では、システム制御部５０は、追尾被写体が存在するか否か（追尾被写体情報が取得できたか否か；追尾被写体が追尾できたか否か）を判定する。追尾被写体が存在する場合はＳ５０５に進み、そうでない場合はＳ５０６に進む。

Ｓ５０５では、システム制御部５０は、追尾被写体、つまり前回の主被写体決定処理で決定された主被写体を、主被写体として引き続き決定して追尾する。そして、システム制御部５０は、追尾被写体情報をシステムメモリ５２に記録する。

Ｓ５０６では、システム制御部５０は、主被写体候補を主被写体として決定して追尾する。そして、システム制御部５０は、追尾被写体情報として、新たに決定した主被写体の情報をシステムメモリ５２に記録する。

Ｓ５０７では、システム制御部５０は、追尾被写体が存在するか否かを判断する。追尾被写体が存在する場合はＳ５０５に進み、そうでない場合はＳ５０８に進む。

Ｓ５０８では、システム制御部５０は、主被写体が存在しないと判断し、追尾を行わないようにする。システム制御部５０は、追尾被写体情報として、主被写体（追尾被写体）が存在しないことを示す情報をシステムメモリ５２に記録する。

このように主被写体を検出して追尾することで、主被写体（被写体像）の撮像面上での移動量（移動速度）を算出することが可能になる。

＜視線位置計算処理＞
図６に、デジタルカメラ１００における視線位置計算処理（Ｓ４１６）のフローチャートを示す。この処理は、システム制御部５０が不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開して実行することにより実現する。図６の視線位置決定処理は、一定周期で繰り返し行われる。

Ｓ６０１では、システム制御部５０は、図５のＳ５０５、Ｓ５０６、または、Ｓ５０８でシステムメモリ５２に記録された追尾被写体情報を、システムメモリ５２から取得する。

Ｓ６０２では、システム制御部５０は、追尾被写体情報に基づいて、主被写体（追尾被写体）が存在するか否かを判断する。主被写体が存在する場合はＳ６０４に進み、そうで
ない場合はＳ６０３に進む。

Ｓ６０３では、システム制御部５０は、視線サンプル数に値Ｘを設定し、視線サンプル数をシステムメモリ５２に記録する。視線サンプル数は、ユーザーの視線に追従させるインジケーター（ＡＦ枠など）の表示位置を決定するための視線位置の取得回数である。値Ｘは、予め定められた固定値であってもよい。値Ｘ、主被写体が存在しなくなる（主被写体が検出されなくなる）直前の視線サンプル数の値であってもよい。つまり、主被写体が存在しなくなった場合には視線サンプル数を変化しないとしてもよい。

詳細は後述するが、視線サンプル数の値に応じて視線追従性（ユーザーの視線の移動に対するインジケーターの表示の追従性（応答性））は決まる。視線サンプル数の値が大きいと、ユーザーが実際に行う視線の移動に対する表示インジケーターの移動の遅れが大きい。すなわち、視線サンプル数の値が大きいほど視線追従性（応答性）は低く、ユーザーの視線の移動に対するインジケーターの表示の遅延時間は長くなる。視線サンプル数の値が小さいと、ユーザーが実際に行う視線の移動に対する表示インジケーターの移動の遅れが小さい。すなわち、視線サンプル数の値が小さいほど視線追従性が高く、ユーザーの視線の移動に対するインジケーターの表示の遅延時間は短くなる。そのため、視線サンプル数の値は視線追従性の値とも言えるし、ユーザーの視線の移動に対するインジケーターの表示の遅延時間の値とも言える。

Ｓ６０４では、システム制御部５０は、追尾被写体情報の時間変化に基づいて、主被写体の撮像面上での移動量を算出する。移動量は、所定時間あたりの被写体の撮像面上（ライブビュー画像上）での移動距離である。

Ｓ６０５では、システム制御部５０は、主被写体の移動量がＭより小さいか否かを判定する。小さい場合はＳ６０６に進み、そうでない場合はＳ６０７に進む。

Ｓ６０６では、システム制御部５０は、視線サンプル数に値Ａを設定し、視線サンプル数をシステムメモリ５２に記録する。

Ｓ６０７では、システム制御部５０は、主被写体の移動量がＮ（Ｎ＞Ｍ）より小さいか否かを判定する。小さい場合はＳ６０８に進み、そうでない場合はＳ６０９に進む。

Ｓ６０８では、システム制御部５０は、視線サンプル数に値Ａよりも小さい値Ｂを設定し、視線サンプル数をシステムメモリ５２に記録する。

Ｓ６０９では、システム制御部５０は、視線サンプル数に値Ｂよりも小さい値Ｃを設定し、視線サンプル数をシステムメモリ５２に記録する。

Ｓ６１０では、システム制御部５０は、視線サンプル数分の視線位置（視線位置情報）を視線検出部１６０から取得する。

Ｓ６１１では、システム制御部５０は、視線サンプル数分の視線位置が取得できたか否かを判断する。取得できた場合はＳ６１２に進み、そうでない場合はＳ６１０に進む。

Ｓ６１２では、システム制御部５０は、取得した視線サンプル数分の視線位置の重心位置を計算する。

Ｓ６１３では、システム制御部５０は、Ｓ６１２で計算した重心位置の情報を、ＡＦ枠の表示位置を決定するための視線位置情報としてシステムメモリ５２に記録する。

なお、ＡＦ枠の表示位置の決定方法は、上記方法で記録された視線位置情報（重心位置）を用いる方法に限られない。例えば、重心位置を計算する代わりに、複数の視線位置を平均（単純平均または加重平均）してもよい。加重平均では、例えば、取得時刻が新しい視線位置の重みを大きくしたり、前回からの変化量（移動量）が大きい視線位置の重みを小さくしたりする。また、同等の視線位置が、視線サンプル数分以上連続して取得された場合に、ＡＦ枠の表示位置を現在の視線位置に基づいて決定してＡＦ枠の表示を更新し、そうでない場合にはＡＦ枠の表示を更新しないようにしてもよい。

＜視線位置（重心位置）の変化の具体例＞
図７（ａ），７（ｂ）を用いて、視線位置（重心位置）の変化の具体例について説明する。図７（ａ），７（ｂ）のそれぞれには、視線検出部１６０で検出された１０サンプル分の視線位置７０１～７１０が示されている。視線位置には、検出時刻が早いほど小さい番号（符号）が付されている。

図７（ａ）は、視線サンプル数が２の場合の例を示す。この場合には、視線位置７０１と視線位置７０２から重心位置７１１が算出され、視線位置７０２と視線位置７０３から重心位置７１２が算出され、同様に重心位置７１３～７１９が算出される。つまり、１０サンプル分の視線位置７０１～７１０から９サンプル分の重心位置７１１～７１９が算出される。視線サンプル数の値が小さいと、ユーザーが実際に行う視線の移動に対する表示インジケーターの移動の遅れが小さい。すなわち、視線サンプル数の値が小さいほど視線追従性（応答性）が高く、ユーザーの視線の移動に対するインジケーターの表示の遅延時間は短くなる。ユーザーの大きく素早い視線移動にも、素早くインジケーターが追従することが可能である。一方で、ユーザーの視線移動がほぼない（特定の位置を見つめている）場合には、小さな視線の揺れに対しても敏感にインジケーターの移動が行われるため、煩わしく感じる可能性がある。

図７（ｂ）は、視線サンプル数が４の場合の例を示す。この場合には、視線位置７０１～７０４から重心位置７２１が算出され、視線位置７０２～７０５から重心位置７２２が算出され、同様に重心位置７２３～７２７が算出される。つまり、１０サンプル分の視線位置７０１～７１０から７サンプル分の重心位置７２１～７２７が算出される。視線サンプル数の値が大きいと、ユーザーが実際に行う視線の移動に対する表示インジケーターの移動の遅れが大きい。すなわち、視線サンプル数の値が大きいほど視線追従性は低く、ユーザーの視線の移動に対するインジケーターの表示の遅延時間は長くなる。ユーザーの視線移動がほぼない（特定の位置を見つめている）場合には、小さな視線の揺れに対して敏感にインジケーターの移動が行われないため、ユーザーが煩わしく感じる可能性が低い。一方で、ユーザーの大きく素早い視線移動に対して素早くインジケーターが追従しないため、シャッターチャンスを逃す可能性がある。

図７（ａ），７（ｂ）から、重心位置７２１～７２７の変化は、重心位置７１１～７１９の変化よりも小さいことがわかる。つまり、図７（ｂ）では、視線位置の移動に対する重心位置の移動の応答性が、図７（ａ）よりも低いことがわかる。このように、視線位置の移動に対する重心位置の移動の応答性は、視線サンプル数を変えることで調整することができる。視線位置の移動に対する重心位置の移動の応答性が変われば、視線追従性（ユーザーの視線の移動に対するインジケーター（ＡＦ枠など）の表示の追従性（応答性））も同様に変わる。

＜ＡＦ枠の表示例＞
図８（ａ），８（ｂ）を用いて、ＡＦ枠の表示例について説明する。図８（ａ）は、ＬＶ画像の一例を示す。図８（ａ）のＬＶ画像には被写体８０１，８０２（いずれも人物）
が写っており、被写体８０１，８０２はシステム制御部５０の被写体認識処理により認識されている。ここでは、被写体８０１が主被写体として認識されたとする。図８（ｂ）は、図８（ａ）のＬＶ画像の表示例を示す。図８（ｂ）では、主被写体８０１を示すアイテム８１１と、ＡＦ枠８１２とが互いに異なる態様で表示されている。ユーザーは被写体８０２を見ているため、ＡＦ枠８１２は被写体８０２の側に表示されている。視線追従性（ユーザーの視線の移動に対するＡＦ枠８１２の表示の追従性（応答性））は主被写体８０１の移動量に応じて決定される。しかし、主被写体８０１と被写体８０２は同じ種別（人物）であるため、主被写体８０１の移動量に応じた視線追従性で被写体８０２の側にＡＦ枠８１２を表示しても問題は無く、ＡＦ枠８１２の表示を好適に行える。ＬＶ画像から検出される被写体の種別が違った場合にはＬＶ画像から検出した被写体、ＡＦ動作の設定、撮影モードの設定などから、最も高い追従性（応答性）に設定するようにする。このように制御することでユーザーが煩わしく感じる可能性があるが、ユーザーにとって最も損失が大きいと考えられるシャッターチャンスを逃すことを低減できる。

以上述べたように、本実施形態によれば、被写体（主被写体）の移動量に応じて、ユーザーの視線に追従させるインジケーター（ＡＦ枠など）の表示を好適なものにすることができ、ひいてはシャッターチャンスを逃すことなく撮影が行えるようになる。具体的には、被写体の動きが大きい（速い）場合には、視線追従性が高く設定される。これにより、被写体を追う視線の素早く大きな動きに合わせて、被写体にＡＦ枠を合わせ続けることができる。そして、被写体の動きが小さい場合には、視線追従性が低く設定される。これにより、意図せぬ視線の動き（振れ）によってＡＦ枠の表示位置が変わる（振れる）ことを抑制して、被写体にＡＦ枠を合わせ続けることができる。

なお、視線追従性に応じてインジケーターの大きさを変更してもよい。例えば、視線追従性が高いほど（被写体の移動量が大きいほど）ＡＦ枠を大きくしてもよい。そして、ＡＦ枠の領域でＡＦを行ってもよい。そうすることで、移動量が大きい被写体をＡＦ枠で捕らえやすくなり、当該被写体にピントを合わせやすくなる。

視線追従性（応答性）の設定の仕方は、上述した本実施形態に限らない。例えば、ＬＶ画像から検出された被写体の種別や動き、ユーザーによって設定された撮影モードやＡＦ動作などの設定内容に応じて視線の追従性を変化させる。ＬＶ画像から検出された被写体が動物や乗り物である場合は視線追従性を速くし、植物である場合は視線追従性を遅くする。ユーザーが撮影モードをスポーツやキッズモードなどの動きの速い被写体を撮影するモードに設定している場合は視線追従性を速くし、ポートレートや料理モードなどの動きが少ない被写体を撮影するモードに設定している場合は視線追従性を遅くする。同様に、ＡＦ動作が動き被写体の撮像に適するサーボＡＦ（コンティニュアスＡＦ）に設定されている場合は視線追従性を速くし、静止した被写体の撮像に適するワンショットＡＦに設定されている場合は視線追従性を遅くする。

被写体の動きが素早いと想定される場合には視線への追従性を高くし、被写体を追う視線の素早く大きな動きに合わせて被写体にＡＦ枠を合わせ続けることができる。被写体の動きが小さいと想定される場合には視線への追従性を低くする。これにより、意図せぬ視線の動き（振れ）によってＡＦ枠の表示位置が変わる（振れる）ことを抑制して、被写体にＡＦ枠を合わせ続けることができる。つまり、ユーザーの視線に追従させるインジケーターの表示を好適なものにすることができる。

なお、システム制御部５０が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明を撮像装置（デジタルカメラ）に適用した場合を例にして説明したが、これはこの例に限定されず、視線入力を受け付け可能な表示制御装置（電子機器）であれば適用可能である。例えば、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、本発明は、映像プレーヤー、表示装置（投影装置を含む）、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置や車載装置などに適用可能である。

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ １６０：視線検出部 ５０：システム制御部

Claims (11)

1. ユーザーの視線による視線入力を受け付ける受付手段と、
   ライブビュー画像から被写体を検出する検出手段と、
   前記ユーザーの視線位置に基づく位置にインジケーターを表示し、
   前記検出手段により検出された被写体の移動量が第１の移動量の場合は、前記ユーザーの視線の移動に対する前記インジケーターの表示の応答性を第１の応答性にし、
   前記被写体の移動量が前記第１の移動量よりも小さい第２の移動量の場合は、前記応答性を前記第１の応答性よりも低い第２の応答性にする
   ように制御する制御手段と
   を有することを特徴とする表示制御装置。
2. 前記移動量は、所定時間あたりの前記被写体の前記ライブビュー画像上での移動距離である
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記応答性を前記第１の応答性にすることは、前記ユーザーの視線の移動に対する前記インジケーターの表示の遅延時間を第１の遅延時間にすることであり、
   前記応答性を前記第２の応答性にすることは、前記遅延時間を前記第１の遅延時間よりも長い第２の遅延時間にすることである
   ことを特徴とする請求項１または２に記載の表示制御装置。
4. 前記応答性を第１の応答性にすることは、前記インジケーターの表示位置を決定するための視線位置の取得回数を第１の取得回数することであり、
   前記応答性を第２の応答性にすることは、前記取得回数を前記第１の取得回数よりも多い第２の取得回数することである
   ことを特徴とする請求項１～３のいずれか１項に記載の表示制御装置。
5. 前記制御手段は、前記検出手段により被写体が検出されない場合には、前記応答性を第３の応答性にする
   ことを特徴とする請求項１～４のいずれか１項に記載の表示制御装置。
6. 前記第３の応答性は、前記検出手段により被写体が検出されなくなる直前の応答性である
   ことを特徴とする請求項５に記載の表示制御装置。
7. 前記制御手段は、前記応答性に応じて前記インジケーターの大きさを変更する
   ことを特徴とする請求項１～６のいずれか１項に記載の表示制御装置。
8. 撮像手段と、ファインダーと、ファインダー内表示手段とをさらに有し、
   前記受付手段は、前記ファインダーに接眼したユーザーの視線入力を受け付け、
   前記制御手段は、前記ファインダー内表示手段に前記インジケーターを表示するように制御する
   ことを特徴とする請求項１～７のいずれか１項に記載の表示制御装置。
9. ユーザーの視線による視線入力を受け付けるステップと、
   ライブビュー画像から被写体を検出するステップと、
   前記ユーザーの視線位置に基づく位置にインジケーターを表示し、
   検出された被写体の移動量が第１の移動量の場合は、前記ユーザーの視線の移動に対する前記インジケーターの表示の応答性を第１の応答性にし、
   前記被写体の移動量が前記第１の移動量よりも小さい第２の移動量の場合は、前記応答性を前記第１の応答性よりも低い第２の応答性にする
   ように制御するステップと
   を有することを特徴とする表示制御装置の制御方法。
10. コンピュータを、請求項１～８のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項１～８のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images