JP2021114731A - 撮像制御装置及びその制御方法 - Google Patents

Abstract

【課題】動画の記録中に視線による処理の実行を行う際に、ユーザの意図しない処理が実行される可能性を低減させる。【解決手段】撮像制御装置は、ユーザの視線位置を検出する視線検出手段と、前記視線検出手段により検出された視線位置に応じて、撮影に関する特定の処理を行う領域を設定する設定手段と、動画の記録中において、撮像画像と撮像手段に所定以上の変化がない第１の状態の場合には、前記ユーザの視線位置に基づき前記特定の処理を行う領域を設定せず、前記第１の状態とは異なる、所定の条件を満たす第２の状態の場合には、前記視線検出手段により検出された前記ユーザの視線位置に基づいて前記特定の処理を行う領域を設定するように制御する制御手段と、を有することを特徴とする。【選択図】図３

Description

本発明は、撮像制御装置に関し、特に視線入力で特定の処理を行う技術に関するものである。

従来、ユーザの視線の位置を検出し、視線位置に応じて処理を行う技術がある。特許文献１には、検出された視線の位置に応じて撮影者が注視している測距領域を選択することが開示されている。特許文献２には、瞬きまたはうなずきが検出されたときのユーザの視線位置に対応するメニュー項目が選択されることが開示されている。

特開２００２−８２２７８号公報 特開２００９−２５１６５８号公報

動画の記録中では、特許文献１の方法では、撮影処理において、検出された視線に応じて測距領域を選択した場合、ユーザが撮影対象としている被写体から他の被写体に視線を移してしまうと、測距領域もユーザの意図に反して他の被写体に移動してしまう。そこで、特許文献２のように瞬きやうなずきに応じて測距領域を選択すると、瞬きやうなずきの瞬間に、視線位置またはカメラの位置がずれてしまい、ユーザの意図しない領域が測距領域として選択されてしまう可能性がある。

本発明は、上記の課題に鑑み、動画の記録中に視線による処理の実行を行う際に、ユーザの意図しない処理が実行される可能性を低減させることのできる撮像制御装置を提供することである。

上記課題を解決するために、本発明の撮像制御装置は、
ユーザの視線位置を検出する視線検出手段と、
前記視線検出手段により検出された視線位置に応じて、撮影に関する特定の処理を行う領域を設定する設定手段と、
動画の記録中において、撮像画像と撮像手段に所定以上の変化がない第１の状態の場合には、前記ユーザの視線位置に基づき前記特定の処理を行う領域を設定せず、
前記第１の状態とは異なる、所定の条件を満たす第２の状態の場合には、前記視線検出手段により検出された前記ユーザの視線位置に基づいて前記特定の処理を行う領域を設定するように制御する制御手段と、
を有することを特徴とする。

本発明によれば、動画の記録中に視線による処理の実行を行う際に、ユーザの意図しない処理が実行される可能性を低減させることができる。

本実施形態におけるデジタルカメラの外観図。 本実施形態におけるデジタルカメラの構成例を示すブロック図。 本実施形態における撮影処理でのＡＦ対象選択制御を例示するフローチャート。 本実施形態における視線入力に基づくＡＦ対象選択が無効な場合の表示例を示す図。 本実施形態における視線入力に基づくＡＦ対象選択が有効な場合の表示例を示す図。 本実施形態における視線入力に基づいてＡＦ対象を選択する場合の表示例を示す図。

＜デジタルカメラの外観図＞
以下、図面を参照して本発明の好適な実施形態を説明する。図１（Ａ）および図１（Ｂ）に本発明を適用可能な撮像制御装置の一例としてのデジタルカメラ１００の外観図を示す。図１（Ａ）はデジタルカメラ１００の前面斜視図であり、図１（Ｂ）はデジタルカメラ１００の背面斜視図である。

表示部２８は、デジタルカメラ１００の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル７０ａは、表示部２８の表示面（タッチ操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、デジタルカメラ１００の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ１００の様々な設定値を表示する。シャッターボタン６１は、撮影指示を行うための操作部材である。モード切替スイッチ６０は、各種モードを切り替えるための操作部材である。端子カバー４０は、デジタルカメラ１００を外部機器に接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。

メイン電子ダイヤル７１は回転操作部材であり、メイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２は、デジタルカメラ１００の電源のオン及びオフを切り替える操作部材である。サブ電子ダイヤル７３は回転操作部材であり、サブ電子ダイヤル７３を回すことで、選択枠（カーソル）の移動や画像送りなどを行える。

４方向キー７４は、上、下、左、右部分をそれぞれ押し込み可能に構成され、４方向キー７４の押した部分に応じた操作が可能である。ＳＥＴボタン７５は、押しボタンであり、主に選択項目の決定などに用いられる。

動画ボタン７６は、動画撮影モードにおいては、動画撮影（記録）の開始または停止の指示に用いられる。ＡＥロックボタン７７は押しボタンであり、撮影待機状態でＡＥロックボタン７７を押下することにより、露出状態を固定することができる。拡大ボタン７８は、撮影モードのライブビュー表示において拡大モードのオンとオフとを切り替えるボタンである。拡大モードをオンとしてメイン電子ダイヤル７１を操作することにより、ライブビュー画像を拡大または縮小することができる。また、拡大ボタン７８は、再生モードにおいて再生画像を拡大し、拡大率を増加させるボタンとして機能する。

再生ボタン７９は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００（図２を用いて後述する）に記録された画像のうち、最新の画像を表示部２８に表示させることができる。

メニューボタン８１は、メニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン８１が押されると各種の設定が可能なメニュー画面が表
示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向キー７４またはＳＥＴボタン７５を用いて直感的に各種設定をすることができる。

通信端子１０はデジタルカメラ１００が着脱可能なレンズ側と通信を行うための通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザは、接眼部１６を介して内部のＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２９（後述）に表示された映像を視認することができる。接眼検知部５７は、接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。

蓋２０２は記録媒体２００を格納したスロットの蓋である。グリップ部９０は、ユーザがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

＜デジタルカメラのブロック図＞
図２は、デジタルカメラ１００の構成例を示すブロック図である。レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、図２の例では簡略して一枚のレンズで示している。

通信端子６はレンズユニット１５０がデジタルカメラ１００側と通信を行うための通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行うための通信端子である。レンズユニット１５０は、これらの通信端子６および通信端子１０を介してシステム制御部５０と通信する。レンズユニット１５０は、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。また、レンズユニット１５０は、レンズシステム制御回路４によってＡＦ（オートフォーカス）駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、メモリ制御部１５からのデータに対し所定の画像処理（画素補間、縮小といったリサイズ処理、色変換処理等）を行う。また、画像処理部２４は、撮像した画像データ（撮像画像）を用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４により得られた演算結果に基づいて、露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介してメモリ３２に書き込まれる。あるいは、Ａ／Ｄ変換器２３からの出力データは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メ
モリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８またはＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８またはＥＶＦ２９により表示される。表示部２８およびＥＶＦ２９は、それぞれＬＣＤや有機ＥＬ等の表示器上で、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを、表示部２８またはＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）が行われる。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。

また、表示部２８およびＥＶＦ２９は複数の表示モードを有する。例えば、ＬＶ表示を行う撮影モード、撮影した画像および動画を再生する再生モード、各種の設定が可能なメニューモードなどがあり、いずれも操作部７０の操作によりユーザが任意に表示モードを切り替えることが可能である。表示モードの切替は、他の操作よりも優先して判定される。このため、表示モードの切替を検知した場合、いずれの処理が行われていても一旦処理を中断し、表示モードに応じた処理が実行される。

視線検出ブロック１６０は、接眼部１６におけるユーザの視線を検出する。視線検出ブロック１６０は、ダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、視線検出回路１６５、赤外発光ダイオード１６６により構成される。

赤外発光ダイオード１６６は、ファインダー画面内におけるユーザの視線位置を検出するための発光素子であり、ユーザの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は、視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサー等の撮像デバイスから構成される。

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は、視線検知センサー１６４の出力信号に基づき、ユーザの眼球（目）１６１の動きからユーザの視線位置を検出し、検出情報をシステム制御部５０および注視判定部１７０に出力する。

視線検出ブロック１６０は、例えば、角膜反射法と呼ばれる方式で視線を検出することができる。角膜反射法は、赤外発光ダイオード１６６から発した赤外光が眼球（目）１６１の主に角膜で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向きおよび位置を検出する方式である。視線の向きおよび位置を検出する方式は、角膜反射法に限られず、黒目と白目とで光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な方式が挙げられる。視線検出ブロック１６０は、視線の向きおよび位置を検出できる方式であれば、上記以外の方式を用いてもよい。

注視判定部１７０は、視線検出回路１６５から受け取った検出情報を元に、撮影者の視線がある領域に固定されている時間が所定の閾値を越えた場合に、その領域を注視していると判定する。所定の閾値は、例えば、ユーザ操作に応じて、システム制御部５０が有する注視判定時間制御部１７１により設定および変更可能である。

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ−ＲＯＭ等である。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２は、例えばＲＡＭであり、システム制御部５０は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０は、メモリ３２、表示部２８等を制御することにより表示制御も行う。

また、システム制御部５０は、被写体認識部１７２を備える。被写体認識部１７２は、画像処理部２４により行われる演算結果から、表示部２８画角内にある少なくとも１つの被写体を認識することが可能である。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの、一連の撮影処理の動作を開始する。

操作部７０は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部５０に各種の動作指示を入力するために使用される。図２に示すように、操作部７
０は、モード切替スイッチ６０、シャッターボタン６１、電源スイッチ７２、タッチパネル７０ａ等を含む。また、操作部７０は、その他の操作部材として、以下の操作部材を含む。すなわち、操作部７０は、メイン電子ダイヤル７１、サブ電子ダイヤル７３、４方向キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１等を含む。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ＬＶ画像を含む）や、記録媒体２００に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部５７は、ファインダーの接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくとも撮影待機状態で、表示先の切替設定が自動切替である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。

接眼検知部５７は、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（図示せず）から投光した赤外線が物体で反射して赤外線近接センサーの受光部（図示せず）で受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。

なお、接眼検知部５７の投光部および受光部は、上述の赤外発光ダイオード１６６および視線検知センサー１６４とは別体のデバイスとすることができる。ただし、接眼検知部５７の投光部は、赤外発光ダイオード１６６で兼ねてもよい。また、受光部は、視線検知センサー１６４で兼ねてもよい。

非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と離眼を検出する閾値は、例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

視線入力設定部１６７は、視線検出回路１６５による視線検出の有効または無効を設定する。あるいは、視線入力設定部１６７は、システム制御部５０の視線入力に対して実行される処理の有効または無効を設定する。ユーザは、例えば、メニュー設定により、視線検出または視線入力に対して実行される処理の有効または無効を設定することができる。

システム制御部５０は、視線検出ブロック１６０または接眼検知部５７からの出力に基づいて、接眼部１６への以下の操作、あるいは状態を検出できる。
・接眼部１６へ向けられていなかった視線が新たに接眼部１６へ向けられたこと。すなわち、視線入力の開始。
・接眼部１６へ視線入力している状態であること。
・接眼部１６へ注視している状態であること。
・接眼部１６へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・接眼部１６へ何も視線入力していない状態。
ここで注視とは、ユーザの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。

これらの操作・状態や、接眼部１６に視線が向いている位置（方向）は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は通知された情報に基づいて、接眼部１６上にどのような操作（視線操作）が行なわれたかを判定する。

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示面上の表示座標とを対応付ける。これにより、あたかもユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を提供できる。システム制御部５０は、タッチパネル７０ａへの以下の操作、あるいは状態を検出できる。

・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）。
・指やペンがタッチパネル７０ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンがタッチパネル７０ａから離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は、内部バスを通じてシステム制御部５０に通知される。システム制御部５０は、通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。

タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル７０ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。

更に、複数箇所（例えば２点）を共にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

＜ＡＦ対象選択制御＞
図３〜図６を参照して、本実施形態に係るＡＦ（オートフォーカス）対象選択の制御について説明する。ＡＦ対象は、測距領域として選択（設定）される領域または被写体である。ユーザの視線入力に基づいてＡＦ対象が選択されるようにした場合、デジタルカメラ１００側が大きく動いたり、被写体に大きな変化があると、ユーザの視線がＡＦ対象としていた被写体から外れてしまう可能性がある。これにより、ＡＦ対象がユーザの意図しない被写体になってしまう可能性がある。本実施形態に係るデジタルカメラ１００は、撮影処理において、視線入力に基づくＡＦ対象選択を有効にするか無効にするかを切り替えることで、ユーザの意図しないＡＦ対象の移動を抑制することができる。

図３は、撮影処理での視線入力によるＡＦ対象選択制御を例示するフローチャートである。図４は、視線入力に基づくＡＦ対象選択を無効にした場合（ステップＳ３０３、ステップＳ３０９）におけるＥＶＦ２９の表示例を示す。図５は、視線入力に基づくＡＦ対象選択を有効にするための条件である所定の状態変化（ステップＳ３０４）の具体例を例示
する図である。図６は、視線入力に基づいてＡＦ対象を選択した場合（ステップＳ３０５〜Ｓ３０７）におけるＥＶＦ２９の表示例を示す。

図３のフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。

図３のフローチャートは、例えば、デジタルカメラ１００が起動され、表示部２８またはＥＶＦ２９の表示モードが撮影モードに切り替えられたことにより開始される。

撮影モードは、動画撮影モードおよび静止画撮影モードを含む。ステップＳ３０３からステップＳ３１０は、動画撮影モードでの動画撮影中の処理である。ステップＳ３２０からステップＳ３２３は、動画撮影モードでの動画撮影開始前の処理である。ステップＳ３３０からステップＳ３３６は、静止画撮影モードでの処理である。

なお、図３の例では、視線入力に基づいてＡＦ対象を選択する処理は、ユーザがＡＦ対象を注視したか否かを判定してＡＦ対象を選択する処理であるものとして説明する。注視とは、ユーザの視線位置が所定時間内に所定の移動量を超えなかった状態を指す。

ステップＳ３０１では、システム制御部５０は、表示モードが動画撮影モードであるか否かを判定する。動画撮影モードである場合、処理はステップＳ３０２に進み、静止画撮影モードである場合、処理はステップＳ３３０に進む。

ステップＳ３０２では、システム制御部５０は、ユーザ操作により撮影開始の指示があったか否かを判定する。撮影開始の指示があった場合、処理はステップＳ３０３に進み、動画撮影中の処理が実行される。撮影開始の指示がない場合、処理はステップＳ３２０に進み、動画撮影前の処理が実行される。

（動画撮影モード：動画撮影中）
ステップＳ３０３では、システム制御部５０は、注視判定手段１７０による注視判定を無効にする。すなわち、システム制御部５０は、ユーザの視線入力を無効とし、注視された被写体（ＡＦ対象候補）をＡＦ対象として選択する処理を無効にする。システム制御部５０は、注視判定が無効である旨を、ＥＶＦ２９の表示情報を変更することでユーザへ通知する。

図４を用いて、ＥＶＦ２９の表示情報を変更し、注視判定が無効である旨をユーザに通知する具体例を説明する。図４は、視線入力に基づくＡＦ対象選択を無効にした場合のＥＶＦ２９の表示例（表示画像４００）である。表示画像４００は、画角内の被写体４０１〜被写体４０３を含む。

二重枠４０４は、ＡＦ制御の対象である被写体を示す枠（アイテム）であり、撮影開始前にユーザが撮影対象として選択した被写体（以下、主被写体とも称される）を囲む。実線枠４０５は、ユーザの視線位置を示す枠（アイテム）である。ＡＦ対象を示す二重枠４０４およびユーザの視線位置を示す実線枠４０５は、ＥＶＦ２９上の表示情報として表示される。なお、視線入力に基づくＡＦ対象選択が無効の場合には実線枠４０５を表示しなくてもよい。

アイテム４０６は、注視判定手段１７０による注視判定が無効、即ち、ユーザの視線入力が無効である旨をユーザへ通知するためのアイテムである。ユーザは、アイテム４０６が表示されている間は、注視判定が無効であることが分かる。図４の例では、ユーザの視
線位置は、現在の主被写体４０１とは別の被写体４０３の顔に視線位置があるが、視線に基づくＡＦ対象選択が無効であるため、被写体４０３は、ＡＦ対象として選択されない。視線に基づくＡＦ対象選択が無効である旨をユーザに通知するためのＥＶＦ２９の表示は、アイテム４０６のようなアイテムでなくても例えば、文字情報として表示されてもよい。また、アイテムや文字の表示位置は、ＡＦ対象またはユーザの視線位置を示す枠などの周囲に表示されるようにしてもよい。

ステップＳ３０４では、システム制御部５０は、所定の状態変化を検出したか否かを判定する。所定の状態変化を検出した場合、処理はステップＳ３０５に進み、所定の状態変化を検出してない場合、ステップＳ３０４の処理が繰り返される。所定の状態変化は、「主被写体が画角外に移動する」、「撮影の構図が変化する」、「画角内の被写体認識数が変化する」、「被写体の動き量が急変する」などの状態変化である。所定の状態変化は、画像処理部２４が撮像部２２による撮像画像を解析することにより検出される。

なお、所定の状態変化は上記の例に限らず、ユーザの視線位置がＡＦ対象の被写体とは異なる被写体へ意図せず移動してしまうような変化であれば所定の状態変化としてＳ３０４においてＹｅｓと判定してもよい。また、所定の状態変化の検出は上記の検出の方法以外にも、デジタルカメラ１００（撮像手段）の移動を検知することにより検出してもよい。撮像画像にも撮像手段にも上述のような所定以上の変化がなければ、システム制御部５０は、ユーザの視線位置に基づくＡＦ処理を実行しないように制御する。撮像画像と撮像手段に所定以上の変化がない状態は、「第１の状態」である。所定の状態変化が検出された（所定の条件を満たす）状態は、「第２の状態」である。

図５を用いて、視線入力に基づくＡＦ対象選択が有効になる条件である所定の状態変化の具体例を説明する。図５（Ａ）は、所定の状態変化を検出する前のＥＶＦ２９の表示例（表示画像５００ａ）である。表示画像５００ａは、画角内の被写体５０１〜被写体５０３を含む。

図５（Ｂ）は、図５（Ａ）の状態から「主被写体が画角外に移動する」という状態変化を検出した場合のＥＶＦ２９の表示例（表示画像５００ｂ）である。「主被写体が画角外に移動する」という状態変化を検出した場合、視線入力に基づくＡＦ対象選択が有効になり、視線入力によりＡＦ対象を再選択することができるようになる。

「主被写体が画角外に移動する」とは、ＡＦ対象として選択されていた被写体が、撮像画像において認識されなくなるという状態変化である。なお、撮像画像において主被写体が認識されなくなるとは、例えば、被写体認識部１７２が例えば２秒や３秒といった所定時間（所定フレーム数）の間、主被写体を認識しなかった場合である。ＡＦ対象を再選択するまでの処理は、ステップＳ３０５〜ステップＳ３０７で説明する。

図５（Ｃ）は、図５（Ａ）の状態から「構図が変化する」という状態変化を検出した場合のＥＶＦ２９の表示例（表示画像５００ｃ）である。点線枠５０６は、図５（Ａ）の状態における構図（表示画像５００ａ）を示している。構図の変化後の表示画像５００ｃは、被写体５０２、被写体５０３を含み、さらにユーザのパンニング動作によって画角内に入った被写体５０８を含む。被写体５０１は、ユーザのパンニング動作によって画角外となり、表示画像５００ｃには含まれなくなる。

矢印５０７は、ユーザのパンニング動作による構図の変化を示す。パンニング動作は、姿勢検知部５５のジャイロセンサーまたは加速度センサーによって検出可能である。システム制御部５０は、パンニング動作の検出により、撮影の構図が変化したことを検出することができる。なお、姿勢検出部５５において例えばデジタルカメラ１００が５０度や６
０度といった所定量以上ある方向に回転したことに応じて「構図が変化する」と判定するようにしてもよい。

また、システム制御部５０は、パンニング動作に限られず、チルティング動作、ローリング動作、ズーム動作、または、他の動作の検出を条件として、構図が変化したと判定する。ズーム動作では、ユーザがデジタルカメラ１００のズームを例えば１倍から５倍や、２倍から１５倍など所定量以上の変化があった場合に、構図の変化があったと判定する。「構図が変化する」という状態変化を検出した場合、ユーザは視線入力によりＡＦ対象を再選択することができる。

図５（Ｄ）は、図５（Ａ）の状態から「画角内の被写体認識数が変化する」という状態変化を検出した場合のＥＶＦ２９の表示例（表示画像５００ｄ）である。「画角内の被写体認識数が変化する」とは、撮像画像に撮像された被写体の数が変化する状態変化である。

図５（Ｄ）の例では、被写体５０９は、図５（Ａ）の状態から新たにＥＶＦ２９の画角内に入ってきた被写体である。図５（Ａ）の表示画像５００ａでは、被写体認識数は３であるが、図５（Ｄ）の表示画像５００ｄでは、被写体５０９が画角内に入ってきたことにより、被写体認識数は４に増加する。

画角内の被写体認識数の増減は、例えば、被写体認識部１７２によって撮像画像から被写体を検出することで算出可能である。「画角内の被写体認識数が変化する」という状態変化を検出した場合、ユーザは視線入力によりＡＦ対象を再選択することができる。被写体の数が増えた場合には、ユーザは新たな被写体へＡＦをしたいと考える可能性がある。また、被写体の数が減った場合にも、被写体の位置関係が変わっている可能性があるため、ＡＦ対象を変更したいとユーザが考える可能性がある。よって、被写体の数が変わったときには、視線入力に基づくＡＦ対象の選択を有効にすることで、ユーザは容易にＡＦ対象を変えることができるようになる。なお、被写体の数が例えば１５から１６に変わった場合や、２０から２１に変わった場合など、もともとの被写体の数が所定数以上である場合には、Ｓ３０４の判定をＮｏと判定してもよい。これは集合写真等で人数が多い場合には、途中で入ってきた人を新たにＡＦ対象とする可能性が低く、また人が入ってくるたびに視線入力によるＡＦ対象の選択が有効になる。これにより、視線入力によるＡＦ対象の選択が有効である時間が長くなり、一度決めたＡＦ対象からずれやすくなる。そこで、所定数以上の被写体の場合は、被写体の数が変わってもＳ３０４でＮｏと判定することで、ユーザの操作性が低下しない。

図５（Ｅ）は、図５（Ａ）の状態から「被写体の動き量が急変する」という状態変化を検出した場合のＥＶＦ２９の表示例（表示画像５００ｅ）である。矢印５１０は、被写体５０３の動き量が急変したことを説明するための矢印であり実施に表示されない。動き量の急変は、例えば、「動いていた被写体が止まった」、「止まっていた被写体が動き出した」、「被写体の動き量が所定値（例えば、撮像画角の半分や３分の１など）以上であった」などの変化が挙げられる。また、動き量の急変は、「被写体の動きの向きがもともとの動きベクトルから所定角（例えば９０度以上や１２０度以上）変化した」などの変化であってもよい。システム制御部５０は、各被写体の検出位置またはサイズの変化に基づいて、動き量の急変を検出することができる。「被写体の動き量が急変する」という状態変化を検出した場合、ユーザは視線入力によりＡＦ対象を再選択することができる。

以上、ステップＳ３０４における所定の状態変化について具体例を挙げて説明したが、これらに限られず、所定の状態変化は、ユーザが、状態変化後にＡＦ対象の再選択をする
と想定されるような状態変化であればよい。

ステップＳ３０５では、システム制御部５０は、ＡＦ対象となりうる被写体（以下、ＡＦ対象候補とも称される）を示す表示をする。システム制御部５０は、ＡＦ対象候補に対して選択枠を表示することにより、ユーザに通知することができる。

図６（Ａ）を用いて、所定の状態変化を検出した後の表示例を具体的に説明する。図６（Ａ）は、ステップＳ３０６におけるＥＶＦ２９の表示例（表示画像６００ａ）である。表示画像６００ａは、画角内の被写体６０１〜被写体６０５を含む。選択枠６０６〜選択枠６０９は、ＡＦ対象候補となる被写体を識別可能に表示してユーザへ通知するための枠である。選択枠６１０は、被写体６０５が現在のＡＦ対象であることを示すための枠であり、二重枠で表示される。このように、現在のＡＦ対象は、他のＡＦ対象候補と異なる表示態様で表示される。

アイテム６１１は、視線入力に基づくＡＦ対象の選択が有効である旨をユーザへ通知するためのアイテムである。アイテム６１１が表示されることで、ユーザは、視線入力によるＡＦ対象の再選択が可能になったことを認識することができる。

なお、所定の状態変化が検出された後、現在のＡＦ対象が画角内に存在する場合には、現在のＡＦ対象を注視し続けることで、ＡＦ対象は変更されないことを示すガイド（通知）を、ＥＶＦ２９に表示してもよい。

ステップＳ３０６では、システム制御部５０は、ユーザの視線入力を有効にし、注視判定手段１７０による注視判定を有効にする。

ステップＳ３０７では、システム制御部５０は、ユーザの視線入力によりＡＦ対象が選択されたか否かを判定する。ユーザがいずれかのＡＦ対象候補を２秒や３秒といった所定時間の間注視したことが検出されたことに応じて、ＡＦ対象を選択する。ＡＦ対象候補への注視は、注視判定部１７０により検出可能である。ユーザの視線入力によりＡＦ対象が選択された場合、処理はステップＳ３０８に進む。ＡＦ対象が選択されていない場合、ステップＳ３０７の処理が繰り返される。

ステップＳ３０８では、システム制御部５０は、視線入力により選択されたＡＦ対象候補を、ＡＦ対象の領域として設定する。システム制御部５０は、設定したＡＦ対象の領域に対してＡＦ処理をし、焦点を選択されたＡＦ対象に追尾させる処理を開始する。

ユーザの視線入力によりＡＦ対象が選択された場合、システム制御部５０は、ＥＶＦ２９の表示を変更することで、選択されたＡＦ対象をユーザへ通知する。図６（Ｂ）を用いて、ユーザの視線入力によりＡＦ対象が選択された場合の表示例を具体的に説明する。図６（Ｂ）は、図６（Ａ）の状態から、ユーザがＡＦ対象を所定時間以上注視した後の状態を示している。選択された被写体に重畳する枠は図６（Ａ）に示す枠６０６から二重の枠（図６（Ｂ）に示す枠６０６）に変わる。これにより、ユーザは、ＡＦ対象の再選択が完了したことを認識することができる。

注視されたと判定するための閾値である所定時間ｔは、可変に設定することができる。例えば、所定時間ｔは、図５（Ｂ）〜図５（Ｅ）で説明したそれぞれの状態変化に合わせて予め異なる時間が設定されてもよく、ユーザがメニュー画面等を介して設定できるようにしてもよい。システム制御部５０は、ユーザの視線入力（注視）によって選択された対象に対し、サーボＡＦを行ってもよい。

ステップＳ３０９では、システム制御部５０は、ステップＳ３０３と同様に、視線入力に基づくＡＦ対象の選択を無効にする。

ここで、ステップＳ３０７からステップＳ３０９の処理において、ユーザの視線位置が現在のＡＦ対象から他の被写体に移動しなかった場合について説明する。ステップＳ３０７では、ステップＳ３０４で所定の状態変化が検出されてから、例えば、２秒、３秒、３．５秒といった所定時間、ユーザの視線位置が現在のＡＦ対象から他の被写体に移動しなかった場合、現在のＡＦ対象からＡＦ対象を変更しない。この場合、現在のＡＦ対象に対するＡＦ処理および追尾ＡＦ処理は既に開始されているため、システム制御部５０は、ステップＳ３０８の処理を実行せず、ステップＳ３０９の処理に進む。ステップＳ３０９では、Ｓ３０４で所定の状態変化が検出されてから、現在のＡＦ対象が注視されたまま所定時間が経過した場合、視線入力に基づくＡＦ対象の選択を無効にする

ステップＳ３１０では、システム制御部５０は、動画撮影が終了したか否かを判定する。動画撮影が終了した場合、処理はステップＳ３１１に進む。動画撮影が継続されている場合、処理はステップＳ３０４へ戻る。

（動画撮影モード：動画撮影前）
ステップＳ３２０からステップＳ３２３までの処理は、動画撮影モードでの動画撮影前の処理であり、撮影開始前にユーザの視線入力に基づいてＡＦ対象の領域を選択（設定）する処理である。動画撮影モードであっても動画撮影前は、所定の状態変化を検出していなくても、システム制御部５０は、ユーザの視線入力に基づいてＡＦ対象を選択する。また、動画の撮影が終了した後など、動画の撮影中でなければ、システム制御部５０は、ユーザの視線入力に基づいてＡＦ対象の領域を設定するようにする。ステップＳ３２０からステップＳ３２３までの処理は、それぞれステップＳ３０５からステップＳ３０８までの処理と同様である。動画記録中でない場合には、ＡＦ対象の被写体が変わったとしても、記録はされていないので素早くＡＦ対象の被写体を切り替えることができるように、視線入力に基づくＡＦ対象の選択を無効にしない。

（静止画撮影モード）
ステップＳ３３０からステップＳ３３６までの処理は、静止画撮影モードでユーザの視線入力に基づいてＡＦ対象の領域を選択（設定）する処理である。静止画撮影モードでは、所定の状態変化を検出したか否かに関わらず、システム制御部５０は、ユーザの視線入力に基づいてＡＦ対象の領域を設定する。静止画撮影モードの場合には、撮影指示をしなければ記録がされないので、素早くＡＦ対象を切り替えることを優先し、視線入力に基づくＡＦ対象の選択を無効にしないようにする。

ステップＳ３３０、Ｓ３３１、Ｓ３３３、Ｓ３３４の処理は、それぞれステップＳ３０５、Ｓ３０６、Ｓ３０７、Ｓ３０８までの処理と同様である。Ｓ３３０、Ｓ３３１の処理の後は、ステップＳ３３２へ進む。

ステップＳ３３２では、システム制御部５０は、シャッターボタン６１の半押しにより第１シャッタースイッチ６２がオンとなったか（撮影準備指示がされたか）否かを判定する。第１シャッタースイッチ６２がオンとなった場合、処理はステップＳ３３３に進む。第１シャッタースイッチ６２がオンとなっていない場合、処理はステップＳ３３０に戻る。静止画撮影モードでは、撮影準備指示に応じてＳ３３４のＡＦ処理／追尾ＡＦを開始するので、Ｓ３３２において撮影準備指示がされたらＳ３３３、Ｓ３３４の処理を行う。

ステップＳ３３５では、システム制御部５０は、シャッターボタン６１の全押しにより第２シャッタースイッチ６４がオンとなったか（撮影指示がされたか）否かを判定する。
第２シャッタースイッチ６４がオンとなった場合、処理はステップＳ３３６に進む。第２シャッタースイッチ６４がオンとなっていない場合、処理はステップＳ３３２に戻る。ステップＳ３３６では、システム制御部５０は、撮影処理を実行し、静止画撮影モードの処理は終了する。

ステップＳ３１１では、システム制御部５０は、撮影処理が終了したか否かを判定する。撮影処理は、再生モードやメニュー画面に切り替えられたり、デジタルカメラ１００の電源がＯＦＦになると終了する。撮影処理が継続されている場合、処理はステップＳ３０１へ戻る。

以上、説明した実施形態によれば、動画の記録中に視線による処理の実行を行う際に、ユーザの意図しない処理が実行される可能性を低減させることができる。動画の記録中には所定の状態変化が検出されたことに応じて、視線入力に基づくＡＦ対象の選択を有効にし、そうでない場合には無効にすることで、視線位置が動いたことによって意図せずＡＦ対象が変わってしまう可能性を低減することができる。

なお、上述のステップＳ３０５、ステップＳ３２０、ステップＳ３３０では、事前に選択枠で囲むことで、ＡＦ対象候補をユーザに通知する例を示すが、選択枠は事前に表示されなくてもよい。

なお、ユーザの視線位置を通知する枠は、白色で表示したり、視線入力が有効になってから１−２秒間の間、太枠または点滅などの強調表示をしたりしてもよい。さらに、ユーザの視線位置を通知する枠は、時間の経過とともに濃くなったり、線が太くなったりして表示態様が変化してもよい。また、同じ被写体を見始めたら経過時間に応じて、枠の表示形態を例えば徐々に一重から二重へと変えるようにしてもよい。これにより、ユーザは枠の表示形態の変更が完了するまで注視すればＡＦ対象の選択が確定することを認識することができる。

なお、Ｓ３０７の判定がＹｅｓとならなくても、Ｓ３０４の判定がＹｅｓと判定された後、例えば５秒や７秒といった所定時間が経過した場合には、もともとのＡＦ対象がまだ画角内にあれば、もともとのＡＦ対象を継続するようにしてもよい。

なお、上述の実施形態では、ＡＦ対象を選択する場合を例にあげたが、測距領域の選択でなくても、測光領域（ＡＥ対象）の選択をする際にも、上述の実施形態は適用可能である。

なお、図３のステップＳ３０３では、システム制御部５０は、注視判定手段１７０による注視判定を無効にするが、これに限られず、視線検出ブロック１６０による視線検出を無効にしてもよい。

また、図３のステップＳ３０４では、所定の状態変化が検出されたか否かが判定されるが、これに限られない。システム制御部５０は、撮像画像に関する情報を取得し、取得した情報が所定の条件を満たすか否かを判定するようにしてもよい。撮像画像に関する情報は、例えば、各フレームにおける輝度情報であり、システム制御部５０は、フレーム間の輝度値の平均値の変化量が所定の閾値以上である場合に、視線入力に基づくＡＦ処理を有効にするようにしてもよい。

上記の実施形態は、視線入力に基づいてＡＦ対象を選択する処理を有効にしたり無効にしたりする例を示すが、これに限られない。本発明は、例えば、視線入力に基づいてＡＥ処理の対象となる被写体を選択する処理に対しても適用可能である。

なお、システム制御部５０が行うものとして説明した上述の各種の制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラ（撮像制御装置）に適用した場合を例にして説明したが、これはこの例に限定されず、視線入力を受け付け可能な撮像制御装置であれば適用可能である。すなわち、本発明は携帯電話端末や携帯型の画像ビューワ、ファインダーを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ（撮像制御装置）
２４ 画像処理部
５０ システム制御部
１６０ 視線検出部
１７０ 注視判定部

Claims (18)

1. ユーザの視線位置を検出する視線検出手段と、
   前記視線検出手段により検出された視線位置に応じて、撮影に関する特定の処理を行う領域を設定する設定手段と、
   動画の記録中において、撮像画像と撮像手段に所定以上の変化がない第１の状態の場合には、前記ユーザの視線位置に基づき前記特定の処理を行う領域を設定せず、
   前記第１の状態とは異なる、所定の条件を満たす第２の状態の場合には、前記視線検出手段により検出された前記ユーザの視線位置に基づいて前記特定の処理を行う領域を設定するように制御する制御手段と、
   を有することを特徴とする撮像制御装置。
2. 前記制御手段は、静止画の撮影では、前記所定の条件を満たすか否かに関わらず、前記ユーザの視線位置に基づいて前記特定の処理を行う領域を設定するように制御する
   ことを特徴とする請求項１に記載の撮像制御装置。
3. 前記制御手段は、動画撮影において、動画の撮影中でなければ、前記所定の条件を満たすか否かに関わらず、前記ユーザの視線位置に基づいて前記特定の処理を行う領域を設定するように制御する
   ことを特徴とする請求項１または２に記載の撮像制御装置。
4. 前記制御手段は、前記所定の条件を満たす第２の状態の場合には、前記ユーザの視線入力を有効にするように制御する
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像制御装置。
5. 前記制御手段は、前記所定の条件を満たす第２の状態で、前記ユーザの視線入力に基づいて前記特定の処理が実行されると、前記ユーザの視線入力を無効にするように制御することを特徴とする請求項１から４のいずれか１項に記載の撮像制御装置。
6. 前記特定の処理は、オートフォーカス（ＡＦ）処理である。
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像制御装置。
7. 前記制御手段は、前記ユーザの視線入力が有効である場合は、前記撮像画像に対し前記ユーザの視線位置を示すアイテムを表示し、前記ユーザの視線入力が無効である場合は、前記ユーザの視線位置を示すアイテムを表示しないように制御する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像制御装置。
8. 前記制御手段は、前記ユーザの視線入力が有効でない場合、前記ユーザに対し、前記ユーザの視線位置に基づく前記特定の処理の実行が有効でない旨を通知する
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像制御装置。
9. 前記制御手段は、前記ユーザの視線入力が有効である場合、前記ユーザに対し、前記ユーザの視線位置に基づく前記特定の処理の実行が有効である旨を通知する
   ことを特徴とする請求項１から８のいずれか１項に記載の撮像制御装置。
10. 前記第２の状態は、前記撮像画像に撮像された被写体の数が変化した状態である
    ことを特徴とする請求項１から９のいずれか１項に記載の撮像制御装置。
11. 前記第２の状態は、撮影対象として選択されていた被写体が前記撮像画像において認識されなくなった状態である
    ことを特徴とする請求項１から１０のいずれか１項に記載の撮像制御装置。
12. 前記第２の状態は、前記撮像画像の構図が変化した状態である
    ことを特徴とする請求項１から１１のいずれか１項に記載の撮像制御装置。
13. 前記撮像画像の構図が変化した状態は、加速度センサーまたはジャイロセンサーを用いて、前記撮像制御装置の動きを検知することにより検出される
    ことを特徴とする請求項１２に記載の撮像制御装置。
14. 前記撮像画像の構図が変化した状態は、レンズユニットの駆動を検知することにより検出される
    ことを特徴とする請求項１２または１３に記載の撮像制御装置。
15. 前記第２の状態は、前記撮像画像に撮像された被写体の動き量が所定の閾値を超えて変化した状態である
    ことを特徴とする請求項１から１４のいずれか１項に記載の撮像制御装置。
16. ユーザの視線位置を検出する視線検出ステップと、
    前記視線検出ステップにおいて検出された視線位置に応じて、撮影に関する特定の処理を行う領域を設定する設定ステップと、
    動画の記録中において、撮像画像と撮像手段に所定以上の変化がない第１の状態の場合には、前記ユーザの視線位置に基づき前記特定の処理を行う領域を設定せず、
    前記第１の状態とは異なる、所定の条件を満たす第２の状態の場合には、前記視線検出ステップにおいて検出された前記ユーザの視線位置に基づいて前記特定の処理を行う領域を設定するように制御する制御ステップと、
    を有することを特徴とする撮像制御装置の制御方法。
17. コンピュータを、請求項１から１５のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。
18. コンピュータを、請求項１から１５のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。

Images