JP2021018634A - 電子機器およびその制御方法 - Google Patents

Abstract

【課題】ユーザーが視線入力によって所望の拡大倍率で画像を確認できるようにする。【解決手段】本発明の電子機器は、表示手段を見るユーザーの視線による視線入力を受け付ける視線入力手段と、前記表示手段に表示対象を表示している際に、第１の時間よりも長い時間の注視があったことに対応する、前記視線入力の第１の条件が満たされたことに応じて、前記注視が行われた位置に基づく位置を中心に前記表示対象を拡大する拡大動作を開始し、前記注視の継続時間に応じて前記表示対象の拡大倍率を増加させ、前記拡大倍率が最大値に達する前であっても、前記視線入力の第２の条件が満たされたことに応じて、前記拡大倍率の増加を停止するように制御する制御手段とを有することを特徴とする。【選択図】図３

Description

本発明は、視線入力を受け付け可能な電子機器およびその制御方法に関する。

従来、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）などを使用して、撮影した画像をファインダー内で確認することが行われている。画像確認の際に、特定の操作部材を手で操作して画像の拡大や縮小を行うことがあるが、手を使えないことや、手袋を嵌めた状態などのように特定の操作部材を手で操作しにくいことがある。

視線入力で画像の拡大や縮小を行う技術もあり、そのような技術を用いれば、手が使えない／使いにくい状況でも、画像の拡大や縮小を容易に行うことができる。例えば、特許文献１に開示の技術では、視線入力で入力された拡大中心位置が選択可能領域内である場合に、入力された拡大中心位置を中心として所定の拡大倍率で画像が拡大される。一方で、入力された拡大中心位置が選択可能領域外である場合には、選択可能領域のうち、入力された拡大中心位置に最も近い位置を中心として所定の拡大倍率で画像が拡大される。

特開平７−２８３９９１号公報

しかしながら、特許文献１に開示の技術では、所定の拡大倍率での拡大しか行えないため、ユーザーが所望の拡大倍率で画像を確認できないことがある。

本発明は、ユーザーが視線入力によって所望の拡大倍率で画像を確認できるようにした電子機器を提供することを目的とする。

本発明の電子機器は、表示手段を見るユーザーの視線による視線入力を受け付ける視線入力手段と、前記表示手段に表示対象を表示している際に、第１の時間よりも長い時間の注視があったことに対応する、前記視線入力の第１の条件が満たされたことに応じて、前記注視が行われた位置に基づく位置を中心に前記表示対象を拡大する拡大動作を開始し、前記注視の継続時間に応じて前記表示対象の拡大倍率を増加させ、前記拡大倍率が最大値に達する前であっても、前記視線入力の第２の条件が満たされたことに応じて、前記拡大倍率の増加を停止するように制御する制御手段とを有することを特徴とする。

本発明によれば、ユーザーが視線入力によって所望の拡大倍率で画像を確認できるようになる。

デジタルカメラの外観図である。 デジタルカメラのブロック図である。 視線入力を用いた再生処理のフローチャートである。 ＥＶＦの表示例を示す図である。 視線入力を受け付け可能な他の電子機器の外観図である。

＜デジタルカメラ１００の外観図＞
以下、図面を参照して本発明の好適な実施形態を説明する。図１（ａ），１（ｂ）に、本発明を適用可能な装置の一例としてのデジタルカメラ１００の外観図を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。

表示部２８は、デジタルカメラ１００の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル７０ａは、表示部２８の表示面（タッチ操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、デジタルカメラ１００の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ１００の様々な設定値を表示する。シャッターボタン６１は撮影指示を行うための操作部材である。モード切替スイッチ６０は、各種モードを切り替えるための操作部材である。端子カバー４０は、デジタルカメラ１００を外部機器に接続するコネクタ（不図示）を保護するカバーである。

メイン電子ダイヤル７１は回転操作部材であり、メイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮとＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は回転操作部材であり、サブ電子ダイヤル７３を回すことで、選択枠（カーソル）の移動や画像送りなどが行える。４方向キー７４は、上、下、左、右部分をそれぞれ押し込み可能に構成され、４方向キー７４の押した部分に応じた処理が可能である。ＳＥＴボタン７５は、押しボタンであり、主に選択項目の決定などに用いられる。

動画ボタン７６は、動画撮影（記録）の開始や停止の指示に用いられる。ＡＥロックボタン７７は押しボタンであり、撮影待機状態でＡＥロックボタン７７を押下することにより、露出状態を固定することができる。拡大ボタン７８は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのＯＮとＯＦＦを切り替えるための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像（ＬＶ画像）の拡大や縮小を行える。再生モードにおいては、拡大ボタン７８は、再生画像を拡大したり、その拡大率を増加させるたりするための操作ボタンとして機能する。再生ボタン７９は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに遷移し、記録媒体２００（後述）に記録された画像のうち最新の画像を表示部２８に表示させることができる。メニューボタン８１はメニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン８１が押されると各種の設定が可能なメニュー画面が表示部２８に表示される。ユーザーは、表示部２８に表示されたメニュー画面と、４方向キー７４やＳＥＴボタン７５とを用いて直感的に各種設定を行うことができる。

通信端子１０は、デジタルカメラ１００がレンズユニット１５０（後述；着脱可能）側と通信を行うための通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザーは、接眼部１６を介して内部のＥＶＦ２９（後述）に表示された映像を視認することができる。接眼検知部５７は、接眼部１６にユーザー（撮影者）が接眼しているか否かを検知する接眼検知センサーである。蓋２０２は、記録媒体２００（後述）を格納するスロットの蓋である。グリップ部９０は、ユーザーがデジタルカメラ１００を構える際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１とメイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置さ
れている。サムレスト部９１（親指待機位置）は、デジタルカメラ１００の背面側の、どの操作部材も操作しない状態でグリップ部９０を握った右手の親指を置きやすい箇所に設けられたグリップ部材である。サムレスト部９１は、保持力（グリップ感）を高めるためのラバー部材などで構成される。

＜デジタルカメラ１００の構成ブロック図＞
図２は、デジタルカメラ１００の構成例を示すブロック図である。レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、図２では簡略して一枚のレンズのみで示している。通信端子６は、レンズユニット１５０がデジタルカメラ１００側と通信を行うための通信端子であり、通信端子１０は、デジタルカメラ１００がレンズユニット１５０側と通信を行うための通信端子である。レンズユニット１５０は、これら通信端子６，１０を介してシステム制御部５０と通信する。そして、レンズユニット１５０は、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。また、レンズユニット１５０は、レンズシステム制御回路４によってＡＦ駆動回路３を介してレンズ１０３を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。撮像部２２は、システム制御部５０にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の処理（画素補間、縮小といったリサイズ処理、色変換処理、等）を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、システム制御部５０は、画像処理部２４により得られた演算結果に基づいて露光制御や測距制御を行う。これにより，ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、等が行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータの送受信を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介してメモリ３２に書き込まれる。あるいは、Ａ／Ｄ変換器２３からの出力データは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８やＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８やＥＶＦ２９により表示される。表示部２８とＥＶＦ２９のそれぞれは、ＬＣＤや有機ＥＬ等の表示器上で、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを表示部２８またはＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ）が行える。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。

視線検出部１６０は、接眼部１６におけるユーザーの視線を検出する。視線検出部１６０は、ダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、視線検出回路１６５、赤外発光ダイオード１６６により構成される。なお、視線の検出に応じて、システム制御部５０が所定の処理を実行することも可能であるため、視線検出部１６０は、操作部７０の一部であるともいえる。

赤外発光ダイオード１６６は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は、視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスから構成される。

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は、視線検知センサー１６４の出力信号に基づき、ユーザーの眼球（目）１６１の動きからユーザーの視線位置を検出し、検出情報をシステム制御部５０および注視判定部１７０に出力する。

視線入力設定部１６７は、視線検出回路１６５（視線検出部１６０）による視線検出の有効または無効を設定する。または、視線入力設定部１６７は、システム制御部５０の視線入力による処理の有効または無効を設定する。例えば、このような有効／無効の設定は、メニュー設定にて、操作部７０に対する操作によってユーザーが任意に設定できる。

注視判定部１７０は、視線検出回路１６５から受け取った検出情報に基づいて、ユーザーの視線がある領域に固定されている期間が所定の閾値を越えた場合に、その領域を注視していると判定する。従って、当該領域は、注視が行われた位置である注視位置（注視領域）であるといえる。なお、「視線がある領域に固定されている」とは、例えば、所定の期間経過するまでの間、視線の動きの平均位置が当該領域内にあり、かつ、ばらつき（分散）が所定値よりも少ないことである。なお、所定の閾値は、システム制御部５０により任意に変更可能である。また、注視判定部１７０を独立したブロックとして設けず、システム制御部５０が視線検出回路１６５から受け取った検出情報に基づいて注視判定部１７０と同じ機能を実行するようにしてもよい。

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えば、ＦＬａｓｈ−ＲＯＭ等である。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２は例えばＲＡＭであり、システム制御部５０は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０は、メモリ３２、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ＬＶ画像を含む）や、記録媒体２００に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部５７は、接眼ファインダー１７（以後、単に「ファインダー」と記載する）の接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７としては、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダー１７の接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（図示せず）から投光した赤外線が物体で反射して赤外線近接センサーの受光部（図示せず）で受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えば
ヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

システム制御部５０は、注視判定部１７０または接眼検知部５７を制御することによって、接眼部１６への以下の操作、あるいは状態を検出できる。
・接眼部１６へ向けられていなかった視線が新たに接眼部１６へ向けられたこと。すなわち、視線入力の開始。
・接眼部１６へ視線入力している状態であること。
・接眼部１６へ注視している状態であること。
・接眼部１６へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・接眼部１６へ何も視線入力していない状態。

これらの操作・状態や、接眼部１６に視線が向いている位置（方向）は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は、通知された情報に基づいて接眼部１６上にどのような操作（視線操作）が行なわれたかを判定する。

操作部７０は、ユーザーからの操作（ユーザー操作）を受け付ける入力部であり、システム制御部５０に各種の動作指示を入力するために使用される。図２に示すように、操作部７０は、モード切替スイッチ６０、シャッターボタン６１、電源スイッチ７２、タッチパネル７０ａ、等を含む。また、操作部７０は、その他の操作部材７０ｂとして、メイン電子ダイヤル７１、サブ電子ダイヤル７３、４方向キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１、等を含む。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの、一連の撮影処理の動作を開始する。

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチ
パネル７０ａは、光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を提供できる。システム制御部５０は、タッチパネル７０ａへの以下の操作、あるいは状態を検出できる。

・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）。
・指やペンがタッチパネル７０ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンがタッチパネル７０ａから離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。そして、システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル７０ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

＜デジタルカメラ１００の動作＞
図３は、デジタルカメラ１００で行われる、視線入力を用いた再生処理の詳細を示すフローチャートである。この処理は、システム制御部５０が不揮発性メモリ５６に記録され
たプログラムをシステムメモリ５２に展開して実行することにより実現される。例えば、デジタルカメラ１００に電源が入り、再生モードに遷移し、接眼部１６へのユーザーの接眼を接眼検知部５７が検知すると、図３の処理が開始する。そして、接眼部１６への接眼が検知されなくなると（接眼部１６からのユーザーの離眼を接眼検知部５７が検知すると）、図３の処理が終了する。

Ｓ３０１では、システム制御部５０は、記録媒体２００に格納された画像（静止画／動画）を再生して、ＥＶＦ２９に表示する。例えば、記録媒体２００に格納された画像のうち最新の画像や、接眼部１６への接眼前に表示部２８に表示されていた画像が、ＥＶＦ２９に表示される。ＥＶＦ２９に表示する画像（表示対象）は、ユーザーからの指示に応じて変更できる。図４（ａ）は、ＥＶＦ２９の表示例を示す図であり、Ｓ３０１の処理後の状態を示す。図４（ａ）では、再生画像４００がＥＶＦ２９に表示されている。

Ｓ３０２では、システム制御部５０は、注視判定部１７０を用いて、再生画像上に注視があるか否か、つまり再生画像上に注視があることに対応する視線入力の条件が満たされたか否かを判定する。システム制御部５０は、再生画像上に注視があるのを待ち、再生画像上に注視があると、注視で再生画像の表示倍率を変更する表示倍率変更モードを設定して、Ｓ３０３に進む。注視の条件は、例えば、視線の変動がない状態だけでなく、視線の変動が閾値よりも小さい状態も注視とみなすような条件である。

Ｓ３０３では、システム制御部５０は、注視が行われた位置で当該位置を示す視線枠や、表示倍率変更モードが設定されていることを示す表示倍率変更モードマークなどのアイテムをＥＶＦ２９に表示する。図４（ｂ）は、ＥＶＦ２９の表示例を示す図であり、Ｓ３０３の処理後の状態を示す。再生画像４００上に視線枠４０１（破線）が表示されており、再生画像４００の右下に表示倍率変更モードマーク４０２（虫眼鏡マーク）が表示されている。ユーザーは、表示倍率変更モードマーク４０２から、注視で再生画像４００の表示倍率が変更されることを容易に把握できる。本実施形態では、注視が行われた位置を中心に再生画像４００が拡大される。そして、視線枠４０１の中心は注視が行われた位置に一致する。このため、ユーザーは、視線枠４０１から、注視があったと判断された位置だけでなく、拡大の中心をも容易に把握できる。なお、視線枠４０１の大きさは特に限定されず、（視線枠４０１の代わりに）注視が行われた位置を当該位置で示す点を表示してもよい。視線枠４０１と表示倍率変更モードマーク４０２の少なくとも一方を表示しなくてもよいし、視線枠４０１と表示倍率変更モードマーク４０２とは異なるアイテムを表示してもよい。

Ｓ３０４では、システム制御部５０は、注視判定部１７０を用いて、注視が時間Ｔｔｈ継続したか否かを判定する。注視が時間Ｔｔｈ継続した場合はＳ３０６に進み、そうでない場合（時間Ｔｔｈ継続せずに注視が解除された場合）はＳ３０５に進む。注視が継続している場合は、Ｓ３０４で、注視時間（注視の時間）が時間Ｔｔｈに達するのを待つ。

Ｓ３０５では、システム制御部５０は、Ｓ３０３で表示した視線枠や表示倍率変更モードマークを非表示にし、Ｓ３０２に進む。これにより、図４（ｂ）の状態から図４（ａ）の状態に遷移する。

Ｓ３０６では、システム制御部５０は、注視が行われた位置（視線枠の中心）を中心に再生画像を拡大する（拡大動作）。図４（ｃ）は、ＥＶＦ２９の表示例を示す図であり、Ｓ３０６の処理後の状態を示す。図４（ｃ）では、図４（ｂ）と同様に、再生画像４１０、視線枠４０１、及び、表示倍率変更モードマーク４０２が表示されている。但し、再生画像４１０は、再生画像４００を拡大した画像となっており、その一部（注視が行われた位置を中心とする範囲）が表示範囲として表示されている。図４（ｂ）の状態と同様に、
図４（ｃ）の状態でも、ユーザーは、表示倍率変更モードマーク４０２から、注視で再生画像４００の表示倍率が変更されていること（拡大動作が実行中であること）を容易に把握できる。そして、ユーザーは、視線枠４０１から、注視があったと判断された位置だけでなく、拡大の中心をも容易に把握できる。本実施形態では、注視時間が時間Ｔｔｈに達すると拡大動作が開始され、拡大停止のトリガーがあるまで、注視の継続時間に応じて再生画像の拡大倍率が最大値まで徐々に増加する。

Ｓ３０７では、システム制御部５０は、注視判定部１７０を用いて、拡大停止のトリガーに相当する視線入力の条件が満たされたか否か、具体的にはユーザーによる意図的な目つむりがあったか否かを判定する。目つむりがあった場合はＳ３０９に進み、そうでない場合はＳ３０８に進む。意図的な目つむりの条件、すなわち拡大停止のトリガーに相当する視線入力の条件は、例えば、以下の条件Ａである。
条件Ａ：目を開いている状態から目をつぶっている状態に変化し、目をつぶっている状態が時間Ｔ１（例えば１００ｍｓｅｃ）以上継続し、時間Ｔ２（例えば２秒）が経過する前に再び目が開かれて視線が検知される。

なお、意図的な目つむりの条件、すなわち拡大停止のトリガーに相当する視線入力の条件は、上述した条件Ａに限られない。例えば、拡大停止のトリガーに相当する視線入力の条件は、以下の条件Ｂ，Ｃなどであってもよい。
条件Ｂ：意図的な目つむりが所定回数繰り返される（所定回数は２回より多ければよい）。具体的には、条件Ａが１回満たされてから時間Ｔ３（例えば１秒）以内に再び条件Ａが満たされる（２回連続の目つむり）。
条件Ｃ：注視位置（視線枠）から時間Ｔ４よりも長く目がそらされる。

注視の解除を拡大停止のトリガーとしてもよいが、ユーザーは、拡大位置を変更せずに注視に応じた拡大を続けたくても、意図せぬ目つむり（瞬き）や目そらしで一時的に注視を解除してしまうことがある。このため、注視の解除は拡大停止のトリガーとするよりも、ユーザーによる意図的な動作を拡大停止のトリガーとするのが好ましい。このため、本実施形態では、意図的な目つむりを拡大停止のトリガーとしている。

Ｓ３０８では、システム制御部５０は、再生画像の拡大倍率が最大値であるか否かを判定する。拡大倍率が最大値である場合はＳ３０９に進み、そうでない場合はＳ３０６に進んで拡大倍率を増加させる。

Ｓ３０９では、システム制御部５０は、再生画像の拡大倍率の増加を停止する。これにより、ユーザーがＳ３０６の拡大中心を見ても再生画像が拡大されないようになる。

Ｓ３１０では、システム制御部５０は、操作ＵＩをＥＶＦ２９に表示する。図４（ｄ）は、ＥＶＦ２９の表示例を示す図であり、Ｓ３０９の処理後の状態を示す。再生画像４２０の他に、拡大アイコン４２１、縮小アイコン４２２、及び、戻りアイコン４２３が表示されている。再生画像４２０は、再生画像４００を拡大した画像（例えば最大の拡大倍率の画像）となっており、その一部（注視が行われた位置を中心とする範囲）が表示範囲として表示されている。各操作ＵＩには機能が割り当てれており、拡大アイコン４２１が注視されると再生画像を拡大するための機能が実行され、縮小アイコン４２２が注視されると再生画像を縮小するための機能が実行される。そして、戻りアイコン４２３が注視されると、再生画像の表示倍率を所定の倍率（例えば等倍）にする機能が実行される。なお、拡大アイコン４２１、縮小アイコン４２２、及び、戻りアイコン４２３の少なくともいずれかを表示しなくてもよいし、拡大アイコン４２１、縮小アイコン４２２、及び、戻りアイコン４２３とは異なるアイテムを表示してもよい。

Ｓ３１１では、システム制御部５０は、Ｓ３１０で表示された操作ＵＩへの注視があったか否かを判定する。操作ＵＩへの注視があるのを待ち、操作ＵＩへの注視があるとＳ３１２に進む。

Ｓ３１２では、システム制御部５０は、Ｓ３１１で注視があった操作ＵＩが拡大アイコン４２１、縮小アイコン４２２、及び、戻りアイコン４２３のいずれであるかを判定する。拡大アイコン４２１の場合は、注視拡大処理（Ｓ３０２〜Ｓ３０９の処理、つまり注視の継続で再生画像を徐々に拡大する処理）が行われるようにＳ３０２に進み、縮小アイコン４２２の場合はＳ３１３に進み、戻りアイコン４２３の場合はＳ３１４に進む。

Ｓ３１３では、システム制御部５０は、注視縮小処理（Ｓ３０２〜Ｓ３０９の処理における「拡大」を「縮小」に置き換えた処理、つまり注視の継続で再生画像を徐々に縮小する処理）を行い、Ｓ３１０に進む。なお、初期状態で行われるのは注視拡大処理でなくてもよく、注視縮小処理であってもよい。

Ｓ３１４では、システム制御部５０は、注視拡大処理による拡大や注視縮小処理による縮小を取り消して再生画像の表示倍率を所定の倍率にし、注視拡大処理が行われるようにＳ３０２に進む。なお、注視縮小処理が行われるようにＳ３１３に進んでもよい。操作ＵＩ（拡大アイコン４２１、縮小アイコン４２２、及び、戻りアイコン４２３）が表示される直前に行われていた処理に進むようにしてもよい。すなわち、注視拡大処理の後に戻りアイコン４２３が注視された場合はＳ３０２に進み、注視縮小処理の後に戻りアイコン４２３が注視された場合はＳ３１３に進んでもよい。

以上のように、本実施形態によれば、再生画像の拡大や縮小を注視で開始し、注視の継続で表示倍率を徐々に変更することで、ユーザーは、手を使えない／使いにくい状況でも、視線入力によって所望の表示倍率で画像を確認できる。

なお、システム制御部５０が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、再生画像上（再生画像内）での注視に応じて再生画像の拡大や縮小を行う例を説明したが、再生画像外での注視に応じても再生画像の拡大や縮小を行うようにしてよい。その場合は、注視が行われた位置を中心に再生画像の拡大や縮小を行ってもよいし、注視が行われた位置に基づく他の位置、例えば再生画像のうち、注視が行われた位置にもっと近い位置を中心に再生画像の拡大や縮小を行ってもよい。

注視拡大処理（Ｓ３０２〜Ｓ３０９）の場合と注視縮小処理（Ｓ３１４）の場合とで、表示倍率変更モードマーク４０２を変えてもよい。そうすることで、注視で行われる処理が注視拡大処理なのか注視縮小処理なのかを、ユーザーが容易に把握できる。

拡大アイコン４２１の注視に応じて注視拡大処理（Ｓ３０２〜Ｓ３０９）が行われるようになり、縮小アイコン４２２の注視に応じて注視縮小処理（Ｓ３１４）が行われるようになる例を説明したが、これに限られない。例えば、拡大アイコン４２１を注視している間、再生画像の中心や、表示範囲（再生画像のうち、表示されている範囲）の中心などの
所定位置を中心として再生画像を徐々に拡大してもよい。同様に、縮小アイコン４２２を注視している間、所定位置を中心として再生画像を徐々に縮小してもよい。

視線入力で再生画像の拡大や縮小を行う例を説明したが、撮影の際に、視線入力でＬＶ画像のデジタルズーム（ズームインやズームアウト）を行うようにしてもよい。この場合は、表示対象がＬＶ画像であり、ズームインが上述した拡大に対応し、ズームアウトが上述した縮小に対応する。視線入力でメニュー画面などの拡大や縮小を行うようにしてもよい。メニュー画面などの表示倍率は視線入力で変更しないようにしてもよい。

また、上述した実施形態においては、本発明をデジタルカメラ（撮像装置）に適用した場合を例にして説明したが、これはこの例に限定されず、視線入力を受け付け可能な電子機器であれば適用可能である。例えば、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、ヘッドマウントディスプレイ（ＨＭＤ）などのウェアラブル機器、表示装置（投影装置を含む）、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置、車載装置、医療機器などにも適用可能である。

＜他の電子機器への適用例＞
図５（ａ）は、本発明を適用したノート型パーソナルコンピュータ５１０（ノートＰＣ）の外観図である。図５（ａ）では、ノートＰＣ５１０の表示部５１１を見るユーザーを撮像する撮像ユニット５１５がノートＰＣ５１０に接続されており、ノートＰＣ５１０は撮像ユニット５１５から撮像結果を取得する。そして、ノートＰＣ５１０は、撮像結果に基づいてユーザーの視線を検知し、表示部５１１に表示した画像への注視に応じて当該画像の拡大や縮小を行う。なお、本発明を適用した電子機器は、視線検知の結果を視線入力として受け付けるインターフェースを有していればよく、外部機器で視線検知が行われてもよい。つまり、撮像ユニット５１５が視線検知を行い、ノートＰＣ５１０が撮像ユニット５１５から視線検知の結果を取得してもよい。

図５（ｂ）は、本発明を適用したスマートフォン５２０の外観図である。図５（ｂ）では、スマートフォン５２０は、インカメラ５２１（フロントカメラ）の撮像結果に基づいてユーザーの視線を検知し、表示部５２２に表示した画像への注視に応じて、当該画像の拡大や縮小を行う。

図５（ｃ）は、本発明を適用したゲーム機５３０の外観図である。図５（ｃ）では、ゲームのＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像を表示するヘッドマウントディスプレイ５３５（ＨＭＤ）が、ゲーム機５３０に接続されている。ＨＭＤ５３５は、ＨＭＤ５３５を装着したユーザーの目を撮像するカメラ５３７を有しており、ゲーム機５３０は、ＨＭＤ５３５から撮像結果を取得する。そして、ゲーム機５３０は、撮像結果に基づいてユーザーの視線を検知し、ＨＭＤ５３５の表示部５３６に表示したＶＲ画像への注視に応じて、当該ＶＲ画像の拡大や縮小を行う。ＨＭＤに表示したＶＲ画像の拡大や縮小に本発明が適用可能であるのと同様に、眼鏡型のウェアラブル端末のレンズ部分などに表示したＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像の拡大や縮小にも本発明は適用可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ ５０：システム制御部 １６０：視線検出部

Claims (13)

1. 表示手段を見るユーザーの視線による視線入力を受け付ける視線入力手段と、
   前記表示手段に表示対象を表示している際に、
   第１の時間よりも長い時間の注視があったことに対応する、前記視線入力の第１の条件が満たされたことに応じて、前記注視が行われた位置に基づく位置を中心に前記表示対象を拡大する拡大動作を開始し、
   前記注視の継続時間に応じて前記表示対象の拡大倍率を増加させ、
   前記拡大倍率が最大値に達する前であっても、前記視線入力の第２の条件が満たされたことに応じて、前記拡大倍率の増加を停止する
   ように制御する制御手段と
   を有することを特徴とする電子機器。
2. 前記注視は、前記視線の変動が閾値よりも小さい状態に対応する
   ことを特徴とする請求項１に記載の電子機器。
3. 前記拡大動作は、前記注視が行われた位置を中心に前記表示対象を拡大する動作であることを特徴とする請求項１または２に記載の電子機器。
4. 前記制御手段は、さらに、前記拡大動作の実行中に第１のアイテムを前記表示手段に表示するように制御する
   ことを特徴とする請求項１〜３のいずれか１項に記載の電子機器。
5. 前記制御手段は、前記第１のアイテムとして、前記拡大動作が実行中であることを示すアイテムと、前記注視が行われた位置で当該位置を示すアイテムとの少なくとも一方を表示するように制御する
   ことを特徴とする請求項４に記載の電子機器。
6. 前記第２の条件は、意図的な目つむりがあったことに対応する、前記視線入力の条件を含む
   ことを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
7. 前記第２の条件は、意図的な目つむりが所定回数繰り返されたことに対応する、前記視線入力の条件を含む
   ことを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
8. 前記第２の条件は、前記注視が行われた位置から第２の時間よりも長く目がそらされたことに対応する、前記視線入力の条件を含む
   ことを特徴とする請求項１〜７のいずれか１項に記載の電子機器。
9. 前記制御手段は、さらに、前記拡大倍率の増加を停止した後に第２のアイテムを前記表示手段に表示するように制御する
   ことを特徴とする請求項１〜８のいずれか１項に記載の電子機器。
10. 前記制御手段は、前記第２のアイテムとして、前記表示対象を拡大するための機能が割り当てられたアイテム、前記表示対象を縮小するための機能が割り当てられたアイテム、及び、前記表示対象の表示倍率を所定の倍率にするための機能が割り当てられたアイテムの少なくともいずれかを表示し、表示された前記第２のアイテムに対する注視に応じて、注視されたアイテムに割り当てられた機能を実行するように制御する
    ことを特徴とする請求項９に記載の電子機器。
11. 表示手段を見るユーザーの視線による視線入力を受け付ける視線入力手段を有する電子機器の制御方法であって、
    前記表示手段に表示対象を表示している際のステップとして、
    第１の時間よりも長い時間の注視があったことに対応する、前記視線入力の第１の条件が満たされたことに応じて、前記注視が行われた位置に基づく位置を中心に前記表示対象を拡大する拡大動作を開始するように制御するステップと、
    前記注視の継続時間に応じて前記表示対象の拡大倍率を増加させるように制御するステップと、
    前記拡大倍率が最大値に達する前であっても、前記視線入力の第２の条件が満たされたことに応じて、前記拡大倍率の増加を停止するように制御するステップと
    を有することを特徴とする電子機器の制御方法。
12. コンピュータを、請求項１〜１０のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
13. コンピュータを、請求項１〜１０のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images