JP2021099643A - 電子機器およびその制御方法 - Google Patents

Abstract

【課題】 ユーザーの視線と所定の操作により、インジケーターを視線入力位置へ移動したあとの操作性を改善することができる【解決手段】 ユーザーの視線による視線入力を受け付ける受付手段と、操作手段に対する操作に応じて、インジケーターの移動の制御を行う制御手段であって、前記受付手段で、前記視線入力を受け付けている場合に、前記操作手段に対する操作が第１の条件を満たすと、前記インジケーターを前記視線入力に基づく位置に移動させ、前記インジケーターを前記視線入力に基づく位置に移動させた後、前記操作手段に対する操作が第２の条件を満たさなければ、前記第１の条件を満たしても前記インジケーターを移動せず、前記操作手段に対する操作が前記第２の条件を満たせば、前記視線入力に基づく位置から操作量に応じた移動量で前記インジケーターを移動するように制御することを特徴とする。【選択図】 図４

Description

本発明は、ユーザーの視線による視線入力が可能な電子機器、及び電子機器の制御方法に関するものである。

従来、ユーザーによるマウス操作で、マウスポインタの位置を移動させる電子機器が提案されている。また近年、ユーザーの視線方向を検出し、ユーザーがどの領域（位置）を見ているかをディスプレイに表示できる電子機器が知られている。特許文献１には、ユーザーがポインティングデバイスに対して特定の操作を行った際に、検出したユーザーの視線入力位置にポインターを移動・表示し、所定時間ポインターを固定させることが開示されている。

特許第６５０４０５８号

しかし特許文献１では、視線によりマウスポインタをジャンプしたあとに所定時間が経過すると、ポインティングデバイスへの操作に応じてディスプレイに表示されるポインターが移動してしまう。視線入力位置へポインターが移動した後、デバイスへの操作を継続し、ユーザーが所定時間経過したことに気づかなかった場合、ユーザー所望の位置とは別の位置へと移動してしまうことが生じる。

そこで本発明は、ユーザーの視線と所定の操作により、インジケーターを視線入力位置へ移動したあとの操作性を改善することを目的とする。

上記目的を達成するために、本発明は、
ユーザーの視線による視線入力を受け付ける受付手段と、
操作手段に対する操作に応じて、インジケーターの移動の制御を行う制御手段であって、
前記受付手段で、前記視線入力を受け付けている場合に、
前記操作手段に対する操作が第１の条件を満たすと、前記インジケーターを前記視線入力に基づく位置に移動させ、
前記インジケーターを前記視線入力に基づく位置に移動させた後、前記操作手段に対する操作が第２の条件を満たさなければ、前記第１の条件を満たしても前記インジケーターを移動せず、
前記操作手段に対する操作が前記第２の条件を満たせば、前記視線入力に基づく位置から操作量に応じた移動量で前記インジケーターを移動するように制御することを特徴とする。

本発明によれば、ユーザーの視線と所定の操作により、インジケーターを視線入力位置へ移動したあとの操作性を改善することができる。

パーソナルコンピュータの外観図である。 パーソナルコンピュータの構成を示すブロック図である。 ユーザーの視線入力とマウスへの操作に応じた、ディスプレイ上でのポインターの移動についての表示例である。 ユーザーの視線入力位置にポインターが移動したあとのマウスの操作に応じた、ディスプレイ上でのポインターの移動についての表示例である。 ユーザーの視線入力とマウスを使用して、ディスプレイ上に表示されるポインターを制御する制御処理フローチャートである。 機能設定画面の表示例である。

以下、図面を参照して、本発明の各実施例の動作を説明する。

図１に、本発明を適用可能な装置（電子機器）の一例としてのパーソナルコンピュータ（以下、ＰＣ）１００の外観図を示す。図１はノート型のＰＣを開いた状態の図である。図２は、本実施形態によるＰＣ１００の構成例を示すブロック図である。

内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、記録媒体Ｉ／Ｆ１０６が接続されている。また同様に、内部バス１５０には、外部Ｉ／Ｆ１０８、通信Ｉ／Ｆ１０９、システムタイマー１１１、操作部１１２、視線検出ブロック１１３、カメラ部１１４が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。

ＣＰＵ１０１は、ＰＣ１００の全体を制御する制御部であり、少なくとも１つのプロセッサーまたは回路からなる。メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、ＰＣ１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は例えばフラッシュメモリやＲＯＭ、ハードディスク（ＨＤ）などで構成される。

画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０７に格納された画像データや、外部Ｉ／Ｆ１０８を介して取得した映像信号、通信Ｉ／Ｆ１０９を介して取得した画像データなどに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。

ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成してディスプレイ１０５に出力するようにＰＣ１００の各部を制御する。ディスプレイ１０５は出力された映像信号に基づいて映像を表示する。また、各種情報を表示する、ＰＣ１００に設けられた表示部である。なお、ＰＣ１００自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５は外付けのモニタ（テレビなど）で構成してもよい。

記憶媒体Ｉ／Ｆ１０６は、メモリーカードやＣＤ、ＤＶＤといった記録媒体１０７が装着可能とされ、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０７からのデータの読み出しや、当該記録媒体１０７に対するデータの書き込みを行う。

外部Ｉ／Ｆ１０８は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。

通信Ｉ／Ｆ１０９は、外部機器やインターネット１１０などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

システムタイマー１１１は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

操作部１１２は、キーボードなどの文字情報入力デバイスや、タッチパッド１１２ａ、タッチパネル１１２ｂ、マウス１１２ｃといったユーザー操作を受け付けるための入力デバイスを含む。これらに限らず、３次元空間上のチルトとロールの回転量で操作量を判定する３次元空間ポインティングデバイスやボタン、ダイヤル、ジョイスティックなども含む。タッチパネル１１２ｂはタッチ操作可能な操作部材であり、ディスプレイ１０５の表示面（操作面）に対するタッチ操作を検出することができる。タッチパネル１１２ｃとディスプレイ１０５とは一体的に構成することができる。マウス１１２ｃは表面部に押し込み操作可能なクリック部を有し、マウス１１２ｃを右手で握った際の人差し指が置かれる部分を左クリック部、中指が置かれる部分を右クリック部と呼ぶ。クリック部に対してクリック操作を行うことで、例えばディスプレイ１０５に表示されるファイルを選択したり、クリック操作を継続したままマウス１１２ｃを動かすことで範囲を選択したりできる。なお、操作部１１２は外付けのデバイスで構成してもよい。操作部１１２が受け付けたユーザー操作によっては、後述する、ディスプレイ１０５に表示しているポインターを視線入力位置に移動させる、というトリガーとして用いる。

ＣＰＵ１０１はタッチパッド１１２ａへの以下の操作、あるいは状態を検出できる。
・タッチパッド１１２ａにタッチしていなかった指が新たにタッチパッド１１２ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する）。
・タッチパッド１１２ａを指でタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）。
・タッチパッド１１２ａを指でタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）。
・タッチパッド１１２ａへタッチしていた指を離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）。
・タッチパッド１１２ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指がタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパッド１１２ａ上に指がタッチしている位置座標は内部バスを通じてＣＰＵ１０１に通知され、ＣＰＵ１０１は通知された情報に基づいてタッチパッド１１２ａ上にどのような操作が行なわれたかを判定する。タッチムーブについてはタッチパッド１１２ａ上で移動する指の移動方向についても、位置座標の変化に基づいて、タッチパッド１１２ａ上の垂直成分・水平成分毎に判定できる。またタッチパッド１１２ａ上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパッド１１２ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパッド１１２ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でタッチムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパッド１１２ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパッドのうちいずれの方式のものを用いても良い。方式によって、タッチパッドに対する接触があったことでタッチがあったと検出する方式や、タッチパッドに対する指の接近があったことでタッチがあったと検出する方式ものがあるが、いずれの方式でもよい。

赤外発光ダイオード１１６は、ユーザーの視線入力位置を検出するための発光素子であり、ユーザーの眼球（目）に赤外光を照射する。赤外発光ダイオード１１６から発した赤外光は眼球（目）で反射し、その赤外反射光は視線検知センサー１１５の撮像面に結像する。視線検知センサー１１５は、ＣＣＤ型イメージセンサ等の撮像デバイスから成る。視線検知センサー１１５は、入射された赤外反射光を電気信号に光電変換して視線検出回路１１４へ出力する。視線検出回路１１４は少なくとも１つのプロセッサーを含み、視線検知センサー１１５の出力信号に基づき、ユーザーの眼球（目）の画像または動きからユーザーの視線入力位置を検出し、検出情報をＣＰＵ１０１に出力する。このように視線検出回路１１４、視線検知センサー１１５、赤外発光ダイオード１１６により視線検出ブロック１１３が構成される。視線検出ブロック１１３は、視線入力を受け付ける受付手段のうちの１つである。

本発明では視線検出ブロック１１３を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード１１６から発した赤外光が眼球（目）の、特に角膜で反射した反射光と、眼球（目）の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。前述した赤外発光ダイオード１１６を備えなくても、後述するカメラ部１２０によって、眼球（目）を撮影して、視線入力位置を検出してもよい。

本実施形態では、ＰＣ１００が視線検出ブロック１１３を備えた形態を説明したが、視線検出ブロック１１３は外付けの視線検出機器で構成してもよい。すなわち、外付けの視線検出機器をＰＣ１００に接続することで、ユーザーの視線入力位置を検出する形態でも本実施形態は実現可能である。

ＣＰＵ１０１は視線検出ブロック１１３からの出力に基づいて以下の操作、あるいは状態を検知できる。
・ユーザーの視線入力がある状態であること。
・ユーザーが注視している状態であること。
・ユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・ユーザーが何も視線入力していない状態。

ここで述べた注視とは、ユーザーの視線入力位置が所定時間内に所定の移動量を超えなかった場合のことを指す。

カメラ部１２０は、ＰＣ１００のディスプレイ１０５と同じ面側に配置されたカメラである。カメラ部１２０で撮影した画像は、ディスプレイ１０５に表示することができる。また、前述したように、視線検出ブロック１１３が有している専用のカメラ１１７を使用しなくても、ＰＣ１００に搭載されているカメラ部１２０を使用して、ユーザーの視線入力位置を検出することもできる。この場合、前述したような角膜反射法ではなく、カメラ部１２０で撮影した画像から、ユーザーの顔の向きや眼球（目）の向きから視線入力位置を検出する。

操作部１１２への操作のうちタッチパネル１１２ｂへのタッチムーブ操作は、タッチムーブ操作に応じた位置指標の位置の指定方法を、絶対位置指定と相対位置指定のいずれかに設定することができる。例えば位置指標がディスプレイ１０５に表示されるポインターとすると、絶対位置指定の場合、タッチパネル１１２ｂがタッチされると、タッチされた位置（座標入力された位置）に対応付けられたポインターが設定される。つまり、タッチ操作が行われた位置座標と、ディスプレイ１０５の位置座標とが対応づけられる。一方相対位置指定の場合は、タッチ操作が行われた位置座標とディスプレイ１０５の位置座標とは対応付けられない。相対位置指定では、タッチパネル１１２ｂに対するタッチダウン位置に関わらず、現在表示されているポインター位置からタッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、タッチ位置を移動させる。これに対して、タッチパネル１１２ｂ以外の操作方法である、タッチパッド１１２ａ、マウス１１２ｃ、その他ポインティングデバイスへの操作は、相対位置指定のみとなる。

本実施形態では、ユーザーの視線入力がある状態で操作手段への所定の操作が行われると、ディスプレイ１０５に表示されるポインターが視線入力位置へ移動する。

図３は、ユーザーの視線入力と外付けのマウス１１２ｃへの操作に応じた、ディスプレイ１０５におけるポインターの移動についての表示例を示す図である。

図３（ａ）、（ｂ）は、ユーザーによる視線入力がある場合のディスプレイ１０５とマウス１１２ｃの動きの一例を示す図である。ユーザーによる視線入力がある、すなわち、視線検出ブロック１１３においてユーザーの視線が検出できている場合を考える。視線入力がある状態で図３（ｂ）に示すようなマウス１１２ｃの操作が行われると、ディスプレイ１０５に表示されるポインター（矢印）がマウス１１２ｃへの操作量に対応した量、位置３０２ａ（操作前のポインターの位置）から位置３０３ａへと移動する。マウス１１２ｃの操作量に応じて移動するポインターの移動量は、ユーザーが任意に設定できるものとする。例えば、マウス１１２ｃの操作量に比例した移動量でポインターを移動させる。マウス１１２ｃの操作量に応じて移動する図３（ａ）、（ｂ）に示す状態で図３（ｃ）、（ｄ）において後述する、マウス１１２ｃを左右に振る操作を行うと、ディスプレイ１０５に表示されるポインターは視線入力位置へ移動する。

図３（ｃ）、（ｄ）は、ユーザーによる視線入力がある場合のディスプレイ１０５とマウス１１２ｃの動きの一例を示す図である。この状態で図３（ｄ）に示すようなマウス１１２ｃを左右に振る操作を行うと、図３（ｃ）のディスプレイ１０５上の位置３０４ｃ（操作前のポインターの位置）に表示されていたポインターが、ユーザーの目３００による視線入力位置である位置３０５ｃに移動する。これによりユーザーは少ない操作量で位置３０４ｃから位置３０５ｃまでポインターを移動させることができる。

図４は、図３で説明したユーザーの視線入力位置にポインターが移動したあとの操作に応じた、ディスプレイ１０５におけるポインターの移動についての表示例を示す図である。

図４（ａ）、（ｂ）は、図３（ｃ）、（ｄ）で前述したマウス１１２ｃを左右に振る操作を行い、ディスプレイ１０５に表示されるポインターを視線入力位置に移動したあと、マウス１１２ｃを左右に振る操作を継続して行った場合を示す図である。図３（ｃ）、（ｄ）において視線入力位置にポインターを移動させた後、マウス１１２ｃへの操作を終了することなく左右に操作し続けた（図４（ｂ））場合、ディスプレイ１０５に表示されるポインターは目３００の位置である位置３０５ｃに固定される。すなわち、視線入力位置である位置３０５ｃに移動した後、マウス１１２ｃを左右に振る操作を行ってもポインターは左右には動かない。また、位置３０５ｃにポインターを移動させた後、ポインターが固定されていることをユーザーに知らせるために、アイコン４０１ａを表示する。図４（ａ）では、鍵が閉まっているアイコンを表示することで、ポインターの移動ができない（固定されている）ことを通知する。しかし、図４（ａ）に示すようなアイコンでなくても、ユーザーがポインターの固定、もしくは、固定解除を識別可能な形態であれば、これに限らない。例えば、固定されている間のみポインターの色や形を変化させてもよい。固定状態でマウス１１２ｃへの操作があった場合は、固定されている位置で、ポインターを小刻みに震えるような表示にしてもよい。

図４（ｃ）、（ｄ）は、図３（ｃ）、（ｄ）においてマウス１１２ｃを左右に振る操作で視線入力位置である位置３０５ｃにポインターを移動させた後、マウス１１２ｃを止める操作を行った場合の、ディスプレイ１０５に表示されるポインターの表示形態である。図４（ｂ）に示すマウス１１２ｃを左右に振る操作から、図４（ｄ）に示すマウス１１２ｃを静止する操作に変化させた場合、ユーザーは意図的にマウス１１２ｃを静止させたと想定できる。これにより、ユーザーは視線入力位置に移動させたあと、次の操作に移るために、固定したポインターの固定を解除したいと考えている可能性がある。なお、マウス１１２ｃを止める操作によって、ユーザーの目３００による視線入力位置に移動させたポインターの固定を解除する例を述べたが、図５のフローチャートのＳ５１２で後述するように、止める操作に限らない。単位時間当たりの移動量が所定値よりも小さい場合に、前述したような制御としてもよい。

図４（ｅ）、（ｆ）は、図４（ｃ）、（ｄ）においてマウス１１２ｃを静止したことにより、ディスプレイ１０５に表示されるポインターの固定が解除され、操作が行えるようになることを示す図である。図３（ｃ）、（ｄ）においてユーザーの目３００による視線入力位置である位置３０５ｃにポインターを移動させたあとポインターを固定（図４（ａ））し、マウス１１２ｃの静止（図４（ｄ））があったことに応じて、ポインターの固定を解除する。具体的には、図４（ｅ）に示すように、ポインターが固定されていることを示すアイコン４０１ａから、ポインターの固定が解除されたことを示すアイコン４０１ｅに変化させる。アイコン４０１ｅは、鍵が開いた状態の絵で描かれている。本実施形態では、ポインターの固定が解除された場合にも、アイコン４０１ａとは異なる、固定が解除されたことを示すアイコン４０１ｅを表示するようにしたが、ただ単にアイコン４０１ａを非表示にするようにしてもよい。すなわち、ポインターの固定が解除された際は、固定されている間に変化させたポインターの表示形態を、固定されていない場合（通常時）のポインターの表示形態に戻すようにするだけでもよい。図４（ｃ）、（ｄ）で前述したように、マウス１１２ｃへの操作を終了したことによって、ユーザーは次の操作へ移るために、ポインターの固定を解除したいと考えている可能性がある。そのため、マウス１１２ｃへの操作が一時的に止まったことに応じて、ポインターへの固定を解除し、ユーザーの次の操作へ移ることができるようにする。図４（ｆ）に示すようなマウス１１２ｃの操作があった場合は、ポインターの固定が解除されているため、マウス１１２ｃの操作量に応じた量だけ、ポインターを図４（ｅ）に示す位置４０２ｅから位置４０３ｅへ移動させる。図４（ｅ）に示す位置４０３ｅにポインターを移動させたあと、再び位置４０３ｅにおいてユーザーが図４（ｂ）に示すようなマウス１１２ｃを左右に振る操作を行った場合は、ユーザーの視線入力位置である位置３０５ｃへポインターが移動する。

図５は、ＰＣとマウスなどの操作手段、視線検出器を駆動させて、ユーザーの視線入力とマウス操作を使用して、ＰＣのディスプレイに表示されるポインターを制御する制御処理フローチャートである。この制御処理はＰＣ１００において、ＣＰＵ１０１が不揮発性メモリ１０３に格納されたプログラムを実行することにより実現される。図５のフローチャートは、ＰＣ１００を起動し、視線検出器を起動し、視線検出を有効にしている際に開始される。また、視線検出器の機能の一つとして、視線入力位置へワープという機能を有する場合を考える。図６に示すような設定画面において、視線入力位置へワープを示す項目６０１の機能説明と、視線入力位置へポインターをワープさせるための、各操作部材に対する操作の例を領域６０２に示している。設定候補である候補６０３、もしくは候補６０４のいずれかを選択することで、視線入力位置へワープ機能のＯＮ／ＯＦＦを切り替えることができる。図６では、候補６０３が選択されていることにより、視線入力位置へワープ機能がＯＮになっていることがわかる。

Ｓ５０１では、ＣＰＵ１０１は、視線入力位置へポインターをワープする機能がＯＮであるか否かを判定する。機能がＯＮである場合は、Ｓ５０２へ進み、そうでない場合は本制御フローチャートを終了する。

Ｓ５０２では、ＣＰＵ１０１は、マウス操作があったか否かを判定する。マウス操作があった場合は、Ｓ５０３へ進み、そうでない場合は、Ｓ５１４へ進む。

Ｓ５０３では、ＣＰＵ１０１は、ユーザーの視線を検出したか否かを判定する、ユーザーの視線を検出した場合は、Ｓ５０４へ進み、そうでない場合はＳ５０６へ進む。

Ｓ５０４では、ＣＰＵ１０１は、マウス操作が視線入力位置へのワープを行うための条件となる所定の操作であったか否かを判定する。所定の操作であった場合は、Ｓ５０５へ進み、そうでない場合はＳ５０６へ進む。所定の操作とは、例えば以下のような操作である。
・左右に数回振る操作（右または左に所定距離以上ドラッグされたあとに反対方向に所定距離以上ドラッグする往復操作が、所定回数以上（例えば３回）繰り返される操作）
・視線入力位置の方向への操作（操作前のポインター位置から視線入力位置の方向へ所定距離以上ドラッグする操作）
・クリック操作もしくはタッチダウンを継続したままの移動操作（マウス１１２ｃへのクリック操作、もしくは、タッチパッド１１２ａでのタッチダウンを所定時間以上継続したまま移動を行う操作）

なお、前述した左右に数回振る操作では、操作方向を所定回数以上切り替える往復操作であればよいため、左右方向だけではなく、左上（左下）や右上（右下）方向でもよいし、上下方向でもよい。

本実施形態ではＰＣ１００に対してマウス１１２ｃを左右に数回振る操作を用いて、ポインターを視線入力位置へワープさせる場合を説明したが、ユーザーによる意図的な操作であると判定できる操作であればこれに限らない。具体的には、ＰＣ１００に備えられているタッチパッド１１２ａを使用してもよいし、ポインティングデバイスを用いて、前述した操作を行っても本実施形態を実現可能とする。前述した所定の操作に加えて、タッチパッド１１２ａでは以下の所定の操作でもよい。
・タッチダウンの継続操作（タッチパッド１１２ａにタッチダウンをし、タッチムーブすることなくタッチダウン位置で所定時間以上タッチダウンを継続する操作）
タッチパネル１１２ｂや４方向に操作可能な方向キー（十字キー）では、以下の所定の操作でもよい。
・タッチムーブ操作（タッチパネル１１２ｂへの位置指定が相対位置指定である場合に、視線入力位置の方向への所定距離以上のタッチムーブ操作）
・方向キーの長押し操作（十字キーの左右上下いずれか１つの方向キーを所定時間以上長押しする操作）

上記の操作はいずれも、操作部材への所定量以上の操作である。所定量以上の操作でなければ視線入力位置へポインターがワープしないようにしたのは、ユーザーが視線入力位置へのワープとは別の操作指示を行いたいのではなく、ワープを行う意図があったことを確実に判別するためである。仮に、所定量未満の操作でもワープしてしまうと、次のような不都合が生じる。例えば、マウス１１２ｃへのクリック操作により視線入力位置にポインターがワープすると、ユーザーは単にポインター位置のアイテムを選択したいと考えていたにもかかわらず、視線入力位置にポインターが移動し、混乱を招いたり、操作性を悪く感じてしまう。

Ｓ５０５では、ＣＰＵ１０１は、ポインターを視線入力位置に移動させる。Ｓ５０４での所定の操作を検出したことから、ユーザーの目３００が見ている視線入力位置にポインターを移動させる（ワープさせる）。このとき、視線入力位置にポインターが移動する方法として、本実施形態では、表示されている位置（移動前の位置）から視線入力位置へポインターが瞬時に移動（ワープ）するような形態を説明したが、これに限らない。ポインターの移動先は、元々表示されていたポインター位置と視線入力位置の相対的な位置を考慮し、視線入力位置の少し手前までポインター位置を瞬時に移動させた後、視線入力位置にアニメーションしながら徐々に移動させてもよい。このような表示形態にすると、ユーザーはポインターが視線入力位置に瞬時に移動したことをわかりやすい。これにより、ユーザーが観ている視線の位置にマウスポインタが来るので、マウスポインタを見失っていたり、移動させたい位置に対して、現在のマウスポインタ位置が遠かったりした際に、ユーザーの使い勝手が向上する。

Ｓ５０６では、ＣＰＵ１０１は、マウス１１２ｃの操作量に応じた量だけポインターを相対位置移動する。図３（ｂ）、図４（ｆ）に示すようなマウス１１２ｃの操作に応じて、図３（ａ）、図４（ｅ）に示すようにマウス１１２ｃの操作量に応じた量だけ、ポインターを相対位置移動する。

Ｓ５０７では、ＣＰＵ１０１は、ディスプレイ１０５に表示されるポインターの移動をロックする。Ｓ５０６において視線入力位置に移動したポインターを固定し、マウス操作が行われてもポインターを移動しないようにする。これにより、視線入力位置に移動したポインターが、マウス操作によってポインターが視線入力位置からさらに移動し、ユーザーがポインターを見失う可能性を低減することができる。また、ポインターの固定をユーザーに認識させるために、図４（ａ）に示すアイコン４０１ａをポインター近傍に表示する。

Ｓ５０８では、ＣＰＵ１０１は、ポインターの固定を解除するための条件判定を行うために、システムタイマー１１１の持つタイマーをリセットして開始する。また、マウスの操作量を記憶するための変数を初期化し、メモリ１０２に保存する。

Ｓ５０９では、ＣＰＵ１０１は、マウス１１２ｃへの操作があったか否かを判定し、操作があった場合はＳ５１０へ進み、そうでない場合はＳ５１１へ進む。

Ｓ５１０では、ＣＰＵ１０１は、Ｓ５０９でのマウス１１２ｃの操作量を、メモリ１０２に保存されているマウス１１２ｃの操作量を記憶する変数に加算して記録する。

Ｓ５１１では、ＣＰＵ１０１は、Ｓ５０８で開始したタイマーが満了したかどうかを判定する。タイマーが満了していた場合はＳ５１２へ遷移し、タイマーが満了していなかった場合はＳ５０９へ戻る。ここでのタイマーは具体的に０．２５秒程度の時間とする。

Ｓ５１２では、ＣＰＵ１０１は、Ｓ５１０で加算して記憶したマウス１１２ｃへの操作量が所定値以下であったか否かを判定する（すなわち、所定時間当たり、本実施形態では０．２５秒当たりの操作量が所定値以下であったかを判定する）。所定値以下だった場合は、Ｓ５１３へ遷移し、そうでない場合はＳ５０８へ戻る。すなわち、操作部材への連続した操作の終了があったか否かを判定する。本実施形態でのマウス１１２ｃの場合、マウス１１２ｃが一時的に静止したか否かを判定する。マウス１１２ｃが一時的に静止した場合は、ユーザーは視線入力位置にポインターが移動したことを視認し、次の操作に移ろうとしている可能性が高い。なお、Ｓ５０８〜Ｓ５１２で説明したマウス１１２ｃが一時的に静止したか否かの判定に加えて、あるいは代えて、次の場合にポインターの固定を解除してもよい。
・マウス１１２ｃもしくはタッチパッド１１２ａを用いたクリック操作の終了
・タッチパッド１１２ａへのタッチムーブなしのタッチダウンの終了（タッチアップ）
・タッチパネル１１２ｂからのタッチアップ
・十字キーの方向キーへの長押し操作の終了

マウス１１２ｃや十字キーのように明示的にデバイスへの操作の有無を判定しやすいデバイスであれば、Ｓ５１２で判定する操作量の所定値を限りなく０に近い小さい値にすることができる。すなわち、ｘ方向とｙ方向の両方の変位量が０（無操作）としてもよい。一方で、３次元空間ポインティングデバイスのような無操作のつもりでも微動してしまうデバイスでは、前述した所定値を０ではなく、ある程度の大きさの値に設定してもよい。すなわち、操作するデバイスの特性に応じて分けてもよいし、ユーザーが任意に設定できるようにしてもよい。いずれにしても、ユーザーが一旦操作を意図的にやめた（区切りをつけた）と想定されるものである。

Ｓ５１３では、ＣＰＵ１０１は、Ｓ５０７で行ったディスプレイ１０５に表示されるポインターの固定を解除する。Ｓ５０７において表示した、ポインターが固定されていることを示すアイコン４０１ａを、ポインターの固定が解除されたことを示す図４（ｅ）のアイコン４０１ｅへと変化させる。

Ｓ５１４では、ＣＰＵ１０１は、処理が終了したか否かを判定する。終了した場合は本制御フローチャートを終了し、そうでない場合、Ｓ５０１へ戻る。処理の終了とは、ＰＣ１００の電源やディスプレイ１０５のオフ、視線検出ブロック１１３が外付けの場合の視線検出ブロック１１３の取り外しなどである。視線入力位置へポインターをワープさせたあとにポインターの固定が解除される。その後Ｓ５１４からＳ５０１へ戻ったのち、マウス１１２ｃへ操作が行われると、図４（ｅ）に示すように、マウス１１２ｃへの操作量に応じた量だけディスプレイ１０５に表示されたポインターを移動させる。このとき、Ｓ５０４で前述したような所定の操作が行われても、視線入力位置にポインターをワープすることなく、操作量に応じた量だけポインターを移動させる。

図３〜図５で説明したディスプレイ１０５に表示されるポインターは、同じくディスプレイ１０５に表示されるファイルやフォルダなどの表示アイテムを選択可能なインジケーターである。このインジケーターを移動して、例えばフォルダを選択（クリック動作やダブルクリック動作など）すると、ファイルにカーソルが表示され該当ファイルが選択されていることを表示したり、フォルダ内の一覧を表示（一階層下の画面やページへ遷移）したりする。アイコンをクリックすると、アイコンに対応するプログラムの実行処理を行う。また、表示アイテムを選択するだけに限らず、クリック操作によりクリック位置を基準として所定の処理を行う。例えば、撮像センサーで撮像されているライブビュー画像がディスプレイ１０５に表示されている場合に、ＡＦ（自動焦点検出）実行するためのＡＦ位置（ＡＦ枠の表示位置）の指定を行い、ＡＦ処理を実行する。クリックしたままマウス１１２ｃを移動させる操作でディスプレイ１０５に表示する画像に処理を行う範囲を決定するための基準となる位置の指定を行い、画像処理（トリミングや拡大／縮小など）を実行する。

図３（ａ）、（ｂ）では、ユーザーの視線入力がない場合は、マウス１１２ｃへの操作に応じた量だけディスプレイ１０５に表示したポインターを移動させる。図３（ｃ）、（ｄ）では、ユーザーの視線入力がある場合に、ユーザーによるマウス１１２ｃへの所定の操作が行われると、ディスプレイ１０５に表示されているポインターが視線入力位置へと移動する。これにより、ユーザーが見ている位置にポインターが移動するため、少ない操作量で所望の位置へとポインターを移動させることができる。

図４（ａ）、（ｂ）では、図３（ｃ）、（ｄ）において視線入力位置にポインターを移動させた後、ユーザーによるマウス１１２ｃへの所定の操作が継続された場合に、視線入力位置に移動したポインターを固定する。これにより、ユーザーは視線入力位置に移動させたポインターを視認することなく、マウス１１２ｃへの操作によってポインターがさらに別の位置へ移動してしまうことがない。すなわち、ユーザーが視線入力位置に移動したポインターによる誤操作を低減することができる。

図４（ｃ）、（ｄ）では、マウス１１２ｃを静止させるといったような、ユーザーが意図的に行った操作を検出できるまでは、視線入力位置に移動させたポインターの固定を解除しない。マウス１１２ｃを静止させるような操作は、ユーザーが意図的に行っている可能性が高い。すなわち、視線入力位置に移動したポインターの固定は、ユーザーが意図的に行ったと想定できる操作が検出されるまでは固定を解除しない。このような制御にすることで、ユーザーが視線入力位置に移動したポインターを見つけない間は固定を継続することができ、ユーザーの意図しないポインターの移動を低減できる。例えば所定時間経過によってポインターの固定が解除されてしまうと、ユーザーが視線入力位置に移動したポインターを見つける前に固定が解除されてしまう可能性があり、操作性が悪い。ユーザーがポインターを視認した時点で、ユーザーによる操作を（例えばマウス１１２ｃの静止を）行うことで、素早く所望のタイミングでポインターの固定を解除することができる。

図４（ｅ）、（ｆ）では、図４（ｃ）、（ｄ）においてユーザーがマウス１１２ｃを静止させたことから、視線入力位置に移動したポインターの固定を解除し、マウス１１２ｃへの操作量に応じた量だけディスプレイ１０５に表示されるポインターを移動させる。

これらの制御により、ユーザーは現在表示されているポインターと所望の位置とが遠く離れていても、ポインターへの所定の操作を行うことで視線入力位置に瞬時にポインターを移動させることができる。さらには、ユーザーが視線入力位置に移動させたポインターを見つける（視認する）まではポインターを固定することで、ユーザーの意図に反したポインターの移動が行われない。これにより、視線入力位置にポインターを移動させることができ、移動させたあとのポインターを見失うことなく誤操作も低減することができる。また、ユーザーの意図的な操作と考えられる操作によって、ポインターの固定を解除できることから、所定時間待つことなく、ユーザーの所望のタイミングで固定を解除し、次の操作へ素早く移ることができる。

なお、ＣＰＵ１０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

なお、上述した各実施形態においては、本発明をパーソナルコンピュータに適用した場合を例にして説明したが、これはこの例に限定されず、視線入力を検出できる機能を有する電子機器であれば適用可能である。すなわち、本発明は、視線入力を検出できる機能を有したデジタルカメラなどの撮像装置に適用してもよい。デジタルカメラの有する背面液晶装置などに表示したカーソルなどのインジケーターを、十字キーへの操作によって視線入力位置へワープし、十字キーへの操作の継続／終了に応じてインジケーターの固定／固定解除を制御できる。さらに、視線入力を検出できる機能を有するものであれば、以下の装置でも本発明は適用可能である。例えば、ＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置。デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに本発明を適用可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (17)

1. ユーザーの視線による視線入力を受け付ける受付手段と、
   操作手段に対する操作に応じて、インジケーターの移動の制御を行う制御手段であって、
   前記受付手段で、前記視線入力を受け付けている場合に、
   前記操作手段に対する操作が第１の条件を満たすと、前記インジケーターを前記視線入力に基づく位置に移動させ、
   前記インジケーターを前記視線入力に基づく位置に移動させた後、前記操作手段に対する操作が第２の条件を満たさなければ、前記第１の条件を満たしても前記インジケーターを移動せず、
   前記操作手段に対する操作が前記第２の条件を満たせば、前記視線入力に基づく位置から操作量に応じた移動量で前記インジケーターを移動するように制御することを特徴とする電子機器。
2. 前記第２の条件は、
   前記操作手段に対する連続した操作の終了であることを特徴とする請求項１に記載の電子機器。
3. 前記第２の条件は、
   前記操作手段に対する単位時間当たりの操作量が所定値以下となることであることを特徴とする請求項１または２に記載の電子機器。
4. 前記第２の条件は、
   操作の一時的な静止、操作の終了、のうち少なくとも１つであることを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 前記制御手段は、
   前記インジケーターを前記視線入力に基づく位置に移動する前に、前記操作手段に対する操作が前記第１の条件を満たさなければ、前記視線入力に基づく位置にかかわらず、移動前の前記インジケーターの位置から前記操作手段に対する操作量に応じた移動量で前記インジケーターを移動するように制御することを特徴とする請求項１に記載の電子機器。
6. 前記第１の条件は、
   前記操作手段に対する所定量以上の操作であることを特徴とする請求項１または５に記載の電子機器。
7. 前記第１の条件は、
   操作方向を所定回数以上切り替える往復操作、操作を所定時間以上継続したままの移動操作、長押し操作、のうち少なくとも１つであることを特徴とする請求項１、５、６のいずれか１項に記載の電子機器。
8. 前記制御手段は、
   前記操作手段に対する操作が前記第１の条件を満たすと、前記操作手段への操作量にかかわらず、前記インジケーターを前記視線入力に基づく位置に移動させることを特徴とする請求項１、５乃至７のいずれか１項に記載の電子機器。
9. 前記インジケーターは、
   表示手段に表示される表示アイテムを選択するためのインジケーターであることを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。
10. 前記インジケーターは、
    所定の処理を施す基準となる位置を指定するためのインジケーターであることを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。
11. 前記所定の処理は、
    ＡＦ処理、画像処理、プログラムの実行処理の少なくとも１つであることを特徴とする請求項１０に記載の電子機器。
12. 前記制御手段は、
    前記インジケーターを前記視線入力に基づく位置に移動させた後、前記操作手段に対する操作が
    前記第２の条件を満たす前と、前記第２の条件を満たした後とで、
    前記インジケーターの表示形態を異ならせるように制御することを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
13. 前記操作手段は、マウス、タッチ操作可能なタッチ操作手段、空間上で操作可能なポインティングデバイス、４方向に操作可能な方向キー、のうち少なくとも１つであることを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。
14. 前記制御手段は、
    前記受付手段で受け付けた前記視線入力に基づく位置を、表示手段に表示するように制御することを特徴とする請求項１乃至１３のいずれか１項に記載の電子機器。
15. ユーザーの視線による視線入力を受け付ける受付ステップと、
    操作手段に対する操作に応じて、インジケーターの移動の制御を行う制御ステップであって、
    前記受付ステップで、前記視線入力を受け付けている場合に、
    前記操作手段に対する操作が第１の条件を満たすと、前記インジケーターを前記視線入力に基づく位置に移動させ、
    前記インジケーターを前記視線入力に基づく位置に移動させた後、前記操作手段に対する操作が第２の条件を満たさなければ、前記第１の条件を満たしても前記インジケーターを移動せず、
    前記操作手段に対する操作が前記第２の条件を満たせば、前記視線入力に基づく位置から操作量に応じた移動量で前記インジケーターを移動するように制御することを特徴とする電子機器の制御方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１乃至１４のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images