JP2018097443A - Input system and input program - Google Patents
Input system and input program Download PDFInfo
- Publication number
- JP2018097443A JP2018097443A JP2016239009A JP2016239009A JP2018097443A JP 2018097443 A JP2018097443 A JP 2018097443A JP 2016239009 A JP2016239009 A JP 2016239009A JP 2016239009 A JP2016239009 A JP 2016239009A JP 2018097443 A JP2018097443 A JP 2018097443A
- Authority
- JP
- Japan
- Prior art keywords
- cursor
- viewpoint
- control unit
- user
- button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、入力システム、入力プログラムに関する。 The present invention relates to an input system and an input program.
従来、利用者の視線に基づく指示入力と、ハード操作による指示入力の両方の構成を備えるシステムが知られている。例えば特許文献１には、利用者の視点に基づいて対象のアイコンが選択され、スイッチ操作に応じて当該アイコンに対応する処理が実行されることが記載されている。特許文献２には、マウス操作を行っていない期間に視点に基づくカーソル移動を有効とする手法が記載されている。 2. Description of the Related Art Conventionally, a system including both an instruction input based on a user's line of sight and an instruction input by hardware operation is known. For example, Patent Document 1 describes that a target icon is selected based on a user's viewpoint, and processing corresponding to the icon is executed in accordance with a switch operation. Japanese Patent Application Laid-Open No. 2004-228561 describes a method for enabling cursor movement based on the viewpoint during a period in which no mouse operation is performed.
画面に表示された選択肢を利用者が注視したことによって当該選択肢を選択する構成の場合、ポインティングデバイス等の入力機器に対する操作によって選択肢を選択する場合よりも手軽であり利用者の負担を軽減できる。しかし、視点検出の誤差によって利用者が実際に注視している選択肢を選択できない場合がある。また、視点による入力と操作による入力とが可能なシステムにおいて、画面に表示されたいずれかの選択肢を選択する（選択肢の選択を入力する）ために利用者が行う行為は、簡易な行為であることが、利便性向上の観点から望ましい。
本発明は、上記課題にかんがみてなされたもので、視点による入力と操作による入力が可能なシステムにおいて、画面に表示された選択肢を選択する際の利便性を向上させることを目的とする。
The configuration in which the user selects the option by gazing at the option displayed on the screen is simpler than the case of selecting the option by operating an input device such as a pointing device and can reduce the burden on the user. However, there are cases where the option that the user is actually watching cannot be selected due to an error in viewpoint detection. In addition, in a system that allows input by viewpoint and input by operation, the action that the user performs to select one of the options displayed on the screen (input selection of the option) is a simple action This is desirable from the viewpoint of improving convenience.
The present invention has been made in view of the above problems, and an object of the present invention is to improve convenience when selecting an option displayed on a screen in a system that allows input by viewpoint and input by operation.
上記の目的を達成するため、入力システムは、利用者の視点を検出する視点検出部と、利用者の操作を検出する操作検出部と、操作に応じてカーソルを移動させる表示制御部と、カーソルの移動後に視点が既定範囲内に第一時間以上存在する場合、移動後のカーソルが示す選択肢の選択を決定する決定制御部と、を備える。 In order to achieve the above object, an input system includes a viewpoint detection unit that detects a user's viewpoint, an operation detection unit that detects a user's operation, a display control unit that moves a cursor according to the operation, and a cursor A determination control unit that determines selection of an option indicated by the cursor after the movement when the viewpoint is present within the predetermined range for the first time or longer after the movement.
さらに、上記の目的を達成するため、入力プログラムは、コンピュータを、利用者の視点を検出する視点検出部、利用者の操作を検出する操作検出部、操作に応じてカーソルを移動させる表示制御部、カーソルの移動後に視点が既定範囲内に第一時間以上存在する場合、移動後のカーソルが示す選択肢の選択を決定する決定制御部、として機能させる。 In order to achieve the above object, the input program includes a computer, a viewpoint detection unit that detects a user's viewpoint, an operation detection unit that detects a user's operation, and a display control unit that moves a cursor according to the operation. When the viewpoint is present within the predetermined range for the first time or longer after the cursor is moved, it is made to function as a determination control unit that determines selection of an option indicated by the cursor after the movement.
本入力システム、プログラムによると、利用者は操作によってカーソルを移動させた後、任意の位置を第一時間以上注視するという簡易な行為によって、移動後のカーソルが示す選択肢を選択することができる。視点検出には誤差が生じうるため、任意の位置を第一時間以上注視したか否かは、任意の位置を含む既定範囲内に視点が第一時間以上継続して存在したか否かによって判定される。操作によるカーソル移動後の視点が当該既定範囲に第一時間以上存在することを、移動後のカーソル位置の選択肢の選択を決定する条件とすることにより、利用者は厳密に視点を任意の位置に合わせようとする必要がない。また、利用者が操作によってカーソルを移動させた後に注視する位置は任意であり、利用者は特定の位置を注視する必要はない。したがって、本入力システム、プログラムによると、利用者は簡易な行為によって画面に表示されたいずれかの選択肢を選択することができる。その結果、選択肢を選択する際の利便性を向上させることができる。 According to this input system and program, the user can select an option indicated by the moved cursor by a simple action of moving the cursor by an operation and then gazing at an arbitrary position for the first time or longer. Since errors may occur in viewpoint detection, whether or not an arbitrary position has been watched for more than the first time is determined by whether or not the viewpoint has been continuously present within the predetermined range including the arbitrary position for more than the first time. Is done. By setting the viewpoint after the cursor movement by the operation to exist in the predetermined range for the first time or more as a condition for determining the selection of the choice of the cursor position after the movement, the user can strictly set the viewpoint to an arbitrary position. There is no need to try to match. The position at which the user gazes after moving the cursor by operation is arbitrary, and the user does not need to gaze at a specific position. Therefore, according to the present input system and program, the user can select any option displayed on the screen by a simple action. As a result, convenience when selecting an option can be improved.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）入力システムの構成：
（２）ＵＩ制御処理：
（２−１）カーソル描画処理：
（２−２）決定処理：
（３）動作例：
（４）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of input system:
(2) UI control processing:
(2-1) Cursor drawing process:
(2-2) Determination process:
(3) Example of operation:
(4) Other embodiments:
（１）入力システムの構成：
図１は、本発明の一実施形態である入力システム１０の構成を示すブロック図である。入力システム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。
(1) Configuration of input system:
FIG. 1 is a block diagram showing a configuration of an
本実施形態において、制御部２０は、ナビゲーションプログラム（不図示）や入力プログラム２１を実行することができる。制御部２０は、ナビゲーションプログラムを実行することにより、表示部としてのディスプレイ４０に地図を表示し、図示しないＧＰＳ信号等に基づいて入力システム１０が搭載された車両を指定の目的地まで誘導することができる。
In the present embodiment, the
本実施形態においては、ナビゲーションプログラムに関して利用者が目的地等の情報を入力するユーザインタフェース（ＵＩ）を提供するため、制御部２０は、図示しないＲＯＭや記録媒体３０等に記録された入力プログラム２１を実行する。当該入力プログラム２１には後述するカーソル描画処理や決定処理を含むＵＩ制御処理が含まれる。これらの処理を実行するため、車両は、ディスプレイ（表示部）４０、タッチパッド４１および視線検出センサ４２を備えている。
In the present embodiment, in order to provide a user interface (UI) for a user to input information such as a destination regarding the navigation program, the
ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。タッチパッド４１は、矩形平面の接触検出面を備えた入力デバイスであり、接触検出面に対して検出対象物が接触した位置を検出し、検出位置を示す座標を出力する。制御部２０は、当該座標に基づいて接触位置を取得する。
The
視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。
The line-of-
以上の構成において、制御部２０は、ディスプレイ４０およびタッチパッド４１をＵＩとして利用し、ＵＩ画面を介して利用者による入力を受け付ける。ＵＩ画面には利用者が選択する選択肢を示すオブジェクトとしてのボタンが複数含まれうる。複数のボタンのうち仮選択中のボタンを示すため当該ボタンにはカーソルが表示される。カーソルは仮選択中のボタンを示す図形である。
In the above configuration, the
本実施形態では、カーソルは利用者の視点に基づいて移動する。すなわち利用者が見ているボタンにカーソルが移動するように構成される。また、カーソルが位置するボタンを利用者が注視する（第一時間以上見る）と、当該ボタンの選択が決定され（仮選択が本選択となる）、当該ボタンの選択時に対応付けられた処理が実行される。なお本実施形態では、カーソルの移動はタッチパッド４１へのスワイプ操作によっても可能に構成されている。このような構成を実現するために入力プログラム２１は、視点検出部２１ａと操作検出部２１ｂと表示制御部２１ｃと決定制御部２１ｄとを備えている。
In the present embodiment, the cursor moves based on the user's viewpoint. That is, the cursor is moved to the button that the user is looking at. Further, when the user watches the button where the cursor is located (viewed for the first time or more), the selection of the button is determined (temporary selection is the main selection), and the process associated with the selection of the button is performed. Executed. In this embodiment, the cursor can also be moved by a swipe operation on the
視点検出部２１ａは、利用者の視点を検出する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となるディスプレイ４０の位置が、車室内空間の位置を既定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の表示面との交点を視点として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えば、インストルメントパネル等）上に存在すると判定されても良い。
The
操作検出部２１ｂは、タッチパッド４１に対する利用者の操作を検出する機能を制御部２０に実現させるプログラムモジュールである。制御部２０は操作検出部２１ｂの処理により、タッチパッド４１から出力される信号に基づいて、利用者が接触したタッチパッド４１上の座標を取得する。制御部２０は、経時的な当該座標の変化に基づいて利用者の操作（タップ操作やスワイプ操作等）を特定する。
The
表示制御部２１ｃは、ディスプレイ４０（表示部）にＵＩ画面を表示する機能を制御部２０に実現させるプログラムモジュールである。ＵＩ画面を構成するオブジェクトを描画するための画像情報（地図描画情報やアイコン描画情報、カーソル描画情報等）は予め表示情報３０ａとして記録媒体３０に記録されている。制御部２０が入力プログラムを実行すると、制御部２０は表示情報３０ａを参照してボタンやカーソルや背景等のオブジェクトを含むＵＩ画面をＲＡＭに記録する（ＲＡＭに描画する）。制御部２０は、表示制御部２１ｃの処理により、当該描画されたＵＩ画面の情報を取得し、当該ＵＩ画面を表示するための制御信号をディスプレイ４０に対して出力する。この結果、ナビゲーションプログラムを含む各プログラムにおけるＵＩ画面がディスプレイ４０に表示される。
The
また表示制御部２１ｃは、タッチパッド４１に対する操作に応じて、または、利用者の視点に応じて、カーソルの表示位置を移動させる機能を制御部２０に実現させる。具体的には、制御部２０は、タッチパッド４１に対する操作がスワイプ操作であった場合に、それまでカーソルが表示されていたボタンから、タッチパッド４１に対する接触座標が変化した方向および距離に応じた位置に表示されているボタンにカーソルを移動して表示させる。また制御部２０は、視点の位置にボタンが表示されている場合に当該ボタンにカーソルを表示させる。したがって後述する無効期間に該当しない場合、視点の移動にカーソルが追従する。
Further, the
決定制御部２１ｄは、操作に応じたカーソルの移動後に視点が既定範囲内に第一時間（例えば１秒）以上存在する場合に移動後のカーソルが示すボタンの選択を決定する機能を制御部２０に実現させるプログラムモジュールである。また、決定制御部２１ｄは、視点に追従してカーソルが移動した後、既定範囲内に視点が第一時間以上存在する場合に、移動後のカーソルが示すボタンの選択を決定する機能を制御部２０に実現させる。また決定制御部２１ｄは、いずれかのボタンの選択が決定されると、当該ボタンに対応する処理を実行する。
The
（２）ＵＩ制御処理：
次に、制御部２０が実行するＵＩ制御処理を、図２を参照しながら説明する。ＵＩ制御処理は、ディスプレイ４０にＵＩ画面を表示する期間中、予め決められた周期で繰り返し実行される。なおＵＩ制御処理が初めて実行される前にＵＩ制御処理で使用する各種の変数が初期化される。具体的には、後述する無効期間カウンタが０に初期化される。また、固着判定用経過時間カウンタが０に初期化される。また既定範囲を示す座標を保持する変数に無効な値が設定される。
(2) UI control processing:
Next, UI control processing executed by the
ＵＩ制御処理が開始されると、制御部２０は視点検出部２１ａの処理により、利用者の視点を検出する（ステップＳ３００）。すなわち、制御部２０はディスプレイ４０の画面内において視点が位置する座標を取得する。ステップＳ３００で取得した視点の座標は後述するカーソル描画処理のステップＳ１００、および、決定処理のステップＳ２００で参照される。
When the UI control process is started, the
続いて制御部２０は表示制御部２１ｃの処理により、カーソル以外のオブジェクトを描画する（ステップＳ３０５）。すなわち、後述するカーソル描画処理や決定処理の内容に応じたＵＩ画面を構成するオブジェクトであってカーソル以外のオブジェクトをＲＡＭに描画する。例えば背景や複数のボタン等がＲＡＭに描画される。続いて制御部２０はカーソル描画処理を実行する（ステップＳ３１０）。カーソル描画処理はカーソルをＲＡＭに描画する処理である。続いて制御部２０は決定処理を実行する（ステップＳ３１５）。決定処理は、ＵＩ画面に表示された複数のボタンのうちいずれかのボタンの選択を決定する処理である。
Subsequently, the
続いて制御部２０は、描画された内容をディスプレイ４０に表示させる。すなわち、ステップＳ３０５およびステップＳ３１０にてＲＡＭに描画されたオブジェクトを、制御信号に応じてディスプレイ４０に出力する。その結果、ディスプレイ４０の表示内容が更新される。
Subsequently, the
（２−１）カーソル描画処理：
続いてＵＩ制御処理のステップＳ３１０で実行されるカーソル描画処理の詳細について図３を参照しながら説明する。カーソル描画処理が開始されると、表示制御部２１ｃの処理により制御部２０は、ＵＩ制御処理のステップＳ３００で検出した視点の座標を取得する（ステップＳ１００）。続いて制御部２０は操作検出部２１ｂの処理により、操作によるカーソル移動指示の有無を判定する（ステップＳ１１０）。具体的には、スワイプ操作が検出された場合に制御部２０はカーソル移動指示有りと判定する。
(2-1) Cursor drawing process:
Next, details of the cursor drawing process executed in step S310 of the UI control process will be described with reference to FIG. When the cursor drawing process is started, the
ステップＳ１１０においてカーソル移動指示有りと判定された場合、制御部２０は表示制御部２１ｃの処理により、操作による指示位置にカーソルを描画する（ステップＳ１１５）。すなわち制御部２０は、スワイプ操作の方向および移動量に応じた位置に該当するボタンにカーソルを表示させる。
If it is determined in step S110 that there is an instruction to move the cursor, the
続いて制御部２０は表示制御部２１ｃの処理により、視点によるカーソル移動の無効期間を設定する（ステップＳ１２０）。当該無効期間は、利用者が操作によって移動させた位置にカーソルを表示させることを、視点検出位置にカーソルを表示させることよりも優先させるために設けられる。すなわち、当該無効期間中は、カーソルが表示されているボタンとは異なるボタンに視点が検出されていても、カーソルは利用者が移動させた位置に留まって表示されることを意味する。なおステップＳ１２０では具体的には、制御部２０は、無効期間カウンタに無効期間の長さに相当する値（無効期間の長さ／ＵＩ制御処理の実行周期）をセットする。無効期間カウンタについては後述するステップＳ１３０〜Ｓ１３５においてカウントダウンされ、ステップＳ１４０において参照される。
Subsequently, the
続いて制御部２０は決定制御部２１ｄの処理により、後述する決定処理にて操作によるカーソル移動後の視点の固着判定に用いる既定範囲の設定を行い、当該固着判定のための経過時間を初期化する（ステップＳ１２５）。具体的には、制御部２０は既定範囲として、ステップＳ１００で取得した視点の座標を中心とする矩形領域が設定される。矩形領域の辺の長さは例えば、視点検出の誤差に相当する長さに設定されてもよい。また例えば、当該矩形領域は、カーソルが表示されているボタン一つ分に相当する大きさであってもよい。また、固着判定のための経過時間は、固着判定用経過時間カウンタによって後述する決定処理においてカウントされる。ステップＳ１２５では制御部２０はこの固着判定カウンタの値を０にする。固着判定用経過時間カウンタは決定処理のステップＳ２１５においてカウントアップされ、ステップＳ２１０において参照される。また固着判定用経過時間カウンタは後述するステップＳ１５２においても初期化される。
Subsequently, the
続いて制御部２０は、無効期間内であるか否かを判定し（ステップＳ１３０）、無効期間内であると判定されない場合はカーソル描画処理を終了する。ステップＳ１３０において無効期間内であると判定された場合、制御部２０は無効期間内の経過をカウントして（ステップＳ１３５）、カーソル描画処理を終了する。具体的にはステップＳ１３０では制御部２０は、無効期間カウンタが１以上である場合に無効期間内であると判定する。ステップＳ１３５では制御部２０は、無効期間カウンタを１ずつカウントダウンする。すなわち、無効期間カウンタは１以上の値が０になるまでカウントダウンされる。
Subsequently, the
ステップＳ１１０においてカーソル移動指示有りと判定されなかった場合、制御部２０は無効期間内であるか否かを判定する（ステップＳ１４０）。具体的には制御部２０は、無効期間カウンタの値が１以上である場合に無効期間内であると判定する。ステップＳ１４０において無効期間内であると判定された場合、制御部２０は表示制御部２１ｃの処理により、前回のカーソル表示位置にカーソルを描画して（ステップＳ１５５）、その後ステップＳ１３０に進む。ステップＳ１５５において制御部２０は、具体的にはステップＳ１００で取得した視点の座標にかかわらず、前回周期においてカーソルが表示された位置にカーソルを描画する。その結果、無効期間中は視点の座標によらず操作によって移動された位置に継続してカーソルが表示されることとなる。
If it is not determined in step S110 that there is a cursor movement instruction, the
ステップＳ１４０において無効期間内であると判定されない場合、制御部２０は表示制御部２１ｃの処理により、視点が位置するオブジェクトにカーソルを描画する（ステップＳ１４５）。すなわち、無効期間内でない場合は、視点が検出された位置に表示されるボタンにカーソルが表示される。したがって、無効期間内でない場合は視点の移動に追従してカーソルが移動する。なお、当該無効期間外であって選択可能なオブジェクトに視点が位置していない場合（例えばＵＩ画面においてボタン以外の背景領域に視点が位置する場合）は、カーソルを表示しなくてもよい。あるいは、前回周期においてカーソルが表示されていたボタンに継続してカーソルを表示させるようにしてもよい。
If it is not determined in step S140 that it is within the invalid period, the
ステップＳ１４５を実行後、制御部２０は表示制御部２１ｃの処理によりカーソルが前回の表示位置から移動するか否かを判定する（ステップＳ１５０）。すなわち前回周期においてカーソルが表示されていたボタンとは異なるボタンに今回カーソルを描画した場合、制御部２０はカーソルが前回の表示位置から移動すると判定する。ステップＳ１５０において前回からカーソルが移動すると判定された場合、制御部２０は決定制御部２１ｄの処理により、既定範囲を設定し経過時間を初期化して（ステップＳ１５２）、ステップＳ１３０に進む。
After executing Step S145, the
ステップＳ１５２においては、制御部２０は、カーソルが表示されているボタンの表示領域を既定範囲として設定する。ステップＳ１５２では既定範囲をこのように設定することで、視点のみによってカーソル移動と移動後のカーソル位置のボタン選択を行う場合に、後述する決定処理（ステップＳ２０５〜Ｓ２１０）において、第一時間以上カーソル位置のボタンに視点が留まり続けたことを当該ボタンの選択決定の条件とすることができる。なお、ステップＳ１５２において、既定範囲はステップＳ１２５と同様に設定されてもよい。またステップＳ１５２において制御部２０は、固着判定用経過時間カウンタの値を０にする。したがって、無効期間外においては、視点によってカーソルを移動し、同一のボタンに視点が第一時間以上存在する（したがって視点によるカーソル移動が停止してから第一時間以上経過する）と、当該ボタンの選択が決定されることとなる。ステップＳ１５０において前回からカーソルが移動すると判定されなかった場合、制御部２０はステップＳ１３０に進む。
In step S152, the
（２−２）決定処理：
続いてＵＩ制御処理のステップＳ３１５で実行される決定処理の詳細について図４を参照しながら説明する。決定処理が開始されると、決定制御部２１ｄの処理により制御部２０は、ＵＩ制御処理のステップＳ３００で検出した視点の座標を取得する（ステップＳ２００）。続いて制御部２０は決定制御部２１ｄの処理により、視点は既定範囲内に存在するか否かを判定する（ステップＳ２０５）。当該既定範囲は、カーソル描画処理のステップＳ１２５またはステップＳ１５２で設定された領域である。当該既定範囲が初期化されている状態の場合、ステップＳ２０５においてはＮ判定となる。
(2-2) Determination process:
Next, details of the determination process executed in step S315 of the UI control process will be described with reference to FIG. When the determination process is started, the
ステップＳ２０５において視点が既定範囲内にあると判定されない場合、制御部２０は後述するステップＳ２３０を実行する。ステップＳ２０５において視点が既定範囲内にあると判定された場合、制御部２０は決定制御部２１ｄの処理により既定範囲内に視点が位置する状態での経過時間が第一時間以上となったか否かを判定する（ステップＳ２１０）。具体的には、固着判定用経過時間カウンタによってカウントアップされた値が、第一時間に相当する値（第一時間／ＵＩ制御処理の実行周期）以上となった場合に、制御部２０は経過時間が第一時間以上となったと判定する。ステップＳ２１０において経過時間が第一時間以上であると判定されない場合、制御部２０は決定制御部２１ｄの処理により経過時間をカウントアップする。具体的には制御部２０は、固着判定用経過時間カウンタの値を１ずつカウントアップする（ステップＳ２１５）。
When it is not determined in step S205 that the viewpoint is within the predetermined range, the
ステップＳ２１０において経過時間が第一時間以上であると判定された場合、制御部２０は決定制御部２１ｄの処理により、カーソルが表示中であるか否かを判定する（ステップＳ２２０）。すなわち制御部２０は、ＵＩ画面のいずれかのボタンにカーソルが表示されている状態であるか否かを判定する。ステップＳ２２０においてカーソル表示中であると判定されなかった場合、制御部２０は後述するステップＳ２３０を実行する。
When it is determined in step S210 that the elapsed time is equal to or longer than the first time, the
ステップＳ２２０においてカーソル表示中であると判定された場合、制御部２０は決定制御部２１ｄの処理によりカーソルが示すボタンの選択を決定する（ステップＳ２２５）。ボタンの選択が決定されると、当該ボタンの選択に対応する処理を制御部２０は実行する。
When it is determined in step S220 that the cursor is being displayed, the
続いて、制御部２０は決定制御部２１ｄの処理により既定範囲と経過時間を初期化し（ステップＳ２３０）、決定処理を終了する。ステップＳ２３０では具体的には、制御部２０は、既定範囲を示す座標を保持する変数に無効な値を設定する。また制御部２０は、固着判定用経過時間カウンタの値を０にする。
Subsequently, the
（３）動作例：
次に、上記のＵＩ制御処理が繰り返し実行される場合の、カーソル表示およびカーソル位置のボタンの選択決定の例を、図５および図６を参照しながら説明する。図５Ａおよび図５Ｂは５０音入力画面において表示される５０音ボタンを示している。ひらがなの文字や濁点、半濁点、長音記号がそれぞれ含まれた矩形領域の一つ一つが５０音ボタンに相当する。各５０音ボタンは、５０音を選択するための選択肢を示すオブジェクトである。
(3) Example of operation:
Next, an example of cursor display and selection of the button at the cursor position when the above UI control processing is repeatedly executed will be described with reference to FIGS. 5A and 5B show 50 sound buttons displayed on the 50 sound input screen. Each of the rectangular areas containing hiragana characters, dakuten, semi-dakuten, and long-tone symbols each correspond to a 50 tone button. Each 50 sound button is an object indicating options for selecting 50 sounds.
例えば利用者がボタンｂ２を見ている場面で、視点検出の誤差によって視点がＥの位置にあることが検出された場合、カーソル描画処理のステップＳ１４５によって図５Ａに示すようにカーソルＣは視点検出位置Ｅが存在するボタンｂ１に表示される。しかし、利用者はボタンｂ２を見ておりボタンｂ２を選択したいため、利用者はタッチパッド４１にてボタンｂ２に向かう方向にスワイプ操作を行う。当該スワイプ操作が行われると、カーソル描画処理のステップＳ１１５および同周期におけるＵＩ制御処理のステップＳ３２０によって、図５Ｂに示すようにカーソルＣはボタンｂ２の位置に移動する。
For example, when the user is looking at the button b2 and it is detected that the viewpoint is at the position E due to an error in viewpoint detection, the cursor C detects the viewpoint as shown in FIG. 5A by step S145 of the cursor drawing process. It is displayed on the button b1 where the position E exists. However, since the user is looking at the button b2 and wants to select the button b2, the user performs a swipe operation on the
カーソルＣが利用者の意図通りボタンｂ２に移動したことから、利用者はボタンｂ２から視線を移動させずボタンｂ２を注視する。利用者がボタンｂ２を注視している間中、視点検出の誤差によって視点も位置Ｅや位置Ｅの近傍に検出され続けたとしても、視点が既定範囲Ａ内に存在する状態で第一時間が経過すれば、決定処理のステップＳ２２５によってカーソルが表示されているボタンｂ２の選択が決定される。ボタンｂ２の選択が決定されると、ボタンｂ２の選択に対応する処理として、制御部２０は入力文字列を保持するバッファに「き」を追加する。
Since the cursor C has moved to the button b2 as intended by the user, the user gazes at the button b2 without moving the line of sight from the button b2. While the user is gazing at the button b2, even if the viewpoint continues to be detected in the position E or in the vicinity of the position E due to an error in viewpoint detection, the first time is kept in a state where the viewpoint exists in the predetermined range A. If it has elapsed, the selection of the button b2 on which the cursor is displayed is determined in step S225 of the determination process. When the selection of the button b2 is determined, the
なお例えば、カーソルＣがボタンｂ１以外のボタンにあった状態から利用者が視線を位置Ｅに移し、視点が誤差無く位置Ｅに検出された場合、カーソルＣは図６に示すようにボタンｂ１に表示される。利用者がボタンｂ１を選択したい場合、利用者はカーソルＣを操作によって移動させることはせず、そのままボタンｂ１を見続けることが予想される。この場合、ステップＳ１５２によって既定範囲は図６に示すＡのようにボタンｂ１の表示領域そのものに設定される。したがって視点がボタンｂ１内に第一時間以上検出され続けるとボタンｂ１の選択が決定される。ボタンｂ１の選択が決定されると、ボタンｂ１の選択に対応する処理として、制御部２０は入力文字列を保持するバッファに「い」を追加する。なお、ステップＳ１５２によって、既定範囲はステップＳ１２５と同様に図５Ｂに示すＡの領域に設定されてもよい。
For example, when the user moves the line of sight to the position E from the state where the cursor C is on a button other than the button b1, and the viewpoint is detected at the position E without error, the cursor C moves to the button b1 as shown in FIG. Is displayed. When the user wants to select the button b1, it is expected that the user will continue to look at the button b1 without moving the cursor C by operation. In this case, the predetermined range is set to the display area of the button b1 as shown by A in FIG. Therefore, if the viewpoint is detected in the button b1 for the first time or longer, the selection of the button b1 is determined. When the selection of the button b1 is determined, as a process corresponding to the selection of the button b1, the
このように、本実施形態によると、利用者は視線の移動によって所望のボタンにカーソルを移動させ、そのまま所望のボタンを第一時間以上見続けることによって当該ボタンを選択することができる。そのため、ボタン選択のために毎回シングルタップやダブルタップ等の操作を要する構成と比較すると利用者の負担を軽減できる。 As described above, according to the present embodiment, the user can select the button by moving the cursor to the desired button by moving the line of sight and continuing to watch the desired button as it is for the first time or longer. Therefore, the burden on the user can be reduced compared to a configuration that requires an operation such as a single tap or a double tap every time to select a button.
また、視点検出の誤差等によって視線の移動によっては所望のボタンにカーソルを移動させることができない場合、利用者はタッチパッド４１に対する操作によってカーソル位置を補正し所望のボタンにカーソルを移動させることができる。そして、カーソルを移動させた後、所望のボタンを第一時間以上見続けることによって当該ボタンを選択することができる。この場合に、検出された視点の位置は実際に利用者が見続けているボタンとは視点検出の誤差により異なる可能性がある。本実施形態では、検出された視点の位置が所望のボタンとは異なるボタンであったとしても、視点が固着していれば所望のボタンを選択することが可能である。
Further, when the cursor cannot be moved to a desired button due to the movement of the line of sight due to an error in viewpoint detection or the like, the user can correct the cursor position by operating the
したがって本実施形態の場合、視点の検出誤差によって利用者が所望のボタンにカーソルを移動させることができないという状況を防止することができる。また、視点の検出誤差によって利用者が所望のボタンを選択できないという状況を防止することができる。その結果、利便性を向上させることができる。 Therefore, in this embodiment, it is possible to prevent a situation in which the user cannot move the cursor to a desired button due to a viewpoint detection error. Further, it is possible to prevent a situation in which the user cannot select a desired button due to a viewpoint detection error. As a result, convenience can be improved.
（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、操作に応じたカーソルの移動後に視点が既定範囲内に第一時間以上存在する場合に、移動後のカーソルが示す選択肢の選択を決定する限りにおいて、他にも種々の実施形態を採用可能である。例えば、入力システム１０は、各種のシステム、汎用コンピュータシステムに適用されていても良い。また、入力システム１０は、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。入力システム１０は車両に搭載される構成に限定されない。
(4) Other embodiments:
The above embodiment is an example for carrying out the present invention, and the selection of the option indicated by the moved cursor is determined when the viewpoint exists within the predetermined range for the first time or longer after the cursor is moved according to the operation. As long as this is done, various other embodiments can be adopted. For example, the
さらに、入力システム１０を構成する視点検出部２１ａ、操作検出部２１ｂ、表示制御部２１ｃ、決定制御部２１ｄの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、操作検出部２１ｂが、タッチパッド４１内の制御部で実現されても良いし、視点検出部２１ａが視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
Furthermore, at least a part of the
上記実施形態では、視点が固着した場合に、カーソルが表示されているボタンの選択が決定される構成であったが、もちろんタッチパッド４１への操作（例えばタップ操作）によっても、カーソルが位置するボタンの選択が決定されてもよい。 In the above embodiment, when the viewpoint is fixed, the selection of the button on which the cursor is displayed is determined. Of course, the cursor is also positioned by an operation on the touch pad 41 (for example, a tap operation). The button selection may be determined.
また上記実施形態では、選択肢の例として日本語の文字を選択するための５０音ボタンを例に挙げたが、５０音ボタン以外にも様々な選択対象のオブジェクトが表示されるＵＩ画面に本発明を適用可能である。 In the above embodiment, as an example of an option, a 50-sound button for selecting a Japanese character is taken as an example. However, the present invention is applied to a UI screen on which various objects to be selected other than the 50-sound button are displayed. Is applicable.
視点検出部は、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を始点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。さらに、視点は、少なくとも、利用者が視認している表示領域上で特定されれば良い。 The viewpoint detection unit only needs to be able to detect the viewpoint of the user, and various configurations can be employed. For example, as in the above-described embodiment, the line of sight is specified by specifying the movement of the user's eyes based on the output of the camera that captures the user's eyes, and the intersection of the line of sight and the previously specified display screen It is possible to adopt a configuration that regards as a starting point. The number of eyes to be detected may be one or two, but in order to improve accuracy, it is preferable that the number of eyes to be detected is two. The viewpoint when the eyes of two eyes are specified may be statistically specified from each viewpoint specified based on the eyes of each eye, or the viewpoint is specified based on the bias by the dominant eye. Also good. Furthermore, the viewpoint may be specified at least on the display area that the user is viewing.
操作検出部は、利用者の操作を検出することができればよく、種々の構成を採用可能である。例えば上記実施形態のように、タッチパッドに対する利用者の接触操作（シングルタップ、ダブルタップ、スワイプ、ピンチイン、ピンチアウト等）を検出する構成を採用してもよい。タッチパッドとは別の入力機器（例：ボタン、スイッチ、マウス等）が採用されてもよい。利用者の操作は、利用者が装置を操る動作であり、利用者の体が物理的に装置に接触することによって行われる構成を採用可能である。この場合利用者の操作は、利用者の手によって行われることに限定されず、手以外の体の部位によって行われても良い。なお、利用者の体が物理的に接触する動作以外にも、利用者の体を装置に接近させる動作（近接センサを用いて利用者の体が装置に接近したことを検出）等を検出する構成を採用してもよい。 The operation detection unit only needs to be able to detect the user's operation, and various configurations can be employed. For example, as in the above-described embodiment, a configuration for detecting a user's contact operation (single tap, double tap, swipe, pinch in, pinch out, etc.) with respect to the touch pad may be adopted. An input device (eg, a button, a switch, a mouse, etc.) other than the touch pad may be employed. The user's operation is an operation in which the user operates the apparatus, and it is possible to adopt a configuration that is performed when the user's body physically contacts the apparatus. In this case, the user's operation is not limited to being performed by the user's hand, and may be performed by a body part other than the hand. In addition to the physical contact of the user's body, an operation of making the user's body approach the device (detecting the proximity of the user's body to the device using a proximity sensor) is detected. A configuration may be adopted.
表示制御部は、操作に応じてカーソルを移動させることができればよく（すなわち、操作に応じて移動するカーソルを表示部に表示させることができればよく）、種々の構成を採用可能である。上記実施形態で説明したように、カーソルは視点に応じて移動することを前提とし、視点に応じて移動したカーソルの位置を補正するために補助的に操作によるカーソルの移動を行うことができる構成であってもよい。
また、カーソルや選択肢が表示される表示部は、単数であっても複数であってもよい。
The display control unit only needs to be able to move the cursor according to the operation (that is, it is only necessary to display the cursor that moves according to the operation on the display unit), and various configurations can be employed. As described in the above embodiment, it is assumed that the cursor moves according to the viewpoint, and the cursor can be moved by an auxiliary operation to correct the position of the cursor moved according to the viewpoint. It may be.
Moreover, the display part on which a cursor and options are displayed may be singular or plural.
決定制御部は、操作によるカーソルの移動後に視点が既定範囲内に第一時間以上存在する場合に、移動後のカーソルが示す選択肢の選択を決定することが少なくともできればよく、種々の構成を採用可能である。例えば、既定範囲はカーソル位置とは無関係に設定されてもよいし、カーソル位置に基づいて設定されてもよい。また既定範囲は、操作によるカーソルの移動後の視点の座標を含んで設定されてもよい。また例えば、視点が位置する選択肢の表示領域に既定範囲が設定されてもよい。なお、視点はカーソルや選択肢が表示される表示部の画面上にあることに限定されず、既定範囲も当該画面上に設定されることに限定されない。例えば既定範囲はカーソルや選択肢が表示される表示部とは異なる表示部の画面上に設定されてもよい。また例えば、既定範囲は表示部の画面の外に設定されてもよい。また、既定範囲はどのような形態であってもよく、例えば矩形であってもよいし、多角形であってもよいし、円や楕円であってもよい。 The decision control unit only needs to be able to decide at least the choice of the option indicated by the moved cursor when the viewpoint exists within the predetermined range for the first time or longer after the cursor is moved by the operation, and various configurations can be adopted. It is. For example, the predetermined range may be set regardless of the cursor position, or may be set based on the cursor position. The predetermined range may be set including the coordinates of the viewpoint after the cursor is moved by the operation. Further, for example, a predetermined range may be set in the option display area where the viewpoint is located. Note that the viewpoint is not limited to being on the screen of the display unit on which the cursor and options are displayed, and the default range is not limited to being set on the screen. For example, the predetermined range may be set on a screen of a display unit different from the display unit on which a cursor and options are displayed. For example, the predetermined range may be set outside the screen of the display unit. Further, the predetermined range may be in any form, for example, a rectangle, a polygon, a circle or an ellipse.
また例えば、カーソルが操作に応じて移動した場合であって当該カーソルの停止から第二時間以上経過した場合に、移動後のカーソルが示す選択肢の選択を決定するようにしてもよい。すなわち、カーソルが操作に応じて移動した場合であって当該カーソルの停止から第二時間以上経過していない間は、移動後のカーソルが示す選択肢の選択を決定しないようにしてもよい。 In addition, for example, when the cursor is moved according to an operation and the second time or more has passed since the cursor is stopped, selection of an option indicated by the moved cursor may be determined. That is, the selection of the option indicated by the moved cursor may not be determined while the cursor is moved according to the operation and the second time or more has not elapsed since the cursor was stopped.
仮に、操作に応じて移動したカーソルの停止後に視点が固着した場合に選択肢の選択を決定してしまうと、短期間に続けて複数回操作を行ってカーソルを移動させる場合に利用者が意図しない選択肢を選択してしまう可能性がある。図５を参照しながら具体例を説明する。図５Ａに示すように視点検出位置Ｅがボタンｂ１にありカーソルＣがボタンｂ１に表示されている状態で、利用者がカーソルＣをボタンｂ３に移動させるためにスワイプ操作を行うと、図５Ｂに示すようにカーソルＣがボタンｂ２に移動する。仮に、カーソル移動が停止した後、既定範囲内に視点が第一時間以上存在した（視点が固着した）場合、ボタンｂ２の選択が決定されてしまう。そこで、例えば第二時間を第一時間より長い時間であって、連続で操作を行う場合に想定される操作間隔時間とする。この構成によれば、カーソル停止から第二時間が経過するまでは視点の固着の有無にかかわらずカーソル位置のボタンの選択は決定されない。そのため、利用者は１度目のスワイプ操作によってカーソルＣがボタンｂ１に表示されてから第二時間が経過するまでの間に２度目のスワイプ操作することで、ボタンｂ２を選択してしまうことなくボタンｂ３にカーソルＣを移動させることができる。 If the viewpoint is fixed after the cursor that has been moved according to the operation stops and the choice is selected, the user does not intend to move the cursor by performing multiple operations in a short period of time. There is a possibility of selecting an option. A specific example will be described with reference to FIG. When the user performs a swipe operation to move the cursor C to the button b3 in a state where the viewpoint detection position E is on the button b1 and the cursor C is displayed on the button b1 as shown in FIG. 5A, FIG. As shown, the cursor C moves to the button b2. If the viewpoint is present within the predetermined range for the first time or longer after the cursor movement is stopped (the viewpoint is fixed), the selection of the button b2 is determined. Therefore, for example, the second time is a time longer than the first time, and is assumed to be an operation interval time assumed when the operation is continuously performed. According to this configuration, the selection of the button at the cursor position is not determined until the second time elapses after the cursor is stopped regardless of whether or not the viewpoint is fixed. Therefore, the user does not select the button b2 by performing the second swipe operation until the second time elapses after the cursor C is displayed on the button b1 by the first swipe operation. The cursor C can be moved to b3.
第一時間のカウントと第二時間のカウントとは、操作によって移動したカーソルの停止をトリガとして始まる。そのため、視点が既定範囲内に存在する状態で第一時間が経過した場合であっても、第二時間（＞第一時間）が経過するまでは移動後のカーソルが示すボタンの選択は決定されない。しかし、操作によって移動したカーソルが停止してから第一時間が経過するまでの間に視点が既定範囲から外れた場合、視点の固着を判定するための第一時間のカウントが再度開始される。したがって操作によって移動したカーソルが停止してから第二時間が経過した段階では、視点がまだ固着していない可能性がある。そのため、操作によって移動したカーソルの停止後に視点が既定範囲内に第一時間継続して存在したという条件と、操作によって移動したカーソルの停止後、第二時間が経過したという条件の両方を満たす場合に、移動後のカーソルが位置するボタンの選択を決定するようにしてもよい。なお、第二時間は第一時間と同一の値であってもよい。 The count of the first time and the count of the second time are triggered by the stop of the cursor moved by the operation. For this reason, even if the first time has elapsed with the viewpoint existing within the predetermined range, the selection of the button indicated by the moved cursor is not determined until the second time (> first time) has elapsed. . However, when the viewpoint deviates from the predetermined range between the time when the cursor moved by the operation stops and the first time elapses, the counting of the first time for determining the fixation of the viewpoint is started again. Therefore, there is a possibility that the viewpoint has not yet been fixed at the stage when the second time has elapsed since the cursor moved by the operation stopped. Therefore, when both the condition that the viewpoint has been continuously within the default range for the first time after the cursor moved by the operation and the condition that the second time has passed after the cursor moved by the operation are satisfied In addition, the selection of the button where the cursor after the movement is located may be determined. The second time may be the same value as the first time.
また例えば、視点と移動後のカーソルとの距離が既定距離以内である場合に、移動後のカーソルが示す選択肢の選択を決定するようにしてもよい。すなわち、視点と移動後のカーソルとの距離が既定距離を超える場合、移動後のカーソルが示す選択肢の選択を決定しないようにしてもよい。なお既定距離は、例えば誤差の最大値を示す距離より大きく設定される。移動後のカーソルと視点との距離が既定距離を超える場合、利用者は移動後のカーソルが示す選択肢に注意が向いていない（例えば当該選択肢から遠く離れた別の選択肢を見ている）可能性がある。そのためこの場合は、視点の固着の有無にかかわらずカーソルが示す選択肢の選択を決定しないことで、利用者が意図しない選択肢を選択してしまうことを防止できる。 Further, for example, when the distance between the viewpoint and the moved cursor is within a predetermined distance, selection of an option indicated by the moved cursor may be determined. That is, when the distance between the viewpoint and the cursor after movement exceeds a predetermined distance, selection of the option indicated by the cursor after movement may not be determined. The predetermined distance is set to be larger than the distance indicating the maximum error, for example. If the distance between the cursor after moving and the viewpoint exceeds the default distance, the user may not be paying attention to the option indicated by the cursor after moving (for example, looking at another option far away from the option) There is. Therefore, in this case, it is possible to prevent the user from selecting an option that is not intended by not determining selection of the option indicated by the cursor regardless of whether or not the viewpoint is fixed.
また例えば、操作が検出されなくなってから第三時間以上経過した場合に、移動後のカーソルが示す選択肢の選択を決定するようにしてもよい。すなわち、操作が検出されなくなってから第三時間以上経過するまでの間は、移動後のカーソルが示す選択肢の選択を決定しないようにしてもよい。例えば操作対象がタッチパッドである場合、タッチパッドに利用者の指等の検出対象物が接触している間は、たとえタッチパッド上で検出対象物が停止していてもまだ利用者がカーソルを移動させるための操作をする可能性がある。そのため、タッチパッドに検出対象物が離れてから第三時間が経過するまでの間は、視点の固着の有無にかかわらず、選択肢の選択を決定しないことで、利用者が意図しない選択肢を選択してしまうことを防止できる。なお、第三時間は第一時間と同じ値であってもよいし異なる値であってもよい。 Further, for example, when a third time or more has passed since the operation is not detected, selection of an option indicated by the moved cursor may be determined. That is, the selection of the option indicated by the moved cursor may not be determined until the third time or more has elapsed after no operation is detected. For example, when the operation target is a touch pad, while the detection target object such as a user's finger is in contact with the touch pad, the user still moves the cursor even if the detection target object is stopped on the touch pad. There is a possibility of performing an operation to move it. Therefore, until the third time elapses after the detection object leaves the touchpad, regardless of whether the viewpoint is fixed or not, the selection of the option is not determined, and the user selects an unintended option. Can be prevented. The third time may be the same value as the first time or a different value.
なお、表示制御部は、操作に応じてポインタを移動させることができてもよく、その場合、決定制御部は、カーソルの移動後に視点が既定範囲内に第一時間以上存在する場合、移動後のポインタが示す選択肢の選択を決定してもよい。ポインタは画面内の任意の位置に移動し、当該位置を示す図形である。 Note that the display control unit may be able to move the pointer in accordance with the operation. In this case, the determination control unit may move the pointer after the cursor is moved if the viewpoint exists within the predetermined range for the first time or longer. Selection of an option indicated by the pointer may be determined. The pointer is a figure that moves to an arbitrary position on the screen and indicates the position.
さらに、本発明のように、操作に応じたカーソルの移動後に視点が既定範囲内に第一時間以上存在する場合に、移動後のカーソルが示す選択肢の選択を決定する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Further, as in the present invention, a method for determining selection of an option indicated by the moved cursor when the viewpoint exists within a predetermined range after the movement of the cursor according to the operation for a first time or more is a program or method. Is also applicable. In addition, the system, program, and method as described above may be realized as a single device, or may be realized using components shared with each part of the vehicle, and include various aspects. It is a waste. Further, some changes may be made as appropriate, such as a part of software and a part of hardware. Furthermore, the invention can be realized as a recording medium for a program for controlling the system. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
１０…入力システム、２０…制御部、２１…入力プログラム、２１ａ…視点検出部、２１ｂ…操作検出部、２１ｃ…表示制御部、２１ｄ…決定制御部、３０…記録媒体、３０ａ…表示情報、４０…ディスプレイ、４１…タッチパッド、４２…視線検出センサ、Ａ…既定範囲、ｂ１〜ｂ２…ボタン（選択肢）、Ｃ…カーソル、Ｅ…視点検出位置
DESCRIPTION OF
Claims (6)
前記利用者の操作を検出する操作検出部と、
前記操作に応じてカーソルを移動させる表示制御部と、
前記カーソルの移動後に前記視点が既定範囲内に第一時間以上存在する場合、移動後の前記カーソルが示す選択肢の選択を決定する決定制御部と、
を備える入力システム。 A viewpoint detection unit that detects a user's viewpoint;
An operation detection unit for detecting the operation of the user;
A display control unit that moves a cursor according to the operation;
A determination control unit that determines selection of an option indicated by the cursor after movement, when the viewpoint is present within a predetermined range for a first time or more after movement of the cursor;
An input system comprising:
請求項１に記載の入力システム。 The display control unit moves the cursor according to the viewpoint.
The input system according to claim 1.
請求項１または請求項２に記載の入力システム。 The selection of the option is determined when a second time or more has elapsed since the cursor moved according to the operation.
The input system according to claim 1 or 2.
請求項１〜請求項３のいずれかに記載の入力システム。 The selection of the option is determined when a distance between the viewpoint and the cursor is within a predetermined distance.
The input system according to claim 1.
請求項１〜請求項４のいずれかに記載の入力システム。 The selection of the option is determined when a third time or more has elapsed since the operation is no longer detected.
The input system according to claim 1.
利用者の視点を検出する視点検出部、
前記利用者の操作を検出する操作検出部、
前記操作に応じてカーソルを移動させる表示制御部、
前記カーソルの移動後に前記視点が既定範囲内に第一時間以上存在する場合、移動後の前記カーソルが示す選択肢の選択を決定する決定制御部、
として機能させる入力プログラム。 Computer
A viewpoint detector that detects the user's viewpoint;
An operation detection unit for detecting an operation of the user;
A display control unit that moves a cursor in accordance with the operation;
A determination control unit that determines selection of an option indicated by the cursor after the movement when the viewpoint is present within a predetermined range for a first time or more after the movement of the cursor;
Input program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016239009A JP2018097443A (en) | 2016-12-09 | 2016-12-09 | Input system and input program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016239009A JP2018097443A (en) | 2016-12-09 | 2016-12-09 | Input system and input program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018097443A true JP2018097443A (en) | 2018-06-21 |
Family
ID=62633270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016239009A Pending JP2018097443A (en) | 2016-12-09 | 2016-12-09 | Input system and input program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018097443A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023249032A1 (en) * | 2022-06-23 | 2023-12-28 | 株式会社電通 | Controller, musical sound generation system, method, program, and storage medium |
| WO2023249033A1 (en) * | 2022-06-23 | 2023-12-28 | 株式会社電通 | Controller, musical sound generation system, method, program, and storage medium |
-
2016
- 2016-12-09 JP JP2016239009A patent/JP2018097443A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023249032A1 (en) * | 2022-06-23 | 2023-12-28 | 株式会社電通 | Controller, musical sound generation system, method, program, and storage medium |
| WO2023249033A1 (en) * | 2022-06-23 | 2023-12-28 | 株式会社電通 | Controller, musical sound generation system, method, program, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106796351B (en) | Head-mounted display device controlled by line of sight, control method thereof, and computer-readable storage medium | |
| JP6659644B2 (en) | Low latency visual response to input by pre-generation of alternative graphic representations of application elements and input processing of graphic processing unit | |
| US10282081B2 (en) | Input and output method in touch screen terminal and apparatus therefor | |
| US9965039B2 (en) | Device and method for displaying user interface of virtual input device based on motion recognition | |
| US8976140B2 (en) | Touch input processor, information processor, and touch input control method | |
| CN106605187B (en) | Information processing apparatus, information processing method, and program | |
| US20110163988A1 (en) | Image object control system, image object control method and image object control program | |
| JP2004078693A (en) | Visual field movement operating method | |
| KR20130098907A (en) | Information processing apparatus, control method thereof, and storage medium | |
| US10496236B2 (en) | Vehicle display device and method for controlling vehicle display device | |
| JP4686708B2 (en) | Pointing system and pointing method | |
| EP3070582B1 (en) | Apparatus, method, and program product for setting a cursor position | |
| US10394442B2 (en) | Adjustment of user interface elements based on user accuracy and content consumption | |
| JP2018097443A (en) | Input system and input program | |
| JP2016126687A (en) | Head-mounted display, operation reception method, and operation reception program | |
| US11861157B2 (en) | Methods, systems, and media for presenting offset content | |
| US11009991B2 (en) | Display control apparatus and control method for the display control apparatus | |
| US20200257396A1 (en) | Electronic device and control method therefor | |
| KR101337429B1 (en) | Input apparatus | |
| JP2017037567A (en) | Method implemented by head-mounted display system, program, and head-mounted display system | |
| JP2018073311A (en) | Operation input system and operation input program | |
| WO2018161421A1 (en) | Performance test method and performance test apparatus for touch display screen of terminal device | |
| WO2015167531A2 (en) | Cursor grip | |
| WO2023166893A1 (en) | Information processing system, information processing method, and information processing program | |
| US20230409177A1 (en) | Interaction method using eye tracking data |