JP2018101229A - Selection receiving system and selection receiving program - Google Patents
Selection receiving system and selection receiving program Download PDFInfo
- Publication number
- JP2018101229A JP2018101229A JP2016246134A JP2016246134A JP2018101229A JP 2018101229 A JP2018101229 A JP 2018101229A JP 2016246134 A JP2016246134 A JP 2016246134A JP 2016246134 A JP2016246134 A JP 2016246134A JP 2018101229 A JP2018101229 A JP 2018101229A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- selection
- control unit
- selected object
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、選択受付システムおよび選択受付プログラムに関する。 The present invention relates to a selection reception system and a selection reception program.
従来、利用者の視点を検出する技術が知られており、視点の検出誤差を低減するために各種の技術が開発されている。例えば、特許文献１においては、観察者に同一箇所を注視させたときに検出される複数の視線位置から、視線位置のばらつきを演算する技術が開示されている。 Conventionally, techniques for detecting the viewpoint of a user are known, and various techniques have been developed in order to reduce viewpoint detection errors. For example, Patent Document 1 discloses a technique for calculating a variation in line-of-sight position from a plurality of line-of-sight positions detected when an observer gazes at the same location.
視点は時間的にばらつくため、視点を正確に検出しようとすると各種の技術が採用し得るが、一般的には、正確な検出のためには多くのサンプリングが必要になる。多くのサンプリングをするためには、例えば、検出のための期間を長期化させるなどの対策が必要である。しかし、視点の検出場面によっては、サンプリングの長期化等の対策をとってまで正確に検出が必要とは限らない。
本発明は、上記課題にかんがみてなされたもので、判定の難易度に応じて視点検出の負荷を調整可能な技術を提供することを目的とする。
Since the viewpoint varies with time, various techniques can be employed to accurately detect the viewpoint, but in general, many samplings are required for accurate detection. In order to perform many samplings, it is necessary to take measures such as prolonging the detection period. However, depending on the viewpoint detection situation, accurate detection is not always necessary until measures such as longer sampling are taken.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of adjusting the viewpoint detection load according to the difficulty of determination.
上記の目的を達成するため、選択受付システムは、現在選択されているオブジェクトを示す表示を行う選択オブジェクト表示部と、利用者の視点を検出する視点検出部と、視点に基づいて利用者によるオブジェクトの選択を受け付ける視点選択受付部と、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れているほど、オブジェクトの選択を受け付けるために視点を検出する回数を少なくする検出回数制御部と、を備える。 In order to achieve the above object, the selection reception system includes a selection object display unit that displays a currently selected object, a viewpoint detection unit that detects a user's viewpoint, and an object by a user based on the viewpoint. Detection number control unit that reduces the number of times the viewpoint is detected in order to receive the selection of the object as the distance between the currently selected object and the newly selected object increases. And comprising.
また、上記の目的を達成するため、選択受付プログラムは、コンピュータを、現在選択されているオブジェクト示す表示を行う選択オブジェクト表示部、利用者の視点を検出する視点検出部、視点に基づいて利用者によるオブジェクトの選択を受け付ける視点選択受付部、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れているほど、オブジェクトの選択を受け付けるために視点を検出する回数を少なくする検出回数制御部、として機能させる。 In order to achieve the above object, the selection reception program displays a selected object display unit that displays a computer indicating a currently selected object, a viewpoint detection unit that detects a user's viewpoint, and a user based on the viewpoint. Viewpoint selection accepting unit that accepts object selection based on the number of times of detection, so that the number of times of detecting the viewpoint to accept the object selection decreases as the currently selected object is farther away from the newly selected object Function as part.
すなわち、現在選択されているオブジェクト以外の他のオブジェクトが視点によって選択され得る場合、視点として検出された位置に基づいて両オブジェクトのいずれが選択されるのかを決定する必要がある。そして、現在選択されているオブジェクトから他のオブジェクトが近いほど、視点が両オブジェクトのいずれを示しているのか判断する際における視点の位置変動や検出誤差に大きな影響を受ける。また、両オブジェクトが離れている場合には、視点で選択されたオブジェクトが現在選択されているオブジェクトであるのか否か判定することは容易であり、両オブジェクトが近いほど当該判定の難易度があがる。 That is, when an object other than the currently selected object can be selected depending on the viewpoint, it is necessary to determine which of the two objects is selected based on the position detected as the viewpoint. Then, the closer the other object is to the currently selected object, the greater the influence of the viewpoint position variation and detection error in determining which of the two viewpoints the viewpoint represents. When both objects are separated, it is easy to determine whether the object selected from the viewpoint is the currently selected object, and the closer the both objects are, the more difficult the determination is. .
そこで、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れているほど、オブジェクトの選択を受け付けるために視点を検出する回数を少なくすれば、判定の難易度に応じて視点検出の負荷を調整することができる。また、視点で選択されたオブジェクトが現在選択されているオブジェクトであるか否かを容易に特定可能である状態において視点の検出回数を少なくすることにより、高速または簡易な処理によって視点を検出することができる。従って、過度の所要時間または過度の処理負荷で視点が検出されることを防止することができる。 Therefore, the farther the currently selected object is from the newly selected object, the smaller the number of times the viewpoint is detected in order to accept the selection of the object. The load can be adjusted. In addition, it is possible to detect a viewpoint by high-speed or simple processing by reducing the number of times of viewpoint detection in a state where it is possible to easily identify whether the object selected from the viewpoint is the currently selected object. Can do. Therefore, it is possible to prevent the viewpoint from being detected with an excessive time required or an excessive processing load.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）選択受付システムの構成：
（２）選択受付処理：
（３）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of selection reception system:
(2) Selection acceptance process:
(3) Other embodiments:
（１）選択受付システムの構成：
図１は、本発明の一実施形態である選択受付システムを実現するナビゲーションシステム１０の構成を示すブロック図である。本実施形態にかかる選択受付システムは、車両に搭載されたナビゲーションシステム１０の機能の一部として実現される。ナビゲーションシステム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。本実施形態において、制御部２０は、図示しないナビゲーションプログラムを実行することができ、当該ナビゲーションプログラムを実行することにより、図示しないＧＰＳ信号等に基づいてナビゲーションシステム１０が搭載された車両を指定の目的地まで誘導する。また、ナビゲーションプログラムは、誘導案内に関する処理以外にも各種の処理を制御部２０に実行させることが可能である。
(1) Configuration of selection reception system:
FIG. 1 is a block diagram showing a configuration of a
車両は、ディスプレイ４０、タッチパッド４１および視線検出センサ４２を備えている。ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。また、制御部２０は、ディスプレイ４０に各種の機能を利用するためのユーザインタフェース画面を表示する。すなわち、制御部２０は、ディスプレイ４０に、各種機能の実行等を指示するためのボタンとして機能するオブジェクトを表示する。むろん、ディスプレイ４０には、オブジェクトとともに地図等の画像やポインタ等のアイコン等が表示されていてもよい。
The vehicle includes a
タッチパッド４１は、矩形平面の接触検出面を備えた入力デバイスであり、接触検出面に対して検出対象物が接触した位置を検出し、検出位置を示す座標を出力する。制御部２０は、当該座標に基づいて接触位置を取得する。
The
視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。
The line-of-
以上の構成において、ユーザインタフェース画面には複数のオブジェクトが表示され得る。そこで、本実施形態において、制御部２０は、視点によってオブジェクトの選択を受け付け、オブジェクトが選択された状態で利用者がタッチパッド４１によって確定操作（タップ操作等）を実行すると、制御部２０は、オブジェクトに対応づけられた機能の実行を開始する。このようなオブジェクトの選択を行うため、選択受付プログラム２１は、選択オブジェクト表示部２１ａと視点検出部２１ｂと視点選択受付部２１ｃと検出回数制御部２１ｄとを備えている。
In the above configuration, a plurality of objects can be displayed on the user interface screen. Therefore, in the present embodiment, the
選択オブジェクト表示部２１ａは、現在選択されているオブジェクトを示す表示を行う機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、タッチパッド４１に対する利用者の操作等に応じてディスプレイ４０に種々のユーザインタフェース画面を表示する。この処理によって表示されたユーザインタフェース画面にオブジェクトが含まれている場合、制御部２０は、選択オブジェクト表示部２１ａの処理によって現在選択されているオブジェクトを示す表示を行う。
The selected
本実施形態において、利用者は視点によってオブジェクトを選択することができる。すなわち、後述する視点選択受付部２１ｃの処理により、制御部２０は、検出された視点に基づいてオブジェクトの選択を受け付ける。オブジェクトの選択が受け付けられると、制御部２０は、選択オブジェクト表示部２１ａの処理により、当該オブジェクトを強調するための描画を行う。すなわち、制御部２０は、当該オブジェクトを強調した画像を示す画像情報をＲＡＭに記録し、ディスプレイ４０の制御信号を出力する。
In the present embodiment, the user can select an object depending on the viewpoint. That is, the
この結果、ディスプレイ４０は、選択されたオブジェクトを強調表示する。強調の態様は種々の態様を採用可能であり、例えば、オブジェクトの外周線を強調する構成や、他のオブジェクトと異なる色にする構成や、オブジェクトを点滅表示する構成等を採用可能である。なお、本実施形態において、制御部２０は、オブジェクトの外周線を強調することで選択されたオブジェクトを示す構成を採用しており、ここでは、当該外周線を強調する画像をカーソルと呼ぶ。むろん、視点以外の手法でオブジェクトが選択されても良く、例えば、視点による選択が行われていない状態においてデフォルトのオブジェクトが選択された状態とされる構成や、タッチパッド４１等の操作入力手段等によってオブジェクトが選択可能な構成等が採用可能である。
As a result, the
視点検出部２１ｂは、利用者の視点を検出する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となるディスプレイ４０の画面の位置が、車室内空間の位置を規定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、ディスプレイ４０の画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の画面との交点を視点として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えばインストルメントパネル等）上に視点が存在するとされても良い。
The
なお、本実施形態において、視線検出センサ４２は、一定の周期で視線を検出する。制御部２０は、視線検出センサ４２が一定の周期で検出した視線に基づいてディスプレイ４０上の視点を検出する。従って、本実施形態において制御部２０は、一定のサンプリング周期で視点を検出している。
In the present embodiment, the line-of-
視点選択受付部２１ｃは、視点に基づいて利用者によるオブジェクトの選択を受け付ける機能を制御部２０に実現させるプログラムモジュールである。具体的には、制御部２０は、視点検出部２１ｂによって視点が既定回数検出されるたびに、検出結果に基づいて利用者が視認している対象を特定する。本実施形態においては、当該既定回数の検出結果としての各視点がオブジェクトに含まれるか否かを判定し、視点が特定のオブジェクトに含まれていた回数が基準回数以上である場合に利用者が視認している対象が当該特定のオブジェクトであるとみなす。視点が特定のオブジェクトに含まれていた回数が基準回数以上でない場合、制御部２０は、既定回数の検出結果としての各視点の重心を特定し、当該重心を利用者が視認している対象であるとみなす。なお、本実施形態において既定回数は、予め決められた値である。むろん、以上の構成は一例であり、他にも種々の態様で利用者が視認している対象が特定されてよい。
The viewpoint
本実施形態において制御部２０は、既定回数の検出を１回または２回行って利用者が視認している対象が特定のオブジェクトであるか否かを特定する。既定回数の検出が１回行われる場合、視点が特定のオブジェクトに含まれていた回数が基準回数以上であった場合に、利用者が視認している対象が当該特定のオブジェクトであると見なされる。既定回数の検出が２回行われる場合、２回ともに、視点が特定のオブジェクトに含まれていた回数が基準回数以上であった場合に、利用者が視認している対象が当該特定のオブジェクトであると見なされる。
In the present embodiment, the
利用者が視認している対象が当該特定のオブジェクトである場合、制御部２０は、利用者が当該特定のオブジェクトを選択したとして受け付ける。特定のオブジェクトの選択を受け付けると、制御部２０は、選択オブジェクト表示部２１ａの処理により、選択されたオブジェクトにカーソルを表示させる。なお、オブジェクトが選択された状態で利用者がタッチパッド４１に対してタップ操作を行うと、制御部２０は、オブジェクトに対応づけられた機能の実行を開始する。なお、本実施形態において、視線検出センサ４２による視線の検出周期は一定であるため、制御部２０は、視点を検出するための期間を予め決められた期間とすることにより既定回数の視点の検出を行うことができる。
When the target visually recognized by the user is the specific object, the
検出回数制御部２１ｄは、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れているほど、オブジェクトの選択を受け付けるために視点を検出する回数を少なくする機能を制御部２０に実現させるプログラムモジュールである。すなわち、本実施形態においては、既定回数の視点の検出を１回または２回実行することによって、選択されたオブジェクトを特定する構成が採用されている。そこで、制御部２０は、検出回数制御部２１ｄの処理により、当該既定回数の検出を実行する回数を１回または２回のいずれかに設定することによって視点の検出回数を調整する。
The number-of-
また、制御部２０は、当該視点の検出回数の調整に際して、現在選択されているオブジェクトと、新たに選択されるオブジェクトとの距離を参照する。すなわち、制御部２０は、視点選択受付部２１ｃの処理によって選択されたオブジェクトを特定しており、当該処理によって選択されたとみなされ、現在カーソルが表示されているオブジェクトが現在選択されているオブジェクトとみなされる。
The
一方、制御部２０は、視点選択受付部２１ｃの処理により、既定回数の視点の検出を１回行った段階で、当該既定回数の検出結果に基づいて利用者が視認している対象のオブジェクトを特定する。利用者が視認している対象のオブジェクトが、現在選択されているオブジェクトと異なるオブジェクトである場合、制御部２０は、利用者が視認している対象のオブジェクトが新たに選択されるオブジェクトであると見なす。そして、制御部２０は、現在選択されているオブジェクトと新たに選択されるオブジェクトとのディスプレイ４０上の位置（例えばボタンの中心位置）を特定し、両位置の距離を取得する。以上の構成によれば、制御部２０が両位置の距離が閾値より大きいか否か判定することにより、２個のオブジェクトが離れているか否かを容易に特定することが可能になる。
On the other hand, the
現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れている場合、制御部２０は、既定回数の視点の検出を１回行ってオブジェクトの選択を受け付ける。一方、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れていない場合、制御部２０は、既定回数の視点の検出を２回行ってオブジェクトの選択を受け付ける。制御部２０は、視点選択受付部２１ｃの処理において、既定回数の視点の検出を１回行うか２回行うか決定する。
When the currently selected object is far from the newly selected object, the
すなわち、現在選択されているオブジェクト以外の他のオブジェクトが視点によって選択され得る場合、視点として検出された位置に基づいて両オブジェクトのいずれが選択されるのかを決定する必要がある。現在選択されているオブジェクトから他のオブジェクトが近いほど、視点が両オブジェクトのいずれを示しているのか判断する際における視点の位置変動や検出誤差に大きな影響を受ける。従って、近いオブジェクトのいずれが視認されているのか正確に特定するためには、視点検出の統計精度を高める方が好ましい。 That is, when an object other than the currently selected object can be selected depending on the viewpoint, it is necessary to determine which of the two objects is selected based on the position detected as the viewpoint. The closer the other object is to the currently selected object, the greater the influence of the viewpoint position variation and detection error in determining which of the two viewpoints the viewpoint represents. Therefore, it is preferable to increase the statistical accuracy of viewpoint detection in order to accurately identify which of the close objects is being viewed.
そして、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れている場合、視点で選択されたオブジェクトが現在選択されているオブジェクトであるのか否か判定することは容易であり、両オブジェクトが近いほど判定の難易度があがる。そこで、本実施形態において制御部２０は、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れているほど、オブジェクトの選択を受け付けるために視点を検出する回数を少なくする。以上の構成によれば、判定の難易度に応じて視点検出の負荷を調整することができる。
If the currently selected object is far from the newly selected object, it is easy to determine whether the object selected from the viewpoint is the currently selected object. The closer the object is, the more difficult it is to judge. Therefore, in the present embodiment, the
また、視点で選択されたオブジェクトが現在選択されているオブジェクトであるか否かを容易に特定可能である状態において、視点の検出回数を少なくすることにより高速または簡易な処理によって視点を検出することができる。従って、過度の時間または過度の処理負荷で視点が検出されることを防止することができる。 In addition, it is possible to detect a viewpoint by high-speed or simple processing by reducing the number of viewpoint detections in a state in which it is possible to easily identify whether the object selected from the viewpoint is the currently selected object. Can do. Therefore, it is possible to prevent the viewpoint from being detected in an excessive time or an excessive processing load.
（２）選択受付処理：
次に上述の構成における選択受付処理を詳細に説明する。図２は、当該選択受付処理を示すフローチャートである。本実施形態においては、ディスプレイ４０にオブジェクトを含むユーザインタフェース画面が表示されている状態で、一定期間毎に選択受付処理が実行される。選択受付処理が開始される場合、後述する視点計測変数およびフラグが０に初期化される。
(2) Selection acceptance process:
Next, the selection reception process in the above configuration will be described in detail. FIG. 2 is a flowchart showing the selection receiving process. In the present embodiment, the selection acceptance process is executed at regular intervals while the user interface screen including the object is displayed on the
選択受付処理において、制御部２０は、視点検出部２１ｂの処理により、視点を検出する（ステップＳ１００）。すなわち、制御部２０は、視線検出センサ４２の出力に基づいて、車室内の空間上の位置を規定する３次元座標系において利用者の目の位置および視線方向を取得する。さらに、制御部２０は、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の画面との交点を特定する。そして、当該交点の位置をディスプレイ４０の座標系の位置に変換することにより、利用者の視点が存在する画素を特定する。なお、制御部２０は、０〜既定回数までカウントするための視点計測変数を予め定義しており、視点が検出されるたびに当該視点計測変数がインクリメントされる。また、検出された視点（画素の座標）はＲＡＭに記録される。
In the selection reception process, the
次に制御部２０は、視点検出部２１ｂの処理により、視点が既定回数検出されたか否かを判定する（ステップＳ１０５）。すなわち、制御部２０は、視点計測変数を参照し、値が既定回数に達していなければ、ステップＳ１００以降の処理を繰り返す。この際、制御部２０は、視線検出センサ４２が視線方向を出力する周期で繰り返し処理を実行する。すなわち、当該周期に同期して視点を検出する処理を繰り返す。
Next, the
ステップＳ１０５において、視点計測変数の値が既定回数に達していれば、制御部２０は、当該視点計測変数の値を初期化し（０を代入し）、視点選択受付部２１ｃの処理により、視認されているオブジェクトを特定する（ステップＳ１１０）。すなわち、制御部２０は、ステップＳ１００〜Ｓ１０５のループの過程で検出された各視点を取得する。また、制御部２０は、視点が特定のオブジェクトに含まれていた回数が基準回数以上である場合に利用者が当該オブジェクトを視認しているとみなす。なお、基準回数は予め決められていれば良く、本実施形態においては基準回数＞（既定回数／２）である。ただし、選択されたオブジェクトを特定するために、既定回数の検出が２回実行される場合、基準回数はより大きな値に変更される（例えば、元の基準回数×２等）。
In step S105, if the value of the viewpoint measurement variable has reached the predetermined number of times, the
次に、制御部２０は、検出回数制御部２１ｄの処理により、視認されているオブジェクトが現在選択されているオブジェクトと異なるか否かを判定する（ステップＳ１１５）。すなわち、制御部２０は、現在カーソルが表示されているオブジェクトを現在選択されているオブジェクトとして取得する。そして、制御部２０は、ステップＳ１１０にて取得された、視認されているオブジェクトと、現在選択されているオブジェクトとが異なるか否かを判定する。
Next, the
ステップＳ１１５において、視認されているオブジェクトが現在選択されているオブジェクトと異なると判定されない場合、制御部２０は、視点を既定回数検出済であるか否かを示すフラグをオフに設定し（ステップＳ１２０）、ステップＳ１００以降を繰り返す。すなわち、視認されているオブジェクトが現在選択されているオブジェクトと同一である場合、利用者によるオブジェクトの選択を新たに受け付ける必要はなく、制御部２０は、ステップＳ１００以後の処理を繰り返す。
If it is not determined in step S115 that the currently viewed object is different from the currently selected object, the
一方、ステップＳ１１５において、視認されているオブジェクトが現在選択されているオブジェクトと異なると判定された場合、制御部２０は、検出回数制御部２１ｄの処理により、オブジェクト間距離が閾値より大きいか否かを判定する（ステップＳ１２５）。すなわち、制御部２０は、視認されているオブジェクトと現在選択されているオブジェクトの位置を特定し、両位置の距離を特定し、閾値と比較する。
On the other hand, when it is determined in step S115 that the currently viewed object is different from the currently selected object, the
ステップＳ１２５において、オブジェクト間距離が閾値より大きいと判定された場合、制御部２０は、視認されているオブジェクトにカーソルを表示する（ステップＳ１４０）。すなわち、制御部２０は、ディスプレイ４０を制御し、ステップＳ１１０で特定されたオブジェクトの外周を強調する画像、すなわちカーソルを表示させる。
If it is determined in step S125 that the distance between objects is greater than the threshold, the
一方、ステップＳ１２５において、オブジェクト間距離が閾値より大きいと判定されない場合、すなわち、オブジェクト同士が近い場合、制御部２０は、検出回数制御部２１ｄの処理により、フラグがオンであるか否かを判定する（ステップＳ１３０）。当該フラグは視点を既定回数検出済であるか否かを示すフラグであり、当該フラグがオンではない場合、制御部２０は、当該フラグをオンにして（ステップＳ１３５）、ステップＳ１００以降の処理を繰り返す。すなわち、制御部２０は、既定回数の視点の検出をあと１回実行し、２回以上実行しないようにするために、フラグをオンにしてステップＳ１００以降の処理を繰り返す。この結果、視点を既定回数検出する処理（ステップＳ１００，１０５のループ処理）が２回実行される。
On the other hand, when it is not determined in step S125 that the distance between the objects is greater than the threshold, that is, when the objects are close to each other, the
一方、ステップＳ１３０において、フラグがオンであると判定された場合、制御部２０は、ステップＳ１４０を実行する。すなわち、フラグがオンである場合、既定回数の視点の検出が２回実行され、かつ、現在選択されているオブジェクトと異なるオブジェクトが視認されている。そこで、制御部２０は、ディスプレイ４０を制御し、ステップＳ１１０で特定されたオブジェクトの外周を強調する画像、すなわちカーソルを表示させる。
On the other hand, when it determines with a flag being ON in step S130, the
図３Ａおよび図３Ｂは、ディスプレイ４０の画面にオブジェクトＯ1，Ｏ2が表示されている例を示している。なお、図３Ａおよび図３Ｂにおいては、カーソルをオブジェクト外周の太い枠線によって示している。従って、これらの図において現在選択されているオブジェクトはオブジェクトＯ1である。
3A and 3B show an example in which objects O 1 and O 2 are displayed on the screen of the
図３Ａおよび図３Ｂに示す例において、現在選択されているオブジェクトはオブジェクトＯ1であり、この状態で利用者がオブジェクトＯ2を視認し、ステップＳ１１０において視認されているオブジェクトがオブジェクトＯ2であると特定された場合を想定する。この場合、ステップＳ１１５において、制御部２０は、視認されているオブジェクトが現在選択されているオブジェクトと異なると判定する。
In the example shown in FIGS. 3A and 3B, the currently selected object is an object O 1, the user in this state viewing the object O 2, the object being visible is an object O 2 in step S110 Assuming that In this case, in step S115, the
図３ＡにおいてはオブジェクトＯ1，Ｏ2間の距離が閾値よりも大きい例、図３ＢにおいてはオブジェクトＯ1，Ｏ2間の距離が閾値よりも小さい例が想定されている。従って、図３Ａの場合、制御部２０は、ステップＳ１２５においてオブジェクト間距離が閾値より大きいと判定し、既定回数の視点の検出を１回実行した段階でステップＳ１４０を実行する。
In FIG. 3A, an example in which the distance between the objects O 1 and O 2 is larger than the threshold is assumed, and in FIG. 3B, an example in which the distance between the objects O 1 and O 2 is smaller than the threshold is assumed. Therefore, in the case of FIG. 3A, the
一方、図３Ｂの場合、制御部２０は、ステップＳ１２５においてオブジェクト間距離が閾値より小さいと判定し、ステップＳ１３０，Ｓ１３５でフラグをオンに設定し、ステップＳ１００以後の処理により、再度既定回数の視点の検出を実行する。この後、制御部２０は、ステップＳ１２５においてオブジェクト間距離が閾値より小さいと判定し、ステップＳ１３０においてフラグがオンと判定してステップＳ１４０を実行する。従って、制御部２０は、既定回数の視点の検出を２回実行した後にステップＳ１４０を実行する。
On the other hand, in the case of FIG. 3B, the
図３Ａおよび図３Ｂにおいては、視点が黒丸によって模式的に示されている。すなわち、これらの図においては、選択されたオブジェクトの特定のために検出された視点を複数個の黒丸で模式的に示している。図３Ａに示す例においては既定回数の視点の検出が１回実行され、図３Ｂに示す例においては既定回数の視点の検出が２回実行されるため、図３Ａに示す例は図３Ｂに示す例と比較して検出された視点の数が少ない。 In FIG. 3A and FIG. 3B, the viewpoint is schematically indicated by a black circle. That is, in these drawings, the viewpoint detected for specifying the selected object is schematically shown by a plurality of black circles. In the example shown in FIG. 3A, detection of the predetermined number of viewpoints is executed once, and in the example shown in FIG. 3B, detection of the predetermined number of viewpoints is executed twice. Therefore, the example shown in FIG. 3A is shown in FIG. 3B. The number of detected viewpoints is small compared to the example.
しかし、図３Ａにおいては、両オブジェクトが離れているため、視点の検出回数が少なくても誤検出が生じにくい。また、選択されたオブジェクトの判定を高速に実行することができる。一方、図３Ｂにおいては、両オブジェクトが近いが視点の検出回数が多くなることにより統計精度が向上する。従って、両オブジェクトが近くても、視点によって選択されたオブジェクトが、現在選択されているオブジェクトであるのか、他のオブジェクトであるのかを正確に検出することができる。 However, in FIG. 3A, since both objects are separated from each other, erroneous detection is unlikely to occur even if the number of viewpoint detections is small. Moreover, the determination of the selected object can be executed at high speed. On the other hand, in FIG. 3B, although both objects are close, the statistical accuracy is improved by increasing the number of viewpoint detections. Therefore, even if both objects are close to each other, it is possible to accurately detect whether the object selected by the viewpoint is the currently selected object or another object.
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、オブジェクトが離れている度合いに応じて視点の検出回数を調整する限りにおいて、他にも種々の実施形態を採用可能である。例えば、選択受付システムは、ナビゲーションシステム以外のシステム、汎用コンピュータシステム等に適用されていても良い。また、選択受付システムは、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。
(3) Other embodiments:
The above embodiment is an example for carrying out the present invention, and various other embodiments can be adopted as long as the number of viewpoint detections is adjusted according to the degree to which the object is separated. For example, the selection receiving system may be applied to a system other than the navigation system, a general-purpose computer system, or the like. The selection receiving system may be a system realized by a plurality of devices (for example, a client and a server).
さらに、選択受付システムを構成する選択オブジェクト表示部２１ａ、視点検出部２１ｂ、視点選択受付部２１ｃ、検出回数制御部２１ｄの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、選択オブジェクト表示部２１ａの少なくとも一部がディスプレイ４０内の制御部で実現されても良いし、視点検出部２１ｂ、視点選択受付部２１ｃ、検出回数制御部２１ｄの少なくとも一部が視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動され、または処理の一部が省略されてもよい。
Furthermore, at least a part of the selected
例えば、ユーザインタフェース画面に表示されたオブジェクトは２個に限定されず、３個以上であっても良い。この構成は、例えば、図２に示すステップＳ１１０が修正されることによって実現可能であり、既定回数の検出の２回目が実行された後のステップＳ１１０において特定されたオブジェクトが、既定回数の検出の１回目が実行された後のステップＳ１１０において特定されたオブジェクトと異なる場合、フラグがオフにされてステップＳ１１５以降の処理が実行される。また、オブジェクトが３個以上である場合、新たに選択されるオブジェクトと他のオブジェクトが近いか否か判定され、近い場合に検出回数が多く、遠い場合に検出回数が少なくなる構成であっても良い。むろん、既定回数の検出を繰り返す回数は１回および２回に限定されず、他の回数であっても良いし、オブジェクト間距離に応じて回数が少なくなってもよい。 For example, the number of objects displayed on the user interface screen is not limited to two, and may be three or more. This configuration can be realized, for example, by correcting step S110 shown in FIG. 2, and the object specified in step S110 after the second detection of the predetermined number of times is executed is detected by the predetermined number of times. If the object is different from the object specified in step S110 after the first execution, the flag is turned off and the processing from step S115 onward is executed. Further, when there are three or more objects, it is determined whether or not the newly selected object is close to another object, and the number of detections is large when close, and the number of detections is small when far away. good. Of course, the number of times that the detection of the predetermined number of times is repeated is not limited to once and twice, but may be another number, or the number may be reduced according to the distance between objects.
さらに、既定回数やオブジェクト間距離を判定するための閾値は、人工知能等によって決められても良い。例えば、視点と操作入力とによってオブジェクトが選択可能な構成において、制御部２０が特定の視点検出回数で視点によって選択されたオブジェクトを特定する。そして、当該選択されたオブジェクトが操作入力部によって修正された場合に視点検出回数を変化させ、オブジェクトが操作入力部によって修正されなかった場合に視点検出回数を維持または小さい変化をさせるように学習する構成等が挙げられる。オブジェクト間距離も同様であり、制御部が特定の値を閾値としてオブジェクト間距離を判定し、操作入力部による修正の有無に応じて閾値を調整する学習が行われる構成であっても良い。
Further, the threshold for determining the predetermined number of times and the distance between objects may be determined by artificial intelligence or the like. For example, in a configuration in which an object can be selected by a viewpoint and an operation input, the
選択オブジェクト表示部は、現在選択されているオブジェクトを示す表示を行うことができればよい。すなわち、選択オブジェクト表示部は、視点によって選択されたオブジェクトと選択されていないオブジェクトとを区別可能な表示を行うことができればよい。現在選択されているオブジェクトを示す表示は、上述のようなカーソルの他、各種の強調表示によって実現されてもよい。また、オブジェクトの周辺に、オブジェクトに対応づけたランプ等の目印が配置され、点灯等によって他のオブジェクトと区別可能な状態となってもよい。 The selected object display unit only needs to be able to display the currently selected object. In other words, the selected object display unit only needs to be able to display an object selected by the viewpoint and an object not selected. The display indicating the currently selected object may be realized by various highlight displays in addition to the cursor as described above. In addition, a mark such as a lamp associated with the object may be arranged around the object so that it can be distinguished from other objects by lighting or the like.
オブジェクトは、ディスプレイに表示されたアイコン等の画像以外にも種々の選択対象を想定可能であり、例えば、実体のある装置（エアコンの風向調整部や温度調整部、各種機能に関するボタン等）であっても良い。この場合、上述の目印等によって現在選択されているオブジェクトが特定される構成等を採用可能である。 In addition to images such as icons displayed on the display, various selection targets can be assumed as the object. For example, the object is an actual device (such as a wind direction adjustment unit or a temperature adjustment unit of an air conditioner or buttons related to various functions). May be. In this case, a configuration in which the currently selected object is specified by the above-described mark or the like can be adopted.
視点検出部は、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を始点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。さらに、視点は、少なくとも、利用者が視認している表示領域上で特定されれば良い。 The viewpoint detection unit only needs to be able to detect the viewpoint of the user, and various configurations can be employed. For example, as in the above-described embodiment, the line of sight is specified by specifying the movement of the user's eyes based on the output of the camera that captures the user's eyes, and the intersection of the line of sight and the previously specified display screen It is possible to adopt a configuration that regards as a starting point. The number of eyes to be detected may be one or two, but in order to improve accuracy, it is preferable that the number of eyes to be detected is two. The viewpoint when the eyes of two eyes are specified may be statistically specified from each viewpoint specified based on the eyes of each eye, or the viewpoint is specified based on the bias by the dominant eye. Also good. Furthermore, the viewpoint may be specified at least on the display area that the user is viewing.
利用者の視点は、利用者の頭や眼球の位置や角度の変化や検出誤差に応じて短い期間で細かく変動する。そこで、視点検出部は、予め決められた周期で視点を検出する（サンプリングする）が、当該周期は、固定であっても良いし可変であっても良い。 The user's viewpoint varies finely in a short period of time according to changes in the position and angle of the user's head and eyeballs and detection errors. Therefore, the viewpoint detection unit detects (samples) the viewpoint at a predetermined cycle, but the cycle may be fixed or variable.
視点選択受付部は、視点に基づいて利用者によるオブジェクトの選択を受け付けることができればよい。すなわち、視点選択受付部は、視点に基づいて、複数のオブジェクトから利用者が選択したオブジェクトを決定することができればよい。上述のように、視点は短い期間で細かく変動するため、視点選択受付部は、視点を複数回検出した結果に基づいてオブジェクトの選択を受け付けることが好ましい。また、複数回の検出結果のいずれかが他の検出結果と比較して、オブジェクト選択の際により重要視されてもよい（重みが異なっていてもよい）。 The viewpoint selection receiving unit only needs to be able to receive selection of an object by the user based on the viewpoint. That is, the viewpoint selection receiving unit only needs to be able to determine an object selected by the user from a plurality of objects based on the viewpoint. As described above, since the viewpoint changes finely in a short period of time, it is preferable that the viewpoint selection reception unit receives selection of an object based on the result of detecting the viewpoint a plurality of times. In addition, any of the detection results of a plurality of times may be given more importance when selecting an object than the other detection results (the weights may be different).
選択されたオブジェクトの決定は視点とオブジェクトとの関係に基づいて行われれば良く、上述のようにオブジェクトに含まれる視点の個数に基づいて決定される構成の他、視点とオブジェクトとの距離や、視点の移動方向とオブジェクトの位置との関係等に基づいて決定されても良いし、各視点の重心に最も近いオブジェクトが選択されたオブジェクトであると見なす構成が採用されてもよいし、これらの組み合わせであっても良い。 The selected object may be determined based on the relationship between the viewpoint and the object. In addition to the configuration determined based on the number of viewpoints included in the object as described above, the distance between the viewpoint and the object, It may be determined based on the relationship between the movement direction of the viewpoint and the position of the object, etc., or a configuration may be adopted in which the object closest to the center of gravity of each viewpoint is regarded as the selected object. It may be a combination.
検出回数制御部は、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れているほど、オブジェクトの選択を受け付けるために視点を検出する回数を少なくすることができればよい。すなわち、検出回数制御部は、視点が、現在選択されているオブジェクトと新たに選択されるオブジェクトとのいずれを指しているのか明らかであるほど、少ない検出回数でオブジェクトの選択を受け付ける。 The detection number control unit only needs to be able to reduce the number of times the viewpoint is detected in order to accept the selection of the object, as the currently selected object and the newly selected object are separated from each other. That is, the detection number control unit accepts the selection of an object with a smaller number of detections, as it is clear whether the viewpoint indicates the currently selected object or the newly selected object.
現在選択されているオブジェクトと新たに選択されるオブジェクトとが離れているか否かは、オブジェクト間の距離によって定義されても良いし、オブジェクト間に存在する物体の変化度合いによって定義されてもよい。すなわち、前者であれば、上述の実施形態のように、現在選択されているオブジェクトと新たに選択されるオブジェクトとの距離が遠いほど、オブジェクトの選択を受け付けるために視点を検出する回数が少ない構成となる。後者としては、例えば表示部が複数のディスプレイを含み、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが異なるディスプレイに表示されている場合、同一のディスプレイに表示されている場合よりも、オブジェクトの選択を受け付けるために視点を検出する回数が少ない構成が挙げられる。 Whether or not the currently selected object is away from the newly selected object may be defined by the distance between the objects, or may be defined by the degree of change of the object existing between the objects. In other words, in the former case, as in the above-described embodiment, as the distance between the currently selected object and the newly selected object increases, the number of times the viewpoint is detected to accept the object selection is reduced. It becomes. As the latter, for example, when the display unit includes a plurality of displays, and the currently selected object and the newly selected object are displayed on different displays, than the case where they are displayed on the same display A configuration in which the number of times the viewpoint is detected in order to accept selection of an object is small.
検出回数の調整は、上述のように一定周期の検出において検出期間を調整する構成（既定回数の検出を単位とし、当該単位の検出回数を調整する構成）であっても良いし、一定期間の検出において検出周期を調整する構成であっても良いし、両者の組み合わせであっても良い。また、他の指標に基づいて検出回数が調整されてもよい。例えば、視点の単位移動距離あたりの検出回数が調整されてもよい。検出回数の調整は、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが離れているほど検出回数が少なくなるように実施されればよい。検出回数は、連続的に変化しても良いし２段階以上で段階的に変化してもよい。むろん、当該検出回数の調整は、現在選択されているオブジェクトと、新たに選択されるオブジェクトとが近いほど検出回数が多くなる構成と等価であり、この場合においても検出回数は、連続的に変化しても良いし２段階以上で段階的に変化してもよい。 As described above, the adjustment of the number of detections may be configured such that the detection period is adjusted in the detection of a fixed period (a configuration in which the detection number of the predetermined number is used as a unit and the detection number of the unit is adjusted) The detection period may be adjusted in detection, or a combination of both may be used. Further, the number of detections may be adjusted based on another index. For example, the number of detections per unit moving distance of the viewpoint may be adjusted. The adjustment of the number of detections may be performed so that the number of detections decreases as the currently selected object and the newly selected object are separated. The number of detections may change continuously, or may change stepwise in two or more steps. Of course, the adjustment of the number of detections is equivalent to a configuration in which the number of detections increases as the currently selected object is closer to the newly selected object. In this case, the number of detections changes continuously. Alternatively, it may be changed in two steps or more.
さらに、本発明のように、オブジェクトが離れている度合いに応じて視点の検出回数を調整する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えたナビゲーションシステム、端末や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Furthermore, the method of adjusting the number of viewpoint detections according to the degree to which an object is separated as in the present invention can also be applied as a program or method. The system, program, and method as described above can be realized as a single device or can be realized as a plurality of devices, and include various aspects. For example, it is possible to provide a navigation system, a terminal, a method, and a program provided with the above means. Further, some changes may be made as appropriate, such as a part of software and a part of hardware. Furthermore, the invention can be realized as a recording medium for a program for controlling the system. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
１０…ナビゲーションシステム、２０…制御部、２１…選択受付プログラム、２１ａ…選択オブジェクト表示部、２１ｂ…視点検出部、２１ｃ…視点選択受付部、２１ｄ…検出回数制御部、３０…記録媒体、４０…ディスプレイ、４１…タッチパッド、４２…視線検出センサ
DESCRIPTION OF
Claims (4)
利用者の視点を検出する視点検出部と、
前記視点に基づいて前記利用者による前記オブジェクトの選択を受け付ける視点選択受付部と、
現在選択されている前記オブジェクトと、新たに選択される前記オブジェクトとが離れているほど、前記オブジェクトの選択を受け付けるために前記視点を検出する回数を少なくする検出回数制御部と、
を備える選択受付システム。 A selected object display for displaying the currently selected object;
A viewpoint detection unit that detects a user's viewpoint;
A viewpoint selection receiving unit that receives selection of the object by the user based on the viewpoint;
A detection frequency control unit that reduces the number of times the viewpoint is detected in order to accept the selection of the object, as the currently selected object and the newly selected object are separated from each other;
A selection reception system comprising:
現在選択されている前記オブジェクトと、新たに選択される前記オブジェクトとの距離が遠いほど少ない、
請求項１に記載の選択受付システム。 The number of times the viewpoint is detected in order to accept the selection of the object is
The smaller the distance between the currently selected object and the newly selected object is, the smaller the distance is.
The selection reception system according to claim 1.
前記オブジェクトの選択を受け付けるために前記視点を検出する回数は、
現在選択されている前記オブジェクトと、新たに選択される前記オブジェクトとが異なる前記ディスプレイに表示されている場合、同一の前記ディスプレイに表示されている場合よりも少ない、
請求項１または請求項２のいずれかに記載の選択受付システム。 The object is displayed on one of a plurality of displays,
The number of times the viewpoint is detected in order to accept the selection of the object is
If the currently selected object and the newly selected object are displayed on different displays, less than if they are displayed on the same display,
The selection reception system according to claim 1 or 2.
現在選択されているオブジェクトを示す表示を行う選択オブジェクト表示部、
利用者の視点を検出する視点検出部、
前記視点に基づいて前記利用者による前記オブジェクトの選択を受け付ける視点選択受付部、
現在選択されている前記オブジェクトと、新たに選択される前記オブジェクトとが離れているほど、前記オブジェクトの選択を受け付けるために前記視点を検出する回数を少なくする検出回数制御部、
として機能させる選択受付プログラム。 Computer
A selected object display section for displaying the currently selected object,
A viewpoint detector that detects the user's viewpoint;
A viewpoint selection receiving unit that receives selection of the object by the user based on the viewpoint;
A detection frequency control unit that reduces the number of times the viewpoint is detected in order to accept the selection of the object, as the currently selected object and the newly selected object are separated from each other,
Selection acceptance program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016246134A JP2018101229A (en) | 2016-12-20 | 2016-12-20 | Selection receiving system and selection receiving program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016246134A JP2018101229A (en) | 2016-12-20 | 2016-12-20 | Selection receiving system and selection receiving program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018101229A true JP2018101229A (en) | 2018-06-28 |
Family
ID=62714369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016246134A Pending JP2018101229A (en) | 2016-12-20 | 2016-12-20 | Selection receiving system and selection receiving program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018101229A (en) |
-
2016
- 2016-12-20 JP JP2016246134A patent/JP2018101229A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11418706B2 (en) | Adjusting motion capture based on the distance between tracked objects | |
| US10606441B2 (en) | Operation control device and operation control method | |
| EP2928180B1 (en) | Image processing apparatus, method for controlling image processing apparatus and program | |
| US9465443B2 (en) | Gesture operation input processing apparatus and gesture operation input processing method | |
| KR102182667B1 (en) | An operating device comprising an eye tracker unit and a method for calibrating the eye tracker unit of the operating device | |
| US20170351327A1 (en) | Information processing apparatus and method, and program | |
| US9904359B2 (en) | Head-mounted display controlled by tapping, method for controlling the same and computer program product for controlling the same | |
| KR20120045667A (en) | Apparatus and method for generating screen for transmitting call using collage | |
| EP3293973A1 (en) | Electronic device and method for controlling same | |
| JP6911834B2 (en) | Information processing equipment, information processing methods, and programs | |
| US20150084853A1 (en) | Method and System for Mapping for Movement Trajectory of Emission Light Source Application Trajectory Thereof | |
| JP5912929B2 (en) | Display device, processing method, and program | |
| US9552059B2 (en) | Information processing method and electronic device | |
| JP2018101229A (en) | Selection receiving system and selection receiving program | |
| CN111819841B (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2018097443A (en) | Input system and input program | |
| JP2018041219A (en) | View point acquisition system and view point acquire program | |
| JP6696357B2 (en) | Pointer control system and pointer control program | |
| US11935182B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| TWI736214B (en) | Display control device, display control method, program and non-temporary computer readable information recording medium | |
| US20240087255A1 (en) | Information processing apparatus, system, control method, and non-transitory computer storage medium | |
| US9354706B2 (en) | Storage medium having stored therein information processing program, information processing apparatus, information processing system, and method of calculating designated position | |
| US20230125410A1 (en) | Information processing apparatus, image capturing system, method, and non-transitory computer-readable storage medium | |
| JP2018092518A (en) | Display control system and display control program | |
| CN105320485A (en) | Image processor, image projector, and image processing method |