JP2018041219A - View point acquisition system and view point acquire program - Google Patents
View point acquisition system and view point acquire program Download PDFInfo
- Publication number
- JP2018041219A JP2018041219A JP2016173977A JP2016173977A JP2018041219A JP 2018041219 A JP2018041219 A JP 2018041219A JP 2016173977 A JP2016173977 A JP 2016173977A JP 2016173977 A JP2016173977 A JP 2016173977A JP 2018041219 A JP2018041219 A JP 2018041219A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- priority
- display
- user
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、視点取得システムおよび視点取得プログラムに関する。 The present invention relates to a viewpoint acquisition system and a viewpoint acquisition program.
従来、利用者の視線方向と手動操作の検出結果に基づいてディスプレイ画面上にカーソルを表示する技術が知られている。例えば、特許文献１においては、利用者の注視位置にカーソルを表示することや、注視位置に最も近いボタンにカーソルを表示する技術が開示されている。 Conventionally, a technique for displaying a cursor on a display screen based on a user's line-of-sight direction and a manual operation detection result is known. For example, Patent Document 1 discloses a technique for displaying a cursor at a user's gaze position and displaying a cursor on a button closest to the gaze position.
上述した従来技術において、視点には誤差が生じ得る。従って、従来の技術において検出された視点に誤差が生じていると、利用者が注視位置にカーソルを表示させたいと意図しているのに注視位置に最も近いボタンにカーソルが表示される場合や、逆に、注視位置に最も近いボタンにカーソルを表示させたいと意図しているのに注視位置にカーソルが表示されてしまう場合があり、利用者の意図を反映できないことがあった。
本発明は、前記課題にかんがみてなされたもので、利用者の意図を反映して視点を補正することが可能な技術を提供することを目的とする。
In the prior art described above, an error may occur in the viewpoint. Therefore, if there is an error in the viewpoint detected in the prior art, the user intends to display the cursor at the gaze position, but the cursor is displayed on the button closest to the gaze position. On the contrary, there is a case where the cursor is displayed at the gaze position even though it is intended to display the cursor on the button closest to the gaze position, and the intention of the user may not be reflected.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of correcting a viewpoint reflecting a user's intention.
上記の目的を達成するため、視点取得システムは、利用者の視点を検出する視点検出部と、優先度が対応づけられたオブジェクトを表示部に表示させるオブジェクト表示部と、優先度が高いオブジェクト内の位置を視点とする補正を行う視点補正部と、表示部における表示内容の変化に応じて優先度を変化させる優先度制御部と、を備える。 In order to achieve the above object, the viewpoint acquisition system includes a viewpoint detection unit that detects a user's viewpoint, an object display unit that displays an object associated with a priority on a display unit, and an object in a high-priority object. A viewpoint correction unit that performs a correction with the position as the viewpoint, and a priority control unit that changes the priority according to a change in display content on the display unit.
また、上記の目的を達成するため、視点取得プログラムは、コンピュータを、利用者の視点を検出する視点検出部、優先度が対応づけられたオブジェクトを表示部に表示させるオブジェクト表示部、優先度が高いオブジェクト内の位置を視点とする補正を行う視点補正部、表示部における表示内容の変化に応じて優先度を変化させる優先度制御部、として機能させる。 In order to achieve the above object, the viewpoint acquisition program includes a computer, a viewpoint detection unit that detects a user's viewpoint, an object display unit that displays an object associated with a priority on the display unit, and a priority level. It is made to function as a viewpoint correction unit that performs correction with a position in a high object as a viewpoint, and a priority control unit that changes priority according to a change in display content on the display unit.
すなわち、視点がオブジェクト内に存在し得る構成において、検出された視点をオブジェクトの優先度に基づいて補正し、優先度が高いオブジェクト内の位置を視点と見なす。従って、視点の検出精度が高くなくても、優先度に基づいて視点を特定することができる。ただし、表示部における表示内容が変化し得る場合、優先度が常に一定であると表示内容の変化に対応して視点を補正することができない。そこで、優先度制御部は、表示部における表示内容の変化に応じて優先度を変化させる。この構成によれば、表示内容が変化しても、当該変化に応じた優先度によって視点を補正することが可能になり、表示内容に応じて変化し得る利用者の意図を反映して視点を補正することが可能である。 That is, in a configuration in which a viewpoint can exist in an object, the detected viewpoint is corrected based on the priority of the object, and a position in the object with a high priority is regarded as the viewpoint. Therefore, the viewpoint can be specified based on the priority even if the viewpoint detection accuracy is not high. However, when the display content on the display unit can change, if the priority is always constant, the viewpoint cannot be corrected corresponding to the change in the display content. Therefore, the priority control unit changes the priority according to the change in the display content on the display unit. According to this configuration, even if the display content changes, it is possible to correct the viewpoint with the priority according to the change, and the viewpoint is reflected reflecting the user's intention that can change according to the display content. It is possible to correct.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）視点取得システムの構成：
（２）視点取得処理：
（３）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of viewpoint acquisition system:
(2) Viewpoint acquisition processing:
(3) Other embodiments:
（１）視点取得システムの構成：
図１は、本発明の一実施形態である視点取得システムを実現するナビゲーションシステム１０の構成を示すブロック図である。本実施形態にかかる視点取得システムは、車両に搭載されたナビゲーションシステム１０の機能の一部として実現される。ナビゲーションシステム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。
(1) Configuration of viewpoint acquisition system:
FIG. 1 is a block diagram showing a configuration of a
本実施形態において、制御部２０は、図示しないナビゲーションプログラムを実行することができ、当該ナビゲーションプログラムを実行することにより、図示しないＧＰＳ信号等に基づいてナビゲーションシステム１０が搭載された車両を指定の目的地まで誘導する。また、ナビゲーションプログラムは、誘導案内に関する処理以外にも各種の処理を制御部２０に実行させることが可能である。例えば、制御部２０は、ナビゲーションプログラムにより、表示部（後述するディスプレイ４０）をユーザインタフェースとして機能させ、利用者から各種の指示を受け付けることができる。
In the present embodiment, the
車両は、ディスプレイ４０（表示部）および視線検出センサ４２を備えている。ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。また、ディスプレイ４０は、タッチパネルディスプレイであり、利用者はディスプレイ４０に表示された画像をユーザインタフェースとして各種の操作入力を行うことができる。従って、本実施形態においてディスプレイ４０は、操作入力装置を兼ねた表示部である。
The vehicle includes a display 40 (display unit) and a line-of-
視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。
The line-of-
以上の構成において、制御部２０は、ディスプレイ４０をユーザインタフェースとして利用し、利用者による指示を受け付けることができる。本実施形態においては、視点による指示の入力が可能である。すなわち、制御部２０は、利用者の視点を検出し、視点を含むオブジェクトが利用者によって指示されたとみなすことができる。
In the above configuration, the
当該視点による指示の受け付けを行う際に視点を特定するため、ナビゲーションプログラムは、視点取得プログラム２１を備えている。視点取得プログラム２１は、視点検出部２１ａとオブジェクト表示部２１ｂと視点補正部２１ｃと優先度制御部２１ｄとを備えている。
The navigation program includes a
視点検出部２１ａは、利用者の視点を検出する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となるディスプレイ４０の画面の位置が、車室内空間の位置を規定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の画面との交点を視点として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えば、インストルメントパネル等）上に存在すると判定されても良い。
The
オブジェクト表示部２１ｂは、優先度が対応づけられたオブジェクトを表示部に表示させる機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、ナビゲーション処理の過程で地図等のオブジェクトや利用者に選択肢を提供するためのボタン等のオブジェクトを表示するための画像情報を生成することができる。そして、制御部２０は、ディスプレイ４０に制御信号を出力し、当該画像情報に基づいてオブジェクトによって構成される各種の画面を表示させる。
The
なお、オブジェクトは、視点が当該オブジェクト上に存在すると判定され得る任意の表示対象であり、本実施形態においては、地図およびボタンがオブジェクトに相当する。本実施形態においては、記録媒体３０に地図情報３０ａおよびアイコン情報３０ｂが記録されている。地図情報３０ａは、地図を構成する各要素（ノード、道路、施設等）の位置や画像情報を含んでおり、制御部２０は、地図情報３０ａを参照して、任意の領域の地図を示す画像情報を生成することができる。
The object is an arbitrary display target that can be determined that the viewpoint exists on the object. In the present embodiment, the map and the button correspond to the object. In the present embodiment,
アイコン情報３０ｂは、ディスプレイ４０に各種のボタンを表示するための画像情報を含んでおり、制御部２０は、アイコン情報３０ｂを参照して、種々のボタンを示す画像情報を生成することができる。なお、本実施形態においては、地図やボタンなどのオブジェクトに対してオブジェクト毎の優先度が予め対応づけられており、当該優先度は、ディスプレイ４０における表示内容毎に決められている。
The
すなわち、表示内容が異なると、利用者が視認している位置も変化し得るため、各表示内容において利用者が視認している可能性が高いオブジェクトの優先度が予め特定され、表示内容に対応づけられる。本実施形態においては、地図情報３０ａおよびアイコン情報３０ｂに、各オブジェクトの優先度を示す情報が含まれている。
In other words, if the display content is different, the position that the user is viewing can also change, so the priority of the object that is likely to be visually recognized by the user in each display content is specified in advance and corresponds to the display content It is attached. In the present embodiment, the
視点補正部２１ｃは、優先度が高いオブジェクト内の位置を視点とする補正を行う機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、優先度制御部２１ｄの処理により（詳細は後述）ディスプレイ４０に表示された各オブジェクトの優先度を特定し、視点補正部２１ｃの処理により、最も優先度が高い領域に視点が存在すると見なす補正を行う。本実施形態において各オブジェクトの優先度は、オブジェクト毎に設定された値と、視点からオブジェクトまでの距離とに基づいて設定される。オブジェクト毎に設定された値は、上述のように地図情報３０ａおよびアイコン情報３０ｂに含まれている。
The
一方、実際に視点が存在する確率は、利用者が視認している部位に応じて変化し得る。すなわち、視点に誤差があるとしても、視点として検出された位置は当該部位を反映しており、検出された位置から最大誤差以上離れた部位を利用者が視認している可能性は少ない。そこで、本実施形態においては、視点からオブジェクトまでの距離が小さいほど優先度が高くなるように、視点（として検出された位置）からの距離毎の優先度が予め決められている。 On the other hand, the probability that the viewpoint actually exists may change depending on the part that the user is viewing. That is, even if there is an error in the viewpoint, the position detected as the viewpoint reflects the part, and there is little possibility that the user visually recognizes a part that is more than the maximum error from the detected position. Therefore, in the present embodiment, the priority for each distance from the viewpoint (the position detected as) is determined in advance so that the priority increases as the distance from the viewpoint to the object decreases.
そこで、制御部２０は、オブジェクト毎に設定された優先度の値と、視点からオブジェクトまでの距離によって特定された優先度の値との和を算出することにより、各オブジェクトの優先度を特定する。そして、制御部２０は、優先度が最も高い領域内が視点の位置であると見なすことにより、視点を補正する。
Therefore, the
優先度制御部２１ｄは、表示部における表示内容の変化に応じて優先度を変化させる機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、地図情報３０ａやアイコン情報３０ｂを参照し、ディスプレイ４０に現在表示している表示内容に対応した優先度（オブジェクト毎に設定された値）を特定する。そして、制御部２０は、当該表示内容毎にオブジェクト毎に設定された値を、視点補正部２１ｃでの処理に利用する。この結果、制御部２０は、表示内容によって変化し得るオブジェクト毎の優先度と、検出された視点からオブジェクトまでの距離に応じた優先度との和によって特定された優先度に基づいて視点を補正することができる。
The
以上の構成において優先度は、ディスプレイ４０における表示内容に応じて変化し得るため、表示内容の変化に応じた優先度によって視点を補正することが可能になる。従って、視点の検出精度が高くなくても、優先度に基づいて利用者が視認している可能性が高い部位を視点として特定することができ、表示内容に応じて変化し得る利用者の意図を反映して視点を補正することが可能である。
In the above configuration, the priority can change according to the display content on the
（２）視点取得処理：
次に上述の構成における視点取得処理を詳細に説明する。図２は、当該視点取得処理を示すフローチャートである。本実施形態において制御部２０は、ディスプレイ４０の表示内容を変化させる場合に視点取得処理を実行する。なお、ここでは、ディスプレイ４０の表示内容が２個のレイヤに対する描画内容の重ね合わせによって生成される構成において、下のレイヤに背景、現在地地図、スクロール地図のいずれかが描画され、上のレイヤにボタンが描画される例を説明する。むろん、ボタンが描画されない場合、上のレイヤへの描画は行われない。
(2) Viewpoint acquisition processing:
Next, the viewpoint acquisition processing in the above configuration will be described in detail. FIG. 2 is a flowchart showing the viewpoint acquisition process. In the present embodiment, the
なお、背景は、例えば、黒の単色や既定の模様の画像などによって構成される。現在地地図は、車両の現在地がディスプレイ４０の既定の位置に表示されるように描画された地図であり、スクロール地図は利用者の指示（現在地地図へのスワイプ操作等）によってスクロールしている（またはスクロールした後の）地図である。
Note that the background is constituted by, for example, an image of a single black color or a predetermined pattern. The current location map is a map drawn so that the current location of the vehicle is displayed at a predetermined position on the
視点取得処理が開始されると、制御部２０は、オブジェクト表示部２１ｂの処理により、画面を描画する（ステップＳ１００）。すなわち、制御部２０は、変化後の表示内容を特定し、変化後に表示すべきオブジェクトを特定する。また、制御部２０は、各オブジェクトを予め決められたレイヤの予め決められた位置に配置し、下のレイヤに存在するオブジェクトに対して上のレイヤに存在するオブジェクトを重ねる（上位レイヤのオブジェクトを優先的に表示する）ことで画面の描画を行う。そして、制御部２０は、描画された画面の画像情報をディスプレイ４０に出力することで、変化後の表示内容をディスプレイ４０に表示させる。
When the viewpoint acquisition process is started, the
次に、制御部２０は、優先度制御部２１ｄの処理により、下のレイヤの描画内容を判定する（ステップＳ１０５）。すなわち、制御部２０は、ステップＳ１００にてディスプレイ４０の画面を描画した際に、下のレイヤに描画した内容が背景、現在地地図、スクロール地図のいずれであったのかを判定する。
Next, the
ステップＳ１０５において、下のレイヤの描画内容が背景であると判定された場合、表示領域を低優先度に設定する（ステップＳ１１０）。本実施形態においては、ディスプレイ４０の表示領域を構成する各画素に対して、当該画素にて表示されるオブジェクトに応じた優先度を対応づける。このため、制御部２０は、ディスプレイ４０における背景の表示領域の各画素を低優先度に設定する。低優先度を示す値は種々の値とすることができ、図３Ａにおいては、表示領域の全域に背景が描画された表示領域の全域が低優先度を示す０に設定された例を示している。
If it is determined in step S105 that the drawing content of the lower layer is the background, the display area is set to low priority (step S110). In the present embodiment, each pixel constituting the display area of the
ステップＳ１０５において、下のレイヤの描画内容がスクロール地図であると判定された場合、表示領域を高優先度に設定する（ステップＳ１２０）。すなわち、制御部２０は、ディスプレイ４０におけるスクロール地図の表示領域の各画素を高優先度に設定する。高優先度を示す値は種々の値とすることができ、図４Ａにおいては、表示領域の全域にスクロール地図が描画されたことにより、全域が高優先度を示す１０に設定された例を示している。ステップＳ１０５において、下のレイヤの描画内容が現在地地図であると判定された場合、表示領域を中優先度に設定する（ステップＳ１１５）。すなわち、制御部２０は、ディスプレイ４０における現在地図の表示領域の各画素を中優先度に設定する。中優先度を示す値は種々の値とすることができ、図３Ａ、図４Ａの例に整合する値としては、０〜１０の間の値、例えば、５等の値を採用可能である。
If it is determined in step S105 that the drawing content of the lower layer is a scroll map, the display area is set to high priority (step S120). That is, the
すなわち、オブジェクトが背景である場合と地図である場合とでは、オブジェクトの意味が異なるため、その意味に応じて視認される可能性が変化し得る。そこで、本実施形態においては、利用者が積極的に視認し得るオブジェクトである地図の優先度を、利用者が必ずしも積極的に視認しないオブジェクトである背景の優先度より高くなるように予め優先度が決定されている。 That is, since the meaning of the object is different between the case where the object is the background and the case where the object is the map, the possibility that the object is visually recognized may change depending on the meaning. Therefore, in the present embodiment, the priority of the map that is an object that the user can actively view is higher than the priority of the background that is the object that the user does not necessarily actively view in advance. Has been determined.
さらに、本実施形態においては、利用者による指示によって表示内容が変化することによってディスプレイ４０に表示されたオブジェクトの優先度が、他のオブジェクトの優先度よりも高くなるように予め優先度が決定されている。具体的には、スクロール地図の優先度が現在地地図の優先度よりも高くなるように、優先度が決められている。すなわち、スクロール地図は利用者が現在の表示内容と異なる地図を視認しようとする意図を持って利用者が指示を行うことで表示されるため、通常状態で表示される現在地地図と比べて利用者が視認しようとする可能性が高い。そこで、本実施形態においては、利用者による指示によって表示されるスクロール地図の優先度を、通常状態で表示される現在地地図の優先度よりも高くしている。
Furthermore, in the present embodiment, the priority is determined in advance so that the priority of the object displayed on the
次に、制御部２０は、優先度制御部２１ｄの処理により、上のレイヤが存在するか否かを判定する（ステップＳ１２５）。すなわち、制御部２０は、ステップＳ１００にてディスプレイ４０の画面を描画した際に、ボタンを表示するために上のレイヤに描画を行ったか否かを判定し、上のレイヤに描画を行った場合、上のレイヤが存在すると判定する。ステップＳ１２５において、上のレイヤが存在すると判定された場合、制御部２０は、ボタン領域を高優先度に設定する（ステップＳ１３０）。すなわち、制御部２０は、上のレイヤに描画されたボタンが占める領域を特定し、当該領域内の各画素を高優先度に設定する。
Next, the
図３Ｂおよび図４Ｂにおいては、ディスプレイ４０の表示領域内におけるボタン領域を符号Ｂで示している。当該ボタン領域が高優先度であることを示す値が１０である場合、ボタン領域を構成する各画素については下のレイヤの描画内容に関わらず、ボタン領域の優先度とされる。従って、図３Ａのように下のレイヤが背景であることによって優先度が０となっている状況であれば、図３Ｂに示すように符号Ｂで示すボタン領域の優先度が１０，他の領域の優先度が０になる。
In FIG. 3B and FIG. 4B, a button area in the display area of the
一方、図４Ａのように下のレイヤがスクロール地図であることによって優先度が１０となっている状況であれば、図４Ｂに示すように符号Ｂで示すボタン領域の優先度が１０，他の領域の優先度も１０となり、結果としては、全領域について優先度が１０になる。図示は省略しているが、下のレイヤが現在地地図であることによって優先度が５となっているならば、ボタン領域の優先度が１０，他の領域の優先度が５になる。なお、本実施形態においては、ボタン領域の優先度は特定の値であるが、むろん、表示内容（例えば、ボタンの大きさ等）に応じて優先度が変化しても良い。 On the other hand, if the priority is 10 because the lower layer is a scroll map as shown in FIG. 4A, the priority of the button area indicated by symbol B is 10, as shown in FIG. The priority of the area is also 10. As a result, the priority is 10 for all areas. Although illustration is omitted, if the priority is 5 because the lower layer is the current location map, the priority of the button area is 10, and the priority of the other areas is 5. In the present embodiment, the priority of the button area is a specific value, but the priority may of course change according to the display content (for example, the size of the button).
ステップＳ１３０が実行された場合、または、ステップＳ１２５において上のレイヤが存在すると判定されない場合、全画素について優先度の特定が完了するため、オブジェクト毎の優先度が特定された状態となる。次に、制御部２０は、視点検出部２１ａの処理により、視点を検出する（ステップＳ１３５）。すなわち、制御部２０は、視線検出センサ４２の出力に基づいて、車室内の空間上の位置を規定する３次元座標系において利用者の目の位置および視線方向を取得する。さらに、制御部２０は、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の画面との交点を特定する。そして、当該交点の位置を画面座標系の位置に変換することにより、利用者の視点の位置をディスプレイ４０上で特定する。
When step S130 is executed, or when it is not determined in step S125 that an upper layer exists, the specification of the priority for all the pixels is completed, so that the priority for each object is specified. Next, the
次に、制御部２０は、優先度制御部２１ｄの処理により、視点を中心とした同心円領域の優先度を設定する（ステップＳ１４０）。すなわち、制御部２０は、ステップＳ１３５によって視点をディスプレイ４０の表示領域のいずれかの画素の位置として特定しているため、当該画素を中心とし、半径の異なる複数の円形領域を表示領域内に定義する。そして、中心に近い円形領域内の画素に高優先度の値を対応づけ、中心から遠い円形領域内の画素ほど小さい優先度を対応づける。
Next, the
図３Ｃおよび図４Ｃにおいては、視点として検出された位置が位置Ｐeであり、当該位置Ｐeを中心に３個の同心円が定義された例を示している。図３Ｃおよび図４Ｃにおいては、各円形の周によって区切られた領域内の画素に同一の優先度を対応づけており、優先度の値の例を図内に示している。すなわち、最小の円形の領域内の画素には優先度２０，次に大きい円形の領域内の画素には優先度１５，次に大きい円形の領域内の画素には優先度５が対応づけられ、円形の領域の外部には優先度０が対応づけられている。
3C and 4C show an example in which the position detected as the viewpoint is the position Pe, and three concentric circles are defined around the position Pe. In FIG. 3C and FIG. 4C, the same priority is matched with the pixel in the area | region divided by each circular periphery, and the example of the value of a priority is shown in the figure. That is,
次に、制御部２０は、優先度制御部２１ｄの処理により、優先度の和を計算して全領域の優先度を特定する（ステップＳ１４５）。すなわち、制御部２０は、ステップＳ１３０（またはステップＳ１１０、Ｓ１１５、Ｓ１２０のいずれか）で設定された優先度と、ステップＳ１４０で設定された優先度の和を画素毎に算出し、各画素の優先度として特定する。図３Ｄにおいては、図３Ａ〜図３Ｃの例によって最終的に特定される優先度の例を示し、図４Ｄにおいては、図４Ａ〜図４Ｃの例によって最終的に特定される優先度の例を示している。これらの例に示すように、ステップＳ１４５によれば、ボタン領域や視点の検出位置を中心とした円形領域で区切られた各領域毎の各画素について優先度が特定された状態になる。
Next, the
次に、制御部２０は、視点補正部２１ｃの処理により、視点を補正する（ステップＳ１５０）。すなわち、制御部２０は、ステップＳ１４５で優先度が特定された画素の中で、優先度の値が最も大きい画素を特定し、当該画素のいずれかに視点が存在するとみなす。なお、視点は優先度の値が最も大きい画素のいずれかに存在すると見なされれば良いが、本実施形態においては、優先度の値が最も大きい画素のうち、視点の検出位置から最も近い位置が視点の位置であると見なされる。
Next, the
例えば、図３Ｄに示す例においては、視点として検出された位置Ｐeに近いボタンＢm内に、優先度の値が最も大きい２５になっている画素が存在する。従って、優先度が２５の画素のうち、視点として検出された位置Ｐeに最も近い位置Ｐaが視点であると補正される。一方、図４Ｄに示す例においては、視点として検出された位置Ｐeはスクロール地図が表示された領域内であるため、視点として検出された位置Ｐeを中心とした最小の円内の画素における優先度の値が最も大きい値３０となっている。従って、この場合、補正は行われず、視点として検出された位置Ｐeが視点の位置として特定される。以上のようにして視点が特定されると、制御部２０は、当該視点を含むオブジェクト（図３ＤであればボタンＢm、図４Ｄであればスクロール地図）が利用者によって指示されたと見なす。
For example, in the example shown in FIG. 3D, there is a pixel having a priority value of 25 in the button Bm close to the position Pe detected as the viewpoint. Therefore, the position Pa closest to the position Pe detected as the viewpoint among the pixels with the priority of 25 is corrected as the viewpoint. On the other hand, in the example shown in FIG. 4D, since the position Pe detected as the viewpoint is within the area where the scroll map is displayed, the priority in the pixels in the smallest circle centered on the position Pe detected as the viewpoint The value of 30 is the
以上の構成によれば、利用者によるスクロールの指示が行われたことにより、利用者がスクロール地図の指示を意図していると推定される状況において、視点によってスクロール地図が指示されたと見なすことができる。従って、利用者の意図に応じた視点の補正を行うことが可能である。 According to the above configuration, it can be considered that the scroll map is instructed by the viewpoint in a situation where it is estimated that the user intends to instruct the scroll map because the user has instructed the scroll. it can. Therefore, it is possible to correct the viewpoint according to the user's intention.
さらに、以上の構成によれば、表示内容に応じてオブジェクトの優先度が変化するため、単純に、視点として検出された位置から近いオブジェクトが視認されていると判定されるのではなく、オブジェクト毎の優先度も加味されて視認されているか否か判定される。この結果、図３Ｄ，図４Ｄに示すように、ディスプレイ４０に同一のボタンが表示され、視点の検出位置が同一であったとしても、表示内容により、補正後の視点が異なる位置になり得る。
Furthermore, according to the above configuration, since the priority of the object changes according to the display contents, it is not simply determined that an object close to the position detected as the viewpoint is visually recognized, but for each object. It is determined whether or not the image is visually recognized in consideration of the priority. As a result, as shown in FIGS. 3D and 4D, even if the same button is displayed on the
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、表示部における表示内容の変化に応じて優先度を変化させ、優先度に基づいて視点を補正する限りにおいて、他にも種々の実施形態を採用可能である。例えば、視点取得システムは、ナビゲーションシステム以外のシステム、例えば、汎用コンピュータシステムに適用されていても良い。また、視点取得システムは、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。
(3) Other embodiments:
The above embodiment is an example for carrying out the present invention, and various other implementations are possible as long as the priority is changed according to the change of the display content on the display unit and the viewpoint is corrected based on the priority. A form can be adopted. For example, the viewpoint acquisition system may be applied to a system other than the navigation system, for example, a general-purpose computer system. The viewpoint acquisition system may be a system realized by a plurality of devices (for example, a client and a server).
さらに、視点取得システムを構成する視点検出部２１ａ、オブジェクト表示部２１ｂ、視点補正部２１ｃ、優先度制御部２１ｄの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、オブジェクト表示部２１ｂがディスプレイ４０内の制御部で実現されても良いし、視点検出部２１ａが視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
Furthermore, at least a part of the
さらに、視点が利用される態様としては、視点が存在するオブジェクトを利用者が指示しているとみなす態様に限定されず、種々の利用態様が採用されてよい。例えば、視点と操作入力との組み合わせに基づいて、利用者が指定したオブジェクトを特定する際に表示内容に応じた優先度で視点が補正される構成とされても良い。 Furthermore, the aspect in which the viewpoint is used is not limited to the aspect in which the user is instructing the object in which the viewpoint exists, and various utilization forms may be adopted. For example, based on the combination of the viewpoint and the operation input, the viewpoint may be corrected with the priority according to the display content when the object specified by the user is specified.
視点検出部は、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を視点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。 The viewpoint detection unit only needs to be able to detect the viewpoint of the user, and various configurations can be employed. For example, as in the above-described embodiment, the line of sight is specified by specifying the movement of the user's eyes based on the output of the camera that captures the user's eyes, and the intersection of the line of sight and the previously specified display screen It is possible to adopt a configuration that regards as a viewpoint. The number of eyes to be detected may be one or two, but in order to improve accuracy, it is preferable that the number of eyes to be detected is two. The viewpoint when the eyes of two eyes are specified may be statistically specified from each viewpoint specified based on the eyes of each eye, or the viewpoint is specified based on the bias by the dominant eye. Also good.
さらに、視点は、利用者が視認している表示部上の位置であれば良く、表示部に表示されたオブジェクトのいずれが視認されているかを特定することができればよい。従って、視点は、少なくとも表示部上で特定されれば良い。 Furthermore, the viewpoint may be a position on the display unit that is visually recognized by the user, and it is only necessary to identify which of the objects displayed on the display unit is being viewed. Therefore, the viewpoint may be specified at least on the display unit.
オブジェクト表示部は、優先度が対応づけられたオブジェクトを表示部に表示させることができればよい。すなわち、表示部に表示されるオブジェクトには優先度が対応づけられている。オブジェクトは、視点が当該オブジェクト上に存在すると判定され得る任意の表示対象（背景も含む）である。従って、表示部に表示される任意の画像がオブジェクトとなり得る。例えば、ボタンの画像や地図の画像、背景の画像等がオブジェクトとなり得る。 The object display unit only needs to display the object associated with the priority on the display unit. That is, a priority is associated with an object displayed on the display unit. An object is an arbitrary display target (including a background) that can be determined that a viewpoint exists on the object. Therefore, any image displayed on the display unit can be an object. For example, a button image, a map image, a background image, or the like can be an object.
優先度は、視点が存在する確率に対応していればよい。例えば、優先度は、オブジェクト毎に設定された値と、視点からオブジェクトまでの距離とに基づいて設定され、表示内容の変化に応じてオブジェクト毎に設定された値が変化する構成であっても良い。すなわち、オブジェクトの大きさや形状、位置、意味（ボタン、背景、地図等）など、オブジェクトの特徴に応じて視認される可能性が変化し得るため、オブジェクト毎に優先度が決められると、このようなオブジェクトの特徴に応じた優先度をオブジェクトに対応づけることができる。 The priority only needs to correspond to the probability that the viewpoint exists. For example, the priority is set based on the value set for each object and the distance from the viewpoint to the object, and the value set for each object changes according to the change in display content. good. In other words, since the possibility of visual recognition may change depending on the object characteristics such as the size, shape, position, meaning (button, background, map, etc.) of the object, if priority is determined for each object, It is possible to associate the priority according to the characteristics of the object with the object.
また、実際に視点が存在する確率は、利用者が視認している部位に応じて変化し得る。そして、視点に誤差があるとしても、視点として検出された位置は当該部位を反映している。そこで、優先度は視点の位置に応じて動的に変化することが好ましい。なお、誤差があるとしても、通常は視点として検出された位置に近いオブジェクトを視認している可能性が高いため、視点からオブジェクトまでの距離が小さいほど優先度が高くなるように（例えば、距離の逆数によって）優先度が決められることが好ましい。 In addition, the probability that the viewpoint actually exists may change depending on the part that the user is viewing. Even if the viewpoint has an error, the position detected as the viewpoint reflects the part. Therefore, it is preferable that the priority changes dynamically according to the position of the viewpoint. Even if there is an error, there is a high possibility that the object close to the position detected as the viewpoint is normally viewed. Therefore, the smaller the distance from the viewpoint to the object, the higher the priority (for example, the distance The priority is preferably determined by the reciprocal of
そして、オブジェクト毎に設定された値と、視点からオブジェクトまでの距離に基づいて優先度が決定されることにより、単純に、視点として検出された位置から近いオブジェクトが視認されていると判定されるのではなく、オブジェクト毎の優先度も加味されて視認されているか否か判定される。この結果、表示内容に応じた視認確率が反映された状態でオブジェクトが視認されているか否かが特定される。なお、視点からオブジェクトまでの距離の特性が、表示内容毎に変化しても良い。むろん、優先度は、他にも種々の態様で定義されて良く、例えば、利用者が視認している可能性が高いオブジェクトの優先度を高めるように、人工知能によって優先度の値が決められても良い。 Then, by determining the priority based on the value set for each object and the distance from the viewpoint to the object, it is simply determined that an object close to the position detected as the viewpoint is visually recognized. Instead, it is determined whether or not the object is visually recognized in consideration of the priority for each object. As a result, it is specified whether or not the object is visually recognized in a state where the visual recognition probability corresponding to the display content is reflected. The characteristic of the distance from the viewpoint to the object may change for each display content. Of course, the priority may be defined in various other modes. For example, the priority value is determined by artificial intelligence so as to increase the priority of an object that is likely to be visually recognized by the user. May be.
視点補正部は、優先度が高いオブジェクト内の位置を視点とする補正を行うことができればよい。すなわち、表示部に複数のオブジェクトが表示されている場合、各オブジェクトの優先度を特定し、優先度が相対的に高いオブジェクト（例えば、最も優先度が高いオブジェクトや比較対象のオブジェクトの中で最も優先度が高いオブジェクト等）内に視点が存在すると見なすことができるように視点を補正することができればよい。補正後の視点の位置は、種々の手法で特定されて良く、例えば、オブジェクトの外周において視点の検出位置から最も近い位置が視点の位置であると見なされる構成等を採用可能である。 The viewpoint correction unit only needs to be able to perform correction using the position in the object with high priority as the viewpoint. That is, when a plurality of objects are displayed on the display unit, the priority of each object is specified, and an object having a relatively high priority (for example, the highest priority object or the object to be compared is the highest). It is only necessary that the viewpoint can be corrected so that the viewpoint can be regarded as existing in an object having a high priority. The corrected viewpoint position may be specified by various methods. For example, a configuration in which the position closest to the viewpoint detection position on the outer periphery of the object is regarded as the viewpoint position may be employed.
優先度制御部は、表示部における表示内容の変化に応じて優先度を変化させることができればよい。すなわち、表示内容が異なると、利用者が視認している位置も変化し得るため、表示内容に応じて各表示内容において利用者が視認している可能性が高いオブジェクトの優先度を高くすることができればよい。優先度は表示内容によって変化し得るため、異なる表示内容のそれぞれにおいて同一のオブジェクトが表示されているとしても、表示内容が異なれば同一のオブジェクトのそれぞれにおける優先度が異なり得る。例えば、同一のボタンの背景に単なる背景の画像が表示されている場合と、背景に地図の画像が表示されている場合とでボタンの優先度が異なる構成等が挙げられる。 The priority control unit only needs to be able to change the priority in accordance with a change in display content on the display unit. That is, if the display content is different, the position that the user is viewing can also change, so the priority of the object that is likely to be viewed by the user in each display content is increased according to the display content If you can. Since the priority may vary depending on the display content, even if the same object is displayed in each of the different display contents, the priority in each of the same objects may be different if the display content is different. For example, there is a configuration in which button priorities are different between a case where a simple background image is displayed on the background of the same button and a case where a map image is displayed on the background.
さらに、表示内容の変化は、上述の実施形態のように利用者による指示によって発生する構成であっても良い。すなわち、利用者が指示を行った場合、利用者が何らかの意図を持っていることが推定される。従って、当該指示に応じて表示内容が変化する場合において利用者がオブジェクトを視認する際には、当該意図に応じたオブジェクトを視認している可能性が高い。そこで、利用者による指示によって表示内容が変化した場合に、利用者の指示に関連したオブジェクト（例えば、利用者の指示によって変化したオブジェクト）の優先度を他のオブジェクトと比較して高くすれば、利用者の意図に応じた視点の補正を行うことが可能である。利用者による指示に関連したオブジェクトは、上述の実施形態におけるスクロール地図以外にも種々のオブジェクトが想定され、利用者の指示によって検索が行われた場合における検索結果や、車両内の電装品の設定を変更した後の変更結果（エアコンの温度変更後の設定温度等）を示すオブジェクトなど、種々のオブジェクトが想定可能である。 Further, the display content may be changed by an instruction from the user as in the above-described embodiment. That is, when the user gives an instruction, it is estimated that the user has some intention. Therefore, when the user visually recognizes the object when the display content changes according to the instruction, there is a high possibility that the object according to the intention is visually recognized. Therefore, when the display content changes due to the user's instruction, if the priority of the object related to the user's instruction (for example, the object changed according to the user's instruction) is made higher than other objects, It is possible to correct the viewpoint according to the user's intention. Various objects other than the scroll map in the above-described embodiment are assumed as the objects related to the user's instruction, and the search result when the search is performed according to the user's instruction and the setting of the electrical components in the vehicle Various objects can be assumed, such as an object indicating a change result after changing (such as a set temperature after changing the temperature of the air conditioner).
さらに、表示内容の変化は、表示部に表示されたオブジェクトの変化である構成であっても良い。すなわち、オブジェクトが変化した場合、利用者が変化したオブジェクトを視認している可能性が高い。例えば、表示内容の変化前に表示されていなかったオブジェクトが変化後に表示された場合、当該オブジェクトは、変化前において表示されていたオブジェクトよりも利用者に視認されている可能性が高い。 Further, the display content may be changed by changing the object displayed on the display unit. That is, when the object changes, it is highly likely that the user is viewing the changed object. For example, when an object that was not displayed before the change of the display content is displayed after the change, the object is more likely to be visually recognized by the user than the object that was displayed before the change.
そこで、表示内容の変化に伴ってオブジェクトが変化した場合に、変化したオブジェクト（新たに表示されたオブジェクトや形状、大きさ、表示文字等が変化したオブジェクト等）の優先度を他のオブジェクトと比較して高くすれば、利用者が視認している可能性の高いオブジェクトの優先度を高くすることが可能である。このような構成は、例えば、上述の実施形態において、ステップＳ１００とステップＳ１３５との間のいずれかのタイミングで、ステップＳ１００で描画された画面において、描画前に表示されていなかったオブジェクト（例えば、ポップアップウィンドウ等）を特定し、当該オブジェクトを、描画前に表示されていたオブジェクトよりも高い優先度にする構成等によって実現可能である。 Therefore, when the object changes as the display contents change, the priority of the changed object (newly displayed object, object with changed shape, size, display character, etc.) is compared with other objects. If it is made higher, it is possible to increase the priority of objects that are likely to be visually recognized by the user. In such a configuration, for example, in the above-described embodiment, an object (for example, an object that has not been displayed before drawing on the screen drawn in step S100 at any timing between step S100 and step S135). This can be realized by a configuration in which a pop-up window or the like is specified and the object is given a higher priority than the object displayed before drawing.
さらに、本発明のように、表示部における表示内容の変化に応じて優先度を変化させ、優先度に基づいて視点を補正する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えたナビゲーションシステム、携帯端末や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Furthermore, as in the present invention, the method of changing the priority according to the change of the display content on the display unit and correcting the viewpoint based on the priority can be applied as a program or a method. The system, program, and method as described above can be realized as a single device or can be realized as a plurality of devices, and include various aspects. For example, it is possible to provide a navigation system, a portable terminal, a method, and a program including the above means. Further, some changes may be made as appropriate, such as a part of software and a part of hardware. Furthermore, the invention can be realized as a recording medium for a program for controlling the system. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
１０…ナビゲーションシステム、２０…制御部、２１…視点取得プログラム、２１ａ…表示制御部、２１ｂ…視点検出部、２１ｃ…視点取得部、３０…記録媒体、３０ａ…地図情報、４０…ディスプレイ、４２…視線検出センサ
DESCRIPTION OF
Claims (5)
優先度が対応づけられたオブジェクトを表示部に表示させるオブジェクト表示部と、
前記優先度が高い前記オブジェクト内の位置を前記視点とする補正を行う視点補正部と、
前記表示部における表示内容の変化に応じて前記優先度を変化させる優先度制御部と、
を備える視点取得システム。 A viewpoint detection unit that detects a user's viewpoint;
An object display unit for displaying an object associated with a priority on the display unit;
A viewpoint correction unit configured to correct the position in the object having the high priority as the viewpoint;
A priority control unit that changes the priority according to a change in display content on the display unit;
Viewpoint acquisition system with
請求項１に記載の視点取得システム。 The change in the display content is caused by an instruction from the user.
The viewpoint acquisition system according to claim 1.
請求項１または請求項２のいずれかに記載の視点取得システム。 The change in the display content is a change in the object displayed on the display unit.
The viewpoint acquisition system according to claim 1 or 2.
前記オブジェクト毎に設定された値と、前記視点から前記オブジェクトまでの距離とに基づいて設定され、
前記表示内容の変化に応じて前記オブジェクト毎に設定された値が変化する、
請求項１〜請求項３のいずれかに記載の視点取得システム。 The priority is
Set based on the value set for each object and the distance from the viewpoint to the object,
The value set for each object changes according to the change in the display content.
The viewpoint acquisition system in any one of Claims 1-3.
利用者の視点を検出する視点検出部、
優先度が対応づけられたオブジェクトを表示部に表示させるオブジェクト表示部、
前記優先度が高い前記オブジェクト内の位置を前記視点とする補正を行う視点補正部、
前記表示部における表示内容の変化に応じて前記優先度を変化させる優先度制御部、
として機能させる視点取得プログラム。 Computer
A viewpoint detector that detects the user's viewpoint;
An object display unit for displaying an object associated with a priority on the display unit;
A viewpoint correction unit that performs correction with the position in the object having the high priority as the viewpoint;
A priority control unit that changes the priority according to a change in display content in the display unit;
Viewpoint acquisition program to function as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016173977A JP2018041219A (en) | 2016-09-06 | 2016-09-06 | View point acquisition system and view point acquire program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016173977A JP2018041219A (en) | 2016-09-06 | 2016-09-06 | View point acquisition system and view point acquire program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018041219A true JP2018041219A (en) | 2018-03-15 |
Family
ID=61626232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016173977A Pending JP2018041219A (en) | 2016-09-06 | 2016-09-06 | View point acquisition system and view point acquire program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018041219A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113138734A (en) * | 2020-01-20 | 2021-07-20 | 北京芯海视界三维科技有限公司 | Method, apparatus and article of manufacture for display |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009051338A (en) * | 2007-08-27 | 2009-03-12 | Mazda Motor Corp | Driving support device for vehicle |
| JP2014086063A (en) * | 2012-10-29 | 2014-05-12 | Kyocera Corp | Electronic apparatus, sight line input program and sight line input method |
| JP2015046111A (en) * | 2013-08-29 | 2015-03-12 | 株式会社Ｊｖｃケンウッド | Viewpoint detection device and viewpoint detection method |
| JP2016018377A (en) * | 2014-07-08 | 2016-02-01 | 株式会社デンソー | Line-of-sight input device |
-
2016
- 2016-09-06 JP JP2016173977A patent/JP2018041219A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009051338A (en) * | 2007-08-27 | 2009-03-12 | Mazda Motor Corp | Driving support device for vehicle |
| JP2014086063A (en) * | 2012-10-29 | 2014-05-12 | Kyocera Corp | Electronic apparatus, sight line input program and sight line input method |
| JP2015046111A (en) * | 2013-08-29 | 2015-03-12 | 株式会社Ｊｖｃケンウッド | Viewpoint detection device and viewpoint detection method |
| JP2016018377A (en) * | 2014-07-08 | 2016-02-01 | 株式会社デンソー | Line-of-sight input device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113138734A (en) * | 2020-01-20 | 2021-07-20 | 北京芯海视界三维科技有限公司 | Method, apparatus and article of manufacture for display |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11314335B2 (en) | Systems and methods of direct pointing detection for interaction with a digital device | |
| US10217288B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
| US11118928B2 (en) | Method for providing map information and electronic device for supporting the same | |
| WO2021197189A1 (en) | Augmented reality-based information display method, system and apparatus, and projection device | |
| US10635184B2 (en) | Information processing device, information processing method, and program | |
| US10466794B2 (en) | Gesture recognition areas and sub-areas for interaction with real and virtual objects within augmented reality | |
| US9251722B2 (en) | Map information display device, map information display method and program | |
| US20190258318A1 (en) | Terminal for controlling electronic device and processing method thereof | |
| US20120320198A1 (en) | Imaging sensor based multi-dimensional remote controller with multiple input mode | |
| US10489981B2 (en) | Information processing device, information processing method, and program for controlling display of a virtual object | |
| JP6335556B2 (en) | Information query by pointing | |
| US10642348B2 (en) | Display device and image display method | |
| CN111052063B (en) | Electronic device and control method thereof | |
| US20170078570A1 (en) | Image processing device, image processing method, and image processing program | |
| JP6911834B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP2018041219A (en) | View point acquisition system and view point acquire program | |
| US11698578B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| JP2018073310A (en) | Display system and display program | |
| JPWO2017217375A1 (en) | Image display apparatus, image display method, and image display program | |
| JP6696357B2 (en) | Pointer control system and pointer control program | |
| JP2018092518A (en) | Display control system and display control program | |
| JP2018101229A (en) | Selection receiving system and selection receiving program | |
| US20220192487A1 (en) | Method and system for determining dominant eye, and non-transitory computer-readable recording medium | |
| JP2018073147A (en) | Display control system and display control program | |
| JP2018073146A (en) | Input correction system and input correction program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200512 |