JP2017227467A - Structure display device, structure display system and structure display method - Google Patents
Structure display device, structure display system and structure display method Download PDFInfo
- Publication number
- JP2017227467A JP2017227467A JP2016121932A JP2016121932A JP2017227467A JP 2017227467 A JP2017227467 A JP 2017227467A JP 2016121932 A JP2016121932 A JP 2016121932A JP 2016121932 A JP2016121932 A JP 2016121932A JP 2017227467 A JP2017227467 A JP 2017227467A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- line
- display device
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、構造物表示装置、構造物表示システムおよび構造物表示方法の技術に関するものである。 The present invention relates to a structure display device, a structure display system, and a structure display method.
検索データを記憶する検索データ記憶手段を備え、運転者が提示する条件に基づいて前記検索データを検索するナビゲーション装置において、自車位置を特定する自車位置特定手段と、運転者による指定に基づき検索対象の情報種別を設定する情報種別設定手段と、運転者の顔の向きを検出する顔向き方向検出手段と、自車位置と運転者の顔の向きとに応じて検索対象範囲を設定する範囲設定手段と、前記検索データの中から、前記情報種別設定手段により設定された情報種別と、前記検索対象範囲とに該当する前記検索データを検索するデータ検索手段と、検索された前記検索データを出力手段に出力する出力制御手段とを備え、前記範囲設定手段は、運転者の顔の向きを含む所定角度範囲を前記検索対象範囲とし、前記顔向き方向検出手段は、鉛直方向における運転者の顔の向きを検出し、鉛直方向の顔の向きに応じて、前記検索対象範囲の長さを設定することを特徴とするナビゲーション装置についての技術が、特許文献1に記載されている。 In a navigation device that includes search data storage means for storing search data, and searches for the search data based on conditions presented by the driver, the vehicle position specifying means for specifying the vehicle position, and the designation by the driver An information type setting means for setting an information type to be searched, a face direction detecting means for detecting the driver's face direction, and a search target range according to the own vehicle position and the driver's face direction. A range setting unit; a data search unit that searches the search data corresponding to the information type set by the information type setting unit and the search target range from the search data; and the searched search data Output control means for outputting to the output means, wherein the range setting means sets a predetermined angle range including a driver's face orientation as the search target range, and detects the face direction detection hand. Japanese Patent Application Laid-Open No. 2003-151867 discloses a technique for a navigation device that detects the direction of the driver's face in the vertical direction and sets the length of the search target range according to the direction of the vertical face. It is described in.
上記のような技術では、自車位置と顔の向きを用いることで検索対象範囲を限定して検索することが可能となるが、検索時の検索範囲の絞り込みにしか用いることができない。 In the technique as described above, it is possible to search by limiting the search target range by using the own vehicle position and the face direction, but it can be used only for narrowing the search range at the time of search.
本発明の目的は、視線方向にある構造物の表示情報を視線に追随させて適切に生成する技術を提供することにある。 An object of the present invention is to provide a technique for appropriately generating display information of a structure in a line-of-sight direction by following the line of sight.
本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る構造物表示装置は、構造物に関連する所定の情報と、上記構造物の位置と、上記構造物が備える所定の属性情報と、を格納する構造物情報記憶部と、ユーザーの見ている方向を検知する視線検知装置と接続し、上記ユーザーの見ている方向に関する情報を取得する視線検知装置制御部と、上記ユーザーの現在位置を算出する現在位置算出部と、上記ユーザーの見ている方向に関する情報と、上記現在位置と、を用いて上記ユーザーの見ている方向に存在する構造物に関連する情報を上記構造物情報記憶部から取得する構造物情報取得部と、上記構造物情報取得部により取得した前記構造物に関連する情報と、上記構造物が備える属性と同じ属性を備える他の構造物の情報と、を表示する表示制御部と、を備えることを特徴とする。 The present invention includes a plurality of means for solving at least a part of the problems described above. Examples of the means are as follows. In order to solve the above problems, a structure display device according to the present invention stores a predetermined information related to a structure, a position of the structure, and predetermined attribute information included in the structure. An information storage unit connected to a line-of-sight detection device that detects the direction the user is viewing, and a line-of-sight detection device control unit that acquires information about the direction the user is viewing, and a current position that calculates the current position of the user A structure for acquiring information related to a structure existing in the direction viewed by the user from the structure information storage unit using the calculation unit, the information regarding the direction viewed by the user, and the current position. A display control unit for displaying an object information acquisition unit, information related to the structure acquired by the structure information acquisition unit, and information of another structure having the same attribute as the attribute of the structure; The Characterized in that it obtain.
本願発明によれば、視線方向にある構造物の表示情報を視線に追随させて適切に生成する技術を提供することが可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, it is possible to provide a technique for appropriately generating display information of a structure in the line-of-sight direction by following the line of sight. Problems, configurations, and effects other than those described above will become apparent from the following description of embodiments.
以下に、本発明に係る実施形態を適用した構造物表示システムについて、図面を参照して説明する。なお、図1〜9は、構造物表示システムの全ての構成を示すものではなく、理解容易のため、適宜、構成の一部を省略して描いている。 A structure display system to which an embodiment according to the present invention is applied will be described below with reference to the drawings. 1 to 9 do not show all the structures of the structure display system, and for the sake of easy understanding, a part of the structure is appropriately omitted.
図1に、本発明に係る実施形態を適用した構造物表示システムの構造を示す。本発明に係る実施形態を適用した構造物表示システムにおいては、視線検知装置100と、構造物表示装置200と、がそれぞれアンテナ50、アンテナ150を介して通信可能に接続されている。なお、視線現在位置検知装置100と、構造物表示装置200とは、通信ネットワークを介して接続されるものであってもよく、通信ネットワークは、例えばインターネット網や携帯電話網等の公衆無線通信網であってもよいし、所定の管理地域ごとに設けられた閉鎖的な通信網であってもよい。より具体的には、そのような通信ネットワークは、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)、WiFi(登録商標)等の無線ネットワーク、Bluetooth(登録商標)等の近距離無線、USB(Universal Serial Bus)通信線を用いた所定の有線通信等の、各種通信方法による通信網であってもよい。
FIG. 1 shows the structure of a structure display system to which an embodiment according to the present invention is applied. In the structure display system to which the embodiment according to the present invention is applied, the line-of-
視線検知装置100は、運転者の視線を検知可能な情報処理装置である。視線検知装置100は、運転者(以降、ユーザーと表記することもある)の見ている方向である視線を検知し、平常時の視線を原点とする相対位置を上下左右の方向への角運動量(角度)として特定する。また、視線検知装置100は、当該装置自体の傾きを検知し、ロール、ヨー、ピッチの量(角度)を特定する(ロール、ヨー、ピッチの位置関係については、図3に示す)。そして、特定した視線、傾きについて、構造物表示装置200へ所定のタイミングで(あるいは1秒ごと等の所定の間隔で)送信する。
The line-of-
本実施形態においては、視線検知装置100は、単体動作可能な眼鏡型のウェアラブル装置を想定している。しかし、本願発明の対象となる視線検知装置100は、図1に示す視線検知装置100に限られるものではない。例えば、移動体に組み込まれた各種制御機器、カーナビゲーション装置等により運転者の視線が光学的に検知されるものであってもよい。
In the present embodiment, the line-of-
また、視線検知装置100は、眼鏡型に限られず、移動体あるいは運転者に着脱可能に設けられる形状であってもよい。あるいは、視線検知装置100は、運転者の視線を検知することができるものであれば、移動体の運転者あるいは乗員が有する携帯電話機器等の移動端末であってもよく、例えばスマートフォンやフィーチャーフォン、あるいはPDA(Personal Digital Assistance)、ノートパソコン、サーバー装置、デジタル放送の中継装置、タブレット端末等であってもよい。
Further, the line-of-
視線検知装置100は、制御部120を含んで構成される。制御部120には、視線検知制御部121と、キャリブレーション実施部122と、情報送信部123と、が含まれる。
The line-of-
視線検知制御部121は、運転者の視線と、顔の向きとを検知する。具体的には、視線検知制御部121は、運転者の視線として、運転者からみて上方向、下方向、左方向、右方向の各方向へ視線が動いたことを示す値(角度)を特定する。例えば、視線検知制御部121は、人間の瞳(角膜)が有する電荷を検知して、瞳の位置すなわち電荷の位置の変化の方向と量に応じて視線の変化の方向と量とを検知するものであってもよい。また、視線検知制御部121は、3次元空間における互いに直交する3軸を基準とする視線検知装置100の傾きを顔の向きとして検知する。
The line-of-sight
キャリブレーション実施部122は、視線検知制御部121が検知する視線について、通常時の正面方向の視線となる原点の補正を行う。通常は、視線検知装置100を使用開始する際に一度キャリブレーションを行う事で原点の補正がなされる。すなわち、原点においては電荷の位置の変化量がゼロとなるよう、電荷の位置の方向と量とを修正する。
The
情報送信部123は、接続された構造物表示装置200に対して、視線検知の対象者(通常は運転者)の視線と、顔の向きと、の情報を送信する。なお、情報送信部123は、所定のタイミングで(あるいは1秒ごと等の所定の間隔で)当該情報を送信する。
The
構造物表示装置200は、運転者が見た構造物に関連する情報を地図情報に重畳させて表示させる情報処理装置である。構造物表示装置200は、運転者の視線の情報を用いて、視線検知装置100により得た視線の先にある構造物を特定し、当該構造物に関連する情報(構造物の名前や、構造物の外見、あるいは構造物の中に実装されている店舗の情報等)を地図上に重畳表示する。また、構造物表示装置200は、当該構造物と同じカテゴリの近隣の構造物を検索し、表示する。
The
本実施形態においては、構造物表示装置200は、単体動作可能な情報処理装置を想定している。しかし、本願発明の対象となる構造物表示装置200は、図1に示す構造物表示装置200に限られるものではない。例えば、車両等の移動体に組み込まれた各種制御機器、カーナビゲーション装置等により運転者の視線の先にある構造物の情報が表示されるものであってもよい。
In the present embodiment, the
また、構造物表示装置200は、移動体あるいは運転者に着脱可能に設けられるものであってもよい。あるいは、構造物表示装置200は、移動体の運転者あるいは乗員が有する携帯電話機器等の移動端末であってもよく、例えばスマートフォンやフィーチャーフォン、あるいはPDA(Personal Digital Assistance)、ノートパソコン、サーバー装置、デジタル放送の中継装置、タブレット端末等であってもよい。
Moreover, the
構造物表示装置200は、制御部220と、記憶部230と、を含んで構成される。制御部220には、表示制御部221と、視線検知装置制御部222と、現在位置算出部223と、目視対象特定部224と、構造物情報取得部225と、関連構造物情報取得部226と、が含まれる。記憶部230には、構造物情報記憶部231が格納される。
The
図2は、構造物情報記憶部231のデータ構造を示す図である。
FIG. 2 is a diagram illustrating a data structure of the structure
構造物情報記憶部231は、構造物識別子231Aと、構造物名231Bと、位置231Cと、階231Dと、構造物カテゴリ231Eと、を含む。構造物識別子231Aは、構造物を特定する識別子である。なお、本実施形態においては、構造物には、ある位置に長期間を想定して設置された施設、建造物、設備等の被造物、地形等の自然物が含まれる。例えば、ビル、家屋、橋、鉄道のレール、交差点、信号機、トンネル、道路標識、電話ボックス、坂、駐車場、公園、田畑、森林、丘陵、山岳、河川等は構造物に含まれる。
The structure
構造物名231Bは、構造物識別子231Aにより特定される構造物の名称、通称、俗称等の称呼を特定する情報である。位置231Cは、構造物識別子231Aにより特定される構造物の位置を特定する情報である。位置231Cは、例えば、GPS(Global Positioning System)等において用いられる座標系で示されるものであってもよいし、住所等の所定の記述ルールに従った表記で示されるもであってもよい。階231Dは、構造物識別子231Aにより特定される構造物のうち、高さにより区別される階が含まれる場合に、その構造物が存在する階を特定する情報である。
The
構造物カテゴリ231Eは、構造物識別子231Aにより特定される構造物の所定の基準により予め分類された種類のいずれに属するのかを特定する情報である。なお、構造物カテゴリ231Eには、構造物が属するカテゴリ一つが含まれるが、これに限られるものではなく、複数のカテゴリが含まれるものであってもよい。
The
図1の説明に戻る。表示制御部221は、構造物表示装置200において情報の表示を制御する。具体的には、表示制御部221は、地図情報の表示と非表示、地図への重畳表示の方法、表示内容の取捨選択等について、各種の表示画面および設定値に基づいて表示制御を行う。
Returning to the description of FIG. The
視線検知装置制御部222は、視線検知装置100との通信接続を制御し、視線検知装置100との間で、検知情報に関する送受信を制御する。
The line-of-sight detection
現在位置算出部223は、構造物表示装置200の現在地を算出する。具体的には、現在位置算出部223は、GPS等により取得した位置情報の座標を用いて、マップマッチング処理等の調整処理を行い現在位置として推定される位置を示す座標を算出する。
The current
目視対象特定部224は、目視した対象を特定する。具体的には、目視対象特定部224は、視線検知装置100により視線を検知した対象が目視する構造物を特定する。例えば、目視対象特定部224は、現在位置を原点とする目視位置座標を算出し、車両の現在位置の緯度経度と進行方向および速度とを特定し、現在位置の緯度経度を加味して目視位置の絶対位置となる緯度経度と高さを特定する。なお、当該目視位置の高さは、水平面に対する運転者の顔の上向きの度合いである仰角を推定し、視線方向に存在する構造物の階数を水平面に対する仰角に応じて推定する。
The visual
構造物情報取得部225は、構造物の情報を取得する。具体的には、構造物情報取得部225は、目視対象特定部224により特定した緯度経度及び高さの情報を用いて、構造物情報記憶部231の位置231C、階231Dを検索して、構造物識別子231Aと、構造物名231Bと、位置231Cと、階231Dと、構造物カテゴリ231Eと、を取得する。
The structure
関連構造物情報取得部226は、関連する構造物の情報を取得する。具体的には、関連構造物情報取得部226は、構造物情報取得部225により特定した構造物と同様のカテゴリに属する構造物を関連構造物として特定し、当該関連構造物の情報を取得する。具体的には、関連構造物情報取得部226は、構造物情報取得部225により特定した構造物の構造物カテゴリ231Eの情報を用いて、近隣すなわち現在位置から所定の範囲内(例えば、2km以内等の)における構造物情報記憶部231の位置231C、階231Dを検索して、構造物識別子231Aと、構造物名231Bと、位置231Cと、階231Dと、構造物カテゴリ231Eと、を取得する。
The related structure
なお、上述したが、上記の構造物表示システムは、視線検知装置100と、構造物表示装置200と、が別の装置として分かれているが、これに限られるものではない。すなわち、視線検知装置100と、構造物表示装置200とは、単一の装置であってもよい。
In the structure display system described above, the line-of-
図3は、視線検知装置100のハードウェア構造を示す図である。視線検知装置100は、入力受付装置101と、演算装置102と、通信装置103と、主記憶装置104と、視線移動量検知装置105と、傾き検知装置106と、これらをつなぐバス108と、を含んで構成される。
FIG. 3 is a diagram illustrating a hardware structure of the visual
入力受付装置101は、ハードウェアボタンやタッチパネル等の各種入力装置である。なお、この入力受付装置101は、構造物表示装置200の入出力の装置と共用されるものであってもよいし、独立しているものであってもよい。
The
演算装置102は、例えばCPU(Central Processing Unit)などの演算装置である。
The
通信装置103は、ネットワーク等を介して、例えば構造物表示装置200等の他の装置と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。
The
主記憶装置104は、例えばRAM(Random Access Memory)などのメモリ装置である。
The
視線移動量検知装置105は、人間の瞳(角膜)が有する電荷を検知して、基準位置からの電荷の位置の変化の方向と量に応じて視線の変化の方向と量とを検知する。
The line-of-sight
傾き検知装置106は、3次元空間における互いに直交する3軸(ヨー、ロール、ピッチ)を基準とする傾きを取得する。なお、傾き検知装置106は、当該傾きの基準位置を顔の正面に設定してキャリブレーションすることで、得られた傾きの値は正面からの相対的な顔の向きとして用いることができる。また、本実施形態においては、視線検知装置100は眼鏡型ウェアラブルコンピュータを想定しているため、図3に示すように装着時の正面方向を示す軸と、左右方向を示す軸と、鉛直方向を示す軸と、の3軸を回転軸の基準として、それぞれロール、ピッチ、ヨーの回転角を得ることで顔の傾きを特定することができる。
The
上記した制御部120の各機能部、すなわち視線検知制御部121、キャリブレーション実施部122、情報送信部123は、演算装置102が所定のプログラムを読み込み実行することにより構築される。そのため、主記憶装置104には、各機能部の処理を実現するためのプログラムが記憶されている。
Each functional unit of the
なお、上記した各構成要素は、視線検知装置100の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。視線検知装置100の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
In addition, each above-mentioned component classifies the structure of the
また、各機能部は、CPUに限らずハードウェア(ASIC、GPUなど)により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。 Each functional unit is not limited to the CPU, and may be constructed by hardware (ASIC, GPU, etc.). Further, the processing of each functional unit may be executed by one hardware or may be executed by a plurality of hardware.
図4は、構造物表示装置200のハードウェア構造を示す図である。構造物表示装置200は、入力受付装置201と、演算装置202と、通信装置203と、主記憶装置204と、加速度検知装置205と、傾き検知装置206と、車速検知装置207と、位置検知装置208と、出力表示装置209と、これらをつなぐバス210と、を含んで構成される。
FIG. 4 is a diagram illustrating a hardware structure of the
入力受付装置201は、ハードウェアボタンやタッチパネル等の各種入力装置である。なお、この入力受付装置201は、視線検知装置100の入出力の装置と共用されるものであってもよいし、独立しているものであってもよい。
The
演算装置202は、例えばCPUなどの演算装置である。
The
通信装置203は、ネットワーク等を介して、例えば視線検知装置100等の他の装置と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。
The
主記憶装置204は、例えばRAMなどのメモリ装置である。
The
加速度検知装置205は、例えば構造物表示装置200が搭載された移動体の加速度を検知する装置である。
The
傾き検知装置206は、視線検知装置100の傾きの情報を取得して、顔の傾きを検知する装置である。
The tilt detection device 206 is a device that acquires information on the tilt of the line-of-
車速検知装置207は、例えば構造物表示装置200が搭載された移動体の速度を検知する装置である。この速度は、移動体の移動距離と経過時間から取得する速度であってもよいし、移動体の駆動系の所定の部材の運動量(例えば、所定時間内のタイヤの径と回転量)により得る速度であってもよいし、移動体の加速度の積分計算により得る速度であってもよい。
The vehicle
位置検知装置208は、例えばGPS等の衛星波を受信して地球上における位置を特定する座標を得る。
The
出力表示装置209は、例えば液晶ディスプレイや、有機EL(Electro Luminescence)ディスプレイ等の表示出力を行う装置である。
The
上記した制御部220の各機能部、すなわち表示制御部221、視線検知装置制御部222、現在位置算出部223、目視対象特定部224、構造物情報取得部225、関連構造物情報取得部226は、演算装置202が所定のプログラムを読み込み実行することにより構築される。そのため、主記憶装置204には、各機能部の処理を実現するためのプログラムが記憶されている。
Each functional unit of the
なお、上記した各構成要素は、構造物表示装置200の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。構造物表示装置200の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
In addition, each above-mentioned component classifies the structure of the
また、各機能部は、CPUに限らずハードウェア(ASIC、GPUなど)により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。 Each functional unit is not limited to the CPU, and may be constructed by hardware (ASIC, GPU, etc.). Further, the processing of each functional unit may be executed by one hardware or may be executed by a plurality of hardware.
[動作の説明]次に、視線検知装置100と構造物表示装置200とを接続する際に実施する視線検知装置接続処理の動作について説明する。
[Description of Operation] Next, the operation of the line-of-sight detection device connection process performed when the line-of-
図5は、視線検知装置接続処理の流れを示す図である。視線検知装置接続処理は、視線検知装置100と構造物表示装置200とを接続する際に開始される。
FIG. 5 is a diagram illustrating a flow of the line-of-sight detection device connection process. The line-of-sight detection device connection process is started when the line-of-
まず、視線検知装置制御部222は、視線検知装置100からの接続要求を受け付けると、通信接続を開始させる処理を行う(ステップS001)。具体的には、視線検知装置制御部222は、視線検知装置100が有する接続用のID等を視線検知装置100から取得して、通信プロトコルに従ったセッションを確立する。
First, when receiving a connection request from the line-of-
そして、視線検知制御部121は、視線検知装置100の基準値計測を行う(ステップS002)。具体的には、視線検知制御部121は、装着者の瞳(角膜)が有する電荷を検知して、電荷の位置の変化の方向と量に応じて視線の変化の方向と量とを検知する。また、視線検知制御部121は、3次元空間における互いに直交する3軸を基準とする視線検知装置100の傾きを顔の向きとして検知する。
Then, the line-of-sight
そして、キャリブレーション実施部122は、基準値の補正処理を行う(ステップS003)。具体的には、キャリブレーション実施部122は、視線検知制御部121が検知する視線について、通常時の正面方向の視線となる原点の補正を行う。すなわち、原点においては電荷の位置の変化量がゼロとなるよう、電荷の位置の方向と量とを修正する。また、キャリブレーション実施部122は、視線検知制御部121が検知する視線検知装置100の傾きについて、通常時の正面方向の基準位置の補正を行う。すなわち、基準位置においては3軸の傾き量がゼロとなるよう、方向ごとの検知電圧を修正する。
The
以上が、視線検知装置接続処理の流れである。視線検知装置接続処理によれば、視線検知装置と構造物表示装置200とを接続し、キャリブレーションにより傾きと視線の基準位置を特定することができる。
The above is the flow of the line-of-sight detection device connection process. According to the line-of-sight detection device connection processing, the line-of-sight detection device and the
図6は、構造物情報表示処理の流れを示す図である。構造物情報表示処理は、構造物表示装置200が起動し、かつ、視線検知装置接続処理が行われた状態において、所定のタイミングで(あるいは1秒ごと等の所定の間隔で)開始される。
FIG. 6 is a diagram showing the flow of the structure information display process. The structure information display process is started at a predetermined timing (or at a predetermined interval such as every second) in a state where the
まず、目視対象特定部224は、現在位置を原点とする目視位置座標を算出する(ステップS101)。具体的には、目視対象特定部224は、車両の進行方向に対する視線の角度(以降、相対角Α(アルファ)とする)を特定するために、キャリブレーション実施時の方角からの視線の角度(以降、視線角度Θ(シータ)とする)と、キャリブレーション実施時の角度からみた真北の角度(以降、キャリブレーション角度Γ(ガンマ)とする)と、真北からみた進行方向の角度(以降、進行角Β(ベータ)とする)と、を用いて、下式(1)を用いる。
First, the visual
Α=Θ−(Β+Γ)・・・式(1) Α = Θ− (Β + Γ) (1)
そして、目視対象特定部224は、式(1)にて算出した相対角Αに対して、顔の垂直軸からの回転角を示すヨー角を加算することで、目視位置の補正を行う。
Then, the visual
そして、目視対象特定部224は、現在位置を原点とする目視位置の座標P(x,y,z)を求める。この座標P(x,y,z)については、目視対象特定部224が、下式(2)、(3)、(4)にて算出するx、y、zのそれぞれの値を用いて算出する。なお、下式(2)、(3)、(4)において、αは原点O(0,0,0)とPxz(x,0,z)を結ぶ線分OPxzが正面方向のZ軸となす角度であり、βは原点O(0,0,0)とPyz(0,y,z)を結ぶ線分OPyzが正面方向のZ軸となす角度である。
Then, the visual
(ただし、xは、αが−90度以上0度未満の場合はマイナス、0度より大きく90度以下の場合はプラスの値を取るものとする)・・・式(2) (However, x is a minus value when α is −90 degrees or more and less than 0 degrees, and takes a positive value when α is greater than 0 degrees and 90 degrees or less.) Expression (2)
(ただし、yは、βが−90度以上0度未満の場合はマイナス、0度より大きく90度以下の場合はプラスの値を取るものとする)・・・式(3) (However, y takes a negative value if β is −90 degrees or more and less than 0 degrees, and takes a positive value if β is greater than 0 degrees and 90 degrees or less.) (3)
そして、目視対象特定部224は、現在の速度に基づいて目視点の地図上の現在位置からみた位置を特定する。上述の原点OからPまでの距離は、現在位置から目視位置までの距離となるが、運転中のドライバーの目視位置までの距離は、一般に車速によって異なる(高速になれば目視点は遠くなる)ことが多い。すなわち、一般的には、運転者は、低速となる速度10キロメートル/時における走行では、高速となる速度50キロメートル/時における走行よりも近くを見る傾向にあるといえる。
Then, the visual
そこで、本実施形態においては、一般的な運転者を想定し、数秒後に到達するであろう位置を目視することが多いと考え、上述の原点OからPまでの距離を、2秒間に進む距離であると推定して扱うものとする。ただし、個人差を吸収するため、構造物表示装置200の可変の設定値として扱い、当該時間をカスタマイズ可能とする。または、上記設定値は、昼間と夜間、快晴時と雨天時等の確保できる視野の多寡によって所定の重み付けを行って、増減させるようにしてもよい。このようにすることで、目視位置の推定精度をより高めることが可能となる。
Therefore, in the present embodiment, assuming a general driver, it is often considered that a position that will reach a few seconds later is viewed, and the distance from the origin O to P described above is a distance that advances in 2 seconds. It is assumed that However, in order to absorb individual differences, it is handled as a variable set value of the
また、このように、上述の原点OからPまでの距離を、2秒間に進む距離であると推定して扱うと、現在の車速に応じた目視対象の相対座標を特定することができるようになる。 In addition, when the distance from the origin O to P described above is estimated to be a distance that travels in 2 seconds, the relative coordinates of the visual target according to the current vehicle speed can be specified. Become.
次に、目視対象特定部224は、車両の現在位置の緯度経度と方向とを取得する(ステップS102)。具体的には、目視対象特定部224は、現在位置算出部223に依頼して、現在位置を特定する情報として、緯度(lat)、経度(lon)、向き(dir)を取得する。なお、latは北緯を正として、南緯の場合にはマイナス符号をつけ、lonは東経方向を正として、西経の場合にはマイナス符号をつけ、dirは真北を0度として東方向への回転を正方向として情報を得るが、これに限られるものではないことは言うまでもない。
Next, the visual
次に、目視対象特定部224は、現在位置の緯度経度を加味して目視位置の緯度経度と高さを特定する(ステップS103)。具体的には、まず、目視対象特定部224は、座標系を東西南北の座標系に変換する。その方法としては、高さについてのY軸方向は無視して、XZ平面上のPxz(x,z)を原点Oを中心にdirだけ回転させることで得る。そして、目視対象特定部224は、目視位置の座標の単位をメートル法による距離から、緯度経度を示す角度に変換する。そして、目視対象特定部224は、目視位置の緯度経度を決定する。その方法としては、上記の緯度経度を示す角度に変換した目視位置の座標に、現在位置を示す緯度経度であるlat、lonをz軸、x軸の座標のそれぞれに加算する。そして、目視対象特定部224は、目視位置の高さを決定する。具体的には、目視対象特定部224は、高さ方向のy軸の座標を高さとして決定する。
Next, the visual
次に、構造物情報取得部225は、目視位置の緯度経度と高さから構造物情報を検索して特定する(ステップS104)。具体的には、構造物情報取得部225は、構造物情報記憶部231の位置231Cを参照して、目視位置の緯度経度と高さに該当する構造物を特定する。なお、構造物情報取得部225は、目視位置の緯度経度と高さに該当する構造物が存在しない場合には、所定の範囲内(例えば、目視位置から30m以内等)の別の構造物を特定するようにしてもよい。このようにすることで、目視位置の特定に若干の誤差があっても適切に構造物を特定することができるようになる。なお、構造物情報取得部225は、構造物情報記憶部231の参照に関わらず、あるいは参照できない場合に、インターネット等に構造物の情報を提供している所定のサーバー等へ構造物情報を問い合わせるようにしてもよい。
Next, the structure
そして、表示制御部221は、目視位置に構造物情報があったか否かを判定する(ステップS105)。具体的には、表示制御部221は、構造物情報取得部225がステップS104において構造物情報を特定できたか否かを判定する。特定できていなかった場合(ステップS105にて「No」の場合)には、表示制御部221は、構造物情報表示処理を終了させる。
Then, the
目視位置に構造物情報があった場合(ステップS105にて「Yes」の場合)には、表示制御部221は、目視位置の構造物情報を出力する(ステップS106)。具体的には、表示制御部221は、ステップS105にて特定した構造物情報を、当該構造物の周辺の地図情報に重畳させて表示する。なお、表示制御部221は、ステップS105にて特定した構造物情報を音声により出力してもよい。
If there is structure information at the viewing position (“Yes” at step S105), the
そして、関連構造物情報取得部226は、目視した構造物と同じカテゴリの構造物情報があるか否かを判定する(ステップS107)。具体的には、関連構造物情報取得部226は、構造物情報取得部225がステップS104において特定した構造物情報記憶部231の構造物カテゴリ231Eと同じカテゴリに含まれる構造物を、構造物情報記憶部231から検索して特定する。なお、関連構造物情報取得部226は、構造物カテゴリ231Eの完全一致をもって、目視した構造物と同じカテゴリの構造物情報があると判定するようにしてもよい。あるいは、上位のカテゴリに属する構造物があれば同じカテゴリの構造物情報があると判定するようにしても良い。例えば、「イタリア料理店」のカテゴリについて、上位のカテゴリとして「レストラン」が有る場合に、当該上位のカテゴリである「レストラン」に属する構造物があれば、当該構造物を同じカテゴリの構造物情報であるとみなすようにしてもよい。目視した構造物と同じカテゴリの構造物情報がない場合(ステップS107にて「No」の場合)には、関連構造物情報取得部226は、構造物情報表示処理を終了させる。なお、関連構造物情報取得部226は、構造物情報記憶部231の参照に関わらず、あるいは参照できない場合に、インターネット等に構造物の情報を提供している所定のサーバー等へ構造物情報を問い合わせるようにしてもよい。
Then, the related structure
次に、同じカテゴリに属する構造物情報があった場合(ステップS107にて「Yes」の場合)には、表示制御部221は、目視位置の構造物と同じカテゴリに属する構造物情報を出力する(ステップS108)。具体的には、表示制御部221は、ステップS107にて特定した目視位置の構造物と同じカテゴリに属する構造物情報を、当該構造物の周辺の地図情報に重畳させて表示する。なお、表示制御部221は、ステップS107にて特定した目視位置の構造物と同じカテゴリに属する構造物情報を音声により出力してもよい。
Next, when there is structure information belonging to the same category (in the case of “Yes” in step S107), the
以上が、構造物情報表示処理の流れである。構造物情報表示処理によれば、視線検知装置により検知した運転者の視線が示す先の構造物を特定し、当該構造物の情報および関連する構造物についての情報も表示することができる。 The above is the flow of the structure information display process. According to the structure information display process, it is possible to identify the structure indicated by the driver's line of sight detected by the line-of-sight detection device, and to display information on the structure and related structures.
図7は、構造物情報表示処理により生成される情報の例を示す図である。図7には、構造物情報表示処理のステップS106において構造物表示装置200により表示される地図画面300が示されている。地図画面300には、自車位置を示すカーマーク301と、自車から所定の範囲内の地図とが示される。また、視線の先にあるレストランについて、吹き出しによる当該レストランの名称表示302と、地図画面300の左下の所定の位置に当該レストランの名称表示310と、レストランに係る食事のカテゴリ等の詳細情報の表示指示を受け付ける詳細表示指示受付領域311と、が表示される。詳細表示指示受付領域311は、名称表示310内に配されるのが望ましい。
FIG. 7 is a diagram illustrating an example of information generated by the structure information display process. FIG. 7 shows a
図8は、構造物情報表示処理により生成される情報の別の例を示す図である。図8には、構造物情報表示処理のステップS108において構造物表示装置200により表示される地図画面400が示されている。地図画面400には、自車位置を示すカーマークと、自車から所定の範囲内の地図とが示される。また、視線の先にあるレストランについて、吹き出しによる当該レストランの名称表示302と、地図画面400の左下の所定の位置に当該レストランの名称表示およびレストランに係る食事のカテゴリ等の詳細情報の表示指示を受け付ける詳細表示指示受付領域と、が表示されるのに加え、関連する構造物の情報が表示される。
FIG. 8 is a diagram illustrating another example of information generated by the structure information display process. FIG. 8 shows a
関連する構造物の情報は、図8に示す地図画面400においては、関連する構造物が付近に2件あることを示す存在表示320と、その2件の構造物についての名称321と、が含まれる。また、名称321のそれぞれに対応付けられて、詳細情報の表示指示をそれぞれ受け付ける詳細表示指示受付領域331、詳細表示指示受付領域332と、が含まれる。
The related structure information includes a
詳細表示指示受付領域331または詳細表示指示受付領域332のいずれかに入力を受け付けると、表示制御部221は、入力を受け付けた構造物についての詳細を表示する詳細表示画面への遷移処理を行う。詳細表示画面においては、構造物の施設名とカテゴリー、場所、自車位置からの距離等の詳細情報を表示する詳細表示領域340が表示されるとともに、当該構造物を目的地として設定して経路誘導を行うか否かの指示を受け付ける目的地設定指示入力領域342およびその操作案内の文章を表示する案内表示領域341と、が表示される。ここで、目的地設定指示入力領域342に入力指示を受け付けると、表示制御部221は、図示しない経路探索等の処理を行い、経路誘導を開始する。
When an input is received in either the detailed display
図9は、構造物情報表示処理により生成される情報のさらに別の例を示す図である。図9では、目視した構造物が上層階(地上1階よりも上の階)の場合には、目視した階に相当する構造物をその階とともに表示する画面の例である画面450が示されている。
FIG. 9 is a diagram illustrating still another example of information generated by the structure information display process. FIG. 9 shows a
画面450には、自車位置を示すカーマーク301と、自車から所定の範囲内の地図とが示される。また、視線の先にある地上3階にある雑貨店について、吹き出しによる当該雑貨店の名称と階数を示す構造物表示451と、画面450の左下の所定の位置に当該雑貨店の名称表示460と、雑貨店に係る店舗のカテゴリ等の詳細情報の表示指示を受け付ける詳細表示指示受付領域461と、が表示される。詳細表示指示受付領域461は、名称表示460内に配されるのが望ましい。
The
なお、構造物表示451の階数を示す領域は、左右へのスライド入力を受け付けることが可能であり、表示制御部221は、スライド入力を受け付けた方向に応じて、階数を増減させて該当する階に存在する構造物の名称へと表示を変更する。すなわち、例えば右方向へスライドを一度受け付けると、表示制御部221は、「4F」の表示へと変えつつ、4階にある構造物の名称を雑貨店の表示に代えて表示する。
The area indicating the floor number of the
以上が、実施形態に係る構造物表示システムである。上記の実施形態によれば、視線方向にある構造物の表示情報を視線に追随させて適切に生成することができるといえる。 The above is the structure display system according to the embodiment. According to said embodiment, it can be said that the display information of the structure in a gaze direction can be appropriately generated by following the gaze.
ただし、本発明は、上記の実施形態に制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。 However, the present invention is not limited to the above embodiment. The above embodiment can be variously modified within the scope of the technical idea of the present invention.
例えば、上記の実施形態においては、視線検知装置100は視線を細かに検知し、構造物表示装置200はこれに追随させて構造物の情報を表示させたが、これに限られない。例えば、構造物表示装置200は、一定回数以上連続して同じ構造物に視線が検知された場合に、その構造物の情報を表示させるようにしても良い。このようにすることで、安全確認のために周囲に視線を素早く巡らせる場合等に構造物の情報を無駄に表示させることを避けることができる。
For example, in the above-described embodiment, the line-of-
また例えば、上記の実施形態においては、構造物表示装置200は、視線の先にある構造物が信号機の場合には、信号機の名称等を表示することに代えて、付近の信号や道路の看板の情報を表示するようにしてもよい。このようにすることで、運転者が周囲の交通情報を得やすくなる。
Further, for example, in the above-described embodiment, when the structure at the end of the line of sight is a traffic light, the
また例えば、上記の実施形態においては、構造物表示装置200は、検知した視線に追随させて構造物の情報を表示させたが、これに限られない。例えば、一度表示した構造物の情報を、次に赤信号等により停止した際に、以前の赤信号以降表示した構造物を一覧にまとめて表示させるようにしても良い。このようにすることで、運転中に見落とした構造物の情報を、停止中にまとめて確認できるため、見落としに早く気付くことができる。
Further, for example, in the above-described embodiment, the
また例えば、上記の実施形態においては、構造物表示装置200は、視線に追随させて構造物の情報をすべて表示させたが、これに限られない。例えば、運転者が事前に設定したカテゴリに属する構造物に限定して表示するようにしても良い。このようにすることで、不要な構造物の情報を表示することを避けることができる。
Further, for example, in the above-described embodiment, the
また例えば、さらに、構造物表示装置200は、運転者等が事前に設定したカテゴリに属する構造物に限定して表示する動作モードと、限定せずに表示する動作モードとを、加重センサー等による同乗者の検知有無に応じて切り替えるようにしても良い。このようにすることで、同乗者から運転者のプライバシーを保護することができる。
In addition, for example, the
以上、本発明について、実施形態を挙げて説明した。しかし、これに限られず、上記実施形態に記載した特徴的な処理について、別の機器に適用する(例えば、着脱可能なスマートフォンやタブレット装置等の携帯端末等に適用する)ことも可能である。 The present invention has been described with the embodiment. However, the present invention is not limited to this, and the characteristic processing described in the above embodiment can be applied to another device (for example, applied to a portable terminal such as a detachable smartphone or tablet device).
50・・・アンテナ、100・・・視線検知装置、120・・・制御部、121・・・視線検知制御部、122・・・キャリブレーション実施部、123・・・情報送信部、150・・・アンテナ、200・・・構造物表示装置、220・・・制御部、221・・・表示制御部、222・・・視線検知装置制御部、223・・・現在位置算出部、224・・・目視対象特定部、225・・・構造物情報取得部、226・・・関連構造物情報取得部、230・・・記憶部、231・・・構造物情報記憶部
DESCRIPTION OF
Claims (7)
ユーザーの見ている方向を検知する視線検知装置と接続し、前記ユーザーの見ている方向に関する情報を取得する視線検知装置制御部と、
前記ユーザーの現在位置を算出する現在位置算出部と、
前記ユーザーの見ている方向に関する情報と、前記現在位置と、を用いて前記ユーザーの見ている方向に存在する構造物に関連する情報を前記構造物情報記憶部から取得する構造物情報取得部と、
前記構造物情報取得部により取得した前記構造物に関連する情報と、前記構造物が備える属性と同じ属性を備える他の構造物の情報と、を表示する表示制御部と、
を備えることを特徴とする構造物表示装置。 A structure information storage unit that stores predetermined information related to the structure, the position of the structure, and predetermined attribute information included in the structure;
A line-of-sight detection device controller that connects to a line-of-sight detection device that detects the direction the user is looking at, and acquires information about the direction the user is looking at,
A current position calculation unit for calculating the current position of the user;
A structure information acquisition unit that acquires, from the structure information storage unit, information related to a structure existing in the user's viewing direction using the information related to the user's viewing direction and the current position. When,
A display control unit for displaying information related to the structure acquired by the structure information acquisition unit, and information on other structures having the same attributes as the attributes of the structure;
A structure display device comprising:
前記視線検知装置制御部は、前記ユーザーの顔の向きと、瞳の位置と、を取得する、
ことを特徴とする構造物表示装置。 The structure display device according to claim 1,
The line-of-sight detection device control unit obtains the orientation of the user's face and the position of the pupil.
A structure display device characterized by that.
前記属性情報には、前記構造物の種類を所定の基準で分類したカテゴリ情報が含まれる、
ことを特徴とする構造物表示装置。 The structure display device according to claim 1,
The attribute information includes category information obtained by classifying the type of the structure according to a predetermined standard.
A structure display device characterized by that.
前記構造物情報取得部は、前記ユーザーの移動速度に応じて前記構造物までの距離を推定し、前記ユーザーの見ている方向に存在する構造物を前記距離に応じて特定する、
ことを特徴とする構造物表示装置。 The structure display device according to claim 1,
The structure information acquisition unit estimates a distance to the structure according to the moving speed of the user, and specifies a structure that exists in the direction that the user is viewing according to the distance.
A structure display device characterized by that.
前記構造物情報取得部は、前記ユーザーの水平面に対する顔の上向きの度合いを推定し、前記ユーザーの見ている方向に存在する構造物の階数を前記水平面に対する顔の上向きの度合いに応じて特定して、前記階数に応じて前記構造物を特定する、
ことを特徴とする構造物表示装置。 The structure display device according to claim 1,
The structure information acquisition unit estimates the upward degree of the face relative to the horizontal plane of the user, and specifies the number of floors of the structure existing in the direction the user is viewing according to the upward degree of the face relative to the horizontal plane. And specifying the structure according to the floor number,
A structure display device characterized by that.
前記構造物表示装置は、
前記構造物に関連する所定の情報と、前記構造物の位置と、前記構造物が備える所定の属性情報と、を格納する構造物情報記憶部と、
前記視線検知装置と接続し、前記ユーザーの見ている方向に関する情報を取得する視線検知装置制御部と、
前記ユーザーの現在位置を算出する現在位置算出部と、
前記ユーザーの見ている方向に関する情報と、前記現在位置と、を用いて前記ユーザーの見ている方向に存在する構造物に関連する情報を前記構造物情報記憶部から取得する構造物情報取得部と、
前記構造物情報取得部により取得した前記構造物に関連する情報と、前記構造物が備える属性と同じ属性を備える他の構造物の情報と、を表示する表示制御部と、
を備えることを特徴とする構造物表示システム。 A line-of-sight detection device that detects the direction the user is looking at, and a structure display device that displays the structure,
The structure display device includes:
A structure information storage unit for storing predetermined information related to the structure, a position of the structure, and predetermined attribute information included in the structure;
A line-of-sight detection device controller that connects to the line-of-sight detection device and acquires information about the direction the user is looking at
A current position calculation unit for calculating the current position of the user;
A structure information acquisition unit that acquires, from the structure information storage unit, information related to a structure existing in the user's viewing direction using the information related to the user's viewing direction and the current position. When,
A display control unit for displaying information related to the structure acquired by the structure information acquisition unit, and information on other structures having the same attributes as the attributes of the structure;
A structure display system comprising:
前記構造物表示装置は、
構造物に関連する所定の情報と、前記構造物の位置と、前記構造物が備える所定の属性情報と、を格納する構造物情報記憶部と、制御部と、を備え、
前記制御部は、
ユーザーの見ている方向を検知する視線検知装置と接続し、前記ユーザーの見ている方向に関する情報を取得する視線検知装置制御ステップと、
前記ユーザーの現在位置を算出する現在位置算出ステップと、
前記ユーザーの見ている方向に関する情報と、前記現在位置と、を用いて前記ユーザーの見ている方向に存在する構造物に関連する情報を前記構造物情報記憶部から取得する構造物情報取得ステップと、
前記構造物情報取得ステップにより取得した前記構造物に関連する情報と、前記構造物が備える属性と同じ属性を備える他の構造物の情報と、を表示する表示ステップと、
を実施することを特徴とする構造物表示方法。 A structure display method using a structure display device,
The structure display device includes:
A structure information storage unit that stores predetermined information related to the structure, the position of the structure, and predetermined attribute information included in the structure, and a control unit,
The controller is
A line-of-sight detection device control step for connecting to a line-of-sight detection device that detects a direction the user is looking at and acquiring information about the direction the user is looking at;
A current position calculating step for calculating the current position of the user;
A structure information acquisition step of acquiring, from the structure information storage unit, information related to a structure existing in the direction the user is viewing using the information related to the direction the user is viewing and the current position. When,
A display step of displaying information related to the structure acquired by the structure information acquisition step and information of another structure having the same attribute as the attribute of the structure;
The structure display method characterized by implementing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016121932A JP2017227467A (en) | 2016-06-20 | 2016-06-20 | Structure display device, structure display system and structure display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016121932A JP2017227467A (en) | 2016-06-20 | 2016-06-20 | Structure display device, structure display system and structure display method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017227467A true JP2017227467A (en) | 2017-12-28 |
Family
ID=60891624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016121932A Pending JP2017227467A (en) | 2016-06-20 | 2016-06-20 | Structure display device, structure display system and structure display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017227467A (en) |
-
2016
- 2016-06-20 JP JP2016121932A patent/JP2017227467A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102456248B1 (en) | Curve guidance method, curve guidance apparatus, electronic apparatus and program stored in the computer-readable recording meduim | |
EP3188132B1 (en) | Display control device, display control method, and program | |
JP5929602B2 (en) | Navigation device | |
US9488488B2 (en) | Augmented reality maps | |
US9470543B2 (en) | Navigation apparatus | |
MX2007015348A (en) | Navigation device with camera-info. | |
CN1755326A (en) | Navigation apparatus | |
EP2703780A2 (en) | Navigation apparatus and display method thereof | |
US20190360837A1 (en) | Navigation system, computer program product, and in-vehicle apparatus | |
US20110288763A1 (en) | Method and apparatus for displaying three-dimensional route guidance | |
JP2013214249A (en) | Driving support apparatus | |
JP5063871B2 (en) | Map display system for portable devices | |
JP2009236844A (en) | Navigation device, navigation method, and navigation program | |
US9791287B2 (en) | Drive assist system, method, and program | |
JP2014211431A (en) | Navigation device, and display control method | |
JP2011174748A (en) | Device, method and program for map display | |
US20180112987A1 (en) | Azimuth specifying system | |
JPWO2014034288A1 (en) | Information processing apparatus, information processing method, and program | |
US10753759B2 (en) | Vector map display system and method based on map scale change | |
JP2017227467A (en) | Structure display device, structure display system and structure display method | |
CN114750748A (en) | Memory parking display method and system integrating navigation map | |
US20200011695A1 (en) | Information presentation device, information presentation method, and storage medium | |
TW201736801A (en) | Device, system and method for narrowing down and searching geographic location based on helmet dynamic characteristic | |
Królewski et al. | Public transport navigation system with augmented reality interface | |
JP2014066595A (en) | Navigation apparatus |