JP2008045962A - Navigation device for vehicle - Google Patents
Navigation device for vehicle Download PDFInfo
- Publication number
- JP2008045962A JP2008045962A JP2006220856A JP2006220856A JP2008045962A JP 2008045962 A JP2008045962 A JP 2008045962A JP 2006220856 A JP2006220856 A JP 2006220856A JP 2006220856 A JP2006220856 A JP 2006220856A JP 2008045962 A JP2008045962 A JP 2008045962A
- Authority
- JP
- Japan
- Prior art keywords
- genre
- vehicle
- information
- building
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、車両用のナビゲーション装置、とくに乗員が関心をもった情報を提示するナビゲーション装置に関する。 The present invention relates to a navigation device for a vehicle, and more particularly to a navigation device that presents information of interest to an occupant.
出発地から目的地までの経路を誘導するナビゲーション装置においては、その利便性を向上するため、通信回線を通じて情報配信センターから種々の観光案内や施設情報の提供を受けることができるようになっており、運転者はこれらの情報を参考にして目的地を決め、入力部のスイッチボタン等を操作してナビゲーション装置に目的地を設定することができる。 In order to improve the convenience of the navigation device that guides the route from the departure point to the destination, it is possible to receive various tourist guidance and facility information from the information distribution center through the communication line. The driver can determine the destination with reference to these pieces of information, and can set the destination in the navigation device by operating the switch button or the like of the input unit.
しかし、情報配信センターから入手できる情報は不特定多数向けの一般的な情報であり、ユーザにとっては不必要な情報も含まれていることから、例えば特開2004−201149号公報には、ユーザの過去のトリップにおける走行履歴や検索履歴からその関心事項やニーズなどのユーザ情報を作成し、ユーザ情報に対応した情報を選別して情報配信センターからの配信を受けるようにした装置が提案されている。
しかしながら、特開2004−201149号公報のものでも、ユーザが過去に関心をもったジャンルの情報が提供されるにとどまり、ユーザとして一般的に関心があるものが多数あるなかで、運転者が現在走行中の今回のトリップにおいて、とくに関心を引かれた特定のジャンルの情報がタイミング良く得られるわけではない。
したがって本発明は、上記の問題点にかんがみ、運転者が今回の走行中に関心をもったジャンルの情報がタイミング良く提供されて、利便性を向上させた車両用のナビゲーション装置を提供することを目的とする。
However, even in the case of Japanese Patent Application Laid-Open No. 2004-2011149, only information on genres that the user has been interested in in the past is provided, and there are many things that are of general interest as the user. In this trip while driving, information on a particular genre that has been particularly interested in is not always available.
Therefore, in view of the above problems, the present invention provides a vehicle navigation apparatus that is provided with information on the genre that the driver has been interested in during the current traveling in a timely manner and has improved convenience. Objective.
このため、本発明のナビゲーション装置は、乗員の頭部を撮像するカメラと、該カメラの画像信号から乗員の視線方向を検出する画像処理手段と、視線方向にある外部対象を注目対象として特定する注目対象特定手段と、今回のトリップにおける注目対象から乗員が関心をもっているジャンルを抽出するジャンル判定手段と、該ジャンル判定手段で抽出されたジャンルの情報を提示する関心情報提示手段とを有するものとした。 For this reason, the navigation device of the present invention specifies a camera that images the occupant's head, an image processing unit that detects the sight line direction of the occupant from the image signal of the camera, and an external object that is in the sight line direction as a target of attention. An attention target specifying means, a genre determination means for extracting a genre that the occupant is interested in from the attention object in the current trip, and an interest information presentation means for presenting information on the genre extracted by the genre determination means did.
今回のトリップ中に乗員が視認した注目対象を基に判定されたジャンルの情報が提供されるので、現時点で関心のある情報が選別されてタイミング良く提供される。
これにより、現在関心のある情報に関連する場所を容易に目的地にできるなど、利便性が向上する。
Since the information of the genre determined based on the attention object visually recognized by the occupant during the current trip is provided, the information of interest at the present time is selected and provided in a timely manner.
This improves convenience, for example, a location related to information of current interest can be easily set as a destination.
以下、本発明の実施の形態について詳細に説明する。
図1は、実施の形態の構成を示すブロック図である。
ナビゲーション装置は、基本構成として、コントローラ10に、車両の現在位置を検出するためのGPS受信機20や速度センサ21およびジャイロセンサ22、地図データ情報を記憶する地図情報記憶部29、手による入力操作を行なうための入力部26、外部から道路交通情報(たとえば渋滞情報、工事情報などのVICS情報)を取得する交通情報取得部23、ディスプレイ40、スピーカ31、通信部32および作業記憶部30等を接続して構成される。
Hereinafter, embodiments of the present invention will be described in detail.
FIG. 1 is a block diagram showing the configuration of the embodiment.
As a basic configuration, the navigation device includes, as a basic configuration, a
通信部32は通信回線33を介して情報配信センター34に接続可能で、情報配信センター34には地図データ35とともに、観光案内や建物などの施設情報36がジャンルで分類されて蓄積されており、通信部32を介した要求によりこれらの情報を入手することができる。
通信部32と通信回線33を接続する通信端末としては、とくに図示しないが、携帯電話や車載電話を用いることができる。
The
As a communication terminal for connecting the
地図情報記憶部29の地図データ情報には、各地点における車線数を含む道路に関する情報のほか、道路周辺の施設や、ジャンル分けされた建物などが3次元データを付して含まれている。道路に関する情報にはまた、渋滞などの統計的な交通情報も含まれている。
GPS受信機20は、測位衛星から電波を受信して位置信号を出力する。
速度センサ21は車両の移動距離を求めるために車両の速度を検出し、ジャイロセンサ22は移動方向を検出する。
The map data information in the map
The
The
本実施の形態ではさらに、コントローラ10に、運転者を撮像するカメラ24、走行路上の他車両との車間距離等を検出するレーダ27、運転席のシートポジションセンサ25、およびテレビ・オーディオ等の車載機器操作検出部28が接続されている。
なお、コントローラ10に対する入出力インターフェースは図示省略している。
In the present embodiment, the
An input / output interface for the
図2は運転席周りのレイアウトを示す。
運転席前面にメータ2を配したインストルメントパネル1の、左右方向中央部にディスプレイ40が配置され、その表示画面の下辺にそって入力部26のボタンが並べられている。
入力部26は、スイッチボタンのほか、図示省略のタッチパネルあるいはキーボードなどの形式を採ることができ、前述のとおり目的地設定などの入力操作が可能である。
フロントウインドウ3の上部または天井には、運転席に向けてカメラが設置されている。
ディスプレイ40下方のコンソール部4には車載機器としての空調装置の操作部5やオーディオ6等が配置されている。
FIG. 2 shows a layout around the driver's seat.
A
The
A camera is installed on the top or ceiling of the
The
図3に示すように、コントローラ10は、現在位置検出部11、目的地設定部12、経路探索部13、経路・情報出力部14を備えている。なお、図3にはコントローラ外部の要素は主要なもののみ示してある。
現在位置検出部11は、速度センサ21とジャイロセンサ22による車両速度と移動方向から特定地点からの移動位置を求め、この移動位置とGPS受信機20からの位置信号とを互いに補完しながら車両の現在位置を検出する。
現在位置検出部11は、地図情報記憶部29の地図データを参照して、車両の現在位置として道路のどの車線上に位置しているかまで特定可能である。
As shown in FIG. 3, the
The current
The current
目的地設定部12は、入力部26の操作を介して目的地を設定する。
経路探索部13は、設定された目的地、現在位置検出部11からの現在位置の情報、地図情報記憶部29からの地図データ、ならびに交通情報取得部23から得られる道路交通情報などに基づいて、目的地への最適経路を探索する。
経路・情報出力部14は、経路探索部13で求めた最適経路と、道路交通情報や経路沿いの各種情報などを地図とともに、ディスプレイ40に出力して表示させ、あるいは音声情報として適当な情報をスピーカ31へ出力する。
作業記憶部30には、コントローラ10で処理する目的地情報や経路情報が記憶される。
以上の構成は従来のナビゲーション装置と同様である。
The
The
The route /
The
The above configuration is the same as that of a conventional navigation apparatus.
つぎに、カメラ24は運転者の主として頭部を撮像し、とくにその顔や瞳孔など眼の画像信号をコントローラ10へ出力する。
コントローラ10は、さらに、運転者が走行中に関心をもったジャンルの情報を提供するため、カメラ24からの画像信号を画像処理して運転者の挙動および3次元的な視線方向を検出する挙動・視線方向検出部15と、視線方向に存在する建物を運転者が視認した注目建物として特定する注目建物特定部16と、特定された注目建物から運転者が関心をもつジャンルを判定するジャンル判定部17と、運転者が関心をもつジャンルの建物情報を地図データ情報から検索してディスプレイ40へ出力し表示させる関心情報検索部18とを備える。
Next, the
The
挙動・視線方向検出部15では、画像処理の負荷を小さくするため、画像中の運転者の頭部周りに絞った範囲を画像処理領域とする。このために、シートポジションセンサ25からのシートポジション信号に基づいて運転席のシート位置を検出し、これにより統計的に運転者の体格が把握できるから、当該運転席に着座した運転者の頭部位置を検出する。
視線方向の検出については、すでに角膜反射像を用いる方法、プルキンエ像検出による方法その他、多数の方法が公知であり、任意に選択できる。
In the behavior / gaze
Regarding the detection of the line-of-sight direction, a number of methods are already known and can be arbitrarily selected, such as a method using a cornea reflection image, a method using Purkinje image detection, and the like.
挙動については、眼球の移動やさらには頭部の位置変化等を画像認識により検出し、とくに頭部の位置変化は鼻の向きの変化から抽出することができる。頭部の位置変化よりも眼球の移動があると挙動が大きいと判断され、眼球の移動と頭部の位置変化の両方があるとさらに大きな挙動と判断される。 As for the behavior, the movement of the eyeball, the change in the position of the head, and the like are detected by image recognition. In particular, the change in the position of the head can be extracted from the change in the direction of the nose. If the eyeball moves more than the head position change, it is determined that the behavior is larger, and if both the eyeball movement and the head position change exist, it is determined that the behavior is larger.
挙動・視線方向検出部15は、現在位置検出部11で検出された現在位置の道路の車線上からの視線方向が、当該道路の側縁を越えた外方(道路外)へ移動したとき、すなわち図4に示すハッチングした範囲R1またはR2に向いたときに、その検出した視線方向を、注目建物特定部16へ出力する。
なお、図4中、Sは現在位置の車線を示している。
The behavior / gaze
In FIG. 4, S indicates the lane at the current position.
運転者から見た道路の側縁の位置は、車線など道路幅内で識別される車両の現在位置と、道路幅員や各車線から歩道までの距離などを含む地図情報記憶部29の地図データ情報に基づいて、算出できる。
視線方向が道路の側縁を越えた外方へ移動したときに限定するのは、道路上の車両や道路内施設と建物との混同を避けるとともに、演算処理の負荷を軽減するためである。
The position of the side edge of the road as viewed from the driver is the map data information in the map
The reason for limiting the line of sight when the line of sight moves outward beyond the side edge of the road is to avoid confusion between the vehicle on the road and the facilities in the road and the building, and to reduce the processing load.
注目建物特定部16では、地図情報記憶部29から地図データ情報を読み込んで現在位置周辺の建物を把握し、図5に示すように、挙動・視線方向検出部15から入力した現在位置における運転者の視線方向Mと交差する建物T1を抽出する。
地図データ上から車両Vの現在位置から当該建物までの距離も求められる。
The noted
The distance from the current position of the vehicle V to the building is also obtained from the map data.
ここで、視線方向と交差する建物がT1、T2のように複数ある場合には、車両の現在位置に最も近い、すなわち道路に最も近い建物T1を注目建物として抽出する。
一方、例えば平面上で視線方向と交差する建物が2つある場合に、図6に示すように、横方向から見たとき視線方向Mが上向きで、低い建物T3を越えて後方の高い建物T4と交差しているときには、車両Vの現在位置に最も近い低い建物ではなく、後方の高い建物T4が運転者が実際に視認した注目建物となる。
Here, when there are a plurality of buildings that intersect the line-of-sight direction, such as T1 and T2, the building T1 closest to the current position of the vehicle, that is, the closest to the road is extracted as the building of interest.
On the other hand, for example, when there are two buildings that intersect the line-of-sight direction on a plane, as shown in FIG. 6, the line-of-sight direction M is upward when viewed from the horizontal direction, and the high building T4 behind the low building T3. When the vehicle intersects with the vehicle V, not the lowest building closest to the current position of the vehicle V but the taller building T4 at the rear is the building of interest that the driver has actually visually recognized.
注目建物特定部16は以上のようにして特定した注目建物を作業記憶部30に格納する。
この際、視認記録として、図7に示すように、当該建物の建物ジャンル、当該建物の視認した時刻、運転者の挙動(視認行動のため移動した部位)、視認時間、車両の進行方向に対して視線方向がとった視認角度、および建物までの視認距離が付随情報として同時に格納される。
ジャンルとしてここではデパート、中華料理店、ラーメン店、ファミリーレストラン等が挙げられているが、運転者が関心を持つであろう種々の建物について予め分類され、ジャンルが設定されている。以下、建物ジャンルを単にジャンルとも呼ぶ。
The noted
At this time, as shown in FIG. 7, as the visual record, the building genre of the building, the time when the building was visually recognized, the behavior of the driver (the part moved for the visual behavior), the visual recognition time, and the traveling direction of the vehicle The viewing angle taken by the viewing direction and the viewing distance to the building are simultaneously stored as accompanying information.
Here, department stores, Chinese restaurants, ramen shops, family restaurants, and the like are listed here, but various types of buildings that the driver may be interested in are classified and set in advance. Hereinafter, the building genre is also simply referred to as a genre.
ジャンル判定部17では、作業記憶部30に格納された視認記録から、運転者が関心をもっている建物ジャンルを判定する。
ここでは、まず、誤判定を避けるため、視認記録の内容に重み付けを行ない、
記録内容に各重み付け値を乗じて、その合計値を確からしさとして計算する。
すなわち、人の興味と挙動の大きさには高い相関性があるので、挙動が大きいほど関心が高いと考えられる。
また、視認時間が長いほど強い関心を持ったことが推定され、通常運転中の道路前方からの視線の変位量である視認角度も興味の大きさに関連する。
The
Here, first, in order to avoid misjudgment, the content of the visual record is weighted,
The recorded content is multiplied by each weighting value, and the total value is calculated as the probability.
That is, since there is a high correlation between the interest of a person and the magnitude of the behavior, the greater the behavior, the higher the interest.
In addition, it is estimated that the longer the viewing time, the stronger the interest, and the viewing angle, which is the amount of gaze displacement from the front of the road during normal driving, is also related to the magnitude of interest.
図8は運転者の挙動、視認時間、視認角度、および視認距離にそれぞれ7、10、6および5の重み付けを施した例を示し、これを基に計算した確からしさの値を示している。
そして、確からしさの値の大きいものを、その大きさの順に所定数、運転者が関心をもっている建物ジャンルとして抽出する。ここでは、例えば食事に関連する中華料理店、ラーメン店、ファミリーレストランがとくに大きな確からしさの値をもっているので、これら3つのジャンルを抽出することができる。
FIG. 8 shows an example in which the driver's behavior, viewing time, viewing angle, and viewing distance are weighted by 7, 10, 6 and 5, respectively, and the probability values calculated based on this are shown.
And a thing with a large probability value is extracted as a building genre that the driver is interested in a predetermined number in the order of the magnitude. Here, for example, Chinese restaurants, ramen restaurants, and family restaurants related to meals have particularly high certainty values, so these three genres can be extracted.
関心情報検索部18は、車両の現在位置周辺の地図データ情報から、ジャンル判定部17で判定した建物ジャンルで検索して、同類のジャンルの建物を抽出し、これをディスプレイ40に表示させる。この際、通信部32を介して情報配信センター34からも併せて同類のジャンルの建物を検索することができる。
なお、関心情報検索部18により建物が表示されるディスプレイ40は目的地選択画面となり、ディスプレイ40に設定されたタッチパネルのタッチスイッチ41からの信号が目的地設定部12に入力されるようになっている。
The interest
The
図9、図10は、上述のように構成されたコントローラ10における、運転者が走行中に関心をもったジャンルの情報提供にかかる制御の流れを示すフローチャートである。
電源が投入されてナビゲーション装置がオン(ON)すると、コントローラ10の制御が開始する。
まずステップ100において、カメラ24からの画像信号を取り込んで、挙動・視線方向検出部15が運転者の挙動と視線方向を検出する。前述のとおり、挙動・視線方向検出部15は道路外へ向かった視線方向を、注目建物特定部16へ出力する。
FIG. 9 and FIG. 10 are flowcharts showing the flow of control in the
When the power is turned on and the navigation device is turned on (ON), control of the
First, in
ステップ101では、注目建物特定部16において、地図データ上で視線方向にある建物を注目建物として抽出する。
注目建物は、そのジャンル、抽出した時刻、運転者の挙動、視認時間、視認角度、視認距離のデータとして作業記憶部30に格納される。
ステップ102では、作業記憶部30に格納された注目建物のいずれかで同一ジャンルのデータが所定数(例えば5)になったかどうかをチェックする。
同一ジャンルのデータが所定数に達していない場合は、ステップ103へ進み、所定数に達している場合は、ステップ104へ進む。
In
The building of interest is stored in the
In
If the data of the same genre has not reached the predetermined number, the process proceeds to step 103. If the predetermined number has been reached, the process proceeds to step 104.
ステップ103では後述する提示タイミングになっているかどうかをチェックし、提示タイミングになっていないときはステップ100へ戻る。これにより、作業記憶部30には注目建物のデータが更新され、蓄積されていく。
提示タイミングになると、ステップ103からステップ104へ進む。
In
When the presentation timing is reached, the process proceeds from
ステップ104では、ジャンル判定部17が、作業記憶部30に蓄積された注目建物のデータから、運転者が関心をもっている建物ジャンルを判定し、抽出する。
図8の例では、確からしさの値の大きいグループから、ラーメン店、中華料理店およびファミリーレストランの順で運転者が関心をもっているジャンルと判定され、図11のように並べ替えられる。なお、図8、図11では簡単のため、各ジャンルの注目建物が1回ずつ発生した状態を示している。確からしさの値の比較は実際にはジャンルごとに集計をして行なうことになる。
In
In the example of FIG. 8, the genre that the driver is interested in is determined in the order of the ramen restaurant, the Chinese restaurant, and the family restaurant, from the group with the highest probability value, and is rearranged as shown in FIG. 11. For simplicity, FIGS. 8 and 11 show a state in which a building of interest of each genre occurs once. The comparison of the probability values is actually carried out by counting for each genre.
つぎのステップ105において、入力部26の操作等によってすでに目的地が設定されているかどうかをチェックする。
まだ目的地が設定されていない場合にはステップ106へ進み、目的地がすでに設定されている場合にはステップ107へ進む。
ステップ106では、関心情報検索部18が、車両の現在位置周辺の地図データ情報から、ジャンル判定部17で判定したジャンルの建物を検索する。
一方、ステップ107では、目的地への経路上でUターンや右折を要しないように、道路から左側に存在する建物に絞って検索する。
In the
If the destination has not been set yet, the routine proceeds to step 106, and if the destination has already been set, the routine proceeds to step 107.
In
On the other hand, in
ステップ106、107で建物を検索した後は、ステップ108において、関心情報検索部18が確からしさの値の最も大きいジャンルの建物(図11の例ではラーメン店)を目的地候補と決定し、当該目的地候補をステップ109でディスプレイ40に表示させて、ディスプレイを目的地選択画面とする。併せて、「○○km先に△△があります。目的地に選択しますか。」のようにスピーカ31からも音声により案内することができる。
After searching for a building in
ディスプレイ40はその表面をタッチパネルとし、目的地選択画面上では、図12に例示するように、周辺地図上に目的地候補P1、P2、・・を複数表示して選択可能とすることができる。なお、画面上、目的地候補P1、P2、・・が表示される部位が図3におけるタッチスイッチ41に対応する。
また、ディスプレイ画面には次の候補を表示させるための「次」ボタンB1、および目的地設定を行なわずに単に表示を終了させるための「終了」ボタンB2も表示される。
The
In addition, a “next” button B1 for displaying the next candidate and an “end” button B2 for simply ending the display without setting the destination are displayed on the display screen.
ステップ110において、目的地候補が選択されたかどうかをチェックする。
いずれかの目的地候補が目的地選択画面上でタッチされて選択されると、ステップ111に進み、当該候補が目的地設定部12において目的地に設定される。
これにより、目的地が設定されないまま走行中であった場合は、入力部26からの操作で目的地を設定したときと同様に、経路探索部13で当該目的地とされた建物への最適経路が探索され、最終的にディスプレイ40に当該経路が表示される。
また、すでに目的地が設定されていた場合は、経路探索部13で当該目的地とされた建物を経由地、あるいは新たな目的地(例えば設定済みの目的地よりも遠い場合)、として最適経路が探索され、ディスプレイ40に新たな経路が表示されることになる。
In
If any destination candidate is touched and selected on the destination selection screen, the process proceeds to step 111, and the candidate is set as the destination in the
As a result, when the vehicle is traveling with no destination set, the optimum route to the building determined as the destination by the
If the destination has already been set, the optimum route as a transit point or a new destination (for example, farther than the set destination) is determined as the destination set by the
ステップ109で表示された目的地候補のジャンルが運転者の求めるジャンルと異なっていた場合に、「次」ボタンB1がタッチされると、ステップ110からステップ112へ進み、抽出されたジャンルとして確からしさの値が次に大きいジャンルの建物が残っているかチェックし、残っていれば、例えば中華料理店をステップ113において新たな目的地候補とする。そしてステップ109へ戻り、ディスプレイ40を目的地選択画面とする。
確からしさの値が次に大きいジャンルの建物が残っていないときは、ステップ114に進み、他の目的地候補がない旨を所定時間表示した後、ステップ115へ進む。
When the genre of the destination candidate displayed in
If there is no remaining genre building with the next highest probability value, the process proceeds to step 114, and after displaying for a predetermined time that there is no other destination candidate, the process proceeds to step 115.
他方、目的地選択画面の「終了」ボタンB2がタッチされた場合は、ステップ110からステップ115へ進む。
ステップ115では、目的地選択画面を消して、通常の現在地周辺の地図表示、あるいはすでに設定された目的地への経路表示の、ナビゲーション通常画面に戻る。
ステップ111またはステップ115のあとは、ステップ116で作業記憶部30に格納されていた注目建物のデータを消去して今回のフローを終了する。
最後に作業記憶部から注目建物のデータを消去するのは、目的地を選択し、あるいは目的地設定を不要とした後も、同じ情報が目的地選択画面として繰り返し表示されるのを避けるためである。
このフローはナビゲーション装置がオンの間、他の処理と平行して繰り返し実行される。
On the other hand, if the “end” button B2 on the destination selection screen is touched, the process proceeds from
In
After
Finally, the data of the building of interest is erased from the working memory to avoid the same information being repeatedly displayed on the destination selection screen even after selecting the destination or making the destination setting unnecessary. is there.
This flow is repeatedly executed in parallel with other processes while the navigation device is on.
上述したステップ103でチェックする目的地候補(建物)をディスプレイ40に表示する提示タイミングは、例えば車両が渋滞に入る直前とする。
渋滞は、交通情報取得部23でVICS情報等として取得する現時点の渋滞情報や、地図情報記憶部29の地図データ情報に含まれる統計的な交通情報からその地点を把握することができる。
このような時点では、運転者が関心をもっているジャンルの建物情報を提供することにより、当該建物へ寄り道して渋滞に突入する時間をずらすのに、役立てることができる。
The presentation timing for displaying the destination candidate (building) to be checked in
The location of the traffic jam can be grasped from the current traffic jam information acquired as VICS information or the like by the traffic
At such time, providing the building information of the genre that the driver is interested in can help to shift the time to depart to the building and enter the traffic jam.
また、車両の挙動が著しく変化したとき、例えばレーダ27で検知した車間距離が短くなるとともに速度センサ21で検知した車両の速度が低下したときは、現実に渋滞に入ったものと判断できる。
この場合も渋滞区間内で運転者が関心をもっているジャンルの建物があれば、その情報を提供することにより、当該建物で例えばトイレ休憩をとったり、飲み物購入など渋滞中の時間を有効に使うことができる。
Further, when the behavior of the vehicle changes significantly, for example, when the inter-vehicle distance detected by the
Even in this case, if there is a building of the genre that the driver is interested in in the traffic jam section, by providing that information, it is possible to effectively use the time during the traffic jam such as taking a rest in the building or buying drinks in the building. it can.
以上のほか、提示タイミングとしては、乗員が退屈していると判断されるとき、食事時間帯など情報提供が求められる蓋然性が高いとき、行き先変更の願望が生じやすいと考えられる天候変化時などが予め設定される。
乗員の退屈は、車載機器操作検出部28で検出されるテレビ・オーディオが頻繁に操作される状態から判断でき、新たな情報を提供するのに好適なタイミングである。
誰もが空腹を覚える時間帯には食事可能な店などの情報が求められ、時刻はコントローラ10の内蔵時計で検知できる。
天候変化時には、その変化に合わせて何らかの施設を利用したい状況が生じやすく、車載機器操作検出部28で検出されるワイパー、空調装置、あるいはライトのスイッチ操作等から判断できる。
したがって、上述した複数の提示タイミングのひとつに至ったときは、ステップ103からステップ104へ進むものとする。
In addition to the above, the presentation timing may be when the passenger is determined to be bored, when there is a high probability that information will be required, such as during mealtimes, or when the weather is likely to change. It is set in advance.
The occupant's boredom can be determined from the state in which the television / audio detected by the in-vehicle device
Information such as a restaurant where you can eat is required during a time when everyone feels hungry, and the time can be detected by the built-in clock of the
When the weather changes, a situation in which some facility is desired to be used is likely to occur according to the change, and can be determined from a wiper, an air conditioner, or a light switch operation detected by the in-vehicle device
Therefore, when one of the plurality of presentation timings described above is reached, the process proceeds from
本実施の形態では、建物が発明における外部対象に該当し、注目建物が注目対象に該当する。
また、挙動・視線方向検出部が発明の画像処理手段に対応し、注目建物特定部が注目対象特定手段に、ジャンル判定部がジャンル判定手段に対応する。
そして、ジャンル判定部17で判定したジャンルと同類の建物を地図情報記憶部29の地図データ情報や情報配信センター34の地図データ、施設情報から検索して、ディスプレイ40やスピーカ31に提示する関心情報検索部が関心情報提示手段を構成している。
In the present embodiment, the building corresponds to an external object in the invention, and the building of interest corresponds to the object of attention.
Further, the behavior / gaze direction detection unit corresponds to the image processing unit of the invention, the attention building specifying unit corresponds to the attention target specifying unit, and the genre determination unit corresponds to the genre determination unit.
Then, interest information to be displayed on the
実施の形態は以上のように構成され、運転者の頭部を撮像するカメラ24と、カメラの画像信号から運転者の視線方向を検出する挙動・視線方向検出部15と、視線方向にある建物を注目建物として特定する注目建物特定部16と、今回のトリップにおける注目建物から運転者が関心をもっているジャンルを判定するジャンル判定部17と、ジャンル判定部で判定されたジャンルの情報をディスプレイ40やスピーカ31に提示する関心情報検索部18とを有するものとしたので、現時点で関心のある情報が選別されてタイミング良く提供される。
The embodiment is configured as described above. The
この際、注目建物特定部16では、車両の現在位置から道路外に向いた視線方向に関してのみ注目建物を特定するので、演算処理の負荷が軽減される。
At this time, the building of
また、ジャンル判定部17では、挙動・視線方向検出部15で検出した運転者の挙動が大きいほど運転者の関心が高いものとして建物ジャンルを判定するから、ジャンル判定の精度が高い。
さらに、ジャンル判定部17は、建物の視認時間が長いほど当該建物に対する運転者の関心が高いものとして判定するから、これによっても高い判定精度が得られる。
Further, since the
Furthermore, since the
また、ジャンル判定部17は、確からしさの高い複数のジャンルを抽出して、関心情報検索部18は確からしさの高いジャンルの順に各ジャンルの建物を提示するので、運転者が欲している情報が確実に提供される。
そして、関心情報検索部18は運転者の関心の高い建物を自動的に目的地候補としてディスプレイ40に表示し、当該ディスプレイ上で目的地を選択可能としているので、入力部26からの複雑な手順の準備操作を行なう必要がなく、簡単に目的地あるいは経由地として設定することができる。
Further, the
Then, the interest
運転者の関心の高いジャンルの建物は、運転者が視認した注目建物が所定数に達したときに提示されるから、運転者が必要とする情報がとくに速やかに提供されることになる。
そのほか、車両が渋滞に入る直前、車両の挙動が著しく変化したとき、予め設定された所定の時間、乗員が退屈していると判断されるとき、あるいは天候が変化したときなどにも同ジャンルの建物が提示されるので、それぞれの状態に即して利便性が高められる。
Buildings of a genre that are highly interested by the driver are displayed when the number of buildings of interest that the driver has visually recognized reaches a predetermined number, so that the information required by the driver is provided particularly quickly.
In addition, when the vehicle behavior changes significantly, just before the vehicle enters a traffic jam, when it is determined that the occupant is bored for a predetermined time, or when the weather changes, etc. Since the building is presented, convenience is enhanced in accordance with each state.
なお、上記実施の形態において、カメラ24は運転者の頭部撮像用に専用のものを設定しているが、例えば車線逸脱防止システムが搭載されているときには、その車両前方道路を撮像するためのカメラにプリズム等を付加して運転席方向も撮像可能として、兼用することにより構成を簡単化し、安価なものとすることができる。
この際、車線逸脱防止システムのカメラの撮像範囲(撮像角度)が大きくても、シートポジションセンサ25によるシート位置から頭部位置を検出して、画像処理領域を絞ることができる。
In the above embodiment, the
At this time, even if the imaging range (imaging angle) of the camera of the lane departure prevention system is large, the head position can be detected from the seat position by the
また、実施の形態では、視線方向を道路外へ向いたものに限定するため、車両の現在位置が道路のどの車線上にあるかを地図データ情報から求めるものとしたが、車線逸脱防止システム搭載の場合には、そのカメラで撮像した画像から車両がどの車線上に位置しているかを検出してもよい。
視線方向を道路外へ向いたものに限定するためのさらに簡略化した方法として、停車状態の車両において運転者に車体前端の角部を視認させ、このときに検出した視線方向をコントローラ10の内蔵メモリあるいは作業記憶部30に記憶させておく事前学習があり、当該記憶した視線方向より外側に向いたものを道路外に向いた視線方向とすることもできる。
Also, in the embodiment, in order to limit the line-of-sight direction to the outside of the road, it is determined from the map data information which lane on the road the vehicle's current position is. In this case, it may be detected on which lane the vehicle is located from the image captured by the camera.
As a further simplified method for limiting the line-of-sight direction to the direction toward the outside of the road, the driver can visually recognize the corner of the front end of the vehicle body in a stopped vehicle, and the line-of-sight direction detected at this time is built into the
建物ジャンルの確からしさを数値で表わすのに、運転者の挙動、視認時間、視認角度、および視認距離にそれぞれ重み付けを施したが、重みの数値は例示であり、運転者に応じて異なる値としてよく、あるいは運転者自身によって設定、変更できるようにしてもよい。
また、同じジャンルに対して同様の挙動を示すときも、関心をもっていることを明確に示すので、付随データとすることができる。
Although the probability of building genre is expressed by numerical values, weights are given to the driver's behavior, viewing time, visual angle, and visual distance, but the numerical values of the weights are examples, and the values differ depending on the driver. Alternatively, it may be set or changed by the driver himself.
Also, when the same behavior is shown with respect to the same genre, it is clearly shown that the user is interested, so that it can be used as accompanying data.
なお、視認距離については、距離が大きいほど関心が大きいものとして重み付けを行なっているが、運転者によって近い距離のもので目を向けたものほど関心が大きい場合には、視認距離の逆数に対して重み付けを行なうのが適当である。
また、視認記録の内容と運転者が実際に車両を停めた地点(=目的地)とを対照することにより、精度の高い重み付けを求めることもできる。
As for the viewing distance, weighting is performed on the assumption that the greater the distance, the greater the interest. It is appropriate to perform weighting.
Also, highly accurate weighting can be obtained by comparing the contents of the visual record with the point (= destination) where the driver actually parked the vehicle.
また、実施の形態では、運転者が関心をもったジャンルの建物を目的地候補として提示する例を示したが、単に周辺情報として地図上に表示してもよい。
一方、提示された目的地候補を目的地として設定する場合には、タッチスイッチをタッチして行なうなどの手操作のほか、音声認識を用いて運転者の発話によって設定するようにしてもよい。
Further, in the embodiment, an example has been shown in which a building of a genre that the driver is interested in is presented as a destination candidate, but it may be simply displayed on the map as peripheral information.
On the other hand, when the presented destination candidate is set as the destination, it may be set by a driver's utterance using voice recognition in addition to a manual operation such as touching a touch switch.
さらに同ジャンルの建物の提示タイミングは予め設定されているものとしたが、これに加えて、運転者が任意に設定可能としてもよく、さらには見たいときに例えばタッチボタンなどにタッチすることにより直ちに表示されるようにしてもよいことはもちろんである。 In addition, the presentation timing of buildings of the same genre is assumed to be preset, but in addition to this, the driver may arbitrarily set the timing, and further, for example, by touching a touch button or the like when viewing Of course, it may be displayed immediately.
実施の形態では、運転者の視線方向を検出して運転者が関心をもった建物を対象としたが、助手席あるいは後部座席の乗員の視線方向に基づいて当該乗員が関心をもった情報を提示するようにしてもよい。
さらには、運転者、乗員が関心をもつ外部対象としては、建物だけに限定されず、特定のジャンルとして分類できるものであれば、イベントその他も対象とすることができる。
In the embodiment, the direction in which the driver's line of sight is detected and the driver is interested in the target building, but the information on which the passenger is interested based on the line of sight of the passenger in the passenger seat or the rear seat is displayed. You may make it show.
Furthermore, the external object that the driver and the occupant are interested in is not limited to a building, and can be an event or the like as long as it can be classified as a specific genre.
1 インストルメントパネル
2 メータ
3 フロントウインドウ
4 コンソール部
5 空調装置の操作部
6 オーディオ
10 コントローラ
11 現在位置検出部
12 目的地設定部
13 経路探索部
14 経路・情報出力部
15 挙動・視線方向検出部
16 注目建物特定部
17 ジャンル判定部
18 関心情報検索部
20 GPS受信機
21 速度センサ
22 ジャイロセンサ
23 交通情報取得部
24 カメラ
25 シートポジションセンサ
26 入力部
27 レーダ
28 車載機器操作検出部
29 地図情報記憶部
30 作業記憶部
31 スピーカ
32 通信部
33 通信回線
34 情報配信センター
35 地図データ
36 施設情報
40 ディスプレイ
41 タッチスイッチ
B1 「次」ボタン
B2 「終了」ボタン
M 視線方向
P1、P2、P3 目的地候補
T1、T2、T3、T4 建物
V 車両
DESCRIPTION OF
Claims (11)
乗員の頭部を撮像するカメラと、
該カメラの画像信号から乗員の視線方向を検出する画像処理手段と、
視線方向にある外部対象を注目対象として特定する注目対象特定手段と、
今回のトリップにおける注目対象から乗員が関心をもっているジャンルを判定するジャンル判定手段と、
該ジャンル判定手段で判定されたジャンルの情報を提示する関心情報提示手段とを有することを特徴とする車両用のナビゲーション装置。 In a navigation device that provides route guidance to a destination based on the current position of the vehicle, the destination, and map data information,
A camera that images the head of the occupant;
Image processing means for detecting the sight line direction of the occupant from the image signal of the camera;
Attention target identification means for identifying as an attention target an external object in the line of sight direction;
Genre determination means for determining the genre that the occupant is interested in from the target of the trip,
A vehicle navigation apparatus comprising: interest information presenting means for presenting information on the genre determined by the genre determining means.
前記ジャンル判定手段は、前記外部対象に対する乗員の挙動が大きいほど乗員の関心が高いものとして前記ジャンルを抽出することを特徴とする請求項1に記載の車両用のナビゲーション装置。 The image processing means further detects the occupant's behavior,
2. The vehicle navigation apparatus according to claim 1, wherein the genre determination unit extracts the genre based on a higher occupant's interest as the behavior of the occupant with respect to the external object increases.
前記関心情報提示手段は、確からしさの高いジャンルの順に前記ジャンルの情報を提示することを特徴とする請求項1から3のいずれか1に記載の車両用のナビゲーション装置。 The genre determining means extracts a plurality of genres,
The navigation apparatus for a vehicle according to any one of claims 1 to 3, wherein the interest information presenting unit presents the information of the genre in order of a genre having a high probability.
前記注目対象特定手段は前記視線方向を地図データと対照して、地図上の建物を注目対象として特定するものであることを特徴とする請求項1から4のいずれか1に記載の車両用のナビゲーション装置。 The external object is a building;
5. The vehicle-use vehicle according to claim 1, wherein the attention target identification unit is configured to identify a building on the map as a target of attention by comparing the line-of-sight direction with map data. Navigation device.
選択された目的地候補の建物を新たな目的地または経由地として設定することを特徴とする請求項5に記載の車両用のナビゲーション装置。 The interest information presenting means presents a building of a genre that the occupant is interested in as a destination candidate,
6. The vehicle navigation apparatus according to claim 5, wherein the selected destination candidate building is set as a new destination or waypoint.
車両が渋滞に入る直前、
車両の挙動が著しく変化したとき、
予め設定された所定の時間、
乗員が退屈していると判断されるとき、および
天候が変化したとき
のいずれかで提示されることを特徴とする請求項1から8のいずれか1に記載の車両用のナビゲーション装置。 The genre information determined by the genre determining means is
Immediately before the vehicle enters a traffic jam,
When vehicle behavior changes significantly,
A predetermined time set in advance,
The vehicle navigation device according to any one of claims 1 to 8, wherein the navigation device is presented either when it is determined that the occupant is bored or when the weather changes.
乗員の頭部を撮像するカメラの画像信号から乗員の視線方向を検出し、
視線方向にある外部対象を注目対象として特定し、
前記注目対象から乗員が関心をもっているジャンルを抽出し、
該抽出されたジャンルの情報を地図データから検索して、ディスプレイまたはスピーカに提示することを特徴とする車両用のナビゲーション装置における情報提供方法。 An information providing method in a navigation device for a vehicle that performs route guidance to a destination based on a current position of the vehicle, a destination, and map data information,
Detect the direction of the sight of the occupant from the image signal of the camera that images the occupant's head,
Identify the external target in the line of sight as the target of attention,
Extract the genre that the occupant is interested in from the subject of interest,
A method for providing information in a navigation apparatus for a vehicle, wherein the extracted genre information is retrieved from map data and presented on a display or a speaker.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006220856A JP2008045962A (en) | 2006-08-14 | 2006-08-14 | Navigation device for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006220856A JP2008045962A (en) | 2006-08-14 | 2006-08-14 | Navigation device for vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008045962A true JP2008045962A (en) | 2008-02-28 |
Family
ID=39179851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006220856A Pending JP2008045962A (en) | 2006-08-14 | 2006-08-14 | Navigation device for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008045962A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010243366A (en) * | 2009-04-07 | 2010-10-28 | Denso Corp | Destination candidate announcement apparatus |
JP2011061342A (en) * | 2009-09-08 | 2011-03-24 | Canon Software Inc | Information processor, information processing system, control method, program, and recording medium |
KR101156319B1 (en) | 2010-05-31 | 2012-06-13 | 김대송 | Method of searching information of real estate using portable terminal |
JP2015526753A (en) * | 2012-06-15 | 2015-09-10 | 本田技研工業株式会社 | Scene recognition based on depth |
US9719796B2 (en) | 2015-09-10 | 2017-08-01 | Hyundai Motor Company | Intersection guidance method, navigation server, navigation terminal, and navigation system including the same |
JP2018097398A (en) * | 2016-12-07 | 2018-06-21 | トヨタ自動車株式会社 | Sight line estimation system |
-
2006
- 2006-08-14 JP JP2006220856A patent/JP2008045962A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010243366A (en) * | 2009-04-07 | 2010-10-28 | Denso Corp | Destination candidate announcement apparatus |
JP2011061342A (en) * | 2009-09-08 | 2011-03-24 | Canon Software Inc | Information processor, information processing system, control method, program, and recording medium |
KR101156319B1 (en) | 2010-05-31 | 2012-06-13 | 김대송 | Method of searching information of real estate using portable terminal |
JP2015526753A (en) * | 2012-06-15 | 2015-09-10 | 本田技研工業株式会社 | Scene recognition based on depth |
US9719796B2 (en) | 2015-09-10 | 2017-08-01 | Hyundai Motor Company | Intersection guidance method, navigation server, navigation terminal, and navigation system including the same |
JP2018097398A (en) * | 2016-12-07 | 2018-06-21 | トヨタ自動車株式会社 | Sight line estimation system |
US10351144B2 (en) | 2016-12-07 | 2019-07-16 | Toyota Jidosha Kabushiki Kaisha | Sightline estimation system and sightline estimation method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7733244B2 (en) | Navigation system | |
EP2728313B1 (en) | Method of displaying objects on a navigation map | |
US7412326B2 (en) | Map display device and map display method | |
US10088323B2 (en) | Navigation device | |
US7636629B2 (en) | Map information display apparatus and method thereof | |
JP5239343B2 (en) | In-vehicle navigation device and method for estimating driver's interest in in-vehicle navigation device | |
US20080033638A1 (en) | Information providing apparatus, information providing method, and computer product | |
US7813874B2 (en) | On-vehicle navigation system, route guide method, and computer-readable recording medium | |
US20160132530A1 (en) | Identification of a driver's point of interest for a situated dialog system | |
WO2008083739A1 (en) | Navigation device and method for displaying navigation information | |
US20110112746A1 (en) | Vehicle information providing device | |
US9151636B2 (en) | Travel guidance system, travel guidance apparatus, travel guidance method and computer program | |
JP2008045962A (en) | Navigation device for vehicle | |
JP5611081B2 (en) | Navigation device | |
US7970536B2 (en) | Navigation system | |
JP2005326956A (en) | Device and method for informing empty space in parking lot | |
US8200422B2 (en) | Information presentation apparatus, information presentation method, information presentation program, and computer-readable recording medium | |
JP2018077105A (en) | Navigation device and navigation program | |
JP4785636B2 (en) | Navigation device | |
JP2009031943A (en) | Facility specification device, facility specification method, and computer program | |
KR20160037519A (en) | Navigation for vehicle and method for displaying information of route guidance using the same | |
US20220005349A1 (en) | Device and method for controlling the output of driver information and for maintaining the attention of a driver of an automated vehicle | |
JP4529080B2 (en) | Navigation device | |
JP2009031065A (en) | System and method for informational guidance for vehicle, and computer program | |
JP2010085203A (en) | Navigation device and guidance method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080912 |