JP2009031065A

JP2009031065A - System and method for informational guidance for vehicle, and computer program

Info

Publication number: JP2009031065A
Application number: JP2007193799A
Authority: JP
Inventors: Hideto Miyazaki; 秀人宮崎; Keita Seki; 啓太関
Original assignee: Aisin AW Co Ltd
Current assignee: Aisin AW Co Ltd
Priority date: 2007-07-25
Filing date: 2007-07-25
Publication date: 2009-02-12

Abstract

PROBLEM TO BE SOLVED: To provide a system and a method for informational guidance for a vehicle which surely guides only the information on the facilities that are useful for driver, and to provide a computer program therefor. SOLUTION: The system is constituted so that direction E of the line of sight of the driver 53, who drives the vehicle 51, is detected from an image photographed by a camera 22 in the vehicle so that in particular, the facilities located in the direction E of the line of sight of the driver 53, who pays close attention thereto are detected as guidance object candidates and also the guidance is given only on the facility that corresponds to a genre selected beforehand by the driver 53 out of the facilities which are the detected guidance object candidates, according to this constitution. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、車両の乗員に施設を案内する車両用情報案内装置、車両用情報案内方法及びコンピュータプログラムに関する。 The present invention relates to a vehicle information guidance apparatus, a vehicle information guidance method, and a computer program for guiding a facility to a vehicle occupant.

従来より、車載用のナビゲーション装置、ＰＤＡ（Personal Digital Assistant）や携帯電話機などの携帯情報機器、パーソナルコンピュータ等では、地図情報として一般道路及び高速道路等の道路や施設名称等を各種記憶デバイスに記憶するか、又はサーバ等からダウンロードすることにより、利用者に対して所望のエリアの地図を表示することが可能となっている。 Conventionally, in-vehicle navigation devices, portable information devices such as PDAs (Personal Digital Assistants) and mobile phones, personal computers, etc., roads and facility names such as general roads and expressways are stored in various storage devices as map information. Alternatively, a map of a desired area can be displayed to the user by downloading from a server or the like.

更に、従来のナビゲーション装置等では地図を表示するのみでなく、利用者の利便性をより向上させる為に、表示された道路の近辺に存在する施設（ショッピングセンタ、レストラン等）に関する情報（施設名称、提供する料理の種類、営業時間等）を案内することについても行われていた。しかし、車両周辺に施設が多数ある場合に、その全ての施設についての案内を行うことは乗員にとって煩わしく、運転者の集中力を低下させる原因ともなっていた。 In addition to displaying a map in a conventional navigation device or the like, information (facility names) about facilities (shopping centers, restaurants, etc.) that exist in the vicinity of the displayed road in order to further improve user convenience , The type of food to be served, business hours, etc.). However, when there are many facilities around the vehicle, it is troublesome for the occupant to provide guidance for all the facilities, which causes a reduction in the driver's concentration.

そこで、乗員が必要とする施設の案内のみを行う技術として、例えば特開平１１−２８８３４１号公報には、乗員の視線方向を検出し、その視線方向から乗員の注視する施設を特定してその施設の案内を行うナビゲーション装置について記載されている。
特開平１１−２８８３４１号公報（第４頁〜第６頁、図８、図９） Therefore, as a technique for only guiding facilities required by the occupant, for example, Japanese Patent Application Laid-Open No. 11-288341 detects the sight line direction of the occupant, identifies the facility to be watched by the occupant from the sight line direction, and the facility A navigation device that provides guidance is described.
Japanese Patent Application Laid-Open No. 11-288341 (pages 4 to 6, FIGS. 8 and 9)

前記した特許文献１に記載されたナビゲーション装置では、乗員の視線方向のみに基づいて乗員の注視する施設を特定する。しかし、乗員が対象物を注視する際には、先ず、乗員の視線が前方から徐々に対象物へと向けられ、その後、再び前方へと徐々に移動するものであるので、どのタイミングの視線方向にある施設が本来乗員が注視し、案内を希望する施設であるのかを判定することは難しい。
そして、前記した特許文献１に記載されたナビゲーション装置では、乗員の視線方向に対して複数の施設がある場合には、その複数の施設の内、いずれの施設の案内を乗員が希望しているのかを特定することができなかった。特に、一つの建物内で複数の施設が営業を行っている商業ビルが視線方向にある場合や、商店街などの複数の施設が隣接して営業を行っている施設群が視線方向にある場合には、いずれの施設の案内を乗員が希望しているのかを特定することが非常に困難である。従って、依然として乗員が必要としない施設についても案内が行われる結果となっていた。 In the navigation device described in Patent Document 1 described above, a facility to be watched by an occupant is specified based only on the sight line direction of the occupant. However, when the occupant gazes at the object, first, the occupant's line of sight is gradually directed toward the object from the front, and then gradually moves forward again. It is difficult to determine whether or not a facility in the center is a facility that the occupant originally wants to guide.
In the navigation device described in Patent Document 1, when there are a plurality of facilities with respect to the sight line direction of the occupant, the occupant desires guidance of any of the plurality of facilities. I could not identify. In particular, when a commercial building where multiple facilities are operating in one building is in the line of sight, or a group of facilities operating adjacent to multiple facilities such as a shopping street is in the line of sight Therefore, it is very difficult to specify which facility the passenger wants to guide. Therefore, guidance was still provided for facilities that were not required by passengers.

本発明は前記従来における問題点を解消するためになされたものであり、不要な施設情報については案内を行わないことにより運転者の集中力の低下を招かず、また、乗員が必要とする施設情報については確実に案内することが可能となり、利便性を向上させた車両用情報案内装置、車両用情報案内方法及びコンピュータプログラムを提供することを目的とする。 The present invention has been made to solve the above-described conventional problems, and does not lead to a decrease in the driver's concentration by not guiding unnecessary facility information. It is an object of the present invention to provide a vehicle information guidance device, a vehicle information guidance method, and a computer program that can reliably guide information and improve convenience.

前記目的を達成するため本願の請求項１に係る車両用情報案内装置（１）は、施設のジャンルを選択するジャンル選択手段（１４）と、車両の乗員の視線方向を検出する視線方向検出手段（１３）と、所定期間内の前記視線方向検出手段により検出された乗員の視線方向にある施設を検出する施設検出手段（１３）と、前記施設検出手段によって検出された施設の内、前記ジャンル選択手段で選択されたジャンルに対応する施設を特定する施設特定手段（１３）と、前記施設特定手段によって特定された施設を案内する施設案内手段（１３）と、を有することを特徴とする。
ここで、「施設のジャンル」とは、施設において販売する商品の種類、提供するサービスの種類、営業形態、経営会社等によって区別される。 In order to achieve the above object, a vehicle information guidance device (1) according to claim 1 of the present application includes a genre selection means (14) for selecting a genre of a facility, and a gaze direction detection means for detecting a gaze direction of a vehicle occupant. (13), facility detection means (13) for detecting a facility in the sight line direction of the occupant detected by the sight line direction detection means within a predetermined period, and among the facilities detected by the facility detection means, the genre It has a facility specifying means (13) for specifying a facility corresponding to the genre selected by the selecting means, and a facility guide means (13) for guiding the facility specified by the facility specifying means.
Here, the “facility genre” is distinguished by the type of product sold at the facility, the type of service to be provided, the sales form, the management company, and the like.

また、請求項２に係る車両用情報案内装置（１）は、請求項１に記載の車両用情報案内装置であって、車両の現在位置及び方位を検出する車両情報検出手段（１３）と、地図上における施設の位置を取得する施設位置取得手段（１３）と、を有し、前記施設検出手段（１３）は、前記車両の現在位置及び方位と前記乗員の視線方向と前記地図上における施設の位置とに基づいて乗員の視線方向にある施設を検出することを特徴とする。 Moreover, the vehicle information guidance device (1) according to claim 2 is the vehicle information guidance device according to claim 1, and includes vehicle information detection means (13) for detecting the current position and direction of the vehicle, Facility location acquisition means (13) for acquiring the location of the facility on the map, wherein the facility detection means (13) is configured to provide a current position and direction of the vehicle, a line-of-sight direction of the occupant, and a facility on the map. The facility in the direction of the sight line of the passenger is detected based on the position of the vehicle.

また、請求項３に係る車両用情報案内装置（１）は、請求項１又は請求項２に記載の車両用情報案内装置であって、乗員の音声を認識する音声認識手段（１３）と、前記視線方向検出手段により検出された視線方向を記憶する記憶手段（３７）と、を有し、前記施設検出手段（１３）は前記音声認識手段によって乗員の音声を認識した場合に、前記記憶手段に記憶されている音声認識前の所定期間の視線方向にある施設を検出することを特徴とする。 Moreover, the vehicle information guidance device (1) according to claim 3 is the vehicle information guidance device according to claim 1 or 2, wherein the voice recognition means (13) recognizes the voice of the occupant; Storage means (37) for storing the line-of-sight direction detected by the line-of-sight direction detection means, and the facility detection means (13) when the voice recognition means recognizes the occupant's voice, the storage means The facility located in the line-of-sight direction for a predetermined period before voice recognition stored in is detected.

また、請求項４に係る車両用情報案内装置（１）は、請求項１又は請求項２に記載の車両用情報案内装置であって、乗員の音声を認識する音声認識手段（１３）を有し、前記施設検出手段（１３）は前記音声認識手段によって乗員の音声を認識している間の乗員の視線方向にある施設を検出することを特徴とする。 The vehicle information guidance device (1) according to claim 4 is the vehicle information guidance device according to claim 1 or 2, and has a voice recognition means (13) for recognizing the voice of the occupant. And the said facility detection means (13) detects the facility in a passenger | crew's gaze direction while recognizing a passenger | crew's audio | voice by the said voice recognition means.

また、請求項５に係る車両用情報案内方法は、施設のジャンルを選択するジャンル選択ステップ（Ｓ１２）と、車両の乗員の視線方向を検出する視線方向検出ステップ（Ｓ３）と、所定期間内の前記視線方向検出ステップにより検出された乗員の視線方向にある施設を検出する施設検出ステップ（Ｓ１０）と、前記施設検出ステップによって検出された施設の内、前記ジャンル選択ステップで選択されたジャンルに対応する施設を特定する施設特定ステップ（Ｓ１２）と、前記施設特定ステップによって特定された施設を案内する施設案内ステップ（Ｓ１４）と、を有することを特徴とする。 The vehicle information guidance method according to claim 5 includes a genre selection step (S12) for selecting a genre of a facility, a gaze direction detection step (S3) for detecting a gaze direction of a vehicle occupant, and a predetermined time period. Corresponding to the genre selected in the genre selection step among the facilities detected in the facility detection step (S10) and the facilities detected in the facility detection step in the facility detection step (S10) detected in the sight line direction detection step A facility specifying step (S12) for specifying a facility to be performed, and a facility guide step (S14) for guiding the facility specified by the facility specifying step.

更に、請求項６に係るコンピュータプログラムは、コンピュータに搭載され、施設のジャンルを選択するジャンル選択機能（Ｓ１２）と、車両の乗員の視線方向を検出する視線方向検出機能（Ｓ３）と、所定期間内の前記視線方向検出機能により検出された乗員の視線方向にある施設を検出する施設検出機能（Ｓ１０）と、前記施設検出機能によって検出された施設の内、前記ジャンル選択機能で選択されたジャンルに対応する施設を特定する施設特定機能（Ｓ１２）と、前記施設特定機能によって特定された施設を案内する施設案内機能（Ｓ１４）と、を実行させることを特徴とする。 Furthermore, a computer program according to claim 6 is installed in a computer, and a genre selection function (S12) for selecting a genre of a facility, a gaze direction detection function (S3) for detecting a gaze direction of a vehicle occupant, and a predetermined period A facility detection function (S10) for detecting a facility in the sight line direction of the passenger detected by the sight direction detection function, and a genre selected by the genre selection function among the facilities detected by the facility detection function And a facility guidance function (S14) for guiding a facility identified by the facility identification function and a facility guidance function (S14) for guiding the facility identified by the facility identification function.

前記構成を有する請求項１に記載の車両用情報案内装置によれば、乗員の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから乗員が案内を希望する施設を特定することが可能となる。従って、不要な施設情報については案内を行わないことにより運転者の集中力の低下を招かず、また、乗員が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。 According to the vehicle information guidance device according to claim 1 having the above-described configuration, even if there are a plurality of facilities in the sight line direction of the occupant, the facility that the occupant wants to guide from the selected genre is selected. It becomes possible to specify. Therefore, by not guiding unnecessary facility information, the driver's concentration is not reduced, and facility information required by the passenger can be surely guided, improving convenience. .

また、請求項２に記載の車両用情報案内装置によれば、車両の現在位置や方位や地図上の施設の位置情報を用いることによって、車両に対する相対的な乗員の視線方向から絶対的な乗員の視線方向の検出が可能となり、乗員の視線方向にある施設を地図上で正確に特定することができる。 In addition, according to the vehicle information guide device of the second aspect, by using the current position and direction of the vehicle and the position information of the facility on the map, an absolute occupant can be obtained from the sight line direction of the occupant relative to the vehicle. Thus, it is possible to accurately detect the facility in the sight line direction of the occupant on the map.

また、請求項３に記載の車両用情報案内装置によれば、音声認識前の所定期間における乗員の視線方向にある施設を検出するので、乗員が注視した施設の案内を希望する際に、乗員の所望するタイミングで複雑な操作を必要とせずに施設の情報を取得することが可能となる。 In addition, according to the vehicle information guide device of the third aspect, since the facility in the sight line direction of the occupant in the predetermined period before the voice recognition is detected, the occupant is requested to guide the facility watched by the occupant. The facility information can be acquired without requiring a complicated operation at a desired timing.

また、請求項４に記載の車両用情報案内装置によれば、乗員の音声が認識されている間において乗員の視線方向にある施設を検出して案内対象の施設候補とするので、乗員が注視して案内を必要とする施設をより正確に特定することが可能となる。 In addition, according to the vehicle information guidance apparatus of the fourth aspect, since the facility in the sight line direction of the occupant is detected and recognized as the facility candidate to be guided while the occupant's voice is recognized, Thus, it is possible to more accurately identify the facility that requires guidance.

また、請求項５に記載の車両用情報案内方法によれば、乗員の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから乗員が案内を希望する施設を特定することが可能となる。従って、不要な施設情報については案内を行わないことにより運転者の集中力の低下を招かず、また、乗員が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。 In addition, according to the vehicle information guidance method of the fifth aspect, even if there are a plurality of facilities with respect to the sight line direction of the occupant, the facility that the occupant desires to guide from the selected genre is specified. It becomes possible. Therefore, by not guiding unnecessary facility information, the driver's concentration is not reduced, and facility information required by the passenger can be surely guided, improving convenience. .

更に、請求項６に記載のコンピュータプログラムによれば、乗員の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから乗員が案内を希望する施設を特定させるようにコンピュータを制御することが可能となる。従って、不要な施設情報については案内を行わないことにより運転者の集中力の低下を招かず、また、乗員が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。 Furthermore, according to the computer program of the sixth aspect, even if there are a plurality of facilities with respect to the sight line direction of the occupant, the computer can specify the facility that the occupant desires to guide from the selected genre. Can be controlled. Therefore, by not guiding unnecessary facility information, the driver's concentration is not reduced, and facility information required by the passenger can be surely guided, improving convenience. .

以下、本発明に係る車両用情報案内装置についてナビゲーション装置に具体化した第１及び第２実施形態に基づき図面を参照しつつ詳細に説明する。 Hereinafter, a vehicle information guidance device according to the present invention will be described in detail with reference to the drawings based on first and second embodiments embodied in a navigation device.

〔第１実施形態〕
先ず、第１実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は第１実施形態に係るナビゲーション装置１の概略構成図である。
図１に示すように第１実施形態に係るナビゲーション装置１は、自車の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ（視線方向検出手段、施設検出手段、施設特定手段、施設案内手段、車両位置検出手段、施設位置取得手段）１３と、操作者からの操作を受け付ける操作部（ジャンル選択手段）１４と、操作者に対して自車周辺の地図や施設に関する施設情報を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや施設に関する案内音声を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、交通情報センタ等の情報センタとの間で通信を行う通信モジュール１８と、運転者の発話音声を解析する音声認識部（音声認識手段）１９とから構成されている。また、ナビゲーションＥＣＵ１３には、自車の走行速度を検出する車速センサ２０と、運転者の発話音声を録取するマイク２１と、車内で運転者の顔を撮像する車内カメラ２２が接続される。 [First Embodiment]
First, a schematic configuration of the navigation device 1 according to the first embodiment will be described with reference to FIG. FIG. 1 is a schematic configuration diagram of a navigation device 1 according to the first embodiment.
As shown in FIG. 1, the navigation apparatus 1 according to the first embodiment includes a current position detection unit 11 that detects the current position of the vehicle, a data recording unit 12 that records various data, and input information. Based on the navigation ECU (line-of-sight direction detection means, facility detection means, facility identification means, facility guidance means, vehicle position detection means, facility position acquisition means) 13 that performs various arithmetic processing, and an operation that receives operations from the operator Unit (genre selection means) 14, a liquid crystal display 15 for displaying information about a map around the host vehicle and facility information to the operator, a speaker 16 for outputting voice guidance for route guidance and guidance sound for the facility, and storage A communication module 18 that performs communication between a DVD drive 17 that reads a medium DVD and an information center such as a traffic information center; Speech recognition unit for analyzing the speech of person and a (speech recognition means) 19.. The navigation ECU 13 is connected to a vehicle speed sensor 20 that detects the traveling speed of the vehicle, a microphone 21 that records the driver's speech, and an in-vehicle camera 22 that captures the driver's face in the vehicle.

以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ３１、地磁気センサ３２、距離センサ３３、ステアリングセンサ３４、方位検出部としてのジャイロセンサ３５、高度計（図示せず）等からなり、現在の自車の位置、方位等を検出することが可能となっている。 Below, each component which comprises the navigation apparatus 1 is demonstrated in order.
The current position detection unit 11 includes a GPS 31, a geomagnetic sensor 32, a distance sensor 33, a steering sensor 34, a gyro sensor 35 as an azimuth detection unit, an altimeter (not shown), and the like. It is possible to detect.

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３６、後述のナビゲーションＥＣＵ１３により検出された運転者の視線方向を累積的に記憶する視線方向ＤＢ（記憶手段）３７、所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。 Further, the data recording unit 12 cumulatively displays the external storage device and a hard disk (not shown) as a recording medium, the map information DB 36 recorded on the hard disk, and the driver's line-of-sight direction detected by the navigation ECU 13 described later. A line-of-sight direction DB (storage means) 37 for storing, and a recording head (not shown) which is a driver for reading predetermined programs and writing predetermined data to the hard disk are provided.

ここで、地図情報ＤＢ３６は、経路案内、交通情報案内及び地図表示に必要なデータが記録されている。具体的には、道路（リンク）形状に関するリンクデータ３８、ノード点に関するノードデータ、各交差点に関する交差点データ、経路を探索するための探索データ、施設に関する施設データ３９、地点を検索するための検索データ、地図、道路、交通情報等の画像を液晶ディスプレイ１５に描画するための画像描画データ等から構成されている。 Here, the map information DB 36 stores data necessary for route guidance, traffic information guidance, and map display. Specifically, link data 38 relating to a road (link) shape, node data relating to node points, intersection data relating to each intersection, search data for searching for a route, facility data 39 relating to a facility, search data for searching for a point The image is composed of image drawing data for drawing an image such as a map, a road, and traffic information on the liquid crystal display 15.

ここで、特に、第１実施形態に係るナビゲーション装置１に記憶される施設データ３９について図２を用いて説明する。
図２に示すように施設データ３９は、地図上に位置する各種施設について、識別情報としての施設ＩＤと、施設のジャンル（飲食店、イタリア料理、中華料理、書店、コンビニ等）と、施設が位置する位置座標（ｘ、ｙ）と、施設を案内する案内文とが記憶される。
そして、後述するようにナビゲーションＥＣＵ１３は施設データ３９の特に施設のジャンルと位置座標とに基づいて、運転者が注視し、案内を希望する施設を特定する。また、運転者が案内を希望する施設に特定された場合には、その施設の案内文を液晶ディスプレイ１５に表示したり、音声でスピーカ１６から出力することにより運転者に施設の案内を行う。 Here, in particular, the facility data 39 stored in the navigation device 1 according to the first embodiment will be described with reference to FIG.
As shown in FIG. 2, the facility data 39 includes facility IDs as identification information, facility genres (restaurants, Italian cuisine, Chinese cuisine, bookstores, convenience stores, etc.) and facilities for various facilities located on the map. The position coordinates (x, y) and the guidance sentence for guiding the facility are stored.
Then, as will be described later, the navigation ECU 13 specifies a facility for which guidance is desired by the driver based on the facility data 39, in particular, the genre of the facility and the position coordinates. Further, when the driver is specified as a facility for which guidance is desired, the facility guidance is provided to the driver by displaying a guidance text of the facility on the liquid crystal display 15 or outputting the voice from the speaker 16.

また、視線方向ＤＢ３７は、運転者の視線方向の検出結果が検出時刻とともに記憶されるＤＢである。具体的には、車内カメラ２２で撮像した撮像画像に基づいてナビゲーションＥＣＵ１３により検出された運転者の視線方向が、車両方位に対する相対角度（視線角度）によって相対的に特定され、ＧＰＳ３１やジャイロセンサ３５等によって検出された現在時刻、車両の現在位置、方位とともに視線方向データとして記憶される。尚、運転者の視線方向は絶対方位によって特定しても良い。 The line-of-sight direction DB 37 is a DB in which the detection result of the driver's line-of-sight direction is stored together with the detection time. Specifically, the driver's line-of-sight direction detected by the navigation ECU 13 based on the captured image captured by the in-vehicle camera 22 is relatively specified by the relative angle (line-of-sight angle) with respect to the vehicle direction, and the GPS 31 and the gyro sensor 35 are identified. Are stored as line-of-sight direction data together with the current time, the current position, and the direction of the vehicle detected by the above. The driver's line-of-sight direction may be specified by an absolute direction.

ここで、特に、第１実施形態に係るナビゲーション装置１の視線方向ＤＢ３７に記憶される視線方向データについて図３の具体例を用いて説明する。
図３では、車両５１が道路５２を走行中の場合において、所定のタイミングでの車両５１を運転する運転者５３の視線方向Ｅを特定する視線方向データを示す。そして、視線方向データは、現在の時刻（視線方向Ｅを検出した時刻）と、車両の現在位置（Ｘ，Ｙ）と、車両の絶対方位φと、車両方位に対する運転者５３の視線方向Ｅの相対角度（視線角度）θとから構成される。そして、上記視線方向データに基づいて運転者５３の絶対的な視線方向Ｅが特定可能となる。 Here, in particular, gaze direction data stored in the gaze direction DB 37 of the navigation device 1 according to the first embodiment will be described with reference to a specific example of FIG.
FIG. 3 shows line-of-sight direction data for identifying the line-of-sight direction E of the driver 53 driving the vehicle 51 at a predetermined timing when the vehicle 51 is traveling on the road 52. The gaze direction data includes the current time (the time when the gaze direction E is detected), the current position (X, Y) of the vehicle, the absolute direction φ of the vehicle, and the gaze direction E of the driver 53 with respect to the vehicle direction. And a relative angle (line-of-sight angle) θ. Then, the absolute line-of-sight direction E of the driver 53 can be specified based on the line-of-sight data.

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、目的地が選択された場合に現在位置から目的地までの誘導経路を設定する誘導経路設定処理や運転者の注視する施設に関する施設情報の案内を行う施設情報案内処理（図４参照）等のナビゲーション装置１の全体の制御を行う電子制御ユニットである。そして、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、施設情報案内プログラム（図４参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記録するフラッシュメモリ４４等の内部記憶装置を備えている。 On the other hand, the navigation ECU (Electronic Control Unit) 13 guides facility information on a guidance route setting process for setting a guidance route from the current position to the destination when the destination is selected and facility information that the driver watches. It is an electronic control unit that performs overall control of the navigation device 1 such as facility information guidance processing (see FIG. 4). The CPU 41 as an arithmetic device and a control device, the RAM 41 that is used as a working memory when the CPU 41 performs various arithmetic processes, stores route data and the like when a route is searched, and a control program In addition, an internal storage device such as a ROM 43 in which a facility information guidance program (see FIG. 4) is recorded and a flash memory 44 in which a program read from the ROM 43 is recorded is provided.

操作部１４は、走行開始時の現在位置を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。また、ナビゲーション装置１で音声認識を開始する際に操作されるトークスイッチも操作部１４に含まれる。更に、第１実施形態では特にユーザによって案内を希望する施設のジャンルを選択する際にも操作部１４が用いられる。
そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。 The operation unit 14 is operated when correcting the current position at the start of traveling and inputting a departure point as a guidance start point and a destination point as a guidance end point, etc., and a plurality of operation switches such as various keys and buttons. (Not shown). The operation unit 14 also includes a talk switch that is operated when voice recognition is started in the navigation device 1. Furthermore, in the first embodiment, the operation unit 14 is also used when selecting a genre of a facility for which guidance is desired by the user.
Then, the navigation ECU 13 performs control to execute various corresponding operations based on switch signals output by pressing the switches. The operation unit 14 can also be configured by a touch panel provided on the front surface of the liquid crystal display 15.

また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、現在位置から目的地までの誘導経路、誘導経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、第１実施形態では特に運転者の注視する施設を案内する際にも用いられる。 The liquid crystal display 15 includes a map image including a road, traffic information, operation guidance, operation menu, key guidance, guidance route from the current position to the destination, guidance information along the guidance route, news, weather forecast, Time, mail, TV program, etc. are displayed. Note that, in the first embodiment, it is also used when guiding a facility watched by a driver.

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。尚、第１実施形態では特に運転者の注視する施設を案内する際にも用いられる。 The speaker 16 outputs voice guidance for guiding traveling along the guidance route and traffic information guidance based on instructions from the navigation ECU 13. Note that, in the first embodiment, it is also used when guiding a facility watched by a driver.

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて地図情報ＤＢ３６の更新等が行われる。 The DVD drive 17 is a drive that can read data recorded on a recording medium such as a DVD or a CD. Then, the map information DB 36 is updated based on the read data.

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタやプローブセンタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。 In addition, the communication module 18 includes information such as traffic jam information, regulation information, parking lot information, and traffic accident information transmitted from a traffic information center such as a VICS (registered trademark: Vehicle Information and Communication System) center or a probe center. For example, a mobile phone or a DCM is applicable.

また、音声認識部１９は、操作部１４のトークスイッチがＯＮされている間にマイク２１によって録取された音声を解析する装置である。そして、第１実施形態に係るナビゲーション装置１では、音声認識部１９によって運転者の発声した音声が認識されたことをトリガとして、運転者の注視する施設の検出や、注視する施設の案内が行われる。 The voice recognition unit 19 is a device that analyzes the voice recorded by the microphone 21 while the talk switch of the operation unit 14 is turned on. In the navigation device 1 according to the first embodiment, the detection of the facility watched by the driver and the guidance of the facility being watched are triggered by the voice recognition unit 19 recognizing the voice uttered by the driver. Is called.

一方、車速センサ２０は、車両の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速を検出するセンサである。 On the other hand, the vehicle speed sensor 20 is a sensor that generates a vehicle speed pulse in accordance with the rotation of the vehicle wheel and detects the travel distance and the vehicle speed of the vehicle.

また、マイク２１は、音を電気信号に変換する機器であり、電気信号に変換された音は音声認識部１９へと送信される。ここで、マイク２１はインストルメントパネルの上面に取り付けられ、集音方向が運転席方向となるように設置される。 The microphone 21 is a device that converts sound into an electric signal, and the sound converted into the electric signal is transmitted to the voice recognition unit 19. Here, the microphone 21 is attached to the upper surface of the instrument panel, and is installed so that the sound collection direction is the driver seat direction.

また、車内カメラ２２は、例えばＣＣＤ等の固体撮像素子を用いたものであり、インストルメントパネルの上面に取り付けられ、視線方向を運転席に向けて設置される。そして、運転席に座った運転者の顔を撮像する。また、ナビゲーションＥＣＵ１３は後述するように撮像された撮像画像から運転者の視線方向を検出し、検出した運転者の視線方向から運転者が注視する施設を特定する。 The in-vehicle camera 22 uses a solid-state image sensor such as a CCD, for example, is attached to the upper surface of the instrument panel, and is installed with the line of sight facing the driver's seat. Then, the face of the driver sitting in the driver's seat is imaged. Moreover, navigation ECU13 detects a driver | operator's gaze direction from the picked-up image imaged so that it may mention later, and specifies the facility which a driver | operator gazes from the detected driver | operator's gaze direction.

続いて、前記構成を有する第１実施形態に係るナビゲーション装置１においてナビゲーションＥＣＵ１３が実行する施設情報案内プログラムについて図４に基づき説明する。図４は第１実施形態に係る施設情報案内プログラムのフローチャートである。ここで、施設情報案内プログラムは車両のイグニションがＯＮされた後に所定間隔（例えば２００ｍｓ毎）で実行され、運転者が注視する施設に関する施設情報の案内を行うプログラムである。尚、以下の図４にフローチャートで示されるプログラムは、ナビゲーション装置１が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。 Next, a facility information guidance program executed by the navigation ECU 13 in the navigation device 1 according to the first embodiment having the above-described configuration will be described with reference to FIG. FIG. 4 is a flowchart of the facility information guidance program according to the first embodiment. Here, the facility information guidance program is a program that is executed at a predetermined interval (for example, every 200 ms) after the ignition of the vehicle is turned on, and guides facility information related to the facility that the driver watches. Note that the program shown in the flowchart of FIG. 4 below is stored in the RAM 42 or ROM 43 provided in the navigation apparatus 1 and is executed by the CPU 41.

先ず、施設情報案内プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ４１はメモリの初期化などの初期化処理を実行する。 First, in the facility information guidance program, in step (hereinafter abbreviated as S) 1, the CPU 41 executes initialization processing such as memory initialization.

次に、Ｓ２でＣＰＵ４１は自車の現在位置と方位を検出する。具体的にはＧＰＳ３１により自車の現在位置を検出するとともに、地磁気センサ３２やジャイロセンサ３５により自車の絶対方位を検出する。更に、マップマッチング処理を行うことによって地図上における車両の現在位置についても検出する。尚、上記Ｓ２が車両情報検出手段の処理に相当する。 Next, in S2, the CPU 41 detects the current position and direction of the vehicle. Specifically, the current position of the vehicle is detected by the GPS 31, and the absolute azimuth of the vehicle is detected by the geomagnetic sensor 32 and the gyro sensor 35. Furthermore, the current position of the vehicle on the map is also detected by performing a map matching process. Note that S2 corresponds to the processing of the vehicle information detection means.

続いて、Ｓ３でＣＰＵ４１は運転者の視線方向Ｅを検出する。具体的には、車内カメラ２２によって運転席に座った運転者の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きや瞳孔の位置を検出する。そして、検出された運転者の顔の向きや瞳孔の位置、車内カメラ２２の設置位置や設置角度から運転者の視線方向Ｅを検出する。尚、視線方向Ｅは図３に示すように自車方位に対する相対角度θによって相対的に特定される。また、上記Ｓ３が視線方向検出手段の処理に相当する。 Subsequently, in S3, the CPU 41 detects the driver's line-of-sight direction E. Specifically, the driver's face seated in the driver's seat is imaged by the in-vehicle camera 22, and the driver's face orientation and pupil position are detected by performing predetermined image processing on the captured image. Then, the driver's line-of-sight direction E is detected from the detected driver's face orientation, pupil position, in-vehicle camera 22 installation position and installation angle. Note that the line-of-sight direction E is relatively specified by the relative angle θ with respect to the vehicle direction as shown in FIG. Further, S3 corresponds to the processing of the line-of-sight direction detecting means.

そして、Ｓ４でＣＰＵ４１は、前記Ｓ３で検出された乗員の視線方向Ｅを含む視線方向データを視線方向ＤＢ３７に記憶する。尚、視線方向ＤＢ３７には、前記Ｓ３で検出された視線方向ＥとともにＧＰＳ３１によって検出された現在時刻、前記Ｓ２で検出された自車の現在位置、方位についても併せて視線方向データとして記憶される。 In S4, the CPU 41 stores the gaze direction data including the sight line direction E of the occupant detected in S3 in the gaze direction DB 37. In the line-of-sight direction DB 37, the current time detected by the GPS 31 together with the line-of-sight direction E detected in S3, and the current position and direction of the vehicle detected in S2 are also stored as line-of-sight direction data. .

その後、Ｓ５でＣＰＵ４１は起動トリガが入力されたか否かを判定する。ここで、第１実施形態では、操作部１４にあるトークスイッチがＯＮされた場合に起動トリガが入力されたと判定する。 Thereafter, in S5, the CPU 41 determines whether an activation trigger has been input. Here, in the first embodiment, it is determined that the activation trigger is input when the talk switch in the operation unit 14 is turned on.

その結果、起動トリガが入力されたと判定された場合（Ｓ５：ＹＥＳ）にはＳ６へと移行する。一方、起動トリガが入力されていないと判定された場合（Ｓ５：ＮＯ）にはＳ２へと戻り、再度自車の現在位置や方位の検出が行われる。 As a result, when it is determined that the activation trigger is input (S5: YES), the process proceeds to S6. On the other hand, if it is determined that the activation trigger is not input (S5: NO), the process returns to S2, and the current position and direction of the host vehicle are detected again.

次に、Ｓ６でＣＰＵ４１はトリガの入力が終了したか否かを判定する。ここで、第１実施形態では、音声認識部１９による運転者の発話の認識が終了した場合にトリガの入力が終了したと判定する。 Next, in S6, the CPU 41 determines whether or not the trigger input is completed. Here, in 1st Embodiment, when the recognition of the driver | operator's speech by the speech recognition part 19 is complete | finished, it determines with the input of a trigger having been complete | finished.

その結果、トリガが継続して入力されていると判定された場合（Ｓ６：ＮＯ）、即ち、トークスイッチがＯＮされた状態で運転者の発話が認識できていない場合、又は運転者の発話の認識が継続して行われている場合には、Ｓ７へと移行する。 As a result, when it is determined that the trigger is continuously input (S6: NO), that is, when the utterance of the driver is not recognized with the talk switch turned on, or the utterance of the driver When the recognition is continuously performed, the process proceeds to S7.

そして、Ｓ７では起動トリガの入力が行われてから所定時間（例えば、３０ｓｅｃ）経過したか否か判定され、起動トリガの入力が行われてから所定時間経過したと判定された場合（Ｓ７：ＹＥＳ）には、当該施設情報案内プログラムを終了する。それに対して、起動トリガの入力が行われてから所定時間経過していないと判定された場合（Ｓ７：ＮＯ）にはＳ６へと戻り、トリガの入力が終了したか否かを再度判定する。 In S7, it is determined whether or not a predetermined time (for example, 30 sec) has elapsed since the start trigger is input, and when it is determined that the predetermined time has elapsed since the start trigger is input (S7: YES). ) Terminates the facility information guidance program. On the other hand, when it is determined that the predetermined time has not elapsed since the start trigger is input (S7: NO), the process returns to S6, and it is determined again whether the trigger input is completed.

一方、トリガの入力が終了したと判定された場合（Ｓ６：ＹＥＳ）、即ち、トークスイッチがＯＮされた状態で運転者の発話の認識が完了した場合には、更に、Ｓ８でＣＰＵ４１は有効なトリガが入力されたか否かを判定する。ここで、第１実施形態では、音声認識部１９によって特定の発話内容（例えば、「あの店のおすすめは？」）を認識したことを有効なトリガが入力された条件とする。 On the other hand, if it is determined that the trigger input has been completed (S6: YES), that is, if the recognition of the driver's utterance is completed with the talk switch turned on, the CPU 41 is further enabled in S8. It is determined whether or not a trigger is input. Here, in the first embodiment, it is assumed that a specific utterance content (for example, “What is the recommendation for that store?”) Recognized by the voice recognition unit 19 is a condition for inputting an effective trigger.

そして、有効なトリガが入力されたと判定された場合（Ｓ８：ＹＥＳ）にはＳ９へと移行する。一方、入力されたトリガが有効なトリガではないと判定された場合（Ｓ８：ＮＯ）、即ち、認識した運転者の発話が何ら関係のない発話内容であった場合には、施設の案内をすることなく当該施設情報案内プログラムを終了する。 If it is determined that a valid trigger is input (S8: YES), the process proceeds to S9. On the other hand, when it is determined that the input trigger is not a valid trigger (S8: NO), that is, when the recognized utterance of the driver is utterance content that has nothing to do with, the facility is guided. The facility information guidance program is terminated without

Ｓ９においてＣＰＵ４１は、前記Ｓ４で視線方向ＤＢ３７に記憶された視線方向データの内、起動トリガの入力があった時点以前の所定時間以内（例えば、過去３０秒以内）における注視中の運転者の視線方向データを取得する。後からの注視中の運転者の視線方向データを取得する。ここで、運転者が注視中とは、運転者が運転席から自車の周囲にあるいずれかの施設を注視している状態であり、第１実施形態では自車方位に対する運転者の視線方向Ｅの相対角度θ（図３参照）の絶対値が所定角度（例えば３０度）以上となった状態を注視中とみなす。 In S9, the CPU 41 looks at the driver's line of sight within a predetermined time (for example, within the past 30 seconds) before the point in time when the activation trigger is input in the line-of-sight direction data stored in the line-of-sight direction DB 37 in S4. Get direction data. Gaze direction data of the driver who is gazing after is acquired. Here, that the driver is gazing is a state in which the driver is gazing at any facility around the vehicle from the driver's seat, and in the first embodiment, the driver's line-of-sight direction with respect to the vehicle direction A state in which the absolute value of the relative angle θ of E (see FIG. 3) is equal to or greater than a predetermined angle (for example, 30 degrees) is regarded as being watched.

次に、Ｓ１０でＣＰＵ４１は、前記Ｓ９で取得した注視中の視線方向データと地図情報ＤＢ３６から取得した施設データ３９に基づいて、注視中の運転者の視線方向にある施設を案内対象とする施設候補として検出する。 Next, in S10, the CPU 41 guides the facility in the gaze direction of the driver being watched based on the gaze direction data being watched acquired in S9 and the facility data 39 acquired from the map information DB 36. Detect as a candidate.

ここで、前記Ｓ１０における注視中の運転者の視線方向にある施設の検出処理の具体例について図５を用いて説明する。
図５では、特に車両５１が道路５２を走行中であって、道路５２に隣接して建物Ａ〜建物Ｄを含む多数の建物５４が配置されている場合を説明する。尚、建物Ａには施設として『コンビニ』が位置し、建物Ｂには施設として『書店』が位置し、建物Ｃ（商業ビル）には施設として１階に『中華料理店』、２階に『韓国料理店』が位置し、３階に『ベトナム料理店』、４階に『インド料理店』がそれぞれ位置し、建物Ｄには施設として『イタリア料理店』が位置するものとする。 Here, a specific example of the detection process of the facility in the sight line direction of the driver who is gazing at S10 will be described with reference to FIG.
In FIG. 5, a case where the vehicle 51 is traveling on the road 52 and a large number of buildings 54 including the buildings A to D are arranged adjacent to the road 52 will be described. In addition, “Convenience Store” is located as a facility in Building A, “Bookstore” is located as a facility in Building B, “Chinese Restaurant” is located as the facility in Building C (Commercial Building), and 2nd floor. “Korean restaurant” is located, “Vietnamese restaurant” is located on the 3rd floor, “Indian restaurant” is located on the 4th floor, and “Italian restaurant” is located in the building D as a facility.

また、図５に示す例では、特に車両５１を運転する運転者５３は時刻Ｔ_０で車両前方から建物Ｄ方向へと視線を向けて、その後Ｔ_１秒間、車両５１の右側環境を注視し続ける。そして、建物Ａを注視した直後に視線を車両前方へと戻し、時刻Ｔ_２で発声による起動トリガの入力をしたとする。
その結果、ナビゲーションＥＣＵ１３は、先ず時刻Ｔ_０〜Ｔ_０＋Ｔ_１の間の視線方向データを注視中の運転者の視線方向データとして抽出する（Ｓ９）。その後、道路５２に隣接して配置された各施設の位置座標を地図情報ＤＢ３６から取得し、時刻Ｔ_０〜Ｔ_０＋Ｔ_１の間の車両５１の位置座標と運転者５３の視線方向Ｅと道路５２に隣接して配置された各施設の位置座標とに基づいて、視線方向Ｅ上に位置座標が重なる施設を注視中の視線方向にある施設として検出する。尚、図５に示す例では建物Ａ〜Ｄに位置する施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）が検出される。尚、上記Ｓ１０が施設検出手段及び施設位置取得手段の処理に相当する。 In the example shown in FIG. 5, the driver 53 who drives the vehicle 51 particularly _looks at the vehicle D from the front of the vehicle toward the building D at time T ₀ , and then continues to watch the right environment of the vehicle 51 for T ₁ second. . Then, the line of sight shortly after watching the building A back to the front of the vehicle, at time T _2, and the input of the start trigger by utterance.
As a result, the navigation ECU 13 first extracts the line-of-sight direction data between the times T _{0 and} T ₀ + T ₁ as the line-of-sight direction data of the driver who is gazing (S9). Then, the position coordinates of the facilities which are located adjacent to the road 52 acquires from the map information DB 36, the time T ₀ through T 0 ₊ coordinates with the driver 53 line-of-sight direction E and road vehicle 51 between T ₁ Based on the position coordinates of each facility arranged adjacent to 52, a facility whose position coordinates overlap with the line-of-sight direction E is detected as a facility in the line-of-sight direction being watched. In the example shown in FIG. 5, the facilities located in the buildings A to D (“convenience store”, “bookstore”, “Chinese restaurant”, “Korean restaurant”, “Vietnamese restaurant”, “Indian restaurant”, “ Italian restaurant ”) is detected. Note that S10 corresponds to the processing of the facility detection means and the facility position acquisition means.

次に、Ｓ１１でＣＰＵ４１は前記Ｓ１０で検出された注視中の運転者の視線方向Eにある案内対象候補の施設をＲＡＭ４２に一旦記憶する。 Next, in S 11, the CPU 41 temporarily stores in the RAM 42 the facility of the guidance target candidate that is detected in S 10 and is in the line-of-sight direction E of the driver being watched.

続いて、Ｓ１２でＣＰＵ４１は、前記Ｓ１１で記憶された施設について、予め運転者によって選択された施設のジャンルに該当する施設の絞込みを行い、対応する施設を特定する。ここで、第１実施形態に係るナビゲーション装置１では、運転者により操作部１４を用いて施設のジャンルの選択が行われる。尚、ジャンルの選択はナビゲーション装置１の起動中においては基本的にいつでも行うことが可能であり、選択可能なジャンルとしては『飲食店』、『スーパーマーケット』、『中華料理』等がある。また、ジャンルとしては複数種類のジャンルを同時に選択することも可能である。尚、上記Ｓ１２が施設特定手段の処理に相当する。 Subsequently, in S12, the CPU 41 narrows down the facilities corresponding to the genre of the facility previously selected by the driver for the facilities stored in S11, and specifies the corresponding facilities. Here, in the navigation device 1 according to the first embodiment, the genre of the facility is selected by the driver using the operation unit 14. The genre can be selected at any time while the navigation device 1 is activated, and the genres that can be selected include “restaurant”, “supermarket”, “Chinese food”, and the like. In addition, a plurality of types of genres can be selected at the same time. Note that S12 corresponds to the processing of the facility specifying means.

その後、Ｓ１３でＣＰＵ４１は、前記Ｓ１１で記憶された施設の内、予め運転者によって選択されたジャンルに該当する施設が少なくとも１以上あるか否か判定する。その結果、該当する施設が少なくとも１以上あると判定された場合（Ｓ１３：ＹＥＳ）には、Ｓ１４へと移行する。一方、該当する施設が無いと判定された場合（Ｓ１３：ＮＯ）には、Ｓ１５へと移行する。 Thereafter, in S13, the CPU 41 determines whether or not there are at least one facility corresponding to the genre selected in advance by the driver among the facilities stored in S11. As a result, when it is determined that there is at least one corresponding facility (S13: YES), the process proceeds to S14. On the other hand, when it is determined that there is no corresponding facility (S13: NO), the process proceeds to S15.

Ｓ１４でＣＰＵ４１は、運転者によって選択された施設のジャンルに該当する施設について施設の案内を行う。具体的には、液晶ディスプレイ１５に表示されたナビゲーション画面上における該当施設の位置を特定色（例えば赤色）でマーキングするとともに、案内文（図２参照）を音声によりスピーカ１６から出力する。 In S 14, the CPU 41 guides the facility regarding the facility corresponding to the genre of the facility selected by the driver. Specifically, the position of the facility on the navigation screen displayed on the liquid crystal display 15 is marked with a specific color (for example, red), and a guidance sentence (see FIG. 2) is output from the speaker 16 by voice.

ここで、図６は例えば図５に示す状況で『イタリア料理』が施設のジャンルとして選択されていた場合の前記Ｓ１４の施設の案内例を示した図である。
『イタリア料理』が施設のジャンルとして選択されていた場合には、運転者の注視中の視線方向にある施設として特定された施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）の内、建物Ｄにある『イタリア料理店』が該ジャンルに該当する施設となる。
従って、図６に示すように、ナビゲーション装置１の液晶ディスプレイ１５に表示されたナビゲーション画面６１上に表示された建物Ｄを示すマーク６２が赤色でマーキングされる。そして、『イタリア料理店』を案内する案内文「そこにはイタリア料理店○○があります。お勧め料理は□□です。」がスピーカ１６から出力される。 Here, FIG. 6 is a diagram showing an example of the facility guidance in S14 when “Italian cuisine” is selected as the facility genre in the situation shown in FIG.
If “Italian cuisine” was selected as the genre of the facility, the facility identified as the facility in the line of sight of the driver ’s gaze (“convenience store”, “bookstore”, “Chinese restaurant”, “Korea” “Italian Restaurant” in “Building D”, “Vietnamese Restaurant”, “Indian Restaurant”, “Italian Restaurant”) is a facility corresponding to the genre.
Therefore, as shown in FIG. 6, the mark 62 indicating the building D displayed on the navigation screen 61 displayed on the liquid crystal display 15 of the navigation device 1 is marked in red. Then, a guidance sentence “Italian restaurant XX is there. Recommended food is □□” is output from the speaker 16 to guide “Italian restaurant”.

また、図７は例えば図５に示す状況で『中華料理』が施設のジャンルとして選択されていた場合の前記Ｓ１４の施設の案内例を示した図である。
『中華料理』が施設のジャンルとして選択されていた場合には、運転者の注視中の視線方向にある施設として特定された施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）の内、建物Ｃの１階にある『中華料理店』が該ジャンルに該当する施設となる。
従って、図７に示すように、ナビゲーション装置１の液晶ディスプレイ１５に表示されたナビゲーション画面６１上に表示された建物Ｃの１階を示すマーク６３が赤色でマーキングされる。そして、『中華料理店』を案内する案内文「ビルのテナントの１階には○○飯店があります。お勧め料理は△△です。」がスピーカ１６から出力される。 FIG. 7 is a diagram showing an example of facility guidance in S14 when “Chinese cuisine” is selected as the facility genre in the situation shown in FIG.
If “Chinese cuisine” was selected as the genre of the facility, the facility identified as the facility in the direction of the line of sight of the driver (“convenience store”, “bookstore”, “Chinese restaurant”, “Korea” “Chinese Restaurant”, “Vietnamese Restaurant”, “Indian Restaurant”, “Italian Restaurant”) on the first floor of Building C are facilities corresponding to the genre.
Therefore, as shown in FIG. 7, the mark 63 indicating the first floor of the building C displayed on the navigation screen 61 displayed on the liquid crystal display 15 of the navigation device 1 is marked in red. Then, the guidance sentence “Chinese restaurant” is output from the speaker 16 “There is a XX restaurant on the first floor of the building tenant.

また、図８は例えば図５に示す状況で『飲食店』が施設のジャンルとして選択されていた場合の前記Ｓ１４の施設の案内例を示した図である。
『飲食店』が施設のジャンルとして選択されていた場合には、運転者の注視中の視線方向にある施設として特定された施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）の内、建物Ｃの１階〜４階にある『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』と建物Ｄにある『イタリア料理店』が該ジャンルに該当する施設となる。尚、該当施設が複数ある場合には、運転者が注視した順に各施設の案内を連続して行う。
従って、図８に示すように、先ず、ナビゲーション装置１の液晶ディスプレイ１５に表示されたナビゲーション画面６１上に表示された建物Ｄを示すマーク６２が赤色でマーキングされる。そして、『イタリア料理店』を案内する案内文「そこにはイタリア料理店○○があります。お勧め料理は□□です。」がスピーカ１６から出力される。
その後、ナビゲーション画面６１上に表示された建物Ｃの１階を示すマーク６３が赤色でマーキングされる。そして、『中華料理店』を案内する案内文「ビルのテナントの１階には○○飯店があります。お勧め料理は△△です。」がスピーカ１６から出力される。
以下同様にして、『韓国料理店』、『ベトナム料理店』、『インド料理店』についても案内される。尚、上記Ｓ１４が施設案内手段の処理に相当する。 FIG. 8 is a diagram showing an example of facility guidance in S14 when “restaurant” is selected as the facility genre in the situation shown in FIG.
If “restaurant” is selected as the genre of the facility, the facility identified as the facility in the direction of the line of sight of the driver (“convenience store”, “bookstore”, “Chinese restaurant”, “Korea” “Chinese Restaurant”, “Vietnamese Restaurant”, “Indian Restaurant”, “Italian Restaurant”), “Chinese Restaurant”, “Korean Restaurant”, “Vietnamese Restaurant” “Store”, “Indian Restaurant” and “Italian Restaurant” in Building D are facilities corresponding to the genre. In addition, when there are a plurality of corresponding facilities, guidance of each facility is continuously performed in the order in which the driver has gazed.
Therefore, as shown in FIG. 8, first, the mark 62 indicating the building D displayed on the navigation screen 61 displayed on the liquid crystal display 15 of the navigation device 1 is marked in red. Then, a guidance sentence “Italian restaurant XX is there. Recommended food is □□” is output from the speaker 16 to guide “Italian restaurant”.
Thereafter, the mark 63 indicating the first floor of the building C displayed on the navigation screen 61 is marked in red. Then, the guidance sentence “Chinese restaurant” is output from the speaker 16 “There is a XX restaurant on the first floor of the building tenant.
In the same manner, “Korean Restaurant”, “Vietnamese Restaurant”, and “Indian Restaurant” will be introduced. Note that S14 corresponds to the processing of facility guidance means.

一方、Ｓ１５においてＣＰＵ４１は、選択された施設のジャンルに該当する施設が無いことを案内する。具体的には、「選択したジャンルの建物はありません。」との音声をスピーカ１６から出力する。そして、施設の案内をすることなく当該施設情報案内プログラムを終了する。 On the other hand, in S15, the CPU 41 informs that there is no facility corresponding to the genre of the selected facility. Specifically, a voice message “There is no building of the selected genre” is output from the speaker 16. And the said facility information guidance program is complete | finished, without guiding a facility.

以上詳細に説明した通り、第１実施形態に係るナビゲーション装置１及びナビゲーション装置１による車両用情報案内方法及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両を運転する運転者の視線方向を車内カメラ２２の撮像画像から検出し（Ｓ３）、特に注視中の運転者の視線方向に有る施設を案内対象候補として検出する（Ｓ４）とともに、検出された案内対象候補の施設の内から運転者によって予め選択されたジャンルに該当する施設を案内する（Ｓ１４）ので、運転者の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから運転者が案内を希望する施設を特定することが可能となる。従って、運転者にとって不要な施設情報については案内を行わないことにより運転の集中力の低下を招かず、また、運転者が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。
また、車両の現在位置や方位や地図上の施設の位置座標を用いることによって、車両に対する相対的な運転者の視線方向から絶対的な運転者の視線方向の検出が可能となり、運転者の視線方向にある施設を地図上で正確に特定することができる。
また、運転者の音声が認識されたことを開始トリガとして運転者の視線方向にある施設を検出するので、運転者が注視した施設の案内を希望する際に、運転者の所望するタイミングで複雑な操作を必要とせずに施設の情報を取得することが可能となる。 As described above in detail, in the navigation apparatus 1 according to the first embodiment, the vehicle information guidance method using the navigation apparatus 1 and the computer program executed by the navigation apparatus 1, the direction of the driver's line of sight driving the vehicle is determined by the in-vehicle camera. 22 is detected from the captured images (S3), and in particular, a facility in the direction of the line of sight of the driver who is gazing is detected as a candidate for guidance (S4). Since the facility corresponding to the selected genre is guided (S14), even if there are a plurality of facilities in the driver's line-of-sight direction, the facility that the driver wants to guide is selected from the selected genre. It becomes possible to do. Therefore, by not providing guidance on facility information that is not necessary for the driver, it does not cause a reduction in concentration of driving, and it is possible to reliably provide guidance on facility information that the driver needs. Will improve.
Also, by using the current position and direction of the vehicle and the position coordinates of the facility on the map, it is possible to detect the absolute driver's line-of-sight direction from the driver's line-of-sight direction relative to the vehicle. The facility in the direction can be accurately identified on the map.
Also, since the facility in the driver's line of sight is detected with the start of the driver's voice being recognized as a start trigger, when the driver wants to guide the facility watched by the driver, it is complicated at the timing desired by the driver. It becomes possible to acquire information on facilities without requiring an operation.

〔第２実施形態〕
次に、第２実施形態に係るナビゲーション装置について説明する。尚、以下の説明において上記図１乃至図８の第１実施形態に係るナビゲーション装置１の構成と同一符号は、前記第１実施形態に係るナビゲーション装置１等の構成と同一あるいは相当部分を示すものである。 [Second Embodiment]
Next, a navigation device according to the second embodiment will be described. In the following description, the same reference numerals as those in the configuration of the navigation device 1 according to the first embodiment in FIGS. 1 to 8 denote the same or corresponding parts as those in the navigation device 1 according to the first embodiment. It is.

この第２実施形態に係るナビゲーション装置の概略構成は、第１実施形態に係るナビゲーション装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係るナビゲーション装置１とほぼ同じ制御処理である。 The schematic configuration of the navigation device according to the second embodiment is substantially the same as that of the navigation device 1 according to the first embodiment. Various control processes are also substantially the same as those in the navigation apparatus 1 according to the first embodiment.

但し、第２実施形態に係るナビゲーション装置では、音声認識部１９により運転者による発声を認識している間を、運転者が施設を注視している時間とみなし、その間の運転者の視線方向にある施設を案内対象とする施設候補として検出する点で第１実施形態に係るナビゲーション装置１と異なっている。 However, in the navigation device according to the second embodiment, while the voice recognition unit 19 recognizes the utterance by the driver, it is regarded as the time when the driver is gazing at the facility, and the driver's line of sight in the meantime. It is different from the navigation apparatus 1 according to the first embodiment in that a certain facility is detected as a facility candidate for guidance.

以下に、第２実施形態に係るナビゲーション装置においてナビゲーションＥＣＵ１３が実行する施設情報案内プログラムについて図９に基づき説明する。図９は第１実施形態に係る施設情報案内プログラムのフローチャートである。 Below, the facility information guidance program which navigation ECU13 performs in the navigation apparatus which concerns on 2nd Embodiment is demonstrated based on FIG. FIG. 9 is a flowchart of the facility information guidance program according to the first embodiment.

先ず、施設情報案内プログラムではＳ１０１において、ＣＰＵ４１はメモリの初期化などの初期化処理を実行する。 First, in the facility information guidance program, in S101, the CPU 41 executes initialization processing such as memory initialization.

次に、Ｓ１０２でＣＰＵ４１は起動トリガが入力されたか否かを判定する。ここで、第２実施形態では、トークスイッチがＯＮされて運転者による発話を音声認識部１９で認識した場合に起動トリガが入力されたと判定する。尚、トークスイッチがＯＮされたことのみを起動トリガの入力の条件としても良い。 Next, in S102, the CPU 41 determines whether an activation trigger has been input. Here, in the second embodiment, when the talk switch is turned on and the speech recognition unit 19 recognizes the utterance by the driver, it is determined that the activation trigger is input. It should be noted that only the activation of the talk switch may be set as a start trigger input condition.

その結果、起動トリガが入力されたと判定された場合（Ｓ１０２：ＹＥＳ）にはＳ１０３へと移行する。一方、起動トリガが入力されていないと判定された場合（Ｓ１０２：ＮＯ）には、起動トリガが入力されるまで待機する。 As a result, when it is determined that the activation trigger is input (S102: YES), the process proceeds to S103. On the other hand, if it is determined that the activation trigger is not input (S102: NO), the process waits until the activation trigger is input.

そして、Ｓ１０３でＣＰＵ４１は自車の現在位置と方位を検出する。具体的にはＧＰＳ３１により自車の現在位置を検出するとともに、地磁気センサ３２やジャイロセンサ３５により自車の絶対方位を検出する。更に、マップマッチング処理を行うことによって地図上における車両の現在位置についても検出する。尚、上記Ｓ１０３が車両情報検出手段の処理に相当する。 In S103, the CPU 41 detects the current position and direction of the vehicle. Specifically, the current position of the vehicle is detected by the GPS 31, and the absolute azimuth of the vehicle is detected by the geomagnetic sensor 32 and the gyro sensor 35. Furthermore, the current position of the vehicle on the map is also detected by performing a map matching process. Note that S103 corresponds to the processing of the vehicle information detection means.

続いて、Ｓ１０４でＣＰＵ４１は運転者の視線方向Ｅを検出する。具体的には、車内カメラ２２によって運転席に座った運転者の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きや瞳孔の位置を検出する。そして、検出された運転者の顔の向きや瞳孔の位置、車内カメラ２２の設置位置や設置角度から運転者の視線方向Ｅを検出する。尚、上記Ｓ１０４が視線方向検出手段の処理に相当する。 Subsequently, in S104, the CPU 41 detects the driver's line-of-sight direction E. Specifically, the driver's face seated in the driver's seat is imaged by the in-vehicle camera 22, and the driver's face orientation and pupil position are detected by performing predetermined image processing on the captured image. Then, the driver's line-of-sight direction E is detected from the detected driver's face orientation, pupil position, in-vehicle camera 22 installation position and installation angle. Note that S104 corresponds to the processing of the line-of-sight direction detection means.

その後、Ｓ１０５でＣＰＵ４１は、前記Ｓ１０４で検出された乗員の視線方向Ｅを含む視線方向データを視線方向ＤＢ３７に記憶する。尚、視線方向ＤＢ３７には、前記Ｓ１０４で検出された視線方向ＥとともにＧＰＳ３１によって検出された現在時刻、前記Ｓ１０３で検出された自車の現在位置、方位についても併せて視線方向データとして記憶される。 Thereafter, in S105, the CPU 41 stores gaze direction data including the sight line direction E of the occupant detected in S104 in the gaze direction DB 37. In the line-of-sight direction DB 37, the current time detected by the GPS 31 together with the line-of-sight direction E detected in S104, and the current position and direction of the vehicle detected in S103 are also stored as line-of-sight direction data. .

次に、Ｓ１０６でＣＰＵ４１はトリガの入力が終了したか否かを判定する。ここで、第２実施形態では、音声認識部１９による運転者の発話の認識が終了した場合にトリガの入力が終了したと判定する。 Next, in S106, the CPU 41 determines whether or not the trigger input is completed. Here, in 2nd Embodiment, when the recognition of the driver | operator's utterance by the speech recognition part 19 is complete | finished, it determines with the input of a trigger having been complete | finished.

その結果、トリガが継続して入力されていると判定された場合（Ｓ１０６：ＮＯ）、即ち、トークスイッチがＯＮされた状態で運転者の発話が認識できていない場合、又は運転者の発話の認識が継続して行われている場合には、Ｓ１０７へと移行する。 As a result, when it is determined that the trigger is continuously input (S106: NO), that is, when the utterance of the driver is not recognized with the talk switch turned on, or the utterance of the driver When the recognition is continuously performed, the process proceeds to S107.

そして、Ｓ１０７では起動トリガの入力が行われてから所定時間（例えば、３０ｓｅｃ）経過したか否か判定され、起動トリガの入力が行われてから所定時間経過したと判定された場合（Ｓ１０７：ＹＥＳ）には、当該施設情報案内プログラムを終了する。それに対して、起動トリガの入力が行われてから所定時間経過していないと判定された場合（Ｓ１０７：ＮＯ）にはＳ１０３へと戻り、再度自車の現在位置や方位の検出が行われる。 Then, in S107, it is determined whether or not a predetermined time (for example, 30 sec) has elapsed since the activation trigger is input, and when it is determined that the predetermined time has elapsed since the activation trigger is input (S107: YES). ) Terminates the facility information guidance program. On the other hand, when it is determined that the predetermined time has not elapsed since the start trigger is input (S107: NO), the process returns to S103, and the current position and direction of the own vehicle are detected again.

また、Ｓ１０８でＣＰＵ４１は有効なトリガが入力されたか否かを判定する。ここで、第２実施形態では、音声認識部１９によって特定の発話内容（例えば、「あの店のおすすめは？」）を認識したことを有効なトリガが入力された条件とする。 In S108, the CPU 41 determines whether a valid trigger is input. Here, in the second embodiment, it is assumed that a specific trigger content is recognized by the voice recognition unit 19 (for example, “What is the recommendation for that store?”) As a valid trigger input condition.

そして、有効なトリガが入力されたと判定された場合（Ｓ１０８：ＹＥＳ）にはＳ１０９へと移行する。一方、入力されたトリガが有効なトリガではないと判定された場合（Ｓ１０８：ＮＯ）、即ち、認識した運転者の発話が何ら関係のない発話内容であった場合には、施設の案内をすることなく当該施設情報案内プログラムを終了する。 If it is determined that a valid trigger is input (S108: YES), the process proceeds to S109. On the other hand, if it is determined that the input trigger is not a valid trigger (S108: NO), that is, if the recognized driver's utterance is utterance content that has nothing to do with it, the facility is guided. The facility information guidance program is terminated without

Ｓ１０９においてＣＰＵ４１は、前記Ｓ１０５で視線方向ＤＢ３７に記憶された注視中の運転者の視線方向データを取得する。ここで、運転者が注視中とは、運転者が運転席から自車の周囲にあるいずれかの施設を注視している状態であり、第２実施形態では起動トリガが入力されてから、トリガ入力が終了するまでの状態（即ち、運転者が特定内容の発話をしている間の状態）を注視中とみなす。 In S109, the CPU 41 acquires the gaze direction data of the driver who is watching, which is stored in the gaze direction DB 37 in S105. Here, the driver is gazing is a state in which the driver is gazing at any facility around the vehicle from the driver's seat. In the second embodiment, the trigger is input after the activation trigger is input. A state until the input is completed (that is, a state while the driver is speaking a specific content) is regarded as being watched.

次に、Ｓ１１０でＣＰＵ４１は、前記Ｓ１０９で取得した注視中の視線方向データと地図情報ＤＢ３６から取得した施設データ３９に基づいて、注視中の運転者の視線方向にある施設を案内対象とする施設候補として検出する。 Next, in S110, the CPU 41 guides the facility in the gaze direction of the driver being watched based on the gaze direction data being watched acquired in S109 and the facility data 39 acquired from the map information DB 36. Detect as a candidate.

ここで、前記Ｓ１１０における注視中の運転者の視線方向にある施設の検出処理の具体例について図１０を用いて説明する。
図１０では、特に車両１０１が道路１０２を走行中であって、道路１０２に隣接して建物Ａ〜建物Ｄを含む多数の建物１０４が配置されている場合を説明する。尚、建物Ａには施設として『コンビニ』が位置し、建物Ｂには施設として『書店』が位置し、建物Ｃ（商業ビル）には施設として１階に『中華料理店』、２階に『韓国料理店』が位置し、３階に『ベトナム料理店』、４階に『インド料理店』がそれぞれ位置し、建物Ｄには施設として『イタリア料理店』が位置するものとする。 Here, a specific example of the detection process of the facility in the gaze direction of the driver who is gazing in S110 will be described with reference to FIG.
FIG. 10 illustrates a case where the vehicle 101 is traveling on the road 102 and a large number of buildings 104 including the buildings A to D are arranged adjacent to the road 102. In addition, “Convenience Store” is located as a facility in Building A, “Bookstore” is located as a facility in Building B, “Chinese Restaurant” is located as the facility in Building C (Commercial Building), and 2nd floor. “Korean restaurant” is located, “Vietnamese restaurant” is located on the 3rd floor, “Indian restaurant” is located on the 4th floor, and “Italian restaurant” is located in the building D as a facility.

また、図１０に示す例では、特に車両１０１を運転する運転者１０３は車両前方から建物Ｄ方向へと視線を向けた状態にある時刻Ｔ_３で発話を開始し、その後「あの店のおすすめは？」との特定内容の発話を終了する時刻Ｔ_４まで車両５１の右側環境を注視し続ける。そして、発話を終了した後に視線を車両前方へと戻したとする。
その結果、ナビゲーションＥＣＵ１３は、先ず時刻Ｔ_３〜Ｔ_４の間の視線方向データを注視中の運転者の視線方向データとして抽出する（Ｓ１０９）。その後、道路１０２に隣接して配置された各施設の位置座標を地図情報ＤＢ３６から取得し、時刻Ｔ_３〜Ｔ_４の間の車両１０１の位置座標と運転者１０３の視線方向Ｅと道路１０２に隣接して配置された各施設の位置座標とに基づいて、視線方向Ｅ上に位置座標が重なる施設を注視中の視線方向にある施設として検出する。尚、図１０に示す例では建物Ａ〜Ｄに位置する施設（『コンビニ』、『書店』、『中華料理店』、『韓国料理店』、『ベトナム料理店』、『インド料理店』、『イタリア料理店』）が検出される。尚、上記Ｓ１１０が施設検出手段及び施設位置取得手段の処理に相当する。 Further, in the example shown in FIG. 10, in particular the driver 103 to drive the vehicle 101 starts the speech at time T ₃ in the state with its line of sight from the front of the vehicle to the building D direction, then "recommended That store ? until the time T ₄ to end the speech of the specific contents of the "continue to watch the right environment of the vehicle 51. Then, assume that the line of sight is returned to the front of the vehicle after the utterance is finished.
As a result, the navigation ECU 13 first extracts line-of-sight direction data between times T _{3 and} T ₄ as line-of-sight direction data of the driver who is gazing (S109). Thereafter, the position coordinates of each facility arranged adjacent to the road 102 are acquired from the map information DB 36, and the position coordinates of the vehicle 101 between the times T _{3 to} T ₄ , the line-of-sight direction E of the driver 103, and the road 102 are obtained. Based on the position coordinates of each facility arranged adjacent to each other, a facility whose position coordinates overlap with the line-of-sight direction E is detected as a facility in the line-of-sight direction being watched. In the example shown in FIG. 10, the facilities located in buildings A to D (“convenience store”, “bookstore”, “Chinese restaurant”, “Korean restaurant”, “Vietnamese restaurant”, “Indian restaurant”, “ Italian restaurant ”) is detected. Note that S110 corresponds to the processing of the facility detection unit and the facility position acquisition unit.

次に、Ｓ１１１でＣＰＵ４１は前記Ｓ１１０で検出された注視中の運転者の視線方向にある案内対象候補の施設をＲＡＭ４２に一旦記憶する。 Next, in S111, the CPU 41 temporarily stores in the RAM 42 the facilities of the guidance target candidates that are detected in S110 and are in the line-of-sight direction of the driver who is watching.

続いて、Ｓ１１２でＣＰＵ４１は、前記Ｓ１１１で記憶された施設について、予め運転者によって選択された施設のジャンルに該当する施設の絞込みを行い、対応する施設を特定する。ここで、第２実施形態に係るナビゲーション装置では、第１実施形態と同様に運転者により操作部１４を用いて施設のジャンルの選択が行われる。尚、上記Ｓ１１２が施設特定手段の処理に相当する。 Subsequently, in S112, the CPU 41 narrows down the facilities corresponding to the genre of the facility previously selected by the driver for the facilities stored in S111, and specifies the corresponding facilities. Here, in the navigation device according to the second embodiment, the genre of the facility is selected by the driver using the operation unit 14 as in the first embodiment. Note that S112 corresponds to the processing of the facility specifying means.

その後、Ｓ１１３でＣＰＵ４１は、前記Ｓ１１１で記憶された施設の内、予め運転者によって選択されたジャンルに該当する施設が少なくとも１以上あるか否か判定する。その結果、該当する施設が少なくとも１以上あると判定された場合（Ｓ１１３：ＹＥＳ）には、Ｓ１１４へと移行する。一方、該当する施設が無いと判定された場合（Ｓ１１３：ＮＯ）には、Ｓ１１５へと移行する。 Thereafter, in S113, the CPU 41 determines whether or not there are at least one facility corresponding to the genre selected in advance by the driver among the facilities stored in S111. As a result, when it is determined that there are at least one corresponding facility (S113: YES), the process proceeds to S114. On the other hand, when it is determined that there is no corresponding facility (S113: NO), the process proceeds to S115.

Ｓ１１４でＣＰＵ４１は、運転者によって選択された施設のジャンルに該当する施設について施設の案内を行う。具体的には、液晶ディスプレイ１５に表示されたナビゲーション画面上における該当施設の位置を特定色（例えば赤色）でマーキングするとともに、案内文（図２参照）を音声によりスピーカ１６から出力する。
尚、前記Ｓ１１４で実行される施設の案内処理については、既に図６〜図９を用いて説明した第１実施形態のＳ１４と同様の処理であるので説明は省略する。また、上記Ｓ１１４が施設案内手段の処理に相当する。 In S 114, the CPU 41 guides the facility regarding the facility corresponding to the genre of the facility selected by the driver. Specifically, the position of the facility on the navigation screen displayed on the liquid crystal display 15 is marked with a specific color (for example, red), and a guidance sentence (see FIG. 2) is output from the speaker 16 by voice.
Note that the facility guidance process executed in S114 is the same as S14 of the first embodiment already described with reference to FIGS. Further, S114 corresponds to the processing of the facility guidance means.

一方、Ｓ１１５においてＣＰＵ４１は、選択された施設のジャンルに該当する施設が無いことを案内する。具体的には、「選択したジャンルの建物はありません。」との音声をスピーカ１６から出力する。そして、施設の案内をすることなく当該施設情報案内プログラムを終了する。 On the other hand, in S115, the CPU 41 informs that there is no facility corresponding to the genre of the selected facility. Specifically, a voice message “There is no building of the selected genre” is output from the speaker 16. And the said facility information guidance program is complete | finished, without guiding a facility.

以上詳細に説明した通り、第２実施形態に係るナビゲーション装置及びナビゲーション装置による車両用情報案内方法及びナビゲーション装置で実行されるコンピュータプログラムでは、車両を運転する運転者により特定内容の発話が行われている間の視線方向を車内カメラ２２の撮像画像から検出し（Ｓ１０４）、特に注視中の運転者の視線方向に有る施設を案内対象候補として検出する（Ｓ１１０）とともに、検出された案内対象候補の施設の内から運転者によって予め選択されたジャンルに該当する施設を案内する（Ｓ１１４）ので、運転者の視線方向に対して複数の施設がある場合であっても、選択されたジャンルから運転者が案内を希望する施設を特定することが可能となる。従って、運転者にとって不要な施設情報については案内を行わないことにより運転の集中力の低下を招かず、また、運転者が必要とする施設情報については確実に案内することが可能となり、利便性が向上する。
また、車両の現在位置や方位や地図上の施設の位置座標を用いることによって、車両に対する相対的な運転者の視線方向から絶対的な運転者の視線方向の検出が可能となり、運転者の視線方向にある施設を地図上で正確に特定することができる。
また、運転者の音声が認識されている間において運転者の視線方向にある施設を検出して案内対象の施設候補とするので、運転者が注視して案内を必要とする施設をより正確に特定することが可能となる。 As described above in detail, in the navigation apparatus according to the second embodiment, the vehicle information guidance method using the navigation apparatus, and the computer program executed by the navigation apparatus, the driver who drives the vehicle utters specific content. The direction of the line of sight while being in the vehicle is detected from the captured image of the in-vehicle camera 22 (S104), and in particular, a facility in the line of sight of the driver who is gazing is detected as a candidate for guidance (S110). Since the facility corresponding to the genre selected in advance by the driver from among the facilities is guided (S114), even if there are a plurality of facilities in the driver's line-of-sight direction, the driver is selected from the selected genre. It becomes possible to specify the facility for which guidance is desired. Therefore, by not providing guidance on facility information that is not necessary for the driver, it does not cause a reduction in concentration of driving, and it is possible to reliably provide guidance on facility information that the driver needs. Will improve.
Also, by using the current position and direction of the vehicle and the position coordinates of the facility on the map, it is possible to detect the absolute driver's line-of-sight direction from the driver's line-of-sight direction relative to the vehicle. The facility in the direction can be accurately identified on the map.
Also, while the driver's voice is recognized, the facility in the driver's line of sight is detected and used as a facility candidate for guidance, so the facility that the driver needs to watch and guide more accurately It becomes possible to specify.

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第１実施形態及び第２実施形態では運転者の注視した施設を検出することとしているが、運転者以外でも助手席や後部座席に着座する乗員の注視した施設を検出することとしても良い。 Note that the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the scope of the present invention.
For example, in the first embodiment and the second embodiment, the facility watched by the driver is detected, but it is also possible to detect the facility watched by the passenger seated on the passenger seat or the rear seat other than the driver. .

また、第１実施形態では複数の施設が案内対象として選択された場合には、運転者が注視した順に各施設の案内を連続して行うこととしているが（図８参照）、運転者の過去の走行履歴を参照し、運転者がよく訪れる施設やよく訪れるジャンルの施設から順に案内するようにしても良い。 In addition, in the first embodiment, when a plurality of facilities are selected as guidance targets, guidance of each facility is continuously performed in the order in which the driver is gazing (see FIG. 8). The driving history may be referred to and guidance may be provided in order from facilities that the driver frequently visits or facilities of the genre that the driver frequently visits.

また、第２実施形態では運転者の発話を認識している間を、運転者が車両周囲の施設を注視している間とみなしているが、固定期間（例えば、フラグの入力が終了する５秒前〜現時点まで）を運転者が車両周囲の施設を注視している間とみなしても良い。 Further, in the second embodiment, while the driver's utterance is recognized, it is considered that the driver is gazing at the facility around the vehicle. However, the fixed period (for example, the flag input is completed 5 (From the second to the present time) may be regarded as the time when the driver is gazing at the facilities around the vehicle.

第１実施形態に係るナビゲーション装置の概略構成図である。1 is a schematic configuration diagram of a navigation device according to a first embodiment. 地図情報ＤＢに記憶される施設データの一例を示した図である。It is the figure which showed an example of the facility data memorize | stored in map information DB. 視線方向ＤＢに記憶される視線方向データの一例を示した図である。It is the figure which showed an example of the gaze direction data memorize | stored in gaze direction DB. 第１実施形態に係る施設情報案内プログラムのフローチャートである。It is a flowchart of the facility information guidance program according to the first embodiment. ステップ１１における注視中の運転者の視線方向にある施設の検出処理の具体例について説明した説明図である。It is explanatory drawing explaining the specific example of the detection process of the facility in the driver | operator's gaze direction of the driver | operator's gaze in step. ステップ１４における施設の案内処理の具体例について説明した説明図である。It is explanatory drawing explaining the specific example of the guidance process of the facility in step. ステップ１４における施設の案内処理の具体例について説明した説明図である。It is explanatory drawing explaining the specific example of the guidance process of the facility in step. ステップ１４における施設の案内処理の具体例について説明した説明図である。It is explanatory drawing explaining the specific example of the guidance process of the facility in step. 第２実施形態に係る施設情報案内プログラムのフローチャートである。It is a flowchart of the facility information guidance program according to the second embodiment. ステップ１１０における注視中の運転者の視線方向にある施設の検出処理の具体例について説明した説明図である。It is explanatory drawing explaining the specific example of the detection process of the facility in the gaze direction of the driver | operator's gaze in step 110. FIG.

Explanation of symbols

１ナビゲーション装置
１３ナビゲーションＥＣＵ
１４操作部
１５液晶ディスプレイ
１６スピーカ
１９音声認識部
３６地図情報ＤＢ
３７視線方向ＤＢ
４１ＣＰＵ
４２ＲＡＭ
４３ＲＯＭ
1 Navigation device 13 Navigation ECU
14 Operation unit 15 Liquid crystal display 16 Speaker 19 Voice recognition unit 36 Map information DB
37 Gaze direction DB
41 CPU
42 RAM
43 ROM

Claims

Genre selection means for selecting the genre of the facility,
Gaze direction detecting means for detecting the gaze direction of a vehicle occupant;
Facility detection means for detecting a facility in the sight line direction of the occupant detected by the sight line direction detection means within a predetermined period;
Of the facilities detected by the facility detection means, a facility specifying means for specifying a facility corresponding to the genre selected by the genre selection means;
A vehicle information guidance device comprising facility guidance means for guiding the facility identified by the facility identification means.

Vehicle information detection means for detecting the current position and direction of the vehicle;
Facility location acquisition means for acquiring the location of the facility on the map,
The facility detection means detects a facility in the sight line direction of the occupant based on the current position and direction of the vehicle, the sight line direction of the occupant, and the position of the facility on the map. The vehicle information guidance apparatus described.

A voice recognition means for recognizing the voice of the passenger,
Storage means for storing the line-of-sight direction detected by the line-of-sight direction detection means,
The facility detection means detects a facility in a line-of-sight direction for a predetermined period before voice recognition stored in the storage means when the voice recognition means recognizes the voice of an occupant. Or the information guidance apparatus for vehicles of Claim 2.

Having voice recognition means for recognizing the passenger's voice,
3. The vehicle information guide device according to claim 1, wherein the facility detection unit detects a facility in the sight line direction of the passenger while the voice recognition unit recognizes the passenger's voice. 4. .

A genre selection step for selecting the genre of the facility;
A line-of-sight direction detecting step for detecting a line-of-sight direction of a vehicle occupant;
A facility detection step for detecting a facility in the sight line direction of the occupant detected by the sight line direction detection step within a predetermined period;
Of the facilities detected by the facility detection step, a facility identification step for identifying a facility corresponding to the genre selected in the genre selection step;
And a facility guidance step for guiding the facility identified by the facility identification step.

On the computer,
Genre selection function to select the genre of the facility,
A gaze direction detection function for detecting a gaze direction of a vehicle occupant;
A facility detection function for detecting a facility in the sight line direction of the occupant detected by the sight line direction detection function within a predetermined period;
Of facilities detected by the facility detection function, a facility specifying function for specifying a facility corresponding to the genre selected by the genre selection function;
A facility guidance function for guiding the facility identified by the facility identification function;
A computer program for executing