JP2017083308A - Electronic apparatus, facility specification method, and facility specification program - Google Patents

Electronic apparatus, facility specification method, and facility specification program Download PDF

Info

Publication number
JP2017083308A
JP2017083308A JP2015212158A JP2015212158A JP2017083308A JP 2017083308 A JP2017083308 A JP 2017083308A JP 2015212158 A JP2015212158 A JP 2015212158A JP 2015212158 A JP2015212158 A JP 2015212158A JP 2017083308 A JP2017083308 A JP 2017083308A
Authority
JP
Japan
Prior art keywords
line
vehicle
sight
facility
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015212158A
Other languages
Japanese (ja)
Inventor
藤原 清純
Kiyozumi Fujiwara
清純 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2015212158A priority Critical patent/JP2017083308A/en
Publication of JP2017083308A publication Critical patent/JP2017083308A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an electronic apparatus that can further accurately specify a facility present in the direction of the line of sight of people in a vehicle.SOLUTION: An on-vehicle device 10 comprises: imaging means that photographs people in a vehicle; detection means that detects the direction of the line of sight of the people in the vehicle at a constant sampling cycle on the basis of the photographed image; calculation means that calculates the speed of movement of the line of sight; determination means that determines a specific object outside the vehicle that is in the direction of the line of sight and gazed by the people in the vehicle longer than a threshold; and display means that displays information on the specific object determined by the determination means. The determination means makes the threshold variable according to the speed of movement of the line of sight.SELECTED DRAWING: Figure 1

Description

本発明は、搭乗者の視線方向に存在する施設を特定し、特定された施設に関する情報を表示する機能を備えた電子装置に関する。   The present invention relates to an electronic apparatus having a function of specifying a facility that exists in the direction of the line of sight of a passenger and displaying information related to the specified facility.

従来、ナビゲーション装置では、地図データを利用して、ユーザーから入力された名称、電話番号、ジャンル等の情報に基づき該当する施設情報を検索し、これを表示させることができる。しかし、ユーザーの知りたい情報は、自らが入力した内容や目的地に関する情報に限らず、走行中に目に留まった施設に関する情報を知りたいというニーズもある。   Conventionally, a navigation device can search for and display corresponding facility information based on information such as a name, a telephone number, and a genre input by a user using map data. However, the information that the user wants to know is not limited to the information about the contents and destinations entered by the user, but there is also a need to know the information about the facilities that were noticed while driving.

特許文献1には、乗員の視線方向を異なるタイミングで複数検出し、検出された複数の視線方向の交点を注視点として、当該注視点付近に存在する施設の案内を行う施設特定装置が開示されている。また、特許文献2には、カメラによって撮像が行われたとき、カメラの向けられた方向を検出し、当該方向から現在位置を中心とする範囲内にある施設を、データベースから検索し、検索された施設を表示する施設情報表示装置が開示されている。   Patent Document 1 discloses a facility specifying apparatus that detects a plurality of sight line directions of occupants at different timings, and guides a facility that exists in the vicinity of the gazing point using intersections of the detected plurality of sight line directions as gazing points. ing. Further, in Patent Document 2, when an image is taken by a camera, the direction in which the camera is directed is detected, and a facility that is within the range centered on the current position from the direction is searched from a database. A facility information display device for displaying a facility is disclosed.

特開2009−31943号公報JP 2009-31943 A 特開2012−209833号公報JP 2012-209833 A

従来の車載装置には、次のような課題がある。走行中に、搭乗者が車内の窓越しから建物等の施設を注視したとき、その施設が、搭乗者を基準とした奥行き方向のいずれかにあるのかが不明である。また、特許文献1の技術により注視する方向の施設を特定した場合、施設と搭乗者との距離が近い場合には、異なるタイミングで搭乗者の視線方向を検出している間に、施設を通り過ぎてしまい、施設を検出することができないという課題がある。特に、この課題は、車両の走行速度が速い場合に顕著に起こり得る。   Conventional in-vehicle devices have the following problems. When a passenger watches a facility such as a building through a window in the vehicle while traveling, it is unclear whether the facility is in one of the depth directions based on the passenger. Moreover, when the facility in the direction to be watched is specified by the technique of Patent Document 1, when the facility and the passenger are close to each other, the facility passes through the facility while detecting the passenger's gaze direction at different timings. Therefore, there is a problem that the facility cannot be detected. In particular, this problem can occur remarkably when the traveling speed of the vehicle is high.

本発明は、このような従来の課題を解決し、搭乗者の視線方向に存在する施設をより正確に特定することができる電子装置、施設特定方法および施設特定プログラムを提供することを目的とする。   An object of the present invention is to solve such a conventional problem and to provide an electronic device, a facility specifying method, and a facility specifying program that can more accurately specify a facility that exists in the line-of-sight direction of a passenger. .

本発明に係る電子装置は、車内の搭乗者を撮像する撮像手段と、前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出する検出手段と、前記撮像手段により撮像された撮像画像に基づき搭乗者の視線移動速度を算出する算出手段と、搭乗者の視線方向が閾値よりも長く注視している車外の特定物を判別する判別手段と、前記判別手段によって判別された特定物に関する情報を表示する表示手段とを有し、前記判別手段は、前記視線移動速度に応じて前記閾値を可変する。   An electronic apparatus according to the present invention includes an imaging unit that images a passenger in a vehicle, a detection unit that detects a gaze direction of the passenger at a constant sampling period based on a captured image captured by the imaging unit, and the imaging unit A calculating unit that calculates a passenger's line-of-sight movement speed based on a captured image captured by the vehicle, a determination unit that determines a specific object outside the vehicle in which the passenger's line-of-sight direction is gazing longer than a threshold, and the determination unit Display means for displaying information relating to the determined specific object, and the determination means varies the threshold according to the line-of-sight movement speed.

好ましくは前記判別手段は、前記視線移動速度が大きいとき第1の閾値を設定し、前記視線移動速度が小さいとき第2の閾値を設定し、第1の閾値は、第2の閾値よりも小さい。好ましくは電子装置はさらに、少なくとも自車の走行速度を含む車両情報を検知する車両情報検知手段を含み、前記検出手段は、前記走行速度に応じて前記サンプリング周期を可変する。好ましくは前記検出手段は、前記走行速度が大きいとき第1のサンプリング周期を設定し、前記走行速度が小さいとき第2のサンプリング周期を設定し、第1のサンプリング周期は、第2のサンプリング周期よりも速い。好ましくは前記判別手段は、前記視線方向に基づき特定物を判別するための対象領域を特定する対象領域特定手段を含み、当該対象領域特定手段は、前記視線方向を中心とする一定の角度、および自車を起点とする距離によって前記対象領域を規定し、前記対象領域特定手段は、前記視線移動速度に応じて前記距離を設定する。好ましくは前記対象領域特定手段は、前記視線移動速度が大きいとき第1の距離を設定し、前記視線移動速度が小さいとき第2の距離を設定し、第1の距離は、第2の距離よりも小さい。   Preferably, the determination unit sets a first threshold value when the line-of-sight movement speed is high, sets a second threshold value when the line-of-sight movement speed is low, and the first threshold value is smaller than the second threshold value. . Preferably, the electronic device further includes vehicle information detecting means for detecting vehicle information including at least the traveling speed of the own vehicle, and the detecting means varies the sampling period in accordance with the traveling speed. Preferably, the detection means sets a first sampling period when the traveling speed is high, sets a second sampling period when the traveling speed is low, and the first sampling period is greater than the second sampling period. Is also fast. Preferably, the determination means includes target area specifying means for specifying a target area for determining a specific object based on the line-of-sight direction, and the target area specifying means has a certain angle centered on the line-of-sight direction, and The target area is defined by a distance starting from the own vehicle, and the target area specifying means sets the distance according to the line-of-sight movement speed. Preferably, the target area specifying unit sets a first distance when the line-of-sight movement speed is high, sets a second distance when the line-of-sight movement speed is low, and the first distance is greater than the second distance. Is also small.

本発明に係る施設特定方法は、車内の搭乗者を撮像する撮像手段と、車外の施設に関する情報を表示可能な表示手段とを含む電子装置におけるものであって、前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出するステップと、前記撮像手段により撮像された撮像画像に基づき視線移動速度を算出する算出するステップと、前記視線移動速度に応じて閾値を設定するステップと、搭乗者の視線方向が前記閾値よりも長く注視している車外の特定物を判別するステップと、前記判別された特定物に関する情報を表示するステップとを有する。   The facility specifying method according to the present invention is in an electronic apparatus including an imaging unit that images passengers in a vehicle and a display unit that can display information related to facilities outside the vehicle, and the imaging is performed by the imaging unit. A step of detecting the sight line direction of the occupant at a constant sampling period based on the image; a step of calculating a sight line movement speed based on the captured image captured by the imaging unit; and a threshold value according to the sight line movement speed. A setting step, a step of determining a specific object outside the vehicle in which the line-of-sight direction of the passenger is gazing longer than the threshold value, and a step of displaying information on the determined specific object.

本発明に係る施設特定プログラムは、車内の搭乗者を撮像する撮像手段と、車外の施設に関する情報を表示可能な表示手段とを含む電子装置が実行するものであって、前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出するステップと、前記撮像手段により撮像された撮像画像に基づき視線移動速度を算出する算出するステップと、前記視線移動速度に応じて閾値を設定するステップと、搭乗者の視線方向が前記閾値よりも長く注視している車外の特定物を判別するステップと、前記判別された特定物に関する情報を表示するステップとを有する。   The facility specifying program according to the present invention is executed by an electronic device including an imaging unit that images passengers in a vehicle and a display unit that can display information on facilities outside the vehicle, and is imaged by the imaging unit. Detecting the direction of the sight line of the passenger at a constant sampling period based on the captured image, calculating the line-of-sight movement speed based on the captured image captured by the imaging unit, and depending on the line-of-sight movement speed A step of setting a threshold value; a step of determining a specific object outside the vehicle in which the gaze direction of the passenger is gazing longer than the threshold value; and a step of displaying information on the determined specific object.

本発明によれば、特定物を判別するときの閾値を視線移動速度に応じて可変するようにしたので、視線移動速度が速いような場合であっても、特定物の判別を正確に行うことができ、特定物に関する情報を表示させることができる。   According to the present invention, the threshold for determining a specific object is made variable according to the line-of-sight movement speed, so that even when the line-of-sight movement speed is fast, the specific object can be accurately determined. It is possible to display information on a specific object.

本発明の実施例に係る車載装置の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle-mounted apparatus which concerns on the Example of this invention. 本発明の実施例に係る撮像カメラの設置例を示す平面図である。It is a top view which shows the example of installation of the imaging camera which concerns on the Example of this invention. 本発明の実施例に係る表示部の具体的な例を示す図である。It is a figure which shows the specific example of the display part which concerns on the Example of this invention. 本発明の実施例に係る通信部の利用態様の一例を示す図である。It is a figure which shows an example of the utilization aspect of the communication part which concerns on the Example of this invention. 施設データの一例を示す図である。It is a figure which shows an example of facility data. 本発明の第1の実施例に係る施設特定プログラムの機能的な構成例を示す図である。It is a figure showing an example of functional composition of a facility specific program concerning the 1st example of the present invention. 本発明の第1の実施例に係る注視判定部の動作を説明する模式図である。It is a schematic diagram explaining operation | movement of the gaze determination part which concerns on 1st Example of this invention. 本発明の第1の実施例に係る対象領域の特定を説明する模式図である。It is a schematic diagram explaining specification of the object area | region which concerns on 1st Example of this invention. 本発明の第1の実施例に係る施設特定動作を説明するフローチャートである。It is a flowchart explaining the plant | facility specific operation | movement which concerns on 1st Example of this invention. 図10(A)は、従来の施設特定方法を説明する図、図10(B)は、本発明の第1の実施例に係る施設特定方法を説明する図である。FIG. 10A is a diagram for explaining a conventional facility specifying method, and FIG. 10B is a diagram for explaining a facility specifying method according to the first embodiment of the present invention. 本発明の第2の実施例に係る視線方向検出部で用いる走行速度とサンプリング周期との関係を規定したテーブルの例である。It is an example of the table which prescribed | regulated the relationship between the running speed and sampling period which are used with the gaze direction detection part which concerns on 2nd Example of this invention. 本発明の第3の実施例に係る対象領域特定部における視線方向の補正方法を説明する図である。It is a figure explaining the correction | amendment method of the gaze direction in the target area | region specific | specification part which concerns on 3rd Example of this invention.

次に、本発明の好ましい実施の形態について説明する。本発明に係る電子装置は、好ましい態様では、車両に搭載された車載装置によって実施される。車載装置は、車内の搭乗者を撮像する撮像カメラを含み、撮像画像から搭乗者の視線方向や視線移動速度を算出し、それらを利用して視線方向に存在する施設を特定し、特定された施設に関する情報を表示する機能を有する。表示する機能は、車両の前方に設置されたセンターディスプレイ、計器類を含むインスツルメンツパネル内のディスプレイ、後部座席用のリアディスプレイ、あるいはHUD(ヘッドアップディスプレイ)であることができる。また、本発明の「施設」とは、単に建築物等の施設のみならず、森、丘、陸、山、湖などの建造物がない特徴的な自然の景観、場所、領域をも含む広義な意味で使用される。さらに、車載装置は、施設に関する情報を表示する機能の他に、例えば、ナビゲーション機能、ラジオ・テレビ受信機能、マルチメディア再生機能等を含むことができる。   Next, a preferred embodiment of the present invention will be described. In a preferred aspect, the electronic device according to the present invention is implemented by an in-vehicle device mounted on a vehicle. The in-vehicle device includes an imaging camera that captures the passengers in the vehicle, calculates the passenger's line-of-sight direction and line-of-sight movement speed from the captured image, identifies facilities that exist in the line-of-sight direction using them, and is specified It has a function to display information about facilities. The display function can be a center display installed in front of the vehicle, a display in an instrument panel including instruments, a rear display for a rear seat, or a HUD (head-up display). In addition, the “facility” of the present invention is not only a facility such as a building, but also a broad meaning including a characteristic natural landscape, place, and area that does not have structures such as forests, hills, land, mountains, and lakes. Used in a meaning. Furthermore, the in-vehicle device can include, for example, a navigation function, a radio / TV reception function, a multimedia playback function, and the like in addition to the function of displaying information about facilities.

図1は、本発明の実施例に係る車載装置の典型的な構成を示すブロック図である。本実施例に係る車載装置10は、撮像部100、入力部110、車両情報検知部120、ナビゲーション部130、表示部140、音声出力部150、通信部160、記憶部170、制御部180を含んで構成される。   FIG. 1 is a block diagram showing a typical configuration of an in-vehicle device according to an embodiment of the present invention. The in-vehicle device 10 according to the present embodiment includes an imaging unit 100, an input unit 110, a vehicle information detection unit 120, a navigation unit 130, a display unit 140, an audio output unit 150, a communication unit 160, a storage unit 170, and a control unit 180. Consists of.

撮像部100は、車内に備えられた1つまたは複数の撮像カメラを含み、搭乗者を撮像する。図2に、撮像カメラの好ましい取付け例を示す。撮像カメラ102は、自車Mのルームミラーの位置近傍に取付けられた広角レンズのカメラであり、運転席および助手席の搭乗者を左右均等に撮像する。車載カメラ104は、助手席の後方付近に取付けられ、左後部座席および中央後部座席を撮像可能である。撮像カメラ106は、運転席の後方付近に取付けら、右後部座席および中央後部座席を撮像可能である。撮像カメラ102、104、106によって撮像された画像データは、制御部180に提供され、搭乗者の有無や搭乗者の顔や視線の検出のために画像解析される。なお、撮像カメラの数および取付け位置は、図2に示した例に限られず、それよりも多い数または少ない数の撮像カメラによって搭乗者を撮像してもよい。   The imaging unit 100 includes one or more imaging cameras provided in the vehicle, and images passengers. FIG. 2 shows a preferred mounting example of the imaging camera. The imaging camera 102 is a wide-angle lens camera that is mounted in the vicinity of the position of the rear-view mirror of the host vehicle M, and images passengers in the driver's seat and the passenger seat equally. The in-vehicle camera 104 is attached in the vicinity of the rear of the passenger seat, and can image the left rear seat and the central rear seat. The imaging camera 106 is attached in the vicinity of the rear of the driver's seat, and can image the right rear seat and the central rear seat. Image data captured by the imaging cameras 102, 104, and 106 is provided to the control unit 180, and image analysis is performed to detect the presence / absence of the passenger, the passenger's face and line of sight. In addition, the number of imaging cameras and attachment positions are not limited to the example illustrated in FIG. 2, and the passenger may be imaged by a larger or smaller number of imaging cameras.

入力部110は、入力キーデバイス、音声入力認識装置、あるいはタッチパネルなどを含み、ユーザーからの指示を受け取り、これを制御部180へ提供する。車両情報検知部120は、自車の走行速度、自車の3次元位置情報などを検知する。自車の3次元位置情報は、自車位置、自車の方向、傾きなどを含む。自車位置は、例えば、GPS受信機や自立方向センサから得ることができ、自車の方向および傾きは、自車に搭載されたジャイロセンサや加速度センサ、あるいはステアリングセンサ(操舵角)の検出結果から得ることができる。   The input unit 110 includes an input key device, a voice input recognition device, a touch panel, or the like, receives an instruction from the user, and provides this to the control unit 180. The vehicle information detection unit 120 detects the traveling speed of the host vehicle, the three-dimensional position information of the host vehicle, and the like. The three-dimensional position information of the own vehicle includes the own vehicle position, the direction of the own vehicle, the inclination, and the like. The own vehicle position can be obtained from, for example, a GPS receiver or an independent direction sensor, and the direction and inclination of the own vehicle are detected by a gyro sensor, an acceleration sensor, or a steering sensor (steering angle) mounted on the own vehicle. Can be obtained from

ナビゲーション部130は、自車位置周辺の道路地図を表示部140に表示させたり、目的地までの経路を探索し、その探索経路の案内を行う。表示部140は、ナビゲーション部130の道路地図の表示を行ったり、あるいは後述するように、搭乗者が注視した車外の施設に関する情報を表示する。表示部140は、液晶ディスプレイ、有機ELディスプレイ、あるいはプロジェクターなどから構成される。図3は、本実施例の表示部140の取付け例を示す。図3(A)に示すように、表示部140は、運転席の前方のインスツルメンツパネルと助手席の前方のダッシュボックスとの間のセンターコンソールに取付けられたディスプレイ140Aでも良いし、図3(B)に示すように、後部座席の搭乗者のために、運転席と助手席の中心あたりの天井142に取付けられた可倒式の左右のリアディスプレイ144A、144Bを含むことができる。   The navigation unit 130 displays a road map around the vehicle position on the display unit 140, searches for a route to the destination, and guides the search route. The display unit 140 displays a road map of the navigation unit 130, or displays information about facilities outside the vehicle that the passenger has watched as will be described later. The display unit 140 includes a liquid crystal display, an organic EL display, a projector, or the like. FIG. 3 shows an example of attachment of the display unit 140 of this embodiment. As shown in FIG. 3A, the display unit 140 may be a display 140A attached to a center console between an instrument panel in front of the driver's seat and a dash box in front of the passenger seat. ), Rear left and right rear displays 144A, 144B attached to the ceiling 142 around the center of the driver and passenger seats can be included for passengers in the rear seats.

音声出力部150は、ナビゲーション部130によって生成された案内経路等の音声出力を行う。通信部160は、外部のネットワークや外部機器等と有線または無線によるデータ通信を可能にする。通信部160は、例えば図4に示すように、ネットワークNWを介して、位置情報配信サイト162にアクセスし、そこから自車位置情報を取得したり、地図データ配信サイト164にアクセスし、そこから必要な地図データを取得したり、施設情報配信サイト166にアクセスし、そこから施設に関する詳細な情報を取得することができる。   The voice output unit 150 outputs a voice such as a guide route generated by the navigation unit 130. The communication unit 160 enables wired or wireless data communication with an external network or an external device. For example, as shown in FIG. 4, the communication unit 160 accesses the position information distribution site 162 via the network NW, acquires the vehicle position information from there, accesses the map data distribution site 164, and from there Necessary map data can be acquired, or the facility information distribution site 166 can be accessed and detailed information about the facility can be acquired therefrom.

記憶部170は、制御部180が実行するプログラムやソフトウエア、ナビゲーション部130によって必要とされる道路地図データ(ノードデータやリンクデータ等)、施設データを記憶することができる。図5は、施設データの一例を示す図である。施設データは、施設を識別する施設コード、施設名称、ジャンル、位置座標、電話番号、施設の開店時間、閉店時間、施設の外観画像、施設の口コミ等の施設の紹介情報などを含む。   The storage unit 170 can store programs and software executed by the control unit 180, road map data (such as node data and link data) required by the navigation unit 130, and facility data. FIG. 5 is a diagram illustrating an example of facility data. The facility data includes a facility code for identifying the facility, a facility name, a genre, a position coordinate, a telephone number, a facility opening time, a closing time, an appearance image of the facility, facility introduction information such as a facility review, and the like.

制御部180は、好ましい態様では、ROM、RAMなどを含むマイクロコントローラ等から構成され、ROMまたはRAMは、車載装置10の各部の動作を制御するための種々のプログラムを格納することができる。本実施例では、制御部180は、搭乗者が注視する施設を特定し、当該特定された施設に関する情報を表示する施設特定プログラムを実行する。   In a preferred embodiment, the control unit 180 includes a microcontroller including a ROM, a RAM, and the like, and the ROM or the RAM can store various programs for controlling the operation of each unit of the in-vehicle device 10. In the present embodiment, the control unit 180 executes a facility specifying program that specifies the facility that the passenger is watching and displays information related to the specified facility.

図6は、本実施例に係る施設特定プログラムの機能的な構成例を示す図である。施設特定プログラム200は、搭乗者監視部210、視線方向検出部220、視線移動速度算出部230、閾値設定部240、注視判定部250、対象領域特定部260、施設特定部270および施設情報表示部280を含む。   FIG. 6 is a diagram illustrating a functional configuration example of the facility identification program according to the present embodiment. The facility identification program 200 includes a passenger monitoring unit 210, a gaze direction detection unit 220, a gaze movement speed calculation unit 230, a threshold setting unit 240, a gaze determination unit 250, a target area identification unit 260, a facility identification unit 270, and a facility information display unit. 280.

搭乗者監視部210は、撮像部100からの撮像画像の画像解析結果に基づき搭乗者の有無を監視する。例えば、撮像カメラ102の撮像画像に基づき運転者および助手席の搭乗者の有無が監視され、撮像カメラ104、106によって後部座席の搭乗者の有無が監視される。好ましい態様では、搭乗者が存在しないと判定されたとき、制御部180は、その撮像カメラの電源をオフすることができる。搭乗者監視部210の監視結果は、視線方向検出部220等へ提供される。   The passenger monitoring unit 210 monitors the presence or absence of a passenger based on the image analysis result of the captured image from the imaging unit 100. For example, the presence / absence of a driver and a passenger on the passenger seat is monitored based on the image captured by the imaging camera 102, and the presence / absence of a passenger in the rear seat is monitored by the imaging cameras 104 and 106. In a preferred embodiment, when it is determined that there is no passenger, the control unit 180 can turn off the power of the imaging camera. The monitoring result of the passenger monitoring unit 210 is provided to the line-of-sight direction detection unit 220 and the like.

視線方向検出部220は、搭乗者の撮像画像を解析することで、搭乗者の視線方向を検出する。画像解析は、例えば空間フィルタリングを用いてエッジ検出、エッジ強調などの処理を行い、搭乗者の顔や眼などを検出する。撮像カメラ102、104、106は、予め決められた位置に取付けられており、画像上の顔や眼の座標位置を知ることで、顔の向きや視線方向を検出することができる。1つの例では、搭乗者の顔の向きを視線方向とみなすこともできるが、より好ましい例では、眼の位置から視線方向を検出する。また、視線方向の検出は、一定のサンプリング周期で行われ、逐次、検出された視線方向が移動速度算出部230や注視判定部250へ提供される。   The line-of-sight direction detection unit 220 detects the line-of-sight direction of the passenger by analyzing the captured image of the passenger. In the image analysis, for example, processing such as edge detection and edge enhancement is performed using spatial filtering to detect a passenger's face and eyes. The imaging cameras 102, 104, and 106 are attached at predetermined positions, and can detect the face direction and the line-of-sight direction by knowing the coordinate positions of the face and eyes on the image. In one example, the direction of the occupant's face can be regarded as the line-of-sight direction, but in a more preferred example, the line-of-sight direction is detected from the eye position. The detection of the line-of-sight direction is performed at a constant sampling cycle, and the detected line-of-sight direction is sequentially provided to the movement speed calculation unit 230 and the gaze determination unit 250.

視線移動速度算出部230は、搭乗者の視線の移動速度を算出する。1つの例では、視線移動速度算出部230は、視線方向検出部220により一定のサンプリング周期で検出された視線方向の差分から視線の移動速度またはその変化量を算出する。視線移動速度は、例えば、連続する2つの視線方向の差分から算出されてもよいし、あるいは3つ以上の視線方向の各差分の平均から算出されてもよい。また、別の例では、視線移動速度算出部230は、必ずしも視線方向検出部220からの視線方向に基づき視線移動速度を算出するのではなく、搭乗者監視部210からの撮像画像に基づき搭乗者の眼を検出し、その眼の位置変化から視線移動速度を算出するようにしてもよい。   The line-of-sight movement speed calculation unit 230 calculates the movement speed of the passenger's line of sight. In one example, the line-of-sight movement speed calculation unit 230 calculates the line-of-sight movement speed or the amount of change thereof from the line-of-sight direction difference detected by the line-of-sight direction detection unit 220 at a constant sampling period. The line-of-sight movement speed may be calculated from, for example, the difference between two consecutive line-of-sight directions, or may be calculated from the average of each difference between three or more line-of-sight directions. In another example, the line-of-sight movement speed calculation unit 230 does not necessarily calculate the line-of-sight movement speed based on the line-of-sight direction from the line-of-sight direction detection unit 220, but is based on the captured image from the passenger monitoring unit 210. May be detected, and the line-of-sight movement speed may be calculated from the change in the position of the eye.

閾値変更部240は、視線移動速度算出部230によって算出された視線移動速度に基づき、後述する注視判定部250で用いられる閾値を設定する。この閾値は、搭乗者が一定方向を注視しているか否かを判定するための判定基準である。閾値設定部240は、視線移動速度が速いほど、閾値を小さい値に設定し、反対に、視線移動速度が遅いほど、閾値を大きい値に設定する。   The threshold value changing unit 240 sets a threshold value used by the gaze determination unit 250 described later based on the line-of-sight movement speed calculated by the line-of-sight movement speed calculation unit 230. This threshold value is a criterion for determining whether or not the passenger is gazing at a certain direction. The threshold value setting unit 240 sets the threshold value to a smaller value as the line-of-sight movement speed increases, and conversely sets the threshold value to a larger value as the line-of-sight movement speed decreases.

注視判定部250は、視線方向検出部22によって検出された視線方向に基づき、搭乗者が一定の方向を注視しているか否かを判定する。具体的には、搭乗者の視線方向が閾値よりも長い間、一定の範囲内にあるとき、搭乗者が注視していると判定する。上記したように、閾値は、視線移動速度に応じて設定される。視線移動速度が大きいとき、搭乗者は、比較的近い場所の施設を注視しているか、あるいは自車の走行速度が速いことが予想される。他方、視線移動速度が小さいとき、搭乗者は、比較的遠い場所の施設を注視しているか、あるいは自車の走行速度が遅いことが予想される。つまり、自車の走行速度が遅くても、比較的近い距離の施設を注視している場合には、視線移動速度は大きくなる傾向があり、自車の走行速度が速くても比較的遠い距離の施設を注視している場合には、視線移動速度は小さくなる傾向がある。視線移動速度が速いときに閾値を小さくすることで、注視の判定がされ易くなり、施設の特定を行う前に施設を通過してしまう不具合が解消される。   The gaze determination unit 250 determines whether or not the occupant is gazing at a certain direction based on the gaze direction detected by the gaze direction detection unit 22. Specifically, it is determined that the occupant is gazing when the sight line direction of the occupant is within a certain range for a period longer than the threshold. As described above, the threshold is set according to the line-of-sight movement speed. When the line-of-sight movement speed is high, it is expected that the passenger is gazing at a facility in a relatively close place or the traveling speed of the own vehicle is high. On the other hand, when the line-of-sight movement speed is low, it is expected that the occupant is watching the facility at a relatively distant place or the traveling speed of the own vehicle is low. In other words, even if the speed of the host vehicle is slow, if you are watching a facility at a relatively close distance, the eye movement speed tends to increase. When looking at these facilities, the line-of-sight movement speed tends to decrease. By reducing the threshold when the line-of-sight movement speed is high, it is easy to determine gaze, and the problem of passing through the facility before specifying the facility is solved.

また、注視判定部250は、車両情報検知部120で検知された自車の3次元位置情報に基づき視線方向を補正する。搭乗者が施設を注視しているとき、自車が停車中(走行速度がゼロ)であれば、視線方向は変化しないが、自車が走行中であれば、その視線方向は相対的に変化する。図7は、搭乗者が車外の施設Hを注視しているときの時刻t1、t2、t3の視線方向D1、D2、D3を例示している。時刻t1、t2、t3は、視線方向検出部220のサンプリング周期である。ここでは説明を簡単にするため、自車Mが概ね一定速度Sで直進しているものとする。自車Mの基準方向K(例えば、自車の中心を通る線)に対する視線方向D1、D2、D3の角度θ1、θ2、θ3は、自車の走行に伴い変化する。そこで、時刻t2、時刻t3のときの自車位置を時刻t1のときの自車位置に補正(速度S×時間)する。もし、搭乗者が施設Hを注視しているならば、その場合には、θ1≒θ2≒θ3となる。また、自車Mの方向が変化したときにも同様に自車位置を補正することで、視線方向が一定の方向を連続して注視しているか否かを正確に判定することができる。   The gaze determination unit 250 corrects the gaze direction based on the three-dimensional position information of the host vehicle detected by the vehicle information detection unit 120. When the passenger is gazing at the facility, the direction of the line of sight does not change if the vehicle is stopped (travel speed is zero), but the direction of the line of sight changes relatively if the vehicle is traveling. To do. FIG. 7 illustrates line-of-sight directions D1, D2, and D3 at times t1, t2, and t3 when the passenger is watching the facility H outside the vehicle. Times t1, t2, and t3 are sampling periods of the line-of-sight direction detection unit 220. Here, in order to simplify the explanation, it is assumed that the host vehicle M is traveling straight at a substantially constant speed S. The angles θ1, θ2, and θ3 of the line-of-sight directions D1, D2, and D3 with respect to the reference direction K of the host vehicle M (for example, a line passing through the center of the host vehicle) change as the host vehicle travels. Therefore, the vehicle position at time t2 and time t3 is corrected to the vehicle position at time t1 (speed S × time). If the passenger is watching the facility H, then θ1≈θ2≈θ3. Further, when the direction of the host vehicle M changes, the host vehicle position is similarly corrected, so that it can be accurately determined whether or not the line-of-sight direction is continuously gazing at a certain direction.

他の方法として、注視判定部250は、|θ2−θ1|/(t2−t1)≒|θ3−θ2|/(t3−t2)の関係が満たされるような場合に、視線方向が一定方向にあると推定し、この状態が閾値よりも長い期間継続されたとき、一定方向を注視していると判定するようにしてもよい。   As another method, the gaze determination unit 250 sets the line-of-sight direction to a fixed direction when the relationship | θ2-θ1 | / (t2-t1) ≈ | θ3-θ2 | / (t3-t2) is satisfied. If it is estimated that there is a period longer than the threshold, it may be determined that the user is gazing at a certain direction.

対象領域特定部260は、注視判定部250によって搭乗者が一定方向を注視していると判定されたとき、注視している視線方向に基づき、施設を特定すべき対象領域を特定する。図8に、対象領域の特定方法を示す。Dcは、注視していると判定されたときの基準線Kに対する視線方向である。対象領域特定部260は、注視している視線方向Dcを基準に左右に一定の角度α1、α2を設定し、自車Mを始点とする対象領域の角度を決定する。α1、α2は、予め決められた値であり、例えば、α1=α2である。さらに対象領域特定部260は、視線移動速度に応じて自車からの対象領域の上限となる距離Lを決定する。好ましくは、距離Lは、視線移動速度と反比例の関係にあり、視線移動速度が大きいとき、距離Lは相対的に小さく、視線移動速度が小さいとき、距離Lは相対的に大きくなるように設定される。視線移動速度が大きいとき、搭乗者は自車Mから比較的近い距離の施設を注視していると推定され、視線移動速度が小さいとき、搭乗者は自車Mから比較的遠い距離の施設を注視していると推定されるためである。   When the gaze determination unit 250 determines that the occupant is gazing at a certain direction, the target area identification unit 260 identifies a target area where the facility is to be identified based on the gaze direction in which the gaze is gazing. FIG. 8 shows a method for specifying the target area. Dc is the viewing direction with respect to the reference line K when it is determined that the user is gazing. The target area specifying unit 260 sets constant angles α1 and α2 to the left and right with reference to the line-of-sight direction Dc, and determines the angle of the target area starting from the vehicle M. α1 and α2 are predetermined values, for example, α1 = α2. Furthermore, the target area specifying unit 260 determines a distance L that is the upper limit of the target area from the own vehicle according to the line-of-sight movement speed. Preferably, the distance L is inversely proportional to the line-of-sight movement speed, and is set so that the distance L is relatively small when the line-of-sight movement speed is large and the distance L is relatively large when the line-of-sight movement speed is small. Is done. When the line-of-sight movement speed is high, it is estimated that the passenger is gazing at a facility at a relatively close distance from the own vehicle M. When the line-of-sight movement speed is low, the passenger is looking at a facility at a relatively long distance from the own vehicle M. This is because it is estimated that the user is gazing.

対象領域特定部260によって特定された対象領域情報は、施設特定部270へ提供される。施設特定部270は、地図データおよび施設データの位置情報(図5)を参照し、対象領域内に存在する施設を検索し、施設を特定する。好ましくは、自車位置から近い順に施設を特定する。図8は、対象領域内の施設H1、H2、H3が特定される例を示している。   The target area information specified by the target area specifying unit 260 is provided to the facility specifying unit 270. The facility specifying unit 270 refers to the map data and the location information of the facility data (FIG. 5), searches for the facility existing in the target area, and specifies the facility. Preferably, the facilities are specified in order from the nearest vehicle position. FIG. 8 shows an example in which the facilities H1, H2, and H3 in the target area are specified.

施設情報表示部280は、施設特定部270によって特定された施設に関する情報を表示部140に表示させる。表示態様は特に問わないが、地図上に吹き出し表記で施設名等を表示させたり、あるいは、自車位置から近い順に施設名等をリスト表示させることができる。また、表示する情報は、図5に示すような、ジャンル、紹介情報、施設の外観画像などを含むものであってもよい。さらに好ましくは、施設情報表示部280は、搭乗者監視部210の監視結果および/または視線方向検出部220の検出結果に基づき、対象の搭乗者が存在する座席に近い表示部に施設に関する情報を表示させる。例えば、後部座席の左側に搭乗者が存在すれば、リアディスプレイ144Aに施設情報が表示され、後部座席の右側に搭乗者が存在すれば、リアディスプレイ144Bに施設情報が表示される。また、施設情報表示部280は、施設に関する情報を記憶部170に記憶しておき、ユーザーからの指示があったときに、施設情報を表示部140に表示させるようにしてもよい。   The facility information display unit 280 causes the display unit 140 to display information regarding the facility specified by the facility specifying unit 270. Although the display mode is not particularly limited, the facility name or the like can be displayed on the map in a balloon notation, or the facility name or the like can be displayed in a list in the order from the vehicle position. Further, the information to be displayed may include a genre, introduction information, an appearance image of a facility, etc. as shown in FIG. More preferably, the facility information display unit 280 displays information about the facility on the display unit close to the seat where the target passenger exists based on the monitoring result of the passenger monitoring unit 210 and / or the detection result of the line-of-sight direction detection unit 220. Display. For example, if there is a passenger on the left side of the rear seat, the facility information is displayed on the rear display 144A, and if there is a passenger on the right side of the rear seat, the facility information is displayed on the rear display 144B. In addition, the facility information display unit 280 may store information related to the facility in the storage unit 170 so that the facility information is displayed on the display unit 140 when an instruction is given from the user.

図9は、本実施例に係る施設特定動作を示すフローである。先ず、搭乗者監視部210により、撮像部100からの撮像画像に基づき搭乗者の有無等が監視される(S100)。次に、視線方向検出部220は、一定のサンプリング周期で搭乗者の視線方向を検出し(S102)、視線移動速度算出部230は、検出された視線方向等を利用して搭乗者の視線移動速度を算出する(S104)。しきい値設定部240は、視線移動速度に応じた閾値を注視判定部250に設定し(S106)、注視判定部250は、設定された閾値を用いて、搭乗者の一定方向の注視時間が閾値を超えるか否かを判定する(S108)。閾値を超える注視であると判定された場合には、対象領域特定部260は、注視している視線方向Dcおよび視線移動速度に基づき対象領域を特定し(S110)、施設特定部270は、対象領域内に存在する施設を特定し(S112)、施設情報表示部280は、特定された施設の情報を表示部140に表示させる。   FIG. 9 is a flowchart showing the facility specifying operation according to the present embodiment. First, the presence / absence of a passenger is monitored by the passenger monitoring unit 210 based on the captured image from the imaging unit 100 (S100). Next, the line-of-sight detection unit 220 detects the passenger's line-of-sight direction at a fixed sampling period (S102), and the line-of-sight movement speed calculation unit 230 uses the detected line-of-sight direction to move the passenger's line of sight. The speed is calculated (S104). The threshold value setting unit 240 sets a threshold value corresponding to the line-of-sight movement speed in the gaze determination unit 250 (S106), and the gaze determination unit 250 uses the set threshold value to determine the gaze time of the passenger in a certain direction. It is determined whether or not the threshold value is exceeded (S108). When it is determined that the gaze exceeds the threshold value, the target area specifying unit 260 specifies the target area based on the gaze direction Dc and the gaze movement speed of the gaze (S110), and the facility specifying unit 270 A facility existing in the area is specified (S112), and the facility information display unit 280 causes the display unit 140 to display information on the specified facility.

図10は、本実施例の効果を説明する図である。図10(A)は、従来の施設特定方法を示し、図10(B)は、本実施例の施設特定方法を示している。搭乗者が比較的近い位置にある施設Hを注視する場合、遠い位置にある施設を注視するときよりも、視線の移動が速くなる。また、比較的近い位置にある施設を注視する場合には、施設を通り過ぎてしまうまでの時間も短くなる。図10(A)に示す従来例では、地点P1(時刻t1)で施設Hの注視を開始し、地点P3(時刻t3)で注視判定が行われたとしても、自車Mは施設Hを通り過ぎてしまっており、施設Hの特定をすることができない。これに対し、本実施例では、視線移動速度が速い場合には注視判定部250の閾値を小さく設定するため、地点P2(時刻t2(t1<t2<t3))の時点で注視判定が可能となり、施設Hを通り過ぎる前に施設Hを特定することができる。   FIG. 10 is a diagram for explaining the effect of this embodiment. FIG. 10A shows a conventional facility specifying method, and FIG. 10B shows a facility specifying method of this embodiment. When the passenger gazes at the facility H at a relatively close position, the line of sight moves faster than when the passenger gazes at the facility at a far position. In addition, when a facility in a relatively close position is watched, the time until the facility passes is shortened. In the conventional example shown in FIG. 10A, even if the gaze of the facility H is started at the point P1 (time t1) and the gaze determination is performed at the point P3 (time t3), the own vehicle M passes the facility H. The facility H cannot be specified. On the other hand, in this embodiment, since the threshold value of the gaze determination unit 250 is set to be small when the line-of-sight movement speed is high, gaze determination can be performed at the point P2 (time t2 (t1 <t2 <t3)). The facility H can be specified before passing the facility H.

次に、本発明の第2の実施例について説明する。第1の実施例では、視線方向検出部220は、一定のサンプリング周期で搭乗者の視線方向を検出する例を示したが、第2の実施例は、自車の走行速度に応じてサンプリング周期を変化させる。具体的には、視線方向検出部220は、車両情報検知部120から取得した自車の走行速度が高い場合にはサンプリング周期を相対的に速くし、走行速度が低い場合にはサンプリング周期を相対的に遅くする。自車の走行速度が速い場合には、視線方向の検出周期を速くし、施設の特定に要する時間を短縮する必要がある。   Next, a second embodiment of the present invention will be described. In the first embodiment, the gaze direction detection unit 220 has shown an example in which the gaze direction of the occupant is detected at a constant sampling cycle. However, in the second embodiment, the sampling cycle is determined according to the traveling speed of the host vehicle. To change. Specifically, the gaze direction detection unit 220 relatively increases the sampling cycle when the traveling speed of the host vehicle acquired from the vehicle information detection unit 120 is high, and relatively sets the sampling cycle when the traveling speed is low. Slow down. When the traveling speed of the host vehicle is high, it is necessary to shorten the detection period of the line-of-sight direction and shorten the time required for identifying the facility.

自車の走行速度とサンプリング周期との関係は、例えば、図11に示すようなテーブルに規定され、当該テーブルが記憶部170に格納される。視線方向検出部220は、テーブルを参照して、走行速度に応じたサンプリング周期を設定することができる。   The relationship between the traveling speed of the host vehicle and the sampling period is defined in a table as shown in FIG. 11, for example, and the table is stored in the storage unit 170. The line-of-sight direction detection unit 220 can set a sampling cycle according to the traveling speed with reference to the table.

このように第2の実施例によれば、自車の走行速度に応じて視線方向の検出のためのサンプリング周期を変更するようにしたので、施設を通過する前に施設を特定することが容易になる。   As described above, according to the second embodiment, since the sampling cycle for detecting the direction of the line of sight is changed according to the traveling speed of the own vehicle, it is easy to specify the facility before passing through the facility. become.

次に、本発明の第3の実施例について説明する。第1の実施例では、対象領域特定部260は、図8に示すように視線方向Dcを中心に一定の角度(α1、α2)および距離Lによって対象領域を特定したが、視線方向Dxの始点は、自車位置すなわち自車Mに搭載されたGPS受信機の位置であり、GPS受信機の位置は、注視判定された搭乗者の位置と一致しない。このため、第3の実施例では、視線方向Dcの位置を補正し、より正確な対象領域を特定する。   Next, a third embodiment of the present invention will be described. In the first embodiment, the target area specifying unit 260 specifies the target area with a constant angle (α1, α2) and distance L around the line-of-sight direction Dc as shown in FIG. 8, but the start point of the line-of-sight direction Dx Is the position of the own vehicle, that is, the position of the GPS receiver mounted on the own vehicle M, and the position of the GPS receiver does not coincide with the position of the occupant determined to watch. For this reason, in the third embodiment, the position of the line-of-sight direction Dc is corrected to specify a more accurate target region.

図12は、第3の実施例による視線方向Dcの補正方法を説明する図である。同図において、Qaは、GPS受信機の位置、Qbは、後部座席の左側の搭乗者Wの位置である。搭乗者監視部210により搭乗者Wが検出され、注視判定部250により搭乗者Wが一定の方向を注視していると判定されたとき、対象領域特定部260は、GPS受信機の位置Qaと搭乗者Wの位置QbとのX方向、Y方向の差分を求める。X方向、自車Mの基準線Kと平行であり、Y方向は、それと直交する。次に、対象領域特定部260は、注視されていると判定された視線方向DcをX方向、Y方向の差分だけシフトし、視線方向DCの始点を搭乗者Wの位置Qbに補正する。なお、GPS受信機の位置Qaと、他の座席までのX方向およびY方向の距離は、予め記憶部170に記憶しておくことができる。   FIG. 12 is a diagram for explaining a method of correcting the line-of-sight direction Dc according to the third embodiment. In the figure, Qa is the position of the GPS receiver, and Qb is the position of the passenger W on the left side of the rear seat. When the occupant W is detected by the occupant monitoring unit 210 and the gaze determination unit 250 determines that the occupant W is gazing at a certain direction, the target area specifying unit 260 determines the position Qa of the GPS receiver. A difference in the X direction and the Y direction with respect to the position Qb of the passenger W is obtained. The X direction is parallel to the reference line K of the host vehicle M, and the Y direction is orthogonal thereto. Next, the target area specifying unit 260 shifts the line-of-sight direction Dc determined to be watched by the difference between the X direction and the Y direction, and corrects the starting point of the line-of-sight direction DC to the position Qb of the passenger W. In addition, the position Qa of the GPS receiver and the distances in the X direction and the Y direction to other seats can be stored in the storage unit 170 in advance.

このように第3の実施例によれば、視線方向Dcを搭乗者の位置に補正することで、対象領域の特定をより正確に行うことができ、その結果、搭乗者の視線方向の施設の特定をより正確に行うことができる。   As described above, according to the third embodiment, by correcting the line-of-sight direction Dc to the position of the occupant, the target area can be specified more accurately, and as a result, the facility in the sight-line direction of the passenger can be identified. Identification can be performed more accurately.

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。   The preferred embodiment of the present invention has been described in detail above. However, the present invention is not limited to the specific embodiment, and various modifications and variations are possible within the scope of the gist of the invention described in the claims. It can be changed.

10:車載装置 100:撮像部
102、104、106:撮像カメラ 110:入力部
120:車両情報検知部 130:ナビゲーション部
140:表示部 150:音声出力部
160:通信部 162:位置情報配信サイト
164:地図データ配信サイト 166:施設情報配信サイト
170:記憶部 180:制御部
200:施設特定プログラム 210:搭乗者監視部
220:視線方向検出部 230:視線移動速度算出部
240:閾値設定部 250:注視判定部
260:対象領域特定部 270:施設特定部
280:施設情報表示部
10: In-vehicle device 100: Imaging unit 102, 104, 106: Imaging camera 110: Input unit 120: Vehicle information detection unit 130: Navigation unit 140: Display unit 150: Audio output unit 160: Communication unit 162: Location information distribution site 164 : Map data distribution site 166: Facility information distribution site 170: Storage unit 180: Control unit 200: Facility identification program 210: Passenger monitoring unit 220: Gaze direction detection unit 230: Gaze movement speed calculation unit 240: Threshold setting unit 250: Gaze determination unit 260: target area specifying unit 270: facility specifying unit 280: facility information display unit

Claims (8)

車内の搭乗者を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出する検出手段と、
前記撮像手段により撮像された撮像画像に基づき搭乗者の視線移動速度を算出する算出手段と、
搭乗者の視線方向が閾値よりも長く注視している車外の特定物を判別する判別手段と、
前記判別手段によって判別された特定物に関する情報を表示する表示手段とを有し、
前記判別手段は、前記視線移動速度に応じて前記閾値を可変する、電子装置。
Imaging means for imaging passengers in the vehicle;
Detecting means for detecting the sight line direction of the passenger at a constant sampling period based on the captured image captured by the imaging means;
Calculating means for calculating a passenger's line-of-sight movement speed based on a captured image captured by the imaging means;
A discriminating means for discriminating a specific object outside the vehicle in which the gaze direction of the passenger is gazing longer than the threshold;
Display means for displaying information on the specific object determined by the determination means,
The determination unit is an electronic device that varies the threshold according to the line-of-sight movement speed.
前記判別手段は、前記視線移動速度が大きいとき第1の閾値を設定し、前記視線移動速度が小さいとき第2の閾値を設定し、第1の閾値は、第2の閾値よりも小さい、請求項1に記載の電子装置。 The determination means sets a first threshold when the line-of-sight movement speed is high, sets a second threshold when the line-of-sight movement speed is small, and the first threshold is smaller than the second threshold. Item 2. The electronic device according to Item 1. 電子装置はさらに、少なくとも自車の走行速度を含む車両情報を検知する車両情報検知手段を含み、
前記検出手段は、前記走行速度に応じて前記サンプリング周期を可変する、請求項1または2に記載の電子装置。
The electronic device further includes vehicle information detection means for detecting vehicle information including at least the traveling speed of the own vehicle,
The electronic device according to claim 1, wherein the detection unit varies the sampling period according to the traveling speed.
前記検出手段は、前記走行速度が大きいとき第1のサンプリング周期を設定し、前記走行速度が小さいとき第2のサンプリング周期を設定し、第1のサンプリング周期は、第2のサンプリング周期よりも速い、請求項3に記載の電子装置。 The detection means sets a first sampling period when the traveling speed is high, sets a second sampling period when the traveling speed is low, and the first sampling period is faster than the second sampling period. The electronic device according to claim 3. 前記判別手段は、前記視線方向に基づき特定物を判別するための対象領域を特定する対象領域特定手段を含み、当該対象領域特定手段は、前記視線方向を中心とする一定の角度、および自車を起点とする距離によって前記対象領域を規定し、前記対象領域特定手段は、前記視線移動速度に応じて前記距離を設定する、請求項1ないし4いずれか1つに記載の電子装置。 The discriminating means includes target area specifying means for specifying a target area for discriminating a specific object based on the line-of-sight direction, and the target area specifying means includes a fixed angle centered on the line-of-sight direction, and the vehicle. 5. The electronic device according to claim 1, wherein the target region is defined by a distance starting from, and the target region specifying unit sets the distance according to the line-of-sight movement speed. 前記対象領域特定手段は、前記視線移動速度が大きいとき第1の距離を設定し、前記視線移動速度が小さいとき第2の距離を設定し、第1の距離は、第2の距離よりも小さい、請求項6に記載の電子装置。 The target area specifying means sets a first distance when the line-of-sight movement speed is high, sets a second distance when the line-of-sight movement speed is low, and the first distance is smaller than the second distance. The electronic device according to claim 6. 車内の搭乗者を撮像する撮像手段と、車外の施設に関する情報を表示可能な表示手段とを含む電子装置における施設特定方法であって、
前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出するステップと、
前記撮像手段により撮像された撮像画像に基づき視線移動速度を算出する算出するステップと、
前記視線移動速度に応じて閾値を設定するステップと、
搭乗者の視線方向が前記閾値よりも長く注視している車外の特定物を判別するステップと、
前記判別された特定物に関する情報を表示するステップとを有する、施設特定方法。
A facility identification method in an electronic device, comprising: an imaging means for imaging passengers in a vehicle; and a display means capable of displaying information about facilities outside the vehicle,
Detecting the sight line direction of the occupant at a constant sampling period based on the captured image captured by the imaging means;
Calculating a line-of-sight movement speed based on a captured image captured by the imaging unit;
Setting a threshold according to the eye movement speed;
Determining a specific object outside the vehicle in which the gaze direction of the passenger is gazing longer than the threshold;
A facility identifying method comprising: displaying information on the identified specific object.
車内の搭乗者を撮像する撮像手段と、車外の施設に関する情報を表示可能な表示手段とを含む電子装置が実行する施設特定プログラムであって、
前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出するステップと、
前記撮像手段により撮像された撮像画像に基づき視線移動速度を算出する算出するステップと、
前記視線移動速度に応じて閾値を設定するステップと、
搭乗者の視線方向が前記閾値よりも長く注視している車外の特定物を判別するステップと、
前記判別された特定物に関する情報を表示するステップとを有する、施設特定プログラム。
A facility identification program executed by an electronic device including an imaging unit that images passengers in a vehicle and a display unit that can display information about facilities outside the vehicle,
Detecting the sight line direction of the occupant at a constant sampling period based on the captured image captured by the imaging means;
Calculating a line-of-sight movement speed based on a captured image captured by the imaging unit;
Setting a threshold according to the eye movement speed;
Determining a specific object outside the vehicle in which the gaze direction of the passenger is gazing longer than the threshold;
A facility specifying program comprising: displaying information regarding the determined specific object.
JP2015212158A 2015-10-28 2015-10-28 Electronic apparatus, facility specification method, and facility specification program Pending JP2017083308A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015212158A JP2017083308A (en) 2015-10-28 2015-10-28 Electronic apparatus, facility specification method, and facility specification program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015212158A JP2017083308A (en) 2015-10-28 2015-10-28 Electronic apparatus, facility specification method, and facility specification program

Publications (1)

Publication Number Publication Date
JP2017083308A true JP2017083308A (en) 2017-05-18

Family

ID=58714281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015212158A Pending JP2017083308A (en) 2015-10-28 2015-10-28 Electronic apparatus, facility specification method, and facility specification program

Country Status (1)

Country Link
JP (1) JP2017083308A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020138696A (en) * 2019-03-01 2020-09-03 日産自動車株式会社 Vehicle information display method and vehicle information display device
JP2021509876A (en) * 2018-02-21 2021-04-08 ウェイモ エルエルシー Discrimination and response of the internal state of the vehicle

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021509876A (en) * 2018-02-21 2021-04-08 ウェイモ エルエルシー Discrimination and response of the internal state of the vehicle
US11619949B2 (en) 2018-02-21 2023-04-04 Waymo Llc Determining and responding to an internal status of a vehicle
JP2020138696A (en) * 2019-03-01 2020-09-03 日産自動車株式会社 Vehicle information display method and vehicle information display device
JP7267776B2 (en) 2019-03-01 2023-05-02 日産自動車株式会社 VEHICLE INFORMATION DISPLAY METHOD AND VEHICLE INFORMATION DISPLAY DEVICE

Similar Documents

Publication Publication Date Title
US9430046B2 (en) Gesture based image capturing system for vehicle
US10147165B2 (en) Display device, control method, program and recording medium
JP4914726B2 (en) Current position calculation device, current position calculation method
US9824590B2 (en) Lane departure warning system and method for controlling the same
US20180218603A1 (en) Vehicle information display system and method for displaying vehicle information
US11507196B2 (en) Method and device for controlling display content on an output means of a vehicle
US20150367779A1 (en) Display control device, display control method, non-transitory computer-readable recording medium, and projecting device
CN110795979B (en) Information processing system, non-transitory storage medium storing program, and control method
JP2014120111A (en) Travel support system, travel support method, and computer program
JP2016053880A (en) On-vehicle system, information processing method, and computer program
JP2014120114A (en) Travel support system, travel support method, and computer program
JP6825433B2 (en) Virtual image display device and computer program
US20170176207A1 (en) In vehicle system and method for providing information regarding points of interest
JP6186905B2 (en) In-vehicle display device and program
JP6136238B2 (en) Driving support system, driving support method, and computer program
US11276378B2 (en) Vehicle operation system and computer readable non-transitory storage medium
US20210348937A1 (en) Navigation system, navigation display method, and navigation display program
CN112141010B (en) Control method, control device, electronic equipment and storage medium
JP2017083308A (en) Electronic apparatus, facility specification method, and facility specification program
JP2014120113A (en) Travel support system, travel support method, and computer program
US10676104B2 (en) Driving assist device
JP2007280203A (en) Information presenting device, automobile and information presenting method
JP2019119357A (en) Display system
JP6939147B2 (en) Driving information guidance device and computer program
JP6136237B2 (en) Driving support system, driving support method, and computer program