JP2017083308A - Electronic apparatus, facility specification method, and facility specification program - Google Patents
Electronic apparatus, facility specification method, and facility specification program Download PDFInfo
- Publication number
- JP2017083308A JP2017083308A JP2015212158A JP2015212158A JP2017083308A JP 2017083308 A JP2017083308 A JP 2017083308A JP 2015212158 A JP2015212158 A JP 2015212158A JP 2015212158 A JP2015212158 A JP 2015212158A JP 2017083308 A JP2017083308 A JP 2017083308A
- Authority
- JP
- Japan
- Prior art keywords
- line
- vehicle
- sight
- facility
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、搭乗者の視線方向に存在する施設を特定し、特定された施設に関する情報を表示する機能を備えた電子装置に関する。 The present invention relates to an electronic apparatus having a function of specifying a facility that exists in the direction of the line of sight of a passenger and displaying information related to the specified facility.
従来、ナビゲーション装置では、地図データを利用して、ユーザーから入力された名称、電話番号、ジャンル等の情報に基づき該当する施設情報を検索し、これを表示させることができる。しかし、ユーザーの知りたい情報は、自らが入力した内容や目的地に関する情報に限らず、走行中に目に留まった施設に関する情報を知りたいというニーズもある。 Conventionally, a navigation device can search for and display corresponding facility information based on information such as a name, a telephone number, and a genre input by a user using map data. However, the information that the user wants to know is not limited to the information about the contents and destinations entered by the user, but there is also a need to know the information about the facilities that were noticed while driving.
特許文献1には、乗員の視線方向を異なるタイミングで複数検出し、検出された複数の視線方向の交点を注視点として、当該注視点付近に存在する施設の案内を行う施設特定装置が開示されている。また、特許文献2には、カメラによって撮像が行われたとき、カメラの向けられた方向を検出し、当該方向から現在位置を中心とする範囲内にある施設を、データベースから検索し、検索された施設を表示する施設情報表示装置が開示されている。
従来の車載装置には、次のような課題がある。走行中に、搭乗者が車内の窓越しから建物等の施設を注視したとき、その施設が、搭乗者を基準とした奥行き方向のいずれかにあるのかが不明である。また、特許文献1の技術により注視する方向の施設を特定した場合、施設と搭乗者との距離が近い場合には、異なるタイミングで搭乗者の視線方向を検出している間に、施設を通り過ぎてしまい、施設を検出することができないという課題がある。特に、この課題は、車両の走行速度が速い場合に顕著に起こり得る。
Conventional in-vehicle devices have the following problems. When a passenger watches a facility such as a building through a window in the vehicle while traveling, it is unclear whether the facility is in one of the depth directions based on the passenger. Moreover, when the facility in the direction to be watched is specified by the technique of
本発明は、このような従来の課題を解決し、搭乗者の視線方向に存在する施設をより正確に特定することができる電子装置、施設特定方法および施設特定プログラムを提供することを目的とする。 An object of the present invention is to solve such a conventional problem and to provide an electronic device, a facility specifying method, and a facility specifying program that can more accurately specify a facility that exists in the line-of-sight direction of a passenger. .
本発明に係る電子装置は、車内の搭乗者を撮像する撮像手段と、前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出する検出手段と、前記撮像手段により撮像された撮像画像に基づき搭乗者の視線移動速度を算出する算出手段と、搭乗者の視線方向が閾値よりも長く注視している車外の特定物を判別する判別手段と、前記判別手段によって判別された特定物に関する情報を表示する表示手段とを有し、前記判別手段は、前記視線移動速度に応じて前記閾値を可変する。 An electronic apparatus according to the present invention includes an imaging unit that images a passenger in a vehicle, a detection unit that detects a gaze direction of the passenger at a constant sampling period based on a captured image captured by the imaging unit, and the imaging unit A calculating unit that calculates a passenger's line-of-sight movement speed based on a captured image captured by the vehicle, a determination unit that determines a specific object outside the vehicle in which the passenger's line-of-sight direction is gazing longer than a threshold, and the determination unit Display means for displaying information relating to the determined specific object, and the determination means varies the threshold according to the line-of-sight movement speed.
好ましくは前記判別手段は、前記視線移動速度が大きいとき第1の閾値を設定し、前記視線移動速度が小さいとき第2の閾値を設定し、第1の閾値は、第2の閾値よりも小さい。好ましくは電子装置はさらに、少なくとも自車の走行速度を含む車両情報を検知する車両情報検知手段を含み、前記検出手段は、前記走行速度に応じて前記サンプリング周期を可変する。好ましくは前記検出手段は、前記走行速度が大きいとき第1のサンプリング周期を設定し、前記走行速度が小さいとき第2のサンプリング周期を設定し、第1のサンプリング周期は、第2のサンプリング周期よりも速い。好ましくは前記判別手段は、前記視線方向に基づき特定物を判別するための対象領域を特定する対象領域特定手段を含み、当該対象領域特定手段は、前記視線方向を中心とする一定の角度、および自車を起点とする距離によって前記対象領域を規定し、前記対象領域特定手段は、前記視線移動速度に応じて前記距離を設定する。好ましくは前記対象領域特定手段は、前記視線移動速度が大きいとき第1の距離を設定し、前記視線移動速度が小さいとき第2の距離を設定し、第1の距離は、第2の距離よりも小さい。 Preferably, the determination unit sets a first threshold value when the line-of-sight movement speed is high, sets a second threshold value when the line-of-sight movement speed is low, and the first threshold value is smaller than the second threshold value. . Preferably, the electronic device further includes vehicle information detecting means for detecting vehicle information including at least the traveling speed of the own vehicle, and the detecting means varies the sampling period in accordance with the traveling speed. Preferably, the detection means sets a first sampling period when the traveling speed is high, sets a second sampling period when the traveling speed is low, and the first sampling period is greater than the second sampling period. Is also fast. Preferably, the determination means includes target area specifying means for specifying a target area for determining a specific object based on the line-of-sight direction, and the target area specifying means has a certain angle centered on the line-of-sight direction, and The target area is defined by a distance starting from the own vehicle, and the target area specifying means sets the distance according to the line-of-sight movement speed. Preferably, the target area specifying unit sets a first distance when the line-of-sight movement speed is high, sets a second distance when the line-of-sight movement speed is low, and the first distance is greater than the second distance. Is also small.
本発明に係る施設特定方法は、車内の搭乗者を撮像する撮像手段と、車外の施設に関する情報を表示可能な表示手段とを含む電子装置におけるものであって、前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出するステップと、前記撮像手段により撮像された撮像画像に基づき視線移動速度を算出する算出するステップと、前記視線移動速度に応じて閾値を設定するステップと、搭乗者の視線方向が前記閾値よりも長く注視している車外の特定物を判別するステップと、前記判別された特定物に関する情報を表示するステップとを有する。 The facility specifying method according to the present invention is in an electronic apparatus including an imaging unit that images passengers in a vehicle and a display unit that can display information related to facilities outside the vehicle, and the imaging is performed by the imaging unit. A step of detecting the sight line direction of the occupant at a constant sampling period based on the image; a step of calculating a sight line movement speed based on the captured image captured by the imaging unit; and a threshold value according to the sight line movement speed. A setting step, a step of determining a specific object outside the vehicle in which the line-of-sight direction of the passenger is gazing longer than the threshold value, and a step of displaying information on the determined specific object.
本発明に係る施設特定プログラムは、車内の搭乗者を撮像する撮像手段と、車外の施設に関する情報を表示可能な表示手段とを含む電子装置が実行するものであって、前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出するステップと、前記撮像手段により撮像された撮像画像に基づき視線移動速度を算出する算出するステップと、前記視線移動速度に応じて閾値を設定するステップと、搭乗者の視線方向が前記閾値よりも長く注視している車外の特定物を判別するステップと、前記判別された特定物に関する情報を表示するステップとを有する。 The facility specifying program according to the present invention is executed by an electronic device including an imaging unit that images passengers in a vehicle and a display unit that can display information on facilities outside the vehicle, and is imaged by the imaging unit. Detecting the direction of the sight line of the passenger at a constant sampling period based on the captured image, calculating the line-of-sight movement speed based on the captured image captured by the imaging unit, and depending on the line-of-sight movement speed A step of setting a threshold value; a step of determining a specific object outside the vehicle in which the gaze direction of the passenger is gazing longer than the threshold value; and a step of displaying information on the determined specific object.
本発明によれば、特定物を判別するときの閾値を視線移動速度に応じて可変するようにしたので、視線移動速度が速いような場合であっても、特定物の判別を正確に行うことができ、特定物に関する情報を表示させることができる。 According to the present invention, the threshold for determining a specific object is made variable according to the line-of-sight movement speed, so that even when the line-of-sight movement speed is fast, the specific object can be accurately determined. It is possible to display information on a specific object.
次に、本発明の好ましい実施の形態について説明する。本発明に係る電子装置は、好ましい態様では、車両に搭載された車載装置によって実施される。車載装置は、車内の搭乗者を撮像する撮像カメラを含み、撮像画像から搭乗者の視線方向や視線移動速度を算出し、それらを利用して視線方向に存在する施設を特定し、特定された施設に関する情報を表示する機能を有する。表示する機能は、車両の前方に設置されたセンターディスプレイ、計器類を含むインスツルメンツパネル内のディスプレイ、後部座席用のリアディスプレイ、あるいはHUD(ヘッドアップディスプレイ)であることができる。また、本発明の「施設」とは、単に建築物等の施設のみならず、森、丘、陸、山、湖などの建造物がない特徴的な自然の景観、場所、領域をも含む広義な意味で使用される。さらに、車載装置は、施設に関する情報を表示する機能の他に、例えば、ナビゲーション機能、ラジオ・テレビ受信機能、マルチメディア再生機能等を含むことができる。 Next, a preferred embodiment of the present invention will be described. In a preferred aspect, the electronic device according to the present invention is implemented by an in-vehicle device mounted on a vehicle. The in-vehicle device includes an imaging camera that captures the passengers in the vehicle, calculates the passenger's line-of-sight direction and line-of-sight movement speed from the captured image, identifies facilities that exist in the line-of-sight direction using them, and is specified It has a function to display information about facilities. The display function can be a center display installed in front of the vehicle, a display in an instrument panel including instruments, a rear display for a rear seat, or a HUD (head-up display). In addition, the “facility” of the present invention is not only a facility such as a building, but also a broad meaning including a characteristic natural landscape, place, and area that does not have structures such as forests, hills, land, mountains, and lakes. Used in a meaning. Furthermore, the in-vehicle device can include, for example, a navigation function, a radio / TV reception function, a multimedia playback function, and the like in addition to the function of displaying information about facilities.
図1は、本発明の実施例に係る車載装置の典型的な構成を示すブロック図である。本実施例に係る車載装置10は、撮像部100、入力部110、車両情報検知部120、ナビゲーション部130、表示部140、音声出力部150、通信部160、記憶部170、制御部180を含んで構成される。
FIG. 1 is a block diagram showing a typical configuration of an in-vehicle device according to an embodiment of the present invention. The in-
撮像部100は、車内に備えられた1つまたは複数の撮像カメラを含み、搭乗者を撮像する。図2に、撮像カメラの好ましい取付け例を示す。撮像カメラ102は、自車Mのルームミラーの位置近傍に取付けられた広角レンズのカメラであり、運転席および助手席の搭乗者を左右均等に撮像する。車載カメラ104は、助手席の後方付近に取付けられ、左後部座席および中央後部座席を撮像可能である。撮像カメラ106は、運転席の後方付近に取付けら、右後部座席および中央後部座席を撮像可能である。撮像カメラ102、104、106によって撮像された画像データは、制御部180に提供され、搭乗者の有無や搭乗者の顔や視線の検出のために画像解析される。なお、撮像カメラの数および取付け位置は、図2に示した例に限られず、それよりも多い数または少ない数の撮像カメラによって搭乗者を撮像してもよい。
The
入力部110は、入力キーデバイス、音声入力認識装置、あるいはタッチパネルなどを含み、ユーザーからの指示を受け取り、これを制御部180へ提供する。車両情報検知部120は、自車の走行速度、自車の3次元位置情報などを検知する。自車の3次元位置情報は、自車位置、自車の方向、傾きなどを含む。自車位置は、例えば、GPS受信機や自立方向センサから得ることができ、自車の方向および傾きは、自車に搭載されたジャイロセンサや加速度センサ、あるいはステアリングセンサ(操舵角)の検出結果から得ることができる。
The
ナビゲーション部130は、自車位置周辺の道路地図を表示部140に表示させたり、目的地までの経路を探索し、その探索経路の案内を行う。表示部140は、ナビゲーション部130の道路地図の表示を行ったり、あるいは後述するように、搭乗者が注視した車外の施設に関する情報を表示する。表示部140は、液晶ディスプレイ、有機ELディスプレイ、あるいはプロジェクターなどから構成される。図3は、本実施例の表示部140の取付け例を示す。図3(A)に示すように、表示部140は、運転席の前方のインスツルメンツパネルと助手席の前方のダッシュボックスとの間のセンターコンソールに取付けられたディスプレイ140Aでも良いし、図3(B)に示すように、後部座席の搭乗者のために、運転席と助手席の中心あたりの天井142に取付けられた可倒式の左右のリアディスプレイ144A、144Bを含むことができる。
The
音声出力部150は、ナビゲーション部130によって生成された案内経路等の音声出力を行う。通信部160は、外部のネットワークや外部機器等と有線または無線によるデータ通信を可能にする。通信部160は、例えば図4に示すように、ネットワークNWを介して、位置情報配信サイト162にアクセスし、そこから自車位置情報を取得したり、地図データ配信サイト164にアクセスし、そこから必要な地図データを取得したり、施設情報配信サイト166にアクセスし、そこから施設に関する詳細な情報を取得することができる。
The
記憶部170は、制御部180が実行するプログラムやソフトウエア、ナビゲーション部130によって必要とされる道路地図データ(ノードデータやリンクデータ等)、施設データを記憶することができる。図5は、施設データの一例を示す図である。施設データは、施設を識別する施設コード、施設名称、ジャンル、位置座標、電話番号、施設の開店時間、閉店時間、施設の外観画像、施設の口コミ等の施設の紹介情報などを含む。
The
制御部180は、好ましい態様では、ROM、RAMなどを含むマイクロコントローラ等から構成され、ROMまたはRAMは、車載装置10の各部の動作を制御するための種々のプログラムを格納することができる。本実施例では、制御部180は、搭乗者が注視する施設を特定し、当該特定された施設に関する情報を表示する施設特定プログラムを実行する。
In a preferred embodiment, the
図6は、本実施例に係る施設特定プログラムの機能的な構成例を示す図である。施設特定プログラム200は、搭乗者監視部210、視線方向検出部220、視線移動速度算出部230、閾値設定部240、注視判定部250、対象領域特定部260、施設特定部270および施設情報表示部280を含む。
FIG. 6 is a diagram illustrating a functional configuration example of the facility identification program according to the present embodiment. The facility identification program 200 includes a
搭乗者監視部210は、撮像部100からの撮像画像の画像解析結果に基づき搭乗者の有無を監視する。例えば、撮像カメラ102の撮像画像に基づき運転者および助手席の搭乗者の有無が監視され、撮像カメラ104、106によって後部座席の搭乗者の有無が監視される。好ましい態様では、搭乗者が存在しないと判定されたとき、制御部180は、その撮像カメラの電源をオフすることができる。搭乗者監視部210の監視結果は、視線方向検出部220等へ提供される。
The
視線方向検出部220は、搭乗者の撮像画像を解析することで、搭乗者の視線方向を検出する。画像解析は、例えば空間フィルタリングを用いてエッジ検出、エッジ強調などの処理を行い、搭乗者の顔や眼などを検出する。撮像カメラ102、104、106は、予め決められた位置に取付けられており、画像上の顔や眼の座標位置を知ることで、顔の向きや視線方向を検出することができる。1つの例では、搭乗者の顔の向きを視線方向とみなすこともできるが、より好ましい例では、眼の位置から視線方向を検出する。また、視線方向の検出は、一定のサンプリング周期で行われ、逐次、検出された視線方向が移動速度算出部230や注視判定部250へ提供される。
The line-of-sight
視線移動速度算出部230は、搭乗者の視線の移動速度を算出する。1つの例では、視線移動速度算出部230は、視線方向検出部220により一定のサンプリング周期で検出された視線方向の差分から視線の移動速度またはその変化量を算出する。視線移動速度は、例えば、連続する2つの視線方向の差分から算出されてもよいし、あるいは3つ以上の視線方向の各差分の平均から算出されてもよい。また、別の例では、視線移動速度算出部230は、必ずしも視線方向検出部220からの視線方向に基づき視線移動速度を算出するのではなく、搭乗者監視部210からの撮像画像に基づき搭乗者の眼を検出し、その眼の位置変化から視線移動速度を算出するようにしてもよい。
The line-of-sight movement
閾値変更部240は、視線移動速度算出部230によって算出された視線移動速度に基づき、後述する注視判定部250で用いられる閾値を設定する。この閾値は、搭乗者が一定方向を注視しているか否かを判定するための判定基準である。閾値設定部240は、視線移動速度が速いほど、閾値を小さい値に設定し、反対に、視線移動速度が遅いほど、閾値を大きい値に設定する。
The threshold
注視判定部250は、視線方向検出部22によって検出された視線方向に基づき、搭乗者が一定の方向を注視しているか否かを判定する。具体的には、搭乗者の視線方向が閾値よりも長い間、一定の範囲内にあるとき、搭乗者が注視していると判定する。上記したように、閾値は、視線移動速度に応じて設定される。視線移動速度が大きいとき、搭乗者は、比較的近い場所の施設を注視しているか、あるいは自車の走行速度が速いことが予想される。他方、視線移動速度が小さいとき、搭乗者は、比較的遠い場所の施設を注視しているか、あるいは自車の走行速度が遅いことが予想される。つまり、自車の走行速度が遅くても、比較的近い距離の施設を注視している場合には、視線移動速度は大きくなる傾向があり、自車の走行速度が速くても比較的遠い距離の施設を注視している場合には、視線移動速度は小さくなる傾向がある。視線移動速度が速いときに閾値を小さくすることで、注視の判定がされ易くなり、施設の特定を行う前に施設を通過してしまう不具合が解消される。
The
また、注視判定部250は、車両情報検知部120で検知された自車の3次元位置情報に基づき視線方向を補正する。搭乗者が施設を注視しているとき、自車が停車中(走行速度がゼロ)であれば、視線方向は変化しないが、自車が走行中であれば、その視線方向は相対的に変化する。図7は、搭乗者が車外の施設Hを注視しているときの時刻t1、t2、t3の視線方向D1、D2、D3を例示している。時刻t1、t2、t3は、視線方向検出部220のサンプリング周期である。ここでは説明を簡単にするため、自車Mが概ね一定速度Sで直進しているものとする。自車Mの基準方向K(例えば、自車の中心を通る線)に対する視線方向D1、D2、D3の角度θ1、θ2、θ3は、自車の走行に伴い変化する。そこで、時刻t2、時刻t3のときの自車位置を時刻t1のときの自車位置に補正(速度S×時間)する。もし、搭乗者が施設Hを注視しているならば、その場合には、θ1≒θ2≒θ3となる。また、自車Mの方向が変化したときにも同様に自車位置を補正することで、視線方向が一定の方向を連続して注視しているか否かを正確に判定することができる。
The
他の方法として、注視判定部250は、|θ2−θ1|/(t2−t1)≒|θ3−θ2|/(t3−t2)の関係が満たされるような場合に、視線方向が一定方向にあると推定し、この状態が閾値よりも長い期間継続されたとき、一定方向を注視していると判定するようにしてもよい。
As another method, the
対象領域特定部260は、注視判定部250によって搭乗者が一定方向を注視していると判定されたとき、注視している視線方向に基づき、施設を特定すべき対象領域を特定する。図8に、対象領域の特定方法を示す。Dcは、注視していると判定されたときの基準線Kに対する視線方向である。対象領域特定部260は、注視している視線方向Dcを基準に左右に一定の角度α1、α2を設定し、自車Mを始点とする対象領域の角度を決定する。α1、α2は、予め決められた値であり、例えば、α1=α2である。さらに対象領域特定部260は、視線移動速度に応じて自車からの対象領域の上限となる距離Lを決定する。好ましくは、距離Lは、視線移動速度と反比例の関係にあり、視線移動速度が大きいとき、距離Lは相対的に小さく、視線移動速度が小さいとき、距離Lは相対的に大きくなるように設定される。視線移動速度が大きいとき、搭乗者は自車Mから比較的近い距離の施設を注視していると推定され、視線移動速度が小さいとき、搭乗者は自車Mから比較的遠い距離の施設を注視していると推定されるためである。
When the
対象領域特定部260によって特定された対象領域情報は、施設特定部270へ提供される。施設特定部270は、地図データおよび施設データの位置情報(図5)を参照し、対象領域内に存在する施設を検索し、施設を特定する。好ましくは、自車位置から近い順に施設を特定する。図8は、対象領域内の施設H1、H2、H3が特定される例を示している。
The target area information specified by the target
施設情報表示部280は、施設特定部270によって特定された施設に関する情報を表示部140に表示させる。表示態様は特に問わないが、地図上に吹き出し表記で施設名等を表示させたり、あるいは、自車位置から近い順に施設名等をリスト表示させることができる。また、表示する情報は、図5に示すような、ジャンル、紹介情報、施設の外観画像などを含むものであってもよい。さらに好ましくは、施設情報表示部280は、搭乗者監視部210の監視結果および/または視線方向検出部220の検出結果に基づき、対象の搭乗者が存在する座席に近い表示部に施設に関する情報を表示させる。例えば、後部座席の左側に搭乗者が存在すれば、リアディスプレイ144Aに施設情報が表示され、後部座席の右側に搭乗者が存在すれば、リアディスプレイ144Bに施設情報が表示される。また、施設情報表示部280は、施設に関する情報を記憶部170に記憶しておき、ユーザーからの指示があったときに、施設情報を表示部140に表示させるようにしてもよい。
The facility
図9は、本実施例に係る施設特定動作を示すフローである。先ず、搭乗者監視部210により、撮像部100からの撮像画像に基づき搭乗者の有無等が監視される(S100)。次に、視線方向検出部220は、一定のサンプリング周期で搭乗者の視線方向を検出し(S102)、視線移動速度算出部230は、検出された視線方向等を利用して搭乗者の視線移動速度を算出する(S104)。しきい値設定部240は、視線移動速度に応じた閾値を注視判定部250に設定し(S106)、注視判定部250は、設定された閾値を用いて、搭乗者の一定方向の注視時間が閾値を超えるか否かを判定する(S108)。閾値を超える注視であると判定された場合には、対象領域特定部260は、注視している視線方向Dcおよび視線移動速度に基づき対象領域を特定し(S110)、施設特定部270は、対象領域内に存在する施設を特定し(S112)、施設情報表示部280は、特定された施設の情報を表示部140に表示させる。
FIG. 9 is a flowchart showing the facility specifying operation according to the present embodiment. First, the presence / absence of a passenger is monitored by the
図10は、本実施例の効果を説明する図である。図10(A)は、従来の施設特定方法を示し、図10(B)は、本実施例の施設特定方法を示している。搭乗者が比較的近い位置にある施設Hを注視する場合、遠い位置にある施設を注視するときよりも、視線の移動が速くなる。また、比較的近い位置にある施設を注視する場合には、施設を通り過ぎてしまうまでの時間も短くなる。図10(A)に示す従来例では、地点P1(時刻t1)で施設Hの注視を開始し、地点P3(時刻t3)で注視判定が行われたとしても、自車Mは施設Hを通り過ぎてしまっており、施設Hの特定をすることができない。これに対し、本実施例では、視線移動速度が速い場合には注視判定部250の閾値を小さく設定するため、地点P2(時刻t2(t1<t2<t3))の時点で注視判定が可能となり、施設Hを通り過ぎる前に施設Hを特定することができる。
FIG. 10 is a diagram for explaining the effect of this embodiment. FIG. 10A shows a conventional facility specifying method, and FIG. 10B shows a facility specifying method of this embodiment. When the passenger gazes at the facility H at a relatively close position, the line of sight moves faster than when the passenger gazes at the facility at a far position. In addition, when a facility in a relatively close position is watched, the time until the facility passes is shortened. In the conventional example shown in FIG. 10A, even if the gaze of the facility H is started at the point P1 (time t1) and the gaze determination is performed at the point P3 (time t3), the own vehicle M passes the facility H. The facility H cannot be specified. On the other hand, in this embodiment, since the threshold value of the
次に、本発明の第2の実施例について説明する。第1の実施例では、視線方向検出部220は、一定のサンプリング周期で搭乗者の視線方向を検出する例を示したが、第2の実施例は、自車の走行速度に応じてサンプリング周期を変化させる。具体的には、視線方向検出部220は、車両情報検知部120から取得した自車の走行速度が高い場合にはサンプリング周期を相対的に速くし、走行速度が低い場合にはサンプリング周期を相対的に遅くする。自車の走行速度が速い場合には、視線方向の検出周期を速くし、施設の特定に要する時間を短縮する必要がある。
Next, a second embodiment of the present invention will be described. In the first embodiment, the gaze
自車の走行速度とサンプリング周期との関係は、例えば、図11に示すようなテーブルに規定され、当該テーブルが記憶部170に格納される。視線方向検出部220は、テーブルを参照して、走行速度に応じたサンプリング周期を設定することができる。
The relationship between the traveling speed of the host vehicle and the sampling period is defined in a table as shown in FIG. 11, for example, and the table is stored in the
このように第2の実施例によれば、自車の走行速度に応じて視線方向の検出のためのサンプリング周期を変更するようにしたので、施設を通過する前に施設を特定することが容易になる。 As described above, according to the second embodiment, since the sampling cycle for detecting the direction of the line of sight is changed according to the traveling speed of the own vehicle, it is easy to specify the facility before passing through the facility. become.
次に、本発明の第3の実施例について説明する。第1の実施例では、対象領域特定部260は、図8に示すように視線方向Dcを中心に一定の角度(α1、α2)および距離Lによって対象領域を特定したが、視線方向Dxの始点は、自車位置すなわち自車Mに搭載されたGPS受信機の位置であり、GPS受信機の位置は、注視判定された搭乗者の位置と一致しない。このため、第3の実施例では、視線方向Dcの位置を補正し、より正確な対象領域を特定する。
Next, a third embodiment of the present invention will be described. In the first embodiment, the target
図12は、第3の実施例による視線方向Dcの補正方法を説明する図である。同図において、Qaは、GPS受信機の位置、Qbは、後部座席の左側の搭乗者Wの位置である。搭乗者監視部210により搭乗者Wが検出され、注視判定部250により搭乗者Wが一定の方向を注視していると判定されたとき、対象領域特定部260は、GPS受信機の位置Qaと搭乗者Wの位置QbとのX方向、Y方向の差分を求める。X方向、自車Mの基準線Kと平行であり、Y方向は、それと直交する。次に、対象領域特定部260は、注視されていると判定された視線方向DcをX方向、Y方向の差分だけシフトし、視線方向DCの始点を搭乗者Wの位置Qbに補正する。なお、GPS受信機の位置Qaと、他の座席までのX方向およびY方向の距離は、予め記憶部170に記憶しておくことができる。
FIG. 12 is a diagram for explaining a method of correcting the line-of-sight direction Dc according to the third embodiment. In the figure, Qa is the position of the GPS receiver, and Qb is the position of the passenger W on the left side of the rear seat. When the occupant W is detected by the
このように第3の実施例によれば、視線方向Dcを搭乗者の位置に補正することで、対象領域の特定をより正確に行うことができ、その結果、搭乗者の視線方向の施設の特定をより正確に行うことができる。 As described above, according to the third embodiment, by correcting the line-of-sight direction Dc to the position of the occupant, the target area can be specified more accurately, and as a result, the facility in the sight-line direction of the passenger can be identified. Identification can be performed more accurately.
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 The preferred embodiment of the present invention has been described in detail above. However, the present invention is not limited to the specific embodiment, and various modifications and variations are possible within the scope of the gist of the invention described in the claims. It can be changed.
10:車載装置 100:撮像部
102、104、106:撮像カメラ 110:入力部
120:車両情報検知部 130:ナビゲーション部
140:表示部 150:音声出力部
160:通信部 162:位置情報配信サイト
164:地図データ配信サイト 166:施設情報配信サイト
170:記憶部 180:制御部
200:施設特定プログラム 210:搭乗者監視部
220:視線方向検出部 230:視線移動速度算出部
240:閾値設定部 250:注視判定部
260:対象領域特定部 270:施設特定部
280:施設情報表示部
10: In-vehicle device 100: Imaging
Claims (8)
前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出する検出手段と、
前記撮像手段により撮像された撮像画像に基づき搭乗者の視線移動速度を算出する算出手段と、
搭乗者の視線方向が閾値よりも長く注視している車外の特定物を判別する判別手段と、
前記判別手段によって判別された特定物に関する情報を表示する表示手段とを有し、
前記判別手段は、前記視線移動速度に応じて前記閾値を可変する、電子装置。 Imaging means for imaging passengers in the vehicle;
Detecting means for detecting the sight line direction of the passenger at a constant sampling period based on the captured image captured by the imaging means;
Calculating means for calculating a passenger's line-of-sight movement speed based on a captured image captured by the imaging means;
A discriminating means for discriminating a specific object outside the vehicle in which the gaze direction of the passenger is gazing longer than the threshold;
Display means for displaying information on the specific object determined by the determination means,
The determination unit is an electronic device that varies the threshold according to the line-of-sight movement speed.
前記検出手段は、前記走行速度に応じて前記サンプリング周期を可変する、請求項1または2に記載の電子装置。 The electronic device further includes vehicle information detection means for detecting vehicle information including at least the traveling speed of the own vehicle,
The electronic device according to claim 1, wherein the detection unit varies the sampling period according to the traveling speed.
前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出するステップと、
前記撮像手段により撮像された撮像画像に基づき視線移動速度を算出する算出するステップと、
前記視線移動速度に応じて閾値を設定するステップと、
搭乗者の視線方向が前記閾値よりも長く注視している車外の特定物を判別するステップと、
前記判別された特定物に関する情報を表示するステップとを有する、施設特定方法。 A facility identification method in an electronic device, comprising: an imaging means for imaging passengers in a vehicle; and a display means capable of displaying information about facilities outside the vehicle,
Detecting the sight line direction of the occupant at a constant sampling period based on the captured image captured by the imaging means;
Calculating a line-of-sight movement speed based on a captured image captured by the imaging unit;
Setting a threshold according to the eye movement speed;
Determining a specific object outside the vehicle in which the gaze direction of the passenger is gazing longer than the threshold;
A facility identifying method comprising: displaying information on the identified specific object.
前記撮像手段により撮像された撮像画像に基づき一定のサンプリング周期で搭乗者の視線方向を検出するステップと、
前記撮像手段により撮像された撮像画像に基づき視線移動速度を算出する算出するステップと、
前記視線移動速度に応じて閾値を設定するステップと、
搭乗者の視線方向が前記閾値よりも長く注視している車外の特定物を判別するステップと、
前記判別された特定物に関する情報を表示するステップとを有する、施設特定プログラム。
A facility identification program executed by an electronic device including an imaging unit that images passengers in a vehicle and a display unit that can display information about facilities outside the vehicle,
Detecting the sight line direction of the occupant at a constant sampling period based on the captured image captured by the imaging means;
Calculating a line-of-sight movement speed based on a captured image captured by the imaging unit;
Setting a threshold according to the eye movement speed;
Determining a specific object outside the vehicle in which the gaze direction of the passenger is gazing longer than the threshold;
A facility specifying program comprising: displaying information regarding the determined specific object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212158A JP2017083308A (en) | 2015-10-28 | 2015-10-28 | Electronic apparatus, facility specification method, and facility specification program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212158A JP2017083308A (en) | 2015-10-28 | 2015-10-28 | Electronic apparatus, facility specification method, and facility specification program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017083308A true JP2017083308A (en) | 2017-05-18 |
Family
ID=58714281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015212158A Pending JP2017083308A (en) | 2015-10-28 | 2015-10-28 | Electronic apparatus, facility specification method, and facility specification program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017083308A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020138696A (en) * | 2019-03-01 | 2020-09-03 | 日産自動車株式会社 | Vehicle information display method and vehicle information display device |
JP2021509876A (en) * | 2018-02-21 | 2021-04-08 | ウェイモ エルエルシー | Discrimination and response of the internal state of the vehicle |
-
2015
- 2015-10-28 JP JP2015212158A patent/JP2017083308A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021509876A (en) * | 2018-02-21 | 2021-04-08 | ウェイモ エルエルシー | Discrimination and response of the internal state of the vehicle |
US11619949B2 (en) | 2018-02-21 | 2023-04-04 | Waymo Llc | Determining and responding to an internal status of a vehicle |
JP2020138696A (en) * | 2019-03-01 | 2020-09-03 | 日産自動車株式会社 | Vehicle information display method and vehicle information display device |
JP7267776B2 (en) | 2019-03-01 | 2023-05-02 | 日産自動車株式会社 | VEHICLE INFORMATION DISPLAY METHOD AND VEHICLE INFORMATION DISPLAY DEVICE |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9430046B2 (en) | Gesture based image capturing system for vehicle | |
US10147165B2 (en) | Display device, control method, program and recording medium | |
JP4914726B2 (en) | Current position calculation device, current position calculation method | |
US9824590B2 (en) | Lane departure warning system and method for controlling the same | |
US20180218603A1 (en) | Vehicle information display system and method for displaying vehicle information | |
US11507196B2 (en) | Method and device for controlling display content on an output means of a vehicle | |
US20150367779A1 (en) | Display control device, display control method, non-transitory computer-readable recording medium, and projecting device | |
CN110795979B (en) | Information processing system, non-transitory storage medium storing program, and control method | |
JP2014120111A (en) | Travel support system, travel support method, and computer program | |
JP2016053880A (en) | On-vehicle system, information processing method, and computer program | |
JP2014120114A (en) | Travel support system, travel support method, and computer program | |
JP6825433B2 (en) | Virtual image display device and computer program | |
US20170176207A1 (en) | In vehicle system and method for providing information regarding points of interest | |
JP6186905B2 (en) | In-vehicle display device and program | |
JP6136238B2 (en) | Driving support system, driving support method, and computer program | |
US11276378B2 (en) | Vehicle operation system and computer readable non-transitory storage medium | |
US20210348937A1 (en) | Navigation system, navigation display method, and navigation display program | |
CN112141010B (en) | Control method, control device, electronic equipment and storage medium | |
JP2017083308A (en) | Electronic apparatus, facility specification method, and facility specification program | |
JP2014120113A (en) | Travel support system, travel support method, and computer program | |
US10676104B2 (en) | Driving assist device | |
JP2007280203A (en) | Information presenting device, automobile and information presenting method | |
JP2019119357A (en) | Display system | |
JP6939147B2 (en) | Driving information guidance device and computer program | |
JP6136237B2 (en) | Driving support system, driving support method, and computer program |