JP2018097541A - Driving support device - Google Patents
Driving support device Download PDFInfo
- Publication number
- JP2018097541A JP2018097541A JP2016240646A JP2016240646A JP2018097541A JP 2018097541 A JP2018097541 A JP 2018097541A JP 2016240646 A JP2016240646 A JP 2016240646A JP 2016240646 A JP2016240646 A JP 2016240646A JP 2018097541 A JP2018097541 A JP 2018097541A
- Authority
- JP
- Japan
- Prior art keywords
- information display
- display body
- low
- line
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instructional Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、標識等を表す虚像を、当該標識等に重ね合わせてフロントガラスに表示させることにより運転支援を行う、運転支援装置に関する。 The present invention relates to a driving support device that performs driving support by displaying a virtual image representing a sign or the like on a windshield in a superimposed manner on the sign or the like.
信号機や標識等を、運転者がより認識しやすいように、信号機や標識等を示す表示を実際の信号機や標識等に重なるようにフロントガラスに映し出すようにした支援装置が種々提案されている(例えば特許文献1,2など)。
以下、特許文献1,2でそれぞれ使用されている符号を括弧付きで参考に示し、特許文献1,2に開示された技術についてそれぞれ説明する。
特許文献1には、「運転者がハンズフリーで携帯電話を使用している際中、ナビゲーションシステム(10)が記憶する地図情報により自車両前方に信号機(60A)の存在を検出した場合には、その表示虚像(90A)を信号機(60A)と概略重畳するようにフロントガラス(70)に映し出す、運転用車両装置」が開示されている。
特許文献2には、「撮影装置(115)により撮像した車両前方画像を解析して視界が不良であると判断した場合には、前記車両前方画像から、予め設定された種類の道路標示や道路標識を抽出して、この抽出した道路標示や道路標識を、実際の道路標示や道路標識と重なる位置にフロントガラスに映し出す、運転支援装置」が開示されている。
In order to make it easier for the driver to recognize traffic lights, signs, etc., various support devices have been proposed in which a display showing the traffic lights, signs, etc. is displayed on the windshield so as to overlap the actual traffic lights, signs, etc. ( For example, Patent Documents 1 and 2).
Hereinafter, the reference numerals used in
Patent Document 1 states that “When a driver uses a mobile phone in a hands-free manner, the presence of a traffic light (60A) in front of the host vehicle is detected from map information stored in the navigation system (10). In addition, a driving vehicle apparatus that projects the display virtual image (90A) on the windshield (70) so as to substantially overlap the traffic light (60A) is disclosed.
しかしながら、特許文献1に開示された運転用車両装置では、標識等を示す表示を実際の標識等に重なるようにフロントガラスに映し出すとしているが、表示される標識等が、実際の標識等からずれて映し出されるおそれがある。
つまり、ナビゲーションシステム(10)の地図情報では、情報の種類や精度に限界があり、標識の大きさ,高さ等の情報を取得できなかったり、取得した標識の位置情報の精度が低かったりすることが予想され、このような限られた情報に基づいて、標識等を示す表示を実際の標識等と重なるようにフロントガラスに映し出すことは困難である。
表示される標識等が、実際の標識等からずれて映し出されてしまうと運転者の判断に影響がでるおそれもある。
However, in the driving vehicle device disclosed in Patent Document 1, the indication indicating the sign or the like is projected on the windshield so as to overlap the actual sign or the like. However, the displayed sign or the like is shifted from the actual sign or the like. May be projected.
That is, in the map information of the navigation system (10), there is a limit to the type and accuracy of information, information such as the size and height of the sign cannot be acquired, or the accuracy of the acquired position information of the sign is low. Therefore, based on such limited information, it is difficult to project a display indicating a sign or the like on the windshield so as to overlap the actual sign or the like.
If the displayed sign or the like is shifted from the actual sign or the like, the judgment of the driver may be affected.
また、特許文献2に開示された運転支援装置は、撮像した車両前方画像から、画像解析により予め設定された種類の道路標識等を抽出するものである。視認性の低い道路標識(例えば、汚れた道路標識,かすれた道路標識,設置向きの悪い道路標識)は、運転者が認識し易いようなかたちで画像表示されることが望まれるが、特許文献2の運転支援装置は、画像解析により道路標識等を抽出するため、例えば道路標識であることは一応認識可能であっても、視認性の低い道路標識については、道路標識の種別まで抽出できないおそれがある。
Further, the driving support device disclosed in
本発明は、上記のような課題に鑑み創案されたもので、視認性の悪い低視認性情報表示体をフロントガラスに表示させた虚像により運転者に認識させることができると共に、視認性の良い情報表示体を不要に虚像化することを防止できるようにした、運転支援装置を提供することを目的とする。 The present invention was devised in view of the above problems, and allows a driver to recognize a low-visibility information display body with poor visibility by a virtual image displayed on the windshield, and has good visibility. An object of the present invention is to provide a driving support device that can prevent an information display body from being virtualized unnecessarily.
(1)上記の目的を達成するために、本発明の運転支援装置は、車両前方を撮像して車両前方画像を取得する撮像手段と、地図情報を記憶する記憶手段と、前記車両前方画像から、前記車両前方にある視認性の悪い低視認性情報表示体を抽出する抽出手段と、前記地図情報から、前記低視認性情報表示体の種別を取得する種別情報取得手段と、前記種別を表す虚像を、前記低視認性情報表示体に重ね合わせてフロントガラスに表示させる表示手段とを備えていることを特徴としている。 (1) In order to achieve the above object, the driving support apparatus according to the present invention includes an imaging unit that captures an image of the front of the vehicle and acquires a vehicle forward image, a storage unit that stores map information, and the vehicle forward image. An extraction means for extracting a low visibility information display body with poor visibility in front of the vehicle, a type information acquisition means for acquiring the type of the low visibility information display body from the map information, and the type It is characterized by comprising display means for displaying a virtual image on the windshield superimposed on the low visibility information display.
(2)前記抽出手段が、前記車両前方画像を解析して、予め設定された情報表示体テンプレート画像との類似度が第1閾値以上かつ第2閾値以下のものを前記低視認性情報表示体として抽出する第1抽出機能を備えることが好ましい。 (2) The extraction means analyzes the vehicle front image, and the low visibility information display body having a similarity with a preset information display body template image of a first threshold value or more and a second threshold value or less. It is preferable to have a first extraction function for extracting as
(3)運転者の視線を検出する視線検出手段をさらに備え、前記抽出手段が第2抽出機能を備え、前記第2抽出機能は、前記車両前方画像を解析して、予め記憶した情報表示体テンプレート画像との類似度が第1閾値以上のものを前記低視認性情報表示体の候補体とし、前記候補体の中から、前記視線検出手段により検出された視線の静動に基づいて前記低視認性情報表示体を選別することが好ましい。 (3) It further includes gaze detection means for detecting the gaze of the driver, the extraction means has a second extraction function, and the second extraction function analyzes the vehicle front image and stores the information display body in advance. A low visibility information display object candidate having a similarity with a template image equal to or higher than a first threshold is used as the candidate for the low visibility information display body, and the low eye movement is detected based on static eye movement detected by the eye detection means. It is preferable to select the visibility information display body.
(4)前記第2抽出機能は、前記視線検出手段により検出された前記視線の向きの変化が所定量以下の状態が、所定時間以上継続した場合に、前記視線の先にある前記候補体を前記低視認性情報表示体として選別することが好ましい。 (4) The second extraction function may be configured to select the candidate ahead of the line of sight when a change in the direction of the line of sight detected by the line of sight detection unit continues for a predetermined time or more. It is preferable to select as the low visibility information display.
(5)前記第2抽出機能は、前記視線検出手段により検出された前記視線が、前記候補体に、所定回数を越えて向けられた場合には、当該候補体を前記低視認性情報表示体として選別することが好ましい。 (5) When the line of sight detected by the line-of-sight detection means is directed to the candidate body more than a predetermined number of times, the second extraction function displays the candidate body as the low-visibility information display body. It is preferable to sort as
本発明によれば、車両前方撮影装置により撮像された車両前方画像から、抽出手段により低視認性情報表示体を抽出すると共に、この低視認性情報表示体の種別情報を、記憶手段の地図情報から取得し、種別を表す虚像を、低視認性情報表示体に重ね合わせてフロントガラスに表示させる。
したがって、視認性の悪い低視認性情報表示体を、現実の設置位置に対応させて、フロントガラスに表示させた虚像により運転者に認識させることができる。さらに、虚像として表示されるのは、低視認性情報表示体に限られており、視認性の良い情報表示体についてまで不要に虚像化することを防止できる。
According to the present invention, the low visibility information display body is extracted by the extraction means from the vehicle forward image captured by the vehicle forward imaging device, and the type information of the low visibility information display body is stored in the map information of the storage means. And a virtual image representing the type is superimposed on the low visibility information display body and displayed on the windshield.
Therefore, the low visibility information display body with poor visibility can be recognized by the driver by the virtual image displayed on the windshield in correspondence with the actual installation position. Furthermore, what is displayed as a virtual image is limited to the low-visibility information display body, and it can be prevented that the information display body with good visibility is unnecessarily virtualized.
以下、図面を参照して、本発明の実施の形態について説明する。なお、以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。以下の実施形態の構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。 Embodiments of the present invention will be described below with reference to the drawings. Note that the embodiment described below is merely an example, and there is no intention to exclude various modifications and technical applications that are not explicitly described in the following embodiment. The configurations of the following embodiments can be implemented with various modifications without departing from the spirit thereof.
本発明の一実施形態としての運転支援装置100について、図1〜3を用いて説明する。 A driving support apparatus 100 as one embodiment of the present invention will be described with reference to FIGS.
[1.運転支援装置の構成] [1. Configuration of driving support device]
運転支援装置100は、図1に示すように、自車両位置検出器1と、地図情報記憶装置(記憶手段)2と、車両前方撮影装置(撮像手段)4と、視点関連情報検出装置(視線検出手段)5、ヘッドアップディスプレイ6と、これら各装置が接続されたECU10とを備えている。
As shown in FIG. 1, the driving support apparatus 100 includes a host vehicle position detector 1, a map information storage device (storage means) 2, a vehicle front photographing device (imaging means) 4, and a viewpoint related information detection device (line of sight). Detection means) 5, a head-up display 6, and an
自車両位置検出器1は、本実施形態では、地磁気センサ、ジャイロスコープ、自車両の走行距離を検出する距離センサ、およびグローバルポジショニングシステム(GPS)のためのGPS受信機などのセンサ等を有している。これらのセンサ等は各々が性質の異なる誤差を持っていたり、状況によっては情報を取得できなかったりするため、互いに補完しながら使用するように構成されている。 In the present embodiment, the host vehicle position detector 1 includes a geomagnetic sensor, a gyroscope, a distance sensor that detects the travel distance of the host vehicle, and a sensor such as a GPS receiver for a global positioning system (GPS). ing. Each of these sensors has an error of a different nature or cannot acquire information depending on the situation, and is configured to be used while complementing each other.
地図情報記憶装置2は、道路形状の他、情報表示体の種別など各種地図情報を記憶している。ECU10は、適宜、地図情報記憶装置2の各種地図情報を参照する。
ここで、情報表示体とは、道路標識や信号機に例示されるような運転者に必要な適宜の情報や指示を表示により提供するものである。また、情報表示体に関する情報とは、情報表示体の位置情報及び種別情報であり、種別情報とは、情報表示体が道路標識であれば「一方通行」,「追越し禁止」などのような具体的な標識の種別を特定するための情報であり、情報表示体が信号機であればその旨(信号機である旨)の情報である。
The map
Here, the information display body provides appropriate information and instructions necessary for the driver as exemplified by road signs and traffic lights. The information related to the information display body is the position information and the type information of the information display body. The type information is a specific information such as “one-way” or “no overtaking” if the information display body is a road sign. If the information display body is a traffic light, it is information to that effect (indicating that it is a traffic signal).
車両前方撮影装置4はステレオカメラであり、自車両の前端部または車室内の上部などに設けられる。この車両前方撮影装置4は、ECU10からの指示に従って、車両前方の所定範囲を撮像し、撮像した画像(以下「車両前方画像」という)のデータをECU10へ出力する。
The vehicle front photographing device 4 is a stereo camera, and is provided at the front end of the host vehicle or the upper part of the vehicle interior. The vehicle front image capturing device 4 images a predetermined range in front of the vehicle in accordance with an instruction from the
視点関連情報検出装置5は、車両前方撮影装置4を構成するものとは別のステレオカメラと、そのステレオカメラによって撮像された画像を解析する処理装置とからなる。この視点関連情報検出装置5のステレオカメラは、運転者が前方を向いているときに運転者の顔が撮影可能な位置、たとえば、ルームミラーの側方などに設けられ、運転者の顔を含む画像データを処理装置へ出力する。処理装置は、供給された画像データを公知の認識処理手法によって解析して、運転者の目の位置(アイポイント)や視線の方向を決定する。
なお、前記の画像を解析する処理装置は、ECU10の機能要素としてもよい。
The viewpoint related information detection device 5 includes a stereo camera different from that constituting the vehicle front photographing device 4 and a processing device that analyzes an image captured by the stereo camera. The stereo camera of the viewpoint related information detection device 5 is provided at a position where the driver's face can be photographed when the driver is facing forward, for example, on the side of the rearview mirror, and includes the driver's face. Output the image data to the processor. The processing device analyzes the supplied image data by a known recognition processing method, and determines the position (eye point) of the driver's eyes and the direction of the line of sight.
Note that the processing device that analyzes the image may be a functional element of the
ヘッドアップディスプレイ6は、自車両のフロントガラスに映像を映し出す装置であり、本実施形態のヘッドアップディスプレイ6は、フロントガラスのほぼ全範囲にわたり表示が可能となっている。 The head-up display 6 is a device that projects an image on the windshield of the host vehicle, and the head-up display 6 of the present embodiment can display over almost the entire range of the windshield.
ECU10は、通常のコンピュータであり、内部には周知のCPU、ROM、RAM、I/Oおよびこれらの構成を接続するためのバスラインを備えている。ROMには、ECU10が実行するためのプログラムが書き込まれており、このプログラムに従ってCPU等が所定の演算処理を実行する。
The ECU 10 is a normal computer and includes a well-known CPU, ROM, RAM, I / O, and a bus line for connecting these components. In the ROM, a program to be executed by the
また、ECU10は、機能要素として、抽出部(抽出手段)11,情報表示体位置算出部12,種別情報取得部(種別情報取得手段)13,表示位置設定部14及びディスプレイ制御部15を備える。
The
抽出部11は、低視認性情報表示体を選択的に抽出する。低視認性情報表示体とは、視認性の悪い、すなわち運転者が視認しづらい情報表示体のことであり、例えば、汚れた道路標識,かすれた道路標識,設置向きの悪い道路標識、雪や雨や照度不足などにより視認性が低下した道路標識である。抽出部11は、低視認性情報表示体を選択して抽出するものであり、視認性の良い情報表示体については抽出しない。
抽出部11は、第1抽出機能11Aと、第2抽出機能11Bとを備えている。
The extraction unit 11 selectively extracts a low visibility information display body. The low visibility information display body is an information display body with low visibility, that is, it is difficult for the driver to visually recognize, for example, a dirty road sign, a faint road sign, a bad road sign, snow or It is a road sign whose visibility has decreased due to rain or lack of illumination. The extraction unit 11 selects and extracts a low visibility information display body, and does not extract an information display body with good visibility.
The extraction unit 11 includes a first extraction function 11A and a second extraction function 11B.
第1抽出機能11Aは、車両前方画像を解析して、予め記憶した複数種の情報表示体のテンプレート画像(情報表示体テンプレート画像)とのマッチングを行い、車両前方画像の中から低視認性情報表示体を抽出する。
具体的には、第1抽出機能11Aは、車両前方画像において、解析対象となる画像領域(以下「対象領域」という)の類似度R(パターンマッチング処理においてテンプレート画像と似ている度合いを数値化したもの)を、対象領域を順次ずらしていきながら求め、これを、各テンプレート画像の各々について行う。第1抽出機能11Aは、何れかのテンプレート画像との類似度Rが、第1閾値R1以上、且つ、第1閾値R1よりも大きな第2閾値R2以下(R1≦R≦R2,R1<R2)であった対象領域を、低視認性情報表示体として抽出し、この低視認性情報表示体の車両前方画像における位置情報を、表示位置設定部14に出力する。
The first extraction function 11A analyzes the vehicle front image and performs matching with a template image (information display body template image) of a plurality of types of information display bodies stored in advance. Extract the display.
Specifically, the first extraction function 11A quantifies the similarity R (the degree of similarity to the template image in the pattern matching process) of the image area to be analyzed (hereinafter referred to as “target area”) in the vehicle front image. Is obtained while sequentially shifting the target area, and this is performed for each of the template images. The first extraction function 11A has a similarity R with one of the template images equal to or higher than the first threshold R1 and equal to or lower than the second threshold R2 (R1 ≦ R ≦ R2, R1 <R2). Is extracted as a low-visibility information display body, and position information of the low-visibility information display body in the vehicle front image is output to the display position setting unit 14.
第2抽出機能11Bは、先ず、車両前方画像を解析して、前記の複数種のテンプレート画像とのマッチングを行い、車両前方画像の中から低視認性情報表示体の候補体を抽出する。
具体的には、第2抽出機能11Bは、車両前方画像において対象領域の類似度Rを、対象領域を順次ずらしていきながら求め、これを各テンプレート画像の各々について行い、何れかのテンプレート画像との類似度Rが第1閾値R1以上であった対象領域を候補体とする。
The second extraction function 11B first analyzes the vehicle front image, performs matching with the plurality of types of template images, and extracts candidates for the low visibility information display body from the vehicle front image.
Specifically, the second extraction function 11B obtains the similarity R of the target area in the vehicle front image while sequentially shifting the target area, and performs this for each of the template images. The target region whose similarity R is equal to or higher than the first threshold value R1 is set as a candidate.
第2抽出機能11Bは、さらに、候補体の中から、視点関連情報検出装置5により検出された視線の静動に基づいて低視認性情報表示体を選別する。
具体的には、第2抽出機能11Bは、次のケース1に該当する場合又はケース2に該当する場合には、それぞれ視線の先にある候補体を低視認性情報表示体として抽出する。
ケース1:運転者の視線の向きの変化Δeが継続して所定の微小量以下となる時間、すなわち候補体を凝視する時間Tが、所定時間T1を越えた場合には、運転者が種別を視認しづらいため候補体を凝視していると推察されるので、視線の先にある候補体を低視認性情報表示体として抽出する。
ケース2:運転者の視線が候補体に向けられた回数、すなわち候補体を見直す回数Nが所定回数N1を越えた場合(運転者の視線が、候補体に所定回数N1を越えて向けられた場合)には、運転者が種別を視認しづらいため道路標識を何度も見直していると推察されるので、視線の先にある候補体を低視認性情報表示体として抽出する。
The second extraction function 11B further selects a low visibility information display body from the candidates based on the static movement of the line of sight detected by the viewpoint related information detection device 5.
Specifically, the second extraction function 11 </ b> B extracts candidates that are ahead of the line of sight as low-visibility information display bodies when they correspond to the next case 1 or the
Case 1: When the driver's line-of-sight change Δe continues to be equal to or smaller than a predetermined minute amount, that is, when the time T for staring at the candidate exceeds the predetermined time T1, the driver selects the type. Since it is hard to see, it is guessed that the candidate is staring, so the candidate ahead of the line of sight is extracted as a low visibility information display.
Case 2: The number of times the driver's line of sight is directed to the candidate, that is, the number N of reviewing the candidate exceeds the predetermined number N1 (the driver's line of sight is directed to the candidate beyond the predetermined number N1. )), It is assumed that the driver has reviewed the road sign many times because it is difficult for the driver to visually recognize the type. Therefore, the candidate ahead of the line of sight is extracted as the low visibility information display body.
所定時間T1及び所定回数N1は、本実施形態では定数とするが、車速センサにより検出された車速vが速くなるほど、所定時間T1を短くするようにしたり、所定回数N1を少なくするようにしたりしてもよい。これは、車速vが速くなるほど、運転者が候補体を認識してから自車両が候補体を通過するまでの期間、すなわち運転者が候補体の認識を試みることのできる期間が短くなり、運転者が情報表示体を視認しづらかったとしても、候補体を凝視する時間が短くなり、候補体を見直す回数が少なくなるので、この影響を排除するためである。 The predetermined time T1 and the predetermined number of times N1 are constants in the present embodiment, but as the vehicle speed v detected by the vehicle speed sensor increases, the predetermined time T1 may be shortened or the predetermined number of times N1 may be decreased. May be. This is because as the vehicle speed v increases, the period from when the driver recognizes the candidate until the host vehicle passes the candidate, that is, the period during which the driver can try to recognize the candidate is shortened. Even if it is difficult for the person to visually recognize the information display body, the time for staring at the candidate body is shortened, and the number of times of reviewing the candidate body is reduced, so this effect is eliminated.
なお、本実施形態では、抽出部11は、第1抽出機能11A及び第2抽出機能11Bの両方を備えているが、抽出部11を、第1抽出機能11A及び第2抽出機能11Bの一方だけを備えるようにしてもよい。また、第2抽出機能11Bを備える場合には、第2抽出機能11Bを、前記ケース1及びケース2の一方のケースだけ低視認性情報表示体として抽出するように構成してもよい。
また、第1抽出機能11Aと第2抽出機能11Bとで類似度Rを求める機能を共用化してもよい。
In the present embodiment, the extraction unit 11 includes both the first extraction function 11A and the second extraction function 11B. However, the extraction unit 11 includes only one of the first extraction function 11A and the second extraction function 11B. You may make it provide. When the second extraction function 11B is provided, the second extraction function 11B may be configured to extract only one case of the case 1 and the
In addition, the function for obtaining the similarity R may be shared between the first extraction function 11A and the second extraction function 11B.
情報表示体位置算出部12は、自車両を基準点とした低視認性情報表示体の実物の代表的な位置を算出する。車両前方撮影装置4は上述のとおりステレオカメラにより構成されており、情報表示体位置算出部12は、これらの2つのステレオカメラによってそれぞれ撮像された車両前方画像において、同一の低視認性情報表示体が抽出される位置の違い(視差情報)から、自車両を基準点とした低視認性情報表示体の実物の位置を算出する。 The information display body position calculation unit 12 calculates a representative position of the actual low visibility information display body with the host vehicle as a reference point. The vehicle front photographing device 4 is configured by a stereo camera as described above, and the information display body position calculation unit 12 has the same low-visibility information display body in the vehicle front images respectively captured by these two stereo cameras. The actual position of the low-visibility information display body with respect to the own vehicle as a reference point is calculated from the difference in position (parallax information) from which is extracted.
種別情報取得部13は、地図情報記憶装置2の地図情報から低視認性情報表示体の種別情報を取得する。
具体的には、種別情報取得部13は、自車両位置検出器1により検出された自車両の位置と、情報表示体位置算出部12により算出された低視認性情報表示体の自車両を基準点とした位置とから、低視認性情報表示体の絶対的な位置を推定する。そして、種別情報取得部13は、地図情報記憶装置2の地図情報において、この推定した低視認性情報表示体の位置から一定距離内にある情報表示体(複数ある場合は最も近くにある情報表示体)が、この低視認性情報表示体であるとして、この情報表示体の種別情報を、地図情報から、低視認性情報表示体の種別情報として取得する。
The type information acquisition unit 13 acquires the type information of the low visibility information display body from the map information in the map
Specifically, the type information acquisition unit 13 is based on the position of the host vehicle detected by the host vehicle position detector 1 and the host vehicle of the low visibility information display body calculated by the information display body position calculation unit 12. The absolute position of the low visibility information display body is estimated from the position as a point. Then, the type information acquisition unit 13 in the map information of the map
表示位置設定部14は、図2に示すように、運転者50から視て、低視認性情報表示体の虚像20′が低視認性情報表示体の実物20と重なるように、フロントガラス30上の虚像20′の表示位置P′を設定する。
具体的には、表示位置設定部14は、情報表示体位置算出部12により算出された低視認性情報表示体の実物20の位置Pと視点関連情報検出装置5により検出された視点P0とを結ぶ直線Lが、フロントガラス30と交差する点を表示位置P′として設定する。なお、図2中の符号25は、視認性が良く、運転者50が自身の視覚により認識できる情報表示体25であり、この視認性の良い情報表示体25については、フロントガラス30上に虚像は表示されない。
As shown in FIG. 2, the display position setting unit 14 is arranged on the
Specifically, the display position setting unit 14 uses the position P of the
ディスプレイ制御部15は、種別情報取得部13から低視認性情報表示体の種別情報を取得すると共に、表示位置設定部14から表示位置P′を取得する。そして、ディスプレイ制御部15は、ヘッドアップディスプレイ6を制御して、低視認性情報表示体の種別に応じて予め設定された虚像20′を、フロントガラス30上の表示位置P′に映し出すようにヘッドアップディスプレイ6を制御する。
The display control unit 15 acquires the type information of the low visibility information display body from the type information acquisition unit 13 and the display position P ′ from the display position setting unit 14. Then, the display control unit 15 controls the head-up display 6 so that a
なお、ヘッドアップディスプレイ6,表示位置設定部14及びディスプレイ制御部15により本発明の表示手段が構成される。 The head-up display 6, the display position setting unit 14, and the display control unit 15 constitute display means of the present invention.
[1−2.制御フロー]
以下、図3を参照して、本発明の一実施形態としての運転支援装置の制御フローを説明する。なお、この制御フローは所定の周期で繰り返し実行される。
先ず、ステップS10において、車両前方撮影装置4により車両前方画像が撮像され、ステップS20において、抽出部11により、テンプレートマッチングを使用して、この車両前方画像から低視認性情報表示体の抽出が行われ、低視認性情報表示体が抽出された場合にはステップS30に進む一方、低視認性情報表示体が抽出されなかった場合はリターンする。なお、S20において、複数の低視認性情報表示体が抽出される場合もある。
ステップS30において、ステップS20において抽出された低視認性情報表示体の種別が種別情報取得部13により判定される。
そして、ステップS40において、表示位置設定部14により、低視認性情報表示体の実物20の位置Pと運転者50の視点P0等から表示位置P′が設定され、ステップS50において、ディスプレイ制御部15の制御により、ヘッドアップディスプレイ6からこの表示位置P′に低視認性情報表示体の虚像20′が映し出され、リターンする。
なお、ステップS20において低視認性情報表示体が複数抽出された場合には、ステップS30,S40,S50において各低視認性情報表示体のそれぞれについて種別が取得され、表示位置が設定され、虚像が表示される。
[1-2. Control flow]
Hereinafter, with reference to FIG. 3, the control flow of the driving assistance apparatus as one embodiment of the present invention will be described. This control flow is repeatedly executed at a predetermined cycle.
First, in step S10, a vehicle front image is captured by the vehicle front photographing device 4, and in step S20, the extraction unit 11 extracts a low visibility information display body from the vehicle front image using template matching. If the low visibility information display body is extracted, the process proceeds to step S30. If the low visibility information display body is not extracted, the process returns. In S20, a plurality of low visibility information display bodies may be extracted.
In step S30, the type of the low visibility information display body extracted in step S20 is determined by the type information acquisition unit 13.
In step S40, the display position setting unit 14 sets the display position P ′ based on the position P of the actual low
When a plurality of low-visibility information display bodies are extracted in step S20, a type is acquired for each low-visibility information display body in steps S30, S40, and S50, a display position is set, and a virtual image is displayed. Is displayed.
[1−3.作用・効果]
図2を参照して説明すると、本発明の一実施形態としての運転支援装置によれば、車両前方撮影装置4により撮像された車両前方画像から、抽出部11により低視認性情報表示体を抽出すると共に、この低視認性情報表示体の種別情報を、地図情報記憶装置2の地図情報から取得し、この種別の低視認性情報表示体を表す虚像20′を、低視認性情報表示体の実物20に重ね合わせてフロントガラス30に表示させる。
したがって、視認性の悪い低視認性情報表示体を、現実の設置位置Pに対応させて、フロントガラス30に表示させた虚像20′により運転者に認識させることができる。さらに、虚像として表示されるのは、低視認性情報表示体に限られており、視認性の良い情報表示体25についてまで不要に虚像表示することを防止できる。
[1-3. Action / Effect]
Referring to FIG. 2, according to the driving support device as one embodiment of the present invention, the low visibility information display body is extracted by the extraction unit 11 from the vehicle front image captured by the vehicle front image capturing device 4. At the same time, the type information of the low-visibility information display body is acquired from the map information in the map
Therefore, the low visibility information display body with poor visibility can be recognized by the driver by the
また、第2抽出機能11Bでは、運転者の視線の動静に基づいて、低視認性情報表示体を選別するので、実際の運転者の挙動に基づいて低視認性情報表示体を抽出することができる。 In the second extraction function 11B, since the low visibility information display body is selected based on the movement of the driver's line of sight, the low visibility information display body can be extracted based on the actual behavior of the driver. it can.
2 地図情報記憶装置(記憶手段)
4 車両前方撮影装置(撮像手段)
5 視点関連情報検出装置(視線検出手段)
6 ヘッドアップディスプレイ
10 ECU
11 抽出部
11A 第1抽出機能
11B 第2抽出機能
12 情報表示体位置算出部
13 種別情報取得部(種別情報取得手段)
14 表示位置設定部
15 ディスプレイ制御部
20 低視認性情報表示体の実物
20′ 低視認性情報表示体の虚像
25 視認性の良い情報表示体の実物
50 運転者
100 運転支援装置
P 低視認性情報表示体の実物20の位置
P′ 低視認性情報表示体の虚像20′の位置
P0 運転者50の視点
2 Map information storage device (storage means)
4 Vehicle front photographing device (imaging means)
5 Viewpoint related information detection device (line of sight detection means)
6 Head-up
DESCRIPTION OF SYMBOLS 11 Extraction part 11A 1st extraction function 11B 2nd extraction function 12 Information display body position calculation part 13 Type information acquisition part (type information acquisition means)
DESCRIPTION OF SYMBOLS 14 Display position setting part 15
Claims (5)
地図情報を記憶する記憶手段と、
前記車両前方画像から、前記車両前方にある視認性の悪い低視認性情報表示体を抽出する抽出手段と、
前記地図情報から、前記低視認性情報表示体の種別を取得する種別情報取得手段と、
前記種別を表す虚像を、前記低視認性情報表示体に重ね合わせてフロントガラスに表示させる表示手段と
を備えたことを特徴とする、運転支援装置。 Imaging means for capturing the vehicle front and acquiring the vehicle front image;
Storage means for storing map information;
Extraction means for extracting a low visibility information display body with poor visibility in front of the vehicle from the vehicle front image;
Type information acquisition means for acquiring the type of the low visibility information display body from the map information;
A driving support device, comprising: a display unit configured to display a virtual image representing the type on a windshield in a superimposed manner on the low visibility information display body.
前記車両前方画像を解析して、予め設定された情報表示体テンプレート画像との類似度が第1閾値以上かつ第2閾値以下のものを前記低視認性情報表示体として抽出する第1抽出機能を備えた
ことを特徴とする、請求項1に記載の運転支援装置。 The extraction means comprises:
A first extraction function that analyzes the vehicle front image and extracts, as the low-visibility information display body, a similarity with a preset information display body template image that is greater than or equal to a first threshold value and less than or equal to a second threshold value; The driving support apparatus according to claim 1, further comprising:
前記抽出手段が第2抽出機能を備え、
前記第2抽出機能は、
前記車両前方画像を解析して、予め記憶した情報表示体テンプレート画像との類似度が第1閾値以上のものを前記低視認性情報表示体の候補体とし、前記候補体の中から、前記視線検出手段により検出された視線の静動に基づいて前記低視認性情報表示体を選別する
ことを特徴とする、請求項1又は2に記載の運転支援装置。 It further comprises line-of-sight detection means for detecting the driver's line of sight,
The extraction means has a second extraction function;
The second extraction function is:
The vehicle front image is analyzed, and the similarity with the information display body template image stored in advance is set as a candidate for the low visibility information display body with the first threshold value or more, and the line of sight is selected from the candidates. The driving support apparatus according to claim 1 or 2, wherein the low visibility information display body is selected based on static movement of the line of sight detected by the detecting means.
ことを特徴とする、請求項3に記載の運転支援装置。 The second extraction function is configured to detect the candidate object at the tip of the line of sight when the change in the direction of the line of sight detected by the line-of-sight detection unit continues for a predetermined time or longer. The driving support device according to claim 3, wherein the driving support device is selected as a sex information display body.
ことを特徴とする、請求項3又は4に記載の運転支援装置。 The second extraction function selects the candidate as the low-visibility information display when the line of sight detected by the line-of-sight detection unit is directed to the candidate more than a predetermined number of times. The driving support apparatus according to claim 3 or 4, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016240646A JP2018097541A (en) | 2016-12-12 | 2016-12-12 | Driving support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016240646A JP2018097541A (en) | 2016-12-12 | 2016-12-12 | Driving support device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018097541A true JP2018097541A (en) | 2018-06-21 |
Family
ID=62632980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016240646A Pending JP2018097541A (en) | 2016-12-12 | 2016-12-12 | Driving support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018097541A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020190942A (en) * | 2019-05-22 | 2020-11-26 | 株式会社デンソー | Display controller |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175992A (en) * | 1999-12-14 | 2001-06-29 | Mazda Motor Corp | Display device for vehicle |
JP2005182306A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Vehicle display device |
US6977630B1 (en) * | 2000-07-18 | 2005-12-20 | University Of Minnesota | Mobility assist device |
JP2010205160A (en) * | 2009-03-05 | 2010-09-16 | Denso Corp | Method for notifying speed-limit sign recognition result |
JP2014163814A (en) * | 2013-02-26 | 2014-09-08 | Aisin Aw Co Ltd | Travel guide system, travel guide method, and computer program |
JP2016071492A (en) * | 2014-09-29 | 2016-05-09 | 富士重工業株式会社 | Cause analysis device and cause analysis method |
-
2016
- 2016-12-12 JP JP2016240646A patent/JP2018097541A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175992A (en) * | 1999-12-14 | 2001-06-29 | Mazda Motor Corp | Display device for vehicle |
US6977630B1 (en) * | 2000-07-18 | 2005-12-20 | University Of Minnesota | Mobility assist device |
JP2005182306A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Vehicle display device |
JP2010205160A (en) * | 2009-03-05 | 2010-09-16 | Denso Corp | Method for notifying speed-limit sign recognition result |
JP2014163814A (en) * | 2013-02-26 | 2014-09-08 | Aisin Aw Co Ltd | Travel guide system, travel guide method, and computer program |
JP2016071492A (en) * | 2014-09-29 | 2016-05-09 | 富士重工業株式会社 | Cause analysis device and cause analysis method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020190942A (en) * | 2019-05-22 | 2020-11-26 | 株式会社デンソー | Display controller |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9563981B2 (en) | Information processing apparatus, information processing method, and program | |
JP4263737B2 (en) | Pedestrian detection device | |
US10127460B2 (en) | Lane boundary line information acquiring device | |
JP2012220489A (en) | Windshield display device for road guidance information and method therefor | |
US20150204687A1 (en) | Apparatus and method of guiding lane change based on augmented reality | |
JP6459205B2 (en) | Vehicle display system | |
US10466062B2 (en) | Vehicular display device | |
JP6415583B2 (en) | Information display control system and information display control method | |
JP6515773B2 (en) | Information processing device | |
JP2012248011A (en) | Image recognition device | |
JP6277933B2 (en) | Display control device, display system | |
JP2019121876A (en) | Image processing device, display device, navigation system, image processing method, and program | |
JP2007323578A (en) | Vehicle periphery monitoring device | |
JP2016091192A (en) | Virtual image display apparatus, control method, program, and storage medium | |
US10474912B2 (en) | Vehicle display controller, vehicle display system, vehicle display control method, and non-transitory storage medium | |
JP2011103058A (en) | Erroneous recognition prevention device | |
JP2023133535A (en) | Imaging device, control method, program, and storage media | |
KR101767435B1 (en) | Displaying control apparatus of head up display and method thereof | |
JP2018097541A (en) | Driving support device | |
JP2020190942A (en) | Display controller | |
JP2018004325A (en) | Gaze point detector, gaze point detection method, gaze point detection system, and vehicle | |
WO2016088227A1 (en) | Video display device and method | |
KR101428414B1 (en) | Apparatus and method for displaying road guide information on the windshield | |
US20210129751A1 (en) | Side and rear reflection controller and side and rear reflection control method | |
JP2015210729A (en) | Travel path recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210406 |