JP2019159917A - Driving support device, vehicle, system and method - Google Patents
Driving support device, vehicle, system and method Download PDFInfo
- Publication number
- JP2019159917A JP2019159917A JP2018046860A JP2018046860A JP2019159917A JP 2019159917 A JP2019159917 A JP 2019159917A JP 2018046860 A JP2018046860 A JP 2018046860A JP 2018046860 A JP2018046860 A JP 2018046860A JP 2019159917 A JP2019159917 A JP 2019159917A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- evaluation
- host vehicle
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 34
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000012502 risk assessment Methods 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、運転支援装置、車両、システムおよび方法に関する。 The present invention relates to a driving support device, a vehicle, a system, and a method.
車両のフロントガラスにナビゲーション情報や交通情報などの画像を表示させるヘッドアップディスプレイ（Head-Up Display、以下「ＨＵＤ」として参照する）技術が開発されている。ＨＵＤ技術では、フロントガラスから見える光景に画像を重ねて表示できることから、運転手は視点を移動させることなく情報を得ることができ、安全な運転を行うことができる。 2. Description of the Related Art Head-up display (hereinafter referred to as “HUD”) technology for displaying images such as navigation information and traffic information on a windshield of a vehicle has been developed. In the HUD technology, an image can be displayed in a superimposed manner on a scene seen from the windshield, so that the driver can obtain information without moving the viewpoint and can perform safe driving.
また、特開平９−３５１７７（特許文献１）では、車両の周囲を撮影し、車両の前方に接近物がある場合には、ＨＵＤにメッセージを表示して警告する技術が開示されている。その他、車両に備えられたスピーカを用いて、接近物が存在する方向をユーザに知らせることが記載されている。特許文献１によれば、運転手は前方を見ながら車両の周囲の状況を把握することが可能となる。 Japanese Laid-Open Patent Publication No. 9-35177 (Patent Document 1) discloses a technique for photographing the periphery of a vehicle and displaying a message on the HUD to warn when there is an approaching object in front of the vehicle. In addition, it is described that the user is notified of the direction in which an approaching object exists using a speaker provided in the vehicle. According to Patent Document 1, the driver can grasp the situation around the vehicle while looking forward.
しかしながら、特許文献１では、スピーカが発する音場によって接近物が存在する方向を通知していることから、例えば、右後方から警告音が聞こえた場合に、運転手は右後方のどの位置に視点を移動させれば接近物を視認できるのかという判断が困難である。 However, in Patent Document 1, since the direction in which the approaching object is present is notified by the sound field emitted from the speaker, for example, when a warning sound is heard from the right rear, the driver can view the position at the right rear. It is difficult to determine whether or not an approaching object can be visually recognized by moving.
そこで、運転手が接近物の位置を容易に特定でき、接近物を視認しやすくする技術が求められていた。 Therefore, a technique has been demanded that allows the driver to easily identify the position of the approaching object and to make the approaching object easily visible.
本発明は、上記従来技術における課題に鑑みてなされたものであり、車両周囲の接近物の視認を運転手に促す運転支援装置、車両、システムおよび方法を提供することを目的とする。 The present invention has been made in view of the above problems in the prior art, and an object thereof is to provide a driving support device, a vehicle, a system, and a method for prompting a driver to visually recognize an approaching object around the vehicle.
すなわち、本発明によれば、自車両の周囲を撮影した撮影データを取得する周囲画像取得部と、前記周囲画像取得部が取得した前記撮影データから、前記自車両の周囲に存在する物体を認識する物体認識部と、前記物体認識部が認識した前記物体が所定の条件を満たすか否かを評価する評価部と、前記評価部が評価した結果に基づいて、前記自車両の運転手が前記物体認識部によって認識された前記物体を視認できる場所を示す警告情報を表示する表示制御部とを含む、運転支援装置が提供される。 That is, according to the present invention, a surrounding image acquisition unit that acquires shooting data obtained by shooting the surroundings of the host vehicle, and an object existing around the host vehicle are recognized from the shooting data acquired by the surrounding image acquisition unit. An object recognizing unit, an evaluation unit for evaluating whether or not the object recognized by the object recognizing unit satisfies a predetermined condition, and a driver of the own vehicle based on a result of the evaluation performed by the driver And a display control unit that displays warning information indicating a place where the object recognized by the object recognition unit can be visually recognized.
上述したように、本発明によれば、車両周囲の接近物の視認を運転手に促す運転支援装置、車両、システムおよび方法が提供される。 As described above, according to the present invention, a driving support device, a vehicle, a system, and a method for prompting a driver to visually recognize an approaching object around the vehicle are provided.
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。 Hereinafter, although this invention is demonstrated with embodiment, this invention is not limited to embodiment mentioned later. In the drawings referred to below, the same reference numerals are used for common elements, and descriptions thereof are omitted as appropriate.
図１は、本発明の実施形態におけるシステム全体の概略構成を示す図である。図１（ａ）では、例として、運転支援装置１を搭載した車両を示している。 FIG. 1 is a diagram showing a schematic configuration of the entire system in an embodiment of the present invention. FIG. 1A shows a vehicle on which the driving support device 1 is mounted as an example.
図１（ａ）に示すように、運転手はフロントガラス１０越しに前方の光景を見ながら運転し、また車両に設けられているルームミラー１１やサイドミラー１２を見ることで後方の状況を把握することができる。車両に搭載される運転支援装置１には、ＨＵＤユニット２０６が備わっている。また、運転支援装置１は、周囲の画像を撮影するためのカメラ２０５を含んで構成される。なお、カメラ２０５は、図１に示す以外の位置に備えられてもよく、また、複数のカメラ２０５を含んでもよい。 As shown in FIG. 1 (a), the driver drives while looking at the front view through the windshield 10 and sees the rear mirror 11 and the side mirror 12 provided on the vehicle to grasp the situation behind the driver. can do. The driving assistance device 1 mounted on the vehicle includes a HUD unit 206. The driving support device 1 includes a camera 205 for taking a surrounding image. The camera 205 may be provided at a position other than that shown in FIG. 1 or may include a plurality of cameras 205.
ＨＵＤユニット２０６は、フロントガラス１０に画像を反射させ、画像を虚像１３としてフロントガラス１０に映し出す。運転手は、虚像１３を見ることで、画像情報があたかも前方の空中に存在しているかのように認識できる。これによって、運転手が車外を見ている状態から情報を見る状態に移行した際に生じる、目のピントを調節するための時間を短くすることができ、運転の安全性が向上できる。 The HUD unit 206 reflects the image on the windshield 10 and displays the image on the windshield 10 as a virtual image 13. The driver can recognize the image information as if it exists in the air in front by looking at the virtual image 13. Accordingly, it is possible to shorten the time for adjusting the focus of the eyes, which occurs when the driver shifts from the state of looking outside the vehicle to the state of viewing information, and the driving safety can be improved.
図１（ｂ）は、運転手から見える視界の例を示す図であり、ＨＵＤユニット２０６によって、フロントガラス１０に虚像１３が表示されている例を示している。ＨＵＤユニット２０６が表示させる画像は、例として、運転手が運転している車両である自車両の速度情報１３ａやナビゲーション情報１３ｂなどが挙げられる。運転手は、種々の情報が前方の光景に重畳しているように見ることができるので、運転手は前方から視点を移動させずに情報を得ることができる。 FIG. 1B is a diagram showing an example of the field of view seen from the driver, and shows an example in which the virtual image 13 is displayed on the windshield 10 by the HUD unit 206. Examples of the image displayed by the HUD unit 206 include speed information 13a and navigation information 13b of the host vehicle that is a vehicle that the driver is driving. Since the driver can view various information as if superimposed on the front scene, the driver can obtain information without moving the viewpoint from the front.
次に、運転支援装置１のハードウェア構成について説明する。図２は、本実施形態の運転支援装置１に含まれるハードウェア構成を示す図である。運転支援装置１は、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３と、記憶装置２０４と、カメラ２０５と、ＨＵＤユニット２０６とを含んで構成され、各ハードウェアはバスを介して接続されている。 Next, the hardware configuration of the driving support device 1 will be described. FIG. 2 is a diagram illustrating a hardware configuration included in the driving support device 1 of the present embodiment. The driving support apparatus 1 includes a CPU 201, a RAM 202, a ROM 203, a storage device 204, a camera 205, and a HUD unit 206, and each hardware is connected via a bus.
ＣＰＵ２０１は、運転支援装置１の動作を制御するプログラムを実行し、所定の処理を行う装置である。ＲＡＭ２０２は、ＣＰＵ２０１が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ２０３は、ＣＰＵ２０１が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。記憶装置２０４は、運転支援装置１を機能させるＯＳ、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。 The CPU 201 is a device that executes a program for controlling the operation of the driving support device 1 and performs predetermined processing. The RAM 202 is a volatile storage device for providing an execution space for programs executed by the CPU 201, and is used for storing and developing programs and data. The ROM 203 is a non-volatile storage device for storing programs executed by the CPU 201, firmware, and the like. The storage device 204 is a readable and writable nonvolatile storage device that stores an OS that causes the driving support device 1 to function, setting information, various data, and the like.
カメラ２０５は、レンズ光学系や個体撮像素子などを含む撮像装置であって、画像を撮影することができる。本実施形態における運転支援装置１は、車両周辺の画像を撮影するために複数のカメラ２０５を含んで構成されてもよい。また、カメラ２０５は、１つの装置で撮影地点の全周囲を撮影可能な、いわゆる全天球カメラであってもよい。 The camera 205 is an imaging device including a lens optical system, an individual imaging device, and the like, and can capture an image. The driving support apparatus 1 in the present embodiment may be configured to include a plurality of cameras 205 in order to capture an image around the vehicle. Further, the camera 205 may be a so-called omnidirectional camera capable of photographing the entire periphery of the photographing point with one apparatus.
ＨＵＤユニット２０６は、フロントガラス１０を介して虚像１３を表示させる装置である。一般にＨＵＤは、光源から出力される画像を、コンバイナと呼ばれる反射体に反射させることで、虚像１３を表示する。本実施形態のＨＵＤユニット２０６は、フロントガラス１０をコンバイナとして利用することで、運転者の視野内に認識可能な虚像１３を表示できる。 The HUD unit 206 is a device that displays the virtual image 13 through the windshield 10. In general, the HUD displays the virtual image 13 by reflecting an image output from a light source to a reflector called a combiner. The HUD unit 206 of the present embodiment can display the recognizable virtual image 13 in the driver's field of view by using the windshield 10 as a combiner.
以上、本実施形態の運転支援装置１に含まれるハードウェア構成について説明した。次に、本実施形態における各ハードウェアによって実行される機能手段について、図３を以て説明する。図３は、本実施形態の運転支援装置１に含まれるソフトウェアブロック図である。 The hardware configuration included in the driving support device 1 of the present embodiment has been described above. Next, functional means executed by each hardware in the present embodiment will be described with reference to FIG. FIG. 3 is a software block diagram included in the driving support apparatus 1 of the present embodiment.
運転支援装置１は、センシングを行う周囲画像取得部３０１を含んで構成される。また、運転支援装置１は、周囲状況を識別するための物体認識部３０２、物体位置算出部３０３、相対速度算出部３０４を含んで構成される。さらに、運転支援装置１は、安全上の問題を検出するための危険度評価部３０５、危険度評価管理テーブル３０６を含んで構成される。さらに、運転支援装置１は、ＨＭＩ（Human Machine Interface）として、ＨＵＤ表示制御部３０７を含んで構成される。図３に示す矢線は、データフローを例示している。以下に、各機能手段の詳細を説明する。 The driving support device 1 includes a surrounding image acquisition unit 301 that performs sensing. The driving support device 1 includes an object recognition unit 302 for identifying the surrounding situation, an object position calculation unit 303, and a relative speed calculation unit 304. Further, the driving support device 1 includes a risk level evaluation unit 305 and a risk level evaluation management table 306 for detecting a safety problem. Furthermore, the driving assistance device 1 includes a HUD display control unit 307 as an HMI (Human Machine Interface). The arrow line shown in FIG. 3 illustrates the data flow. Details of each functional means will be described below.
周囲画像取得部３０１は、カメラ２０５が撮影した画像を取得する手段である。取得した画像は、自車両の周囲の画像である。周囲画像取得部３０１は、取得した画像を、画像データとして物体認識部３０２に転送する。 The surrounding image acquisition unit 301 is a unit that acquires an image captured by the camera 205. The acquired image is an image around the host vehicle. The surrounding image acquisition unit 301 transfers the acquired image to the object recognition unit 302 as image data.
物体認識部３０２は、周囲画像取得部３０１から取得した画像データを解析し、画像データに含まれる物体を認識する手段である。物体を認識する方法としては種々の方法を採用することができるが、一例として、取得した画像データからクラスタリングによって特徴を抽出する方法が挙げられる。抽出した特徴に基づいて、画像内の物体の特定を行う。また、物体認識部３０２は、認識した物体を自動車、二輪車、自転車、歩行者などの属性に分類することもできる。 The object recognition unit 302 is a unit that analyzes the image data acquired from the surrounding image acquisition unit 301 and recognizes an object included in the image data. Various methods can be adopted as a method for recognizing an object. An example is a method of extracting features from acquired image data by clustering. Based on the extracted features, an object in the image is specified. The object recognition unit 302 can also classify the recognized object into attributes such as a car, a two-wheeled vehicle, a bicycle, and a pedestrian.
物体位置算出部３０３は、物体認識部３０２によって認識された物体について、自車両に対する位置を算出する手段である。物体位置算出部３０３は、画像の撮影位置やカメラ２０５の画角などに基づいて、画像データを解析することで、物体の位置を算出する。物体の位置は、例えば、自車両の中心部の位置を原点とした座標系で特定され、物体の存在する方向や自車両との距離を示すデータとして出力される。なお、物体の位置を示すための座標系は、上記の例に限らず、自車両のハンドルの位置や、自車両の重心などを原点としてもよく、任意の点を原点としてもよい。 The object position calculation unit 303 is a unit that calculates the position of the object recognized by the object recognition unit 302 relative to the host vehicle. The object position calculation unit 303 calculates the position of the object by analyzing the image data based on the shooting position of the image, the angle of view of the camera 205, and the like. For example, the position of the object is specified by a coordinate system with the center position of the host vehicle as the origin, and is output as data indicating the direction in which the object exists and the distance from the host vehicle. The coordinate system for indicating the position of the object is not limited to the above example, and the position of the handle of the host vehicle, the center of gravity of the host vehicle, or the like may be used as the origin, and an arbitrary point may be used as the origin.
相対速度算出部３０４は、自車両の周囲の物体について、自車両に対する相対速度を算出する手段である。相対速度算出部３０４は、物体位置算出部３０３が算出した物体の位置の時間的な変化に基づいて、当該物体と自車両との相対速度を算出する。また、相対速度算出部３０４は、物体が接近しているか、離隔しているかを求めることもできる。 The relative speed calculation unit 304 is a means for calculating a relative speed with respect to the host vehicle for objects around the host vehicle. The relative speed calculation unit 304 calculates the relative speed between the object and the host vehicle based on the temporal change in the position of the object calculated by the object position calculation unit 303. The relative speed calculation unit 304 can also determine whether the object is approaching or separated.
危険度評価部３０５は、自車両の周囲に存在する物体の危険度を評価する手段である。物体の危険度は、後述する危険度評価管理テーブル３０６を参照することで評価される。危険度評価部３０５は、例えば、周囲の物体の相対速度、方向、距離、当該物体が接近しているか否かなどの種々の条件に基づいて、当該物体が危険であるか否かを評価することができる。また、危険度評価部３０５は、物体の属性に基づいて評価してもよい。 The risk evaluation unit 305 is a means for evaluating the risk of an object existing around the host vehicle. The risk level of an object is evaluated by referring to a risk level management table 306 described later. The risk evaluation unit 305 evaluates whether or not the object is dangerous based on various conditions such as relative speed, direction, distance, and whether or not the object is approaching, for example. be able to. Further, the risk evaluation unit 305 may perform the evaluation based on the attribute of the object.
危険度評価管理テーブル３０６は、危険度評価部３０５が自車両の周囲の物探の危険度を評価する条件を示すテーブルである。危険度評価管理テーブル３０６は、例えば、図４に示す形式で記憶装置２０４に記憶されている。図４は、本実施形態における危険度評価管理テーブル３０６の一例を示す図であり、後方から接近する物体の危険度を評価する場合の例を示している。 The risk level evaluation management table 306 is a table showing conditions under which the risk level evaluation unit 305 evaluates the risk level of object search around the host vehicle. The risk assessment management table 306 is stored in the storage device 204 in the format shown in FIG. 4, for example. FIG. 4 is a diagram showing an example of the risk evaluation management table 306 in the present embodiment, and shows an example of evaluating the risk of an object approaching from behind.
危険度評価管理テーブル３０６は、図４に示すように、相対速度と距離と危険度とが対応付けられて管理される。例えば、相対速度が２０ｋｍ／ｈで接近する物体が自車両との距離が１０ｍ以下の位置に存在している場合には、危険度評価部３０５は、当該物体の危険度が高いものとして評価する。また、相対速度が１０ｋｍ／ｈで接近する物体が自車両との距離が２０ｍ以上の位置に存在している場合には、危険度評価部３０５は、当該物体の危険度が低いものとして評価する。なお、図４に示す危険度評価管理テーブル３０６は一例であって本実施形態を限定するものではなく、物体の相対速度、位置、距離、属性などに応じて設定できる。また、危険度についても、図４に示すように３段階で評価する必要はなく、これ以外の評価であってもよい。 As shown in FIG. 4, the risk evaluation management table 306 manages the relative speed, distance, and risk in association with each other. For example, when an object approaching at a relative speed of 20 km / h is present at a distance of 10 m or less from the host vehicle, the risk evaluation unit 305 evaluates that the object has a high risk. . When an object approaching at a relative speed of 10 km / h exists at a position where the distance from the host vehicle is 20 m or more, the risk evaluation unit 305 evaluates that the object has a low risk. . The risk evaluation management table 306 shown in FIG. 4 is an example and does not limit the present embodiment, and can be set according to the relative speed, position, distance, attribute, etc. of the object. Further, the risk level need not be evaluated in three stages as shown in FIG. 4, and other evaluations may be used.
説明を図３に戻す。ＨＵＤ表示制御部３０７は、ＨＵＤユニット２０６を制御して、種々の情報を虚像１３として表示させる手段である。ＨＵＤ表示制御部３０７は、危険度評価部３０５が出力した評価結果に基づいて、自車両の周囲の物体の危険度を示す情報を表示する。また、情報は、運転手が当該物体の位置を認識しやすい位置に表示することができる。例えば、自車両の後方に危険度が高い物体が存在している場合には、ルームミラー１１に近接して情報を表示することで、運転手が当該物体を認識しやすくできる。 Returning to FIG. The HUD display control unit 307 is means for controlling the HUD unit 206 to display various information as the virtual image 13. The HUD display control unit 307 displays information indicating the risk level of objects around the host vehicle based on the evaluation result output from the risk level evaluation unit 305. The information can be displayed at a position where the driver can easily recognize the position of the object. For example, when an object with a high degree of risk exists behind the host vehicle, displaying information in the vicinity of the rearview mirror 11 makes it easier for the driver to recognize the object.
なお、上述したソフトウェアブロックは、ＣＰＵ２０１が本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。 Note that the above-described software blocks correspond to functional means that are realized by causing the hardware to function by causing the CPU 201 to execute the program of the present embodiment. In addition, all of the functional means shown in each embodiment may be realized by software, or a part or all of them may be implemented as hardware that provides an equivalent function.
ここまで、本実施形態における運転支援装置１に含まれるソフトウェアブロックについて説明した。次に、上述した各ソフトウェアブロックが実行する処理について説明する。図５は、本実施形態において運転支援装置１が実行する処理を示すフローチャートである。 So far, the software block included in the driving support device 1 in the present embodiment has been described. Next, processing executed by each software block described above will be described. FIG. 5 is a flowchart showing processing executed by the driving support device 1 in the present embodiment.
運転支援装置１は、ステップＳ５００から処理を開始する。ステップＳ５０１では、周囲画像取得部３０１が自車両の周囲の画像を取得する。取得した画像は、画像データとして物体認識部３０２に転送される。次に、ステップＳ５０２において、物体認識部３０２は、取得した画像に含まれる物体を認識する。 The driving support device 1 starts processing from step S500. In step S501, the surrounding image acquisition unit 301 acquires an image around the host vehicle. The acquired image is transferred to the object recognition unit 302 as image data. Next, in step S502, the object recognition unit 302 recognizes an object included in the acquired image.
その後、ステップＳ５０３で、物体位置算出部３０３および相対速度算出部３０４は、画像に含まれる各物体の位置や相対速度などを算出する。 Thereafter, in step S503, the object position calculation unit 303 and the relative speed calculation unit 304 calculate the position and relative speed of each object included in the image.
ステップＳ５０４では、危険度評価部３０５は、ステップＳ５０３において算出された各物体の位置や相対速度に基づいて、危険度評価管理テーブル３０６を参照して、各物体の危険度を評価する。 In step S504, the risk evaluation unit 305 refers to the risk evaluation management table 306 and evaluates the risk of each object based on the position and relative speed of each object calculated in step S503.
ステップＳ５０５では、ＨＵＤ表示制御部３０７は、物体の位置に応じて、運転手が当該物体を認識しやすい警告を位置に表示する。また、警告の表示に合わせて、警告音を発生させてもよい。なお、警告は、評価された危険度に応じて表示することができ、例えば、ステップＳ５０４において危険度が「中」や「低」と評価された物体に関する警告を表示しないこととしてもよい。ステップＳ５０５の後、運転支援装置１は、ステップＳ５０６で処理を終了する。 In step S505, the HUD display control unit 307 displays a warning at which the driver can easily recognize the object according to the position of the object. A warning sound may be generated in accordance with the warning display. The warning can be displayed according to the evaluated risk level. For example, the warning regarding the object whose risk level is evaluated as “medium” or “low” in step S504 may not be displayed. After step S505, the driving support device 1 ends the process in step S506.
上述した処理によって、物体の位置に応じて、運転手が当該物体を認識しやすい警告を位置に表示することができるので、運転手に対して物体の視認を促すことができる。 By the above-described processing, a warning that allows the driver to easily recognize the object can be displayed at the position according to the position of the object, so that the driver can be prompted to visually recognize the object.
次に、警告を表示する具体的な例について説明する。図６は、本実施形態において表示された警告情報１３ｃを含む、運転手から見える視界の例を示す図である。 Next, a specific example of displaying a warning will be described. FIG. 6 is a diagram illustrating an example of a field of view visible to the driver, including the warning information 13c displayed in the present embodiment.
図６（ａ）は、自車両の後方に危険度の高い物体が存在する場合を示している。運転者からは、図６（ａ）に示すようなイメージで、フロントガラス１０に反射した警告情報１３ｃが見える。図６（ａ）における警告情報１３ｃは、自車両の後方から接近している車両が存在する旨のメッセージと、警告を示すマークとを、後方の確認を運転手に対して促すために、ルームミラー１１に近接して表示している。また、警告情報１３ｃには、ルームミラー１１に運転手の注意が向きやすくするために、ルームミラー１１を指す矢印を表示してもよい。 FIG. 6A shows a case where an object with a high degree of danger exists behind the host vehicle. From the driver, the warning information 13c reflected on the windshield 10 can be seen with an image as shown in FIG. The warning information 13c in FIG. 6 (a) includes a message indicating that there is a vehicle approaching from behind the host vehicle and a mark indicating the warning in order to prompt the driver to confirm the rear. It is displayed close to the mirror 11. Further, in order to make it easier for the driver to pay attention to the rearview mirror 11, an arrow pointing to the rearview mirror 11 may be displayed in the warning information 13c.
このようにして警告を表示することで、運転手は、ルームミラー１１を見れば危険度の高い物体を視認できることが容易に把握できる。したがって、視点の移動に要する時間を短縮でき、運転の安全性を向上できる。 By displaying the warning in this manner, the driver can easily grasp that an object with a high degree of danger can be visually recognized by looking at the room mirror 11. Therefore, the time required for moving the viewpoint can be shortened, and driving safety can be improved.
図６（ｂ）は、自車両の右後方に危険度の高い物体が存在する場合を示している。運転者からは、図６（ｂ）に示すようなイメージで、フロントガラス１０に反射した警告情報１３ｃが見える。図６（ｂ）における警告情報１３ｃは、自車両の右後方から接近している車両が存在する旨のメッセージと、警告を示すマークとを、右後方の確認を運転手に対して促すために、右サイドミラー１２Ｒに近接して表示している。また、警告情報１３ｃには、右サイドミラー１２Ｒに運転手の注意が向きやすくするために、右サイドミラー１２Ｒを指す矢印を表示してもよい。 FIG. 6B shows a case where an object with a high degree of danger exists on the right rear side of the host vehicle. From the driver, the warning information 13c reflected on the windshield 10 can be seen with an image as shown in FIG. The warning information 13c in FIG. 6B is for prompting the driver to confirm the right rear side with a message that there is a vehicle approaching from the right rear side of the host vehicle and a mark indicating the warning. The image is displayed close to the right side mirror 12R. Further, in the warning information 13c, an arrow pointing to the right side mirror 12R may be displayed so that the driver's attention can be easily directed to the right side mirror 12R.
このようにして警告を表示することで、運転手は、右サイドミラー１２Ｒを見れば危険度の高い物体を視認できることが容易に把握できる。したがって、視点の移動に要する時間を短縮でき、運転の安全性を向上できる。 By displaying the warning in this way, the driver can easily grasp that a high-risk object can be visually recognized by looking at the right side mirror 12R. Therefore, the time required for moving the viewpoint can be shortened, and driving safety can be improved.
図６（ｃ）は、自車両の左後方のルームミラー１１やサイドミラー１２の死角に当たる領域に危険度の高い物体が存在する場合を示している。運転者からは、図６（ｃ）に示すようなイメージで、フロントガラス１０に反射した警告情報１３ｃが見える。図６（ｃ）における警告情報１３ｃは、自車両の左後方の死角から接近している車両が存在する旨のメッセージと、警告を示すマークとを表示している。また、左後方の死角にあたる領域の確認を運転手に対して促すために、フロントガラス１０の左側に表示させることが好ましい。 FIG. 6C shows a case where an object with a high degree of danger exists in the area corresponding to the blind spot of the rear left mirror 11 and the side mirror 12 of the host vehicle. From the driver, the warning information 13c reflected on the windshield 10 can be seen with an image as shown in FIG. The warning information 13c in FIG. 6C displays a message that there is a vehicle approaching from the blind spot at the left rear of the host vehicle and a mark indicating a warning. Further, in order to prompt the driver to confirm the area corresponding to the blind spot on the left rear side, it is preferable to display on the left side of the windshield 10.
このようにして警告を表示することで、運転手は、車両の左後方を目視すれば危険度の高い物体を視認できることが容易に把握できる。したがって、視点の移動に要する時間を短縮でき、運転の安全性を向上できる。 By displaying the warning in this manner, the driver can easily grasp that an object with a high degree of danger can be visually recognized by looking at the left rear of the vehicle. Therefore, the time required for moving the viewpoint can be shortened, and driving safety can be improved.
図６で説明したようにして警告を表示することで、運転手が各種ミラーや目視によって危険度の高い物体を視認しやすくできる。また、運転手に対して表示する警告は、図６に示したものに限らず、運転手が危険度の高い物体を容易に視認できるような、その他の警告を表示してもよい。 By displaying the warning as described with reference to FIG. 6, it is easy for the driver to visually recognize a high-risk object by using various mirrors and visual observation. Further, the warning displayed to the driver is not limited to that shown in FIG. 6, and other warnings may be displayed so that the driver can easily visually recognize a high-risk object.
なお、ここまで説明した実施形態では、主に自車両の後方から接近する物体に対する警告を表示する場合について説明してきたが、実施形態を限定するものではない。例えば、自車両の前方や側方に危険度の高い物体がある場合には、当該物体に対して運転手の注意を向けるような警告を表示してもよい。 In addition, although embodiment demonstrated so far has demonstrated the case where the warning with respect to the object which approaches mainly from the back of the own vehicle has been demonstrated, embodiment is not limited. For example, when there is an object with a high degree of danger in front of or on the side of the host vehicle, a warning that directs the driver's attention to the object may be displayed.
以上、説明した本発明の実施形態によれば、車両周囲の接近物の視認を運転手に促す運転支援装置、車両、システムおよび方法を提供することができる。 As described above, according to the embodiment of the present invention described above, it is possible to provide a driving assistance device, a vehicle, a system, and a method that prompt a driver to visually recognize an approaching object around the vehicle.
上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。 Each function of the above-described embodiment of the present invention can be realized by a device-executable program described in C, C ++, C #, Java (registered trademark) or the like. The program of this embodiment includes a hard disk device, a CD- It can be stored and distributed in a device-readable recording medium such as ROM, MO, DVD, flexible disk, EEPROM, EPROM, etc., and can be transmitted via a network in a format that other devices can.
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 As described above, the present invention has been described with the embodiment. However, the present invention is not limited to the above-described embodiment, and as long as the operations and effects of the present invention are exhibited within the scope of embodiments that can be considered by those skilled in the art. It is included in the scope of the present invention.
１…運転支援装置、１０…フロントガラス、１１…ルームミラー、１２…サイドミラー、１３…虚像、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…記憶装置、２０５…カメラ、２０６…ＨＵＤユニット、３０１…周囲画像取得部、３０２…物体認識部、３０３…物体位置算出部、３０４…相対速度算出部、３０５…危険度評価部、３０６…危険度評価管理テーブル、３０７…ＨＵＤ表示制御部 DESCRIPTION OF SYMBOLS 1 ... Driving assistance device, 10 ... Windshield, 11 ... Room mirror, 12 ... Side mirror, 13 ... Virtual image, 201 ... CPU, 202 ... RAM, 203 ... ROM, 204 ... Storage device, 205 ... Camera, 206 ... HUD unit , 301 ... Ambient image acquisition unit, 302 ... Object recognition unit, 303 ... Object position calculation unit, 304 ... Relative speed calculation unit, 305 ... Risk assessment unit, 306 ... Risk assessment management table, 307 ... HUD display control unit
Claims (8)
前記周囲画像取得部が取得した前記撮影データから、前記自車両の周囲に存在する物体を認識する物体認識部と、
前記物体認識部が認識した前記物体が所定の条件を満たすか否かを評価する評価部と、
前記評価部が評価した結果に基づいて、前記自車両の運転手が前記物体認識部によって認識された前記物体を視認できる場所を示す警告情報を表示する表示制御部と
を含む、運転支援装置。 A surrounding image acquisition unit for acquiring shooting data obtained by shooting the surroundings of the own vehicle;
An object recognition unit for recognizing an object existing around the host vehicle from the shooting data acquired by the surrounding image acquisition unit;
An evaluation unit that evaluates whether or not the object recognized by the object recognition unit satisfies a predetermined condition;
A display control unit that displays warning information indicating a place where the driver of the host vehicle can visually recognize the object recognized by the object recognition unit based on a result of evaluation by the evaluation unit.
前記物体が所定の条件を満たすか否かを評価する評価部と、
前記評価部が評価した結果に基づく情報を、前記認識手段によって認識された前記物体を視認できる場所を示す警告情報を表示する表示制御部と
を含む、システム。 An object recognition unit for recognizing objects around the host vehicle;
An evaluation unit for evaluating whether or not the object satisfies a predetermined condition;
A display control unit for displaying information based on a result of evaluation by the evaluation unit and displaying warning information indicating a place where the object recognized by the recognition unit can be visually recognized.
前記物体が所定の条件を満たすか否かを評価するステップと、
前記評価するステップにおいて評価した結果に基づく情報を、前記認識するステップにおいて認識された前記物体を視認できる場所を示す警告情報を表示するステップと
を含む、方法。 Recognizing objects around the vehicle,
Evaluating whether the object satisfies a predetermined condition;
Displaying warning information indicating a place where the object recognized in the step of recognizing information based on a result of the evaluation in the step of evaluating may be displayed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018046860A JP7183549B2 (en) | 2018-03-14 | 2018-03-14 | DRIVING ASSIST DEVICE, VEHICLE, SYSTEM AND METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018046860A JP7183549B2 (en) | 2018-03-14 | 2018-03-14 | DRIVING ASSIST DEVICE, VEHICLE, SYSTEM AND METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019159917A true JP2019159917A (en) | 2019-09-19 |
| JP7183549B2 JP7183549B2 (en) | 2022-12-06 |
Family
ID=67996267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018046860A Active JP7183549B2 (en) | 2018-03-14 | 2018-03-14 | DRIVING ASSIST DEVICE, VEHICLE, SYSTEM AND METHOD |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7183549B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116394965A (en) * | 2023-04-26 | 2023-07-07 | 深圳市科莱德电子有限公司 | Intelligent driving assistance system, control method and device thereof, and storage medium |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087337A (en) * | 2005-09-26 | 2007-04-05 | Toyota Motor Corp | Vehicle peripheral information display device |
| JP2008062762A (en) * | 2006-09-06 | 2008-03-21 | Fujitsu Ten Ltd | Drive assist device and drive assist method |
| JP2010108264A (en) * | 2008-10-30 | 2010-05-13 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
| JP2010143411A (en) * | 2008-12-18 | 2010-07-01 | Denso Corp | Head-up display device |
| WO2014076841A1 (en) * | 2012-11-19 | 2014-05-22 | パイオニア株式会社 | Display apparatus, control method, program, and recording medium |
| JP2015199364A (en) * | 2014-04-04 | 2015-11-12 | パナソニックＩｐマネジメント株式会社 | Head-up display device and vehicle mounting the same |
| JP2017021546A (en) * | 2015-07-10 | 2017-01-26 | 田山 修一 | Image displaying system, and method, for on-vehicle use |
| US20170060234A1 (en) * | 2015-08-26 | 2017-03-02 | Lg Electronics Inc. | Driver assistance apparatus and method for controlling the same |
| JP2017090996A (en) * | 2015-11-04 | 2017-05-25 | 株式会社デンソー | On-vehicle display apparatus |
-
2018
- 2018-03-14 JP JP2018046860A patent/JP7183549B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087337A (en) * | 2005-09-26 | 2007-04-05 | Toyota Motor Corp | Vehicle peripheral information display device |
| JP2008062762A (en) * | 2006-09-06 | 2008-03-21 | Fujitsu Ten Ltd | Drive assist device and drive assist method |
| JP2010108264A (en) * | 2008-10-30 | 2010-05-13 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
| JP2010143411A (en) * | 2008-12-18 | 2010-07-01 | Denso Corp | Head-up display device |
| WO2014076841A1 (en) * | 2012-11-19 | 2014-05-22 | パイオニア株式会社 | Display apparatus, control method, program, and recording medium |
| JP2015199364A (en) * | 2014-04-04 | 2015-11-12 | パナソニックＩｐマネジメント株式会社 | Head-up display device and vehicle mounting the same |
| JP2017021546A (en) * | 2015-07-10 | 2017-01-26 | 田山 修一 | Image displaying system, and method, for on-vehicle use |
| US20170060234A1 (en) * | 2015-08-26 | 2017-03-02 | Lg Electronics Inc. | Driver assistance apparatus and method for controlling the same |
| JP2017090996A (en) * | 2015-11-04 | 2017-05-25 | 株式会社デンソー | On-vehicle display apparatus |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116394965A (en) * | 2023-04-26 | 2023-07-07 | 深圳市科莱德电子有限公司 | Intelligent driving assistance system, control method and device thereof, and storage medium |
| CN116394965B (en) * | 2023-04-26 | 2024-01-23 | 深圳市科莱德电子有限公司 | Intelligent driving assistance system, control method and device thereof, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7183549B2 (en) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10733462B2 (en) | Travel assistance device and computer program | |
| JP6394281B2 (en) | In-vehicle alert system, alarm control device | |
| JP5842110B2 (en) | Display control device, display control program, and recording medium | |
| JP6304628B2 (en) | Display device and display method | |
| JP6379779B2 (en) | Vehicle display device | |
| JPWO2016067574A1 (en) | Display control apparatus and display control program | |
| WO2016147584A1 (en) | Vehicle monitoring device, vehicle monitoring method, and vehicle monitoring program | |
| KR101976106B1 (en) | Integrated head-up display device for vehicles for providing information | |
| KR20180022374A (en) | Lane markings hud for driver and assistant and same method thereof | |
| JP2020091663A (en) | Display controller for vehicles | |
| JP2016091192A (en) | Virtual image display apparatus, control method, program, and storage medium | |
| JP2023021123A (en) | Driving support device, driving condition information acquisition system, driving support method, and program | |
| KR101730740B1 (en) | Driving assistant apparatus | |
| JP6805974B2 (en) | Driving support device and computer program | |
| JP2018005261A (en) | Feedback device, feedback method, and program | |
| JP7183549B2 (en) | DRIVING ASSIST DEVICE, VEHICLE, SYSTEM AND METHOD | |
| JP2019188855A (en) | Visual confirmation device for vehicle | |
| KR102094405B1 (en) | Method and apparatus for determining an accident using an image | |
| JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle | |
| JP2007133644A (en) | Pedestrian recognition device | |
| JP6415968B2 (en) | COMMUNICATION DEVICE, WARNING DEVICE, DISPLAY DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| KR101636301B1 (en) | System and method for anti-collision of the vehicle | |
| JP6365409B2 (en) | Image display device for vehicle driver | |
| JP2019077340A (en) | Head-up display device | |
| JP7043795B2 (en) | Driving support device, driving status information acquisition system, driving support method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221107 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7183549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |