JP2019075150A - 運転支援装置、及び運転支援システム - Google Patents
運転支援装置、及び運転支援システム Download PDFInfo
- Publication number
- JP2019075150A JP2019075150A JP2018241012A JP2018241012A JP2019075150A JP 2019075150 A JP2019075150 A JP 2019075150A JP 2018241012 A JP2018241012 A JP 2018241012A JP 2018241012 A JP2018241012 A JP 2018241012A JP 2019075150 A JP2019075150 A JP 2019075150A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- person
- display
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 142
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 230000033001 locomotion Effects 0.000 claims description 50
- 238000000034 method Methods 0.000 description 348
- 230000008569 process Effects 0.000 description 344
- 238000012545 processing Methods 0.000 description 155
- 238000010295 mobile communication Methods 0.000 description 21
- 238000010191 image analysis Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 14
- 230000005856 abnormality Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 12
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 9
- 230000004397 blinking Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000012217 deletion Methods 0.000 description 7
- 230000037430 deletion Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 239000005357 flat glass Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000033748 Device issues Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 235000019441 ethanol Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
- Instrument Panels (AREA)
Abstract
Description
この特許文献1に記載の表示装置は、車両の状態(位置や速度等)を観測する観測装置と、外の風景の画像情報を予め蓄積しておく蓄積装置とを備えており、観測装置により観測された車両の位置を表す情報に基づき、その観測された位置において車両の外に見えるであろう風景の画像情報を蓄積装置より取得し、その画像情報が表す画像を車両の窓に表示させる。
このような運転支援装置によれば、車両の周辺の対象物の種類及び状態等に応じて、対象物毎に警戒すべき度合い(以下、警戒レベルとも称する)が設定され、その警戒レベルに応じた画像が表示されるようになる。このため、車両の運転者は、対象物の種類及び状態等に応じて、どの程度警戒すべきか(警戒したら良いか)を把握することができるようになる。
・対象物を囲む画像
・対象物を指し示す画像(例えば、矢印の画像)
・対象物を模式的に表す画像(対象物のイラストの画像など)
・対象物の存在を知らせるメッセージの画像
上記のような画像は、単独で又は組み合わされて、表示手段により表示されても良い。
また、組み合わされて表示される場合には、複数の画像が同時に表示されても良いし、時間差をもって表示されても良い。時間差をもって表示される場合、具体的には、ある画像が表示されてから所定時間後に、次の画像が表示されても良い。例えば、対象物を囲む画像が表示されてから所定時間後に、その対象物を指し示す矢印の画像が表示されても良い。
例えば、検知手段の検知結果等に基き解析することができる。一例では、検知手段としての撮像装置の撮像画像を画像解析することによって距離を算出することができる。また、検知手段が距離センサを含むものであれば、距離センサの出力結果(出力信号)に基づき対象物までの距離を算出することができる。
一方、設定手段は、自車両の存在を認識している対象物については、警戒レベルを相対的に低く設定しても良い。また、警戒レベルを下げても良い。
また、解析手段は、人がヘッドフォンを使用しているか否かを解析するように構成されても良い。また、解析手段は、人がヘッドフォンを使用しているという場合に、その人が自車両の存在を認識しているか否かを解析(又は推定)するように構成されても良い。
さらに、解析手段は、人の移動速度を算出しても良い。
この場合、生成手段は、人の移動速度を表す画像を生成するように構成されても良い。
なお、他の局面では、本発明は、上述の運転支援装置を備えるシステム(運転支援システム)であっても良い。
<第1実施形態>
1.全体構成
図1に示すように、本第1実施形態の運転支援装置1は、赤外線レーダ2と、ミリ波レーダ3と、赤外線カメラ4と、可視光カメラ5と、運動量検出ユニット6と、ヘッドアップディスプレイ7と、スピーカユニット8と、制御ECU20と、を備える。
以下、運転支援装置1が備える各構成について、図1及び図2に基づき説明する。
赤外線レーダ2は、赤外線を用いて周辺の状況を探知する(換言すれば、対象物(以下、オブジェクト)の有無、及びそのオブジェクトまでの距離を検出する)レーダである。
赤外線レーダ2は、赤外線送受光部2aにて、赤外線を照射し、オブジェクトにて反射して返ってくる反射光を受光する。そして、信号処理部2bが、赤外線の照射時刻と反射光の受光時刻との時間差に基づき、オブジェクトまでの距離を算出する。算出された距離を表すデータは、外部インタフェース2cを介して制御ECU20に送信される。
ミリ波レーダ3は、ミリ波帯の電波を用いて周辺の状況を探知するレーダである。
図2に示すように、ミリ波レーダ3は、ミリ波送受信部3aと、信号処理部3bと、外部インタフェース3cとを備える。
本第1実施形態では、前述の赤外線レーダ2にて近距離(数十mまで)のオブジェクトを検出し、ミリ波レーダ3にて遠距離(数十m〜150m程度(ないしそれ以上)まで)のオブジェクトを検出するように構成される。
赤外線カメラ4は、物体から放出される赤外線を検出することで周辺の状況を探知するカメラである。
赤外線カメラ4は、赤外線イメージセンサ4aにて、赤外領域の光(赤外線)を検出する。そして、画像処理部4bが、赤外線イメージセンサ4aにて検出された赤外線の波長及び強度等を電気信号に変換し、その電気信号に基づき画像を生成する。生成された画像を表すデータは、外部インタフェース4cを介して制御ECU20に送信される。
[可視光カメラ]
可視光カメラ5は、環境光及びヘッドライト光の反射光を検出することで周辺の状況を探知するカメラである。
可視光カメラ5は、CCDイメージセンサ5aにて、光を検出し、検出した光の明暗を電荷の量に光電変換する。その電荷量のデータは画像処理部5bに転送される。画像処理部5bは、画素毎の電荷量のデータに基づき、色及び明暗を再現してカラー画像を生成する。生成された画像の情報は、外部インタフェース5cを介して制御ECU20に送信される。
[運動量検出ユニット]
運動量検出ユニット6は、自車両の運動量を検出するためのユニットであり、車速センサ6a、ヨーレートセンサ6b及び操舵角センサ6cを備える。
[ヘッドアップディスプレイ]
ヘッドアップディスプレイ(HUD:Head Up Display)7は、車両の窓(一例では、フロントウィンドウ)に、画像を重畳して表示する装置である。
[スピーカユニット]
スピーカユニット8は、制御ECU20による制御に基づき、車両の周辺に音(音声を含む)を発する装置である。
制御ECU20は、CPU20a、ROM20b、RAM20c、フラッシュメモリ20d、及び通信インタフェース20e等を備える電子制御装置であり、各種処理を実行する。
[運転支援処理]
以下、運転支援装置1の制御ECU20が実行する処理の概要について図3を用いて説明する。
次に、S112に移行し、ミリ波レーダ3からの信号を取得する。
続くS114では、赤外線レーダ2からの信号及びミリ波レーダ3からの信号に基づき、探知範囲にオブジェクトが存在するか否かを判定する。
S124では、赤外線カメラ4から画像データを取得する。なお、この場合、赤外線カメラ4A,4Bの何れかの画像データを取得しても良いし、両方を取得しても良い。両方を取得する場合には、2つの画像データの平均値を算出して利用しても良い。また、2つの画像データのそれぞれから、精度の高い部分(ノイズ等が少ない部分)を抽出してそれらを組み合わせたデータを生成して利用しても良い。
次に、S130にて、S128の認識処理の結果に基き車両の周辺のオブジェクトの情報を表示する表示処理を実行する。この処理は、換言すれば、オブジェクトの存在を、所定の画像の表示によって運転者に通知する処理である。表示処理の詳細については後述する。
以下、S128の認識処理について、図4を用いて具体的に説明する。
制御ECU20は、S128の認識処理(図4の認識処理)を開始すると、まず、S140にて、赤外線カメラ4の画像データ及び可視光カメラ5の画像データから、それらのデータが表す画像の解析処理を行う。具体的には、画像を構成する画素毎に、その画素の輝度(明暗)を解析する処理を実行する。なお、赤外線カメラ4の画像データ及び可視光カメラ5の画像データについては、何れか一方が利用されても良いし、両方が利用されても良い。何れの画像データの場合も基本的には以下の処理フローが適用され得る。
S148にて、「その他」(ここでは、具体的には、人及び車両以外を指すものとする)であると判定すると、当該処理を終了する。これは、抽出されたオブジェクトのうち、「その他」に分類されるオブジェクトについては、さらなる解析を行わず、警告表示も行わないという趣旨である。なお、「その他」に分類されるオブジェクトについても運転者に通知する(表示する)ようにしても良い。
例えば、車両の情報を自車両の運転者に通知するか否かについては予め設定可能に構成されても良い。そして、S150では、その設定に基づき判定しても良い。また、車両と自車両との位置関係及び相対速度等を検出し、それらに基づき危険性を判断して、危険であると判断した場合に、警告すると判定するようにしても良い。
一方、S150にて警告すると判定すると、S156に移行し、車両について警告を行う旨を表すフラグ(車両警告フラグ)の設定を行う。その後、S154に移行する。
S152では、抽出された人の状況、状態等をさらに解析する解析処理を実行する。解析処理の詳細については後述する。
以下、S152の解析処理について、図5〜図13を用いて具体的に説明する。本第1実施形態では、図5〜図12(及び図13)の解析処理1〜7が、並行して又は所定の順で順次実行される。また、解析処理1〜7は、前述のS148で「人」であると認識されたオブジェクトのそれぞれについて実行される。
[解析処理1]
図5の解析処理1は、オブジェクト(人)が存在する位置(箇所)を解析し、その位置に応じて警戒レベルを設定する処理である。
S160の後はS162に移行し、オブジェクト(人)が自車両の走行ルート上に存在するか否かを判定する。
S164では、オブジェクト(人)に対する警戒レベルの数値を3ポイントインクリメントする。その後、当該処理を終了する。なお、本第1実施形態では、警戒レベルの数値は、1〜3の範囲でインクリメントされる。インクリメントしない場合には、フローチャートにおいては、「+0」と記載している。この値は一例であり、適宜、どのような値が設定されても良い。
S162にてオブジェクト(人)が自車両の走行ルート上に存在しないと判定すると、S166に移行する。
S166にて、オブジェクト(人)が道路上に存在すると判定すると、S168に移行する。
S166にて、オブジェクト(人)が道路上に存在しないと判定すると、S170に移行する。
S170にてオブジェクト(人)が歩道上に存在すると判定すると、警戒レベルを1ポイントインクリメントする。
解析処理2について図6を用いて説明する。
図6の解析処理2は、自車両からオブジェクト(人)までの距離を算出し、その算出した距離に応じて警戒レベルを設定する処理である。
次に、S182に移行し、S180にて算出した距離が所定の閾値β以下であるか否かを判定する。βの値は適宜設定され得る。
S184では、警戒レベルを1ポイントインクリメントする。その後、当該処理を終了する。
解析処理3について図7を用いて説明する。
図7の解析処理3は、オブジェクト(人)が携帯端末を携帯及び操作しているか否か(及び自車両を認識しているか否か)を解析し、その結果に基き警戒レベルを設定する処理である。
S194では、携帯端末が動作中であるか否かを判定する。ここでは、画像解析(S140〜S146の処理)の結果に基き、携帯端末であると認識された領域における輝度(明暗)から、携帯端末が動作中であるか否かを判定する。これは、携帯端末が動作中である場合にその携帯端末における表示画面の部分の輝度(明暗)が高くなることを前提として判定を行う趣旨である。
S196では、携帯端末は動作中でないもののオブジェクト(人)が携帯端末を把持しているという判定のもと、警戒レベルを1ポイントインクリメントする。そしてその後、当該処理を終了する。
一方、S198にて操作中であると判定すると、S200に移行する。
S200では、オブジェクト(人)が自車両の存在を認識しているか否かを判定する処理(以下、認識判定処理)を実行する。
S200の認識判定処理(図13の認識判定処理)では、まず、S400にて、オブジェクト(人)における顔の領域を抽出する。
そして、S404にて、両目を検出できた否かを判定する。
一方、S404にて両目を検出できないと判定した場合には、自車両はオブジェクト(人)の視界の範囲内に存在しない可能性があると判断し、この判断に基づき、オブジェクト(人)は自車両の存在を認識していないと簡易判定して、S408に移行する。
S200の認識判定処理(図13の認識判定処理)の次は図7のS202に移行する。
S204では、オブジェクト(人)が自車両の存在を認識している一方で携帯端末を操作中であるという判断のもと、警戒レベルを2ポイントインクリメントする。そしてその後、当該処理を終了する。
S206では、オブジェクト(人)が携帯端末を操作しており自車両の存在を認識していないという判断のもと、警戒レベルを3ポイントインクリメントする。
[解析処理4]
解析処理4について、図8を用いて説明する。
S200及びS202の処理は、図7において説明したS200及びS202の処理と同一であり、ここでは説明を省略する。
S218では、オブジェクト(人)が自車両の存在を認識している一方でヘッドフォンを使用しているという判断のもと、警戒レベルを1ポイントインクリメントする。そしてその後、当該処理を終了する。
S220では、オブジェクト(人)がヘッドフォンを使用しており自車両の存在を認識していないという判断のもと、警戒レベルを3ポイントインクリメントする。
[解析処理5]
解析処理5について、図9を用いて説明する。
解析処理5では、まず、S230にて、オブジェクト(人)が会話中又は通話中であるか否かを判定する。ここでは、画像解析(S140〜S146の処理)の結果に基き判定する。
S200及びS202の処理は、図7において説明したS200及びS202の処理と同一であり、ここでは説明を省略する。
S238では、オブジェクト(人)が自車両の存在を認識している一方で会話中又は通話中であるという判断のもと、警戒レベルを1ポイントインクリメントする。そしてその後、当該処理を終了する。
S240では、オブジェクト(人)が会話中又は通話中であり自車両の存在を認識していないという判断のもと、警戒レベルを3ポイントインクリメントする。
[解析処理6]
解析処理6について、図10を用いて説明する。
解析処理6では、まず、S250において、赤外線カメラ4又は可視光カメラ5から、画像データを再取得する。
S250及びS252の処理は、オブジェクト(人)の動きを時系列に追跡するために実行される。
S258では、S254の追跡処理の結果に基き、オブジェクト(人)が移動しているか否かを判定する。
一方、S258にて、オブジェクト(人)が移動していると判定すると、S280のサブルーチン処理に入る。
S280のサブルーチン処理(図11のサブルーチン処理)を開始すると、まず、S282にて、オブジェクト(人)の移動方向が自車両の移動方向と同一であるか否かを判定する。
一方、S282にて、移動方向が同一でないと判定すると、自車両はオブジェクト(人)の視界の範囲内に存在する可能性が高い(ひいては、オブジェクト(人)は自車両の存在に気付いている可能性が高い)という判断のもと、S286に移行し、警戒レベルをインクリメントすることなく、その後当該処理を終了する。
S262では、オブジェクト(人)が蛇行しているか否かを判定する。蛇行者については、飲酒によるふらつき、自転車の二人乗りによるふらつき等が警戒される。
S266では、オブジェクト(人)が自車両の走行ルートに近づいているか否かを判定する。
次に、S272に移行し、オブジェクト(人)の移動方向を示す画像を表示する旨のフラグを設定する。このフラグが設定されると、オブジェクト(人)の移動方向を示す画像が図4のS154の処理にて生成され、その画像が、図3のS130の処理にて表示されることとなる。この一連の処理は、オブジェクト(人)の移動方向を示す画像を表示することで車両の運転者により注意を促すことを趣旨として実行される。
解析処理7について、図12を用いて説明する。
図12の解析処理7は、オブジェクト(人)が子供であるか否かを簡易判定し、その結果に基き警戒レベルを設定する処理である。
次に、図4のS154の表示データ生成処理について、図14を用いて説明する。
表示データ生成処理では、まず、S500にて、図3のS140〜S148にて認識したオブジェクト(人又は車両)を抽出する。
S504の強調画像生成処理(図15の強調画像生成処理)を開始すると、まず、S520にて、各オブジェクト(人)のそのオブジェクト領域に合わせて、その領域を囲む画像を生成する。オブジェクト領域を囲む画像としては、三角形、四角形、円、又は楕円など、適宜設定され得る。
S524にて全てのオブジェクト(人)について画像を設定していない(未設定のオブジェクト(人)が存在する)と判定すると、S520(及びS522)の処理に戻る。
S504の強調画像生成処理(図15の強調画像生成処理)を終了すると、図14のS506に移行する。
S506にて、車両警告フラグが設定されていると判定すると、S508に移行し、対象のオブジェクト(車両)に対応付けて、そのオブジェクト(車両)を強調するための画像を生成する。具体的には、図4のS140〜S148の処理にて認識されたオブジェクト(車両)のそのオブジェクト領域を囲む画像を生成する。オブジェクト領域を囲む画像としては、三角形、四角形、円、又は楕円など、適宜設定され得る。S508の処理の後はS510に移行する。
S510では、オブジェクト(人)が自車両の存在を認識していないことを運転者に通知(警告)するための画像表示を行う旨のフラグ(以下、不認識通知フラグ)が設定されているか否かを判定する。このフラグは、図7〜9のS208の処理にて設定される。
S514では、オブジェクト(人)の移動方向を示す画像を表示する旨のフラグ(以下、移動表示フラグ)が設定されているか否かを判定する。このフラグは、図10のS272の処理にて設定される。
S518では、他にオブジェクトがあるか否か(強調するための画像を生成すべきオブジェクトがあるか否か)を判定する。
一方、S518にてオブジェクトがないと判定すると、当該処理を終了する。
[表示処理]
次に、図3におけるS130の表示処理について、図16を用いて説明する。
S544にて追加の画像があると判定すると、再びS542の処理を実行する。
3.本実施形態の作用
次に、本第1実施形態の作用(表示の態様の一例)について、図17〜図20を用いて説明する。
この例は、人及び車両の両方について、強調のための画像を重畳表示する例である。
また、オブジェクトV0,V1,V2について、そのオブジェクトV0,V1,V2を囲む楕円形の枠X0,X1,X2が表示されている。
このような状況において、赤外線カメラ4A,4Bの視差又は可視光カメラ5A,5Bの視差に基づき、オブジェクトV0とオブジェクトV2とについて、立体情報(奥行き情報)から位置関係が把握されても良い。具体的には、制御ECU20は、立体情報(奥行き情報)に基づき、オブジェクトV0とオブジェクトV2とを同一のオブジェクトと認識するのではなく、異なる別個のオブジェクトと認識するように構成されている。
運転支援装置1は、4人それぞれについて、画像解析により各人の状態を解析し、解析した状態に応じた警告画像を表示する。
まず、オブジェクトH1〜H4それぞれについて、強調のための枠W(W1,W2,W3,W4)が表示されている。枠Wは、オブジェクトH1〜H4の領域を囲むように生成されて表示されても良い。例えば、オブジェクトHが立っている人であるという場合には、枠Wは縦長に生成されて表示されるように構成されても良い。また、オブジェクトHが人であって何らかの理由で寝ている(倒れている)という場合には、枠Wは横長に生成されて表示されるように構成されても良い。また、オブジェクトHが座っている人であるという場合には、枠Wの縦横比はおおよそ等しくなるように生成されて表示されるように構成されても良い。
オブジェクトH1,H2は、自車両の走行ルート内に存在している。
特に、オブジェクトH1について、自車両からの距離が所定の閾値β以下であるとする。これにより、オブジェクトH1について、警戒レベルが相対的に高く設定されると、枠W1は、より強調されるような表示態様で表示される。例えば、枠W1は、二重の枠にて構成されても良い。また、蛍光色等のより目立つ色で表示されても良い。
運転支援装置1は、オブジェクトH1,H2が会話中であると判定すると、オブジェクトH1,H2に対応付けて、会話中であることを示す会話シンボルM1,M2を枠W1,W2の近辺に重畳表示しても良い。会話シンボルM1,M2のデータは、フラッシュメモリ20dに記憶されている。なお、会話シンボルM1,M2のデータは、ROM20bに記憶されていても良い。後述の携帯端末シンボルM3、ヘッドフォンシンボルM4、不認識シンボルM1‘、及び認識シンボルM2‘についても同様である。
このように、運転支援装置1によれば、オブジェクトが人である場合に、その人の状態を表す情報が表示されるため、運転者は、人の存在のみならず、その人の状態を認識できるようになる。このため、運転者にとって、車両の周囲の人の状態に応じた運転を実現することが可能となる。即ち、運転の安全性を向上させることに寄与することができる。
オブジェクトH5,H6は横断歩道を歩行する歩行者であり、オブジェクトH7,H8は自転車の乗っている人である。
W5,W6,W7,枠8の表示態様は、例えば、自車両からオブジェクトH5,H6,H7,H8までの各距離に応じて異なっていても良い。例えば、線の太さが異なっても良い。
具体的には、矢印Yの長さによって、移動速度の大小を示しても良い。例えば、図19の例において、長さの比較が容易な矢印Y5,Y6,Y7を対象とする。図19では、矢印Y7の長さが最も長く、オブジェクトH7の移動速度が最も大きいことが認識され得る。一方、矢印Y6が最も短く、オブジェクトH6の移動速度が最も小さいことが認識され得る。矢印Y5の長さは、矢印Y7と矢印Y6との中間であり、オブジェクトH5の移動速度はオブジェクトH7の移動速度とオブジェクトH6の移動速度との間であることが認識され得る。
図20の例では、オブジェクトH9が抽出され認識されている。
そして、オブジェクトH9を強調するための枠W9が重畳表示されている。枠W9は、夜間において視認されやすいよう、ホワイト系の色、又は蛍光色にて描画されても良い。
運転支援装置1は、オブジェクトH9を検出した段階で枠W9と矢印シンボルM9とを同時に表示するように構成されても良い。また、例えば、枠W9を表示して、所定時間経過した後に矢印シンボルM9を追加的に表示するように構成されても良い。後者の構成によれば、強調の効果をより高めることができる。
補助表示領域P2には、オブジェクトH9を表すシンボルマークh9が表示されている。このようなシンボルマークを追加的に表示することにより、運転者の注意をよりひくことが可能となる。
補助表示領域P4には、注意シンボルM9‘と同じシンボルであるシンボルm9が表示されている。注意シンボルM9‘とシンボルm9とは、連動して表示されても良い。例えば、注意シンボルM9‘が表示されると自動的にシンボルm9が表示されるようにしても良い。また、注意シンボルM9‘が消去されるとシンボルm9も消去されるようにしても良い。
また、会話シンボルM1,M2、携帯端末シンボルM3、及びヘッドフォンシンボルM4は、象徴記号の一例に相当する。
本発明の第2実施形態について、図21〜図25を用いて説明する。
第2実施形態の運転支援装置100(図21参照)は、第1実施形態の運転支援装置1(図2参照)と比較して、画像投影装置9を備えている点が異なっている。
まず、図4の認識処理に代えて、図22の認識処理(2)を実行する。
また、図3におけるS130の表示処理(図16の表示処理)に代えて、図25の表示処理(2)を実行する。
画像投影装置9は、車両外部の環境における領域であって、スクリーンとして画像を投影し得る領域に画像を投影するための装置である。スクリーンとして画像を投影し得る領域は、赤外線カメラ4又は可視光カメラ5による撮像画像を解析することによって検出され得る。
次に、運転支援装置100が実行する認識処理(2)について、図22を用いて説明する。
[スクリーン判定処理]
スクリーン判定処理の流れを図23に示す。
制御ECU20は、S550のスクリーン判定処理(図23のスクリーン判定処理)を開始すると、まず、S560にて、オブジェクト領域の面積が所定の面積S以上であるか否かを判定する。この処理は、画像を投影するのに十分な領域(面積)を有するか否かを判定する趣旨の処理である。
一方、S560にてオブジェクト領域の面積が所定の面積S以上であると判定すると、S562に移行する。
S562にて投影可能な距離でないと判定すると、当該処理を終了する。
S564では、オブジェクト領域の面の平坦度を推定する処理(平坦度推定処理)を実行する。平坦度推定処理では、オブジェクト領域の画像解析を行い、そのオブジェクト領域の面の平坦度を推定する。
S566にて平坦度が所定の閾値F以下でないと判定すると、当該処理を終了する。
S568では、オブジェクト領域の面の色を推定する処理(色推定処理)を実行する。色推定処理は、オブジェクト領域の面に画像を投影可能か否かを判断するために実行される。
S568の次はS570に移行し、S568での推定結果に基き、オブジェクト領域の面の色が、画像を投影可能な色であるか否かを判定する。
一方、S570にて投影可能であると判定すると、S572に移行する。
S572では、対象のオブジェクト領域について、スクリーンとして画像を投影可能であることを示すフラグ(投影可能フラグ)を設定する。
[解析処理8]
制御ECU20は、さらに、図22におけるS152の解析処理のひとつとして、解析処理8を実行する。
制御ECU20は、解析処理8を開始すると、まず、S580にて、抽出できた人及び車両の位置関係から、人が車両(他車両)の死角に存在するか否かを判定する。この判定では、他車両の進行方向、人及び他車両周辺のオブジェクト(障害物)等を抽出して、人が他車両の運転者の視界領域に存在するか否かを総合的に判断する。
一方、S580にて、死角に存在すると判定すると、S582に移行し、車両の外部環境に画像を投影する旨のフラグ(投影実行フラグ)を設定する。その後、当該処理を終了する。
次に、表示処理(2)について、図25を用いて説明する。
図25の表示処理(2)において、S540〜S544の処理は、図16におけるS540〜S544の処理と同一であるため、ここでは説明を省略する。
S590では、投影可能フラグ及び投影実行フラグが設定されているか否かを判定する。投影可能フラグは、前述のS572の処理(図23参照)にて設定されるフラグである。投影実行フラグは、前述のS582の処理(図24参照)にて設定されるフラグである。
S592では、前述のS574にて記憶した、スクリーンとして画像を投影可能であるオブジェクト領域の情報(具体的には、座標値、範囲、面積等の情報)を、画像投影装置9に送信する。
図26においては、車両(自車両)K1に、運転支援装置100が搭載されている。自車両K1の周辺には、他車両K2が存在する。また、オブジェクトH10,H11が存在する。
他車両K2の方向からみて、オブジェクトH11は、オブジェクトH10の陰に隠れている。即ち、他車両K2の運転者からはオブジェクトH10を視認できない位置関係が形成されている。
自車両K1の運転支援装置100は、赤外線カメラ4の画像データの解析又は可視光カメラ5の画像データの解析により、オブジェクトH10,H11を検出する。また、他車両K2を検出する。
また、オブジェクトH10,H11、及び他車両K2の位置関係を解析し、オブジェクトH11が、他車両K2の運転者の視界の範囲内か否かを判定する。
<第3実施形態>
本発明の第3実施形態について、図27〜図31を用いて説明する。
また、運転支援装置101は、図3の運転支援処理に代えて図29の運転支援処理(2)を実行する点が運転支援装置1と異なっている。
視線検出ユニット10は、車両内に搭載され、画像認識により車両の運転者の眼球(瞳孔)の動きを追跡することで、視線を検出する装置である。
LED光源10bは、目に見えない近赤外線を照射する。この近赤外線は、運転者の目に向けて照射される。この場合、近赤外線は目の角膜において反射し、反射の位置は、周辺と比較して明るい部分として検出され得る。また、反射の位置については、視線が変化しても(瞳孔の位置が変化しても)一定の位置を保つという特徴がある。
画像解析では、角膜における前述の反射位置(近赤外線の反射位置)と、瞳孔の位置とを検出する。
瞳孔は目の中において他の部分よりも暗く、角膜反射は目の中において他の部分よりも明るい。この特徴を利用し、画像解析では、瞳孔及び角膜反射を検出するとともに、それらの位置関係を解析する。
次に、運転支援装置101が実行する運転支援処理(2)について、図29を用いて説明する。
補正判定処理について、図30を用いて具体的に説明する。
次に、S612に移行し、視線検出ユニット10による解析データ(換言すれば、視線の移動を示すデータ)を取得する。
次に、S616に移行し、S612及びS614の処理と同じ処理を所定回数反復して実行する。この処理は、運転者の視線の移動を所定期間監視する(追跡する)趣旨で実行される。
一方、S618において、所定回数以上移動したと判定すると、その所定回数以上移動したと判定される領域のオブジェクト(人)に対応付けて、強調するための画像を消去する旨のフラグ(画像消去フラグ)を設定する。
図30におけるS504の強調画像生成処理では、強調するための画像を消去するフラグが設定されたオブジェクト(人)を除いて、他のオブジェクト(人)について、改めて、S520〜S524の処理(図15参照)を実行する。
次に、S602の表示補正処理について、図31を用いて説明する。
S602の表示補正処理(図31の表示補正処理)を開始すると、まず、S630にて、画像消去フラグが設定されているか否かを判定する。画像消去フラグは、前述のS620の処理にて、オブジェクト(人)に対応付けて設定される。
一方、S630にて画像消去フラグが設定されていると判定すると、S632に移行する。
S634にて画像の表示態様が再設定された(S504の処理が再実行された)と判定すると、S636に移行する。
例えば、同一のオブジェクトについて、運転者が認識しているにもかかわらずそのオブジェクトを強調するための画像が表示され続けることを回避することができ、実用性がより向上する。
本発明の第4実施形態について説明する。
本第4実施形態では、運転支援装置の構成は、第1実施形態の運転支援装置1の構成(図2参照)と同一である。
図32の認識判定処理(2)は、図13の認識判定処理と比較して、S650〜S658の処理が実行される点が異なっている。なお、S400〜S408の処理については、図13の認識判定処理と同一であるため、適宜説明を省略する。
S650では、オブジェクト(人)に対して警報を発する警報処理を実行する。具体的には、スピーカユニット8から所定の音(音声を含む)を発する処理を実行する。警報は、オブジェクト(人)に対して自車両の存在を気付かせるために発せられる。また、オブジェクト(人)が自車両の存在に気付いたか否かを判定するために発せられる。なお、車両のヘッドランプを点灯又は点滅させることにより警報がなされるようにしても良い。
続くS654では、S652にて再取得した画像データに基き、同一のオブジェクト(人)における顔の領域を再抽出する。
そして、S658にて、両目を検出できた否かを判定する。
本第5実施形態では、運転支援装置の構成は、第1実施形態の運転支援装置1の構成(図2参照)と同一である。
以下、解析処理9について具体的に説明する。
また、解析処理9におけるS650〜S658の処理は、図32におけるS650〜S658の処理と同一である。これらの処理については説明を省略する。
以下、表示態様の他の例について説明する。
[変形例1]
変形例1について図34を用いて説明する。図34の例では、オブジェクトH7,H8が抽出され認識されている。
加えて、図34では、オブジェクトH7,H8の所定時間後の位置、及び進路が推定されて表示されている。
運転支援装置1は、赤外線カメラ4又は可視光カメラ5の画像データの取得及び解析を繰り返し、オブジェクトH7の動きを追跡する追跡処理を実行する。そして、その追跡処理に基づき、オブジェクトH7の移動速度及び移動方向を推定する。
加えて、時刻tAにおける初期位置から所定の時間tC後の位置までの軌跡を辿るように、移動推定矢印YF7が表示される。移動推定矢印YF7は、オブジェクトH7の移動進路であって、予測される(或いは移動する可能性が高いと判断される)移動進路を示す。
追跡処理により、所定の時間tb後のオブジェクトH8の位置及び速度を推定し、その推定した位置に重畳するように、オブジェクトH8の画像を表示する。この画像は点滅表示される。
変形例2について図35を用いて説明する。
図35の例では、車両K3に運転支援装置1が搭載されている。車両K4は他車両である。なお、車両K3,K4は、同じ進行方向(図面において下から上(手前から奥))に走行している。
車両K4の運転者にとっては、オブジェクトH12,H13が車両K3の陰に入り視認し難くなっている。
[変形例3]
変形例3について図36を用いて説明する。
図36の例は、人及び車両に加え、車両周辺のその他のオブジェクトについて、強調のための画像を表示する例を示している。加えて、そのオブジェクトの名称が表示されるようになっている。
上記実施形態では、運転支援装置1が赤外線レーダ2、ミリ波レーダ3、赤外線カメラ4、可視光カメラ5を備える例について説明した。
上記実施形態では、運転支援装置1が赤外線レーダ2、ミリ波レーダ3、赤外線カメラ4、可視光カメラ5を備える例について説明した。
一方、運転支援装置1は、ミリ波レーダ3に代えて、レーザレーダを備えても良い。或いは、ミリ波レーダとレーザレーダとの両方を備えても良い。レーザレーダは、レーザ光を用いて周辺の状況を探知するレーダである。具体的には、レーザレーダは、パルス状のレーザ光をスキャン(2次元走査)し、オブジェクトにて反射して返ってくるレーザ光を受光する。そして、レーザレーダは、レーザ光の出射時刻と反射光の受光時刻との時間差、及び反射光の強度を計測して、それらに基づきオブジェクトを検出する。レーザレーダでは、立体物のほか、車線境界線(車両通行帯及び歩道等の境界をなす白線等)を検出することが可能である。
例えば、運転支援装置1,100,101において、Buletooth(登録商標)機器等を搭載し、車両の周辺の携帯端末とのペアリングを試みる。ペアリングが確立した場合には、携帯端末との間でデータ通信を行い、携帯端末が操作されているか否かを判断するためのデータを携帯端末より取得しても良い。また、携帯端末に、携帯端末の利用者が移動しながらその携帯端末を使用していることを検出するアプリケーションがインストールされている場合には、そのアプリケーションと連動して、携帯端末が操作されていることを検出しても良い。さらに、運転支援装置1,100,101から携帯端末に警告画像を送信してその画像を携帯端末に表示させ、携帯端末の利用者に車両の存在を認識させるようにしても良い。
一方、解析処理1〜9の何れか1つが実行された後、その解析処理の結果に基き表示データが生成され(図14の処理が実行され)、その後、次の解析処理が実行され、その解析処理の結果に基き改めて表示データが生成されても良い(換言すれば、表示データが、解析処理の実行毎に生成(補正)されても良い)。
また、上記実施形態において、S152の解析処理として、解析処理1〜9(図5〜図12(及び図13)、図24、図33)が実行される例について説明した。ここで、解析処理の他の例について説明する。
[解析処理10]
解析処理10について図37に基づき説明する。解析処理10は、天候を解析するための処理であり、より具体的には、雨天を検出する処理である。
解析処理では、まず、S670において、可視光カメラ5により撮像された画像の画像データを取得する。可視光カメラ5は、車両内に配置されて車両内から車両の窓ガラスを介して車両の周囲を撮像するように設けられる(図1参照)。ここでは、可視光カメラ5により撮像された画像の画像データとして、車両の窓ガラスの領域の画像を含む画像データを取得する。
具体的には、雨滴の画像のモデルを予め記憶装置に記憶しておく。記憶装置としては、ROM20b,フラッシュメモリ20d等が考えられるが、他の記憶装置でも良い。
[解析処理11]
ところで、天候は、解析処理10とは別の処理によって認識されても良い
具体的には、天候は、図39に示す解析処理11によって認識されても良い。
次に、S686に移行し、車両が備える、外部温度を検出するための温度センサ(図示省略)から温度データを取得する。
例えば、S682の処理のみでも天候を把握することは可能であるとも言えるが(例えば天気予報の情報を取得することで可能)、天気予報が100%正確であることは何ら保証されず、また、ピンポイントのエリアについての天気予報はなされないことも多い。
S694では、警戒レベルを、現状の警戒レベルに維持する(換言すれば、警戒レベルを変更する処理を実行しない)。そしてその後、当該処理を終了する。
解析処理11によれば、前述のように天候をより精度良く検出(又は判定)することができ、ひいては、天候に応じたより適切な運転支援を実現し得る。具体的には、天候に応じて警戒レベルを適切に設定することができ、適切に設定された警戒レベルに応じて、車両の周囲の対象物を強調表示すること、及び/又は危険に応じて警告表示を行うことを適切に制御することができる。
次に、解析処理12について図40を用いて説明する。
本実施形態の運転支援装置1,100,101は、上記の解析処理1〜11に加えて、或いは上記の解析処理1〜11に代えて、解析処理12を実行しても良い。解析処理12は、スマートフォン、タブレット、携帯電話等の携帯通信端末側の機能と連動して、ユーザが移動しながら(例えば歩きながら)携帯通信端末を操作していることを検出する(より具体的には、そのような携帯通信端末を検出する)処理である。
一例では、携帯通信端末の表示画面に警告を表示したり、音を発したり、或いは周囲の端末に警報(音声による警報、警告を表す信号)を発したりする。
解析処理12では、まず、S700において、周囲に存在する携帯通信端末を探索する処理を実行する。この探索では、Bluetooth(登録商標)信号、又は携帯通信端末から発せられるその他無線信号を検出することで探索可能である。一例では、運転支援装置1,100,101から、Bluetooth(登録商標)にてペアリングを行うためのペアリング信号を送出し、そのペアリング信号に対する応答信号の有無を検出する。或いは、携帯通信端末から送出されるペアリング信号の有無を検出する。又は、他の例では、可視光カメラ5からの画像データを用いて画像処理により携帯通信端末を検出するようにしても良い。
携帯通信端末が存在しないと判定すると、そのまま当該処理を終了する。一方、携帯通信端末が存在すると判定すると、S704に移行する。
一方、警告信号を受信したと判定すると、S706に移行し、HUD7にて警告表示を行う。さらに、S708に移行し、警戒レベルを1ポイントインクリメントする。そしてその後、当該処理を終了する。
[車両制御処理]
本例の運転支援装置1,100,101は、警戒レベルに応じて車両の動作を制御しても良い。かかる例について、図41A,41Bを用いて説明する。
この車両制御処理では、まず、S710において、警戒レベルが所定レベル以上であるか否かを判定する。警戒レベルが所定レベル以上でないと判定すると、そのまま当該処理を終了する。
警戒レベルの値が1から3の場合、警報制御及びスロットル制御を行う。
警戒レベルの値が4から6の場合、警報制御、スロットル制御、及び制動制御を行う。
ここで、警戒レベルの区分けは一例であることは言うまでもない。警戒レベルの区分けはさらに多段的に細分化しても良いし、逆に粗くしても良い。また、実行される解析処理(本例では、解析処理1〜12を例示している)の種類によって警戒レベルのばらつきは変動し得るため、実行される解析処理の種類に応じてテーブル情報は最適化され得ることが当業者であれば理解できる。
[表示制御処理、表示態様例]
本願発明による表示制御処理、及び表示態様例について、図面を用いてさらに説明する。
図42A,42Bは、警戒レベルに応じて表示のコントラストを制御する一例を示す。ここでのコントラストとは、強調表示したい対象(人、障害物等)と、その対象以外の表示物との間のコントラストが意図されている。
図42Aの例では、強調表示の対象としての対象物D0と、その周囲(背景等)とのコントラストが低く、対象物D0とその周囲との明暗の差は小さくなっているが、警戒レベルが低い場合には、コントラストを小さくすることによるメリットを優先させても良い。コントラストを小さくすることによるメリットとしては、場合によっては目の疲れを抑制し得ること、自然さが優先され実際の景色に近くなる場合があること、などが考えられる。
この点について、テーブルD3,D3’を用いて説明する。
テーブルD3,D3’には、画像中の代表的な領域のそれぞれについて設定された濃淡の情報が含まれている。テーブルD3,D3’において、ブロックDa,Da’は、対象物D0の領域の濃淡を示し、ブロックDb,Db’は対象物D0の背景の植栽の領域の濃淡を示し、ブロックDc,Dc’は対象物D0の背景の地表面の濃淡を示し、ブロックDd,Dd’は道路の濃淡を示している。
各ブロックの濃淡の相対関係は、コントラストのレベル(低、中、高、最高)に応じて、デフォルト値に応じて自動設定されても良い。
ただし、異常の検出方法(検出処理)が一般的であるとしても、その実行タイミングについては種々の工夫が考えられる。
(1)車両のイグニションスイッチがオンされたタイミング
(2)車両のイグニションスイッチがオンされた後、車両が実際に走行を開始するタイミング(例えば、タイヤの回転が検出されるタイミング)
(3)走行後、車両が一旦停止したタイミング(信号、交差店等で停止したタイミング)(4)車両の走行中における任意のタイミング(繰り返しの実行も含む)
上記(1),(2)のタイミングは、運転がまさに開始されるというタイミングであり、そのようなタイミングで異常の検出処理が実行されてひいては表示D1が表示されることで、ユーザ(運転者)にとってこれからの運転に対して安心感を抱かせることができる。
任意のタイミングで表示する場合、上記(1)〜(4)に例示したような、異常の検出処理の実行タイミングに合わせて表示タイミングが設定されても良い。具体的には、異常の検出処理が実行されたタイミング(処理が終了したタイミング)に同期して、表示D1が表示されても良い。
図43は、車両が走行する領域(道路等)における危険領域を強調表示する例である。この例は、土砂災害が発生して道路の一部が土砂で寸断されている場合の例である。
図44は河川沿いの堤防を走行している場面を想定しており、そのような場面において、河川の水位の安全度又は危険度(換言すれば、河川の氾濫の危険性)を表示する例である。
そして、河川の水位に応じて、現在水位枠D14を、インジケータ表示D10において重畳表示する。現在水位枠D14の表示位置が危険表示D12に近いほど、河川の水位が高く危険であることを示し、現在水位枠D14の表示位置が安全表示D13に近いほど、安全であることを示す。
河川が占める領域には、強調表示D15を重畳表示させることができる。強調表示D15の表示色及び模様等の表示態様は、現在水位枠D14にて囲まれる領域の表示色及び模様等の表示態様と一致させることが好ましい。
まず、図45Aについて、趣旨の1つは、対象物を立体表示することである。図45Aにおいて、構造物D20,D22は、自車両が走行する道路に沿って存在する建物である。この種の建物について、立体表示技術を用いて、立体的に表示しても良い。立体表示技術としては、異なる方向から投影する複数のプロジェクタ(一般的には左右一対のプロジェクタ)を用意し、左目用の画像、及び右目用の画像をそれぞれ表示することで立体視を実現する方法が知られている。
立体表示によれば、ユーザ(運転者)にとってより視認し易くなることが期待される。
属性には、構造物の種類が含まれる。構造物の種類としては、店舗、官公庁、民家、といった種類が挙げられる。
このような属性の情報は、例えば、地図データに付随しており、運転支援装置1,100,101側ではその地図データから取得する、という構成が考えられる。
図45Bは、対向車が中央車線をはみ出して走行している例を示す。
このような場合、制御ECU20は、自車両が走行する可能性のある経路を演算により推定し、自車両のシンボルを表示するとともに、推定した領域に強調表示D27を重畳表示させる。
例えば、表示画面をタッチパネルで構成しても良い。そして、タッチパネル上で対象物を選択することで、その対象物の強調表示を行わせたり、強調表示を解除させたりすることができるようにしても良い。
Claims (3)
- 車両の周辺の状況を検知する検知手段と、
前記検知手段の検知結果に基づき、車両の周辺の対象物を認識する認識手段と、
前記認識手段により認識された前記対象物を解析する解析手段と、
前記対象物について、前記解析手段の解析結果に基き、警戒すべき度合いを設定する設定手段と、
前記対象物を車両の運手者に視認させるための画像を、前記設定手段により設定された度合いに基づき生成する生成手段と、
前記生成手段により生成された画像を表示する表示手段と、
を備えることを特徴とする運転支援装置。 - 前記認識手段により認識された対象物が人であるか否かを判定する判定手段と、
前記人の状態を示す象徴記号の画像データを記憶する記憶手段と、を備え、
前記解析手段は、前記対象物のうち、前記判定手段により人であると判定された対象物の状態を解析し、
前記生成手段は、前記解析手段の解析結果に基き、その解析結果を示す記号であって前記人の状態を示す象徴記号に対応する画像データを前記記憶手段から読み出す読出手段を備え、
前記表示手段は、前記読出手段により前記象徴記号の画像データが読み出されると、その画像データが表す象徴記号を表示する、
ことを特徴とする請求項1に記載の運転支援装置。 - 前記車両の運転者の視線を検出する視線検出手段と、
前記表示手段が表示した画像のうち、前記運転者が認識した画像を、前記視線検出手段の検出結果である、前記運転者の視線の移動状態から識別する識別手段と、
前記識別手段により前記運転者が認識したと識別された画像を消去する消去手段と、
を備えることを特徴とする請求項1又2に記載の運転支援装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014072419 | 2014-03-31 | ||
JP2014072419 | 2014-03-31 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016511968A Division JP6598255B2 (ja) | 2014-03-31 | 2015-03-31 | 運転支援装置、及び運転支援システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019075150A true JP2019075150A (ja) | 2019-05-16 |
JP2019075150A5 JP2019075150A5 (ja) | 2019-07-11 |
JP6860763B2 JP6860763B2 (ja) | 2021-04-21 |
Family
ID=54240622
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016511968A Active JP6598255B2 (ja) | 2014-03-31 | 2015-03-31 | 運転支援装置、及び運転支援システム |
JP2018241012A Active JP6860763B2 (ja) | 2014-03-31 | 2018-12-25 | 運転支援装置、及び該運転支援装置を備える車両 |
JP2019175422A Active JP6919914B2 (ja) | 2014-03-31 | 2019-09-26 | 運転支援装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016511968A Active JP6598255B2 (ja) | 2014-03-31 | 2015-03-31 | 運転支援装置、及び運転支援システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019175422A Active JP6919914B2 (ja) | 2014-03-31 | 2019-09-26 | 運転支援装置 |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP6598255B2 (ja) |
WO (1) | WO2015152304A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021135933A (ja) * | 2020-02-28 | 2021-09-13 | 本田技研工業株式会社 | 表示方法、表示装置及び表示システム |
EP4227895A4 (en) * | 2020-10-07 | 2024-03-13 | JVCKenwood Corporation | IMAGE RECOGNITION DEVICE, IMAGE RECOGNITION METHOD AND PROGRAM |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6520668B2 (ja) * | 2015-02-09 | 2019-05-29 | 株式会社デンソー | 車両用表示制御装置及び車両用表示ユニット |
DE102015223175A1 (de) * | 2015-11-24 | 2017-05-24 | Conti Temic Microelectronic Gmbh | Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung |
US11242068B2 (en) | 2016-05-30 | 2022-02-08 | Lg Electronics Inc. | Vehicle display device and vehicle |
JP6956473B2 (ja) * | 2016-06-14 | 2021-11-02 | 大学共同利用機関法人自然科学研究機構 | わき見状態判定装置 |
JP7214329B2 (ja) * | 2016-08-09 | 2023-01-30 | 日立Astemo株式会社 | 表示内容認識装置、および車両制御装置 |
JP6271674B1 (ja) | 2016-10-20 | 2018-01-31 | パナソニック株式会社 | 歩車間通信システム、車載端末装置、歩行者端末装置および安全運転支援方法 |
JP7009057B2 (ja) * | 2016-11-15 | 2022-01-25 | 株式会社リコー | 表示装置、表示システム、及びプログラム |
US11127297B2 (en) * | 2017-07-17 | 2021-09-21 | Veoneer Us, Inc. | Traffic environment adaptive thresholds |
KR102436962B1 (ko) * | 2017-09-19 | 2022-08-29 | 삼성전자주식회사 | 운송 장치에 구비된 전자 장치 및 이의 제어 방법 |
JP6866280B2 (ja) * | 2017-12-19 | 2021-04-28 | ヤフー株式会社 | 推定装置、推定方法および推定プログラム |
JP7077616B2 (ja) * | 2017-12-28 | 2022-05-31 | トヨタ自動車株式会社 | 表示制御装置および表示制御方法 |
JP7048358B2 (ja) * | 2018-03-07 | 2022-04-05 | 矢崎総業株式会社 | 車両用表示投影装置 |
JP6823003B2 (ja) | 2018-03-29 | 2021-01-27 | 本田技研工業株式会社 | 出力装置 |
JP7092540B2 (ja) * | 2018-04-04 | 2022-06-28 | パナソニックホールディングス株式会社 | 交通監視システムおよび交通監視方法 |
DE102018208278A1 (de) * | 2018-05-25 | 2019-11-28 | Robert Bosch Gmbh | Betriebsassistenzverfahren, Steuereinheit, Betriebsassistenzsystem und Arbeitsvorrichtung |
US11302197B2 (en) * | 2018-09-17 | 2022-04-12 | Nissan Motor Co., Ltd. | Vehicle behavior prediction method and vehicle behavior prediction device |
WO2020115981A1 (ja) * | 2018-12-03 | 2020-06-11 | 株式会社Jvcケンウッド | 認識処理装置、認識処理方法及びプログラム |
JP2020112698A (ja) | 2019-01-11 | 2020-07-27 | 株式会社リコー | 表示制御装置、表示装置、表示システム、移動体、プログラム、画像生成方法 |
JP7240182B2 (ja) * | 2019-01-16 | 2023-03-15 | 株式会社京三製作所 | 交差点警告システム |
JP2020159424A (ja) * | 2019-03-26 | 2020-10-01 | ダイハツ工業株式会社 | 車両の制御装置 |
KR102237966B1 (ko) * | 2019-05-08 | 2021-04-08 | 주식회사 퀀텀게이트 | 스몸비 교통사고 방지를 위한 볼라드를 구비하는 보행자 교통안전 시스템 및 이의 동작방법 |
KR102449306B1 (ko) * | 2019-06-19 | 2022-09-29 | 미쓰비시덴키 가부시키가이샤 | 페어링 표시 장치, 페어링 표시 시스템 및 페어링 표시 방법 |
JPWO2021079975A1 (ja) * | 2019-10-23 | 2021-04-29 | ||
JP7496683B2 (ja) * | 2019-11-25 | 2024-06-07 | パイオニア株式会社 | 表示制御装置、表示制御方法及び表示制御用プログラム |
WO2021234937A1 (ja) * | 2020-05-22 | 2021-11-25 | 三菱電機株式会社 | 警報制御装置及び警報制御方法 |
US20230274316A1 (en) * | 2020-08-21 | 2023-08-31 | Sony Group Corporation | Information displaying apparatus, information displaying method, and program |
JP2022161464A (ja) * | 2021-04-09 | 2022-10-21 | キヤノン株式会社 | 運転支援装置、移動装置、運転支援方法、コンピュータプログラム、及び記憶媒体 |
WO2023238344A1 (ja) * | 2022-06-09 | 2023-12-14 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056372A (ja) * | 2003-03-26 | 2005-03-03 | Fujitsu Ten Ltd | 車両制御装置、車両制御方法および車両制御プログラム |
JP2006151114A (ja) * | 2004-11-26 | 2006-06-15 | Fujitsu Ten Ltd | 運転支援装置 |
JP2007148835A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ten Ltd | 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム |
JP2009015547A (ja) * | 2007-07-04 | 2009-01-22 | Omron Corp | 運転支援装置および方法、並びに、プログラム |
JP2009040115A (ja) * | 2007-08-06 | 2009-02-26 | Mazda Motor Corp | 車両用運転支援装置 |
JP2009226978A (ja) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | 車両用周囲監視装置 |
US20110288774A1 (en) * | 2010-05-17 | 2011-11-24 | Volvo Car Corporation | Forward collision risk reduction |
KR20120063657A (ko) * | 2010-12-08 | 2012-06-18 | 주식회사 만도 | 어린이 보행자 보호 장치 및 그의 어린이 보행자 보호 방법 |
JP2013097459A (ja) * | 2011-10-28 | 2013-05-20 | Denso Corp | 歩行者認識装置 |
JP2013191050A (ja) * | 2012-03-14 | 2013-09-26 | Toyota Motor Corp | 車両周辺監視装置 |
WO2014034065A1 (ja) * | 2012-08-31 | 2014-03-06 | 株式会社デンソー | 移動体警告装置、および移動体警告方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002304700A (ja) * | 2001-04-06 | 2002-10-18 | Honda Motor Co Ltd | 移動体警報システム |
DE10253510A1 (de) * | 2002-11-16 | 2004-05-27 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug |
JP5171629B2 (ja) * | 2006-09-04 | 2013-03-27 | パナソニック株式会社 | 走行情報提供装置 |
JP2008310376A (ja) * | 2007-06-12 | 2008-12-25 | Mazda Motor Corp | 歩行者検出装置 |
JP5023872B2 (ja) * | 2007-08-06 | 2012-09-12 | 株式会社デンソー | 画像表示制御装置及び画像表示制御システム |
JP2009251758A (ja) * | 2008-04-02 | 2009-10-29 | Toyota Motor Corp | 歩車間通信装置、携帯端末 |
US8812226B2 (en) * | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
JP5299026B2 (ja) * | 2009-03-30 | 2013-09-25 | マツダ株式会社 | 車両用表示装置 |
JP5407898B2 (ja) * | 2010-01-25 | 2014-02-05 | 株式会社豊田中央研究所 | 対象物検出装置及びプログラム |
JP5197679B2 (ja) * | 2010-06-09 | 2013-05-15 | 株式会社豊田中央研究所 | 対象物検出装置及びプログラム |
JP2012247326A (ja) * | 2011-05-30 | 2012-12-13 | Sanyo Electric Co Ltd | 歩行経路案内装置及びシステム |
JP2013131143A (ja) * | 2011-12-22 | 2013-07-04 | Sanyo Electric Co Ltd | 移動体通信装置及び通信制御方法 |
JP5998777B2 (ja) * | 2012-09-12 | 2016-09-28 | ソニー株式会社 | 情報処理装置と情報処理方法とプログラムおよび情報処理システム |
-
2015
- 2015-03-31 JP JP2016511968A patent/JP6598255B2/ja active Active
- 2015-03-31 WO PCT/JP2015/060272 patent/WO2015152304A1/ja active Application Filing
-
2018
- 2018-12-25 JP JP2018241012A patent/JP6860763B2/ja active Active
-
2019
- 2019-09-26 JP JP2019175422A patent/JP6919914B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056372A (ja) * | 2003-03-26 | 2005-03-03 | Fujitsu Ten Ltd | 車両制御装置、車両制御方法および車両制御プログラム |
JP2006151114A (ja) * | 2004-11-26 | 2006-06-15 | Fujitsu Ten Ltd | 運転支援装置 |
JP2007148835A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ten Ltd | 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム |
JP2009015547A (ja) * | 2007-07-04 | 2009-01-22 | Omron Corp | 運転支援装置および方法、並びに、プログラム |
JP2009040115A (ja) * | 2007-08-06 | 2009-02-26 | Mazda Motor Corp | 車両用運転支援装置 |
JP2009226978A (ja) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | 車両用周囲監視装置 |
US20110288774A1 (en) * | 2010-05-17 | 2011-11-24 | Volvo Car Corporation | Forward collision risk reduction |
KR20120063657A (ko) * | 2010-12-08 | 2012-06-18 | 주식회사 만도 | 어린이 보행자 보호 장치 및 그의 어린이 보행자 보호 방법 |
JP2013097459A (ja) * | 2011-10-28 | 2013-05-20 | Denso Corp | 歩行者認識装置 |
JP2013191050A (ja) * | 2012-03-14 | 2013-09-26 | Toyota Motor Corp | 車両周辺監視装置 |
WO2014034065A1 (ja) * | 2012-08-31 | 2014-03-06 | 株式会社デンソー | 移動体警告装置、および移動体警告方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021135933A (ja) * | 2020-02-28 | 2021-09-13 | 本田技研工業株式会社 | 表示方法、表示装置及び表示システム |
JP7402083B2 (ja) | 2020-02-28 | 2023-12-20 | 本田技研工業株式会社 | 表示方法、表示装置及び表示システム |
EP4227895A4 (en) * | 2020-10-07 | 2024-03-13 | JVCKenwood Corporation | IMAGE RECOGNITION DEVICE, IMAGE RECOGNITION METHOD AND PROGRAM |
Also Published As
Publication number | Publication date |
---|---|
JP6860763B2 (ja) | 2021-04-21 |
JP6919914B2 (ja) | 2021-08-18 |
JPWO2015152304A1 (ja) | 2017-04-13 |
JP6598255B2 (ja) | 2019-10-30 |
WO2015152304A1 (ja) | 2015-10-08 |
JP2020095688A (ja) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6919914B2 (ja) | 運転支援装置 | |
JP7332726B2 (ja) | ヒートマップを使用したドライバーの注目の検出 | |
US11242068B2 (en) | Vehicle display device and vehicle | |
JP6259482B2 (ja) | 車両用表示制御装置 | |
US20160185219A1 (en) | Vehicle-mounted display control device | |
US10336252B2 (en) | Long term driving danger prediction system | |
JP2017170934A (ja) | 車両用表示制御装置 | |
KR101986734B1 (ko) | 차량 운전 보조 장치 및 이의 안전 운전 유도 방법 | |
US9776559B2 (en) | Vehicular display system | |
JP2007249841A (ja) | 画像認識装置 | |
JP2016020876A (ja) | 車両用表示装置 | |
JP2004030212A (ja) | 車両用情報提供装置 | |
JP6379770B2 (ja) | 車両用表示装置 | |
JP4872245B2 (ja) | 歩行者認識装置 | |
JP7255608B2 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2018098567A (ja) | 撮像装置、画像処理装置、表示システム、および車両 | |
JP5192009B2 (ja) | 車両の周辺監視装置 | |
JP2010070117A (ja) | 画像照射システムおよび画像照射方法 | |
JP2018101850A (ja) | 撮像装置、画像処理装置、表示システム、および車両 | |
KR20170068936A (ko) | 운전자 시선 기반 영상 출력 및 차량 컨트롤 결정 방법 | |
JP5383246B2 (ja) | 車両の周辺監視装置 | |
US20240192313A1 (en) | Methods and systems for displaying information to an occupant of a vehicle | |
KR101387548B1 (ko) | 차량 영상 시스템 및 차량 센서 시스템 | |
JP5024165B2 (ja) | 視認物体推定装置 | |
WO2023175540A1 (en) | Systems and methods for eye gaze based alertness measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20191217 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6860763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |