JP2016057490A - Driving support system - Google Patents
Driving support system Download PDFInfo
- Publication number
- JP2016057490A JP2016057490A JP2014184301A JP2014184301A JP2016057490A JP 2016057490 A JP2016057490 A JP 2016057490A JP 2014184301 A JP2014184301 A JP 2014184301A JP 2014184301 A JP2014184301 A JP 2014184301A JP 2016057490 A JP2016057490 A JP 2016057490A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- video
- vehicle
- driving
- detection means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、運転状況を記録し改善すべき状況を運転者に提示することで運転能力の低下防止や向上を図るための運転支援システムに関する。 The present invention relates to a driving support system for recording a driving situation and presenting a situation to be improved to a driver to prevent or improve a reduction in driving ability.
ドライバの運転能力を評価する上で、ハンドル操作やブレーキ操作などの運転技能と共に、状況判断能力やその基礎となる目視による安全確認の能力も重要な要素を占めている。特に、運転技能の熟達途上にある初心ドライバの場合、安全確認に関する経験値の不足や、意識が運転操作に割かれる分だけ安全確認が不十分になる虞があり、逆に、熟練ドライバの場合、熟練が注意散漫や安全確認の軽視を招くかも知れない。さらに、加齢に伴う身体機能の低下や認知症の発症が運転に影響を及ぼす虞のある高齢ドライバの場合、安全確認能力の低下を自覚しないまま、不意に危険な状況に遭遇するかも知れない。 In evaluating the driving ability of the driver, not only driving skills such as steering wheel operation and brake operation, but also the ability to judge the situation and the safety confirmation by visual observation that form the basis thereof are important factors. In particular, in the case of a novice driver who is proficient in driving skills, there is a risk of lack of experience related to safety confirmation and safety confirmation may be insufficient due to the fact that consciousness is divided into driving operations. Skills may lead to distractions and neglect of safety checks. In addition, older drivers who may experience a decline in physical function or dementia with aging may affect driving, and may suddenly encounter a dangerous situation without being aware of the decline in safety confirmation ability. .
そこで、車両情報、外界情報、ドライバ情報等を取得して、ドライバの運転能力を評価する種々のシステムが提案されている。例えば、特許文献1,2では、ドライバの運転状態に問題がないか評価し、問題があると判定された場合は、警報や警告を作動させるようにしている。さらに、ドライバの運転能力を改善させるために、記録した評価結果をドライバに通知することも提案されている。
Therefore, various systems for obtaining vehicle information, external information, driver information, and the like and evaluating the driving ability of the driver have been proposed. For example,
特許文献3では、車線変更時の動作履歴から、ドライバが車線変更を開始する前に行う視認行動の回数や時間から安全確認度を算出して、ドライバの運転傾向を判定することが提案されている。しかし、この手法では、単にドライバの安全確認の有無しか検出しない。このため、例えば、ドライバの過去から現在に至る死角領域における他車両の位置や動きを予測する能力の低下やその防止あるいは向上に資することができない。
In
特許文献4では、車両全周囲の合成映像から、自車両の周囲の視点や他車両の視点からみた映像を生成して表示させることが提案されている。しかし、ドライバの死角領域の映像を提示することは、ドライバに危険な状況を解説することはできるが、ドライバが見ることができる視界とは異なる視界のため、ドライバ自身が目視で安全確認をした中においてどの時点でミスを犯したかを再認識させる効果は期待できず、必ずしも運転能力の向上に寄与できないという課題があった。
本発明は、上記のような実状に鑑みてなされたものであって、その目的は、ドライバが目視で安全確認をした中でどの時点に問題があったか再認識させることで、運転能力の維持と向上を図る運転支援システムを提供することにある。 The present invention has been made in view of the above circumstances, and its purpose is to maintain driving ability by re-recognizing at which point the driver had a problem while visually confirming safety. The purpose is to provide a driving support system for improvement.
上記課題を解決するため、本発明者が鋭意検討した結果、ドライバが目視で安全確認を行う際の視界と同様の映像で、改善すべき運転状況の記録映像を提示して、どの時点でミスをしたかを再認識させることで、運転能力の低下を自覚させ、運転能力の維持や向上を図ることができるという知見を得て本発明に想到した。 In order to solve the above-mentioned problems, the present inventor has intensively studied, and as a result, the recorded video of the driving situation to be improved is presented in the same image as the field of view when the driver visually confirms safety. By re-recognizing whether or not the vehicle has been operated, the present inventors have realized that the reduction in driving ability can be realized, and that the driving ability can be maintained and improved.
すなわち、本発明に係る運転支援システム(100)は、車両周囲を撮像するための撮像手段(4)と、車両周囲の物体(8)との距離を検出するための距離検出手段(5)と、ドライバ(3)の頭部位置および視線方向を検出するためのドライバ状態検出手段(6)と、前記撮像手段に取得される映像と前記距離検出手段および前記ドライバ状態検出手段の検出情報を同期させて経時的に記録するデータ記録手段(14)と、前記検出情報および車両情報に基づいて運転中における危険状況を検知する危険状況検出手段(12)と、前記危険状況検出手段が運転中における危険状況を検知した場合に、前記データ記録手段から過去一定時間分のデータを読み出し、ドライバの視野に準じた仮想視野映像(2b,7b)を含む教師映像を生成する映像生成手段(11)と、前記教師映像を再生する映像再生手段(13)と、を備え、運転中に生じた危険状況をドライバに認識させるために、運転終了時に前記教師映像が自動再生されるように設定可能であることを特徴とする。 That is, the driving support system (100) according to the present invention includes an image pickup means (4) for picking up an image around the vehicle and a distance detection means (5) for detecting the distance between the object (8) around the vehicle. The driver state detection means (6) for detecting the head position and the line-of-sight direction of the driver (3), the image acquired by the imaging means, and the detection information of the distance detection means and the driver state detection means are synchronized. Data recording means (14) for recording over time, danger status detection means (12) for detecting a dangerous situation during driving based on the detection information and vehicle information, and the dangerous situation detection means during driving When a dangerous situation is detected, data for a predetermined period of time is read from the data recording means, and a teacher video including virtual visual fields (2b, 7b) according to the visual field of the driver is generated. Video generation means (11) and video reproduction means (13) for reproducing the teacher video, and the teacher video is automatically reproduced at the end of driving in order to make the driver recognize the dangerous situation that occurred during driving. It is possible to set as described above.
本発明に係る運転支援システムは、上記構成により、運転中における危険状況を検知した場合に、ドライバの視野に準じた仮想視野映像を含む教師映像を、運転終了時に自動再生することで、ドライバ自身が目視で安全確認をした中においてどの時点でミスを犯したかを再認識させる効果を期待でき、運転能力の向上に有利である。 With the above configuration, the driving support system according to the present invention automatically reproduces a teacher video including a virtual visual field image according to the driver's visual field at the end of driving when a dangerous situation during driving is detected, so that the driver himself Can be expected to have the effect of re-recognizing at what point the mistake was made while visually confirming safety, which is advantageous in improving driving ability.
例えば、通常、ドライバは車線変更する際に、車線変更開始の直前に隣の車線に他の車両がいないか安全確認してから移動を開始する(図1参照)。この際、より安全性が高く、かつ、スムーズな車線変更のために、ドライバは過去数秒〜数十秒前から隣車線の様子をサイドミラー2で見ながら、自車両1と他車両8との相対位置、速度差を確認するとともに、これらの情報を利用して過去時刻から現在時刻まで死角領域(サイドミラー視野2aとドライバ視野3aとの間の領域)における他車両8の状態を推定することで、現在時刻の安全確認の精度を向上させている。
For example, normally, when changing the lane, the driver starts moving after confirming that there is no other vehicle in the adjacent lane immediately before the start of the lane change (see FIG. 1). At this time, in order to change the lane more safely and smoothly, the driver can check the state of the adjacent lane with the
そこで、撮像手段に取得される映像と距離検出手段およびドライバ状態検出手段の検出情報を同期させて経時的に記録したデータに基づき、危険発生に至る一定時間分のドライバ視野に準じた仮想視野映像(2b,7b)を含む教師映像を生成し、運転終了時に自動再生することで、死角領域に存在する車両との危険状態を、現実に近い状態で再現することができ、ドライバに対して効果的に認識させることができる。 Therefore, based on the data acquired over time by synchronizing the video acquired by the imaging means and the detection information of the distance detection means and the driver status detection means, a virtual visual field image according to the driver's visual field for a certain time until the occurrence of danger By generating a teacher image including (2b, 7b) and automatically playing it at the end of driving, it is possible to reproduce the dangerous state with the vehicle existing in the blind spot area in a state close to reality, which is effective for the driver. Can be recognized.
したがって、本発明において、前記教師映像は、前記仮想視野映像として前記ドライバの視点からの仮想ミラー映像(2b)と仮想サイドウィンドウ映像(7b)とを同時に並べて含む態様は有利である。上述の通り、車線変更時にドライバはサイドミラーとサイドウィンドウを介しての目視とで安全確認を行うので、それらに対応した2つの仮想視野映像を並べて再生する教師映像により、現実に近い状態で危険を実感することができ、危険度を認識し易く、教育効果を得るうえで有利である。 Therefore, in the present invention, it is advantageous that the teacher image includes the virtual mirror image (2b) and the virtual side window image (7b) from the viewpoint of the driver side by side as the virtual visual field image. As described above, the driver confirms safety by visual inspection through the side mirror and side window when changing lanes, so it is dangerous in a state close to reality with the teacher video that reproduces two virtual view images corresponding to them side by side. It is easy to recognize the degree of danger and is advantageous for obtaining an educational effect.
本発明の好適な態様では、前記運転終了時の前記教師映像の自動再生時に未再生分が残存した場合、次回車両発進時に前記未再生分が自動再生されるように設定可能であるので、運転終了時に教師映像を確認する余裕が無い場合など、ドライバの都合に合わせた再生が可能となる。 In a preferred aspect of the present invention, when an unreproduced portion remains during automatic reproduction of the teacher video at the end of the driving, it can be set so that the unreproduced portion is automatically reproduced when the vehicle starts next time. When there is no room to check the teacher video at the end, it is possible to play back according to the driver's convenience.
本発明において、前記教師映像に過去の危険運転履歴を含めて再生されるように設定可能である態様では、過去の危険運転ランキングリスト、危険運転発生頻度などの危険運転履歴を含めて再生されるので、ドライバ自身の運転傾向を知ることができ、教育効果を得るうえで有利である。 In the present invention, in a mode in which the teacher video can be set to be played back including past dangerous driving history, it is played back including dangerous driving history such as past dangerous driving ranking list and dangerous driving occurrence frequency. Therefore, the driver's own driving tendency can be known, which is advantageous in obtaining an educational effect.
本発明において、前記教師映像の未再生分が残存する場合、ドライバに前記未再生分の存在が通知されるように設定可能である態様では、見落としや後で見るつもりで忘れてしまうのを防止できる。 In the present invention, when an unplayed portion of the teacher video remains, it is possible to prevent the driver from being overlooked or forgotten to see it later in an aspect in which the driver can be notified of the existence of the unplayed portion. it can.
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図2において、本発明実施形態に係る運転支援システム100は、教師映像生成部11、危険状況検出部12、教師映像再生部13、過去データ記録部14を含む処理装置10(運転支援システム本体)、該処理装置10に基礎データを提供する入力側外部機器群20、および、出力側外部機器群30から主に構成されている。以下の実施形態では、車線変更時の運転状況および安全確認動作を検出する場合を例にとり、必要な機器構成について説明するが、これらの機器構成は、運転支援システム100が想定する運転状況に応じて選定される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In FIG. 2, a
入力側外部機器群20は、車両の周囲を撮影する車両周囲撮像手段21、自車両と他車両との距離を検出する距離検出手段22、ドライバの頭部の位置や視線等を検出するドライバ状態検出手段23、車速、操舵角、ウィンカー等の車両情報を取得する車両情報検出手段24等からなり、これらは既存の車載機器を利用しても良い。
The input-side
車両周囲撮像手段21は、図3に示すように、車両1のサイドミラー2に取付けられた車外カメラ4を含み、車両1の側方から後方を視野4aに収め、周囲の他車両、道路、周囲環境等の映像を一定周期で撮影する。入力されたカメラ映像はメモリに格納される。車外カメラ4は必要に応じて左右の両方に設置しても良い。
As shown in FIG. 3, the vehicle surrounding imaging means 21 includes an
距離検出手段22は、レーダ、レーザレンジファインダ等の距離計測用センサ5を含み、サイドミラー2等に取り付けられ、車両1の側方から後方をレーダ視野角5aに収め、周囲の他車両や周囲環境との距離を一定周期で検出する。入力された距離情報はメモリに格納される。検出した他車両までの距離情報は、他車両の移動方向と移動速度を算出する際にも使用される。距離計測用センサ5は必要に応じて左右の両方に設置しても良い。
The distance detection means 22 includes a distance measurement sensor 5 such as a radar or a laser range finder, and is attached to the
ドライバ状態検出手段23は、図4に示すように、ドライバ3の顔を含む上半身領域を撮影できるように、車室内に取付けられた車室内カメラ6と、この車室内カメラ6で撮影したドライバ3の顔の画像からドライバの頭部の位置および視線方向を検出する画像処理プログラムを含む。車室内カメラ6は、好適にはダッシュボードやコラムカバーに設置される。なお、ドライバ3の頭部の位置および視線方向の検出は、1台のカメラ画像からも検出することも可能であるが、複数台のカメラ画像を使用して距離計測することで、より精度の高い検出が可能である。
As shown in FIG. 4, the driver
車両情報検出手段24は、車両の走行中の車速、ハンドルの操舵角、ウィンカースイッチの操作状態などの車両情報を車載ネットワーク(CAN)経由で取得する。車外カメラ4、レーダ5、車室内カメラ6などのセンサ群は事前にキャリブレーションを行い、車両基準の座標系と、各センサ基準の座標系との対応付けを既知にしておく。キャリブレーションデータは処理装置10内のメモリに格納され、必要に応じて読み出される。
The vehicle information detection means 24 acquires vehicle information such as the vehicle speed while the vehicle is traveling, the steering angle of the steering wheel, and the operating state of the blinker switch via the in-vehicle network (CAN). Sensor groups such as the
次に、運転支援システム100の主要部分である処理装置10について説明する。先述した通り、処理装置10は、教師映像生成部11、危険状況検出部12、教師映像再生部13、過去データ記録部14を含み、それらは、それぞれの機能を実行するように動作可能なプログラムやキャリブレーションデータを格納するROM、演算処理を行うCPU、プログラムが読み出されCPUの作業領域および演算結果の一時記憶領域となるRAM、入力側外部機器群20が接続される入力インターフェース群、出力側外部機器群30が接続される出力インターフェース群などからなるコンピュータで構成されている。
Next, the
危険状況検出部12は、距離検出手段22、ドライバ状態検出手段23、車両情報検出手段24からの入力情報に基づいて、運転中における危険状況を検知し、それをもって、教師映像生成部11の動作を開始するためのトリガ信号とする。
The dangerous
運転中における危険状況、例えば、車線変更時に隣車線を走行中の他車両に衝突の危険性が生じたり、急ハンドル等の危険回避操作が行われたりする状況を上記各検出手段からの入力情報に基づいて検知する方法としては、例えば、距離計測用センサ5で計測した他車両との距離がしきい値以下となった場合に衝突の危険性が生じたと判定する。あるいは、ハンドルの操舵角の時間変化から角速度または角加速度を算出し、角速度または角加速度がしきい値以上となった場合に急ハンドルが切られた(衝突の可能性が生じた)と判定することができる。 Input information from each of the above-mentioned detection means, such as a danger situation during driving, for example, a situation where a collision risk occurs in another vehicle traveling in the adjacent lane when changing lanes, or a danger avoidance operation such as a sharp handle is performed As a detection method based on the above, for example, it is determined that a collision risk has occurred when the distance to the other vehicle measured by the distance measuring sensor 5 is equal to or less than a threshold value. Alternatively, the angular velocity or angular acceleration is calculated from the time change of the steering angle of the steering wheel, and when the angular velocity or angular acceleration is equal to or greater than the threshold value, it is determined that the sudden steering wheel has been turned off (the possibility of a collision has occurred). be able to.
過去データ記録部14は、フラッシュメモリなどの記憶装置で構成され、車両走行時に車両周囲撮像手段21に取得される映像と、距離検出手段22、ドライバ状態検出手段23、車両情報検出手段24に取得される情報を同期させて経時的に記録し、保持しておき、危険状況検出部12から運転中における危険状況の検知によってトリガ信号が発信された場合には、過去一定時間分のデータが教師映像生成部11に読み出される。
The past
教師映像生成部11は、ドライバ視野範囲算出部41、仮想ミラー映像生成部42、仮想側方映像生成部43、対象物追跡部44、対象物マーキング部45、危険運転レベル判定部46などから構成され、以下の処理によって教師映像を生成する。
The teacher
先ず、危険発生時のトリガ信号のタイミングを基準として過去一定時間のデータを過去データ記録部14からメインメモリ(RAM)に読み出す。
First, data of a past fixed time is read from the past
ドライバ視野範囲算出部41では、ドライバ3の頭部位置および視線の時系列データから、ドライバ3から見えるサイドミラー2の視野範囲2aと、サイドウィンドウ7の視野範囲7aを算出する(図4参照)。
The driver field-of-view
仮想ミラー映像生成部42では、図5に示すように、車外カメラ4で撮影した車両周囲の映像4aから、サイドミラー2の視野範囲2aに映る映像部分を切り出し、視点変換、拡大縮小、左右反転などの処理を行って、仮想的なサイドミラー映像2bを生成する。
As shown in FIG. 5, the virtual mirror
仮想側方映像生成部43では、車外カメラ4で撮影した車両周囲の映像4aから、サイドウィンドウ7の視野範囲7aに見える映像部分を切り出し、視点変換、拡大縮小などの処理を行って、仮想的にサイドウィンドウ映像7bを生成する。このとき、距離検出手段5で検出した他車両8との距離情報をもとに仮想サイドウィンドウ映像7b上に他車両に相当するイメージやマークを描画してもよい。
The virtual side
そして、仮想ミラー映像2bと仮想サイドウィンドウ映像7bを合成し、図7(a)〜(f)に示されるような教師映像を生成する。なお、教師映像の生成は、危険状況の発生が車両の右側か左側に応じて、車両右側の映像か車両左側の映像か選択され、再生時にも対応する映像が再生される。図示例は、危険発生時のトリガ信号から−0.2〜−1.2秒の(すなわち0.2〜1.2秒遡った)0.2秒間隔の6コマの車両右側の教師映像を示している。
Then, the
対象物追跡部44では、対象物との相対位置、相対速度、車速などの情報から、衝突の可能性があった対象物が映像内のどの箇所に映っているかを特定する。図示例では、他車両8が対象物8aとして特定されている。
The
対象物マーキング部45では、映像内に映っている対象物8aの領域をマーキング(8b)する。対象物8aが仮想ミラー2bの視野内から視野外になった瞬間や、仮想サイドウィンドウ7bの視野内に見えるようになった瞬間に、マーカー8bが点滅する、ブザー音が再生される等の効果を付加して映像を生成してもよい。また、対象物が死角領域に存在する場合は、「死角注意」などのメッセージを画面に表示させてもよい。
The
危険運転レベル判定部46では、危険状態が発生したときの危険運転度合いを算出して危険運転レベルを判定する。危険運転度合いとしては、他車両との最接近距離、衝突余裕時間(TTC)、衝突を回避する際に操作したハンドルの回転角速度、回転角加速度などの値を使用する。危険運転度合いの値をしきい値判定し、危険レベルを決定する。
The dangerous driving
例えば、衝突余裕時間(TTC)の値に応じて危険レベルを1から5段階に分類する(図6(a)参照)。また、危険度合いを過去のデータベースと照合して、これまでの危険運転の履歴をリストアップしてランク付けしてもよい。さらに、過去状況が発生した頻度を月毎、年毎に表示させてもよい(図6(b)(c)参照)。判定された危険運転レベルは教師映像とともに記録する。 For example, the danger level is classified into 1 to 5 levels according to the value of the collision allowance time (TTC) (see FIG. 6A). Further, the degree of danger may be checked against a past database, and the history of dangerous driving so far may be listed and ranked. Furthermore, you may display the frequency which the past condition generate | occur | produced for every month and every year (refer FIG.6 (b) (c)). The determined dangerous driving level is recorded together with the teacher video.
教師映像再生部13では、車両1が停止した際に、その間に記録した教師映像(危険運転レベル表示を含む)を映像出力手段31(車載モニターなど)で再生してドライバに教示する。このとき、イグニッションがオフになった時点で再生が最後まで達していたかどうかを判定する。再生が最後まで達していた場合には、次回発進時再生フラグをOFFにしてシステムを終了する。一方、再生が最後まで達していなかった場合には、次回発進時再生フラグをONにしてシステムを終了する。
When the
車両発進時には、次回発進時再生フラグを読み出してONかOFFかを判定する。次回発進時再生フラグがOFFの場合は、定期通知モードとナビ操作時再生モードをOFFにして動作を終了する。次回発進時再生フラグがONの場合は、シフトポジションがパーキングの間、記録してある教師映像と危険運転レベルを読み出して映像出力手段31で再生してドライバに教示する。 When the vehicle starts, the next start regeneration flag is read to determine whether it is ON or OFF. If the next start reproduction flag is OFF, the periodic notification mode and the navigation operation reproduction mode are turned OFF, and the operation ends. When the regeneration flag at the next start is ON, the recorded teacher video and the dangerous driving level are read out while the shift position is parked, and are reproduced by the video output means 31 to be taught to the driver.
この際にも、再生が最後まで達していたかどうかを判定し、再生が最後まで達していた場合には、次回発進時再生フラグ、定期通知モード、ナビ操作時再生モードをOFFにして終了する。一方、再生が最後まで達していなかった場合には、定期通知モードとナピ操作時再生モードをONにして終了する。 Also at this time, it is determined whether or not the reproduction has reached the end. If the reproduction has reached the end, the reproduction flag at the next start, the periodical notification mode, and the reproduction mode at the time of navigation operation are turned off and the process ends. On the other hand, if the reproduction has not reached the end, the periodical notification mode and the reproduction mode at the time of nap operation are turned on and the process ends.
定期通知モードがONの場合は、タイマー機能およびカレンダー機能により未再生の映像があることをドライバに定期的に通知する。例えば、日の最初、週の最初などに、アイコンを表示したり、音を鳴らしたり、メッセージを流したりする。また、ナビ操作時再生モードがONの場合は、ドライバがルート検索をする際に、ナビ画面にアイコンやメッセージを表示させて、未再生の映像があることをドライバに通知する。 When the periodic notification mode is ON, the driver is periodically notified that there is an unplayed video by the timer function and the calendar function. For example, an icon is displayed, a sound is played, or a message is played at the beginning of the day or the beginning of the week. When the navigation operation playback mode is ON, when the driver searches for a route, an icon or message is displayed on the navigation screen to notify the driver that there is an unplayed video.
出力側外部機器群30は、映像出力手段31、映像記録手段32、映像送信手段33などを含み、これらは既存の車載機器を利用しても良い。映像出力手段31は、既に述べた通り、教師映像再生手段13で再生される教師映像を表示装置(車載モニターなど)に表示させる。
The output-side
映像記録手段32は、教師映像を記録するための可搬記憶媒体(メモリーカードやハードディスクなど)、その記憶媒体を装填するためのメディアスロットやソケット、および、その記憶媒体取出し操作や書き出し操作を実行するためのメニュー画面(GUI)などからなる。この映像記録手段32により、ドライバは記録媒体を持ち運ぶことができ、運転終了後に車外機器(自宅PCやTVなど)で教師映像を再生し、危険運転状況をチェックすることができる。 The video recording means 32 executes a portable storage medium (memory card, hard disk or the like) for recording the teacher video, a media slot or socket for loading the storage medium, and an operation for taking out or writing out the storage medium. Menu screen (GUI) and the like. With this video recording means 32, the driver can carry the recording medium, and after driving is finished, the teacher video can be played back on the outside equipment (home PC, TV, etc.) to check the dangerous driving situation.
映像送信手段33は、路車間通信、携帯電話、Wi−Fiなどの通信サービスを利用して、教師映像をサーバーに記録するための通信端末などで構成され、この映像送信手段33を利用することにより、運転終了後に車外機器で教師映像を再生、チェックすることができる。 The video transmission means 33 is composed of a communication terminal for recording a teacher video on a server using a communication service such as road-to-vehicle communication, a mobile phone, Wi-Fi, and the like. Thus, it is possible to reproduce and check the teacher video with the external device after the driving is completed.
次に、上記実施形態に基づく運転支援システム100の動作について図8を参照しながら説明する。
Next, the operation of the driving
先ず、運転支援システム100が起動されると、車両情報検出手段24で取得した車両情報をシステムに取り込み、メモリへの記録を開始する(S101)。
First, when the driving
車両1が発進し走行状態となると共に、車外カメラ4が作動状態となり、車両周囲の映像をシステムに取り込み、メモリへの記録を開始する(S102)。また、レーダ5および距離検出手段22が作動状態となり、レーダ視野角5aに検知される他車両などの物体との距離データをシステムに取り込み、メモリへの記録を開始する(S103)。車室内カメラ6およびドライバ状態検出手段23が作動状態となり、ドライバ3の頭部位置と視線方向の情報をシステムに取り込み、メモリへの記録を開始する(S104)。
The
走行中において、危険状況検出部12において危険な状況が検知されない場合はステップS101〜S104が継続される。一方、距離検出手段22に検知される他車両(8)までの距離が一定値以下になる、車両情報検出手段24に取得されるハンドル操舵角の角速度や角加速度が一定値以上になる等により、危険状況検出部12によって危険状況が発生したと判断された場合(S105)には、教師映像生成部11が作動状態となり、以下のステップを実行する。
If the dangerous
過去データ記録部14から、危険状況発生時点から過去一定期間の保存データが読み出され(S106)、当該データにおいて、ドライバ3の頭部位置および視線方向からドライバ3の視野範囲を算出し、サイドミラー2に映る映像の視野2aおよびサイドウィンドウ7を通じて視認される映像の視野7aを決定する(S107)。次いで、車外カメラ4の映像から仮想ミラー映像2bと仮想サイドウィンドウ映像7bを生成し(S108)、それらを合成して表示装置に表示させる映像を生成する(S109)。
From the past
さらに、危険状況の対象となった他車両(8)を、距離データと車外カメラ画像とを対応させることにより追跡し、仮想ミラー映像2bおよび仮想サイドウィンドウ映像7b内での対象物8aの位置を特定する(S110)ことにより、仮想ミラー映像2bおよび仮想サイドウィンドウ映像7b内での他車両の位置および領域をドライバが認識しやすいようにマーキング(8b)を行う(S111)と共に、距離データ、画像データ、および、ドライバの視野範囲から、危険状況の対象となった他車両(8)がドライバ3の死角領域に入ったかどうかを判定する(S112)。
Furthermore, the other vehicle (8) that is the target of the dangerous situation is tracked by associating the distance data with the outside camera image, and the position of the
対象となった他車両が死角領域に入っている場合には、画面上にメッセージ等を表示させたり、ブザーを鳴らしたりして、ドライバに注意喚起する(S113)。他車両が死角領域に入っていない場合は、生成した教師映像を記録、保存するとともに、必要に応じてサーバーに送信する(S114)。 If the target other vehicle is in the blind spot area, a message or the like is displayed on the screen or a buzzer is sounded to alert the driver (S113). If the other vehicle is not in the blind spot area, the generated teacher video is recorded and stored, and transmitted to the server as necessary (S114).
車両情報検出手段24に車両1が停止状態になったと判定された場合(S115)、その時点までの走行中に発生した危険状況について危険運転度合いが算出され、危険状況が複数回発生していた場合には、それぞれのシーンについて危険運転度合いが算出される(S116)。算出された危険度合いの値をしきい値判定することにより危険運転レベルを決定し、記録すると共に、過去の危険運転履歴(ランキングリスト)、危険運転レベル(危険運転発生頻度)等の表示画面を生成し、教師映像とともに記録し(S117)、記録した教師映像と危険運転レベルを読み出して再生し、表示装置に表示させる(S118)。
When the vehicle information detection means 24 determines that the
その後、教師映像と危険運転レベル表示画面が最後まで再生されたかどうか判定し(S119)、映像の再生の途中で、イグニッションスイッチをオフにしたか、シフトポジションがPレンジ以外に入った場合は、最後まで再生されていないと判定し、次回発進時再生フラグをオン(ON)にして記録する一方、映像再生の最後まで、イグニッションスイッチがオン、かつ、シフトポジションがPレンジの場合は最後まで再生されたと判定し、次回発進時再生フラグをオフ(OFF)にする(S120)。 Thereafter, it is determined whether or not the teacher image and the dangerous driving level display screen have been reproduced to the end (S119). If the ignition switch is turned off or the shift position enters a range other than the P range during the image reproduction, It is determined that it has not been played to the end, and the next start flag is set to ON (ON) for recording. On the other hand, until the end of video playback, if the ignition switch is on and the shift position is in the P range, playback to the end It is determined that it has been performed, and the next start reproduction flag is turned off (S120).
次に、上記実施形態に基づく運転支援システム100の車両発進時における動作について図9を参照しながら説明する。
Next, the operation of the driving
先ず、車両1のイグニッションスイッチがオンになった時点で、前回走行終了時に記録された「次回発進時再生フラグ」を読み出し(S201)、「次回発進時再生フラグ」がオンか否かを判定する(S202)。
First, when the ignition switch of the
「次回発進時再生フラグ」がオンの場合には、再生が最後まで完了していない映像を再度再生して表示装置に表示させる(S203)。その後、映像が最後まで再生されたかどうか判定する(S204)。映像再生の途中でイグニッションスイッチをオフにしたか、シフトポジションがPレンジ以外に入った場合は、最後まで再生されていないと判定し、「定期通知モード」をオン(ON)、「ナビ操作時再生モード」をオン(ON)にして終了する(S205)。 If the “next start playback flag” is on, the video that has not been played back to the end is played back again and displayed on the display device (S203). Thereafter, it is determined whether or not the video has been reproduced to the end (S204). If the ignition switch is turned off during video playback or the shift position is outside the P range, it is determined that the video has not been played back to the end, and “periodic notification mode” is turned on (ON). The “reproduction mode” is turned on, and the process ends (S205).
一方、ステップS202で「次回発進時再生フラグ」がオフの場合、および、ステップS204で、映像再生の最後まで、イグニッションスイッチがオン、かつ、シフトポジションがPレンジの場合は最後まで再生されたと判定し、「次回発進再生フラグ」をオフ(OFF)、「定期通知モード」をオフ(OFF)、「ナビ操作時再生モード」をオフ(OFF)にして終了する(S205)。 On the other hand, if the “reproduction flag at next start” is off in step S202, and if the ignition switch is on and the shift position is in the P range until the end of video playback, it is determined that playback has been completed to the end in step S204. Then, the “next start reproduction flag” is turned off (OFF), the “periodic notification mode” is turned off (OFF), and the “navigation operation reproduction mode” is turned off (OFF), and the process ends (S205).
以上、本発明の実施形態について述べたが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能である。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, Based on the technical idea of this invention, various deformation | transformation and a change are further possible.
例えば、上記実施形態では、サイドミラー2の視野2aに準じた仮想ミラー映像2bを生成する場合について述べたが、ルームミラーの視野に準じた仮想ミラー映像を生成し、教師映像に含めることもできる。
For example, in the above embodiment, the case where the
また、上記実施形態では、車線変更時の運転状況および安全確認動作を検出する場合を例にとり説明したが、本発明に係る運転支援システムは、右左折時の安全確認(ドライバ頭部動作と通過車両との距離、ブレーキやハンドル操作)や、対歩行者の安全確認(ドライバ頭部動作と歩行者との距離、ブレーキやハンドル操作)など、様々な運転状況に適用可能である。 Further, in the above embodiment, the case where the driving situation and the safety confirmation operation at the time of lane change are detected has been described as an example. However, the driving support system according to the present invention performs the safety confirmation at the time of turning right and left (driver head operation and passing The present invention can be applied to various driving situations such as the distance to the vehicle, brake and steering operation), and safety confirmation for pedestrians (distance between the driver's head operation and pedestrian, braking and steering operation).
さらに、上記実施形態では、車両停止時に再生完了か否かを判定して「次回発進再生フラグ」や「定期通知モード」、「ナビ操作時再生モード」のオン/オフを決定し、次回発進時まで保持する場合について述べたが、記録された各シーンの危険運転レベルが低い場合は、危険運転履歴のみを表示する、逆に、危険運転レベルが最高値のシーンがある場合には、再生が完了するまでシフトポジションがPレンジに保持されるなど、再生に関する強制性や程度を変化させることもできる。 Furthermore, in the above embodiment, it is determined whether or not the reproduction is completed when the vehicle is stopped, and the “next start reproduction flag”, “periodic notification mode”, and “navigation operation reproduction mode” are determined to be turned on / off. However, if the recorded dangerous driving level of each scene is low, only the dangerous driving history is displayed. Conversely, if there is a scene with the highest dangerous driving level, playback is not possible. It is possible to change the forcing and degree of reproduction, such as holding the shift position in the P range until completion.
1 車両(自車両)
2 サイドミラー
2a サイドミラー視野
2b 仮想ミラー映像
3 ドライバ
4 車外カメラ(撮像手段)
4a カメラ視野
5 距離計測用センサ(レーダー)
5a レーダ視野角
6 車室内カメラ(ドライバ状態検出手段)
7 サイドウィンドウ
7a サイドウィンドウ視野
7b 仮想サイドウィンドウ映像
8 他車両
8a 対象物
8b マーカー
10 処理装置(運転支援システム本体)
11 教師映像生成部
12 危険状況検出部
13 教師映像再生部
14 過去データ記録部
20 入力側外部機器群
21 車両周囲撮像手段
22 距離検出手段
23 ドライバ状態検出手段
24 車両情報検出手段
30 出力側外部機器群
31 映像出力手段
32 映像記録手段
33 映像送信手段
41 ドライバ視野範囲算出部
42 仮想ミラー映像生成部
43 仮想側方映像生成部
44 対象物追跡部
45 対象物マーキング部
46 危険運転レベル判定部
100 運転支援システム
1 Vehicle (own vehicle)
2
4a Camera field of view 5 Distance measurement sensor (radar)
5a
7
DESCRIPTION OF
Claims (5)
車両周囲の物体との距離を検出するための距離検出手段と、
ドライバの頭部位置および視線方向を検出するためのドライバ状態検出手段と、
前記撮像手段に取得される映像と前記距離検出手段および前記ドライバ状態検出手段の検出情報を同期させて経時的に記録するデータ記録手段と、
前記検出情報および車両情報に基づいて運転中における危険状況を検知する危険状況検出手段と、
前記危険状況検出手段が危険状況を検知した場合に、前記データ記録手段から過去一定時間分のデータを読み出し、ドライバの視野に準じた仮想視野映像を含む教師映像を生成する映像生成手段と、
前記教師映像を再生する映像再生手段と、を備え、
運転中に生じた危険状況をドライバに認識させるために、運転終了時に前記映像再生手段により前記教師映像が自動再生されるように設定可能であることを特徴とする運転支援システム。 Imaging means for imaging the surroundings of the vehicle;
Distance detecting means for detecting a distance to an object around the vehicle;
Driver state detection means for detecting the head position and line-of-sight direction of the driver;
A data recording means for recording the video acquired by the imaging means and the detection information of the distance detection means and the driver state detection means in synchronization with each other;
A dangerous situation detection means for detecting a dangerous situation during driving based on the detection information and the vehicle information;
When the dangerous situation detection means detects a dangerous situation, the video generation means for reading out data for a certain past time from the data recording means and generating a teacher video including a virtual visual field image according to the visual field of the driver;
Video playback means for playing back the teacher video,
A driving support system, characterized in that the teacher video can be set to be automatically played back by the video playback means at the end of driving in order to make the driver recognize a dangerous situation that occurs during driving.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014184301A JP2016057490A (en) | 2014-09-10 | 2014-09-10 | Driving support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014184301A JP2016057490A (en) | 2014-09-10 | 2014-09-10 | Driving support system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016057490A true JP2016057490A (en) | 2016-04-21 |
Family
ID=55758215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014184301A Pending JP2016057490A (en) | 2014-09-10 | 2014-09-10 | Driving support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016057490A (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170135537A (en) * | 2016-05-31 | 2017-12-08 | 그리드스페이스(주) | Method for operation of driving simulator and driving simulator |
CN108773268A (en) * | 2018-06-06 | 2018-11-09 | 广东信浓信息技术有限公司 | A kind of driving school's DAS (Driver Assistant System) and its application method |
CN109360295A (en) * | 2018-10-31 | 2019-02-19 | 张维玲 | A kind of mileage measuring system and method based on Aberration Analysis |
CN110531855A (en) * | 2019-08-28 | 2019-12-03 | 长安大学 | A kind of driver's effective field of view detection method based on VR technology |
US10723348B2 (en) | 2018-02-20 | 2020-07-28 | Hyundai Motor Company | Vehicle with driver warning system and method of control |
CN111627252A (en) * | 2020-06-10 | 2020-09-04 | 上海商汤智能科技有限公司 | Vehicle early warning method and device, electronic equipment and storage medium |
JP2021103449A (en) * | 2019-12-25 | 2021-07-15 | トヨタ自動車株式会社 | Information recording and reproducing device, information recording and reproducing program and information recording and reproducing system |
US11176826B2 (en) | 2018-11-29 | 2021-11-16 | Toyota Jidosha Kabushiki Kaisha | Information providing system, server, onboard device, storage medium, and information providing method |
CN116592831A (en) * | 2023-07-17 | 2023-08-15 | 四川护邑科技有限公司 | Laser ranging device with laser marking function |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004009833A (en) * | 2002-06-05 | 2004-01-15 | Nissan Motor Co Ltd | Driving situation recording device |
JP2012247871A (en) * | 2011-05-25 | 2012-12-13 | Fujitsu Ltd | Driving skill discrimination device, and driving skill discrimination program |
US20130083197A1 (en) * | 2010-05-25 | 2013-04-04 | Fujitsu Limited | Storage managing method and storage management device |
JP2013168063A (en) * | 2012-02-16 | 2013-08-29 | Fujitsu Ten Ltd | Image processing device, image display system, and image processing method |
JP2014134912A (en) * | 2013-01-09 | 2014-07-24 | Fujitsu Ten Ltd | Playback device, playback system, playback method and program |
-
2014
- 2014-09-10 JP JP2014184301A patent/JP2016057490A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004009833A (en) * | 2002-06-05 | 2004-01-15 | Nissan Motor Co Ltd | Driving situation recording device |
US20130083197A1 (en) * | 2010-05-25 | 2013-04-04 | Fujitsu Limited | Storage managing method and storage management device |
JP2012247871A (en) * | 2011-05-25 | 2012-12-13 | Fujitsu Ltd | Driving skill discrimination device, and driving skill discrimination program |
JP2013168063A (en) * | 2012-02-16 | 2013-08-29 | Fujitsu Ten Ltd | Image processing device, image display system, and image processing method |
JP2014134912A (en) * | 2013-01-09 | 2014-07-24 | Fujitsu Ten Ltd | Playback device, playback system, playback method and program |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101880180B1 (en) * | 2016-05-31 | 2018-08-16 | 박무영 | Method for operation of driving simulator and driving simulator |
KR20170135537A (en) * | 2016-05-31 | 2017-12-08 | 그리드스페이스(주) | Method for operation of driving simulator and driving simulator |
US10723348B2 (en) | 2018-02-20 | 2020-07-28 | Hyundai Motor Company | Vehicle with driver warning system and method of control |
CN108773268A (en) * | 2018-06-06 | 2018-11-09 | 广东信浓信息技术有限公司 | A kind of driving school's DAS (Driver Assistant System) and its application method |
CN109360295A (en) * | 2018-10-31 | 2019-02-19 | 张维玲 | A kind of mileage measuring system and method based on Aberration Analysis |
US11176826B2 (en) | 2018-11-29 | 2021-11-16 | Toyota Jidosha Kabushiki Kaisha | Information providing system, server, onboard device, storage medium, and information providing method |
CN110531855B (en) * | 2019-08-28 | 2022-09-27 | 长安大学 | Driver effective visual field detection method based on VR technology |
CN110531855A (en) * | 2019-08-28 | 2019-12-03 | 长安大学 | A kind of driver's effective field of view detection method based on VR technology |
JP2021103449A (en) * | 2019-12-25 | 2021-07-15 | トヨタ自動車株式会社 | Information recording and reproducing device, information recording and reproducing program and information recording and reproducing system |
JP7243616B2 (en) | 2019-12-25 | 2023-03-22 | トヨタ自動車株式会社 | Information recording/reproducing device, information recording/reproducing program, and information recording/reproducing system |
CN111627252A (en) * | 2020-06-10 | 2020-09-04 | 上海商汤智能科技有限公司 | Vehicle early warning method and device, electronic equipment and storage medium |
CN116592831A (en) * | 2023-07-17 | 2023-08-15 | 四川护邑科技有限公司 | Laser ranging device with laser marking function |
CN116592831B (en) * | 2023-07-17 | 2023-09-08 | 四川护邑科技有限公司 | Laser ranging device with laser marking function |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016057490A (en) | Driving support system | |
US10217343B2 (en) | Alert generation correlating between head mounted imaging data and external device | |
JP6486640B2 (en) | Driving characteristic diagnostic device, driving characteristic diagnostic system, driving characteristic diagnostic method, information output device, information output method | |
JP6497915B2 (en) | Driving support system | |
JP4986135B2 (en) | Database creation device and database creation program | |
JP5499277B2 (en) | Dangerous driving prevention awareness judgment system and dangerous driving prevention awareness judgment method | |
US9977243B2 (en) | Method for executing vehicle function using wearable device and vehicle for carrying out the same | |
JP5311793B2 (en) | Aside look status determination device | |
JP6480143B2 (en) | Driving characteristic diagnosis device, driving characteristic diagnosis system, driving characteristic diagnosis method | |
JP7355151B2 (en) | Information processing device, information processing method, program | |
JP6504040B2 (en) | Notification processor | |
JP6218618B2 (en) | Driving support device, driving support method, and driving support program | |
JP5076592B2 (en) | Driver risk acquisition device | |
JP2010015451A (en) | Driver's state recording apparatus | |
EP2963632A1 (en) | Manoeuvre assistance | |
JP6653439B2 (en) | Display control device, projection device, display control program, and recording medium | |
JP5133784B2 (en) | Driving operation evaluation device | |
JP2020024551A (en) | Driving consciousness estimation device | |
JP7294381B2 (en) | Information processing device, information processing method, program | |
JP2016122966A (en) | Data reproduction device, data reproduction method, and program | |
JP5090891B2 (en) | Safe driving teaching system | |
JP2008090683A (en) | Onboard navigation device | |
JP2010009491A (en) | Driving assist system, driving assist method, and driving assist program | |
US20210179131A1 (en) | Driver assistance device, non-transitory storage medium storing driver assistance program, and driver assistance system | |
JP2009140439A (en) | Device for diagnosing driver's driving capability and driving support device for adjusting content of driving support according to the driver's driving capability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180105 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180307 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180803 |