JP7371419B2 - Driving assistance systems and programs - Google Patents
Driving assistance systems and programs Download PDFInfo
- Publication number
- JP7371419B2 JP7371419B2 JP2019179143A JP2019179143A JP7371419B2 JP 7371419 B2 JP7371419 B2 JP 7371419B2 JP 2019179143 A JP2019179143 A JP 2019179143A JP 2019179143 A JP2019179143 A JP 2019179143A JP 7371419 B2 JP7371419 B2 JP 7371419B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- warning
- warning target
- vehicle
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001508 eye Anatomy 0.000 claims description 67
- 238000001514 detection method Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 description 24
- 238000000034 method Methods 0.000 description 22
- 239000013598 vector Substances 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Description
本発明は、運転支援システムおよび運転支援プログラムに関する。 The present invention relates to a driving support system and a driving support program.
従来、車両の運転者から見て、少なくとも一部が遮蔽された警告対象が存在する際に、運転者に対して警告する技術が知られている。例えば、特許文献１には、ドライバの視点位置から見たときのＡピラーによる対象物の隠蔽率が、所定値以上である場合に、ドライバに対して警報を報知する技術が開示されている。 2. Description of the Related Art Conventionally, a technique is known that warns a vehicle driver when there is a warning target that is at least partially shielded from the perspective of the vehicle driver. For example, Patent Document 1 discloses a technique for notifying a driver of a warning when the concealment rate of an object by an A-pillar when viewed from the driver's viewpoint is equal to or higher than a predetermined value.
運転者から警告対象を見た場合の隠蔽率が同程度であっても、警告対象が認識困難である場合もある。例えば、警告対象の一部に周囲とのコントラストが大きいなどの理由で目立つ部分がある場合、同一の隠蔽率であっても、当該一部が遮蔽されているならば遮蔽されていない場合と比較して警告対象が見えにくい。従来の技術においては、運転者の実際の視点位置から見た場合に、Ａピラーによって遮蔽された部分を含め、警告対象自体の見えにくさを算出していない。従って、例えば、隠蔽率が所定値より小さいが見えにくい警告対象について警告を出力することができない。
本発明は、前記課題にかんがみてなされたもので、視認困難な警告対象が視認される可能性を高める技術の提供を目的とする。
Even if the concealment rate when the driver sees the warning target is at the same level, the warning target may be difficult to recognize. For example, if there is a part of the warning target that stands out due to high contrast with the surroundings, even if the concealment rate is the same, if that part is shielded, compare it with the case where it is not shielded. warning target is difficult to see. In the conventional technology, when viewed from the driver's actual viewpoint position, the visibility of the warning target itself, including the portion blocked by the A-pillar, is not calculated. Therefore, for example, a warning cannot be output for a warning target whose concealment rate is smaller than a predetermined value but is difficult to see.
The present invention has been made in view of the above-mentioned problems, and aims to provide a technique that increases the possibility that a difficult-to-see warning target will be visually recognized.
上記の目的を達成するため、運転支援システムは、車両の周囲の画像を取得する画像取得部と、画像に基づいて車両の周囲に存在する警告対象を検出する警告対象検出部と、車両の運転者の眼の位置を検出する眼位置検出部と、車両の構造物を示す構造物情報を取得する構造物情報取得部と、眼の位置と構造物情報とに基づいて、運転者から警告対象を見た場合に警告対象および構造物を含む所定領域において視認される画像である警告対象画像を取得する警告対象画像取得部と、警告対象画像の変化が小さい場合には、変化が大きい場合よりも強い警告を出力する警告出力部と、を備える In order to achieve the above purpose, the driving support system includes an image acquisition unit that acquires images of the surroundings of the vehicle, a warning target detection unit that detects warning targets existing around the vehicle based on the images, and a driving support system that An eye position detection unit that detects the position of the driver's eyes, a structure information acquisition unit that acquires structure information indicating the structure of the vehicle, and a warning target from the driver based on the eye position and structure information. a warning target image acquisition unit that acquires a warning target image that is an image that is visible in a predetermined area including the warning target and structures when viewing the warning target image; and a warning output section that outputs a strong warning.
また、上記の目的を達成するため、運転支援プログラムは、コンピュータを、車両の周囲の画像を取得する画像取得部、画像に基づいて車両の周囲に存在する警告対象を検出する警告対象検出部、車両の運転者の眼の位置を検出する眼位置検出部、車両の構造物を示す構造物情報を取得する構造物情報取得部、眼の位置と構造物情報とに基づいて、運転者から警告対象を見た場合に警告対象および構造物を含む所定領域において視認される画像である警告対象画像を取得する警告対象画像取得部と、警告対象画像の変化が小さい場合には、変化が大きい場合よりも強い警告を出力する警告出力部、として機能させる。 In addition, in order to achieve the above object, the driving support program includes a computer, an image acquisition unit that acquires an image of the surroundings of the vehicle, a warning target detection unit that detects a warning target that exists around the vehicle based on the image, An eye position detection unit that detects the position of the vehicle driver's eyes, a structure information acquisition unit that acquires structure information indicating the structure of the vehicle, and a warning from the driver based on the eye position and structure information. a warning target image acquisition unit that acquires a warning target image that is an image that is visible in a predetermined area including the warning target and a structure when the target is viewed; It functions as a warning output section that outputs a stronger warning than the previous one.
すなわち、運転支援システム、運転支援プログラムにおいては、運転者から視認される警告対象の変化に着目する。そして、運転支援システム、運転支援プログラムにおいては、当該部分の変化が小さい場合には、変化が大きい場合よりも認識困難であると推定し、より強い警告を出力する。従って、運転者は、警告対象が視認困難であるほど強い警告を受け、視認困難な警告対象であっても視認できる可能性が高くなる。 That is, in the driving support system and the driving support program, attention is paid to changes in the warning target visually recognized by the driver. In the driving support system and driving support program, when the change in the part concerned is small, it is estimated that recognition is more difficult than when the change is large, and a stronger warning is output. Therefore, the more difficult a warning target is to visually recognize, the stronger the warning will be received by the driver, and the possibility that the driver will be able to visually recognize a warning target that is difficult to visually recognize increases.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）運転支援システムの構成：
（２）運転支援処理：
（３）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of driving support system:
(2) Driving support processing:
(3) Other embodiments:
（１）運転支援システムの構成：
図１は、本発明の一実施形態にかかる運転支援システムを含む運転支援システム１０の構成を示すブロック図である。運転支援システム１０は、車両に備えられており、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０、記録媒体３０を備えている。運転支援システム１０は、記録媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。
(1) Configuration of driving support system:
FIG. 1 is a block diagram showing the configuration of a
記録媒体３０には、予め構造物情報３０ａが記録されている。構造物情報３０ａは、車内の構造物の３次元モデルを示す情報であり、少なくとも、車両の構造物の最外面を構成する表面の形状を、３次元仮想空間内で特定可能な情報である。本実施形態においては、ポリゴンによって表面の形状が特定されるが、構造物情報３０ａのフォーマットは種々のフォーマットであってよい。
構造物情報３０ａは、少なくとも、運転者の眼の位置から見た方向（視線方向）の延長上に存在し得る車両の構造物であれば良く、車両全体の構造物を示していてもよいし、運転者が視認し得る範囲に存在する構造物を示していてもよい。運転者の視線は主に車室を構成する構造物に遮蔽され得るため、車室内の構造物が構造物情報３０ａに含まれるが、車室外に存在する構造物、例えばボンネットやバックミラーが運転者の視線方向に存在し得る場合、これらの構造物を示す情報が構造物情報３０ａに含まれ得る。なお、構造物情報３０ａは、視線を遮る可能性がある構造物の情報であるため、フロントガラスなどの透明な構造物の情報は含まれない（または透明である情報が対応づけられている）。
The
本実施形態における車両は、カメラ４０と眼位置検出センサ４１と案内部４２とを備えている。カメラ４０は、車両の所定位置において前方に向けられて取り付けられており、運転者が前方を見ている場合における視野内の画像を取得する装置である。制御部２０は、当該カメラ４０の出力する画像を取得し、特徴量の抽出等によって画像を解析することによって車両の周辺に存在する警告対象としての移動体（人および車両）を検出することができる。
The vehicle in this embodiment includes a
眼位置検出センサ４１は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。眼位置検出センサ４１は、赤外線出力部から出力された赤外線によって赤外線カメラで撮影された運転者の眼の像に基づいて、眼の位置を検出し、出力する。
The eye
制御部２０は、当該出力に基づいて、予め定義された３次元空間内で眼の位置を特定することができる。眼の位置は１カ所検出されても良いし、２カ所検出されてもよい。本実施形態においては、１カ所（左右いずれの眼球の中心または左右の眼球の間の位置）が検出される例を説明する。
The
案内部４２は、車室内に設けられており、各種の情報を表示するディスプレイおよび音を出力するスピーカーを有する装置である。案内部４２は、複数の装置を含み得る。すなわち、運転者の正面に設置されるインストルメントパネルや、車室内の前方中央に設置されるナビゲーションシステムが案内部４２となり得る。本実施形態において、制御部２０は、案内部４２に対して制御信号を出力し、各種の情報を表示させ、また、各種の音を出力させることができる。
The
本実施形態において制御部２０は、以上の構成を利用して、車両の周囲に存在する警告対象としての移動体に関する警告のための表示を行うことができる。このために、制御部２０は、運転支援プログラム２１を実行することが可能である。運転支援プログラム２１は、画像取得部２１ａと、警告対象検出部２１ｂと、眼位置検出部２１ｃと、構造物情報取得部２１ｄと、警告対象画像取得部２１ｅと、警告出力部２１ｆとを備えている。
In this embodiment, the
画像取得部２１ａは、車両の周囲の画像を取得する機能を制御部２０に実行させるプログラムモジュールである。すなわち、制御部２０は、画像取得部２１ａの機能により、カメラ４０が撮影した画像を示す画像データを取得する。本実施形態において、カメラ４０は、一定期間毎に撮影を行うことが可能であるため、画像データは時系列で連続する複数の静止画によって構成される動画データである。むろん、画像データはＲＡＭ等のバッファに記録されてもよいし、記録媒体３０に記録されてもよい。
The
図２Ａは、カメラ４０において撮影された画像の例を示す図である。図２Ａは、薄いグレーの道路上を走行している車両から撮影された画像の例を示しており、当該道路の左側には濃いグレーの歩道が存在している。また、当該歩道の脇には濃いグレーの建築物が存在している。さらに、歩道上においては、車両の左前方の近傍に歩行者Ｐが車両と同じ進行方向に向けて移動している。
FIG. 2A is a diagram showing an example of an image captured by the
警告対象検出部２１ｂは、画像に基づいて車両の周囲に存在する警告対象を検出する機能を制御部２０に実行させるプログラムモジュールである。すなわち、人および車両を画像から抽出するための特徴量は、予め決められており、制御部２０は、カメラ４０から出力された各画像から特徴量を抽出し、人および車両の画像を検出する。また、制御部２０は、連続して取得された画像のそれぞれから検出された人および車両の画像を比較し、人および車両が移動している場合にこれらの画像を警告対象として取得する。
The warning
図２Ｂは、図２Ａに示す例から警告対象が取得された場合の例を示している。この例において、制御部２０は、警告対象として取得したオブジェクト（この例では歩行者）を囲む矩形Ｂを画像上に重ねることで警告対象を取得している。なお、画像内の特徴に基づく移動体の検出は、種々の手法で実施されてよく、例えば、画像から直線を抽出することによって道路を検出し、画像に含まれる路面上のオブジェクトの形状や色、動作等の特徴に基づいて歩行者が検出される構成等を採用可能である。また、画像から直線を抽出することによって道路を検出し、道路に接したタイヤの特徴を有する部分が検出されることで車両が検出される構成や、ヘッドライト等の特徴に基づいて車両が検出される構成などが採用されてもよい。むろん、各種のテンプレートマッチングを利用した検出や、ＹＯＬＯ（You Only Look Once）等の人工知能を利用した検出等が行われてもよい。
FIG. 2B shows an example where a warning target is acquired from the example shown in FIG. 2A. In this example, the
眼位置検出部２１ｃは、車両の運転者の眼の位置を検出する機能を制御部２０に実行させるプログラムモジュールである。すなわち、制御部２０は、眼位置検出センサ４１の出力に基づいて、利用者の眼の位置を取得する。なお、本実施形態において制御部２０は、眼位置検出センサ４１の検出結果が表現される座標系から、車両の構造物が表現される座標系への座標変換等を利用し、車両の構造物の３次元形状を表現するための３次元仮想空間内で利用者の眼の位置を特定する。
The eye
構造物情報取得部２１ｄは、車両の構造物を示す構造物情報を取得する機能を制御部２０に実行させるプログラムモジュールである。すなわち、制御部２０は、構造物情報取得部２１ｄの機能により、記録媒体３０を参照し、運転者の眼から見て任意の方向に存在する構造物の構造物情報３０ａを取得することができる。
The structure
警告対象画像取得部２１ｅは、眼の位置と構造物情報３０ａとに基づいて、運転者から警告対象を見た場合に警告対象および構造物を含む所定領域において視認される画像である警告対象画像を取得する機能を制御部２０に実行させるプログラムモジュールである。警告対象画像は、警告対象および構造物を含む所定領域において視認される画像の全てであってもよいし一部であってもよい。本実施形態において警告対象画像は、所定領域の一部の画像、すなわち、運転者から警告対象を見た場合に構造物によって遮蔽されずに視認される部分の画像を示す非遮蔽画像である。制御部２０は、運転者の眼の位置に基づいて、カメラ４０で撮影された画像の任意の画素がどの視線方向において視認されるのか特定する。具体的には、カメラ４０は、車両に固定されているため、任意の眼の位置から見た先にある被写体が画像内でどの位置に存在するのか予め特定することができる。
The warning target
本実施形態においては、運転者の眼の位置毎に、視線方向を示すベクトルと、その視線方向で視認される被写体が撮像される画像上の位置とが予め定義されている。当該ベクトルと画像上の位置との対応関係は、予めテーブル等として定義されていてもよいし、関数等によって定義されていてもよい。むろん、対応関係は近似値であってもよい。いずれにしても、制御部２０は、運転者の眼の位置に基づいて、任意の視線方向の先に存在する（当該視線方向で視認される）画素を、各視線方向について特定可能である。
In this embodiment, for each position of the driver's eyes, a vector indicating the line-of-sight direction and a position on the image at which a subject viewed in the line-of-sight direction is imaged are defined in advance. The correspondence between the vector and the position on the image may be defined in advance as a table or the like, or may be defined by a function or the like. Of course, the correspondence relationship may be an approximate value. In any case, the
さらに、制御部２０は、運転者の視野範囲に含まれる任意の視線方向に構造物が存在するか否かに基づいて警告対象が遮蔽されるか否か特定する。すなわち、運転者の視野範囲は予め決められており、制御部２０は、車両の構造物の３次元形状を表現するための３次元仮想空間内で利用者の眼の位置を特定する。
Furthermore, the
また、制御部２０は、運転者の眼の位置を起点とするベクトルであって、既定角度で角度が変化することで得られる複数のベクトルを定義して、視野範囲の全範囲を網羅する視線方向を定義する。そして、制御部２０は、構造物情報３０ａを参照し、各ベクトルが指す方向に構造物が存在する場合に、利用者の視線は構造物によって遮蔽されるとみなす。
In addition, the
そして、制御部２０は、構造物によって遮蔽されない視線方向のベクトルを特定し、そのベクトルに対応づけられた画像上の位置を特定し、当該位置の画像が構造物によって遮蔽されずに視認される画像であるとみなす。図２Ｃは、以上のようにして、構造物によって遮蔽される部位を除外し、構造物に遮蔽されずに視認される画像が得られた状態を例示する図である。すなわち、図２Ｃにおいては、図２Ａに示す画像において、インストルメントパネルやピラー等の構造物によって遮蔽される部分を白抜きで示しており、これら以外の部分が遮蔽されないで視認される様子を示している。
Then, the
制御部２０は、遮蔽されないで視認される部位に含まれる、警告対象の画像を非遮蔽画像として取得する。例えば図２Ｂのように警告対象が矩形Ｂとして取得された場合、制御部２０は、図３Ａのような画像を取得する。なお、本実施形態において、取得された画像において構造物に遮蔽されている部分は、画像の変化を解析する対象とはならない。
The
警告出力部２１ｆは、非遮蔽画像の変化が小さい場合には、変化が大きい場合よりも強い警告を出力する機能を制御部２０に実行させるプログラムモジュールである。本実施形態において、制御部２０は、非遮蔽画像の変化が既定の基準以下である場合に警告対象に対する警告を出力し、非遮蔽画像の変化が既定の基準よりも大きい場合には警告対象に対する警告を出力しない。
The
すなわち、制御部２０は、警告出力部２１ｆの機能により、非遮蔽画像の変化に基づいて警告対象が認識困難であるか否かを判定し、認識困難である場合には警告を出力するが、認識困難ではない場合には警告を出力しない。本実施形態において、制御部２０は、非遮蔽画像に含まれるエッジ量、非遮蔽画像のコントラスト、非遮蔽画像の時間変化に基づいて非遮蔽画像の変化量を特定する。本実施形態においては、これらの変化量に対して基準としての閾値が決められており、制御部２０は、エッジ量が閾値以下である場合、コントラストが閾値以下である場合、時間変化が閾値以下である場合に、非遮蔽画像の変化が小さいとみなす。
That is, the
非遮蔽画像の変化が小さいとみなされない場合、制御部２０は、案内部４２を制御して警告対象に対する警告を出力する。本実施形態において、制御部２０は、案内部４２を制御し、警告対象が存在する方向の概略を画像で示すとともに、警告音を出力させる。むろん、警告は種々の手法で実施されてよく、例えば、ＨＵＤ(Head Up Display)等によって警告対象が存在する方向に視線を誘導させるための動画等が表示されてもよい。以上の構成によれば、車両の構造物によって遮蔽された警告対象が視認困難である場合に警告が出力される。従って、視認困難な警告対象であっても視認できる可能性が高くなる。
If the change in the non-occluded image is not deemed to be small, the
（２）運転支援処理：
次に、図３Ｃに示すフローチャートに基づいて制御部２０が実行する運転支援処理を説明する。運転支援システム１０が起動されると、制御部２０は、一定期間毎（例えば、１００ｍｓ毎）に運転支援処理を実行する。運転支援処理が実行されると、制御部２０は、画像取得部２１ａの機能により、画像を取得する（ステップＳ１００）。すなわち、制御部２０は、カメラ４０が出力する画像データを取得し、記録媒体３０等に記憶させる。以上の処理により、例えば、図２Ａに示す図のような画像が取得される。
(2) Driving support processing:
Next, the driving support process executed by the
次に、制御部２０は、警告対象検出部２１ｂの機能により、警告対象を取得する（ステップＳ１０５）。すなわち、制御部２０は、ステップＳ１００で取得した画像データから警告対象の特徴量を抽出し、特徴量に基づいて警告対象を取得する。以上の処理により、例えば、図２Ｂに示すように警告対象の画像が特定される。
Next, the
次に、制御部２０は、眼位置検出部２１ｃの機能により、運転者の眼の位置を取得する（ステップＳ１１０）。すなわち、制御部２０は、眼位置検出センサ４１の出力に基づいて、利用者の眼の位置を取得し、座標変換によって、車両の構造物の３次元形状を表現するための３次元仮想空間内で利用者の眼の位置を特定する。
Next, the
次に、制御部２０は、構造物情報取得部２１ｄの機能により、構造物情報３０ａを取得する（ステップＳ１１５）。すなわち、制御部２０は、すなわち、制御部２０は、構造物情報取得部２１ｄの機能により、記録媒体３０から構造物情報３０ａを取得する。
Next, the
次に、制御部２０は、警告対象画像取得部２１ｅの機能により、運転者に視認される部分を画像から取得する（ステップＳ１２０）。すなわち、制御部２０は、ステップＳ１１０で取得された運転者の眼の位置に基づいて、眼の位置を起点とする各視線方向の先に存在するオブジェクトが撮像される画像上の位置を特定する。
Next, the
そして、制御部２０は、ステップＳ１１５で取得された構造物情報３０ａに基づいて、視線方向の先に構造物が存在する場合に、当該視線方向の先に存在するオブジェクトは構造物で遮蔽されるとみなす。以上の処理により、図２Ｃに示されるように、画像内で構造物に遮蔽された部分と、遮蔽されていない部分とが特定された状態となる。
Then, based on the
次に、制御部２０は、警告対象画像取得部２１ｅの機能により、非遮蔽画像を取得する（ステップＳ１２５）。すなわち、制御部２０は、警告対象として取得された部分から構造物を除外した残りの部分を非遮蔽画像として取得する。例えば、図２Ｂに示す例であれば、矩形Ｂに相当する範囲からピラー等の構造物の画像（図３Ａに示すＩｐ）を除外した残りが図３Ａに示すように非遮蔽画像となる。
Next, the
次に、制御部２０は、警告出力部２１ｆの機能により、認識困難度を判定する（ステップＳ１３０）。本実施形態において、制御部２０は、非遮蔽画像に含まれるエッジ量、非遮蔽画像のコントラスト、非遮蔽画像の時間変化に基づいて非遮蔽画像の変化量を特定する。そこで、制御部２０は、非遮蔽画像のエッジ量を特定する。エッジ量は、画像内で近接する画素同士の濃淡の差が大きいほど大きくなる値であり、例えば、単位面積あたりの濃淡変化（階調値のばらつき）が大きいほど大きくなる値である。このような値としては、例えば、公知の各種のフィルタ（例えば、Ｓｏｂｅｌフィルタ，Ｐｒｅｗｉｔｔフィルタ，Ｒｏｂｅｒｔｓフィルタ，Ｌａｐｌａｃｉａｎフィルタ等）で取得することができる。この場合、非遮蔽画像内の画素に対してフィルタを作用させ、その和や平均等の統計値を取得することによって非遮蔽画像のエッジ量を取得することができる。
Next, the
むろん、エッジ量は、他にも種々の手法で特定されてよく、例えば、隣接画素同士の階調値の差が閾値以上の画素をエッジ画素、差が閾値よりも小さい画素を非エッジ画素とみなし、単位面積あたりのエッジ画素の数やエッジ画素の比率等をエッジ量とみなしてもよい。いずれにしても、エッジ量が多い場合は警告対象の模様や形状が複雑であり、エッジ量が少ない場合は警告対象の模様や形状は単純である。従って、運転者は、エッジ量が少ない場合、多い場合よりも警告対象の存在や移動に気づきにくい。 Of course, the edge amount may be specified using various other methods. For example, a pixel in which the difference in gradation value between adjacent pixels is equal to or greater than a threshold value is defined as an edge pixel, and a pixel in which the difference is smaller than the threshold value is defined as a non-edge pixel. Alternatively, the number of edge pixels per unit area, the ratio of edge pixels, etc. may be regarded as the edge amount. In any case, if the amount of edges is large, the pattern or shape of the warning target is complex, and if the amount of edges is small, the pattern or shape of the warning target is simple. Therefore, when the amount of edges is small, the driver is less likely to notice the existence or movement of the warning target than when the amount of edges is large.
そこで、制御部２０は、エッジ量が予め決められた閾値より少ない場合に、非遮蔽画像の変化が小さく認識困難であると判定し、エッジ量が予め決められた閾値以上である場合に非遮蔽画像の変化が大きく認識困難ではないと判定する。
Therefore, the
さらに、制御部２０は、非遮蔽画像のコントラストを特定する。コントラストは、画像内全体で濃淡の差異が大きいほど大きくなる値であり、例えば、非遮蔽画像内に含まれる画素毎の階調値のヒストグラムにおける分布の広がりが大きいほど大きくなる値である。このような値としては、例えば、ヒストグラムの標準偏差や分布の幅、階調値の最大値と最小値の差等が挙げられる。むろん、分布が解析される際に、ヒストグラムが閾値以下の階調値については解析対象外とされてもよい。
Furthermore, the
いずれにしても、コントラストが大きい場合は警告対象の存在が目立ちやすく、コントラストが小さい場合は警告対象の存在が目立ちにくい。例えば、図２Ｂに示す例において取得された非遮蔽画像である図３Ａにおいて、警告対象である歩行者はバックパックを背負っている。一方、図３Ｂに示す例においては、図３Ａと同一の歩行者がバックパックを背負っていない。両者を比較すると、図３Ａにおいてはバックパックが警告対象の体や周囲の色と異なるためコントラストが大きい。一方、図３Ｂにおいてはバックパックが無いため図３Ａと比較するとコントラストが小さい。 In any case, when the contrast is high, the existence of the warning target is more noticeable, and when the contrast is low, the existence of the warning target is less noticeable. For example, in FIG. 3A, which is an unoccluded image obtained in the example shown in FIG. 2B, the pedestrian who is the object of the warning is carrying a backpack. On the other hand, in the example shown in FIG. 3B, the same pedestrian as in FIG. 3A is not carrying a backpack. Comparing the two, in FIG. 3A, the contrast is large because the color of the backpack is different from the body of the warning target and the surroundings. On the other hand, since there is no backpack in FIG. 3B, the contrast is small compared to FIG. 3A.
このように、コントラストが大きい場合は警告対象の存在が目立ちやすく、コントラストが小さい場合は警告対象の存在が目立ちにくいといえる。従って、運転者は、コントラストが小さい場合、大きい場合よりも警告対象の存在や移動に気づきにくい。そこで、制御部２０は、コントラストが予め決められた閾値より小さい場合に、非遮蔽画像の変化が小さく認識困難であると判定し、コントラストが予め決められた閾値以上である場合に非遮蔽画像の変化が大きく認識困難ではないと判定する。
In this way, it can be said that when the contrast is high, the existence of the warning target is more noticeable, and when the contrast is low, the existence of the warning target is less noticeable. Therefore, when the contrast is small, the driver is less likely to notice the presence or movement of the warning target than when the contrast is large. Therefore, when the contrast is smaller than a predetermined threshold, the
さらに、制御部２０は、非遮蔽画像の時間変化を特定する。時間変化は、時系列で連続する静止画同士を比較した場合に警告対象の画像において生じた変化が大きいほど大きくなる値である。例えば、非遮蔽画像の移動速度が時間変化を示しているとみなすことができる。このような移動速度は、例えば、時系列で連続する画像から取得された非遮蔽画像の位置が移動する移動速度等によって取得可能である。むろん、時間変化は、他にも種々の手法で取得されてよく、例えば、非遮蔽画像の大きさの変化（図３Ａのようにして取得された矩形Ｂの中で非遮蔽画像である部分（ピラー等の構造物以外の部分）の大きさの変化）等であってもよい。
Furthermore, the
いずれにしても、時間変化が大きい場合は警告対象の存在が目立ちやすく、時間変化が小さい場合は警告対象の存在が目立ちにくい。従って、運転者は、時間変化が小さい場合、大きい場合よりも警告対象の存在や移動に気づきにくい。そこで、制御部２０は、時間変化が予め決められた閾値より小さい場合に、非遮蔽画像の変化が小さく認識困難であると判定し、時間変化が予め決められた閾値以上である場合に非遮蔽画像の変化が大きく認識困難ではないと判定する。
In any case, when the time change is large, the existence of the warning target is easily noticeable, and when the time change is small, the existence of the warning target is less noticeable. Therefore, when the time change is small, the driver is less likely to notice the existence or movement of the warning target than when it is large. Therefore, the
認識困難であるか否かを示す認識困難度の判定が行われると、制御部２０は、警告出力部２１ｆの機能により、認識困難度に応じた警告を出力する（ステップＳ１３５）。本実施形態においては、認識困難であると判定された場合に警告が出力され、認識困難であると判定されない場合に警告は出力されない。そこで、制御部２０は、ステップＳ１３０における判定結果が、認識困難であることを示している場合、案内部４２を制御して警告対象に対する警告を出力する。ステップＳ１３０における判定結果が、認識困難であることを示していない場合、本実施形態においては警告が行われない。
When the recognition difficulty level indicating whether recognition is difficult is determined, the
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、運転支援システムは、複数の装置（例えば、クライアントとサーバや、ナビゲーション装置内の制御部とカメラ内の制御部等）によって実現されるシステムであっても良い。
(3) Other embodiments:
The above embodiment is an example for implementing the present invention, and various other embodiments can be adopted. For example, the driving support system may be a system realized by a plurality of devices (for example, a client and a server, a control section in a navigation device, a control section in a camera, etc.).
運転支援システムを構成する画像取得部２１ａ、警告対象検出部２１ｂ、眼位置検出部２１ｃ、構造物情報取得部２１ｄ、警告対象画像取得部２１ｅ、警告出力部２１ｆの少なくとも一部が複数の装置に分かれて存在しても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。例えば、図３Ｃに示す運転支援処理において、ステップＳ１００～Ｓ１０５の処理とステップＳ１１０～Ｓ１１５の処理とで順序が入れ替わるなどの変動があっても良い。
At least some of the
さらに、ステップＳ１３０における認識困難度の判定は、上述の実施形態のような判定に限定されない。例えば、非遮蔽画像の周囲の画像も含めて認識困難度が解析されてもよい。この場合、制御部２０は、図３Ｃに示す運転支援処理において、ステップＳ１２５の代わりに、警告対象として特定された画像とその周辺の既定範囲の画像を取得する処理を行う。この場合、制御部２０は、例えば、図３Ｄのような画像を取得する。
Furthermore, the determination of the degree of recognition difficulty in step S130 is not limited to the determination as in the above-described embodiment. For example, the recognition difficulty level may be analyzed including images surrounding the non-occluded image. In this case, in the driving support process shown in FIG. 3C, the
なお、ここでも、構造物に遮蔽されている部分は、画像の変化を解析する対象とはならない。また、警告対象の周囲の範囲を示す既定範囲は予め決められた大きさの範囲であれば良く、例えば警告対象を示す矩形（図２Ｂに示す矩形Ｂ）の辺の長さ等から決められてよい。 Note that, also here, portions that are blocked by structures are not subject to analysis of changes in the image. Further, the predetermined range indicating the area around the warning target may be a range of a predetermined size, for example, it may be determined from the length of the side of the rectangle (rectangle B shown in FIG. 2B) indicating the warning target. good.
認識困難度を評価するための要素も、上述のような非遮蔽画像に含まれるエッジ量、非遮蔽画像のコントラスト、非遮蔽画像の時間変化に限定されない。例えば、非遮蔽画像とその周辺の画像とのコントラスト、非遮蔽画像の形、眼の位置から警告対象を見た場合の視線方向の角速度、眼の位置から正面を見た場合の視線方向と警告対象を見る場合の視線方向との角度差、構造物と非遮蔽画像とのコントラスト等が要素となってよい。 The factors for evaluating the degree of recognition difficulty are not limited to the amount of edges included in the non-occluded image, the contrast of the non-occluded image, and the temporal change of the unoccluded image as described above. For example, the contrast between the unoccluded image and its surrounding images, the shape of the unoccluded image, the angular velocity in the line of sight when looking at the warning target from the eye position, the line of sight direction and warning when looking straight ahead from the eye position The factors may be the angular difference from the line of sight direction when viewing the target, the contrast between the structure and the non-occluded image, and the like.
さらに、認識困難度を判定するための手法も、上述のような閾値による判定に限定されない。例えば、機械学習を利用することができる。図３Ｅは、機械学習モデルを模式的に示している。機械学習モデルは、各種のモデルによって構築可能であり、例えば、ＳＶＲ（support vector regression）、ＳＶＭ（support vector machine）、ニューラルネットワークなどを利用可能である。 Furthermore, the method for determining the recognition difficulty level is not limited to the determination using the threshold value as described above. For example, machine learning can be used. FIG. 3E schematically shows the machine learning model. The machine learning model can be constructed using various models, and for example, SVR (support vector regression), SVM (support vector machine), neural network, etc. can be used.
いずれにしても、各種のモデルに対する入力データとして、例えば、上述の非遮蔽画像におけるエッジ量、コントラスト、時間変化や、非遮蔽画像とその周辺の画像とのコントラスト、非遮蔽画像の形、眼の位置から警告対象を見た場合の視線方向の角速度、眼の位置から正面を見た場合の視線方向と警告対象を見る場合の視線方向との角度差、構造物と非遮蔽画像とのコントラスト等の少なくとも一つが挙げられる。出力データとしては、認識困難度が挙げられる。 In any case, the input data for various models includes, for example, the edge amount, contrast, and temporal change in the non-occluded image, the contrast between the non-occluded image and its surrounding images, the shape of the non-occluded image, and the shape of the eye. The angular velocity of the line of sight when looking at the warning target from the position, the angular difference between the line of sight when looking straight ahead from the eye position and the line of sight when looking at the warning target, the contrast between the structure and the unoccluded image, etc. At least one of these is mentioned. The output data includes recognition difficulty level.
認識困難度は、例えば、ある非遮蔽画像（または非遮蔽画像とその周囲の画像）を運転席から見た場合に認識困難であるか否かを多数の人間が試行した上でヒアリングし、認識困難と回答した人数を全人数で除した値等で定義することができる。このような認識困難度を、複数の画像に対して対応づければ、機械学習の基になる教師データが生成される。そこで、画像から抽出した入力データによって得られる出力データが、教師データにおける認識困難度に近づくように機械学習を行えば、認識困難度を出力する機械学習モデルを生成することができる。 The recognition difficulty level is calculated by asking a large number of people to try and find out whether or not it is difficult to recognize a certain non-occluded image (or non-occluded image and surrounding images) when viewed from the driver's seat. It can be defined as the number of people who answered that it was difficult divided by the total number of people. By associating such recognition difficulty levels with multiple images, training data that becomes the basis for machine learning is generated. Therefore, by performing machine learning so that the output data obtained from the input data extracted from the image approaches the recognition difficulty level in the teacher data, it is possible to generate a machine learning model that outputs the recognition difficulty level.
このような機械学習モデルを予め生成し、記録媒体３０に記録しておけば、図３Ｃに示す運転支援処理のステップＳ１３０において、制御部２０が非遮蔽画像（または非遮蔽画像とその周囲の画像）に基づいて入力データを取得し、機械学習モデルに入力することにより、認識困難性を判定することができる。むろん、認識困難性は、認識困難であるか否かによって示されてもよいし、認識困難な程度が複数段階のレベルや数値の大きさによって示されてもよい。後者であれば、制御部２０は、レベルや数値の大きさに応じて警告の強度を変化させる。
If such a machine learning model is generated in advance and recorded on the
さらに、運転支援システムにおける警告の出力は、警告の表示以外の用途に利用されても良い。例えば、警告の強度を示す情報を他の装置等に出力して利用可能に構成されていても良い。より具体的には、警告の強度を示す情報が車両制御装置に出力され、警告の強度を示す情報に基づいて車両制御装置が車両を制御する構成等が挙げられる。車両制御の手法としては、種々の手法が採用されてよく、例えば、警告の強度が強い警告対象が存在するほど、警告対象に近づく際の車速を低速にするなどの構成が挙げられる。 Furthermore, the warning output from the driving support system may be used for purposes other than warning display. For example, the information indicating the strength of the warning may be output to another device or the like so that it can be used. More specifically, there may be a configuration in which information indicating the intensity of the warning is output to the vehicle control device, and the vehicle control device controls the vehicle based on the information indicating the intensity of the warning. Various methods may be adopted as the vehicle control method, such as a configuration in which the stronger the warning object is, the slower the vehicle speed is when approaching the warning object.
さらに、警告の出力先は、警告対象であってもよい。例えば、図２Ａに示す例であれば、歩行者Ｐが携帯している携帯端末に対して警告の強度を示す情報を出力する構成が挙げられる。この場合、携帯端末は、警告の強度が強いほど強い警告を携帯端末の所有者に対して出力する。この構成によれば、警告対象に対して、注意喚起をすることが可能である。 Furthermore, the output destination of the warning may be the warning target. For example, in the example shown in FIG. 2A, there is a configuration in which information indicating the strength of the warning is output to a mobile terminal carried by the pedestrian P. In this case, the mobile terminal outputs a stronger warning to the owner of the mobile terminal as the strength of the warning increases. According to this configuration, it is possible to call attention to the warning target.
画像取得部は、車両の周囲の画像を取得することができればよい。すなわち、警告対象が存在し得る空間の画像を取得することができればよい。例えば、運転者よりも前方に警告対象が存在し得る場合には、車両の前方の画像が取得される。また、運転者の側方や後方に警告対象が存在し得るならば、車両の側方や後方の画像が取得されてもよい。画像は、種々の手法で取得されてよく、カメラや各種のセンサ等で取得されてもよい。すなわち、警告対象における非遮蔽画像が取得可能であり、その変化を取得可能であれば各種の手法で画像が取得されてよい。画像が取得される範囲も限定されず、車両の近傍から遠方までが画像の取得対象であってもよいし、特定の範囲が画像の取得範囲であってもよいし、カメラやセンサによる検出範囲が画像を取得可能な範囲であってもよい。 The image acquisition unit only needs to be able to acquire images of the surroundings of the vehicle. That is, it is only necessary to be able to acquire an image of a space where the warning target may exist. For example, if a warning target may exist ahead of the driver, an image of the front of the vehicle is acquired. Furthermore, if there is a possibility that a warning target exists on the side or rear of the driver, images of the side or rear of the vehicle may be acquired. The image may be acquired by various methods, and may be acquired by a camera, various sensors, or the like. That is, as long as a non-occluded image of the warning target can be acquired and a change in the image can be acquired, the image may be acquired by various methods. The range in which images are acquired is not limited, and images may be acquired from near the vehicle to far away, a specific range may be the image acquisition range, or the detection range by a camera or sensor may be a range in which images can be obtained.
警告対象検出部は、画像に基づいて車両の周囲に存在する警告対象を検出することができればよい。すなわち、車両の周囲の画像を解析すれば、画像の特徴量等に基づいて当該画像に含まれる物体を検出することができる。警告対象は、各種の物体であってよい。従って、上述の実施形態のように、人と車両とが警告対象である構成に限定されず、犬や猫等の動物や、各種の施設（例えば、運転者から見た場合に死角が生じる施設）等であってもよい。また、警告対象は、移動体に限定されてもよいし、静止物体が含まれてもよい。 The warning target detection unit only needs to be able to detect a warning target existing around the vehicle based on the image. That is, by analyzing an image around the vehicle, it is possible to detect an object included in the image based on the feature amount of the image. The warning target may be various objects. Therefore, the warning target is not limited to people and vehicles as in the above-described embodiment, but also animals such as dogs and cats, and various facilities (for example, facilities where a blind spot occurs when viewed from the driver). ) etc. may be used. Further, the warning target may be limited to moving objects or may include stationary objects.
眼位置検出部は、車両の運転者の眼の位置を検出することができればよい。例えば、上述の実施形態のように、利用者の眼を撮影するカメラの出力に基づいて運転者の眼の位置を特定してもよいし、各種カメラやセンサ等によって運転者の顔や体のシルエット等を特定し、その内部の眼の位置を特定してもよく、種々の構成を採用可能である。検出対象となる眼は１個であっても良いし、２個であっても良い。２個の眼の位置が検出される場合、それぞれの眼について非遮蔽画像が取得されてもよいし、２個の眼の位置を統計した位置に基づいて非遮蔽画像が取得されてもよい。また、利き眼によるバイアスに基づいて眼の位置が検出されてもよい。 The eye position detection section only needs to be able to detect the position of the eyes of the driver of the vehicle. For example, as in the embodiment described above, the position of the driver's eyes may be identified based on the output of a camera that photographs the user's eyes, or the position of the driver's face and body may be determined using various cameras or sensors. A silhouette or the like may be specified and the position of the eye within the silhouette may be specified, and various configurations can be adopted. The number of eyes to be detected may be one or two. When the positions of two eyes are detected, an unoccluded image may be acquired for each eye, or an unoccluded image may be acquired based on the statistical position of the two eyes. Furthermore, the position of the eye may be detected based on a bias due to the dominant eye.
構造物情報取得部は、車両の構造物を示す構造物情報を取得することができればよい。すなわち、構造物情報取得部は、車運転者の視線を遮る構造物と視線を遮らない部分とが特定可能な構造物情報を取得することができ、この結果、非遮蔽画像を取得することができればよい。従って、構造物情報は、上述の実施形態のように、３次元空間内で構造物の３次元形状を特定可能な情報以外にも、種々の情報であってよい。例えば、構造物情報は、運転者の眼の位置から見た構造物のシルエットの形状及び位置を示す情報等であってもよい。 The structure information acquisition unit only needs to be able to acquire structure information indicating the structure of the vehicle. That is, the structure information acquisition unit can acquire structure information that allows identification of structures that block the line of sight of the vehicle driver and parts that do not block the line of sight, and as a result, it is possible to acquire a non-obstructed image. I wish I could. Therefore, the structure information may be various types of information other than the information that allows the three-dimensional shape of the structure to be specified in the three-dimensional space as in the above-described embodiment. For example, the structure information may be information indicating the silhouette shape and position of the structure as seen from the position of the driver's eyes.
警告対象画像取得部は、眼の位置と構造物情報とに基づいて、運転者から警告対象を見た場合に警告対象および構造物を含む所定領域において視認される画像である警告対象画像を取得することができればよい。警告対象画像は、警告対象を含む画像であれば良く、警告対象画像が上述の非遮蔽画像である場合には、構造物によって遮蔽されずに視認される部分の画像を示す非遮蔽画像が取得されればよい。すなわち、眼の位置が特定されると、運転者の視線方向が任意の方向について、視線方向に構造物が存在するか否か特定可能である。そして、視線方向に構造物が存在する場合にその視線方向は遮蔽され、視線方向に構造物が存在しない場合にその視線方向は遮蔽されていないとみなすことができる。 The warning target image acquisition unit acquires a warning target image, which is an image that is visible in a predetermined area including the warning target and the structure when the driver looks at the warning target, based on the eye position and the structure information. It's fine if you can. The warning target image may be any image that includes the warning target, and if the warning target image is the above-mentioned non-occluded image, a non-occluded image showing a portion of the image that is visible without being obstructed by a structure is obtained. It is fine if it is done. That is, once the position of the eyes is specified, it is possible to specify whether a structure exists in the direction of the driver's line of sight for any direction. If a structure exists in the line-of-sight direction, the line-of-sight direction can be considered to be blocked, and if no structure exists in the line-of-sight direction, the line-of-sight direction can be considered to be unobstructed.
また、車両に取り付けられたカメラ等のセンサ位置および画角等に基づいて、車両の周囲の画像に含まれる被写体のそれぞれと車両との相対位置関係が特定される。このため、車両内に存在する運転者の眼の位置から見た任意の視線方向の延長線上にある画像の位置（画素）を特定可能である。そこで、警告対象画像取得部は、全ての視線方向から構造物によって遮蔽される視線方向を除外した残りの視線方向の延長線上に警告対象の画像が存在する場合に、当該画像を非遮蔽画像として特定可能である。 Furthermore, the relative positional relationship between the vehicle and each of the objects included in the image around the vehicle is specified based on the position and angle of view of a sensor such as a camera attached to the vehicle. Therefore, it is possible to specify the position (pixel) of the image on the extension line of any line of sight seen from the position of the driver's eyes within the vehicle. Therefore, when the warning target image exists on the extension line of the remaining line of sight direction excluding the line of sight direction blocked by the structure from all the line of sight directions, the warning target image acquisition unit selects the image as a non-obstructed image. Identifiable.
むろん、以上のような非遮蔽画像の特定は、リアルタイムで実施されてもよいし、予め実行された処理に基づいて行われてもよい。すなわち、運転者が運転中に眼の位置が検出され、当該検出結果と構造物情報とに基づいてリアルタイムに非遮蔽画像が特定されてもよい。また、複数の眼の位置のそれぞれについて、画像内で遮蔽されない部分を特定して記録媒体に記録しておき、運転者の運転中に眼の位置に基づいて画像内で遮蔽されない部分が特定されてもよい。この場合、遮蔽されない部分に警告対象が存在すれば、当該部分に重なる警告対象の画像が非遮蔽画像となる。 Of course, the identification of non-occluded images as described above may be performed in real time, or may be performed based on processing performed in advance. That is, the position of the eyes of the driver may be detected while the driver is driving, and the non-occluded image may be specified in real time based on the detection result and the structure information. In addition, for each of the multiple eye positions, the unobstructed part in the image is identified and recorded on a recording medium, and the unobstructed part in the image is identified based on the eye position while the driver is driving. It's okay. In this case, if a warning target exists in a portion that is not shielded, an image of the warning target that overlaps the portion becomes a non-shielded image.
警告対象画像は、警告対象が視認困難であるか否かを判定するための画像であれば良い。上述の実施形態において警告対象画像は、警告対象および構造物を含む所定領域の一部であったが、その全部であってもよい。具体的には、上述の実施形態と同様の構成において制御部２０が警告対象画像取得部２１ｅの機能により、所定領域として矩形Ｂ（図２Ｂ参照）を取得する。
The warning target image may be any image for determining whether the warning target is difficult to see. In the above-described embodiment, the warning target image is a part of the predetermined area including the warning target and the structure, but it may be the entire area. Specifically, in the same configuration as the above embodiment, the
さらに、制御部２０は、警告対象画像取得部２１ｅの機能により、車両の構造物の３次元形状を表現するための３次元仮想空間内で利用者の眼の位置を特定する。さらに、制御部２０は、警告対象画像取得部２１ｅの機能により、運転者の眼の位置を起点とするベクトルであって、既定角度で角度が変化することで得られる複数のベクトルを定義して、視野範囲の全範囲を網羅する視線方向を定義する。そして、制御部２０は、警告対象画像取得部２１ｅの機能により、構造物情報３０ａを参照し、各ベクトルが指す方向に構造物が存在する場合に、運転者の視線は構造物によって遮蔽されるとみなす。図２Ｂに示すような画像がカメラ４０から取得され、構造物による遮蔽によって運転者から図２Ｃのように見える場合、運転者から見た場合の所定領域は、図４に示すような領域Ｂとなる。当該領域の画像である警告対象画像は、例えば、警告対象を含む領域Ｂの中で，構造物によって遮蔽される部分を既定の色（例えば、全色成分が飽和した白：（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５））とするなどの処理で定義することが可能である。
Further, the
このように警告対象画像が取得されると、制御部２０は、警告出力部２１ｆの昨日により、当該警告対象画像に基づいて認識困難度を判定する。以上の処理において、所定領域内に含まれる構造物の画像は、画像内および短い時間内でほとんど変化しない。従って、所定領域の警告対象画像の変化に基づいて認識困難度を判定することにより、主に非遮蔽物についての認識困難度を定義することができる。そして、認識困難度に応じて警告を出力することにより、視認困難な警告対象であっても運転者が視認できる可能性が高くなる。なお、構造物による遮蔽の影響を特定するために取得されるベクトルは、視野範囲の全範囲を網羅する視線方向でなくてもよく、例えば、所定領域を指すベクトルについて取得され、所定領域を指さないベクトルについては取得されなくてもよい。
When the warning target image is acquired in this way, the
警告出力部は、非遮蔽画像の変化が小さい場合には、変化が大きい場合よりも強い警告を出力することができればよい。すなわち、警告出力部は、非遮蔽画像の変化が小さいほど視認困難であるとみなす。この構成により、同じ警告対象において遮蔽率が類似している状態であっても、遮蔽されていない部分の視認困難性を評価することが可能である。非遮蔽画像の変化は、種々の要素によって判定されてよい。例えば、上述の実施形態のエッジ量やコントラストのように、単一の非遮蔽画像における画像の位置による変化が評価されても良い。また、上述の実施形態の時間変化のように、複数の画像同士で生じる変化が評価されても良い。 The warning output unit only needs to be able to output a stronger warning when the change in the non-occluded image is small than when the change is large. That is, the warning output unit considers that the smaller the change in the non-occluded image, the more difficult it is to see. With this configuration, it is possible to evaluate the visibility difficulty of the unshielded portion even when the shielding rate is similar for the same warning target. Changes in the unoccluded image may be determined by various factors. For example, like the edge amount and contrast in the above-described embodiments, changes depending on the image position in a single non-occluded image may be evaluated. Further, like the time change in the above-described embodiment, changes occurring between multiple images may be evaluated.
非遮蔽画像の変化は、連続的な変化であってもよいし、段階的な変化であってもよい。前者としては、例えば、画像の変化を評価するための要素（エッジ量やコントラスト、画像の変化速度等）が１以上の閾値と比較されることによって変化の度合いが取得される構成等が挙げられる。後者としては、例えば、画像の変化を評価する要素の大きさが変化の度合いとして取得される構成等が挙げられる。 The change in the non-occluded image may be a continuous change or a stepwise change. The former includes, for example, a configuration in which the degree of change is obtained by comparing elements for evaluating image changes (edge amount, contrast, image change speed, etc.) with a threshold of 1 or more. . The latter includes, for example, a configuration in which the size of an element for evaluating a change in an image is obtained as the degree of change.
警告の強度は、運転者が警告対象を認識する可能性が高まるほど強いとみなされる。警告の態様は種々の態様であってよく、警告しない場合と警告する場合とでは、後者の方が強度が強い。色を使って警告を表現する場合、警戒色である赤は警告の強度が強く、赤と異なるほど警告が弱くなる（例えば、赤、オレンジ、黄の順に警告の強度が弱くなる等）。また、音量の変化や点滅の頻度、色の濃さ等によって警告の強度が変化してもよい。 The strength of the warning is considered to be stronger as the possibility that the driver recognizes the warning target increases. The mode of the warning may be various, and the strength is stronger in the case of no warning and the case of warning. When expressing a warning using colors, red, which is a warning color, gives a strong warning, and the more the color differs from red, the weaker the warning is (for example, the warning becomes weaker in the order of red, orange, and yellow). Further, the intensity of the warning may be changed by changing the volume, the frequency of blinking, the intensity of the color, etc.
さらに、非遮蔽画像の変化の大きさと警告の強度との関係は、常に満たされていてもよいし、統計的に満たされていてもよい。後者としては、例えば、上述のような機械学習モデルに基づいて警告の強度を決定する構成が挙げられる。すなわち、機械学習モデルは、非遮蔽画像の変化が小さい場合には、変化が大きい場合よりも見落とす可能性が高いという結論が、所定の確率（例えば、９５％）で得られるように学習されたモデルである。このようなモデルであっても、非遮蔽画像の変化が小さい場合には、変化が大きい場合よりも見落とす可能性が高いという結論が統計的に信頼に足る精度で得られればよい。 Furthermore, the relationship between the magnitude of change in the non-occluded image and the warning intensity may always be satisfied or may be statistically satisfied. The latter includes, for example, a configuration in which the strength of a warning is determined based on a machine learning model as described above. That is, the machine learning model was trained to conclude with a predetermined probability (e.g., 95%) that it is more likely to miss a small change in an unoccluded image than a large change. It's a model. Even with such a model, it is sufficient to be able to reach a conclusion with statistically reliable accuracy that when the change in the non-occluded image is small, there is a higher possibility of overlooking it than when the change is large.
さらに、本発明は、プログラムや方法としても適用可能である。また、以上のような運転支援システム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。さらに、以上のような運転支援システムの少なくとも一部を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、運転支援システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Furthermore, the present invention can also be applied as a program or method. In addition, the above-mentioned driving support systems, programs, and methods may be realized as independent devices or may be realized using parts shared with each part provided in the vehicle, and may be realized in various forms. This includes: Furthermore, it is possible to provide a navigation device, method, and program that include at least a portion of the driving support system as described above. Further, it can be changed as appropriate, such as partially being software and partially being hardware. Furthermore, the invention can also be used as a recording medium for a program that controls a driving support system. Of course, the recording medium for the software may be a magnetic recording medium or a semiconductor memory, and any recording medium that will be developed in the future can be considered in exactly the same way.
１０…運転支援システム、２０…制御部、２１…運転支援プログラム、２１ａ…視線検出部、２１ｂ…移動体検出部、２１ｃ…表示部、３０…記録媒体、３０ａ…構造物情報、４０…視線検出センサ、４１…カメラ、４２…ＨＵＤ、４３…表示デバイス
DESCRIPTION OF
Claims (5)
前記画像に基づいて前記車両の周囲に存在する警告対象を検出する警告対象検出部と、
前記車両の運転者の眼の位置を検出する眼位置検出部と、
前記車両の構造物を示す構造物情報を取得する構造物情報取得部と、
前記眼の位置と前記構造物情報とに基づいて、前記運転者から前記警告対象を見た場合に視認される前記警告対象および前記構造物を含むオブジェクトの近傍を囲う画像である警告対象画像を取得する警告対象画像取得部と、
前記警告対象画像の変化が小さい場合には、前記変化が大きい場合よりも強い警告を出力する警告出力部と、を備え、
前記警告対象画像は、前記運転者から前記警告対象を見た場合に前記構造物によって遮蔽されずに視認される部分の前記画像を示す非遮蔽画像であって、前記構造物によって遮蔽される部分の前記画像は当該警告対象画像から除外される、
運転支援システム。 an image acquisition unit that acquires an image of the surroundings of the vehicle;
a warning target detection unit that detects a warning target existing around the vehicle based on the image;
an eye position detection unit that detects the position of the eyes of the driver of the vehicle;
a structure information acquisition unit that acquires structure information indicating a structure of the vehicle;
A warning that is an image surrounding an object including the warning target and the structure that is visually recognized when the driver looks at the warning target based on the eye position and the structure information. a warning target image acquisition unit that acquires a target image;
a warning output unit that outputs a stronger warning when the change in the warning target image is small than when the change is large ;
The warning target image is a non-obscured image showing a portion of the image that is visible without being shielded by the structure when the driver views the warning target, and includes a portion that is shielded by the structure. The image is excluded from the warning target images,
Driving assistance system.
請求項１に記載の運転支援システム。 When the amount of edges included in the non-occluded image is small, the change in the non-occluded image is evaluated to be smaller than when the amount of edges included in the non-occluded image is large.
The driving support system according to claim 1 .
請求項１または請求項２に記載の運転支援システム。 When the contrast of the non-occluded image is small, the change in the non-occluded image is evaluated to be smaller than when the contrast is large.
The driving support system according to claim 1 or claim 2 .
請求項１～請求項３のいずれか一項に記載の運転支援システム。 When the time change in the non-occluded image is small, the change in the non-occluded image is evaluated to be smaller than when it is large;
The driving support system according to any one of claims 1 to 3 .
車両の周囲の画像を取得する画像取得部、
前記画像に基づいて前記車両の周囲に存在する警告対象を検出する警告対象検出部、
前記車両の運転者の眼の位置を検出する眼位置検出部、
前記車両の構造物を示す構造物情報を取得する構造物情報取得部、
前記眼の位置と前記構造物情報とに基づいて、前記運転者から前記警告対象を見た場合に視認される前記警告対象および前記構造物を含むオブジェクトの近傍を囲う画像である警告対象画像を取得する警告対象画像取得部、
前記警告対象画像の変化が小さい場合には、前記変化が大きい場合よりも強い警告を出力する警告出力部、
として機能させ、
前記警告対象画像は、前記運転者から前記警告対象を見た場合に前記構造物によって遮蔽されずに視認される部分の前記画像を示す非遮蔽画像であって、前記構造物によって遮蔽される部分の前記画像は当該警告対象画像から除外される、
運転支援プログラム。 computer,
an image acquisition unit that acquires images of the surroundings of the vehicle;
a warning target detection unit that detects a warning target existing around the vehicle based on the image;
an eye position detection unit that detects the position of the eyes of the driver of the vehicle;
a structure information acquisition unit that acquires structure information indicating a structure of the vehicle;
A warning that is an image surrounding an object including the warning target and the structure that is visually recognized when the driver looks at the warning target based on the eye position and the structure information. a warning target image acquisition unit that acquires a target image;
a warning output unit that outputs a stronger warning when the change in the warning target image is small than when the change is large;
function as
The warning target image is a non-obscured image showing a portion of the image that is visible without being shielded by the structure when the driver views the warning target, and the warning target image is a portion that is shielded by the structure. The image is excluded from the warning target images,
Driving assistance program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019179143A JP7371419B2 (en) | 2019-09-30 | 2019-09-30 | Driving assistance systems and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019179143A JP7371419B2 (en) | 2019-09-30 | 2019-09-30 | Driving assistance systems and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021056760A JP2021056760A (en) | 2021-04-08 |
| JP7371419B2 true JP7371419B2 (en) | 2023-10-31 |
Family
ID=75270800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019179143A Active JP7371419B2 (en) | 2019-09-30 | 2019-09-30 | Driving assistance systems and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7371419B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007233470A (en) | 2006-02-27 | 2007-09-13 | Mazda Motor Corp | Travel-supporting device for vehicles |
| JP2012014257A (en) | 2010-06-29 | 2012-01-19 | Toyota Motor Corp | Alarm device |
| JP2013105419A (en) | 2011-11-16 | 2013-05-30 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
| JP2013161433A (en) | 2012-02-08 | 2013-08-19 | Toyota Motor Corp | Periphery monitoring device for vehicle |
| WO2014017434A1 (en) | 2012-07-27 | 2014-01-30 | クラリオン株式会社 | Image processing device |
-
2019
- 2019-09-30 JP JP2019179143A patent/JP7371419B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007233470A (en) | 2006-02-27 | 2007-09-13 | Mazda Motor Corp | Travel-supporting device for vehicles |
| JP2012014257A (en) | 2010-06-29 | 2012-01-19 | Toyota Motor Corp | Alarm device |
| JP2013105419A (en) | 2011-11-16 | 2013-05-30 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
| JP2013161433A (en) | 2012-02-08 | 2013-08-19 | Toyota Motor Corp | Periphery monitoring device for vehicle |
| WO2014017434A1 (en) | 2012-07-27 | 2014-01-30 | クラリオン株式会社 | Image processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021056760A (en) | 2021-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7332726B2 (en) | Detecting Driver Attention Using Heatmaps | |
| US11731558B2 (en) | Rearview device simulation | |
| US10703299B2 (en) | Rear view mirror simulation | |
| EP3576973B1 (en) | Method and system for alerting a truck driver | |
| EP3413287A1 (en) | Method for indicating to a driver of a vehicle the presence of an object at least temporarily moving relative to the vehicle | |
| JP4456086B2 (en) | Vehicle periphery monitoring device | |
| JP5482737B2 (en) | Visual load amount estimation device, driving support device, and visual load amount estimation program | |
| JP4872245B2 (en) | Pedestrian recognition device | |
| WO2011108218A1 (en) | Surrounding area monitoring device for vehicle | |
| CN111414796A (en) | Adaptive transparency of virtual vehicles in analog imaging systems | |
| US10846833B2 (en) | System and method for visibility enhancement | |
| JP4528283B2 (en) | Vehicle periphery monitoring device | |
| US20220041105A1 (en) | Rearview device simulation | |
| EP2894620A1 (en) | Vehicle information display device and vehicle information display method | |
| JP2011251681A (en) | Image display device and image display method | |
| KR20190019840A (en) | Driver assistance system and method for object detection and notification | |
| KR101914362B1 (en) | Warning system and method based on analysis integrating internal and external situation in vehicle | |
| CN108482367A (en) | A kind of method, apparatus and system driven based on intelligent back vision mirror auxiliary | |
| CN112896159A (en) | Driving safety early warning method and system | |
| CN107826116A (en) | The operating method of automobile active safety drive assist system based on mobile terminal | |
| JP2012247847A (en) | Information transmission control device for vehicle and information transmission control device | |
| JP5927110B2 (en) | Vehicle external recognition device | |
| KR101986734B1 (en) | Driver assistance apparatus in vehicle and method for guidance a safety driving thereof | |
| KR20210120398A (en) | Electronic device displaying image by using camera monitoring system and the method for operation the same | |
| JP7371419B2 (en) | Driving assistance systems and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210423 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7371419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |