JP2021149130A - 障害物監視装置および障害物監視方法 - Google Patents
障害物監視装置および障害物監視方法 Download PDFInfo
- Publication number
- JP2021149130A JP2021149130A JP2020045058A JP2020045058A JP2021149130A JP 2021149130 A JP2021149130 A JP 2021149130A JP 2020045058 A JP2020045058 A JP 2020045058A JP 2020045058 A JP2020045058 A JP 2020045058A JP 2021149130 A JP2021149130 A JP 2021149130A
- Authority
- JP
- Japan
- Prior art keywords
- target
- image
- obstacle
- reliability
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】検知した障害物の情報を好適な態様でユーザに提示する。【解決手段】障害物監視装置18は、車両10の周辺を映した画像をもとに、車両10の周辺に存在する物標を検知し、検知した物標が障害物であることの信頼度を導出する。障害物監視装置18は、信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、信頼度が第1閾値未満の物標を示す物標情報を、第1態様とは異なる第2態様で配置した画像を生成する。障害物監視装置18は、生成した画像を表示装置14に表示させる。【選択図】図1
Description
本開示はデータ処理技術に関し、特に障害物監視装置および障害物監視方法に関する。
車両の駐車時等、車載のカメラにより周辺の状況を認識し、人が危険な位置にいる場合にそれを検知して運転者に警告し、または、自動でブレーキを作動させるシステムが提案されている。
従来、車両周辺を映した画像から障害物を検知した場合でも、検知結果の信頼度が十分に高くなければ、検知した障害物の情報をユーザに提示しておらず、障害物の情報をユーザに提示するタイミングが遅くなる可能性があった。
本開示はこのような課題に鑑みてなされたものであり、1つの目的は、検知した障害物の情報を好適な態様でユーザに提示する技術を提供することにある。
上記課題を解決するために、本開示のある態様の障害物監視装置は、車両周辺を映した画像をもとに、車両周辺に存在する物標を検知し、検知した物標が障害物であることの信頼度を導出する検知部と、信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、信頼度が第1閾値未満の物標を示す物標情報を、第1態様とは異なる第2態様で配置した画像を生成する生成部と、生成部により生成された画像を表示装置に表示させる出力部と、を備える。
本開示の別の態様は、障害物監視方法である。この方法は、車両周辺を映した画像をもとに、車両周辺に存在する物標を検知し、検知した物標が障害物であることの信頼度を導出し、信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、信頼度が第1閾値未満の物標を示す物標情報を、第1態様とは異なる第2態様で配置した画像を生成し、生成した画像を表示装置に表示させる、ことをコンピュータが実行する。
なお、以上の構成要素の任意の組合せ、本開示の表現を、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体、車両などの間で変換したものもまた、本開示の態様として有効である。
本開示によれば、検知した障害物の情報を好適な態様でユーザに提示することができる。
車両周辺を映した画像から車両周辺の物標を検知し、検知した物標の情報をユーザ(車両の運転者等)に提示する従来技術では、検知結果の信頼度が十分に高くなければ、その物標の情報をユーザに提示していなかった。そのため、車両走行に支障をきたす物標(即ち障害物)をユーザに認知させるタイミングが遅くなる可能性があった。
本実施例の障害物監視装置は、検知した物標の障害物としての信頼度が比較的低い場合であっても、その信頼度がわかる態様で物標情報をユーザに提示する。これにより、障害物をユーザに迅速に認知させやすくなり、ユーザが迅速に危険回避行動をとれるよう支援できる。また、本実施例の障害物監視装置は、検知した物標の障害物としての信頼度が変化した場合に、その物標情報を信頼度の遷移がわかる態様に変化させてユーザに提示する。これにより、物標情報を見るユーザに安心感を与えやすくなり、また、ユーザの混乱を招く事態を回避しやすくなる。
<第1実施例>
図1は、第1実施例の車両10の機能ブロックを示すブロック図である。本明細書のブロック図で示す各ブロックは、ハードウェア的には、コンピュータのプロセッサ、CPU、メモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
図1は、第1実施例の車両10の機能ブロックを示すブロック図である。本明細書のブロック図で示す各ブロックは、ハードウェア的には、コンピュータのプロセッサ、CPU、メモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
車両10は、撮像装置12、表示装置14、走行制御装置16、障害物監視装置18を備える。これらの各装置は、イーサネット(登録商標)やCAN、MOST等、公知の車載ネットワークを介して接続される。
撮像装置12は、例えば車載カメラであり、車両10の周辺の様子を撮像し、車両10の周辺を映した画像を障害物監視装置18へ出力する。表示装置14は、障害物監視装置18により生成された画像を画面に表示させる。表示装置14は、カーナビゲーション装置であってもよく、ヘッドアップディスプレイ装置であってもよく、障害物監視装置18により生成された画像を表示する専用装置であってもよい。走行制御装置16は、ブレーキやステアリング等を制御するECU(Electronic Control Unit)(不図示)と連携して、車両10の挙動を制御する。
障害物監視装置18は、車両10の周辺に存在する物標(障害物とも言える)の情報を含む画像(以下「表示用画像」とも呼ぶ。)を生成し、表示用画像を表示装置14に表示させるデータ処理装置である。障害物監視装置18は、ECUとして実装されてもよい。
障害物監視装置18は、物標検知部20、画像生成部22、出力部24、指示部26を含む。これら複数の機能ブロックの機能が実装されたコンピュータプログラムが、所定の記録媒体に記録され、その記録媒体を介して障害物監視装置18のストレージにインストールされてもよい。または、上記コンピュータプログラムが、ネットワークを介してダウンロードされ、障害物監視装置18のストレージにインストールされてもよい。障害物監視装置18のCPUは、そのコンピュータプログラムをメインメモリに読み出して実行することにより、上記複数の機能ブロックの機能を発揮してもよい。
物標検知部20は、撮像装置12から出力された車両10の周辺を映した画像(以下「周辺画像」とも呼ぶ。)を受け付ける。物標検知部20は、周辺画像をもとに、車両10の周辺に存在する物標を検知する。検知対象の物標は、静止物体(例えば建物、樹木、ガードレール等)を含む。物標検知部20は、公知のSfM(Structure from Motion)技術や、SLAM(Simultaneous Localization And Mapping)技術、DL(Deep Learning)技術等を用いて、車両10の周辺に静止した静止物体を検知してもよい。また、検知対象の物標は、移動物体(例えば歩行者、自転車等)を含む。物標検知部20は、公知のMOD((Moving Object Detection)技術や、OPFL(OPtical FLow)技術、背景差分技術、パターン認識技術、DL(Deep Learning)技術等を用いて、車両10の周辺を移動する移動物体を検知してもよい。
物標検知部20は、公知技術(公知の尤度関数等)を用いて、検知した物標が障害物であることの確からしさを示す指標である信頼度を物標ごとに導出する。物標検知部20は、撮像装置12から順次出力された複数の周辺画像(例えば時間Tの周辺画像、時間T+1の周辺画像、時間T+2の周辺画像等)を用いて、検知した各物標の、単位時間ごと(例えば時間T、時間T+1、時間T+2等)の信頼度を導出する。または、物標検知部20は、検知した各物標の、入力画像フレーム数ごと(例えば1フレーム1回、または、3フレーム1回等)の信頼度を導出してもよい。
画像生成部22は、物標検知部20により導出された車両10の周辺に存在する物標を、その信頼度に応じた態様で配置した表示用画像を生成する。具体的には、画像生成部22は、信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、信頼度が第1閾値未満の物標を示す物標情報を、第1態様とは異なる第2態様で配置した表示用画像を生成する。第2態様は、障害物としての信頼度が相対的に低いことを示唆する態様であってもよい。また、画像生成部22は、或る物標に対して物標検知部20が導出した信頼度が変化した場合、その物標を示す物標情報を信頼度の遷移を示す態様に変化させる。
図2は、信頼度の閾値を模式的に示す。第1閾値は、高信頼度物標と低信頼度物標とを区別するための閾値である。高信頼度物標は、確実な障害物である確定障害物と、確実な非障害物である確定非障害物を含む。障害物は、車両10の走行に支障がある物標であり、例えば樹木や歩行者等を含む。非障害物は、車両10の走行に支障のない物標であり、例えばマンホールの蓋や道路標示、区画線等を含む。低信頼度物標は、確定障害物と確定非障害物のいずれかを判別できず、また、誤検知(実際には存在しない)可能性もある物標である。第1実施例の画像生成部22は、信頼度が第1閾値以上の物標を高信頼度物標として認識し、信頼度が第1閾値未満の物標を低信頼度物標として認識する。
第2閾値は、低信頼度物標と誤検知とを区別するための閾値である。実施例では、信頼度が第1閾値未満かつ第2閾値以上の物標を低信頼度物標として認識し、信頼度が第2閾値未満の物標を誤検知物標として認識する。誤検知物標は、障害物として検知されたが実際には障害物ではないもの、または、そもそも存在しない物標等である。後述するように、誤検知物標は、表示対象から除外される。なお、第1閾値と第2閾値は、開発者の知見や、障害物監視装置18を用いた実験等により適切な値が決定されてよい。
第1実施例の画像生成部22は、或る物標の信頼度が第2閾値以上の値から、第2閾値未満の値に変化した場合、当該物標を示す物標情報を、誤検知を示す態様に変化させる。例えば、画像生成部22は、信頼度が第2閾値未満に低下した物標を示す物標情報に、誤検知であることを示唆または報知する図形や文字を付加してもよい。また、画像生成部22は、誤検知を示す態様に変化させた物標情報を、所定時間経過後に表示用画像から消去し、言い換えれば、表示用画像における表示対象から除外する。
図1に戻り、出力部24は、画像生成部22により生成された表示用画像のデータを表示装置14へ送信して、表示装置14に表示用画像を表示させる。指示部26は、物標検知部20により導出された車両10の周辺に存在する物標の信頼度に応じて、車両の挙動に関する指示を走行制御装置16へ送信する。
以上の構成による障害物監視装置18の動作を説明する。
図3は、第1実施例の障害物監視装置18の動作を示すフローチャートである。物標検知部20は、撮像装置12から出力された車両10の周辺を映した周辺画像を受け付ける(S10)。物標検知部20は、周辺画像をもとに車両10の周辺に存在する1つ以上の物標を検知する(S12)。物標検知部20は、検知した各物標の障害物としての信頼度を導出する(S14)。
図3は、第1実施例の障害物監視装置18の動作を示すフローチャートである。物標検知部20は、撮像装置12から出力された車両10の周辺を映した周辺画像を受け付ける(S10)。物標検知部20は、周辺画像をもとに車両10の周辺に存在する1つ以上の物標を検知する(S12)。物標検知部20は、検知した各物標の障害物としての信頼度を導出する(S14)。
画像生成部22は、以降のS16〜S26の処理を物標ごとに実行する。ここでは、処理対象となる物標を「対象物標」と呼ぶ。画像生成部22は、対象物標の信頼度が第1閾値以上の場合(S16のY)、対象物標を示す画像オブジェクト(以下「物標画像」とも呼ぶ。)を高信頼度態様で表示用画像に配置する(S18)。画像生成部22は、表示用画像が車両座標系である場合、物標検知部20により検知されたカメラ座標系の対象物標の位置を、車両座標系に変換した位置に物標画像を配置してもよい。高信頼度態様は、障害物であることを確定的に示す態様であり、ユーザの注目を特に集めやすい模様や色彩であってもよく、例えば赤色であってもよい。
対象物標の信頼度が第1閾値未満(S16のN)、かつ、第2閾値以上の場合(S20のY)、画像生成部22は、対象物標の物標画像を低信頼度態様で表示用画像に配置する(S22)。低信頼度態様は、障害物か否かの信頼度が相対的に低いことを示す態様であってもよく、障害物であることが不確定であることを示す態様であってもよい。また、低信頼度態様は、高信頼態様ほどではないがユーザの注意を喚起し易いと想定される模様や色彩であってもよく、例えばオレンジ色であってもよい。
対象物標の信頼度が第2閾値未満(S20のN)、かつ、信頼度が第2閾値以上から第2閾値未満に変化したものであって、その変化から所定時間内であれば(S24のY)、画像生成部22は、対象物標の物標画像を、対象物標が誤検知であることを示す誤検知態様で表示用画像に配置する(S26)。
対象物標の信頼度が当初から第2閾値未満であり、または、信頼度が第2閾値以上から第2閾値未満に変化したものであって、その変化から所定時間が経過していれば(S24のN)、画像生成部22は、対象物標の物標画像を表示用画像に配置しない。すなわち、画像生成部22は、当初から誤検知と判定される物標についてはその物標画像を表示用画像に配置せず、また、誤検知態様に変化させた物標画像については所定時間経過後に表示用画像から消去する。上記の所定時間、すなわち、物標画像を誤検知態様で表示させる時間は、開発者の知見や障害物監視装置18を用いた実験により適切な値が決定されてよく、例えば2〜3秒であってもよい。
出力部24は、画像生成部22により生成された表示用画像を表示装置14へ出力して表示させる(S28)。障害物監視装置18は、撮像装置12から出力された周辺画像を受け付けたことを契機に本図の処理を繰り返す。
図4Aは、第1実施例の表示用画像の例を示す。表示用画像30は、車両10を上方向から見たものであり、車両32は車両10に対応する。物標34は、高信頼度の静止物体を示す画像オブジェクトであり、物標36は、低信頼度の移動物体を示す画像オブジェクトである。
図4Bは、図4Aの表示用画像以降に生成される表示用画像の例を示す。図4Bは、物標36の信頼度が第2閾値以上の値から第2閾値未満の値に低下した状態を示している。画像生成部22は、物標36を誤検知態様(ここではバツ印を重畳させた態様)に変化させる。
図4Cは、図4Bの表示用画像以降に生成される表示用画像の例を示す。画像生成部22は、誤検知態様に変化させた物標36を所定時間経過後(例えば2〜3秒後)に表示用画像30から削除する。したがって、図4Cの表示用画像30では、物標36が非表示となっている。
なお、図3のフローチャートでは言及していないが、障害物監視装置18の指示部26は、高信頼度障害物として検知された物標(すなわち信頼度が第1閾値以上の物標)の位置を物標検知部20から取得し、また、車両10のドライビングチューブ(車両10の車体が通る予定の領域)の情報を不図示のカーナビゲーション装置等から取得してもよい。指示部26は、高信頼度障害物としての物標が車両10のドライビングチューブ内に存在する場合、緊急ブレーキの作動を指示する信号を走行制御装置16に送信することにより、車両10の強制制動を実行させてもよい。
第1実施例の障害物監視装置18によると、車両10の周辺状態を示す画像において、障害物となる可能性がある物標の情報を迅速にユーザに提示でき、ユーザの危険回避を支援できる。また、第1実施例の障害物監視装置18によると、信頼度が低下した物標の情報を、即時に削除するのではなく、一旦、誤検知を示す態様に変化させることで、上記画像から物標の情報が突然消えることによりユーザに不安感を抱かせてしまうことを回避できる。
以上、本開示を第1実施例をもとに説明した。この実施例は例示であり、実施例の各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
<第2実施例>
本実施例に関して、第1実施例と相違する点を中心に以下説明し、共通する点の説明を省略する。本実施例の構成要素のうち第1実施例の構成要素と同一または対応する構成要素には同一の符号を付して説明する。
第2実施例の車両10(障害物監視装置18)の機能ブロックは、図1に示した第1実施例の車両10(障害物監視装置18)の機能ブロックと同じである。
本実施例に関して、第1実施例と相違する点を中心に以下説明し、共通する点の説明を省略する。本実施例の構成要素のうち第1実施例の構成要素と同一または対応する構成要素には同一の符号を付して説明する。
第2実施例の車両10(障害物監視装置18)の機能ブロックは、図1に示した第1実施例の車両10(障害物監視装置18)の機能ブロックと同じである。
第2実施例の障害物監視装置18の物標検知部20は、車両10の周辺画像に映る物標の信頼度が第1閾値以上の場合、公知技術を用いて、その物標が車両10の走行に支障がある確定障害物であるか、または、車両10の走行に支障のない確定非障害物であるかを判定する。例えば、物標検知部20は、検知した物標が樹木等の障害物に該当する物と判定された場合、および/または、検知した物標が車両10のドライビングチューブ内に存在すると判定された場合、その物標を確定障害物と判定してもよい。また、物標検知部20は、検知した物標がマンホールの蓋等の非障害物に該当する物と判定された場合、および/または、検知した物標が車両10のドライビングチューブ外に存在すると判定された場合、その物標を確定非障害物と判定してもよい。
第2実施例の障害物監視装置18の画像生成部22は、或る物標の信頼度が第1閾値未満の値(具体的には第2閾値以上かつ第1閾値未満の値)から第1閾値より高い値に変化した場合、当該物標を示す物標情報を、信頼度が相対的に低いことを示す第2態様から、障害物であることを確定的に示す第1態様への遷移を示す第3態様に変化させる。また、画像生成部22は、第3態様に変化させた物標情報を所定時間経過後に第1態様に変化させる。第3態様は、信頼度の遷移を示す態様とも言え、第1態様の模様や色彩と、第2態様の模様や色彩とを組み合わせたものであってもよく、また、信頼度が上昇したことを示す図形や文字を含むものであってもよい。
図5は、第2実施例の障害物監視装置18の動作を示すフローチャートである。図5のS30〜S34の処理は、図3のS10〜S14の処理と同じであるため説明を省略する。画像生成部22は、対象物標の信頼度が第1閾値以上であって(S36のY)、かつ、対象物標が確定障害物であると検知された場合(S38のY)、対象物標の物標画像を第1態様のうち確定障害物を示す態様(確定障害物態様)に設定し、その物標画像を表示用画像に配置する(S40)。確定障害物態様は、危険な物標としてユーザの注目を特に集めやすい模様や色彩であってもよく、例えば赤色であってもよい。
対象物標の信頼度が第1閾値以上であって、かつ、対象物標が確定非障害物であると検知され(S38のN)、かつ、信頼度が第1閾値未満かつ第2閾値以上から第1閾値以上に変化したものであって、その変化から所定時間を経過していれば(S40のN)、画像生成部22は、対象物標の物標画像を第1態様のうち確定非障害物を示す態様(確定非障害物態様)に設定し、その物標画像を表示用画像に配置する(S42)。確定非障害物態様は、走行に支障がない安全な物という印象をユーザに抱かせやすい模様や色彩であってもよく、例えば緑色であってもよい。
対象物標が確定非障害物であり、かつ、信頼度が第1閾値未満かつ第2閾値以上から第1閾値以上に変化したものであって、その変化から所定時間内であれば(S40のY)、画像生成部22は、対象物標の物標画像を第3態様として信頼度が変化したことを示す信頼度遷移態様に設定し、その物標画像を表示用画像に配置する(S44)。後述するように低信頼度態様がオレンジ色の場合、信頼度遷移態様は、オレンジ色と緑色の組み合わせであってもよい。上記の所定時間、すなわち、物標画像を信頼度遷移態様で表示させる時間は、開発者の知見や障害物監視装置18を用いた実験により適切な値が決定されてよく、例えば2〜3秒であってもよい。
対象物標の信頼度が第1閾値未満であって(S36のN)、かつ、第2閾値以上であれば(S46のY)、画像生成部22は、対象物標の物標画像を第2態様としての低信頼度態様に設定し、その物標画像を表示用画像に配置する(S48)。低信頼度態様は、確定障害物態様ほどではないがユーザの注意を喚起し易いと想定される模様や色彩であってもよく、例えばオレンジ色であってもよい。対象物標の信頼度が第2閾値未満であれば(S46のN)、対象物標の物標画像は、表示用画像に配置されない。
出力部24は、画像生成部22により生成された表示用画像を表示装置14へ出力して表示させる(S50)。障害物監視装置18は、撮像装置12から出力された周辺画像を受け付けたことを契機に本図の処理を繰り返す。S44にて信頼度遷移態様に設定された物標画像は、所定時間経過後の表示用画像生成処理では、S42にて確定非障害物態様に設定される。
図6Aは、第2実施例の表示用画像の例を示す。物標検知部20は、撮像装置12により撮像された魚眼画像40と、その魚眼画像40を変換した鳥瞰画像42とをもとに、車両10の周辺に存在する物標を検知する。画像生成部22は、物標検知部20による検知結果に応じて、表示用画像44を生成する。同図の表示用画像44は、車両10の前方の状態を示すものである。
物標検知部20は、魚眼画像40に映る物標46aと鳥瞰画像42に映る物標48aとに対応する物標を低信頼度物標として検知し、画像生成部22は、その物標を示す物標画像50aを低信頼度態様(例えばオレンジ色)に設定する。また、物標検知部20は、魚眼画像40に映る物標46bと鳥瞰画像42に映る物標48bとに対応する物標を低信頼度物標として検知し、画像生成部22は、その物標を示す物標画像50bを低信頼度態様(例えばオレンジ色)に設定する。また、物標検知部20は、魚眼画像40に映る物標46cと鳥瞰画像42に映る物標48cとに対応する物標を高信頼度物標(ここでは確定非障害物)として検知し、画像生成部22は、その物標を示す物標画像50cを確定非障害物態様(例えば緑色)に設定する。
図6Bは、図6Aの表示用画像以降に生成される表示用画像の例を示し、車両10が各物標により近づいた時点で表示される表示用画像の例を示している。図6Aと図6Bでは、同じ物標に同じ符号を付している。
物標検知部20は、魚眼画像40に映る物標46aと鳥瞰画像42に映る物標48aとに対応する物標を高信頼度物標(ここでは確定障害物)として検知し、画像生成部22は、その物標を示す物標画像50aを確定障害物態様(例えば赤色)に変化させる。また、物標検知部20は、魚眼画像40に映る物標46cと鳥瞰画像42に映る物標48cとに対応する物標を高信頼度物標(ここでは確定非障害物)として検知し、画像生成部22は、その物標を示す物標画像50cを確定非障害物態様(例えば緑色)のまま維持する。
また、物標検知部20は、魚眼画像40に映る物標46bと鳥瞰画像42に映る物標48bとに対応する物標を高信頼度物標(ここでは確定非障害物)として検知し、画像生成部22は、その物標を示す物標画像50bを信頼度遷移態様に変化させる。図6Bでの信頼度遷移態様は、確定非障害物態様(例えば緑色)の物標画像の周囲を低信頼度態様(例えばオレンジ色)の枠で囲ったものである。不図示だが、画像生成部22は、信頼度遷移態様に設定した物標画像50bを、所定時間経過後に確定非障害物態様(例えば物標画像50cと同じ緑色)に変化させる。
なお、図5のフローチャートでは言及していないが、障害物監視装置18の指示部26は、確定障害物としての物標の位置を物標検知部20から取得し、確定障害物としての物標が車両10のドライビングチューブ内に存在する場合、緊急ブレーキの作動を指示する信号を走行制御装置16に送信することにより、車両10の強制制動を実行させてもよい。
第2実施例の障害物監視装置18でも、車両10の周辺状態を示す画像において、障害物となる可能性がある物標の情報を迅速にユーザに提示でき、ユーザの危険回避を支援することができる。また、第2実施例の障害物監視装置18によると、物標の検知結果が低信頼度物標から確定非障害物に変化した場合、その遷移を示す物標画像を表示することにより、新たな物標が出現したのではなく、既存の物標情報の信頼度が上昇したことをユーザに認識させやすくなり、ユーザの混乱を招くことを回避できる。
また、第2実施例の障害物監視装置18によると、物標の検知結果が低信頼度物標から確定障害物に変化した場合には、信頼度遷移態様を経ずに、物標画像を確定障害物態様に直接変化させる。これにより、走行の支障となる障害物が確実に存在する場合、いち早くユーザの注意を喚起し、迅速な回避行動をとらせやすくなる。変形例として、物標の検知結果が低信頼度物標から確定障害物に変化した場合にも、一旦、その物標画像を信頼度遷移態様(例えばオレンジ色の枠内に赤色を配色したもの)で表示させてもよい。
以上、本開示を第2実施例をもとに説明した。この実施例は例示であり、実施例の各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
[項目1]
車両周辺を映した画像をもとに、前記車両周辺に存在する物標を検知し、検知した物標が障害物であることの信頼度を導出する検知部と、
前記信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、前記信頼度が前記第1閾値未満の物標を示す物標情報を、前記第1態様とは異なる第2態様で配置した画像を生成する生成部と、
前記生成部により生成された画像を表示装置に表示させる出力部と、
を備える障害物監視装置。
この障害物監視装置によると、障害物となる可能性がある物標の情報を迅速にユーザに提示でき、ユーザの危険回避を支援することができる。
[項目2]
前記生成部は、或る物標の前記信頼度が変化した場合、当該物標を示す物標情報を前記信頼度の遷移を示す態様に変化させる、
項目1に記載の障害物監視装置。
この障害物監視装置によると、新たな物標が出現したのではなく、既存の物標情報の信頼度が変化したことをユーザに認識させやすくなり、ユーザの混乱を招くことを回避できる。
[項目3]
前記生成部は、或る物標の前記信頼度が前記第1閾値より低い第2閾値以上の値から、前記第2閾値未満の値に変化した場合、当該物標を示す物標情報を、誤検知を示す態様に変化させる、
項目2に記載の障害物監視装置。
この障害物監視装置によると、信頼度が低下した物標情報をいきなり削除するのではなく、一旦誤検知を示す態様に変化させることで、物標情報が突然消えることによりユーザに不安感を抱かせてしまうことを回避できる。
[項目4]
前記生成部は、前記誤検知を示す態様に変化させた物標情報を所定時間経過後に前記画像から消去する、
項目3に記載の障害物監視装置。
この障害物監視装置によると、ユーザに誤検知を認識させるための時間を確保した上で、誤検知の物標情報を消去することで、ユーザに不安感を抱かせることなく、正しい検知結果をユーザに提示できる。
[項目5]
前記生成部は、或る物標の前記信頼度が前記第1閾値未満の値から前記第1閾値より高い値に変化した場合、当該物標を示す物標情報を、前記第2態様から前記第1態様への遷移を示す第3態様に変化させる、
項目2に記載の障害物監視装置。
この障害物監視装置によると、新たな物標が出現したのではなく、既存の物標情報の信頼度が上昇したことをユーザに認識させやすくなり、ユーザの混乱を招くことを回避できる。
[項目6]
前記生成部は、前記第3態様に変化させた物標情報を所定時間経過後に前記第1態様に変化させる、
項目5に記載の障害物監視装置。
この障害物監視装置によると、ユーザに信頼度の上昇を認識させるための時間を確保した上で、信頼度遷移態様から高信頼度態様へ変化させることで、ユーザに不安感を抱かせることなく、正しい検知結果をユーザに提示できる。
[項目7]
前記車両周辺に存在する物標の前記信頼度に応じて、前記車両の挙動に関する指示を外部装置へ送信する指示部、
をさらに備える項目1から6のいずれかに記載の障害物監視装置。
この障害物監視装置によると、車両の安全性を高めることができる。
[項目8]
車両周辺を映した画像をもとに、前記車両周辺に存在する物標を検知し、検知した物標が障害物であることの信頼度を導出し、
前記信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、前記信頼度が前記第1閾値未満の物標を示す物標情報を、前記第1態様とは異なる第2態様で配置した画像を生成し、
生成した画像を表示装置に表示させる、
ことをコンピュータが実行する障害物監視方法。
この障害物監視装置によると、障害物となる可能性がある物標の情報を迅速にユーザに提示でき、ユーザの危険回避を支援することができる。
[項目1]
車両周辺を映した画像をもとに、前記車両周辺に存在する物標を検知し、検知した物標が障害物であることの信頼度を導出する検知部と、
前記信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、前記信頼度が前記第1閾値未満の物標を示す物標情報を、前記第1態様とは異なる第2態様で配置した画像を生成する生成部と、
前記生成部により生成された画像を表示装置に表示させる出力部と、
を備える障害物監視装置。
この障害物監視装置によると、障害物となる可能性がある物標の情報を迅速にユーザに提示でき、ユーザの危険回避を支援することができる。
[項目2]
前記生成部は、或る物標の前記信頼度が変化した場合、当該物標を示す物標情報を前記信頼度の遷移を示す態様に変化させる、
項目1に記載の障害物監視装置。
この障害物監視装置によると、新たな物標が出現したのではなく、既存の物標情報の信頼度が変化したことをユーザに認識させやすくなり、ユーザの混乱を招くことを回避できる。
[項目3]
前記生成部は、或る物標の前記信頼度が前記第1閾値より低い第2閾値以上の値から、前記第2閾値未満の値に変化した場合、当該物標を示す物標情報を、誤検知を示す態様に変化させる、
項目2に記載の障害物監視装置。
この障害物監視装置によると、信頼度が低下した物標情報をいきなり削除するのではなく、一旦誤検知を示す態様に変化させることで、物標情報が突然消えることによりユーザに不安感を抱かせてしまうことを回避できる。
[項目4]
前記生成部は、前記誤検知を示す態様に変化させた物標情報を所定時間経過後に前記画像から消去する、
項目3に記載の障害物監視装置。
この障害物監視装置によると、ユーザに誤検知を認識させるための時間を確保した上で、誤検知の物標情報を消去することで、ユーザに不安感を抱かせることなく、正しい検知結果をユーザに提示できる。
[項目5]
前記生成部は、或る物標の前記信頼度が前記第1閾値未満の値から前記第1閾値より高い値に変化した場合、当該物標を示す物標情報を、前記第2態様から前記第1態様への遷移を示す第3態様に変化させる、
項目2に記載の障害物監視装置。
この障害物監視装置によると、新たな物標が出現したのではなく、既存の物標情報の信頼度が上昇したことをユーザに認識させやすくなり、ユーザの混乱を招くことを回避できる。
[項目6]
前記生成部は、前記第3態様に変化させた物標情報を所定時間経過後に前記第1態様に変化させる、
項目5に記載の障害物監視装置。
この障害物監視装置によると、ユーザに信頼度の上昇を認識させるための時間を確保した上で、信頼度遷移態様から高信頼度態様へ変化させることで、ユーザに不安感を抱かせることなく、正しい検知結果をユーザに提示できる。
[項目7]
前記車両周辺に存在する物標の前記信頼度に応じて、前記車両の挙動に関する指示を外部装置へ送信する指示部、
をさらに備える項目1から6のいずれかに記載の障害物監視装置。
この障害物監視装置によると、車両の安全性を高めることができる。
[項目8]
車両周辺を映した画像をもとに、前記車両周辺に存在する物標を検知し、検知した物標が障害物であることの信頼度を導出し、
前記信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、前記信頼度が前記第1閾値未満の物標を示す物標情報を、前記第1態様とは異なる第2態様で配置した画像を生成し、
生成した画像を表示装置に表示させる、
ことをコンピュータが実行する障害物監視方法。
この障害物監視装置によると、障害物となる可能性がある物標の情報を迅速にユーザに提示でき、ユーザの危険回避を支援することができる。
10 車両、 12 撮像装置、 14 表示装置、 16 走行制御装置、 18 障害物監視装置、 20 物標検知部、 22 画像生成部、 24 出力部、 26 指示部。
Claims (8)
- 車両周辺を映した画像をもとに、前記車両周辺に存在する物標を検知し、検知した物標が障害物であることの信頼度を導出する検知部と、
前記信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、前記信頼度が前記第1閾値未満の物標を示す物標情報を、前記第1態様とは異なる第2態様で配置した画像を生成する生成部と、
前記生成部により生成された画像を表示装置に表示させる出力部と、
を備える障害物監視装置。 - 前記生成部は、或る物標の前記信頼度が変化した場合、当該物標を示す物標情報を前記信頼度の遷移を示す態様に変化させる、
請求項1に記載の障害物監視装置。 - 前記生成部は、或る物標の前記信頼度が前記第1閾値より低い第2閾値以上の値から、前記第2閾値未満の値に変化した場合、当該物標を示す物標情報を、誤検知を示す態様に変化させる、
請求項2に記載の障害物監視装置。 - 前記生成部は、前記誤検知を示す態様に変化させた物標情報を所定時間経過後に前記画像から消去する、
請求項3に記載の障害物監視装置。 - 前記生成部は、或る物標の前記信頼度が前記第1閾値未満の値から前記第1閾値より高い値に変化した場合、当該物標を示す物標情報を、前記第2態様から前記第1態様への遷移を示す第3態様に変化させる、
請求項2に記載の障害物監視装置。 - 前記生成部は、前記第3態様に変化させた物標情報を所定時間経過後に前記第1態様に変化させる、
請求項5に記載の障害物監視装置。 - 前記車両周辺に存在する物標の前記信頼度に応じて、前記車両の挙動に関する指示を外部装置へ送信する指示部、
をさらに備える請求項1から6のいずれかに記載の障害物監視装置。 - 車両周辺を映した画像をもとに、前記車両周辺に存在する物標を検知し、検知した物標が障害物であることの信頼度を導出し、
前記信頼度が所定の第1閾値以上の物標を示す物標情報を、障害物であることを確定的に示す第1態様で配置した画像であって、かつ、前記信頼度が前記第1閾値未満の物標を示す物標情報を、前記第1態様とは異なる第2態様で配置した画像を生成し、
生成した画像を表示装置に表示させる、
ことをコンピュータが実行する障害物監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020045058A JP2021149130A (ja) | 2020-03-16 | 2020-03-16 | 障害物監視装置および障害物監視方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020045058A JP2021149130A (ja) | 2020-03-16 | 2020-03-16 | 障害物監視装置および障害物監視方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021149130A true JP2021149130A (ja) | 2021-09-27 |
Family
ID=77848712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020045058A Pending JP2021149130A (ja) | 2020-03-16 | 2020-03-16 | 障害物監視装置および障害物監視方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021149130A (ja) |
-
2020
- 2020-03-16 JP JP2020045058A patent/JP2021149130A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107380164B (zh) | 基于计算机视觉的驾驶员辅助系统和支持系统 | |
JP5577398B2 (ja) | 車両の周辺監視装置 | |
US10009580B2 (en) | Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle | |
CN102785620A (zh) | 针对用于车辆的终端的用户接口方法及其装置 | |
US11810373B2 (en) | Cognitive function estimation device, learning device, and cognitive function estimation method | |
JP2003081039A (ja) | 環境危険度演算装置 | |
JP2007200298A (ja) | 画像処理装置 | |
US7382236B2 (en) | Method and device for driver information and to react to leaving the lane | |
KR20180092781A (ko) | 맞춤형 ui 제공 자율 주행 차량의 주행 정보를 표시하는 방법, 이를 위한 차량용 단말 및 관리자 단말 | |
JP2007323578A (ja) | 車両周辺監視装置 | |
KR102669061B1 (ko) | 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템 | |
US9365195B2 (en) | Monitoring method of vehicle and automatic braking apparatus | |
KR20220036870A (ko) | 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 | |
JP2011103058A (ja) | 誤認識防止装置 | |
JP5192007B2 (ja) | 車両の周辺監視装置 | |
JP4003569B2 (ja) | 交差点事故防止装置及びプログラム | |
JP2021149130A (ja) | 障害物監視装置および障害物監視方法 | |
JP2010262478A (ja) | 車両制御システム及び安全確認判定装置 | |
US20240046779A1 (en) | Driving determination system, driving determination method, and recording medium | |
JP2014203196A (ja) | 危険度判定装置、危険度判定方法、警報装置、及び運転支援装置 | |
JP2022185827A (ja) | 情報処理方法、プログラム及び情報処理装置 | |
WO2022269697A1 (ja) | 異常検知システム、異常検知方法及びプログラム記録媒体 | |
JP7487460B2 (ja) | 運転支援装置、運転支援方法、および運転支援プログラム | |
JP7544502B2 (ja) | 運転支援装置及びデータ収集システム | |
EP4357183A1 (en) | Information notification system, information notification method, and information notification program |