JP2013097480A - 車両用衝突危険予測装置及び車両用衝突危険予測システム - Google Patents

車両用衝突危険予測装置及び車両用衝突危険予測システム Download PDF

Info

Publication number
JP2013097480A
JP2013097480A JP2011238191A JP2011238191A JP2013097480A JP 2013097480 A JP2013097480 A JP 2013097480A JP 2011238191 A JP2011238191 A JP 2011238191A JP 2011238191 A JP2011238191 A JP 2011238191A JP 2013097480 A JP2013097480 A JP 2013097480A
Authority
JP
Japan
Prior art keywords
image
vehicle
risk prediction
collision risk
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011238191A
Other languages
English (en)
Inventor
Tomokazu Ishihara
朋和 石原
Akihito Nishizawa
明仁 西澤
Junji Shiokawa
淳司 塩川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2011238191A priority Critical patent/JP2013097480A/ja
Publication of JP2013097480A publication Critical patent/JP2013097480A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

【課題】ドライバーの死角にある衝突可能性がある物体についての情報を検出可能とした、車両用衝突危険予測装置を提供する。
【解決手段】ミリ波〜サブミリ波と呼ばれる波長の電磁波で画像を撮像して出力するミリ波撮像部と、紫外線〜可視光〜近赤外線と呼ばれる波長の電磁波で画像を撮像して出力する可視光撮像部と、前記ミリ波撮像部の出力画像から、所定の物体を画像処理によって検知する第1検出部と、該第1検出部で検知した所定の物体の検出結果を出力し、所定の物体についての警告音の音声信号を生成する危険予測部と、前記第1検出部において検知した所定の物体の出力画像を前記可視光撮像部の出力画像に重畳した合成画像を生成する画像合成部とを有する。
【選択図】図1

Description

本発明は、車両用衝突危険予測装置及び車両用衝突危険予測システムに関する。
本技術分野の背景技術として、特許文献1がある。該公報には、『路側に設置したミリ波センサを用いた道路上の障害物検出方法であって、ミリ波センサによるスキャンにより得られる計測データと障害物のない背景データとの差分から障害物候補を検出処理し、この処理を繰り返して常に障害物候補が存在する場合に障害物が存在すると検出する』と記載されている(要約参照)。
特開2000−172980号公報
車両の運転では、ドライバーが予期しない物体が車両の進行方向に至近距離で突然現れた場合には、衝突事故が発生しやすい。例えば、見通しの悪いカーブや、街路樹のある交差点などでは、人・動物・自動車・バイク・自転車等、衝突の可能性がある物体を、ドライバーが予め視認することができず、至近距離で視認可能になってから、ブレーキやハンドルを切るなど衝突を回避するための行動を開始することになり、間に合わずに事故に繋がりやすい。
特許文献1には、上記の通り、『路側に設置したミリ波センサを用いた道路上の障害物検出方法であって、ミリ波センサによるスキャンにより得られる計測データと障害物のない背景データとの差分から障害物候補を検出処理し、この処理を繰り返して常に障害物候補が存在する場合に障害物が存在すると検出する』旨記載されているが、路側に予め、特許文献1の装置を設置しておく必要があり、未設置の道路では、事故を減らすことができない問題がある。
そこで、本発明では、上記課題を解決し、自車両に設置可能で、例えばドライバーの死角にある衝突の可能性がある物体についての情報を検出可能にし、衝突事故防止に貢献できる装置を提供するものである。
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。
(1)車両用衝突危険予測装置であって、ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、紫外線乃至近赤外線波帯の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、前記第一の撮像手段から出力された前記第一の画像から、所定の物体を画像処理によって検出する第一の検出手段と、を有し、前記第一の検出手段が前記所定の物体を検知した場合には、前記第一の検出手段によって検出された前記所定の物体の抽出画像と前記第二の撮像手段によって出力された前記第二の画像とを重畳して生成した合成画像の出力、又は、警告のための音声の出力、の少なくとも一方がなされることを特徴とする車両用衝突危険予測装置である。
(2)(1)記載の車両用衝突危険予測装置であって、さらに、前記第二の撮像手段から出力された前記第二の画像から前記第一の検出手段とは独立に所定の物体を画像処理によって検出する第二の検出手段と、前記第一の検出手段により検出された所定の物体と前記第二の検出手段により検出された所定の物体とを用いて物体のマッチング処理を行い、マッチング処理結果に応じて、物体毎に危険度を付与する危険予測手段と、を有することを特徴とする車両用衝突危険予測装置である。
(3)車両用衝突危険予測システムであって、ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、紫外線乃至近赤外線波帯の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、前記第一の撮像手段から出力された前記第一の画像から、所定の物体を画像処理によって検出する第一の検出手段と、前記第一の検出手段が前記所定の物体を検知した場合に、警告のための音声信号を生成して出力する危険予測手段と、前記第一の検出手段が前記所定の物体を検知した場合に、前記第一の検出手段によって検出された前記所定の物体の抽出画像と前記第二の撮像手段によって出力された前記第二の画像とを重畳して合成画像を生成する画像合成手段と、前記画像合成手段により生成された合成画像を表示する画像表示手段と、前記危険予測手段により出力された音声信号を警告音として出力する警告音出力手段と、を備えることを特徴とする車両用衝突危険予測システムである。
本発明によれば、自車両に設置可能で、例えばドライバーの死角にある衝突の可能性がある物体についての情報を検出可能にし、衝突事故防止に貢献できる装置を提供することができる。
本発明の実施例1における車両用衝突予測システムの構成図である。 本発明の実施例1〜8における可視光撮像部の出力画像の例を示す図である。 本発明の実施例1,3,4,6,7,8におけるミリ波撮像部の出力画像の例を示す図である。 本発明の実施例1,3,4,6,7,8における第1検出部における衝突危険物体判定アルゴリズムの例を示す図である。 本発明の実施例1,3,7,8における画像合成部の出力画像の例を示す図である。 本発明の実施例2における車両用衝突予測システムの構成図である。 本発明の実施例2,5におけるミリ波撮像部の出力画像の例を示す図である。 本発明の実施例2,5における画像合成部の出力画像の例を示す図である。 本発明の実施例3における車両用衝突予測システムの構成図である。 本発明の実施例3,5における撮像方法の時分割制御の方法を示す図である。 本発明の実施例4における車両用衝突予測システムの構成図である。 本発明の実施例4,5,6,8における第2検出部における衝突危険物体判定アルゴリズムの例を示す図である。 本発明の実施例4,6における画像合成部の出力画像の例を示す図である。 本発明の実施例5における車両用衝突予測システムの構成図である。 本発明の実施例6における車両用衝突予測システムの構成図である。 本発明の実施例7,8における車両用衝突回避システムの構成図である。 本発明の実施例7における第1検出部における衝突回避物体判定アルゴリズムの例を示す図である。 本発明の実施例8における第1検出部における衝突回避物体判定アルゴリズムの例を示す図である。 本発明の実施例8における第2検出部における衝突回避物体判定アルゴリズムの例を示す図である。
以下、本発明の実施形態を図面を用いて説明する。
以下、本発明における実施例1について詳細に説明する。
図1は、本発明の実施例1における車両用衝突危険予測システム100を示す構成図であって、本発明に係る車両用衝突危険予測装置101を、車両用衝突危険予測システム100に適用した場合における構成例を示す。
車両用衝突危険予測システム100は、車両に搭載されており、車両周辺(例えば、前方向)の衝突の危険を検知して、ドライバーに警告を与える等が可能なシステムである。
車両用衝突危険予測システム100は、車両用衝突危険予測装置101と、画像表示部107と、警報音出力部108とを適宜用いて構成される。
車両用衝突危険予測装置101は、車両に搭載されており、車両周辺(例えば、前方向)の衝突の危険を検知して、画像と音声によってドライバーに警告を与えるための、合成画像の出力と、音声信号の出力をする装置であって、ミリ波撮像部102、第1検出部103、可視光撮像部104、危険予測部105、画像合成部106とを適宜用いて構成される。
ミリ波撮像部102は、ミリ波センサ・信号処理部109を用いて構成される。
ミリ波センサ・信号処理部109は、ミリ波帯〜サブミリ波帯(波長:数十μm〜1cm程度)と呼ばれる波長の電磁波を撮像し、2次元デジタルデータである出力画像として、第1検出部103及び画像合成部106に出力する。一般的に、ミリ波帯〜サブミリ波帯(波長:数十μm〜1cm程度)の電磁波は、ある種の材質によってできた物を透過するという性質を持つ。そのため、障害物の陰に隠れて人の目には見えない位置にある物体であっても、ミリ波センサ・信号処理部109によって形状を画像化することができる。
第1検出部103は、ミリ波撮像部102の出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出し、また、その物体の移動速度や移動の傾向などを判断し、自車両と衝突する危険がある物体(以下、衝突危険物体)であると判断した場合には、その衝突危険物体の画像上の大きさや位置情報を示す衝突危険物体情報を、危険予測部105に出力する。衝突危険物体の判定方法の一例については後述する。
可視光撮像部104は、紫外線〜可視光〜近赤外線(波長:10nm〜数μm程度)と呼ばれる波長の電磁波を撮像し、2次元デジタルデータである出力画像として、画像合成部106に出力する。
危険予測部105は、第1検出部103から出力された衝突危険物体情報を、画像合成部106に出力する。また、危険予測部105は、第1検出部103から出力された衝突危険物体情報に基づいて、ドライバーにアラーム音や合成音声などの警告音でドライバーに警告するべき内容を決定し、音声信号に変換し、警告音出力部108に出力する。
画像合成部106は、危険予測部105から出力された衝突危険物体情報に基づいて、ミリ波撮像部102の出力画像から、衝突危険物体の位置の画像を切り抜き処理し、可視光撮像部104の出力画像に重畳した合成画像を、画像表示部107に出力する。
警告音出力部108は、危険予測部105から出力された音声信号を元に発音して、音声でドライバーに警告を与える。
以上のような構成によって、障害物の向こう側にある衝突危険物体について、ミリ波撮像部102と第1検出部103によって検出することができるようになり、合成画像と音声によりドライバーに警告して衝突回避行動を促すことで、衝突事故を未然に防ぐようにできる。なお、ドライバーへの警告は音声又は画像の一方だけでもよく、最初に音声を出力し、所定時間経過後、映像を出力するように時間差をつけても構わない。また、これらの警告は、自車両と衝突危険物体との距離に応じて段階的に変化させてドライバーに通知しても構わない。
図2は、可視光撮像部104の出力画像の例を示す図である。この図は、自車両の前方を撮影するように可視光撮像部104が設置された場合を示している。撮像に使用する電磁波は、紫外線〜可視光〜近赤外線(波長:10nm〜数μm程度)のいずれかの波長で撮像されているものとする。例えば可視光で撮像した場合には、人間の目で見える範囲の画像を撮像することができる。また、例えば近赤外線で撮像した場合には、夜間でも、物体の形を感度良く撮像することができる。それゆえ、例えば、照度センサ等の検出光量やネットワークと接続されて得られる日没情報・位置情報・天候情報等に基づき、適宜撮像に使用する電磁波を自動で切り替えるようにしてもよく、ドライバーが手動で切り替えるようにしても構わない。
この図2に示されるように、例えば自車両の前方に3つの障害物(看板広告201、街路樹202、のぼり旗203)が存在しているとする。看板広告201の材質は木材、街路樹202の材質は木材、のぼり旗203の材質は布とプラスチックである。ドライバーは当然可視光しか視認することができないので、自転車204、歩行者205に関しては視認可能であるが、もし障害物の向こう側に衝突危険物体が存在していたとしても予め視認することができない。
そのため、本発明に係る装置を使用しない場合には、衝突危険物体が障害物の陰から急に飛び出してきくると、ブレーキやハンドリングなどによる衝突回避行動が間に合わずに事故に繋がる可能性がある。
そこで、障害物の向こう側に衝突危険物体がある場合であっても、それを予め検知してドライバーに警告を与えて、ドライバーに衝突回避行動を取らせ、衝突事故を未然に防ぐ手段が必要となる。そのために、実施例1の手段ではミリ波帯〜サブミリ波帯(波長:数十μm〜1cm程度)と呼ばれる電磁波で撮像を行う。この波長帯の電磁波は、木材・プラスチック・布・紙・陶磁器・ダンボール・煙・霧など、水・金属以外の様々な物質を透過し、金属表面で反射し、また、人や動物など、水分を多く含んだ物体に吸収されるという性質がある。すなわち、障害物が、この波長帯の電磁波を透過する素材でできていた場合には、ミリ波撮像部102によって、障害物の向こう側をいわば“透視”した映像を得ることができるということになる。
一般的に、撮像方法は電磁波の光源(放射源)の種類によって、パッシブ型と、アクティブ型の二種類に分類される。パッシブ型は、熱を持った物体から自然に放射される、ミリ波帯〜サブミリ波帯(波長:数十μm〜1cm程度)の電磁波を光源とする撮像方法である。一方、アクティブ型は、自ら設置した光源で撮像対象を照らして、金属などの物質で反射した電磁波を、パッシブ型の場合よりも鮮明に撮像することができる撮像方法である。
実施例1では、パッシブ型で撮像することとする。そのため、熱を持った物体である、歩行者や動物や走行中の車両(特にエンジン)などを検知することができる。
図3は、ミリ波撮像部102の出力画像の例を示す図である。実施例1では、パッシブ型の撮像方法を採っているので、水・金属以外の様々な材質でできた障害物を透過して、人や動物や走行中の車両など、熱を持つ物体を検知することができる。例えば図3では、可視光撮像部104によって検知可能だった自転車204、歩行者205以外にも、障害物に隠れた位置に存在する歩行者301、自動車302についても検知することが可能になっている。
第1検出部103において、衝突危険物体を判定する方法の一例について、図4を用いて以下に説明する。まず、ミリ波撮像部102から出力された出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出する。また、時間的に連続して撮影された出力画像から、画像処理によって物体の予測移動方向・速度を計算し、物体の動き予測を行う。自車両の前方向の、ヨー角θ [°]以内(例:θ=10)、距離L [m](例:L=10)以内に、時間t [sec](例:t=2)以内に物体が通過する可能性があると判断された場合には、衝突危険物体として判定する。その場合には、その衝突危険物体の画像上の大きさや位置情報を示す、衝突危険物体情報を出力する。
例えば図4の場合には、撮像範囲200に存在する物体(自転車204、歩行者205、歩行者301、自動車302)の物体形状が抽出される。そして、それぞれの物体について、t[sec]後の予測位置(図4の401、402,403,404)及び、0〜t [sec]の間の予測移動軌跡(図4の白貫き矢印)が予測される。予測移動軌跡が、図の405で示される範囲を通過する物体は、衝突危険物体として判定される。例えば、図4の場合には、自転車204、歩行者205、歩行者301、自動車302が衝突危険物体として判定される。なお、予測移動軌跡の予測には、ネットワーク等を介して取得されるマップ情報・渋滞情報等を補足情報として用いても構わない。
図5は、画像合成部106の出力画像の例を示す図である。衝突危険物体として判断された物体については、ミリ波撮像部102の出力画像から、物体の形状に沿って切り抜き処理され、可視光撮像部104の出力画像に重畳される。さらに、衝突危険物体の周辺に、図5に矩形の点線で示すような、危険であることを示すマーカーが画像処理によって付加される。このような合成画像が、画像表示部を通じてドライバーに提示されることになる。このような合成画像によって、ドライバーは、障害物の向こう側にある衝突危険物体について知ることができる。
以上のように、実施例1の手段を用いれば、障害物の向こう側にある衝突危険物体について、ミリ波撮像部102と第1検出部103によって検出することができるようになり、画像及び/又は音声によりドライバーに警告して衝突回避行動を促すことで、衝突事故を未然に防ぐようにできる。なお、ここでは、自車両の前方を撮像する場合を例にとって説明したが、これに限られず、自車両がバックする場合には、後方を撮像しながら同様に本発明を適用できることは言うまでもない。また、撮像範囲の方向については、例えば、自車両の方向指示器の動作に応じて適宜変更するようにしても構わない。また、本実施例1の記載中に示した変形例については、他の実施例においても適宜適用可能である。
以下、本発明における実施例2について詳細に説明する。
図6は、本発明の実施例2における車両用衝突危険予測システム100−2を示す構成図であって、本発明に係る車両用衝突危険予測装置101−2を、車両用衝突危険予測システム100−2に適用した場合における構成例を示す。
車両用衝突危険予測装置101−2は、ミリ波撮像部102−2、第1検出部103−2、可視光撮像部104−2、危険予測部105−2、画像合成部106−2を適宜用いて構成され、ミリ波撮像部102−2は、ミリ波センサ・信号処理部109−2の他、ミリ波光源601−2を用いて構成される。
ミリ波光源601−2は、ミリ波センサ・信号処理部109−2で撮像可能な電磁波(波長:数十μm〜1cm程度)を、撮影対象となる自車両の周辺に放射することができる光源(放射源)である。その他の構成要素に関しては、実施例1の図1と同様であるので、説明を割愛する。
実施例2では、ミリ波センサ・信号処理部109−2とミリ波光源601−2とを組み合わせて、アクティブ型の撮像方法を採るという点で、実施例1と異なる。
実施例2では、アクティブ型の撮像方法を採るので、金属で覆われた物体である、自動車や、バイクや、自転車といった車両を、パッシブ型の場合よりも鮮明に撮像することが可能となり、その結果、危険物体の検出精度や、ドライバーに提示する合成画像の鮮明さが向上する。
図7は、図3と同様のシーンを、実施例2の撮像方法(アクティブ型)で撮像した場合の、ミリ波撮像部102−2の出力画像の例を示す図である。この例では、金属でできた自転車204、自動車302を、実施例1の撮像方法(パッシブ型)よりも鮮明に撮像可能である。
鮮明に撮像された画像を用いるので、第1検出部103−2における衝突危険物体の検出精度は、実施例1の場合よりも高くなる。
図8は、画像合成部106−2の出力画像の例を示す図である。合成画像の生成方法は、実施例1の場合と同様であるので、割愛する。この例では、金属でできた自転車204、自動車302が、実施例1の撮像方法(パッシブ型)よりも鮮明な画像になってドライバーに提示されている。
以上のように、実施例2の手段を用いれば、障害物の向こう側にある衝突危険物体について、ミリ波撮像部102で高い精度で検出し、かつ鮮明な撮像画像を提示して、ドライバーに警告することができる。その結果、ドライバーは、より適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。
以下、本発明における実施例3について詳細に説明する。
図9は、本発明に係る実施例3における車両用衝突危険予測システム100−3を示す構成図であって、本発明の車両用衝突危険予測装置101−3を、車両用衝突危険予測システム100−3に適用した場合における構成例を示す。
車両用衝突危険予測装置101−3は、ミリ波撮像部102−3、第1検出部103−3、可視光撮像部104−3、危険予測部105−3、画像合成部106−3を適宜用いて構成され、ミリ波撮像部102−3は、ミリ波センサ・信号処理部109−3、ミリ波光源601−3を用いて構成される。
危険予測部10−35は、実施例2の危険予測部105−2と同様の処理を実施する。さらに、危険予測部105−3は、ミリ波撮像部102−3の撮像パラメータを制御する制御信号を、ミリ波撮像部102−3に出力する。また、図示しない切替部に基づいて、ミリ波光源601−3のON(点灯)/OFF(消灯)を切り替える制御信号を、ミリ波光源601−3に出力する。その他の構成要素に関しては、実施例2の図6と同様であるので、説明を割愛する。
実施例3は、撮像方法を時分割で切り替えて、パッシブ型とアクティブ型の両方の撮像方法を時分割で切り替えて撮像するという点で、実施例1,2と異なっている。時分割制御により、実施例3では、2つの撮像方法の検出結果の両方を用いることができるようになり、アクティブ型の撮像によって車両など金属でできた物体の検出精度を高める作用と、パッシブ型の撮像によって歩行者や動物などの検出を可能とする作用の両方を同時に実現することが可能となる。
図10は、時分割制御の制御タイミングの一例を示した図である。時刻t1〜t2では、ミリ波光源601をOFF,t2〜t3ではON、・・・と、ミリ波光源601が点滅するように、危険予測部105が制御を行う。ミリ波光源601がOFFになっている期間はパッシブ型の撮像方法となり、逆に、ミリ波光源601がONになっている期間は、アクティブ型の撮像方法となる。図10の場合には、出力画像1,3,5がパッシブ型、出力画像2,4がアクティブ型で撮像されることになる。撮像方法によって感度やS/N比などが異なるので、絞り量・シャッター速度・ノイズ除去信号処理強度などの撮像パラメータは、それぞれの撮像方法にとって最適な値が異なる。そこで、危険予測部105−3は、撮像方法の変更に合わせて、最適な撮像パラメータを設定するように、撮像パラメータ制御信号をミリ波センサ・信号処理部109−3に出力する。
第1検出部103−3では、パッシブ型で撮像された出力画像と、アクティブ型で撮像された出力画像のそれぞれについて、衝突危険物体を検出し、アクティブ型・パッシブ型両方の結果のマッチングをとり、少なくともどちらか片方の撮像方法で検出された衝突危険物体について、衝突危険物体情報を、危険予測部105−3に出力する。
このように、実施例3の手段を用いれば、2つの撮像方法の検出結果の両方を用いることができるようになり、アクティブ型の撮像によって車両など金属でできた物体の検出精度を高める作用と、パッシブ型の撮像によって歩行者や動物などの検出を可能とする作用の両方を同時に実現することが可能となる。
以下、本発明における実施例4について詳細に説明する。
図11は、本発明の実施例4における車両用衝突危険予測システム100−4を示す構成図であって、本発明に係る車両用衝突危険予測装置101−4を、車両用衝突危険予測システム100−4に適用した場合における構成例を示す。
車両用衝突危険予測装置101−4は、ミリ波撮像部102−4、第1検出部103−4、可視光撮像部104−4、危険予測部105−4、画像合成部106−4、第2検出部1101−4を適宜用いて構成され、ミリ波撮像部102−4は、ミリ波センサ・信号処理部109−4を用いて構成される。
第2検出部1101−4は、可視光撮像部104−4の出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出し、また、その物体の移動速度や移動の傾向などを判断し、衝突危険物体であると判断した場合には、その衝突危険物体の画像上の大きさや位置情報を示す衝突危険物体情報を、危険予測部105−4に出力する。第2検出部1101−4による衝突危険物体の判定方法の一例については後述する。
危険予測部105−4は、第1検出部103−4と第2検出部1101−4それぞれで独立に求めた衝突危険物体情報を入力とし、物体のマッチングを行った上で、衝突危険物体の「危険度」というパラメータを付加して合成画像部106−4に出力する。「危険度」の定義については、後述する。また、「危険度」に応じて、危険予測部105−4から警告音出力部108−4への音声信号の内容も変化させる。
画像合成部106−4は、実施例1と同様に可視光撮像部104の出力画像に、衝突危険物体の画像の一部を重ね合わせた上に、さらに「危険度」の情報を提示できる合成画像を生成して画像表示部107−4に出力する。図11のその他の構成要素に関しては、実施例1の図1と同様であるので、説明を割愛する。
実施例4は、ミリ波撮像部102−4の出力画像を用いて衝突危険物体の検出を行う第1検出部103−4の検出結果と、可視光撮像部104−4の出力画像を用いて衝突危険物体の検出を行う第2検出部の検出結果の両方を用いるという点と、危険予測部105−4において「危険度」というパラメータを算出して、その結果によって画像や音声によってドライバーに警告する内容を変えるという点で、実施例1と異なる。
実施例4では、2つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度A」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。
以下に、第2検出部1101−4における、衝突危険物体を判定する方法について説明する。
第2検出部1101−4は、可視光撮像部104−4の出力画像を入力画像として用いるという点で、ミリ波撮像部102−4の出力画像を入力画像として用いる第1検出部103−4と差異がある。
第2検出部1101−4において、入力画像から衝突危険物体を判定する方法については、第1検出部103−4の検出アルゴリズムや設定値と同じにしても良いし、変えても良い。
以下は、例として、第2検出部1101−4でも、第1検出部103−4と同じ検出アルゴリズム及び設定値を使用する場合について説明する。
入力画像から衝突危険物体を判定する方法としては、まず、可視光撮像部104−4から出力された出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出する。次に、時間的に連続して撮影された出力画像から、画像処理によって物体の予測移動方向・速度を計算し、物体の動き予測を行う。自車両の前方向の、ヨー角θ [°]以内(例:θ=10)、距離L [m](例:L=10)以内に、時間t [sec] (例:t=2)以内に物体が通過する可能性があると判断された場合には、衝突危険物体として判定する。その場合には、その衝突危険物体の画像上の大きさや位置情報を示す、衝突危険物体情報を出力する。
例えば図12の場合には、撮像範囲200に存在する物体(自転車204、歩行者205)の物体形状が抽出される。そして、それぞれの物体について、t[sec]後の予測位置(図12の401、402)及び、0〜t [sec]の間の予測移動軌跡(図12の白貫き矢印)が予測される。予測移動軌跡が、図12の405で示される範囲を通過する物体は、衝突危険物体として判定される。例えば、図12の場合には、自転車204、歩行者205が衝突危険物体として判定される。
以下に、実施例4における危険予測部105−4の振る舞いについて説明する。
実施例4では、第1検出部103−4と、第2検出部1101−4の両方の検出結果を、危険予測部105−4の入力として用いている。危険予測部105−4では、これら検出結果間で、衝突危険物体が、同一物体であるか判定(マッチング)する。具体的なマッチングの方法としては、例えば、同じ座標に存在し、同じ方向に、同じ速度で移動していると検出された場合に、同一物体であると判断するなどの方法がある。
表1は、危険予測部105−4の、「危険度」というパラメータの定義について説明する表である。
Figure 2013097480
表1のような、「危険度」の定義は、平たく説明するならば「見えない危険が、より危険である」という考え方に基づいている。つまり、(実際には、可視光撮像部104−4で撮像できる波長が人の可視域よりも広い場合も含まれるが、)可視光で検出できる物体は、ドライバーが視認できる場合があり、危険度としては標準的なものとして考えることができるのに対して、可視光で検出できない物体に関しては、ドライバーが知る術なく接近を許してしまう可能性があり、危険度がより高いと考えることができる。本発明に係る装置・システムを使えば、この危険度について危険予測部105−4で判定し、危険度の高い物体について、強くドライバーに警告を与えることができるようになる。
危険予測部105−4では、物体のマッチング結果に関して、ミリ波により物体を検知する第1検出部103−4と、可視光により物体を検知する第2検出部1101−4それぞれにおいて、物体を検出できたかという条件によって、表1のように物体の危険度を判定する。判定方法としては、まず、第1検出部103−4で検出できた物体は「危険度B」として定義する。さらに、第1検出部103−4で検出できなかった物体のうち、第2検出部1101−4で検出できた物体を「危険度A」、検出できなかった物体を「危険度B」として定義する。「危険度A」の物体は、「危険度B」の物体よりも、衝突の危険性が高いことを示している。
画像合成部106−4では、実施例1の場合と同様に、可視光で撮像した出力画像の上に、ミリ波で撮像した出力画像を重畳し、マーカー等によって、衝突危険物体を強調されるように画像を合成する。さらに、画像合成部では、危険度Aの物体が特に強調されて、ドライバーに警告が特に分かりやすくなるように画像を合成する(強調方法については、後述する)。
また、「危険度A」の衝突危険物体が、特に強く音声で警告されるように、危険度によって、危険予測部105−4で生成する音声信号の、警告音の音量や、警告音の音色や、警告音となる合成音声の警告文や、警告音となる合成音声の音程などを変更する。
このように、危険度が高い物体ほど、ドライバーに強く警告することで、特に衝突事故に繋がりやすい物体をドライバーがより意識して回避することができるようになるので、衝突を防止できるようになる。
以下に、画像の合成について、図を用いて具体的に説明する。
実施例1において説明したのと同様に、ミリ波撮像部102−4の出力画像の例を示す図は図3と同様であり、第1検出部103−4では、この出力画像に基づき、例えば4つの衝突危険物体(自転車204,歩行者205,歩行者301,自動車302)が検知される。
一方、可視光撮像部104−4の出力画像の例を示す図は図2と同様であり、第2検出部1101−4では、この出力画像に基づき、例えば2つの衝突危険物体(自転車204,歩行者205)が検知される。
このように、2つの検出部で検知された物体をマッチングすると、自転車204,歩行者205,歩行者301,自動車302の4つの衝突危険物体が検知されたことになる。さらに、表11に基づいて危険度を判定すると、歩行者301,自動車302は「危険度A」、自転車204,歩行者205は「危険度B」とそれぞれ判定される。
図13は、画像合成部106−4の出力画像の例を示す図である。図13は、図5と同様に、衝突危険物体として判断された物体については、ミリ波撮像部102−4の出力画像から、物体の形状に沿って切り抜き処理され、可視光撮像部104−4の出力画像に重畳されている。
図13では、危険度に応じて、物体を強調する程度が異なるようになっている。例えば、図13のように、「危険度B」の物体は、図5の場合と同様に、矩形の点線で囲まれたように描画されるが、「危険度A」の物体は、図13の301のように、太い線で囲まれて描画される。例えば、このようにマーカーの種類を変えることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。なお、危険度に応じた物体の強調については、これに限られず、危険度に応じて明度を上げる等、種々変更可能である。また、危険度Aの場合のみ音声と映像とで警告し、B以下の場合には映像又は音声のみのようにしても構わない。
以上のように、実施例4の手段を用いれば、2つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度A」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。
以下、本発明における実施例5について詳細に説明する。
図14は、本発明の実施例5における車両用衝突危険予測システム100−5を示す構成図であって、本発明に係る車両用衝突危険予測装置101−5を、車両用衝突危険予測システム100−5に適用した場合における構成例を示す。
車両用衝突危険予測装置101−5は、ミリ波撮像部102−5、第1検出部103−5、可視光撮像部104−5、危険予測部105−5、画像合成部106−5、第2検出部1101−5を適宜用いて構成され、ミリ波撮像部102−5は、ミリ波センサ・信号処理部109−5、ミリ波光源601−5を用いて構成される。
ミリ波光源601−5は、実施例2の図6と同様に、ミリ波撮像部102−5で撮像可能な電磁波(波長:数十μm〜1cm程度)を、撮影対象となる自車両の周辺に放射することができる光源(放射源)である。図14のその他の構成要素に関しては、実施例4の図11と同様であるので、説明を割愛する。
実施例5では、実施例2と同様に、ミリ波光源601−5と、ミリ波撮像部102−5を組み合わせて、アクティブ型の撮像方法を採る。アクティブ型の撮像方法を採るので、金属で覆われた物体である、自動車や、バイクや、自転車といった車両を、パッシブ型の場合よりも鮮明に撮像することが可能となり、その結果、危険物体の検出精度や、ドライバーに提示する合成画像の鮮明さが向上する。
さらに、実施例5では、実施例4と同様に、2つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度A」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。
実施例5では、実施例2と同様にアクティブ型の撮像方法を採る手法と、実施例4と同様に「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法の、両方を同時に使用できる構成となっているという点で、実施例2、4と異なる。実施例5において、アクティブ型の撮像方法を採る手法については、実施例2と同様なので割愛する。また、実施例5において、「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法については、実施例4と同様なので割愛する。
以上のように、実施例5の手段を用いれば、実施例2と同様に、障害物の向こう側にある衝突危険物体について、高い精度で検出し、かつ鮮明な撮像画像を提示して、ドライバーに警告することができる。その結果、ドライバーは、より適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。
また同時に、実施例5の手段を用いれば、実施例4と同様に、2つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度A」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。このように、実施例5においては、実施例2と実施例4の両方の効果を同時に得ることができる。
以下、本発明における実施例6について詳細に説明する。
図15は、本発明の実施例6における車両用衝突危険予測システム100−6を示す構成図であって、本発明に係る車両用衝突危険予測装置101−6を、車両用衝突危険予測システム100−6に適用した場合における構成例を示す。
車両用衝突危険予測装置101−6は、ミリ波撮像部102−6、第1検出部103−6、可視光撮像部104−6、危険予測部105−6、画像合成部106−6、第2検出部1101−6を適宜用いて構成され、ミリ波撮像部102−6は、ミリ波センサ・信号処理部109−6、ミリ波光源601−6を用いて構成される。
ミリ波光源601−6は、実施例3の図9と同様に、ミリ波撮像部102−6で撮像可能な電磁波(波長:数十μm〜1cm程度)を、撮影対象となる自車両の周辺に放射することができる光源(放射源)である。
危険予測部105−6は、実施例3の危険予測部105−3と同様に、ミリ波撮像部102−6の撮像パラメータを制御する制御信号を、ミリ波撮像部102に出力する。また、ミリ波光源601−6のON(点灯)/OFF(消灯)を切り替える制御信号を、ミリ波光源601−6に出力する。
さらに、危険予測部105−6は、実施例4の図11と同様に、第1検出部103−6と第2検出部1101−6それぞれで独立に求めた衝突危険物体情報を入力とし、物体のマッチングを行った上で、衝突危険物体の「危険度」というパラメータを付加して合成画像部106−6に出力する。図14のその他の構成要素に関しては、実施例4の図14と同様であるので、説明を割愛する。
実施例6では、実施例3と同様にアクティブ型とパッシブ型の撮像方法を時分割に切り替えて撮像する手法と、実施例4と同様に「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法の、両方を同時に使用できる構成となっているという点で、実施例3、4と異なる。実施例5において、アクティブ型とパッシブ型の撮像方法を時分割に切り替えて撮像する手法については、実施例3と同様なので割愛する。また、実施例5において、「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法については、実施例4と同様なので割愛する。
以上のように、実施例6の手段を用いれば、実施例3と同様に、2つの撮像方法の検出結果の両方を用いることができるようになり、アクティブ型の撮像によって車両など金属でできた物体の検出精度を高める作用と、パッシブ型の撮像によって歩行者や動物などの検出を可能とする作用の両方を同時に実現することが可能となる。
また同時に、実施例6の手段を用いれば、実施例4と同様に、2つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度A」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。このように、実施例6においては、実施例3と実施例4の両方の効果を同時に得ることができる。
以下、本発明における実施例7について詳細に説明する。
図16は、本発明の実施例7における車両用衝突危険回避システム1600−7を示す構成図である。実施例7では、本発明の実施例1(図1の101)、実施例2(図6の101−2)、実施例3(図9の101−3)のいずれかに記載の車両用衝突危険予測装置を、車両用衝突危険回避システム1600−7に適用した場合における構成例を示す。
車両用衝突危険回避システム1600−7は、車両に搭載されており、車両周辺(例えば、前方向)の衝突の危険を検知して、ドライバーに警告を与えると共に、衝突を回避するために、車両自らが衝突回避行動をとり、衝突を回避するシステムである。
車両用衝突危険回避システム1600−7は、車両用衝突危険予測装置101−7、画像表示部107−7、警告音出力部108−7、車両制御部1601−7を用いて構成され、車両用衝突危険予測装置101−7は、主に、実施例1(図1)、実施例2(図6)、実施例3(図9)のいずれかで示される車両用衝突危険予測装置の構成となり、さらに、車両用衝突危険予測装置101−7の内部の第1検出部(図1,図6,図9のいずれか)は、車両が自ら回避すべき物体を示す「衝突回避物体」を判定し、「衝突回避物体情報」を危険予測部に出力する。
また、さらに、車両用衝突危険予測装置101−7の内部の危険予測部(図1の105,図6の105−2,図9の105−3のいずれか)は、車両がどのような衝突危険回避行動をとるべきかを示した「衝突回避情報」を、車両制御部1601−7に出力する。車両制御部1601−7は、危険予測部(図1の105,図6の105−2,図9の105−3のいずれかに記載のもの)から、衝突回避情報を受け取り、自車両のブレーキングやハンドリングをドライバーの操作に関わらず自動で制御する。画像表示部107−7、警告音出力部108−7に関しては、実施例1の図1の107,108と同様であるため、説明を割愛する。
実施例7では、実施例1〜3のいずれかの手法により、ドライバーに衝突危険物体について警告を与え、衝突回避行動を促す。
一方で、実施例7では、ドライバーが衝突回避行動をとらない場合であっても、物体との衝突を防止するために自車両が自ら判断して衝突回避行動をとるという点で、実施例1〜3と異なる。
自車両が自ら判断して衝突回避行動をとる際の具体的な方法としては、例えば以下のようになる。
まず、第1検出部(図1,図6,図9のいずれか)で、衝突を回避すべき物体(衝突回避物体)を検出する。このとき、衝突危険物体と衝突回避物体の判定方法については、アルゴリズムや設定値を同じにしても良いし、変えても良い。
例えば、衝突回避物体の判定アルゴリズムとして、実施例1の図4で示した衝突危険物体の判定アルゴリズムと同様に、画像処理によって物体の予測移動方向・速度を計算し、物体の動き予測を行う手法を採用することができる。
図17は、第1検出部において衝突回避物体を判定する方法の例を示す図である。この手法では、自車両の前方向の、ヨー角θ [°]以内(例:θ=8)、距離L [m](例:L=5)以内に、時間t [sec] (例:t=1)以内に物体が通過する可能性があると判断された場合には、衝突回避物体として判定する。
衝突回避物体と判定された物体については、危険予測部(図1,図6,図9のいずれか)で、衝突回避行動をとるための車両制御信号を、車両制御部1601−7に出力する。車両制御部では、自車両をブレーキングにより減速したり、衝突回避物体とは逆方向にハンドリングしたりするなどの衝突回避行動をとるように、自車両を制御する。また、車両が自動で衝突回避行動をとる際には、画像表示部で表示する画像に警告文を表示し、また警告音出力部から音声を発してドライバーに知らせる。
この例のようにθ≦θ≦L、t≦tとした場合には、物体の接近に応じて段階的に安全策をとることができる。物体が近づいてきた場合には、まず衝突危険物体として判定され、ドライバーに警告を与えてドライバーの自主的な衝突回避行動を促す。その後さらに近づいてくる場合には、衝突回避物体として判定され、車両が自ら衝突回避行動をとる。
以上のように、実施例7の手段を用いれば、実施例1〜3の場合と同様に、画像及び/又は音声により、障害物の向こう側にある衝突危険物体についてドライバーに警告することができ、適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。また、実施例7の手段を用いれば、ドライバーが衝突回避行動を取らなかった場合であっても、自車両が自動で衝突回避行動をとるので、衝突事故を未然に防ぐことができる。
本実施例の変形例として、図16の構成から、画像表示部107−7を省略し、また可視光撮像部(図1の104,図6の104−2,図9の104−3のいずれか)、画像合成部(図1の106,図6の106−2,図9の106−3のいずれか)を省略した構成とすることができる。この構成の場合には、合成画像によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。また、本実施例の変形例として、図16の構成から、警告音出力部108−7を省略した構成とすることができる。この構成の場合には、音声によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。
以下、本発明における実施例8について詳細に説明する。
図18は、本発明の実施例8における車両用衝突危険回避システム1600−8を示す構成図である。実施例8では、本発明の実施例4(図11の101−4)、実施例5(図14の101−5)、実施例6(図15の101−6)のいずれかに記載の車両用衝突危険予測装置を、車両用衝突危険回避システム1600−8に適用した場合における構成例を示す。
車両用衝突危険回避システム1600−8は、車両に搭載されており、車両周辺(例えば、前方向)の衝突の危険を検知して、ドライバーに警告を与えると共に、衝突を回避するために、車両自らが衝突回避行動をとり、衝突を回避するシステムである。
車両用衝突危険回避システム1600−8は、車両用衝突危険予測装置101−8、画像表示部107−8、警告音出力部108−8、車両制御部1601−8を用いて構成される。
車両用衝突危険予測装置101−8は、主に、実施例4(図11の101−4)、実施例5(図14の101−4)、実施例6(図15の101−4)のいずれかで示される車両用衝突危険予測装置の構成となる。
さらに、車両用衝突危険予測装置101−8の内部の第1検出部(図11の103−4,図14の103−5,図15の103−6のいずれか)は、実施例7と同様に、車両が自ら回避すべき物体を示す「衝突回避物体」を判定し、「衝突回避物体情報」を危険予測部(図11の105−4,図14の105−5,図15の105−6のいずれか)に出力する。
また、さらに、車両用衝突危険予測装置101−8の内部の第2検出部(図11の1101−4,図14の1101−5,図15の1101−6のいずれか)は、実施例7の場合と同様に、車両が自ら回避すべき物体を示す「衝突回避物体」を判定し、「衝突回避物体情報」を危険予測部に出力する。
また、さらに、車両用衝突危険予測装置101−8の内部の危険予測部(図11,図14,図15のいずれか)は、車両がどのような衝突危険回避行動をとるべきかを示した「衝突回避情報」を、車両制御部1601−8に出力する。
車両制御部1601−8は、危険予測部(図11の105−4,図14の105−5,図15の105−6のいずれか)から、衝突回避情報を受け取り、自車両のブレーキングやハンドリングを制御する。画像表示部107−8、警告音出力部108−8に関しては、実施例4の図11の107−4,108−4と同様であるため、説明を割愛する。
実施例8では、実施例4〜6のいずれかの手法により、ドライバーに衝突危険物体について警告を与え、衝突回避行動を促す。
一方で、実施例8では、ドライバーが衝突回避行動をとらない場合であっても、物体との衝突を防止するために自車両が自ら判断して衝突回避行動をとるという点で、実施例4〜6と異なる。
また、実施例8では、第2検出部(図11の1101−4,図14の1101−5,図15の1101−6のいずれか)を備え、さらに、危険予測部は第1検出部と第2検出部の両方の検出結果を用いて衝突回避物体を判定するという点で、実施例7と異なる。
自車両が自ら判断して衝突回避行動をとる際の具体的な方法としては、例えば以下のようになる。
まず、第1検出部及び、第2検出部で、衝突を回避すべき物体(衝突回避物体)を検出する。このとき、衝突危険物体と衝突回避物体の判定方法については、アルゴリズムや設定値を同じにしても良いし、変えても良い。第1検出部における、衝突回避物体の検出方法については、実施例7の図17において説明したので、割愛する。
第2検出部において入力画像から衝突危険物体を判定する方法については、第1検出部及び、第2検出部の検出アルゴリズムや設定値と同じにしても良いし、変えても良い。
以下は、例として、第2検出部でも、第1検出部と同じ検出アルゴリズム及び設定値を使用する場合について説明する。
図19は、第2検出部において衝突回避物体を判定する方法の例を示す図である。例えば図19の場合には、撮像範囲200に存在する物体(自転車204、歩行者205)の物体形状が抽出される。そして、それぞれの物体について、t[sec]後の予測位置(図19の1701,1702)及び、0〜t [sec]の間の予測移動軌跡(図19の白貫き矢印)が予測される。予測移動軌跡が、図19の1705で示される範囲を通過する物体は、衝突回避物体として判定される。例えば、図19の場合には、自転車204、歩行者205が衝突危険物体として判定される。
実施例8では、第1検出部と、第2検出部の両方の検出結果を、危険予測部の入力として用いている。
危険予測部では、これら検出結果間で、衝突回避物体が、同一物体であるか判定(マッチング)する。具体的なマッチングの方法としては、例えば、同じ座標に存在し、同じ方向に、同じ速度で移動していると検出された場合に、同一物体であると判断するなどの方法がある。前述の表1は、危険予測部の、「危険度」というパラメータの定義について説明する表であって、危険予測部では、衝突回避物体のマッチング結果に関して、ミリ波により物体を検知する第1検出部と、可視光により物体を検知する第2検出部それぞれにおいて、衝突回避物体として検出できたかという条件によって、表1のように物体の危険度を判定する。
実施例8では、衝突回避物体のうち、危険度AもしくはBとして判定された物体について衝突回避行動を取る。ミリ波と可視光の少なくともどちらか片方で検知された物体について衝突を回避することができるので、物体の検知率を上げることができる。
以上のように、実施例8の手段を用いれば、実施例4〜6と同様に、可視光とミリ波の両方の検出結果から危険度を算出し、危険度に応じて警告の度合いを制御することで、ドライバーに見えない危険な物体ほど、ドライバーが認識しやすくすることができ、事故を防止できる。
また、実施例8の手段を用いれば、ドライバーが衝突回避行動を取らなかった場合であっても、ミリ波と可視光の少なくともどちらか片方で検知された物体について衝突を回避することができるので、高い検知率に基づいて、自車両が自動で衝突回避行動をとることができ、衝突事故を未然に防ぐことができる。
本実施例の変形例として、図16の構成から、画像表示部を省略した構成とすることができる。この構成の場合には、合成画像によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。また、本実施例の変形例として、図16の構成から、警告音出力部を省略した構成とすることができる。この構成の場合には、音声によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100 車両用衝突危険予測システム
101 車両用衝突危険予測装置
102 ミリ波撮像部
103 第1検出部
104 可視光撮像部
105 危険予測部
106 画像合成部
107 画像表示部
108 警告音出力部
109 ミリ波センサ・信号処理部
200 撮像範囲
201 障害物(看板広告)
202 障害物(街路樹)
203 障害物(のぼり旗)
204 自車両から可視光で視認可能な位置にある衝突危険物体(自転車)
205 自車両から可視光で視認可能な位置にある衝突危険物体(歩行者)
206 車道
301 自車両から可視光で視認不可能な位置にある衝突危険物体(歩行者)
302 自車両から可視光で視認不可能な位置にある衝突危険物体(自動車)
400 自車両
401 物体204のt [sec]後の予測位置
402 物体205のt [sec]後の予測位置
403 物体301のt [sec]後の予測位置
404 物体302のt [sec]後の予測位置
405 t [sec]以内に物体が通過すると、衝突危険物体と判定される範囲
601 ミリ波光源
1001 ミリ波光源のON/OFF
1002 ミリ波センサ・信号処理部の出力画像
1003 第1検出部及び、画像合成部の入力として使用する画像
1101 第2検出部
1301 危険度表示(危険度A)
1302 危険度表示(危険度B)
1303 危険度表示(危険度A)
1304 危険度表示(危険度B)
1600 車両用衝突危険回避システム
1601 車両制御部
1701 物体204のt [sec]後の予測位置
1702 物体205のt [sec]後の予測位置
1703 物体301のt [sec]後の予測位置
1704 物体302のt [sec]後の予測位置
1705 t [sec]以内に物体が通過すると、衝突回避物体と判定される範囲

Claims (14)

  1. 車両用衝突危険予測装置であって、
    ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、
    紫外線乃至近赤外線波帯の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、
    前記第一の撮像手段から出力された前記第一の画像から、所定の物体を画像処理によって検出する第一の検出手段と、
    を有し、
    前記第一の検出手段が前記所定の物体を検知した場合には、
    前記第一の検出手段によって検出された前記所定の物体の抽出画像と前記第二の撮像手段によって出力された前記第二の画像とを重畳して生成した合成画像の出力、又は、警告のための音声の出力、の少なくとも一方がなされることを特徴とする車両用衝突危険予測装置。
  2. 請求項1記載の車両用衝突危険予測装置であって、
    さらに、前記第二の撮像手段から出力された前記第二の画像から前記第一の検出手段とは独立に所定の物体を画像処理によって検出する第二の検出手段と、
    前記第一の検出手段により検出された所定の物体と前記第二の検出手段により検出された所定の物体とを用いて物体のマッチング処理を行い、マッチング処理結果に応じて、物体毎に危険度を付与する危険予測手段と、
    を有することを特徴とする車両用衝突危険予測装置。
  3. 請求項2記載の車両用衝突危険予測装置であって、
    前記合成画像を生成して出力する画像合成手段は、前記危険予測手段により物体毎に危険度が付与された場合には、前記危険度に応じて物体毎に異なる表示の合成画像を生成して出力することを特徴とする車両用衝突危険予測装置。
  4. 請求項2記載の車両用衝突危険予測装置であって、
    前記危険予測手段により物体毎に危険度が付与された場合には、前記危険度に応じて異なる警告のための音声を出力することを特徴とする車両用衝突危険予測装置。
  5. 請求項1乃至4のいずれかに記載の車両用衝突危険予測装置であって、
    さらに、ミリ波乃至サブミリ波帯の波長の電磁波を照射する第一の光源を有し、
    前記第一の撮像手段は、前記第一の光源により照射された電磁波が所定の物体により反射した電磁波を検出することにより前記第一の画像を得ることを特徴とする車両用衝突危険予測装置。
  6. 請求項5記載の車両用衝突危険予測装置であって、
    さらに、前記第一の光源の使用有無を切替可能な切替手段を有することを特徴とする車両用衝突危険予測装置。
  7. 車両用衝突危険予測システムであって、
    ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、
    紫外線乃至近赤外線波帯の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、
    前記第一の撮像手段から出力された前記第一の画像から、所定の物体を画像処理によって検出する第一の検出手段と、
    前記第一の検出手段が前記所定の物体を検知した場合に、警告のための音声信号を生成して出力する危険予測手段と、
    前記第一の検出手段が前記所定の物体を検知した場合に、前記第一の検出手段によって検出された前記所定の物体の抽出画像と前記第二の撮像手段によって出力された前記第二の画像とを重畳して合成画像を生成する画像合成手段と、
    前記画像合成手段により生成された合成画像を表示する画像表示手段と、
    前記危険予測手段により出力された音声信号を警告音として出力する警告音出力手段と、
    を備えることを特徴とする車両用衝突危険予測システム。
  8. 請求項7記載の車両用衝突危険予測システムであって、
    さらに、前記第二の撮像手段から出力された前記第二の画像から前記第一の検出手段とは独立に所定の物体を画像処理によって検出する第二の検出手段と、を有し、
    前記危険予測手段は、前記第一の検出手段により検出された所定の物体と前記第二の検出手段により検出された所定の物体とを用いて物体のマッチング処理を行い、マッチング処理結果に応じて、物体毎に危険度を付与することを特徴とする車両用衝突危険予測システム。
  9. 請求項8記載の車両用衝突危険予測システムであって、
    前記画像合成手段は、前記危険予測手段により物体毎に危険度が付与された場合には、前記危険度に応じて物体毎に異なる表示の合成画像を生成して出力することを特徴とする車両用衝突危険予測システム。
  10. 請求項8記載の車両用衝突危険予測システムであって、
    前記危険予測手段により物体毎に危険度が付与された場合には、前記危険度に応じて異なる警告のための音声を出力することを特徴とする車両用衝突危険予測システム。
  11. 請求項7乃至10のいずれかに記載の車両用衝突危険予測システムであって、
    さらに、ミリ波乃至サブミリ波帯の波長の電磁波を照射する第一の光源を有し、
    前記第一の撮像手段は、前記第一の光源により照射された電磁波が所定の物体により反射した電磁波を検出することにより前記第一の画像を得ることを特徴とする車両用衝突危険予測システム。
  12. 請求項11記載の車両用衝突危険予測システムであって、
    さらに、前記第一の光源の使用有無を切替可能な切替手段を有することを特徴とする車両用衝突危険予測システム。
  13. 請求項7乃至12記載の車両用衝突危険予測システムであって、
    さらに、前記第一の検出手段が前記所定の物体を検知した場合に、検知した結果に応じて車体を制御する車体制御手段を有することを特徴とする車両用衝突危険予測システム。
  14. 請求項13記載の車両用衝突危険予測システムであって、
    前記車体制御手段により車体が制御される際に、前記警告音出力手段により警告音が出力されることを特徴とする車両用衝突危険予測システム。
JP2011238191A 2011-10-31 2011-10-31 車両用衝突危険予測装置及び車両用衝突危険予測システム Pending JP2013097480A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011238191A JP2013097480A (ja) 2011-10-31 2011-10-31 車両用衝突危険予測装置及び車両用衝突危険予測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011238191A JP2013097480A (ja) 2011-10-31 2011-10-31 車両用衝突危険予測装置及び車両用衝突危険予測システム

Publications (1)

Publication Number Publication Date
JP2013097480A true JP2013097480A (ja) 2013-05-20

Family

ID=48619380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011238191A Pending JP2013097480A (ja) 2011-10-31 2011-10-31 車両用衝突危険予測装置及び車両用衝突危険予測システム

Country Status (1)

Country Link
JP (1) JP2013097480A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103354040A (zh) * 2013-07-30 2013-10-16 中科创达软件股份有限公司 一种安全报警方法及装置
JP2014229102A (ja) * 2013-05-23 2014-12-08 日産自動車株式会社 車両用表示装置
JP2017033542A (ja) * 2015-07-29 2017-02-09 株式会社デンソー 情報表示装置
JP2017536595A (ja) * 2014-09-26 2017-12-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド 歩行者情報システム
JP2018032240A (ja) * 2016-08-25 2018-03-01 株式会社Subaru 車両の表示装置
WO2019044627A1 (ja) * 2017-09-01 2019-03-07 株式会社デンソー 衝突回避支援装置
US10368035B2 (en) 2015-03-20 2019-07-30 Nec Corporation Monitoring system, monitoring method, and monitoring program
JP2019139468A (ja) * 2018-02-09 2019-08-22 株式会社ビコー 情報処理装置、情報処理方法およびプログラム
CN110664417A (zh) * 2019-09-18 2020-01-10 朔黄铁路发展有限责任公司 列车安全驾驶预警设备和系统
JP2021525423A (ja) * 2018-05-25 2021-09-24 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 運転支援方法、制御ユニット、運転支援システム、および操作装置
CN116231861A (zh) * 2023-03-07 2023-06-06 四川亚辰电气有限公司 一种ups电源监测管理系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11133141A (ja) * 1997-10-31 1999-05-21 Mitsubishi Electric Corp ミリ波画像形成装置
JP2005202878A (ja) * 2004-01-19 2005-07-28 Toyota Motor Corp 物体検出装置
JP2006322833A (ja) * 2005-05-19 2006-11-30 Denso Corp 電波受信システム,撮像システムおよび電波受信方法
JP2006349456A (ja) * 2005-06-15 2006-12-28 Denso Corp 車載レーダ装置、車両制御システム
JP2008191988A (ja) * 2007-02-06 2008-08-21 Denso Corp 車両周辺監視装置
JP2009036626A (ja) * 2007-08-01 2009-02-19 Nissan Motor Co Ltd 物体識別装置および物体識別方法、ならびに物体識別装置を備えた車両
JP2010122821A (ja) * 2008-11-18 2010-06-03 Fujitsu Ten Ltd 車両運転支援装置
JP2010181928A (ja) * 2009-02-03 2010-08-19 Hitachi Ltd 車両用衝突回避支援装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11133141A (ja) * 1997-10-31 1999-05-21 Mitsubishi Electric Corp ミリ波画像形成装置
JP2005202878A (ja) * 2004-01-19 2005-07-28 Toyota Motor Corp 物体検出装置
JP2006322833A (ja) * 2005-05-19 2006-11-30 Denso Corp 電波受信システム,撮像システムおよび電波受信方法
JP2006349456A (ja) * 2005-06-15 2006-12-28 Denso Corp 車載レーダ装置、車両制御システム
JP2008191988A (ja) * 2007-02-06 2008-08-21 Denso Corp 車両周辺監視装置
JP2009036626A (ja) * 2007-08-01 2009-02-19 Nissan Motor Co Ltd 物体識別装置および物体識別方法、ならびに物体識別装置を備えた車両
JP2010122821A (ja) * 2008-11-18 2010-06-03 Fujitsu Ten Ltd 車両運転支援装置
JP2010181928A (ja) * 2009-02-03 2010-08-19 Hitachi Ltd 車両用衝突回避支援装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014229102A (ja) * 2013-05-23 2014-12-08 日産自動車株式会社 車両用表示装置
CN103354040A (zh) * 2013-07-30 2013-10-16 中科创达软件股份有限公司 一种安全报警方法及装置
JP2017536595A (ja) * 2014-09-26 2017-12-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド 歩行者情報システム
US10368035B2 (en) 2015-03-20 2019-07-30 Nec Corporation Monitoring system, monitoring method, and monitoring program
US11877094B2 (en) 2015-03-20 2024-01-16 Nec Corporation Monitoring system, monitoring method, and monitoring program
US10750127B2 (en) 2015-03-20 2020-08-18 Nec Corporation Monitoring system, monitoring method, and monitoring program
US10516855B2 (en) 2015-03-20 2019-12-24 Nec Corporation Monitoring system, monitoring method, and monitoring program
US10419724B2 (en) 2015-03-20 2019-09-17 Nec Corporation Monitoring system, monitoring method, and monitoring program
JP2017033542A (ja) * 2015-07-29 2017-02-09 株式会社デンソー 情報表示装置
CN107776578A (zh) * 2016-08-25 2018-03-09 株式会社斯巴鲁 车辆的显示装置
CN107776578B (zh) * 2016-08-25 2019-06-04 株式会社斯巴鲁 车辆的显示装置
US10647254B2 (en) 2016-08-25 2020-05-12 Subaru Corporation Display device for vehicle
JP2018032240A (ja) * 2016-08-25 2018-03-01 株式会社Subaru 車両の表示装置
JP2019046136A (ja) * 2017-09-01 2019-03-22 株式会社デンソー 衝突回避支援装置
WO2019044627A1 (ja) * 2017-09-01 2019-03-07 株式会社デンソー 衝突回避支援装置
JP2019139468A (ja) * 2018-02-09 2019-08-22 株式会社ビコー 情報処理装置、情報処理方法およびプログラム
JP2021525423A (ja) * 2018-05-25 2021-09-24 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 運転支援方法、制御ユニット、運転支援システム、および操作装置
US11403854B2 (en) 2018-05-25 2022-08-02 Robert Bosch Gmbh Operating assistance method, control unit, operating assistance system and working device
JP7244546B2 (ja) 2018-05-25 2023-03-22 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 運転支援方法、制御ユニット、運転支援システム、および操作装置
CN110664417A (zh) * 2019-09-18 2020-01-10 朔黄铁路发展有限责任公司 列车安全驾驶预警设备和系统
CN116231861A (zh) * 2023-03-07 2023-06-06 四川亚辰电气有限公司 一种ups电源监测管理系统及方法
CN116231861B (zh) * 2023-03-07 2023-10-24 四川亚辰电气有限公司 一种ups电源监测管理系统及方法

Similar Documents

Publication Publication Date Title
JP5863481B2 (ja) 車両用衝突危険予測装置
JP2013097480A (ja) 車両用衝突危険予測装置及び車両用衝突危険予測システム
US11244564B2 (en) Vehicle acoustic-based emergency vehicle detection
US20210031737A1 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
US6943726B2 (en) Device for searching a parking space
KR101478135B1 (ko) 프로젝션 유닛을 이용한 증강현실 차선변경 보조 시스템
CA2681386C (en) Warning apparatus and method
RU2724935C1 (ru) Способ и система оповещения водителя грузового автомобиля
KR20200011813A (ko) 라이다 센서 기반의 보행자 안전관리 시스템
CN209248021U (zh) 用于车辆的雾检测的检测设备
KR20080004835A (ko) 주행 차량의 운전자 보조 정보 생성 장치 및 방법
JP6414540B2 (ja) 物体検出装置
JP2008131648A (ja) ビデオ画像を提示する方法およびシステム
CN109070794A (zh) 用于控制表示车辆前方出现干扰的象形图的自动显示的方法
JP5482670B2 (ja) 物体検出装置
JP2006338594A (ja) 歩行者認識装置
US11545032B2 (en) Roadside apparatus and vehicle-side apparatus for road-to-vehicle communication, and road-to-vehicle communication system
JP2013156793A (ja) 車両用衝突危険回避システム
US12065141B2 (en) Driving assistance device
WO2020191619A1 (zh) 恶劣天气下的驾驶控制方法、装置、车辆及驾驶控制系统
JP2004331021A (ja) 夜間障害物報知装置
KR101104833B1 (ko) 안전운전정보제공장치 및 안전운전정보제공방법
SE1550100A1 (sv) Method, control unit and system for warning
JP5195351B2 (ja) 車両周辺監視装置
JP2005009913A (ja) レーダ制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140311

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140317

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140319

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140908

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150317