JP2014081831A - 画像情報を用いた車両用運転支援システム - Google Patents

画像情報を用いた車両用運転支援システム Download PDF

Info

Publication number
JP2014081831A
JP2014081831A JP2012230108A JP2012230108A JP2014081831A JP 2014081831 A JP2014081831 A JP 2014081831A JP 2012230108 A JP2012230108 A JP 2012230108A JP 2012230108 A JP2012230108 A JP 2012230108A JP 2014081831 A JP2014081831 A JP 2014081831A
Authority
JP
Japan
Prior art keywords
image
vehicle
information
congestion
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012230108A
Other languages
English (en)
Inventor
Hideaki Nanba
秀彰 難波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012230108A priority Critical patent/JP2014081831A/ja
Priority to US14/054,888 priority patent/US20140104408A1/en
Priority to CN201310757009.2A priority patent/CN103813140A/zh
Publication of JP2014081831A publication Critical patent/JP2014081831A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車載装置として、それほど高性能なコンピュータを用いずとも、撮影した画像を適切に画像処理し、その処理結果に基づいて運転支援を実行可能とする。
【解決手段】、車載装置10にて画像処理を行うのではなく、外部の画像情報処理センタ20にて画像処理を行うようにした。従って、車載装置10では、主として、画像を含む情報の送信及び画像情報処理センタ20から受信した情報に基づく衝突危険性の警告を実行できれば良い。一方、画像情報処理センタ20では、高性能なコンピュータを設置することが容易であり、そのような高性能コンピュータを用いて画像処理を行うことにより、高速かつ高精度に対象物の検出を行うことができる。従って、車載装置10においては、それほど高性能なコンピュータを用いずとも、実用上十分に機能する運転支援を行うことが可能になる。
【選択図】図1

Description

本発明は、画像情報を用いた車両用運転支援システムに関する。
例えば、特許文献1、2に記載されるように、車載カメラで撮像した車両周辺の画像を画像処理し、歩行者などの対象物を検出して、ドライバに提示して注意を促すことにより安全運転を支援する装置が知られている。
特開2010−15248号公報 特開2011−253214号公報
上述した従来装置は、例えば歩行者を検出対象物とする場合、撮影した画像において、歩行者を示すパターン画像とのマッチングを行う。そして、特許文献1の装置では、パターンマッチングにより抽出された画像を候補画像とし、その候補画像の所定方向の画素ライン毎の画素値の和の分布の周波数分析を行う。この周波数分析により、所定周波数のパワースペクトル密度が所定値以上との結果が得られると、歩行者を示す画像として検出する。このようにして、パターンマッチングによる歩行者の誤検出を抑制するようにしている。また、特許文献2の装置では、パターンマッチングによる歩行者の検出精度を確保しつつ、画像処理のための演算量を低減すべく、撮影した画像から歩行者を探索する探索密度を道路状況に応じて変更するようにしている。このように、従来、対象物の検出精度を高めたり、演算量を低減したりするための技術について種々の提案がなされている。
しかしながら、上述した従来装置は、いずれも車載コンピュータにて画像処理を行うものである。車載コンピュータによる画像処理にて対象物を高精度に検出するためには、車載コンピュータとして、処理速度が速く、多くのメモリ容量を有する高性能なものを用いる必要がある。そのため、装置の価格が高くならざるを得ず、この種の装置の普及を妨げる原因となる。
本発明は、上述した点に鑑みてなされたものであり、車載装置として、それほど高性能なコンピュータを用いずとも、撮影した画像を適切に画像処理し、その処理結果に基づいて運転支援を実行することが可能な車両用運転支援システムを提供することを目的とする。
上記目的を達成するために、本発明による車両用運転支援システムは、
車両に搭載され、当該車両の周囲の画像を撮影する撮影手段(11)と、
前記撮影手段によって撮影された画像を含む情報を、外部の情報処理センタ(20)へ送信する車両側通信手段(14,15)と、
前記情報処理センタに設けられ、前記車両から送信された画像に対して所定の画像処理を実行する画像処理手段(22)と、
前記画像処理手段による処理結果に基づく情報を前記車両に送信するセンタ側通信手段(21)と、
前記車両に設けられ、前記画像処理手段による処理結果に基づく情報に基づいて、当該車両の運転を支援するための処理を実行する運転支援手段(16)と、を備えることを特徴とする。
このように、本発明による車両用運転システムでは、車両内に設けられたコンピュータにて画像処理を行うのではなく、外部の情報処理センタにて画像処理を行うようにした。従って、車両側では、主として、画像を含む情報の送信及び情報処理センタから受信した画像処理結果に基づく情報を用いて運転支援のための処理を実行できれば良い。
本発明は、近年の急激な通信網の発達により、その実現が可能になったものである。画像を含む情報はデータ量が大きくなるが、近年では、通信網を利用して、そのような大量のデータも高速に通信することが可能となった。そして、情報処理センタでは、高性能なコンピュータを設置することが容易であり、そのような高性能コンピュータを用いて画像処理を行うことにより、例えば、従来よりも対象物の検出精度を高めることも可能となる。従って、車両側においては、それほど高性能なコンピュータを用いずとも、実用上十分に機能する運転支援を行うことが可能になる。
上述のように構成される車両用運転支援システムが、さらに、
前記車両側通信手段と、前記センタ側通信手段との間の通信媒体における混雑状況を検出する混雑状況検出手段(14、S100)と、
前記混雑状況検出手段によって検出された混雑状況に応じて、前記車両側通信手段が送信する前記画像を含む情報の内容及び/又は送信頻度を変更する送信制御手段(14、S110〜S190)と、を備えることが好ましい。
車両側から情報処理センタへ画像を含む情報を送信する場合、車両側通信手段とセンタ側通信手段との間の通信媒体における混雑状況により、情報の通信速度が変化する可能性がある。例えば、同じデータ量の情報を送信しようとした場合であっても、混雑状況が悪化するほど、その情報の送信完了までにより長い時間がかかる場合がある。一方、車両周囲の状況を撮影した画像情報に基づいて運転支援を行う場合、画像処理を含む運転支援のための一連の処理は、遅滞なく行われる必要がある。
そのため、上述したように、通信媒体の混雑状況を検出し、検出された混雑状況に応じて、車両側通信手段が送信する画像を含む情報の内容及び/又は送信頻度を変更すると良い。これにより、通信媒体の混雑状況に応じて、送信する情報のデータ量を変化させることができ、情報の送信のために、運転支援のための一連の処理が遅れてしまうような事態が発生することを抑制することができる。
なお、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、なんら本発明の範囲を制限することを意図したものではない。
また、上述した特徴以外の本発明の特徴に関しては、後述する実施形態の説明及び添付図面から明らかになる。
実施形態による車両用運転支援システムの全体構成を示す構成図である。 車載装置から画像を含む情報を送信する際に、送信画像の種類及び送信間隔を決定するための処理を示すフローチャートである。 車載装置において実行される画像のデータ量を低減するための処理について説明するための説明図である。 図2のフローチャートの処理により設定された送信画像の種類及び送信間隔に従って、車載装置が、画像情報処理センタに実際に画像を含む情報を送信するための処理を示すフローチャートである。 車載装置が、画像情報処理センタから画像処理結果に基づく対象物との衝突危険性の大きさを示す情報を受信し、その受信した情報に基づき、衝突危険性が大きい場合に、運転者に警告を与える処理を示すフローチャートである。 画像情報処理センタが、車載装置から情報を受信し、所定の画像処理を行った上で、対象物との衝突危険性の大きさを判定し、その判定結果を車載装置に送信する処理を示すフローチャートである。 図6のフローチャートの衝突危険性判定処理の詳細を示すフローチャートである。 衝突可能性を判定する対象物までの距離の算出方法を説明するための説明図である。
以下、本発明の実施形態による車両用運転支援システムについて、図面に基づいて詳細に説明する。なお、以下に説明する実施形態では、自車両の前方に存在する他車両(二輪含む)や、歩行者などを対象として、その対象物との衝突の危険性を判定し、その判定結果を自車両の運転者に提示する用途に、車両用運転支援システムを適用した例について説明する。
ただし、本発明による車両用運転支援システムは、後述するように、車載装置10から画像を含む情報を画像情報処理センタ20に送信し、画像情報処理センタ20において、所定の画像処理を行い、車載装置10は、その画像処理結果に基づいて、運転支援を行う点に特徴を有する。従って、本発明による車両用運転支援システムは、画像処理結果に基づき運転支援を行う限り、適用することが可能なものである。例えば、本発明による車両用運転支援システムを、車両の周辺画像を撮影し、その周辺画像を画像情報処理センタ20にて鳥瞰図画像に変換して運転者に提示したり、あるいは撮影した周辺画像に基づいて、画像情報処理センタ20にて駐車枠を認識し、その駐車枠に自車両を自動的に誘導したりする用途に適用しても良い。
図1に示すように、本実施形態における車両用運転支援システムは、各車両に搭載される車載装置10と、各車載装置10からの画像を含む情報を受信し、所定の画像処理を含む一連の処理を実行する画像情報処理センタ20とからなる。
車載装置10は、撮影手段としての撮像装置(例えば、CCDカメラ)11を備えている。この撮影装置11は、例えば、車両の前方寄りの車室内の天井付近に設置される。この車両への設置に際しては、撮影装置11の撮影画像の一部に車両の先端部分が映り込むように、撮影装置11の設置角度等が調整される。これは、自車両の先端部分の幅を基準として、先行車両等の対象物までの距離を算出できるようにするためである。そして、撮影装置11は、車両が走行している間、定期的に画像を撮影して、その撮影した画像を制御装置14に出力する。
制御装置14は、撮像装置11からの画像の他に、GPS受信機12によって測位された位置情報、車両I/F13を介して入力される、ステアリングホイールの操舵角を示す操舵角情報や、ブレーキペダルの踏み込み情報なども入力される。なお、これら位置情報や操舵角情報は、特定情報として、画像情報処理センタ20において、対象物との衝突危険性を判定するために利用される。その際、位置情報は自車両の速度を算出するために用いられ、操舵角情報は、自車両の進行方向を予想するために用いられる。従って、位置情報は速度情報であっても良いし、操舵角情報は、ヨーレートや横加速度など旋回の大きさを示す情報であっても良い。また、ブレーキペダル踏み込み情報は、運転者が障害物との衝突を回避するための操作を開始したか否かを判定するためのものである。ブレーキペダルの踏み込みが開始された場合、衝突危険性は小さいと判定することができる。
制御装置14は、図示しないCPU、ROM、RAM等からなるマイクロコンピュータの他、撮像装置11から出力された画像をデジタル画像に変換するためのA/D変換器や、変換されたデジタル画像を保存する画像メモリ等を備えている。そして、制御装置14は、車載無線機15を介して、所定の間隔で、デジタル画像及び特定情報を画像情報処理センタ20に送信する。
車載無線機15は、通信網として、例えば携帯電話網を介して、画像情報処理センタ20と通信を行う。この通信網が混雑している場合には、画像を含む情報の送信に遅延が発生する虞が生じる。そのため、制御装置14は、通信網の混雑状況に応じて、送信する画像のデータ量を小さくすべく、デジタル画像に対して雑音除去処理や、データ圧縮処理を施す。雑音が除去された画像は、原画像に対してデータ量が小さくなり、データ圧縮処理が施された画像は、さらにデータ量が小さくなる。なお、データ圧縮処理としては種々の処理方法が考えられるが、例えば前回送信した画像との差分を算出する差分処理や、離散コサイン変換(DCT)などを行うことができる。通信網の混雑状況が悪化しているときには、このようにデータ量が縮小された加工画像を送信することで、情報の送信に遅延が発生することを抑制することができる。
表示装置16は、画像情報処理センタ20から送信される、対象物との衝突危険性の大きさを示す情報に基づき、衝突危険性が大きい場合に、例えば対象物を目立つように表示したり、画面上でメッセージを表示したりすることにより、運転者に警告を与えるものである。なお、このとき、同時に音声などによって警告を与えるようにしても良い。さらに、警告のみではなく、自動的に制動を行うことにより、衝突の回避を図るようにしても良い。
画像情報処理センタ20は、車載装置10の車載無線機15と通信を行う通信装置21と、コンピュータ22とを有する。コンピュータ22は、車載装置10から送信された画像において、衝突の危険性を判定する対象物を抽出するための画像処理を実行する。さらに、コンピュータ22は、位置情報や操舵角情報の特定情報に基づき、抽出した対象物との衝突危険性の大きさを判定する。その判定結果は、通信装置21を介して、車載装置10へ送信される。
次に、車載装置10の制御装置14において実行される処理について、図2、図4、及び図5のフローチャートを用いて説明する。
まず、図2のフローチャートは、車載装置10から画像を含む情報を送信する際に、送信画像の種類及び送信間隔を決定するための処理を示すものである。この処理について、以下、詳細に説明する。
まず、ステップS100では、通信網の混雑度合αを算出する。この混雑度合αの算出方法は、いくつか考えられるため、以下、順番に説明する。
第1の方法は、画像を含む情報の送信前に、その送信に使用する周波数バンド(キャリア)の、所定期間(例えば100ms)内の空きの割合を調べ、それによって混雑度合αを算出するというものである。例えば、100ms内に、キャリアが通信によって占有されている期間が80msあれば、混雑度合αは80%と算出できる。
第2の方法は、自身の既送信パケットの到達率を元に混雑度合αを算出するというものである。車載装置10から画像を含む情報を送信する際、その情報は、パケットと呼ばれる複数の情報伝送単位に分割され、画像情報処理センタ20に送信される。その複数のパケットの中で、実際に画像情報処理センタ20に到達したパケットの数は、通信網の混雑状況と相関関係を有する。
例えば、一定期間(例えば100ms)内に自身が送信したパケット数をm個とする。そして、画像情報処理センタ20から受信確認信号(ACK信号)をn個受けた場合、混雑度合αは、α(%)=100×(1−n/m)により算出することができる。
第3の方法は、画像情報処理センタ20から通信網の混雑度合αに関する情報を得るというものである。画像情報処理センタ20は、通信網の先端部に相当する基地局がどの程度の混雑状況であるかを、通信チャネルの割り当てリストを参照することにより把握することができる。この通信チャネルの割り当てリストにおいて、全通信チャネルに対する空きチャネルの比率を、混雑度合αとして算出し、その混雑度合αを車載装置10に伝える。
このように混雑度合αの算出方法はいくつか考えられ、上述したいずれかの方法により、もしくは複数の方法を組み合わせることで、混雑度合αを算出すれば良い。
続くステップS110では、混雑度合αが10%未満であるか否かを判定する。混雑度合αが10%未満であれば、通信網の混雑状況は非常に軽微であり、画像を含む情報の送信に遅延は生じないと考えられる。そのため、ステップS120に進み、送信する画像は原画像、送信間隔はX(例えば、1秒間に33枚の画像を送信する間隔)に設定する。
ステップS110において、混雑度合αが10%以上と判定された場合には、ステップS130に進み、混雑度合αが20%未満であるか否かを判定する。混雑度合αが20%未満であると判定されると、ステップS140に進んで、送信画像は、図3に示すように雑音除去処理を施した加工画像A、送信間隔はXに設定する。混雑状況が多少悪化したことを考慮し、送信する画像のデータ量を小さくするためである。
ステップS130にて混雑度合αが20%以上と判定された場合には、ステップS150に進み、混雑度合αが30%未満であるか否かを判定する。混雑度合αが30%未満であると判定されると、ステップS160に進んで、送信画像は、図3に示すように雑音除去処理及びデータ圧縮処理を施した加工画像B、送信間隔はXに設定する。これにより、送信する画像のデータ量をさらに低減することが可能になる。なお、このとき送信する加工画像としては、原画像に対してデータ圧縮処理のみを施した加工画像としても良い。
ステップS150にて混雑度合αが30%以上と判定された場合には、ステップS170に進み、混雑度合αが50%未満であるか否かを判定する。混雑度合αが50%未満であると判定されると、ステップS180に進んで、送信間隔をX(例えば、1秒間に10枚の画像を送信する間隔)に設定する。この場合、送信間隔を長くすることにより、送信するデータ量を大幅に低減することができる。そのため、送信画像は原画像でも良いが、加工画像Aや加工画像Bを送信画像として設定しても良い。一方、混雑度合αが50%以上と判定された場合には、通信網の混雑状況が非常に悪化している状態であるため、送信間隔をさらに伸長すべく、ステップS190に進み、送信間隔をX(例えば、1秒間に5枚の画像を送信する間隔)に設定する。この場合も、ステップS180の場合と同様に、送信画像は原画像でも良いが、加工画像Aや加工画像Bを送信画像として設定しても良い。
このように、図2のフローチャートに示す処理を実行することにより、通信網の混雑状況に応じて、適切な送信画像の種類及び送信間隔を設定することができる。なお、ステップS110、S130、S150、S170に示した混雑状況を判定するための基準は一例に過ぎず、他の数値を基準として用いても良い。さらに、混雑状況として、より細かく区分けしても良いし、より粗い区分けでも良い。
次に、図4のフローチャートは、図2のフローチャートの処理により設定された送信画像の種類及び送信間隔に従って、車載装置10が、画像情報処理センタ20に実際に画像を含む情報を送信するための処理を示すものである。
まず、ステップS200において、撮像装置11、GPS受信機12、車両I/F13などから、画像及び特定情報を入力する。この画像及び特定情報の入力は、最も短い送信間隔に対応する間隔で実行される。そして、ステップS210において、画像の加工が必要か否かを判定する。この判定は、図2のフローチャートの処理により設定された送信画像の種類に基づいて行われる。つまり、送信画像が原画像に設定された場合には、画像の加工は不要と判定され、送信画像が加工画像A又は加工画像Bに設定された場合には、画像の加工が必要と判定される。画像の加工が必要と判定された場合には、ステップS220に進み、設定された種類の送信画像を得るための処理(雑音除去処理及び/又はデータ圧縮処理)を実行する。
ステップS230では、図2のフローチャートの処理により設定された送信間隔に基づいて、送信タイミングが到来したか否かを判定する。送信タイミングが到来したと判定した場合には、ステップS240にて、画像及び特定情報を送信する。一方、送信タイミングが到来していないと判定した場合には、一旦、処理を終了する。
次に、図5のフローチャートは、画像情報処理センタ20から画像処理結果に基づく対象物との衝突危険性の大きさを示す情報を受信し、その受信した情報に基づき、衝突危険性が大きい場合に、運転者に警告を与える処理を示すものである。
ステップS300では、画像情報処理センタ20から、画像処理結果に基づく対象物との衝突危険性の大きさを示す情報を受信する。この情報には、車載装置10から送信した画像において対象物を特定するための情報も含まれている。また、衝突危険性の大きい複数の対象物が存在している場合には、画像情報処理センタ20からの情報には、それぞれの対象物に関する情報が含まれる。
ステップS310では、受信した情報に基づいて、対象物との衝突危険性が大きいか否かを判定する。そして、衝突危険性が大きいと判定した場合には、ステップS320に進み、表示装置16を用いて、運転者への警告を行う。
次に、画像情報処理センタ20において実行される処理について、図6及び図7のフローチャートを参照しつつ説明する。
図6のフローチャートは、車載装置10から情報を受信し、所定の画像処理を行った上で、対象物との衝突危険性の大きさを判定し、その判定結果を車載装置10に送信する処理を示したものである。
まず、ステップS400では、車載装置10から画像を含む情報の送信要求を受信する。車載装置10は、このように、画像情報処理センタ20に画像を含む情報を送信しようとするときには、事前に送信要求を出す。続くステップS410では、画像情報処理センタ20は、通信チャネル空きリストに基づいて混雑度合αを算出して、車載装置10へ送信する。これにより、車載装置10は、通信網の混雑状況を示す情報である混雑度合αを取得することができる。なお、車載装置10が、混雑度合αを上述した第1又は第2の方法で算出する場合には、ステップS410の処理を行う必要はない。
ステップS420では、車載装置10から画像及び特定情報からなる情報を受信する。そして、ステップS430において、受信した画像において、衝突危険性を判定すべき対象物を抽出するための画像処理を行う。この画像処理としては、例えば公知のパターンマッチングにより、画像全体から、他車両や歩行者を示す画像部分を抽出するようにしても良いし、SIFT(Scale-Invariant Feature Transform)に代表される画像特徴量の抽出及び記述のための手法を用いて、画像中の対象物の認識を行なっても良い。
ただし、画像から衝突危険性を判定すべき対象物を抽出する際に、特定情報としての操舵角情報を用いて、予め対象物となる物体が存在する範囲を絞り込んだ上で、その絞り込んだ範囲の画像に対して画像処理を行うことが好ましい。あるいは、画像処理により抽出した対象物の中で、操舵角情報から自車両の進行方向に存在しないとみなしうる対象物を、その後の処理対象から除外するようにしても良い。このようにすることにより、画像情報処理センタ20において、処理負荷の軽減及び処理速度の向上を図ることができる。
ここで、画像における、上述したような対象物の抽出や認識のための計算量は、一般的に非常に膨大となる。しかし、画像情報処理センタ20には、車載装置に比較し、非常に高性能なコンピュータを設置することが容易であり、そのため、上述した画像処理を非常に高速に行うことが可能である。また、画像処理の手法として、新規かつ有効な手法が提案された場合にも、その手法を組み入れることが容易に行いえる。
ステップS440では、抽出された対象物について衝突危険性の判定を行う。この際、ステップS430において複数の対象物が抽出された場合には、それぞれの対象物に関して衝突危険性の大きさが判定される。なお、このステップS440の衝突危険性判定処理については、後に、図7のフローチャートを用いて詳細に説明する。
最後に、ステップS450では、ステップS440における判定結果を、車載装置10に送信する。
次に、図7のフローチャートを参照して、衝突危険性判定処理に関して説明する。まず、ステップS500において、対象物までの距離dtを算出する。この距離算出方法の一例を以下に説明する。
図8に示すように、対象物が自車両前方を走行する他車両である場合、その車幅L2は既知である(例えば、軽自動車であれば、約1.5m、普通車であれば、約1.8mなど)。そして、自車両の車幅L1も、事前に画像情報処理センタ20に登録しておいたり、特定情報にその車幅L1を含めて送信したりすることで、既知となる。
そして、図8に示す関係から、以下の数式1が成り立つ。
(数1)d2/d1=L2/L1
従って、求めるべき自車両と対象物との距離dtは、以下の数式2により表すことができる。
(数2)dt=d1−d2
=(1−L2/L1)d1
ここで、d1は、撮像装置11から遠方焦点までの距離d0から、撮像装置11から自車両先端までの距離を差し引いたものである。遠方焦点までの距離d0は、実験的に定めることができ、撮像装置11から自車両先端までの距離も事前に把握できる。そのため、自車両先端から遠方焦点までの距離d1も既知となり、対象物との距離dtを算出することができる。なお、自車両が、レーダ装置を装備している場合には、検出された前方障害物までの距離を画像情報処理センタ20に送信し、その距離を対象物までの距離として用いても良い。
続くステップS510では、特定情報として車載装置10から送信されたGPSによる位置情報の履歴に基づき、自車両の速度vを算出する。そして、ステップS520において、対象物までの距離dtが、距離閾値Dthよりも短く、かつ、対象物までの距離dtを自車両の速度vで除算した値が時間閾値Tthよりも短いか否かを判定する。このとき、「YES」との判定がなされると、ステップS540に進んで衝突危険性が大きいと判定する。一方、「NO」と判定された場合には、ステップS530に進んで、衝突危険性は小さいと判定する。
ただし、特定情報としてのブレーキペダルの踏み込み情報により、自車両の運転者がブレーキペダルの踏み込みを開始している状況が認識された場合には、上記判定結果が「YES」であっても、衝突危険性は小さいと判定しても良い。
なお、衝突危険性の大きさを判定する際に、画像における対象物の位置の変化から対象物の速度を算出し、対象物までの距離dtを自車両と対象物との相対速度にて除算した値(衝突余裕時間)を算出して、時間閾値Tthと比較しても良い。
そして、ステップS550では、ステップS530又はステップS540の判定結果を車載装置10へ送信する。
以上、説明したように、本実施形態による車両用運転システムでは、車載装置10にて画像処理を行うのではなく、外部の画像情報処理センタ20にて画像処理を行うようにした。従って、車載装置10では、主として、画像を含む情報の送信及び画像情報処理センタ20から受信した情報に基づく衝突危険性の警告を実行できれば良い。一方、画像情報処理センタ20では、高性能なコンピュータを設置することが容易であり、そのような高性能コンピュータを用いて画像処理を行うことにより、高速かつ高精度に対象物の検出を行うことができる。従って、車載装置10においては、それほど高性能なコンピュータを用いずとも、実用上十分に機能する運転支援を行うことが可能になる。
なお、上述した実施形態は、本発明の好ましい実施形態ではあるが、本発明は、上記実施形態に制限されるものではなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することが可能である。
例えば、上述した実施形態では、対象物との衝突危険性を判定する距離閾値Dth及び時間閾値Tthとして、それぞれ一定の閾値を用いた。しかしながら、通信網の混雑状況に依存して、車載装置10と画像情報処理センタ20間の通信に要する時間が変動する可能性があるため、混雑状況に応じて距離閾値Dth及び時間閾値Tthを変化させても良い。具体的には、通信網の混雑状況が悪化するほど、距離閾値Dth及び時間閾値Tthを大きくする。これにより、多少、通信時間が長くなっても、自車両の運転者に対して警告を発するタイミングが遅れることを抑制することができる。
10 車載装置
11 撮像装置
12 GPS受信機
13 車両I/F
14 制御装置
15 車載無線機
16 表示装置
20 画像情報処理センタ
21 通信装置
22 コンピュータ

Claims (6)

  1. 車両に搭載され、当該車両の周囲の画像を撮影する撮影手段(11)と、
    前記撮影手段によって撮影された画像を含む情報を、外部の情報処理センタ(20)へ送信する車両側通信手段(14、15)と、
    前記情報処理センタに設けられ、前記車両から送信された画像に対して所定の画像処理を実行する画像処理手段(22)と、
    前記画像処理手段による処理結果に基づく情報を前記車両に送信するセンタ側通信手段(21)と、
    前記車両に設けられ、前記画像処理手段による処理結果に基づく情報に基づいて、当該車両の運転を支援するための処理を実行する運転支援手段(16)と、を備えることを特徴とする車両用運転支援システム。
  2. 前記車両側通信手段と、前記センタ側通信手段との間の通信媒体における混雑状況を検出する混雑状況検出手段(14、S100)と、
    前記混雑状況検出手段によって検出された混雑状況に応じて、前記車両側通信手段が送信する前記画像を含む情報の内容及び/又は送信頻度を変更する送信制御手段(14、S110〜S190)と、を備えることを特徴とする請求項1に記載の車両用運転支援システム。
  3. 前記送信制御手段は、前記混雑状況が軽微であるほど、前記送信する情報に含まれる画像を原画像に近い画像とし、前記混雑状況が悪化するほど、前記送信する情報に含まれる画像をデータ量が減少するように加工した画像とすることで、前記画像を含む情報の内容を変更することを特徴とする請求項2に記載の車両用運転支援システム。
  4. 前記送信制御手段は、前記混雑状況が悪化した場合には、前記混雑状況が軽微である場合に比較して、前記画像を含む情報の送信頻度を低くすることを特徴とする請求項2に記載の車両用運転支援システム。
  5. 前記車両側通信手段が前記情報処理センタに送信する情報には、前記車両の走行状態に関する情報も含まれ、
    前記画像処理手段は、前記画像及び前記車両の走行状態に基づき、前記車両の走行の障害となる障害物を特定するとともに、その障害物と衝突する可能性の高低を判定し、
    前記運転支援手段は、前記障害物との衝突可能性が大きいと判定された場合に、当該障害物との衝突を回避するための運転支援を実行することを特徴とする請求項1乃至4のいずれかに記載の車両用運転支援システム。
  6. 前記車両側通信手段と、前記センタ側通信手段との間の通信媒体における混雑状況を検出する混雑状況検出手段(22、S410)を備え、
    前記画像処理手段は、前記混雑状況が軽微である場合と、それよりも前記混雑状況が悪化した場合とで、前記障害物との衝突可能性の高低を判定する基準を変更することを特徴とする請求項5に記載の車両用運転支援システム。
JP2012230108A 2012-10-17 2012-10-17 画像情報を用いた車両用運転支援システム Pending JP2014081831A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012230108A JP2014081831A (ja) 2012-10-17 2012-10-17 画像情報を用いた車両用運転支援システム
US14/054,888 US20140104408A1 (en) 2012-10-17 2013-10-16 Vehicle driving assistance system using image information
CN201310757009.2A CN103813140A (zh) 2012-10-17 2013-10-17 使用图像信息的车辆驾驶辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012230108A JP2014081831A (ja) 2012-10-17 2012-10-17 画像情報を用いた車両用運転支援システム

Publications (1)

Publication Number Publication Date
JP2014081831A true JP2014081831A (ja) 2014-05-08

Family

ID=50474995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012230108A Pending JP2014081831A (ja) 2012-10-17 2012-10-17 画像情報を用いた車両用運転支援システム

Country Status (3)

Country Link
US (1) US20140104408A1 (ja)
JP (1) JP2014081831A (ja)
CN (1) CN103813140A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019500694A (ja) * 2015-12-18 2019-01-10 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 車両の少なくとも1つのセンサによって検出された危険状況を評価する方法、危険警告の再生を制御する方法、および危険警告を再生する方法
US10255803B2 (en) 2015-11-11 2019-04-09 Toyota Jidosha Kabushiki Kaisha Vehicle image data transmission device
JP2020087214A (ja) * 2018-11-29 2020-06-04 トヨタ自動車株式会社 情報提供システム、サーバ、車載装置、プログラム及び情報提供方法
JP2020119183A (ja) * 2019-01-23 2020-08-06 三菱電機株式会社 車両制御装置および車両制御方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014113957A1 (de) * 2014-09-26 2016-03-31 Connaught Electronics Ltd. Verfahren zum Konvertieren eines Bilds, Fahrerassistenzsystem und Kraftfahrzeug
DE102015112289A1 (de) * 2015-07-28 2017-02-02 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
CN108140320B (zh) * 2015-10-30 2021-11-05 三菱电机株式会社 通知控制装置及通知控制方法
JP6643166B2 (ja) * 2016-03-31 2020-02-12 株式会社デンソー 物体認識装置及び物体認識方法
JP6565806B2 (ja) * 2016-06-28 2019-08-28 株式会社デンソー カメラシステム
DE102016213992A1 (de) * 2016-07-29 2018-02-01 Robert Bosch Gmbh Verfahren zum Durchführen einer Funktion in einem Fahrzeug
WO2018085804A1 (en) * 2016-11-07 2018-05-11 Nauto Global Limited System and method for driver distraction determination
CN106548644A (zh) * 2016-11-30 2017-03-29 深圳明创自控技术有限公司 一种自动驾驶系统
JP6597588B2 (ja) * 2016-12-20 2019-10-30 トヨタ自動車株式会社 画像表示装置
WO2018216058A1 (ja) * 2017-05-22 2018-11-29 三菱電機株式会社 位置推定装置、位置推定方法及び位置推定プログラム
US20190208136A1 (en) * 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing
JP7155750B2 (ja) * 2018-08-23 2022-10-19 トヨタ自動車株式会社 情報システムおよびプログラム
CN109472251B (zh) 2018-12-16 2022-04-05 华为技术有限公司 一种物体碰撞预测方法及装置
JP7099338B2 (ja) * 2019-01-18 2022-07-12 トヨタ自動車株式会社 サーバ、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム
JP7200875B2 (ja) * 2019-07-31 2023-01-10 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム
CN110412983B (zh) * 2019-08-01 2022-11-01 北京百度网讯科技有限公司 一种车辆避碰的检测方法及装置、车辆
JP2022053086A (ja) * 2020-09-24 2022-04-05 トヨタ自動車株式会社 自己位置推定システム及び自己位置推定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001018717A (ja) * 1999-07-06 2001-01-23 Matsushita Electric Ind Co Ltd 運転車両周辺監視装置
JP2006166014A (ja) * 2004-12-07 2006-06-22 Mitsubishi Electric Corp 画像伝送装置及び画像記録装置
JP2010173349A (ja) * 2009-01-27 2010-08-12 Toyota Motor Corp 車両用走行制御装置
JP2011134087A (ja) * 2009-12-24 2011-07-07 Equos Research Co Ltd 運転アシストシステム
JP2012014689A (ja) * 2010-07-02 2012-01-19 Harman Becker Automotive Systems Gmbh 運転者支援情報を提供するコンピュータベースシステムおよび方法
JP2012126193A (ja) * 2010-12-14 2012-07-05 Denso Corp 駐車場の自動駐車システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3769468B2 (ja) * 2001-03-21 2006-04-26 株式会社エヌ・ティ・ティ・ドコモ 通信品質制御方法、通信品質制御システム、パケット解析装置及びデータ送信端末装置
US9113846B2 (en) * 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
JP4731120B2 (ja) * 2003-03-17 2011-07-20 アルパイン株式会社 端末装置およびメニュー画面表示方法
JP5345350B2 (ja) * 2008-07-30 2013-11-20 富士重工業株式会社 車両の運転支援装置
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
DE102009016580A1 (de) * 2009-04-06 2010-10-07 Hella Kgaa Hueck & Co. Datenverarbeitungssystem und Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion
US9391853B2 (en) * 2009-12-23 2016-07-12 Apple Inc. Efficient service advertisement and discovery in a peer-to-peer networking environment with dynamic advertisement and discovery periods based on operating conditions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001018717A (ja) * 1999-07-06 2001-01-23 Matsushita Electric Ind Co Ltd 運転車両周辺監視装置
JP2006166014A (ja) * 2004-12-07 2006-06-22 Mitsubishi Electric Corp 画像伝送装置及び画像記録装置
JP2010173349A (ja) * 2009-01-27 2010-08-12 Toyota Motor Corp 車両用走行制御装置
JP2011134087A (ja) * 2009-12-24 2011-07-07 Equos Research Co Ltd 運転アシストシステム
JP2012014689A (ja) * 2010-07-02 2012-01-19 Harman Becker Automotive Systems Gmbh 運転者支援情報を提供するコンピュータベースシステムおよび方法
JP2012126193A (ja) * 2010-12-14 2012-07-05 Denso Corp 駐車場の自動駐車システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255803B2 (en) 2015-11-11 2019-04-09 Toyota Jidosha Kabushiki Kaisha Vehicle image data transmission device
JP2019500694A (ja) * 2015-12-18 2019-01-10 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 車両の少なくとも1つのセンサによって検出された危険状況を評価する方法、危険警告の再生を制御する方法、および危険警告を再生する方法
JP2020087214A (ja) * 2018-11-29 2020-06-04 トヨタ自動車株式会社 情報提供システム、サーバ、車載装置、プログラム及び情報提供方法
JP7251120B2 (ja) 2018-11-29 2023-04-04 トヨタ自動車株式会社 情報提供システム、サーバ、車載装置、プログラム及び情報提供方法
JP2020119183A (ja) * 2019-01-23 2020-08-06 三菱電機株式会社 車両制御装置および車両制御方法

Also Published As

Publication number Publication date
US20140104408A1 (en) 2014-04-17
CN103813140A (zh) 2014-05-21

Similar Documents

Publication Publication Date Title
JP2014081831A (ja) 画像情報を用いた車両用運転支援システム
US10704920B2 (en) Traffic lane guidance system for vehicle and traffic lane guidance method for vehicle
CN105788369B (zh) 用于无人驾驶车辆的超车控制方法和装置
JP5919328B2 (ja) 車両用衝突警告装置および車両用衝突警告方法
JP2016051467A (ja) 適合化予測のために広域的シーンコンテクストを使用する方法およびシステム並びに対応するプログラム、該システムを備えた乗り物
JP6260912B2 (ja) 渋滞箇所情報提供のための装置、方法、及びプログラム
JP4812343B2 (ja) 運転傾向推定装置及び運転支援装置
US20210070317A1 (en) Travel plan generation device, travel plan generation method, and non-transitory tangible computer readable storage medium
EP3037313A1 (en) Risk information processing method and server device
JP2015230579A (ja) 事故画像取得システム
JP7128723B2 (ja) 画像管理装置、路面情報管理システム、車両、プログラム、及び、画像管理方法
JP5245876B2 (ja) エコ運転支援装置、エコ運転支援方法
JP2019191893A (ja) 車両制御装置及びプログラム
JP5874553B2 (ja) 運転特性診断システム、運転特性診断装置
WO2018109865A1 (ja) 路側機および路車間通信システム
JP2014078056A (ja) 車両用領域識別装置、そのプログラム及びその方法
JP4725565B2 (ja) 情報提供装置、情報提供システム及び情報提供方法
JP2020087309A (ja) サーバ装置、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム
JP2014203400A (ja) 車外画像保存装置、及び撮像機能付き携帯端末
JP2014157489A (ja) 隊列走行制御装置
JP2018018129A (ja) 情報提供方法および情報提供装置
JP5621391B2 (ja) 車間距離検知装置及び車間距離検知方法
US11252380B2 (en) Road management system
JP2022054296A (ja) 運転評価装置、運転評価システム、及び運転評価プログラム
JP6473337B2 (ja) 車載装置、車載装置用プログラム及び速度警告システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150303