JP2011221734A - 車両周辺監視装置及び車両周辺監視方法 - Google Patents

車両周辺監視装置及び車両周辺監視方法 Download PDF

Info

Publication number
JP2011221734A
JP2011221734A JP2010089344A JP2010089344A JP2011221734A JP 2011221734 A JP2011221734 A JP 2011221734A JP 2010089344 A JP2010089344 A JP 2010089344A JP 2010089344 A JP2010089344 A JP 2010089344A JP 2011221734 A JP2011221734 A JP 2011221734A
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
value
region
periphery monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010089344A
Other languages
English (en)
Other versions
JP5574789B2 (ja
Inventor
Kenji Furukawa
賢司 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010089344A priority Critical patent/JP5574789B2/ja
Priority to EP11765172.9A priority patent/EP2557550A4/en
Priority to PCT/JP2011/000416 priority patent/WO2011125270A1/ja
Priority to CN201180018129.XA priority patent/CN102834853B/zh
Publication of JP2011221734A publication Critical patent/JP2011221734A/ja
Priority to US13/599,666 priority patent/US20130057688A1/en
Application granted granted Critical
Publication of JP5574789B2 publication Critical patent/JP5574789B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】障害物を短時間で検出する車両周辺監視装置及び車両周辺監視方法を提供する。
【解決手段】実施形態によれば、車両よりも後側を含む第1、第2領域211、221の複数の第1、第2フレーム画像データを取得する第1、第2データ取得部110、120と、障害物推定処理部130と、を備えた車両周辺監視装置が提供される。障害物推定処理部は、第1フレーム画像データに基づいて第1領域に存在する第1障害物を推定し、第2フレーム画像データに基づいて第2領域に存在する第2障害物を推定する。第2障害物の推定に関する条件は、第1障害物の推定結果に基づいて変更される。
【選択図】図1

Description

本発明の実施形態は、車両周辺監視装置及び車両周辺監視方法に関する。
車載カメラで取得した映像から、自車両に接近する他の車両を検出し、運転者に対して警告を与える車両周辺監視装置が開発されている。
例えば、評価値を累積する手段を用い、一台のTVカメラを用いて障害物を検出する障害物検出装置が開示されている。これにより、自車両に接近する他の車両などの障害物が検出される。
自車両に高速で接近する他の車両などの障害物を、より短時間で検出するために、改良の余地がある。
特開2004−246436号公報
本発明の実施形態は、障害物を短時間で検出する車両周辺監視装置及び車両周辺監視方法を提供する。
本発明の実施形態によれば、車両に搭載され、前記車両の周辺の障害物を検出する車両周辺監視装置が提供される。前記車両周辺監視装置は、第1データ取得部と、第2データ取得部と、障害物推定処理部と、を備える。前記第1データ取得部は、前記車両よりも後側を含む第1領域を撮像する第1撮像部で撮像された時系列の複数の第1フレーム画像データを取得する。前記第2データ取得部は、前記車両よりも後側を含み前記第1領域とは異なる第2領域を撮像する第2撮像部で撮像された時系列の複数の第2フレーム画像データを取得する。前記障害物推定処理部は、前記第1データ取得部で取得された前記複数の第1フレーム画像データに基づいて、前記第1領域に存在する第1障害物を推定する第1障害物推定処理と、前記第2データ取得部で取得された前記複数の第2フレーム画像データに基づいて、前記第2領域に存在する第2障害物を推定する第2障害物推定処理と、前記第1障害物推定処理の結果及び前記第2障害物推定処理の結果の少なくともいずれかに基づいて信号を出力する信号出力処理と、を実施する。前記第2障害物推定処理に関する条件は、前記第1障害物推定処理の前記結果に基づいて変更される。
本発明の別の実施形態によれば、車両よりも後側を含む第1領域を撮像する第1撮像部で撮像された時系列の複数の第1フレーム画像データを取得し、前記車両よりも後側を含み前記第1領域とは異なる第2領域を撮像する第2撮像部で撮像された時系列の複数の第2フレーム画像データを取得し、前記複数の第1フレーム画像データに基づいて、前記第1領域に存在する第1障害物を推定し、前記第1障害物の推定に基づいて変更した条件を用いて、前記複数の第2フレーム画像データに基づいて、前記第2領域に存在する第2障害物を推定する車両周辺監視方法が提供される。
第1の実施形態に係る車両周辺監視装置の使用状態を例示する模式図である。 第1の実施形態に係る車両周辺監視装置の構成を例示する模式図である。 第1の実施形態に係る車両周辺監視装置の動作を例示するフローチャート図である。 第1の実施形態に係る車両周辺監視装置の動作の具体例を例示するフローチャート図である。 第2の実施形態に係る車両周辺監視装置の動作の具体例を例示するフローチャート図である。 第3の実施形態に係る車両周辺監視装置の動作の具体例を例示するフローチャート図である。 第4の実施形態に係る車両周辺監視装置の使用状態を例示する模式図である。 第5の実施形態に係る車両周辺監視方法を例示するフローチャート図である。
以下に、本発明の各実施の形態について図面を参照しつつ説明する。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
(第1の実施の形態)
図1は、第1の実施形態に係る車両周辺監視装置の使用状態を例示する模式図である。 図2は、第1の実施形態に係る車両周辺監視装置の構成を例示する模式図である。
図3は、第1の実施形態に係る車両周辺監視装置の動作を例示するフローチャート図である。
図1に表したように、本実施形態に係る車両周辺監視装置101は、車両(自車両250)に搭載され、車両(自車両250)の周辺の障害物を検出する。
図2に表したように、車両周辺監視装置101は、第1データ取得部110と、第2データ取得部120と、障害物推定処理部130と、を備える。
図1及び図2に表したように、第1データ取得部110は、車両(自車両250)よりも後側を含む第1領域211を撮像する第1撮像部210で撮像された時系列の複数の第1フレーム画像データを取得する。
第2データ取得部120は、車両(自車両250)よりも後側を含み第1領域211とは異なる第2領域221を撮像する第2撮像部220で撮像された時系列の複数の第2フレーム画像データを取得する。
なお、第1領域211の一部と、第2領域221の一部と、は、同じ領域でも良い。すなわち、第1領域211と第2領域221とは、互いに同じ部分を含んでいても良い。第1領域211の全体と、第2領域221の全体と、が一致しなければ良く、第1領域211の一部と、第2領域221の一部と、が同じ領域である場合も、第1領域211と第2領域221とは互いに異なるものとされる。
図1に表したように、第1領域211は、例えば、車両周辺監視装置101が搭載される自車両250の後方の少なくとも一部を含む。すなわち、例えば、第1領域211は、自車両250が走行している走行車線301(自車線)の少なくとも一部を含むことができる。
第2領域221は、例えば自車両250の後側方の少なくとも一部を含む。すなわち、例えば、第2領域221は、自車両250が走行している走行車線301に隣接する隣接車線302の少なくとも一部を含むことができる。
ただし、本発明の実施形態は、これに限らず、第1領域211と第2領域221とは、自車両250よりも後側の領域を含めば任意である。以下では、第1領域211は、自車両250の後方(例えば走行車線301)を含み、第2領域221は、自車両250の後側方(例えば隣接車線302)を含む場合として説明する。
すなわち、第1撮像部210は、走行車線301の自車両250からみて後方を撮像し、第2撮像部220は、隣接車線302の自車両250からみて後側方を撮像する。第1撮像部210の撮像範囲は、自車両250の走行車線301を含む。第2撮像部220の撮像範囲は、自車両250の隣接車線302を含む。
図3に表したように、障害物推定処理部130は、第1障害物推定処理(ステップS110)と、第2障害物推定処理(ステップS120)と、信号出力処理(ステップS130)と、を実施する。
第1障害物推定処理は、第1データ取得部110で取得された複数の第1フレーム画像データに基づいて、第1領域211に存在する第1障害物を推定する処理を含む。
例えば、第1障害物推定処理は、第1データ取得部110で取得された複数の第1フレーム画像データのそれぞれにおける障害物に関する評価値(第1評価値)を、第1累積条件を用いて複数の第1フレーム画像データごとに累積した第1累積値と、第1基準値と、を比較した結果に基づいて、第1領域211に存在する第1障害物を推定する処理を含む。
第2障害物推定処理は、第2データ取得部120で取得された複数の第2フレーム画像データに基づいて、第2領域221に存在する第2障害物を推定する処理を含む。
例えば、第2障害物推定処理は、第2データ取得部120で取得された複数の第2フレーム画像データのそれぞれにおける障害物に関する評価値(第2評価値)を、第2累積条件を用いて複数の第2フレーム画像データごとに累積した第2累積値と、第2基準値、とを比較した結果に基づいて、第2領域221に存在する第2障害物を推定する処理を含む。
信号出力処理は、第1障害物推定処理の結果及び第2障害物推定処理の結果の少なくともいずれかに基づいて信号sg1を出力する処理を含む。
信号sg1は、例えば、車両周辺監視装置101によって検出された(推定された)、自車両250の周辺に存在する障害物を、自車両250の運転者に知らせるための信号である。これにより、自車両250の運転者は、自車両250の周囲(例えば、自車両250の後方や後側方)に存在する障害物である他車両260を知ることができる。すなわち、信号sg1は、障害物が接近していることを知らせる警報とすることができる。
この警報は、例えば、音信号及び光信号の少なくともいずれかを含むことができる。なお、これらの警報は、例えば、信号sg1に基づいて生成されても良く、また、信号sg1が、警報そのものであっても良い。信号sg1に基づいてこれらの警報が生成される場合において、信号sg1に基づいて警報を生成する警報生成部を設けることができ、警報生成部は、車両周辺監視装置101に含まれても良く、また、警報生成部は、車両周辺監視装置101とは別に設けられても良い。
警報における音信号は、例えば、自車両250に搭載されるスピーカ、チャイム及びブザーなどの音発生装置から発生する音を含むことができる。また、警報における光信号は、ランプの点灯やディスプレイなどの表示装置による光の変化などを含むことができる。また、警報には、音信号と光信号とを組み合わせたものを用いることができる。なお、警報(例えば音や光)の程度は、時間の経過と共に増大するように設定できる。これにより、障害物の存在及び接近の程度などを運転者により効果的に知らせることができる。
本実施形態に係る車両周辺監視装置101においては、第2障害物推定処理に関する条件は、第1障害物推定処理の結果に基づいて変更される。
例えば、上記の第2累積条件及び上記の第2基準値の少なくともいずれかは、第1障害物推定処理の結果に基づいて変更される。すなわち、第2障害物推定処理における第2領域221に存在する第2障害物の推定は、複数の第2フレーム画像データのそれぞれにおける障害物に関する評価値を、第2累積条件を用いて前記複数の第2フレーム画像データごとに累積した第2累積値と、第2基準値、とを比較した結果に基づいて実施され、第1障害物推定処理の結果に基づいて変更される第2障害物推定処理に関する上記の条件は、第2累積条件及び第2基準値の少なくともいずれかを含むことができる。
これにより、障害物を短時間で検出することができる。
なお、上記において、第1領域211と第2領域221とは、相互に入れ替えが可能である。また、第1撮像部210と第2撮像部220とは、相互に入れ替えが可能である。また、第1データ取得部110と第2データ取得部120とは、相互に入れ替えが可能である。
なお、図2に表したように、本具体例では、障害物推定処理部130は、処理部140と、信号発生部150と、を有する。処理部140は、上記の第1障害物推定処理と、上記の第2障害物推定処理と、を実施する。信号発生部150は、上記の信号出力処理を実施する。すなわち、信号発生部150は、第1障害物推定処理の結果及び第2障害物推定処理の結果の少なくともいずれかに基づいて信号sg1を出力する。
図4は、第1の実施形態に係る車両周辺監視装置の動作の具体例を例示するフローチャート図である。
図4に表したように、車両周辺監視装置101においては、まず、第1撮像部210で撮像された時系列の複数の第1フレーム画像データを取得する(ステップS101)。第1フレーム画像データの取得は、第1データ取得部110により実施される。複数の第1フレーム画像データは、第1領域211を含む時系列の画像である。
そして、例えば、後述する第1累積条件を設定する(ステップS111)。
そして、第1データ取得部110で取得された複数の第1フレーム画像データのそれぞれにおける障害物に関する評価値(第1評価値)を、ステップS111で設定した第1累積条件を用いて複数の第1フレーム画像データごとに累積して、第1累積値を導出する(ステップS112)。
上記の評価値は、障害物らしさを表す値である。例えば、複数の第1フレーム画像データにそれぞれにおいて、複数の障害物候補領域を設定し、フレーム間でその運動軌跡を検出し、運動軌跡ごとに、評価値を計算する。これにより、その障害物候補領域が道路面に属するか、障害物などの立体物に属するかを判定することができる。
すなわち、例えば、複数の第1フレーム画像データのそれぞれにおいて検出された特徴量の動き情報から障害物を表す評価値を計算する手法が用いられる。まず、時系列画像中に設定した複数の障害物候補領域の運動軌跡を検出し、選択した2つの障害物候補領域が、道路面などの水平面に属するか、障害物などの立体物に属するかの評価値を計算し、その評価値を近傍の障害物候補領域、及び、フレーム間で累積することにより累積値(第1累積値)を計算する。
このとき、累積の条件として、例えば、以下の(1)式を用いる。

S1(fa) = S1(fa−1) + (s1(fa) + α1) …(1)

ここで、S1(fa)は現フレームfaで更新される第1累積値を表し、S1(fa−1)は、1つ前のフレーム(fa−1)における第1累積値を表し、s(fa)は、現フレームfaで計算された第1評価値を表す。そして、α1は所定の値であり、任意の数である。値α1は、変更可能な数である。
上記の(1)式において、例えば、α1を0に設定すると、第1累積値S1は、各フレームにおける第1評価値s1をそのまま累積した値となる。また、例えば、α1を所定の正の値に設定すると、第1累積値S1は、各フレームにおける第1評価値s1を単純に累積した値よりも、大きな値となる。
ステップS111においては、例えば、(1)式における、所定の値α1を設定する。値α1を所望の値に設定することにより、第1評価値s1を累積した第1累積値S1の、フレーム数に対する上昇の速度が調整できる。
なお、上記の第1累積条件の設定においては、第1累積条件をその都度設定しても良く、また、第1累積条件を変更するときに第1累積条件を変更する処理を実施し、第1累積条件を変更しないときには、第1累積条件に関する処理を行わない方法を採用しても良い。このように、ステップS111は、必要に応じて実施されることができ、場合によっては省略されても良い。
また、第1累積条件の設定(第1累積条件の変更)には、第1累積条件に関する種々の値をその都度計算する方法を適用しても良く、また、第1累積条件に関する種々の値を予め記憶しておき、記憶された値から選択する手法を採用しても良い。このように、第1累積条件の設定(第1累積条件の変更)の手法は任意である。
そして、例えば、第1基準値を設定する(ステップS113)。
そして、ステップS112で導出された第1累積値S1と、ステップS113で設定された第1基準値と、を比較する(ステップS114)。そして、第1累積値S1が第1基準値未満の場合は、例えばステップS101に戻る。そして、第1累積値S1が第1基準値以上の場合は、第1領域211に障害物が存在すると推定し、信号を発生する(ステップS130)。そして、例えば、ステップS101に戻る。
なお、上記の第1基準値の設定においては、第1基準値をその都度設定しても良く、また、第1基準値を変更するときに第1基準値を変更する処理を実施し、第1基準値を変更しないときには、第1基準値に関する処理を行わない方法を採用しても良い。このように、ステップS113は、必要に応じて実施されることができ、場合によっては省略されても良い。
また、第1基準値の設定(第1基準値の変更)には、第1基準値に関する種々の値をその都度計算する方法を適用しても良く、また、第1基準値に関する種々の値を予め記憶しておき、記憶された値から選択する手法を採用しても良い。このように、第1基準値の設定(第1基準値の変更)の手法は任意である。
一方、第2撮像部220で撮像された画像に関しても、第1撮像部210で撮像された画像と同様の処理が行われる。
すなわち、第2撮像部220で撮像された時系列の複数の第2フレーム画像データを取得する(ステップS102)。第2フレーム画像データの取得は、第2データ取得部120により実施される。複数の第2フレーム画像データは、第2領域221を含む時系列の画像である。
そして、例えば、後述する第2累積条件を設定する(ステップS121)。
そして、第2データ取得部120で取得された複数の第2フレーム画像データのそれぞれにおける障害物に関する評価値(第2評価値)を、ステップS121で設定した第2累積条件を用いて複数の第2フレーム画像データごとに累積して、第2累積値を導出する(ステップS122)。
このとき、累積の条件として、例えば、以下の(2)式を用いる。

S2(fb) = S2(fb−1) + (s2(fb) + β1) …(2)

ここで、S2(fb)は現フレームfbで更新される第2累積値を表し、S1(fb−1)は、1つ前のフレーム(fb−1)における第1累積値を表し、s(fb)は、現フレームfbで計算された第2評価値を表す。そして、β1は所定の値であり、任意の数である。値β1は、変更可能な数である。
ステップS121においては、例えば、(2)式における、所定の値β1を設定する。これにより、第2評価値s2を累積した第2累積値S2の、フレーム数に対する上昇の速度が調整できる。
この場合も、第2累積条件の設定においては、第2累積条件をその都度設定しても良く、また、第2累積条件を変更するときに第2累積条件を変更する処理を実施し、第2累積条件を変更しないときには、第2累積条件に関する処理を行わない方法を採用しても良い。このように、ステップS121は、必要に応じて実施されることができ、場合によっては省略されても良い。
また、第2累積条件の設定(第2累積条件の変更)には、第2累積条件に関する種々の値をその都度計算する方法を適用しても良く、また、第2累積条件に関する種々の値を予め記憶しておき、記憶された値から選択する手法を採用しても良い。このように、第2累積条件の設定(第2累積条件の変更)の手法は任意である。
そして、例えば、第2基準値を設定する(ステップS123)。
そして、ステップS122で導出された第2累積値S2と、ステップS123で設定された第2基準値と、を比較する(ステップS124)。そして、第2累積値S2が第2基準値未満の場合は、例えばステップS102に戻る。そして、第2累積値S2が第2基準値以上の場合は、第2領域221に障害物が存在すると推定し、信号を発生する(ステップS130)。そして、例えば、ステップS102に戻る。
なお、この場合も、第2基準値の設定においては、第2基準値をその都度設定しても良く、また、第2基準値を変更するときに第2基準値を変更する処理を実施し、第2基準値を変更しないときには、第2基準値に関する処理を行わない方法を採用しても良い。このように、ステップS123は、必要に応じて実施されることができ、場合によっては省略されても良い。
また、第2基準値の設定(第2基準値の変更)には、第2基準値に関する種々の値をその都度計算する方法を適用しても良く、また、第2基準値に関する種々の値を予め記憶しておき、記憶された値から選択する手法を採用しても良い。このように、第2基準値の設定(第2基準値の変更)の手法は任意である。
このように、車両周辺監視装置101は、例えば、自車両250の後方の第1領域211及び後側方の第2領域221に接近してくる他車両260を検出し、自車両250の運転者に知らせる警報のための信号sg1を発生する。
さらに、本実施形態に係る車両周辺監視装置101においては、ステップS114において、第1累積値S1が第1基準値以上の場合のときに、第1領域211において存在すると推定された障害物(第1障害物)の移動方向が第1領域211から第2領域221へ向かう方向であるかどうかを判定する(ステップS115)ことができる。
すなわち、例えば、図1に例示したように、第1領域211に存在する障害物(第1障害物である他車両260)の移動方向260aを推定し、推定した移動方向260aが、第1領域211から第2領域221へ向かう方向であるかどうかを推定する。
そして、図4に例示したように、第1領域211に存在すると推定された障害物(第1障害物)の推定された移動方向が第1領域211から第2領域221へ向かう方向である場合に、第2障害物推定処理に関する条件が変更される。例えば、第2累積条件が変更される。
すなわち、ステップS114において、第1領域211において第1障害物が存在すると推定され、さらに、ステップS115において、第1領域211において存在すると推定された第1障害物の移動方向が第1領域211から第2領域221へ向かう方向である場合には、ステップS121における第2累積条件が変更される。
すなわち、例えば、上記の(2)式における値β1が変更される。例えば、車両周辺監視装置101における動作の初期においては、値β1は0に設定されており、ステップS115において、第1領域211における第1障害物の移動方向が第1領域211から第2領域221へ向かう方向である場合に、値β1が正の値に設定される。これにより、第2評価値s2を累積した第2累積値S2の、フレーム数に対する上昇の速度が初期状態よりも上昇する。
すなわち、第2評価値s2を累積して第2累積値S2を導出する際に、例えば、図1に例示したように、自車両250の背後の走行車線301に存在していた他車両260が、急に後側方の隣接車線302に車線変更し、急な追い越し動作を実施することがある。自車両250の背後から右方向に急激な追い越し動作を行う他車両260は、まず、走行車線301(第1領域211)を撮像する第1撮像部210によって、自車両250への接近動作が撮影される。他車両260が車線変更を行うと、他車両260は、第1撮像部210の撮像領域(第1領域211)の外側に向かって移動する。そして、他車両260は、隣接車線302(第2領域221)を撮像する第2撮像部220によって、撮像される。さらに、例えば、他車両260は自車両250を追い越し、さらに、他車両260は第1領域211及び第2領域221の両方の外に移動し、第1撮像部210及び第2撮像部220の撮像領域の外側に移動する。
このとき、隣接車線302の第2領域221においては、他車両260を撮像しているフレームの数が少ない。このため、隣接車線302に存在する他車両260に関する第2累積値S2が第2基準値よりも大きくなるまでに時間がかかる。
このとき、上記のように急に隣接車線302に現れる他車両260を、より短い時間で検出することが望まれる。本実施形態に係る車両周辺監視装置101においては、第1領域211における障害物の検出結果を第2領域221の障害物の検出条件に反映させる。
すなわち、複数のカメラで異なる車線を監視し、それぞれの車線内で障害物評価累積値(第1累積値S1及び第2累積値S2)を計算し、それらの障害物評価累積値に基づいて障害物を検出する。そして、例えば、走行車線301で検出され障害物(他車両260)が隣接車線302に車線変更してきた場合に、隣接車線302において用いられている評価値の累積条件を変更することにより、隣接車線302における障害物(他車両260)を早期に検出することができる。走行車線301から隣接車線302に急に表れる他車両260は、急な追い越し動作を行う危険車両であり、危険車両をより早く検出できる。これにより、より安全な運転が支援できる。
このように、本実施形態に係る車両周辺監視装置101においては、第1障害物推定処理は、第1障害物の移動方向の推定を含むことができる。そして、第1障害物の移動方向が、第1領域211から第2領域221に向かう方向を含むときに、第2累積条件の変更が実施される。
これにより、第1領域211から第2領域221に急に移動する障害物(他車両260)を短時間で検出することができる。
さらに、図4に例示したように、本実施形態に係る車両周辺監視装置101においては、ステップS124において、第2累積値が第2基準値以上の場合のときに、第2領域221において存在すると推定された障害物(第2障害物)の移動方向が第2領域221から第1領域211へ向かう方向であるかどうかを判定する(ステップS125)ことができる。
すなわち、例えば、第2領域221に存在する障害物(第2障害物である他車両260)の移動方向を推定し、推定した移動方向が、第2領域221から第1領域211へ向かう方向であるかどうかを推定する。
そして、図4に例示したように、第2領域221に存在すると推定された障害物(第2障害物)の推定された移動方向が第2領域221から第1領域211へ向かう方向である場合には、第1障害物推定処理に関する条件が変更される。例えば、第1累積条件が変更される。
すなわち、例えば、上記の(1)式における値α1が変更される。例えば、車両周辺監視装置101における動作の初期においては、値α1は0に設定されており、ステップS125において、第2領域221における第2障害物の移動方向が第2領域221から第1領域211へ向かう方向である場合に、値α1は、正の値に設定される。これにより、第1評価値s1を累積した第1累積値S1の、フレーム数に対する上昇の速度が初期状態よりも上昇する。
すなわち、第1評価値s1を累積して第1累積値S1を導出する際に、例えば、自車両250の後側方の隣接車線302に存在していた他車両260が、急に背後の後方の走行車線301に車線変更することがある。このとき、走行車線301の第1領域211においては、他車両260を撮像しているフレームの数が少ない。このため、走行車線301に存在する他車両260に関する第1累積値S1が第1基準値よりも大きくなるまでに時間がかかる。
このとき、上記のように急に走行車線301に現れる他車両260を、より短い時間で検出することが望まれる。本実施形態に係る車両周辺監視装置101においては、第2領域221における障害物の検出結果を第1領域211の障害物の検出条件に反映させる。
これにより、第2領域221から第1領域211に急に移動する障害物(他車両260)を短時間で検出することができる。
このように、本実施形態に係る車両周辺監視装置101によれば、障害物を短時間で検出することができる。
このように、本実施形態に係る車両周辺監視装置101においては、第2障害物推定処理に関する条件が、第1障害物推定処理の結果に基づいて変更されることに加え、さらに。第1障害物推定処理に関する条件が、第2障害物推定処理の結果に基づいて変更されても良い。
例えば、第1障害物推定処理における第1領域211に存在する第1障害物の推定は、複数の第1フレーム画像データのそれぞれにおける障害物に関する評価値を、第1累積条件を用いて複数の第1フレーム画像データごとに累積した第1累積値と、第1基準値と、を比較した結果に基づいて実施されることができる。このとき、第2障害物推定処理の結果に基づいて変更される第1障害物推定処理に関する条件は、第1累積条件及び第1基準値の少なくともいずれかを含むことができる。
このように、本実施形態に係る車両周辺監視装置101は、例えば、複数の車線を監視する複数のカメラ(例えば第1撮像部210及び第2撮像部220)から時系列画像を取得し、それぞれの時系列画像から障害物らしさを表す障害物評価値(例えば第1評価値s1及び第2評価値s2)を計算し、それらの評価値をフレーム間で累積して障害物評価累積値(例えば第1累積値S1及び第2累積値S2)を導出する。そして、これらの障害物評価累積値に基づいて障害物を検出する。
このとき、一方のカメラで撮像した画像に基づく障害物の検出結果を、他方のカメラで撮像した画像に基づく障害物の検出の処理に用いる。また、他方のカメラで撮像した画像に基づく障害物の検出結果を、一方のカメラで撮像した画像に基づく障害物の検出の処理に用いる。このように、少なくとも一方のカメラで撮像した画像に基づく障害物の検出結果が、他方のカメラで撮像した画像に基づく障害物の検出の処理に用いられる。また、相互の検出結果が、相互の検出方法の変更に用いられる。
このとき、車両周辺監視装置101は、検出した障害物が車線変更をした場合に、変更前の車線と、変更後の車線と、を検出する機能を有することができる。そして、変更後の車線における障害物の検出の際の累積条件(例えば第1累積条件及び第2累積条件)を変更する。具体的には、例えば、値α1及び値β1を変更する。これにより、変更後の車線における障害物を早期に検出できる。
ただし、本発明の実施形態はこれに限らない。
例えば、車線変更の方向に係わらず、障害物の検出の際の累積条件(例えば第1累積条件及び第2累積条件)を変更しても良い。
すなわち、例えば、図4に関して説明したステップS114において、第1累積値S1が第1基準値以上であり、第1領域211(例えば自車両250の走行車線301)において障害物(他車両260)が検出されたときに、第2累積条件の設定(ステップS121)を実施し、第2累積条件を変更しても良い。
すなわち、自車両250の背後に他車両260が接近してきた場合には、その他車両260は、自車両250の走行車線301から隣接車線302に急に車線変更する可能性がある。このとき、自車両250の走行車線301において障害物(他車両260)が検出されたときに、隣接車線302における第2累積条件を変更することで、隣接車線302における障害物を早期に検出することができる。
同様に、例えば、図4に関して説明したステップS124において、第2累積値S2が第2基準値以上であり、第2領域221(例えば自車両250の隣接車線302)において障害物(他車両260)が検出されたときに、第1累積条件の設定(ステップS111)を実施し、第1累積条件を変更しても良い。
すなわち、自車両250の後側方に他車両260が接近してきた場合には、その他車両260は、隣接車線302から自車両250の走行車線301に急に車線変更する可能性がある。例えば、隣接車線302において検出された他車両260の後ろに、速度がさらい高い他の車両が接近している場合などには、検出された他車両260は、その速度がさらに速い他の車両を先に行かせるために、走行車線301へ急に車線変更する場合があり得る。このとき、隣接車線302において障害物(他車両260)が検出されたときに、走行車線301における第1累積条件を変更することで、走行車線301における障害物を早期に検出することができる。
このように、第2累積条件は、第1障害物推定処理(ステップS110であり、具体的には例えばステップS114)の結果に基づいて変更されることができる。
同様に、第2累積条件は、第2障害物推定処理(ステップS120であり、具体的には例えばステップS124)の結果に基づいて変更されることができる。
なお、ステップS111、S112、S113及びS114は、図3に例示したステップS110に含まれる。また、ステップS110は、ステップS115をさらに含んでも良い。ステップS121、S122、S123及びS124は、図3に例示したステップS120に含まれる。また、ステップS120は、ステップS125をさらに含んでも良い。
上記のステップS110及びS120は、技術的に可能な限り同時に行われても良い。また、ステップS110に含まれる複数の処理、及び、ステップS120に含まれる複数の処理、のそれぞれの順序も技術的に可能な限り相互に入れ替えが可能であり、また、同時に実施されても良い。また、ステップS110及びS120は、複数回実施されても良く、また、ステップS110に含まれる複数の処理、及び、ステップS120に含まれる複数の処理、のそれぞれの実施の回数も技術的に可能な限り任意である。
また、図4に例示したステップS101、S111、S112、S113、S114及びS115の少なくともいずれかと、ステップS102、S121、S122、S123、S124及びS125の少なくともいずれかと、は技術的に可能な限り同時に行われても良く、それらの順序は技術的に可能な限り相互に入れ替えが可能である。
例えば、上記のステップS101、S111、S112、S113、S114及びS115と、上記のステップS102、S121、S122、S123、S124及びS125のと、は1つの処理装置(演算装置)で実施されても良く、また、別の処理装置で実施されても良い。別の処理装置で実施される場合には、同じ時間に並列的に実施されても良く、また、異なる時間に別に実施されても良い。
例えば、図4に例示したステップS101とステップS102とは同時並行的に実施されても良い。
また、例えば、初期の値α1を用いてステップS111、S112、S113及びS114を実施した後に、ステップS114の結果を用いてステップS121を実施し、その後、ステップS122、S123及びS124を実施し、ステップS124の結果を用いてステップS111を実施しても良い。
また、例えば、ステップS114の結果を所定の記憶部に記憶させ、必要な任意の時刻に記憶部に記憶されたステップS114の結果を用いてステップS121を実施しても良い。また、例えば、ステップS124の結果を所定の記憶部に記憶させ、必要な任意の時刻に記憶部に記憶されたステップS124の結果を用いてステップS111を実施しても良い。
また、例えば、ステップS115の結果を所定の記憶部に記憶させ、必要な任意の時刻に記憶部に記憶されたステップS115の結果を用いてステップS121を実施しても良い。また、例えば、ステップS125の結果を所定の記憶部に記憶させ、必要な任意の時刻に記憶部に記憶されたステップS125の結果を用いてステップS111を実施しても良い。
すなわち、第1領域211における障害物検出処理(例えば、ステップS114を含み、ステップS115を含めても良い)の結果をステップS121に反映させる方法、及び、第2領域221における障害物検出処理(例えばステップS124を含み、ステップS125を含めても良い)の結果をステップS111に反映させる方法は、例えば、異なる監視領域(例えば第1領域211及び第2領域221)の処理間で相互に参照可能な共通のフラグを用意しておき、障害物の検出結果に基づいてそのフラグを書き換えることにより、累積条件を設定する処理(例えばステップS111及びステップS121)で、そのフラグを参照することができる。すなわち、障害物の検出を相互に通知し合うことができでる。
このように、車両周辺監視装置101の処理は種々の変形が可能である。
なお、本具体例においては、第1累積値S1及び第2累積値S2として、フレーム間の動き情報から、障害物らしさを表す評価値(例えば、第1評価値s1及び第2評価値s2)を計算し、それを累積する方法が採用されたが、本発明の実施形態はこれに限定されない。例えば、検出したい車両の例えば形状パターンを事前に保存しておき、保存した形状パターンに基づいて、画像データから障害物を推定するための評価値を計算しても良い。なお、この形状パターンに学習効果を適用し、学習によって更新された辞書を用いて、画像データから障害物を推定するための特性値を計算しても良い。このように、本発明の実施形態において、障害物(接近する他車両260)らしさを表す評価値の算出方法は任意である。
また、上記においては、例えばステップS114及びステップS115の少なくともいずれかの結果によって、ステップS121における値β1を変更し、また、例えばステップS124及びステップS125の少なくともいずれかの結果によって、ステップS111における値α1を変更したが、本発明の実施形態はこれに限らない。
すなわち、例えば、第1累積値S1を導出する第1累積条件として、以下の(3)式を用いても良い。

S1(fa) = α2{S1(fa−1) + s1(fa)} …(3)

ここで、α2は所定の値であり、変更可能な数である。(3)式に表したように、この方法では、1つ前のフレーム(fa−1)の第1累積値S1(fa−1)と、現フレームfaで計算された特性値s1(fa)と、の合計の値がα2倍されたものが現フレームfaの第1累積値S1(fa)となる。このときの値α2が、例えばステップS124の結果によって、変更される。
同様に、例えば、第2累積値S2を導出する第2累積条件として、以下の(4)式を用いても良い。

S2(fb) = β2{S2(fb−1) + s2(fb)} …(4)

ここで、β2は所定の値であり、変更可能な数である。(4)式に表したように、この方法では、1つ前のフレーム(fb−1)の第2累積値S2(fb−1)と、現フレームfbで計算された特性値s2(fb)と、の合計の値がβ2倍されたものが現フレームfbの第2累積値S2(fb)となる。このときの値β2が、例えばステップS114の結果によって、変更される。
さらに、例えば、第1累積値S1を導出する第1累積条件として、以下の(5)式を用いても良い。

S1(fa) = S1(fa−1) + α3・s1(fa) …(5)

ここで、α3は所定の値であり、変更可能な数である。(5)式に表したように、この方法では、1つ前のフレーム(fa−1)の第1累積値S1(fa−1)に、現フレームfaで計算された特性値s1(fa)のα3倍の値を加えたものが、現フレームfaの第1累積値S1(fa)となる。このときの値α3が、例えばステップS124の結果によって、変更される。
同様に、例えば、第2累積値S2を導出する第2累積条件として、以下の(6)式を用いても良い。

S2(fb) = S2(fb−1) + β3・s2(fb) …(6)

ここで、β3は所定の値であり、変更可能な数である。(6)式に表したように、この方法では、1つ前のフレーム(fb−1)の第2累積値S2(fb−1)に、現フレームfbで計算された特性値s2(fb)のβ3倍の値を加えたものが、現フレームfbの第2累積値S2(fb)となる。このときの値β3が、例えばステップS114の結果によって、変更される。
さらに、第1累積条件として、以下の(7)式を用いても良い。

S1(fa) = α2{S1(fa−1) + α3・s1(fa)+α1}
…(7)

また、第2累積条件として、以下の(8)式を用いても良い。

S2(fb) = β2{S2(fb−1) + β3・s2(fb)+β1}
…(8)

そして、値α1、値α2及び値α3の少なくともいずれかが、例えばステップS124の結果によって変更される。また、値β1、値β2及び値β3の少なくともいずれかが、例えばステップS114の結果によって変更される。
そして、第2領域221に存在する障害物を検出するための第2累積値S2の第2累積条件が、第1領域211における障害物の検出結果(ステップS114)によって変更されるため、例えば、障害物(他車両260)が第1領域211から第2領域221に車線変更した場合などにおいて、第2累積値S2が第2基準値以上になるまでの時間が短縮できる。
また、第1領域211に存在する障害物を検出するための第1累積値S1の第1累積条件が、第2領域221における障害物の検出結果(ステップS124)によって変更されるため、例えば、障害物(他車両260)が第2領域221から第1領域211に車線変更した場合などにおいて、第1累積値S1が第1基準値以上になるまでの時間が短縮できる。
このとき、既に説明したように、第1領域211に存在すると推定された障害物(第1障害物)の推定された移動方向が第1領域211から第2領域221へ向かう方向である場合に第2累積条件を変更することで、自車両250の背後の走行車線301に存在していた他車両260が、急に後側方の隣接車線302に車線変更し、急な追い越し動作をすることを効果的に短時間で検出できる。
また、既に説明したように、第2領域221に存在すると推定された障害物(第2障害物)の推定された移動方向が第2領域221から第1領域211へ向かう方向である場合に第1累積条件を変更することで、自車両250の後側方の隣接車線302に存在していた他車両260が、急に自車両250の背後の走行車線301に車線変更したことを効果的に短時間で検出できる。
なお、障害物の移動方向の推定には、例えば以下の方法を採用できる。すなわち、例えば、存在すると推定された障害物(他車両260)に関して、テンプレートマッチングなどの手法を用いて、フレーム間で追跡処理を行うことにより、画像内におけるその移動ベクトルを算出する。そして、移動ベクトルの水平成分(例えば、自車両250の現在位置において、走行車線301の延在方向に対して垂直な方向の成分)の変化が、例えば予め定められた値よりも大きいときに、他車両260が車線変更を行うと推定する。そして、他車両260の移動方向が、走行車線301(第1領域211)から隣接車線302(第2領域221)へ向かう方向なのか、隣接車線302(第2領域221)から走行車線301(第1領域211)へ向かう方向なのか、を推定する。このように、他車両260の移動ベクトルの方向から、他車両260の車線変更の方向を推定できる。
これにより、ステップS115において他車両260の車線変更の方向を推定し、その結果に基づいて、例えば、第2累積条件を変更する(ステップS121)。また、ステップS125において他車両260の車線変更の方向を推定し、その結果に基づいて、例えば、第1累積条件を変更する(ステップS111)。
(第2の実施の形態)
図5は、第2の実施形態に係る車両周辺監視装置の動作の具体例を例示するフローチャート図である。
本実施形態に係る車両周辺監視装置102の構成は、車両周辺監視装置101と同様とすることができるので説明を省略する。車両周辺監視装置102においては、車両周辺監視装置101と異なる動作が実施される。
すなわち、図5に表したように、車両周辺監視装置102においては、ステップS114において、第1累積値S1が第1基準値以上であり、第1領域211に第1障害物が存在すると推定され、ステップS115において、第1障害物の移動方向が第1領域211から第2領域221へ向かう方向であった場合に、第2基準値が変更される(ステップS123)。すなわち、第2障害物推定処理に関する条件に含まれる第2基準値が変更される。
また、車両周辺監視装置102においては、ステップS124において、第2累積値S2が第2基準値以上であり、第2領域221に第2障害物が存在すると推定され、ステップS125において、第2障害物の移動方向が第2領域221から第1領域211へ向かう方向であった場合に、第1基準値が変更される(ステップS113)。すなわち、第1障害物推定処理に関する条件に含まれる第1基準値が変更される。
例えば、ステップS113において、第1基準値として、以下の(9)式が用いられる。

T1(fa) = Td1 − Tn1 …(9)

ここで、T1(fa)は、現フレームfaにおける基準値(第1基準値)である。Td1は、所定の数であり、例えば第1基準値T1の初期値である。Tn1は変更可能な数である。例えば、値Tn1は初期において0に設定され、例えば、第2領域221に第2障害物が存在すると推定され、第2障害物の移動方向が第2領域221から第1領域211へ向かう方向であった場合に、値Tn1は正の数に変更される。
このように、第2領域221に第2障害物が存在すると推定され、第2障害物の移動方向が第2領域221から第1領域211へ向かう方向であった場合に、第1基準値T1が減少される。
これにより、急激な車線変更などによって、例えば、第1累積値S1が小さい場合のときも、第1基準値T1を変更して第1基準値T1が適切に設定されることで、より早期の障害物の検出が可能となる。
また、例えば、ステップS123において、第2基準値として、以下の(10)式が用いられる。

T2(fb) = Td2 − Tn2 …(10)

ここで、T2(fb)は、現フレームfbにおける基準値(第2基準値)である。Td2は、所定の数であり、例えば第2基準値T2の初期値である。Tn2は変更可能な数である。例えば、値Tn2は初期において0に設定され、例えば、第1領域211に第1障害物が存在すると推定されたときに、値Tn2は正の数に変更される。
このように、第1領域211に第1障害物が存在すると推定され、第1障害物の移動方向が第1領域211から第2領域221へ向かう方向であった場合に、第2基準値T2が減少される。
これにより、急激な追い越し動作などのような急激な車線変更などによって、例えば、第2累積値S2が小さい場合のときも、第2基準値T2を変更して第2基準値T2が適切に設定されることで、より早期の障害物の検出が可能となる。
なお、上記においては、第2領域221に第2障害物が存在すると推定され、第2障害物の移動方向が第2領域221から第1領域211へ向かう方向であった場合に(すなわち、ステップS125の結果基づいて)、値Tn1が変更されたが、既に説明したように、第2領域221に第2障害物が存在すると推定されたときに、値Tn1が変更されても良い。すなわち、ステップS124の結果に基づいて、第1基準値T1が変更されても良い。
同様に、第1領域211に第1障害物が存在すると推定されたときに、値Tn2が変更されても良い。すなわち、ステップS114の結果に基づいて、第2基準値T2が変更されても良い。
また、例えば、ステップS113において、第1基準値として、以下の(11)式を用いても良い。

T1(fa) = Td1 − Tn1(fa) …(11)

すなわち、現フレームfaにおける第1基準値T1(fa)が、フレームの数に対応して変化し得る値Tn1(fa)によって変化しても良い。
また、例えば、ステップS123において、第2基準値として、以下の(12)式を用いても良い。

T2(fb) = Td2 − Tn2(fb) …(12)

すなわち、現フレームfbにおける第2基準値T2(fb)が、フレームの数に対応して変化し得る値Tn2(fb)によって変化しても良い。
このように、障害物の検出結果に基づいて、第1基準値T1及び第2基準値T2の少なくともいずれかを動的に変更しても良い。すなわち、例えば、他車両260の車線変更の検出結果で保持している移動ベクトルの絶対値に応じて、基準値の変動幅(値Tn1(fa)及び値Tn2(fb)の少なくともいずれか)を動的に変更しても良い。
(第3の実施の形態)
図6は、第3の実施形態に係る車両周辺監視装置の動作の具体例を例示するフローチャート図である。
本実施形態に係る車両周辺監視装置103の構成は、車両周辺監視装置101と同様とすることができるので説明を省略する。車両周辺監視装置103においては、車両周辺監視装置101と異なる動作が実施される。
すなわち、図6に表したように、車両周辺監視装置103においては、ステップS114において、第1累積値S1が第1基準値T1以上であり、第1領域211に第1障害物が存在すると推定され、ステップS115において、第1障害物の移動方向が第1領域211から第2領域221へ向かう方向であった場合に、第2累積条件の変更(ステップS121)、及び、第2基準値T2の変更(ステップS123)が実施される。
このとき、既に説明したように、ステップS114において、第1累積値S1が第1基準値T1以上であり、第1領域211に第1障害物が存在すると推定された場合に、第2累積条件の変更(ステップS121)、及び、第2基準値T2の変更(ステップS123)が実施されても良い。
このように、本実施形態においては、第2累積条件(例えば値β1、値β2及び値β3の少なくともいずれか)及び第2基準値T2(例えば値Tn2及び値Tn2(fb))の少なくともいずれかは、第1障害物推定処理(ステップS110)の結果に基づいて変更されることができる。
同様に、図6に表したように、ステップS124において、第2累積値S2が第2基準値T2以上であり、第2領域221に第2障害物が存在すると推定され、ステップS125において、第2障害物の移動方向が第2領域221から第1領域211へ向かう方向であった場合に、第1累積条件の変更(ステップS111)、及び、第1基準値T1の変更(ステップS113)が行われる。
このとき、既に説明したように、ステップS124において、第2累積値S2が第2基準値T2以上であり、第2領域221に第2障害物が存在すると推定された場合に、第1累積条件の変更(ステップS111)、及び、第1基準値T1の変更(ステップS113)が行われても良い。
このように、本実施形態においては、第1累積条件(例えば値α1、値α2及び値α3の少なくともいずれか)及び第1基準値T1(例えば値Tn1及び値Tn1(fa))の少なくともいずれかは、第2障害物推定処理(ステップS120)の結果に基づいて変更されることができる。
(第4の実施の形態)
図7は、第4の実施形態に係る車両周辺監視装置の使用状態を例示する模式図である。 本実施形態に係る車両周辺監視装置104の構成は、車両周辺監視装置101と同様とすることができるので説明を省略する。車両周辺監視装置104においては、車両周辺監視装置101と異なる使用状態が適用される。
すなわち、本実施形態に係る車両周辺監視装置104においては、第1撮像部210は、自車両250が走行する走行車線301の左側の左隣接車線303Lを撮像し、第2撮像部220は、走行車線301の右側の右隣接車線303Rを撮像する。
すなわち、第1領域211は、自車両250の後方の少なくとも一部である左隣接車線303Lの少なくとも一部を含むことができる。そして、第2領域221は、自車両250の後方の少なくとも一部である右隣接車線303Rの少なくとも一部を含むことができる。
車両周辺監視装置104においても、図3〜図6に関して説明した処理を実施することができる。
例えば、第1累積値S1が第1基準値T1以上であり、第1領域211(この例では左隣接車線303L)に第1障害物が存在すると推定され、第1障害物の移動方向が第1領域211から第2領域221(右隣接車線303R)へ向かう方向であった場合に、第2障害物推定処理に関する条件の変更が実施される。例えば、第2累積条件の変更、及び、第2基準値T2の変更が実施される。これにより、例えば、左隣接車線303Lから走行車線301に他車両260が車線変更する場合、また、左隣接車線303Lから右隣接車線303Rに他車両260が車線変更する場合に、右隣接車線303Rにおける障害物(他車両260)を短時間に検出できる。
また、第1累積値S1が第1基準値T1以上であり、第1領域211(この例では左隣接車線303L)に第1障害物が存在すると推定された場合に、第2累積条件の変更、及び、第2基準値T2の変更が実施される。これにより、例えば、左隣接車線303Lに他車両260が存在し車線変更する可能性に備えて、右隣接車線303Rにおける障害物(他車両260)を短時間に検出できる。
同様に、例えば、第2累積値S2が第2基準値T2以上であり、第2領域221(この例では右隣接車線303R)に第2障害物が存在すると推定され、第2障害物の移動方向が第2領域221から第1領域211(左隣接車線303L)へ向かう方向であった場合に、第1障害物推定処理に関する条件の変更が実施される。例えば、第1累積条件の変更、及び、第1基準値T1の変更が実施される。これにより、例えば、右隣接車線303Rから走行車線301に他車両260が車線変更する場合、また、右隣接車線303Rから左隣接車線303Lに他車両260が車線変更する場合に、左隣接車線303Lにおける障害物(他車両260)を短時間に検出できる。
また、第2累積値S2が第2基準値T2以上であり、第2領域221(この例では右隣接車線303R)に第2障害物が存在すると推定された場合に、第1累積条件の変更、及び、第1基準値T1の変更が実施される。これにより、例えば、右隣接車線303Rに他車両260が存在し車線変更する可能性に備えて、左隣接車線303Lにおける障害物(他車両260)を短時間に検出できる。
(第5の実施の形態)
図8は、第5の実施形態に係る車両周辺監視方法を例示するフローチャート図である。 図8に表したように、本実施形態に係る車両周辺監視方法においては、まず、車両(自車両250)よりも後側を含む第1領域211を撮像する第1撮像部210で撮像された時系列の複数の第1フレーム画像データを取得する(ステップS301)。
そして、車両(自車両250)よりも後側を含み第1領域211とは異なる第2領域221を撮像する第2撮像部220で撮像された時系列の複数の第2フレーム画像データを取得する(ステップS302)。
そして、複数の第1フレーム画像データに基づいて、第1領域211に存在する第1障害物を推定する(ステップS310)。例えば、複数の第1フレーム画像データのそれぞれにおける障害物に関する評価値(例えば第1評価値s1)を、第1累積条件を用いて複数の第1フレーム画像データごとに累積した第1累積値S1と、第1基準値T1と、を比較した結果に基づいて、第1領域211に存在する第1障害物を推定する。
そして、第1障害物の推定に基づいて変更した条件を用いて、複数の第2フレーム画像データに基づいて、第2領域221に存在する第2障害物を推定する(ステップS320)。例えば、第1障害物の推定に基づいて変更した第2累積条件を用いて、複数の第2フレーム画像データのそれぞれにおける障害物に関する評価値(例えば第2評価値s2)を、複数の第2フレーム画像データごとに累積した第2累積値S2と、第2基準値T2、とを比較した結果に基づいて、第2領域221に存在する第2障害物を推定する。
これにより、障害物を短時間で検出することができる。
なお、上記のステップS301、S302、S310及びS320は、技術的に可能な限り同時に実施することができ、また、それらの実施の順序は入れ替えが可能である。
なお、本車両周辺監視方法は、第1障害物の推定及び第2障害物の推定の少なくともいずれかに基づいて信号を出力することをさらに含んでも良い。
また、第1障害物の推定(ステップS310)は、第1障害物の移動方向の推定を含むことができ、第1障害物の移動方向が、第1領域211から第2領域221に向かう方向を含むときに、第2障害物推定処理に関する条件を変更することができる。例えば、第1障害物の移動方向が、第1領域211から第2領域221に向かう方向を含むときに、上記の第2累積条件及び第2基準値T2の少なくともいずれかにおける変更が実施されることができる。
また、第1障害物推定処理に関する条件は、第2障害物の推定の結果に基づいて変更されても良い。例えば、上記の第1累積条件及び第1基準値T1の少なくともいずれかは、第2障害物の推定の結果に基づいて変更されても良い。
このとき、第2障害物の推定(ステップS320)は、第2障害物の移動方向の推定を含むことができ、第2障害物の移動方向が、第2領域221から第1領域211に向かう方向を含むときに、第1障害物推定処理に関する条件が変更されても良い。例えば、第2障害物の移動方向が、第2領域221から第1領域211に向かう方向を含むときに、上記の第1累積条件及び第1基準値T1の少なくともいずれかにおける変更が実施されることができる。
また、この場合も、第1領域211は、自車両250の後方の少なくとも一部を含み、第2領域221は、自車両250の後側方の少なくとも一部を含むことができる。
また、第1領域211は、自車両250が走行している走行車線301の少なくとも一部を含み、第2領域221は、走行車線301に隣接する隣接車線302の少なくとも一部を含むことができる。
ただし、本実施形態はこれに限らず、例えば、第1領域211は、自車両250が走行している走行車線301の左隣接車線303Lの少なくとも一部を含み、第2領域221は、走行車線301の右隣接車線303Rの少なくとも一部を含むことができる。
以上のように、本発明の実施形態に係る車両周辺監視装置及び車両周辺監視方法によれば、障害物を短時間で検出することができる。すなわち、例えば、複数のカメラで隣接する複数の車線を監視し、それぞれのカメラでの障害物検出結果を相互利用することにより、車線変更を伴う急激な追い越しを行う危険車両を早期に検出することが可能になる。
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、車両周辺監視装置に含まれるデータ取得部、障害物推定処理部、処理部及び信号発生部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
その他、本発明の実施の形態として上述した車両周辺監視装置及び車両周辺監視方法を基にして、当業者が適宜設計変更して実施し得る全ての車両周辺監視装置及び車両周辺監視方法も、本発明の要旨を包含する限り、本発明の範囲に属する。
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
101、102、103、104…車両周辺監視装置、 110…第1データ取得部、 120…第2データ取得部、 130…障害物推定処理部、 140…処理部、 150…信号発生部、 210…第1撮像部、 211…第1領域、 220…第2撮像部、 221…第2領域、 250…自車両(車両)、 260…他車両、 260a…移動方向、 301…走行車線、 302…隣接車線、 303L…左隣接車線、 303R…右隣接車線、 sg1…信号

Claims (9)

  1. 車両に搭載され、前記車両の周辺の障害物を検出する車両周辺監視装置であって、
    前記車両よりも後側を含む第1領域を撮像する第1撮像部で撮像された時系列の複数の第1フレーム画像データを取得する第1データ取得部と、
    前記車両よりも後側を含み前記第1領域とは異なる第2領域を撮像する第2撮像部で撮像された時系列の複数の第2フレーム画像データを取得する第2データ取得部と、
    前記第1データ取得部で取得された前記複数の第1フレーム画像データに基づいて、前記第1領域に存在する第1障害物を推定する第1障害物推定処理と、
    前記第2データ取得部で取得された前記複数の第2フレーム画像データに基づいて、前記第2領域に存在する第2障害物を推定する第2障害物推定処理と、
    前記第1障害物推定処理の結果及び前記第2障害物推定処理の結果の少なくともいずれかに基づいて信号を出力する信号出力処理と、
    を実施する障害物推定処理部と、
    を備え、
    前記第2障害物推定処理に関する条件は、前記第1障害物推定処理の前記結果に基づいて変更されることを特徴とする車両周辺監視装置。
  2. 前記第2障害物の推定は、前記複数の第2フレーム画像データのそれぞれにおける障害物に関する評価値を、第2累積条件を用いて前記複数の第2フレーム画像データごとに累積した第2累積値と、第2基準値、とを比較した結果に基づいて実施され、
    前記第1障害物推定処理の前記結果に基づいて変更される前記第2障害物推定処理に関する前記条件は、前記第2累積条件及び前記第2基準値の少なくともいずれかを含むことを特徴とする請求項1記載の車両周辺監視装置。
  3. 前記第1障害物推定処理の条件は、前記第2障害物推定処理の前記結果に基づいて変更されることを特徴とする請求項1または2に記載の車両周辺監視装置。
  4. 前記第1障害物の推定は、前記複数の第1フレーム画像データのそれぞれにおける障害物に関する評価値を、第1累積条件を用いて前記複数の第1フレーム画像データごとに累積した第1累積値と、第1基準値と、を比較した結果に基づいて実施され、
    前記第2障害物推定処理の前記結果に基づいて変更される前記第1障害物推定処理に関する前記条件は、前記第1累積条件及び前記第1基準値の少なくともいずれかを含むことを特徴とする請求項3記載の車両周辺監視装置。
  5. 前記第2障害物推定処理は、前記第2障害物の移動方向の推定を含み、
    前記移動方向が、前記第2領域から前記第1領域に向かう方向を含むときに、前記第1障害物推定処理に関する前記条件の前記変更が実施されることを特徴とする請求項3または4記載の車両周辺監視装置。
  6. 前記第1障害物推定処理は、前記第1障害物の移動方向の推定を含み、
    前記移動方向が、前記第1領域から前記第2領域に向かう方向を含むときに、前記第2障害物推定処理に関する前記条件の前記変更が実施されることを特徴とする請求項1〜5のいずれか1つに記載の車両周辺監視装置。
  7. 前記第1領域は、前記車両の後方の少なくとも一部を含み、
    前記第2領域は、前記車両の後側方の少なくとも一部を含むことを特徴とする請求項1〜6の少なくともいずれかの車両周辺監視装置。
  8. 前記第1領域は、前記車両が走行している自車線の少なくとも一部を含み、
    前記第2領域は、前記自車線に隣接する隣接車線の少なくとも一部を含むことを特徴とする請求項1〜7の少なくともいずれかの車両周辺監視装置。
  9. 車両よりも後側を含む第1領域を撮像する第1撮像部で撮像された時系列の複数の第1フレーム画像データを取得し、
    前記車両よりも後側を含み前記第1領域とは異なる第2領域を撮像する第2撮像部で撮像された時系列の複数の第2フレーム画像データを取得し、
    前記複数の第1フレーム画像データに基づいて、前記第1領域に存在する第1障害物を推定し、
    前記第1障害物の推定に基づいて変更した条件を用いて、前記複数の第2フレーム画像データに基づいて、前記第2領域に存在する第2障害物を推定する車両周辺監視方法。
JP2010089344A 2010-04-08 2010-04-08 車両周辺監視装置及び車両周辺監視方法 Expired - Fee Related JP5574789B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010089344A JP5574789B2 (ja) 2010-04-08 2010-04-08 車両周辺監視装置及び車両周辺監視方法
EP11765172.9A EP2557550A4 (en) 2010-04-08 2011-01-26 DEVICE FOR MONITORING A VEHICLE ENVIRONMENT, METHOD FOR MONITORING A VEHICLE ENVIRONMENT AND VEHICLE DEVICE
PCT/JP2011/000416 WO2011125270A1 (ja) 2010-04-08 2011-01-26 車両周辺監視装置、車両周辺監視方法および車両装置
CN201180018129.XA CN102834853B (zh) 2010-04-08 2011-01-26 车辆周围监测装置、车辆周围监测方法及车辆装置
US13/599,666 US20130057688A1 (en) 2010-04-08 2012-08-30 Vehicle periphery monitoring device, vehicle periphery monitoring method and vehicle device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010089344A JP5574789B2 (ja) 2010-04-08 2010-04-08 車両周辺監視装置及び車両周辺監視方法

Publications (2)

Publication Number Publication Date
JP2011221734A true JP2011221734A (ja) 2011-11-04
JP5574789B2 JP5574789B2 (ja) 2014-08-20

Family

ID=44762242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010089344A Expired - Fee Related JP5574789B2 (ja) 2010-04-08 2010-04-08 車両周辺監視装置及び車両周辺監視方法

Country Status (5)

Country Link
US (1) US20130057688A1 (ja)
EP (1) EP2557550A4 (ja)
JP (1) JP5574789B2 (ja)
CN (1) CN102834853B (ja)
WO (1) WO2011125270A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091400A1 (ja) * 2020-11-02 2022-05-05 三菱電機株式会社 他車挙動予測診断装置および他車挙動予測診断方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009007342A1 (de) * 2009-02-04 2010-08-05 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
JP5803844B2 (ja) * 2012-08-21 2015-11-04 トヨタ自動車株式会社 割込予測装置、割込予測方法、及び運転支援システム
US9552732B2 (en) * 2014-04-02 2017-01-24 Robert Bosch Gmbh Driver assistance system including warning sensing by vehicle sensor mounted on opposite vehicle side
JP6815963B2 (ja) * 2017-09-29 2021-01-20 クラリオン株式会社 車両用外界認識装置
CN111742328A (zh) * 2018-02-19 2020-10-02 博朗有限公司 用于对手持式消费装置的使用进行分类的系统
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
JP7115180B2 (ja) * 2018-09-21 2022-08-09 トヨタ自動車株式会社 画像処理システムおよび画像処理方法
DE102019202588A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202581B4 (de) 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
CN110009761B (zh) * 2019-03-20 2021-08-10 华南理工大学 智能设备自动巡检路径规划方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123462A (ja) * 2006-11-16 2008-05-29 Hitachi Ltd 物体検知装置
JP2009085651A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 画像処理システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4023228B2 (ja) * 2002-06-19 2007-12-19 日産自動車株式会社 車載用障害物検知装置
JP4015036B2 (ja) 2003-02-12 2007-11-28 株式会社東芝 障害物検出装置および障害物検出方法
US8204278B2 (en) * 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
CN201234326Y (zh) * 2008-06-30 2009-05-06 比亚迪股份有限公司 车载视频监控装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123462A (ja) * 2006-11-16 2008-05-29 Hitachi Ltd 物体検知装置
JP2009085651A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 画像処理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091400A1 (ja) * 2020-11-02 2022-05-05 三菱電機株式会社 他車挙動予測診断装置および他車挙動予測診断方法
JP7438393B2 (ja) 2020-11-02 2024-02-26 三菱電機株式会社 他車挙動予測診断装置および他車挙動予測診断方法

Also Published As

Publication number Publication date
JP5574789B2 (ja) 2014-08-20
US20130057688A1 (en) 2013-03-07
EP2557550A1 (en) 2013-02-13
EP2557550A4 (en) 2014-08-20
WO2011125270A1 (ja) 2011-10-13
CN102834853B (zh) 2014-12-10
CN102834853A (zh) 2012-12-19

Similar Documents

Publication Publication Date Title
JP5574789B2 (ja) 車両周辺監視装置及び車両周辺監視方法
US9067537B2 (en) Vehicle periphery monitoring device
JP5480925B2 (ja) 車両周辺監視装置
JP5353455B2 (ja) 周辺監視装置
JP2014222429A (ja) 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム
JP2008219063A (ja) 車両周辺監視装置及び方法
JP2015165381A (ja) 画像処理装置、機器制御システム、および画像処理プログラム
JP6906567B2 (ja) 障害物の検知方法、システム、コンピュータ装置、コンピュータ記憶媒体
JP2009169776A (ja) 検出装置
JP2014067198A (ja) 移動物体認識装置
JP2011242860A (ja) 障害物認識装置
KR20160075135A (ko) 자동차 물체인식 시스템 및 그 동작방법
KR20140004291A (ko) 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
CN111497741B (zh) 碰撞预警方法及装置
JP2008158640A (ja) 移動物体検出装置
KR101427032B1 (ko) 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법
WO2019193928A1 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
JP2008310440A (ja) 歩行者検出装置
KR101519261B1 (ko) 차량의 모니터링 방법 및 자동 제동 장치
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
JP2020042446A (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
JP2013054399A (ja) 車両周辺監視装置
JP2019021060A (ja) 物体検出方法及び物体検出装置
JP2009295018A (ja) 車両周辺監視装置
JP6833259B2 (ja) 物体検知支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140701

LAPS Cancellation because of no payment of annual fees