JP2016142647A - 画像処理装置、および車両システム - Google Patents
画像処理装置、および車両システム Download PDFInfo
- Publication number
- JP2016142647A JP2016142647A JP2015019039A JP2015019039A JP2016142647A JP 2016142647 A JP2016142647 A JP 2016142647A JP 2015019039 A JP2015019039 A JP 2015019039A JP 2015019039 A JP2015019039 A JP 2015019039A JP 2016142647 A JP2016142647 A JP 2016142647A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- vehicle
- image processing
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【解決手段】画像処理装置10は、レンズを備える撮像部により計測対象車両である対向車両に搭載されたヘッドライトを含む被写体を撮影して得られた画像が入力される画像入力部101と、画像から輝度が所定値よりも高い領域をヘッドライトに対応する光源領域として抽出する高輝度領域検出部102と、抽出された光源領域に基づき、画像において光源の中心位置に対応する光源中心を算出する光源中心算出部104と、光源中心の位置およびレンズの焦点距離に基づき、撮像部から計測対象車両までの距離を算出する実距離算出部105とを備える。
【選択図】図2
Description
こうしたシステムの実現形態として、車両に取り付けられた前方カメラから対向車両のヘッドライトを撮影し、ヘッドライトの間隔から自車と対向車両との距離を算出する装置が知られている(特許文献1)。
本発明にかかる車両システムは、上述する画像処理装置を搭載する計測車両と、当該計測車両の周囲を撮像する撮像部と、撮像部が撮影して得られた画像に基づき、当該計測車両に接近する計測対象車両と衝突する危険度を算出する危険度算出部と、危険度が所定の値以上である場合に、衝突を回避するように当該計測車両を制御する衝突回避部と、を備える。
以下、図1〜7を参照して、本発明にかかる画像処理装置の第1の実施の形態を説明する。
当該画像処理装置は、車道を走行する計測車両に搭載され、対向車両のヘッドライトから発せられる光を解析対象とする。第1の実施の形態では、対向車両を計測対象車両として、対向車両の備えるヘッドライトの間隔、および設置高さは全て既知の一定値として扱う。すなわち、第1の実施の形態では、全ての対向車両のヘッドライトの間隔は第1の既定値であり、全ての対向車両のヘッドライトの設置の高さは第2の既定値である。また、計測車両および対向車両が走行する車道は、走行方向および車幅方向に勾配がないものとする。
撮像部20は、レンズ21と撮像素子22とを備える。被写体から発せられた光がレンズ21を通過して撮像素子22に結像する。レンズ21の焦点距離fは、後述するように既知である。撮像素子22の大きさ、たとえば20mm×15mm、および画素数、たとえば2000画素×1500画素、は既知である。
報知部30は、ディスプレイおよびスピーカから構成される。報知部30は、画像処理装置10が出力する車両情報に基づいて、対向車両までの距離を、ディスプレイを用いた映像の表示、およびスピーカを用いた音声により、計測車両1のドライバーに報知する。
画像処理装置10は、CPU、RAM、およびROMから構成される。CPUが、ROMに格納されるプログラムをRAMに展開して実行する。実行される機能を細分化して説明する。図2を参照して画像処理装置10の機能を説明する。
図2は、画像処理装置10が備える機能を細分化し、機能ブロックとして表したブロック図である。画像処理装置10は、画像入力部101と、高輝度領域検出部102と、形状分類部103と、光源中心算出部104と、実距離算出部105と、光源間距離算出部106と、車両検出部107とを備える。
画像入力部101は、撮像部20から画像を取り込み、高輝度領域検出部102に出力する。すなわち、画像入力部101は、画像処理装置10の入力インタフェースである。
高輝度領域検出部102は、画像入力部101から出力された画像から輝度が所定値よりも高い、1または複数の画像上の領域(以後、高輝度領域、と呼ぶ)を抽出する。この高輝度領域は、ヘッドライトから発せられた光、およびそれ以外の光、たとえば街灯から発せられた光を含む領域である。すなわち、高輝度領域検出部102は、計測車両1の周囲に存在する様々な光源に対応する光源領域として、画像から高輝度領域を抽出する。高輝度領域検出部102は、ノイズを除去する棄却処理を行い、残った高輝度領域を形状分類部103に出力する。ただし、形状分類部103に出力する高輝度領域が、ヘッドライト以外から発せられた光により形成された可能性がある。
光源中心算出部104は、高輝度領域検出部102が検出したそれぞれの高輝度領域を対象として、形状分類部103の分類した形状に応じて、光源の中心位置に対応する光源中心を算出し、実距離算出部105に出力する。すなわち、高輝度領域検出部102が高輝度領域として抽出した各光源領域は、様々な光源から発せられた光によって形成されたものであるため、当該光源近傍の高い輝度を有する領域であると仮定できる。そのため、光源中心算出部104は、各高輝度領域(光源領域)の中で、当該光源の中心位置に対応する画像上の位置を光源中心として算出する。
光源間距離算出部106は、高輝度領域検出部102が検出した各高輝度領域について、当該高輝度領域とペアとなるべき高輝度領域の探索範囲を算出する。具体的には、光源間距離算出部106は、当該高輝度領域が対向車両に搭載された一対のヘッドライトの一方に対応する光源領域であると仮定した場合に、他方のヘッドライトに対応する光源領域が画像上で存在すべき範囲を、探索範囲として算出する。より具体的には、光源間距離算出部106は、光源中心算出部104が算出した各高輝度領域の光源中心を基準として、そこから一対のヘッドライトの間隔に対応する画像上の距離(以後、ヘッドライト画像間隔、と呼ぶ)を探索範囲として算出し、車両検出部107に出力する。すなわち、探索範囲は、対向車両に搭載された一対のヘッドライトの実空間上の設置間隔(以後、ヘッドライト実間隔、と呼ぶ)に基づいて算出される。
(高輝度領域検出部)
高輝度領域検出部102は、画像入力部101から出力された画像に対して、所定の輝度値を閾値として2値化処理を行う。この2値化処理により、複数の高輝度の領域と複数の低輝度の領域が生成される。しかし、2値化処理で生成された高輝度領域は、対向車両のヘッドライトにより生成された高輝度領域以外も含むため、以下の2つの棄却処理を行う。
高輝度領域検出部102は、棄却処理後の高輝度の領域を形状分類部103に出力する。
形状分類部103は、それぞれの高輝度領域の特徴量を算出し、その特徴量に基づいて領域形状を判断することで、各高輝度領域を光点・光線・混合の3つのいずれかの形状パターンに分類する。光点パターンとは円形の領域のことである。光線パターンとは、直線状や細い楕円状の領域のことである。混合パターンとは、光点と光線のパターンが組み合わさり、円形の領域と当該領域からはみ出す楕円形の領域をあわせた領域のことである。
図3(a)は、公道を走行する車両200と、そのヘッドライト201、およびヘッドライト202の位置の一例を示す図である。公道を走行する車両200は、法定基準を満たすようにヘッドライトをはじめとする灯火類を備える。車両200は、図3(a)のヘッドライト201、およびヘッドライト202のように、車両前面のある高さにおいて、左右の両端にヘッドライトを備える。画像処理装置10は、ヘッドライト201、およびヘッドライト202から照射された光を主な処理対象とする。
撮像部20による撮影時の周辺光条件や車両位置条件によっては、図3(b)、図3(c)、図3(d)の形状パターンに必ずしも完全一致しない可能性もある。その場合は、図3(b)、図3(c)、図3(d)のいずれかに最も近い形状パターンに分類する。
光源中心算出部104は、高輝度領域検出部102が検出したそれぞれの高輝度領域に対して、形状分類部103が出力する分類を用いて、画像上の光源中心を算出する。光源中心とは、光源であるヘッドライトの画像上の中心位置であり、高輝度領域検出部102が検出した全ての高輝度領域はヘッドライトが照射した光により形成されていると仮定して算出される。
光源中心算出部104は、高輝度領域の形状パターンが光線パターンの場合は、光源中心の検出は行わない。この場合、高輝度領域は、車両ヘッドライトや他の光源から生じたフレア、または車両ヘッドライトが路面に反射した細長い光などのノイズ光によって形成された可能性が高く、ヘッドライトの光源中心を含まないためである。
図4(a)は、高輝度領域の形状パターンが光点パターンの場合に検出される光源中心の例である。光点パターンは、光源からの光が光源周辺に放射状に広がった形状パターンである。そのため、高輝度領域の重心を算出し、これを光源中心とする。
実距離算出部105は、光源中心算出部104が検出したそれぞれの光源中心に対応する光源と、当該画像を撮影した撮像部20との実空間上の距離を算出する。距離算出の方法はカメラ幾何に基づく。
図5を用いて距離の算出手法を説明する。
図5は、撮像部20を構成する撮像素子22およびレンズ21と、光源との位置関係を示す側面図である。図5では、対向車両の光源の中心位置から発せられた光がレンズ21を通過し、撮像素子22の上に光源中心像を形成している。光源から発せられた光がレンズ21へ入射する入射角と、その光がレンズ21から撮像素子22に向かう出射角とが等しいので、三角形の相似によりレンズ21から光源までの距離Zは、以下の(式1)のように算出できる。
光源間距離算出部106は、各高輝度領域についてペアとなるべき高輝度領域の探索範囲として、1台の車両が備える左右のヘッドライトからの光を撮影した場合に形成される2つの光源領域同士の画像上の距離、すなわちヘッドライト画像間隔を算出する。具体的には、画像上のある高輝度領域(以後、注目領域、と呼ぶ)に注目した際に、注目領域とペアになる領域(以後、ペア領域、と呼ぶ)と注目領域との画像上の距離を算出する。
図6は、2つのヘッドライト間の実空間上の距離、すなわちヘッドライト実間隔と、2つのヘッドライトからの光により撮像素子上にそれぞれ結像される2つの結像点間の実空間上の距離(以下、ヘッドライト結像間隔、と呼ぶ)との関係を示す図である。図6に示すように、ヘッドライト結像間隔L、レンズ21の焦点距離f、レンズ21と光源との距離Z、ペアとなる2つの光源間の実空間上の距離であるヘッドライト実間隔W、の関係は式2により表される。なお、図6の右下にあるように、撮像素子22に結像した2つの結像点によるヘッドライト光の撮影像の画像上の間隔が、ヘッドライト画像間隔Pである。
さらに光源間距離算出部106は、既知である撮像素子22の大きさに基づき、算出したヘッドライト結像間隔Lを、ペアとなるべき高輝度領域の探索範囲としてのヘッドライト画像間隔Pに変換して車両検出部107に出力する。
車両検出部107は、光源間距離算出部106が算出したヘッドライト画像間隔Pを探索範囲として用いて、光源中心算出部104が光源中心を検出した全ての高輝度領域(光源領域)を対象としてペアとなる光源領域を探索し、ペアとして検出した光源領域に対して実距離算出部105が算出した距離を車両情報として出力する。
車両検出部107は、光源中心算出部104が検出した光源中心ごとに、光源間距離算出部106からヘッドライト画像間隔Pを受信する。車両検出部107は、基準とする光源中心を順番に変更し、以下の処理を行う。すなわち、それぞれの基準となる光源中心を起点として、その光源中心に対応するヘッドライト画像間隔Pから所定の誤差範囲内にある他の光源中心、すなわち所定の誤差を「σ」で表すと光源中心から距離「P±σ」に位置する他の光源中心を探索する。探索の結果、複数の光源中心が条件に合致した場合は、それらの光源中心ごとに以下の評価値を算出し、最大の評価値を有する光源中心をペアとなる光源中心とする。これにより、ペアとなる光源中心をそれぞれ含む一対の光源領域を特定する。
車両検出部107は、式1により算出されるペアとなる光源までの距離を報知部30に出力する。
画像処理装置10により実行されるプログラムの動作を、フローチャートを用いて説明する。
図7は、画像処理装置10により実行されるプログラムの動作を表すフローチャートである。フローチャートで表される動作の具体的な内容は、上述した各機能ブロックの動作内容である。図7により動作が表されるプログラムは、撮像部20から画像が入力されると動作が開始される。以下で説明する各ステップの実行主体は、画像処理装置10のCPUである。
ステップS702において、画像処理装置10は、高輝度領域検出部102の処理を実行し、高輝度領域を検出する。検出された領域を、画像の下方から順番に1、2、3、・・・と番号を付与し、領域の数、すなわち最後の領域の番号を画像処理装置10のRAMに保存する。次に、ステップS703に進む。
ステップS703において、画像処理装置10は、以後のステップS704〜S710において処理対象とする高輝度領域を、ステップS702において番号を付与した1番目の領域に設定しステップS704に進む。
ステップS705において、画像処理装置10は、ステップS704において形状分類部103の出力した分類が、光点パターン、混合パターン、光線パターン、のいずれであるかを判断する。光点パターンであると判断する場合はステップS706に進み、混合パターンであると判断する場合はステップS707に進み、光線パターンであると判断する場合はステップS710に進む。
ステップS707において、画像処理装置10は、処理対象の高輝度領域に対して、光源中心算出部104における混合パターンの光源中心を算出する方法を適用する。すなわち、その高輝度領域の重心を始点として円形のテンプレートマッチングを行い、一致度が最も高い位置を光源中心とする。次にステップS708に進む。
ステップS709において、画像処理装置10は、光源間距離算出部106の算出手法を用いて、撮像部20が出力する画像における、処理対象である光源中心からペアとなる光源中心を探索するための探索範囲、すなわちヘッドライト画像間隔Pを算出する。次にステップS710に進む。
(1)画像処理装置10は、レンズ21を備える撮像部20により計測対象車両である対向車両に搭載されたヘッドライトを含む被写体を撮影して得られた画像が入力される画像入力部101と、画像から輝度が所定値よりも高い領域をヘッドライトに対応する光源領域として抽出する高輝度領域検出部102と、抽出された光源領域に基づき、画像において光源の中心位置に対応する光源中心を算出する光源中心算出部104と、光源中心の位置およびレンズ21の焦点距離fに基づき、撮像部20から計測対象車両までの距離を算出する実距離算出部105と、を備える。
画像処理装置10をこのように構成したので、様々な車両について、その車両までの距離を算出できる。
(2)光源中心算出部104は、高輝度領域が光点パターンの場合は高輝度領域の重心点を光源中心とする。光源中心算出部104は、高輝度領域が混合パターンの場合は算出した重心位置を探索開始点として、高輝度領域近傍において、輝度が極大値を有する点を光源中心とする。
そのため、高輝度領域を形成する光を照射したヘッドライトの中心位置に対応する光源中心を正確に算出し、ヘッドライトを備える対向車両の位置を正確に算出できる。
そのため、撮像部20が撮影して得られた画像にフレアや路面反射が含まれていても、形状分類部103がフレアや路面反射による光源領域を光線パターンに分類し、光源中心が算出されない。すなわち、中心車両検出部107におけるペアとなる光源の探索対象とならないので、フレアや路面反射の光を対向車両であると誤認識することがない。
(1)第1の実施の形態では、画像処理装置10は、対向車両のヘッドライトからの光を主な処理対象としたが、車両の他の灯火を処理対象としてもよい。たとえば、対向車両の車幅灯やフォグライトを処理対象としてもよい。さらに、先行車両の灯火、すなわち計測車両1と同一方向に走行している車両のテールライトやブレーキライトを処理対象としてもよい。すなわち、画像処理装置10は、画像処理装置10を搭載した計測車両の周囲に存在する対向車両や先行車両などを計測対象車両として、その計測対象車両に搭載された様々な光源を処理対象として上記のような処理を行うことができる。
(4)光源中心検出部104は、画像がハイダイナミックレンジ画像で輝度値が飽和していない場合は、ミーンシフトに代表される山登り法によって輝度値の極大値を求め光源中心としてもよい。
(5)第1の実施の形態において、画像処理部10が備える各機能ブロックは全てソフトウェアにより実現されるとしたが、ハードウェアにより構成されてもよいし、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。
(7)撮像素子22の設置高さHCおよび姿勢(ロール角、ピッチ角、ヨー角)は、白線検知を応用した既知のオンラインキャリブレーション手法によって動的に求めてもよい。
第1の実施の形態では、画像処理装置10は、2つのヘッドライトを備える車両を検出するために、ペアとなる光源領域のみを検出し、計測車両1からそれらの光源領域に対応する光源までの距離を算出して報知部30に出力した。しかし、ペアを有さない光源領域であっても計測車両1からの距離を算出し、報知部30に出力してもよい。
たとえば、光源領域の大きさが規定値以上の場合は、1つの光源領域のみでも車両と判定してもよい。これは遠方でヘッドライトが結合して撮像されるケースや、二輪車で光源が1つしかないケースに相当する。
この変形例1によれば、ヘッドライト等の一対の光源を備えた車両に加えて、さらにバイクや自転車などの単光源を搭載した車両についても、撮像部20で撮影した画像からその車両を検出し、その車両までの距離を算出できる。
第1の実施の形態では、対向車両のヘッドライト実間隔Wおよび、ヘッドライト設置高さHLは既知でありいずれの対向車両も同一であると仮定した。しかし、様々なヘッドライト実間隔、およびヘッドライト設置高さに対応するために、以下のように変形してもよい。
前述のとおり、ヘッドライト結像間隔Lは、第1の実施の形態において示した式3により算出される。そして、撮像素子22の大きさとヘッドライト結像間隔Lに基づき、ヘッドライト画像間隔Pを算出する。
すなわち、第1の実施の形態における「P−σ」および「P+σ」が、本変形例の「P1」および「P2」に相当する。
この変形例2によれば、ヘッドライト実間隔Wおよびヘッドライト設置高さHCが一定ではなくとも、車両を検出できる。また、ペアとなるヘッドライトの対を検出したことにより、その車両のヘッドライト実間隔Wおよびヘッドライト設置高さHCの相関関係が明らかとなる。一般に、ヘッドライト実間隔Wが大きいほどヘッドライト設置高さHCも高いので、車両の種別を、二輪車、小型車、普通車、大型車のいずれであるかを特定できる。
ヘッドライト設置高さHC、およびヘッドライト実間隔Wは、計測車両1が走行する国または地域の法律などにしたがい、適宜変更してもよい。
第1の実施の形態では、検出対象であるヘッドライトを円形と仮定したが、異なる形状であってもよい。
図8は、撮像部20が撮影して得られた画像における、第1の実施の形態とは異なる高輝度領域の形状である。図8(a)は、ヘッドライトがL字の場合の例である。図8(b)は、レンズ21に水滴が付着してヘッドライトの光が拡散する場合の例である。図8(c)は路面が雨や融雪によって濡れ、ヘッドライトの光が路面反射をしている場合の例である。
いずれの例においても、ミーンシフトに代表される山登り法によって輝度値の極大値を求めるか、円形テンプレートマッチングによって同心円状の部位を検出するかにより、光源中心を検出することができる。
第1の実施の形態では、計測車両1および対向車両200が走行する車道は、走行方向および道幅方向に勾配がないものとしたが、走行方向に勾配があってもよい。
図9は、車道の走行方向に勾配がある場合の例を示している。
図9(a)に示す例は、対向車両200と計測車両1が走行方向にほぼ同一の勾配の路面に位置する例である。この場合は、特に補正する必要は無い。
図9(b)は、対向車両200と計測車両1が、勾配の異なる車道に位置する例である。この場合は、車道の平面仮定が崩れるため、車道の勾配を推定することで距離を補正する。具体的には、エッジ検出やカルマンフィルタを組み合わせた既知の手法で白線検知を行い、多項式回帰によって道路勾配を推定する。最後に、推定した勾配に応じて距離を補正する。
さらに、車道の道幅方向に勾配がある場合も、上記と同様に対処できる。
この変形例4によれば、勾配のある車道を走行している場合でも対向車両を検出し、その距離を算出することができる。
図10〜12を参照して、本発明にかかる車両システムの第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、画像処理装置10の出力に基づき計測車両1を制御する点で、第1の実施の形態と異なる。
画像処理装置10の車両追跡部112は、センサ入力部114を経由して、車載センサ41から計測車両1の車速度・操舵角が入力される。画像処理装置10の危険度算出部113は、ステアリング42と、アクセル43と、ブレーキ44とに、車両制御情報を出力し、計測車両1を制御する。すなわち計測車両1は、危険度算出部113の出力に基づき、速度および進行方向を変更して対向車両との衝突を回避する。
図11は、撮像部20を構成するカメラ20Aと、カメラ20Bと、カメラ20Cと、カメラ20Dと、の撮影範囲を示す図である。これらのカメラは広角レンズを備え、それぞれが約180度の視野を有する。カメラ20Aは、計測車両1の前方に取り付けられ、前方領域1200Aを撮影する。カメラ20Bは、計測車両1の左側面に取り付けられ、左側方領域1200Bを撮影する。カメラ20Cは、計測車両1の右側面に取り付けられ、右側方領域1200Cを撮影する。カメラ20Dは、計測車両1の後方に取り付けられ、後方領域1200Dを撮影する。前方領域1200Aと、左側方領域1200Bと、右側方領域1200Cと、後方領域1200Dとは、それぞれ重複がある。それぞれのカメラで撮影して得られた画像を合成すると、計測車両1の全周囲の画像が得られる。
図12は、画像処理装置10が備える機能を細分化し、機能ブロックとして表したブロック図である。
画像入力部101は、撮像部20の4つのカメラから取り込んだそれぞれの画像を、歪み補正部111に出力する。
歪み補正部111は、画像入力部101から入力された画像の歪みを補正し、高輝度領域検出部102に出力する。具体的には、カメラの外部パラメータ(回転・並進量)と内部パラメータ(焦点距離、光軸中心、水平垂直セルサイズなど)およびレンズ歪み係数を用いて、既知の方法により歪みの無い画像を生成する。
センサ入力部114は、車載センサ41から車速度および操舵角を取得し、車両追跡部112に出力する。
以上説明した第2の実施形態によれば、以下の作用効果を奏する。
そのため、時系列情報を使った誤差低減や欠損補間が可能となり、より好適な車両検出を実現することができる。撮像部20は計測車両1の全周囲を撮影できるので、他の車両と計測車両1の位置関係に関わらず、他の車両を継続的に追跡できる。
(2)画像処理装置10は、撮像部20が出力する画像の歪みを補正する歪み補正部111を備える。
そのため、レンズの歪みを考慮して対向車両の追跡や距離の算出をする場合に比べて、事前に歪みを補正することで処理負荷を軽減することができる。
そのため、車速度・操舵角情報を用いて計測車両1の挙動を求めることで、計測車両1が移動・旋回する場合でも、警報や制御が可能となる。
そのため、画像処理装置によって衝突の危険度を判定し、危険と判断されたタイミングで危険を回避する制御を行うことができ、計測車両1のドライバーの運転を支援できる。
第2の実施の形態では、撮像部20は4台のカメラから構成されたが、撮像部20の構成はこれに限定されない。前方や後方など、側方よりも優先度の高い方向を撮影するカメラのみを備えてもよい。撮像部20は、視野の狭いカメラを多数備えてもよい。その視野の狭いカメラは、バックミラー前方やサイドミラーなどに設置してもよい。
W … ヘッドライト実間隔
L … ヘッドライト結像間隔
P … ヘッドライト画像間隔
1 … 計測車両
10 … 画像処理装置
20 … 撮像部
21 … レンズ
22 … 撮像素子
30 … 報知部
101 … 画像入力部
102 … 高輝度領域検出部
103 … 形状分類部
104 … 光源中心算出部
105 … 実距離算出部
106 … 光源間距離算出部
107 … 車両検出部
Claims (10)
- レンズを備える撮像部により計測対象車両に搭載された光源を含む被写体を撮影して得られた画像が入力される画像入力部と、
前記画像から輝度が閾値よりも高い領域を前記光源に対応する光源領域として抽出する高輝度領域検出部と、
前記光源領域に基づき、前記画像において前記光源の中心位置に対応する光源中心を算出する光源中心算出部と、
前記光源中心の位置および前記レンズの焦点距離に基づき、前記撮像部から前記計測対象車両までの距離を算出する実距離算出部と、を備える画像処理装置。 - 請求項1に記載の画像処理装置において、
前記光源中心算出部は、前記光源領域の重心点、または、前記光源領域の近傍において輝度が極大値を有する点を前記光源中心とする、画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記高輝度領域検出部は、前記計測対象車両に搭載された一対の光源を含む複数の光源にそれぞれ対応する複数の光源領域を抽出し、
前記一対の光源の設置間隔に対応して予め設定された値、および前記光源中心の位置に基づき、前記高輝度領域検出部が検出した各光源領域について、当該光源領域とペアとなるべき他の光源領域の探索範囲を算出する光源間距離算出部と、
前記光源間距離算出部が算出した前記探索範囲に基づき、前記複数の光源領域の中から前記一対の光源に対応する一対の光源領域を探索し、その探索結果に基づいて前記計測対象車両を検出する車両検出部と、をさらに備える画像処理装置。 - 請求項3に記載の画像処理装置において、
前記車両検出部は、前記複数の光源領域の形状および幾何的関係に基づき、前記複数の光源領域についての評価値をそれぞれ算出し、算出した前記評価値および前記探索範囲に基づき、前記複数の光源領域の中から前記一対の光源に対応する一対の光源領域を探索する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記車両検出部が検出した前記計測対象車両を時系列で対応付けて追跡する車両追跡部をさらに備える画像処理装置。 - 請求項3に記載の画像処理装置において、
前記画像の歪みを補正する歪み補正部をさらに備える画像処理装置。 - 請求項5に記載の画像処理装置において、
前記撮像部は速度および操舵角を計測するセンサを備える計測車両に搭載され、
前記画像処理装置は、前記センサの出力を受けるセンサ入力部をさらに備え、
前記車両追跡部は、前記センサの出力に基づき前記計測車両の移動量および旋回量を算出し、算出した前記移動量と前記旋回量を用いて前記計測対象車両の追跡を行う画像処理装置。 - 請求項1に記載の画像処理装置において、
前記光源領域の形状を光点パターン・混合パターン・光線パターンのいずれかに分類する形状分類部をさらに備え、
前記光源中心算出部は、前記形状分類部により分類された前記光源領域の形状が前記光線パターンだった場合には当該光源領域の中心位置を算出しない、画像処理装置。 - 請求項1に記載の画像処理装置を搭載する計測車両と、
当該計測車両の周囲を撮像する撮像部と、
前記撮像部が撮影して得られた画像に基づき、当該計測車両に接近する前記計測対象車両と衝突する危険度を算出する危険度算出部と、
前記危険度が所定の値以上である場合に、衝突を回避するように当該計測車両を制御する衝突回避部と、を備える車両システム。 - 請求項9に記載の車両システムにおいて、
前記計測車両は、速度および操舵角を計測するセンサをさらに備え、
前記危険度算出部は、前記センサの出力に基づき前記計測車両の移動量および旋回量を算出し、前記撮像部が撮影して得られた画像、前記移動量、および前記旋回量に基づき当該計測車両に接近する前記計測対象車両と衝突する危険度を算出する、車両システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015019039A JP2016142647A (ja) | 2015-02-03 | 2015-02-03 | 画像処理装置、および車両システム |
PCT/JP2015/083905 WO2016125377A1 (ja) | 2015-02-03 | 2015-12-02 | 画像処理装置、および車両システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015019039A JP2016142647A (ja) | 2015-02-03 | 2015-02-03 | 画像処理装置、および車両システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016142647A true JP2016142647A (ja) | 2016-08-08 |
JP2016142647A5 JP2016142647A5 (ja) | 2017-08-24 |
Family
ID=56563734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015019039A Pending JP2016142647A (ja) | 2015-02-03 | 2015-02-03 | 画像処理装置、および車両システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2016142647A (ja) |
WO (1) | WO2016125377A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180182125A1 (en) * | 2016-12-27 | 2018-06-28 | Renesas Electronics Corporation | Method of determining focus lens position, control program for making computer execute the method, and imaging device |
JP2019021295A (ja) * | 2017-07-14 | 2019-02-07 | 富士通株式会社 | ターゲット検出方法、装置及び画像処理装置 |
WO2019044625A1 (ja) * | 2017-09-01 | 2019-03-07 | 株式会社村上開明堂 | 衝突予測装置、衝突予測方法及びプログラム |
JP2019078716A (ja) * | 2017-10-27 | 2019-05-23 | キヤノン株式会社 | 距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラム |
JP2019219838A (ja) * | 2018-06-19 | 2019-12-26 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
JP2020087476A (ja) * | 2018-11-29 | 2020-06-04 | メタル インダストリーズ リサーチ アンド ディベロップメント センター | 車両の全方位の障害物回避方法 |
JP2021525912A (ja) * | 2018-06-04 | 2021-09-27 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 周辺画像内の光源の位置座標の推定 |
JP2022028398A (ja) * | 2020-08-03 | 2022-02-16 | ダイハツ工業株式会社 | 車両識別装置 |
JP7431698B2 (ja) | 2020-08-20 | 2024-02-15 | 株式会社Subaru | 車外環境認識装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114838702B (zh) * | 2022-03-21 | 2024-08-09 | 浙江大华技术股份有限公司 | 距离测量方法、电子设备及存储介质 |
CN116353753A (zh) * | 2023-03-28 | 2023-06-30 | 广东宏远新科自动化技术开发有限公司 | 一种电动自行车的自动防撞辅助方法及其系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08166221A (ja) * | 1994-12-15 | 1996-06-25 | Nippondenso Co Ltd | 夜間用車両認識装置 |
JP2005092857A (ja) * | 2003-08-11 | 2005-04-07 | Hitachi Ltd | 画像処理システム及び車両制御システム |
JP2014013969A (ja) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | 環境認識装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101470806B (zh) * | 2007-12-27 | 2012-06-27 | 东软集团股份有限公司 | 车灯检测方法和装置、感兴趣区域分割方法和装置 |
JP4775391B2 (ja) * | 2008-03-18 | 2011-09-21 | 株式会社デンソー | 障害物検出装置 |
WO2013009697A1 (en) * | 2011-07-08 | 2013-01-17 | Bendix Commercial Vehicle Systems Llc | Image-based vehicle detection and distance measuring method and apparatus |
-
2015
- 2015-02-03 JP JP2015019039A patent/JP2016142647A/ja active Pending
- 2015-12-02 WO PCT/JP2015/083905 patent/WO2016125377A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08166221A (ja) * | 1994-12-15 | 1996-06-25 | Nippondenso Co Ltd | 夜間用車両認識装置 |
JP2005092857A (ja) * | 2003-08-11 | 2005-04-07 | Hitachi Ltd | 画像処理システム及び車両制御システム |
JP2014013969A (ja) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | 環境認識装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10600201B2 (en) * | 2016-12-27 | 2020-03-24 | Renesas Electronics Corporation | Method of determining focus lens position, control program for making computer execute the method, and imaging device |
US20180182125A1 (en) * | 2016-12-27 | 2018-06-28 | Renesas Electronics Corporation | Method of determining focus lens position, control program for making computer execute the method, and imaging device |
JP2019021295A (ja) * | 2017-07-14 | 2019-02-07 | 富士通株式会社 | ターゲット検出方法、装置及び画像処理装置 |
JP7114965B2 (ja) | 2017-07-14 | 2022-08-09 | 富士通株式会社 | ターゲット検出方法、装置及び画像処理装置 |
US11472404B2 (en) | 2017-09-01 | 2022-10-18 | Murakami Corporation | Collision prediction device, collision prediction method, and program |
WO2019044625A1 (ja) * | 2017-09-01 | 2019-03-07 | 株式会社村上開明堂 | 衝突予測装置、衝突予測方法及びプログラム |
JP7202304B2 (ja) | 2017-09-01 | 2023-01-11 | 株式会社村上開明堂 | 衝突予測装置、衝突予測方法及びプログラム |
JPWO2019044625A1 (ja) * | 2017-09-01 | 2020-12-03 | 株式会社村上開明堂 | 衝突予測装置、衝突予測方法及びプログラム |
JP2019078716A (ja) * | 2017-10-27 | 2019-05-23 | キヤノン株式会社 | 距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラム |
JP7057097B2 (ja) | 2017-10-27 | 2022-04-19 | キヤノン株式会社 | 距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラム |
JP7339967B2 (ja) | 2018-06-04 | 2023-09-06 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 周辺画像内の光源の位置座標の推定 |
JP2021525912A (ja) * | 2018-06-04 | 2021-09-27 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 周辺画像内の光源の位置座標の推定 |
JP7117169B2 (ja) | 2018-06-19 | 2022-08-12 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
JP2019219838A (ja) * | 2018-06-19 | 2019-12-26 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
US11468686B2 (en) | 2018-11-29 | 2022-10-11 | Metal Industries Research & Development Centre | Omnidirectional obstacle avoidance method for vehicles |
JP7061104B2 (ja) | 2018-11-29 | 2022-04-27 | メタル インダストリーズ リサーチ アンド ディベロップメント センター | 車両の全方位の障害物回避方法 |
CN111231830A (zh) * | 2018-11-29 | 2020-06-05 | 财团法人金属工业研究发展中心 | 移动载具全周障碍回避的方法 |
JP2020087476A (ja) * | 2018-11-29 | 2020-06-04 | メタル インダストリーズ リサーチ アンド ディベロップメント センター | 車両の全方位の障害物回避方法 |
JP2022028398A (ja) * | 2020-08-03 | 2022-02-16 | ダイハツ工業株式会社 | 車両識別装置 |
JP7431698B2 (ja) | 2020-08-20 | 2024-02-15 | 株式会社Subaru | 車外環境認識装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2016125377A1 (ja) | 2016-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016125377A1 (ja) | 画像処理装置、および車両システム | |
JP6254084B2 (ja) | 画像処理装置 | |
JP6540009B2 (ja) | 画像処理装置、画像処理方法、プログラム、画像処理システム | |
US9323992B2 (en) | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications | |
US11620837B2 (en) | Systems and methods for augmenting upright object detection | |
US9064418B2 (en) | Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system | |
JP2021192303A (ja) | ライダー支援システム及び方法 | |
JP6313646B2 (ja) | 外界認識装置 | |
US8848980B2 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
JP5637302B2 (ja) | 走行支援装置及びその隣接車両検出方法 | |
US20070221822A1 (en) | Headlight, Taillight And Streetlight Detection | |
JP2007300181A (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP5065172B2 (ja) | 車両灯火判定装置及びプログラム | |
JP2008304344A (ja) | 物標検出装置 | |
CN106461387B (zh) | 立体相机设备和设置有立体相机的车辆 | |
JP2010019589A (ja) | 車間距離検出装置、ドライブレコーダ装置 | |
US11176397B2 (en) | Object recognition device | |
JP2019146012A (ja) | 撮像装置 | |
JP2018073275A (ja) | 画像認識装置 | |
JP2011253222A (ja) | 前方領域検出装置及び車両制御装置 | |
JP2010041322A (ja) | 移動体識別装置、画像処理装置、コンピュータプログラム及び光軸方向特定方法 | |
JP2020201746A (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
JP2019061314A (ja) | 物体距離検出装置 | |
JP2006040029A (ja) | 障害物認識方法及び障害物認識装置 | |
KR101180676B1 (ko) | 차량의 영상인식 기반 상향등 자동 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170712 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170712 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181106 |