JP2014002577A - 車両周辺対象物検出装置 - Google Patents

車両周辺対象物検出装置 Download PDF

Info

Publication number
JP2014002577A
JP2014002577A JP2012137737A JP2012137737A JP2014002577A JP 2014002577 A JP2014002577 A JP 2014002577A JP 2012137737 A JP2012137737 A JP 2012137737A JP 2012137737 A JP2012137737 A JP 2012137737A JP 2014002577 A JP2014002577 A JP 2014002577A
Authority
JP
Japan
Prior art keywords
detection
area
vehicle
detection area
white line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012137737A
Other languages
English (en)
Other versions
JP6051608B2 (ja
Inventor
Keisuke Honda
圭助 本田
Hideto Kurimoto
英人 栗本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ichikoh Industries Ltd
Original Assignee
Ichikoh Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ichikoh Industries Ltd filed Critical Ichikoh Industries Ltd
Priority to JP2012137737A priority Critical patent/JP6051608B2/ja
Priority to US14/409,288 priority patent/US9367751B2/en
Priority to CN201380032143.4A priority patent/CN104380341B/zh
Priority to EP13806529.7A priority patent/EP2863361B1/en
Priority to PCT/JP2013/066331 priority patent/WO2013191078A1/ja
Publication of JP2014002577A publication Critical patent/JP2014002577A/ja
Application granted granted Critical
Publication of JP6051608B2 publication Critical patent/JP6051608B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】従来の車両周辺対象物検出装置では、検出処理時間が長い。
【解決手段】この発明は、撮像装置1と、画像処理装置3と、を備える。画像処理装置3は、検出エリア設定部6と、3つのエリア処理部7、8、9と、統合処理部10と、から構成されている。検出エリア設定部6は、撮像装置1が撮像した1フレームの画像Pにおいて大中小の3つの検出エリアA、B、Cに設定する。3つのエリア処理部7、8、9は、大中小の3つの検出エリアA、B、Cにおいてそれぞれパターンマッチングにより対象物の有無の検出処理を並行して同時に行う。統合処理部10は、複数のエリア処理部7、8、9によりそれぞれ検出処理された複数の検出結果を統合して出力する。この結果、この発明は、検出処理時間を短縮することができる。
【選択図】 図1

Description

この発明は、車両周辺画像に基づいて、車両周辺に対象物(他の車両や歩行者など)が有るか無いかを検出する車両周辺対象物検出装置に関するものである。
この種の車両周辺対象物検出装置は、従来からある(たとえば、特許文献1)。以下、従来の車両周辺対象物検出装置について説明する。
特許文献1の従来の車両周辺対象物検出装置は、1フレームの車両周辺画像において検出窓をスキャン(走査)させて、検出窓内の画像と基準画像とを比較して、車両周辺に対象物が有るか無いかを検出するものである。
特開2011−210087号公報
ところが、従来の車両周辺対象物検出装置は、検出窓を固定サイズとし、1フレームの車両周辺画像を複数段階に大きくしたりあるいは小さくしたりしてリサイズしながら、検出窓をスキャンさせるものであるから、検出処理時間が長い。
この発明が解決しようとする課題は、従来の車両周辺対象物検出装置では、検出処理時間が長いという点にある。
この発明(請求項1にかかる発明)は、車両の周辺を撮像する撮像装置と、撮像装置により撮像された車両の周辺の画像を処理して検出結果を出力する画像処理装置と、を備え、画像処理装置が、1フレームの画像において大小複数の検出エリアに設定する検出エリア設定部と、検出エリア設定部により設定された大小複数の検出エリアにおいてそれぞれパターンマッチングや特徴量(たとえば、Haar−Like(ハールライク)やHOGなど)を用いた物体検出方法により対象物の有無の検出処理を並行して同時に行う複数のエリア処理部と、複数のエリア処理部によりそれぞれ検出処理された複数の検出結果を統合して出力する統合処理部と、から構成されている、ことを特徴とする。
この発明(請求項2にかかる発明)は、大の検出エリアが車両の近傍のエリアであり、小の検出エリアが車両の遠方のエリアであり、大の検出エリアが小の検出エリアを包含する、ことを特徴とする。
この発明(請求項3にかかる発明)は、画像処理装置が、道路の白線の検出処理を行う白線検出処理部と、白線検出処理部において検出処理された白線に応じて、大の検出エリアを設定し、かつ、小の検出エリアを設定する検出エリア設定部と、複数のエリア処理部と、統合処理部と、から構成されている、ことを特徴とする。
この発明(請求項4にかかる発明)は、車両情報を検出する検出装置を備え、画像処理装置が、検出装置からの車両情報に基づいて車両の走行経路を推定する走行経路推定部と、大の検出エリアをデフォルトに設定し、かつ、走行経路推定部からの推定結果に基づいて、小の検出エリアを走行経路に応じて設定し、あるいは、小の検出エリアをデフォルトに設定する、検出エリア設定部と、複数のエリア処理部と、統合処理部と、から構成されている、ことを特徴とする。
この発明(請求項5にかかる発明)は、車両情報を検出する検出装置を備え、画像処理装置が、道路の白線の検出処理を行う白線検出処理部と、検出装置からの車両情報に基づいて車両の走行経路を推定する走行経路推定部と、白線検出処理部において検出処理された白線に応じて、大の検出エリアを設定し、かつ、小の検出エリアを設定し、または、白線検出処理部に基づいて大の検出エリアをデフォルトに設定し、かつ、走行経路推定部からの推定結果に基づいて、小の検出エリアを走行経路に応じて設定し、もしくは、小の検出エリアをデフォルトに設定する、検出エリア設定部と、複数のエリア処理部と、統合処理部と、から構成されている、ことを特徴とする。
この発明(請求項6にかかる発明)は、検出エリア設定部が設定する検出エリアが、大の検出エリアと、小の検出エリアと、大の検出エリアと小の検出エリアとの間に設定されている1つあるいは複数の中間の検出エリアと、からなる、ことを特徴とする。
この発明の車両周辺対象物検出装置は、1フレームの画像を大小複数の検出エリアに設定し、設定された大小複数の検出エリアにおいてそれぞれパターンマッチングにより対象物の有無の検出処理を並行して同時に行うので、1フレームの画像を1つの検出エリアとして検出処理を行う場合と比較して、検出処理時間を短縮することができる。
図1は、この発明にかかる車両周辺対象物検出装置の実施形態を示す全体構成の機能ブロック図である。 図2は、車両の右後方の1フレームの画像を大小3つの検出エリアに設定した状態を示す説明図である。 図3は、1フレームの画像に設定された大小3つの検出エリアを示す説明図である。 図4は、大小3つの各検出エリアにおけるパターンマッチングの検出処理を同時に行っている状態を示す説明図である。 図5は、パターンマッチングの検出処理の結果を示す説明図である。 図6は、作用を示すフローチャートである。
以下、この発明にかかる車両周辺対象物検出装置の実施形態(実施例)の1例を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。この明細書および特許請求の範囲において、前、後、上、下、左、右は、この発明にかかる車両周辺対象物検出装置を車両Dに搭載した際の車両Dの前、後、上、下、左、右である。
(実施形態の構成の説明)
以下、この実施形態にかかる車両周辺対象物検出装置の構成について説明する。この実施形態にかかる車両周辺対象物検出装置は、図1に示すように、撮像装置(カメラ)1と、検出装置2と、画像処理装置(画像処理ECU)3と、を備えるものである。
(撮像装置1の説明)
前記撮像装置1は、車両Dの左右両側に搭載されている。たとえば、前記車両Dの左右のドアに装備されているアウトサイドミラー装置たとえばドアーミラー装置(図示せず)のミラーベースに、もしくは、前記車両Dの車体に、搭載されている。
以下、前記車両Dの右側に搭載されている前記撮像装置1について説明する。なお、前記車両Dの左側に搭載されている前記撮像装置1は、前記車両Dの右側に搭載されている前記撮像装置1とほぼ同様の構成をなし、かつ、前記車両Dの右側に搭載されている前記撮像装置1の撮像画像とほぼ左右対称の撮像画像であるから、説明を省略する。
前記撮像装置1は、前記画像処理装置3に接続されている。前記撮像装置1は、前記車両Dの周辺、この例では、図2、図3に示すように、後側方(後右側)の情報を撮像し、撮像した車両周辺の情報を画像データ(図2、図3参照)として前記画像処理装置3に出力するものである。
(検出装置2の説明)
前記検出装置2は、前記画像処理装置3に接続されている。前記検出装置2は、前記車両D(以下、「自車両D」と称する場合がある)の走行経路を推定するために必要である前記車両Dの情報を検出し、検出した車両情報を検出信号として前記画像処理装置3に出力するものである。前記検出装置2としては、車速センサ(図示せず)、操舵角センサ(図示せず)、ヨーレートセンサ(図示せず)、加速度センサ(図示せず)を単独でもしくは複数の組み合わせで使用する。
(画像処理装置3の説明)
前記画像処理装置3は、前記撮像装置1、前記検出装置2にそれぞれ接続されている。前記画像処理装置3は、前記撮像装置1により撮像された前記車両Dの周辺の画像Pにおいて、対象物である他車両Eの有無を検出処理してその検出処理結果を出力するものである。
前記画像処理装置3は、図1に示すように、白線検出処理部4と、走行経路推定部5と、検出エリア設定部6と、複数この例では3つのエリア処理部(エリアA処理部(近傍)7、エリアB処理部(中間)8、エリアC処理部(遠方)9)と、統合処理部10と、から構成されている。
前記白線検出処理部4は、道路の白線11の検出処理を行うものである。すなわち、前記白線検出処理部4は、前記撮像装置1からの前記画像Pを各画素の輝度について所定の閾値により明暗二値化し、この二値化データに基づき、明を白として白線11を検出する。前記白線検出処理部4は、白線11の検出処理の結果(たとえば、白線11有、もしくは、白線11無)を前記検出エリア設定部6に出力する。
図2において、実線で示す白線11は、曲路に沿った白線である。図2において、破線で示す白線11は、直線路に沿った白線である。図2に示すように、曲路の白線11と直線路の白線11との間は、前記車両Dの後方(遠方)に行くほど、広がる。なお、図3における白線11は、直線路に沿った白線である。
前記走行経路推定部5は、前記検出装置2からの前記車両情報に基づいて前記車両Dの走行経路を推定するものである。すなわち、前記走行経路推定部5は、前記車両Dが、直線路を走行しているのか、曲路を走行しているのか、交差点を左折右折しているのかを推定するものである。
たとえば、前記走行経路推定部5は、前記車速センサの検出信号の車速が閾値以上であり、かつ、前記操舵角センサの検出信号の操舵角が第1閾値未満である場合には前記車両Dの走行路を直線路と推定し、また、前記車速センサの検出信号の車速が閾値以上であり、かつ、前記操舵角センサの検出信号の操舵角が第1閾値以上第2閾値未満である場合には前記車両Dの走行路を曲路と推定し、さらに、前記車速センサの検出信号の車速が閾値未満であり、かつ、前記操舵角センサの検出信号の操舵角が第2閾値以上である場合には前記車両Dの走行路を交差点と推定するものである。なお、前記車速センサの検出信号および前記操舵角センサの検出信号の前記車両Dの情報に、前記ヨーレートセンサの検出信号および前記加速度センサの検出信号の前記車両Dの情報を、追加しても良い。
ここで、図2、図3に示すように、前記撮像装置1により前記自車両Dの後側方(後右側)を撮像した場合において、図3の前記画像Pに示すように、対象物としての前記他車両Eが前記自車両Dに近いほど大きく左下側に撮像され、前記他車両Eが前記自車両Dから遠いほど小さく右上側に撮像される。この結果、前記自車両Dと前記他車両Eとの相対距離により、前記他車両Eが撮像されている大きさと場所とは、ある程度特定することができる。このために、パターンマッチングを行う場合において、前記他車両Eをスキャンする検出枠(検出窓、検出ウインドウ)A1〜AN、B1〜BN、C1〜CNの大きさと、前記他車両Eをスキャンする検出エリアA、B、Cとを、前記自車両Dと前記他車両Eとの相対距離別に、複数分割することができる。
前記検出エリア設定部6は、図2、図3に示すように、前記撮像装置1から1フレームの前記画像Pにおいて大小複数この例では3つの大、中、小の前記検出エリアA、B、Cに設定するものである。
大(最大)の前記検出エリアAは、前記車両Dに対して最近傍エリアであり、小(最小)の前記検出エリアCは、前記車両Dに対して最遠方エリアであり、中の前記検出エリアBは、大の前記検出エリアAと小の前記検出エリアCとの中間エリアである。大の前記検出エリアAは、中の前記検出エリアBおよび小の前記検出エリアCを包含する。中の前記検出エリアBは、小の前記検出エリアCを包含する。
前記検出エリア設定部6は、前記白線検出処理部4において検出処理された前記白線11に応じて、また、前記走行経路推定部5からの推定結果に基づいて、大、中、小の前記検出エリアA、B、Cを設定するものである。
前記白線検出処理部4において前記白線11が検出される場合には、大の前記検出エリアAの外側垂直線は、前記白線11上、もしくは、前記白線11に基づいた位置に設定される。なお、大の前記検出エリアAの内側垂直線は、固定設定されている。また、小の前記検出エリアCの外側垂直線および内側垂直線は、前記白線11上、もしくは、前記白線11に基づいた位置に設定される。このために、大の前記検出エリアAの外側垂直線、また、小の前記検出エリアCの外側垂直線および内側垂直線は、前記白線11に基づいて、変化する。この結果、曲路の白線11と直線路の白線11との間が前記車両Dの後方(遠方)に行くほど広がっても問題がない。すなわち、前記車両Dが走行する道路が曲路であっても直線路であっても、大小の前記検出エリアA、Cを曲路や直線路に合わせて設定することができる。なお、小の前記検出エリアCの内側垂直線は、大の前記検出エリアAの内側垂直線よりも内側に常時位置していて、小の前記検出エリアCは、大の前記検出エリアA中に包含されている。中の前記検出エリアBは、大の前記検出エリアA中に包含されていて、かつ、小の前記検出エリアCを中に包含する。
前記白線検出処理部4において前記白線11が検出されない場合には、大の前記検出エリアAは、デフォルト(デフォルト値)に設定される。また、小の前記検出エリアCは、走行経路に応じて設定され、あるいは、デフォルト(デフォルト値)に設定される。なお、大の前記検出エリアAのデフォルト(デフォルト値)、小の前記検出エリアCのデフォルト(デフォルト値)は、最適化された固定値である。小の前記検出エリアCは、走行経路に応じて変化する。この結果、前記車両Dが走行する道路が曲路であっても直線路であっても、大小の前記検出エリアA、Cを設定することができる。なお、小の前記検出エリアCは、大の前記検出エリアA中に包含されている。中の前記検出エリアBは、大の前記検出エリアA中に包含されていて、かつ、小の前記検出エリアCを中に包含する。
3つの前記検出エリアA、B、Cの上側水平線および下側水平線は、内外両側垂直線に基づいて適宜のアスペクト比で設定されている。中の前記検出エリアBは、大の前記検出エリアAおよび小の前記検出エリアCに応じて均等分配に設定され、あるいは、適宜に設定されている。
3つの前記エリア処理部7、8、9は、前記検出エリア設定部6により設定された3つの前記検出エリアA、B、Cにおいてそれぞれパターンマッチングにより対象物である前記他車両Eの有無の検出処理を並行して同時に行うものである。
大の前記検出エリアAをスキャンする前記エリア処理部7は、大の前記検出エリアAに見合った大きさの複数の前記検出枠A1〜ANにより、図4(A)中の実線矢印および破線矢印に示すように、1フレームの前記画像Pの大の前記検出エリアAをスキャンして前記他車両Eの有無の検出処理を行う。
中の前記検出エリアBをスキャンする前記エリア処理部8は、中の前記検出エリアBに見合った大きさの複数の前記検出枠B1〜BNにより、図4(B)中の実線矢印および破線矢印に示すように、1フレームの前記画像Pの中の前記検出エリアBをスキャンして前記他車両Eの有無の検出処理を行う。
小の前記検出エリアCをスキャンする前記エリア処理部9は、小の前記検出エリアCに見合った大きさの複数の前記検出枠C1〜CNにより、図4(C)中の実線矢印および破線矢印に示すように、1フレームの前記画像Pの小の前記検出エリアCをスキャンして前記他車両Eの有無の検出処理を行う。
3つの前記エリア処理部7、8、9の検出処理は、図5に示すように、スキャンされた検出枠中の画像12の特徴点と、学習された基準画像13の特徴点とを比較して、一致する特徴点が閾値を超えた場合は、一致(図5中の○印参照)として、他車両E有の検出結果を出力する。一方、一致する特徴点が閾値を超えない場合は、不一致(図5中の×印参照)として、他車両E無の検出結果を出力する。
前記統合処理部10は、3つの前記エリア処理部7、8、9によりそれぞれ検出処理された3つの検出結果を統合して出力するものである。すなわち、前記統合処理部10は、3つの検出結果である対象物の前記他車両Eの有無を他の装置、たとえば、警報装置(図示せず)や表示装置(図示せず)に出力するものである。前記警報装置は、前記他車両Eがある場合には、警報を出力し、前記表示装置は、前記他車両Eがある場合には、前記他車両Eを表示する。
(実施形態の作用の説明)
この実施形態にかかる車両周辺対象物検出装置は、以上のごとき構成からなり、以下、その作用について図6のフローチャートを参照して説明する。
まず、イグニションスイッチ(図示せず)をONすることにより、スタートとなる。このとき、撮像装置1は、車両(自車両)Dの周辺(後側方)を撮像してその画像Pを画像処理装置3の白線検出処理部4と3つのエリア処理部7、8、9とにそれぞれ出力する。また、検出装置2は、車両(自車両)Dの情報を検出してその検出信号を画像処理装置3の走行経路推定部5に出力する。
ここで、画像処理装置3の白線検出処理部4は、撮像装置1からの画像Pに基づいて、白線11の検出処理を行い、その検出処理の結果を検出エリア設定部6に出力する(白線検出処理 S1)。
検出エリア設定部6は、白線検出処理部4からの検出処理結果に基づいて、白線11を検出できたか否かを判定する(白線検出できたか? S2)。
白線11が検出された場合、検出エリア設定部6は、白線11に応じて大の検出エリアAを設定する(白線に応じて最近傍検出エリア設定 S3)。また、検出エリア設定部6は、白線11に応じて小の検出エリアCを設定する(白線に応じて最遠方検出エリア設定 S4)。さらに、検出エリア設定部6は、大の検出エリアAおよび小の検出エリアCに応じて中の検出エリアBを設定する(最近傍、最遠方検出エリアに応じて中間検出エリア設定 S5)。
エリアA処理部7は、図4(A)に示すように、撮像装置1からの1フレームの画像Pにおいて、検出エリア設定部6により設定された大の検出エリアAを、複数の検出枠A1〜ANによりスキャンして他車両Eの有無の検出処理を行い、その検出処理の結果を統合処理部10に出力する(最近傍エリア検出処理 S6)。
エリアC処理部9は、図4(C)に示すように、撮像装置1からの1フレームの画像Pにおいて、検出エリア設定部6により設定された小の検出エリアCを、複数の検出枠C1〜CNによりスキャンして他車両Eの有無の検出処理を行い、その検出処理の結果を統合処理部10に出力する(最遠方エリア検出処理 S7)。
エリアB処理部8は、図4(B)に示すように、撮像装置1からの1フレームの画像Pにおいて、検出エリア設定部6により設定された中の検出エリアBを、複数の検出枠B1〜BNによりスキャンして他車両Eの有無の検出処理を行い、その検出処理の結果を統合処理部10に出力する(中間エリア検出処理 S8)。
エリアA処理部7の最近傍エリア検出処理S6と、エリアC処理部9の最遠方エリア検出処理S7と、エリアB処理部8の中間エリア検出処理S8とは、並行して同時に行われる。3つのエリア処理部7、8、9は、図5に示すように、スキャンされた検出枠中の画像12の特徴点と、学習された基準画像13の特徴点とを比較して、一致する特徴点が閾値を超えた場合は、一致(図5中の○印参照)として、他車両E有の検出結果を出力する。一方、一致する特徴点が閾値を超えない場合は、不一致(図5中の×印参照)として、他車両E無の検出結果を出力する。
統合処理部10は、エリアA処理部7の最近傍エリア検出処理の結果と、エリアC処理部9の最遠方エリア検出処理の結果と、エリアB処理部8の中間エリア検出処理の結果と、を統合して、対象物の他車両Eの有無を他の装置の警報装置や表示装置に出力して、前記の(S1)に戻る(検出結果統合出力 S9)。
前記の(S2)において、白線11が検出されなかった場合、検出エリア設定部6は、大の検出エリアAをデフォルトに設定する(最近傍検出エリアをデフォルトに設定 S10)。
つぎに、走行経路推定部5は、検出装置2からの車両情報に基づいて、自車両Dが走行している道路が直線路か曲路か交差点かの推定処理を行い、その推定処理の結果を検出エリア設定部6に出力する(車両走行経路推定処理 S11)。
検出エリア設定部6は、走行経路推定部5からの推定処理結果に基づいて、走行経路が推定できたか否かを判定する(走行経路推定できたか? S12)。
走行経路が推定できた場合、検出エリア設定部6は、走行経路に応じて小の検出エリアCを設定する(走行経路に応じて最遠方検出エリア設定 S13)。また、検出エリア設定部6は、前記の(S5)を行う。
つぎに、エリアA処理部7は、前記の(S6)を、エリアC処理部9は、前記の(S7)を、エリアB処理部8は、前記の(S8)を、並行して同時に行う。また、統合処理部10は、前記の(S9)を行って、前記の(S1)に戻る。
前記の(S12)において、走行経路が推定できなかった場合、検出エリア設定部6は、小の検出エリアCをデフォルトに設定する(最遠方検出エリアをデフォルトに設定 S14)。また、検出エリア設定部6は、前記の(S5)を行う。
つぎに、エリアA処理部7は、前記の(S6)を、エリアC処理部9は、前記の(S7)を、エリアB処理部8は、前記の(S8)を、並行して同時に行う。また、統合処理部10は、前記の(S9)を行って、前記の(S1)に戻る。
(実施形態の効果の説明)
この実施形態にかかる車両周辺対象物検出装置は、以上のごとき構成および作用からなり、以下、その効果について説明する。
この実施形態にかかる車両周辺対象物検出装置は、1フレームの画像Pを3つの検出エリアA、B、Cに設定し、設定された3つの検出エリアA、B、Cにおいてそれぞれパターンマッチングにより対象物の他車両Eの有無の検出処理を行うので、1フレームの画像を1つの検出エリアとして検出処理を行う場合、たとえば、図4(A)に示す大の検出エリアAを、複数の検出枠A1〜AN、B1〜BN、C1〜CNにより、スキャンする場合と比較して、検出時間を短縮することができる。
この実施形態にかかる車両周辺対象物検出装置は、大の検出エリアAが中の検出エリアBおよび小の検出エリアCを包含し、かつ、中の検出エリアBが小の検出エリアCを包含する。この結果、対象物の他車両Eが大の検出エリアA、中の検出エリアB、小の検出エリアCのいずれか1つのエリアに属することとなり、他車両Eの検出精度を向上させることができる。
この実施形態にかかる車両周辺対象物検出装置は、画像処理装置3の白線検出処理部4が白線11を検出処理し、画像処理装置3の検出エリア設定部6が検出処理された白線11に応じて3つの検出エリアA、B、Cを設定するものである。このために、3つの検出エリアA、B、Cを確実に設定することができ、他車両Eの検出精度を向上させることができる。
この実施形態にかかる車両周辺対象物検出装置は、画像処理装置3の走行経路推定部5が検出装置2からの車両情報に基づいて自車両Dの走行経路を推定し、画像処理装置3の検出エリア設定部6が推定された自車両Dの走行経路に応じて3つの検出エリアA、B、Cを設定するものである。このために、3つの検出エリアA、B、Cを確実に設定することができ、他車両Eの検出精度を向上させることができる。
この実施形態にかかる車両周辺対象物検出装置は、検出エリア設定部6が設定する検出エリアが、大の検出エリアAと、小の検出エリアCと、大の検出エリアAと小の検出エリアCとの間に設定されている中間の検出エリアBと、からなる。この結果、検出時間をさらに短縮することができ、かつ、検出精度をさらに向上させることができる。
(実施形態以外の例の説明)
なお、前記の実施形態においては、自車両Dの後側方における対象物である他車両Eの有無を検出するものである。ところが、この発明においては、車両(自車両D)の前方における対象物(たとえば、歩行者、自転車、他車両)の有無を検出するものであっても良い。
また、前記の実施形態においては、大の検出エリアAと小の検出エリアCとの間に1つの中間の検出エリアBを設定するものである。ところが、この発明においては、中間の検出エリアを設定しなくても良いし、また、複数の中間の検出エリアを設定しても良い。複数の中間の検出エリアを設定する場合においては、遠方のほうが距離の変化による対象物の面積の変化が小さいので、遠方のほうを密になるように設定しても良い。中間の検出エリアの設定は、検出時間の短縮化および検出精度の向上と、製造コストとの兼ね合いで設定する。
さらに、前記の実施形態においては、画像処理装置3の白線検出処理部4が白線11を検出処理し、画像処理装置3の走行経路推定部5が検出装置2からの車両情報に基づいて自車両Dの走行経路を推定し、画像処理装置3の検出エリア設定部6が検出処理された白線11および推定された走行経路に応じて3つの検出エリアA、B、Cを設定するものである。ところが、この発明においては、画像処理装置3の白線検出処理部4が白線11を検出処理し、画像処理装置3の検出エリア設定部6が検出処理された白線11に応じて複数の検出エリアを設定するものであっても良いし、または、画像処理装置3の走行経路推定部5が検出装置2からの車両情報に基づいて自車両Dの走行経路を推定し、画像処理装置3の検出エリア設定部6が推定された走行経路に応じて複数の検出エリアを設定するものであっても良い。
さらにまた、前記の実施形態においては、3つのエリア処理部7、8、9が、図4(A)、(B)、(C)に示すように、検出エリアA、B、Cに見合った大きさの複数の検出枠A1〜AN、B1〜BN、C1〜CNにより、1フレームの画像Pの検出エリアA、B、Cをスキャンして他車両Eの有無の検出処理を並行して同時に行うものである。ところが、この発明においては、複数のエリア処理部が特許文献1の対象物の有無の検出処理を並行して同時に行っても良い。すなわち、1フレームの画像Pの検出エリアA、B、Cを複数段階に大きくしたりあるいは小さくしたりしてリサイズしながら、サイズが固定された検出枠(たとえば、A1、B1、C1)をスキャンさせて、他車両Eの有無の検出処理を並行して同時に行っても良い。
さらにまた、前記の実施形態においては、撮像装置1を車両Dの左右両側、たとえば、車両Dの左右のドアに装備されているアウトサイドミラー装置のミラーベースに、もしくは、車両Dの車体に、搭載されている。ところが、この発明においては、撮像装置1を搭載する位置を特に限定しない。
1 撮像装置
2 検出装置
3 画像処理装置
4 白線検出処理部
5 走行経路推定部
6 検出エリア設定部
7 エリアA処理部
8 エリアB処理部
9 エリアC処理部
10 統合処理部
11 白線
12 検出枠中の画像
13 基準画像
A 大の検出エリア
B 中の検出エリア
C 小の検出エリア
D 車両(自車両)
E 他車両
P 画像

Claims (6)

  1. 車両の周辺の対象物の有無を検出する装置であって、
    前記車両の周辺を撮像する撮像装置と、
    前記撮像装置により撮像された前記車両の周辺の画像を処理して検出結果を出力する画像処理装置と、
    を備え、
    前記画像処理装置は、1フレームの前記画像において大小複数の検出エリアに設定する検出エリア設定部と、前記検出エリア設定部により設定された大小複数の前記検出エリアにおいてそれぞれパターンマッチングにより対象物の有無の検出処理を並行して同時に行う複数のエリア処理部と、複数の前記エリア処理部によりそれぞれ検出処理された複数の検出結果を統合して出力する統合処理部と、から構成されている、
    ことを特徴とする車両周辺対象物検出装置。
  2. 大の前記検出エリアは、前記車両の近傍のエリアであり、
    小の前記検出エリアは、前記車両の遠方のエリアであり、
    大の前記検出エリアは、小の前記検出エリアを包含する、
    ことを特徴とする請求項1に記載の車両周辺対象物検出装置。
  3. 前記画像処理装置は、
    道路の白線の検出処理を行う白線検出処理部と、
    前記白線検出処理部において検出処理された前記白線に応じて、大の前記検出エリアを設定し、かつ、小の前記検出エリアを設定する前記検出エリア設定部と、
    複数の前記エリア処理部と、
    前記統合処理部と、
    から構成されている、
    ことを特徴とする請求項1または2に記載の車両周辺対象物検出装置。
  4. 車両情報を検出する検出装置を備え、
    前記画像処理装置は、
    前記検出装置からの前記車両情報に基づいて前記車両の走行経路を推定する走行経路推定部と、
    大の前記検出エリアをデフォルトに設定し、かつ、前記走行経路推定部からの推定結果に基づいて、小の前記検出エリアを走行経路に応じて設定し、あるいは、小の前記検出エリアをデフォルトに設定する、前記検出エリア設定部と、
    複数の前記エリア処理部と、
    前記統合処理部と、
    から構成されている、
    ことを特徴とする請求項1または2に記載の車両周辺対象物検出装置。
  5. 車両情報を検出する検出装置を備え、
    前記画像処理装置は、
    道路の白線の検出処理を行う白線検出処理部と、
    前記検出装置からの前記車両情報に基づいて前記車両の走行経路を推定する走行経路推定部と、
    前記白線検出処理部において検出処理された前記白線に応じて、大の前記検出エリアを設定し、かつ、小の前記検出エリアを設定し、または、前記白線検出処理部に基づいて大の前記検出エリアをデフォルトに設定し、かつ、前記走行経路推定部からの推定結果に基づいて、小の前記検出エリアを走行経路に応じて設定し、もしくは、小の前記検出エリアをデフォルトに設定する、前記検出エリア設定部と、
    複数の前記エリア処理部と、
    前記統合処理部と、
    から構成されている、
    ことを特徴とする請求項1または2に記載の車両周辺対象物検出装置。
  6. 前記検出エリア設定部が設定する前記検出エリアは、大の前記検出エリアと、小の前記検出エリアと、大の前記検出エリアと小の前記検出エリアとの間に設定されている1つあるいは複数の中間の検出エリアと、からなる、
    ことを特徴とする請求項1〜5のいずれか1項に記載の車両周辺対象物検出装置。
JP2012137737A 2012-06-19 2012-06-19 車両周辺対象物検出装置 Active JP6051608B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012137737A JP6051608B2 (ja) 2012-06-19 2012-06-19 車両周辺対象物検出装置
US14/409,288 US9367751B2 (en) 2012-06-19 2013-06-13 Object detection device for area around vehicle
CN201380032143.4A CN104380341B (zh) 2012-06-19 2013-06-13 车辆周边对象物检测装置
EP13806529.7A EP2863361B1 (en) 2012-06-19 2013-06-13 Object detection device for area around vehicle
PCT/JP2013/066331 WO2013191078A1 (ja) 2012-06-19 2013-06-13 車両周辺対象物検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012137737A JP6051608B2 (ja) 2012-06-19 2012-06-19 車両周辺対象物検出装置

Publications (2)

Publication Number Publication Date
JP2014002577A true JP2014002577A (ja) 2014-01-09
JP6051608B2 JP6051608B2 (ja) 2016-12-27

Family

ID=49768675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012137737A Active JP6051608B2 (ja) 2012-06-19 2012-06-19 車両周辺対象物検出装置

Country Status (5)

Country Link
US (1) US9367751B2 (ja)
EP (1) EP2863361B1 (ja)
JP (1) JP6051608B2 (ja)
CN (1) CN104380341B (ja)
WO (1) WO2013191078A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104401261A (zh) * 2014-11-24 2015-03-11 上海大众汽车有限公司 汽车前方盲区探测系统及其探测方法
CN106183989A (zh) * 2014-12-10 2016-12-07 Lg电子株式会社 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012264A (ja) * 2014-06-30 2016-01-21 本田技研工業株式会社 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
CN108475471B (zh) * 2016-01-26 2020-12-18 三菱电机株式会社 车辆判定装置、车辆判定方法和计算机可读的记录介质
WO2017145605A1 (ja) * 2016-02-22 2017-08-31 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US11702008B2 (en) * 2018-05-22 2023-07-18 Misato Industries Co., Ltd. Vehicle outer mirror device, vehicle outer mirror system, and method for controlling vehicle outer mirror device
CN112767723B (zh) * 2019-11-05 2022-04-22 深圳市大富科技股份有限公司 路况检测方法、计算机存储设备、车载终端和车辆
US12125290B2 (en) 2020-04-28 2024-10-22 Moj.Io, Inc. Vehicle system with a safety mechanism and method of operation thereof
JP7318609B2 (ja) * 2020-08-06 2023-08-01 トヨタ自動車株式会社 車載検出装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337938A (ja) * 1993-03-31 1994-12-06 Fujitsu Ltd 画像処理装置及び距離測定装置
JP2000315255A (ja) * 1999-03-01 2000-11-14 Yazaki Corp 車両用後側方監視装置及び車両用後側方監視警報装置
JP2002140706A (ja) * 2000-11-01 2002-05-17 Mitsubishi Heavy Ind Ltd 画像識別装置および画像データ処理装置
JP2008257378A (ja) * 2007-04-03 2008-10-23 Honda Motor Co Ltd 物体検出装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69330513D1 (de) * 1992-03-20 2001-09-06 Commw Scient Ind Res Org Gegenstands-überwachungsystem
US6430303B1 (en) 1993-03-31 2002-08-06 Fujitsu Limited Image processing apparatus
US6292111B1 (en) 1999-03-01 2001-09-18 Yazaki Corporation Vehicle-applied rear-and-side monitoring system and vehicle-applied rear-and-side monitoring and alarming system
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
JP3952305B2 (ja) * 2004-02-06 2007-08-01 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
CN101016052A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防车道偏离预警方法和系统
US8509480B2 (en) * 2007-03-22 2013-08-13 Nec Corporation Mobile detector, mobile detecting program, and mobile detecting method
CN101216892B (zh) * 2008-01-11 2010-10-27 长安大学 线阵ccd摄像机序列图像灰度特征识别车辆存在的方法
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
JP2011210087A (ja) 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
KR101237970B1 (ko) * 2011-01-17 2013-02-28 포항공과대학교 산학협력단 영상 감시 시스템, 및 이의 방치 및 도난 검출 방법
JP5907593B2 (ja) * 2011-09-13 2016-04-26 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337938A (ja) * 1993-03-31 1994-12-06 Fujitsu Ltd 画像処理装置及び距離測定装置
JP2000315255A (ja) * 1999-03-01 2000-11-14 Yazaki Corp 車両用後側方監視装置及び車両用後側方監視警報装置
JP2002140706A (ja) * 2000-11-01 2002-05-17 Mitsubishi Heavy Ind Ltd 画像識別装置および画像データ処理装置
JP2008257378A (ja) * 2007-04-03 2008-10-23 Honda Motor Co Ltd 物体検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104401261A (zh) * 2014-11-24 2015-03-11 上海大众汽车有限公司 汽车前方盲区探测系统及其探测方法
CN106183989A (zh) * 2014-12-10 2016-12-07 Lg电子株式会社 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法

Also Published As

Publication number Publication date
US20150169969A1 (en) 2015-06-18
WO2013191078A1 (ja) 2013-12-27
JP6051608B2 (ja) 2016-12-27
EP2863361B1 (en) 2020-08-12
CN104380341A (zh) 2015-02-25
EP2863361A1 (en) 2015-04-22
US9367751B2 (en) 2016-06-14
EP2863361A4 (en) 2016-09-28
CN104380341B (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
JP6051608B2 (ja) 車両周辺対象物検出装置
JP5276637B2 (ja) 車線推定装置
JP4654163B2 (ja) 車両の周囲環境認識装置及びシステム
JP3630100B2 (ja) 車線検出装置
US9047518B2 (en) Method for the detection and tracking of lane markings
JP5058002B2 (ja) 物体検出装置
JP2008165765A (ja) 車両側面画像取得方法及び装置、車灯誤識別検出方法及び安全運転予測方法
JP2007334751A (ja) 車両周辺監視装置
JP2008242571A (ja) 物体検出装置
JP2007179386A (ja) 白線認識方法及び白線認識装置
JPWO2014034187A1 (ja) レーンマーク認識装置
JP2010061375A (ja) 物体認識装置及びプログラム
JP5097681B2 (ja) 地物位置認識装置
JP2011103058A (ja) 誤認識防止装置
JP2007265016A (ja) 車両検出装置及び車両検出方法
JP4772622B2 (ja) 周辺監視システム
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP4842301B2 (ja) 歩行者検出装置及びプログラム
JP6177632B2 (ja) 車両位置検出装置および車両後側方警報装置
JP2005332268A (ja) 走行路認識装置
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法
JP2013101534A (ja) 車両運転支援システム
JP2015215235A (ja) 物体検出装置及び物体検出方法
WO2023112127A1 (ja) 画像認識装置、および、画像認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161114

R150 Certificate of patent or registration of utility model

Ref document number: 6051608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250