JP2018195037A - 車外環境認識装置 - Google Patents

車外環境認識装置 Download PDF

Info

Publication number
JP2018195037A
JP2018195037A JP2017097773A JP2017097773A JP2018195037A JP 2018195037 A JP2018195037 A JP 2018195037A JP 2017097773 A JP2017097773 A JP 2017097773A JP 2017097773 A JP2017097773 A JP 2017097773A JP 2018195037 A JP2018195037 A JP 2018195037A
Authority
JP
Japan
Prior art keywords
wheel
area
dimensional object
region
bicycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017097773A
Other languages
English (en)
Other versions
JP6514736B2 (ja
Inventor
愛都 菅野
Aito Kanno
愛都 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017097773A priority Critical patent/JP6514736B2/ja
Priority to US15/961,772 priority patent/US10643083B2/en
Priority to CN201810375804.8A priority patent/CN108944926B/zh
Priority to DE102018110972.5A priority patent/DE102018110972A1/de
Publication of JP2018195037A publication Critical patent/JP2018195037A/ja
Application granted granted Critical
Publication of JP6514736B2 publication Critical patent/JP6514736B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】自転車等の特定物を高精度に検出する。
【解決手段】車外環境認識装置は、コンピュータが、画面中の立体物が存在する立体物領域を特定する立体物領域特定部と、立体物領域から自転車の車輪に相当する車輪候補が存在する車輪領域214を特定する車輪領域特定部と、車輪領域214における、自車両との相対距離が所定範囲となる部位の面積比率が所定値未満であるか否か判定する車輪判定部、として機能する。こうして自転車等の特定物を高精度に検出することができる。
【選択図】図9

Description

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に関する。
従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり(衝突回避制御)、先行車両との車間距離を安全な距離に保つように制御する(クルーズコントロール)技術が知られている(例えば、特許文献1)。
また、上記立体物を検出する技術として、自車両の側方を撮影した画像パターンを参照し、エッジの自車両前後方向の対称性に基づいて、自車両と並走する並走車を検出する技術が開示されている(例えば、特許文献2)。
特許第3349060号公報 特開2008−134877号公報
自車両の進行方向に存在する特定物としては、同方向に走行する先行車両や、進行路を自車両横方向に横断する歩行者および自転車等がある。このような進行路を横断する歩行者や自転車等については、その輪郭によって歩行者らしさ、または、自転車らしさを判定するのが望ましい。ただし、一般的に、自転車は歩行者より横断速度が高く、自転車の全体の輪郭が確認できるまで待っていると、その間に自車両と自転車との距離が短くなり、衝突回避制御として急な動作を要することになってしまう。したがって、例えば、ハフ変換等により、自転車の一部である車輪(円形状)を特定することで、より早期に自転車自体を特定することが求められる。
しかし、自車両の進行方向には様々な立体物が存在し、その形状や表面の彩色が円(車輪)に類似する場合があり、実際には自転車ではない立体物を自転車の車輪と誤検出してしまう場合があった。
本発明は、このような課題に鑑み、自転車等の特定物を高精度に検出可能な、車外環境認識装置を提供することを目的としている。
上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、画面中の立体物が存在する立体物領域を特定する立体物領域特定部と、立体物領域から自転車の車輪に相当する車輪候補が存在する車輪領域を特定する車輪領域特定部と、車輪領域における、自車両との相対距離が所定範囲となる部位の面積比率が所定値未満であるか否か判定する車輪判定部、として機能する。
車輪判定部は、車輪の軸部の半径Rc、車輪のタイヤ部の内周の半径Rin、外周の半径Routを導出し、(π(Rc)+π(Rout−Rin))/(2×Rout)を面積比率としてもよい。
車輪領域特定部は、ハフ変換により車輪領域に含まれる車輪の中心を導出し、車輪の中心に基づいて車輪領域を再特定する。
本発明によれば、自転車等の特定物を高精度に検出することが可能となる。
車外環境認識システムの接続関係を示したブロック図である。 輝度画像と距離画像を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識処理の流れを示すフローチャートである。 立体物領域特定処理を説明するための説明図である。 車輪領域特定処理を説明するための説明図である。 車輪領域特定処理を説明するための説明図である。 車輪領域特定処理を説明するための説明図である。 車輪判定処理を説明するための説明図である。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(車外環境認識システム100)
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、自車両1の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像(カラー画像やモノクロ画像)を生成することができる。また、撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここで、撮像装置110によって認識する立体物は、自転車、歩行者、車両、信号機、道路(進行路)、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪等、その一部として特定できる物も含む。
また、車外環境認識装置120は、2つの撮像装置110それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック(例えば、水平4画素×垂直4画素の配列)に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度(Y)を比較することが考えられる。例えば、輝度の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等の手法がある。車外環境認識装置120は、このようなブロック単位の視差導出処理を検出領域(例えば、600画素×200画素)に映し出されている全てのブロックについて行う。ここでは、ブロックを4画素×4画素としているが、ブロック内の画素数は任意に設定することができる。
ただし、車外環境認識装置120では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位(例えばブロック単位)で独立して導出されることとなる。ここでは、このようにして導出された視差情報を対応付けた画像を、上述した輝度画像と区別して距離画像という。
図2は、輝度画像126と距離画像128を説明するための説明図である。例えば、2つの撮像装置110を通じ、検出領域124について図2(a)のような輝度画像126が生成されたとする。ただし、ここでは、理解を容易にするため、2つの輝度画像126の一方のみを模式的に示している。車外環境認識装置120は、このような輝度画像126からブロック毎の視差を求め、図2(b)のような距離画像128を形成する。距離画像128における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
また、車外環境認識装置120は、輝度画像126に基づく輝度値(カラー値)、および、距離画像128に基づいて算出された、自車両1との相対距離を含む実空間における三次元の位置情報を用い、カラー値が等しく三次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両1前方の検出領域における対象物がいずれの特定物(例えば、先行車両や自転車)に対応するかを特定する。また、車外環境認識装置120は、このように立体物を特定すると、立体物との衝突を回避したり(衝突回避制御)、先行車両との車間距離を安全な距離に保つように自車両1を制御する(クルーズコントロール)。なお、上記相対距離は、距離画像128におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置110に対する相対距離を導出する方法である。
車両制御装置130は、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転手の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、操舵機構142、駆動機構144、制動機構146を制御する。
上述したように、車外環境認識システム100では、進行路を自車両横方向に横断する歩行者および自転車等を特定している。このような進行路を横断する歩行者や自転車等については、その輪郭によって歩行者らしさや自転車らしさを判定するのが望ましい。しかし、自転車は歩行者より横断速度が高く、自転車の全体の輪郭が確認できるまで待っていると、その間に自車両1と自転車との距離が短くなり、衝突回避制御として急な動作を要することになる。
したがって、自転車が輝度画像外から輝度画像内に入ってくる場合、自転車の一部が把握された時点で、速やかに自転車である可能性を認識し、応答性を高めるのが望ましい。そこで、例えば、自転車の一部である車輪(前輪)が画面に出現した時点で、その形状(円形状)から車輪らしさを適切に判定することで、自転車を迅速に検出し、安定した衝突回避制御を行うことができる。しかし、自車両1の進行方向には様々な立体物が存在し、その形状や表面の彩色が円(車輪)に類似する場合があり、実際には自転車ではない立体物を自転車の車輪と誤検出してしまう場合がある。そこで、本実施形態では、距離情報を用いて、自転車等の特定物を高精度に検出することを目的とする。
以下、このような目的を実現するための車外環境認識装置120の構成について詳述する。ここでは、本実施形態に特徴的な、自車両1前方の検出領域における立体物(例えば、自転車の車輪)の特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
(車外環境認識装置120)
図3は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図3に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
I/F部150は、撮像装置110、および、車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。
中央制御部154は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。また、本実施形態において、中央制御部154は、立体物領域特定部160、車輪領域特定部162、車輪判定部164、自転車判定部166としても機能する。以下、本実施形態に特徴的な自転車を認識する車外環境認識処理について、当該中央制御部154の各機能部の動作も踏まえて詳述する。
(車外環境認識処理)
図4は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、まず、立体物領域特定部160が、画面から立体物が存在する立体物領域を特定する立体物領域特定処理(S200)、車輪領域特定部162が、立体物領域から自転車の車輪に相当する車輪候補が存在する車輪領域を特定する車輪領域特定処理(S202)が実行される。そして、車輪判定部164が、特定された車輪領域毎に、車輪領域における、距離情報に基づき自車両1との相対距離が所定範囲となる部位の面積比率が所定値未満であるか否か判定する車輪判定処理(S204)、複数の車輪領域全てに対し車輪らしさを判定したか確認する完了確認処理(S206)が実行される。最後に、自転車判定部166が、車輪判定処理の結果に基づいて、その立体物が自転車であるか否か判定する自転車判定処理(S208)が実行される。
(立体物領域特定処理S200)
図5は、立体物領域特定処理S200を説明するための説明図である。立体物領域特定部160は、撮像装置110が生成した連続する(時分割された)複数の輝度画像126を参照し、生成時刻の異なる輝度画像126同士の差分により、輝度画像126外から輝度画像126内に進入してきた所定の条件を満たす立体物210を検出する。ここで、所定の条件とは、距離画像128において当該立体物210の自車両1に対する相対距離が所定距離(例えば15m)以内であること、地面からの高さが所定高さ(例えば2m)以内であることである。
そして、立体物領域特定部160は、図5のように、その立体物210の水平方向の幅、すなわち、輝度画像126の右端部126aと、立体物210の左端部210aとの差分が所定の検出幅に達すると、輝度画像126上の所定の範囲、ここでは、立体物210を画像内に収めた矩形の領域を立体物領域212として特定する。また、このとき、輝度画像126の右端部126aに対する立体物210の左端部210aの水平方向に沿った方向を立体物210の移動方向とする。したがって、図5のように、立体物210が輝度画像126の右に位置している場合、移動方向は左向きとなり、立体物210が輝度画像126の左に位置している場合、移動方向は右向きとなる。
なお、立体物領域212の特定を、立体物210の幅が所定の検出幅になるまで待っているのは、本実施形態において目的とする車輪を認識する上で必要な大きさを確保するためである。
(車輪領域特定処理S202)
図6〜図8は、車輪領域特定処理S202を説明するための説明図である。車輪領域特定部162は、立体物210の移動方向に基づいて、立体物領域特定部160が特定した立体物領域212から、自転車の車輪に相当する車輪候補が存在する車輪領域214を特定する。具体的に、車輪領域特定部162は、図6(a)のように、立体物210の移動方向が左向きであれば、立体物領域212の左端部212aと、立体物領域212の下端部212bとを基準に、一辺が所定の大きさの正方形の領域を車輪領域214として特定し、図6(b)のように、立体物210の移動方向が右向きであれば、立体物領域212の右端部212cと、立体物領域212の下端部212bとを基準に、一辺が所定の大きさの正方形の領域を車輪領域214として特定する。なお、所定の大きさは、自転車の車輪の大きさとして想定される、例えば、27インチ(約69cm)の車輪に対し、検出誤差を踏まえたマージン(例えば、3インチ)を加えた大きさである。なお、本明細書における27インチ等の大きさを示す指標は、それぞれ画面中の大きさ(画素数)等を相対距離に基づいて実際の大きさに置き換えたものである。
続いて、車輪領域特定部162は、ハフ変換を用い、車輪領域214内に含まれる車輪の外形を特定し、車輪領域214の幅および高さが、車輪外形の幅および高さと等しくなるように車輪領域214を再特定する。ここで、ハフ変換は、輝度画像126上のエッジを有する特徴点から、対象の中心が存在する可能性のある点に投票を行い、得票数が多い(所定値以上となる)対象を検出する技術である。このように本実施形態では、ハフ変換に特化して説明するが、ハフ変換に依存することなく、ハフ変換以外のテンプレートマッチングや最小二乗法等の既存の様々な形状認識手法を用いることができる。
ハフ変換の処理手順を説明する。ここでは、輝度画像126から図7(a)のように、エッジを有する3つの画素220c、220d、220eを抽出したとする。かかる3つの画素220c、220d、220eは、本来、円形状の車輪の一部であるが、通常、輝度画像126から明確に円形状であることは把握できないとする。
ハフ変換は、複数の点から円や直線などの幾何学的な形状を検出する手法であり、任意の画素を通り、かつ、半径nである円の中心は、その任意の画素を中心とした半径nの円周上に存在するという理論に基づいている。例えば、図7(a)の3つの画素220c、220d、220eを通る円222の中心は、3つの画素220c、220d、220eそれぞれを中心とした円周上にある。しかし、エッジのみの情報では、その半径nを特定できないため、相異なる複数段階の半径nを準備して、3つの画素220c、220d、220eを中心とした複数段階の半径nの円上の画素に投票し、得票数が予め定められた所定値以上となれば半径nと中心とを車輪として決定する。
例えば、図7(b)、図7(c)、図7(d)のように、3つの画素220c、220d、220eを中心にして、相異なる半径n=10インチ(直径20インチ)、12インチ(直径24インチ)、13.5インチ(直径27インチ)の円を形成し、その円の軌跡に含まれる画素に投票する(単位指標を関連付ける)。そうすると、図7(b)では、2つの画素224で得票数が2となる(単位指標が2つ関連付けられる)。また、図7(c)では、3つの画素224で得票数が2となり、1つの画素226で得票数が3となる。同様に、図7(d)では、6つの画素224で得票数が2となる。
このとき、得票数が3(所定値以上)となるのは画素226のみとなり、その画素226を3つの画素220c、220d、220eを通る円の中心とし、その画素226を導出した際の半径n=12インチを、3つの画素220c、220d、220eを通る円の半径と特定することができる。こうして、図7(e)のように、3つの画素220c、220d、220eを通る円228が特定される。ここでは、説明の便宜上、3つの画素220c、220d、220eを挙げて説明したが、円228に含まれない画素が特徴点となったり、画素化(離散化)により本来の位置と異なる位置に出現した画素が特徴点となったりすることがあるので、このようなノイズの影響を回避すべく、実際には、多数の点を投票に用い、数の原理で安定した検出を行っている。
本実施形態では、輝度画像126から無作為にハフ変換を行わず、上述した車輪領域特定処理S202や車輪判定処理S204で特定された車輪領域214のみをハフ変換の対象としているので、ハフ変換の処理回数を削減して処理時間の短縮化を図ることができる。
そして、車輪領域特定部162は、立体物210の移動方向が左向きであれば、図8に示すように、特定した車輪領域214に左端部214aと、車輪領域214の下端部214bとを基準に、一辺が特定した半径nの2倍(例えば、24インチ)となる正方形の領域を、新たに、車輪領域214として再特定し、その車輪領域214の中央を、車輪領域214に含まれる車輪の中心216とする。こうして、車輪領域214の幅および高さが、車輪外形の幅および高さと等しくなる。
(車輪判定処理S204)
図9は、車輪判定処理S204を説明するための説明図である。車輪判定部164は、再特定された車輪領域214について、その中に含まれている立体物が車輪であるか否か、車輪らしさを判定する。ここで、自転車の車輪の特徴を述べる。自転車の車輪は、中央の軸部や、タイヤ部にはある程度大きさを有しているので、その部位の距離情報を得られる。一方、タイヤ部と軸部を結ぶスポークは、画面上の占有面積が小さく、その部位に距離情報を取得不能な背景しか認識できず、有意な距離情報を得られないことが多い。したがって、車輪領域214の中央近傍(スポークが位置する部分)に距離情報が含まれていない場合、もしくは、背景に相当する距離情報しか得られない場合、車輪である可能性が高いと言える。一方、円形状を有する道路標識等では、その中央近傍も円形状の位置と同様に距離情報を有しているので、車輪ではないと判断できる。そこで、本実施形態では、車輪領域214における、自車両1との相対距離が所定範囲となる部位(ここではタイヤ部)の占有面積の比率を導出することで、車輪らしさを判定する。
具体的に、車輪判定部164は、距離画像128上で自車両1との相対距離が所定範囲(例えば、10m〜20m)にある部位を抽出する。そうすると、例えば、図9(a)に示した車輪領域214におけるスポーク部分が除外され、図9(b)のように、車輪の軸部218aとタイヤ部218bのみが抽出される。なお、ここでは、説明の便宜上、図9(b)を模式的に示している。
そして、車輪判定部164は、軸部218aとタイヤ部218bのエッジに基づいて、車輪の軸部218aの半径Rc、車輪のタイヤ部218bの内周の半径Rin、外周の半径Routを導出する。ここでは、円周のいずれかの部位のエッジに基づいて半径を導出してもよいし、円周上の複数の部位の半径を求め、その平均を代表半径としてもよい。このように、車輪の軸部218aの半径をRcとすると、軸部218aの面積はπ(Rc)となり、車輪のタイヤ部218bの内周の半径をRin、外周の半径をRoutとすると、タイヤ部218bの面積は、π(Rout−Rin)となる。したがって、抽出された部分の面積は、π(Rc)+π(Rout−Rin)となる。また、車輪領域214の面積は、(2×Rout)により求められる。
そして、車輪判定部164は、抽出された部分の面積を、車輪領域214の面積で除算し、すなわち、(π(Rc)+π(Rout−Rin))/(2×Rout)を導出して、抽出された部分の面積比率を求める。かかる面積比率が所定値(例えば、0.5)未満であれば、かかる車輪領域214に含まれる立体物を車輪であると判定する。ここでは所定値(閾値)として0.5を挙げているが、試験や実績に応じて任意の値を採用することができる。
なお、説明の便宜上、ここでは、車輪領域214における自車両1との相対距離が所定範囲となる部位の面積比率に基づいて車輪らしさを判定する例を挙げて説明したが、さらに正確に車輪らしさを判定すべく、車輪判定部164は、他の様々な判定態様を採用することができる。例えば、車輪領域214における自車両1との相対距離が所定範囲となる部位の大きさ、軸部218aやタイヤ部218bに相当する部位の大きさ、それらの比、車輪領域214の移動速度、その均一性等により車輪らしさを判定してもよい。
(完了確認処理S206)
車輪判定部164は、抽出された複数の車輪領域214全てに対し車輪らしさを判定したか否か確認する。その結果、複数の車輪領域214全てに対し車輪らしさを判定していれば、自転車判定処理S208に処理を移し、車輪領域214全てに対し車輪らしさを判定していなければ、また車輪らしさを判定していない車輪領域214を対象とし車輪判定処理S204に処理を移す。
(自転車判定処理S208)
自転車判定部166は、車輪判定部164が車輪領域214に含まれる立体物が車輪であると(車輪である可能性が高いと)判定すると、他の情報も踏まえ、総合的に、その車輪領域214を移動方向下部に有する立体物領域212に含まれる立体物210を自転車(正確には人が乗車している自転車)であると判定する。
このように立体物210が自転車であると特定されると、車外環境認識装置120は、立体物210との衝突を回避すべく、衝突回避制御を実行することとなる。
本実施形態では、車輪領域214における自車両1との相対距離が所定範囲となる部位の面積比率に基づいて車輪らしさを判定しているので、自転車等の特定物を高精度に検出することが可能となる。なお、ここでは、車輪領域特定処理S202により車輪領域214の幅および高さが、車輪外形の幅および高さと等しくなるので、車輪判定処理S204において高精度に面積比率を導出することができる。
また、コンピュータを車外環境認識装置120として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態においては、車輪領域214として、一辺がそれぞれ27インチ+マージンとなる正方形を挙げて説明したが、その大きさ、数、形状は任意に設定することができる。
また、上述した実施形態では、抽出された部分の面積を、車輪領域214の面積で除算した値(π(Rc)+π(Rout−Rin))/(2×Rout)を導出し、抽出された部分の面積比率が所定値(例えば、0.5)未満であれば、かかる車輪領域214に含まれる立体物を車輪であると判定する例を挙げて説明した。しかし、かかる場合に限らず、距離情報に基づき自車両1との相対距離が所定範囲となる部位の面積比率を導出すれば足り、例えば、抽出された部分のブロックや画素を計数し、それを車輪領域214の面積で除算することでも面積比率を導出することができる。
また、上述した実施形態では、車輪らしさを判定することで特定物として自転車を特定する例を挙げて説明しているが、車輪を有する自動二輪車や自動車に適用することもできる。
なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に利用することができる。
120 車外環境認識装置
160 立体物領域特定部
162 車輪領域特定部
164 車輪判定部
166 自転車判定部

Claims (3)

  1. コンピュータが、
    画面中の立体物が存在する立体物領域を特定する立体物領域特定部と、
    前記立体物領域から自転車の車輪に相当する車輪候補が存在する車輪領域を特定する車輪領域特定部と、
    前記車輪領域における、自車両との相対距離が所定範囲となる部位の面積比率が所定値未満であるか否か判定する車輪判定部、
    として機能する車外環境認識装置。
  2. 前記車輪判定部は、車輪の軸部の半径Rc、車輪のタイヤ部の内周の半径Rin、外周の半径Routを導出し、(π(Rc)+π(Rout−Rin))/(2×Rout)を面積比率とする請求項1に記載の車外環境認識装置。
  3. 前記車輪領域特定部は、ハフ変換により前記車輪領域に含まれる車輪の中心を導出し、前記車輪の中心に基づいて前記車輪領域を再特定する請求項2に記載の車外環境認識装置。
JP2017097773A 2017-05-17 2017-05-17 車外環境認識装置 Active JP6514736B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017097773A JP6514736B2 (ja) 2017-05-17 2017-05-17 車外環境認識装置
US15/961,772 US10643083B2 (en) 2017-05-17 2018-04-24 Vehicle exterior environment recognition apparatus
CN201810375804.8A CN108944926B (zh) 2017-05-17 2018-04-25 车外环境识别装置
DE102018110972.5A DE102018110972A1 (de) 2017-05-17 2018-05-08 Fahrzeugaußenumgebung-Erkennungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017097773A JP6514736B2 (ja) 2017-05-17 2017-05-17 車外環境認識装置

Publications (2)

Publication Number Publication Date
JP2018195037A true JP2018195037A (ja) 2018-12-06
JP6514736B2 JP6514736B2 (ja) 2019-05-15

Family

ID=64272486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017097773A Active JP6514736B2 (ja) 2017-05-17 2017-05-17 車外環境認識装置

Country Status (4)

Country Link
US (1) US10643083B2 (ja)
JP (1) JP6514736B2 (ja)
CN (1) CN108944926B (ja)
DE (1) DE102018110972A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020173799A (ja) * 2019-04-09 2020-10-22 センスタイム グループ リミテッド 対象の三次元検出およびインテリジェント運転制御方法、装置、媒体および機器
JP7336367B2 (ja) 2019-11-22 2023-08-31 株式会社Subaru 車外環境認識装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977793B (zh) * 2019-03-04 2022-03-04 东南大学 基于变尺度多特征融合卷积网络的路侧图像行人分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054386A (ja) * 2015-09-10 2017-03-16 富士重工業株式会社 車外環境認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349060B2 (ja) 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
JP2008134877A (ja) 2006-11-29 2008-06-12 Alpine Electronics Inc 周辺監視装置
JP2010108264A (ja) * 2008-10-30 2010-05-13 Honda Motor Co Ltd 車両周辺監視装置
JP5278776B2 (ja) * 2008-12-09 2013-09-04 トヨタ自動車株式会社 物体検出装置および物体検出方法
CN102637257B (zh) * 2012-03-22 2014-07-02 北京尚易德科技有限公司 一种基于视频的交通车辆检测识别系统和方法
US9317781B2 (en) * 2013-03-14 2016-04-19 Microsoft Technology Licensing, Llc Multiple cluster instance learning for image classification
JP5641379B1 (ja) * 2014-03-10 2014-12-17 俊之介 島野 車種判別システム
EP3136288A1 (en) * 2015-08-28 2017-03-01 Autoliv Development AB Vision system and method for a motor vehicle
JP6623046B2 (ja) 2015-11-27 2019-12-18 サッポロビール株式会社 ポイント管理システム、ポイント管理方法、およびポイント管理プログラム
CN107924465B (zh) * 2016-03-18 2021-09-10 Jvc 建伍株式会社 物体识别装置、物体识别方法以及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054386A (ja) * 2015-09-10 2017-03-16 富士重工業株式会社 車外環境認識装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020173799A (ja) * 2019-04-09 2020-10-22 センスタイム グループ リミテッド 対象の三次元検出およびインテリジェント運転制御方法、装置、媒体および機器
US11138756B2 (en) 2019-04-09 2021-10-05 Sensetime Group Limited Three-dimensional object detection method and device, method and device for controlling smart driving, medium and apparatus
JP7002589B2 (ja) 2019-04-09 2022-02-10 センスタイム グループ リミテッド 対象の三次元検出およびインテリジェント運転制御方法、装置、媒体および機器
JP7336367B2 (ja) 2019-11-22 2023-08-31 株式会社Subaru 車外環境認識装置

Also Published As

Publication number Publication date
JP6514736B2 (ja) 2019-05-15
US20180336422A1 (en) 2018-11-22
CN108944926B (zh) 2022-10-18
CN108944926A (zh) 2018-12-07
DE102018110972A1 (de) 2018-11-22
US10643083B2 (en) 2020-05-05

Similar Documents

Publication Publication Date Title
US10803605B2 (en) Vehicle exterior environment recognition apparatus
JP2012243051A (ja) 環境認識装置および環境認識方法
JP6514736B2 (ja) 車外環境認識装置
JP5955292B2 (ja) フィルタリング装置
US11145063B2 (en) Image processing apparatus
JP6591188B2 (ja) 車外環境認識装置
JP7356319B2 (ja) 車外環境認識装置
JP6764378B2 (ja) 車外環境認識装置
JP7229032B2 (ja) 車外物体検出装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP6174960B2 (ja) 車外環境認識装置
JP7071102B2 (ja) 車外環境認識装置
JP2019114150A (ja) 車外環境認識装置
JP6378594B2 (ja) 車外環境認識装置
JP5890816B2 (ja) フィルタリング装置および環境認識システム
JP6273156B2 (ja) 歩行者認識装置
JP6254870B2 (ja) 車外環境認識装置
JP2018088237A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
JP7336367B2 (ja) 車外環境認識装置
WO2020008787A1 (ja) カメラ装置の標識認識方法及び標識認識装置
JP2022040651A (ja) 車外環境認識装置
JP6313667B2 (ja) 車外環境認識装置
JP6613061B2 (ja) 車外環境認識装置
JP2016143264A (ja) 車外環境認識装置
JP2022061539A (ja) 車外環境認識装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190412

R150 Certificate of patent or registration of utility model

Ref document number: 6514736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250