JP2014120167A - 視差図による視差方向連続型物体検知方法及び装置 - Google Patents

Abstract

【課題】視差図による視差方向連続型物体検知方法及び装置を提供する。
【解決手段】該検知方法においては、視差方向に連続してなる連続型物体を含む視差図を取得し、視差の大小順に、所定視差値に対応する、或いは所定視差値範囲に対応する全視差点からなる視差図断面である、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得し、検知対象物体の特性により、視差断面図から特徴を抽出し、各視差断面図の特徴列により、物体識別を行う。本発明の実施例の方法によると、視差断面図列を抽出し、特徴の抽出、及び物体の識別を行うことにより、路面入力結果への依存を解消し、安定性と適応性に優れ、物体空間の連続性の特徴を有効に利用するとともに、背景ノイズによる直接検知における誤検知や検知漏れを解消することができる。
【選択図】図５

Description

本発明は、画像処理に関し、具体的に、視差図による視差方向連続型道路分離体検知方法及び装置に関する。

運転支援システムの応用が益々普及されてきている。運転支援システムにおいて、道路シーンの物体の検知は非常に重要なものとなっている。道路シーンの物体は、例えば、路肩石、白線、ガードレール、車両、通行人、高建築物、樹木等がある。

道路シーンの物体検知において、従来の検知方法は、処理対象の画像種類に応じて、階調図による検知方法と視差図による検知方法の２方法に大別される。

階調図による検知方法は、階調図におけるエッジ、色、テクスチャ、或いは他の階調画像の特徴からの物体検知方法であり、一部の方法は、他の感応手段を用いて物体情報を取得し、階調図と組み合わせて物体検知を行うこともある。

例えば、非特許文献１の、Giancarlo Alessandretti, Alberto Broggi, and Pietro Cerri等の人による、Vehicle and Guard Rail Detection Using Radar and Vision Data Fusion, IEEE 2007 TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMSの文章には、レーザ作像とビージョン作像を組み合わせた車両とガードレールの検知方法が提案されている。該方法においては、レーザによる関心領域の位置決め後に、階調画像を用いた検知が行われている。

該第１の検知方法においては、階調画像による検知であるため、例えば、照度強さ、色変化、視覚幾何学歪み等の環境条件の影響が大きく、実際の応用において不安定になる。例えば、図１は、ガードレール部分を有する階調画像の例を示し、楕円形で示された部分がガードレール部分である。図２は、照度、背景及び視覚幾何学歪み等の各種要素の変化下のそれぞれの階調画像例を示した図である。これより、環境や幾何学歪み等の階調画像への形式影響が大きく、検知結果への影響も大きいことが分かる。

他の方法は、ステレオカメラで得られた視差図から物体を検知するものである。

例えば、非特許文献２の、Zhencheng Hu, Francisco Lamosa and Keiichi UchimuraによるA Comlete U-V-Disparity Study for Stereovion Based 3D Driving Environment Analysis, Proceedings of the Fifth International Conference on 3-D Digital Imaging and Modeling 2005の文章には、Ｕ視差図及びＶ視差図による物体分割方法が提案されている。該方法は、先ず、Ｕ視差図とＶ視差図を計算し、次に、Ｕ視差図とＶ視差図で線の検知を行い、検知された線分は、物体の表面である可能性があり、最後に、Ｕ視差図とＶ視差図における、対応した同一視差値を有する線分を同一物体とすることで、物体分割が可能になる。

第２の方法には遮蔽を解決できないという問題がある。Ｕ視差図とＶ視差図は、それぞれ視差図のｘとｙ座標方向における視差累計図であることから、水平と垂直方向上の遮蔽は固有に存在する問題である。図３は、ガードレール部分を有する視差図及びそれに対応するＵ視差図とＶ視差図を示した図である。図４は、このときの各部のＵ視差図及びＶ視差図におけるガードレール部分への遮蔽様子を示した図である。

このため、環境変化と幾何学歪みの問題を良好に解決するのみならず、水平及び垂直方向における遮蔽問題も解決可能な技術が求められている。

同一発明者による出願番号ＣＮ201210147642.5、出願日2012年5月11日の特許出願には、視差図で、地面に平行な切片により視差図の切断を行い、このような切片のＵ視差図により、ガードレールのような、連続型の道路分割体を検知する方法が提案されている。

該先の特許出願においては、切片の取得による道路シーン物体の検知が、路面情報に依存しているため、路面情報が不正確であると、以降の他の検知に大きな影響を及ぼすおそれがある。

本発明は、前述の問題を鑑みてなされたものである。

本発明の１実施例においては、視差方向に連続してなる連続型物体を含む視差図を取得し；視差の大小順に、所定視差値に対応する、或いは所定視差値範囲に対応する全視差点からなる視差図断面である、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得し；検知対象物体の特性により、視差断面図から特徴を抽出し；各視差断面図の特徴列により、物体識別を行う、視差図による視差方向連続型物体検知方法を提供する。

前記視差の大小順に、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得することにおいて、３次元世界における等間隔に対応する視差間隔で、視差断面図を取得するようにしてもよい。

該物体検知方法において、各視差断面図の特徴列による、物体識別は、視差で隣り合う視差断面図における対応特徴の形状上の類似度及び位置上の連続性の判定を含むようにしてもよい。

１実施例において、検知対象物体は、ガードレール、路肩石、植え込み、側壁のうちの少なくともいずれかであり；前記検知対象物体の特性により、視差断面図から特徴を抽出することにおいては、視差断面図から、高さが所定範囲を満たす垂直線分を抽出し；各視差断面図の特徴列により、物体識別を行うことにおいては、各視差断面図における垂直線分の１視差図への対応付けを行い、線分配列の上部端点の直線フィッティングを行うとともに、線分配列の下部端点からなる配列の直線フィッティングを行い、上部端点配列のフィッティングからなる線が略直線になるか、及び、下部端点のフィッティングからなる線が略直線になるかを判断し、上部端点が繋がってなる線が略直線となり、かつ、下部端点が互いに繋がってなる線が略直線となると、該上下の２直線が、ガードレール、路肩石、植え込み、側壁のうちのいずれかであると判定する。

１実施例において、該物体検知方法は、さらに、所定数の視差断面図による物体識別後、視差の連続性の特徴により、以降の視差断面図における物体特徴の推定及び選択を行うようにしてもよい。

本発明の他の面においては、視差方向に連続してなる連続型物体を含む視差図を取得する視差図取得部材と；視差の大小順に、所定視差値に対応する、或いは所定視差値範囲に対応する全視差点からなる視差図断面である、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得する視差断面図取得部材と；検知対象物体の特性により、視差断面図から特徴を抽出する特徴抽出部材と；各視差断面図の特徴列により、物体識別を行う物体識別部材と；を備えた視差図による視差方向連続型物体検知装置を提供する。

本発明の実施例における視差方向連続型物体検知方法、及び装置においては、視差断面図列を抽出し、特徴の抽出及び物体の識別を行うことにより、路面入力結果への依存を解消し、より優れた安定性と適応性を有し、物体空間連続性の特徴を有効に利用するとともに、直接検知の背景干渉による誤検知や検知漏れ、或いは、ＵＶ視差図による検知の、遮蔽やノイズによる誤検知や検知漏れを解消し、より理想的な検知効果を得ることができる。

ガードレール部分を有する階調画像の例である。 照度、背景及び視覚幾何学歪み等の各種要因が変化した際の、それぞれの階調画像を示した図である。 ガードレール部分を有する視差図及び対応するＵ視差図とＶ視差図を示した図である。 図３中の各部の、Ｕ視差図とＶ視差図におけるガードレール部分への遮蔽様子を示した図である。 本発明の１実施例における視差図による視差方向連続型物体検知方法の全体フローチャートである。 （ａ）、（ｂ）、（ｃ）は、本発明の１実施例における元視差図と視差断面図を示した略図である。 本発明の１実施例における近遠距離順（視差値の大小順）に、（紙面方向、左右方向、上下方向に）切断した６つの視差断面図である。 （ａ）、（ｂ）、（ｃ）、（ｄ）は、本発明の1実施例における、元視差図（ａ）と、物体検知処理中の検知の特徴列（ｂ）と、追跡による特徴推定及びフィルタ結果（ｃ）と、特徴列の対応特徴点のフィッティングで得られた検知結果（ｄ）の元白黒階調図中の現れを例示した図である。 本発明の１実施例における視差図による視差方向連続型物体検知装置の全体配置の全体ブロック図である。 本発明の実施例における連続型物体検知システムの全体ハードウェアブロック図である。

当業者の本発明へのより容易な理解のために、以下、図面と具体的な実施形態により、本発明をさらに詳細に説明する。

以下の順で、即ち、
１、語彙の解釈及び基本概念の紹介
２、第１の実施例：視差方向連続型物体検知方法
３、第２の実施例：視差方向連続型物体検知装置
４、システムのハードウェア配置
５、まとめ
の順で、説明を行う。

１、語彙の解釈及び基本概念の紹介
詳細な説明の前に、まず、本文における一部の語彙について解釈する。

本文において、「視差断面図」とは、所定視差値に対応する、或いは、所定視差値範囲に対応する全画素点からなる視差図断面であり、或いは、奥行（若しくは距離）方向との直交方向の切片と理解することができ、該切片は、一定の厚みを有してもよく、切片が厚みを有さない切断面である場合は、同一視差値の画素点からなるマップが、該視差断面図となり、切片が所定の視差値範囲で示される厚みを有する場合は、視差値が該視差値範囲内の画素点からなるマップが該視差断面図となる。

「視差方向連続型物体」とは、例えば、ガードレール、植え込み、壁、路肩石、道路分離線等の、視差方向に延伸した物体を指している。

以下、理解の便宜上、本文における基本概念を説明する。

視差は、実際に、１基線の両端から同一の遠隔物体へそれぞれ直線を引いた場合に２直線間の夾角を指している。通常は、一定間隔の２つの点から同一のターゲットを観察したときに生じる方向差を指している。ターゲットからみて、２つの点の間の夾角が、該２点の視差角となり、２点間の距離が、基線となる。視視差角と基線の長さが分かれば、ターゲットと観察者間の距離が求められる。

視差図（disparity map）は、任意の１画像を基準画像に、サイズが該基準画像のサイズで、要素値が視差値となる画像である。視差値は、シーンの距離情報が含まれている。視差図は、双眼カメラで撮像された左画像と右画像から算出されてもよく、或いは、立体図における奥行図から算出されてもよい。

通常の視差図における１点の座標は、（ｘ、ｙ、ｄ）で表すことができ、ここで、ｘは、横座標、ｙは、縦座標であり、ｄは、該点（ｘ、ｙ）における視差を表している。

２、第１の実施例：視差方向連続型物体検知方法
以下、本発明の１実施例における、連続型道路分離体見地方法の第１の例の全体工程について説明する。

図５は、本発明の１実施例における視差図による視差方向連続型物体検知方法100の全体フローチャートである。

図５に示されたように、ステップＳ１１０において、視差方向に連続してなる連続型物体を含む視差図を取得する。

従来の任意の視差図取得方法は、いずれも本発明に用いられる。例えば、該連続型道路分離体部分を含む視差図は、双眼カメラ、多眼カメラ、ステレオカメラで撮像され算出される。具他的に、例えば、双眼カメラで左画像と右画像が撮像され、左画像と右画像から視差図が算出される。或いは、立体図から奥行図が得られ、奥行図から視差図が得られる。

ステップＳ１２０において、視差の大小順に、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得する。

前述のように、視差断面図とは、所定視差値に対応する、或いは所定視差値範囲に対応する全視差点からなる視差図断面である。通常、視差断面図は、遠近断面図と見なすことができ、１視差値に対応する全視差点からなる視差図断面であるか、視差値が１視差値範囲内にある全視差点からなる視差図切断片である。以下、技術の便宜上、前述の視差図断面は、一定の厚みを有する視差図切断片を含むものであり、厚み有無に関係なく、「視差断面図」或いは「視差図断面」と称される。

以下、説明の便宜上、視差断面図は、地面と直交するものとする。言うまでもなく、撮像するステレオカメラの光軸と地面とが平行していない場合は、視差断面図と地面とは直交にならないが、本発明は、視差断面図と地面とは直交にならない場合にも適用可能である。

１実施例においては、元視差図を遍歴し、視差値の大小順に、各視差値を選択することで、一連の視差断面図が形成される。ここで、大小順に各視差断面図の選択ないし後述の各視差断面図の特徴抽出を行うことが好ましい。理由としては、下記式（１）によると、視差値と距離は反比例関係をなし、視差値の大小順に、即ち、ステレオカメラとの距離の近遠順に、距離の近い視差断面図ほど、より図面情報が豊かで、正確であることから、検知のスタートとしてより適している一方、ステレオカメラとの距離の近遠順による視差断面図の切断及び処理は、後述する遠距離にある視差断面図中の特徴の推定及び追跡に適している。

d=b*f/z （１）
式中、ｄは、視差値であり、ｂは、ステレオカメラの２レンズの中心距離であり、ｆは、カメラの焦点距離であり、ｚは、カメラとの距離であり、ここで、ｂとｆは、カメラ自体によって決められる、固定値である。

ここで、該式（１）から、ステレオカメラの光軸と地面とが平行している場合は、一連の視差断面図が３次元世界における一連の地面とは直交方向の断面図であることがさらに分かる。

他の実施例においては、１視差値に対応する全視差点により、視差断面図を形成する代わりに、ノイズ干渉の低減及び演算効率の向上を実現するように、１視差範囲内にある全視差点により、視差断面図を形成するようにしてもよい。

図６は、本発明の１実施例における元視差図と視差断面図を示した略図であり、図６における（ａ）が元視差図、（ｂ）と、（ｃ）が、異なる距離範囲にある２つの視差断面図を示している。ここで、図６における（ａ）は、本来は、異なる色で異なる視差値（即ち、異なる奥行や距離に対応する）が表されたカラー図面であるが、特許図面においては、カラー図面が認められていないことから、ここでは、異なる階調の白黒図で元カラー図面を代替している。図６における（ｂ）と（ｃ）は、それぞれ異なる距離範囲内にあるそれぞれの視差点からなる視差断面図を表し、具体的には、それぞれ、視差値が３９７〜４０１（１６倍画素距離）と、５７７〜５８１の範囲にある視差点からなる断面図であり、断面図には、５つの視差値に対応する視差点が含まれている。図６の例においては、視差断面図は、地面に直交する距離断面図であり、物体の横断面の特徴情報が含まれている。

なお、他の実施例においては、アルゴリズムの効率を向上するために、サンプリングにより、演算量を低減してもよい。例えば、視差値２０の間隔で、或いは他の数値の間隔で、視差断面図を選択し、次に離散的に視差断面図の配列を構成してもよい。また、視差値の範囲（もしくは、切片の厚み）及びこのような視差値の範囲間の間隔（切片間の間隔）は、固定したものでなく、可変的なものであってもよく、値の設定は、実際の応用に応じて、人為的に或いは学習により自動的に行われてもよい。

なお、１実施例においては、３次元世界中の等距離に応じた視差間隔で、視差断面図を取得することができる。

具体的に、式（１）により、例えば、１００ｃｍ〜２００ｃｍ、２００ｃｍ〜３００ｃｍ等の距離のように、１００ｃｍの距離（即ち、ｚ＝１００）ごとに、これに応じて、即ち、ｂｆ/１００〜ｂｆ/２００、ｂｆ/２００〜ｂｆ/３００等の視差間隔で、視差断面図を取得する。このような、実際の３Ｄにおける等間隔に応じた視差間隔で視差断面図を取得することで、以降説明する特徴列の周期性特性を確保し、正確な物体検知が可能になる。

ステップＳ１３０において、検知対象物体の特性により、視差断面図から特徴を抽出する。

異なる物体は、視差断面図で現れる特徴も異なってくる。

例えば、ガードレール、植え込み、塀、路肩石等の、路辺の連続物体の、視差断面図中の共通の特徴としては、小垂直辺が道路の両側に存在し、かつこのような小垂直辺は異なる奥行の隣接の視差断面図で高さと位置が略連続している特徴を有し、換言すると、隣接した視差断面図において、小垂直辺の相対位置やサイズ変化は非常に小さく、即ち、遠近距離方向に連続していることになり、さらに、例えば、路肩石は、ガードレースと特徴が非常に類似し、ただし、高さが比較的低くかつ通常は固定の高さである。また、例えば、車道線も、道路シーンにおいて、距離方向に連続した物体であり、視差断面図における特徴としては、高さを有さず、丁度路面上に位置し、一定の固定した左右幅を有するとともに、遠近距離方向に連続していることである。

通常、道路シーンにおける距離方向上の連続物体は、距離方向に周期的に重複する物体であることから、視差断面図における特徴も、このような周期性を呈し、また、元視差図における遮蔽が除去されたため、視差断面図列における特徴を用いた識別により適している。

ここで、このような距離方向に連続した物体は、例えば、破線型の車道線や、一部の特殊なガードレールのように、間隔の連続特徴を有するものもあるが、このようなものであっても、距離方向に周期的に重複する特徴を呈するため、同様に、視差断面図を用いた方法による検知に適している。

これに対し、道路シーンにおける車両、通行人、路辺の建物や、他の孤立型物体においては、これらが遠近距離方向に占める位置空間が、道路上の連続物体の占める位置空間よりも長いかは分からないため、これらの距離方向における連続性は、強いものではなく、１つまたは少数の複数の隣接視差断面図に大きな輪郭特徴があり、従来の基本的な物体特徴により、識別が可能になる。例えば、車両の輪郭特徴は、対称で、矩形であり、通行人の輪郭特徴は、一定のアスペクト比を有する長形であり、建物の輪郭特徴は、矩形や半矩形のフレームのようなものであるが、全てのこのような孤立物体は、前述の道路シーンの識別結果による位置及び論理関係の判定から決められる。このため、このような距離方向に連続したものでない物体の検知にも、本発明の実施例における視差断面図列による特徴列の抽出、検知方法が適用可能であるが、特に優勢があるわけではない。

ここで、前述した高さは、理想的には路面に対する高さであるが、前述のように、本発明の視差断面図列による技術は、路面高さの知識に依存するものではなく、また、本発明の実施例においては、実際の工程に路面高さや路面に対する物体の高さ情報を有さず、物体の高さは、視差図から、例えば、線分の長さから推定されることになる。

視差断面図から抽出される特徴は、線分、点のうちの少なくともいずれかを含むことができる。

例として、以下では、ガードレール検知を例に、本発明の実施例における視差断面図列による物体検知方法の実施について説明するが、該方法は、他の連続物体検知方法にも同様に適用することができる。

具体的に、ガードレール検知において、小さい垂直辺をガードレールの主な特徴として抽出する。

図７は、本発明の１実施例における近遠距離順（視差値の大小順）に、（紙面方向、左右方向、上下方向に）切断した６つの視差断面図と、上部で抽出した小さい垂直辺である。
図７に示されたように、各視差断面図においては、小さい垂直辺が検知及び抽出され、赤線で標記されている。視差値と距離が反比例関係をなし、同時に、作像原理から、作像サイズと距離が反比例をなしていることから、以下の等式になり得る。

d/B=f/Z=h/Y （２）
式中、ｄは、視差値であり、Ｂは、ステレオカメラの２レンズの中心距離であり、ｆは、カメラの焦点距離であり、Ｚは、物体のカメラ中心との距離であり、ｈは、カメラによる結像後の写真における（より適切には、カメラ内部のフィルムやＣＣＤにおける）物体の高さや幅であり、Ｙは、物体の実際の高さや幅である。これより、物体の実際のサイズは固定していることから、ガードレールを表す垂直辺の高さｈと視差値ｄとは正比例関係をなしていることが分かる。例えば、実際の３Ｄ世界においては、通常、ガードレールの高さが９００ｍｍ±５０ｍｍの範囲にあることから、視差図におけるガードレールを示す垂直辺高さｈの範囲は、式（２）から算出可能であり、ｈ＝（ｄ*850/Ｂ，ｄ*950/Ｂ）であることから、該垂直辺高さｈの範囲により、ガードレール特徴を表す小さい垂直辺を選択することができる。

もちろん、例えば、路肩石を識別する場合は、視差断面図における路肩石を表す垂直辺の高さ範囲は、これと異なる。また、例えば、車道線を識別する場合は、視差断面図における、それぞれに対応する幅範囲内の横向き線分を選択する必要がある。

ステップＳ１４０において、各視差断面図の特徴列により、物体識別を行う。

１実施例においては、所定の規則により、各視差断面図の特徴列を用いた物体識別を行うことができ、例えば、１つの規則としては、隣接した視差断面図における該当特徴の形状上の類似度及び図中の位置差が、所定の閾値未満になるか否かを判定する。

該操作の目的は、関連特徴が視差断面図で周期的に出現するかを判断することにある。具体的な例として、視差断面図１における特徴Ａと視差断面図２における特徴Ｂ間の類似性を評価するために、視差断面図１における特徴Ａを他の視差断面図に換算することで、特徴Ａ’が得られる。例えば、ガードレール識別を例に、視差断面図１に対応する視差図が１００で、小垂直辺Ａが存在するとし、視差断面図２に対応する視差図が２００で、小垂直辺Ｂが存在するとする。視差断面図１における小垂直辺Ａの高さｈＡを２で除算し、視差断面図２における小垂直辺Ｂの換算後の高さｈＡ’＝ｈＡ/２が得られ、次に、｜ｈＡ’ - ｈＢ｜/ｈＢを計算することで、両者の高さ差が求められる。同様に、両特徴の位置差も、換算によって評価可能になる。

ガードレール識別において、他の規則としては、視差断面図において、画像に対して略対称で、両側に位置する小垂直辺が存在するか否かを判断する。これは、実際の３Ｄ世界において、通常、ガードレールは路面の左右に対称配置されているためである。

他の実施例においては、特徴の直線または曲線のフィッティングを用いた、特徴列による物体識別を行うことができる。

例えば、ガードレール識別に関しては、視差図において、ガードレールの上端の連続線は、略直線になり、下端の連続線も、略直線になる。

このため、前に取得した小垂直辺の上端点を選択し、このような端点を元視差図（他の画素点は全て除去）のような図に載置し、次に、ハフ変換や最小二乗法のような直線抽出方法を用いて、該図から直線を検知し、上端点の大半をカバーする直線が存在するかを判断し、同様に、前に取得した小垂直辺の下端点を選択し、このような端点を元視差図（他の画素点は全て除去）のような図に載置し、次に、ハフ変換や最小二乗法のような直線抽出方法を用いて、該図から直線を検知し、下端点の大半をカバーする直線が存在するかを判断することができる。存在する場合は、このような上下２直線がガードレールを表すものと検知するとともに、ガードレールの位置特定及び出力を行うことができ、例えば、運転手に、「左側２０ｃｍの箇所にガードレールあり、近寄るべからず」のような音声や可視警報を発することができる。

例えば、所定数の視差断面図によるガードレール検知後は、このような検知結果を用いた、以降の視差断面図におけるガードレール特徴の推定及び追跡や選択が可能になる。追跡方法は、従来の任意の方法が用いられ、例えば、平均値法、誤差値法の簡単なパターンが用いられる。

追跡の概念への説明の便宜上、図７を参照すると、白線の線分は、図５のＳ１３０ステップで得られたガードレール特徴であり、異なる距離の視差断面図中の特徴を全て１枚の図に載置すると、図８における（ｂ）図が形成されることから、距離方向の追跡を行うことで、孤立した非連続的なガードレール特徴を除去することができる（図８における（ａ）図は、元視差図であり、比較用に供されたものである）。図７における上部一列の最も右側の図に示されたように、中間の２つの小垂直辺は、距離方向に追跡推定を満たすため、保留されるが、他の２つの垂直辺は、距離方向に追跡推定を満たさないため、破棄される。距離方向の追跡により、特徴点のフィルタが行われ、要求を満たす点のみ保留され、図８（ｃ）に示されたように、（ｂ）に比べて、建物、車両や路面上に形成された特徴点や、ノイズがフィルタされ、保留された大半の特徴点は、いずれもガードレールの特徴となる。図８における（ｄ）は、特徴列の対応特徴点のフィッティングで得られた検知結果を例示した図である。

他の実施例においては、所定数の視差断面図による物体識別後に、たとえば、以降の連続した複数の視差断面図に追跡によって推定した特徴が存在しない等、以降の視差断面における物体の特徴の追跡に失敗した場合は、前の識別の正確度が高くないことを表す可能性があるため、先の検知結果を破棄し、新たな視差断面図の特徴を前の視差断面図の特徴と統合し、再度検知を行うことができる。

或いは、先の検知においては、例えば、ガードレールを例に、ハフ変換や最小二乗法のフィッティングから複数の候補直線が得られると、各候補直線に信頼度を付与し、次に、以降の追跡結果により、選出した直線の信頼度の検証及び更新を行うか、或いは、選出した直線による以降の視差断面図におけるガードレール特徴の追跡が良好に行えないことが判明した場合は、選出した直線を破棄し、候補直線中の他の直線を選択しガードレールを表すようにしてもよい。

或いは、先に検知した結果を用いた、以降の視差断面図における特徴追跡に失敗した場合は、例えば、直線路が湾曲路に変わる等、道路状況に変化が生じたことを意味する可能性があることから、このときは、例えば、直線によるガードレール上端点のフィッティングの代わりに、二次曲線を用いたガードレールの上端点のフィッティングを用いるなど、ガードレール端点のフィッティングパターンを変更するようにしてもよい。

以上では、ガードレール検知を例に、本発明の視差断面図列による物体検知方法について説明したが、これは一例に過ぎず、本発明はこれに限られるものではない。前述のように、本発明の物体検知方法は、例えば、路肩石、車道線、植え込み、側壁等の距離飛行に連続してなる物体に用いることができる。なお、本発明は、例えば、車両、通行人、建物、道路標識等の、距離方向に連続してなるものではない物体にも適用可能であるが、本発明は、特に、距離方向に連続してなる物体の検知に適している。

本発明の実施例の方法によると、視差断面図列を抽出し、特徴の抽出及び物体の識別を行うことで、路面入力結果への依存を解消し、安定性と適応性に優れ、物体の空間連続性の特徴を有効に利用するとともに、直接検知の背景ノイズによる誤検知や検知漏れや、ＵＶ視差図による検知の遮蔽やノイズによる誤検知や検知漏れを解消し、より理想的な検知効果を奏することができる。

３、第２の実施例：視差方向連続型物体検知装置
図９は、本発明の１実施例における視差図による視差方向連続型物体検知装置の全体配置の全体ブロック図である。

図９に示されたように、視差方向連続型物体検知装置2000は、視差方向に連続してなる連続型物体を含む視差図を取得する視差図取得部材2100と、視差の大小順に、所定視差値に対応する、或いは所定視差値範囲に対応する全視差点からなる視差図断面である、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得する視差断面図取得部材2200と、検知対象物体の特性により、視差断面図から特徴を抽出する特徴抽出部材2300と、各視差断面図の特徴列により、物体識別を行う物体識別部材2400と、を備えている。

視差方向連続型物体検知装置の視差図取得部材2100と、視差断面図取得部材2200と、特徴抽出部材2300と、物体識別部材2400の動作については、図５に示されたフローチャートの各ステップの記載を参考することができ、ここでは重複説明は割愛する。

４、システムのハードウェア配置
本発明は、さらに、連続型物体検知ハードウェアシステムとして実施されてもよい。図10は、本発明の実施例における物体検知システム1000の全体ハードウェアブロック図である。図10に示されたように、物体検知システム1000は、外部から、例えばステレオカメラで撮像された左右画像や、奥行情報、或いは、連続型道路分離体部分の視差図等のような関連画像や情報を入力するための、例えば、キーボード、マウス、通信ネットワーク、及びこれに接続された遠隔入力装置等の入力装置1100と、前述の本発明の実施例による視差図による視差方向連続型道路分離体検知方法を実施するための、或いは、前述の視差図による視差方向連続型道路分離体検知装置として実施される、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等の、例えば、インターネットのネットワーク（未図示）に接続可能な、処理工程のニーズに応じた処理後の画像等の遠隔送信が可能な処理装置1200と、外部へ前述の視差方向連続型道路分離体検知から得られた結果を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置1300と、揮発或いは不揮発形式にて、前記視差方向連続型道路分離体検知工程における画像、視差図、視差断面図、特徴等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスクや、半導体メモリ等の各種揮発または不揮発性メモリ等の記憶装置1400を有する。

５．まとめ
本発明の実施例においては、視差方向に連続してなる連続型物体を含む視差図を取得し；視差の大小順に、所定視差値に対応する、或いは所定視差値範囲に対応する全視差点からなる視差図断面である、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得し；検知対象物体の特性により、視差断面図から特徴を抽出し；各視差断面図の特徴列により、物体識別を行う、視差図による視差方向連続型物体検知方法を提供する。

前記視差の大小順に、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得することにおいて、３次元世界における等間隔に対応する視差間隔で、視差断面図を取得するようにしてもよい。

該物体検知方法において、各視差断面図の特徴列による、物体識別は、視差で隣り合う視差断面図における対応特徴の形状上の類似度及び位置上の連続性の判定を含むようにしてもよい。

１実施例において、検知対象物体は、ガードレール、路肩石、植え込み、側壁のうちの少なくともいずれかであり；前記検知対象物体の特性により、視差断面図から特徴を抽出することにおいては、視差断面図から、高さが所定範囲を満たす垂直線分を抽出し；各視差断面図の特徴列により、物体識別を行うことにおいては、各視差断面図における垂直線分の１視差図への対応付けを行い、線分配列の上部端点の直線フィッティングを行うとともに、線分配列の下部端点からなる配列の直線フィッティングを行い、上部端点配列のフィッティングからなる線が略直線になるか、及び、下部端点のフィッティングからなる線が略直線になるかを判断し、上部端点が繋がってなる線が略直線となり、かつ、下部端点が互いに繋がってなる線が略直線となると、該上下の２直線が、ガードレール、路肩石、植え込み、側壁のうちのいずれかであると判定する。

１実施例において、該物体検知方法は、さらに、所定数の視差断面図による物体識別後、視差の連続性の特徴により、以降の視差断面図における物体特徴の推定及び選択を行うようにしてもよい。

本発明の他の面においては、視差方向に連続してなる連続型物体を含む視差図を取得する視差図取得部材と、視差の大小順に、所定視差値に対応する、或いは所定視差値範囲に対応する全視差点からなる視差図断面である、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得する視差断面図取得部材と、検知対象物体の特性により、視差断面図から特徴を抽出する特徴抽出部材と、各視差断面図の特徴列により、物体識別を行う物体識別部材と、を備えた視差図による視差方向連続型物体検知装置を提供する。

本発明の実施例における視差方向連続型物体検知方法、及び装置においては、視差断面図列を抽出し、特徴の抽出及び物体の識別を行うことにより、路面入力結果への依存を解消し、より優れた安定性と適応性を有し、物体空間連続性の特徴を有効に利用するとともに、直接検知の背景干渉による誤検知や検知漏れ、或いは、ＵＶ視差図による検知の、遮蔽やノイズによる誤検知や検知漏れを解消し、より理想的な検知効果を得ることができる。

前述の各実施例は、単に説明的なものであり、当業者は、ニーズに応じた各種修正及び/または代替が可能であり、本発明の原理を逸脱しない範囲内の、このような修正及び/または代替も、本発明の保護範囲内のものと見なされるべきである。

また、例えば、前述の実施例では、ガードレールを例に本発明の技術を説明したが、本発明はこれに限るものではなく、例えば、植え込み、路肩石、車道線等、視差方向に連続したいずれの道路分割体の検知にも用いられる。さらに、実際に、本発明は、視差方向に連続した道路分割体の検知のみならず、任意の物体検知に適用可能である。ただし、本発明は、視差方向に重複した切片に類似性のある物体の検知に特に適している。

なお、前述の実施例においては、視差断面図が地面と直交する例について説明したが、前述のように、記述の便宜上、仮定したものであり、実際に、ステレオカメラの光軸と地面とが平行しない場合は、視差断面図と地面とは直交にならないが、この場合にも本発明を適用することができる。

以上、具体的な実施例により、本発明の基本原理を説明したが、本発明の方法及び装置の全て、或いは任意のステップや部材は、任意の演算装置（プロセッサ、記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアや、これらの組合せにより実現可能であり、本発明の説明のもと、基本プログラミング技能を用いて実現可能であることは、当業者が理解できる。

このため、本発明の目的は、さらに、任意の演算装置上で１つのプログラムや１セットのプログラムを実行して実現できる。前記演算装置は、公知の汎用装置でもよい。このため、本発明の目的は、単に前記方法や装置を実現するプログラムコードを含むプログラム製品を提供することでも実現することができる。換言すると、このようなプログラム製品も本発明をなし、このようなプログラム製品を記録した記録媒体も本発明をなすことになる。もちろん、前記記録媒体は、任意の公知の記録媒体や、将来開発し得る任意の記録媒体でもよい。

ここで、本発明の装置及び方法において、各部材や、各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/または再組み合わせも、本発明と等価の発明と見なされるべきである。なお、前記系列処理の実行ステップは、自然に説明順、時間順に行うことができるが、必ずしも一定の時間順に行われる必要はなく、あるステップは、並行して、或いは互いに独立して行われてもよい。

本発明の保護範囲は、前述の具体的な実施形態に制限されるものではなく、当業者が、設計要求や他の要素に応じて、多種多様な補正、組み合わせ、サブ組み合わせや、代替が可能であることは言うまでもない。本発明の精神と原則を逸脱しない範囲内のいずれの修正、同等の代替や、改善等は、すべて本発明の保護範囲内のものとなるべきである。

Claims (12)

1. 視差方向に連続してなる連続型物体を含む視差図を取得し、
   視差の大小順に、所定視差値に対応する、或いは所定視差値範囲に対応する全視差点からなる視差図断面である、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得し、
   検知対象物体の特性により、視差断面図から特徴を抽出し、及び
   各視差断面図の特徴列により、物体識別を行う、視差図による視差方向連続型物体検知方法。
2. 前記視差の大小順に、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得することにおいて、
   ３次元世界における等間隔に対応する視差間隔で、視差断面図を取得する、請求項１に記載の物体検知方法。
3. 視差断面図から抽出した特徴が、
   物体の実際の高さまたは幅が、視差値とは正比例をなす特性により、対応視差断面図から、物体の高さまたは幅を決定することにより、対応サイズの特徴を選択する、請求項１に記載の物体検知方法。
4. 各視差断面図の特徴列による、物体識別において、
   視差で隣り合う視差断面図における対応特徴の形状上の類似度及び位置上の連続性を判定する、請求項１に記載の物体検知方法。
5. 検知対象物体は、ガードレール、路肩石、植え込み、側壁のうちの少なくともいずれかであり、
   前記検知対象物体の特性により、視差断面図から特徴を抽出することにおいては、
   視差断面図から、高さが所定範囲を満たす垂直線分を抽出し、
   各視差断面図の特徴列により、物体識別を行うことにおいては、各視差断面図における垂直線分を１視差図に対応付け、
   線分配列の上部端点の直線フィッティングを行うとともに、線分配列の下部端点からなる配列の直線フィッティングを行い、
   上部端点配列のフィッティングからなる線が略直線になるか、及び、下部端点のフィッティングからなる線が略直線になるかを判断し、及び
   上部端点が繋がってなる線が略直線となり、かつ、下部端点が互いに繋がってなる線が略直線となると、該上下の２直線が、ガードレール、路肩石、植え込み、側壁のうちのいずれかであると判定する、請求項１に記載の物体検知方法。
6. 所定数の視差断面図による物体識別後、視差の連続性の特徴により、以降の視差断面図における物体特徴の推定及び選択を行う、請求項１または5に記載の物体検知方法。
7. 視差方向に連続してなる連続型物体を含む視差図を取得する視差図取得部材と、
   視差の大小順に、所定視差値に対応する、或いは所定視差値範囲に対応する全視差点からなる視差図断面である、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得する視差断面図取得部材と、
   検知対象物体の特性により、視差断面図から特徴を抽出する特徴抽出部材と、
   各視差断面図の特徴列により、物体識別を行う物体識別部材と、を備えた視差図による視差方向連続型物体検知装置。
8. 前記視差断面図取得部材により、視差の大小順に、各視差に対応する、或いは各視差範囲に対応する視差断面図を取得することにおいては、
   ３次元世界における等間隔に対応する視差間隔で、視差断面図を取得する、請求項7に記載の物体検知装置。
9. 視差断面図から抽出した特徴が、
   物体の実際の高さまたは幅が、視差値とは正比例をなす特性により、対応視差断面図から、物体の高さまたは幅を決定することにより、対応サイズの特徴を選択する、請求項7に記載の物体検知装置。
10. 物体識別部材が、視差断面図の特徴列により、物体識別を行うことにおいては、
    視差で隣り合う視差断面図における対応特徴の形状上の類似度及び位置上の連続性を判定する、請求項7に記載の物体検知装置。
11. 検知対象物体は、ガードレール、路肩石、植え込み、側壁のうちの少なくともいずれかであり、
    前記特徴抽出部材が、検知対象物体の特性により、視差断面図から特徴を抽出することは、視差断面図から、高さが所定範囲を満たす垂直線分を抽出することが含まれ、
    前記物体識別部材が、各視差断面図の特徴列により、物体識別を行うことは、
    各視差断面図における垂直線分を１視差図に対応付け、
    線分配列の上部端点の直線フィッティングを行うとともに、線分配列の下部端点からなる配列の直線フィッティングを行い、
    上部端点配列のフィッティングからなる線が略直線になるか、及び、下部端点のフィッティングからなる線が略直線になるかを判断し、及び
    上部端点が繋がってなる線が略直線となり、かつ、下部端点が互いに繋がってなる線が略直線となると、該上下の２直線が、ガードレール、路肩石、植え込み、側壁のうちのいずれかであると判定する、請求項7に記載の物体検知装置。
12. 所定数の視差断面図による物体識別後、視差の連続性の特徴により、以降の視差断面図における物体特徴の推定及び選択を行う、請求項7または11に記載の物体検知装置。