JP2014067406A - 連続型道路分割体検知方法及び検知装置 - Google Patents

Abstract

【課題】高さを有する連続型道路分割体の検知方法及び検知装置を提供する。
【解決手段】検知方法においては、該連続型道路分割体の視差図及び対応するU視差図を取得し、前のＮ個のフレームのＵ視差図から、該連続型道路分割体を検知時の中間検知結果を取得し、得られた中間検知結果により、現フレームのＵ視差図から該連続型道路分割体を検知する。
【選択図】図２

Description

本発明は、画像処理に関し、特に、連続型道路分割体の検知方法及び検知装置に関する。

運転支援システムの応用が益々普及されてきている。道路や車道警告システム（Lane/Road detection warning、 LDW/RDW）は、運転支援システムのサブシステムであるが、該システムによると、衝突防止や、より正確な運転方向の決定等が可能になる。LDW/RDWシステムにおいて、道路や車道の検知は、非常に肝心なものであり、道路情報を把握してはじめて、例えば警告のような更なる処理が可能になる。通常は、道路分割体の検知により、道路や車道の検知が行われる。

道路分割体は、路肩石、白線、ガードレールや、他の道路領域及び車道を表せる標識物等がある。

道路分割体には、一定の高さのある連続型道路分割体が存在し、例えば、ガードレール、植え込みや、路肩等がある。

従来には、一定の高さのある連続型道路分割体への検知方法が提案されている。

例えば、非特許文献１（Giancarlo Alessandretti、 Alberto Broggi、 and Pietro Cerri等の人による文章Vehicle and Guard Rail Detection Using Radar and Vision Data Fusion、IEEE 2007 TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS）には、レーダと光学カメラの組合せで入力された車両とガードレール検知方法が提案されている。レーダ画像は、階調画像では得られない材質情報を補助的に提供することにより、車両とガードレールの検出に役立っているが、該方法においては、環境条件の変化や、視覚上の幾何の歪み発生から、実際の応用では安定した結果が得られにくく、演算量も非常に大きくなってしまう。

このため、複雑な環境においても安定かつ正確な高検知率が得られるとともに、演算量の大幅な低減が可能な、高さのある連続型道路分割体の検知技術が求められている。

本発明は、上記問題点を鑑みてなされたものである。

本発明の１方面においては、高さを有する連続型道路分割体の検知方法であって、該連続型道路分割体の視差図及び対応するＵ視差図を取得し、前のＮ個のフレームのＵ視差図から該連続型道路分割体を検知した時の中間検知結果を取得し、得られた中間検知結果により、現フレームのＵ視差図から該連続型道路分割体を検知する、検知方法を提供する。

本発明の他の方面においては、高さを有する連続型道路分割体の検知装置であって、該連続型道路分割体の視差図及び対応するＵ視差図を取得する画像取得部と、前のＮ個のフレームのＵ視差図から該連続型道路分割体を検知時の中間検知結果を取得する中間検知結果取得部と、得られた中間検知結果により、現フレームのＵ視差図から該連続型道路分割体を検知する検知部と、を含む、検知装置を提供する。

本発明の実施例における高さを有する連続型物体検知方法及び装置によると、追跡により履歴フレームのＵ視差図から検出された中間検知結果を取得し利用することにより、現フレームのＵ視差図から連続型道路分割体を検知し、これにより、検知の算出量を大幅に低減することができ、検知の正確性の向上のみならず、検知効率の向上も可能になる。

ガードレール部分を含む視差図及び対応するＵ視差図とＶ視差図。 本発明の第一実施例におけるガードレール検知方法の全体フローチャート。 本発明の第一実施例におけるガードレール検知方法のサブフローチャート。 Ｕ視差図におけるガードレールの略図。 Ｕ視差図におけるガードレールの他の略図。 視差図における地面に平行した切片、視差図の切片範囲内の視差点からなるV視差図及び視差図の切片範囲内の視差点からなるＵ視差図。 本発明の１実施例における高さのある連続型道路分割体検知装置の全体配置図。 本発明の実施例における高さのある連続型道路分割体の検知システムの全体ハードウェアブロック図。

当業者の本発明へのより容易な理解のために、以下、図面及び具体的な実施形態により、本発明をさらに詳細に説明する。

本発明の実施例においては、視差、視差図、Ｖ視差図及びＵ視差図の概念が用いられている。これらの概念は、当該分野の公知であることから、ここでは、これらの概念についてのみ、簡単に説明する。

視差は、一定間隔の２つの点から同一の目標を観察した場合に発生する方向差を指している。例えば、双眼カメラで同一の目標の左右の２画像を撮像した場合、該目標の視差は、該目標の左画像における横座標と右画像における横座標間の差と理解することができる。

視差図（disparity map）は、任意の１画像を基準画像に、サイズが該基準画像のサイズで、各点（画素点）の階調値が基準画像中の対応点の視差となる画像である。該視差図は、当該分野に公知された多くの方法で得られる。例えば、該視差図は、双眼カメラで撮像された左画像と右画像から算出されてもよく、多眼カメラやステレオカメラで撮像された画像から算出されてもよく、或いは、立体図における深度図から算出されてもよい。

基準画像中の点の座標は、（ｘ、ｙ）で表すことができ、ここで、ｘは、横座標、ｙは、縦座標である。該基準画像を変換して得られた２次元視差図において、点（ｘ、ｙ）対応する点の座標は、（u、v）で表すことができ、ここで、uは、横座標、vは縦座標であり、かつu=x、v=yとなる。視差図の各点における階調値が該点における視差であり、dで表される。また、点の座標と視差を同時に反映するように、視差図における点を（u、v、d）で表してもよい。

Ｖ視差図とＵ視差図は、視差図から導出することができる。Ｖ視差図は、見たところは、オリジナルの３次元シーンの側面図であり、横座標軸がd軸、縦座標軸がv軸で、その上の点は、（d、v）と表すことができ、点（d、v）の階調値（輝度値）は、対応視差図中の縦座標がvの行における視差dとなる点の数であることから、該数の統計により、或いは当該分野の公知の他の方法により、視差図からＶ視差図を導出することができる。Ｕ視差図は、見たところは、オリジナルの３次元シーンの俯瞰図であり、横座標軸がu軸、縦座標軸がd軸で、その上の点は、（u、d）で表すことができ、点（u、d）の階調値（輝度値）は、対応視差図中の横座標uの列における視差dとなる点の数であることから、該数の統計により、或いは当該分野に公知の他の方法により、視差図からＵ視差図を導出することができる。図1は、ガードレール部分を有する視差図及び対応するＵ視差図とＶ視差図を示した図である。

本発明の実施例における検知技術は、いずれの高さのある連続型道路分割体に適用することができる。いわゆる高さのある連続型道路分隔物とは、路面を基準に一定の高さがあり、かつ道路方向に延伸した道路分割機能を有する物体を指し、例えば、路辺のガードレール、植え込み、路肩石等である。ここで、物体の高さは、一定である必要がなく、同高さである必要もない。以下、ガードレールを例に、本発明の実施例における高さのある連続型道路分割体の検知方法について説明する。

＜第一実施例＞
図２は、本発明の第一実施例におけるガードレール検知方法の全体フローチャートである。

図２に示されたように、ステップS21において、該ガードレールの視差図及び対応するＵ視差図を取得する。

本発明には、いずれの従来の視差図取得方法が用いられる。例えば、双眼カメラ、多眼カメラ、ステレオカメラにより、ガードレールの視差図を撮像して計算する。具体的に、例えば、双眼カメラにより、左画像と右画像を撮像し、左画像と右画像から視差図を算出する。或いは、立体図から深度（奥行き）図を取得し、該深度図から視差図を得てもよい。視差図の取得後は、視差図を変換することにより、対応するＵ視差図と対応するＶ視差図が得られる。

ステップS22において、前（直前）のフレームのＵ視差図からガードレールを検知した時の中間検知結果を取得する。

通常、ガードレールは、直線形式で延伸することから、Ｕ視差図でも直線として表され、Ｕ視差図から直線を検知することで、ガードレールを検知することができる。具体的に、各種直線検知方法を用いたＵ視差図からの直線検知により、ガードレールの位置特定を行い、その後、所定の検知パラメータにより、検出された直線へのフィルタを行うことで、最終の検知結果が得られる。周知のように、様々な画像からの直線検知方法があるが、以下では、ハフ変換を例に説明する。

ハフ変換は、常用の画像からの直線検知方法である。平面直角座標系における直線方程y=kx+bは、ハフ変換により、r=x・cosθ+y・sinθに表すことができる。式中、rは、該直線と原点間の距離を表し、θは、該直線とx軸の夾角を表す。このように、座標（x0、y0）を有する任意の１点を通る全ての直線は、r(θ)=x₀・cosθ+y₀・sinθを満足することになる。ハフ変換による直線検知時は、画像中の各点に関し、該点を通るr、θ形式で表される直線の集合を決定（即ち、0°〜360°の範囲で一定の角度間隔でサンプリングした各θ角のr値を算出）し、各点を通る直線の集合の座標は、ハフ空間中の１曲線をなし、複数の曲線のハフ空間における交点は、該当点から形成される直線を表すことができる。通常は、最多曲線の交差による交点が、検出された直線を表すことになる。

連続したビデオ信号中のガードレールの検知時は、最も基本的な方式として、各フレームのＵ視差図から、単独に直線を検知して、ガードレールの位置を特定し、即ち、現フレームのＵ視差図からの検知時は、各履歴フレームのＵ視差図からの直線検知時のパラメータを参照せず、或いは、各履歴フレーム中の最終検知結果のみ参照して、現フレームのＵ視差図からの検知を行う。このような検知方法は、検知効率が低く、計算量が膨大であることは言うまでもない。

前述のように、ガードレールは、通常、連続した直線形式で延伸することから、例えば、前述のハフ変換による直線検知時、隣接する複数のフレームのＵ視差図から検知された直線のθ角の変化は大きくないはずである。このため、現フレームのＵ視差図からの直線検知時は、前のフレームのＵ視差図から検知した直線のθ角を追跡し利用することにより、現フレームにおける検知に必要な計算量を減らすことができる。

ステップS23において、得られた中間検知結果により、現フレームのＵ視差図からガードレールを検知する。

該ステップにおいては、得られた中間検知結果を利用し、同様に、例えば、ハフ変換を用いて現フレームのＵ視差図から直線を検知することで、ガードレールの位置を特定し、その後、所定の検知パラメータにより、検出された直線のフィルティングを行い、最終の検知結果を得る。図３は、該処理工程のフローチャートを示した図である。以下、図３を参照して、詳細に説明する。

ステップS231において、得られた中間検知結果により、現フレームのＵ視差図からの検知範囲を縮小する（絞り込む）。具体的に、現フレームにおいて、ステップS220から得られた、前フレームのＵ視差図から検知された直線のθ角の回り（即ち、+/-Δ°の範囲内）のみから、一定の角間隔でθ角をサンプリングし、対応するr値を計算することで、直線検知のハフ空間を縮小し、計算量を減らすことができる。

ステップS232において、縮小後の範囲から候補ガードレールを検出する。具体的に、例えば、ハフ変換による直線検知時、縮小されたハフ空間におけるピーク値点、即ち、最多曲線の交差による交点を決定し、これにより、該ピーク値点で表される直線を得る。

ステップS233において、検出された候補ガードレールが所定の検知パラメータの閾値条件を満たすか否かを判断し、閾値条件を満たした場合は、該検出された候補ガードレールを検知結果とする。前記検知パラメータ及びその閾値条件は、対象ガードレールの特徴を反映し、かつ、具体的な状況と要求に応じて予め決められるものである。例えば、閾値条件は、直線上の点数が要求閾値（例えば、250の点）に達したか否か、検出された直線の長さが最小閾値（例えば、250の画素値に対応する長さ）を満足するか否か、形成された直線上に閾値（例えば、40の画素）を越えた裂け目があるか否か、等のいずれの適切な条件とすることができる。検出されたガードレールは、閾値条件を満足した場合、正確な検知結果となる。

以上の説明では、現フレームのＵ視差図からのガードレール検知時、前（直前）のフレームのＵ視差図から検知された直線のθ角のみ追跡し利用しているが、実際に、前のＮ個のフレームのＵ視差図から検知された直線のθ角を追跡利用し、現フレームのＵ視差図から検知を行ってもよい。例えば、ステップS22において、それぞれ前のＮ個のフレームのＵ視差図に対応するＮ個のθ角を取得した後、例えば、重み付けの平均値、単純平均値等のいずれの適切な方法により、ステップS23で用いられるθ角を決定することができる。次に、ステップS23において、該決められたθ角により、現フレームのU視差図からガードレールを検知する。

以上、ハフ変換を例に、本発明の実施例におけるガードレール検知方法について説明したが、実際に、各種他の線検知方法による、Ｕ視差図からの直線検知により、ガードレールの位置特定を行ってもよい。ハフ変換以外の他の線検知方法を用いる場合も、同様に、それぞれの中間検知パラメータの追跡取得が可能なことは言うまでもない。

前述の本発明の第一実施例による検知方法においては、前のＮ個のフレームのＵ視差図からのガードレール検知時の中間検知結果を追跡取得しかつ利用することにより、現フレームのＵ視差図からガードレールを検知している。このため、検知の計算量を大幅に減らし、検知の正確性、及び検知の効率を向上することができる。

＜第二実施例＞
第一実施例においては、履歴フレームのＵ視差図の中間検知結果を追跡し利用することで、現フレームの検知における計算量を低減し、検知効率を向上することが可能になる。本実施例においては、検知パラメータの閾値条件を追跡しかつ自己適応的に調整することで、検知効率の更なる向上が可能になるとともに、物体検知時の適応性とロバスト性をさらに高めることができる。

前述のように、検知パラメータ及びその閾値条件は、対象ガードレールの特徴を反映するためのものであり、具体的なケースと要求に応じて、予め決めることができる。直線検知パラメータは、通常、道路状況やガードレール特徴による変化が比較的に少ない、例えば、最小線長、最大裂け目長さ等の、基本パラメータと、例えば、照度、天気等の環境に影響され、基本パラメータよりも変化が比較的に大きい、例えば、線上の画素点の数、線上の画素点の密度、線上の画素点の許容誤差等の、特別パラメータの、２種類がある。該２種類のパラメータに関しては、いずれも追跡可能であり、現フレームの情報（例えば、ヒストグラム、Ｕ視差図中の画素点の数等）や、履歴フレーム及び現フレームに用いられた検知パラメータの閾値による、自己適応的な調整が可能になり、各種環境変化へのより一層の適応、検知の正確率及び効率の向上が可能になる。

検知パラメータ及びその閾値条件の意味と、適切な検知パラメータの選択方法及びその閾値条件の設定方法は、いずれも当業者に公知のものである。ここで、本発明への理解のために、例として、最小線長、最大裂け目長さ、線上の画素点の数、線上の画素点の密度、線上の画素点の許容誤差について簡単に説明する。

最小線長は、検知された直線の長さへの要求である。検知された直線は、その長さが閾値に達してこそはじめて、検知結果として保留される可能性がある。

対象ガードレールは、必ずしも連続したものではないため、ガードレールを表す直線が断続的である可能性があり、一定の断裂を許容することにより、完璧な対象物体を検知する機会を増やすことができる。このため、最大裂け目長さで、直線上に存在する裂け目を許容する最大長さを表すことができる。

線上の画素点の密度は、重要なパラメータであり、検出した直線上の画素点の密度が該密度閾値を越えた場合は、該直線上に十分な点が存在しているため、有効であると判断し；逆に、密度が低すぎると、該直線は、無効であり、検知結果にできないと判断する。

線上の画素点の数は、線上の画素点の密度と類似したものであり、検出された直線上の画素点の数が閾値を越えた場合は、該直線上に十分な点が存在し、有効であると判断し；逆に、数が少なすぎると、該直線は無効であり、検知結果にできないと判断する。

点の分布は、無秩序であることから、各点が正確かつ完全に１直線上に位置するとは限らないため、より多くの点が線上に位置するように、一定の距離誤差を許容すると、完全な対象物体を検知する機会を増やすことになる。線上の画素点の許容誤差は、該特徴を反映可能な検知パラメータとなる。点から線までの距離が該パラメータの設定閾値未満になると、点が該直線上に位置すると判断する。例えば、ハフ変換による直線検知を例にすると、例えば、前述のように、各点を通る直線の集合の座標は、ハフ空間における１曲線をなすことができ、複数の曲線のハフ空間における交点が対応点からなる直線を表すことになる。複数の点が正確に１直線上に位置した場合、複数の対応曲線のハフ空間における交点のピーク形状のシャープさが激しく、即ち、該交点が正確な点となる。しかし、各点が完全かつ正確に１直線上に位置することができない場合は、前記交点のピーク形状のシャープさが穏やかになり、即ち、該交点は正確な点ではなく、１小さな領域である可能性があり、このときは、線における画素点の許容誤差を設定する必要がある。明確に言うと、交点のピーク形状のシャープさが穏やかになるほど、線における点の許容誤差をより大きく設定する必要がある。

検知パラメータは、以上の例に限らず、具体的な環境に応じて、任意に他の検知パラメータを適切に設定してもよい。

本実施例のガードレール検知方法は、第一実施例中の方法と基本的に同一であり、異なる点は、ステップS232が追加されたことのみにある。具体的に、本実施例の該ステップS232’においては、縮小後の範囲におけるガードレールを形成可能な画素点の数が少なすぎる場合は、検知パラメータの閾値を調整するとともに、該縮小後の範囲から候補のガードレールを検出する。

例えば、オリジナルの３次元シーン図の撮像時、各種天気、時間、照度、シーン等の環境要素の影響から、例えば、ある期間内の照度が弱く、露光量が低くなると、現フレームのＵ視差図におけるガードレールを形成し得る画素点の数が少なすぎて（例えば、ある閾値未満）、該Ｕ視差図から検出された直線が前述の検知パラメータの閾値条件を満たすことができなくなる等、固定の閾値に多くの多限定性が生じることになる。この場合は、検知パラメータの閾値を調整することで、以降のステップS233で検知パラメータの閾値条件を満たす検知結果が得られるように、検出された直線のパラメータ要求を低減することができる。例えば、現フレームのＵ視差図におけるガードレールを形成可能な画素点の数が少なすぎると、例えば、前述の最小線長、線上の点の数、線上の点の密度の閾値を小さくし、例えば、最大裂け目長さ、線における点の許容誤差の閾値を大きくすることができる。このような自己適応的な検知パラメータの調整により、検知漏れを減らし、検知効率を向上することができる。また、現フレームのＵ視差図におけるガードレールを形成可能な画素点の数が多すぎる場合は、前述の調整とは逆の、検知パラメータの閾値調整を行うことで、検出された直線のパラメータ要求を高め、検知の精度を向上することができる。

以上、現フレームのU視差図の情報により、該現フレームのU視差図に用いられる検知パラメータの閾値の自己適応的な調整について説明した。一方、本実施例においては、履歴フレームと現フレームのU視差図の情報特徴により、検知パラメータの自己適応的な調整を行い、物体検知時の適応性とロバスト性を向上することができる。

例えば、前述のように、反射のような突発的な環境要素による露光変化から、得られる画質に影響を及ぼすため、現フレームのU視差図からガードレールを検知する際には検知パラメータの閾値の調整を大きくする一方、次フレームには露光量変化を招く突発的環境要素が無くなり、履歴フレームU視差図形成時と類似した環境要素に回復したとする。或いは、例えば、現フレームのU視差図からガードレールを検知する際に、検知パラメータの閾値の調整を誤って大きくしたとする。この時、大きく調整された検知パラメータは、以降のフレームのU視差図に適さないことが分かる。該問題を解決するために、第一実施例における検知方法のステップS23後に、現フレームのＵ視差図と前の少なくとも一つのフレームのＵ視差図に用いられた検知パラメータの閾値を追跡し、これにより、次のフレームのＵ視差図に用いられる検知パラメータの閾値を調整することで、一部最小値の問題を防止することができる。

例えば、現フレームをtとすると、以上の例示した複数の検知パラメータに対し、以下の計算式により、第t+1フレームに用いる検知パラメータの閾値を調整することができる。

最小線長：length(t+1) = F(length(t)、 length(t-1)、 length(t-2)、…)
最大裂け目長さ：gap(t+1) = F(gap(t)、 gap(t-1)、 gap(t-2)、…)
線上の点の数：numinline(t+1) = F(numinline(t)、 numinline(t-1)、numinline(t-2)、…)
線上の点の密度：density(t+1) = F(density(t)、 density(t-1)、 density(t-2)、…)
線における点の許容誤差：bias(t+1) = F(bias(t)、 bias(t-1)、 bias(t-2)、 …) （1）
式中、F(…)は、追跡調整が可能ないずれのアルゴリズムでもよく、例えば、処理スピードを考えて、簡単な平均値算出方式を用いることができる。なお、前述の計算式から、現フレームとＮ個の履歴フレーム中の検知パラメータによる調整が可能であることが分かり、ここで、N≧1、かつ、具体的な値は、具体的な状況に応じてユーザより適切に設定することができる。

前述の本発明の第二実施例による検知方法においては、現フレームのＵ視差図の情報により、現フレームのＵ視差図に用いられる検知パラメータの閾値の自己適応的調整を行うとともに、現フレームのＵ視差図と履歴フレームのＵ視差図の情報を追跡取得し、次のフレームのＵ視差図に用いられる検知パラメータの閾値の自己適応的調整を行っている。このような自己適応的調整により、検知効率の向上、及び物体検知時の適応性とロバスト性の向上が可能になる。

＜第三実施例＞
本実施例のガードレール検知方法は、第一実施例と第二実施例の方法と基本的に同一であり、ステップS231の前に、Ｕ視差図中のガードレールが含まれる関心領域を決定するステップS230をさらに有することのみ異なっている。換言すると、本実施例においては、ガードレールが含まれた全U視差図からの検知ではなく、Ｕ視差図中の関心領域からのみ検知が行われる。

関心領域は、通常、実験結果或いは履歴経験から決められるものである。例えば、多くのガードレールのＵ視差図における位置観察後に、左側ガードレールの角度は、図４と図５に示されたように、通常30度と45度との間であることが得られる。これにより、Ｕ視差図中のガードレールが含まれた関心領域（即ち、角度が30度と45度との間の領域）を決定することができ、また、該関心領域のみから検知を行うことで、検知率の向上と計算時間の短縮が可能になる。同様に、ガードレールの、例えば位置、長さ範囲等により、Ｕ視差図中の関心領域を決定してもよい。

＜変形例＞
以上、本発明の実施例におけるガードレール検知方法について説明したが、以下は、前述の検知方法の一部の変形例について説明する。

以上の実施例においては、Ｕ視差図からのガードレールの検知方法が用いられている。前述のように、Ｕ視差図の検知方法は、当該分野の公知のものであり、撮像されたオリジナルの３次元シーン図において、路面は、３次元シーンにおける略最低面であることから、通常、Ｕ視差図は、原視差図中の路面範囲内の視差点からなるＵ視差図を指している。一方、本発明の１変形においては、原視差図中の、路面に平行する切片範囲内の視差点からなるＵ視差図がＵ視差図として用いられている。

視差図に対応する３次元世界においては、地面に平行する切片で該３次元世界中の全ての物体を切断した場合、切片に直交する物体の点は、いずれも地面に平行する同一面に位置することになり、高さが所定範囲内の物体のみと切片が交差するように、切片の高さを適切に選択することができる。例えば、ガードレールを検知する場合は、通常のガードレールの高さ範囲内で切片を配置することができ、このような切片は、路面上の白線、路面及び高所の建築物と交差しないことから、これらの物体のノイズを避けることができ、処理される切片上の情報の大幅な低減が可能になることから、検知の計算量を低減し、検知効率を向上することができる。

図６における左上図は、灰色部分で示されたような、視差図中の路面に平行する切片を表し、図６における右上図は、視差図の該切片範囲内の視差点からなるＶ視差図を表し、ここで、Ｖ視差図中の直線は、視差図中の水平切片に対応し、図６における左下図は、視差図の該切片範囲内の視差点からなるＵ視差図を表し、ここでのガードレールは、略直線に近いものである。

視差図の切片範囲内の視差点からなるＵ視差図を得るためには、各種公知の方法を用いることができる。例えば、本出願人の出願番号が201210147642.5の発明に記載された方法を参照することができる。

以上の各実施例では、いずれも検知したガードレールが直線型の場合について説明したが、本発明はこれに限られるものではない。本発明の他の変形においては、道路のカーブに沿った湾曲形式のガードレールの検知が可能になる。

具体的に、該変形においては、湾曲ガードレールが含まれたＵ視差図から、連続し、且つ傾きが異なる複数の線分を検知し、曲線のフィッティングを行うことで、湾曲のガードレールを検知することができる。

以上の本発明の実施例による方法においては、ガードレールを例に説明したが、前述のように、本発明の方法は、いずれの高さのある連続型道路分割体の検知に用いられる。

＜高さのある連続型道路分割体検知装置の全体配置＞
図７は、本発明の１実施例における高さのある連続型道路分割体検知装置の全体配置図である。

図７に示されたように、該連続型道路分割体検知装置７００は、該連続型道路分割体を含有する視差図及び対応するＵ視差図を取得する画像取得部７１０と、前のＮ個のフレームのＵ視差図から該連続型道路分割体を検知した時の中間検知結果を取得する中間検知結果取得部７２０と、得られた中間検知結果により、現フレームのＵ視差図から該連続型道路分割体を検知する検知部７３０とを備えている。

図７には図示されていないが、該連続型道路分割体検知装置700は、現フレームのＵ視差図及び/または前の少なくとも１つのフレームのＵ視差に用いられた検知パラメータの閾値を追跡するとともに、これにより次のフレームのＵ視差図に用いられる検知パラメータの閾値を調整する検知パラメータ調整部をさらに有してもよい。

なお、図面には図示されていないが、図７における検知部７３０は、例えば、中間検知結果により、現フレームのＵ視差図から検知を行うための範囲を縮小する（絞り込む）範囲決定部と、縮小後の範囲から連続型道路分割体の候補を検知する候補対象検知部と、検知された連続型道路分割体の候補が所定の検知パラメータの閾値条件を満足するか否かを判断し、閾値条件を満足した場合、該検知された連続型道路分割体の候補を検知結果とする検知結果決定部をさらに有してもよい。

＜システムハードウェア配置＞
本発明は、さらに、高さのある連続型道路分割体ハードウェアシステムとして実施されてもよい。図８は、本発明の実施例における高さのある連続型道路分割体検知システムの全体ハードウェアブロック図である。図８に示されたように、検知システム１０００は、外部からステレオカメラで撮像された左右画像や深度情報、或いは連続型道路分割体部分の視差図等のような関連画像や情報を入力するための、例えば、キーボード、マウス、通信ネットワーク、及びこれに接続された遠隔入力装置等の入力装置８１０と、前述の本発明の実施例による高さのある連続型道路分割体検知装置として実施される、或いは、高さのある連続型道路分割体検知方法を実施するための、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等の処理装置８２０と、外部へ高さのある連続型道路分割体検知工程から得られた結果を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置８３０と、揮発或いは不揮発形式にて、前記連続型道路分割体検知工程における画像、視差図、Ｕ視差図、Ｖ視差図、中間検知結果、検知パラメータ及び閾値等の各種画像やデータを記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスクや、半導体メモリ等の各種揮発または不揮発性メモリ等の記憶装置８４０とを有する。

以上、具体的な実施例により、本発明の基本原理を説明したが、本発明の方法及び装置の全て、或いは任意のステップや部材は、任意の演算装置（プロセッサ、記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアや、これらの組合せにより実現可能であることは、当業者が理解できる。

このため、本発明における検知技術は、さらに、任意の演算装置上で１つのプログラムや１セットのプログラムを実行することにより実現可能である。前記演算装置は、公知の汎用装置でもよい。本発明における検知技術は、単に前記方法や装置を実現するプログラムコードを含むプログラム製品を提供することによっても実現可能であり、或いは、このようなプログラム製品が記録された任意の記録媒体によっても実現することができる。

また、本発明の装置及び方法において、各部材や、各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/または再組み合わせも、本発明と同等の発明と見なされるべきである。なお、前記系列処理の実行ステップは、自然に説明順、時間順で行うことができるが、必ずしも一定の時間順で行われる必要はなく、あるステップは、並行して行われてもよく、互いに独立して行われてもよい。

本発明は、前述の具体的な実施形態で保護範囲が制限されるものではなく、当業者は、設計要求や他の要素に応じて、多種多様な補正、組み合わせ、サブ組み合わせや、代替が可能であることが理解できる。本発明の精神と原則を逸脱しない範囲内のいずれの修正、同等代替や、改善等は、すべて本発明の保護範囲内のものとなるべきである。

Giancarlo Alessandretti、 Alberto Broggi、 and Pietro Cerri等の人による文章Vehicle and Guard Rail Detection Using Radar and Vision Data Fusion、IEEE 2007 TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS

Claims (10)

1. 高さを有する連続型道路分割体の検知方法であって、
   該連続型道路分割体の視差図及び対応するＵ視差図を取得し、
   前のＮ個のフレームのＵ視差図から該連続型道路分割体を検知した時の中間検知結果を取得し、
   得られた中間検知結果により、現フレームのＵ視差図から該連続型道路分割体を検知する、検知方法。
2. 前記Ｕ視差図が、視差図が元の３次元シーンにおける路面と平行する切片の範囲内の視差点からなるＵ視差図である、請求項１に記載の検知方法。
3. 得られた中間検知結果により、現フレームのＵ視差図から該連続型道路分割体を検知するステップにおいて、さらに、
   現フレームのＵ視差図における該連続型道路分割体を含む関心領域を決定する、請求項１に記載の検知方法。
4. ハフ変換により、Ｕ視差図から該連続型道路分割体を表す直線を検知することで、該連続型道路分割体を検知し、前記中間検知結果が、連続型道路分割体を表す直線とＸ軸との夾角を表すθ値である、請求項１に記載の検知方法。
5. 得られた中間検知結果により、現フレームのＵ視差図から該連続型道路分割体を検知するステップにおいて、さらに、
   前記中間検知結果により、現フレームのＵ視差図から検知を行うための範囲を縮小し、
   縮小後の範囲から連続型道路分割体の候補を検出し、
   検知された連続型道路分割体の候補が所定の検知パラメータの閾値条件を満たすか否かを判断するとともに、閾値条件を満たした場合は、該検知された連続型道路分割体の候補を検知結果とする、請求項１乃至４のいずれかに記載の検知方法。
6. 縮小後の範囲から連続型道路分割体の候補を検出するステップにおいて、さらに、縮小後の範囲における連続型道路分割体を形成可能な画素の数が少なすぎる場合は、前記検知パラメータの閾値を調整する、請求項５に記載の検知方法。
7. 現フレームのＵ視差図と前の少なくとも１つフレームのＵ視差に用いられた検知パラメータの閾値を追跡するとともに、これにより、次のフレームのＵ視差図に用いられる検知パラメータの閾値を調整するステップをさらに含む、請求項６に記載の検知方法。
8. 前記所定の検知パラメータが、該連続型道路分割体を表す線の最小線長、該線上の最大裂け目の長さ、該線上の画素の数、該線上の画素の密度、及び該線上の画素の許容誤差のうちの少なくとも一つを含む、請求項５に記載の検知方法。
9. 得られた中間検知結果により、現フレームのＵ視差図から該連続型道路分割体を検知するステップが、さらに、Ｕ視差図から、連続し、且つ傾きの異なる複数の線分を検知することにより、湾曲した連続型道路分割体を検出する、請求項１乃至８のいずれかに記載の検知方法。
10. 高さを有する連続型道路分割体の検知装置であって、
    該連続型道路分割体の視差図及び対応するＵ視差図を取得する画像取得部と、
    前のＮ個のフレームのＵ視差図から該連続型道路分割体を検知した時の中間検知結果を取得する中間検知結果取得部と、
    得られた中間検知結果により、現フレームのＵ視差図から該連続型道路分割体を検知する検知部と、を含む、高さを有する連続型道路分割体の検知装置。