JP2009199284A - 道路地物認識方法 - Google Patents

Abstract

【課題】 道路地物認識を正確に、かつ、効率よく行うことのできる道路地物認識方法を提供する。
【解決手段】 取得したレーザ点群データとステレオカラー画像データとを融合させてレーザ点各々に対応する画像対応点各々を抽出する対応点抽出ステップと、抽出した画像対応点各々のカラー情報を、当該ステレオカラー画像データから抽出するカラー情報抽出ステップと、抽出した画像対応点各々のカラー情報を、当該画像対応点各々に対応するレーザ点各々に付与して着色レーザ点各々を生成するレーザ点着色ステップと、着色レーザ点群から、同一性ある着色レーザ点群同士を抽出して道路地物を認識する地物認識ステップと、を含めてなる。三次元情報しか持たなかったレーザ点に持たせたカラー情報が、正確かつ効率のよい道路地物認識に貢献する。
【選択図】図２

Description

本発明は、ステレオ画像センサから取得した系列ステレオ画像とレーザセンサから取得した三次元点群データを融合して、それぞれの利点を活かして、道路地物抽出の自動化、効率化を図る道路地物認識方法に関するものである。

これまで、道路に関わる地物情報を取得するには、ステレオカラー画像データもしくはレーザデータを利用した研究開発が盛んに行われてきた。ステレオカメラで取得したステレオカラー画像には地面・地物の詳細な形状とカラー情報が豊富に含まれている。一方、レーザーセンサ（レーザスキャナー）で取得したレーザ点群データは地物表面の三次元ポイントで構成されており、直接地表面・地物の三次元情報が入手できる。

しかし、ステレオカラー画像には地面の詳細な形状やカラー情報が豊富に含まれているものの、撮影状況や日射角度・強さなどによる隠ぺいや対象物幾何変形が発生しやすく、三次元情報の取得と地物の識別が容易ではない。一方、オリジナルレーザ点群では、三次元情報こそ得られるが地物表面のカラー情報を取得できず、レーザ点群の密度もレーザシステムや撮影状況にもよるがそれほど高くない。そのため、レーザ点群データだけを利用していたのでは、たとえば、道路標識のようなカラー情報をその識別の基礎とするものや、細かい地物の識別が困難である。このため、道路地物認識を正確に、かつ、効率よく行うことができなかった。

本発明が解決しようとする課題は、上記困難を解消することによって、道路地物認識を正確に、かつ、効率よく行うことのできる道路地物認識方法を提供することにある。

上記課題を解決するために鋭意研究を行った発明者らは、ステレオカラー画像が持つ利点とレーザ点群が持つ利点のそれぞれを損なうことなく、両者を融合させることによって、各々の利点の総和以上の利点を引き出すことに成功した。上記課題の解決は、上記融合によって達成される。詳しい内容については、項を改めて説明する。なお、何れかの請求項記載の発明を説明するにあたって行う用語の定義等は、その記載順や記載形式に関わらず、可能な範囲において他の請求項記載の発明にも適用があるものとする。

（請求項１記載の発明の特徴）
請求項１記載の発明に係る道路地物認識方法（以下、適宜「請求項１の認識方法」という）は、データ取得ステップと、対応点抽出ステップと、カラー情報抽出ステップと、対応点抽出ステップと、カラー情報抽出ステップと、レーザ点着色ステップと、地物認識ステップと、を含めてなるものである。ここで、データ取得ステップは、三次元レーザ点群データと、ステレオカラー画像データと、を取得するステップである。三次元レーザデータとステレオカラー画像データとの取得タイミングは、両者同時期が好ましいが、何れか一方が先行していてもよい。対応点抽出ステップは、取得したレーザ点群データとステレオカラー画像データとを融合させることによって、当該レーザ点群を構成する一部又は全部のレーザ点各々に対応する画像対応点各々を抽出するステップである。カラー情報抽出ステップは、抽出した画像対応点各々のカラー情報を、当該ステレオカラー画像データから抽出するステップである。レーザ点着色ステップは、抽出した画像対応点各々のカラー情報を、当該画像対応点各々に対応するレーザ点各々に付与して着色レーザ点各々を生成するステップである。最後の地物認識ステップは、着色レーザ点群から、同一性あるカラー情報が付与された着色レーザ点群同士を抽出して道路地物を認識するステップである。

請求項１の認識方法によれば、取得した三次元レーザ点群データとステレオカラー画像データについて、レーザ点各々に対応する画像対応点が抽出される。これにより、両データの一体性が実現する。次に、画像対応点各々から抽出したカラー情報を、当該対応点各々に対応するレーザ点各々に付与する。付与によって、三次元情報しか持たなかったレーザ点各々が、カラー情報を併せ持つようになる。つまり、位置情報だけでなく、カラー情報をも持つ着色レーザ点各々が生成される。最後に、カラー情報を頼りに、それが同一性の範囲にある（同一性あるカラーが付与された）着色レーザ点群を抽出することによって地物を認識することができる。たとえば、道路標識について、未着色であってもレーザ点群だけあれば、周囲にある地物に対して浮き出た所定面積（道路標識の大きさの）の平面の存在までは認識できるが、その道路標識が何を示すかは認識できない。ここで、レーザ点各々がカラー情報を持ち、同一性あるカラー情報が抽出されることによって上記平面上の道路標識を認識することができる。他の例を挙げると、道路と道路側端に設けられた縁石であれば凹凸があるため三次元情報だけで認識できるが、道路面に描かれた横断歩道表示は道路面に対して凹凸がないので三次元情報だけでは認識できない。カラー情報を併せ備えることによって、道路面と色彩の異なる横断歩道が認識できるのである。

（請求項２記載の発明の特徴）
請求項２記載の発明に係る道路地物認識方法（以下、適宜「請求項２の認識方法」という）は、請求項１の認識方法の地物認識ステップにおいて、取得したレーザ点群データとステレオカラー画像データとの融合を、前記画像対応点各々における当該ステレオカラー画像データのカラー画像データＲとカラー画像データＬとが一致しないときは行わず、一致した場合にのみ行うものである。

請求項２の認識方法によれば、請求項１の認識方法における地物認識ステップを前記画像対応点各々におけるカラー画像データＲとカラー画像データＬとが一致しないときは行わず、一致した場合にのみ行う。

（請求項３記載の発明の特徴）
請求項３記載の発明に係る道路地物認識方法（以下、適宜「請求項３の認識方法」という）は、請求項１又は２の認識方法であって、前記対応点抽出ステップで抽出した画像対応点各々に、対応するレーザ点各々の三次元情報を付与して定位画像対応点各々を生成する位置付けステップと、前記地物認識ステップで認識した道路地物の予め定めた基準（たとえば、着色レーザ点群によって構成される画像の解像度の閾値）に基づいて画像識別の必要性有無を判定する識別度判定ステップと、画像識別の必要性が有ると判定したときであって抽出した着色レーザ点群が、予め定めた基準（たとえば、形状、大きさ、これらの組み合わせ）を満たす平面領域を検知した場合に当該平面領域を含む（囲む）所定形状（たとえば、四角形、円形）の候補領域を設定する候補領域設定ステップと、当該候補領域を構成する着色レーザ点各々に対応する定位画像対応点各々から当該平面領域を抽出する領域抽出ステップと、当該平面領域における定位画像対応点各々からカラー画像データを抽出するカラー画像データ抽出ステップと、抽出したカラー画像データと、データベースに予め登録してある道路地物画像データと、を比較して一致した道路地物画像データに基づいて当該カラー画像データに係る道路地物を認識する比較認識ステップと、をさらに含めてなるものである。

請求項３の認識方法によれば、請求項１又は２の認識方法の作用効果に加え、三次元情報を備えた画像情報たる定位画像対応点を得る。基準に基づいて画像識別の必要性有無を判定する。ここで、必要性ありと判定され、かつ、基準を満たす平面領域を検知したときに候補領域を設定する。次に、候補領域から平面領域を抽出して、そこからカラー画像データを抽出する。抽出したカラー画像データをデータベースを検索して得た道路地物画像データとを比較して、これらが一致したときに、その一致に係る道路地物画像データに基づいて当該カラー画像データに係る道路地物を認識することができる。着色レーザ点各々のみの場合と、定位画像対応点各々による場合を比べると、前者はあくまでも「点群」によって構成されているため点と点の間の間隔によって認識精度が左右される場合がある。この点、融合によってその度合いが小さくすることによって、より確実な地物認識を実現する。

本発明に係る道路地物認識方法によれば、道路地物認識を正確に、かつ、効率よく行うことができる。

各図を参照しながら、本発明を実施するための最良の形態（以下、適宜「本実施形態」という）について説明する。図１は、本実施形態に係る地物認識方法を実施するための地物認識装置の概略図である。図２は、本実施形態に係る地物認識方法を実施する手順を示すブロック図である。図３は、ステレオ画像データ同士の一致不一致を示す図である。図４は、定位画像対応点を生成する原理を示す図である。図５は、カラー情報を付与したレーザ点群のサンプルを示す図である。図６は、定位画像対応点を生成した状態を示す図である。図７は、歩道と車道との一定の段差を示す図である。図８は、道路地物を認識する比較認識を説明するための図である。

（道路地物認識装置の概略構造）
まず、図１を参照しながら、次に説明する道路地物認識方法を実施するための車両について説明する。車両１０１は、その天井に２台のステレオカメラ（画像センサ）１０３Ｒ，１０３Ｌと、レーザセンサ１０７と、を備えている。車両１０１の内部には、各センサから得たデータを後述する手順で処理して道路地物を認識する道路地物認識装置として機能するコンピュータ１１１を搭載してある。ステレオカメラ１０３Ｌは車両１０１の進行方向に向かって左側のカメラであり、ステレオカメラ１０３Ｒは同じく右側のカメラである（図１では、ステレオカメラ１０３Ｌの裏側で見えない）。車両１０１に搭載したレーザセンサ１０７は１個であるが、複数でもよい。たとえば、車両１０１の屋上の四隅に各々１個合計４個を設置すると、前方の２個のみでは検知できなかった地物（たとえば、電柱や樹木の進行方向側裏側）等を後方の２個との併用によって検知することができる。つまり、上記した電柱や樹木の逆進行方向側裏側は前方２個のレーザセンサによって検知可能であるが、その電柱や樹木を通過したときに進行方向側の裏側は前方２個のレーザセンサの背面に位置するため検知不能である（死角となる）。この点、後方にも併せて２個のレーザセンサを配しておくことによって、上記進行方向側裏側の死角部分をも検知可能となる。上記の各センサから得たデータは、コンピュータ１１１によって処理され、これによって地物位置の測定が行われる。なお、符号１０５，１０５は、ＧＰＳアンテナを示す。ＧＰＳアンテナ１０５，１０５が受けたＧＰＳ信号をコンピュータ１１１で処理して車両１０１の位置を認識することができるようになっている。

（道路地物認識方法）
図２を参照しながら、道路地物認識方法（以下、単に「本件認識方法」という）に係る処理手順について説明する。本件認識方法では、まず、レーザセンサ１０７によって三次元レーザ点群データを、ステレオカメラ１０３Ｒ，１０３Ｌによってステレオカラー画像データを、それぞれ取得する（データ取得ステップ、Ｓ１，Ｓ２１）。取得したレーザデータ群データとステレオカラー画像データは、これらを融合させてレーザ点群を構成する一部又は全部のレーザ点各々に対応する画像対応点各々を抽出する（Ｓ３）。次に、画像対応点各々のカラー情報を当該ステレオカラー画像データから抽出して、抽出したカラー情報を、その抽出元である画像対応点各々に対応するレーザ点に付与して着色レーザ点群を生成する（Ｓ５）。他方では、画像対応点各々に、対応するレーザ点各々の三次元情報を付与して定位画像対応点各々を生成する（Ｓ２３）。Ｓ５とＳ２３は、同時処理でもよいし、可能な範囲で前後してもよい。さらに、後述するＳ９において画像識別必要性あると判定されたときにＳ２３を処理するようにしてもよい。次に、着色レーザ点群から、同一性ある着色レーザ点群同士を抽出して道路地物を認識する（Ｓ７）。同一性ある着色レーザ点群同士の抽出によって、たとえば、路面（二次元）に描かれた横断歩道の表示（二次元）のように、凹凸がないため三次元的に認識できない道路地物であっても、それにカラー情報が付与されることによってカラー認識が可能となるので、横断歩道の表示として認識できるようになる。

ここで、Ｓ３で行うレーザ点各々に対応する画像対応点各々を抽出する原理について、数１を参照しながら説明する。数１に示すｘ_pとｙ_pは画像対応点（連結ポイント）の画像上の写真座標、ｘ₀，ｙ₀，ｆ，△ｘ，△ｙは画像センサの内部標定要素およびセンサの変形パラメータである。これらのパラメータはセンサを標定したときに得られる。Ｘ，Ｙ，Ｚは求める画像対応点の３次元座標である。他の重要な未知数はセンサ位置パラメータＸｓ，Ｙｓ，Ｚｓと姿勢パラメータを含むａ₁，ａ₂，ａ₃，ｂ₁，ｂ₂，ｂ₃，ｃ₁，ｃ₂，ｃ₃である。未知パラメータの初期値はセンサの初期定位情報から求められる。

数１に示す方程式（１）は、レーザ点の三次元データ（三次元レーザ点データ）を示す座標（Ｘ，Ｙ，Ｚ）とステレオカラー画像データを示す座標（ｘ_p，ｙ_p）が対応していることを示しており、座標（Ｘ，Ｙ，Ｚ）が判明したときに、数１を用いて容易に画像対応点の座標（ｘ_p，ｙ_p）を求めることができる。この処理は、前掲したステップ３で行う。このようにして求めた画像対応点の座標（ｘ_p，ｙ_p）のカラー情報（色調情報）を、当該画像対応点の被対応点である座標（Ｘ，Ｙ，Ｚ）に係るレーザ点に付与することによってカラー情報を備えた着色レーザ点が生成される。この処理は、レーザ点着色ステップ５で行う。

しかし、レーザ点着色がうまくできないケースがある。このケースとは、一部の道路地物（被写体地物）が、その被写体地物とステレオカメラ１０３Ｒ，１０３Ｌとの間にある他の道路地物（隠蔽地物）に隠蔽されているため、被写体地物のカラー情報データを得る代わりに間違った隠蔽地物のカラー情報を得て、これを三次元レーザ点に付与してしまう可能性があるからである。

では、どのようにしたら自動的かつ正確なカラー情報を得られるか。発明者らは異なるカラー画像（通常、同一地物は数枚の異なる画像に写っている）から隠蔽のない画像を見つけて正確なカラー情報を取り出す手法を開発した。つまり、ステレオマッチング（カラー画像データＲとカラー画像データＬとが一致）によりポイントが隠されているかどうかを判断する方法である。隠蔽されているポイントがある場合、その隠蔽されたポイントは左右画像に同時に存在しないため、ステレオマッチングがうまくできない。図３の右上段に示す２枚の写真は、カラー画像データＲ，カラー画像データＬに基づくものである。写真中「○」は、左右の写真に示される同一ポイントを示している。ここで右の写真の「○」は、車両ボディの右下（右後輪の上の部位）を示しているが、左の写真の「○」は車両背面の予備タイヤのケースを一部とする部位を示している。すなわち、被写体が互いに異なることから、カラー画像データＲとカラー画像データＬとは互いに異なる画像データとなり、したがって、両データは一致しない。もしここで「○」部位のカラー情報をレーザ点に与えると、間違った色を三次元点群に着色してしまうことになる。

そこで、カラー画像データＲとカラー画像データＬとが一致するまで（一致する画像が登場するまで）カラー情報をレーザ点に付与しない。つまり、不一致である限り、そのカラー情報をレーザ点に与えない。ある時点のステレオ画像において不一致である場合は、その次のステレオ画像を呼び出すという処理を、一致を見るまで繰り返す。図３右下段の２枚の写真が示すように、隠蔽地物である車両が移動したため、被写体地物である路面が露出し、その結果「○」で示す部位（横断歩道を示す白塗り部位）におけるカラー画像データＲとカラー画像データＬとが一致したときに、そのカラー情報をレーザ点に付与する。図５は、上述の手法でカラー情報を付与したレーザ点群のサンプルを示す。

図２に戻り説明を続ける。ここで、上記同様の原理でレーザ点群が持っている三次元情報を利用して、図４に示す投影方法により、全ての画像対応点（対応画素）に三次元座標を持たせ（画素定位）、三次元情報を持つ定位画像対応点を生成する（Ｓ２３，図６を参照）。上記の融合方法により、着色したレーザ点群データ（着色レーザ点群）と定位画像（定位画像対応点群）を作ることができ、さまざまな地物の認識がより確実にできるようになる。その認識は、可能な範囲でいつ行ってもよいが、図２に示すＳ７において道路地物を認識した後に行えば足りる。すなわち、Ｓ９において着色レーザ点群による地物抽出の結果、予め定めた基準（ここでは、解像度とする）に基づいて画像識別の必要性を判断する。先に例示した横断歩道であれば画像識別を行わなくてもそれが単純な図形・色彩にすぎないため充分な認識ができるが、たとえば、道路標識（何を認識すべきかは予め定めておく）はそれが複雑な図形・色彩を持っているため簡単に認識できない。そこで、Ｓ２３で生成した定位画像対応点群を用いて認識する。

Ｓ９において画像識別性が必要と判断したときであって抽出した着色レーザ点群が、予め定めた基準を満たす平面領域を検知した場合に当該平面領域を含む所定形状の候補領域を設定する（候補領域設定ステップ、Ｓ２５）。図８に左に示すレーザ点群で形成された矩形の領域が、上記の平面領域に該当する。平面領域は所定基準を満たすものであって、その所定基準は、たとえば、５０ｃｍ×５０ｃｍの矩形のように予め定めておく。図８中央に示す矩形枠に囲まれた領域が、上記の候補領域である。候補領域は平面領域を囲むものであるから、そのために充分なだけの大きさに設定しておく。設定した候補領域を構成する着色レーザ点各々に対応する定位画像対応点各々から平面領域を抽出する（領域抽出ステップ、Ｓ２７）。抽出した平面領域における定位画像対応点各々からカラー画像データを抽出する（Ｓ２９、カラー画像データ抽出ステップ）。抽出したカラー画像データと、コンピュータ１１１（図１参照）が有するデータベースＤＢに予め登録してある道路地物画像データと、を比較して一致した道路地物画像データに基づいて当該カラー画像データに係る道路地物を認識する（Ｓ３１、比較認識ステップ）。以上により、道路地物認識データが生成される（Ｓ１１）。Ｓ９において、画像識別必要性がないと判断したときもＳ１１へ進む。

平面領域を有する道路地物は上記した道路標識の他にも種々ある（たとえば、家屋の壁や塀）が、その中から道路標識に係る平面領域を選択抽出するための基準は、その平面領域の形状と面積である。道路標識であれば、たとえば、５０ｃｍ×５０ｃｍ〜１００ｃｍ×１００ｃｍの範囲を上記所定範囲とし形状を矩形と設定しておけば、上記例における家屋の壁や塀などはそれ以上の面積を持つため（異なる形状を持つため）排除される一方、「○○○通り」のように通りの名称を示す標識なそれ以下であり形状も異なるから排除される。信号機のように凹凸のあるものは、ランプの周囲のようにある程度の広さの平面を特定し、その平面を上記平面領域として扱うとよい。

なお、道路縁の自動抽出については、歩道と車道が一定の段差があること（図７）から、隣接ポイントの高さの変化点を見つけ、道路縁ポイントを自動抽出する。この過程を１列１列順番で繰り返すことにより、連続の道路縁を抽出することができる。一方、路面にある白線や黄色い線の自動抽出の場合は、道路縁と異なり段差がないため、カラー情報を利用して抽出を行う。この点は、前述した。

道路標識や信号などの道路地物の自動認識については、画像を利用するのが一般的である。しかし、日射の角度や隠ぺいなどの影響に受け易いため、画像だけでは地物認識のための十分な情報が得られないケースがある。本発明では、レーザ点群から抽出した形状を補助のデータとして、画像から交通標識などのパターンなどの情報をベースに道路標識の種類を識別する手法を開発した。図８はその過程を示す（交通標識の識別方法については本出願人の出願に係る特開２００７−２６５２９２公報に記載してある。

本実施形態に係る地物認識方法を実施するための地物認識装置の概略図である。 本実施形態に係る地物認識方法を実施する手順を示すブロック図である。 ステレオ画像データ同士の一致不一致を示す図である。 定位画像対応点を生成する原理を示す図である。 カラー情報を付与したレーザ点群のサンプルを示す図である。 定位画像対応点を生成した状態を示す図である。 歩道と車道との一定の段差を示す図である。 道路地物を認識する比較認識を説明するための図である。

符号の説明

１０１ 車両
１０３Ｒ，Ｌ ステレオカメラ
１０５ ＧＰＳアンテナ
１０７ レーザセンサ
１０９ ＩＭＵセンサー
１１１ コンピュータ

Claims (3)

1. 三次元レーザ点群データと、ステレオカラー画像データと、を取得するデータ取得ステップと、
   取得したレーザ点群データとステレオカラー画像データとを融合させることによって、当該レーザ点群を構成する一部又は全部のレーザ点各々に対応する画像対応点各々を抽出する対応点抽出ステップと、
   抽出した画像対応点各々のカラー情報を、当該ステレオカラー画像データから抽出するカラー情報抽出ステップと、
   抽出した画像対応点各々のカラー情報を、当該画像対応点各々に対応するレーザ点各々に付与して着色レーザ点各々を生成するレーザ点着色ステップと、
   着色レーザ点群から、同一性ある着色レーザ点群同士を抽出して道路地物を認識する地物認識ステップと、を含めてなる
   ことを特徴とする道路地物認識方法。
2. 請求項１記載の道路地物認識方法において、
   前記対応点抽出ステップにおける取得したレーザ点群データとステレオカラー画像データとの融合を、前記画像対応点各々における当該ステレオカラー画像データのカラー画像データＲとカラー画像データＬとが一致しないときは行わず、一致した場合にのみ行う
   ことを特徴とする道路地物認識方法。
3. 請求項１又は２記載の道路地物認識方法において、
   前記対応点抽出ステップで抽出した画像対応点各々に、対応するレーザ点各々の三次元情報を付与して定位画像対応点各々を生成する位置付けステップと、
   前記地物認識ステップで認識した道路地物の予め定めた基準に基づいて画像識別の必要性有無を判定する識別度判定ステップと、
   画像識別の必要性が有ると判定したときであって抽出した着色レーザ点群が、予め定めた基準を満たす平面領域を検知した場合に当該平面領域を含む所定形状の候補領域を設定する候補領域設定ステップと、
   当該候補領域を構成する着色レーザ点各々に対応する定位画像対応点各々から当該平面領域を抽出する領域抽出ステップと、
   当該平面領域における定位画像対応点各々からカラー画像データを抽出するカラー画像データ抽出ステップと、
   抽出したカラー画像データと、データベースに予め登録してある道路地物画像データと、を比較して一致した道路地物画像データに基づいて当該カラー画像データに係る道路地物を認識する比較認識ステップと、をさらに含めてなる
   ことを特徴とする道路地物認識方法。