JP2004028728A - 地形認識装置および地形認識方法 - Google Patents

地形認識装置および地形認識方法 Download PDF

Info

Publication number
JP2004028728A
JP2004028728A JP2002184020A JP2002184020A JP2004028728A JP 2004028728 A JP2004028728 A JP 2004028728A JP 2002184020 A JP2002184020 A JP 2002184020A JP 2002184020 A JP2002184020 A JP 2002184020A JP 2004028728 A JP2004028728 A JP 2004028728A
Authority
JP
Japan
Prior art keywords
height
ground
calculated
frequency distribution
distance data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002184020A
Other languages
English (en)
Other versions
JP4150218B2 (ja
Inventor
Keiji Hanawa
塙 圭二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2002184020A priority Critical patent/JP4150218B2/ja
Publication of JP2004028728A publication Critical patent/JP2004028728A/ja
Application granted granted Critical
Publication of JP4150218B2 publication Critical patent/JP4150218B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】地面の起伏形状を認識する。
【解決手段】画像処理部7は、一対のステレオ画像に基づき、ステレオマッチングにより視差を算出する。そして、1フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離データが出力される。分割部11は、少なくとも画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において距離データを複数の区分に分割する。算出部12は、分割された区分のそれぞれにおいて、距離データに基づき1区分に関する高さ群を算出するとともに、算出された高さ群について高さに関する頻度分布を算出する。高さ特定部13は、算出された頻度分布に基づき、頻度分布が算出された区分に関する地面の高さを特定する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、地面の起伏形状を認識する地形認識装置および地形認識方法に関する。
【0002】
【従来の技術】
近年、ステレオカメラを用いて、所定の監視領域内の状況を監視するステレオ式監視装置が注目・実用化されている。この類のステレオ式監視装置は、ステレオカメラによって監視領域を含む景色を撮像し、これにより得られた情報に基づいて、監視領域内の状況を認識する。ステレオ式監視装置において、先行車、人、あるいは、障害物などといった監視領域内に写し出される立体物は監視すべき対象物の一つであり、これらを精度よく認識することは重要である。立体物の認識では、立体物は地面より高い位置に存在するという前提のもと、まず、地面の位置(高さ)を特定する必要がある。例えば、特開平5−265547号公報には、一対の画像をステレオ画像処理し、それに基づき、道路上の白線を検出し、検出された白線の三次元位置から道路を一つの平面として検出する方法が開示されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された従来技術では、地面を一つの面として検出しているため、地面の起伏形状までは認識することができないという問題がある。このため、起伏のある地面では、地面の起伏と立体物との識別を正確に行うことが難しい。立体物の認識が十分に行われないと、監視精度における信頼性の低下を招く可能性がある。
【0004】
本発明は、このような事情に鑑みてなされたものであり、その目的は、地面の起伏形状を認識することである。
【0005】
また、本発明の別の目的は、地面の起伏形状を考慮したうえで対象物の認識を行うことにより、監視装置の信頼性向上を図ることである。
【0006】
【課題を解決するための手段】
かかる課題を解決するために、第1の発明は、地面の起伏形状を認識する地形認識装置において、ステレオカメラと、画像処理部と、分割部と、算出部と、高さ特定部とを有する地面認識装置を提供する。ステレオカメラは、地面を含む景色を撮像し、一対の画像データを出力する。画像処理部は、一対のステレオ画像に基づき、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力する。分割部は、少なくとも画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において距離データを複数の区分に分割する。算出部は、分割された区分のそれぞれにおいて、距離データに基づき1区分に関する高さ群を算出するとともに、算出された高さ群について高さに関する頻度分布を算出する。高さ特定部は、算出された頻度分布に基づき、頻度分布が算出された区分に関する地面の高さを特定する。
【0007】
ここで、第1の発明において、分割部は、二次元的な平面において、距離データを行列状に分割することが好ましい。
【0008】
あるいは、分割部は、二次元的な平面において、縦方向に延在する短冊状に切断して距離データを複数に分割する。そして、この分割された短冊状の距離データのそれぞれにおいて、短冊状内に含まれる視差群に基づき実空間上での距離が算出される。さらに、算出された距離が所定の距離間隔で分割されることにより、距離データを複数の区分に分割することが好ましい。
【0009】
また、第1の発明において、算出部は、時系列的に出力される複数の距離画像データにおいて、対応する区分同士の頻度分布をそれぞれ算出する。そして、この算出された複数の頻度分布を合算した頻度分布が算出されることが好ましい。
【0010】
また、第1の発明において、高さ特定部は、算出部によって算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さを地面の高さとして特定することが好ましい。
【0011】
また、第1の発明において、算出部によって算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さがない場合がある。この場合には、高さ特定部は、頻度分布が算出された区分に関する地面の高さを、周囲の区分に関する地面の高さに基づいて補間することが好ましい。
【0012】
さらに、第1の発明において、高さ特定部は、周囲の区分に関する地面の高さと異なる地面の高さを有する区分を特定する。そして、この特定された区分に関する地面の高さが、周囲の区分に関する地面の高さに基づいて補正されることが好ましい。
【0013】
また、第2の発明は、地面の起伏形状を認識する地形認識方法を提供する。かかる地形認識方法では、一対の画像データに基づき、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の位置とが対応付けられた距離データが用いられる。この地形認識方法において、第1のステップは、少なくとも画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において距離データを複数の区分に分割する。第2のステップは、分割された区分のそれぞれにおいて、距離データに基づき1区分に関する高さ群を算出する。また、第3のステップは、算出された高さ群について高さに関する頻度分布を算出する。さらに、第4のステップは、算出された頻度分布に基づき、頻度分布が算出された区分に関する地面の高さを特定する。
【0014】
ここで、第2の発明において、第1のステップは、二次元的な平面において、距離データを行列状に分割することが好ましい。
【0015】
あるいは、第1のステップは、二次元的な平面において、縦方向に延在する短冊状に切断して距離データを複数に分割する。そして、分割された短冊状の距離データのそれぞれにおいて、この短冊状内に含まれる視差群に基づき実空間上での距離を算出し、算出された距離を所定の距離間隔で分割することが好ましい。
【0016】
また、第2の発明において、第4のステップは、算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さを地面の高さとして特定することが好ましい。
【0017】
また、第2の発明において、第4のステップは、算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さがない場合には、頻度分布が算出された区分に関する地面の高さを、周囲の区分に関する地面の高さに基づいて補間するステップを有することが好ましい。
【0018】
【発明の実施の形態】
図1は、本実施形態にかかる地形認識装置のブロック構成図である。この地形認識装置1は、監視領域内に写し出された地面の起伏形状を認識するとともに、この認識された地面上に存在する通行車や通行人などの立体物を認識する。一例として、この地形認識装置1は、鉄道線路の踏切近傍に設けられ、認識された通行車または通行人などの立体物が、監視領域内に写し出された踏切エリアに進入することを監視する。ステレオカメラは、支柱等に固定されており、斜め上方よりこの地面を含む景色を撮像する。このステレオカメラは、一対のカメラ2,3で構成されており、それぞれのカメラ2,3には、イメージセンサ(例えば、CCDまたはCMOSセンサ等)が内蔵されている。メインカメラ2は、ステレオ画像処理を行う際に必要な基準画像(右画像)を撮像し、サブカメラ3は、比較画像(左画像)を撮像する。互いの同期が取れている状態において、カメラ2,3から出力された各アナログ画像は、A/Dコンバータ4,5により、所定の輝度階調(例えば、256階調のグレースケール)のデジタル画像に変換される。
【0019】
デジタル化された一対の画像データは、画像補正部6において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ2,3の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【0020】
このような画像処理を経て、メインカメラ2より基準画像データが得られ、サブカメラ3より比較画像データが得られる。これらの画像データ(ステレオ画像データ)は、各画素の輝度値(0〜255)の集合である。ここで、画像データによって規定される画像平面は、i−j座標系で表現され、画像の左下隅を原点として、水平方向をi座標軸、垂直方向をj座標軸とする。一フレーム(一画像の表示単位)相当のステレオ画像データは、後段のステレオ画像処理部7に出力されるとともに、画像データメモリ8に格納される。
【0021】
ステレオ画像処理部7は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差dの集合であり、個々の視差dは画像平面上の位置(i,j)と対応付けられている。それぞれの視差dは、基準画像の一部を構成する所定面積(例えば、4×4画素)の画素ブロック毎に1つ算出される。
【0022】
図2は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックPBijの個数相当(50×128個)の視差群が算出され得る。周知のように、視差dは、その算出単位である画素ブロックPBijに関する水平方向のずれ量であり、画素ブロックPBijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックPBij内に写し出されている対象物がカメラ2,3に近いほど、この画素ブロックPBijの視差dは大きくなり、対象物が遠いほど視差dは小さくなる(無限に遠い場合、視差dは0になる)。
【0023】
ある画素ブロックPBij(相関元)に関する視差dを算出する場合、この画素ブロックPBijの輝度特性と相関を有する領域(相関先)を比較画像において特定する。上述したように、カメラ2,3から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックPijのj座標と同じ水平線(エピポーラライン)上を探索すればよい。ステレオ画像処理部7は、相関元のi座標を基準に設定した所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する(ステレオマッチング)。そして、原則として、最も相関が高いと判断される相関先(相関先の候補の内のいずれか)の水平方向のずれ量を、その画素ブロックPBijの視差dとする。
【0024】
2つの画素ブロックの相関は、例えば、シティブロック距離CBを算出することにより評価することができる。数式1は、シティブロック距離CBの基本形を示す。同数式において、p1ijは一方の画素ブロックのij番目の画素の輝度値であり、p2ijは他方の画素ブロックのij番目の輝度値である。シティブロック距離CBは、位置的に対応した輝度値p1ij,p2ijの差(絶対値)の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数1】
CB=Σ|p1ij−p2ij|
【0025】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離CBのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差dとなる。なお、シティブロック距離CBを算出するステレオ画像処理部7のハードウェア構成については、特開平5−114099号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置(i,j)と対応付けられた視差dの集合は、距離データメモリ9に格納される。
【0026】
マイクロコンピュータ10は、CPU、ROM、RAM、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、分割部11、算出部12、高さ特定部13および監視部14を有する。分割部11は、距離データメモリ9から距離データDを読み出し、画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において、この距離データDを複数の区分Snmに分割する。そして、この複数の区分Snmに分割された距離データDのそれぞれは、算出部12に出力される。算出部12は、分割された区分Snmのそれぞれにおいて、距離データDに基づき1区分に関する高さ群を算出する。そして、この算出された高さ群について、高さに関する頻度分布Mが算出され、この頻度分布Mが高さ特定部13に出力される。高さ特定部13は、頻度分布Mに基づき、この頻度分布Mが算出された区分Snmに関する地面の高さ(以下、単に「地面高さ」と称する)hnmを特定する。そして、それぞれの区分Snmに関する地面高さhnmが特定され、監視部14に出力される。
【0027】
監視部14は、距離データメモリ9から距離データDまたは画像データメモリ8から画像データを読み込むとともに、高さ特定部13の出力データである地面高さhnmに基づき、この地面上に存在する立体物を認識する。そして、監視部14は、この認識された立体物に基づき、必要に応じて、監視領域内の踏切エリアに進入した通行車または通行人に対して注意を促すといった如くの監視を行う。
【0028】
図3および図4は、地面の起伏形状の認識手順を示したフローチャートである。まず、ステップ1において、分割部11は、1フレーム相当の距離データDを読み込む。そして、画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において読み込まれた距離データDが複数の区分Snmに分割される。本実施形態では、距離データDは、二次元的な平面において、i座標(横)方向と直交する方向に切断されてN個に分割され、また、j座標(縦)方向と直交する方向に切断されてM個に分割される。これにより、距離データDは、M×Nの行列状の区分Snmに分割される。
【0029】
図5は、行列状に分割された距離データDの一例を示す説明図である。同図に示す例では、距離データDは、横方向に32座標幅で16分割されて、縦方向に16座標幅で12分割されている。以下の説明において、分割された区分Snmのそれぞれの二次元的な位置を特定するため、距離データDの左下隅を基準として、区分Snm毎に、横方向(右方向)に1〜N、縦方向(上方向)に1〜Mの番号を昇順に割り当てる。
【0030】
なお、距離データDを縦方向に16画素幅で分割した場合、画像上側に13分割目の区分が存在する。しかしながら、この13区分目を区分Snmに含めるか否かは選択的である。なぜならば、画像データにおいて、一般に画像の上側には、近景が現されている場合には高い位置に存在する立体物が写し出され、また、遠景が現されている場合には遠くの地面または立体物が写し出される。それ故に、これに対応する距離データDの上側を無視しても、地形認識処理を行う上での影響は少ないからである。
【0031】
そして、算出部12および高さ特定部13は、分割された区分Snmのそれぞれを処理対象として、以下に示す処理を繰り返し実行する。そこで、ステップ2において、区分Snmの横方向の位置を特定する変数nとして1がセットされるとともに、ステップ3において、区分Snmの縦方向の位置を特定する変数mとして1がセットされる。このステップ2,3により、二次元平面において分割された距離データDの最も左下に位置する区分Snmが特定される。
【0032】
まず、ステップ4において、算出部12は、距離データDに基づき、1区分に関する高さ群を算出する。この高さ群は、距離データDにおける区分Snm内に含まれる視差dによって算出される実空間上の高さyの集合である。実空間上の高さyは、視差dと、この視差dに対応付けられた座標位置に関するj座標とに基づき、周知の座標変換式により一義的に算出される。ステレオカメラの位置を基準に設定された実空間の座標系は、ステレオカメラの中央真下の地面を原点として、ステレオカメラにおけるカメラ基線長の延長方向をx軸、取り付け高さ方向をy軸、視線方向(距離方向)をz軸とする。
【0033】
例えば、算出部12は、区分Snmにおいて、最も左下の座標位置を基準として、この基準の座標位置からj座標方向にそれぞれ高さyを算出する。そして、区分Snm相当のj座標方向の高さyが算出されたら、横方向の隣のi座標に移り、同様に、j座標方向にそれぞれ高さyを算出するといった如くである。そして、この高さ算出処理が区分Snmに含まれる距離データDの全てについて行われることで、高さ群が算出される。
【0034】
ステップ5において、算出部12は、算出された高さ群について高さyに関する頻度分布Mを算出する。図6は、ヒストグラムの一例を示す説明図である。同図に示すように、頻度分布Mは、例えば、高さyを縦軸として、予め設定された幅(例えば、0.1m)の区間でこの縦軸が区切られている。そして、縦軸の区間毎に、高さ群に含まれる区間相当の高さの個数をそれぞれ数えることで、区分Snm内の高さyのそれぞれに関する度数が求められ、頻度分布Mが算出される。
【0035】
次に、高さ特定部13は、頻度分布Mに基づき、この頻度分布Mが算出された区分Snmに関する地面高さhnmを特定する。
【0036】
一般に、ステレオ画像処理において、アスファルト路面のような地面では、距離データDが得られにくいという問題がある。なぜならば、ステレオマッチングを行う際に、アスファルト路面を含む画素ブロックPBijの輝度特性は比較的単調であり、輝度のバラツキが少ないからである。したがって、この画素ブロックPBijの輝度特性と相関を有する領域(相関先)を比較画像において特定することが困難となる。すなわち、処理対象としている区分Snmにおいて、アスファルト路面に関する高さyの値は高さ群に含まれ難い。しかしながら、この区分Snm内に歩行者などの立体物が存在すると、地面に接した足元より上方には距離データDが存在することとなる。そこで、頻度分布Mにおいて、ある程度の度数を有する高さyの中で最も値が小さい高さyminを足元の高さと考えることができる。そして、この高さymin付近を地面の高さと見なすことで、地面高さhnmを特定することができると考えられる。
【0037】
また、処理対象としている区分Snmの中に地面に相当する距離データDが含まれているのであれば、地面高さhnmは、頻度分布Mにおいて、ある程度の度数を有する高さyの中で最も値が小さい高さyminが、これに該当するはずである。なぜならば、実空間上において、地面は、高さが最も低い位置に存在するものであり、これよりも小さい値の高さyは高さ群内には基本的に存在しないからである。このため、頻度分布Mにおいて、地面より低い高さyにおいて、度数が現れることはない。
【0038】
以上のことに鑑みて、頻度分布Mにおいて、度数を有する高さyの中で最も値が小さい高さyminを、地面高さhnmとして特定することができるはずである。しかしながら、一般に、ステレオマッチングによって算出される距離データDは、ミスマッチング等の影響によって、誤差データを含むことが多い。このような誤差データの一態様として、ある実空間上の位置に立体物が存在しないにも拘わらず、その位置に値をもったデータが算出されてしまうことがある。例えば、図6に示す頻度分布Mの下側には、少数の度数があり、これらは一般にミスマッチングデータである。
【0039】
そこで、ステップ6において、高さ特定部13は、所定しきい値Th以上の度数を有する高さyの中で最も値が小さい高さyminが存在するか否かを判断する。なお、この判断基準を与えるしきい値Thは、上述したミスマッチングデータを排除し得る程度の大きさに設定されている。このステップ6で肯定判定された場合、すなわち、高さyminが存在する場合には、ステップ7に進み、地面高さhnmとして、ymin(高さ)がセットされる。これにともない、この頻度分布Mが算出された区分Snmに関する地面高さhnmが、高さyminとして特定される。一方、このステップ6で否定判定された場合、ここでは地面高さhnmの特定は行わず、ステップ8に進む。なお、このとき、高さ特定部13は、この地面高さhnmが特定されなかった区分の位置(n,m)を、区分Snm’として記憶しておくてものとする。
【0040】
ステップ7に続くステップ8において、分割された区分Snmの横方向の位置nにおいて、縦方向の全区分Snmに対して上述した地面高さ特定処理が行われたか否かが判断される。このステップ8で肯定判定された場合、ステップ10に進む。一方、このステップ8で否定判定された場合、ステップ9に進み、変数mとして、m+1がセットされ、縦方向の全区分Snmに対して上述した地面高さ特定処理が繰り返し続行される。
【0041】
また、ステップ8に続くステップ10において、分割された区分Snmの横方向のすべての位置において、上述したステップ3〜ステップ9の処理が行われたか否かが判断される。このステップ10で肯定判定された場合、ステップ12に進む。一方、このステップ10で否定判定された場合、ステップ11に進み、変数nとして、n+1がセットされ、横方向の位置の全てにおいて、上述したステップ3〜ステップ9の処理が繰り返し続行される。
【0042】
上述したように、所定しきい値Th以上の度数を有する高さyの中で最も値が小さい高さyminがない区分Snmも存在するため、地面高さhnmが特定されていない区分Snm’が存在している。そこで、ステップ12において、高さ特定部13は、区分Snm’に関する地面高さhnmを、周囲の区分Snmに関する地面高さhnmに基づいて補間する内挿処理を行う。
【0043】
高さ特定部13は、ステップ6で記憶された地面高さhnmが特定されていない区分Snm’の位置(n,m)を特定するとともに、周囲の区分Snmに対応する地面高さhnmに基づき、この区分Snm’に対応する地面高さhnmを統計的に補間する。
【0044】
そして、ステップ13において、高さ特定部13は、周囲の区分Snmに関する地面高さhnmと異なる地面高さhnmを有する区分Snmを特定する。そして、この特定された区分Snmに関する地面高さhnmを、周囲の区分Snmに関する地面高さhnmに基づいて補正する補正処理が行われる。
【0045】
一般に、ステップ7において地面高さhnmの特定を行った場合、区分Snmに地面に相当する距離データDが存在しないことも考えられる。すなわち、所定しきい値以上の度数を有する高さyの中で最も値が小さい高さyminが、立体物(すなわち、地面ではない)の高さを示していることも考えられる。そこで、高さ特定部13は、分割された区分Snmのそれぞれにおいて、周囲の地面高さhnmと大きく異なる区分Snmを特定する。そして、特定された区分Snmについて、その周辺の区分Snmにおける地面高さhnmに基づき、統計的な補正処理を行う。
【0046】
以上の処理により、分割された区分Snmのそれぞれに関する最適な地面高さhnmが特定され、この地面高さhnmの集合である高さデータが監視部14に対して利用可能となる。
【0047】
そして、監視部14は、距離データメモリ9から距離データDを読み込むとともに、この高さデータに基づき、立体物の認識を行う。具体的には、距離データDに基づき、周知の座標変換式から、三次元位置(x,y,z)が算出される。このとき、この三次元位置が算出された距離データDの位置に対応する区分Snmの地面高さhnmと、座標変換されたデータの高さとを比較することにより、このデータが地面より上にある場合には、このデータが立体物データとして選別される。そして、この選別された立体物データに注目し、データ間の距離を比較してゆき、前後方向および横方向の距離が接近しているものをグループとしてまとめる。そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としてのデータの並び方向から個々のグループが立体物として分類される。そして、監視部14は、この認識された立体物の情報に基づき、踏切エリアに進入する通行者または通行人などを監視することができる。
【0048】
以上説明したように、本実施形態の手法によれば、分割された距離データD相当の区分Snmに関して地面の高さを求めている。このとき、ある程度の面積を持った区分Snmにおいて、多数の距離データDを統計的に処理しているので、誤検出データの影響を受けにくく、安定した高さ検出を行うことができる。また、この区分Snmに対応付けられた地面高さhnmのそれぞれを考慮することで、監視領域内の地面の起伏形状を正確に認識することができる。また、アスファルト路面のように距離データDが得られにくい部分でも、存在する立体物のデータを利用することで、地面高さhnmを特定することができる。これにより、この特定された地面高さhnmより高い値を有するデータは、立体物と判断することとができるので、立体物に関する認識精度の向上を図ることができる。また、この認識された立体物を監視することで、監視精度の向上を図ることができる。
【0049】
なお、上述した実施形態では、距離データDを二次元的に行列状の分割したが、本発明はこれに限定されるものではない。例えば、分割部11は、まず、少なくとも二次元的な平面において、縦方向に延在する短冊状に切断して距離データDを複数に分割する。そして、この分割された短冊状の距離データDのそれぞれにおいて、短冊状内に含まれる視差群に基づき実空間上での距離が算出され、算出された距離が所定の距離間隔で分割されることにより、距離データDが複数に区分されてもよい。このように、二次元平面に加えて、距離方向を加味した三次元空間において、距離データDを区分Snmに分割することもできる。これにより、立体物に相当する距離データDは、同一の区分Snm内に分類されるので、上述した立体物の足元の検出をする上で有利である。しかしながら、上述した行列状の区分Snmは、区分Snmの分類の際に、距離を算出する必要がないので、計算処理の簡素化を図る上で有利である。
【0050】
また、算出部12は、時系列的に出力される複数の距離画像データDにおいて、対応する区分Snm同士の頻度分布Mをそれぞれ算出し、この算出された複数の頻度分布Mを合算した頻度分布Maを算出することができる。この累積された頻度分布Maは、時系列的なデータの合算であるので、頻度分布Mの信頼性を向上することができる。上述したように、本実施形態では、立体部の足元のデータから地面高さhnmを特定している。歩行者のように移動する物体が存在する場合には、この歩行者の移動した範囲にわたって、広範囲の地面を検出することができるという長所がある。よって、この頻度分布Maを高さ特定部13が用いることで、地面高さhnmの検出をより有効に行うことができる。
【0051】
また、高さ特定部13は、頻度分布Mに基づき、区分Snmに関する地面高さhnmを求める際に、さらに条件を付加することもできる。例えば、上述したように、所定しきい値Th以上の度数を有する高さyの中で最も値が小さい高さyminが特定される。この際に、高さ特定部13は、さらに、この高さyminに対応する度数が、上述したしきい値Thよりもさらに大きな値としての第2のしきい値Th2以上の度数を有するか否かを判断してもよい。これにより、ミスマッチングデータと、地面高さhnm(すなわち、ymin)を明確に区別することができるので好ましい。すなわち、本実施形態において、しきい値とは、しきい値Thに加え、さらに第2のしきい値Th2を含むものであることに理解されたい。
【0052】
【発明の効果】
このように、本発明にかかる地形認識装置および方法によれば、少なくとも二次元的な平面において、距離データを複数の区分に分割し、この分割された区分のそれぞれにおいて、地面の高さが特定されている。これにより、この分割された区分に関して特定された地面の高さのそれぞれに基づき、地面の起伏形状を認識することができる。
【図面の簡単な説明】
【図1】本実施形態にかかる地形認識装置のブロック構成図
【図2】基準画像に設定される画素ブロックの説明図
【図3】地面の起伏形状の認識手順を示したフローチャート
【図4】地面の起伏形状の認識手順を示したフローチャート
【図5】行列状に分割された距離データの一例を示す説明図
【図6】ヒストグラムの一例を示す説明図
【符号の説明】
1    地形認識装置
2    メインカメラ
3    サブカメラ
4    A/Dコンバータ
5    A/Dコンバータ
6    画像補正部
7    ステレオ画像処理部
8    画像データメモリ
9    距離データメモリ
10    マイクロコンピュータ
11    分割部
12    算出部
13    高さ特定部
14    監視部

Claims (12)

  1. 地面の起伏形状を認識する地形認識装置において、
    前記地面を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
    前記一対のステレオ画像に基づき、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力する画像処理部と、
    少なくとも前記画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において前記距離データを複数の区分に分割する分割部と、
    前記分割された区分のそれぞれにおいて、前記距離データに基づき1区分に関する高さ群を算出するとともに、前記算出された高さ群について高さに関する頻度分布を算出する算出部と、
    前記算出された頻度分布に基づき、当該頻度分布が算出された区分に関する地面の高さを特定する高さ特定部と
    を有することを特徴とする地形認識装置。
  2. 前記分割部は、前記二次元的な平面において、前記距離データを行列状に分割することを特徴とする請求項1に記載された地形認識装置。
  3. 前記分割部は、前記二次元的な平面において、縦方向に延在する短冊状に切断して前記距離データを複数に分割するとともに、当該分割された短冊状の距離データのそれぞれにおいて、当該短冊状内に含まれる視差群に基づき実空間上での距離を算出し、当該算出された距離を所定の距離間隔で分割することにより、前記距離データを複数の区分に分割することを特徴とする請求項1に記載された地形認識装置。
  4. 前記算出部は、時系列的に出力される複数の前記距離画像データにおいて、対応する区分同士の前記頻度分布をそれぞれ算出し、当該算出された複数の頻度分布を合算した頻度分布を算出することを特徴とする請求項1から3のいずれかに記載された地形認識装置。
  5. 前記高さ特定部は、前記算出部によって算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さを前記地面の高さとして特定することを特徴とする請求項1から4のいずれかに記載された地形認識装置。
  6. 前記高さ特定部は、前記算出部によって算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さがない場合には、前記頻度分布が算出された区分に関する地面の高さを、周囲の区分に関する前記地面の高さに基づいて補間することを特徴とする請求項1から5に記載された地形認識装置。
  7. 前記高さ特定部は、周囲の区分に関する地面の高さとは異なる地面の高さを有する区分を特定するとともに、当該特定された区分に関する地面の高さを、前記周囲の区分に関する地面の高さに基づいて補正することを特徴とする請求項1から6のいずれかに記載された地形認識装置。
  8. 一対の画像データに基づき、ステレオマッチングにより視差を算出し、1フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の位置とが対応付けられた距離データを用いて地面の起伏形状を認識する地形認識方法において、
    少なくとも前記画像データにより規定される画像平面上の座標位置に対応する二次元的な平面において前記距離データを複数の区分に分割する第1のステップと、
    前記分割された区分のそれぞれにおいて、前記距離データに基づき1区分に関する高さ群を算出する第2のステップと、
    前記算出された高さ群について高さに関する頻度分布を算出する第3のステップと、
    前記算出された頻度分布に基づき、当該頻度分布が算出された区分に関する地面の高さを特定する第4のステップと
    を有することを特徴とする地形認識方法。
  9. 前記第1のステップは、前記二次元的な平面において、前記距離データを行列状に分割することを特徴とする請求項8に記載された地形認識方法。
  10. 前記第1のステップは、前記二次元的な平面において、縦方向に延在する短冊状に切断して前記距離データを複数に分割するとともに、当該分割された短冊状の距離データのそれぞれにおいて、当該短冊状内に含まれる視差群に基づき実空間上での距離を算出し、当該算出された距離を所定の距離間隔で分割することを特徴とする請求項8に記載された地形認識方法。
  11. 前記第4のステップは、前記算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さを前記地面の高さとして特定することを特徴とする請求項8から10のいずれかに記載された地形認識方法。
  12. 前記第4のステップは、前記算出された頻度分布において、所定しきい値以上の度数を有する高さの中で最も値が小さい高さがない場合には、前記頻度分布が算出された区分に関する地面の高さを、周囲の区分に関する前記地面の高さに基づいて補間するステップを有することを特徴とする請求項8から11に記載された地形認識方法。
JP2002184020A 2002-06-25 2002-06-25 地形認識装置および地形認識方法 Expired - Fee Related JP4150218B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002184020A JP4150218B2 (ja) 2002-06-25 2002-06-25 地形認識装置および地形認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002184020A JP4150218B2 (ja) 2002-06-25 2002-06-25 地形認識装置および地形認識方法

Publications (2)

Publication Number Publication Date
JP2004028728A true JP2004028728A (ja) 2004-01-29
JP4150218B2 JP4150218B2 (ja) 2008-09-17

Family

ID=31180028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002184020A Expired - Fee Related JP4150218B2 (ja) 2002-06-25 2002-06-25 地形認識装置および地形認識方法

Country Status (1)

Country Link
JP (1) JP4150218B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004144644A (ja) * 2002-10-25 2004-05-20 Fuji Heavy Ind Ltd 地形認識装置、地形認識方法および移動体の移動量検出方法
JP2008082870A (ja) * 2006-09-27 2008-04-10 Setsunan Univ 画像処理プログラム及びこれを用いた路面状態計測システム
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置
US8463420B2 (en) 2010-03-19 2013-06-11 Brother Kogyo Kabushiki Kaisha Sewing machine and non-transitory computer-readable medium storing sewing machine control program
US8527083B2 (en) 2010-03-19 2013-09-03 Brother Kogyo Kabushiki Kaisha Sewing machine and non-transitory computer-readable medium storing sewing machine control program
JP2014237412A (ja) * 2013-06-10 2014-12-18 富士重工業株式会社 エンジンのサージ制御装置
JP2015031990A (ja) * 2013-07-31 2015-02-16 ヤマハ発動機株式会社 障害物及び急斜面を検出する検出装置およびそれを備えた車両
JP2017161363A (ja) * 2016-03-09 2017-09-14 株式会社デンソー 区画線認識装置
CN113313746A (zh) * 2020-12-01 2021-08-27 湖南长天自控工程有限公司 一种料堆盘库的方法及系统
CN116105694A (zh) * 2022-12-09 2023-05-12 中国科学院上海技术物理研究所 一种多手段光学载荷复合的空间目标三维视觉测量方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JPH10187975A (ja) * 1996-12-19 1998-07-21 Matsushita Electric Ind Co Ltd 物流計測装置
JP2000075032A (ja) * 1998-09-02 2000-03-14 Komatsu Ltd 走行路上の障害物の検出方法及びその存否推定方法
JP2000181541A (ja) * 1998-12-21 2000-06-30 Komatsu Ltd 自走式車輌
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2000337870A (ja) * 1999-05-27 2000-12-08 Honda Motor Co Ltd 物体判定装置
JP2001043495A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2001041741A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2004012233A (ja) * 2002-06-05 2004-01-15 Fuji Heavy Ind Ltd 農作物検出装置および農作物検出方法
JP4032843B2 (ja) * 2002-06-25 2008-01-16 富士重工業株式会社 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JPH10187975A (ja) * 1996-12-19 1998-07-21 Matsushita Electric Ind Co Ltd 物流計測装置
JP2000075032A (ja) * 1998-09-02 2000-03-14 Komatsu Ltd 走行路上の障害物の検出方法及びその存否推定方法
JP2000181541A (ja) * 1998-12-21 2000-06-30 Komatsu Ltd 自走式車輌
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2000337870A (ja) * 1999-05-27 2000-12-08 Honda Motor Co Ltd 物体判定装置
JP2001043495A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2001041741A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2004012233A (ja) * 2002-06-05 2004-01-15 Fuji Heavy Ind Ltd 農作物検出装置および農作物検出方法
JP4032843B2 (ja) * 2002-06-25 2008-01-16 富士重工業株式会社 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
森光登、外2名: ""ステレオ画像処理による不整地形の認識"", 第19回日本ロボット学会学術講演会予稿集(第3分冊), JPN6008012060, 18 September 2001 (2001-09-18), pages 1281 - 1282, ISSN: 0001000298 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004144644A (ja) * 2002-10-25 2004-05-20 Fuji Heavy Ind Ltd 地形認識装置、地形認識方法および移動体の移動量検出方法
JP2008082870A (ja) * 2006-09-27 2008-04-10 Setsunan Univ 画像処理プログラム及びこれを用いた路面状態計測システム
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置
US8463420B2 (en) 2010-03-19 2013-06-11 Brother Kogyo Kabushiki Kaisha Sewing machine and non-transitory computer-readable medium storing sewing machine control program
US8527083B2 (en) 2010-03-19 2013-09-03 Brother Kogyo Kabushiki Kaisha Sewing machine and non-transitory computer-readable medium storing sewing machine control program
JP2014237412A (ja) * 2013-06-10 2014-12-18 富士重工業株式会社 エンジンのサージ制御装置
JP2015031990A (ja) * 2013-07-31 2015-02-16 ヤマハ発動機株式会社 障害物及び急斜面を検出する検出装置およびそれを備えた車両
JP2017161363A (ja) * 2016-03-09 2017-09-14 株式会社デンソー 区画線認識装置
CN113313746A (zh) * 2020-12-01 2021-08-27 湖南长天自控工程有限公司 一种料堆盘库的方法及系统
CN116105694A (zh) * 2022-12-09 2023-05-12 中国科学院上海技术物理研究所 一种多手段光学载荷复合的空间目标三维视觉测量方法
CN116105694B (zh) * 2022-12-09 2024-03-12 中国科学院上海技术物理研究所 一种多手段光学载荷复合的空间目标三维视觉测量方法

Also Published As

Publication number Publication date
JP4150218B2 (ja) 2008-09-17

Similar Documents

Publication Publication Date Title
JP5127182B2 (ja) 物体検出装置
JP4832227B2 (ja) 物体検出装置および物体検出方法
US8204278B2 (en) Image recognition method
US9275472B2 (en) Real-time player detection from a single calibrated camera
KR101551026B1 (ko) 차량 검출 방법
JP4341564B2 (ja) 対象物判定装置
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
US20100166259A1 (en) Object enumerating apparatus and object enumerating method
JP4872769B2 (ja) 路面判別装置および路面判別方法
US20090214081A1 (en) Apparatus and method for detecting object
JP4032843B2 (ja) 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法
JP2003083742A (ja) 監視システムの距離補正装置および距離補正方法
JPH10143659A (ja) 物体検出装置
JP5164351B2 (ja) 物体検出装置および物体検出方法
JP4067340B2 (ja) 対象物認識装置および対象物認識方法
JP4150218B2 (ja) 地形認識装置および地形認識方法
JPH11257931A (ja) 物体認識装置
JP2004012233A (ja) 農作物検出装置および農作物検出方法
JP2983420B2 (ja) 車間距離計測装置
JP2010020404A (ja) 画像処理装置及びその方法
JP4171282B2 (ja) 地形認識装置および地形認識方法
JP4171283B2 (ja) 地形認識装置および地形認識方法
Sato et al. Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system
JP2013148355A (ja) 車両位置算出装置
JP2006010652A (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080627

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4150218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130704

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees