JP2005346381A - 立体物認識装置及び方法 - Google Patents

Abstract

【課題】 誤認識を低減し確実な立体物の認識を行うことができる立体物認識装置及び方法を提供すること。
【解決手段】 車両の異なる２点の位置から車外を撮像するステレオカメラ５と、水平方向、垂直方向、奥行き距離で構成される撮像した画像１０を、撮像対象までの距離を示す距離画像に変換する距離画像作成部２１と、距離画像を、水平方向と奥行き方向のみで構成されるX-Z面画像２０（平面画像）に変換する視点変換部４２と、水平方向と奥行き方向のみで構成されるX-Z面画像２０（平面画像）のデータのない部分２１，２２，２３，２４，２５から立体物の認識を行うラベリング部４３、クラスタリング部４４、画像判定部４５とを備えた。
【選択図】 図１

Description

本発明は、車外を撮像した画像から立体物を認識する立体物認識装置及び方法の技術分野に属する。

従来では、ステレオカメラにより車両前方を撮像した画像の距離分布からヒストグラムを作成し、ヒストグラムの度数が判定値以上で、かつ最大値となる区間を検出し、立体物には、同じ距離データが集中しているという特性を利用し、その区間に物体が存在すると判断し、その物体までの距離を検出して、距離画像から先行車両及び障害物を検出している（例えば、特許文献１参照。）。
特開平５−２６５５４７号公報（第２−１８頁、全図）

しかしながら、従来の立体物認識装置にあっては、ステレオカメラの構造上、距離データは近場から遠方に行くにしたがって距離データの数が粗になっていく。そのため、立体物を判定するために距離に応じて判定の閾値を変動させる必要があり、立体物の大きさによっては認識できないことがあった。

本発明は、上記問題点に着目してなされたもので、その目的とするところは、誤認識を低減し確実な立体物の認識を行うことができる立体物認識装置及び方法を提供することにある。

上記目的を達成するため、本発明では、車両の異なる２点の位置から車外を撮像するステレオカメラと、水平方向、垂直方向、奥行き距離で構成される撮像した画像を、撮像対象までの距離を示す距離画像に変換する変換手段と、前記距離画像を、水平方向と奥行き方向のみで構成される平面画像に変換する変換手段と、水平方向と奥行き方向のみで構成される平面画像のデータのない部分から立体物の認識を行う認識手段とを備えることを特徴とする。

よって、本発明にあっては、誤認識を低減し確実な立体物の認識を行うことができる。

以下、本発明の立体物認識装置及び方法を実現する実施の形態を、請求項１，２，３に係る発明に対応する実施例１に基づいて説明する。

まず、構成を説明する。
図１は実施例１の立体物認識装置のブロック図である。
立体物認識装置１は、ASIC２、画像メモリ３、プロセッサ４を主な構成にし、ステレオカメラ５が接続されている。
ASIC２（距離画像への変換手段に相当する）は、ステレオカメラ５で撮像した画像のA/D変換を行い、内部に有する距離画像作成部２１で距離画像を作成し、画像メモリ３へ出力する。
画像メモリ３は、距離画像を一時的に記憶する。
プロセッサ４は、距離画像撮り込み部４１、視点変換部４２（平面画像への変換手段に相当する）、ラベリング部４３（ラベリング手段に相当する）、クラスタリング部４４（マッチング手段に相当する）、画像判定部４５を主な構成にしている。

距離画像撮り込み部４１は、画像メモリ３に記憶している距離画像をプロセッサ４にデータで取り込む。
視点変更部４２は、距離画像を水平方向と奥行き方向で構成されるX-Z面の画像（平面画像に相当する）への変換を行う。
ラベリング部４３は、X-Z面の画像にラベリングを行う。
クラスタリング部４４は、ラベリングしたグループの特徴から、予め用意しているテンプレートデータと照合するテンプレートマッチングを行う。
テンプレートマッチングの特徴とクラスタの例を図３に示しておく。
画像判定部４５は、テンプレートマッチングの結果から立体物の判定を行う。

ステレオカメラ５は、車両の左右にそれぞれ設けるようにし、自車前方の画像を撮像する。すると、画像は、その水平位置の違いにより視差を生じるため、その視差により撮像した対象物までの距離が分かることとなる。

次に作用を説明する。
［画像処理］
図２に示すのは、実施例１の立体物認識装置で実行する画像処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップＳ１では、ステレオカメラ５で撮像した画像を内部に捕り込む。

ステップＳ２では、ステレオカメラ５で撮像した画像から、水平方向と奥行き方向で構成される距離画像を作成する。

ステップＳ３では、距離画像をX-Z面の画像へ変換する。

ステップＳ４では、X-Z面において、空白データとなった部分へのラベリングを行う。

ステップＳ５では、ラベリングしたグループの形状の特徴からデータマッチングするクラスタリングを行い、立体物を特定する。

ステップＳ６では、各データの位置と形状による正確度の判定を行う。例えば、画像中心より左側の物で右に傾く物は不正確である、など。

［立体物の認識作用］
実施例１の立体物認識装置１では、ステレオカメラ５によって、自車前方を撮像する。撮像した画像１０は、図４に示すように先行車両１１、ガードレール１２、ポール、電柱等の細い立体物１３，１４，１５を捉えたものとする。
この画像は、ステレオカメラ５により左右から撮像されたことによって、視差を生じている。
この視差により対象物までの距離を得ることができるため、距離画像作成部２１により、画像の各ポイントの距離を輝度や色で表現した距離画像が作成される。
作成された距離画像は、水平方向であるX方向、垂直方向であるY方向、自車からの距離をデータとして持つことになる。これを視点変更部４２により、水平方向（X方向）と奥行き方向（Z方向）の画像、つまりX-Z面の画像に変換する。

すると、図５に示す画像となる。距離データのある部分２０は、自車に近づくほど濃く、遠ざかるほど薄くなるよう表現している。３次元として捉えられる画像１０を、距離画像を介してX-Z面の画像２０に変換すると、平面物と立体物で以下に示すような違いが生じる。
(a)平面物の場合
３次元の画像において、例えば地上に書かれたマーキング物１６のように平面なものは、その各部と周囲の道路部分が視差により同じように奥に行くほど薄くなる距離データを有するため、X-Z面の画像２０では、濃淡で表現される距離データのある部分となる。

(b)立体物の場合
３次元の画像において、例えば、自車に先行する車両１１のように立体的なものは、車両の画像部分１１の上下端部での自車からの距離の違いは少ないが、上端部とその周りの道路部分における自車からの距離の違いは大きい。そのため、X-Z面の画像２０では、先行車両位置から奥に向かって画像１０では距離データが得られない部分が生じ、X-Z面の画像２０で濃淡色のない白部分（図５中の符号２１部分）として表現されることになる。
同様に、ガードレール部分１２は、長く伸びるデータのない部分２２となり、ポール、電柱等の細い立体物１３，１４，１５は、自車から見て中央に位置しないため、傾いた角度に伸びるデータのない部分２３，２４，２５となる。

画像２０における距離データのない部分は、ラベリング部４３により、例えば対象物Ａ（位置情報を含む）というようにラベリングを行い、クラスタリング部４４により、図３に示すように、距離データのない部分２２のように画像の中心になく、Z方向に角度なく伸びるデータである場合には、ガードレールのクラスタに該当すると判断する。同様に、距離データのない部分が画像の中心にあり、Z方向に角度なく伸びるデータである場合には、道路上の障害物つまり、先行車両など自車の走行に問題のある立体物と判断し、距離データのない部分が画像の中心になく、角度を持って伸びるデータである際には、自車の走行に問題のない立体物であると判断する。

さらに、本実施例１では、ステップＳ６の処理により、このようにして立体物として判定されたものの位置と、画像上の位置を比較して正確度を判定する。
これにより、従来技術にあるような閾値問題を解消し、認識性能を向上させた立体物認識装置となるのである。

次に、効果を説明する。

実施例１の立体物認識装置にあっては、下記に列挙する効果を得ることができる。

(1)車両の異なる２点の位置から車外を撮像するステレオカメラ５と、水平方向、垂直方向、奥行き距離で構成される撮像した画像１０を、撮像対象までの距離を示す距離画像に変換する距離画像作成部２１と、距離画像を、水平方向と奥行き方向のみで構成されるX-Z面画像２０（平面画像）に変換する視点変換部４２と、水平方向と奥行き方向のみで構成されるX-Z面画像２０（平面画像）のデータのない部分２１，２２，２３，２４，２５から立体物の認識を行うラベリング部４３、クラスタリング部４４、画像判定部４５とを備えるため、誤認識を低減し、正確に立体物を認識することができる。

(2)認識手段は、平面画像のデータのない部分にラベリングを行うラベリング部４３と、ラベリングしたデータにテンプレートマッチングを行い、立体物の種類を特定するクラスタリング部４４とを備えるため、認識した立体物が自車の走行に問題となるものかどうかを容易で高速な処理で判断することができる。

(3)車両に設けたステレオカメラの視差により対象物までの距離を表す距離画像を得るようにし、距離画像を水平方向と奥行き方向で構成するX-Z面画像２０（平面画像）に変換し、対象物の奥側となる、視差による距離データを得られない部分の形状や傾き方向から立体物を認識する方法にしたため、誤認識を低減し、正確に立体物を認識することができる。

以上、本発明の立体物認識装置を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
実施例１では、テンプレートマッチング、クラスタリングを行い、認識の正確度を求めるようにしたが、X-Z面画像において、距離データのない部分から自車までの線上に立体物があることを示す距離データの集合が存在するかどうかにより確認してもよい。

実施例１の立体物認識装置のブロック図である。 実施例１の立体物認識装置で実行する画像処理の流れを示すフローチャートである。 実施例１の立体物認識装置のデータマッチングに用いるデータの例を示す説明図である。 実施例１の立体物認識装置で処理する画像の例を示す説明図である。 実施例１の立体物認識装置で変換したX-Z面の画像を示す説明図である。

符号の説明

１ 立体物認識装置
２ ASIC
２１ 距離画像作成部
３ 画像メモリ
４ プロセッサ
４１ 距離画像撮り込み部
４２ 視点変換部
４３ ラベリング部
４４ クラスタリング部
４５ 画像判定部
５ ステレオカメラ
１０ （３次元が表現された）画像
１１ 先行車両の画像部分
１２ ガードレールの画像部分
１３ ポール、電柱等の細い立体物の画像部分
１４ ポール、電柱等の細い立体物の画像部分
１５ ポール、電柱等の細い立体物の画像部分
１６ 白線などの地上に書かれたマーキング物
２０ X-Z面の画像
２１ X-Z面の画像の車両の死角部分となる距離データのない部分
２２ X-Z面の画像のガードレールの死角部分となる距離データのない部分
２３ X-Z面の画像のポール、電柱等の細い立体物の死角部分となる距離データのない部分
２４ X-Z面の画像のポール、電柱等の細い立体物の死角部分となる距離データのない部分
２５ X-Z面の画像のポール、電柱等の細い立体物の死角部分となる距離データのない部分

Claims (3)

1. 車両の異なる２点の位置から車外を撮像するステレオカメラと、
   水平方向、垂直方向、奥行き距離で構成される撮像した画像を、撮像対象までの距離を示す距離画像に変換する変換手段と、
   前記距離画像を、水平方向と奥行き方向のみで構成される平面画像に変換する変換手段と、
   水平方向と奥行き方向のみで構成される平面画像のデータのない部分から立体物の認識を行う認識手段と、
   を備えることを特徴とする立体物認識装置。
2. 請求項１に記載された立体物認識装置において、
   前記認識手段は、
   前記平面画像のデータのない部分にラベリングを行うラベリング手段と、
   ラベリングしたデータにテンプレートマッチングを行い、立体物の種類を特定するマッチング手段と、
   を備えることを特徴とする立体物認識装置。
3. 車両に設けたステレオカメラの視差により対象物までの距離を表す距離画像を得るようにし、
   前記距離画像を水平方向と奥行き方向で構成する平面画像に変換し、
   対象物の奥側となる、視差による距離データを得られない部分の形状や傾き方向から立体物を認識する、
   ことを特徴とする立体物認識方法。