JP2010134535A - 画像検出装置及び画像検出方法 - Google Patents

Abstract

【課題】画像から所定の対象画像を検出する際の誤検出の発生を低減しつつ高速な検出処理を実現する画像検出装置を提供する。
【解決手段】画像検出装置（１０）は、入力画像の各画素とその近傍領域の画素間の色の類似度または入力画像の各画素の周囲の画素のエッジ強度に基づいて入力画像から検出対象領域を抽出する候補領域抽出手段（１３）と、抽出した検出対象領域に含まれる各画素についてエッジ方向およびエッジ強度を求めるエッジ抽出手段（１４）と、対象画像の存在する可能性の高い領域を導出するために、エッジ方向とエッジ強度情報に基づいて投票する投票手段（１５）と、投票結果を参照し、閾値以上の投票値を探索し、その探索した結果に基づいて入力画像に含まれる対象画像を検出する投票結果評価手段（１６）とを備える。
【選択図】図１

Description

本発明は、画像から、所定の形状を有する対象画像（例えば、円形の道路標識）を検出する画像検出装置に関する。

画像から特定の色で表現される領域を抽出する技術として特許文献１に開示のものがある。特許文献１では、サンプル画像より探索対象の色を色空間にプロットし、その分布の分散よりアウトライアを判別し、アウトライアを除いた領域を用いて色抽出用テーブルを作成している。

また、画像認識の分野で用いられている形状認識手法である一般化ハフ変換と呼ばれる技術がある。例えば、非特許文献１は、検出対象のパターン内のエッジとその勾配方向の関係を求めておき、探索画像のエッジを検出し、そのエッジが探索対象パターンの一部であれば、どこに探索対象が存在する可能性があるかを投票空間（位置、回転、サイズ）に投票して、そのピーク値によりパターンを検出する技術を開示する。
特開２００６−３１３４６８号広報 Dana H. Ballard, "Generalizing the Hough transform to detect arbitrary shapes"

単純に入力画像からエッジ抽出して非特許文献１の一般化ハフ変換で形状検出した場合、探索対象以外のエッジが多数発生するため、投票の結果誤検出が発生しやすいという問題がある。そこで、エッジ抽出の前に特許文献１のように道路標識の色に注目して領域抽出することで道路標識以外のエッジを削減し性能向上を行うことができる。

しかし、特許文献１の色抽出では注目画素の１画素の色のみにより色変換するため、道路標識に似た色の画素が存在すれば、その画素を含む領域がすべて領域抽出されてしまう。また、背景が複雑な場合、偶然発生した投票値の集中地点に誤検出が発生しやすいという問題がある。

本発明は上記課題を解決すべくなされたものであり、その目的とするところは、画像から所定の対象画像を検出する際の誤検出の発生を低減しつつ高速な検出処理を実現する画像検出装置を提供することにある。

本発明に係る画像検出装置は、画像から所定の対象画像を検出する画像検出装置であって、画像を入力する画像入力手段と、入力画像の各画素とその近傍領域の画素間の色の類似度または入力画像の各画素の周囲の画素のエッジ強度に基づいて入力画像から検出対象領域を抽出する候補領域抽出手段と、抽出した検出対象領域に含まれる各画素についてエッジ方向およびエッジ強度を求めるエッジ抽出手段と、対象画像の存在する可能性の高い領域を導出するために、エッジ方向とエッジ強度情報に基づいて投票する投票手段と、投票結果を参照し、閾値以上の投票値を探索し、その探索した結果に基づいて入力画像に含まれる対象画像を検出する投票結果評価手段とを備える。

本発明に係る画像検出方法は、画像から所定の対象画像を検出する画像検出方法であって、画像を入力するステップと、入力画像の各画素とその近傍領域の画素間の色の類似度または入力画像の各画素の周囲の画素のエッジ強度に基づいて入力画像から検出対象領域を抽出するステップと、抽出した検出対象領域に含まれる各画素についてエッジ方向およびエッジ強度を求めるステップと、対象画像の存在する可能性の高い領域を導出するために、エッジ方向とエッジ強度情報に基づいて投票するステップと、投票結果を参照し、閾値以上の投票値を探索し、その探索した結果に基づいて入力画像に含まれる対象画像を検出するステップとを含む。

本発明によれば、例えば道路標識のような、１）ある画素の周囲には類似の色が分布しているような画像や、２）対象画像とその背景の間にはっきりとしたエッジがある画像について、検出対象画像以外の領域のエッジ発生が削減できるため、誤検出の削減、計算処理の高速化が得られる。よって、車載システムに適用した場合に、実装するマイコンのスペックの低減などコスト削減効果も得られる。また、処理が高速なため、処理するフレームレートが早くなり、結果として車両が高速に移動中でも確実な検出が可能となる。

以下、添付の図面を参照し本発明の実施の形態を説明する。

図１に、本発明の実施の形態における道路標識認識装置の機能ブロック図を示す。道路標識認識装置１０は車両前方方向の画像を撮影する画像撮影部１１を備える。画像撮影部１１は、可視カメラや近赤外線カメラなどである。画像を撮影するときは、画像撮影部１１は道路進行方向の向きに設置される。例えば、車載時には、画像撮影部１１は、車両のルームミラーの辺りや車両のフロント部のグリル辺りなどに前方向きに設置される。

さらに、道路標識認識装置１０は、画像入力部１２と、標識候補領域抽出部１３と、エッジ抽出部１３と、方向別投票部１５と、投票結果評価部１６と、投票結果ピーク形状評価部１７とを備える。これらの機能処理部１２〜１７の機能は例えばＣＰＵ等のプロセッサが所定のプログラムを実行することで実現される。

画像入力部１２は、画像撮影部１１によって撮影された画像を読み込む。標識候補領域抽出部１３は、入力画像の各画素の色と、各画素の近傍領域のテクスチャ情報とを用いて、道路標識を含む可能性のある領域（以下「標識候補領域」という。）を抽出する。

一般に、道路標識は赤、青、黄など特定の色で構成されており、標識候補領域抽出部１３はこれらの色を抽出する。抽出方法として、画像における所定の色のサンプル画素を多数収集し、色空間にプロットし、その分布の密集している領域を色モデルと定め、そのモデルを用いて抽出する方法がある。例えば、赤色の道路標識の場合、画像における赤色のサンプル画素を多数収集し、色空間にプロットし、その分布の密集している領域を道路標識の赤色モデルと定め、この赤色モデルを用いて抽出する。

分布の密集している領域のモデル化には、２次元物体色確率分布領域（たとえば、楕円領域や正規分布）を適用する方法や、One-Class SVMを用いて領域を求める方法（Larry M. Manevitz,“One-Class SVMs for Document Classification”, Journal of Machine Learning Research 2, pp139-154、2001、参照）などがある。しかし、これらの方法では、道路標識と似た色の領域であればすべて標識候補領域として抽出してしまうという問題がある。

そこで、本実施形態では、道路標識の色は同一標識内であれば非常に良く似た色であり、かつ、非常に良く似た色の画素が隣接して存在しているという点に着目して、標識候補領域を抽出する。

具体的には、その方法として、図２に示すように、上述の方式における色空間へのサンプルプロット時に、注目画素と周辺画素の色の差の軸を新たに加えてプロットすることによりモデル化を行っている。なお、図２では便宜上、赤色（Ｒ）の軸と、青色（Ｂ）の軸と、注目画素と周辺画素の色の差の軸とのみを示しているが、実際には、それらの３軸に緑色（Ｇ）の軸を加えた４次元の空間においてプロットしている。注目画素と周辺画素の色の差として、例えば以下のようなものが考えられる。
ａ）注目画素の上下左右に隣接する４方向の画素を周辺画素とし、注目画素と周辺画素の色の差の最大値や、注目画素と周辺画素の色の差の平均値や、注目画素と各周辺画素の色の差の中央値
ｂ）注目画素を中心とした円形もしくは矩形領域内の画素を周辺画素とし、注目画素と周辺画素の色の差の最大値や、注目画素と周辺画素の色の差の平均値や、注目画素と各周辺画素の色の差の分散や、注目画素と各周辺画素の色の差の中央値
ｃ）注目画素を中心とした円形もしくは矩形領域内における各画素の色の値の平均値と、注目画素の色の値との差

上記のような４次元の空間において類似の色が分布する領域（すなわち、色の差の値が所定値よりも小さい領域）を探索し、その領域から道路標識モデルを作成し、このモデルを用いて標識候補領域を抽出する。これにより、道路標識のように同一色の画素が固まって存在し、かつ道路標識の色に近い色の領域のみを抽出することが可能になる。

また、道路標識の場合、道路標識とその周囲の背景との間にはっきりとしたエッジが存在する。よって、この道路標識とその周囲の背景との間のエッジの存在に着目し、前述の注目画素と周辺画素との色の差の軸の代わりに、またはそれに加えて、注目画素の周囲の画素のエッジ強度を新たな軸として色空間に加えてモデル化してもよい。この場合、エッジ強度が所定値よりも大きい画素群の内側の領域を探索し、その領域から道路標識モデルを作成する。なお、周辺画素のエッジ強度の値についても、周辺画素との色の差の場合と同様に、平均値、分散、中央値等の値を求めればよい。

標識候補領域抽出部１３は、以上のような色の差の軸を含む４次元の空間にプロットして得られる道路標識モデルから、One-Class SVMを用いて、画素毎に標識候補となり得るか否かを判断しながら標識候補領域を抽出する。

エッジ抽出部１４は、標識候補領域抽出部１３により抽出された標識候補領域の各画素についてエッジ方向（エッジ勾配方向）及びエッジ強度を求める。エッジ方向を求める方法としてソーベルフィルタを用いる方法がある。図３（ａ）は画像のx方向のエッジ強度を求めるためのフィルタ（x方向ソーベルフィルタ）であり、図３（ｂ）は画像のy方向のエッジ強度を求めるためのフィルタ（y方向ソーベルフィルタ）である。画像座標(x、 y)においてx方向ソーベルフィルタの出力をSx(x、 y)、y方向ソーベルフィルタの出力をSy(x、 y)とすると、エッジ強度E(x、 y)は次式で得られる。

エッジ方向θx(x、 y)、θy(x、 y)は次式で得られる。

方向別投票部１５はエッジ方向ごとに、エッジ強度E(x、 y)の情報を用いて道路標識の存在する可能性の高い場所を導出する。

ここで、方向別投票部１５において用いる一般化ハフ変換の説明を行う。一般化ハフ変換では、投票空間として入力画像と同じ大きさの投票空間を用意し、最初、投票空間の全座標の値は０に設定される。検出対象の形状が半径rの円形である場合、円の中心は、図４に示すように、円周状のエッジから勾配方向にrだけ離れた点になる。そのため、画像座標(x、 y)に強度E(x、 y)、傾きθx(x、 y)、θy(x、 y)のエッジがあるとき、投票空間における座標(x + r×θx(x、 y)、 y + r×θy(x、 y))に、値E(x、 y)を加算するという操作を繰り返すことにより円の中心の座標の投票値が高くなる。よって、投票値のピークを見つけることにより円形の中心を見つけることができる。

なお、投票空間に値E(x、 y)を加算するときに、座標(x + r×θx(x、 y)、 y + r×θy(x、 y))の周辺の座標にも、その値を加算するようにしてもよい。これにより、検出対象の形状が歪んでいるときや大きさが多少異なる場合であっても、検出できるようになる。さらに、この場合、値E(x、 y)の大きさが一定閾値よりも小さいときは投票操作を行わないようにしてもよい。これにより処理の高速化を図ることができる。また、投票時に、値E(x、 y)をそのまま投票するのではなく、log(E(x、 y))の値を加算するようにしてもよい。

以上のような一般化ハフ変換に対して、方向別投票部１５は、エッジ方向を複数の範囲に分割し、エッジ方向の範囲ごとに投票空間を用意して投票を行う。エッジ方向の範囲は、例えば図５に示すように、-22.5度から+22.5度、22.5度から67.5度、・・・、292.5度から337.5度というように分割（８分割）される。エッジ方向θは次式で得られる。

方向別投票結果評価部１６は、エッジ方向の範囲ごとの投票結果に基づき、エッジ方向の各範囲において閾値以上の投票値を探索し、円形の検出対象の有無を判断する。すなわち、画像内において円形の検出対象を特定する。

例えば円形の検出対象の中心が画像座標(x、 y)に存在する場合は、方向別投票結果は座標(x、 y)を中心としていずれの方向においても投票値が高くなっているはずである。そこで、方向別投票結果の全方向に対して一定閾値以上の投票値が得られたときには、その地点に中心を持つ円形の検出対象があると判断する。それとは逆に、一部の方向のみにおいて投票値が高く、他の方向では投票値が低い場合は、その地点に中心を持つ円形の対象はなく、複雑な背景などの影響で偶然エッジの向きが集中した領域であると判断できる。例えば、図６Ａに示す例では、全方向において一定閾値以上の投票値が得られていないため、入力画像はエッジ片の組み合わせであると判断できる。一方、図６Ｂに示す例では、全方向において一定閾値以上の投票値が得られているため、入力画像は円形あると判断できる。

ここで、円形の対象を検出したい場合に、図７に示す例のように画像３０中にエッジ強度の強い四角形の図形３５があるとき、四角形の中心部分に投票値が集中して誤検出になってしまう。図７に示す図形の場合、四角形の各頂点から中心部への斜め方向の方向別投票値よりも、四角形の各辺から中心部への水平・垂直方向の方向別投票値が大きくなる。すなわち、各方向の投票値にばらつきが生じる。よって、投票値間のばらつきを検出することで、全方向において一定閾値以上の投票値が得られた場合であっても、投票値間のばらつきがある場合は、円形でないという判断が可能となる。例えば、水平・垂直方向に対応する方向別投票結果の和と、斜め方向に対応する方向別投票結果の和とを比較して、それらの和の比が一定値内に収まる場合は、円形であると判断することができる。

投票結果ピーク形状評価部１７は、方向別投票結果評価部１６により円形の対象が特定された場合であっても、さらに、投票結果のピーク形状を判断し、そのピーク形状がなだらかなものは、特定した円形の対象を誤検出であると判断して排除する。すなわち、投票結果ピーク形状評価部１７は、投票結果のピーク形状を判断し、ピーク形状が急峻なものについて、方向別投票結果評価部１６により特定された円形形状の画像を最終的な検出対象画像として検出する。以上の、方向別投票結果評価部１６及び投票結果ピーク形状評価部１７の機能により、複雑な背景時に偶然発生する投票値の集中による誤検出を抑制できる。以下、これをより具体的に説明する。

道路標識検出装置１０において、背景部分が複雑である場合、その部分に誤検出が発生する場合がある。例えば、図８（ａ）に示すように背景部分が複雑であるとき、誤検出を起こしてしまう。このときの全方向の投票結果の和の分布は、図８（ｂ）に示すような分布となり、ピーク形状が比較的緩やかとなる。これに対し、図９（ａ）の部分のピーク形状は図９（ｂ）に示すような分布となる。このように正しい検出対象部分には、誤検出部分よりも、より先鋭なピーク形状を示す傾向がある。このため、本実施形態では、このようなピーク形状の先鋭度を判別することにより、誤検出を削減する。すなわち、ピーク形状の先鋭度（すなわち、ピーク形状部分の勾配）が所定値よりも小さい場合には、方向別投票結果評価部１６により特定された円形の対象が誤検出されたものであると判断する。ピーク形状の先鋭度は、例えば、ピーク部分から一定距離だけ離れた円周上の投票値の合計が閾値より上か下かを判定することにより、または、ピーク部分から上下左右４方向に一定距離だけ隔離した４点の投票値の合計が閾値より上か下かを判定することで判断できる。または、ピーク部分から一定距離だけ離れた点の投票値が閾値より上か下かを判定することで判断できる。

なお、上記の例では、円形の図形を検出するため、方向別投票結果の全エッジ方向に対して一定閾値以上の投票値が得られたときに円形の対象物があると判断したが、本発明の思想は、円形図形の検索に限定されない。一定閾値以上の投票値が得られるエッジ方向と、一定閾値以上の投票値が得られないエッジ方向とは図形の形状に応じて決定される。よって、所定のエッジ方向において一定閾値以上の投票値が得られたか否かを判断することにより、特定の形状の図形の検出が可能となる。

以上の説明では、道路標識を検出対象として説明を行ったが、本発明の思想は道路標識の検出に限定されるものではない。本発明の思想は、画像から円形やその他の所定の形状を有する画像を検出する技術に対して適用可能である。

以上の構成により、対象画像の誤検出を削減でき、また、処理の高速化が図れる。これにより、本実施形態のシステムを、道路標識検出、識別機能を備えた車載システムに適用する場合に、検出性能向上に加えて、処理が軽量化できるため必要なマイコンスペックの低減などコスト削減効果も得られる。また、高速処理が可能となるため、処理するフレームレートが早くなり、結果として車両が高速に移動中でも道路標識を確実に検出できるようになる。

本発明の実施の形態の道路標識認識装置のブロック図 色空間に周囲との色の差の軸を追加した空間における道路標識データのプロット結果例を示す図 ソーベルフィルタの説明図 一般化ハフ変換を説明するための図 方向別投票を説明するための図 円形の対象が検出されない場合の方向別投票結果評価を説明した図 円形の対象が検出される場合の方向別投票結果評価を説明した図 誤検出の発生例を説明した図 誤検出を生じる場合の検出対象と検出対象の投票値分布例を示した図 正しく検出できる場合の検出対象及び検出対象の投票値分布例を示した図

符号の説明

１０ 道路標識認識装置、 １１ 画像撮影部、 １２ 画像入力部、 １３ 標識候補領域抽出部、 １４ エッジ抽出部、 １５ 方向別投票部、 １６ 方向別投票結果評価宇、 １７ 投票結果ピーク形状評価部。

Claims (6)

1. 画像から所定の対象画像を検出する画像検出装置であって、
   画像を入力する画像入力手段と、
   入力画像の各画素とその近傍領域の画素間の色の類似度または入力画像の各画素の周囲の画素のエッジ強度に基づいて入力画像から検出対象領域を抽出する候補領域抽出手段と、
   抽出した検出対象領域に含まれる各画素についてエッジ方向およびエッジ強度を求めるエッジ抽出手段と、
   対象画像の存在する可能性の高い領域を導出するために、エッジ方向とエッジ強度情報に基づいて投票する投票手段と、
   投票結果を参照し、閾値以上の投票値を探索し、その探索した結果に基づいて入力画像に含まれる対象画像を検出する投票結果評価手段と
   を備える、画像検出装置。
2. 前記投票手段は、エッジ方向の範囲を定め、エッジ方向の範囲毎に前記投票を行い、
   前記投票結果評価手段は、エッジ方向範囲毎の投票結果から、各エッジ方向範囲において、閾値以上の投票値を探索し、その探索した結果に基づいて入力画像に含まれる対象画像を検出する、請求項１記載の画像検出装置。
3. さらに、前記投票結果評価手段による投票結果のピーク形状を判断し、誤検出を判定するピーク形状評価手段を備え、
   前記ピーク形状評価手段は、前記投票結果評価手段により検出された対象画像について、投票結果のピーク部分の勾配を判断し、その勾配が所定値以上の場合に、前記検出された画像を誤検出であると判定する、請求項１または２記載の画像検出装置。
4. 前記検出対象画像は道路標識である、請求項１記載の画像検出装置。
5. 前記入力画像は車両前方の画像を撮影した画像である、請求項１記載の画像検出装置。
6. 画像から所定の対象画像を検出する画像検出方法であって、
   画像を入力するステップと、
   入力画像の各画素とその近傍領域の画素間の色の類似度または入力画像の各画素の周囲の画素のエッジ強度に基づいて入力画像から検出対象領域を抽出するステップと、
   抽出した検出対象領域に含まれる各画素についてエッジ方向およびエッジ強度を求めるステップと、
   対象画像の存在する可能性の高い領域を導出するために、エッジ方向とエッジ強度情報に基づいて投票するステップと、
   投票結果を参照し、閾値以上の投票値を探索し、その探索した結果に基づいて入力画像に含まれる対象画像を検出するステップと
   を含む、画像検出方法。