JP2009134587A

JP2009134587A - 画像処理装置

Info

Publication number: JP2009134587A
Application number: JP2007310991A
Authority: JP
Inventors: Akihiro Tsukada; 明宏塚田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-11-30
Filing date: 2007-11-30
Publication date: 2009-06-18
Anticipated expiration: 2027-11-30
Also published as: US20090154799A1; US8107725B2; JP4518139B2

Abstract

【課題】対象物の認識精度を維持しつつ、画像処理速度を高めることができる画像処理装置を提供すること。
【解決手段】入力画像について解像度の異なる複数の多重解像度画像を生成し（Ｓ１６）、多重解像度画像ごとに相関評価関数を設定しその相関評価関数と多重解像度画像の各画素との相関値を算出しその相関値に基づいて局所領域の位置を抽出し（Ｓ１８）、多重解像度画像の解像度に応じて局所領域の大きさを設定し（Ｓ２２）、その局所領域について対象物の検出を行う。これにより、入力画像の特徴部分に対し適切な位置、範囲で局所領域を抽出できる。このため、対象範囲を適切に限定でき、対象物の検出を精度低下させることなく、迅速に行える。
【選択図】図２

Description

本発明は、対象物の輪郭抽出などの画像処理を行う画像処理装置に関するものである。

従来、対象物の輪郭抽出などの画像処理を行う画像処理装置として、特開２００３−３３４１９４号公報に記載されるように、画像データを取得し、その画像データを複数の小領域に分割し、その小領域ごとに画像の明瞭さを示す評価値を算出し、その評価値に基づいて小領域を選択し、選択された小領域を統合して対象物の輪郭を抽出するものが知られている。
特開２００３−３３４１９４号

しかしながら、このような装置にあっては、対象物の認識精度を維持しつつ、画像処理速度を高めることが困難である。例えば、小領域を小さく設定して画像処理を行うと、対象物の認識精度が向上するが、処理の負担が大きくなり、迅速な処理が行えない。一方、小領域を大きく設定して画像処理を行うと、小領域の数が減り処理負担が軽減されるため、処理速度が上がるが、対象物の認識精度が低下してしまう。

そこで本発明は、このような技術課題を解決するためになされたものであり、対象物の認識精度を維持しつつ、画像処理速度を高めることができる画像処理装置を提供することを目的とする。

すなわち、本発明に係る画像処理装置は、入力画像について解像度の異なる複数の多重解像度画像を取得する多重解像度画像取得手段と、前記多重解像度画像ごとに相関評価関数を設定し、その相関評価関数と前記多重解像度画像の各画素との相関値を算出し、その相関値に基づいて局所領域の位置を抽出し、前記多重解像度画像の解像度に応じて局所領域の大きさを設定する局所領域抽出手段と、前記局所領域について対象物の検出を行う対象物検出手段とを備えて構成されている。

この発明によれば、入力画像における対象物の抽出に際し、入力画像の多重解像度画像を取得し、その多重解像度画像の各画素と相関評価関数との相関値を算出し、その相関値に基づいて局所領域の位置を抽出し多重解像度画像の解像度に応じて局所領域の大きさを設定することにより、入力画像の特徴部分に対し適切な位置、範囲で局所領域を抽出できる。このため、対象範囲を適切に限定でき、対象物の検出を精度低下させることなく、迅速に行える。

また、低解像度の多重解像度画像についても局所領域を設定して対象物検出を行うことにより、例えば手前にある障害物により対象物の画像が分断された場合でも、対象物全体を局所領域として設定することが可能であり、対象物を検出することが可能となる。

また本発明に係る画像処理装置において、前記対象物検出手段は、前記局所領域においてエッジを抽出し、そのエッジ周辺の色情報に基づいてエッジの統合を行って前記対象物を検出することが好ましい。

この発明によれば、局所領域においてエッジを抽出し、そのエッジ周辺の色情報に基づいてエッジの統合を行うことにより、局所領域内の障害物により対象物の画像が分断されていても、対象物のエッジを統合することができ、適切に対象物を検出することができる。

また本発明に係る画像処理装置において、前記局所領域抽出手段は、前記相関値が極大値又は極小値をとる位置を前記局所領域の位置として抽出することが好ましい。

この発明によれば、相関値が極大値又は極小値をとる位置を局所領域の位置として抽出することにより、局所的な特徴部分を抽出することができ、対象物の検出を精度良く行える。

また本発明に係る画像処理装置において、前記局所領域抽出手段は、前記多重解像度画像の解像度が低いほど前記局所領域を大きく設定することが好ましい。

この発明によれば、多重解像度画像の解像度が低いほど局所領域を大きく設定することにより、解像度が低い多重解像度画像によって大きい対象物の検出を行い、解像度が高い多重解像度画像によって小さい対象物の検出が行える。従って、対象物の大きさに関わらず適切な検出が可能となる。

また本発明に係る画像処理装置において、前記局所領域抽出手段は、前記局所領域における特徴点強度、前記局所領域内に存在する他の局所領域の数又は前記局所領域における色情報の類似度に応じて前記局所領域の大きさを設定することが好ましい。

この発明によれば、局所領域における特徴点強度、局所領域内に存在する他の局所領域の数又は局所領域における色情報の類似度に応じて局所領域の大きさを設定することにより、局所領域が対象領域であるという確からしさに応じて局所領域の大きさを調整できるため、適切な範囲で局所領域の設定が可能となる。従って、対象領域が大きい可能性が高い場合には局所領域を大きく設定して対象物の輪郭を漏れなく統合できる。また、障害物で対象物が分離される場合であってもエッジ統合などにより対象物の認識が可能となる。

本発明による画像処理装置によれば、対象物の認識精度を維持しつつ、画像処理速度を高めることができる。

以下、添付図面を参照しながら本発明による画像処理装置の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１に本発明の実施形態に係る画像処理装置の構成概要図を示す。

図１に示すように、本実施形態に係る画像処理装置１は、撮像装置２などから入力される入力画像について画像処理を行い入力画像内の対象物の検出を行う装置であり、エッジ処理部１１、多重解像度画像生成部１２、局所領域設定部１３、対象物検出部１４を備えて構成されている。なお、画像処理装置１に入力される入力画像は、カメラなどの撮像装置２以外から入力されるものであってもよく、メモリなどの記録される画像などであってもよい。

エッジ処理部１１、多重解像度画像生成部１２、局所領域設定部１３及び対象物検出部１４としては、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータシステムであって各部の機能を発揮させるプログラムを導入したものが用いられる。

エッジ処理部１１は、画像処理装置１に入力される入力画像のエッジ抽出を行い、抽出したエッジのセグメント化を行うエッジ処理手段である。例えば、エッジ処理部１１は、入力画像に対しCannyフィルタ、Sobelフィルタなどを用いてエッジ部分の抽出を行う。そして、抽出したエッジについて交差する点、鋭角に曲がっている点を節目に接合を行いセグメント化する。

多重解像度画像生成部１２は、入力画像について解像度の異なる複数の多重解像度画像を生成するものであって、多重解像度画像取得手段として機能するものである。例えば、多重解像度画像生成部１２は、ガウシアン関数（ガウス関数）を用いたガウシアンフィルタを解像度ごとに設定し、それらのガウシアンフィルタをそれぞれ入力画像に適用することにより、入力画像について解像度の異なる複数の多重解像度画像を生成する。

局所領域設定部１３は、入力画像における局所領域を設定する局所領域抽出手段として機能するものであり、多重解像度画像ごとに相関評価関数を設定し、その相関評価関数と多重解像度画像の各画素との相関値を算出し、その相関値に基づいて局所領域の位置を抽出し、多重解像度画像の解像度に応じて局所領域の大きさを設定する。

例えば、相関評価関数としては、多重解像度画像生成に用いた関数、つまりガウシアン関数を用いればよい。相関評価関数は、多重解像度画像ごとにパラメータを変えて設定され、例えば解像度が低い多重解像度画像に用いるものほど振幅が大きいものが用いられる。

局所領域の位置抽出は、例えば、相関評価関数を多重解像度画像に対しフィッティングを行い、そのフィッティングにおいて一致度合いを示す相関値を算出する。そして、多重解像度画像において相関値が極大値又は極小値を示す位置を局所領域の位置として抽出すればよい。

局所領域の大きさ設定は、多重解像度画像の解像度が低いほど局所領域を大きく設定することが好ましい。例えば、多重解像度画像の解像度が低いほど局所領域を大きく設定し、解像度が高くなるほど局所領域を徐々に小さく設定することが好ましい。また、この場合、局所領域における特徴点強度又はその局所領域内に存在する他の局所領域の数に応じて局所領域の大きさを調整することが好ましい。

対象物検出部１４は、局所領域について対象物の検出を行う対象物検出手段として機能するものであり、例えば、局所領域においてエッジを抽出し、そのエッジ周辺の色情報に基づいてエッジを選択し、選択したエッジの統合を行って、対象物を検出する。

次に本実施形態に係る画像形成装置の動作について説明する。

図２は本実施形態に係る画像形成装置の動作についてのフローチャートである。図２における制御処理は、例えば予め設定された周期により繰り返し実行される。

まず図２のＳ１０に示すように、入力画像の読み込みが行われる。この入力画像の読み込み処理は、例えば撮像装置２により撮像された画像を入力しメモリに格納することにより行われる。また、入力画像は、リアルタイムで撮像されたものでなく、予め記録されたものを読み込んでもよい。

そして、Ｓ１２に移行し、エッジ抽出処理が行われる。エッジ抽出処理は、入力画像のエッジ部分を抽出する処理であり、例えばエッジ処理部１１によって入力画像にSobelフィルタなどのエッジ抽出フィルタをかけることにより行われる。そして、Ｓ１４に移行し、セグメント化処理が行われる。セグメント化処理は、Ｓ１２にて抽出されたエッジのうち関連のあるもの同士を結合してセグメント化する処理であり、エッジ処理部１１により行われる。このセグメント化処理は、エッジが交差する点やエッジが鋭角に曲がっている点を節目にして結合して行えばよい。

図３に入力画像の説明図、図４にエッジ抽出、セグメント化を行った画像の説明図を示す。図３に示すように、入力画像３０は、室内を撮影した画像であり、抽出すべき対象物として急須４１が撮像されている。

図４に示すように、エッジ抽出しセグメント化した画像３１は、輝度変化の大きい部分がエッジとして抽出され、そのエッジがセグメント化されて強調されたものとなっている。急須４１の輪郭もエッジとして抽出され結合されてセグメント化されている。

なお、Ｓ１２のエッジ抽出処理、Ｓ１４のセグメント化処理は、図２の一連の制御処理とは別の制御処理によって実行してもよい。

そして、図２のＳ１６に移行し、多重解像度画像の作成処理が行われる。多重解像度画像の作成処理は、入力画像３０について解像度の異なる複数の多重解像度画像を作成する処理であり、多重解像度画像生成部１２に入力画像３０の画像データを入力して行われる。例えば、入力画像３０の解像度を異ならせるようにパラメータを変えたガウシアン関数が設定され、それをガウシアンフィルタとして用いることにより入力画像３０について解像度の異なる複数の多重解像度画像が生成される。なお、多重解像度画像の生成手法は、これ以外のものであってもよい。

そして、Ｓ１８に移行し、局所領域の位置抽出処理が行われる。この位置抽出処理は、入力画像３０において特徴部分を示す局所領域の位置を抽出する処理であり、Ｓ１６にて生成した多重解像度画像ごとに相関評価関数を設定し、その相関評価関数と多重解像度画像の各画素との相関値を算出し、その相関値に基づいて局所領域の位置を抽出する。

相関評価関数は、多重解像度画像とフィッティングを行って相関値を算出するための関数であって、例えば、多重解像度画像の生成に用いた関数、即ちガウシアン関数が用いられる。相関値の算出は、例えば図５に示すように、それぞれの多重解像度画像の画素に対し相関評価関数によりフィッティングを行い、そのフィッティングによるフィッティング度が相関値として算出される。そして、算出された相関値が極大値又は極小値をとる位置が局所領域の位置として抽出される。

そして、Ｓ２０に移行し、抽出された局所領域の位置において周辺の色情報が適正であるか否かが判断される。例えば、抽出された局所領域の位置において周辺の色情報が所定以上類似する色情報であるか否かが判断して行われる。Ｓ２０にて抽出された局所領域の位置において周辺の色情報が適正でないと判断された場合には、Ｓ１８に戻る。

一方、Ｓ２０にて抽出された局所領域の位置において周辺の色情報が適正であると判断された場合には、局所領域の大きさが設定され、局所領域が決定される（Ｓ２２）。例えば、局所領域の大きさは、多重解像度画像の解像度に応じて設定される。この場合、多重解像度画像の解像度が低いほど局所領域を大きく設定することが好ましい。このように局所領域の大きさを設定することにより、解像度が低い多重解像度画像によって大きい対象物の検出を行い、解像度が高い多重解像度画像によって小さい対象物の検出が行える。従って、対象物の大きさに関わらず適切な検出が可能となる。

また、局所領域の大きさは、局所領域における特徴点強度（ガウシアン関数のフィッティング度）、局所領域内に存在する他の局所領域の数又は局所領域における色情報の類似度に応じて設定することが好ましい。この場合、局所領域における特徴点強度、局所領域内に存在する他の局所領域の数又は局所領域における色情報の類似度の一部に応じて局所領域の大きさを調整してもよいし、局所領域における特徴点強度、局所領域内に存在する他の局所領域の数又は局所領域における色情報の類似度の全部を加味して局所領域の大きさを調整してもよい。

局所領域における特徴点強度が強いほど局所領域の大きく調整し、局所領域内に存在する他の局所領域の数が多いほど局所領域の大きく調整し、局所領域における色情報の類似度が大きいほど局所領域の大きく調整すればよい。

局所領域における特徴点強度、局所領域内に存在する他の局所領域の数、局所領域における色情報の類似度に応じて局所領域の大きさを設定することにより、局所領域が対象領域であるという確からしさに応じて局所領域の大きさを調整できるため、適切な範囲で局所領域の設定が可能となる。従って、対象領域が大きい可能性が高い場合には局所領域を大きく設定して対象物の輪郭を漏れなく統合できる。また、障害物で対象物が分離される場合であってもエッジ統合などにより対象物の認識が可能となる。

図６に局所領域が設定された画像を示す。図６に示すように、対象物の候補となる多数の局所領域４２が円によって示されている。局所領域４２の大きさは、円の半径を異ならせることにより設定されている。なお、局所領域４２の大きさは、円形以外のもの形状であってもよい。この場合、検出すべき対象物の形状に応じた形状とすることが好ましい。

そして、図２のＳ２４に移行し、エッジ候補の選択処理が行われる。エッジ候補の選択処理は、複数設定された局所領域のうち検出すべき対象物と推定される局所領域を選定し、対象物を示すエッジ候補を選択する処理である。

局所領域の選定は、例えば、局所領域内にエッジの勾配分布（エッジの閉曲線の有無、エッジの偏りなど）に基づいて検出対象となる局所領域であるか否かを判定して行われる。この場合、解像度の低い多重解像度画像から抽出された局所領域から先に選定することが好ましい。解像度の低い多重解像度画像から抽出された大きい局所領域から先に選定候補とし、その局所領域に対象物が存在しない場合にそれより解像度の高い多重解像度画像から抽出された局所領域を選定候補として選定していく。このようにして局所領域を選定することにより、エッジの勾配分布に偏りがある場合にその解像度のエッジをグルーピングしないようにして適切な局所領域の選定が可能となる。また、局所領域の選定は、局所領域の色情報に基づいて行ってもよい。例えば、対象物の色情報に近い局所領域を選定するように行えばよい。エッジ候補の選択は、選定した局所領域においてエッジを抽出して行われる。

そして、Ｓ２６に移行し、エッジ群の統合処理が行われる。エッジ群の統合処理は、Ｓ２４にて抽出したエッジ周りの色情報を基準にしてエッジを統合する処理である。この処理により、対象物の輪郭が明確となり、対象物の認識が可能となる。

図７に局所領域を選定しエッジ抽出した画像を示し、図８にエッジ統合した画像を示す。図７に示すように、選定された局所領域４２の周辺のエッジが抽出されている。抽出すべき対象物である急須４１のエッジも抽出されている。そして、図８に示すように、エッジが統合され、急須４１のエッジのみが統合されている。このようなエッジを検出することにより、対象物を認識することができる。例えば、統合したエッジと予め記録される対象物の輪郭とをマッチングすることにより、対象物を認識することができる。図２のＳ２４のエッジ統合処理を終えたら、一連の制御処理を終了する。

図９は、局所領域の位置抽出処理の一例を示すフローチャートである。

図９の局所領域の位置抽出処理は、図２のＳ１８の処理を具体的に示すものである。この局所領域の位置抽出処理は、まず、図９のＳ１８０に示すように相関評価関数の設定処理が行われる。この相関評価関数の設定処理は、入力画像３０において特徴部分を示す局所領域の位置を抽出するための相関評価関数を設定する処理である。例えば、相関評価関数としてガウシアン関数を用い、各解像度の多重解像度画像についてそれぞれ相関評価関数が設定される。このとき、相関評価関数のパラメータとなるσについては、多重解像度画像を生成した際のものを用いればよい。また、この相関評価関数としては、ガウシアン関数以外の関数を用いてもよい。

そして、Ｓ１８２に移行し、相関値の算出処理が行われる。相関値の算出処理は、入力画像３０の各画素に対して相関評価関数との相関値を算出する処理である。例えば、入力画像３０の各画素Ｐ（ｘ、ｙ）に対しガウシアン関数Ｇとの相関値Ｃ（ｘ、ｙ）の算出式としては、次の式（１）が用いられる。

そして、Ｓ１８４に移行し、局所領域の位置の選定処理が行われる。局所領域の位置の選定処理は、入力画像３０の各画素Ｐ（ｘ、ｙ）に対しガウシアン関数Ｇとの相関値Ｃ（ｘ、ｙ）に基づいて局所領域の位置を選定する処理である。例えば、Ｓ１８２にて算出された相関値Ｃが極大値又は極小値となる位置が局所領域の位置として選定される。Ｓ１８４の処理を終えたら、局所領域の位置抽出処理の一連の制御処理を終了する。

以上のように、本実施形態に係る画像処理装置によれば、入力画像における対象物の抽出に際し、入力画像の多重解像度画像を取得し、その多重解像度画像の各画素と相関評価関数との相関値を算出し、その相関値に基づいて局所領域の位置を抽出し多重解像度画像の解像度に応じて局所領域の大きさを設定することにより、入力画像の特徴部分に対し適切な位置、範囲で局所領域を抽出できる。このため、対象範囲を適切に限定でき、対象物の検出を精度低下させることなく、迅速に行える。

例えば、入力画像に対し一定の大きさの小領域を設定し色情報により統合する手法によって対象物のエッジ、輪郭を検出しようとする場合、本実施形態に係る画像処理装置と同程度の検出精度を得ようとすると、処理量が約１００倍となり、迅速な処理が行えない。これに対し、本実施形態に係る画像処理装置の場合、入力画像の特徴部分に対し適切な位置、範囲で局所領域を設定し、対象範囲を適切に限定できるため、対象物検出のための処理量を低減でき、対象物の検出を精度低下させることなく迅速に行える。

例えば、図１０（Ａ）に示すように、検出対象物である急須４１の手前に障害物５１がある場合でも、急須４１の位置に局所領域４２が設定される。そして、図１０（Ｂ）に示すように、局所領域４２周辺のエッジとして障害物５１のエッジも抽出されるが、色情報などによってこのようなエッジを排除することができる。このため、検出すべき対象物のみのエッジを統合して、対象物を認識することができる。

また、本実施形態に係る画像処理装置において、局所領域においてエッジを抽出し、そのエッジ周辺の色情報に基づいてエッジの統合を行うことにより、局所領域内の障害物により対象物の画像が分断されていても、対象物のエッジを統合することができ、適切に対象物を検出することができる。

また、本実施形態に係る画像処理装置において、多重解像度画像の各画素と相関関数との相関値が極大値又は極小値をとる位置を局所領域の位置として抽出することにより、局所的な特徴部分を抽出することができ、対象物の検出を精度良く行える。

また、本実施形態に係る画像処理装置において、多重解像度画像の解像度が低いほど局所領域を大きく設定することにより、解像度が低い多重解像度画像によって大きい対象物の検出を行い、解像度が高い多重解像度画像によって小さい対象物の検出が行える。従って、対象物の大きさに関わらず適切な検出が可能となる。

また、本実施形態に係る画像処理装置において、局所領域を選定する際に、解像度の低い多重解像度画像から抽出された局所領域から先に選定することが好ましい。例えば、解像度の低い多重解像度画像から抽出された大きい局所領域から先に選定候補とし、その局所領域に対象物が存在しない場合にそれより解像度の高い多重解像度画像から抽出された局所領域を選定候補として選定していく。このようにして局所領域を選定することにより、エッジの勾配分布に偏りがある場合にその解像度のエッジをグルーピングしないようにして適切な局所領域の選定が可能となる。また、図１１に示すように、先に対象物６１の外縁の輪郭を検出し、その後に輪郭の内部を検出することで細かいエッジを漏れなく抽出することができる。従って、対象物の認識精度を高めることができる。

さらに、局所領域における特徴点強度、局所領域内に存在する他の局所領域の数又は局所領域における色情報の類似度に応じて局所領域の大きさを設定することにより、局所領域が対象領域であるという確からしさに応じて局所領域の大きさを調整できるため、適切な範囲で局所領域の設定が可能となる。従って、対象領域が大きい可能性が高い場合には局所領域を大きく設定して対象物の輪郭を漏れなく統合できる。また、障害物で対象物が分離される場合であってもエッジ統合などにより対象物の認識が可能となる。

なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、この実施形態に係る画像処理装置に限られるものではなく、請求項に記載した要旨を変更しない範囲で実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。

本発明の実施形態係る画像処理装置の構成概要図である。図１の画像処理装置の動作を示すフローチャートである。入力画像の説明図である。エッジ処理した画像の説明図である。図１の画像処理装置における局所領域の位置抽出処理の説明図である。図１の画像処理装置における局所領域設定処理の説明図である。局所領域を選定しエッジ抽出した画像の説明図である。エッジ統合した画像の説明図である。図１の画像処理装置の局所領域の位置抽出処理の一例を示すフローチャートである。図１の画像処理装置における対象物検出機能の説明図である。図１の画像処理装置における対象物検出機能の説明図である。

符号の説明

１…画像処理装置、２…撮像装置、１１…エッジ処理部、１２…多重解像度画像生成部、１３…局所領域設定部、１４…対象物検出部。

Claims

入力画像について解像度の異なる複数の多重解像度画像を取得する多重解像度画像取得手段と、
前記多重解像度画像ごとに相関評価関数を設定し、その相関評価関数と前記多重解像度画像の各画素との相関値を算出し、その相関値に基づいて局所領域の位置を抽出し、前記多重解像度画像の解像度に応じて局所領域の大きさを設定する局所領域抽出手段と、
前記局所領域について対象物の検出を行う対象物検出手段と、
を備えた画像処理装置。
前記対象物検出手段は、前記局所領域においてエッジを抽出し、そのエッジ周辺の色情報に基づいてエッジの統合を行って前記対象物を検出することを特徴とする請求項１に記載の画像処理装置。
前記局所領域抽出手段は、前記相関値が極大値又は極小値をとる位置を前記局所領域の位置として抽出することを特徴とする請求項１又は２に記載の画像処理装置。
前記局所領域抽出手段は、前記多重解像度画像の解像度が低いほど前記局所領域を大きく設定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
前記局所領域抽出手段は、前記局所領域における特徴点強度、前記局所領域内に存在する他の局所領域の数又は前記局所領域における色情報の類似度に応じて前記局所領域の大きさを設定することを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。