JP2004070743A

JP2004070743A - 画像処理装置

Info

Publication number: JP2004070743A
Application number: JP2002230431A
Authority: JP
Inventors: Hidekazu Nishiuchi; 西内　秀和
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-08-07
Filing date: 2002-08-07
Publication date: 2004-03-04

Abstract

【課題】構造や明るさの違いに対応して精度のよいパターンマッチング処理を行う画像処理装置を提供する。
【解決手段】標準マッチングパターンとして、形状の特徴を示す構造マッチングパターン（構造マッチングパターン生成手段３）と明るさの特徴を示す光学マッチングパターン（光学マッチングパターン生成手段４）の２つを設け、検査対象パターンとして、形状の特徴を示す構造パターンと明るさの特徴を示す光学パターンの２つを検出し、それぞれについて標準マッチングパターンと検査対象パターンとの一致度を検出することにより、入力画像と対象物の一致度を判定する画像処理装置。対象物の形状と周囲環境の明るさ（輝度）という異なる特徴空間のマッチングパターンを個別に持つため、パターンマッチング精度が向上し、かつマッチングパターンの学習演算負荷も少なくなる。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理におけるパターンマッチング技術に関する。
【０００２】
【従来の技術】
画像処理によって物体の存在、形状、位置等を検知する手法としてパターンマッチング処理がある。これは検出対象（例えば先行車両）に相当する標準マッチングパターンを予め設定しておき、撮像した入力画像を標準マッチングパターンと比較することにより、標準マッチングパターンに相当する対象物を検知する手法である。従来のパターンマッチング方法としては、例えば特開平８−２３５３５９号公報に記載されたものがある。上記の従来例におけるパターンマッチング処理では、検出対象のテンプレートとして設定した標準マッチングパターンの特徴的な領域（例えば先行車両のタイヤ部分）ほど重くなる重み係数を学習により算出し、学習後の想起フェーズにおいてこの重み係数を画素毎に乗じながらパターンマッチングを行うという手法を用いている。
【０００３】
【発明が解決しようとする課題】
上記のごとき従来のパターンマッチング処理における学習では、標準マッチングパターンと教示パターン（対象物の変形を学習するためのパターン）とを画素毎に比較して学習を行うため、標準マッチングパターンと教示パターンとにおいて構造（画像位置）の違いや明るさ（画像輝度）の違いがある場合は、その違いがある領域では教示パターンが標準マッチングパターンと違うものとして学習させるので、その領域の重み係数が小さくなる。そのため、さまざまな対象、さまざまな環境（例えば、昼夜など）における学習を進めていくと、特徴的な領域が少なくなり、学習データを得ることができなくなるので、精度の良いパターンマッチングが困難になる、という問題があった。
【０００４】
本発明は上記のごとき問題を解決するためになされたものであり、構造や明るさの違いに良く対応して精度良くパターンマッチング処理を行うことの出来る画像処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、請求項１においては、標準マッチングパターンとして、形状の特徴を示す構造マッチングパターンと明るさの特徴を示す光学マッチングパターンの２つを設け、検査対象パターンとして、形状の特徴を示す構造パターンと明るさの特徴を示す光学パターンの２つを検出し、それぞれについて標準マッチングパターンと検査対象パターンとの一致度を検出するように構成している。
【０００６】
【発明の効果】
本発明においては、対象物の形状と周囲環境の明るさ（輝度）という異なる特徴空間のマッチングパターンを個別に持ち、それぞれについて標準マッチングパターンと検査対象パターンとの一致度を検出するので、パターンマッチング精度を向上させることが出来る、という効果がある。
【０００７】
【発明の実施の形態】
図１は、本発明におけるパターンマッチング処理の構成を示すブロック図である。図１において、画像入力手段１は、例えば対象物（先行車両等）を撮像するカメラである。輪郭検出手段２は、入力した画像の輪郭（エッジ）を抽出する。構造マッチングパターン生成手段３は、対象物に対応する複数の教示パターンにおける輪郭位置の分散を統計処理することにより、所定の許容範囲を有する構造マッチングパターンを作成する（詳細後述）。光学マッチングパターン生成手段４は、対象物に対応する複数の教示パターンにおける所定領域の輝度値の分散を統計処理することにより、所定の許容範囲を有する光学マッチングパターンを作成する（詳細後述）。
構造パターン一致判定手段５は、輪郭検出手段２で検出した輪郭の一定量以上が構造マッチングパターンの許容範囲に入っているか否かを判定する。また、光学パターン一致判定手段６は、画像入力手段１から入力した画像の輝度について、所定領域における全画素中の一定数以上の輝度値が光学マッチングパターンの許容範囲に入っているか否かを判定する。総合判定手段７は、構造パターン一致判定手段５と光学パターン一致判定手段６との判定結果から撮像した画像と対象物との一致度を判定する。
なお、図１において、教示パターンは構造と光学とに分けられたものがそれぞれのマッチングパターン生成手段に与えられるように示しているが、教示パターンが画像として与えられた場合には、図１に破線で示すように、輪郭検出手段２で、その入力した画像の輪郭を検出したものを構造の教示パターンとし、上記の入力した画像の輝度を光学の教示パターンとすればよい。
【０００８】
図２は、上記のパターンマッチング処理を実現する画像処理装置の一実施例の構成を示すブロック図である。図２において、１１は全体の演算を行うマイクロコンピュータ、１２は対象物を撮像するカメラ、１３は撮像した画像や教示パターン等を記憶する画像メモリ、１４は学習演算用メモリ（詳細後述）、１５は学習パターン（構造マッチングパターンおよび光学マッチングパターンに相当）を記憶する学習パターン用メモリ、１６はマイクロコンピュータ１１を操作するためのマウス、１７は演算結果等を表示する表示装置（液晶ディスプレイやＣＲＴ）、１８は本発明の画像処理装置を先行車両検出装置に適用した場合の警報装置（ブザー、音声警報装置、発光装置等）である。
なお、図１の輪郭検出手段２、構造マッチングパターン生成手段３、光学マッチングパターン生成手段４、構造パターン一致判定手段５、光学パターン一致判定手段６、総合判定手段７の部分は、図２のマイクロコンピュータ１１、画像メモリ１３、学習演算用のメモリ１４、学習パターン用メモリ１５の部分に相当する。また、図１の画像入力手段１は図２のカメラ１２に相当する。
【０００９】
図３は、本発明における学習の原理を説明するための図である。図３に示すように、３種の教示パターン♯１、♯２、♯３（それぞれ車両の異なった形状に相当する）が与えられた場合に、従来は形状と輝度の両方が共通する普遍的な領域を標準マッチングパターンとして検出するので、図３の例では先行車両のタイヤ部分のみが標準マッチングパターンとなっている。
それに対して本発明においては、形状と輝度を分離して別々に標準マッチングパターンを作成するので、構造マッチングパターンとしては図示のエッジ部分が検出され、光学マッチングパターンとしては図示のタイヤ部分が検出される。そのため、従来よりも多くの特徴を標準マッチングパターンとすることができるで、パターンマッチング処理の精度を向上させることが出来る。
【００１０】
以下、構造マッチングパターンと光学マッチングパターンの生成について詳細に説明する。
図４は、構造マッチングパターン生成の原理を説明するための図である。
構造マッチングパターンにおいては、例えば教示パターンとして♯１と♯２の２種（共にエッジで表示）が与えられた場合に、まず各教示パターンの車幅方向における輪郭分布を求める。また、図示していないが縦方向の輪郭分布も求める。教示パターンの輪郭位置は各教示パターンによって多少異なるので、輪郭分布は図４の構造マッチングパターンに示すように、細い線状ではなく、或る許容範囲を持った幅のある形状となる。つまり、細い線状で示される教示パターンを複数個用いて、その存在し得る範囲を統計的に求めることにより、輪郭の存在する位置に所定の許容範囲を有し、構造パターンにあいまいさを有する構造マッチングパターンを得ることが出来る。
上記のごとき構造マッチングパターンを用いてマッチング処理を行えば、図４の「マッチング処理」に表示したように、多少形状の異なる部分を有する画像であっても、構造マッチングパターンの許容範囲内に入るので、全体として「先行車両である」と判断することが出来る。
【００１１】
図５は、光学マッチングパターン生成の原理を説明するための図である。
光学マッチングパターンにおいては、教示パターンにおける各領域の輝度分布を求めることにより、輝度値とマッチング度合いは図に示すように多少の幅を持って示される。つまり対象とする領域の輝度値の取り得る範囲を含んだ所定の許容範囲を有し、光学パターンにあいまいさを有する光学マッチングパターンを得ることが出来る。
【００１２】
以下、本発明における演算処理についてフローチャートを用いて説明する。
図６は、図２における全体の演算処理を示すフローチャートである。
図６において、まずステップＳ１では、カメラ１２から画像を入力する。そしてステップＳ２では画像のエッジ（輪郭）を検出する。
ステップＳ３は、直ちにマッチング処理を行うか、標準マッチングパターンを更新するのかを選択するステップであり、マウス１６の操作によって何れかを選択する。
【００１３】
直ちにマッチング処理を行うルート▲１▼を選択した場合には、ステップＳ４で、図２の学習パターン用メモリ１５に記憶されている学習パターン（学習後の標準マッチングパターン、つまり得られた構造マッチングパターンと光学マッチングパターンとを意味する）を入力する。
ステップＳ５では、通常のパターンマッチング処理と同様に、入力画像が学習パターンと重なるように、入力画像の位置、角度等を画像変換する。
ステップＳ６では、入力画像と学習パターンが一致をするか否かのパターンマッチングを、構造マッチングパターンと光学マッチングパターンの両方について行う。
ステップＳ７では、ステップＳ６のパターンマッチングの結果、ＹＥＳの場合、つまり入力画像が学習パターンと一致したと判断した場合は、ステップＳ８で警報（例えば「先行車両が存在する」）を出力する。ステップＳ７でＮＯの場合は、入力画像が学習パターンと一致しなかったとして処理を終了する。
【００１４】
一方、ステップＳ３で、標準マッチングパターンを更新するルート▲２▼を選択した場合には、ステップＳ９で、図２の学習演算用メモリ１４から学習演算データを入力する。この学習演算データとは、前記図４に示した輪郭分布および図５に示した輝度分布を意味する。
ステップＳ１０では、上記の学習演算データ（輪郭分布）を用いて構造マッチングパターンを更新し、同様にステップＳ１１では上記の学習演算データ（輝度分布）を用いて光学マッチングパターンを更新する。これらの更新処理の詳細については後述する。
ステップＳ１２では、新たな学習演算データを更新する。そしてステップＳ１３では更新した構造マッチングパターンと光学マッチングパターン、つまり新たな学習パターンを出力し、前記のマッチング処理を行うルート▲１▼へ移行する。
【００１５】
次に、図６のステップＳ１０、Ｓ１１に示した構造マッチングパターンと光学マッチングパターンの更新処理について詳細に説明する。
図７は、構造マッチングパターン更新処理の内容を説明するための図であり、縦構造パターンの分を示す。
図７に示すように、複数の教示データ♯１〜♯５のそれぞれについて、横方向のラインごとにエッジの輪郭分布を算出する。そして輪郭分布が一定値以上の領域を、対象物の輪郭が存在し得る領域として縦構造パターンを生成する。
同様に、縦方向のラインごとにエッジの輪郭分布を算出するにより、横構造パターンを生成し、両者を合成して構造マッチングパターンとする。
【００１６】
図８は、上記の処理を示すフローチャートである。図８において、ステップＳ１４〜ステップＳ１９は上記の縦構造パターン生成処理の部分であり、ステップＳ２０〜ステップＳ２５は上記の横構造パターン生成処理の部分である。また、ステップＳ２６は両者の合成処理の部分である。なお、ステップＳ１４とステップＳ２０から判るように、縦エッジを検出するために縦方向に並んだ横方向に伸びるラインを４４０本、横エッジを検出するために横方向に並んだ縦方向に伸びるラインを５１２本設定し、それぞれについて輪郭分布を算出する場合を例示している。
【００１７】
次に、図９は、光学マッチングパターン更新処理の内容を説明するための図である。
図９に示すように、複数の教示データ♯１〜♯３のそれぞれについて、各画素ごとの輝度値分布を算出する。そして輝度値分布が一定値以上の領域を、対象物が取り得る輝度値として光学マッチングパターンを作成する。
【００１８】
図１０は、上記の処理を示すフローチャートである。なお、ステップＳ２７に示すように、この場合にはＸ方向に５１２、Ｙ方向に４４０に区切った５１２×４４０個の領域（各画素に相当）について、それぞれの輝度値を算出している。
【００１９】
次に、図６のステップＳ６に示したパターンマッチング処理について詳細に説明する。
図１１は、パターンマッチング処理の内容を説明するための図である。
図１１に示すように、本発明においては、構造マッチング処理と光学マッチング処理との両方を行い、さらに両者の結果を勘案して最終的な一致判定を行っている。
まず、構造マッチング処理では、入力画像（検査対象の画像）の輪郭の一定量以上が構造マッチングパターンの領域に入っていれば、検査対象が構造マッチングパターンと一致している（例えば「先行車両である」）と判定する。
また、光学マッチング処理では、入力画像（検査対象の画像）における所定領域の全画素中の一定数以上の輝度値が光学マッチングパターンの領域に入っていれば、検査対象が光学マッチングパターンと一致している（例えば「先行車両である」）と判定する。
さらに、上記の構造マッチング処理と光学マッチング処理の結果を総合して最終的な一致度の判定を行う（図１の総合判定手段１）。この方法としては、
（１）何れか一方でも一致判定の場合に一致したものとする。
（２）両方とも一致判定の場合に一致したものとする。
（３）条件に応じてそれぞれに重み付けを行なって判定する。例えば、形状が判別しにくく構造マッチング処理が困難な夜間等は光学マッチング処理を重くし、逆の場合は構造マッチング処理を重くする、等の方法がある。
図１１に示した例では、判定対象（検査対象の画像）♯１と♯２は、形状や輝度値に多少の差異があるが、共にマッチングパターンの許容範囲に入っているので、両者共標準マッチングパターンに一致し、検出対象物（先行車両）であると判定される。
【００２０】
上記のように、本実施例においては次にごとき効果がある。
１．対象物の形状と周囲環境の明るさ（輝度）という異なる特徴空間のマッチングパターンを個別に持つため、パターンマッチング精度が向上し、かつマッチングパターンの学習演算負荷も少なくなる。
【００２１】
２．構造マッチングパターンに輪郭位置の許容範囲を持たせ、光学マッチングパターンに輝度の許容範囲を持たせ、マッチングパターンにあいまいさを持たせることにより、同一検出対象における構造的違い（例えば車を検出対象とした場合、車種による形状の違い）や輝度値の違い（例えば昼と夜の輝度値の違い）に良く対応し、精度良くパターンマッチング処理を行うことができる。
【００２２】
３．構造マッチングパターンはエッジ位置、光学マッチングパターンは輝度値の分散など統計値を演算することにより、自動的にマッチングパターンを生成するため、演算負荷が少なく、リアルタイムな学習においても高価なＣＰＵ環境を要求しない。前記従来の方法では、学習が複雑な演算によって行われるので、高いＣＰＵ環境が要求され、車の内でリアルタイムに学習するための構成には適さないという問題があったが、本発明おいてはパターンマッチング学習演算負荷が少なくなる。
【図面の簡単な説明】
【図１】本発明におけるパターンマッチング処理の構成を示すブロック図。
【図２】本発明のパターンマッチング処理を実現する画像処理装置の一実施例の構成を示すブロック図。
【図３】本発明における学習の原理を説明するための図。
【図４】構造マッチングパターン生成の原理を説明するための図。
【図５】光学マッチングパターン生成の原理を説明するための図。
【図６】図２における演算処理を示すフローチャート。
【図７】構造マッチングパターン更新処理の内容を説明するための図。
【図８】構造マッチングパターン更新処理を示すフローチャート。
【図９】光学マッチングパターン更新処理の内容を説明するための図
【図１０】光学マッチングパターン更新処理を示すフローチャート。
【図１１】パターンマッチング処理の内容を説明するための図。
【符号の説明】
１…画像入力手段　　　　　　　　　　２…輪郭検出手段
３…構造マッチングパターン生成手段　４…光学マッチングパターン生成手段
５…構造パターン一致判定手段　　　　６…光学パターン一致判定手段
７…総合判定手段　　　　　　　　　１１…マイクロコンピュータ
１２…カメラ　　　　　　　　　　　　１３…画像メモリ
１４…学習演算用メモリ　　　　　　　１５…学習パターン用メモリ
１６…マウス　　　　　　　　　　　　１７…表示装置
１８…警報装置

Claims

予め定めた標準マッチングパターンと検査対象パターンとの差に基づいて標準マッチングパターンと検査対象パターンとの一致度を検出するパターンマッチング処理を行う画像処理装置であって、
上記標準マッチングパターンとして、形状の特徴を示す構造マッチングパターンと明るさの特徴を示す光学マッチングパターンの２つを設け、検査対象パターンとして、形状の特徴を示す構造パターンと明るさの特徴を示す光学パターンの２つを検出し、それぞれについて標準マッチングパターンと検査対象パターンとの一致度を検出する手段を備えたことを特徴とする画像処理装置。
上記構造マッチングパターンは、対象物の輪郭をパターンとし、その輪郭の存在する位置に所定の許容範囲を有し、構造パターンにあいまいさを設けたことを特徴とする請求項１に記載の画像処理装置。
上記光学マッチングパターンは、対象物の輝度値をパターンとし、その輝度値に所定の許容範囲を有し、光学パターンにあいまいさを設けたことを特徴とする請求項１に記載の画像処理装置。
上記構造マッチングパターンを生成する手段として、複数の教示パターンにおける輪郭位置の分散を統計処理することにより、上記構造マッチングパターンを得る手段を設けたことを特徴とする請求項１または請求項２に記載の画像処理装置。
上記光学マッチングパターンを生成する手段として、複数の教示パターンにおける所定領域の輝度値の分散を統計処理することにより、上記光学マッチングパターンを得る手段を設けたことを特徴とする請求項１または請求項３に記載の画像処理装置。
対象物の画像を入力する画像入力手段と、
入力した画像の輪郭を検出する輪郭検出手段と、
対象物に対応する複数の教示パターンにおける輪郭位置の分散を統計処理することにより、所定の許容範囲を有する構造マッチングパターンを得る構造マッチングパターン生成手段と、
対象物に対応する複数の教示パターンにおける所定領域の輝度値の分散を統計処理することにより、所定の許容範囲を有する光学マッチングパターンを得る光学マッチングパターン生成手段と、
上記輪郭検出手段で検出した輪郭の一定量以上が上記構造マッチングパターンの許容範囲に入っているか否かを判定する構造パターン一致判定手段と、
上記画像入力手段で入力した画像の輝度について、所定領域における全画素中の一定数以上の輝度値が光学マッチングパターンの許容範囲に入っているか否かを判定する光学パターン一致判定手段と、
上記構造パターン一致判定手段と上記光学パターン一致判定手段との判定結果から撮像した画像と対象物との一致度を判定する総合判定手段と、
を備えたことを特徴とする画像処理装置。