JP2013178732A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像に含まれる特定のオブジェクトの検出において、処理負荷及び処理時間を削減する。
【解決手段】画像処理装置は、入力画像に含まれる画素のうち、検出対象のオブジェクトの比較対象元となる比較対象元画像に含まれる所定色の特徴量に基づいて決められた色域条件を満たす画素を抽出する画素抽出部と、色域条件を満たす画素が抽出された入力画像を二値化する二値化部と、二値化された入力画像のうち、特定の画素値の画素が連続する連続領域を単一のオブジェクトとして、一または複数のオブジェクトを特定し、特定された一または複数のオブジェクトそれぞれの特徴量を求める特徴量算出部と、オブジェクトそれぞれの特徴量に合わせて、比較対象元画像を変形したリファレンスの特徴量と、オブジェクトそれぞれの特徴量とに基づいて、オブジェクトとリファレンスとのマッチングを行なうマッチング部と、を備えた。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、画像に含まれる特定のオブジェクトを検出する様々な技術がある。一つの様態として、基準パターンである元画像と合致するオブジェクトを検出する場合には、１画素ずつ探索していくことにより、該元画像に類似する色や形状を有するオブジェクトを検出する。また、特許文献１（特開平７−３２００００号公報）では、１画素ずつ探索して画像に含まれる文字を認識する場合に、二値化するときの閾値を変更していくことにより、文字の認識を好適にする技術が開示されている。

特開平７−３２００００号公報

しかしながら、従来技術では、画像に含まれる特定のオブジェクトの検出において、処理負荷及び処理時間が増大するという問題がある。例えば、従来技術では、画像を１画素ずつ探索することでオブジェクトを検出するため、画素数が多くなるにつれ、オブジェクトの検出において処理負荷及び処理時間が増大することになる。また、オブジェクト検出のための処理時間が増大してしまうことは、例えば、車両において道路標識等のオブジェクトを検出する等、出来るだけリアルタイムにオブジェクトを検出したい場合に好ましくない。

本発明は、上記に鑑みてなされたものであって、画像に含まれる特定のオブジェクトの検出において、処理負荷及び処理時間を削減することが可能である画像処理装置及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、入力画像に含まれる画素のうち、検出対象のオブジェクトの比較対象元となる比較対象元画像に含まれる所定色の特徴量に基づいて決められた色域条件を満たす画素を抽出する画素抽出部と、前記色域条件を満たす画素が抽出された前記入力画像を二値化する二値化部と、二値化された入力画像のうち、特定の画素値の画素が連続する連続領域を単一のオブジェクトとして、一または複数のオブジェクトを特定し、特定された一または複数のオブジェクトそれぞれの特徴量を求める特徴量算出部と、前記オブジェクトそれぞれの前記特徴量に合わせて、前記比較対象元画像を変形したリファレンスの前記特徴量と、前記オブジェクトそれぞれの前記特徴量とに基づいて、前記オブジェクトと前記リファレンスとのマッチングを行なうことにより、前記比較対象元画像に対応するオブジェクトを検出し、前記検出したマッチング結果を出力するマッチング部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、入力画像に含まれる画素のうち、検出対象のオブジェクトの比較対象元となる比較対象元画像に含まれる所定色の特徴量に基づいて決められた色域条件を満たす画素を抽出する画素抽出部と、前記色域条件を満たす画素が抽出された前記入力画像を二値化する二値化部と、二値化された入力画像のうち、特定の画素値の画素が連続する連続領域を単一のオブジェクトとして、一または複数のオブジェクトを特定し、特定された一または複数のオブジェクトそれぞれの特徴量を求める特徴量算出部と、前記一または複数のオブジェクトの中から、前記特徴量に基づいてオブジェクトを選別する選別部と、選別されたオブジェクトに対して、探索範囲を決定し、決定された探索範囲内に、比較元対象画像の部分画像である部分リファレンス画像と一致する前記オブジェクトの一部が存在するか否かを判定する部分マッチング処理を繰り返し実行することにより、前記比較対象元画像に対応するオブジェクトを検出し、前記検出したマッチング結果を出力するマッチング部と、を備えたことを特徴とする。

また、本発明に係る画像処理方法は、入力画像に含まれる画素のうち、検出対象のオブジェクトの比較対象元となる比較対象元画像に含まれる所定色の特徴量に基づいて決められた色域条件を満たす画素を抽出するステップと、前記色域条件を満たす画素が抽出された前記入力画像を二値化するステップと、二値化された入力画像のうち、特定の画素値の画素が連続する連続領域を単一のオブジェクトとして、一または複数のオブジェクトを特定し、特定された一または複数のオブジェクトそれぞれの特徴量を求めるステップと、前記オブジェクトそれぞれの前記特徴量に合わせて、前記比較対象元画像を変形したリファレンスの前記特徴量と、前記オブジェクトそれぞれの前記特徴量とに基づいて、前記オブジェクトと前記リファレンスとのマッチングを行なうことにより、前記比較対象元画像に対応するオブジェクトを検出し、前記検出したマッチング結果を出力するステップとを含むことを特徴とする。

本発明の一つの様態によれば、画像に含まれる特定のオブジェクトの検出において、処理負荷及び処理時間を削減することができるという効果を奏する。

図１は、実施の形態１に係る画像処理装置の構成例を示す図である。 図２は、入力画像の例を示すイメージ図である。 図３は、画素抽出時の入力画像の例を示すイメージ図である。 図４は、二値化時の入力画像の例を示すイメージ図である。 図５は、各オブジェクトの特徴量の例を示す図である。 図６は、オブジェクトを選別する例を示すイメージ図である。 図７は、リファレンス画像を生成する例を示すイメージ図である。 図８は、マッチング処理時の例を示すイメージ図である。 図９は、各オブジェクトの適合率の例を示す図である。 図１０は、マッチング結果の例を示すイメージ図である。 図１１は、実施の形態１に係るオブジェクト検出処理の流れの例を示すフローチャートである。 図１２は、実施の形態２に係る画像処理装置の構成例を示す図である。 図１３Ａは、変換前の輝度ヒストグラムの例を示す図である。 図１３Ｂは、変換後の輝度ヒストグラムの例を示す図である。 図１４は、実施の形態２に係るオブジェクト検出処理の流れの例を示すフローチャートである。 図１５Ａは、入力画像の右側の領域を除外する例を示す図である。 図１５Ｂは、入力画像の右側及び下側の領域を除外する例を示す図である。 図１６は、入力画像の一部領域を除外するときのオブジェクト検出処理の流れの例を示すフローチャートである。 図１７は、リファレンス画像に合わせてオブジェクトを変形する例を示すイメージ図である。 図１８は、リファレンス画像に合わせてオブジェクトを変形するときのオブジェクト検出処理の流れの例を示すフローチャートである。 図１９は、実施の形態４の画像処理装置の機能的構成を示すブロック図である。 図２０は、実施の形態４において入力画像に対して画素抽出処理からオブジェクトの特徴量算出処理までを行った状態を示す説明図である。 図２１は、オブジェクトごとのラベル、二値化された入力画像上におけるオブジェクトの位置座標、特徴量を示す説明図である。 図２２は、オブジェクトの選別結果の一例を示す図である。 図２３は、部分リファレンス画像の一例を示す図である。 図２４は、コーナー（２）、（３）の各探索範囲の一例を示す図である。 図２５は、オブジェクトのコーナー（１）が探索された結果の一例を示す図である。 図２６は、コーナー（１）、（２）、（３）の探索結果を示す図である。 図２７は、コーナー（１）、（２）、（３）のマッチング処理の結果としての位置座標の一例を示す図である。 図２８は、逆三角形のオブジェクトの検出結果の一例を示す図である。 図２９は、実施の形態４に係るオブジェクト検出処理の流れの例を示すフローチャートである。 図３０は、実施の形態５の画像処理装置の機能的構成を示すブロック図である。 図３１は、実施の形態５に係るオブジェクト検出処理の流れの例を示すフローチャートである。

以下に添付図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることができる。

（実施の形態１）
［実施の形態１に係る画像処理装置の構成］
図１を用いて、実施の形態１に係る画像処理装置の構成を説明する。図１は、実施の形態１に係る画像処理装置の構成例を示す図である。例えば、図１に示すように、画像処理装置１００は、画素抽出部１０１と、二値化部１０２と、特徴量算出部１０３と、選別部１０４と、リファレンス生成部１０５と、マッチング部１０６とを有し、画像に含まれる特定のオブジェクトを検出する。

画素抽出部１０１は、入力画像の画素のうち、所定の色域条件を満たす画素を抽出する。例えば、画素抽出部１０１は、画像処理装置１００に入力された入力画像において、検出対象のオブジェクトの比較対象元となる比較対象元画像の色に応じた色域条件を満たす画素を抽出する。かかる色域条件とは、比較対象元画像に含まれる所定色の画素値に基づいて決められた条件である。

入力をＲＧＢ形式、ビット精度を８ビットとしたときの、赤色系、青色系、黄色系及び緑色系それぞれの色域条件の例を挙げる。なお、各色系の条件はＡＮＤ条件である。
赤色系の色域条件
Ｒデータ＞１２８
Ｒデータ＞Ｇデータ×３
Ｒデータ＞Ｂデータ×３ ・・・（条件１）
青色系の色域条件
Ｂデータ＞１２８
Ｂデータ＞Ｇデータ
Ｂデータ＞Ｒデータ×３ ・・・（条件２）
黄色系の色域条件
Ｇデータ＞１２８
Ｒデータ＞１２８
Ｂデータ＜６４ ・・・（条件３）
緑色系の色域条件
Ｇデータ＞１２８
Ｇデータ＞Ｒデータ×３
Ｇデータ＞Ｂデータ ・・・（条件４）

例えば、（条件１）は、Ｒ（レッド）データの画素値が１２８より大きく、且つ、Ｒデータの画素値がＧ（グリーン）データの画素値の３倍より大きく、且つ、Ｒデータの画素値がＢ（ブルー）データの画素値の３倍より大きいという条件を意味している。

ここで、図２及び図３を用いて、入力画像から色域条件を満たす画素を抽出する例を説明する。図２は、入力画像の例を示すイメージ図である。また、図３は、画素抽出時の入力画像の例を示すイメージ図である。例えば、図２に示すように、画像処理装置１００に入力される入力画像には、色、形状及び大きさの異なる複数のオブジェクトが含まれている。詳細には、図２に示した入力画像には、赤色系であるオブジェクトが６つ、緑色系であるオブジェクトが１つ、青色系であるオブジェクトが１つ含まれている。図２に示した入力画像の画素のうち、赤色系の画素を抽出する場合を例に挙げると、画素抽出部１０１は、入力画像を１画素ずつ探索していき、上記（条件１）の赤色系の色域条件を満たす画素を抽出する。この結果、画素抽出部１０１は、図３に示す赤色系の６つのオブジェクトに相当する画素を抽出する。

二値化部１０２は、色域条件を満たす画素が抽出された入力画像を二値化する。例えば、二値化部１０２は、画素抽出部１０１によって抽出された特定色系の画素のみを含む入力画像を二値化する。特徴量算出部１０３は、二値化された入力画像の画素の中から、特定の画素値の画素が連続する連続領域（連結領域）を、単一のオブジェクトとして特定し、特定したオブジェクトごとに互いに異なるラベルを付与するラベリング処理を行う。そして、特徴量算出部１０３は、ラベルごとの各オブジェクトの特徴量を求める。

例えば、特徴量算出部１０３は、二値化部１０２によって二値化された画素のうち特定の画素値である黒の画素が連続する連続領域を単一のオブジェクトとして特定して、当該オブジェクトごとに番号のラベルを付与する。そして、特徴量算出部１０３は、ラベルが付与された各オブジェクトについて、入力画像におけるオブジェクトの位置、オブジェクトの幅、オブジェクトの高さ又はオブジェクトの画素数等である特徴量を求める。

ここで、図４及び図５を用いて、色域条件を満たす画素が抽出された入力画像を二値化し、画素の連続領域を１つのオブジェクトとして、各オブジェクトの特徴量を求める例を説明する。図４は、二値化時の入力画像の例を示すイメージ図である。また、図５は、各オブジェクトの特徴量の例を示す図である。

例えば、図４に示すように、二値化部１０２は、画素抽出部１０１によって抽出された赤色系の画素のみを含む入力画像を二値化する。また、特徴量算出部１０３は、二値化部１０２によって二値化された画素から、互いに隣接或いは近接した画素同士で、黒の画素が連続する連続領域を単一のオブジェクトとして特定して、当該オブジェクトごとに番号のラベルを付与する。

図４では、赤色系の画素を二値化により黒色にして、黒の部分が縦方向及び横方向に連続した画素の一塊を連続領域としてそれぞれに番号のラベルを付与することにより、赤色系のオブジェクト１〜オブジェクト６を決定している。また、図５に示すように、特徴量算出部１０３は、オブジェクト１〜オブジェクト６それぞれについて、入力画像におけるオブジェクトの水平位置や垂直位置、オブジェクトの幅、オブジェクトの高さ又はオブジェクトの画素数等の特徴量を求める。特徴量の例を挙げると、オブジェクト１の特徴量は、水平位置「１５」、垂直位置「５７」、幅「４３」、高さ「４２」及び画素数「９１５」である。また、オブジェクト５の特徴量は、水平位置「６９」、垂直位置「８３」、幅「６１」、高さ「７４」及び画素数「１５４」である。

選別部１０４は、特徴量が所定条件を満たすオブジェクトを選別する。例えば、選別部１０４は、微小な画素数であるオブジェクトはノイズである可能性があるため、特徴量算出部１０３によって求められた各オブジェクトを構成する画素の画素数が所定値以上であるオブジェクトを選別することにより、ノイズであるオブジェクトを検出対象から除外する。

ここで、図６を用いて、画素数が所定値以上であるオブジェクトを選別する例を説明する。図６は、オブジェクトを選別する例を示すイメージ図である。例えば、図６に示すように、選別部１０４は、特徴量算出部１０３によって求められた各オブジェクトの画素数（図５参照）が「２５６」以上であるオブジェクト「オブジェクト１〜オブジェクト４」を選別する。これにより、ノイズの可能性があるオブジェクト「オブジェクト５〜オブジェクト６」は、検出対象から除外される。なお、画素数の所定値は、「２５６」に限られるものではない。

また、オブジェクトを選別するための特徴量の所定条件も、オブジェクトの画素数に限定されるものではない。例えば、オブジェクトを選別するための特徴量の所定条件として、オブジェクトの幅や高さを採用するように選別部１０４を構成することができる。ここで、幅、高さは画素数で示されるものとする。

例えば、選別部１０４は、オブジェクトの幅＞８画素、オブジェクトの高さ＞８画素を、選別のための特徴量の所定条件として設定することができる。

リファレンス生成部１０５は、選別されたオブジェクトそれぞれの特徴量に合わせて比較対象元画像を変形したリファレンス画像を生成する。例えば、リファレンス生成部１０５は、選別部１０４によって選別されたオブジェクトそれぞれの幅及び高さに合わせて、比較対象元画像を変形し、変形した矩形領域をリファレンス画像として生成する。また、生成されるリファレンス画像は、二値化されたデータであるものとする。

ここで、図７を用いて、リファレンス画像を生成する例を説明する。図７は、リファレンス画像を生成する例を示すイメージ図である。なお、図７に示すオブジェクトは、選別部１０４によって選別されたオブジェクト１である。例えば、図７に示すように、リファレンス生成部１０５は、選別部１０４によって選別されたオブジェクト１の幅「４３」及び高さ「４２」に合わせて、比較対象元画像を変形する。そして、リファレンス生成部１０５は、オブジェクト１に合わせて変形した比較対象元画像の矩形領域をリファレンス画像とする。なお、リファレンス生成部１０５は、オブジェクト２〜オブジェクト４それぞれについても同様に、幅及び高さに合わせて比較対象元画像を変形してリファレンス画像を生成する。

マッチング部１０６は、リファレンス画像の特徴量と、選別されたオブジェクトそれぞれの特徴量とに基づいて、オブジェクトとリファレンス画像とのマッチングを行なう。例えば、マッチング部１０６は、リファレンス生成部１０５によって生成されたリファレンス画像に含まれる画素と、該リファレンス画像の画素位置に対応した、選別部１０４によって選別された各オブジェクトに含まれる画素とを比較する。そして、マッチング部１０６は、リファレンス画像の画素位置と各オブジェクトの画素位置とが一致するか否かにより適合率を算出する。これにより、マッチング部１０６は、適合率が所定閾値以上となったオブジェクトを検出対象のオブジェクト、すなわち比較対象元画像に対応するオブジェクトとして検出し、マッチング結果を出力する。

ここで、図８〜図１０を用いて、マッチング処理の例を説明する。図８は、マッチング処理時の例を示すイメージ図である。図９は、各オブジェクトの適合率の例を示す図である。図１０は、マッチング結果の例を示すイメージ図である。

例えば、図８に示すように、マッチング部１０６は、各オブジェクト「オブジェクト１〜オブジェクト４」に合わせて、リファレンス生成部１０５によって生成されたリファレンス画像と、選別部１０４によって選別された各オブジェクトとについて、同一位置の画素が合致するか否かにより適合率を算出する。マッチング部１０６によって算出される適合率は、図９に示すように、オブジェクト１の適合率「９７」、オブジェクト２の適合率「７２」、オブジェクト３の適合率「７９」、オブジェクト４の適合率「７７」となる。これらの結果、図１０に示すように、マッチング部１０６は、算出した適合率が所定閾値、例えば９０パーセント以上であるオブジェクト「オブジェクト１」をマッチング結果として検出する。

［実施の形態１に係るオブジェクト検出処理フロー］
次に、図１１を用いて、実施の形態１に係るオブジェクト検出処理の流れについて説明する。図１１は、実施の形態１に係るオブジェクト検出処理の流れの例を示すフローチャートである。

例えば、図１１に示すように、画素抽出部１０１は、画像処理装置１００に画像が入力された場合に（ステップＳ１０１：Ｙｅｓ）、入力画像に含まれる画素から、赤色系、青色系、黄色系又は緑色系等の所定の色域条件を満たす画素を抽出する（ステップＳ１０２）。所定の色域条件は、比較対象元画像の色に応じて異なる。一方、画素抽出部１０１は、画像処理装置１００に画像が入力されない場合に（ステップＳ１０１：Ｎｏ）、入力画像の入力待ちの状態となる。

また、二値化部１０２は、画素抽出部１０１によって抽出された特定色系の画素のみを含む入力画像を二値化する（ステップＳ１０３）。また、特徴量算出部１０３は、二値化部１０２によって二値化された入力画像に含まれる画素の縦方向及び横方向に連続した一塊を連続領域として、それぞれに番号のラベルを付与することにより該連続領域それぞれを１つのオブジェクトとする（ステップＳ１０４）。続いて、特徴量算出部１０３は、各オブジェクトの入力画像における水平位置や垂直位置、オブジェクトの幅、オブジェクトの高さ又はオブジェクトの画素数等である特徴量を求める（ステップＳ１０５）。

また、選別部１０４は、各オブジェクトのうち、特徴量算出部１０３によって求められた画素数が所定値以上であるオブジェクトを選別することにより、ノイズの可能性があるオブジェクトを検出対象から除外する（ステップＳ１０６）。

また、リファレンス生成部１０５は、選別部１０４によって選別されたオブジェクトそれぞれの幅及び高さに合わせて比較対象元画像を変形し、変形した比較対象元画像の矩形領域をリファレンス画像として生成する（ステップＳ１０７）。また、マッチング部１０６は、リファレンス生成部１０５によって生成されたリファレンス画像に含まれる画素と、該リファレンス画像の画素位置に対応した、選別部１０４によって選別された各オブジェクトに含まれる画素とを比較して、一致するか否かにより適合率を算出し、適合率が所定閾値以上であるオブジェクトを検出してマッチング結果を出力する（ステップＳ１０８）。

［実施の形態１による効果］
上述したように、画像処理装置１００は、入力画像に含まれる特定のオブジェクトを検出する場合に、元画像の色に応じた色域条件を満たす画素を抽出して二値化し、二値化した画素の連続領域を１つのオブジェクトとして各オブジェクトの特徴量を求める。また、画像処理装置１００は、特徴量が所定条件を満たすオブジェクトを選別し、選別したオブジェクトの特徴量に合わせて元画像を変形することでリファレンス画像を生成し、生成したリファレンス画像と選別したオブジェクトとの特徴量をもとにマッチングを行なう。これらの結果、画像処理装置１００は、画像に含まれる特定のオブジェクトの検出において、処理負荷及び処理時間を削減することができる。換言すると、画像処理装置１００は、画像に含まれるオブジェクトの検出において、ある程度の絞込みを行なったうえでリファレンス画像とオブジェクトとのマッチングを行なうので、入力画像を１画素ずつ探索することでオブジェクトを検出する従来技術と比較して、処理負荷及び処理時間を削減することができる。

（実施の形態２）
上記実施の形態１では、入力画像に含まれる画素の連続領域を１つのオブジェクトとして各オブジェクトの特徴量を求める場合を説明したが、画素値が偏った分布である入力画像に対して画素値を変換した後にオブジェクトの特徴量を求めても良い。そこで、実施の形態２では、画素値が偏った分布である入力画像に対して画素値を変換した後にオブジェクトの特徴量を求める場合を説明する。

[実施の形態２に係る画像処理装置の構成]
図１２を用いて、実施の形態２に係る画像処理装置の構成を説明する。図１２は、実施の形態２に係る画像処理装置の構成例を示す図である。なお、図１２では、実施の形態１に係る画像処理装置１００と同様の機能を有する構成については同一の符号を付し、その詳細な説明を省略する場合がある。

例えば、図１２に示すように、画像処理装置２００は、画素抽出部１０１と、二値化部２０２と、特徴量算出部１０３と、選別部１０４と、リファレンス生成部１０５と、マッチング部１０６とを有し、画像に含まれる特定のオブジェクトを検出する。

二値化部２０２は、入力画像の画素値が所定範囲に偏った分布であるか否かを判定する。ここで、入力画像の画素値が所定範囲に偏った分布であるか否かの判定は、二値化部２０２が、入力画像を構成する全ての画素の画素値が、画素値の取り得る値の全範囲より狭い一定の範囲内に限定されているか否かを判定することにより行なわれる。そして、二値化部２０２は、入力画像の画素値が所定範囲に偏った分布である場合に、入力画像の画素値分布を現在の偏った画素値分布よりも広い範囲に変換し、画素値分布を変換した入力画像を二値化する。なお、二値化部２０２による二値化は、画素抽出部１０１によって抽出された画素のみを含む入力画像に対して行なわれる。これらの後、特徴量算出部１０３は、二値化部２０２によって二値化された入力画像に含まれる画素のうち上記連続領域を１つのオブジェクトとして、各オブジェクトの特徴量を求める。なお、実施の形態２では、画素値の一例として輝度を挙げて説明する。

例えば、二値化部２０２は、画素抽出部１０１によって抽出された特定色系の画素のみを含む入力画像の輝度値が所定範囲に偏った分布である場合に、輝度分布を広い範囲に変換する。すなわち、輝度値が所定範囲に偏った分布になっている入力画像は全体的に明るい部分又は暗い部分が多くなっているため、各オブジェクトのコントラストや明るさ等を補正して正規化することにより、明るい部分や暗い部分に存在するオブジェクトを明瞭にする。これにより、マッチング部１０６によって算出される適合率が低下することを抑制することができる。そして、二値化部２０２は、輝度分布を変換した入力画像を二値化する。

また、例えば、特徴量算出部１０３は、二値化部２０２によって二値化された入力画像に含まれる画素から、互いに隣接或いは近接した画素同士を連続領域として、連続領域を１つのオブジェクトとする。そして、特徴量算出部１０３は、各オブジェクトについて、入力画像におけるオブジェクトの位置、オブジェクトの幅、オブジェクトの高さ又はオブジェクトの画素数等である特徴量を求める。

ここで、図１３Ａ及び図１３Ｂを用いて、入力画像の輝度分布を変換する例を説明する。図１３Ａは、変換前の輝度ヒストグラムの例を示す図である。また、図１３Ｂは、変換後の輝度ヒストグラムの例を示す図である。なお、図１３Ａ及び図１３Ｂに示すヒストグラムの縦軸は度数、横軸は画素値（輝度値）を表している。

例えば、図１３Ａに示すように、二値化部２０２は、輝度分布が輝度値（画素値）約３０〜約２００等の所定範囲に偏った分布である場合に、該分布における輝度の最小値「Ｌ」及び輝度の最大値「Ｈ」と、変換対象の輝度値「ｘ」とに基づいて、変換後の輝度値「Ｐ」を以下の（数１）により算出する。
Ｐ＝（ｘ−Ｌ）＊２５５／（Ｈ−Ｌ） ・・・（数１）
各輝度値について「Ｐ」を求めることにより、図１３Ｂに示すように、二値化部２０２は、０〜２５５の範囲に伸張された輝度ヒストグラムを得ることができる。これらの後、二値化部２０２は、伸張した輝度ヒストグラムを有する入力画像を二値化する。また、特徴量算出部１０３は、二値化部２０２によって二値化された入力画像のうち、特定の画素値が連続する連続領域を１つのオブジェクトとして、各オブジェクトの特徴量を求める。

[実施の形態２に係るオブジェクト検出処理フロー]
次に、図１４を用いて、実施の形態２に係るオブジェクト検出処理の流れについて説明する。図１４は、実施の形態２に係るオブジェクト検出処理の流れの例を示すフローチャートである。なお、実施の形態１に係るオブジェクト検出処理と同様の処理についてはその説明を省略する場合がある。具体的には、ステップＳ２０１とステップＳ２０２とは、ステップＳ１０１とステップＳ１０２とにおける処理と同様である。また、ステップＳ２０５〜ステップＳ２１０は、ステップＳ１０３〜ステップＳ１０８における処理と同様である。

例えば、図１４に示すように、二値化部２０２は、画素抽出部１０１によって抽出された特定色系の画素のみを含む入力画像の輝度値が所定範囲に偏った分布である場合に（ステップＳ２０３：Ｙｅｓ）、該分布における輝度の最小値「Ｌ」及び輝度の最大値「Ｈ」と、変換対象の輝度値「ｘ」とに基づいて、変換後の輝度値「Ｐ」を（数１）により算出することにより、輝度分布を変換する（ステップＳ２０４）。そして、二値化部２０２は、輝度分布を変換した入力画像を二値化する（ステップＳ２０５）。また、特徴量算出部１０３は、二値化部２０２によって二値化された入力画像に含まれる画素の連続領域を１つのオブジェクトとして（ステップＳ２０６）、各オブジェクトの特徴量を求める（ステップＳ２０７）。

一方、二値化部２０２は、画素抽出部１０１によって抽出された特定色系の画素のみを含む入力画像の輝度値が所定範囲に偏っていない分布である場合に（ステップＳ２０３：Ｎｏ）、輝度分布を変換することなく、該入力画像を二値化する（ステップＳ２０５）。また、特徴量算出部１０３は、二値化部２０２によって二値化された入力画像に含まれる画素の連続領域を１つのオブジェクトとして（ステップＳ２０６）、各オブジェクトの特徴量を求める（ステップＳ２０７）。

[実施の形態２による効果]
上述したように、画像処理装置２００は、明るい又は暗い画素値の偏りを有する入力画像に対して、輝度分布を変換したうえで各オブジェクトを抽出するので、オブジェクトとリファレンス画像とのマッチングにおける適合率の精度低下を抑制し、より高精度にオブジェクトを検出することができる。

（実施の形態３）
さて、これまで本発明に係る画像処理装置１００や画像処理装置２００の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されてよいものである。そこで、（１）入力画像の一部領域を除外、（２）リファレンス画像に合わせてオブジェクトを変形、（３）構成、について異なる実施の形態を説明する。

（１）入力画像の一部領域を除外
上記実施の形態１又は２では、入力画像の全ての領域において色域条件を満たす画素を抽出する場合を説明したが、入力画像の一部領域を除いて色域条件を満たす画素を抽出することもできる。図１５Ａは、入力画像の右側の領域を除外する例を示す図である。また、図１５Ｂは、入力画像の右側及び下側の領域を除外する例を示す図である。

例えば、図１５Ａ又は図１５Ｂに示すように、画素抽出部１０１は、画像処理装置１００に入力された入力画像の右側の領域や、右側及び下側の領域等を除外して、比較対象元画像の色に応じた色域条件を満たす画素を抽出する。この結果、画像処理装置１００は、マッチングを行なう対象のオブジェクト数を減らすことにより、処理負荷及び処理時間をさらに削減することができる。

図１６は、入力画像の一部領域を除外するときのオブジェクト検出処理の流れの例を示すフローチャートである。なお、実施の形態１に係るオブジェクト検出処理と同様の処理についてはその説明を省略する場合がある。具体的には、ステップＳ３０１は、ステップＳ１０１における処理と同様である。また、ステップＳ３０３〜ステップＳ３０９は、ステップＳ１０２〜ステップＳ１０８における処理と同様である。

例えば、図１６に示すように、画素抽出部１０１は、画像処理装置１００に画像が入力された場合に（ステップＳ３０１：Ｙｅｓ）、入力画像の右側の領域等の一部領域を除外する（ステップＳ３０２）。そして、画素抽出部１０１は、一部領域を除外した入力画像に含まれる画素から、赤色系、青色系、黄色系又は緑色系等の所定の色域条件を満たす画素を抽出する（ステップＳ３０３）。以降、画像処理装置１００は、一部領域を除外した入力画像に対して各オブジェクトの特徴量を求め、各オブジェクトとリファレンス画像とのマッチングを行なうことになる。

すなわち、画像処理装置１００を車両に搭載して、道路標識等のオブジェクトを検出させる場合には、道路標識が入力画像内の所定位置に存在することが多いことから、該所定位置を含む領域に存在するオブジェクトのみを検出させれば良い。この結果、画像処理装置１００は、車両の走行中や停止中等のあらゆる場面での動画撮像により入力画像が入力され、該入力画像に含まれる道路標識を検出する場合に有用であり、入力画像の一部領域を除外して道路標識を検出するので、検出に係る処理負荷及び処理時間を削減することができる。

（２）リファレンス画像に合わせてオブジェクトを変形
また、上記実施の形態１又は２では、オブジェクトの特徴量に合わせて比較対象元画像を変形することでリファレンス画像を生成する場合を説明したが、生成されたリファレンス画像の特徴量に合わせてオブジェクトそれぞれを変形することもできる。リファレンス画像に合わせてオブジェクトを変形する処理は、例えば、車両の走行中における動画撮像により次々に入力画像が１フレームずつ入力され、入力画像から道路標識等のオブジェクトを検出する場合に有用である。

具体的に、車両の走行中は、検出対象のオブジェクトが序々に大きくなっていくため、大きなオブジェクトに合わせてリファレンス画像を生成するよりも、それまでに生成したリファレンス画像に合わせてオブジェクトを変形した方が処理負荷を軽減できる。但し、あまりに小さなリファレンス画像に合わせてオブジェクトを変形すると、適合率の精度が低くなる可能性があるため、ある程度の大きさを有するオブジェクトが入力画像に含まれるようになった等の所定のタイミングで、リファレンス画像に合わせてオブジェクトを変形した方が好ましい。すなわち、この所定のタイミングでは、それまでに生成されたリファレンス画像もある程度の大きさになっている。このため、ある程度の大きさを有するリファレンス画像に合わせてオブジェクトを変形していくことで、適合率の精度を高く維持しつつ、処理負荷及び処理時間を削減することができる。

図１７は、リファレンス画像に合わせてオブジェクトを変形する例を示すイメージ図である。例えば、図１７に示すように、リファレンス生成部１０５は、所定のタイミングで、それまでに生成されたリファレンス画像の特徴量である幅及び高さに合わせて、オブジェクトを変形する。また、マッチング部１０６は、リファレンス生成部１０５によって生成されたリファレンス画像に含まれる画素と、該リファレンス画像の画素位置に対応した、リファレンス画像に合わせて変形された各オブジェクトに含まれる画素とを比較する。そして、マッチング部１０６は、リファレンス画像の画素位置と各オブジェクトの画素位置とが一致するか否かにより適合率を算出する。これにより、マッチング部１０６は、適合率が所定閾値以上となったオブジェクトを検出対象のオブジェクト、すなわち比較対象元画像に対応するオブジェクトとして検出し、マッチング結果を出力する。

図１８は、リファレンス画像に合わせてオブジェクトを変形するときのオブジェクト検出処理の流れの例を示すフローチャートである。なお、実施の形態１に係るオブジェクト検出処理と同様の処理についてはその説明を省略する場合がある。具体的には、ステップＳ４０１〜ステップＳ４０６は、ステップＳ１０１〜ステップＳ１０６における処理と同様である。

例えば、図１８に示すように、リファレンス生成部１０５は、所定のタイミングである場合に（ステップＳ４０７：Ｙｅｓ）、選別部１０４によって選別されたオブジェクトそれぞれを、それまでに生成されたリファレンス画像に合わせて変形する（ステップＳ４０９）。これにより、マッチング部１０６は、リファレンス生成部１０５によって生成されたリファレンス画像に含まれる画素と、該リファレンス画像の画素位置に対応した、リファレンス画像に合わせて変形された各オブジェクトに含まれる画素とを比較して、一致するか否かにより適合率を算出し、適合率が所定閾値以上であるオブジェクトを検出してマッチング結果を出力する（ステップＳ４１０）。

一方、リファレンス生成部１０５は、所定のタイミングではない場合に（ステップＳ４０７：Ｎｏ）、実施の形態１と同様に、選別部１０４によって選別されたオブジェクトそれぞれの幅及び高さに合わせて比較対象元画像を変形し、変形した比較対象元画像の矩形領域をリファレンス画像として生成する（ステップＳ４０８）。また、マッチング部１０６は、リファレンス生成部１０５によって生成されたリファレンス画像に含まれる画素と、該リファレンス画像の画素位置に対応した、選別部１０４によって選別された各オブジェクトに含まれる画素とを比較して、一致するか否かにより適合率を算出し、適合率が所定閾値以上であるオブジェクトを検出してマッチング結果を出力する（ステップＳ４１０）。

（３）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。例えば、（条件１）〜（条件４）の色域条件は一例であり、カメラの性能、カメラの方向、天候、時間帯等の状況に応じてその条件は異なる。また、色域条件は、ＲＧＢ形式を利用したものに限られるものではない。

また、図示した画像処理装置１００又は画像処理装置２００の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合することができる。例えば、リファレンス生成部１０５とマッチング部１０６とを、オブジェクトに合わせて元画像を変形したリファレンス画像を生成し、オブジェクトとリファレンス画像との特徴量に基づいて、オブジェクトとリファレンス画像とのマッチングを行なう「マッチング部」として統合しても良い。また、例えば、二値化部１０２と特徴量算出部１０３とを、画素抽出部１０１によって抽出された画素を含む入力を二値化し、二値化された入力画像に含まれる画素の連続領域を１つのオブジェクトとして、各オブジェクトの特徴量を求める「特徴量算出部」として統合しても良い。

また、上記実施の形態では、色域条件を満たす画素が抽出された入力画像を二値化し、二値化した画素の連続領域を１つのオブジェクトとして各オブジェクトの特徴量を求め、特徴量が所定条件を満たすオブジェクトを選別して、オブジェクトに合わせて変形したリファレンス画像とオブジェクトとのマッチングを行なう画像処理装置１００を例に挙げた。本発明は、入力画像に含まれる画素の連続領域を１つのオブジェクトとして各オブジェクトの特徴量を求め、オブジェクトに合わせて変形したリファレンス画像とオブジェクトとのマッチングを行なうだけでも、マッチングにおいて入力画像を１画素ずつ探索しなくても良いため、処理負荷及び処理時間の削減を見込める。これらのように、上述してきた各機能は、任意の単位で機能的又は物理的に分散又は統合することができる。また、画像処理装置１００や画像処理装置２００は、車両に搭載して道路標識等のオブジェクトを検出するだけでなく、入力画像に含まれる特定のオブジェクトを検出するあらゆる技術に適用することができる。

（実施の形態４）
実施の形態１〜３の画像処理装置１００，２００では、オブジェクトの全体に対してリファレンス画像とのマッチングを行っていたが、この実施の形態４にかかる画像処理装置は、オブジェクトの一部に対して所定の部分リファレンス画像とマッチングする部分マッチングを繰り返し実行するものである。

［実施の形態４に係る画像処理装置の構成］
図１９は、実施の形態４の画像処理装置１９００の機能的構成を示すブロック図である。本実施の形態の画像処理装置１９００は、図１９に示すように、画素抽出部１０１と、二値化部１０２と、特徴量算出部１０３と、選別部１０４と、マッチング部１９０６と、リファレンス記憶部１９０５とを主に備えている。ここで、画素抽出部１０１、二値化部１０２、特徴量算出部１０３、選別部１０４の機能は実施の形態１〜３と同様である。

本実施の形態では、選別部１０４は、実施の形態１で説明したとおり、オブジェクトを選別するための特徴量の所定条件として、オブジェクトを構成する画素の画素数、オブジェクトの幅、オブジェクトの高さを用いている。

例えば、選別部１０４は、所定条件として、オブジェクトの画素数＞６４画素、オブジェクトの幅＞８画素、オブジェクトの高さ＞８画素を満たすオブジェクトをラベルが付与されたオブジェクトから選別する。

図２０は、実施の形態４において入力画像に対して画素抽出処理からオブジェクトの特徴量算出処理までを行った状態を示す説明図である。画素抽出部１０１が入力画像から上述の色域条件で所定の色の画素を抽出し、図２０（ａ）に示す画像が得られる。二値化部１０２は、図２０（ａ）に示す画像を二値化して、図２０（ｂ）に示す画像を出力する。そして、特徴量算出部１０３が、図２０（ｂ）の二値化された画像から、黒の画素が連続する領域を１つのオブジェクトとして特定し、各オブジェクトにラベル（１〜６）を付与する。図２０（ｃ）は、ラベルとともにオブジェクトを示している。

さらに、特徴量算出部１０３は、図２０（ｃ）に示すようなラベルが付与されたオブジェクトごとにオブジェクトの画素数、幅、高さ等の特徴量を算出する。図２１は、オブジェクトごとのラベル、二値化された入力画像上におけるオブジェクトの位置座標（水平位置ｘ、垂直位置ｙ）、オブジェクトごとに算出された特徴量（幅、高さ、画素数）を示す説明図である。

そして、選別部１０４は、図２０（ｃ）に示すオブジェクトから、図２１に示す特徴量に対する所定条件として、オブジェクトの画素数＞６４画素、オブジェクトの幅＞８画素、オブジェクトの高さ＞８画素を満たすオブジェクトを、ラベルが付与されたオブジェクトから選別し、この結果、図２２に示すように、ラベル「３」のオブジェクト以外のオブジェクトが選別される。

ここで、図２０（ｃ）に示すように、ラベル４のオブジェクトとラベル５のオブジェクトは、二つのオブジェクトとして認識されているが、本来は、図２０（ａ）に示すように、例えば、道路標識等を撮像して得られた逆三角形の画像２００１、すなわち一つのオブジェクトとして特定されるべき画像である。しかしながら、撮像対象たる道路標識等の手前に障害物が存在したり、道路標識等に付着した汚れ等が原因で画像に縦のすじが現れると、２つのオブジェクトとして認識されてしまう結果、実施の形態１〜３の手法では、符号２００１のオブジェクトのマッチングを行うことが困難となっている。

このため、本実施の形態では、本来、一つのオブジェクトとして特定されるべき画像が撮像対象に対する付着物や劣化、あるいは撮像条件等の種々の事情により、二つのオブジェクトとして特定されている場合であっても、部分マッチングを行うことにより、オブジェクトの正確な検出を可能としている。

図１９に戻り、リファレンス記憶部１９０５は、部分リファレンス画像を複数記憶するメモリやハードディスクドライブ装置（ＨＤＤ）等の記憶媒体である。ここで、部分リファレンス画像は、探索対象となるオブジェクトごとに、オブジェクトの一部の形状に対応するパターン画像であり、一部の数に対応した数だけリファレンス記憶部１９０５に記憶されている。

マッチング部１９０６は、選別部１０４によって選別されたオブジェクトに対して、探索範囲を決定し、決定された探索範囲内に、オブジェクトの一部に対応する部分リファレンス画像と一致するオブジェクトの一部が存在するか否かを判定する部分マッチング処理を、上記一部の数だけ繰り返し実行する。探索するオブジェクトの一部としては任意の部分とすることができる。例えば、部分マッチング処理において、決定された探索範囲内に、部分リファレンス画像と一致するオブジェクトのコーナー（角部）が存在するか否かを判定するようにオブジェクトの一部を構成することができる。この場合、リファレンス記憶部１９０５には、探索対象となるオブジェクトごとに、オブジェクトのコーナー（角部）の形状に対応する部分リファレンス画像が記憶される。

また、マッチング部１９０６は、以前実行したオブジェクトの他の部分の部分マッチング処理の処理結果、より具体的には探索結果としての探索された一部の入力画像上における位置座標を用いて、次の部分マッチング処理のための探索範囲を決定し、当該探索範囲内で次の部分マッチング処理を実行する。

マッチング部１９０６は、部分リファレンス画像の特徴量と、探索範囲内のオブジェクトの一部それぞれの特徴量とに基づいて、オブジェクトの一部と部分リファレンス画像とのマッチングを行なう。例えば、マッチング部１９０６は、部分リファレンス画像に含まれる画素と、探索範囲内に含まれ、かつ該部分リファレンス画像の画素位置に対応した、選別部１０４によって選別された各オブジェクトの一部に含まれる画素とを比較する。そして、マッチング部１９０６は、部分リファレンス画像の画素位置とオブジェクトの各一部の画素位置とが一致するか否かにより適合率を算出する。これにより、マッチング部１９０６は、適合率が所定閾値以上となった（オブジェクトの）一部を検出対象のオブジェクトの一部、すなわち部分リファレンス画像に対応する一部として検出し、部分マッチング処理結果を出力する。マッチング部１９０６は、この部分マッチング処理を繰り返し実行し、適合率が所定閾値以上となった一部から構成されるオブジェクトを、検出対象のオブジェクト、すなわち比較対象元画像に対応するオブジェクトとして検出し、マッチング結果を出力する。

ここで、マッチング部１９０６によるマッチング処理の詳細について説明する。以下では、一例として、逆三角形のオブジェクトを検出すること、部分マッチング処理で探索するオブジェクトの一部としてオブジェクトのコーナー（角部）を探索すること、さらに図２０から図２２の入力画像およびオブジェクトを例にあげて説明する。

本実施の形態では、マッチング部１９０６は、リファレンス記憶部１９０５に、オブジェクトの一部であるコーナー（角部）の形状の画像を部分リファレンス画像として予め保存している。

図２３は、部分リファレンス画像の一例を示す図である。逆三角形のオブジェクトを検出するための部分リファレンス画像としては、図２３に示すように、逆三角形の３つのコーナー（１）、（２）、（３）のそれぞれの形状に相当する画像を３つの部分リファレンス画像２３０１、２３０２、２３０３としてリファレンス記憶部１９０５に保存されている。

マッチング部１９０６は、まず、オブジェクトのコーナー（１）を検出するため、探索範囲をオブジェクトの全範囲と決定し、オブジェクトのコーナー（１）に対応する部分リファレンス画像２３０１に一致する部分を探索範囲内で探索する部分マッチング処理を実行する。この部分マッチング処理は、コーナー（２）、（３）についても繰り返し行う。マッチング部１９０６が探索範囲を決定する際には、前回の部分マッチングの処理結果を用いるが、同一のオブジェクトの範囲を考慮しない。言い換えれば、マッチング部１９０６は、決定された探索範囲内であれば、他のラベルのオブジェクトの範囲であっても、部分リファレンス画像とのマッチングを行う。これにより、ラベル４のオブジェクトおよびラベル５のオブジェクトのように、本来一つのオブジェクトとして特定されるべきオブジェクトの検出も可能となる。

図２４は、コーナー（２）の探索範囲２４０２と、コーナー（３）の探索範囲２４０３の一例を示す図である。マッチング部１９０６は、コーナー（２）の探索範囲２４０２を、コーナー（１）の部分マッチング処理での処理結果により決定する。具体的には、マッチング部１９０６は、コーナー（１）の探索結果としてのコーナー（１）の位置座標（ｘ１，ｙ１）を用いた次式により、コーナー（２）の探索範囲２４０２を決定する。ここで、探索範囲は、（Ｘmin，Ｙmin）〜（Ｘmax，Ｙmax）の範囲で表される。

Ｘmin＝ｘ１−３２
Ｘmax＝ｘ１−１６
Ｙmin＝ｙ１−１
Ｙmax＝ｙ１＋１

すなわち、マッチング部１９０６は、コーナー（２）の探索範囲２４０２を、コーナー（１）の位置座標を用いて、以下のように決定する。
水平左側領域：ｘ１−３２≦ｘ２≦ｘ１−１６
垂直上下領域：ｙ１−１≦ｙ２≦ｙ１＋１

また、マッチング部１９０６は、コーナー（３）の探索範囲２４０３を、コーナー（１）、（２）の部分マッチング処理での探索結果により決定する。具体的には、マッチング部１９０６は、コーナー（１）の探索結果としてのコーナー（１）の位置座標（ｘ１，ｙ１）、およびコーナー（２）の探索結果としてのコーナー（２）の位置座標（ｘ２，ｙ２）を用いた次式により、コーナー（３）の探索範囲２４０３（（Ｘmin，Ｙmin）〜（Ｘmax，Ｙmax））を決定する。

Ｘmin＝ｘ２＋（ｘ１−ｘ２）×０．４
Ｘmax＝ｘ２＋（ｘ１−ｘ２）×０．６
Ｙmin＝ｙ２＋（ｘ１−ｘ２）×０．７５
Ｙmax＝ｙ２＋（ｘ１−ｘ２）×１．２５

すなわち、マッチング部１９０６は、コーナー（３）の探索範囲２４０３を、コーナー（１）および（２）の位置座標を用いて、以下のように決定する。
水平右側領域：ｘ２＋（ｘ１−ｘ２）×０．４≦ｘ３≦ｘ２＋（ｘ１−ｘ２）×０．６
垂直上下領域：ｙ２＋（ｘ１−ｘ２）×０．７５≦ｙ３≦ｙ２＋（ｘ１−ｘ２）×１．２５

そして、マッチング部１９０６は、決定された探索範囲内で、オブジェクトのラベルに関係なく、言い換えれば、探索範囲内であれば他のラベルのオブジェクトの範囲であっても、部分リファレンス画像に一致するオブジェクトの一部を探索し、適合率が所定閾値以上となった場合に、コーナーの部分リファレンス画像に一致するオブジェクトのコーナーが探索されたと判断する。

図２５は、図２２に示すオブジェクトから、オブジェクトのコーナー（１）が探索された結果の一例を示す図である。図２５に示す例では、ラベル１のオブジェクトと、ラベル５のオブジェクトで部分リファレンス画像２３０１に一致するコーナー（１）が探索されている。

同様に、マッチング部１９０６は、探索範囲２４０２で、コーナー（２）、（３）を探索する。この結果、ラベル１のオブジェクトと、ラベル４のオブジェクトとラベル５のオブジェクトを連結したオブジェクトのそれぞれから、コーナー（１）、（２）、（３）が探索されたものとする。図２６は、コーナー（１）、（２）、（３）の探索結果を示す図である。

図２７は、コーナー（１）、（２）、（３）のマッチング処理の結果としての位置座標の一例を示す図である。図２７に示すように、ラベル１のオブジェクトの場合には、オブジェクト内でコーナー（１）、（２）、（３）が全て探索される。一方、ラベル５のオブジェクトでは、コーナー（１）が探索されるが、コーナー（２）は、探索範囲２４０２内のラベル５のオブジェクトとは異なるラベル４のオブジェクト内で探索される。さらに、コーナー（３）は、探索範囲２４０３内のラベル４のオブジェクトとは異なるラベル５のオブジェクト内で探索される。

このマッチング処理の結果から、図２８に示すように、逆三角形のオブジェクトとして、ラベル１のオブジェクト、および、ラベル４のオブジェクトとラベル５のオブジェクトを連結したオブジェクトが探索されることになる。

ここで、コーナー（１）がラベル５のオブジェクトで探索された後、コーナー（２）の探索範囲２４０２を同一のラベル５のオブジェクト内に限って決定すると、コーナー（２）は探索されないこととなる。同様に、コーナー（２）がラベル４のオブジェクトで探索された後、コーナー（３）の探索範囲２４０３を同一のラベル４のオブジェクト内に限って決定すると、コーナー（３）は探索されないこととなる。

本実施の形態では、マッチング部１９０６がオブジェクトの一部の探索範囲を他のラベルのオブジェクトの範囲も含むように決定して、他のラベルのオブジェクトであっても探索範囲内であれば、オブジェクトの一部を探索しているので、ラベル４とラベル５のような２つのオブジェクトとであって本来一つのオブジェクトとして扱われるべきオブジェクトも、正確に検出することが可能となる。

［実施の形態４に係るオブジェクト検出処理フロー］
次に、図２９を用いて、実施の形態４に係るオブジェクト検出処理の流れについて説明する。図２９は、実施の形態４に係るオブジェクト検出処理の流れの例を示すフローチャートである。

画像の入力から各オブジェクトの特徴量の算出までの処理（ステップＳ５０１〜Ｓ５０５）については実施の形態１のオブジェクト検出処理におけるステップＳ１０１からＳ１０５までの処理と同様に行われる。

各オブジェクトの特徴量の算出が行われたら、選別部１０４は、各オブジェクトのうち、特徴量に対する所定条件（オブジェクトの画素数＞６４画素、オブジェクトの幅＞８画素、オブジェクトの高さ＞８画素）を満たすオブジェクトを、ラベルが付与されたオブジェクトから選別する（ステップＳ５０６）。これにより、ノイズの可能性があるオブジェクトが検出対象から除外される。

次に、マッチング部１９０６は、リファレンス記憶部１９０５から、探索するオブジェクトの一部に対応する部分リファレンス画像を取得する（ステップＳ５０７）。そして、マッチング部１９０６は、上述のとおりに、探索範囲を決定する（ステップＳ５０８）。すなわち、マッチング部１９０６は、最初の探索の場合には、オブジェクトの範囲を探索範囲とし、２回目以降の探索の場合には、前回までの部分マッチングの処理結果を用いて探索範囲を決定する。

次いで、マッチング部１９０６は、決定された探索範囲内で、オブジェクトの一部の画素と部分リファレンス画像の画素を比較して、一致するか否かにより適合率を算出し、適合率が所定閾値以上である部分を検出して部分マッチング結果（オブジェクトの一部の位置座標および適合率）を出力する（ステップＳ５０９）。

マッチング部１９０６は、ステップＳ５０７からＳ５０９までの処理を、検索対象のオブジェクトに対応する全ての部分リファレンス画像について完了するまで繰り返し実行する（ステップＳ５１０：Ｎｏ）。そして、ステップＳ５０７からＳ５０９までの処理が、検索対象のオブジェクトに対応する全ての部分リファレンス画像について完了したら（ステップＳ５１０：Ｙｅｓ），マッチング部１９０６はオブジェクト検索処理を終了する。

［実施の形態４による効果］
本実施の形態では、検索対象のオブジェクトの一部に対して部分リファレンス画像とマッチングする部分マッチング処理を繰り返し実行してオブジェクト全体の検出を行っているので、リファレンス画像やオブジェクトの画像のサイズを変更する必要がなくなり、オブジェクト検出処理の処理速度を向上させることができる。特に、オブジェクトの一部としてオブジェクトのコーナー（角部）を検出する部分マッチング処理を行う場合には、検出対象の一部分の大きさへの依存が少なくなり、検出対象の大きさにあわせてリファレンス画像を用意する必要がない。そのためオブジェクト検出処理の処理速度をより向上させることができる。

また、本実施の形態では部分マッチング処理を複数回実行することにより、オブジェクトの検出精度を向上させることができる。また、部分マッチング処理を複数回実行することにより、絞込みを行って選別を行うので、マッチング処理回数を低減することができる。

さらに、本実施の形態では、部分マッチング処理において、探索範囲を異なるオブジェクトの範囲も含むように決定して、他のラベルのオブジェクトであっても探索範囲内であれば、オブジェクトの一部を探索しているので、本来単一のオブジェクトとして扱われるべき複数のオブジェクト、例えば、オクルージョン等により分割されたオブジェクトが入力画像に存在する場合であっても、分割されていない状態のオブジェクトを正確に検出することができ、オブジェクトの検出精度をより向上させることができる。

このように本実施の形態によれば、オブジェクト検出処理の処理速度の向上と検出精度の向上の双方を実現することができる。

（実施の形態５）
実施の形態３において、入力画像の一部領域を除外して色域条件を満たす画素を抽出する例として、入力画像の右側及び下側の領域を除外する場合について説明したが、この実施の形態５では、入力画像の一部領域を除外する例として、入力画像の画素ごとの輝度を求め、輝度の値に基づいて特定色を除外するものである。

［実施の形態５に係る画像処理装置の構成］
図３０は、実施の形態５の画像処理装置３０００の機能的構成を示すブロック図である。本実施の形態の画像処理装置３０００は、図３０に示すように、画素抽出部３００１と、二値化部１０２と、特徴量算出部１０３と、選別部１０４と、マッチング部１９０６と、リファレンス記憶部１９０５とを主に備えている。ここで、二値化部１０２、特徴量算出部１０３、選別部１０４、マッチング部１９０６、リファレンス記憶部１９０５の機能は、実施の形態４と同様である。

画素抽出部３００１は、色域条件により抽出された色の画素からなる入力画像の画素ごとの輝度を求め、輝度の値に基づいて特定色の画素からなる一部領域を、入力画像から除外して、二値化部１０２に出力する。

ここで、画素抽出部３００１は、実施の形態１、４の色域条件を満たす色の領域のうち、輝度の値が所定値未満であるＬｏｗである画素の色を特定色として、この特定色の画素からなる一部領域を入力画像から除外するように構成することができる。

このような手法としては、種々の公知の手法を用いることができる。例えば、画素抽出部３００１は、例えば、特開２００４−３０４５７８号公報に記載された大津の自動閾値判別法を用いることができる。この手法では、画素抽出部３００１は、入力画像の画素の輝度成分を２値化する。そして、画素抽出部３００１は、２値化後の画像の画素の輝度が所定値未満であるＬｏｗの場合に、当該色の画素を特定色の領域として入力画像から除外する。一方、画素抽出部３００１は、２値化後の画像の画素の輝度が所定値以上であるＨｉｇｈの場合に、色選択後の画素は通過させて除外しないように構成することができる。

なお、人間の目をもってしても、ヒストグラムだけを見ただけでは最適な閾値を定めるのは容易ではない。このような場合にも、適切な閾値を自動的に選択することができる手法が大津によって提案された判別分析の基準に基づく自動閾値値選定法である（大津展之：判別および最小２乗基準に基づく自動しきい値選定法，電子通信学会論文誌Ｄ，Ｊ−６３，４，ｐ．３４９，１９８０．参照、Ｎ．Ｏｔｓｕ，「Ａ Ｔｈｒｅｓｈｏｌｄ Ｓｅｌｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｆｒｏｍ Ｇｒａｙ−Ｌｅｖｅｌ Ｈｉｓｔｏｇｒａｍｓ」ＩＥＥＥ Ｔｒａｎｓ．Ｓｙｓ．，Ｍａｎ，ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ，ＳＭＣ−９，Ｎｏ．１，ｐｐ．６２−６６，１９７９．、大津，「パターン認識における特徴抽出に関する数理的研究」電子技術総合研究所研究報告第８１８号，１９８１．）。

なお、輝度に基づく特定色の領域の除外手法は、これに限定されるものではない。例えば、実施の形態１、４の色域条件を満たす色の領域のうち、輝度の値が所定値以上である画素の色を特定色として、この特定色の画素からなる一部領域を入力画像から除外するように、画素抽出部３００１を構成することができる。

［実施の形態５に係るオブジェクト検出処理フロー］
次に、図３１を用いて、実施の形態５に係るオブジェクト検出処理の流れについて説明する。図３１は、実施の形態５に係るオブジェクト検出処理の流れの例を示すフローチャートである。

まず、画素抽出部３００１は、実施の形態１、４と同様に、画像処理装置３０００に画像が入力された場合に（ステップＳ６０１：Ｙｅｓ）、入力画像に含まれる画素から、赤色系、青色系、黄色系又は緑色系等の所定の色域条件を満たす画素を抽出する（ステップＳ６０２）。一方、画素抽出部３００１は、画像処理装置３０００に画像が入力されない場合に（ステップＳ６０１：Ｎｏ）、入力画像の入力待ちの状態となる。

次に、画素抽出部３００１は、色域条件により抽出された色の画素からなる入力画像の画素ごとの輝度を求め、輝度の値に基づいて特定色の画素からなる一部領域を、入力画像から削除する（ステップＳ６０３）。

上述したように、画素抽出部３００１は、実施の形態１、４の色域条件を満たす色の領域のうち、輝度の値が所定値未満である画素の色を特定色として、この特定色の画素からなる一部領域を入力画像から除外したり、あるいは、輝度の値が所定値以上である画素の色を特定色として、この特定色の画素からなる一部領域を入力画像から除外する。

これ以降の処理（ステップＳ６０４〜Ｓ６１１）については、実施の形態４のステップＳ５０３からＳ５１０までの処理と同様に行われる。

このように本実施の形態では、色域条件により抽出された色の画素からなる入力画像の画素ごとの輝度を求め、輝度の値に基づいて特定色の画素からなる一部領域を、入力画像から除外してからマッチング処理を行っているので、オブジェクト検索処理の処理速度の向上をより図ることができる。

特に、輝度の値が所定値以上である画素の色を特定色として、この特定色の画素からなる一部領域を入力画像から除外するように構成した場合には、色帯域が狭い映像に対して、色にじみなどによる色の誤選別を防止することができ、検出対象のオブジェクトをより明瞭にすることができる。これにより、本実施の形態によれば、探索されるオブジェクトの適合率の低下を防止して、オブジェクトの検出精度をより向上させることができる。

なお、本実施の形態では、輝度の値に基づく特定色の領域の入力画像からの除外を、部分マッチング処理を行う実施の形態４に適用した例をあげて説明したが、これに限定されるものではない。すなわち、輝度の値に基づく特定色の領域の入力画像からの除外の手法を、実施の形態１〜３のマッチング処理に適用することも可能である。

実施の形態１〜５の画像処理装置１００，２００，１９００，３０００は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

実施の形態１〜５の画像処理装置１００，２００，１９００，３０００で実行されるオブジェクト検出処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１〜５の画像処理装置１００，２００，１９００，３０００で実行されるオブジェクト検出処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１〜５の画像処理装置１００，２００，１９００，３０００で実行されるオブジェクト検出処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施の形態１〜５の画像処理装置１００，２００，１９００，３０００で実行されるオブジェクト検出処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施の形態１〜５の画像処理装置１００，２００，１９００，３０００で実行されるオブジェクト検出処理プログラムは、上述した各部（画素抽出部、二値化部、特徴量算出部、選別部、リファレンス生成部、リファレンス記憶部、マッチング部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からオブジェクト検出処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画素抽出部、二値化部、特徴量算出部、選別部、リファレンス生成部、リファレンス記憶部、マッチング部が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，２００，１９００，３０００ 画像処理装置
１０１，３００１ 画素抽出部
１０２ 二値化部
１０３ 特徴量算出部
１０４ 選別部
１０５ リファレンス生成部
１０６，１９０６ マッチング部
１９０５ リファレンス記憶部

Claims (10)

1. 入力画像に含まれる画素のうち、検出対象のオブジェクトの比較対象元となる比較対象元画像に含まれる所定色の特徴量に基づいて決められた色域条件を満たす画素を抽出する画素抽出部と、
   前記色域条件を満たす画素が抽出された前記入力画像を二値化する二値化部と、
   二値化された入力画像のうち、特定の画素値の画素が連続する連続領域を単一のオブジェクトとして、一または複数のオブジェクトを特定し、特定された一または複数のオブジェクトそれぞれの特徴量を求める特徴量算出部と、
   前記オブジェクトそれぞれの前記特徴量に合わせて、前記比較対象元画像を変形したリファレンスの前記特徴量と、前記オブジェクトそれぞれの前記特徴量とに基づいて、前記オブジェクトと前記リファレンスとのマッチングを行なうことにより、前記比較対象元画像に対応するオブジェクトを検出し、前記検出したマッチング結果を出力するマッチング部と、
   を備えたことを特徴とする画像処理装置。
2. 前記特徴量が所定条件を満たす前記オブジェクトを選別する選別部をさらに有し、
   前記マッチング部は、選別された前記オブジェクトそれぞれの前記特徴量に合わせて、前記比較対象元画像を変形したリファレンスの前記特徴量と、前記オブジェクトそれぞれの前記特徴量とに基づいて、前記オブジェクトと前記リファレンスとのマッチングを行なうこと、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記画素抽出部は、前記入力画像の一部領域を除いて、前記色域条件を満たす前記入力画像の前記画素を抽出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画素抽出部は、前記入力画像の輝度を求め、前記輝度に基づいて特定色の画素からなる前記一部領域を除くこと、
   を特徴とする請求項３に記載の画像処理装置。
5. 前記マッチング部は、前記リファレンスの前記特徴量に合わせて、前記オブジェクトそれぞれを変形し、前記リファレンスの前記特徴量と、変形した前記オブジェクトそれぞれの前記特徴量とに基づいて、前記オブジェクトと前記リファレンスとのマッチングを行なうことを特徴とする請求項１に記載の画像処理装置。
6. 前記二値化部は、前記入力画像の画素値が所定範囲に偏った分布である場合に、前記入力画像の画素値分布を現在の偏った画素値分布よりも広い範囲に変換し、変換した前記入力画像を二値化すること、
   を特徴とする請求項１又は２に記載の画像処理装置。
7. 入力画像に含まれる画素のうち、検出対象のオブジェクトの比較対象元となる比較対象元画像に含まれる所定色の特徴量に基づいて決められた色域条件を満たす画素を抽出する画素抽出部と、
   前記色域条件を満たす画素が抽出された前記入力画像を二値化する二値化部と、
   二値化された入力画像のうち、特定の画素値の画素が連続する連続領域を単一のオブジェクトとして、一または複数のオブジェクトを特定し、特定された一または複数のオブジェクトそれぞれの特徴量を求める特徴量算出部と、
   前記一または複数のオブジェクトの中から、前記特徴量に基づいてオブジェクトを選別する選別部と、
   選別されたオブジェクトに対して、探索範囲を決定し、決定された探索範囲内に、比較元対象画像の部分画像である部分リファレンス画像と一致する前記オブジェクトの一部が存在するか否かを判定する部分マッチング処理を繰り返し実行することにより、前記比較対象元画像に対応するオブジェクトを検出し、前記検出したマッチング結果を出力するマッチング部と、
   を備えたことを特徴とする画像処理装置。
8. 前記マッチング部は、前回までに実行した前記部分マッチング処理の処理結果に基づいて、次の前記部分マッチング処理のための探索範囲を決定すること、
   を特徴とする請求項７に記載の画像処理装置。
9. 前記部分リファレンス画像は、前記オブジェクトの角部に対応する画像であり、
   前記マッチング部は、前記部分リファレンス画像と前記オブジェクトの一部としての前記オブジェクトの角部とが存在するか否かを判定する前記部分マッチング処理を、前記角部の数分繰り返し実行すること、
   を特徴とする請求項７または８に記載の画像処理装置。
10. 入力画像に含まれる画素のうち、検出対象のオブジェクトの比較対象元となる比較対象元画像に含まれる所定色の特徴量に基づいて決められた色域条件を満たす画素を抽出するステップと、
    前記色域条件を満たす画素が抽出された前記入力画像を二値化するステップと、
    二値化された入力画像のうち、特定の画素値の画素が連続する連続領域を単一のオブジェクトとして、一または複数のオブジェクトを特定し、特定された一または複数のオブジェクトそれぞれの特徴量を求めるステップと、
    前記オブジェクトそれぞれの前記特徴量に合わせて、前記比較対象元画像を変形したリファレンスの前記特徴量と、前記オブジェクトそれぞれの前記特徴量とに基づいて、前記オブジェクトと前記リファレンスとのマッチングを行なうことにより、前記比較対象元画像に対応するオブジェクトを検出し、前記検出したマッチング結果を出力するステップと
    を含むことを特徴とする画像処理方法。

Images