JP2011039752A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 局所領域における勾配方向毎の勾配強度分布を特徴量として算出する際、輪郭が直線以外の形状に対しても正確に局所領域内の特徴を捉えた特徴量を取得する為の技術を提供すること。
【解決手段】 入力画像中の局所領域における着目画素について、規定数の方向のそれぞれに対するエッジ強度を計算する（Ｓ７０５）。それぞれの方向について求めたエッジ強度の平均値に基づいて、規定数の方向のうち１以上を選択する（Ｓ７０６）。選択した方向について計算したエッジ強度を、この方向について従前に計算したエッジ強度に累積加算する（Ｓ７０７）。
【選択図】 図７

Description

本発明は、画像からエッジ特徴量を抽出するための技術に関するものである。

画像からエッジ特徴を抽出することで、画像中の被写体を検出したり、電子部品の傾きを検出したり、良品・不良品を判定したりする技術が提案されている。特許文献１、特許文献２では、エッジ特徴として、画像内の各画素についてエッジ強度を方向毎に累積したエッジ方向ヒストグラムを用いる方法が提案されている。

エッジ方向ヒストグラムは、画像内の所定領域におけるエッジ方向の累積的な特徴をあらわすため、エッジの位置を直接検出する方法のようにノイズの影響を受けることなく、精度良く被写体の特徴をとらえることができる。以下に、エッジ方向ヒストグラムの算出方法を説明する。

図１は、画像内における局所領域、及びこの局所領域内における画素を説明する図である。図１において１０１は画像全体を示しており、１０２はこの画像１０１内における局所領域、１０３はこの局所領域１０２内における着目画素を示している。また、図１では、着目画素１０３の水平方向のエッジ強度をIh、垂直方向のエッジ強度をIvとしている。図２は、着目画素１０３と、その近傍８画素を示す図である。

係る状況下において先ず、着目画素１０３について、方向毎のエッジ強度Ｆｎを算出する。エッジの方向は、図２に示す如く、d1〜d8で示す8方向とする。この場合、以下の式１を用いて、各方向のエッジ強度Ｆｎを算出する。

次に、図３の３０２に示す如く局所領域１０２内の各画素を走査して局所領域１０２内の各画素に着目画素１０３を当てはめて上記式１に基づいた計算処理を行い、各画素について8方向のエッジ強度を算出する。

最後に、局所領域１０２内の全ての画素のエッジ強度を方向毎に加算し、局所領域１０２内のエッジ方向ヒストグラムを算出する。この際、特許文献３に示される方法（従来法Ａ）、特許文献４に示される方法（従来法Ｂ）が用いられる。従来法Ａとは、エッジ強度が最大の方向のみをエッジ方向ヒストグラムに加算する方法である。従来法Ｂとは、８方向全ての方向のエッジ強度をエッジ方向ヒストグラムに加算する方法である。以上のようにして算出したエッジ方向ヒストグラムの例を、図３の３０１に示す。このようにして算出したヒストグラムを以下、「局所領域エッジヒストグラム」と呼ぶ。

本説明では、着目画素に対するエッジの方向数を８とし、各画素で必ず８方向のエッジ強度を算出する方法で説明したが、１つの方向に対するエッジ強度だけを算出する方法もある。この場合、以下の式２、式３によりエッジ強度dとエッジ方向θを算出する。

特公平07-072909号公報 特開2002-175528号公報 特許第02766118号 特許第02985893号

検出対象の輪郭形状が非直線形状の場合、例えば人物検出における肩の部分のエッジ特徴について以下で説明する。図４の４０１は、人物が写っている画像４００において、この人物の肩周辺の領域を示しており、図４ではこの領域４０１を拡大して示している。領域４０１中の着目画素４０２について上記式１を用いて算出した８方向のそれぞれについてのエッジ強度Ｆ１〜Ｆ８の分布を４０３に示す。なお、係る分布４０３は、１つの画素について求めたものであるので、これを「画素エッジヒストグラム」と呼ぶ。

この分布４０３からも分かるように、着目画素４０２については、d7の方向についてエッジ強度が最大となる。しかし、その周りの方向ｄ６，ｄ８，ｄ１についてもエッジ強度が強くなっていることが分かる。実際に、人の肩部分のエッジは、１つの方向に対するエッジ強度が極端に強くなるような直線的な輪郭ではなく、丸みを帯びた輪郭となる。このため、エッジ特徴としてはある１方向だけのエッジ強度を特徴量として持つよりも、エッジ強度の強い複数の方向を特徴量として持つほうが、より検出対象の輪郭形状の特徴を正しく捉えることができるといえる。

これに対し、従来法Ａでは、エッジ強度が最大となる方向、つまりこの場合には方向d7のエッジ強度だけを特徴量として取得し、局所領域エッジヒストグラムに加算する。このため、ｄ７以外の方向におけるエッジ強度情報を破棄することになる。前述したように、検出対象が直線的な形状のものであれば従来法Ａでも十分にエッジ特徴を捉えることが可能だが、人物や車などの非直線形状の被写体を検出対象とするような場合には、十分にエッジ特徴を捉えきれているとは言えない。

一方、従来法Ｂでは、８方向全ての方向のエッジ強度を局所領域エッジヒストグラムに加算する。この場合には、ｄ２，ｄ３，ｄ４のように、エッジ強度が低い方向についてもエッジ強度が加算されてしまう。このようなエッジ強度の低い方向をも加算対象としてしまうと、局所領域エッジヒストグラムの分布がこれらの方向についてもある程度の強度をもつ分布となる。そのため、本来特徴として捉えたいエッジ方向（図４の例では、ｄ１，ｄ６，ｄ７，ｄ８）の強調度合いが小さくなってしまう場合がある。

図５は、従来法Ａで算出した局所領域エッジヒストグラム５０１と、従来法Ｂで算出した局所領域エッジヒストグラム５０２を示す図である。局所領域エッジヒストグラム５０１では、他の方向におけるエッジ強度に対してｄ７の強度が相対的に極端に強調された分布になっているのに対し、局所領域エッジヒストグラム５０２では、他の方向に比べｄ７の強度の強調度合いが小さくなっている。

本発明は以上の課題に鑑みて成されたものであり、局所領域における勾配方向毎の勾配強度分布を特徴量として算出する際、輪郭が直線以外の形状に対しても正確に局所領域内の特徴を捉えた特徴量を取得する為の技術を提供することを目的とする。

本発明の目的を達成するために例えば、本発明の画像処理装置は以下の構成を備える。即ち、入力画像中の局所領域における着目画素について、規定数の方向のそれぞれに対するエッジ強度を計算する計算手段と、前記規定数の方向のうち、前記計算手段が計算したエッジ強度の統計量が既定の条件を満たす方向を選択する選択手段と、前記選択手段が選択した方向について前記計算手段が計算したエッジ強度を、当該方向について前記計算手段が従前に計算したエッジ強度に累積加算することで、当該方向に対する累積エッジ強度値を更新する更新手段と、前記局所領域を構成する全ての画素について前記計算手段、前記選択手段、前記更新手段による処理を行うことで得られる、前記規定数の方向のそれぞれに対する累積エッジ強度値を、前記局所領域におけるエッジ特徴量として出力する手段とを備えることを特徴とする。

本発明の構成によれば、局所領域における勾配方向毎の勾配強度分布を特徴量として算出する際、輪郭が直線以外の形状に対しても正確に局所領域内の特徴を捉えた特徴量を取得することができる。

画像内における局所領域、及びこの局所領域内における画素を説明する図。 着目画素１０３と、その近傍８画素を示す図。 エッジ方向ヒストグラムを得るための処理について説明する図。 検出対象の輪郭形状が非直線形状の場合の画素エッジヒストグラムを説明する図。 局所領域エッジヒストグラム５０１と局所領域エッジヒストグラム５０２を示す図。 画像処理装置のハードウェア構成例を示すブロック図。 １枚の画像中の局所領域からエッジ特徴量を抽出するための処理のフローチャート。 局所領域を説明する図。 ステップＳ７０６における処理の詳細を示すフローチャート。 画素エッジヒストグラムの一例を示す図。 ステップＳ７０６で行う処理のフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、画素毎に画素エッジヒストグラムを解析し、平均以上のエッジ強度を有する方向のエッジ強度のみを局所領域エッジヒストグラムに加算する。図６は、本実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。

ＣＰＵ６０４は、ＲＯＭ６０５やＲＡＭ６０６に格納されているコンピュータプログラムやデータを用いて、画像処理装置全体の制御を行うと共に、画像処理装置が行うものとして後述する各処理を実行する。

ＲＯＭ６０５には、画像処理装置の設定データやブートプログラムなどが格納されている。ＲＡＭ６０６は、コンピュータ読み取り可能な記憶媒体の一例であり、外部記憶装置６０２からロードされたコンピュータプログラムやデータを一時的に記憶する為のエリアを有すると共に、ＣＰＵ６０４が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ６０６は各種のエリアを適宜提供することができる。

入力部６０１は、マウスやキーボードなどにより構成されており、ユーザが操作することで各種の指示をＣＰＵ６０４に対して入力することができる。表示部６０３は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ６０４による処理結果を画像や文字などでもって表示することができる。

外部記憶装置６０２は、コンピュータ読み取り可能な記憶媒体の一例であり、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置６０２には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして後述する各処理をＣＰＵ６０４に実行させるためのコンピュータプログラムやデータなどが保存されている。外部記憶装置６０２に保存されているコンピュータプログラムやデータは、ＣＰＵ６０４による制御に従って適宜ＲＡＭ６０６にロードされ、ＣＰＵ６０４による処理対象となる。

６０７は上述の各部を繋ぐバスである。なお、本実施形態に係る画像処理装置に適用可能な装置の構成は、図６に示したものに限定するものではなく、様々な構成が考え得る。

次に、１枚の画像中の局所領域からエッジ特徴量を抽出するための処理について、同処理のフローチャートを示す図７を用いて説明する。なお、図７に示したフローチャートに従った処理をＣＰＵ６０４に実行させるためのコンピュータプログラムやデータは、外部記憶装置６０２に保存されているので、ＣＰＵ６０４はこれをＲＡＭ６０６に読み出して実行する。これにより、本実施形態に係る画像処理装置は、以下に説明する各処理を実行するように機能することになる。

先ず、ステップＳ７０１では、ＣＰＵ６０４は、外部記憶装置６０２に保存されている画像をＲＡＭ６０６にロードする。なお、ＲＡＭ６０６への画像の取得形態についてはこれに限定するものではなく、外部装置からネットワーク経由でＲＡＭ６０６に取得するようにしても良いし、本装置でアプリケーションを用いて作成した画像をそのまま以降の処理で用いるようにしても良い。本実施形態では、ステップＳ７０１でＲＡＭ６０６に取得した画像は、各画素がＲ、Ｇ、Ｂの色信号で構成されているカラー画像であるものとして説明する。

次に、ステップＳ７０２では、ＣＰＵ６０４は、ステップＳ７０１でＲＡＭ６０６に取得した画像に対する前処理として、この画像をグレイ画像に変換する。係る変換処理は、カラー画像の色成分をＲ、Ｇ、Ｂ、グレイ画像の色成分をＹとすると、以下の式４に従った計算処理をカラー画像を構成する各画素について行うことで達成される。

なお、ステップＳ７０１で取得した画像がカラー画像ではない場合もあるので、ステップＳ７０２に先立ち、ステップＳ７０１で取得した画像がカラー画像か否かを先に判別する必要がある。係る判別は、画像がデジタルカメラにより取得したものである場合には、そのデータフォーマットを解析してカラー情報を参照することで行うことができる。また、画像がスキャナにより取得したものである場合には、ユーザにより設定されたスキャン条件を参照することで係る判別を行うことができる。以降の説明では、ステップＳ７０２で生成された画像を入力画像と呼称する。

次に、ステップＳ７０３ではＣＰＵ６０４は、入力画像に対して局所領域を設定する。図８は、本実施形態において設定する局所領域を説明する図である。図８において８００はステップＳ７０２で生成された入力画像、８０１はこの入力画像８００に対してステップＳ７０３で設定する局所領域である。この局所領域８０１の左上隅の座標値は（Ｓｘ１，Ｓｙ１）、縦幅はＨ１（＝６）、横幅はＷ１（＝６）、であるとする。なお、局所領域の設定については、ユーザが入力部６０１を操作して設定しても良いし、予め定められた領域情報（例えば上述の座標値、縦幅、横幅を含む情報）を用いてＣＰＵ６０４が設定しても良い。

次に、ステップＳ７０４では、ＣＰＵ６０４は、局所領域内のｘ座標値を示す変数ｘをＳｘ１に初期化すると共に、局所領域内のｙ座標値を示す変数ｙをＳｙ１に初期化する。即ち、係る初期化では、変数ｘ、ｙの示す位置を、局所領域の左上隅の位置に初期化する。

次に、ステップＳ７０５では、ＣＰＵ６０４は、ステップＳ７０２で生成された入力画像中の位置（ｘ、ｙ）における画素（着目画素）について、画素エッジヒストグラムを作成する。即ち上述の通り、着目画素から８方向（ｄ１〜ｄ８）のそれぞれへのエッジ強度Ｆｎ（ｎ＝１〜８）を計算する。ここでＦｎは、方向ｄｎにおけるエッジ強度を示す。

エッジ強度Ｆｎを算出する方法としては、上記で説明した方法の他、特登録02985893に開示の方法のように着目画素の周囲８画素に対して８種類のマスクパターンを適用することで求める方法を用いることもできる。図８において８０２は、８方向（ｄ１〜ｄ８）のそれぞれについて求めたエッジ強度（Ｆ１〜Ｆ８）を示す画素エッジヒストグラムの一例を示している。また、本実施形態では８方向を「規定数の方向」としているが、これ以外の数の方向を「規定数の方向」としても良い。

次に、ステップＳ７０６では、ＣＰＵ６０４は、ステップＳ７０５で求めたエッジ強度Ｆ１〜Ｆ８の平均値を計算し、この計算した平均値に基づいて、方向ｄ１〜ｄ８のうち１以上の方向を選択する。本ステップにおける処理の詳細については後述する。

次に、ステップＳ７０７では、ＣＰＵ６０４は、ステップＳ７０６で選択した方向についてステップＳ７０５で計算したエッジ強度を、この方向について従前に計算したエッジ強度に累積加算することで、この方向に対する累積エッジ強度値を更新する。換言すれば、ステップＳ７０６で選択した方向のみについて、対応するエッジ強度を局所領域エッジヒストグラムに加える。

次に、ステップＳ７０８では、ＣＰＵ６０４は、変数ｘに１を加える。そしてその後ステップＳ７０９では、ステップＳ７０８で更新した変数ｘが示すｘ座標値が、局所領域の右端を越えているか否かを判断すべく、以下の式が満たされているか否かを判断する。

係る判断の結果、満たされていると判断した場合には処理をステップＳ７１０に進める。一方、満たされていないと判断した場合には、処理をステップＳ７０５に戻し、以降の処理を繰り返す。

ステップＳ７１０では、ＣＰＵ６０４は、変数ｙに１を加えると共に、変数ｘをＳｘ１に初期化する。そしてその後ステップＳ７１１では、ステップＳ７１０で更新した変数ｙが示すｙ座標値が、局所領域の下端を越えているか否かを判断すべく、以下の式６が満たされているか否かを判断する。

係る判断の結果、満たされていると判断した場合には本処理を終了させる。一方、満たされていないと判断した場合には、処理をステップＳ７０５に戻し、以降の処理を繰り返す。

次に、上記ステップＳ７０６における処理について説明する。ステップＳ７０６では、エッジ強度を求めた８方向のうち、着目画素のエッジ特徴を正しくあらわすために相対的にエッジ強度の強い方向を選択する。そのために本実施形態では、８方向のそれぞれについて計算したエッジ強度Ｆ１〜Ｆ８の平均（平均強度）を計算し、平均強度以上のエッジ強度を求めた方向を選択する。そして、選択した方向のエッジ強度のみを、局所領域エッジヒストグラムにおいて対応する累積エッジ強度に加算する。図９は、ステップＳ７０６における処理の詳細を示すフローチャートである。

先ずステップＳ９０１では、ＣＰＵ６０４は、変数ｎを０に初期化する。次に、ステップＳ９０２では、ＣＰＵ６０４は、上記ステップＳ７０５で８方向のそれぞれについて求めたエッジ強度Ｆ１〜Ｆ８の平均（平均強度）Ａを、以下の式７を用いて計算する。

次に、ステップＳ９０３では、ＣＰＵ６０４は、変数ｎに１を加える。次に、ステップＳ９０４では、ＣＰＵ６０４は、方向ｄｎのエッジ強度Ｆｎが平均強度Ａよりも大きいか否かを判断するために、以下の式８が満たされているか否かを判断する。

係る判断の結果、満たされていると判断した場合には、処理をステップＳ９０５に進める、一方、満たされていないと判断した場合には、処理をステップＳ１９０６に進める。ステップＳ９０５では、ＣＰＵ６０４は、局所領域エッジヒストグラムに登録されている「方向ｄｎに対する累積エッジ強度」に、エッジ強度Ｆｎを加え、この累積エッジ強度を更新する。

一方、ステップＳ１９０６では、全てのエッジ強度Ｆ１〜Ｆ８について平均強度Ａとの大小比較を行った否かを判断するために、以下の式９が満たされているか否かを判断する。

係る判断の結果、満たされていると判断した場合には、図９に示したフローチャートに従った処理を終了し、図７におけるステップＳ７０７に処理を進める。一方、満たされていないと判断した場合には、処理をステップＳ９０３に戻し、以降の処理を繰り返す。これにより、平均強度Ａ以上のエッジ強度のみを、局所領域エッジヒストグラムに加算登録することができる。例えば、着目画素について、図１０（ａ）に例示するような画素エッジヒストグラムが得られた場合、ｄ１，ｄ６，ｄ７，ｄ８の方向におけるエッジ強度Ｆ１，Ｆ６，Ｆ７，Ｆ８を局所領域エッジヒストグラムに加算することができる。

なお、以上の処理により得られる局所領域エッジヒストグラムは、局所領域におけるエッジ特徴量として外部記憶装置６０２に対して出力する。しかし、局所領域エッジヒストグラムの出力先については特に限定するものではなく、ネットワーク経由で外部の装置に対して出力しても良いし、局所領域エッジヒストグラムを求めた後、この局所領域エッジヒストグラムを様々な処理に適用しても良い。

［第２の実施形態］
第１の実施形態では、平均強度以上のエッジ強度だけを局所領域エッジヒストグラムへの加算対象とした。しかし、画素エッジヒストグラムの分布が例えば、図１０（ｂ）に示すようにどの方向についても同程度のエッジ強度を持つような場合、全ての方向のエッジ強度を局所領域エッジヒストグラムへの加算対象とする方が、画素の特徴をあらわすのに適当である。そこで本実施形態では、エッジ強度Ｆ１〜Ｆ８の統計量として平均値と分散値とを用い、これらに基づいて、エッジ強度Ｆ１〜Ｆ８のうち局所領域エッジヒストグラムに加算する対象を決定する。即ち、本実施形態では、規定数の方向のうちエッジ強度の統計量が既定の条件を満たす方向を選択する方法において第１の実施形態とは異なる方法について説明する。

なお、本実施形態は、上記ステップＳ７０６における処理、即ち、局所領域エッジヒストグラムへの加算対象エッジ強度の方向を決定する処理のみが第１の実施形態と異り、それ以外については第１の実施形態と同じである。従って、以下では、本実施形態においてステップＳ７０６において行う処理についてのみ説明する。図１１は、本実施形態においてステップＳ７０６で行う処理のフローチャートである。

ステップＳ１２０１では、上記ステップＳ９０２における処理と同様にして、エッジ強度Ｆ１〜Ｆ８の平均値として平均強度Ａを求める。次に、ステップＳ１２０２では、エッジ強度Ｆ１〜Ｆ８の分散値Ｖｐを、以下の式１０を用いて求める。

次に、ステップＳ１２０３では、分散値Ｖｐが予め設定されている閾値ｔｈＶよりも大きいか否かを判断するために、以下の式１１が満たされているか否かを判断する。

係る判断の結果、満たされていると判断した場合には、処理をステップＳ１２０５に進める。一方、満たされていない（閾値以下）と判断した場合には、処理をステップＳ１２０４に進める。ステップＳ１２０５では、第１の実施形態と同様に、平均強度Ａ以上のエッジ強度のみを、対応する累積エッジ強度に加算する。一方、ステップＳ１２０４では、全てのエッジ強度Ｆ１〜Ｆ８を、対応する累積エッジ強度に加算する。

上記の処理により、エッジ強度の平均値と分散値に応じて局所領域エッジヒストグラムに加算するエッジ強度を決定するので、図１０（ａ）のように数方向だけエッジ強度が強い特徴をもつ場合にはその方向のエッジ強度だけを局所領域エッジグラムに加算する。一方、図１０（ｂ）のように全ての方向に同程度のエッジ強度をもつ場合には、全ての方向のエッジ強度を局所領域エッジヒストグラムに加算する。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 入力画像中の局所領域における着目画素について、規定数の方向のそれぞれに対するエッジ強度を計算する計算手段と、
   前記規定数の方向のうち、前記計算手段が計算したエッジ強度の統計量が既定の条件を満たす方向を選択する選択手段と、
   前記選択手段が選択した方向について前記計算手段が計算したエッジ強度を、当該方向について前記計算手段が従前に計算したエッジ強度に累積加算することで、当該方向に対する累積エッジ強度値を更新する更新手段と、
   前記局所領域を構成する全ての画素について前記計算手段、前記選択手段、前記更新手段による処理を行うことで得られる、前記規定数の方向のそれぞれに対する累積エッジ強度値を、前記局所領域におけるエッジ特徴量として出力する手段と
   を備えることを特徴とする画像処理装置。
2. 前記選択手段は、前記計算手段がそれぞれの方向について求めたエッジ強度の平均値を前記統計量として求め、求めた平均値よりも大きいエッジ強度に対応する方向を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、
   前記計算手段がそれぞれの方向について求めたエッジ強度の分散値、及び平均値を前記統計量として求め、
   前記分散値が閾値よりも大きい場合には、前記平均値よりも大きいエッジ強度に対応する方向を選択し、
   前記分散値が閾値以下である場合には、前記規定数の方向の全てを選択する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 計算手段が、入力画像中の局所領域における着目画素について、規定数の方向のそれぞれに対するエッジ強度を計算する計算工程と、
   選択手段が、前記規定数の方向のうち、前記計算工程で計算したエッジ強度の統計量が既定の条件を満たす方向を選択する選択工程と、
   更新手段が、前記選択工程で選択した方向について前記計算工程で計算したエッジ強度を、当該方向について前記計算工程で従前に計算したエッジ強度に累積加算することで、当該方向に対する累積エッジ強度値を更新する更新工程と、
   出力手段が、前記局所領域を構成する全ての画素について前記計算工程、前記選択工程、前記更新工程による処理を行うことで得られる、前記規定数の方向のそれぞれに対する累積エッジ強度値を、前記局所領域におけるエッジ特徴量として出力する工程と
   を備えることを特徴とする画像処理方法。
5. コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images