JP2006072829A - 画像認識システム及び画像認識方法 - Google Patents

Abstract

【課題】照明補正を行う前の元画像を対象として１度だけ作成したエリア総和テーブルを使用して少ない演算量で照明補正を考慮した画像認識の処理を行うことができる画像認識システム及び画像認識方法を提供する。
【解決手段】エリア総和テーブル作成部１６は、画像入力部１２から入力した画像のエリア総和テーブル（Summed-area tables）を作成し、エリア総和テーブル記憶部１８に格納する。シェーディング補正係数計算部２２や輝度分散計算部２４は、窓領域決定部２０によって設定された窓領域の画像を照明補正するための係数や輝度分散をエリア総和テーブル記憶部１８のデータを用いて計算する。矩形フィルタ計算部２６は、前記係数及び輝度分散とエリア総和テーブル記憶部１８のデータを用いて照明補正を施した画像に対する画像認識のための特徴量を算出する。
【選択図】 図１

Description

本発明は画像認識システム及び画像認識方法に係り、特にエリア総和テーブル（Summed-area tables）を利用した矩形フィルタによる画像認識の前処理として画像の照明補正を施す画像認識システム及び画像認識方法に関する。

デジタルカメラ等で得られた画像の中から顔などの特定の対象を自動検出する画像認識の技術が知られている。その１つとして、画像内に様々な位置や大きさの矩形領域を設定して矩形フィルタで各矩形領域の特徴量を求め、その特徴量に基づいて顔の位置等を認識する方法が知られている。

従来、矩形フィルタの演算を少ない演算量で実現する方法としてエリア総和テーブル（Summed-area tables）を使用する方法が提案されている。エリア総和テーブルは、例えば、認識対象の画像の左上隅の画素点を原点（０,０）として、その原点とある画素の座標（ｘ,ｙ）を対角とする矩形領域内の各画素の輝度値等の総和をその座標（ｘ,ｙ）に対するエリア総和値とすると共に、画像上の全ての画素の座標（ｘ,ｙ）に対するエリア総和値を予め求めてテーブル化したものである。このエリア総和テーブルにおけるエリア総和値の簡単な加減算によって画像内の所望の矩形領域内における各画素の輝度値等の総和を求めることができる。

ところで、上述のような画像認識において、不均一な照明環境で撮影された画像の場合には認識性能に大きな影響を及ぼす。認識性能に影響を及ぼす照明条件としては、（１）画像の輝度が局所的に異なること（２）画像によって輝度が異なること、などがある。そのため、一般的に、画像認識の前処理として照明補正（シェーディング補正）が行われている。上記（１）の照明条件の不具合に対する照明補正の方法としては、"Example-Based Learning for View-Based Human Face Detection"と称される方法が知られている (非特許文献１参照)。illumination gradient correctionは、画像上での照明光の輝度が平面的に傾斜しているものと仮定して重回帰分析によりその輝度平面（best-fit brightness plane）を求め、輝度平面が一定値となるように各画素の輝度値を補正する方法である。上記（２）の照明条件の不具合に対する照明補正の具体的な方法としては、輝度値の分散を正規化する方法がある。
IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.20,No1,January 1998 筆者 Kah-Kay Sung and Tomaso Poggio

一般に、画像認識の処理は、画像認識の処理を行う窓領域の位置や大きさを変えながら画像全体に対して行われる。上述のような照明補正も画面全体に対して行うのではなく、窓領域内の画像を対象として行うことが望ましい。しかしながら、その場合には、照明補正を行う前の元画像を対象として作成されたエリア総和テーブルを使用することができず、照明補正を行った後の画像のエリア総和テーブルを作成しなおす必要があるため演算量が増加するという不具合があった。

本発明はこのような事情に鑑みてなされたもので、照明補正を行う前の元画像を対象として１度だけ作成したエリア総和テーブルを使用して少ない演算量で照明補正を考慮した画像認識の処理を行うことができる画像認識システム及び画像認識方法を提供することを目的とする。

前記目的を達成するために、請求項１に記載の画像認識システムは、入力した画像に画像認識の処理を施す画像認識システムにおいて、前記画像の原点位置の画素と所定位置の画素とを対角とする矩形領域内に含まれる各画素の輝度値に応じた値の総和を前記所定位置に対するエリア総和値として算出すると共に、前記画像の全ての各画素の位置を前記所定位置としてエリア総和値を算出することによって、各画素の位置に対するエリア総和値を示すエリア総和テーブルを作成するエリア総和テーブル作成手段と、前記画像の領域内に窓領域を設定する窓領域設定手段と、前記窓領域設定手段によって設定された窓領域内において各画素の輝度との誤差が最小となる輝度平面の係数を前記エリア総和テーブル作成手段によって作成されたエリア総和テーブルを使用して算出する輝度平面係数算出手段と、前記窓領域設定手段によって設定された窓領域内の画像から画像認識のための特徴量を算出する特徴量算出手段であって、前記輝度平面による照明補正を考慮した特徴量を前記輝度平面係数算出手段によって算出された係数と、前記エリア総和テーブル作成手段によって作成されたエリア総和テーブルを使用して算出する特徴量算出手段と、を備えたことを特徴としている。

本発明によれば、照明補正する前に作成したエリア総和テーブルを使用して照明補正のための輝度平面の係数や、それによる照明補正を考慮した特徴量の算出が行われるため、照明補正を施した画像によってエリア総和テーブルを作成しなおす必要がなく、画像の輝度が局所的に異なる不具合を軽減する照明補正を施した画像の画像認識のための特徴量を少ない演算量で算出することができる。

請求項２に記載の画像認識システムは、請求項１に記載の発明において、前記窓領域設定手段によって設定された窓領域内の画像に対して前記輝度平面による照明補正を施した場合における前記窓領域内の輝度分散を前記エリア総和テーブル作成手段によって作成されたエリア総和テーブルを使用して算出する輝度分散算出手段を備え、前記特徴量算出手段は、前記輝度分散算出手段によって算出された輝度分散に基づいて、前記窓領域内の画像に対して前記輝度平面による照明補正を施し、かつ、前記窓領域内の輝度分散を正規化した場合に得られる特徴量を算出することを特徴としている。本発明は、輝度平面による照明補正を施した後に輝度分散を正規化した画像の特徴量を算出するようにした場合であり、画像によって輝度が異なることの不具合を軽減することができる。そして、この場合も照明補正を施す前の画像によって作成したエリア総和テーブルを使用して特徴量を算出することができるため演算量が少ない。

請求項３に記載の画像認識システムは、請求項１又は２に記載の発明において、前記エリア総和テーブル作成手段は、前記エリア総和値として、前記矩形領域内の各画素の輝度値の総和、前記画像の横方向に対する各画素の座標値と各画素の輝度値との積の総和、前記画像の縦方向に対する各画素の座標値と各画素の輝度値との積の総和、及び、各画素の輝度値を自乗した値の総和を算出することを特徴としている。本発明は、エリア総和テーブルのエリア総和値として算出しておく値の具体例を示したものである。

請求項４に記載の画像認識方法は、入力した画像に画像認識の処理を施す画像認識方法において、前記画像の原点位置の画素と所定位置の画素とを対角とする矩形領域内に含まれる各画素の輝度値に応じた値の総和を前記所定位置に対するエリア総和値として算出すると共に、前記画像の全ての各画素の位置を前記所定位置としてエリア総和値を算出することによって、各画素の位置に対するエリア総和値を示すエリア総和テーブルを作成するエリア総和テーブル作成工程と、前記画像の領域内に窓領域を設定する窓領域設定工程と、前記窓領域設定工程によって設定された窓領域内において各画素の輝度との誤差が最小となる輝度平面の係数を前記エリア総和テーブル作成工程によって作成されたエリア総和テーブルを使用して算出する輝度平面係数算出工程と、前記窓領域設定工程によって設定された窓領域内の画像から画像認識のための特徴量を算出する特徴量算出工程であって、前記輝度平面による照明補正を考慮した特徴量を前記輝度平面係数算出工程によって算出された係数と、前記エリア総和テーブル作成工程によって作成されたエリア総和テーブルを使用して算出する特徴量算出工程と、を備えたことを特徴としている。本発明は請求項１に記載の画像認識システムにおいて実施される方法の発明であり、請求項１と同様の効果を奏する。

請求項５に記載の画像認識方法は、請求項４に記載の発明において、前記窓領域設定工程によって設定された窓領域内の画像に対して前記輝度平面による照明補正を施した場合における前記窓領域内の輝度分散を前記エリア総和テーブル作成工程によって作成されたエリア総和テーブルを使用して算出する輝度分散算出工程を備え、前記特徴量算出工程は、前記輝度分散算出工程によって算出された輝度分散に基づいて、前記窓領域内の画像に対して前記輝度平面による照明補正を施し、かつ、前記窓領域内の輝度分散を正規化した場合に得られる特徴量を算出することを特徴としている。本発明は請求項２に記載の画像認識システムにおいて実施される方法の発明であり、請求項２と同様の効果を奏する。

請求項６に記載の画像認識方法は、請求項４又は５に記載の発明において、前記エリア総和テーブル作成工程は、前記エリア総和値として、前記矩形領域内の各画素の輝度値の総和、前記画像の横方向に対する各画素の座標値と各画素の輝度値との積の総和、前記画像の縦方向に対する各画素の座標値と各画素の輝度値との積の総和、及び、各画素の輝度値を自乗した値の総和を算出することを特徴としている。本発明は請求項３に記載の画像認識システムにおいて実施される方法の発明であり、請求項３と同様の効果を奏する。

本発明に係る画像認識システム及び画像認識方法によれば、照明補正を行う前の元画像を対象として１度だけ作成したエリア総和テーブルを使用して少ない演算量で照明補正を考慮した画像認識の処理を行うことができる。

以下、添付図面に従って本発明に係る画像認識システムの好ましい実施の形態について詳説する。

図１は、本発明が適用される画像認識システムの構成を示した処理ブロック図である。同図の画像認識システムは例えばパソコンなどのコンピュータにおいて構築されるシステムであり、同図の各処理部の処理は主にコンピュータのＣＰＵによって実行される。

同図において、コントロール部１０は各処理部の処理動作やデータの流れを制御することによって画像認識の処理を統括している。画像入力部１２は、例えば、デジタルカメラ等で撮影された認識対象の画像（画像データ）をデジタルカメラやメディア（ハードディスク、ディスクメディア、カードメディア等）等から入力し、画像メモリ１４に格納する。尚、画像メモリ１４に格納される画像データは各画素の輝度値とする。

エリア総和テーブル作成部１６は、画像メモリ１４に格納された認識対象の画像を読み込み、その画像のエリア総和テーブル（summed-area tables）を作成する。これによって作成されたエリア総和テーブルのデータはエリア総和テーブル記憶部１８に格納される。

エリア総和テーブルについて説明すると、まず、図２のように画像メモリ１４に格納された認識対象の画像全体の左上隅にある画素を原点とし、横方向をＸ軸、縦方向をＹ軸として各画素の座標をＸ−Ｙ座標の座標値(ｘ,ｙ)で表すものとする。尚、各画素のＸ座標値ｘ及びＹ座標値ｙは整数とし、各軸の方向に１画素分ずつ位置がずれるごとに座標値ｘ、ｙが１ずつ増加するものとする。

そして、原点(０,０)と、ある画素の座標(ｘ,ｙ)とを対角とする矩形領域５０を想定した場合に、その矩形領域５０内の各画素の輝度値等の総和をエリア総和値として算出する。ここで、各座標(ｘ',ｙ')の画素の輝度値をＺ(ｘ',ｙ')で表すと、エリア総和値として、各画素の輝度値Ｚ(ｘ',ｙ')の総和以外にも、各画素でのｘ'・Ｚ(ｘ',ｙ')、ｙ'・Ｚ(ｘ',ｙ')、Ｚ(ｘ',ｙ')²のそれぞれの値の総和が算出される。

即ち、原点(０,０)から座標(ｘ,ｙ)までの矩形領域５０において各画素の輝度値Ｚ(ｘ',ｙ')のエリア総和値Ｓ(ｘ,ｙ)は、次式(1)、

により算出される。エリア総和テーブル作成部１６は、このように算出されるエリア総和値Ｓ(ｘ,ｙ)を画像メモリ１４に格納されている認識対象の画像における全ての画素の座標(ｘ,ｙ)に対して算出し、各座標(ｘ,ｙ)に対するエリア総和値Ｓ(ｘ,ｙ)をエリア総和テーブルのデータとしてエリア総和テーブル記憶部１８に格納する。

同様に原点（０,０）から座標（ｘ,ｙ）までの各画素に対する値ｘ'・Ｚ(ｘ',ｙ')、ｙ'・Ｚ(ｘ',ｙ')、Ｚ(ｘ',ｙ')²の各々のエリア総和値Ｓ_x(ｘ,ｙ)、Ｓ_y(ｘ,ｙ)、Ｓ_Z(ｘ,ｙ)はそれぞれ次式(2)、(3)、(4)、

により算出される。エリア総和テーブル１６はこれらのエリア総和値Ｓ_x(ｘ,ｙ)、Ｓ_y(ｘ,ｙ)、Ｓ_Z(ｘ,ｙ)を画像メモリ１４に格納されている認識対象の画像における全ての画素の座標(ｘ,ｙ)に対して算出し、各座標(ｘ,ｙ)に対するエリア総和値Ｓ_x(ｘ,ｙ)、Ｓ_y(ｘ,ｙ)、Ｓ_Z(ｘ,ｙ)をエリア総和テーブルのデータとしてエリア総和テーブル記憶部１８に格納する。尚、上式(1)、(2)、(3)、(4)により作成されるエリア総和テーブルをそれぞれＺ、ｘＺ、ｙＺ、Ｚ²のエリア総和テーブルという。

図１の窓領域決定部２０は、画像メモリ１４に格納されている認識対象の画像の全領域のうち顔などの所定の対象を認識判定する窓領域を決定する。これによって図３に示すように認識対象の画像全体の領域内に４つの座標(Ｘ_L,Ｙ_U)、(Ｘ_L,Ｙ_D)、(Ｘ_R,Ｙ_U)、(Ｘ_R,Ｙ_D)を頂点とする矩形状の窓領域５２が設定される。窓領域はこの窓領域決定部２０によって画像全体の領域内における位置や大きさを変更しながら設定される。

図１のシェーディング補正係数計算部２２は、窓領域決定部２０によって設定された窓領域内の画像（画素）を対象として、illumination gradient correctionと呼ばれる照明補正（シェーディング補正）に使用される輝度平面（best-fit brightness plane）の係数を計算する。

ここで輝度平面について図４を参照して説明すると、図１のように認識対象の画像の横方向及び縦方向に設定されたＸ軸及びＹ軸に対して直交する方向に輝度値を表すＺ軸をとるものとする。そして、輝度平面Ｚ_C(ｘ,ｙ)の式を係数ａ、ｂ、ｃを用いて次式(5)、

により表すものとする。このとき各座標(ｘ,ｙ)での輝度平面の値Ｚ_C(ｘ,ｙ)と認識対象の画像の輝度値Ｚ(ｘ,ｙ)との差の二乗和が最小となるように係数ａ、ｂ、ｃを決定する。即ち、各座標(ｘ,ｙ)での輝度平面の値Ｚ_C(ｘ,ｙ)と認識対象の画像の輝度値Ｚ(ｘ,ｙ)との差の二乗和を補正誤差ｅとすると、補正誤差ｅは次式(6)、

により表され、この補正誤差ｅが最小となる係数ａ、ｂ、ｃを求めることによって輝度平面Ｚ_C(ｘ,ｙ)の式が決定される。尚、この処理は重回帰分析と同じ手順である。

このようにして求めた輝度平面の各座標(ｘ,ｙ)での値Ｚ_C(ｘ,ｙ)は、illumination gradient correctionによるシェーディング補正の各座標（ｘ,ｙ）での補正値を示す。もし、各画素の輝度値Ｚ(ｘ,ｙ)からその補正値Ｚ_C(ｘ,ｙ)を減算することによって認識対象の画像を補正したとすると、補正した画像の各画素の輝度値Ｚ'(ｘ,ｙ)（＝Ｚ(ｘ,ｙ)−Ｚ_C(ｘ,ｙ)）の平均値は０となり、局所的な輝度の違いがなくなり、画像全体の平均輝度も一定値となる。

シェーディング補正係数計算部２２は、上式(5)で表される輝度平面（補正値）Ｚ_C(ｘ,ｙ)の係数ａ、ｂ、ｃをエリア総和テーブル記憶部１８に格納されているエリア総和テーブルのデータを用いて算出する。

係数ａ、ｂ、ｃの計算式について説明すると、まず、図３のように認識対象の画像全体のＸ座標の最大値をＷ−１（横方向の画素数Ｗ）、Ｙ座標の最大値をＨ−１（縦方向の画素数Ｈ）とすると、画像全体における輝度平面の係数ａ、ｂ、ｃはそれぞれ次式(7)、(8)、(9)、

によって表される。一方、輝度平面の式は、窓領域決定部２０によって図３のように設定された窓領域に限定した範囲で求められ、そのときの係数ａ、ｂ、ｃは、上式(7)、(8)、(9)を窓領域に限定した次式(10)、(11)、(12)

によって求められる。

上式(10)、(11)、(12)において右辺の各項に現れる総和演算は、エリア総和テーブル記憶部１８に格納されているＺ、ｘＺ、ｙＺのエリア総和テーブルのエリア総和値Ｓ(ｘ,ｙ)、Ｓ_x(ｘ,ｙ)、Ｓ_y(ｘ,ｙ)を用いて次式(13)、(14)、(15)、

のように表されるため、エリア総和テーブル記憶部１８に格納されているＺ、ｘＺ、ｙＺのエリア総和テーブルのエリア総和値Ｓ(ｘ,ｙ)、Ｓ_x(ｘ,ｙ)、Ｓ_y(ｘ,ｙ)を用いることで少ない演算量で係数ａ、ｂ、ｃを算出することができる。

図１の輝度分散計算部２４は、上記シェーディング補正係数計算部２２によって算出された係数ａ、ｂ、ｃの輝度平面（補正値）によって窓領域の画像をシェーディング補正したと仮定した場合に、その補正した窓領域の画像の輝度値の分散を計算する。各画素の輝度値Ｚ(ｘ,ｙ)の分散Ｖ(Ｚ)は、次式(16)、

によって与えられるが、上記illumination gradient correctionによってシェーディング補正を行った画像の各画素の輝度値Ｚ'(ｘ,ｙ)の分散Ｖ(Ｚ')は、重回帰分析の理論により、次式(17)、

によって表される。但し、Ｎは全画素数である。また、式(17)を変形すると、次式(18)、

のように表される。分散Ｖ(Ｚ')は、窓領域決定部２０によって図３のように設定された窓領域に対して求められ、その場合、窓領域の左上隅の画素を原点（０,０）とすると、上式(17)、(18)において(Ｗ−１)は(Ｘ_R−Ｘ_L)、(Ｈ−１)は(Ｙ_D−Ｙ_U)と置き換えられ、Ｎは、窓領域内の画素数、即ち、Ｎ＝(Ｘ_R＋１−Ｘ_L)×（Ｙ_D＋１−Ｙ_U）となる。

輝度分散計算部２４は、エリア総和テーブル記憶部１８に格納されているエリア総和テーブルのデータを使用して上式(18)からillumination gradient correctionによるシェーディング補正後の輝度分散Ｖ(Ｚ')を算出する。即ち、上式(18)の右辺の第１項Ｖ(Ｚ)は、エリア総和テーブル記憶部１８に格納されているＺとＺ²のエリア総和テーブルのエリア総和値Ｓ(ｘ,ｙ)とＳ_Z(ｘ,ｙ)から計算でき、第２項は、上式(13)、(14)、(15)を適用してＺ、ｘＺ、ｙＺのエリア総和テーブルのエリア総和値Ｓ(ｘ,ｙ)、Ｓ_x(ｘ,ｙ)、Ｓ_y(ｘ,ｙ)から計算することができる。

図１の矩形フィルタ計算部２６は、ある矩形領域内の各画素の輝度値に基づいて所定の演算処理を行う矩形フィルタである。画像認識で矩形フィルタを使う場合、画像をスキャンしながら様々な位置や大きさの領域に対して矩形フィルタの出力値を算出し、その出力値を画像認識のための特徴量としている。例えば、矩形フィルタ計算部２６は、図５に示すように座標(ｘ１＋１,ｙ１＋１)、(ｘ２,ｙ１＋１)、(ｘ１＋１,ｙ２)、(ｘ２,ｙ２)を頂点とする矩形領域Ａ１（面積をＮ１とする）の平均輝度値Ｒ１とその右隣にある座標(ｘ２＋１,ｙ１＋１)、(ｘ３,ｙ１＋１)、(ｘ２＋１,ｙ２)、(ｘ３,ｙ２)を頂点とする矩形領域Ａ２（面積をＮ１とする）の平均輝度値Ｒ２との差Ｒ１−Ｒ２を算出し、その値を特徴量とする。このような矩形領域Ａ１、Ａ２は窓領域決定部２０により設定された窓領域内において設定される。尚、矩形フィルタの演算処理の対象領域は、２つの矩形領域とは限らず、各矩形領域の面積が同じであるとも限らない。また、隣り合っている必要もない。

平均輝度値Ｒ１やＲ２は、エリア総和テーブル記憶部１８に格納されている輝度値Ｚのエリア総和テーブルのエリア総和値Ｓ(ｘ,ｙ)を使用して少ない演算量によって計算することができる。即ち、平均輝度値Ｒ１、Ｒ２は次式(19)、(20)、

により表される。従って、これらの差Ｒ１−Ｒ２は、次式(21)、

により算出される。また、Ｎ１は、次式(22)、

により算出される。

一方、上式(21)によって得られる値Ｒ１−Ｒ２は、シェーディング補正係数計算部２２で算出された係数ａ、ｂ、ｃの輝度平面や輝度分散計算部２４によって算出された輝度分散によってシェーディング補正する前の画像に対して得られる値であり、矩形フィルタ計算部２６はシェーディング補正後の画像に対して矩形フィルタを適用した場合の平均輝度値の差Ｒ１−Ｒ２を次のように算出する。

illumination gradient correctionによるシェーディング補正では、矩形フィルタを適用する矩形領域の１画素（ピクセル）当たりの補正量（引き算する量）がその領域の中央の画素での補正量に等しい。これに着目して、矩形フィルタの計算をエリア総和テーブル記憶部に格納されているエリア総和テーブルを使用して高速で行いながら補正量を反映させる。

そこでまず、窓領域決定部２０によって設定された窓領域の左上隅の座標を原点(０,０)に置き換える。そして図５のように矩形フィルタが適用される矩形領域Ａ１の１画素あたりの補正量Ｚ_C,A1は、シェーディング補正係数計算部２２で算出された係数ａ、ｂ、ｃを用いて次式(23)、

で求められる。座標(（ｘ１＋１＋ｘ２）／２,（ｙ１＋１＋ｙ２）／２)は矩形領域Ａ１の中心点である。同様に矩形領域Ａ２の補正量Ｚ_C,A2は、次式(24)、

で求められる。従って、シェーディング補正を行った画像に対する矩形フィルタの出力値Ｒ'_1-2は、次式(25)、

により計算することができる。即ち、入力画像のなかで認識処理を行う窓領域が移動してシェーディング補正を行う領域が変わっても、最初に作成してエリア総和テーブル記憶部１８に記憶されているエリア総和テーブルのエリア総和値Ｓ(ｘ,ｙ)を使ってシェーディング補正を反映した矩形フィルタの計算が可能となる。

また、矩形フィルタ計算部２６は、輝度分散計算部２４において計算された輝度分散Ｖ(Ｚ')を取得し、矩形フィルタの上記出力値Ｒ'_1-2を（Ｌ／Ｖ(Ｚ')）^1/2倍する。これによって、illumination gradient correctionによるシェーディング補正後の輝度値の分散をＬに正規化して矩形フィルタの出力値Ｒ'_1-2を計算したのと同じ結果を得ることができる。

図１の特徴量判定部２８は、矩形フィルタ計算部２６によって計算された矩形フィルタの出力値（補正された出力値）を特徴量としてその特徴量に基づいて顔などの所定の対象を認識するための判定を行う。画像認識最終処理部３０では、画像全体に対する判別処理結果をもとに認識の最終処理を行い、認識結果出力部３２は、その認識結果をモニタなどに出力する。

特徴量判定部２８及び画像認識最終処理部３０の処理の一例を説明すると、ある矩形フィルタ1の計算出力値をg₁とすると（上記矩形フィルタ計算部２６の演算例ではＲ１−Ｒ２）、出力値g₁によって何らかの値を出力する関数をf₁とする。関数f₁の例としては、g₁がある閾値θ₁以上であれば１を返し、未満であれば−１を返すような関数がある。つまり、

である。これらの関数を重み係数αで重み付けして足し合わせ

のようにある閾値β以上であれば認識対象物であると判定し、そうでなければ認識対象物ではないと判定する（Ｍは特徴量の数）。関数ｆや係数θ、α、βは学習や統計処理の最適化により決定する。

画像認識最終処理部３０は、すべての窓領域の特徴量判定を行った後、画像全体をみて認識対象物であると判定した窓領域が重なっている領域では、

が最も高い値を持つ窓領域を最も認識対象物である可能性が高いと推定して残し、他の重なっている窓領域は消去する。

図６は、以上の各処理部での処理手順を示したフローチャートである。まず、認識対象の画像を画像入力部１２から入力し、その画像を画像メモリ１４に格納する（ステップＳ１０）。続いて、画像メモリ１４に格納した画像の輝度値に基づいてＺ、ｘＺ、ｙＺ、Ｚ²のエリア総和テーブルをエリア総和テーブル作成部１６によって作成し、そのエリア総和テーブルのデータをエリア総和テーブル記憶部１８に格納する（ステップＳ１２）。

次に、以下のステップＳ１４からステップＳ２０までの処理をステップＳ１４においてＮＯと判定されるまで繰り返す。ステップＳ１４の判定処理では、窓領域決定部２０によって設定変更されるべき位置や大きさの窓領域のうち、設定されていない窓領域が残っているか否かを判定する。ＹＥＳと判定した場合には、窓領域決定部２０によって新たな窓領域を設定する。そして、その窓領域において、シェーディング補正のための輝度平面の係数ａ、ｂ、ｃをシェーディング補正係数計算部２２によって算出すると共に、illumination gradient correctionによりシェーディング補正を施したと仮定した場合の画像の輝度分散を輝度分散計算部２４によって算出する（ステップＳ１６）。

次に、エリア総和テーブル記憶部１８に格納されたエリア総和テーブルと、シェーディング補正係数計算部２２によって算出された係数と、輝度分散計算部２４によって算出された輝度分散とを使用してシェーディング補正（輝度分散の正規化も含む）を考慮した矩形フィルタの出力値を矩形フィルタ計算部２６によって計算すると共に、矩形フィルタを適用する矩形領域を窓領域内で変更しながら矩形フィルタの出力値を特徴量として取得して画像認識のための特徴量を抽出する（ステップＳ１８）。

続いて、ステップＳ１８において抽出した特徴量を元に画像認識のための判別処理を特徴量判定部２８によって行う（ステップＳ２０）。そして、ステップＳ１４に戻る。

ステップＳ１４においてＮＯと判定した場合には、画像全体の判別処理結果を元に画像認識の最終処理を画像認識最終処理部３０によって実行し（ステップＳ２２）、その認識結果を認識結果出力部３２によってモニタ等に出力する（ステップＳ２４）。以上によって画像認識の処理が終了する。

本発明が適用される画像認識システムの構成を示した処理ブロック図。 エリア総和テーブルの説明に使用した説明図。 窓領域に関する説明に使用した説明図。 輝度平面（best-fit brightness plane）の説明に使用した説明図。 矩形フィルタの説明に使用した説明図。 画像認識システムの各処理部によって行われる処理手順を示したフローチャート。

符号の説明

１０…コントロール部、１２…画像入力部、１４…画像メモリ、１６…エリア総和テーブル作成部、１８…エリア総和テーブル記憶部、２０…窓領域決定部、２２…シェーディング補正係数計算部、２４…輝度分散計算部、２６…矩形フィルタ計算部、２８…特徴量判定部、３０…画像認識最終処理部、３２…認識結果出力部

Claims (6)

1. 入力した画像に画像認識の処理を施す画像認識システムにおいて、
   前記画像の原点位置の画素と所定位置の画素とを対角とする矩形領域内に含まれる各画素の輝度値に応じた値の総和を前記所定位置に対するエリア総和値として算出すると共に、前記画像の全ての各画素の位置を前記所定位置としてエリア総和値を算出することによって、各画素の位置に対するエリア総和値を示すエリア総和テーブルを作成するエリア総和テーブル作成手段と、
   前記画像の領域内に窓領域を設定する窓領域設定手段と、
   前記窓領域設定手段によって設定された窓領域内において各画素の輝度との誤差が最小となる輝度平面の係数を前記エリア総和テーブル作成手段によって作成されたエリア総和テーブルを使用して算出する輝度平面係数算出手段と、
   前記窓領域設定手段によって設定された窓領域内の画像から画像認識のための特徴量を算出する特徴量算出手段であって、前記輝度平面による照明補正を考慮した特徴量を前記輝度平面係数算出手段によって算出された係数と、前記エリア総和テーブル作成手段によって作成されたエリア総和テーブルを使用して算出する特徴量算出手段と、
   を備えたことを特徴とする画像認識システム。
2. 前記窓領域設定手段によって設定された窓領域内の画像に対して前記輝度平面による照明補正を施した場合における前記窓領域内の輝度分散を前記エリア総和テーブル作成手段によって作成されたエリア総和テーブルを使用して算出する輝度分散算出手段を備え、前記特徴量算出手段は、前記輝度分散算出手段によって算出された輝度分散に基づいて、前記窓領域内の画像に対して前記輝度平面による照明補正を施し、かつ、前記窓領域内の輝度分散を正規化した場合に得られる特徴量を算出することを特徴とする請求項１の画像認識システム。
3. 前記エリア総和テーブル作成手段は、前記エリア総和値として、前記矩形領域内の各画素の輝度値の総和、前記画像の横方向に対する各画素の座標値と各画素の輝度値との積の総和、前記画像の縦方向に対する各画素の座標値と各画素の輝度値との積の総和、及び、各画素の輝度値を自乗した値の総和を算出することを特徴とする請求項１又は２の画像認識システム。
4. 入力した画像に画像認識の処理を施す画像認識方法において、
   前記画像の原点位置の画素と所定位置の画素とを対角とする矩形領域内に含まれる各画素の輝度値に応じた値の総和を前記所定位置に対するエリア総和値として算出すると共に、前記画像の全ての各画素の位置を前記所定位置としてエリア総和値を算出することによって、各画素の位置に対するエリア総和値を示すエリア総和テーブルを作成するエリア総和テーブル作成工程と、
   前記画像の領域内に窓領域を設定する窓領域設定工程と、
   前記窓領域設定工程によって設定された窓領域内において各画素の輝度との誤差が最小となる輝度平面の係数を前記エリア総和テーブル作成工程によって作成されたエリア総和テーブルを使用して算出する輝度平面係数算出工程と、
   前記窓領域設定工程によって設定された窓領域内の画像から画像認識のための特徴量を算出する特徴量算出工程であって、前記輝度平面による照明補正を考慮した特徴量を前記輝度平面係数算出工程によって算出された係数と、前記エリア総和テーブル作成工程によって作成されたエリア総和テーブルを使用して算出する特徴量算出工程と、
   を備えたことを特徴とする画像認識方法。
5. 前記窓領域設定工程によって設定された窓領域内の画像に対して前記輝度平面による照明補正を施した場合における前記窓領域内の輝度分散を前記エリア総和テーブル作成工程によって作成されたエリア総和テーブルを使用して算出する輝度分散算出工程を備え、前記特徴量算出工程は、前記輝度分散算出工程によって算出された輝度分散に基づいて、前記窓領域内の画像に対して前記輝度平面による照明補正を施し、かつ、前記窓領域内の輝度分散を正規化した場合に得られる特徴量を算出することを特徴とする請求項４の画像認識方法。
6. 前記エリア総和テーブル作成工程は、前記エリア総和値として、前記矩形領域内の各画素の輝度値の総和、前記画像の横方向に対する各画素の座標値と各画素の輝度値との積の総和、前記画像の縦方向に対する各画素の座標値と各画素の輝度値との積の総和、及び、各画素の輝度値を自乗した値の総和を算出することを特徴とする請求項４又は５の画像認識方法。
   
   

Images