JP2000137820A

JP2000137820A - 画像処理装置および方法、並びに提供媒体

Info

Publication number: JP2000137820A
Application number: JP10326036A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Junichi Ishibashi; 淳一石橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-10-30
Filing date: 1998-10-30
Publication date: 2000-05-16

Abstract

(57)【要約】【課題】対象物の移動に拘わらず、認識できるように
する。【解決手段】撮像部２に撮像された画像は、量子化部
１１−１により量子化され、その量子化結果を用いて、
クラス分類部１２−１は、クラス番号を所定の方法によ
り付加し、そのクラス番号を用いて、ヒストグラム演算
部１３−１は、ヒストグラムを作成する。マッチング判
定部１４は、ヒストグラム演算部１３−１から出力され
たヒストグラムと、ヒストグラム演算部１２−２から出
力された記憶部４に記憶された画像のヒストグラムとを
用いて、マッチング度を判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置および
方法、並びに提供媒体に関し、特に、画像をクラス分類
し、そのクラス分類の結果に応じたヒストグラムを作成
し、その作成されたヒストグラムを用いて２つの画像の
類似性を判定するようにした画像処理装置および方法、
並びに提供媒体に関する。

【０００２】

【従来の技術】従来の画像認識の一例として、テンプレ
ートマッチングがある。このテンプレートマッチングで
は、予め認識させたい画像の参照用の画像がビデオカメ
ラなどにより撮像され、保持される。そして、保持され
た参照用の画像と、認識させるために新たに撮像された
テスト画像とが、例えば、差分を取ることにより、類似
度が調べられる。このようなテンプレートマッチングで
は、保持された画像との単純な比較から類似度が判断さ
れるので、保持した画像とテスト画像との間の少しの違
いでも、その結果に大きな違いが生じることがあった。
すなわち、ロバスト性にかけていた。

【０００３】しかしながら、類似度を判定したいテスト
画像は、常に画面上、同じ位置に存在するわけではな
く、回転、平行移動、ズームなどの変化を受けることが
多い。従って、保持された画像と単純に比較するだけで
は、結果に大きな違いが生じてしまうので、特定のサー
チエリアを設定し、そのエリア内全体で回転、平行移
動、ズームなどの変化をくまなく調べることにより、ロ
バスト性の低さを補うようにされていた。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
たように、特定のサーチエリアを設定することにより、
ロバスト性の低さを補うようにした場合、多くの条件に
ついてサーチする必要性があり、その為に、演算量が多
くなるといった課題があった。また、設定されたサーチ
エリア外の変化に対しては、対処できないといった課題
があった。

【０００５】本発明はこのような状況に鑑みてなされた
ものであり、画像をクラス分類し、そのクラス分類の結
果に応じたヒストグラムを作成し、その作成されたヒス
トグラムを用いて２つの画像の類似性を判定するもので
ある。

【０００６】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、処理対象の対象画像を取り込む取り込み手段
と、対象画像に対応する複数の参照画像を記憶する記憶
手段と、取り込み手段により取り込まれた対象画像また
は記憶手段により記憶されている参照画像を量子化する
量子化手段と、量子化手段により量子化された画像をク
ラス分類する分類手段と、分類手段により分類された画
像を基に、ヒストグラムを作成する作成手段と、作成手
段により作成された、取り込み手段により取り込まれた
対象画像から得られたヒストグラムと、記憶手段に記憶
されている参照画像から得られたヒストグラムとを用い
て類似度を判定する判定手段とを備えることを特徴とす
る。

【０００７】請求項５に記載の画像処理方法は、処理対
象の対象画像を取り込む取り込みステップと、対象画像
の複数の参照画像を記憶する記憶ステップと、取り込み
ステップで取り込まれた対象画像または記憶ステップで
記憶されている参照画像を量子化する量子化ステップ
と、量子化ステップで量子化された画像をクラス分類す
る分類ステップと、分類ステップで分類された画像を基
に、ヒストグラムを作成する作成ステップと、作成ステ
ップで作成された、取り込みステップで取り込まれた対
象画像から得られたヒストグラムと、記憶ステップで記
憶されている参照画像から得られたヒストグラムとを用
いて類似度を判定する判定ステップとを含むことを特徴
とする。

【０００８】請求項６に記載の提供媒体は、処理対象の
対象画像を取り込む取り込みステップと、対象画像の複
数の参照画像を記憶する記憶ステップと、取り込みステ
ップで取り込まれた対象画像または記憶ステップで記憶
されている参照画像を量子化する量子化ステップと、量
子化ステップで量子化された画像をクラス分類する分類
ステップと、分類ステップで分類された画像を基に、ヒ
ストグラムを作成する作成ステップと、作成ステップで
作成された、取り込みステップで取り込まれた対象画像
から得られたヒストグラムと、記憶ステップで記憶され
ている参照画像から得られたヒストグラムとを用いて類
似度を判定する判定ステップとを含む処理を画像処理装
置に実行させるコンピュータが読みとり可能なプログラ
ムを提供することを特徴とする。

【０００９】請求項１に記載の画像処理装置、請求項５
に記載の画像処理方法、および請求項６に記載の提供媒
体においては、取り込まれた対象画像または記憶されて
いる参照画像が量子化され、量子化された画像がクラス
分類され、分類された画像を基に、ヒストグラムが作成
され、取り込まれた対処画像から得られたヒストグラム
と、記憶されている参照画像から得られたヒストグラム
とが用いられて類似度が判定される。

【００１０】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。また、従来の場合と対応す
る部分には同一の符号を付してあり、その説明は適宜省
略する。

【００１１】請求項１に記載の画像処理装置は、処理対
象の対象画像を取り込む取り込み手段（例えば、図２の
撮像部２）と、対象画像の複数の参照画像を記憶する記
憶手段（例えば、図２の記憶部４）と、取り込み手段に
より取り込まれた対象画像または記憶手段により記憶さ
れている参照画像を量子化する量子化手段（例えば、図
２の量子化部１１−１）と、量子化手段により量子化さ
れた画像をクラス分類する分類手段（例えば、図２のク
ラス分類部１２−１）と、分類手段により分類された画
像を基に、ヒストグラムを作成する作成手段（例えば、
図２のヒストグラム演算部１２−１）と、作成手段によ
り作成された、取り込み手段により取り込まれた対象画
像から得られたヒストグラムと、記憶手段に記憶されて
いる参照画像から得られたヒストグラムとを用いて類似
度を判定する判定手段（例えば、図２のマッチング判定
部１４）とを備えることを特徴とする。

【００１２】図１は、本発明の画像処理装置の一実施の
形態の構成を示すブロック図である。撮像部２は、例え
ば、ビデオカメラなどで構成され、被写体の画像を撮像
する。撮像部２により撮像された画像は、演算部３に入
力される。演算部３は、撮像部２により撮像された画像
と、記憶部４に記憶されている画像、または、送受信部
５により受信された画像とを用いて、後述する演算を行
う。演算部３により演算が施された画像は、記憶部４に
記憶されるか、または、送受信部５により、ネットワー
ク（不図示）を介して他の装置に送信される。

【００１３】図２は、演算部３の内部構成を示すブロッ
ク図である。撮像部２により撮像された画像のデータ
は、演算部３の量子化部１１−１を介してクラス分類部
１２−１に入力される。クラス分類部１２−１は、後述
するクラス分類の方法に従って、入力されたデータを分
類し、ヒストグラム演算部１３−１に出力する。ヒスト
グラム演算部１３−１は、入力されたデータをもとに、
ヒストグラムを作成し、マッチング判定部１４に出力す
る。

【００１４】同様に、記憶部４に記憶されているデー
タ、または送受信部５により受信されたデータは、量子
化部１１−２を介してクラス分類部１２−２に入力され
る。クラス分類部１２−２に入力されたデータは、クラ
ス分類され、ヒストグラム演算部１３−２に出力され
る。ヒストグラム演算部１３−２は、入力されたデータ
を基に、ヒストグラムを作成し、マッチング判定部１４
に出力する。

【００１５】マッチング判定部１４は、ヒストグラム演
算部１３−１から出力されたヒストグラムと、ヒストグ
ラム演算部１３−２から出力されたヒストグラムとを比
較することにより、類似度（マッチング度）を判定し、
その判定結果を、記憶部４または送受信部５に出力す
る。

【００１６】画像処理装置１の動作について、図３のフ
ローチャートを参照して説明する。ここでは、記憶部４
に参照画像が既に所定枚数記憶されており、その参照画
像と、撮像部２で撮像された画像との類似度を算出する
場合を例にあげて説明する。また、撮像部２により撮像
された画像と、記憶部４に記憶されている画像は、演算
部３においては、同様の処理が施されるので、ここで
は、撮像部２により撮像された画像の処理について説明
する。

【００１７】ステップＳ１において、量子化部１１−１
は、量子化タップ（パターン）の形状を設定する。この
量子化タップの形状は、例えば、図４に示したように、
１つの画素を注目画素とし、その注目画素の上下左右方
向に位置する画素の、合計５画素からなる十字の形状で
ある。なお、注目画像の上下左右方向に位置する画素
は、注目画素に隣接する画素でも良いし、所定数の画素
を飛ばした位置に存在する画素でもよい。

【００１８】量子化タップは、画像中の所定領域を走査
し、クラス分類する際に用いられるパターンである。そ
して、例えば、走査する方向が左上から右下にかけて行
われる場合、量子化タップは、初期位置として、左上に
設定される。そのため、量子化タップの水平方向の移動
量dhと垂直方向の移動量dvは、ステップＳ１において、
それぞれ初期値である０に設定される。

【００１９】ステップＳ２において、量子化部１１−１
は、設定した量子化タップの垂直方向の移動量dvが画像
データの垂直方向サイズＶ以下であるか否かを判断す
る。移動量dvが垂直方向サイズＶ以下であると判断され
た場合、ステップＳ３に進み、水平方向の移動量dhが画
像データの水平方向サイズＨ以下であるか否かが判断さ
れる。ステップＳ３において、移動量dhが水平方向サイ
ズＨ以下であると判断された場合、ステップＳ４に進
む。

【００２０】ステップＳ４において、量子化部１１−１
は、量子化処理を行う。図５は、量子化処理の詳細を説
明するフローチャートである。ステップＳ２１におい
て、ダイナミックレンジＤＲが次式に従って算出され
る。ＤＲ＝ＭＡＸ−ＭＩＮ・・・（１）ここで、ＭＡＸは量子化タップ内の画素の画素値の最大
値であり、ＭＩＮは量子化タップ内の画素の画素値の最
小値である。

【００２１】ステップＳ２２において、ダイナミックレ
ンジＤＲがしきい値Ｔｈ１以下であるか否かが判断され
る。ダイナミックレンジＤＲがしきい値Ｔｈ１以下では
ないと判断された場合、ステップＳ２３に進む。ステッ
プＳ２３において、しきい値Ｔｈ２が、次式に従って算
出される。

【００２２】ステップＳ２４において、ステップＳ２３
において算出されたしきい値Ｔｈ２をしきい値として、
量子化タップ内の画素が量子化される。量子化が終了さ
れた場合、またはステップＳ２２において、ダイナミッ
クレンジＤＲがしきい値Ｔｈ１以下であると判断された
場合、図３のステップＳ５に進む。

【００２３】ステップＳ５において、クラス分類部１２
−１は、量子化部１１−１から出力された量子化結果に
応じて、クラス番号の割り当てを行う。

【００２４】図３のステップＳ４の量子化処理とステッ
プＳ５において行われるクラス番号の割り当てについ
て、図６を参照して説明する。図６（Ａ）は、２進数で
量子化された量子化タップ内の量子化結果を示し、図６
（Ｂ）は、量子化タップ内の画素に割り当てられたクラ
スビットを示し、図６（Ｃ）は、この量子化タップに割
り当てられたクラス番号を示している。すなわち、図６
（Ｂ）に示した順に、図６（Ａ）に示した量子化結果を
配列すると、図６（Ｃ）に示したクラス番号になる。

【００２５】ステップＳ２２において、ダイナミックレ
ンジＤＲがしきい値Ｔｈ１以下であると判断され、ステ
ップＳ５の処理に来た場合、クラス番号は、０００００
が割り当てられる。

【００２６】このようにして、量子化され、クラス番号
が割り当てられたら、図３のステップＳ６に進み、水平
方向の移動量dhの値が１だけインクリメントされ、ステ
ップＳ２に戻り、それ以降の処理が繰り返される。

【００２７】一方、ステップＳ３において、水平方向の
移動量dhが画像データの水平方向サイズＨ以下ではない
と判断された場合、ステップＳ７に進む。ステップＳ３
からステップＳ７に進む場合は、画像データの右端まで
量子化タップが移動した場合であるので、次のラインの
左端まで量子化タップを移動させるために、ステップＳ
７においては、垂直方向の移動量dvが１だけインクリメ
ントされ、水平方向の移動量dhは０に設定される。この
ようにして設定された（移動された）量子化タップに対
して、ステップＳ２以降の処理が繰り返される。

【００２８】ステップＳ２において、量子化タップの垂
直方向の移動量dvが、画像データの垂直方向サイズＶ以
下ではないと判断された場合、換言すると、１画像内の
全てのデータに対してクラス分類が終了されたと判断さ
れた場合、ステップＳ８に進む。ステップＳ８におい
て、ヒストグラム演算部１３−１は、クラス分類部１２
−１から出力されたクラス番号のデータに従って、ヒス
トグラムを作成する。作成されたヒストグラムは、マッ
チング判定部１４に出力される。

【００２９】記憶部４に記憶されている画像も、量子化
部１１−２、クラス分類部１２−２、およびヒストグラ
ム演算部１３−２により、ステップＳ１乃至Ｓ８の処理
が施され、その画像のヒストグラムが、マッチング判定
部１４に出力される（予め生成されたヒストグラムを記
憶部４に記憶させておき、それをマッチング判定部１４
に供給するようにしてもよい）。

【００３０】ステップＳ９において、マッチング判定部
１４は、撮像部３により撮像された画像と、記憶部４に
記憶されている画像との類似度を算出する。類似度の算
出は、得られたヒストグラムの正規化相関を調べること
により行われる。正規化相関式の一例を以下に示す。

【数１】この式（３）において、Ｒはリファレンスの画像（記憶
部４に記憶されている画像）を示し、Ｔはテスト画像
（撮像部２により撮像された画像）を示す。また、各ア
ルファベットの添え字は、画像内の画素の位置を示し、
上部の横線は、平均を表す。

【００３１】式（３）により、類似度を算出する場合、
その値が１に近いほど、類似していることを示してい
る。ここでは、式（３）を用いて類似度を算出する。

【００３２】ステップＳ１０において、撮像部２により
撮像された１画像に対し、記憶部４に記憶されている全
ての画像との類似度が判定されたか否かが判断される。
ステップＳ１０において、まだ類似度が判定されていな
い画像があると判断された場合、ステップＳ９に戻り、
その類似度が判定されていない画像との類似度が判定さ
れる。一方、ステップＳ１０において、撮像部２により
撮像された１画像に対し、記憶部４に記憶されている全
ての画像との類似度が判定されたと判断された場合、ス
テップＳ１１に進む。

【００３３】ステップＳ１１において、最大類似度がし
きい値Ｔｈ３以下であるか否かが判断される。最大類似
度は、ステップＳ９において判定（算出）された値の中
で、最も１に近い値である。また、しきい値Ｔｈ３は、
類似度の値がその値以下である場合は、類似していると
は判断しない値として設定されている。

【００３４】ステップＳ１１において、最大類似度がし
きい値Ｔｈ３以下ではないと判断された場合、ステップ
Ｓ１２に進み、その最大類似度であるとされた、記憶部
４に記憶されている画像が、撮像部２で撮像された画像
とマッチした画像として、判定される。一方、ステップ
Ｓ１１において、最大類似度がしきい値Ｔｈ３以下であ
ると判断された場合、ステップＳ１３に進み、記憶部４
には、撮像部５により撮像された画像とマッチする画像
は記憶されていないと判定される。

【００３５】このようにして、記憶部４に記憶されてい
る画像と撮像部２により撮像された画像との類似度を判
定するような画像処理装置１は、例えば、テレビ会議シ
ステムにおいて、参加者の顔の向きを測定する場合など
に用いられる。すなわち、記憶部４に、予め参加者のさ
まざまな角度から撮像された画像を、その画像が撮像さ
れたときの基準点からの角度と関連づけて記憶させてお
く。そして、撮像部２により撮像された参加者の画像
と、最も類似度が高い画像を、記憶部４に記憶されてい
る画像から、上述したような処理により、探し出すこと
により、参加者の向いている向きを判定することが可能
となる。参加者の向いている向きを判定することによ
り、例えば、その参加者が向いている方に位置するスピ
ーカからの発言の音量レベルを、他のスピーカからの発
言よりも高くするなどの処理を行うことができるように
なる。

【００３６】ここで、上述した画像処理装置１の動作に
ついて、具体的な画像の例を挙げて説明する。まず、記
憶部４には、図７乃至図９の画像が記憶される。図７に
示した画像では、被写体は、撮像部２に向かって右側に
向いており、図８に示した画像では、被写体は、撮像部
２に向かって正面を向いており、図９に示した画像で
は、被写体は、撮像部２に向かって左側に向いている。
このような画像を、量子化部１１−２は、図１０（Ａ）
に示したような量子化タップを用いて量子化し、クラス
分類部１２−２は、図１０（Ｂ）に示したように設定さ
れたクラスビットの割り当て規則を用いて、図１０
（Ｃ）に示したように、量子化されたデータをクラスビ
ットの配置に従って配置することにより、クラス番号を
割り当てる。

【００３７】なお、図１０（Ａ）に示した量子化タップ
では、注目画素の左右、それぞれ６画素離れた画素と、
さらにその画素から２画素離れた画素が用いられ、注目
画素の上下、それぞれ２画素離れた画素と、さらにその
画素から２画素離れた画素が用いられる。このような量
子化タップを用い、図１０（Ｂ）に示したようにクラス
ビットを割り当て、その割り当てられた順（図１０
（Ｃ）に示した順）に量子化タップ内の各画素の量子化
された結果を配列することにより、クラス番号が得られ
る。

【００３８】このようにして得られた８ビットのクラス
番号を輝度情報に変換して得られた画像を、図１１乃至
図１３に示す。図１１は、図７に示した画像に対応し、
図１２は、図８に示した画像に対応し、図１３は、図９
に示した画像に対応している。

【００３９】図１４は、横軸にクラス番号、縦軸にその
クラス番号の度数を示したクラスヒストグラムであり、
図７の右向きの画像に対応する。同様に、図１５は、図
８に示した正面の画像に対応するヒストグラムであり、
図１６は、図９に示した左向きの画像に対応するヒスト
グラムである。

【００４０】図７乃至図９に示した画像が、記憶部４に
記憶されており、それぞれの画像は、量子化部１１−
２、クラス分類部１２−２、およびヒストグラム演算部
１２−２の、各部により処理が施されることにより、そ
れぞれ、図１４乃至図１６に示したヒストグラムが得ら
れる。このようなヒストグラムが得られた状態で、図１
７に示した被写体の画像が、撮像部２により撮像され、
この画像と類似度が高い画像を、記憶部４に記憶されて
いる画像から探索する場合を考える。

【００４１】図１７に示した画像は、量子化部１１−１
とクラス分類部１２−１により、クラス番号が付けら
れ、そのクラス番号を輝度情報に変換して表すと、図１
８に示したような画像が得られる。そして、さらに図１
７に示した画像からヒストグラム演算部１２−１により
得られるヒストグラムは、図１９に示したようになる。
マッチング判定部１４は、図１９に示したヒストグラム
と、図１４乃至図１６に示したヒストグラムとを、順次
用いることにより、類似度を算出する。

【００４２】例えば、式（３）を用いて、類似度を算出
した場合、図１９に示したヒストグラムと図１４に示し
たヒストグラムとの類似度は、０．９５１と算出され
る。同様に、図１９に示したヒストグラムと図１５に示
したヒストグラムとの類似度は、０．９９６と算出さ
れ、図１９に示したヒストグラムと図１６に示したヒス
トグラムとの類似度は、０．９６９と算出される。この
結果から、図１７に示した画像（図１９のヒストグラム
が得られた画像）は、図８に示した画像（図１５に示し
たヒストグラムが得られた画像）と類似していると判定
される。

【００４３】上述した実施の形態においては、量子化タ
ップを用いて、画像全体を走査したが、走査する画像を
所定のブロック（矩形状のタップ（パターン））に分割
し、その分割されたブロック毎に、クラス番号を付ける
ようにしてもよい。そのような場合の画像処理装置１の
動作を、図２０のフローチャートを参照して説明する。

【００４４】まず前提として、処理する画像は、図２１
に示したように、四角形（立方体）が画面中央よりやや
上部に存在する画像とし、この画像は、撮像部２で撮像
された画像とする。また、記憶部４には、この画像の被
写体（立方体）が別の角度から撮像された複数の画像が
記憶されているものとする。

【００４５】ステップＳ３１において、量子化部１１−
１は、撮像部２から入力された画像をＮ×Ｍのブロック
に分割する。図２２は、図２１に示した画像を、４×５
（Ｎ＝４，Ｍ＝５）に分割した例を示している。ステッ
プＳ３２において、処理対象のブロックがＮ＝１，Ｍ＝
１のブロック、すなわち、左上に位置するブロック１１
に設定される。

【００４６】ステップＳ３２において設定されたブロッ
ク１１に対し、ステップＳ３３において、量子化処理が
行われる。このステップＳ３３の量子化処理は、図３の
ステップＳ４の量子化処理（図５のフローチャートの処
理）と同様の処理であるので、その説明は省略する。た
だし、ステップＳ３３で行われる量子化処理では、量子
化タップは用いられず、ブロック内の全画素が処理対象
となる。従って、図５のステップＳ２１で行われるダイ
ナミックレンジＤＲの算出に用いられるＭＡＸは、処理
対象とされているブロック内の画素の画素値の最大値で
あり、ＭＩＮは処理対象とされているブロック内の画素
の画素値の最小値である。

【００４７】ステップＳ３４において、量子化処理され
たブロックに対し、クラス番号が割り当てられる。この
クラス番号の割り当ては、処理対象とされているブロッ
クの画像の性質に応じて１対１に決定されるクラス番号
が割り当てられる。例えば、画像の性質としては、ブロ
ック内に角が存在する角クラス、ブロック内に辺が存在
する辺クラスなどがある。

【００４８】図２２に示した画像例では、ブロック１
２，１４，３２，３４の４つのブロックが角クラスに分
類され、ブロック１３，２２，２４，３３の４つのブロ
ックが辺クラスに分類される。処理対象のブロックが角
クラス、辺クラス、またはその他のクラスの、いずれの
クラスに分類されるのかを、クラス分類部１２−１は、
量子化されたデータから判定し、その判定に応じたクラ
ス番号を、そのブロックに付ける。

【００４９】ステップＳ３５において、クラス番号が付
けられていないブロックが存在するか否かが判断され
る。例えば、処理対象のブロックが、左上から右下にか
けて移動される場合、ステップＳ３５における処理は、
処理対象のブロックがブロック４５であったか否かを判
断する処理であり、その判断結果が、ブロック４５では
ないという判断だった場合、ステップＳ３６に進む。ス
テップＳ３６において、いま処理したブロックの次のブ
ロックが、処理対象のブロックに設定され、ステップＳ
３３以下の処理が繰り返される。

【００５０】一方、ステップＳ３５において、クラス番
号が付けられていないブロックは存在しないと判断され
た場合、ステップＳ３７に進む。ステップＳ３７以降の
処理は、図３のステップＳ８以降の処理と同様の処理な
ので、その説明は省略する。

【００５１】このように、複数のブロックに分割し、そ
れぞれのブロック対して、クラス番号を付けるようにす
ると、そのブロックの境界線の設定により、同一の画像
に対して得られるヒストグラムが異なるといったことが
考えられる。すなわち、図２３に示したように、被写体
である四角形の辺が、ちょうどブロックの境界線と重な
ってしまった場合、ブロック３３の１つのブロックだけ
が角クラスに分類され、ブロック２３，３２の２つのブ
ロックが辺クラスに分類されることになる。このように
分類されると、得られるヒストグラムは異なるので、た
とえ、図２１に示した四角形と図２３に示した四角形と
が、同一方向を向いていたとしても、類似性がないと判
断され、その結果、同一方向を向いているとは判断され
ないことになる。

【００５２】換言すると、上述した実施の形態では、被
写体の移動の情報を取得することはできるが、被写体の
向いている方向を検出する、または同一の被写体である
か否かを判断するといった点から考えると、上述したよ
うな理由から好ましくない。このような不都合を解消す
るために、ブロックの境界線を変え、その都度得られる
ヒストグラムを足し込むようにする。そのような処理を
行う画像処理装置１の動作について、図２４のフローチ
ャートを参照して説明する。前提として、図２３に示し
たような位置に被写体が位置する画像が撮像された場合
を例に挙げて説明する。

【００５３】ステップＳ５１において、例えば、図２３
に示したように、１つの画像が４×５の合計２５個のブ
ロックに分割される。ステップＳ５２において、処理対
象のブロックが左上に位置するブロック１１に設定され
る。そして、このように分割された画像に対し、ステッ
プＳ５３以降の処理が行われるわけだが、ステップＳ５
３乃至Ｓ５６の処理は、図２０のステップＳ３３乃至Ｓ
３６の処理と同様の処理なので、その説明は省略する。

【００５４】ステップＳ５５において、クラス番号が付
けられていないブロックが、画像内には存在しない判断
された場合、ステップＳ５７に進む。ステップＳ５７に
おいて、所定回数、ブロックの境界線が移動されたか否
かが判断される。所定回数、ブロックの境界線が移動さ
れていないと判断された場合、ステップＳ５８に進む。

【００５５】ステップＳ５８において、ブロックの境界
線を所定量だけ移動し、新たに分割しなおされる。例え
ば、所定量として、１ブロックの半分の量が設定されて
いた場合、図２５に示すように、水平方向と垂直方向の
ブロックの境界線が移動されて分割しなおされる。その
結果、１つの画像が５×６の合計３０個のブロックに分
割される。このように分割されると、図２５に示したよ
うに、異なる大きさのブロックに分割されることもある
が、ブロック毎に処理し、クラス番号を付けるので、ヒ
ストグラムを作成する上では、問題がない。換言すれ
ば、ブロックの分割の仕方はどのような大きさ、形でも
良い。

【００５６】ステップＳ５８において、画像が新たなブ
ロックに分割されたら、ステップＳ５２に進み、それ以
降の処理が繰り返される。図２５に示したように分割さ
れた場合、クラス分類は、ブロック２２’，２４’，４
２’，４４’は角クラスに分類され、ブロック２３’，
３２’，３４’，４３’は辺クラスに分類される。この
ように、新たにブロックを切り直すことにより、図２３
に示したような場合には検出されなかった角クラスや辺
クラスを検出することができる。

【００５７】このように所定回数、ブロックの境界線を
移動させ、新たに分割することにより、得られたクラス
番号の結果は、ステップＳ５９において、ヒストグラム
を作成するときに用いられる。このステップＳ５９以下
の処理は、図３のステップＳ８以降の処理と同様の処理
なので、その説明は省略する。

【００５８】上述した実施の形態における量子化処理に
おいて、しきい値Ｔｈ１は予め設定された値とされ、し
きい値Ｔｈ２は量子化タップ内またはブロック内の最小
値ＭＩＮが用いられて算出されるようにした。しかしな
がら、しきい値Ｔｈ１としきい値Ｔｈ２の両方とも予め
設定された値としてもよい。また、上述した実施の形態
においては、ダイナミックレンジＤＲを量子化タップ内
またはブロック内の最大値ＭＡＸから最小値ＭＩＮを減
算することにより算出していたが、量子化タップ内また
はブロック内の平均値から最小値を減算することにより
算出しても良い。

【００５９】さらに、上述した実施の形態においては、
注目しているブロック内のみの最大値と最小値を用いて
ダイナミックレンジＤＲを算出するようにしたが、図２
６に示すように、注目ブロックの周辺のブロックも参照
し、その参照したブロックも含めたなかから画素の最大
値ＭＡＸと最小値ＭＩＮを算出して、ダイナミックレン
ジＤＲを算出するようにしても良い。このようにダイナ
ミックレンジＤＲを算出するようにすると、より良好な
クラス分類を行うことが可能となる。

【００６０】このように本発明においては、量子化タッ
プを用いて量子化、またはブロック毎に量子化すること
により、画像に適応した量子化を行い、その結果得られ
た特徴量をヒストグラムにしている。このため、対象物
（被写体）が画面内で移動した場合においても、同一対
象物で同一方向を向いている場合、同一のヒストグラム
が得られるため、対象物の移動に対するロバスト性が向
上する。

【００６１】さらに、ヒストグラムを用いてマッチング
度を判定するとき、正規化相関式を用いているため、対
象物がズームしたり（カメラに対して前後に移動した
り）、得られる画像の解像度が変化した場合などにおい
ても、得られるヒストグラムでは、全クラス番号の度数
は全クラス同じ割合で変動し、形自体（度数のピークと
なる山や谷）は変化しない。従って、正規化後の相関値
で比較すると、ズームや解像度の変化を受けづらいとい
う特徴があり、さらに、テンプレートマッチングなどの
ように、対象物のズームなどに対応して、テンプレート
を縮小や拡大してマッチングする必要がないため、演算
量が少なくなるという特徴もある。

【００６２】本明細書中において、上記処理を実行する
コンピュータプログラムをユーザに提供する提供媒体に
は、磁気ディスク、CD-ROMなどの情報記録媒体の他、イ
ンターネット、デジタル衛星などのネットワークによる
伝送媒体も含まれる。

【００６３】

【発明の効果】以上の如く、請求項１に記載の画像処理
装置、請求項５に記載の画像処理方法、および請求項６
に記載の提供媒体によれば、クラス分類された画像を基
に、ヒストグラムを作成し、対処画像のヒストグラム
と、参照画像のヒストグラムとを用いて類似度を判定す
るようにしたので、被写体の画像内の位置が変化したり
解像度が変化したりした場合においても、画像認識する
ことが可能となる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の一実施の形態の構成を
示すブロック図である。

【図２】演算部の内部構成を示すブロック図である。

【図３】画像処理装置の動作を説明するフローチャート
である。

【図４】量子化タップを説明する図である。

【図５】量子化処理の詳細を説明するフローチャートで
ある。

【図６】クラス番号の割り当てについて説明する図であ
る。

【図７】参照用画像として記憶部に記憶されている画像
をディスプレイ上に表示させた場合の表示例を示す中間
調画像の写真である。

【図８】参照用画像として記憶部に記憶されている他の
画像をディスプレイ上に表示させた場合の表示例を示す
中間調画像の写真である。

【図９】参照用画像として記憶部に記憶されているさら
に他の画像をディスプレイ上に表示させた場合の表示例
を示す中間調画像の写真である。

【図１０】クラス番号の割り当てを説明する図である。

【図１１】図７で示した画像に対して割り当てられたク
ラス番号を輝度で表した場合の画像をディスプレイ上に
表示させた場合の表示例を示す中間調画像の写真であ
る。

【図１２】図８で示した画像に対して割り当てられたク
ラス番号を輝度で表した場合の画像をディスプレイ上に
表示させた場合の表示例を示す中間調画像の写真であ
る。

【図１３】図９で示した画像に対して割り当てられたク
ラス番号を輝度で表した場合の画像をディスプレイ上に
表示させた場合の表示例を示す中間調画像の写真であ
る。

【図１４】図７の画像に対応するヒストグラムである。

【図１５】図８の画像に対応するヒストグラムである。

【図１６】図９の画像に対応するヒストグラムである。

【図１７】撮像部で撮像された画像をディスプレイ上に
表示させた場合の表示例を示す中間調画像の写真であ
る。

【図１８】図１７で示した画像に対して割り当てられた
クラス番号を輝度で表した場合の画像をディスプレイ上
に表示させた場合の表示例を示す中間調画像の写真であ
る。

【図１９】図１７の画像に対応するヒストグラムであ
る。

【図２０】画像処理装置の他の動作を説明するフローチ
ャートである。

【図２１】撮像部に撮像される画像を示す図である。

【図２２】撮像された画像をブロックに分割した例を示
す図である。

【図２３】ブロックの境界線と被写体の辺とが重なった
場合を示す図である。

【図２４】画像処理装置のさらに他の動作を説明するフ
ローチャートである。

【図２５】図２３に示した画像を再分割した場合の画像
を示す図である。

【図２６】ダイナミックレンジの算出の仕方を説明する
図である。

【符号の説明】

１画像処理装置，２撮像部，３演算部，４
記憶部，５送受信部，１１量子化部，１２
クラス分類部，１３ヒストグラム演算部，１４
マッチング判定部

フロントページの続きＦターム(参考） 5B047 AA30 DB03 DB06 5L096 AA06 BA20 CA02 FA35 JA03 JA11 9A001 BB03 EE05 HH15 HH21 HH24 JJ23 KK42

Claims

【特許請求の範囲】

【請求項１】処理の対象画像を取り込む取り込み手段
と、前記対象画像に対応する複数の参照画像を記憶する記憶
手段と、前記取り込み手段により取り込まれた対象画像または前
記記憶手段により記憶されている参照画像を量子化する
量子化手段と、前記量子化手段により量子化された画像をクラス分類す
る分類手段と、前記分類手段により分類された画像を基に、ヒストグラ
ムを作成する作成手段と、前記作成手段により作成された、前記取り込み手段によ
り取り込まれた対象画像から得られたヒストグラムと、
前記記憶手段に記憶されている参照画像から得られたヒ
ストグラムとを用いて類似度を判定する判定手段とを備
えることを特徴とする画像処理装置。
【請求項２】前記量子化手段は、所定のパターンを設
定し、前記パターン内に存在する画素値の最大値と最小
値との値から算出したしきい値を用いて量子化処理を行
うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記判定手段は、正規化相関式を用い
て、類似度を判定することを特徴とする請求項１に記載
の画像処理装置。
【請求項４】前記パターンは、ブロックであり、前記
ブロックの境界線は移動されることを特徴とする請求項
２に記載の画像処理装置。
【請求項５】処理対象の対象画像を取り込む取り込み
ステップと、前記対象画像の複数の参照画像を記憶する記憶ステップ
と、前記取り込みステップで取り込まれた対象画像または前
記記憶ステップで記憶されている参照画像を量子化する
量子化ステップと、前記量子化ステップで量子化された画像をクラス分類す
る分類ステップと、前記分類ステップで分類された画像を基に、ヒストグラ
ムを作成する作成ステップと、前記作成ステップで作成された、前記取り込みステップ
で取り込まれた対象画像から得られたヒストグラムと、
前記記憶ステップで記憶されている参照画像から得られ
たヒストグラムとを用いて類似度を判定する判定ステッ
プとを含むことを特徴とする画像処理方法。
【請求項６】処理対象の対象画像を取り込む取り込み
ステップと、前記対象画像の複数の参照画像を記憶する記憶ステップ
と、前記取り込みステップで取り込まれた対象画像または前
記記憶ステップで記憶されている参照画像を量子化する
量子化ステップと、前記量子化ステップで量子化された画像をクラス分類す
る分類ステップと、前記分類ステップで分類された画像を基に、ヒストグラ
ムを作成する作成ステップと、前記作成ステップで作成された、前記取り込みステップ
で取り込まれた対象画像から得られたヒストグラムと、
前記記憶ステップで記憶されている参照画像から得られ
たヒストグラムとを用いて類似度を判定する判定ステッ
プとを含む処理を画像処理装置に実行させるコンピュー
タが読みとり可能なプログラムを提供することを特徴と
する提供媒体。