JP2008269471A - 類似画像判定装置と類似画像判定方法およびプログラムと記録媒体 - Google Patents

Abstract

【課題】被写体の大きさや位相が異なる場合であっても、同一あるいは類似する被写体画像を正しく判定する。
【解決手段】領域検出部１１は、入力画像から被写体領域を検出する。画素値分布生成部１２は、領域検出部１１で検出された被写体領域に含まれる画素の画素値を用いて画素値分布を生成する。判定部１３は、画素値分布生成部１２で生成された画素値分布と予め登録されている被写体画像の登録画素値分布から、被写体領域の画像と登録されている被写体画像の類否判定を行う。被写体の大きさや位相が異なる場合であっても、入力画像から被写体の領域の画素を抽出できるので、この抽出した画素の画素値分布から同一あるいは類似する被写体画像を正しく判定できる。
【選択図】 図１

Description

この発明は、類似画像判定装置と類似画像判定方法およびプログラムと記録媒体に関する。詳しくは、入力画像から検出された被写体領域内の画素の画素値分布と予め登録されている登録被写体画像の画素値分布が類似しているか否かによって、被写体領域の画像と登録被写体画像の類否判定を行うものである。

ハードディスク、光ディスク、メモリカードなどの記憶手段の大容量化および低価格化に伴って、デジタルデータ化された画像の蓄積が容易に行えるようになっている。一方、記憶手段に蓄積された画像が多くなると、画像の検索を容易に行うことができない。例えば、多数の画像の中から類似する被写体の画像を検索したり、動画像から類似する被写体のシーンを検索することが容易に行えなくなってしまう。

このため、画像のデータベースから類似画像を検索することができるように、特許文献１では、画像をブロックに分割して、ブロック毎にマッチング演算を行い、それらの結果を総合して、類似画像を検索することが開示されている。また、特許文献２では、画像同士の差分を演算し、差分の値をヒストグラムにして、ヒストグラムから類似画像であるかを判定することが行われている。

特開２００５−３２７０６５号公報 特開２００６−５８９５９号公報

ところで、特許文献１のように、画像をブロックに分割して、ブロック毎にマッチング演算を行うものとした場合、被写体の画像サイズが変わったり、ブロックに分割した際のブロック内での位相の状態によっては、正しく判定できない場合が生ずる。また、特許文献２のように、画像同士の差分を用いて判定を行う場合では、被写体の位相がある程度そろっていないと、差分の値が大きくなってしまい正しく判定できない場合がある。

そこで本発明では、同一あるいは類似する被写体画像を正しく判定できる類似画像判定装置と類似画像判定方法およびプログラムと記録媒体を提供するものである。

この発明の概念は、入力画像から被写体領域を検出することで、被写体の大きさや位相が異なる場合であっても被写体の画像を抽出可能とする。さらに、この被写体領域に含まれる画素の画素値分布と予め登録されている登録被写体画像の画素値分布を比較することで、被写体領域の画像と登録被写体画像の類否判定を行うことにある。

この発明における類似画像判定装置は、入力画像から被写体領域を検出する領域検出部と、前記領域検出部で検出された被写体領域に含まれる画素の画素値分布を生成する画素値分布生成部と、前記画素値分布生成部で生成された画素値分布と予め登録されている登録被写体画像の登録画素値分布から、前記被写体領域の画像と前記登録被写体画像の類否判定を行う判定部を有するものである。

また、類似画像判定方法やプログラムおよび記録媒体は、入力画像から被写体領域を検出する領域検出工程と、前記領域検出工程で検出された被写体領域に含まれる画素の画素値分布を生成する画素値分布生成工程と、前記画素値分布生成工程で生成された画素値分布と予め登録されている登録被写体画像の登録画素値分布から、前記被写体領域の画像と前記登録被写体画像の類否判定を行う判定工程を実行するものである。

この発明によれば、入力画像から被写体領域が検出されて、この被写体領域に含まれる画素の画素値分布と、予め登録されている登録被写体画像の登録画素値分布が類似しているか否かによって、被写体領域の画像と登録被写体画像の類否判定が行われる。

したがって、入力画像内で被写体画像の位置が異なる場合でも、この位置の違いによる影響を少なくして、入力画像内の被写体画像と登録被写体画像が同一あるいは類似するか否か正しく判定できる。

以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明における類似画像判定装置１０の構成を示している。

入力画像の画像信号ＳＤinは、被写体領域検出部１１と画素値分布生成部１２に供給される。被写体領域検出部１１は、画像信号ＳＤinを用いて被写体領域の検出を行い、検出した被写体領域を示す領域信号ＳＥを生成して画素値分布生成部１２に供給する。画素値分布生成部１２は、領域信号ＳＥによって示された被写体領域の画素信号を画像信号ＳＤinから抽出して、この抽出した信号に基づいて画素値分布を生成して判定部１３に供給する。

判定部１３は、画素値分布生成部１２から供給された画素値分布と予め登録されている被写体画像の登録画素値分布から、検出した被写体領域の画像と登録されている被写体画像の類否判定を行い、判定結果信号ＳＤcを出力する。

次に、各部の構成および動作について順次説明する。図２は、被写体領域検出部の構成例を示している。被写体領域検出部１１の輪郭抽出部１１１は、入力画像に対して輪郭抽出を行い、入力画像の画像信号ＳＤinから輪郭を示す画像（以下「微分画像」という）の画像信号ＳＤdfを生成する。輪郭抽出部１１１は、画素毎に隣接画素との画素値差分演算を行い、該演算結果と閾値を比較して輪郭の抽出を行う。ここで、注目画素を画素値Ｌo、注目画素に対して左隣の画素を画素値Ｌａ、注目画素に対して右隣の画素を画素値Ｌｂ、注目画素に対して上の画素を画素値Ｌｃ、注目画素に対して下の画素を画素値Ｌｄとしたとき、例えば式（１）に基づいて、注目画素に対する特徴量Ｖを算出する。

Ｖ＝｜４×Ｌo−Ｌa−Ｌb−Ｌc−Ｌd｜ ・・・（１）

輪郭抽出部１１１は、この算出された特徴量Ｖを所定の閾値と比較し、特徴量Ｖが閾値より大きいときは、注目画素の画素値を第１識別値、例えば微分画像の画像信号を８ビットの信号として示すとき「２５５」とする。また、特徴量Ｖが閾値以下であるとき、注目画素の画素値を第２識別値「０」とする。このような処理を画素毎に行うことにより得られた２値化信号は、輪郭を示す画像信号に相当するものであり、この２値化信号を微分画像の画像信号ＳＤdfとする。なお、画像信号ＳＤdfにおいて、第１識別値の画素は輪郭部分の画素に相当し、第２識別値の画素は輪郭部分でない画素に相当するものとなる。

ラベリング部１１５ａは、輪郭抽出部１１１で生成された微分画像の画像信号ＳＤdfを用いてラベリング処理を行う。ラベリング部１１５ａは、微分画像において第１識別値「２５５」の画素があった場合、その画素に対してラベル番号を付与する。さらに、ラベリング部１１５ａは、ラベル番号を付与した画素の上下左右斜め方向に隣り合う画素において、ラベリングが行われていない第１識別値「２５５」の画素を検出して、検出した画素に同一のラベル番号を付与する。その後、同一のラベル番号を付与できる画素が検出されなくなったとき、ラベリング部１１５ａは、ラベル番号を変更して（例えばラベル番号をカウントアップして）新たなラベルを設定したのち、ラベリングが行われていない第１識別値「２５５」の画素を検出する。ラベリングが行われていない第１識別値「２５５」の画素が検出されたとき、ラベリング部１１５ａは、検出された画素に対して新たなラベル番号を付与する。また、ラベリング部１１５ａは、ラベル番号を付与した画素の上下左右斜め方向に隣り合う画素において、ラベリングが行われていない第１識別値「２５５」の画素に対して新たなラベル番号を付与する。以下同様にして、同一のラベル番号を付与できる画素が検出されなくなったとき、ラベル番号を変更して上述の処理を繰り返すものとすれば、第１識別値「２５５」である全ての画素に対してラベル番号を付与する行うことができる。このようにラベル番号の付与を行うものとすると、連続する輪郭に対して１つのラベル番号が付与されることとなる。

次に、ラベリング部１１５ａは、各ラベル番号に属する画素数をカウントして、最も画素数の多いラベル番号をもつ画素のみを残して、連続する最大長の輪郭を残して、その他のラベル番号をもつ画素の画素値を第１識別値「２５５」から第２識別値「０」に変更して、ラベリング処理後のラベリング処理信号ＳＤlaを領域情報生成部１１６へ供給する。

領域情報生成部１１６では、ラベリング部１１５ａでラベリング処理が完了したラベリング処理信号ＳＤlaから被写体領域を示す領域信号ＳＥを生成する。領域情報生成部１１６は、連続する最大長の輪郭で囲まれた領域すなわち第１識別値「２５５」である画素によって囲まれた領域を被写体領域として抽出して、この被写体領域内の第２識別値「０」の画素を第１識別値「２５５」に変更して領域信号ＳＥとする。被写体領域内であるか否かの判定は、例えば第２識別値「０」である画素に対し、上下左右斜めの全ての方向で第１識別値「２５５」である画素が存在するか否か検出すればよく、全ての方向で第１識別値「２５５」である画素が存在することを検出したとき被写体領域内の画素とする。なお、領域信号ＳＥにおいて、第１識別値の画素は被写体領域内の画素、第２識別値の画素は被写体領域外の画素となる。

図３は、被写体領域検出部１１の動作を説明するためのものである。図３の（Ａ）は、入力画像を例示したものであり、この入力画像の画像信号ＳＤinが被写体領域検出部１１に入力されると、輪郭抽出部１１１は、注目画素に対する特徴量Ｖの算出や算出した特徴量Ｖと所定の閾値と比較等を画素毎に行う。したがって、輪郭抽出部１１１からラベリング部１１５ａに供給される画像信号ＳＤdfは、図３の（Ｂ）に示す微分画像を示すものとなる。なお、図３の（Ｂ）において、第２識別値「０」の画素は「黒」、第１識別値「２５５」の画素は「白」で表示している。

ラベリング部１１５ａは、微分画像の画像信号ＳＤdfを用いてラベリング処理を行う。第１識別値「２５５」の画素に対してラベル番号の付与を行うと、例えば図３の（Ｃ）に示すようにラベル番号ＬＢ1〜ＬＢ5が付与される。その後、ラベリング部１１５ａは、最も画素数の多いラベル番号ＬＢ1をもつ画素のみを残して、その他のラベル番号ＬＢ2〜ＬＢ5の第１識別値「２５５」を第２識別値「０」に変更してラベリング処理信号ＳＤlaとする。したがって、ラベリング部１１５ａから領域情報生成部１１６に供給されるラベリング処理信号ＳＤlaは、連続する最大長の輪郭（ラベル番号ＬＢ1をもつ画素）のみが示された図３の（Ｄ）に示す画像となる。

領域情報生成部１１６は、ラベリング処理信号ＳＤlaから被写体領域を示す領域信号ＳＥの生成を行う。領域情報生成部１１６は、第１識別値「２５５」である画素によって囲まれた領域を被写体の領域として抽出して、この領域内の第２識別値「０」を第１識別値「２５５」に変更する。したがって、領域情報生成部１１６から出力される領域信号ＳＥは、図３の（Ｅ）に示すように、第１識別値「２５５」の領域である被写体領域を示すものとなる。

ところで、図２に示す被写体領域検出部１１は、輪郭抽出を行うことにより得られた微分画像に基づいて被写体領域を示す領域信号ＳＥを生成するものとしたが、被写体領域の検出では輪郭抽出を行う場合に限られるものではない。図４は、被写体領域検出部の他の構成として、動きベクトルを用いて被写体領域の検出を行う場合を示している。

入力画像の画像信号ＳＤinは、被写体領域検出部１１ａの遅延部１１２と動きベクトル検出部１１３に供給される。

遅延部１１２は、画像信号ＳＤinを１フレーム遅延させて、遅延画像信号ＳＤaとして動きベクトル検出部１１３に供給する。

動きベクトル検出部１１３は、画像信号ＳＤinと遅延画像信号ＳＤaから動きベクトルＭＶを検出する。動きベクトル検出部１１３は、例えば画像信号ＳＤinを８×８のブロックに分割して、遅延画像信号ＳＤaの所定の探索範囲で、差分絶対値和が最小となる位置を検出することでブロック毎に動きベクトルＭＶを検出する。

動き領域抽出部１１４は、動きベクトル検出部１１３で検出された動きベクトルＭＶに基づき、動きベクトル毎の画素数に応じて順位付けしたときに所定順位範囲となる動きベクトルの画像領域を動き領域として抽出する。例えば、動き領域抽出部１１４は、動きベクトル毎の画素数を示すヒストグラムを生成して、最も画素数の多い動きベクトルを背景の動きとして、画素数が所定順位範囲例えば番目から１５番目に多い動きベクトルの画像領域を被写体の動きの領域として抽出する。動き領域抽出部１１４は、画素数が例えば２番目から１５番目までに多い動きベクトルを被写体動きベクトル範囲として、この被写体動きベクトル範囲に属する各画素を第１識別値「２５５」として、被写体動きベクトル範囲に属していない各画素を第２識別値「０」とする。このような処理を行うことにより得られた２値化信号を動き領域抽出信号ＳＤegとする。なお、動き領域抽出信号ＳＤegにおいて、第１識別値の画素は被写体の動きに対応する画素、第２識別値の画素は被写体の動きに対応していない画素となる。

ラベリング部１１５ｂは、動き領域抽出部１１４から供給された動き領域抽出信号ＳＤegに対して、上述のラベリング部１１５ａで行われる画像信号ＳＤdfに対するラベリング処理と同様な処理を行って、ラベリング処理信号ＳＤlaを生成する。また、領域情報生成部１１６は、上述のようにラベリング処理信号ＳＤlaから被写体領域を示す領域信号ＳＥを生成する処理を行う。

図５は、被写体領域検出部の他の動作として、被写体領域検出部１１ａの動作を説明するためのものである。図５の（Ａ）は、入力画像を例示したものである。なお、図５の（Ａ）において、破線は１フレーム前の被写体（人物）の画像位置を示している。この入力画像の画像信号ＳＤinが動きベクトル検出部１１３に供給されると、画像信号ＳＤinと遅延画像信号ＳＤaから動きベクトルが検出されて動き領域抽出部１１４に供給される。

動き領域抽出部１１４は、供給された動きベクトルＭＶに基づき、被写体動きベクトル範囲に属する動きベクトルの画素と被写体動きベクトル範囲に属さない動きベクトルの画素が区分されている図５の（Ｂ）に示す画像を生成して、この画像を示す動き領域抽出信号ＳＤegをラベリング部１１５ｂに供給する。

ラベリング部１１５ｂは、動き領域抽出部１１４からの動き領域抽出信号ＳＤegを用いて上述のようにラベリング処理を行う。第１識別値「２５５」の画素に対してラベル番号の付与を行うと、例えば図５の（Ｃ）に示すようにラベル番号ＬＢ1，ＬＢ2が付与される。その後、ラベリング部１１５ｂは、最も画素数の多いラベル番号をもつ画素のみを残して、その他のラベル番号をもつ画素を第１識別値「２５５」から第２識別値「０」に変更する。したがって、ラベル番号ＬＢ2の画素は、第１識別値「２５５」から第２識別値「０」に変更されて、ラベリング部１１５ｂから領域情報生成部１１６に供給されるラベリング処理信号ＳＤlaは、図５の（Ｄ）に示すラベリング処理後の画像を示すものとなる。

領域情報生成部１１６は、被写体領域を示す領域信号ＳＥの生成を行う。領域情報生成部１１６は、上述のように第１識別値「２５５」の画素によって囲まれた領域を被写体領域として抽出して、この領域内に位置する第２識別値「０」の画素を第１識別値「２５５」に変更する。したがって、領域情報生成部１１６から出力される領域信号ＳＥは、図５の（Ｅ）に示すように、第１識別値「２５５」の領域である被写体領域を示すものとなる。

さらに、被写体領域検出部では、輪郭抽出によって得られた画像に基づいた領域検出結果と動きベクトルに基づいた領域検出結果の双方を用いて被写体領域を決定すれば、より確実に精度良く被写体領域を検出することが可能となる。

図６は、被写体領域検出部の他の構成として、輪郭抽出によって得られた画像に基づいた領域検出結果と動きベクトルに基づいた領域検出結果の双方を用いて被写体領域を決定する場合を示している。なお、図６に示す被写体領域検出部１１ｂにおいて、図２および図４と対応する部分については同一符号を付し、その詳細な説明は省略する。

図６の領域情報生成部１１７は、ラベリング部１１５ａから供給されたラベリング処理信号ＳＤla-aにおいて、第１識別値「２５５」である画素によって囲まれた領域を抽出して、この被写体領域内の第２識別値「０」の画素を第１識別値「２５５」に変更して第１の領域検出結果とする。また、ラベリング部１１５ｂから供給されたラベリング処理信号ＳＤla-bにおいて、第１識別値「２５５」である画素によって囲まれた領域を抽出して、この被写体領域内の第２識別値「０」の画素を第１識別値「２５５」に変更して第２の領域検出結果とする。第１の領域検出結果と第２の領域検出結果において、第１識別値「２５５」とされている画素領域が重複する場合には、第２の領域検出結果で示されている第１識別値「２５５」の領域を被写体領域とする。また、第１識別値「２５５」とされている画素領域が重複していない場合は、それぞれの画素領域を被写体領域として、この被写体領域を示す領域信号ＳＥを生成する。

このように、輪郭抽出によって得られた画像に基づいた領域検出結果と動きベクトルに基づいた領域検出結果の双方を用いて被写体領域を決定すれば、被写体が動きを有していてもあるいは静止している場合でも、この被写体が含まれる被写体領域を検出することが可能となる。また、動きベクトルに基づいて検出された領域を優先して用いるものとすることで、動きのある被写体の領域を精度良く検出できるようになる。

さらに、被写体領域検出部では、入力画像を予め動きのある画像領域と静止している画像領域に区分して、静止している画像領域については輪郭抽出によって得られた画像に基づいた被写体領域の検出を行い、動きのある画像領域については動きベクトルに基づいた被写体領域の検出を行うものとしても、同様の作用効果を得ることができる。

次に、図１に示す画素値分布生成部１２は、被写体領域検出部１１から供給された領域信号ＳＥに基づき、画像信号ＳＤinから被写体領域の画素信号を抽出して、抽出した画素信号に基づき被写体領域の画素の画素値分布を生成する。

図７は、画素値分布生成部の動作を示している。なお、図７では、画素値分布として被写体領域の画素の画素値を画素値順に並べ替えたソート波形を生成する場合について示している。図７の（Ａ）は、画像信号ＳＤinに基づく入力画像と被写体領域検出部１１で検出された被写体領域を合わせて示したものであり、被写体領域検出部１１で検出された被写体領域には、入力画像内の被写体画像が含まれたものとなる。なお、図７の（Ａ）では、図５の（Ｅ）に示す被写体領域を用いた場合を示している。

画素値分布生成部１２は、ラスタースキャン順に、被写体領域の画素信号を画像信号ＳＤinから抽出する。ここで、縦軸を画素値、横軸を抽出した画素の画素順序とすると、分布は図７の（Ｂ）に示すものとなる。さらに、画素値分布生成部１２は、抽出した各画素を画素値の大きい順から並べ替える。このとき、図７の（Ｂ）に示す分布は図７の（Ｃ）の分布に変換される。画素値分布生成部１２は、信号並べ替え後の図７の（Ｃ）の分布（以下「ソート波形」という）を画素値分布として、この画素値分布を示す情報信号ＪＡを、図１に示すように判定部１３に供給する。

判定部１３は、画素値分布生成部１２から供給された情報信号ＪＡによって示された画素値分布と、予め登録されている被写体画像の登録画素値分布から、被写体領域の画像と予め登録されている被写体画像が同一あるいは類似しているか否かの判定を行い、判定結果信号ＳＤcを出力する。例えば、判定部１３は、情報信号ＪＡによって示された画素値分布と登録画素値分布がソート波形を示す場合、情報信号ＪＡによって示された画素値分布であるソート波形と登録画素値分布であるソート波形の差分絶対値総和を算出する。また、被写体画像の登録画素値分布が複数登録されているときは、登録されているソート波形毎に差分絶対値総和を算出する。

図８は、判定部の動作を説明するためのものであり、図８の（Ａ）は、画素値分布生成部１２から供給された情報信号ＪＡによって示された画素値分布であるソート波形、図８の（Ｂ）は、判定部１３に登録されている登録画素値分布であるソート波形を例示している。判定部１３は、情報信号ＪＡで示されたソート波形と登録画素値分布のソート波形との差分絶対値総和を算出する。

ここで、被写体領域の画像と登録されている被写体画像が類似しているときにはソート波形も類似したものとなることから差分絶対値総和が小さくなる。したがって、判定部１３は、差分絶対値総和に基づき被写体領域の画像と予め登録されている被写体画像が同一あるいは類似しているか否かの判定を行うことができる。また、差分絶対値総和が最も小さくなるソート波形を判別すれば、予め登録されている複数の被写体画像から、被写体領域の画像と一致あるいは最も類似した被写体画像を選択できる。

さらに、差分絶対値総和が最も小さくなるだけでなく、差分絶対値総和が予め設定した閾値よりも小さいソート波形を判定すれば、同一被写体の識別精度を高めることができる。例えば、入力画像における被写体領域の画像と同一（あるいは類似）の被写体画像から生成したソート波形が登録されていない場合、差分絶対値総和が最も小さくなるという条件のみでソート波形の判定を行うと、入力画像における被写体領域の画像と異なる被写体画像であっても、差分絶対値総和が最も小さくなるソート波形に対応する被写体画像が同一あるいは最も類似すると判定されてしまう。したがって、差分絶対値総和が予め設定した閾値よりも小さくなるという条件を設けるものとすれば、入力画像における被写体領域の画像とは異なる被写体画像のソート波形との差分絶対値総和よりも閾値を小さく設定しておくことで、異なる被写体画像が同一あるいは最も類似すると判定されてしまうことがなく、判定精度を高めることができる。

判定部１３から出力される判定結果信号ＳＤcは、被写体領域の画像と予め登録されている被写体画像が同一あるいは類似しているか否かの判定結果を示す情報を示すものとしてもよく、一致あるいは最も類似した被写体画像の画像信号を示すものとしてもよい。さらに、一致あるいは類似する被写体画像の記録位置や被写体画像に関係付けられた情報、例えば被写体画像が人物の顔であるときは人物の名前や住所等の情報を示すようにすれば、被写体領域の画像が示す人物に関する情報を速やかに得ることができる。また、動画像が記憶手段に記憶されているときには、動画像を再生するときに、この一致あるいは類似する被写体画像がフレーム画像内に含まれる再生開始タイミングを示すことで、例えば被写体領域の画像が示す人物の登場シーンを速やかに再生できる。また、一致あるいは類似する被写体画像が含まれる動画像の情報例えばタイトルや記録日時等の情報を示すものとすれば、例えば被写体領域の画像が示す人物の登場番組等を容易に検索できる。

ところで、被写体領域の画像と予め登録されている被写体画像の画像サイズが異なる場合、同じ被写体でもソート波形は異なるものとなる。図９は、画像サイズとソート波形の関係を示している。ここで、図９の（Ａ）の被写体領域の画像に対するソート波形を、図９の（Ｂ）に示す波形とする。登録されている被写体画像の画像サイズが図９の（Ａ）に比べて図９の（Ｃ）に示すように小さいものとされている場合、画素数が少なくなることから、ソート波形は図９の（Ｂ）に示すソート波形を横軸方向に縮めた図９の（Ｄ）に示すソート波形となってしまう。したがって、判定部１３に種々の画像サイズの被写体画像から生成したソート波形を登録しなければ、ソート波形同士の差分絶対値を算出することができない画素が存在してしまう。しかし、画像サイズの異なる被写体画像のソート波形を判定部１３に予め登録しておくものとすると、登録するソート波形が多くなり大容量の記憶装置が必要となってしまう。また一致あるいは類似するソート波形の判定に要する時間も長くなってしまう。

そこで、被写体領域の画像の画素値分布における画素数と登録画素値分布の画素数が異なる場合、画素数が等しくなるように画素値分布を補正する補正処理を行う。すなわち、情報信号ＪＡで示されたソート波形を、予め登録されている登録画素値分布のソート波形と等しい画素数とする画素数補正処理を行い、画素数補正処理後のソート波形と予め登録されている登録画素値分布のソート波形を比較すれば、被写体領域の画像の画像サイズに関わりなく、一致あるいは類似するソート波形の判定を正しく行うことができる。なお正規化処理は、画素値分布生成部１２あるいは判定部１３のいずれで行うものとしてもよい。

図１０は、ソート波形の画素数補正処理を示している。例えば、図１０の（Ａ）に示すように、ソート波形の画素数が予め設定されている画素数ＲＣＴよりも大きい場合には、ソート波形の画素数が画素数ＲＣＴとなるように、一定間隔で画素信号の間引きを行い、図１０の（Ｃ）に示すように画素数ＲＣＴのソート波形に変換する。また、図１０の（Ｂ）に示すように、ソート波形の画素数が予め設定されている画素数ＲＣＴよりも小さい場合には、ソート波形の画素数が画素数ＲＣＴとなるように、一定間隔で画素信号の補間を行い、図１０の（Ｃ）に示すように画素数ＲＣＴのソート波形に変換する。なお、図１０の（Ａ）の矢印は、一定間隔で画素信号の間引きを行うことを示しており、図１０の（Ｂ）の矢印は、一定間隔で画素信号の補間を行うことを示している。また、画素信号の補間では、補間する画素位置に対し、例えば隣接の２画素で補間を行うものとする。

このようにソート波形に対して一定間隔で間引きや補間を行えば、ソート波形は急峻な変化が少ない波形であることから、波形全体の特徴を大きく変化させることなく、ソート波形の画素数を所定の画素数に調整できる。

次に、画素値分布生成部１２では、被写体領域の画素を画素値に応じて階級に振り分けたヒストグラムを画素値分布とする場合について、図１１を用いて説明する。

図１１の（Ａ）は、画像信号ＳＤinに基づく入力画像と被写体領域検出部１１で検出された被写体領域を合わせて示したものである。なお、図１１の（Ａ）では、図５の（Ｅ）に示す被写体領域を用いた場合を示している。

画素値分布生成部１２は、ラスタースキャン順に、被写体領域の画素信号を画像信号ＳＤinから抽出する。さらに、抽出した画素信号の信号レベルが含まれる階級を判別して、信号レベルが含まれる階級の度数をカウントアップすることで、図１１の（Ｂ）に示すようにヒストグラムを生成できる。なお、ヒストグラムは、図１１の（Ｃ）に示すソート波形から生成するものとしてもよい。この場合、ソート波形では画素値の大きい順から画素が並んでいることから、ヒストグラムの生成を容易に行うことができる。

判定部１３は、画素値分布生成部１２から供給された情報信号ＪＡによって示された画素値分布であるヒストグラムと、予め登録されている被写体画像の登録画素値分布であるヒストグラムから、被写体領域の画像と予め登録されている被写体画像が同一あるいは類似しているか否かの判定を行い、判定結果信号ＳＤcを出力する。

判定部１３は、２つのヒストグラムの論理和（ＯＲ）領域に対する論理積（ＡＮＤ）領域の占める割合に基づいて、被写体領域の画像と予め登録されている被写体画像が同一あるいは類似しているか否かの判定を行う。

図１２は、判定部１３の他の動作を説明するためのものであり、図１２の（Ａ）は画素値分布生成部１２から供給された情報信号ＪＡによって示された画素値分布であるヒストグラム、図１２の（Ｂ）は判定部１３に登録されている登録画素値分布である。この２のヒストグラムの階級を一致させて重ね合わせると、図１２の（Ｃ）に示すものとなる。この図１２の（Ｃ）において、ハッチングで示す領域は、画素値分布で示されたヒストグラムの領域かつ登録情報で示されたヒストグラムの領域であるＡＮＤ領域であり、ハッチングの領域とハッチングのない領域は、画素値分布で示されたヒストグラムの領域あるいは登録情報で示されたヒストグラムの領域であるＯＲ領域である。

ここで、被写体領域の画像と登録されている被写体画像が類似しているときにはヒストグラムも類似したものとなる。したがって、判定部１３は、ＯＲ領域に対するＡＮＤ領域の占める割合に基づき、被写体領域の画像と予め登録されている被写体画像が同一あるいは類似しているか否かの判定を行うことができる。また、判定部１３は、ＯＲ領域に対するＡＮＤ領域の占める割合が最も大きくなるヒストグラムを判別すれば、予め登録されている複数の被写体画像から、被写体領域の画像と一致あるいは最も類似した被写体画像を選択できる。さらに、判定部１３は、ソート波形を用いる場合と同様に閾値を設定して、ＯＲ領域に対するＡＮＤ領域の占める割合が閾値よりも大きいヒストグラムを判定すれば、同一被写体の識別精度を高めることができる。

また、画素値分布としてヒストグラムを用いる場合、画像サイズが異なるときにはソート波形に対して画素数補正処理したのち、画素数補正処理後のソート波形からヒストグラムを生成すればよい。ソート波形に対して画素数補正処理を行うときは、上述のように波形全体の特徴を大きく変化させてしまうことがない。したがって、画素数補正処理後のヒストグラムは、画素数補正処理前の画素値分布を大きく変化させてしまうことがない。また、画素値分布としてヒストグラムを用いる場合、画素値分布の画素数の差に応じた係数を各階級の度数に乗算して画素値分布の画素数が所定の画素数となるように補正してもよい。

以上のように、類似画像判定装置１０では、入力画像から被写体領域の画素を抽出して、抽出した画素の画素値に基づくソート波形やヒストグラム等の画素値分布と、判定部１３に予め登録されている登録画素値分布から、同一あるいは類似の被写体画像の判定が行われる。このため、フレーム画像内で被写体画像の位置が異なる場合すなわち被写体の位相が変化しても、検出した被写体領域から画素を抽出することで被写体画像を正しく抽出できるので、同一あるいは類似の被写体画像の判定を正しく行うことができる。さらに、画像サイズが異なる場合でも、画素値分布に対して画素数補正処理が行われるので、画像サイズの違いによる影響を少なくして、同一あるいは類似の被写体画像の判定を正しく行うことができる。

ところで、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしてもよい。この場合の構成を図１３に示す。コンピュータは、ＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ(Read Only Memory)３０２，ＲＡＭ(Random Access Memory)３０３，ハードディスクドライブ(ＨＤＤ)３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，出力部３１５が接続されている。

外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。

ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハードディスクドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４には、上述の類似画像判定装置と同様な処理をコンピュータで実行させるための画像処理プログラムと画像データベースを予め記憶させて、画像信号入力部３１４に入力された画像信号ＳＤinに基づき、目的とする被写体画像に対して同一あるいは類似の被写体画像の画像信号や、一致あるいは類似する被写体画像に関係付けられた情報等を、判定結果信号ＳＤcとして出力部３１５から出力する。また、判定結果信号ＳＤcを通信部３１３等から出力するものとしてもよい。また、動画像がＨＤＤ３０４に記憶されているときには、この一致あるいは類似する被写体画像がフレーム画像内に含まれる動画像を再生して出力部３１５から出力するものとしてもよい。さらに、画像が他の記憶手段に記憶されているときは、一致あるいは類似する被写体画像の記録位置や被写体画像に関係付けられた情報、一致あるいは類似する被写体画像がフレーム画像内に含まれる再生開始タイミング等を判定結果信号ＳＤcとして通信部３１３や出力部３１５等から他の記憶手段に供給して、一致あるいは類似する被写体画像の再生等を行わせるものとしてもよい。

また、画像処理プログラムと画像データベースを記録媒体に記録しておき、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体から読み出してコンピュータで実行して、記録媒体に記録されている画像データベースの登録情報を用いて一致あるいは類似する被写体画像の判定を行うものとしてもよい。さらに、通信部３１３によって、伝送路を介して画像処理プログラムと画像データベースの通信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしてもよい。

図１４は、ＣＰＵ３０１で実行する類似画像判定動作を示すフローチャートである。ステップＳＴ１でＣＰＵ３０１は、被写体領域の検出を行い、領域情報を生成する。

図１５は、被写体領域検出を示すフローチャートである。ステップＳＴ１１１でＣＰＵ３０１は微分画像の生成を行う。ＣＰＵ３０１は、上述のように画像信号ＳＤinを用いて特徴量Ｖの算出を行い、この特徴量Ｖと所定の閾値と比較して、比較結果に基づき輪郭画素を示す微分画像を生成する。

ステップＳＴ１１５でＣＰＵ３０１は、ラベリングを行う。ＣＰＵ３０１は、微分画像の輪郭画素に対してラベル番号を付与して、このラベル番号を付与した画素の上下左右斜め方向に隣り合う輪郭画素に同一のラベル番号を付与する。また、ＣＰＵ３０１は、同一のラベル番号を付与できる画素が検出されなくなったとき、ラベル番号を変更して新たなラベル番号の付与を行う。その後、ＣＰＵ３０１は、ラベル番号の付与が完了したのち、同じラベル番号に属する画素数をカウントし、最も画素数の多いラベル番号をもつ画素のみを残した画像を生成する。

ステップＳＴ１１６でＣＰＵは、領域情報の生成を行う。ＣＰＵ３０１は、最も画素数の多いラベル番号で囲まれた領域を被写体領域として、この被写体領域を示す領域情報を生成する。

図１６は、被写体領域検出の別の動作を示すフローチャートである。ステップＳＴ１１３でＣＰＵ３０１は、動きベクトルの検出を行う。ＣＰＵ３０１は、画像信号ＳＤinと１フレーム遅延させた遅延画像信号ＳＤaとの間で、例えばブロックマッチングにより、動きベクトルを検出する。

ステップＳＴ１１４でＣＰＵ３０１は、動きベクトルの抽出を行う。ＣＰＵ３０１は、ステップＳＴ１１３で検出した動きベクトルから、該動きベクトル毎の画素数に応じて順位付けしたときに所定順位範囲、例えば２番目から１５番目に画素数の多い動きベクトルを抽出し、該当する動きベクトルをもつ画素を動き領域の画素に設定する。

次に、ステップＳＴ１１５でＣＰＵ３０１はラベリングを行い、上述のように動き領域の画素に対するラベル番号の付与や、最も画素数の多いラベル番号の画素のみを残した画像を生成する。次にステップＳＴ１１６でＣＰＵ３０１は、上述のように領域情報生成を行って、被写体領域を示す領域情報を生成する。

図１４に戻り、ステップＳＴ２でＣＰＵ３０１は、画素値分布の生成を行う。ＣＰＵ３０１は、ステップＳＴ１で得られた領域情報によって示された被写体領域の画素を抽出して、抽出した画素の画素値に基づくソート波形やヒストグラム等の画素値分布を生成する。

ステップＳＴ３でＣＰＵ３０１は、判定処理を行う。この判定処理において、ＣＰＵ３０１は、予めデータベースに登録されている登録画素値分布を読み出して、この読み出した登録画素値分布とステップＳＴ２で生成した画素値分布との類否状態を示す判定情報を生成する。例えば画素値分布としてソード波形を用いる場合、登録画素値分布で示されたソート情報と被写体領域の画素に基づくソート波形の例えば差分絶対値総和の演算を行い、演算結果を判定情報とする。また、画素値分布としてヒストグラムを用いる場合、登録画素分布のヒストグラムと被写体領域の画素に基づくヒストグラムの例えばＯＲ領域に対するＡＮＤ領域の占める割合を算出して、この割合を判定情報とする。

ステップＳＴ４でＣＰＵ３０１は、全ての登録画素値分布との判定処理が完了したか否かを判定する。ここで、被写体領域の画素に基づく画素値分布と全ての登録画素値分布との判定情報の生成が行われたときにはステップＳＴ５に進む。また、全ての登録画素値分布との判定情報の生成が行われていないときにはステップＳＴ３に戻り、新たな登録画素値分布を読み出して判定情報の生成を行う。

ステップＳＴ５でＣＰＵ３０１は、被写体画像の決定を行う。ＣＰＵ３０１は、ステップＳＴ３とステップＳＴ４の処理を行うことにより得られた判定情報から、被写体領域の画素に基づく画素値分布と一致あるいは最も類似した登録画素値分布を検出して、この登録画素値分布に対応する画像を被写体領域の画像と一致あるいは最も類似した被写体画像に決定する。例えば、ＣＰＵ３０１は、差分絶対値総和が「０」あるいは最小となる登録情報や、ＡＮＤ領域の占める割合が最も大きくなる登録画素値分布に対応する被写体画像を、被写体領域の画像と一致あるいは最も類似した被写体画像に決定する。

また、ＣＰＵ３０１は、判定情報と予め設定されている閾値を比較して、この比較結果に基づき一致あるいは最も類似した被写体画像を決定するものとしてもよい。例えば、差分絶対値総和が閾値よりも小さくなる登録情報に対応する画像や、ＡＮＤ領域の占める割合が閾値よりも大きくなる登録情報に対応する画像を被写体画像に決定する。

なお、上述の実施の形態においては、入力画像に対し、ノイズ除去、輝度調整など、一般的な外乱要素を取り除く処理を行った上で、実施してもよい。また抽出された被写体領域が複数ある場合は、最も領域の大きいものだけで処理を行ってもよいし、被写体が複数あるものとして、被写体の数も含めて処理を行ってもよい。その他、本発明の内容を大きく逸脱しない範囲において、種々の変更を加えてもよい。

類似画像判定装置の構成を示す図である。 被写体領域検出部の構成を示す図である。 被写体領域検出部の動作を説明するための図である。 被写体領域検出部の他の構成を示す図である。 被写体領域検出部の他の動作を説明するための図である。 被写体領域検出部の他の構成を示す図である。 画素値分布生成部の動作を示す図である。 判定部の動作を示す図である。 画像サイズとソート波形の関係を示す図である。 ソート波形の画素数補正処理を説明するための図である。 画素値分布生成部の他の動作を示す図である。 判定部の他の動作を示す図である。 ソフトウェアで類似画像判定を行う場合の構成を示す図である。 類似画像判定動作を示すフローチャートである。 被写体領域検出動作を示すフローチャートである。 被写体領域検出の他の動作を示すフローチャートである。

符号の説明

１０・・・類似画像判定装置、１１（１１ａ，１１ｂ）・・・被写体領域検出部、１２・・・画素値分布生成部、１３・・・判定部、１１１・・・輪郭抽出部、１１２・・・遅延部、１１３・・・動きベクトル検出部、１１４・・・動き領域抽出部、１１５ａ，１１５ｂ・・・ラベリング部、１１６，１１７・・・領域情報生成部、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３０４・・・ハードディスクドライブ（ＨＤＤ）、３０５・・・入出力インタフェース、３１１・・・入力部、３１２・・・記録媒体ドライブ、３１３・・・通信部、３１４・・・画像信号入力部、３１５・・・出力部、３２０・・・バス

Claims (13)

1. 入力画像から被写体領域を検出する領域検出部と、
   前記領域検出部で検出された被写体領域に含まれる画素の画素値分布を生成する画素値分布生成部と、
   前記画素値分布生成部で生成された画素値分布と予め登録されている被写体画像の登録画素値分布から、前記被写体領域の画像と前記登録被写体画像の類否判定を行う判定部を有する
   ことを特徴とする類似画像判定装置。
2. 前記領域検出部は、前記入力画像に対して輪郭抽出を行い、連続する最大長の輪郭によって囲まれた領域を前記被写体領域として検出する
   ことを特徴とする請求項１記載の類似画像判定装置。
3. 前記領域検出部は、画素毎に隣接画素との画素値差分演算を行い、該演算結果と閾値を比較して輪郭の抽出を行う
   ことを特徴とする請求項２記載の類似画像判定装置。
4. 前記領域検出部は、前記入力画像の動きベクトルを検出して、該動きベクトル毎の画素数に応じて順位付けしたときに所定順位範囲となる動きベクトルの画像領域を抽出する動き領域抽出を行い、連続する最大長の動き領域によって囲まれた領域を前記被写体領域として検出する
   ことを特徴とする請求項１記載の類似画像判定装置。
5. 前記画素値分布生成部は、前記画素値分布として、前記被写体領域に含まれる画素の画素値を画素値順に並べ替えたソート波形を生成する
   ことを特徴とする請求項１記載の類似画像判定装置。
6. 前記判定部は、前記生成された画素値分布のソート波形と前記登録画素値分布のソート波形との差分絶対値和を用いて、前記被写体領域の画像と前記登録被写体画像の類否判定を行う
   ことを特徴とする請求項５記載の類似画像判定装置。
7. 前記画素値分布生成部あるいは前記判定部は、前記生成された画素値分布のソート波形と前記登録画素値分布のソート波形の画素数が等しくなるように、前記ソート波形に対して画素の間引き又は補間を行う
   ことを特徴とする請求項５記載の類似画像判定装置。
8. 前記画素値分布生成部は、前記画素値分布として、前記被写体領域に含まれる画素を画素値に対応する階級に振り分けたヒストグラムを生成する
   ことを特徴とする請求項１記載の類似画像判定装置。
9. 前記判定部は、前記生成された画素値分布のヒストグラムと前記登録画素値分布のヒストグラムの論理和領域に対する論理積領域の割合を用いて、前記被写体領域の画像と前記登録被写体画像の類否判定を行う
   ことを特徴とする請求項８記載の類似画像判定装置。
10. 前記画素値分布生成部あるいは前記判定部は、前記生成された画素値分布のヒストグラムと前記登録画素値分布のヒストグラムの画素数が等しくなるようにヒストグラムの補正を行う
    ことを特徴とする請求項９記載の類似画像判定装置。
11. 類似画像の判定を行う類似画像判定装置による類似画像判定方法において、
    入力画像から被写体領域を検出する領域検出工程と、
    前記領域検出工程で検出された被写体領域に含まれる画素の画素値分布を生成する画素値分布生成工程と、
    前記画素値分布生成工程で生成された画素値分布と予め登録されている登録被写体画像の登録画素値分布から、前記被写体領域の画像と前記登録被写体画像の類否判定を行う判定工程を設けた
    ことを特徴とする類似画像判定方法。
12. コンピュータに、
    入力画像から被写体領域を検出する領域検出工程と、
    前記領域検出工程で検出された被写体領域に含まれる画素の画素値分布を生成する画素値分布生成工程と、
    前記画素値分布生成工程で生成された画素値分布と予め登録されている登録被写体画像の登録画素値分布から、前記被写体領域の画像と前記登録被写体画像の類否判定を行う判定工程を実行させるプログラム。
13. コンピュータに、
    入力画像から被写体領域を検出する領域検出工程と、
    前記領域検出工程で検出された被写体領域に含まれる画素の画素値分布を生成する画素値分布生成工程と、
    前記画素値分布生成工程で生成された画素値分布と予め登録されている登録被写体画像の登録画素値分布から、前記被写体領域の画像と前記登録被写体画像の類否判定を行う判定工程を実行させるプログラムを記録した記録媒体。

Images