JP2005208740A

JP2005208740A - 部分画像検索装置及び部分画像検索プログラム

Info

Publication number: JP2005208740A
Application number: JP2004011993A
Authority: JP
Inventors: Masajiro Iwasaki; 雅二郎岩崎
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2004-01-20
Filing date: 2004-01-20
Publication date: 2005-08-04

Abstract

【課題】本発明は、画像中の部分画像についても高速かつ高精度に検索することが可能な部分画像検索装置及び部分画像検索プログラムを提供することを目的とするものである。
【解決手段】蓄積する画像データを複数の領域に分割して領域番号データを付与すると共に各領域の特徴量データを抽出し、検索対象画像データについても同様に領域番号データを付与して検索特徴量データを抽出して、まず、特徴量データ同士の類似関係を判定して類似する画像データを絞込検索する。次に、各領域のピクセルに付与された領域番号データを用いて領域の形状による絞込み検索を行う。その際に、各領域に外接する矩形領域による比較又は各領域の実際の形状による比較を重合面積により行う。
【選択図】図１６

Description

本発明は、部分画像検索装置及び部分画像検索プログラムに関し、より詳細には、ユーザーが所望する部分画像を、大量の画像から探し出すための画像検索の技術に係る部分画像検索装置及び部分画像検索プログラムに関する。

近年、コンピュータ技術や画像処理技術の発達に伴って、大量の電子画像を蓄積して画像データベースを構築する試みが盛んに行われている。画像データベースを構築する際に重要となるのは、大量に蓄積した画像の中から利用したい画像を簡単に得ることができるようにするための画像検索方法である。

画像検索方法の１つとして、各画像に言葉を用いた検索キーを付与し、文書の検索と同様の方法で、入力されたキーワードと画像に付された検索キーとを照合し、キーワードに一致する検索キーが付された画像を検索結果として返すというものがある。また、キーワードと言葉による検索キーとを照合することによって画像を検索するのではなく、検索条件として特定の画像（以下「問合わせ画像」と記述する）を与え、問合わせ画像に類似する画像を画像データベースの中から検索ができるようにすることが望ましい。このような検索方法を実現するために、問合わせ画像及び画像データベース中の画像からそれぞれ画像の特徴を表す特徴量を抽出し、問合わせ画像の特徴量と、画像データベースの画像の特徴量との類似性を判定し、問合わせ画像の特徴量と類似する特徴量を有する画像を検索結果として返すという方法が提案されている。つまり、この画像検索方法は、特徴間の類似性を画像自体の類似性と考えることによって、類似する画像を検索するというものである。

更に、高速で高精度の画像検索を行うために、画像全体を検索するのではなく特定の領域を取り出して画像検索を行う方法が提案されている。例えば特許文献１では、ユーザ所望の領域である問合わせ画像から領域を抽出する際に、画像からエッジを抽出し、画像中のピクセルの色によりクラスタリングし、抽出したエッジにより得られた領域とクラスタリングにより得られた領域とに基づいて領域分割を行うことにより、画像から領域を抽出することを可能とし、登録された大量の画像の領域からユーザの所望する画像内の領域を検索することが記載されている。また、特許文献２には、領域生成部が、登録対象の画像を複数の矩形ブロックに分割する矩形領域分割部と、登録対象の画像からオブジェクト領域抽出するオブジェクト領域抽出部を有しており、類似画像検索部は、特徴抽出部により検索条件に基づき抽出された検索キー画像の指定領域の特徴量と画像データベースに登録された各画像の各領域の特徴量とを比較することにより、検索キー画像と類似した領域を含む類似画像を検索することが記載されている。また、特許文献３には、例示画像や検索者の手元の画像中に、検索者の希望に合致する画像がない場合に、それらの画像の中から１つ以上の画像を選択し、画像あるいは画像の一部領域ごとに１つ以上の特徴量を選択し、検索者の好みに応じて好きな画像の特徴量には正の重みを付与し、嫌いな画像の特徴量には負の重みを付与して特徴量に対応した画像を検索することが記載されている。
特開２００２−１３３４１２号公報特開２００２−２４５０４８号公報特開平１１−３９３３２号公報

上述した先行文献に記載されたような従来の画像検索方法においては、画像を複数の領域に分割して領域の抽出を行っているものの、画像の一部に検索対象画像を有するような場合を想定されていないので、画像の一部について画像検索する場合にはパターンマッチングを用いることになって高速に画像検索することは困難となる。

そこで、本発明は、画像中の部分画像についても高速かつ高精度に検索することが可能な部分画像検索装置及び部分画像検索プログラムを提供することを目的とするものである。

本発明に係る部分画像検索装置は、画像に関する画像データを記憶する画像データベースと、画像データベースに記憶された画像データ及び検索対象画像に関する画像データをそれぞれ画素値に基づいて複数の領域に分割する分割手段と、画像データベースに記憶された画像データの各領域の特徴量データ及び各領域を画定する位置データを算出する算出手段と、画像データベースに記憶された画像データに関する特徴量データ及び位置データを記憶する記憶手段と、検索対象画像に関する画像データの各領域の検索特徴量データ及び各領域を画定する検索位置データを算出する算出手段と、各検索特徴量データと特徴量データとを比較して両者の類似関係を判定する特徴量判定手段と、特徴量判定手段の判定結果に基づいて各検索特徴量データに類似する特徴量データをすべて備えた画像データを検索する第一検索手段と、第一検索手段により検索された画像データに関する位置データと検索位置データとを比較して両者の類似関係を判定する位置判定手段と、位置判定手段の判定結果に基づいて検索対象画像データに類似する画像データを検索する第二検索手段とを備えていることを特徴とする。さらに、前記特徴量判定手段は、検索特徴量データと特徴量データとの差が所定の閾値を超えたか否かにより類似関係を判定することを特徴とする。さらに、前記位置判定手段は、位置データ及び検索位置データにより画定される各領域の重合する面積比率を算出する手段と、該面積比率が所定の閾値を超えたか否かにより両者の類似関係を判定する手段とを備えていることを特徴とする。

本発明に係る部分画像検索プログラムは、コンピュータを、画像データベースに記憶された画像に関する画像データ及び検索対象画像に関する画像データをそれぞれ画素値に基づいて複数の領域に分割する分割手段、画像データベースに記憶された画像データの各領域の特徴量データ及び各領域を画定する位置データを算出する算出手段、画像データベースに記憶された画像データに関する特徴量データ及び位置データを記憶する記憶手段、検索対象画像に関する画像データの各領域の検索特徴量データ及び各領域を画定する検索位置データを算出する算出手段、各検索特徴量データと特徴量データとを比較して両者の類似関係を判定する特徴量判定手段、特徴量判定手段の判定結果に基づいて各検索特徴量データに類似する特徴量データをすべて備えた画像データを検索する第一検索手段、第一検索手段により検索された画像データに関する位置データと検索位置データとを比較して両者の類似関係を判定する位置判定手段、及び位置判定手段の判定結果に基づいて検索対象画像データに類似する画像データを検索する第二検索手段、として機能させる。さらに、前記特徴量判定手段を、検索特徴量データと特徴量データとの差が所定の閾値を超えたか否かにより類似関係を判定するように機能させる。さらに、前記位置判定手段を、位置データ及び検索位置データにより画定される各領域の重合する面積比率を算出する手段、及び該面積比率が所定の閾値を超えたか否かにより両者の類似関係を判定する手段、として機能させる。

本発明は、上記のような構成を有することで、予め画像データベースに蓄積する画像データについて画素値に基づいて領域分割して特徴量データ及び位置データを算出し、検索対象についても同様に領域分割して検索特徴量データ及び位置データを算出し、まず特徴量データ及び検索特徴量データを比較して類似する画像データを絞り込み、次に位置データ及び検索位置データを比較してさらに絞込みをかけるようにしているので、画像データの分割された領域である部分画像について類似関係に基づく絞込み検索が高速で処理できると共に段階的に絞り込むことで漏れの少ない確実な検索処理が可能となる。特に、特徴量データによる絞込みによりまず部分画像の特性が類似するものに絞り込まれ、位置データによる絞込みにより部分画像の形状が類似するものに絞り込まれるので、より高精度の検索処理が可能となる。また、各検索特徴量データと特徴量データと間の類似関係に関して、両者の差が所定の閾値を超えたか否かにより判定することで、類似関係をより高速に処理することができる。また、検索された画像データに関する位置データと検索位置データとを比較する際に、位置データ及び検索位置データにより画定される各領域の重合する面積比率を算出し、該面積比率が所定の閾値を超えたか否かにより両者の類似関係を判定することで、位置データの類似関係を簡単な方法で定量化でき、高速処理を可能とする。。

以下、本発明に係る部分画像検索方法に関する実施形態について詳しく説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。

図１は、本発明の実施形態に関するブロック構成図を示している。ＣＰＵ２は、全体を制御し演算処理を行い、ＲＯＭ３はブートプログラム等を記憶し、ＲＡＭ４はＣＰＵ２のワークエリアとして使用される。入力装置５は、画像登録命令や検索実行命令を入力するためのもので、表示装置６は、登録された画像や検索結果画像を表示するために用いられる。大容量記憶装置１０は、アプリケーションプログラムや画像データ等を記憶しており、インターフェイス１２（Ｉ／Ｆ）は、スキャナやデジタルカメラ等の画像入力機器１１と接続されるようになっており、ネットワーク・アダプタ１４は、ネットワーク１３に接続するために用いられる。そして、これらのブロックは、バス１により相互に接続されて互いに通信を行うようになっている。

大容量記憶装置１０には、部分画像検索を実行するための画像検索プログラム７、多数の画像に関する画像データが蓄積される画像データベース８（以下「データベース」を「ＤＢ」と略称する。）、画像ＤＢ８に蓄積された画像データに基づいて抽出した特徴量データを蓄積する特徴量ＤＢ９が記憶されている。

入力装置５としては、例えばキーボード、マウスやリモートコントローラー等が考えられ、表示装置６としては、ＣＲＴ、液晶ディスプレイやプラズマディスプレイ等が考えられる。また、大容量記憶装置１０としては、ハードディスクドライブ（ＨＤＤ）やＤＶＤドライブ等が考えられる。また、ネットワーク１３としては、インターネットやＬＡＮが考えられる。

図２は、本発明の実施形態に関する別のブロック構成図を示している。この例では、クライアント−サーバー方式を用いており、複数のクライアントＰＣ１５には画像入力機器１１が接続されており、ネットワーク１３を介してサーバ１６に接続されている。サーバ１６の大容量記憶装置には、図１の大容量記憶装置１０と同様に、画像検索プログラム７、画像ＤＢ８、特徴量ＤＢ９が記憶されている。クライアントＰＣ１５からサーバー１６と接続することで部分画像検索を実行することができ、また、画像ＤＢ８を共有化することで、多数の画像をサーバー１７に集中して蓄積することができ、部分画像の検索をより広範囲に行うことができるようになる。

本実施形態では、画像検索プログラム７を読み出してＣＰＵ２で実行することによって実現される。画像検索プログラム７は、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の大容量記憶装置に用いられる記録媒体に記録されて提供することができ、また、他のアプリケーションプログラムの一部として提供することができると共に、それのみ単独で提供することもできる。

また、画像検索プログラム７は、サーバ１７からインターネットやＬＡＮのようなネットワーク１４を介してクライアントＰＣ１６にダウンロードされて実行することも可能である。ネットワーク１４としては、例えば放送波のような無線のネットワークでもよく、こうしたネットワークによって画像検索プログラム７を配信することもできる。

図３は、画像を登録する場合の全体処理フローを示しており、図４は、画像を検索する場合の全体処理フローを示している。以下、図１のブロック構成を用いて処理フローを説明する。

図３に示す画像登録処理を行う場合には、入力装置５及び画像入力機器１１を操作して画像を画像データとして入力処理（Ｓ１０１）し、ＣＰＵ２は、入力された画像データを画像ＤＢ８に蓄積する。次に、ＣＰＵ２は、画像検索プログラム７を読み出して画像データについて複数の領域の抽出処理（Ｓ１０２）を行う。

Ｓ１０２では、図５に示すようなフローにより処理を行う。図８から図１０は、その処理過程を模式的に示している。

まず、画像データを複数の領域に分割する分割処理を行う（Ｓ３０１）。分割処理では、色のクラスタリングやエッジの抽出による公知の領域分割手法を用いる。エッジを抽出して領域分割を行う手法では、変化の幅は少ないが急激に変化している場合に有効であり、色のクラスタリングによる手法では、変化の幅は大きいが徐々に変化している場合に有効である。そこで、両者の手法を組合わせることでより精度の高い領域分割を行うことができる。また、これ以外の領域分割の手法を用いてもよい。

図８では、領域抽出処理を行う画像データ２０を示しており、画像データ２０中には、背景２１、人物２２及び複数の図形２３が描かれており、それぞれ異なる配色がなされている。図８では、ハッチングやドットで配色が異なることを示すようにしている。図８に示す画像２０を前述のＳ３０１より複数の領域に分割する場合、例えば、エッジ抽出を行うことで、図９のように、背景２１、人物２２及び図形２３ａ〜ｃに分割される。

分割された複数の領域には、領域番号が割り当てられて（Ｓ３０２）、各領域内の画素であるピクセルすべてに対応して同一の領域番号データが生成される（Ｓ３０３）。領域内のすべてのピクセルに同一の領域番号データを生成することで、各ピクセルの座標データと関連付ければ領域の形状及びその位置を特定することができ、位置データとして用いることができる。

図９において、各領域には境界線で囲まれた範囲内のピクセルに対応して、例えば、領域２１は領域番号データ１、領域２２は領域番号データ２、領域２３ａは領域番号データ３、領域２３ｂは領域番号データ４、領域２３ｃは領域番号データ５が割り当てられて、各領域の境界線で囲まれた範囲内のピクセルに対応して、それぞれ同一の領域番号データが生成されるようになる。

さらに、各領域に外接する矩形図形を描いてその座標データを算出する（Ｓ３０４）。すなわち、各領域が複雑な形状となっていることがほとんどであることから、以後の処理において、各領域をそれぞれ外接する矩形図形に単純化してその矩形図形の座標データを各領域の位置データとして用いるために予め算出しておく。

図１０に示すように、領域２１に外接する矩形図形２４、領域２２に外接する矩形図形２５、領域２３ａに外接する矩形図形２６ａ、領域２３ｂに外接する矩形図形２６ｂ及び領域２３ｃに外接する矩形図形２６ｃを描いて、それぞれの矩形図形の左上点Ａ及び右下点Ｂの座標データを算出する。矩形図形は、同一の領域番号データが付与されたピクセルのうち、左右方向及び上下方向のそれぞれについて最大及び最小の位置座標にあるピクセルを求めて、これらの位置座標から算出すればよい。

図３において、上述のような領域抽出処理が行われた後各領域の特徴量データの抽出処理が行われる（Ｓ１０３）。各領域の特徴量としては、例えば、各領域内のピクセルの色成分値を用いて各領域内の代表色を抽出してそれを特徴量データとする。これ以外にも、領域の画像の特性を示すものであれば特徴量データとして用いることができる。

Ｓ１０３では、図６に示すようなフローにより処理が行われる。まず、同一領域番号のピクセルが抽出され（Ｓ４０１）、各ピクセルの色成分値が抽出されて（Ｓ４０２）特徴量データとして最も多い代表色が抽出される（Ｓ４０３）。

以上の処理が行われた後、領域毎に、領域番号データ、特徴量データ及び矩形図形データ（点Ａ及びＢに関する座標データ）を画像データに関連付けて特徴量ＤＢ９に蓄積する（Ｓ１０４）。

次に、図４に示す画像検索処理フローについて説明する。図１１から図１６は、その処理過程を模式的に示している。まず、検索対象画像が入力処理される（Ｓ２０１）。例えば、図１１（ａ）に示すような背景３１に図形３２が配置された検索対象画像データ３０が入力される。図１１ではハッチング及びドットによりそれぞれ異なる色を示している。

次に、入力された検索対象画像データ３０について図３のステップＳ１０２と同様の領域抽出処理が行われる（Ｓ２０２）。図１１（ｂ）に示すように、エッジ抽出により領域の分割処理を行い、背景３１に関する分割領域には領域番号１、図形３２ａに関する分割領域が領域番号２、図形３２ｂに関する分割領域が領域番号３、図形３２ｃに関する分割領域が領域番号４、といったように領域番号データが生成される。領域分割処理を行う際に、図１１（ｂ）に示すような処理データを表示装置６に表示して検索したい任意の領域を入力装置５で指定できるようにすることもできる。また、領域３２ａ〜３２ｃに関してそれぞれに外接する矩形図形３４ａ〜３４ｃが描かれて矩形図形データが算出される。

そして、図３のステップＳ１０３と同様に検索対象画像データについて分割された領域毎に検索特徴量データを抽出する（Ｓ２０３）。

次に、こうして求められた検索対象画像データに関するデータを用いて検索対象画像データ及び画像ＤＢ８に蓄積された画像データの類似関係に基づいた検索処理を行う（Ｓ２０４）。この検索処理は、図７の示すような処理フローで行われる。

まず、検索対象画像データの各領域の検索特徴量データと蓄積画像データの各領域の特徴量データとを比較して、類似関係が判定される（Ｓ５０１）。例えば、図１１（ｂ）に示す領域３２ａ、領域３２ｂ、領域３２ｃに関する検索特徴量データとして各領域の代表色と蓄積画像に関する特徴量データとして各領域の代表色とが比較されて、両者の色差が予め設定された閾値よりすべて小さい場合に類似関係があると判定するようにすればよい。こうして検索対象画像データに関する各領域の代表色すべてに類似関係を有する領域を備えた画像データが検索される。なお、色差とは、２つの画素の間の色の差を表す値で、例えば、２つの画素のＲＧＢ値を（Ｒ₁，Ｇ₁，Ｂ₁）及び（Ｒ₂，Ｇ₂，Ｂ₂）とすると、その色差Ｄは、以下の式で求められる。
Ｄ＝（Ｒ₁−Ｒ₂）²＋（Ｇ₁−Ｇ₂）²＋（Ｂ₁−Ｂ₂）²
色差については、この式に限らず人間の視覚により近い値となるような算出式を用いてもよい。

次に、特徴量データに基づいて絞り込まれた画像データについて、検索対象画像データの各領域の検索特徴量データと類似関係のある領域を包含する部分領域の抽出処理を行うとともに検索対象画像データについても検索対象に指定した領域を包含する部分領域の抽出処理を行う（Ｓ５０２）。例えば、図１２（ａ）に示すような画像データが検索されたとする。この画像データでは、背景領域４１及び図形領域４２ａ、４２ｂ、４２ｃが抽出されている。そして、図形領域４２ａ〜４２ｃが検索対象画像データの領域３２ａ〜３２ｃとそれぞれ類似関係があると判定された場合、図１２（ｂ）に示すように、図形領域４２ａ〜４２ｃを包含する矩形４３を描いて部分領域を画定する。矩形４３は、上下左右の辺が最も外側の図形領域に外接するように設定されている。同様に、図１３（ａ）に示す検索対象画像データの領域３２ａ〜３２ｃを包含する矩形３３を描いて部分領域を画定する。矩形３３及び４３を描く際には、各ピクセルに付与された領域番号データを用いて最も外側のピクセルの座標データに基づいて行えばよい。

図１２（ｂ）及び図１３（ｂ）に示すように、各画像データの領域毎の矩形図形３４ａ〜３４ｃ及び４３ａ〜４３ｃにより各領域を矩形領域として取り扱うようにすると、以後の検索処理を高速化することができる。すなわち、矩形領域は、図１０に示すように点Ａ及び点Ｂの２つの点によって求めることができるため、処理する情報量が格段に少なくなる。図１２（ｃ）及び図１３（ｃ）は、各領域を矩形領域とした状態を模式的に示している。図において、ハッチングが矩形領域に描かれているが、これは矩形領域の重合する程度をわかりやすく表示するために便宜的に描かれているもので、実際の処理においては存在していない。

次に、抽出された部分領域について正規化処理を行う（Ｓ５０３）。ここでは、図１２（ｃ）及び図１３（ｃ）に示す矩形領域の重合の程度をみるため、両者の部分領域のサイズを同一にするため、部分領域の拡大又は縮小を行う。まず、基準となる正方形が決められる。例えば、図１４（ａ）は、絞り込まれた画像データに関するものであるが、部分領域を画定する矩形４３の対角線の交点である中心点Ｐと中心点が一致するように正方形４５（点線で示す）が設定される。そして、矩形４３の縦横比を固定して拡大又は縮小を行い、矩形４３のいずれかの辺が正方形４５の辺と一致するようにする。同様に図１４（ｂ）は、検索対象画像データに関するものであるが、部分領域を画定する矩形３３と正方形３５（正方形４５と同一）とを中心点を一致させて配置し、矩形３３を拡大又は縮小させて矩形３３のいずれかの辺が正方形３５の辺と一致するようにする。

以上のような正規化処理を行った後矩形領域の重合処理を行う（Ｓ５０４）。図１５に示すように、正規化処理された２つの部分領域に関するデータを中心点Ｐが一致するように重ね合わせる。そして、各矩形領域の座標データに基づいて重合面積が算出される。重合面積により２つの部分領域の類似度は以下の式により求められる。
類似度＝重合面積／総面積
ここで、総面積は、重合面積と非重合面積の和である。算出された類似度が大きな値であるほど２つの部分領域内の画像の形状が類似していることになる。そこで、この類似度が予め設定された閾値より大きい画像データを検索して絞り込むようにする。その際、閾値をユーザーによって適宜設定できるようにしてもよい。

以上のように、矩形領域の重合の程度により絞込みが行われ、検索結果が望ましいものであれば、そのまま検索結果を表示してもよいが、さらに、精度を向上させる場合には、矩形領域により絞り込んだ画像データの各領域の実際のデータを用いて検索対象画像データの各領域の実際のデータとを比較して重合処理を行う（Ｓ５０５）。図１６に示すように、正規化処理された各領域のピクセルの座標データに基づいて２つの画像データの重合面積を算出して、上述した矩形領域の場合と同様に類似度を算出してさらに絞込みを行う。この場合、矩形領域の重合処理により処理対象となる画像データがある程度絞り込まれているため、処理時間は少なくて済む。

さらに検索精度を高めるために、２つの部分領域に元の画像データを生成して両者の類似度を算出して類似関係を判定する（Ｓ５０６）。例えば、図１６に示す部分領域３３及び４３の背景領域に当る部分には白色を設定し、領域３２ａ〜３２ｃには検索対象画像データの図形３２の画像データを生成し、領域４２ａ〜４２ｃにも同様に元の画像データを生成する。こうして生成された２つの部分画像から特徴量（例えば色の分布、輪郭線の分布、模様等）を抽出して特徴量同士を比較することで類似度を求めることができる。類似度は、特徴量同士の差が閾値を超えたか否かにより判定すればよい。また、前述の例では正方形の白色の背景画像に各領域の実際の画像を配置したが、部分領域３３及び４３に対応する画像をそのまま生成して、２つの部分画像を公知のパターンマッチングの手法により類似度を判定してもよい。

以上のように、検索対象画像データと類似関係のある画像データを絞込検索した後検索結果を表示装置６に表示する（Ｓ２０５）。なお、この例では、図７に示すように、矩形領域の重合処理、各領域の重合処理及び部分画像による類似度の算出処理を行っているが、すべてを行う必要はなく、それぞれ単独に行ってもよく、また適宜組み合わせて行うこともできる。

本発明に係る実施態様としては、以下のようなものが考えられる。

第一に、検索された画像データに関する位置データと検索位置データとを比較する際に、各領域に外接する矩形図形を画定する座標データを算出し、両者の各領域に対応する矩形図形の重合する面積比率を座標データに基づいて算出し、検索された画像データを該面積比率に基づいて予め絞り込むことで、位置データの類似関係をより単純化して算出することができ、さらに高速処理が可能となるとともに、予め矩形図形による類似関係に基づいて絞り込んだ後別の高精度の絞込み処理を行うといった前処理としても有用である。

第二に、判定結果に基づいて検索対象画像データに類似する画像データを検索する際に、判定結果に基づいて各検索位置データに類似関係がある位置データをすべて備えた画像データを検索し、検索された画像データに関する位置データ及び検索位置データに基づいて各領域に対応する部分画像データを生成し、類似関係があると判定された両者の領域の間の類似関係を部分画像データに基づいて判定し、判定結果に基づいて検索対象画像データに類似する画像データを絞込み検索するようにすれば、位置データの類似関係による絞込みの後生成された部分画像データの類似関係による高精度の絞込み検索が行われることから、検索精度をさらに高めることができる。。

第三に、画像データを画素値に基づいて複数の領域に分割する際に、各領域の画素に対応して領域番号データを生成するようにすれば、以後の処理を領域番号データを用いて処理することができ、処理速度の高速化が可能となる。

本発明に係る実施形態に関するブロック構成図である。本発明に係る実施形態に関する別のブロック構成図である。本発明に係る実施形態における画像登録処理フローである。本発明に係る実施形態における画像検索処理フローである。画像登録処理中の領域抽出処理フローである。画像登録処理中の特徴量データの抽出処理フローである。画像検索処理中の類似関係に基づく検索処理フローである。領域抽出処理過程を示す説明図である。領域抽出処理過程を示す説明図である。領域抽出処理過程を示す説明図である。検索処理過程を示す説明図である。検索処理過程を示す説明図である。検索処理過程を示す説明図である。検索処理過程を示す説明図である。検索処理過程を示す説明図である。検索処理過程を示す説明図である。

符号の説明

１・・バス、２・・ＣＰＵ、３・・ＲＯＭ、４・・ＲＡＭ、５・・入力装置、
６・・表示装置、７・・画像検索プログラム、８・・画像ＤＢ、９・・画像特徴量ＤＢ、
１０・・大容量記憶装置、１１・・画像入力機器、１２・・Ｉ／Ｆ、
１３・・ネットワーク、１４・・ネットワーク・アダプタ、
１５・・クライアントＰＣ、１６・・サーバ。

Claims

画像に関する画像データを記憶する画像データベースと、画像データベースに記憶された画像データ及び検索対象画像に関する画像データをそれぞれ画素値に基づいて複数の領域に分割する分割手段と、画像データベースに記憶された画像データの各領域の特徴量データ及び各領域を画定する位置データを算出する算出手段と、画像データベースに記憶された画像データに関する特徴量データ及び位置データを記憶する記憶手段と、検索対象画像に関する画像データの各領域の検索特徴量データ及び各領域を画定する検索位置データを算出する算出手段と、各検索特徴量データと特徴量データとを比較して両者の類似関係を判定する特徴量判定手段と、特徴量判定手段の判定結果に基づいて各検索特徴量データに類似する特徴量データをすべて備えた画像データを検索する第一検索手段と、第一検索手段により検索された画像データに関する位置データと検索位置データとを比較して両者の類似関係を判定する位置判定手段と、位置判定手段の判定結果に基づいて検索対象画像データに類似する画像データを検索する第二検索手段とを備えていることを特徴とする部分画像検索装置。
前記特徴量判定手段は、検索特徴量データと特徴量データとの差が所定の閾値を超えたか否かにより類似関係を判定することを特徴とする請求項１に記載の部分画像検索装置。
前記位置判定手段は、位置データ及び検索位置データにより画定される各領域の重合する面積比率を算出する手段と、該面積比率が所定の閾値を超えたか否かにより両者の類似関係を判定する手段とを備えていることを特徴とする請求項１又は２に記載の部分画像検索装置。
コンピュータを、
画像データベースに記憶された画像に関する画像データ及び検索対象画像に関する画像データをそれぞれ画素値に基づいて複数の領域に分割する分割手段、
画像データベースに記憶された画像データの各領域の特徴量データ及び各領域を画定する位置データを算出する算出手段、
画像データベースに記憶された画像データに関する特徴量データ及び位置データを記憶する記憶手段、
検索対象画像に関する画像データの各領域の検索特徴量データ及び各領域を画定する検索位置データを算出する算出手段、
各検索特徴量データと特徴量データとを比較して両者の類似関係を判定する特徴量判定手段、
特徴量判定手段の判定結果に基づいて各検索特徴量データに類似する特徴量データをすべて備えた画像データを検索する第一検索手段、
第一検索手段により検索された画像データに関する位置データと検索位置データとを比較して両者の類似関係を判定する位置判定手段、及び
位置判定手段の判定結果に基づいて検索対象画像データに類似する画像データを検索する第二検索手段、
として機能させるための部分画像検索プログラム。
前記特徴量判定手段を、
検索特徴量データと特徴量データとの差が所定の閾値を超えたか否かにより類似関係を判定するように機能させる請求項４に記載の部分画像検索プログラム。
前記位置判定手段を、
位置データ及び検索位置データにより画定される各領域の重合する面積比率を算出する手段、及び
該面積比率が所定の閾値を超えたか否かにより両者の類似関係を判定する手段、
として機能させる請求項４又は５に記載の部分画像検索プログラム。