JP2007317034A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】曖昧な記憶を頼りに既知の画像を文書画像ＤＢから分類、表示して検索するに際して、画像の絞り込みを容易にし、ユーザビリティを向上させる。
【解決手段】ユーザは画像分類をサーバ装置１１０へ指示する。類似度算出手段１１５は、分類カテゴリ毎の基準特徴量と特徴量ＤＢ１１４に登録済みの画像特徴量とを比較してカテゴリ毎の類似度を算出する。分類処理部１１７は、カテゴリ毎の類似度がしきい値以上の画像について、カテゴリ毎に類似度の高いものから順位付けし、カテゴリの画像数の結果を表示画面制御処理部１１８へ出力する。
【選択図】図１

Description

本発明は、文書画像の分類機能を備え、分類の態様の表示画面を作成する機能を備えた画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、例えば、複写機の複合機、ファイルサーバ、画像処理プログラム等に好適な技術に関する。

紙文書をスキャナ等の入力デバイスを使用して電子化する例えば電子ファイリング等の装置があるが、専ら紙文書を大量に扱う業務用途として使用されていた。近年、スキャナの低価格化やスキャン機能を搭載したＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｒｉｎｔｅｒ）の普及、またｅ−文書法等の法制化により一般的なオフィスにおいてもそのハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えてきている。また、電子化された文書画像データをデータベース（以下ＤＢ）化して管理する画像ＤＢの用途も増えてきている。例えば紙文書の原本を保存しておく必要があっても管理のし易さという点で画像ＤＢを構築する場合もある。

このような文書画像ＤＢにおいては、サーバ装置を設置して多数の人がアクセスする大規模なものから、個人のＰＣ内にＤＢを構築するパーソナル用途のものまで様々である。また、近年のＭＦＰでは内臓のＨＤＤに文書を蓄積する機能を備えており、ＭＦＰをベースとして文書画像ＤＢを構築する例もある。

このような文書画像ＤＢにおいて、大量の文書画像から所望の文書画像を検索するために検索機能を備えたものがある。現在主流の検索機能は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）処理した文字認識結果をキーワードとして全文検索、または概念検索等を行うのが一般的となっている。しかし、このようなテキストベースの検索においては、
（１）ＯＣＲの精度に依存する
（２）検索キーワードが必要
（３）ヒット数が多い場合に絞り込みが困難
という問題点がある。

上記（１）については、ＯＣＲにより１００％の正解を得ることは現状では不可能であるため、入力した検索キーワードの部分にＯＣＲのミスがあればヒットしないという問題が生じる。上記（２）については、テキストベースの検索は、例えば、インターネットのＨＰを検索するような未知のものを検索する場合や、そのキーワードが明らかな場合には有効性が高いが、例えば数年前に入力した記憶が曖昧な文書を検索するような場合には、適切なキーワードが思い浮かばなければ検索することができない。また、ページ全体が写真やグラフィクスで文章が存在しない場合には当然ながら検索することができない。上記（３）については、テキストベースの検索の場合には順位付けが困難であるため、キーワードにヒットしたものは同格に扱われる。そのため、ヒット数が多い場合、ヒットした多数の文書画像を一つ一つ確認する必要があり、ユーザビリティが悪い。

ところで、写真画像の検索方法として、類似画像検索方法と画像を複数のカテゴリに分類して画像を絞り込んでいく画像分類方法がある。類似画像検索方法は、例えば特許文献１に開示されているように、問い合わせ画像に対して、色味や輪郭、模様等の画像の性質から特徴量を算出し、それら複数の特徴量に重み付けして問い合わせ画像との類似度を算出して順位付けする画像検索方法である。類似画像検索方法の特徴として、検索キーとして問い合わせ画像を使用する必要がある。手元の画像を問い合わせ画像として使用する場合には良いが、画像ＤＢ内の画像を問い合わせ画像に使用する場合は、まず問い合わせ画像を探す手間が必要で操作性が悪いという問題がある。

画像分類方法は、分類した画像の集合を選択すれば良いため操作性は良好となる。画像分類方法の例として特許文献２がある。特許文献２では、入力画像から抽出された特徴を基に画像をカテゴリに分類し、各カテゴリの代表的な画像を利用者に提示する。ユーザが選択した画像について、さらにサブカテゴリの画像を提示することによって段階的に画像を絞り込むことが可能となり、少ない提示回数で画像を提示することが可能となる。

また、類似画像検索方法と画像分類方法を融合させた例として、特許文献３がある。特許文献３では、問い合わせ画像から類似画像検索を行い、検索された複数の画像を画像特徴に基づいて分類し代表画像を表示し、類似度の高い画像は類似度順に表示し、類似度の低い画像は分類して代表画像を表示する。これにより、類似度の高い画像同士をまとめて表示することが可能となり、検索された画像間の類似性を考慮した表示が可能となる。

上記した方法によれば、分類した画像は各カテゴリ毎に代表画像のみを表示し、カテゴリを代表して表示される画像の選択方法は、カテゴリの重心位置の画像を選択している。

特開２０００−２８５１４１号公報 特開平１０−１６２０２０号公報 特開２００１−２７３３０２号公報

しかし、上記した分類画像の表示方法では、ユーザは代表画像からカテゴリ内にどのような画像データが含まれているかを把握するのは難しい。例えば、画像ＤＢに非常に多くの画像データが登録されていて、その分類結果を表示した場合に、一つのカテゴリには数多くの画像が分類されることになる。ユーザはそれらの表示結果を元にして一つまたは複数のカテゴリを選択し、検索対象である画像を絞り込むが、カテゴリ選択を誤ると、ユーザは検索対象画像が無いカテゴリ内を探すことになり、検索効率が著しく悪化する。

ユーザの検索効率の向上、すなわち画像分類での画像検索におけるユーザビリティの向上のためには、分類されたカテゴリ内に含まれる画像に「どのような画像が含まれているか」、そのカテゴリは「どのような画像の集合によるものか」（以下、カテゴリの内容と略す）をユーザに提示することが必要になる。

本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、曖昧な記憶を頼りに既知の画像を文書画像ＤＢから分類、表示して検索するに際して、画像の絞り込みを容易にし、ユーザビリティを向上させ、また、画像ＤＢにおける分類結果を表示するに際して、分類されたカテゴリの内容をユーザへ的確に提示することによって、カテゴリ選択の誤りをなくし検索効率を向上させた画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

本発明は、画像データベースに蓄積されている画像データを検索する機能を有する画像処理装置であって、複数の基準特徴量を出力する基準特徴量出力手段と、各々の基準特徴量と前記特徴量算出手段により算出された画像特徴量を基に画像の類似度を算出する類似度算出手段と、各々の基準特徴量に対応して算出された類似度に応じて複数の分類カテゴリを形成する分類手段を備えたことを最も主要な特徴とする。

本発明によると、人の曖昧な記憶を頼りに、既知の画像を文書画像ＤＢから分類、表示して検索するに際して、画像分類におけるカテゴリ内の画像をカテゴリ毎に設定した基準特徴量の類似度によって整列させているので、画像分類におけるカテゴリに含まれる画像内容の認識性、視認性が向上し、また、カテゴリ選択の誤りがなくなり、検索効率とユーザビリティが向上する。

本発明によると、１回の類似度算出処理において分類と画像の類似度による順位付けを行い、分類処理と類似画像検索処理を分けて処理しているので、画像分類の自由度が上がる。

本発明によると、画像分類結果の表示画面において、第一の方向にカテゴリを並べ、第二の方向にカテゴリに含まれる画像を並べる二次元的な表示形態によりカテゴリとカテゴリに含まれる画像データを表示しているので、カテゴリの種類の視認性とカテゴリに含まれる画像内容の認識性（つまりカテゴリにどのような画像が含まれるか、換言すればそのカテゴリの意味合い）の双方が向上する。

本発明によると、分類カテゴリの表示画像を類似度の所定間隔によってカテゴリの全体から選択しているので、表示画面内にカテゴリ内の全画像を表示出来ない場合でも、ユーザにそのカテゴリに含まれる画像の全容を示すことができ、ユーザが容易にカテゴリの内容を類推できる。

本発明によると、分類カテゴリの表示画像を類似度の順位の所定間隔によってカテゴリの全体から選択しているので、表示画面内にカテゴリ内の全画像を表示出来ない場合でも、ユーザにそのカテゴリに含まれる画像の全容を示すことができ、ユーザが容易にカテゴリの内容を類推できる。加えて、カテゴリ内の画像の偏りを反映した表示が可能となる。

本発明によると、カテゴリに含まれる画像数をカテゴリ毎に表示しているので、分類の対象となる画像の集合の全容をユーザに理解させることができる。

本発明によると、分類キーに応じて、カテゴリ毎の基準特徴量を設定しているので、１回の類似度算出処理において分類と画像の類似度による順位付けを行う場合でも分類キーに応じた基準特徴量を使用して画像を分類できる。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１：
図１は、本発明の実施例１のシステム構成を示す。図１において、１００はパーソナルコンピュータ（以下ＰＣ）、ＰＤＡや携帯電話等のモバイル端末等のクライアント装置である。１０１はモニタ等の表示デバイス、１０２はユーザ指示の解釈、サーバ１１０との通信、表示デバイス１０１の制御を行うアプリケーションプログラム、１０３はユーザからの指示入力手段であるキーボードやマウス等の入力デバイス、１０４はＬＡＮやインターネット等の外部通信路である。

１１０はクライアントからのコマンドに応じて画像分類を行い、分類結果をクライアント１００へ出力するサーバ装置、１１１は外部通信路１０４とのインターフェース（以下Ｉ／Ｆ）、１１２は入力画像から画像特徴量を算出する特徴量算出処理部、１１３は登録画像１１９を蓄積するための画像ＤＢ、１１４は画像ＤＢ１１３に蓄積（登録）されている画像の特徴量を蓄積する特徴量ＤＢ、１１５は基準特徴量出力処理部１１６から出力された基準特徴量と特徴量ＤＢ１１４に蓄積された画像特徴量から画像の類似度を算出する類似度算出処理部、１１６は分類カテゴリ毎に分類カテゴリに応じた複数の基準特徴量を出力する基準特徴量出力処理部、１１７は分類カテゴリに対応した複数の基準特徴量との類似度に応じて分類カテゴリを形成する分類処理部、１１８は分類処理部１１５の結果によりクライアント１００へ表示するための表示画面を生成する表示画面制御処理部、１１９は画像ＤＢ１１３へ登録する登録画像データ、１２０はクライアント１００の表示デバイス１０１上へ表示される表示画面データである。なお、図中の点線は、画像登録時のデータの流れを表し、実線は画像分類処理を行って表示画面を生成する時のデータの流れを表している。

図２は、サーバ装置１１０の構成を示す。図２において、２０１はプログラムに応じた演算や処理を行うＣＰＵ、２０２はプログラムのコードや画像の符号データ等のデータを一時的に記憶、保持するワーク領域として使用される揮発性のメモリ、２０３は画像データやプログラム等を保存、蓄積するためのハードディスク（以下ＨＤＤ）であり、画像ＤＢ１１３、特徴量ＤＢ１１４を保持する。２０４はモニタ２０５へ表示するためのデータバッファとなるビデオメモリである。ビデオメモリ２０４に書き込まれた画像データは、定期的にモニタ２０５へ表示される。２０６はマウスやキーボード等の入力デバイス、２０７はインターネットやＬＡＮ等の外部通信路１０４を介してデータを送受信する外部Ｉ／Ｆ、２０８は各々の構成要素を接続するバスである。

本実施例では、サーバ装置１１０がサーバコンピュータにより構成され、画像分類等の処理がソフトウェによって実現する例を示す。すなわち、サーバ内の処理は図示しないアプリケーションプログラムによって実現される。本発明の実施形態はこれに限定されず、ＭＦＰ等の装置内にハードウェアによって処理を行うように構成しても良いし、また、サーバ、クライアント構成を採らずに、例えば１つのＰＣやＭＦＰ等の機器内に、図１を構成するようにしても良い。

以下、動作概要を説明する。画像ＤＢは、大別すると二つの動作に分かれている。一つは画像の登録動作であり、もう一つは所望の画像を検索し、閲覧し、取得（サーバからのダウンロード）する「ＤＢ内の画像を利用する」動作である。画像の利用においては、所望の画像を検索する動作が不可欠であり、その後の動作は、アプリケーションのビューアーを使用して画像を閲覧し、ユーザのＰＣ内へ蓄積する。画像分類は検索時の一つの機能であり、画像分類のみで検索が完了するとは限らない。画像分類と類似画像検索を組み合わせたり、あるいはテキスト検索を組み合わせることにより最終的に検索対象画像を見つけることが出来ればよい。本実施例では、画像登録時の動作と画像の検索動作時の一機能である画像分類と分類結果の表示について説明する。

図３は、画像登録時の動作フローチャートを示す。図１（破線は登録時の動作を示す）、図３を参照して画像登録動作を説明する。

ステップＳ００１において、ユーザはクライアント装置１００からアプリケーションプログラム１０２を介してサーバ装置１１０へ画像データの登録の指示と登録する登録画像データ１１９を指示する。

ステップＳ００２において、登録画像データ１１９が外部通信路１０４を介してサーバ装置１１０へ入力され、外部Ｉ／Ｆ１１１を経由して画像ＤＢ１１３へ登録される。同時に、後述する特徴量算出処理部１１２では登録画像１１９の画像特徴量を算出し、算出した画像特徴量を特徴量ＤＢ１１４へ蓄積する。このとき、画像ＤＢ１１３への登録画像と特徴量ＤＢ１１４の特徴量は、ＩＤ番号等を使用して関連付けされて各々蓄積される。なお、画像ＤＢ１１３と特徴量ＤＢ１１４は上述の機能を満たせば、同じＤＢに例えばＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇａｇｅ）等の言語を使用し階層的なデータ構造等を構築して蓄積しても良く、また、異なるサーバに別々なＤＢとして蓄積してもよい。また、画像の登録としては、スキャナやデジタルカメラ等の画像入力装置から直接、画像データをサーバ装置１１０へ登録するようにしても良い。

図４は、画像検索時の動作フローチャートを示す。図１、４を参照して、画像分類処理を使用した画像検索動作を説明する。

ステップＳ１０１において、ユーザはクライアント装置１００上でアプリケーションプログラム１０２を使用して、画像分類をサーバ装置１１０へ指示する。指示手段は、例えば図５に示すサムネイル一覧の表示画面をクライアント装置１００の表示デバイス１０１上へ表示する手段である。

図５において、３０１は画像分類による表示画面を指示する分類ラジオボタン、３０２はサムネイル表示を指示するサムネイルラジオボタン、３０３は画像を表示するフレーム、３０４は画像のサムネイルである。図５は、複数の画像サムネイル３０４がフレーム３０３上に表示されていることを示し、一般的な画像ＤＢで使用されるサムネイルの一覧表示となっている。

通常、画像ＤＢ１１３には多くの画像が登録されているが、一度に表示しきれない画像サムネイルを閲覧する手段としては、フレームに上下のスライダを設けてスクロールして画像を閲覧し、ページ送り機能を設けて表示画像群を変更すれば良い。

ユーザは、入力デバイス１０３のマウス等のポインティングデバイスを使用して分類ラジオボタン３０１をクリックすることによって、サーバ側に画像分類指示が外部通信路１０４を介して転送される。

ステップＳ１０２において、サーバ装置１１０が画像分類指示を受信すると、後述する類似度算出処理部１１５は、分類カテゴリ毎の基準特徴量と特徴量ＤＢ１１４に登録済みの画像特徴量とを比較してカテゴリ毎の類似度を算出する。例えば、分類カテゴリ数が５の場合には、一画像について５個の類似度を算出する。

ステップＳ１０３において、分類処理部１１７は、類似度算出処理部１１５から出力されたカテゴリ毎の類似度について、類似度が所定のしきい値以上の類似度か否かを判定し、しきい値以上の画像についてカテゴリ毎に類似度の高いものから順位付けすると共にカテゴリ毎の画像数をカウントして、順位付けとカテゴリの画像数の結果を表示画面制御処理部１１８へ出力する。つまり、分類処理部１１７では、入力されたカテゴリ毎の類似度により各カテゴリ内に画像を含むか否かの判定と集計を実施するとともにカテゴリ内の画像を基準特徴量に対する類似度によって並べ替える処理を行う。

ステップＳ１０４において、表示画面制御処理部１１８は、分類処理部１１７の画像分類結果（登録画像毎のカテゴリ識別データ）とカテゴリ毎の画像数を入力し、表示画面のレイアウトを決定する。次いで、画像ＤＢ１１３より表示する画像データまたは画像データのサムネイルを入力し、画像分類結果の表示画面１２０を生成し、外部Ｉ／Ｆ１１１より外部通信路１０４を経由してクライアント１００へ送信する。

図６は、分類結果表示画面の一例を示す。図６において、３１１は分類カテゴリの境界線、３１２はユーザのカテゴリ選択状況を示すチェックボックス、３１３はカテゴリ内の画像数、３１４は表示画面を横スクロールするスライダである。

なお、図６は４つのカテゴリに分類した例を示し、各々のカテゴリに３１１〜３１３が対応している。また、カテゴリ内のサムネイルは、各カテゴリに含まれる画像を表す。

ユーザがカテゴリ内にどのような画像が存在するか、換言すればカテゴリがどのような画像の集合体となっているかを確認する場合には、スライダ３１４を操作してスクロールすることによって各々のカテゴリに含まれる画像を簡易に確認できる。このように縦方向にカテゴリを並べ、横方向にカテゴリに含まれる画像を並べる２次元的な表示形態でカテゴリとカテゴリに含まれる画像データを表示することにより、カテゴリの種類の視認性とカテゴリに含まれる画像内容の認識性（つまりカテゴリにどのような画像が含まれるか、換言すればそのカテゴリの意味合い）の双方が向上する。

また、カテゴリ内の画像の並び順序は各カテゴリ毎の基準特徴量の類似度によって整列されているので、スライダ３１４により画像をスクロールする場合に、画像が徐々に変化し類似性の高い画像がある程度固まって表示されるので、カテゴリの全容に関する視認性が向上し、カテゴリの認知性が高まる。これは、検索対象の画像を探す場合にも関係の無い画像をある程度固まりの状態で（スクロール操作によって）読み飛ばすことができるので、検索の効率が向上する。

また、カテゴリに含まれる画像数が表示されているので、ユーザは分類対象となる画像集合の全容が分かる。これは、例えば分類対象が画像ＤＢ１１３に登録されている画像の全てであれば、ＤＢ１１３に登録された全容が分かるので、ユーザが「ＤＢをどのように使用するか」、「どのような検索を行えば検索対象画像が探しやすいか」というヒントを提示できる。

なお、上記したような表示画面の作成方法やサーバクライアント間の通信方法には種々の手法があるが、一般的によく使用される手法としてサーバ装置１１０をＷｅｂサーバとしてＷｏｒｌｄＷｉｄｅＷｅｂベースの技術を使用することにより実現可能となる。そして、表示画面１２０はＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇａｇｅ）によって記述され、アプリケーション１０２は一般的なＷｅｂブラウザを使用すれば良い。

ステップＳ１０５において、クライアント装置１００は表示デバイス１０１上に表示画面１２０を表示する。

ステップＳ１０６において、ユーザは、検索している画像に近いカテゴリを入力デバイス１０３を使用して選択し、選択したカテゴリデータをサーバ装置１１０へ送信する。

ステップＳ１０７において、サーバ装置１１０は、カテゴリ内選択指示を表示画面制御処理部１１８で受信し、図５のように選択されたカテゴリ内のサムネイル一覧の表示画面を作成し、クライアント装置１００へ送信する。ここでは、画像の並び順は変更せずに図６の順序を保って画面を作成する。

ステップＳ１０８において、クライアント装置１００は、表示デバイス１０１上に図５に示す表示画面１２０を表示する。

なお、ユーザは図５のサムネイル一覧から検索対象画像を探しても良いし、ステップＳ１０５の段階で、図６の表示画面を使用して探しても良いし、別な検索手段を使用し、あるいは前掲した特許文献２の方法のように再帰的に分類処理を繰り返しても良い。

図７は、特徴量算出処理部１１２の構成を示す。図７において、４０１は登録画像１１９から色特徴量の算出処理を行う色特徴算出処理部、４０２は登録画像１１９から形状特徴量の算出処理を行う形状特徴量算出処理部、４０３は登録画像１１９からレイアウト特徴量の算出処理を行うレイアウト特徴量算出処理部である。

色特徴量算出処理部４０１は、登録画像１１９から画像の背景色や色の分布等の画像の色味に関する特徴量である色特徴量を算出し、形状特徴量算出処理部４０２は、登録画像１１９から画像の形状に関する特徴量である形状特徴量を算出する。レイアウト特徴量算出処理部４０３は、画像要素単位でオブジェクトに分割し、オブジェクトの属性を判定してレイアウト情報を得た後、オブジェクト属性（例えばタイトル、文字、図形、写真、表等）毎の配置や面積率等を算出する。なお、写真画像等は、画像全体で一つの要素として算出され、文書画像と写真画像では特徴量が大きく異なるため、これらの混在したＤＢについても有効な手段となる。これら特徴量の算出処理は公知の手法を用いれば良い。

類似度算出処理部１１５における類似度算出処理を説明する。特徴量ＤＢ１１４に登録された画像の特徴量は、抽出した特徴量の種類毎に、図８に示すように特徴空間にマップされる。図８は、Ｘ，Ｙ，Ｚの三つの特徴量から分類を行う例であり、各々の特徴量を軸とした空間に登録画像データ毎の特徴量をプロットしている。本実施例の基準特徴量は予め特徴空間上の１点を示し、図８ではこれを「×」で示す。基準特徴量のポイント「×」と各画像のポイント間の空間的な距離が類似度となる。

この空間的な距離が所定のしきい値以下の集合を１つのカテゴリとして分類する。図８では、５０１〜５０３のカテゴリに分類した例を示し、５０１と５０２の２つのカテゴリに跨った特徴点は２つのカテゴリに属するものとして分類する。カテゴリの中心点は、当該カテゴリの見本的な画像データによる特徴点となるので、予め定めておけば良い。また、各特徴量には重みを付け、それによって特徴量軸を変形させれば、特定の重みを重視した分類も容易に可能となる。また、カテゴリによって特徴量の使用／未使用や算出する特徴量を変更する等しても良い。

以上、説明したように本実施例によれば、画像分類におけるカテゴリ内の画像をカテゴリ毎に設定した基準特徴量の類似度によって整列させているので、画像分類におけるカテゴリに含まれる画像内容の認識性、視認性が向上し、ひいては検索効率が向上してユーザビリティが向上する。また、類似画像検索手段と同様な手法によって、画像分類が可能となるので、双方の機能を有する画像処理装置によってシステムが簡素化される。

実施例２：
図１０は、実施例２における分類表示の例である。図６との相違点は、カテゴリ内での画像を少数に絞り、表示画像を１画面内に収めた点である。このように表示画像を絞ることにより、全体のシステム構成や画像ＤＢ１１３に登録されている画像数にもよるが、一般的に画面の表示速度が向上する。但し、本発明の趣旨であるカテゴリの認識性が低下するが、それを簡易的な手段で解決する方法を以下に示す。

図９は、本発明の実施例２のシステム構成を示す。実施例２では、分類処理部１１７から出力されたカテゴリ毎の複数の画像データから、表示を選択する表示画像選択処理部１２１を設けている。他の構成要素は実施例１と同様である。

実施例２の分類処理部１１７では、入力されたカテゴリ毎の類似度により各カテゴリ内に画像を含むか否かを判定し、カテゴリに含む画像を集計し、カテゴリ内の画像を基準特徴量に対する類似度によって並べ替えた結果を出力すると共に、画像毎の類似度のデータを表示画面選択処理部１２１へ出力する。

表示画像選択処理部１２１では、予め定められた所定の表示画像数と各カテゴリの画像数を基に、各カテゴリ毎の画像選択のための類似度の間隔を設定し、設定した間隔毎に表示画像を選択する。なお、狙いの類似度の画像が存在しない場合は直近の画像を選択するようにすれば良い。

図１１は、実施例２の表示画像の選択処理を示す。図１１は、画像を類似度順に整列させ、設定した類似度の間隔毎に表示画像を選択する例を示す。最低類似度は、分類処理部１１７での類似度の足切りのためのしきい値に相当する。この場合の類似度間隔は、下式で表される。
類似度間隔＝（最高類似度−最低類似度）／表示画像数

上記したように分類カテゴリの表示画像をカテゴリの全体から選択することにより、表示画面内にカテゴリ内の全画像を表示できない場合でも、ユーザに対してそのカテゴリに含まれる画像の全容を提示することができ、ユーザはカテゴリの内容を容易に類推することができる。

なお、本実施例では、最高、最低類似度画像を表示する例を示したが、必ずしもこれらを含む必要はなく、ある程度類似度順の画像全体から、まばらに選択することによっても本発明の目的が達成できる。特に最低類似度画像付近は、図８の例のように、いくつかのカテゴリに跨って分類される可能性があり、本来のカテゴリの内容から外れていることもあるので、最低類似度画像付近を選択しない方が有効な場合もある。

また、類似度の間隔毎に表示画像を選択する例の他に、簡易的に類似度の順位を等間隔に選択する方法がある。この場合は、分類処理部１１７から表示画像選択処理部１２１へ類似度のデータを出力する必要がなくなり処理が簡単になるとともに、カテゴリ内の画像の偏りに反映した表示が可能となる利点がある。これは、例えば、カテゴリに含まれる画像が基準特徴量に類似した特徴量を持つ画像が数多くあれば、類似した特徴量を持つ画像が多く表示されることになる。また、上記の方法を表示文書数により切り替えるようにしても良い。表示文書数が多い場合には後者（順位を等間隔にする方法）の方が有利であり、少ない場合は前者（類似度を等間隔にする方法）がカテゴリの内容を表すのに優れている。

図１２は、実施例２の他の表示画面例を示す。図１２において、楕円（または円）３１４はカテゴリを表し、楕円３１４の大きさがカテゴリ内の文書数を間接的に表している。このような表示画面のレイアウトは様々な例が考えられる。

実施例３：
実施例１、２においては、類似画像検索の機能を使用して画像分類を行う例を示したが、本実施例では、特徴量から画像分類処理を実施して、分類カテゴリ毎に基準特徴量との類似画像検索を行う例を示す。

図１３は、本発明の実施例３のシステム構成を示す。構成要素は実施例１と同様である。ただし、特徴量ＤＢ１１４、類似度算出処理部１１５、基準特徴量出力処理部１１６、分類処理部１１７の相互の接続関係が実施例１のものと相違している。

図１４は、実施例３における文書画像検索時の動作フローチャートである。実施例１との相違点はステップＳ１０２’〜Ｓ１０３’であり、以下、相違する動作を説明する。

ステップＳ１０２’において、後述する分類処理部１１７では、登録画像の特徴量を特徴量ＤＢ１１４から入力し、処理対象画像毎にカテゴリ識別データを出力する。

ステップＳ１０３’において、基準特徴量出力処理部１１６では、分類処理部１１７から出力された分類カテゴリに応じて分類カテゴリ毎の基準特徴量を出力する。類似度算出処理部１１５では、分類処理部１１７から出力された分類カテゴリ毎に分類カテゴリに対応した基準特徴量と処理対象画像の特徴量との類似度を算出する。本実施例では、処理対象画像について、処理対象画像が属する分類カテゴリ分の数のみ類似度を算出する。通常、ほとんどの登録画像は１つの分類カテゴリ分の類似度が算出される。

次に、実施例１の分類処理部における処理と同様に、カテゴリ毎に類似度の高いものから順位付けすると共にカテゴリ毎の画像数をカウントして、順位付けとカテゴリの画像数の結果を表示画面制御処理部１１８へ出力する。なお、本実施例では、類似度のしきい値処理は行わない。つまり、本実施例における類似度算出処理部１１５では、カテゴリ毎の類似度により各カテゴリ内の画像を基準特徴量に対する類似度によって並べ替える処理を行う。

図１５は、実施例３の分類処理部１１７の構成を示す。図１５において、７０１は色特徴量を入力して色カテゴリを識別する色カテゴリ識別処理部、７０２は形状特徴量を入力して形状カテゴリを識別する形状カテゴリ識別処理部、７０３はレイアウト特徴量を入力してレイアウトカテゴリを識別するレイアウトカテゴリ識別処理部、７０４はレイアウト特徴量を入力して文書種類カテゴリを識別する文書種類カテゴリ識別処理部、７０５は分類キーによって各々のカテゴリ識別処理部７０１〜７０４から出力されるカテゴリ識別データを選択するセレクタである。

分類処理部１１７では、登録文書画像データの特徴量を特徴量ＤＢ１１４から入力し、各カテゴリ識別処理部７０１〜７０４においてカテゴリ識別処理を行って、予め設定された分類キーに応じた各々の登録画像に対するカテゴリ識別データを出力する。カテゴリ識別に関しては様々な手法が考えられるが以下、カテゴリ識別の手法に関する例を示す。

色カテゴリ識別データは、色特徴量として背景色や最も使用されている色等を代表色等として入力し、赤、青、緑、黄色、白等の複数のカテゴリを設け、近い色へ分類する。

形状カテゴリ識別データは、文書画像のエッジやテクスチャ等、複数の特徴量の類似度から分類を行う（これは、前述した図８と同様である）。レイアウトカテゴリ識別データは、形状識別データと同様に分類すれば良い。文書識別データは、レイアウト特徴量の複数の特徴量から段組等の文書種類の性質を用いて二分岐探索的に分類し、あるいは予め機械学習等の学習機によってレイアウトの特徴量データと識別する文書種類の正解データの対を教師データとして学習させ、レイアウト特徴量から学習データを用いて文書種類を識別する。なお、文書画像登録時に文書分類まで実施して、分類キー毎のカテゴリ識別データをＤＢ化して保持するように構成しても良い。

このように算出された複数の分類カテゴリは、分類キーに応じて使用される１つがセレクタ７０５によって選択され、カテゴリ識別データとして出力される。分類キーは、分類をどのような観点で行うかを指定するものであり、サーバ側で予め設定した分類キーを使用したり、ユーザに選択させる等して決定すればよい。このように複数の分類キーを備えることにより再帰的な画像分類が可能となり、ユーザによる検索対象画像の絞り込みがさらに容易になる。なお、本実施例のように分類処理と類似画像検索処理を分けることによって、二分岐探索的な分類や機械学習等の手法を用いて画像の分類が可能となると共に、どこにも属さない画像を「その他」等としてユーザへの提示も可能となり、画像分類の自由度が高くなる。

実施例４：
実施例１の方法によって分類キーを変更するには、分類キーに応じて基準特徴量を変更するように構成すれば良い。実施例４のシステム構成は実施例１と同様である。

本実施例は、ユーザが所望の分類キーを選択可能とした実施例である。図１６は、本実施例におけるサムネイル一覧の表示画面例を示す。実施例１では、分類を指示するラジオボタン３０１（以下分類ボタン）は１つであったが、本実施例ではレイアウト分類ボタン６０１、形状分類ボタン６０２、色分類ボタン６０３をそれぞれ備えており、ユーザが所望の分類キーを選択可能としている。なお、分類キーの情報は、分類指示をサーバ装置１１０へ転送する段階で同時に出力すれば良い。サーバ装置１１０は、分類キーを受信すると、基準特徴量出力処理部１１６において分類キーに対応した基準特徴量を設定する。

図１７は、実施例４の基準特徴量出力処理部１１６の構成を示す。なお、基準特徴量は、カテゴリ数分存在するが、図１７では説明の簡略化のため１つのカテゴリの基準特徴量出力処理のみに限定している。

図１７において、８０１は色分類キー選択時の基準特徴量を発生する色基準特徴量発生処理部、８０２は形状分類キー選択時の基準特徴量を発生する形状基準特徴量発生処理部、８０３はレイアウト分類キー選択時の基準特徴量を発生するレイアウト基準特徴量発生処理部、８０４は分類キーによって基準特徴量を選択するセレクタである。

本実施例における基準特徴量出力処理部１１６は、分類キーによって分類キーに該当する基準特徴量８０１〜８０３がセレクタ８０４により選択され、該当するカテゴリの基準特徴量として類似度算出処理部１１５へ出力される。類似度算出処理部１１５は分類キーに対応した基準特徴量を使用して類似度を算出する。

以上、説明したように本実施例によれば、実施例１の構成（１回の類似度算出処理において分類と画像の類似度による順位付けを行う）においても分類キーに応じた基準特徴量を使用して、画像の分類が可能となる。

実施例１のシステム構成を示す。 実施例１のサーバ構成を示す。 実施例１の画像登録時の動作フローチャートを示す。 実施例１の文書画像検索時の動作フローチャートを示す。 実施例１のサムネイル一覧表示画面の例を示す。 実施例１の分類表示画面の例を示す。 実施例１の特徴量算出処理部の構成を示す。 特徴空間において画像群をカテゴリ分けした例を示す。 実施例２のシステム構成を示す。 実施例２の表示画面例を示す。 実施例２の表示画像の選択処理を示す。 実施例２の他の表示画面例を示す。 実施例３のシステム構成を示す。 実施例３の文書画像検索時の動作フローチャートを示す。 実施例３の分類処理部の構成を示す。 実施例４のサムネイル一覧表示画面の例を示す。 実施例４の基準特徴量出力処理部の構成を示す。

符号の説明

１００ クライアント
１０１ 表示デバイス
１０２ アプリケーション
１０３ 入力デバイス
１０４ 外部通信路
１１０ サーバ
１１１ 外部Ｉ／Ｆ
１１２ 特徴量算出処理部
１１３ 画像ＤＢ
１１４ 特徴量ＤＢ
１１５ 類似度算出処理部
１１６ 基準特徴量出力処理部
１１７ 分類処理部
１１８ 表示画面制御処理部
１１９ 登録画像データ
１２０ 表示画面データ

Claims (12)

1. 画像データベースに蓄積されている画像データを検索する機能を有する画像処理装置であって、複数の基準特徴量を出力する基準特徴量出力手段と、各々の基準特徴量と前記特徴量算出手段により算出された画像特徴量を基に画像の類似度を算出する類似度算出手段と、各々の基準特徴量に対応して算出された類似度に応じて複数の分類カテゴリを形成する分類手段を備えたことを特徴とする画像処理装置。
2. 前記分類手段により分類された態様を表示する表示画面を作成する表示画面制御手段をさらに備え、カテゴリに分類された画像を各カテゴリ毎の基準特徴量との類似度順に整列させて表示させることを特徴とする請求項１記載の画像処理装置。
3. 画像データベースに蓄積されている画像データを検索する機能を有する画像処理装置であって、前記画像データから画像特徴量を算出する特徴量算出手段と、前記データベース内の画像データを前記画像特徴量に応じて複数のカテゴリに分類する分類手段と、前記分類手段により分類された態様を表示する表示画面を作成する表示画面制御手段と、前記カテゴリに応じた基準特徴量を出力する基準特徴量出力手段と、前記基準特徴量と前記特徴量算出手段により算出された画像特徴量を基に画像の類似度を算出する類似度算出手段と、各カテゴリに分類された画像データを前記カテゴリに応じた基準特徴量によりカテゴリ毎に類似度を算出する類似度算出手段と、各カテゴリに分類された画像を基準特徴量との類似度順に整列させて表示させることを特徴とする画像処理装置。
4. 前記表示画面は少なくとも２次元に画像を配置し、第一の方向にカテゴリを配置して、第二の方向にカテゴリ内画像を配置することを特徴とする請求項２または３記載の画像処理装置。
5. カテゴリ内に表示する複数の画像を選択する選択手段をさらに備え、前記選択手段は、カテゴリ内の画像を整列させた類似度の所定間隔毎に画像を選択することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記選択手段は、カテゴリ内の画像を整列させた順番の所定間隔毎に画像を選択することを特徴とする請求項５記載の画像処理装置
7. 前記カテゴリ内の画像数を擬似的または直接的に表示することを特徴とする請求項５または６記載の画像処理装置。
8. 分類キーに応じて前記基準特徴量を設定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
9. 画像データベースに蓄積されている画像データを検索する機能を有する画像処理方法であって、複数の基準特徴量を出力する基準特徴量出力工程と、各々の基準特徴量と前記特徴量算出工程により算出された画像特徴量を基に画像の類似度を算出する類似度算出工程と、各々の基準特徴量に対応して算出された類似度に応じて複数の分類カテゴリを形成する分類工程を有することを特徴とする画像処理方法。
10. 画像データベースに蓄積されている画像データを検索する機能を有する画像処理方法であって、前記画像データから画像特徴量を算出する特徴量算出工程と、前記データベース内の画像データを前記画像特徴量に応じて複数のカテゴリに分類する分類工程と、前記分類工程により分類された態様を表示する表示画面を作成する表示画面制御工程と、前記カテゴリに応じた基準特徴量を出力する基準特徴量出力工程と、前記基準特徴量と前記特徴量算出工程により算出された画像特徴量を基に画像の類似度を算出する類似度算出工程と、各カテゴリに分類された画像データを前記カテゴリに応じた基準特徴量によりカテゴリ毎に類似度を算出する類似度算出工程と、各カテゴリに分類された画像を基準特徴量との類似度順に整列させて表示させることを特徴とする画像処理方法。
11. 請求項９または１０記載の画像処理方法をコンピュータに実現させるためのプログラム。
12. 請求項９または１０記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images