JP2009075678A - 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 - Google Patents

Abstract

【課題】スキャンされた紙ドキュメントを画像データとして管理する際に、画像データに対して検索のための検索キー（タグ、属性等）を容易に付加することが可能な画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体を提供すること。
【解決手段】検索対象の画像データを管理する画像処理装置１であって、前記画像データを入力する入力手段と、入力された前記画像データから、前記画像データの検索のために用いられる検索キーを生成する検索キー生成手段と、生成された前記検索キーを、前記画像データに付加する付加手段とを備えることを特徴とする画像処理装置１。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体に関する。

近年、del.cio.usのようなソーシャルブックマークサービス、Flickrのようなソーシャル画像管理サービスなど、広く個人のブックマークや写真や画像などをWeb上で共有するサービスが提供され始めている。これらのサービスが扱うコンテンツは、ブックマークや写真画像などである。

ユーザはこれらのコンテンツを登録する時に自由にタグや属性をつけることができ、登録されたコンテンツの再利用を可能にする。また、係るソーシャルサービスの特徴として、他のユーザも自由にタグを追加・編集・削除することができる。この際、個々のユーザはそれぞれ独自のタグ付けを行うため、一つのコンテンツに対してさまざまなカテゴリ分類が行われることになる。このような分類はFolksonomyとよばれる。ユーザは、自身のコンテンツ管理だけでなく、他者へのアピールやグループ内での共有など、さまざまな用途に対して柔軟にタグをつけることができる。また、それぞれのユーザが自由に分類可能なため、別のユーザからは想定外のタグ付けも行われる可能性も高く、意外な新規発見がなされることもある。

ところで、Web上にはさまざまな情報があふれており、そのなかには質の高いものから低いものまで数多である。その中から、ユーザの関心ある情報を精度よく見つけ出すことは困難である。そもそもユーザにとって、本当に検索したいものに対して、検索キーワードを適切に選択することも容易ではない。そこで、興味が一致する人のBookmarkを参照したり、ドキュメントへのアノテーションを参照したりするということは、情報を精度良く取得するという点で理にかなっている。

一方、企業内においては、紙文書の電子化が進んでおり、グループウェアやコンテンツマネージメントシステム（CMS）によるデータやドキュメントの管理が行われている。毎年、膨大な量のドキュメントやデータが企業内のシステムには蓄積されつつあり、情報の検索や共有はより重要になりつつある。

特に知的業務においては、以前見かけたドキュメントを検索したり、所定のグループ内や別のグループとの間で情報共有と情報収集したり、企業内における新規情報を検索したり、さまざまな観点で情報を検索する必要がある。

これら様々な要求に対して、単なる検索だけでは十分ではなく、近々ソーシャルブックマークやソーシャル画像（ドキュメント）管理的なサービスが求められることが予想される。

例えば、特許文献１には、ユーザを特定し、スキャンサービスのセキュリティ性や利便性を高めることを目的としたスキャン装置に係る技術が開示されている。
特開２００６−１４８８６９号公報

ところで、企業において蓄積された膨大な量のドキュメント等に対して上記のようにタグや属性をつけて管理するドキュメントソーシャル画像管理サービスを実現するためには、においては、スキャナによるドキュメントの電子化が考えられる。

しかしながら、従来のスキャナのGUI(Graphical User Interface)では、上記のドキュメントに対するタグ付や属性付けは容易ではなかった。つまり、スキャンされた紙ドキュメントを画像データとして管理する際に、画像データに対してタグや属性等の検索のための検索キーを容易に付加することができないという問題があった。

本発明は、上記の点に鑑みて、この問題を解決するために発明されたものであり、スキャンされた紙ドキュメントを画像データとして管理する際に、画像データに対して検索のための検索キー（タグ、属性等）を容易に付加することが可能な画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体を提供することを目的とする。

上記の目的を達成するために、本発明における画像処理装置は、検索対象の画像データを管理する画像処理装置であって、前記画像データを入力する入力手段と、入力された前記画像データから、前記画像データの検索のために用いられる検索キーを生成する検索キー生成手段と、生成された前記検索キーを、前記画像データに付加する付加手段とを備えるように構成することができる。

また、上記の目的を達成するために、本発明における画像処理装置では、入力された前記画像データが複数のページデータ又は領域データから構成される場合、前記検索キー生成手段は、ページデータ又は領域データ単位で検索キーを生成し、前記付加手段は、ページデータ又は領域データ単位で生成された前記検索キーを、対応するページデータ又は領域データに付加するように構成することができる。

また、上記の目的を達成するために、本発明における画像処理装置は、入力された前記画像データのメタデータから、該画像データを識別する識別情報を生成する識別情報生成手段さらに有し、前記検索キー生成手段は、生成された前記識別情報に基づいて、前記検索キーを生成するように構成することができる。

また、上記の目的を達成するために、本発明における画像処理装置は、入力された前記画像データが文字領域を含む場合に該画像データから文字領域を抽出する文字領域抽出手段と、抽出された前記文字領域内の文字情報から、該画像データを識別する識別情報を生成する識別情報生成手段とをさらに有し、前記検索キー生成手段は、生成された前記識別情報に基づいて、前記検索キーを生成するように構成することができる。

また、上記の目的を達成するために、本発明における画像処理装置は、予め識別情報毎に設定された優先度を保持する識別情報優先度保持手段をさらに有し、前記検索キー生成手段は、抽出された前記識別情報の内の優先度の高い識別情報に基づいて、前記検索キーを生成するように構成することができる。

また、上記の目的を達成するために、本発明における前記検索キー生成手段は、抽出された前記識別情報が別の画像データに対するリンク情報を含む場合に、さらに、前記別の画像データのメタデータから抽出した識別情報に基づいて、前記検索キーを生成するように構成することができる。

また、上記の目的を達成するために、本発明における画像処理装置は、生成された前記検索キーから前記画像データに付加すべき検索キーの選択を促す選択手段をさらに備え、前記付加手段は、生成された前記検索キーの内の選択された検索キーを付加するように構成することができる。

また、上記の目的を達成するために、本発明における画像処理方法は、検索対象の画像データを管理する画像処理装置における画像処理方法であって、前記画像データを入力する入力工程と、入力された前記画像データから、前記画像データの検索のために用いられる検索キーを生成する検索キー生成工程と、生成された前記検索キーを、前記画像データに付加する付加工程とを備えるように構成することができる。

また、上記の目的を達成するために、本発明における画像処理プログラムは、コンピュータに、上記の画像処理装置の各手段に係る処理を実行させるように構成することができる。

また、上記の目的を達成するために、本発明における記録媒体は、上記の画像処理プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体であるように構成することができる。

本発明によれば、ススキャンされた紙ドキュメントを画像データとして管理する際に、画像データに対して検索のための検索キー（タグ、属性等）を容易に付加することが可能な画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体を提供することができる。

以下、本発明を実施するための最良の形態について図面を参照して説明する。

［第１の実施形態］
以下、本発明の第１の実施形態について図１〜３を用いて説明を行う。なお、実施形態１では、本発明を画像処理装置の一形態としての一般的なコンピュータ装置に適用した場合を例に説明を行うが、この場合に限らないものとする。

（装置の構成）
図１は、本実施形態１に係る画像処理装置の構成の一例を示す図である。図１において、画像処理装置１は、アプリケーション部１０、サーバ部２０を有する構成であり、検索対象の画像データを管理している。

アプリケーション部１０は、当該画像処理装置１上の基本ソフトウェア（ＯＳ（Operating System）等）上で動作するアプリケーションソフトウェアである。

サーバ部２０は、検索対象の画像データを管理するためのハードディスク等のストレージ（外部記憶装置）２１、画像データの検索に用いられる検索キー（例えばタグ情報）等を管理する検索キーストレージ２２等の記憶装置を有する。サーバ部２０における各データの管理方式は、例えばリレーショナルデータベースの管理方式が用いられるものとする。ネットワークを介して接続された非図示のクライアント装置から、キーワード等に基づく画像データの検索指示を受信し、受信した検索指示に基づき当該サーバ部２０が管理する画像データから検索を行い、検索結果をクライアント装置に対して送信する。

以上に示される構成により、本実施形態１に係る画像処理装置１では、例えばアプリケーション部１０で生成された検索対象の画像データ等はサーバ部２０において管理される。

なお、図１では、同一の装置がアプリケーション部１０、サーバ部２０を有する構成になっているが、ネットワーク等を介して接続された異なる装置が有する構成になっていてもよい。例えば、アプリケーション部１０がスキャナ機能、コピー機能等を兼ね備えたＭＦＰにより実現され、サーバ部２０がサーバ装置上で実現される構成である。この場合、ＭＦＰのスキャナによりスキャンされた画像データがサーバ部２０において管理される。

また、ストレージ２１は、サーバ部２０の外部の任意のリポジトリであってもよい。特にオリジナルドキュメントは、ＵＲＬ（Uniform Resource Locator）やＩＤで指定される場合があり、必ずしも画像処理装置１０内部に保存する必要はない。この場合、画像処理装置１０はＵＲＬ等のリンク情報等を管理する構成にすることもできる。

同様に、検索キーストレージ２２は、サーバ部２０の外部の任意のリポジトリであってもよい。また、ネットワーク等を介して当該画像処理装置１と接続された他の検索キー管理システムの格納部であってもよい。この場合、他の検索キー管理システムと連携することが可能になる。

さらに、画像処理装置１が画像データのキャッシュ情報を保持するかどうかについては、アプリケーション部１０の処理性能等に依存する。もし、画像データが必要になった時点で、画像データに付加されたメタデータから動的に生成しても問題ないようであればキャッシュ情報の必要はないが、問題がある場合は、キャッシュ情報を作って格納することが可能である。

（装置構成例）
図２は、本実施形態１に係る画像処理装置の機能の構成例を示す図である。図２において、画像処理装置１は、アプリケーション部１０、サーバ部２０を有する。また、アプリケーション部１０は、ＵＩ提供部１１０、画像データ入力部１２０、メタデータ生成部１３０、（画像等）登録要求部１４０、（画像等）取得要求部１５０を有する。さらに、サーバ部２０は、登録要求制御部２１０、検索キー生成部２２０、記憶部２３０、取得要求制御部２４０を有する。

ＵＩ提供部（画像登録・取得指示部）１１０は、各種ユーザインタフェースを提供する機能部である。ここで提供するユーザインタフェースは、当該画像処理装置１に画像データを登録する登録指示若しくは当該画像処理装置１から画像データ等を取得する取得指示を行うためのユーザインタフェースである。例えば、非図示の操作パネル上に画像データの登録指示、取得指示を入力するための表示を行ったり、同操作パネル上でのユーザによる登録指示、取得指示を入力したりする。

画像データ入力部１２０は、ＵＩ提供部１１０における登録指示の入力に基づいて、画像データの入力を行う。例えばスキャナ等の画像読取装置で画像データを読み取ることにより行う。なお、入力される画像データは、当該アプリケーション部１０で作成された画像データであってもよい。

メタデータ生成部１３０は、画像データ入力部１２０により入力された画像データに対して付加するメタデータを生成する。例えば画像データ入力部１２０による画像入力時のユーザ名や登録時刻、登録アプリケーション名などのシステムから取得可能な情報からメタデータを生成する。

（画像等）登録要求部１４０は、画像データ入力部１２０により入力された画像データ及びメタデータ生成部１３０により生成されたメタデータを基に、サーバ部２０に対して登録を要求する旨（登録要求）を送信する。

（画像等）取得要求部１５０は、ＵＩ提供部１１０における画像データ等の取得指示に従って、サーバ部２０に対して該当する画像データ等の取得を要求する旨（取得要求）を送信する。

登録要求制御部２１０は、アプリケーション部１０から受信した画像データの登録要求に応じて、画像データ等の登録に係る各種制御を行う。なお、アプリケーション部１０からＵＲＬ等の画像データのリンク情報しか受信しない場合は、画像データを登録しなくてもよい。また、アプリケーション部１０から受信した画像データに、後述の検索キー生成部２２０で生成された検索キーを付加する付加手段としての機能も有する。

検索キー生成部２２０は、登録要求制御部２１０が受信した画像データ及びメタデータから、当該画像データの検索のために用いられる例えばタグデータ（又はタグデータの候補）等の検索キーを生成する。検索キーは、単にランダムに選ぶ場合もあるし、所定のルールに従って決定する場合もある。

記憶部２３０は、各種データを記憶する。例えば図１のストレージ２１、検索キーストレージ２２等である。検索キー格納部２３２は、検索キー生成部２２０で生成された検索キーを格納する。メタデータ格納部２３４は、登録要求制御部２１０が受信したメタデータを格納する。画像データ格納部２３６は、登録要求制御部２１０が受信した画像データを格納する。なお、登録される検索キー、メタデータ、画像データは、例えばＩＤ情報等により互いに対応付けて登録されるものとする。

取得要求制御部２４０は、アプリケーション部１０から受信した画像データ等の取得要求に応じて、記憶部２３０に記憶されたデータから該当するデータを取得し、取得したデータをアプリケーション部１０に対して送信する。また、例えば後述の検索キー生成部２２０が複数の検索キーを生成した場合に、ユーザに検索キーの選択を促すための検索キーの候補一覧を送信するようにしてもよい。

以上の機能の構成により、本実施形態１に係る画像処理装置１では、例えばスキャナによる読み取り等により入力された画像データ等を、検索対象の画像データとしてサーバ部２０に対して登録する。このとき、入力された画像データから該画像データの検索のために用いられる検索キーを生成して、生成した検索キーを画像データに付加して登録する。

（画像データ登録動作の例）
図３は、本実施形態１に係る画像データの登録動作の一例を示すフローチャートである。ここでは、画像処理装置１に対して画像データを登録する動作の一例について図２の各機能部を参照しながら説明する。

まず、画像処理装置１は、画像登録指示を受信する（Ｓ１）。ここでは、ＵＩ提供部１１０が、ユーザによる画像データの登録指示を入力する。さらに、画像データ入力部１２０は、該登録指示に基づいて登録対象の画像データを入力する。

続いてステップＳ２へ移って、画像処理装置１は、ステップＳ１における登録時の情報からメタデータを生成する（Ｓ２）。ここでは、メタデータ生成部１３０が、画像入力時のユーザ名や登録時刻、登録アプリケーション名などのシステムから取得可能な情報からメタデータを生成する。

ステップＳ３へ移って、画像処理装置１は、画像データ及びメタデータを登録要求する（Ｓ３）。ここでは、登録要求部１４０は、ステップＳ１で入力された画像データ及びステップＳ２で生成されたメタデータの登録を要求する旨をサーバ部２０に対して送信する。また、登録要求制御部２１０は、該登録要求を受信する。

ステップＳ４へ移って、画像処理装置１は、検索キーを生成する（Ｓ４）。ここでは、検索キー生成部２２０は、登録要求制御部２１０が受信した画像データ及びメタデータから、タグデータ等の検索キーを生成する。例えば、メタデータから、所定のキーワード等の識別情報を抽出して（或いは生成して）、抽出した（或いは生成した）識別情報を検索キーとすることにより行う。

ステップＳ５へ移って、画像処理装置１は、画像データ及びメタデータを格納する（Ｓ５）。ここでは、登録要求制御部２１０は、記憶部２３０に画像データ及びメタデータを格納する。即ち、画像データ格納部２３６に対して画像データを、メタデータ格納部２３４に対してメタデータを格納する。

ステップＳ６へ移って、画像処理装置１は、検索キーを格納する（Ｓ６）。ここでは、登録要求制御部２１０は、ステップＳ４で生成された検索キーを検索キー格納部２４に格納する。なお、ステップＳ５及びＳ６において格納する各データは互いに対応付けて格納されるものとする。これにより、例えば検索キーを用いた画像データの検索等が可能になる。

以上で示される処理により、本実施形態に係る画像処理装置１は、画像データを登録する動作を行う。これにより、画像データ等のドキュメント登録時にタグ付けが簡単になる。また、スキャン時や画像登録時にわざわざタグ付けをするのは面倒であったが、ユーザは特になにも入力する必要がない。とくに、スキャンデータの場合は、ＭＦＰのオペレーションパネルで文字を打つことは非常に面倒であるので便利になる。

［第２の実施形態］
以下、本発明の第２の実施形態について図４〜１４を用いて説明を行う。前述した実施形態１に係る画像処理装置１は、ドキュメント単位で画像データの登録を行った。しかしながら、ドキュメント単位の情報提供では、ユーザにとって必要な情報としては粒度が大きすぎる問題もある。つまり、１００ページの戦略書の中の一つの図が欲しいユーザに、戦略書自体を与えても時間の浪費になる。たとえば、たった一つの記事が必要な場合に膨大なブログのトップページのリンクを教えるようなものである。

ここでは、上記の点に鑑みて、ドキュメント全体に対して検索キーを付加するのではなく、ドキュメントを構成するページデータ又は領域データ単位に検索キーを付加する形態について説明を行う。これにより、ページデータ又は領域データ単位での検索が可能となり、ドキュメントに対する再利用性を高めることができる。

なお、実施形態２に係る画像処理装置の構成は、前述した実施形態１（図１参照）のそれと同様であるとしてここでは説明を省略する。

（装置構成例）
図４は、本実施形態２に係る画像処理装置の機能の構成例を示す図である。図４において、画像処理装置１は、アプリケーション部１０、サーバ部２０を有する。

図４に示すアプリケーション部１０は、前述した実施形態１に係るアプリケーション部１０（図２参照）と同様であるとしてここでは説明を省略する。また、図４に示す第一のメタデータ生成部１３０は図２のメタデータ生成部１３０と同一の機能部であり、後述の第二のメタデータ生成部２５０と識別するためにここでは「第一の」としている。

サーバ部２０は、前述した実施形態１（図２参照）に加えて、さらに、第二のメタデータ生成部２５０（領域識別部２５２、文字認識部２５４を含む）、構造的重み作成部２６０、識別情報生成部２７０、ページデータ・領域データ生成部２８０、ページデータ・領域データキャッシュ部２３８を有する。ここでは、前述した実施形態１と相違する各機能部について中心に説明を行う。

登録要求制御部２１０は、ここでは、実施形態１に加えてさらに、アプリケーション部１０から受信した画像データ等の登録に係る各種制御を、後述の第二のメタデータ生成部２５０（特に領域識別部２５２）で識別したページデータ又は領域データ単位に行う。同様に、後述の検索キー生成部２２０でページデータ又は領域データ単位に生成された検索キーを、該当するページデータ又は領域データに付加する付加手段としての機能も有する。

検索キー生成部２２０は、登録要求制御部２１０が受信したメタデータから、当該画像データの検索のために用いられる例えばタグデータ（又はタグデータの候補）等の検索キーを生成する。ここでは、実施形態１に加えてさらに、登録要求制御部２１０が受信した画像データに基づき後述の第二のメタデータ生成部２５０で生成したメタデータを基に、該当するページデータ又は領域データに付加すべき検索キーを生成する。生成された検索キーは、ページデータ又は領域データ単位で検索キー格納部２３２に格納される。

第二のメタデータ生成部２５０は、登録要求制御部２１０が受信した画像データを、後述の領域識別部２５２、文字認識部２５４で識別したページデータ又は領域データ単位のメタデータを生成する。ここで生成されるメタデータとは、例えば画像データをページデータ又は領域データに分割した際の分割されたデータに含まれる文字情報などである。

領域識別部２５２は、画像データを領域識別する。画像データが複数のページデータ又は領域データから構成される場合に複数のページデータに分割したり、各ページを領域分割したりする処理を行う。文字認識部２５４は、領域識別部２５２により識別された領域データに格納された文字情報を認識する。認識された文字情報は、該文字情報を有するページデータ又は領域データのメタデータとなる。

識別情報生成部２７０は、登録要求制御部２１０が受信したメタデータから、該画像データを識別する識別情報を生成する。識別情報とは、画像データを識別するための例えばキーワード等の情報である。なお、画像データの画像特徴を識別情報としてもよい。また、登録要求制御部２１０が受信した画像データが文字領域を含む場合には文字領域内の文字情報から、該画像データを識別する識別情報を生成する。

ページデータ・領域データ生成部２８０は、領域識別部２５２によって識別されたページデータ又は領域データを、ページ画像データ又は領域画像データとして切り出す。ページデータ・領域データキャッシュ部２３８は、ページデータ・領域データ生成部２８０により切り出された（生成された）ページ画像データ又は領域画像データを格納する。

以上の機能の構成により、本実施形態２に係る画像処理装置１では、実施形態１に加えて、入力された画像データが複数のページデータ又は領域データから構成される場合に、画像データと共に入力されたメタデータ（以降、「第一のメタデータ」という）と該画像データを基にページデータ又は領域データ単位に生成したメタデータ（以降、「第二のメタデータ」という）を基に、検索キーを生成する。続いて、生成した検索キーを該当する画像データ、ページデータ又は領域データに付加して登録する。

これにより、ドキュメントを登録する際に、大量にページがあるものや大量の図や表がある場合がある。あとで、タグを手がかりにドキュメントを探し当てたとして、その後欲しい領域やページをどのドキュメントの中から探し当てる必要がある。そこで、登録時にあらかじめページデータ毎、領域データ毎に検索キー（タグ等）を付加して登録することで、検索時に欲しいページや領域がダイレクトにユーザに見つけることができる。

（画像データ登録動作の例）
図５は、本実施形態２に係る画像処理装置の画像登録の一例を示すフローチャートである。ここでは、画像処理装置１に対して画像データを登録する動作の一例について図４の各機能部を参照しながら説明する。なお、登録する画像データは、複数のページデータ又は領域データから構成されるものとして説明を行う。

まず、画像処理装置１は、画像登録指示を受信する（Ｓ１１）。ここでは、ＵＩ提供部１１０が、ユーザによる画像データの登録指示を入力する。さらに、画像データ入力部１２０は、該登録指示に基づいて登録対象の画像データを入力する。

続いてステップＳ１２へ移って、画像処理装置１は、ステップＳ１１における登録時の情報から第一のメタデータを生成する（Ｓ１２）。ここでは、第一のメタデータ生成部１３０が、画像入力時のユーザ名や登録時刻、登録アプリケーション名などのシステムから取得可能な情報から第一のメタデータを生成する。

ステップＳ１３へ移って、画像処理装置１は、画像データ及び第一のメタデータを登録要求する（Ｓ１３）。ここでは、登録要求部１４０は、ステップＳ１１で入力された画像データ及びステップＳ１２で生成された第一のメタデータの登録を要求する旨をサーバ部２０に対して送信する。また、登録要求制御部２１０は、該登録要求を受信する。

ステップＳ１４へ移って、画像処理装置１は、画像データから第二のメタデータを生成する（Ｓ１４）。ここでは、第二のメタデータ生成部２５０は、登録要求制御部２１０が受信した画像データから第二のメタデータを生成する。図６を用いてより詳細に後述する。

図６は、ページデータ又は領域データ単位のメタデータ生成に係る処理の一例を示すフローチャートである。ここでは、図５のステップＳ１４に係る処理についてより詳細に説明する。

まず、画像処理装置１は、画像データのファイル形式（データ形式）に依存したメタデータを生成する（Ｓ２１）。ここでは、第二のメタデータ生成部２５０は、登録要求制御部２１０が受信した画像データからファイル形式（データ形式）に依存したメタデータを生成する。ファイル形式（データ形式）に依存したメタデータとは、例えば、ファイル形式に係る情報である。

ステップＳ２２へ移って、画像処理装置１は、画像データのページ分割を行う（Ｓ２２）。ここでは、第二のメタデータ生成部２５０は、登録要求制御部２１０が受信した画像データを複数のページデータに分割する処理を行う。

続いてステップＳ２３へ移って、画像処理装置１は、ステップＳ２２で分割された各々のページデータに対して、ステップＳ２４〜２７に係る処理（メタデータを生成する処理）を繰り返す（Ｓ２３）。これにより、ページデータ単位のメタデータが生成される。

ステップＳ２４へ移った場合、画像処理装置１は、領域識別を行う（Ｓ２４）。ここでは、領域識別部２５２は、処理対象のページデータにおける領域の座標を取得したり、例えばタイトル、キャプション、写真、表、図、セパレータなどの領域のタイプを取得したりすることにより行う。

ステップＳ２５へ移って、画像処理装置１は、ステップＳ２４で領域識別された各々の領域データに対して、ステップＳ２６に係る処理（メタデータを生成する処理）を繰り返す（Ｓ２５）。これにより、領域データ単位のメタデータが生成される。

ステップＳ２６へ移って、画像処理装置１は、ページデータ又は領域データ単位のメタデータを生成する（Ｓ２６）。ステップＳ２６では、まず、文字認識部２５４がステップＳ２４で領域識別された領域データ内にテキスト領域があるか否かを判定する。テキスト領域がある場合には、ＯＣＲ（Optical Character Recognition）等によりテキストを抽出する。抽出されるテキストを抽出元の領域データ及び抽出元の領域データが属するページデータのメタデータとする。このようにして、ページデータ又は領域データ単位のメタデータを生成する。なお、テキスト領域がない場合には、ここでは何も処理を行わずに、ステップＳ２５へ戻って次の領域データに対して再度処理を行う。

ステップＳ２２〜Ｓ２８に係る処理が終了すると、ステップＳ２９へ移って、画像処理装置１は、図５のステップＳ１３に係る処理により画像データと共に送られてきた第一のメタデータを分析する（Ｓ２９）。

続いてステップＳ３０へ移って、画像処理装置１は、ステップＳ２１で抽出したファイル形式に依存したメタデータを分析する（Ｓ３０）。

ステップＳ３１へ移って、画像処理装置１は、ステップＳ２２〜Ｓ２６に係る処理により生成されたページデータ又は領域データ単位のメタデータを分析する（Ｓ３１）。

続いてステップＳ３２へ移って、画像処理装置１は、メタデータを統合する（Ｓ３２）。ここでは、ステップＳ２９〜Ｓ３１に係るメタデータの分析後、メタデータを統合する（生成する）。このようにして統合されたメタデータの例について図７、８、９を用いて説明する。

図７はドキュメント単位のメタデータの一例を示す図である。図７に示すメタデータは、ＩＤ、作成日、最終更新日、作成者、最終更新者、ドキュメントのタイトル、オリジナル文書リンク、文書のタイプ、有効領域数、全ページ数、ページのメタデータのＩＤ一覧、テキスト、アクセス権、キャッシュされたプレビュー画像、キャッシュされたサムネイル画像等を含んでいる。

図８は、ページ単位のメタデータの一例を示す図である。図８に示すメタデータは、ＩＤ、作成日、最終更新日、作成者、最終更新者、ページのタイトル、オリジナル文書リンク、ページのタイプ、領域数、領域の座標、領域のメタデータのＩＤ一覧、アクセス権、ページテキスト、キャッシュされたプレビュー画像、キャッシュされたサムネイル画像等を含んでいる。

図９は、領域単位のメタデータの一例を示す図である。図９に示すメタデータは、ＩＤ、作成日、最終更新日、作成者、最終更新者、タイトル、オリジナル文書リンク、領域のタイプ、属するページへのリンク、テキスト、周辺テキスト、アクセス権、キャッシュされたプレビュー画像、キャッシュされたサムネイル画像等を含んでいる。

以上で示される処理により、本実施形態に係る画像処理装置１は、画像データが複数のページデータ又は領域データにより構成される場合にメタデータを生成する処理を行う。

図５に戻り、ステップＳ１５へ移って、画像処理装置１は、検索キーを生成する（Ｓ１５）。ここでは、検索キー生成部２２０は、図６のステップＳ３３により統合されたメタデータから、検索キーを生成する。図１０を用いてより詳細に後述する。

図１０は、ページデータ又は領域データ単位の検索キーの生成に係る処理の一例を示すフローチャートである。ここでは、図５のステップＳ１５に係る処理についてより詳細に説明する。

まず、画像処理装置１は、図５のステップＳ１４で生成された第二のメタデータの要素（図７、８、９等参照）毎に属性はテキストであるか否かを判定する（Ｓ４１）。ここでは、検索キー生成部２２０は、属性はテキストであるか否かを判定する。

ステップＳ４１において、属性はテキストである場合（Ｓ４１、ＹＥＳ）、ステップＳ４２へ移る。ステップＳ４１において、属性はテキストでない場合（Ｓ４１、ＮＯ）、ステップＳ４７へ移る。

ステップＳ４２へ移った場合、画像処理装置１は、ドキュメント全体（ページデータ又は領域データ）の識別情報を生成する（Ｓ４２）。ここでは、識別情報生成部２７０は、ドキュメント全体（ページデータ全体又は領域データ）を識別する識別情報（例えばキーワード）を生成する。識別情報がキーワードである場合を例にとって以下に補足する。

ステップＳ４２では、ステップＳ４１に係る属性判定の対象が図７のドキュメント全体のメタデータにおける「テキスト」である場合には、ドキュメントのテキスト（図７では「本仕様書はＸＸについて述べたもの・・・」）からキーワード抽出することにより行う。また、ハイパーリンクを含む場合には、リンク先も走査してテキストからキーワード抽出することにより行う。ドキュメントには、ハイパーリンク情報が含まれる場合がある。スキャン時等のドキュメント登録時に、ＯＣＲ等の技術を利用してハイパーリンクを取得することが可能である。ハイパーリンク先は、リンク元が参照している情報であり、何らかの関連がある可能性が高い。検索キーの候補として、ハイパーリンク先の文書等のキーワードを識別情報とすることで、後の検索性能を高めることができる。

また、例えばステップＳ４１の属性判定の対象が図８のページデータ単位のメタデータにおける「テキスト」である場合には、当該ページデータが属するドキュメントからキーワード抽出をするに加えて、ページデータのテキスト（図８では「であり、この仕様では定義品・・・」）からキーワード抽出することにより行う。また、隣接するページデータのテキストからキーワード抽出することにより行ってもよい。このとき、隣接の程度に応じて重みづけするようにすることができる。さらに、ハイパーリンクを含む場合には、リンク先も走査してテキストからキーワード抽出することにより行うこともできる。

さらに、例えばステップＳ４１の属性判定の対象が図９の領域データ単位のメタデータの「テキスト」である場合には、当該領域データが属するページデータ並びに当該領域データが属するドキュメントからキーワード抽出をするに加えて、領域データのテキスト（図９では「図１３：性能特性図」等）からキーワード抽出することにより行う。また、近傍の領域データのテキストからキーワード抽出することにより行ってもよい。また、図やキャプションなどは重みづけを高くすることもできる。これは、図のキャプションや、写真の周りにある解説文書などのように、ある領域の近くにあるなど、レイアウト的に関係の深い領域同士のテキストには関連性が高く、領域データ内のテキストから抽出したキーワードについで良い検索キーとなる可能性が高いためである。レイアウト情報を解析し、領域間の関連度スコアを計算しておき、関連度の高い領域のキーワードも検索キー決定もしくはタグ候補に入れることで、後の検索性能を高めることができる。

以上のステップＳ４２に係る処理により識別情報が生成されると、続いてステップＳ４３へ移って、画像処理装置１は、領域が図表の場合は、キャプションなどの意味的構造も含めて距離重み作成する（Ｓ４３）。

続いてステップＳ４４へ移って、画像処理装置１は、ドキュメント全体（ページ全体又は領域）のキーワードランキングを作成する（Ｓ４４）。

続いてステップＳ４５へ移って、画像処理装置１は、キーワードランキング上位から検索キーを生成する（Ｓ４５）。

以上のようなステップＳ４４〜Ｓ４５に係る処理により、予めステップＳ４４で作成された、識別情報毎に設定されたランキング（つまり優先度）の高い識別情報に基づいて、検索キーを生成することができる。

ステップＳ４６へ移った場合、属性はテキストではないため、画像処理装置１は、ドキュメント全体（ページ全体又は領域）の属性（テキスト属性を除く）毎に検索キーを生成する（Ｓ４６）。

さらにステップＳ４７へ移って、画像処理装置１は、検索キー（又は検索キー候補）をマージする（Ｓ４７）。

図５に戻り、ステップＳ１６へ移って、画像処理装置１は、ページデータ・領域データを生成する（Ｓ１６）。ここでは、ページデータ・領域データ生成部２８０は、ページデータ・領域データを生成する。

ステップＳ１７へ移って、画像処理装置１は、画像データ、ページデータ・領域データ、メタデータを格納する（Ｓ１７）。ここでは、登録要求制御部２１０は、画像データ格納部２３６に対して画像データを、ページデータ・領域データキャッシュ部２３８に対してページデータ・領域データのキャッシュデータを、メタデータ格納部２３４に対してメタデータを格納する格納する。なお、ステップＳ１７において格納される各データは互いに対応付けられるものとする。

ステップＳ１８へ移って、画像処理装置１は、検索キーを格納する（Ｓ１８）。ここでは、登録要求制御部２１０は、検索キー格納部２３２に検索キーを格納する。なお、ステップＳ１８において格納される検索キーは、ステップＳ１７において格納される各データと互いに対応付けられるものとする。これにより、例えば検索キーを用いた画像データの検索等が可能になる。

以上で示される処理により、本実施形態２に係る画像処理装置１では、画像データを登録する動作を行う。これにより、前述した実施形態１における利点に加えて、ページデータ又は領域データ単位での検索が可能となり、ドキュメントに対する再利用性を高めることができる。図１１は、検索キーが付加された画像データの例を示す図である。ドキュメント登録後に画像とその画像についた複数の検索キーが表示されている図である。

なお、ステップＳ１７及びＳ１８に係る処理により格納される各データのデータ構造について以下に補足する。

図１２は、ステップＳ１８で格納される検索キーのデータ構造の例を示す図である。検索キーは、図１２（ａ）の表に示されるように検索キーを識別する検索キーＩＤ（識別番号）及び属性を付加して管理される。

図１２（ａ）において、検索キーＩＤは、検索キーと検索キーが付加された画像データ等とを対応付けるために用いられる。例えば図１１（ｂ）の表に示されるように、検索キー識別番号ＩＤと該検索キーを有する画像データ等の識別番号（ＩＤ）が対応付けられて格納される。このように検索キーと画像データ等とが対応付けられることにより、検索キーを用いた画像データ、ページデータ又は領域データの検索を容易に行うことができる。なお、検索キーを有しない画像データや画像データを有しない検索キーが存在してもよいものとする。

図１２（ｂ）において、属性は、属性付きの検索キーを画像データに対して付加するために用いられる。これにより、セマンティックなＷｅｂとの相性がよくなり、将来的にFolksonomyだけでなく意味的関連づけも可能になる。検索キー生成時に属性をつけることで、ユーザが検索キーを選択する際に属性による絞込みを行うこともできる。図１３は、属性（ここでは、タイトル）による検索キーの絞込みが行われた様子を示す。

以上にステップＳ１７及びＳ１８に係る処理により格納される各データのデータ構造について補足を行った。

（画像データ登録動作の変形例）
続いて、前述した画像データ登録動作の変形例について説明を行う。前述した画像データ登録動作において、図１０のステップＳ４５に係る処理では、画像処理装置１は、キーワードランキング上位から検索キーを生成した。

しかしながら、システム側で自動的に生成する検索キーを決定すると、抽出された識別情報（又は検索キーの候補）が複数有る場合にはユーザの意図にあった検索キーを付加することができないという問題が考えられる。

そのため、ある程度候補を絞った検索キー候補から付加すべき検索キーの選択をユーザに提示する選択手段を備えるようにすることもできる。ユーザはその中から意図にあった検索キーを選択し、選択された検索キーを付加するようにすることにより、ユーザの意図にあった検索キーを自由に付加することができるようになる。

図１４は、重みに応じた検索キー候補の表示例を示す図である。ドキュメントのスキャンもしくは、ドキュメント登録時にシステム側で生成されたタグ候補を表示した例である。優先度（重要度）の高い検索キーが強調表示されている。

その他にも、さまざまな方法で検索キー候補を選択することができるが、場合によっては大量の検索キー候補が生成されてしまい、ユーザが容易に選べない場合がある。その補助機能として、識別情報の重要度から計算した検索キーの重みをユーザインタフェースに反映して、重要な複数の検索キー候補をランキング順に並べたり、重要な順に強調したりすることでユーザの検索キー選択を補助することができる。

このように、ユーザが半自動的に登録対象の画像データに対して検索キーを付加するような仕組みを提供する。また、ドキュメント全体に対して検索キーを付加するのではなく、そのページやページを構成する要素ごとに検索キーを付加することにより、要素単位での検索を可能としドキュメントに対する再利用性を高めることができる。

以上、実施形態に基づき本発明の説明を行ってきたが、上記実施形態にあげたその他の要素との組み合わせなど、ここで示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

本実施形態１に係る画像処理装置の構成の一例を示す図である。 本実施形態１に係る画像処理装置の機能の構成例を示す図である。 本実施形態１に係る画像データの登録動作の一例を示すフローチャートである。 本実施形態２に係る画像処理装置の機能の構成例を示す図である。 本実施形態２に係る画像データの登録動作の一例を示すフローチャートである。 ページデータ又は領域データ単位のメタデータ生成に係る処理の一例を示すフローチャートである。 ドキュメント単位のメタデータの一例である。 ページデータ単位のメタデータの一例である。 領域データ単位のメタデータの一例である。 ページデータ又は領域データ単位の検索キーの生成に係る処理の一例を示すフローチャートである。 検索キーが付加された画像データの例を示す図である。 検索キーのデータ構造の例を示す図である。 属性による絞り込みを説明するための図である。 重みに応じた検索キー候補の表示例を示す図である。

符号の説明

１ 画像処理装置
１０ アプリケーション部
２０ サーバ部
１１０ ＵＩ提供部
１２０ 画像データ入力部
１３０ メタデータ生成部
１４０ （画像等）登録要求部
１５０ （画像等）取得要求部
２１０ 登録要求制御部
２２０ 検索キー生成部
２３０ 記憶部
２３２ 検索キー格納部
２３４ メタデータ格納部
２３６ 画像データ格納部
２３８ ページデータ・領域データキャッシュ部
２４０ 取得要求制御部
２５０ 識別情報生成部
２５２ 領域識別部
２５４ 文字認識部
２６０ 構造的重み作成部
２７０ 識別情報生成部
２８０ ページデータ・領域データ生成部

Claims (10)

1. 検索対象の画像データを管理する画像処理装置であって、
   前記画像データを入力する入力手段と、
   入力された前記画像データから、前記画像データの検索のために用いられる検索キーを生成する検索キー生成手段と、
   生成された前記検索キーを、前記画像データに付加する付加手段と、
   を備えることを特徴とする画像処理装置。
2. 入力された前記画像データが複数のページデータ又は領域データから構成される場合、
   前記検索キー生成手段は、ページデータ又は領域データ単位で検索キーを生成し、
   前記付加手段は、ページデータ又は領域データ単位で生成された前記検索キーを、対応するページデータ又は領域データに付加することを特徴とする請求項１に記載の画像処理装置。
3. 入力された前記画像データのメタデータから、該画像データを識別する識別情報を生成する識別情報生成手段をさらに有し、
   前記検索キー生成手段は、生成された前記識別情報に基づいて、前記検索キーを生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 入力された前記画像データが文字領域を含む場合に該画像データから文字領域を抽出する文字領域抽出手段と、抽出された前記文字領域内の文字情報から、該画像データを識別する識別情報を生成する識別情報生成手段とをさらに有し、
   前記検索キー生成手段は、生成された前記識別情報に基づいて、前記検索キーを生成することを特徴とする請求項１又は２に記載の画像処理装置。
5. 予め識別情報毎に設定された優先度を保持する識別情報優先度保持手段をさらに有し、
   前記検索キー生成手段は、生成された前記識別情報の内の優先度の高い識別情報に基づいて、前記検索キーを生成することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記検索キー生成手段は、生成された前記識別情報が別の画像データに対するリンク情報を含む場合に、さらに、前記別の画像データのメタデータから抽出した識別情報に基づいて、前記検索キーを生成することを特徴とする請求項３乃至５のいずれか一項に記載の情報処理装置。
7. 生成された前記検索キーから前記画像データに付加すべき検索キーの選択を促す選択手段をさらに備え、
   前記付加手段は、生成された前記検索キーの内の選択された検索キーを付加することを特徴とする請求項１乃至６のいずれか一項に記載の情報処理装置。
8. 検索対象の画像データを管理する画像処理装置における画像処理方法であって、
   前記画像データを入力する入力工程と、
   入力された前記画像データから、前記画像データの検索のために用いられる検索キーを生成する検索キー生成工程と、
   生成された前記検索キーを、前記画像データに付加する付加工程と、
   を備えることを特徴とする画像処理方法。
9. コンピュータに、請求項１乃至７のいずれか一項に記載の画像処理装置の各手段に係る処理を実行させることを特徴とする画像処理プログラム。
10. 請求項９に記載の画像処理プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images