JP2012221148A - 画像処理方法、及び、画像処理システム - Google Patents

Abstract

【課題】画像の単位が明確でない文書データから検索に適した画像を抽出する。
【解決手段】プロセッサを有する画像処理システムは、複数の画像を保持する記憶部を有し、プロセッサは、画像を含むデータを取得し、第１の抽出手順によって、取得されたデータが作成されたソフトウェアの種類に従って、取得されたデータから第１の画像領域を抽出し、第２の抽出手順によって、取得されたデータと、記憶部に保持される各画像とを比較することによって、第２の画像領域を、取得されたデータから抽出し、第３の抽出手順によって、取得されたデータの画像特徴量と、記憶部に保持される各画像の画像特徴量とを比較することによって、第３の画像領域を、取得されたデータから抽出し、第１、第２及び第３の画像領域と、第１、第２及び第３の抽出手順に定められた信頼度とに基づいて、記憶部に格納する画像を特定する。
【選択図】図８

Description

本発明は、画像処理方法に関し、特に、文書中の画像を検索することが可能な画像処理方法に関する。

近年、ストレージの大容量化が進んでおり、これによって、通常の方法を用いては検索することが困難な大量の文書データを、ストレージに蓄積できるようになっている。これに伴い、例えば、各計算機から共有可能なストレージに、大量の文書データを格納することによって、会社等の組織において情報を共有したり、新しい文書を生成する際に既存の文書データを素材として活用したりするなどの、文書データの用途が増えている。

これらの用途において文書データを検索するための方法には、ファイルが保存されているフォルダを直接参照して目的の文書データを参照する方法、又は、クエリである単語が含まれるテキスト情報を探し、そのテキスト情報を含む文書データを探す方法が、従来主として用いられてきた。

しかし、テキスト情報のみによる検索は、ある程度文書データ群を絞り込むことはできても、内容が近い文書に検索結果を絞ることが困難であるという問題があった。また、的確な単語をクエリとしなかった場合、検索漏れが生じてしまうという問題があった。

一方で、携帯電話のカメラ及びデジタルカメラの普及、並びに、文書作成ソフトウェアの描画作成機能の利用の増加に伴い、従来の主な検索対象であったテキスト以外に、画像が多く含まれる文書が増えつつある。

そこで、テキストだけでなく、文書中の複数の画像情報、及び、画像がどのような構造であるかを示す文書構造を用いて類似度を個々に算出し、算出された類似度によって求められた統合的な評価値を文書データにおける類似度として、文書を検索する方法、及びそれらの文書を表示する方法（例えば、特許文献１及び特許文献２参照）などが提案されている。

特開２０００−１４８７９３号公報 特開２００６−１４６６２８号公報

前述の特許文献１及び特許文献２には文書データが有する文書構造を解析することによって、テキスト情報、画像情報及び構造情報等を抽出する方法が記載されている。このような従来技術を、文書データの検索に用いた場合、ユーザの意図しない画像によって文書データが検索されるという問題があった。また、イメージスキャナ装置などによって取得された文書データは、構造情報を抽出することが困難であるという問題があった。

例えば、文書作成ソフトウェアの描画機能を使用して文書を作成する際、ユーザは、様々な図形を組み合わせて一つの画像を作成することができる。このような場合、文書構造を用いて最小単位の画像を抽出した結果、線又は円など、一般的な形状であり意味を持たないオブジェクト画像が抽出されてしまう場合がある。

また、文書作成ソフトウェアには、図形をグループ化して一つの画像単位とする機能を持つソフトウェアがある。このような文書作成ソフトウェアを用いた際、ユーザによって、画像をグループ化する場合とグループ化しない場合とがある。このため、従来技術を用いた場合、常に、ユーザにとって意味がある画像を示す、適切な構造情報が抽出されるわけではないという問題があった。また、表示及び印刷に影響のないグループ化を同じ基準によってユーザに義務化することができないといった問題があった。

さらに、従来技術において、画像が補助的な情報として用いられているが、画像のみで検索しようとした場合、十分な検索精度が得られないという問題があった。

そこで、本発明は、検索に用いる画像の単位が明確でない文書データから、検索に適した画像を抽出することによって、文書データの検索を可能にするシステムの提供を目的とする。また、文書データ中の画像のみを用いた検索において、同一、又は類似する文書データを検索し、これによって、関連する文書データを高精度に検索するシステムの提供も目的とする。

本発明の代表的な一例を示せば以下の通りである。すなわち、メモリに格納されるプログラムを実行するプロセッサを有する画像処理システムであって、前記画像処理システムは、複数の画像を保持する記憶部を有し、前記プロセッサは、画像を含むデータを取得し、第１の抽出手順によって、前記取得されたデータが作成されたソフトウェアの種類に従って、前記取得されたデータから第１の画像領域を抽出し、第２の抽出手順によって、前記取得されたデータと、前記記憶部に保持される各画像とを比較することによって、前記記憶部に保持される各画像と同一又は類似する第２の画像領域を、前記取得されたデータから抽出し、第３の抽出手順によって、前記取得されたデータの画像特徴量と、前記記憶部に保持される各画像の画像特徴量とを比較することによって、前記記憶部に保持される各画像と同一又は類似する第３の画像領域を、前記取得されたデータから抽出し、前記第１、第２及び第３の画像領域と、前記第１、第２及び第３の抽出手順に定められた信頼度とに基づいて、前記記憶部に格納する画像を特定する。

本発明の一実施形態によると、画像の単位が明確でない文書データから検索に適した画像を抽出できる。

本発明の実施形態の文書検索装置の物理的な構成を示すブロック図である。 本発明の実施形態の画像データＤＢを示す説明図である。 本発明の実施形態の文書データＤＢを示す説明図である。 本発明の実施形態のページデータＤＢを示す説明図である。 本発明の実施形態の画像検索プログラムによって抽出されるレイアウトイメージを示す説明図である。 本発明の実施形態のレイアウトイメージから抽出された複数の画像領域候補を示す説明図である。 本発明の実施形態の画像特徴量生成プログラムによる画像特徴量の算出方法を示す説明図である。 本発明の実施形態の文書データの登録処理を示すフローチャートである。 本発明の実施形態の文書データが格納されるフォルダ又はファイルを取得するために、表示部に表示された画面を示す説明図である。 本発明の実施形態の登録画像と信頼度とを含む判定基準を示す説明図である。 本発明の実施形態の文書データを検索する処理を示すフローチャートである。 本発明の実施形態の文書データが格納されるフォルダ又はファイルを取得するために、表示部に表示された画面を示す説明図である。 本発明の実施形態の画像領域を表示する画面を示す説明図である。 本発明の実施形態の文書検索結果を表示する画面を示す説明図である。

本発明の実施形態は、文書検索装置が、文書データに含まれる画像を、複数の方法によって文書データから抽出し、抽出された画像と信頼度とに従って、画像を選択する。これによって、検索に適した画像を特定する。そして、特定された画像を文書検索装置に蓄積することによって、文書データの検索の際に、文書検索装置に蓄積された画像と文書データに含まれる画像とを比較することによって、より高精度な検索を実現する。

以下に、本発明の実施形態を、図面を参照して説明する。

図１は、本発明の実施形態の文書検索装置１００の物理的な構成を示すブロック図である。

本実施形態の文書検索装置１００は、プロセッサ１０１と、主メモリ１０２と、入力部１０３と、表示部１０４と、通信部１０５と、記憶部１１０とを備える。図１に示す文書検索装置１００は、一つの端末に実装されるが、本実施形態の文書検索装置１００は、複数の計算機によって実装されてもよく、仮想サーバによって実装されてもよい。また、本実施形態の記憶部１１０は、複数の記憶装置によって実装される仮想記憶装置であってもよい。このため、本実施形態の文書検索装置１００は、複数の計算機、及び複数の記憶装置によって実装される文書検索システムであってもよい。

プロセッサ１０１は、記憶部１１０に格納される各機能を主メモリ１０２に読み出し、読み出された各機能を実行するための処理装置である。プロセッサ１０１は、少なくとも一つのプロセッサを備えてもよく、各プロセッサ１０１は、中央演算処理装置（ＣＰＵ）でもよい。

主メモリ１０２は、プログラム等を一時的に記憶する記憶領域である。入力部１０３は、ユーザ等が文書データを文書検索装置１００に入力するための入力装置である。入力部１０３は、例えば、キーボード、マウス、又は、ＵＳＢドライバ等の入力装置である。

表示部１０４は、ユーザ等に文書データの検索結果を表示するための装置である。表示部１０４は、例えば、ディスプレイ、又は、プリンタ等の出力装置である。通信部１０５は、文書検索装置１００が他の装置と、直接接続したり、ネットワークを介して接続したりするための装置である。通信部１０５は、例えば、ネットワークインタフェース等の装置である。

記憶部１１０は、文書検索装置１００の機能を実装するためのプログラム及びデータ等を格納する記憶装置である。記憶部１１０は、例えば、ハードディスクドライブ等の補助記憶装置である。

記憶部１１０は、ＯＳ（オペレーティングシステム）１１１と、画像データＤＢ１１２と、文書データＤＢ１１３と、ページデータＤＢ１１４と、画像領域検出プログラム１１５と、文書解析プログラム１１６と、画像特徴量生成プログラム１１７と、画像信頼度判定プログラム１１８と、画像検索プログラム１１９と、文書検索プログラム１２０と、画面表示プログラム１２１と、データ管理プログラム１２２とを保持する。

ＯＳ１１１は、文書検索装置１００を稼動させるための基本的な機能である。

画像データＤＢ１１２は、文書検索装置１００に保持される比較先の文書データのうち、画像に関する情報を含むデータベースである。

なお、本実施形態において、文書検索装置１００に入力され、検索する際のキーとなる文書データを、比較元の文書データと記載する。また、文書検索装置１００に入力され、検索に適する画像を抽出される文書データも、比較元の文書データと記載する。これに対して、記憶部１１０に蓄積され、比較元の文書データと比較される文書データの集合を、比較先の文書データと記載する。

本実施形態の比較元の文書データは、少なくとも１枚のページを含む。また、以下に示す文書データは、少なくとも一つの画像を含むが、本実施形態の文書データは、画像を含まない文書データにも適用できる。

本実施形態の比較先の文書データは、テキスト又は画像を含む、複数の文書データの集合である。本実施形態の比較先の文書データは、記憶部１１０に蓄積されるが、文書検索装置１００に接続される他の記憶装置に格納されてもよい。

文書データＤＢ１１３は、文書検索装置１００に保持される比較先の文書データに関する情報を含むデータベースである。ページデータＤＢ１１４は、文書検索装置１００に保持される比較先の文書データの、各ページに関する情報を含むデータベースである。

画像領域検出プログラム１１５は、比較元の文書データのレイアウトイメージと、画像データＤＢ１１２が示す画像とを比較し、比較元の文書データのレイアウトイメージから、比較元の画像のオブジェクトの単位、すなわち、比較元の画像領域を抽出する機能である。

以下において、比較元の文書データのレイアウトイメージと、画像データＤＢ１１２が示す画像とを比較し、比較元の文書データのレイアウトイメージから、比較元の画像を抽出する処理を、テンプレートマッチングと記載する。

なお、本実施形態におけるレイアウトイメージとは、ユーザ等が表示部１０４等を介して視認する、文書データの内容を示す画像のことである。このため、レイアウトイメージには、テキスト、画像、又はテキスト及び画像の両方が含まれる。

文書解析プログラム１１６は、文書データが生成されたソフトウェアの種別に基づいて、文書データの文書構造を取得する機能である。また、文書構造が取得可能な文書データから、画像及びテキスト等を抽出する機能である。

文書解析プログラム１１６は、各文書データを作成するためのソフトウェアを開発したメーカー等によって提供されるソフトウェアライブラリ（画像抽出ライブラリ）を用いることによって実装される。文書検索装置１００は、管理者等によって予め記憶部１１０に入力されることによって、メーカー等によって提供される画像抽出ライブラリを保持する。

画像特徴量生成プログラム１１７は、画像の見た目の特徴を示す画像特徴量（多次元ベクトル）を算出する機能である。例えば、画像の画素値情報を用いて、画像中のエッジパターンの分布を示す多次元ベクトルを生成し、主成分分析法などを用いて、生成された多次元ベクトルを次元圧縮する。そして、数十〜数百次元程度のベクトルを生成する。さらに、生成されたベクトルによって画像の検索用データ、すなわち、画像特徴量を算出する。

画像信頼度判定プログラム１１８は、後述する複数の方法によって抽出された画像領域が、文書データを検索するために適当な画像の単位であるかを示す信頼度を、複数の方法に従って定められた信頼度によって、定める機能である。

画像検索プログラム１１９は、比較元の文書データに含まれる画像の画像特徴量と、比較先の文書データに含まれる画像各々の画像特徴量とのベクトル間の距離を算出する機能である。そして、算出の結果、比較元の画像と距離が小さい画像（距離が近い画像）を、見た目の類似度が高い画像、すなわち同一の画像として取得する機能である。

本実施形態の距離の算出は、二乗距離など、ベクトル間の類似度を算出できる方法であれば、どのような方法を用いてもよい。

文書検索プログラム１２０は、比較元の文書データと同一又は類似する文書データ、又は、比較元の文書データと同一又は類似する文書データのページを、画像検索プログラム１１９によって取得された画像検索結果を用いて、検索する機能である。

画面表示プログラム１２１は、表示部１０４に、検索結果の一覧、又は、文書データを閲覧するための画像を表示させる機能である。

データ管理プログラム１２２は、入力部１０３又は通信部１０５から入力された画像又は文書データを、記憶部１１０に格納する機能である。また、格納された画像又は文書データを、各機能の要求に従って出力する機能である。

なお、プロセッサ１０１は、前述のプログラムを処理することによって、所定の機能を実現する機能部として動作する。例えば、プロセッサ１０１は、画像領域検出プログラム１１５を処理することによって、画像領域検出部として機能し、文書解析プログラム１１６を処理することによって文書解析部として機能する。他のプログラムについても同様である。さらに、プロセッサ１０１は、各プログラムによって実行される複数の処理のそれぞれを実現する機能部としても動作する。本実施形態の文書検索装置１００は、これらの機能部を含む装置又はシステムである。

図２は、本発明の実施形態の画像データＤＢ１１２を示す説明図である。

画像データＤＢ１１２は、文書検索装置１００が保持する比較先の文書データに含まれる画像に関する情報を含む。具体的には、画像データＤＢ１１２は、比較元の画像と比較するためのテンプレートとなる画像に関する情報を含む。テンプレートとなる画像に関する情報は、本実施形態の後述の登録処理によって画像データＤＢ１１２に格納される。

画像データＤＢ１１２は、通し番号１１２１、画像ＩＤ１１２２、画像特徴量１１２３、画像１１２４、文書ＩＤ１１２５、ページ番号１１２６、及び、座標１１２７を含む。通し番号１１２１は、画像データＤＢ１１２に含まれる行を一意に示す識別子である。

画像ＩＤ１１２２は、比較先の文書データに含まれる画像を一意に示す識別子である。画像特徴量１１２３は、比較先の文書データに含まれる画像の見た目の特徴を示す数値である。

画像１１２４は、比較先の文書データに含まれる画像を表示するために、各画像に割り当てられる識別子又は名称である。図２の画像１１２４は、画像のファイル名を示すが、本実施形態の画像１１２４は、画像が格納されるサーバ名、又はディレクトリ名等を含んでもよい。

文書ＩＤ１１２５は、画像１１２４が示す画像が含まれる文書データを一意に示す識別子である。

ページ番号１１２６は、画像１１２４が示す画像が含まれる、文書ＩＤ１１２５が示す文書データのページ数を示す。

座標１１２７は、画像１１２４が示す画像が、ページ番号１１２６が示すページにおいて配置される位置及びサイズを示す。図２の座標１１２７は、各文書データのＸ、Ｙ方向を各々１００に正規化した場合の座標によって、画像の位置及びサイズを示すが、本実施形態の座標１１２７は、画像の位置及びサイズを、ピクセル数など他の単位によって示してもよい。

例えば、図２の通し番号１１２１が「１」である行は、画像ＩＤ１１２２が「１００００００１」である画像が、文書ＩＤ１１２５が「０００００１」である文書データの１ページ目における左上座標（３５，１０）と右下座標（６０，３５）とによって囲まれる矩形領域に配置されることを示す。

信頼度１１２８は、画像１１２４が示す画像の単位としての確度、すなわち、本実施形態の信頼度を示す。本実施形態の信頼度が高い画像は、検索される画像として適当であることを示す。一般的に、信頼度が高い画像は、ユーザにとって意味を持つ画像である場合が多い。図２の信頼度１１２８は、小さい順に０〜３の４段階によって信頼度を示すが、信頼度の大小が比較できればどのような値又は記号を用いてもよい。

図３は、本発明の実施形態の文書データＤＢ１１３を示す説明図である。

文書データＤＢ１１３は、通し番号１１３１、文書ＩＤ１１３２、種別１１３３、文書構造１１３４、作成者１１３５、更新日１１３６、及び、ファイルパス１１３７を含む。通し番号１１３１は、文書データＤＢ１１３に含まれる行を一意に示す識別子である。

文書ＩＤ１１３２は、文書検索装置１００が保持する比較先の各文書データを、一意に示す識別子である。種別１１３３は、文書ＩＤ１１３２が示す文書データの種別を示す識別子である。すなわち、種別１１３３は、文書データが作成されたソフトウェア、又は、文書データが保存された形式を示す。

文書構造１１３４は、文書ＩＤ１１３２が示す文書データから文書構造を取得できるか否かを示す。例えば、文書を作成するためのソフトウェアによって作成された文書データのように、文書検索装置１００が、文書データから文書構造を取得可能な場合、その文書データの文書構造１１３４は、「１」を含む。そして、文書構造が取得不能な文書データの文書構造１１３４は、「０」を含む。

本実施形態において、文書構造が取得可能な文書データとは、文書データに含まれる画像のみを、テキスト等と分離して抽出できる文書データのことである。また、文書データに含まれるテキストのみを、画像等と分離して抽出できる文書データである。

本実施形態において、文書構造が取得可能な文書データに含まれる画像のうち、最小単位の画像を、オブジェクト画像と記載する。オブジェクト画像は、一般的に、線や丸などのユーザにとって意味を持たない画像である場合が多い。

また、イメージスキャナ装置などによって読み込まれた文書データ、又は、保護された文書データのように、テキスト及び画像がイメージとして参照される文書データは、文書構造が取得不能な文書データである。このような文書データからは、画像のみをテキストと分離して抽出することはできない。

作成者１１３５は、文書ＩＤ１１３２が示す文書データを作成した者又は更新した者を示す。更新日１１３６は、文書ＩＤ１１３２が示す文書データが作成された日付又は最後に更新された日付を示す。なお、更新日１１３６が示す日付には時刻が含まれてもよい。ファイルパス１１３７は、文書ＩＤ１１３２が示す文書データが、格納されている記憶部１１０の位置を示す。

図３の文書ＩＤ１１３２と、図２の文書ＩＤ１１２５とは対応する。

図４は、本発明の実施形態のページデータＤＢ１１４を示す説明図である。

ページデータＤＢ１１４は、通し番号１１４１、ページＩＤ１１４２、画像特徴量１１４３、文書ＩＤ１１４４、ページ番号１１４５、及び、画像１１４６を含む。通し番号１１４１は、ページデータＤＢ１１４に含まれる行を一意に示す識別子である。

ページＩＤ１１４２は、文書データに含まれるページを一意に示す識別子である。画像特徴量１１４３は、各ページから取得したレイアウトイメージの、見た目の特徴を示す数値である。

文書ＩＤ１１４４は、ページＩＤ１１４２が示すページを含む文書データの識別子である。ページ番号１１４５は、ページＩＤ１１４２が示すページが含まれる文書データのページである。画像１１４６は、ページＩＤ１１４２が示すページから取得したレイアウトイメージを一意に示す識別子である。

例えば、図４の通し番号１１４１が「１」である行は、ページＩＤ１１４２が「１０００００１」であるページは、文書ＩＤ１１４４が「０００００１」である文書データの１ページ目に含まれることを示す。

図４の文書ＩＤ１１４４と、図３の文書ＩＤ１１３２と、図２の文書ＩＤ１１２５とは、対応する。図４のページ番号１１４５と、図２のページ番号１１２６とは、対応する。

以下に、画像領域検出プログラム１１５によるテンプレートマッチングについて説明する。

本実施形態のテンプレートマッチングには、パターン認識によってレイアウトイメージと画像とを比較する方法、又は、画像特徴量を検索することによってレイアウトイメージと画像とを比較する方法など、一般的な方法が用いられる。

図５は、本発明の実施形態の画像領域検出プログラム１１５によって取得されるレイアウトイメージ４００を示す説明図である。

図５のレイアウトイメージ４００には、右下に電子レンジの画像が含まれ、他の領域にテキストが含まれる。図５のレイアウトイメージ４００は、文書データの各ページから取得されたレイアウトイメージである。

例えば、文書検索装置１００に入力された文書データからレイアウトイメージ４００が取得された場合、画像領域検出プログラム１１５は、レイアウトイメージ４００から、様々な形状及び様々なサイズの矩形領域の画像を抽出し、これによって、複数の画像領域候補４０１を生成する。

図６は、本発明の実施形態のレイアウトイメージ４００から抽出された複数の画像領域候補４０１を示す説明図である。

図６に示す画像領域候補４０１は、複数の画像領域候補（４０１ａ〜４０１ｏ）を含む。画像領域候補（４０１ａ〜４０１ｏ）は、レイアウトイメージ４００の一部を切り取ることによって抽出された複数の画像である。

画像領域検出プログラム１１５は、画像領域候補（４０１ａ〜４０１ｏ）のいずれが比較元の画像として適切であるか否かを、画像データＤＢ１１２が示す比較先の画像をテンプレートとして検索する。そして、画像領域候補（４０１ａ〜４０１ｏ）から、画像データＤＢ１１２が示す比較先の画像と同一又は類似する画像領域候補４０１を抽出する。

本実施形態において画像領域検出プログラム１１５は、画像データＤＢ１１２が示す比較先の画像が、画像領域候補４０１ｄ（レイアウトイメージ４００の右下に配置される電子レンジ）と同一又は類似する場合、画像領域候補４０１ｄを検索結果として抽出する。

ここで、画像領域検出プログラム１１５は、十分な量の画像の情報が画像データＤＢ１１２に蓄積される場合、画像データＤＢ１１２の信頼度１１２８の高い画像のみ（例えば信頼度が３の画像）を、テンプレートとして用いてもよい。これによって、比較先には適さない画像をテンプレートとして用いることを防止し、本来抽出すべきでない画像領域候補４０１が抽出されることを防止できる。

以下に、画像特徴量生成プログラム１１７が画像特徴量を算出する方法を説明する。

図７は、本発明の実施形態の画像特徴量生成プログラム１１７による画像特徴量の算出方法を示す説明図である。

画像４０２ａは、複数の解像度によって表示される画像を含む。画像４０２ｂは、画像４０２ａに含まれる各画像を複数の領域に分割した画像を含む。エッジパターン４０２ｃは、画像４０２ｂの分割された各領域に対応する特徴的なエッジパターンである。数値４０２ｄは、エッジパターン４０２ｃに対応する特徴量の数値である。

画像特徴量生成プログラム１１７は、図７に示すエッジパターン４０２ｃのように、特徴的なエッジパターンをあらかじめ複数保持する。また、各エッジパターン４０２ｃに対応する数値４０２ｄをあらかじめ保持する。

一方で、画像特徴量生成プログラム１１７は、画像特徴量を算出する対象の画像を、多重解像度化、すなわち複数の解像度によって表示される画像に変換することによって、画像４０２ａに含まれる複数の画像を生成する。さらに、生成された画像４０２ａの各画像を格子状に領域分割することによって、画像４０２ｂに含まれる複数の画像を生成する。

そして、画像特徴量生成プログラム１１７は、画像４０２ｂの分割された各領域内に含まれる特徴的なエッジパターンの数を、エッジパターン４０２ｃと数値４０２ｄとに従って加算し、これによって、多次元ベクトルを生成する。そして、主成分分析法を用いて次元圧縮することによって画像特徴量を算出する。

なお、本実施形態の画像の見た目の特徴を示す特徴量には、一般に広く知られているＭＰＥＧ−７において規定されるエッジヒストグラム特徴、又は、ＳＩＦＴ特徴などの特徴量を用いてもよい。

次に、比較先の文書データを文書検索装置１００に登録する手順を示す。

図８は、本発明の実施形態の文書データの登録処理を示すフローチャートである。

本実施形態における登録処理とは、画像データＤＢ１１２、文書データＤＢ１１３及びページデータＤＢ１１４に、画像、文書データ、及びページに関する情報を格納し、文書検索装置１００の記憶部１０１又は文書検索装置１００に接続される記憶装置に、文書データ及び画像を格納する処理を示す。

図８に示す文書データの登録処理において、前述のように、文書検索装置１００の記憶部１０１に格納する文書データを、比較元の文書データと記載する。

まず、比較元の文書データを図１に示す文書検索装置１００の主メモリ１０２に格納するため、画面表示プログラム１２１は、文書データが格納されるフォルダ又はファイルを取得するための画面４０３を表示部１０４に表示させる。

図９は、本発明の実施形態の文書データが格納されるフォルダ又はファイルを取得するために、表示部１０４に表示された画面４０３を示す説明図である。

画面表示プログラム１２１は、例えば、画面４０３を表示部１０４に表示させ、文書データが格納されるフォルダ又はファイルを、ユーザに入力させる。

そして、入力部１０３が、比較元の文書データが格納されるフォルダ又はファイルの格納場所、及び、比較元の文書データの登録の指示をユーザから受信した場合、データ管理プログラム１２２は、指示された格納場所から文書データを取得し、取得された文書データを主メモリ１０２に格納する（Ｓ２０１）。なお、データ管理プログラム１２２は、主メモリ１０２以外の記憶部１１０等に文書データを格納してもよい。

具体的には、データ管理プログラム１２２は、通信部１０５を介して、ネットワークなどに接続されるサーバ等から、ユーザからの指示に従って、文書データを取得する。また、データ管理プログラム１２２は、ユーザが入力部１０３によって直接入力したフォルダ又はファイルから、文書データを取得する。

なお、Ｓ２０１において、データ管理プログラム１２２は、指示されたフォルダに文書データが格納されているか否かを定期的に確認し、新たに格納された文書データ又は更新された文書データを自動的に取得してもよい。

Ｓ２０１の後、文書解析プログラム１１６は、主メモリ１０２に格納された文書データの種別１１３３を判定する（Ｓ２０２）。文書解析プログラム１１６は、各文書データの種別に関する情報をあらかじめ保持しており、例えば、文書データのヘッダ等から種別１１３３を判定する。

Ｓ２０２の後、文書解析プログラム１１６は、判定された種別１１３３に対応するソフトウェアライブラリ（画像抽出ライブラリ）を用いて、文書データをページ単位に処理するため、文書データのページを分割する（Ｓ２０３）。ここで、文書解析プログラム１１６は、ページ単位に文書データを参照できればよく、実際にファイルを分割しなくてもよい。すなわち、文書解析プログラム１１６は、ページ毎に識別できるような識別子を付すことによって、ページ単位に後述する処理を実行してもよい。

Ｓ２０３の後、文書解析プログラム１１６は、自らがあらかじめ保持する画像抽出ライブラリを用いて画像又はテキスト等を、文書データから抽出できるか否かを判定する（Ｓ２０４）。すなわち、文書解析プログラム１１６は、画像又はテキストなどの文書構造を文書データから取得できる画像抽出ライブラリを、自らが保持するか否かを判定する。

ここで、文書解析プログラム１１６が保持する画像抽出ライブラリを用いて画像等を抽出可能と判定された場合、文書解析プログラム１１６は、文書データから画像を抽出する。画像抽出ライブラリによって抽出された画像は、画像としての信頼度が高い。

文書解析プログラム１１６は、抽出された画像を示す識別子（画像ＩＤ１１２２に相当）、抽出された画像に割り当てられる名称（画像１１２４に相当）、抽出された画像が含まれる文書データを示す識別子（文書ＩＤ１１２５に相当）、抽出された画像が含まれるページを示す識別子（ページ番号１１２６に相当）、及び、各ページにおける画像の表示位置（座標１１２７に対応）などの、抽出された画像に関する情報を生成する。そして、抽出された画像を、第１の方法による画像領域（以下、第１の画像領域）として、主メモリ１０２が保持するバッファ領域に格納する（Ｓ２０５）。また、生成された情報も、バッファ領域に格納する。

なお、文書解析プログラム１１６は、グループ化された画像が、最小単位のオブジェクト画像をグループ化することによって生成された画像であるか、複数の画像をグループ化することによって生成された画像であるかを推定できない。このため、画像抽出ライブラリによってグループ化された画像が抽出された場合、本実施形態の文書解析プログラム１１６は、Ｓ２０５において、最小単位となるオブジェクト画像と、グループ化された画像との両方を抽出する。そして、抽出されたすべての画像に関する情報を、第１の画像領域として、主メモリ１０２が保持するバッファ領域に格納する。

Ｓ２０５の後、又は、Ｓ２０４において文書解析プログラム１１６が文書データから文書構造を取得できないと判定した場合、画像領域検出プログラム１１５は、文書データに含まれる各ページ毎に、レイアウトイメージを取得する。そして、画像領域検出プログラム１１５は、画像データＤＢ１１２が示す画像の中に、取得されたレイアウトイメージの一部と同一又は類似する画像があるか否かを判定する。

画像領域検出プログラム１１５は、画像データＤＢ１１２が示す画像の中に、レイアウトイメージの一部と同一又は類似した画像があるか否かを、図５及び図６において示すテンプレートマッチングによって判定する。このため、Ｓ２０４において文書構造を取得できないと判定された場合においても、画像領域検出プログラム１１５は、画像データＤＢ１１２が示す画像と、同一又は類似する画像を、レイアウトイメージから抽出することができる。

画像データＤＢ１１２が示す画像が、レイアウトイメージの一部と同一又は類似すると判定され、画像がレイアウトイメージから抽出された場合、レイアウトイメージから抽出された画像は、画像としての信頼度が高い。

このため、画像領域検出プログラム１１５は、レイアウトイメージから抽出された画像、すなわち文書データの画像部分についての画像領域を示す識別子（画像ＩＤ１１２２に相当）、レイアウトイメージが取得された文書データを示す識別子（文書ＩＤ１１２５に相当）、レイアウトイメージが取得された文書データのページを示す識別子（ページ番号１１２６に相当）、及び、レイアウトイメージにおける画像の表示位置（座標１１２７に相当）などの、画像に関する情報を生成する。そして、レイアウトイメージから抽出された画像を、第２の方法による画像領域（以下、第２の画像領域）として、主メモリ１０２が保持するバッファ領域に格納する（Ｓ２０６）。また、生成された情報も、バッファ領域に格納する。

ここで、本実施形態の文書検索装置１００が稼動し始めた直後など、画像データＤＢ１１２が示す画像の量が少ない場合、画像領域検出プログラム１１５は、レイアウトイメージに画像が含まれていても、画像データＤＢ１１２が示す画像と同一又は類似するテンプレートがないために、画像を取得できない可能性がある。このため、ユーザ等によってあらかじめ画像を画像データＤＢ１１２に入力することによって、抽出漏れを防止してもよい。

文書検索装置１００が保持する比較先の画像は、信頼度の高い画像が含まれる。このため、Ｓ２０６によって、本実施形態の文書検索装置１００は、比較元の文書データから、検索に適する、信頼度の高い画像を抽出できる。

なお、本実施形態の文書検索装置１００は、後述の手順によって文書データが検索できればいいため、Ｓ２０６において、漏れなく画像領域を抽出する必要はない。すなわち、文書データの中から抽出できない画像領域があってもよい。

Ｓ２０６の後、画像特徴量生成プログラム１１７は、比較元の文書データの各々のページからレイアウトイメージの画像特徴量を、図７に示す手順によって算出する。文書データの各々のページから取得されるレイアウトイメージは、Ｓ２０６において取得されたレイアウトイメージでもよく、Ｓ２０７において再度取得されたレイアウトイメージでもよい。

そして、画像検索プログラム１１９は、ページデータＤＢ１１４が示すページの画像特徴量１１４３と、画像特徴量生成プログラム１１７によって算出された各レイアウトイメージの画像特徴量との距離を算出することによって、類似画像検索を行う。

算出された距離があらかじめ定められた閾値よりも小さいレイアウトイメージは、ページデータＤＢ１１４が示すいずれかのページと、同一又は類似である。すなわち、算出された距離があらかじめ定められた閾値よりも小さいレイアウトイメージは、画像としての信頼度が高い。

このため、画像検索プログラム１１９は、文書データから、算出された距離があらかじめ定められた閾値よりも小さいレイアウトイメージを抽出する。そして、抽出されたレイアウトイメージを示す識別子（画像ＩＤ１１２２に相当）、抽出されたレイアウトイメージに割り当てられる名称（画像１１２４に相当）、抽出されたレイアウトイメージが含まれる文書データを示す識別子（文書ＩＤ１１２５に相当）、抽出されたレイアウトイメージが含まれるページを示す識別子（ページ番号１１２６に相当）、及び、各ページにおけるレイアウトイメージの表示位置（座標１１２７に対応）などの、抽出されたレイアウトイメージに関する情報を生成する。

そして、画像検索プログラム１１９は、抽出されたレイアウトイメージを、第３の方法による画像領域（以下、第３の画像領域と記載）として、主メモリ１０２が保持するバッファ領域に格納する（Ｓ２０７）。また、生成されたレイアウトイメージに関する情報も、バッファ領域に格納する。

前述のレイアウトイメージにはテキスト、又は、日本語以外の言語が含まれてもよい。すなわち、Ｓ２０７の処理は、文書データをレイアウトイメージとして取得する処理であるため、本実施形態の文書検索装置１００は、テキスト又は言語に依存せず、比較元の文書データと同一又は類似する文書データを、比較先の文書データから抽出できる。

Ｓ２０７の後、画像信頼度判定プログラム１１８は、第１の画像領域、第２の画像領域、及び、第３の画像領域を、主メモリ１０２が保持するバッファ領域から取得し、文書データに含まれる画像の信頼度を求める（Ｓ２０８）。

具体的には、画像信頼度判定プログラム１１８は、Ｓ２０８において、第１、第２及び第３の画像領域が、相互に重複する面積Ｓｉ及び重複していない面積Ｓｏを算出する。そして、画像領域が異なる割り合いＳｄ（Ｓｄ＝Ｓｏ／（Ｓｉ×Ｎ））を算出する。なお、異なる割り合いＳｄの逆数を算出することによって、重複する割合を求め、以降の処理において重複する割り合いを用いてもよい。

ここで整数Ｎは、第１、第２及び第３の画像領域のうち、重複した画像領域の数を示す。例えば、第１の方法及び第２の方法の、二つの方法によって抽出された画像領域（第１及び第２の画像領域）が重複した場合、Ｎ＝２であり、第１、第２及び第３の画像領域が重複した場合、Ｎ＝３である。

そして、異なる割り合いＳｄの値があらかじめユーザ等によって定められた閾値を下回る場合、重複する面積Ｓｉは大きい。すなわち、第１、第２及び第３の画像領域のうちいずれかの組合せの画像領域は、多くの部分において重複する。例えば、Ｎ＝３であり、異なる割り合いＳｄの値が閾値以下である場合、第１、第２及び第３の画像領域は多くの部分において重複する。

このため、画像信頼度判定プログラム１１８は、異なる割り合いＳｄの値が定められた閾値を下回る、第１、第２及び第３の画像領域のうちのいずれかの組合せを、重複する画像であると判定する。重複する画像であると判定された組合せに含まれる各画像領域は、画像としての信頼度が高い。

また、異なる割り合いＳｄの値があらかじめユーザ等によって定められた閾値を上回る場合、重複していない面積Ｓｏが大きい。すなわち、第１、第２及び第３の画像領域のうちいずれかの組合せの画像領域は、異なる画像である。このため、画像信頼度判定プログラム１１８は、第１、第２及び第３の画像領域の組合せのうち、異なる割り合いＳｄの値が定められた閾値を上回る組合せを、異なる画像の組合せであると判定する。

図１０は、本発明の実施形態の登録画像と信頼度とを含む判定基準４０４を示す説明図である。

判定基準４０４は、通し番号４０４１、第１の画像領域４０４２、第２の画像領域４０４３、第３の画像領域４０４４、登録画像４０４５、及び信頼度４０４６を含む。通し番号４０４１は、判定基準４０４の各行を一意に示す識別子である。

第１の画像領域４０４２、第２の画像領域４０４３、及び第３の画像領域４０４４は、Ｓ２０５、Ｓ２０６及びＳ２０７において抽出された画像領域が対応する。そして、前述の処理によって、重複すると判定された画像領域の組合せに関する情報が格納される。

例えば、第１の画像領域４０４２、第２の画像領域４０４３、及び第３の画像領域４０４４に二つ以上の「○」が格納される行は、「○」が格納される列に対応する画像領域が、お互いに重複する画像であることを示す。一方で、第１の画像領域４０４２、第２の画像領域４０４３、及び第３の画像領域４０４４の列のうちの一つのみに「○」が格納される場合、「○」が格納される列に対応する画像領域は、重複する他の画像領域がないことを示す。

登録画像４０４５は、いずれの画像領域を文書検索装置１００に登録するかを示す。信頼度４０４６は、画像領域の信頼度を示す。

例えば、Ｓ２０８において、第１の画像領域と第２の画像領域との異なる割り合いＳｄが閾値を下回り、第１の画像領域と第３の画像領域との異なる割り合いＳｄが閾値を上回ると判定された場合、第１の画像領域と第２の画像領域とは重複する画像であり、第１の画像領域と第３の画像領域とは、異なる画像である。このため、画像信頼度判定プログラム１１８は、Ｓ２０８において、判定基準４０４の通し番号４０４１が「６」である行を特定する。そして、Ｓ２０８において信頼度４０４６を「２」と決定する。

そして、通し番号４０４１が「６」である行が特定された場合、「○」が格納される列に対応する第１及び第２の画像領域の信頼度４０４６に、「２」が決定される。また、「×」が格納される列に対応する第３の画像領域は、他に重複する画像領域がないため、信頼度４０４６に「１」が決定される。

また、Ｓ２０８において、第１、第２及び第３の画像領域のいずれも異なる割り合いＳｄの値が閾値を上回った場合、第１、第２及び第３の画像領域は、いずれも異なる画像である。この場合、画像信頼度判定プログラム１１８は、Ｓ２０８において、判定基準４０４の通し番号４０４１が「７」、「３」、及び「２」である行を特定する。そして、第１、第２及び第３の画像領域に対応する信頼度４０４６を「１」と決定する。

Ｓ２０８の後、画像信頼度判定プログラム１１８は、文書検索装置１００に登録する画像を決定する（Ｓ２０９）。

例えば、Ｓ２０８において、第１の画像領域と第２の画像領域との異なる割り合いＳｄが閾値を下回り、第１の画像領域と第３の画像領域との異なる割り合いＳｄが閾値を上回ると判定された場合、画像信頼度判定プログラム１１８は、Ｓ２０９において、判定基準４０４の通し番号４０４１が「６」である行を特定する。そして、Ｓ２０９において、特定された行に含まれる登録画像４０４５から、「第１の画像領域を採用」を特定する。これによって、第１の画像領域を、画像データＤＢ１１２に登録することを決定する。

ここで、信頼度が低い画像領域も文書検索装置１００に登録する場合、他に重複する画像領域がない画像領域を登録してもよい。例えば、Ｓ２０８において、第１、第２及び第３の画像領域のいずれも異なる割り合いＳｄの値が閾値を上回った場合、画像信頼度判定プログラム１１８は、Ｓ２０９において、判定基準４０４の通し番号４０４１が「７」、「３」、及び「２」である行を特定してもよい。そして、第１、第２及び第３の画像領域を画像データＤＢ１１２に登録することを決定してもよい。

本実施形態の判定基準４０４において、第１の方法に、高い信頼度が定められ、第２の方法に、二番目に高い信頼度が定められ、第３の方法に、低い信頼度が定められる。これは、本実施形態において、文書構造を取得可能な文書データから抽出される画像が、最も信頼度が高いためである。また、画像特徴量に従って抽出されたレイアウトイメージが、最も信頼度が低いためである。

このため、第１の画像領域と第２の画像領域とが重複する場合、判定基準４０４は、第１の画像領域を登録するように定める。また、判定基準４０４は、第２の画像領域と第３の画像領域とが重複する場合、第３の画像領域を登録するように定める。

なお、図１０に示す判定基準４０４は、例であり、本実施形態の判定基準４０４は、目的に従って、ユーザ等によってあらかじめ値を定められてよい。

このように、本実施形態の文書検索装置１００は、第１、第２、及び第３の複数の方法によって抽出された画像領域のいずれかを採用し、採用された画像領域を画像データＤＢ１１２に登録することによって、文書検索に適切なテンプレートを画像データＤＢ１１２に登録する。また、登録済みの画像と、文書データから抽出された画像又はレイアウトイメージとを比較することによって、信頼度の高い画像領域を抽出できる。

また、本実施形態の文書検索装置１００は、第２、及び第３の方法によって画像領域を抽出するため、必ずしも同一の画像領域を抽出されるわけではなく、類似する画像領域を抽出することができる。

Ｓ２０９の後、画像特徴量生成プログラム１１７は、登録が決定された画像領域から画像特徴量１１２３を算出する（Ｓ２１０）。画像特徴量１１２３の算出方法は、図７に示す方法と同じである。また、画像特徴量生成プログラム１１７は、Ｓ２０９において、登録が決定された画像領域が含まれる文書データのページの画像特徴量（画像特徴量１１４３に相当）を算出してもよい。

Ｓ２１０の後、データ管理プログラム１２２は、算出された画像特徴量１１２３、Ｓ２０８において決定された各画像領域の信頼度（信頼度１１２８に相当）、及び、Ｓ２０５、Ｓ２０６又はＳ２０７においてバッファ領域に格納された画像に関する情報を、画像データＤＢ１１２に格納する。また、データ管理プログラム１２２は、登録が決定された画像領域が含まれる文書データの情報及びページの情報を生成し、生成された情報を、文書データＤＢ１１３及びページデータＤＢ１１４に格納する（Ｓ２１１）。

Ｓ２１１において、データ管理プログラム１２２は、Ｓ２０２において判定された文書データの種別を、文書データＤＢ１１３の種別１１３３に格納し、Ｓ２０４において文書構造を抽出可能であるか否かの判定結果を、文書データＤＢ１１３の文書構造１１３４に格納する。また、データ管理プログラム１２２は、Ｓ２１０において算出された文書データのページの画像特徴量を、ページデータＤＢ１１４の画像特徴量１１４３に格納する。

また、データ管理プログラム１２２は、Ｓ２１１において、Ｓ２０９において登録が決定された画像領域と、Ｓ２０９において登録が決定された画像領域を含む文書データとを、記憶部１１０又は文書検索装置１００に接続される記憶装置に格納する。

これによって、登録が決定された画像領域と、画像領域を含む文書データは、比較先の文書データ及び画像として、文書検索装置１００に蓄積される。

Ｓ２１１の後、文書検索プログラム１２０は、他の文書データを登録する要求が有るか無いかを判定し、登録要求がある場合、Ｓ２０１からＳ２１１までの処理を実行する。また、登録要求がない場合、文書検索プログラム１２０は、処理を終了する（Ｓ２１２）。

本実施形態の文書データの登録方法によれば、画像の単位が明確でない画像が含まれている文書データ、又は、イメージスキャナなどによって取得された文書データのように、文書構造から画像を抽出することが困難な文書データからも、検索に適した画像を抽出できる。また、信頼度の高い画像を蓄積することができるため、本実施形態の文書検索装置１００は、登録処理が実行される毎に、検索処理の精度を向上させることができる。

図１１は、本発明の実施形態の文書データを検索する処理を示すフローチャートである。

まず、比較元の文書データを図１に示す文書検索装置１００の主メモリ１０２に格納するため、画面表示プログラム１２１は、文書データが格納されるフォルダ又はファイルを取得するための画面４０５を表示部１０４に表示させる。

図１２は、本発明の実施形態の文書データが格納されるフォルダ又はファイルを取得するために、表示部１０４に表示された画面４０５を示す説明図である。

画面表示プログラム１２１は、例えば、画面４０５を表示部１０４に表示させ、文書データが格納されるフォルダ又はファイルを、ユーザに入力させる。

そして、入力部１０３が、比較元の文書データが格納されるフォルダ又はファイルの格納場所、及び、文書データを検索する指示をユーザから受信した場合、Ｓ２０１と同じく、データ管理プログラム１２２は、指示された格納場所から比較元の文書データを取得する（Ｓ３０１）。

文書検索装置１００は、Ｓ３０１において入力された比較元の文書データを、検索するためのクエリ文書として、文書検索装置１００が保持する比較先の文書データから、類似する文書データを検索する。

Ｓ３０１の後、文書解析プログラム１１６は、Ｓ３０２、Ｓ３０３、Ｓ３０４、及びＳ３０５を実行する。Ｓ３０２は図８のＳ２０２と同じであり、Ｓ３０３は図８のＳ２０３と同じであり、Ｓ３０４は図８のＳ２０４と同じであり、Ｓ３０５は図８のＳ２０５と同じである。

また、画像領域検出プログラム１１５は、Ｓ３０６を実行し、画像特徴量生成プログラム１１７は、Ｓ３０７を実行し、画像信頼度判定プログラム１１８は、Ｓ３０８を実行する。Ｓ３０６は図８のＳ２０６と同じであり、Ｓ３０７は図８のＳ２０７と同じであり、Ｓ３０８は図８のＳ２０８と同じである。

図１１のＳ３０２〜Ｓ３０８の処理によって、Ｓ３０１において入力された比較元の文書データの、第１、第２及び第３の画像領域が抽出される。

Ｓ３０８の後、画面表示プログラム１２１は、前述のステップによって抽出された第１、第２及び第３の画像領域を、図１３に示す画面４０６のように表示部１０４に表示させる。そして、ユーザに、画面４０６に表示される画像領域のうち、クエリ画像となる画像領域を選択させる（Ｓ３０９）。

図１３は、本発明の実施形態の画像領域を表示する画面４０６を示す説明図である。

画面４０６は、Ｓ３０７までの処理によって抽出された第１、第２及び第３の画像領域を表示し、ユーザが画像領域を選択するための領域４０６１を含む。図１３の領域４０６１は、チェックボックスであるが、ユーザが選択できれば、いかなる選択方法でもよい。

図１３のように画像領域を表示し、表示された画像領域をユーザに選択させることによって、画面表示プログラム１２１は、ユーザがクエリ画像として希望しない画像領域を削除することができる。また、文書検索装置１００は、以降の処理において、ユーザによって選択されたクエリ画像に類似する画像を、文書検索装置１００が保持する比較先の文書データから検索する。

なお、Ｓ３０９において、Ｓ３０７までの処理によって抽出された第１、第２及び第３の画像領域は、Ｓ３０８において決定された信頼度（信頼度４０４６に相当）の高い順番に表示されてもよい。また、複数のページを含む文書データから抽出された画像領域は、ページ毎に、画面４０６に表示されてもよい。また、ユーザは、Ｓ３０９において複数の画像領域を選択してもよい。

また、ユーザが希望しない場合、画面表示プログラム１２１は、Ｓ３０９を実行せず、Ｓ３１０を実行するよう画像特徴量生成プログラム１１７に指示してもよい。Ｓ３０９を実行しない場合、画像特徴量生成プログラム１１７は、Ｓ３０８の後、判定基準４０４の登録画像４０４５を特定し、特定された登録画像４０４５が示す画像領域をクエリ画像としてもよい。

Ｓ３０９の後、画像特徴量生成プログラム１１７は、Ｓ３０９においてユーザから選択された各クエリ画像の画像特徴量を、各々算出する（Ｓ３１０）。

Ｓ３１０の後、画像検索プログラム１１９は、算出されたクエリ画像の各画像特徴量と、画像データＤＢ１１２が保持する各画像特徴量１１２３との距離を算出する。そして、算出された距離があらかじめユーザ等によって定められた閾値を下回る画像特徴量１１２３の行を抽出する。これによって、クエリ画像と同一又は類似の画像を、画像データＤＢ１１２から抽出する（Ｓ３１１）。

ここで、Ｓ３０８において選択されたクエリ画像は、検索に適する画像として信頼度が高い。このため、画像検索プログラム１１９は、Ｓ３１１において抽出された行の信頼度１１２８に、高い信頼度の値を格納する。本実施形態の場合、最も高い信頼度は３である。

Ｓ３１１の後、文書検索プログラム１２０は、Ｓ３１１において抽出された行に対応する画像（以下、画像検索結果と記載）に基づいて比較先の文書データ又はページを検索し、比較元の文書データと同一又は類似の文書データ又はページ（以下、文書検索結果と記載）を抽出する（Ｓ３１２）。

Ｓ３１２において、文書検索プログラム１２０は、画像検索結果に基づいて、クエリ画像が含まれるページ毎に、文書データを検索するための後述する方法のいずれかによって、文書検索結果を抽出する。なお、以下において、抽出される比較先の文書データには、ページが含まれる。

まず、文書データを検索するための一つ目の方法において、文書検索プログラム１２０は、Ｓ３１１において抽出された画像検索結果のうち、距離が最も小さい画像からＭ番目まで（Ｍは、ユーザ等によってあらかじめ定められた整数）の比較先の画像、又は、距離が所定の閾値を下回る比較先の画像を抽出する。そして、抽出された比較先の画像に対応する画像データＤＢ１１２の文書ＩＤ１１２５、又は、ページ番号１１２６を特定する。

そして、文書検索プログラム１２０は、抽出された比較先の画像に対応する文書ＩＤ１１２５又はページ番号１１２６の中で、最も特定された回数が多い文書ＩＤ１１２５又はページ番号１１２６を、文書検索結果とする。すなわち、クエリ画像と距離が小さい比較先の画像を、最も多く含む文書データの文書ＩＤ１１２５又はページ番号１１２６を特定し、特定された結果を文書検索結果とする。

なお、一つのクエリ画像に、同じ文書データ又は同じページに含まれる複数の画像が画像検索結果として抽出された場合、文書検索プログラム１２０は、文書データ又はページに含まれる複数の画像毎に、特定された回数に１を加算する。これによって、文書データ又はページが特定された回数を算出する。

一般的に、類似した文書データには、共通した画像が多く含まれる。このため、文書検索プログラム１２０は、文書データ又はページに含まれ、一つのクエリ画像に対応する画像毎に特定された回数を加算することによって、より類似する文書データ又はページを検索できる。

さらに、文書データを検索する二つ目の方法において、文書検索プログラム１２０は、画像検索結果の画像の面積の総和を文書データ又はページ毎に算出し、算出された面積の総和が大きい文書データ又はページを文書検索結果とする。但し、一つのクエリ画像に対応し、かつ、同じ文書データ又はページに含まれる複数の画像が、画像検索結果として抽出された場合、最も距離が近い画像の面積によって、面積の総和を算出する。

一般的に、類似した文書データには、共通した画像がより大きく用いられる。このため、文書検索プログラム１２０は、画像検索結果の画像の面積の総和を用いることによって、より類似する文書データ又はページを検索できる。

さらに、文書検索プログラム１２０は、前述の二つの方法の両方を、用いてもよい。

二つの方法の両方を用いる場合、文書検索プログラム１２０は、二つの方法の文書検索結果に共通する文書データ又はページを、上位の文書検索結果として、さらに抽出してもよい。また、画像データＤＢ１１２が示す比較先の画像の数が多い場合、信頼度１１２８又は画像の種類（写真又は図形）を用い、画像検索結果を抽出してもよい。具体的には、信頼度１１２８が高い値を示す画像を、画像検索結果として抽出してもよい。

Ｓ３１２の後、画面表示プログラム１２１は、文書検索結果をユーザに提示するため、図１４に示す画面４０７を表示部１０４に表示させる（Ｓ３１３）。

図１４は、本発明の実施形態の文書検索結果を表示する画面４０７を示す説明図である。

図１４の画面４０７は、クエリ画像４０７１、及び、検索結果４０７２の領域を含む。クエリ画像４０７１は、クエリ画像をページ毎に表示する領域である。検索結果４０７２は、Ｓ３１２において取得された文書検索結果を、類似度順（すなわち、距離が小さい順）又は信頼度順に表示する。

前述のように、ページ毎に検索結果を表示することによって、再編集などによって一部のページが別のページに再利用されたり、ページ内の一部が再利用されたりする場合も、類似した文書データを検索できる。

なお、ページ単位ではなく文書データ単位で検索する場合、画面表示プログラム１２１は、複数のページの文書検索結果に多く含まれる文書データを、検索結果４０７２に表示させることによって、文書データ毎の検索結果をユーザに提示できる。

Ｓ３１３の後、他の文書データを検索する要求があるかないかを判定し（Ｓ３１４）、検索する要求がある場合、文書検索プログラム１２０は、Ｓ３０１に戻る。また、検索する要求がない場合、文書検索プログラム１２０は、処理を終了する。

なお、Ｓ３０９の後、Ｓ３０８において選択されたクエリ画像は、画像データＤＢ１１２に登録されてもよい。具体的には、画像信頼度判定プログラム１１８は、Ｓ３０８において選択されたクエリ画像を、文書検索装置１００の記憶部に登録する画像として決定してもよい。

次に、画像特徴量生成プログラム１１７は、Ｓ２１０と同じく、登録が決定された画像領域から画像特徴量１１２３を算出してもよく、登録が決定された画像領域が含まれる文書データのページの画像特徴量１１４３を算出してもよい。次に、データ管理プログラム１２２は、算出された画像特徴量１１２３などとともに、クエリ画像に関する情報、及び、クエリ画像が含まれる文書データに関する情報等を、画像データＤＢ１１２、文書データＤＢ１１３及びページデータＤＢ１１４に格納してもよい。

ここで、画像データＤＢ１１２に格納されるクエリ画像に関する信頼度１１２８には、高い信頼度が格納される。これは、クエリ画像がユーザによって選択された画像であり、検索に適した画像だからである。

クエリ画像に関する情報を画像データＤＢ１１２に格納することによって、検索する処理が実行される毎に、信頼度の高い画像に関する情報が画像データＤＢ１１２に、比較先の画像として蓄積される。これによって、本実施形態の文書検索装置１００は、検索処理が実行される毎に、検索の精度を向上させることができる。

本実施形態の文書検索装置１００によれば、比較元の文書データ（ページ）に含まれるクエリ画像が同一又は類似する画像を、比較先の画像から検索するため、各ページのレイアウトは異なるが画像が類似する比較先の文書データを、高精度に抽出できる。

本実施形態の文書検索装置１００は、比較元の文書データから、比較先の画像と同一又は類似する画像（第２の画像領域）を抽出する。このため、検索に適する画像を、文書データから抽出できる。

また、比較元の文書データの各ページをレイアウトイメージとして取得し、１枚のレイアウトイメージが貼り付けられた比較元の画像として、図８のＳ２０７及び図１１のＳ３０７に示す処理を行う。そして、比較先の画像と類似する画像（第３の画像領域）を抽出する。このため、テキストを含む比較元の文書データとテキストが類似する文書データを、比較先の文書データから抽出できる。

これは、本実施形態の文書検索装置１００が、テキストを含む文書データを画像から検索する場合においても、文書データをレイアウトイメージとして取得するため、高精度に検索できることを示す。また、日本語以外の言語を含む文書データも、高精度に検索することができる。

また、文書構造を取得できない文書データ、又は、画像の単位が統一されていない文書データからも、画像の単位を統一的に抽出することができ、検索漏れを防止できることを示す。

さらに、本実施形態によれば、複数の方法によって抽出された画像領域のいずれが検索に適する画像であるかを、各画像領域が重複する割り合い（又は異なる割り合い）と、各方法に対応する信頼度と、に従って総合的に判定する。このため、本実施形態の文書検索装置１００は、登録処理、又は、検索処理が行われる毎に、より検索に適する画像を比較先の画像として蓄積することができる。

前述のとおり、本実施形態の文書検索装置１００は、言語、テキスト、レイアウト情報に依存しない、同一又は類似の画像を含む文書データを抽出することができる。すなわち、ユーザにとって、同一又は類似のトピックを含む文書データを高精度に抽出することができる。

さらに、本実施形態の文書検索装置１００は、検索処理を実行する毎に、文書データから抽出されるクエリ画像を蓄積するため、信頼度の高い画像に関する情報を蓄積することが可能であり、より高精度の検索を可能にする。また、クエリ画像をユーザに選択させるため、ユーザにとってより検索に適する画像を蓄積することができる。

１０１ プロセッサ
１０２ 主メモリ
１０３ 入力部
１０４ 表示部
１０５ 通信部
１１０ 記憶部
１１１ ＯＳ
１１２ 画像データＤＢ
１１３ 文書データＤＢ
１１４ ページデータＤＢ
１１５ 画像領域検出プログラム
１１６ 文書解析プログラム
１１７ 画像特徴量生成プログラム
１１８ 画像信頼度判定プログラム
１１９ 画像検索プログラム
１２０ 文書検索プログラム
１２１ 画面表示プログラム
１２２ データ管理プログラム

Claims (12)

1. メモリに格納されるプログラムを実行するプロセッサを有する画像処理システムによる、画像処理方法であって、
   前記画像処理システムは、複数の画像を保持する記憶部を有し、
   前記方法は、
   前記プロセッサが、画像を含むデータを取得する手順と、
   前記プロセッサが、前記取得されたデータが作成されたソフトウェアの種類に従って、前記取得されたデータから第１の画像領域を抽出する第１の抽出手順と、
   前記プロセッサが、前記取得されたデータと、前記記憶部に保持される各画像とを比較することによって、前記記憶部に保持される各画像と同一又は類似する第２の画像領域を、前記取得されたデータから抽出する第２の抽出手順と、
   前記プロセッサが、前記取得されたデータの画像特徴量と、前記記憶部に保持される各画像の画像特徴量とを比較することによって、前記記憶部に保持される各画像と同一又は類似する第３の画像領域を、前記取得されたデータから抽出する第３の抽出手順と、
   前記プロセッサが、前記第１、第２及び第３の画像領域と、前記第１、第２及び第３の抽出手順に定められた信頼度とに基づいて、前記記憶部に格納する画像を特定する手順とを含むことを特徴とする画像処理方法。
2. 前記記憶部に格納する画像を特定する手順は、
   前記プロセッサが、前記第１、第２及び第３の画像領域の相互の重複を示す割り合いを算出する手順と、
   前記プロセッサが、前記算出された重複を示す割り合いと、前記第１、第２及び第３の抽出手順に定められた信頼度とに基づいて、前記第１、第２及び第３の画像領域の中から、前記記憶部に格納する画像を特定する手順とを含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記第１の抽出手順は、
   前記プロセッサが、前記取得されたデータから前記画像を抽出することができるか否かを、前記取得されたデータが作成されたソフトウェアの種類に従って判定する手順と、
   前記判定の結果、前記取得されたデータから画像を抽出できる場合、前記プロセッサが、前記取得されたデータから、前記第１の画像領域を抽出する手順とを含むことを特徴とする請求項１に記載の画像処理方法。
4. 前記第２の抽出手順は、
   前記プロセッサが、前記取得されたデータの内容が表示された第１の画像を取得する手順と、
   前記プロセッサが、前記第１の画像から、複数の第２の画像を生成する手順と、
   前記プロセッサが、前記各第２の画像と、前記記憶部に保持される各画像とを比較する手順と、
   前記比較の結果、前記プロセッサが、前記記憶部に保持される各画像と同一又は類似する第２の画像を抽出することによって、前記第２の画像領域を抽出する手順とを含むことを特徴とする請求項１に記載の画像処理方法。
5. 前記第３の抽出手順は、
   前記プロセッサが、前記第１の画像の画像特徴量を算出する手順と、
   前記プロセッサが、前記第１の画像の画像特徴量と、前記記憶部に保持される各画像の画像特徴量とを比較する手順と、
   前記比較の結果、前記第１の画像と、前記記憶部に保持される各画像とが同一又は類似である場合、前記プロセッサが、前記第１の画像を抽出することによって、前記第３の画像領域を抽出する手順とを含むことを特徴とする請求項４に記載の画像処理方法。
6. 前記画像処理システムは、ユーザに前記画像領域を表示するための表示部と、前記表示部に表示された画像領域をユーザに選択させるための入力部とを、さらに有し、
   前記記憶部は、前記保持される各画像に割り当てられる信頼度と、前記保持される各画像を含む複数のデータとを、さらに保持し、
   前記方法は、
   前記プロセッサが、前記表示部及び前記入力部によって、前記第１、第２又は第３の画像領域のいずれかの画像領域を、前記ユーザに選択させる手順と、
   前記プロセッサが、前記選択された画像領域と同一又は類似する画像を、前記記憶部が保持する画像から検索する手順と、
   前記プロセッサが、前記検索された画像を含む前記各データを、前記記憶部から抽出する手順と、
   前記プロセッサが、前記検索された画像に割り当てられる信頼度を上げる手順とを含むことを特徴とする請求項１に記載の画像処理方法。
7. メモリに格納されるプログラムを実行するプロセッサを有する画像処理システムであって、
   前記画像処理システムは、複数の画像を保持する記憶部を有し、
   前記プロセッサは、
   画像を含むデータを取得し、
   第１の抽出手順によって、前記取得されたデータが作成されたソフトウェアの種類に従って、前記取得されたデータから第１の画像領域を抽出し、
   第２の抽出手順によって、前記取得されたデータと、前記記憶部に保持される各画像とを比較することによって、前記記憶部に保持される各画像と同一又は類似する第２の画像領域を、前記取得されたデータから抽出し、
   第３の抽出手順によって、前記取得されたデータの画像特徴量と、前記記憶部に保持される各画像の画像特徴量とを比較することによって、前記記憶部に保持される各画像と同一又は類似する第３の画像領域を、前記取得されたデータから抽出し、
   前記第１、第２及び第３の画像領域と、前記第１、第２及び第３の抽出手順に定められた信頼度とに基づいて、前記記憶部に格納する画像を特定することを特徴とする画像処理システム。
8. 前記プロセッサは、
   前記第１、第２及び第３の画像領域の相互の重複を示す割り合いを算出し、
   前記算出された重複を示す割り合いと、前記第１、第２及び第３の抽出手順に定められた信頼度とに基づいて、前記第１、第２及び第３の画像領域の中から、前記記憶部に格納する画像を特定することを特徴とする請求項７に記載の画像処理システム。
9. 前記プロセッサは、
   前記取得されたデータから前記画像を抽出することができるか否かを、前記取得されたデータが作成されたソフトウェアの種類に従って判定し、
   前記判定の結果、前記取得されたデータから画像を抽出できる場合、前記取得されたデータから、前記第１の画像領域を抽出することを特徴とする請求項７に記載の画像処理システム。
10. 前記プロセッサは、
    前記取得されたデータの内容が表示された第１の画像を取得し、
    前記第１の画像から、複数の第２の画像を生成し、
    前記各第２の画像と、前記記憶部に保持される各画像とを比較し、
    前記比較の結果、前記記憶部に保持される各画像と同一又は類似する第２の画像を抽出することによって、前記第２の画像領域を抽出することを特徴とする請求項７に記載の画像処理システム。
11. 前記プロセッサは、
    前記第１の画像の画像特徴量を算出し、
    前記第１の画像の画像特徴量と、前記記憶部に保持される各画像の画像特徴量とを比較し、
    前記比較の結果、前記第１の画像と、前記記憶部に保持される各画像とが同一又は類似である場合、前記第１の画像を抽出することによって、前記第３の画像領域を抽出することを特徴とする請求項１０に記載の画像処理システム。
12. 前記画像処理システムは、ユーザに前記画像領域を表示するための表示部と、前記表示部に表示された画像領域をユーザに選択させるための入力部とを、さらに有し、
    前記記憶部は、前記保持される各画像に割り当てられる信頼度と、前記保持される各画像を含む複数のデータとを、さらに保持し、
    前記プロセッサは、
    前記表示部及び前記入力部によって、前記第１、第２又は第３の画像領域のいずれかの画像領域を、前記ユーザに選択させ、
    前記選択された画像領域と同一又は類似する画像を、前記記憶部が保持する画像から検索し、
    前記検索された画像を含む前記各データを、前記記憶部から抽出し、
    前記検索された画像に割り当てられる信頼度を上げることを特徴とする請求項７に記載の画像処理システム。