JP2015106384A - 情報処理装置およびその制御方法、並びにプログラム - Google Patents

Abstract

【課題】紙文書の画像からオリジナルの電子文書を検索する場合において、画像特徴点マッチングを用いた検索方法だと、電子文書に対してレイアウトが変わるような印刷を行って得られた紙文書に対しては検索することができなくなってしまう可能性がある。【解決手段】情報処理装置であって、文書画像および保持手段にて保持する電子文書の画像それぞれを属性ごとに複数の領域に分割する分割手段と、前記文書画像および前記保持手段にて保持する電子文書の画像それぞれにおいて分割された領域のうちの第一の属性の領域を比較することにより、類似する電子文書を検索する検索手段と、前記文書画像および前記検索手段にて検索された電子文書の画像それぞれにおいて分割された領域のうちの第二の属性の領域に基づいて、類似度を算出する算出手段と、前記算出手段にて算出した類似度に基づいて前記検索手段による検索結果を提示する提示手段とを有する。【選択図】 図７

Description

本発明は、情報処理装置およびその制御方法、並びにプログラムに関し、特に紙文書を撮影した画像から電子文書を検索する技術に関する。

近年、ネットワーク上の文書共有サーバーやデジタルカメラの普及に伴い、紙文書をカメラで撮影し、オリジナルの電子文書を検索するような文書検索技術が注目を集めている。検索手段には画像の特徴点マッチングが用いた技術などが提案されている（例えば、特許文献１参照）。

一方、電子文書を紙文書として印刷する画像形成装置では、印刷に際してトナーやインク等の色材、および出力用紙を消費する。これらの消耗品はランニングコストとして継続的に発生する費用であり、その節約に対する要求が高い。また、地球環境の保護という観点からも同様に節約に対する要求が高まっている。その解決策として、一枚の用紙に複数のページを縮小して配置する集約印刷やトナーの載り量を意図的に低くする省トナーモードを備える画像形成装置が広く知られている。さらには、レイアウトの段組みの変更や、文書中に含まれる特定種類の描画オブジェクトを印刷対象から除外することにより、トナーの消費量を削減する方法も知られている（例えば、特許文献２参照）。このような方法により、描画オブジェクトを印刷対象から除外するだけではなく、空いたスペースを詰め、ページ間でコンテンツを先送りすることにより、出力用紙を減らす効果も期待できる。

特開２０１２−１８１７６５号公報 特開２０１２−１６８７５０号公報

しかしながら、特許文献２で行うような消耗品削減のための印刷を行うと、オリジナルの電子文書に対して印刷結果の紙文書レイアウトに変化が生じるため、画像の特徴点マッチングによる文書検索が正しくできない可能性が生じてしまう。

例えば特許文献１に記載の技術では、紙文書と電子データの画像特徴量を比較するため、レイアウトが変わってしまうと画像特徴量が変わってしまい、オリジナル文書を特定することができない。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、入力された文書画像に類似する電子文書を検索する情報処理装置であって、複数の電子文書を保持する保持手段と、前記文書画像および前記保持手段にて保持する電子文書の画像それぞれを属性ごとに複数の領域に分割する分割手段と、前記文書画像および前記保持手段にて保持する電子文書の画像それぞれにおいて分割された領域のうちの第一の属性の領域を比較することにより、類似する電子文書を検索する検索手段と、前記文書画像および前記検索手段にて検索された電子文書の画像それぞれにおいて分割された領域のうちの第二の属性の領域に基づいて、類似度を算出する算出手段と、前記算出手段にて算出した類似度に基づいて前記検索手段による検索結果を提示する提示手段とを有する。

本発明によれば、印刷時に消耗品削減のための印刷を行うことでオブジェクト除去や段組み変更等のレイアウトに変化が発生した印刷物に対しても、その印刷物に対応するオリジナルの電子文書を検索することができる。

本発明に係るシステム構成の例を示す図。 文書サーバーのハードウェア構成の例を示す図。 クライアント端末のハードウェア構成の例を示す図。 文書サーバーのソフトウェア構成の例を示す図。 電子文書の構成例を示す図。 紙文書の構成例を示す図。 本実施形態に係るフローチャート。 紙文書を撮影した画像データに対し属性分割した結果を説明するための図。 電子文書に対し属性分割した結果を説明するための図。 マッチング処理結果を説明するための図。 マッチング処理結果を説明するための図。 候補文書登録リストの例を示す図。 マッチング処理結果を説明するための図。

以下、本発明を実施するための形態について図面を用いて説明する。

＜第一の実施形態＞
［システム構成］
本発明に係るシステムの構成の一例を、図１を用いて説明する。本実施形態に係るシステムは、画像形成装置１０１、クライアント端末１０２、及び文書サーバー１０３を含む。画像形成装置１０１、クライアント端末１０２、及び文書サーバー１０３はそれぞれ、ネットワーク１０４を介して接続され、各種データの送受信が互いに可能である。

画像形成装置１０１は、例えば、スキャン、ＦＡＸ、プリント、コピーなどの様々な機能を有する複合機（ＭＦＰ：Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）、またはプリント機能のみを有するプリンタである。クライアント端末１０２は、ＰＣやユーザーが保有している携帯電話、ＰＤＡ、スマートフォン、タブレットなどの携帯端末である。なお、クライアント端末１０２は、カメラ機能（撮影機能）を有し、印刷物である紙文書を撮影した画像を文書サーバー１０３に送信可能である。

情報処理装置である文書サーバー１０３は、電子文書を多数保持・管理しており、画像形成装置１０１への印刷指示や、クライアント端末１０２の要求に基づいた文書アクセスが可能である。また、文書サーバー１０３は、電子文書検索の機能を有し、クライアント端末１０２から送られた紙文書の画像データに基づいて、電子文書を検索し、その検索結果をユーザーに提示することができる。ここでの検索処理の詳細については後述する。

ネットワーク１０４は、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で構成される無線または有線のネットワークである。

［ハードウェア構成］
図２は、本実施形態に係る文書サーバー１０３のハードウェア構成の例を示す。文書サーバー１０３において、本実施形態に係る処理内容が記述されたプログラムが、補助記憶装置２０３に保存される。

中央演算装置２０１は、記憶部である補助記憶装置２０３に記憶されたプログラムを主記憶装置２０２に読み出し、実行する。さらに、中央演算装置２０１は、システムバス２０６に接続される各デバイスを統括的に制御する。主記憶装置２０２は、中央演算装置２０１の主メモリ、ワークメモリとして機能する。

補助記憶装置２０３には、オペレーティングシステム（ＯＳ）と本実施形態の処理内容が記述された制御プログラムの本体が格納される。文書ストレージ２０４には、本実施形態の検索対象となる電子文書が複数保持される。なお、文書ストレージ２０４は、補助記憶装置２０３の一部であってもよい。ネットワークＩ／Ｆ２０５は、ネットワーク１０４に接続し、外部に接続された各種デバイスとの情報の入出力を担う。

図３は、本実施形態に係るクライアント端末１０２のハードウェア構成の例を示す。クライアント端末１０２において、本実施形態に係る処理内容が記述されたプログラムが、補助記憶装置３０３に保存される。

中央演算装置３０１は、補助記憶装置３０３に記憶されたプログラムを主記憶装置３０２に読み出し、実行する。さらに、中央演算装置３０１は、システムバス３０６に接続される各デバイスを統括的に制御する。主記憶装置３０２は、中央演算装置３０１の主メモリ、ワークメモリとして機能する。

補助記憶装置３０３には、ＯＳと本装置の制御プログラム本体が格納される。また、補助記憶装置３０３は、大容量データを一時的あるいは長期的に保持する目的でも使用される。操作部３０４は、図示してはいないが、出力機器として液晶パネルと音源を備え、入力機器としてタッチパネルとハードキー、マイクを備える。ネットワークＩ／Ｆ３０５は、ネットワーク１０４に接続し、外部に接続された各種デバイスとの情報の入出力を担う。

撮影部であるカメラ３０７は、画像を撮影し、補助記憶装置３０３に保存したり、ネットワークＩ／Ｆ３０５を通して外部デバイスに送信したりする。本実施形態では、画像形成装置１０１にて印刷した紙文書を撮影して画像データを取得し、文書サーバー１０３に送信する。

［ソフトウェア構成］
図４は、本実施形態に係る文書サーバー１０３のソフトウェア構成の例を示す。図４に記載した各ソフトウェアモジュールは、プログラムとして補助記憶装置２０３に格納され、主記憶装置２０２にロードされ中央演算装置２０１により実行される。

データ受信部４０２は、ネットワークＩ／Ｆ２０５よりクライアント端末１０２等から画像データの受信や電子文書の受信、各種命令などのコマンド受信等を行う。データ送信部４０３は、ネットワークＩ／Ｆ２０５より電子文書の送信や、各種命令などのコマンド送信等を行う。制御部４０１は、本願発明に係る制御の全般を司る。

文書管理部４０６は、文書ストレージ２０４に保存された複数の電子文書の管理を行う。属性解析部４０４は、クライアント端末１０２から送られた画像データ及び文書ストレージ２０４に保存された電子文書の解析を行い、領域毎の属性解析を行う。マッチング処理部４０５は、クライアント端末１０２から送信された画像データと文書ストレージ２０４に保存された電子文書に対して属性ごとのマッチング処理を行う。マッチング処理の詳細は後述する。

［処理フロー］
図５に、本実施形態の説明に用いる３ページからなる電子文書５００を示す。１ページ目が電子文書５０１であり、２ページ目が電子文書５０２であり、３ページ目が電子文書５０３である。図６は、電子文書５００を画像形成装置１０１で印刷した紙文書６００を示し、２ページからなる。１ページ目が紙文書６０１であり、２ページ目が紙文書６０２である。電子文書５００は、テキスト、図、写真などのオブジェクトがある部分は２段組み、それ以外が１段落で形成される。それに対し、紙文書６００は、全体的に２段組みになっており、図、写真は縮小もしくは削除されている。これによって全体のページ数も２ページに集約されている。これらは画像形成装置１０１に含まれるレイアウト変更機能を用い、印刷時の印刷設定により変更されたものである。

図７のフローチャートは、文書サーバー１０３による処理であり、紙文書画像からその紙文書を印刷するために用いられたオリジナルの電子データを検索する処理を示す。本処理フローは、文書サーバー１０３の中央演算装置２０１が補助記憶装置２０３等に格納された本願発明に係るプログラムを読み出して実行することにより実現される。

Ｓ７０１にて、文書サーバー１０３のデータ受信部４０２は、クライアント端末１０２から紙文書６００を撮影した画像データを取得する。Ｓ７０２にて、文書サーバー１０３の属性解析部４０４は、取得した画像データに対して属性分割を行う。ここでの「属性分割」とは、画像内の領域をテキスト領域、グラフィック領域、イメージ領域に分割し、分類する処理を意味する。なお、更に詳細な領域に分割するようにしても構わない。

図８にクライアント端末１０２から取得した画像データ８０１と、それを属性分割した結果の画像データ８０２を示す。なお画像データ８０１は、紙文書６００の１ページ目の紙文書６０１をカメラ３０７にて撮影したものである。また、属性分割した結果の画像データ８０２では、テキスト領域８０３、８０４、８０５、８０８、８０９、８１１、グラフィック領域８０７、８１０、イメージ領域８０６に分割される。

Ｓ７０３にて、文書サーバー１０３は、文書管理部４０６にて管理された複数の電子文書の中から１つを選択する。ここで、選択対象となる電子文書は文書管理部４０６に保存された電子文書すべてでもよいし、予めユーザーが電子文書の選択範囲を決めてもよい。Ｓ７０４にて、文書サーバー１０３の属性解析部４０４は、比較対象となる選択した電子文書に対する属性分割を行う。図９に電子文書に対して属性分割を行った結果を示す。なお、電子文書９００として、図５に示した電子文書５００を属性分割した例を示している。

Ｓ７０５にて、文書サーバー１０３のマッチング処理部４０５は、テキスト領域に注目し、画像データのテキスト領域と電子文書のテキスト領域のマッチングを行う。例えば、画像データ８０２のテキスト領域８０３と、比較対象である電子文書９００のテキスト領域すべて（テキスト領域９０４〜９０６、９０９、９１０、９１２〜９１４、９１６、９１８）とマッチングを行う。ここでのマッチングの方法としては、テキスト領域から任意の文字認識の処理により文字列を抽出し、抽出した文字列情報を用いることが考えられる。

画像データ８０２のテキスト領域８０３は、電子文書９００のテキスト領域９０４と一致する。続いて、画像データ８０２のテキスト領域８０４と、電子文書９００のテキスト領域すべてマッチングを行う。ここでは、画像データ８０２のテキスト領域８０４は、テキスト領域９０５と一致する。このように画像データ８０２のテキスト領域すべてに対して行う。マッチングが取れた結果を図１０に示す。テキスト領域内に線が引かれたものが、マッチングが取れたテキスト領域である。その線の形式（斜線／縦線、実線／点線）が同じものが対応するテキスト領域である。

Ｓ７０６にて、文書サーバー１０３のマッチング処理部４０５は、電子文書のマッチングが取れたテキスト領域の順序を確認し、その順序が画像データ８０２と一致しているか否かを判定する。ここで「テキスト領域の順序」とは、マッチングがとれたテキスト領域のレイアウト順序が画像データ８０２と電子文書９００で一致しているか否かを示す。ここでの比較により、マッチング処理部４０５は、オリジナルの電子文書の候補か否かを判定する。例えば、図１０において、画像データ８０２のテキスト領域の順序は、２段組みであることを考慮し、テキスト領域８０３、８０４、８０５、８０８、８０９、８１１の順となる。

一方、電子文書９００のマッチングがなされたテキスト領域の順序は、テキスト領域９０４（テキスト領域８０３に対応）、９０５（テキスト領域８０４に対応）、９０６（テキスト領域８０５に対応）、９０９（テキスト領域８０８に対応）、９１０（テキスト領域８０９に対応）、９１２（テキスト領域８１１に対応）となる。これは画像データ８０２のテキスト領域と順序が合致している。よって、この電子文書９００は、オリジナルの電子文書５００の候補として判定することができる。

一方、マッチング結果が図１１に示すような結果になった場合を考える。マッチングがなされたテキスト領域は先ほどの例と同じであるが、２ページ目１１０２に示すようにマッチングされてないテキスト領域（テキスト領域１１１０）が間に存在している。これは紙文書６００の画像データ８０２には存在しなかったテキスト領域が、電子文書８００には含まれているため、順序が一致していないと判定される。

テキスト領域の順序が一致していると判定された場合（Ｓ７０７にてＹＥＳ）、Ｓ７０８に進む。Ｓ７０８にて、マッチング処理部４０５は、対象の電子文書を候補文書として文書管理部４０６に登録し、Ｓ７０９に進む。ここで登録するリストの一例を図１２に示す。候補文書リスト１２００は、候補文書欄１２０１、および類似度欄１２０２を含む。類似度に関しては後ほど説明する。候補文書リスト１２００は、文書サーバー１０３が管理し、補助記憶装置２０３に保持される。一方、テキストの順序が一致していないと判定された場合は（Ｓ７０７にてＮＯ）、Ｓ７０９に進む。

Ｓ７０９にて、文書サーバー１０３は、次の対象となる電子文書があるか否かを確認する。次の対象となる電子文書がある場合（Ｓ７０９にてＹＥＳ）、Ｓ７０３へ進み、未処理の電子文書に対して処理を繰りかえす。一方、すべての電子文書に対して処理が終わっている場合は（Ｓ７０９にてＮＯ）、Ｓ７１０に進む。

Ｓ７１０にて、文書サーバー１０３のマッチング処理部４０５は、候補文書欄１２０１から候補文書を１つ選択する。Ｓ７１１にて、文書サーバー１０３は、グラフィック領域のマッチングを行う。画像データ８０２と選択された電子文書のグラフィック領域間のマッチングを行い、該当する類似度を類似度欄１２０２の値に加算する。Ｓ７１２にて、文書サーバー１０３のマッチング処理部４０５は、イメージ領域のマッチングを行う。画像データ８０２と選択された電子文書のグラフィック領域間のマッチングを行い、該当する類似度を類似度欄１２０２の値に加算する。

Ｓ７１４にて、文書管理サーバーのマッチング処理部４０５は、マッチングが取れたグラフィック領域およびイメージ領域それぞれに対して、その近接するテキスト領域との位置関係から近傍類似度を算出し、該当する類似度に加算する。

具体例を図１３に示す。図１３（Ａ）が紙文書の画像データ１３０１である。図１３（Ｂ）と図１３（Ｃ）は比較対象の電子文書であり、それぞれ別の電子文書である。紙文書および電子文書のそれぞれはマッチング処理済みであり、紙文書のテキスト領域１３０２は、電子文書の１３０７、１３１２に対応している。同様に、紙文書のグラフィック領域１３０３は、電子文書の１３０８、１３１５に対応している。紙文書のテキスト領域１３０４は、電子文書の１３０９、１３１３に対応している。紙文書のテキスト領域１３０５は電子文書の１３１０、１３１４に対応している。

ここで、画像データ１３０１のグラフィック領域１３０３は、テキスト領域１３０２およびテキスト領域１３０４と隣接している。それに対して、図１３（Ｂ）の電子文書も、グラフィック領域１３０３に対応するグラフィック領域１３０８は、テキスト領域１３０７およびテキスト領域１３０９に隣接する関係にある。よって、近傍類似度は高いと判定できる。

一方、図１３（Ｃ）の電子文書は、グラフィック領域１３０３に対応するグラフィック領域１３１５は、テキスト領域１３１２、１３１４とは隣接する関係に無い。その結果、図１３（Ｂ）の場合は近傍類似度が低いと判定できる。なお、近傍類似度の領域検索は、電子文書の全てのページに対して検索をかけると時間を要する場合があるため、ユーザーが予め設定したページの範囲で検索できるように制限してもよい。

Ｓ７１４にて、文書サーバー１０３は、次の候補文書を候補文書リスト１２００から選択する。次の候補文書がある場合（Ｓ７１４にてＹＥＳ）、Ｓ７１０に進み、前述と同様の処理を次の候補文書に対して行う。一方、次の候補文書が無い場合（Ｓ７１４にてＮＯ）、Ｓ７１５に進む。

Ｓ７１５にて、文書サーバー１０３は、候補文書リスト１２００にリストされた候補文書及び類似度を、データ送信部４０３を介してクライアント端末１０２等に通知する。クライアント端末１０２では、通知された候補文書を類似度順に操作部３０４等に表示して、ユーザーに知らせることができる。

以上、紙などの出力物を撮影した画像データから、類似した電子文書を類似度順に表示することで、ユーザーは簡単にオリジナル文書を特定することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 入力された文書画像に類似する電子文書を検索する情報処理装置であって、
   複数の電子文書を保持する保持手段と、
   前記文書画像および前記保持手段にて保持する電子文書の画像それぞれを属性ごとに複数の領域に分割する分割手段と、
   前記文書画像および前記保持手段にて保持する電子文書の画像それぞれにおいて分割された領域のうちの第一の属性の領域を比較することにより、類似する電子文書を検索する検索手段と、
   前記文書画像および前記検索手段にて検索された電子文書の画像それぞれにおいて分割された領域のうちの第二の属性の領域に基づいて、類似度を算出する算出手段と、
   前記算出手段にて算出した類似度に基づいて前記検索手段による検索結果を提示する提示手段と
   を有することを特徴とする情報処理装置。
2. 前記第一の属性は、テキスト領域を示す属性であり、
   前記第二の属性は、グラフィック領域もしくはイメージ領域を示す属性であることを特徴とする請求項１に記載の情報処理装置。
3. 前記検索手段は、前記第一の属性の領域であるテキスト領域に対して文字認識により抽出された文字列情報に基づいて比較を行うことを特徴とする請求項２に記載の情報処理装置。
4. 前記検索手段は更に、前記文書画像および前記保持手段にて保持する電子文書の画像それぞれにおいて、対応する第一の属性の領域の並びの順序に基づいて、類似する電子文書を検索することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記算出手段は、複数の領域の位置関係に基づいて、類似度を算出することを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
6. 前記算出手段は、予め設定された範囲に含まれる領域を対象として位置関係による類似度を算出することを特徴とする請求項５に記載の情報処理装置。
7. 前記文書画像は、前記保持手段が保持する電子文書を印刷する際に印刷設定によりレイアウトもしくはオブジェクトが変更された印刷物を撮影することにより取得された画像であることを特徴とする請求項１乃至６のいずれか一項に記載の情報処理装置。
8. 入力された文書画像に類似する電子文書を検索する情報処理装置の制御方法であって、
   複数の電子文書を記憶部に保持する保持工程と、
   前記文書画像および前記記憶部にて保持する電子文書の画像それぞれを属性ごとに複数の領域に分割する分割工程と、
   前記文書画像および前記記憶部にて保持する電子文書の画像それぞれにおいて分割された領域のうちの第一の属性の領域を比較することにより、類似する電子文書を検索する検索工程と、
   前記文書画像および前記検索工程にて検索された電子文書の画像それぞれにおいて分割された領域のうちの第二の属性の領域に基づいて、類似度を算出する算出工程と、
   前記算出工程にて算出した類似度に基づいて前記検索工程による検索結果を提示する提示工程と
   を有することを特徴とする制御方法。
9. コンピュータを、
   複数の電子文書を保持する保持手段、
   入力された文書画像および前記保持手段にて保持する電子文書の画像それぞれを属性ごとに複数の領域に分割する分割手段、
   前記文書画像および前記保持手段にて保持する電子文書の画像それぞれにおいて分割された領域のうちの第一の属性の領域を比較することにより、類似する電子文書を検索する検索手段、
   前記文書画像および前記検索手段にて検索された電子文書の画像それぞれにおいて分割された領域のうちの第二の属性の領域に基づいて、類似度を算出する算出手段、
   前記算出手段にて算出した類似度に基づいて前記検索手段による検索結果を提示する提示手段
   として機能させるためのプログラム。

Images