JP2005293351A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 文書を電子化する際、電子化された文書中の図領域の検索を容易とする。
【解決手段】 この画像処理装置１００は、読取った文書を表す画像ファイルを生成し、画像ファイルが表す画像中の図の領域と、画像ファイルが表す画像中の文章の領域とを抽出する。そして、画像処理装置１００は、抽出された図領域中の文字列と同じ文字列を含む文を文章領域から抽出し、抽出した図領域と文とを含む文書を表す文書データを生成する。
【選択図】 図２

Description

本発明は、文書を示す画像から文字情報と図情報とを抽出し、抽出した情報の整理を行う技術に関する。

紙による文書の保存は広範なスペースを必要とするため、近年、文書をスキャナ等の読取り装置で読取り、読取った文書を電子化してコンピュータ装置上にファイリングする技術が注目されている。
このように文書を電子化してファイリングする際、読取った文書を画像としてそのまま保存してしまうと、文書中の文字列は画像として保存されるため、キーワードによる文書の検索が行えず、所望の文書を探す際には、逐一、文書を表す画像を確認するという繁雑な操作を行わなければならなくなる。
このため、文書を電子化してファイリングする際には、文書の検索が容易になるように、図を表している領域と、文字列を表す画像の領域とを正確に認識し、文字列を表している画像中の文字列をテキスト化して保存することが望ましい。
文書上の文字列の領域と、図の領域とを正確に認識する技術は、例えば、特許文献１に記載されており、この技術を応用すれば、文書中の文字列を正確に認識してテキスト化することができる。
特開平１−２６６６８９号公報

文書中の文字列領域内の文字列をテキスト化してファイリングすることにより、キーワードによる検索が可能になり、電子化された文書の再利用が容易になる。しかしながら、電子化された文書を再利用する者の間では、文章だけでなく、文書中のグラフや写真などを検索したいという要望がある。上述したような、文章をテキスト化してファイリングする態様では、文字列の一致により所望の情報を検索するため、文書中のグラフや写真などを検索することができず、所望の情報を検索することができなかった。

本発明は、上述した背景の下になされたものであり、文書を電子化する際、電子化された文書中の図領域の検索が容易となる技術を提供することを目的とする。

上述した課題を解決するために本発明は、文書を読取り、読取った文書を表す画像ファイルを生成する読取り手段と、前記画像ファイルが表す画像中の図の領域を抽出する図領域抽出手段と、前記画像ファイルが表す画像中の文章の領域を抽出する文章領域抽出手段と、前記図領域抽出手段により抽出された図領域に存在する文字列を抽出する文字列抽出手段と、前記文字列抽出手段により抽出された文字列と同じ文字列を含む文を、前記文章領域抽出手段により抽出された文章領域から抽出する文抽出手段と、前記図領域抽出手段により抽出された図領域と、前記文抽出手段により抽出された文とを含む文書を表す文書データを生成する文書データ生成手段とを有する画像処理装置を提供する。
この画像処理装置によれば、読取った文書を表す画像ファイルが生成され、画像ファイルが表す画像中の図の領域と、画像ファイルが表す画像中の文章の領域とが抽出される。そして、抽出された図領域中にある文字列と同じ文字列を含む文が文字列領域から抽出され、抽出された図領域と抽出された文とを含む文書を表す文書データが生成される。
図領域と、図領域に係わる文を含む文書を表す文書データが生成されるため、図領域に関係する文字列で文書データの検索が行われると、図領域を含む文書データが検索結果として取得される。

本発明によれば、文書を電子化する際、電子化された文書中の図領域の検索が容易となる。

＜実施形態の構成＞
図１は、本発明の実施形態に係わる画像処理装置１００を含む通信システムの構成を例示した図である。
ＰＣ（Personal Computer）２００は、パーソナルコンピュータ装置であり、ＬＡＮ（Local Area Network）３００に接続されている。ＰＣ２００は、ＷＷＷ（World Wide Web）ブラウザソフトウェアを記憶しており、このソフトウェアを起動することにより、ＬＡＮ３００に接続されている画像処理装置１００から各種ファイルを取得し、取得した各種ファイルの内容を解釈してページを表示することが可能となる。

図２は、本発明の実施形態に係わる画像処理装置１００のハードウェア構成のうち、本発明に係わる要部の構成を示したブロック図である。図２に示したように、画像処理装置１００の各部は、バス１０１に接続されており、このバス１０１を介して各部間でデータの授受を行う。

通信部１０７は、通信線（図示略）でＬＡＮ３００に接続されており、同じくＬＡＮ３００に接続されているＰＣ２００等の外部装置と通信を行う通信インターフェースとして機能する。通信部１０７は、ＣＰＵ１０２の制御の下、ＬＡＮ３００から送られたデータをＣＰＵ１０２へ供給し、ＣＰＵ１０２からバス１０１を介して供給されたデータをＬＡＮ３００へ送出する。

画像入力部１０８は、文書を画像として読取るイメージスキャナを具備しており、ＣＰＵ１０２の制御の下、イメージスキャナに載置された文書を読み取り、読み取った文書を表す画像ファイルを記憶部１０５に記憶させる。

Ｕ／Ｉ（ユーザインターフェース）部１０６は、画像処理装置を操作するための複数のキー（図示略）を具備しており、押下されたキーに応じて、各種指示をＣＰＵ１０２へ供給する。例えば、Ｕ／Ｉ部１０６は、読取りキーを具備しており、この読取りキーが押下されると、画像入力部１０８に載置された文書の読取りを指示する読取り指示をＣＰＵ１０２へ供給する。また、Ｕ／Ｉ部１０６は、液晶ディスプレイ（図示略）を具備しており、ＣＰＵ１０２の制御の下、文字やグラフィック画面、メニュー画面などを液晶ディスプレイに表示させる。

記憶部１０５は、例えば、ハードディスク装置等の、データを永続的に記憶することができる装置を具備しており、画像処理装置１００をＷＷＷサーバ装置として機能させるサーバプログラムや、画像処理装置１００の各部を制御するための制御プログラム、外部装置からの指示に応じて動作するＣＧＩ（Common Gateway Interface）プログラムなどを記憶している。
また、記憶部１０５は、画像入力部１０８により生成された画像ファイルや、ＨＴＭＬ（HyperText Markup Language）に従って記述されたファイルなど、各種ファイルを記憶する。
また、記憶部１０５は、図３に例示したフォーマットの関連付けテーブルＴＢ１を記憶している。関連付けテーブルＴＢ１は、読取った文書における図領域を表すファイルと図領域に関係する文字列とを対応付けたテーブルであり、図３に例示したように、文書中の図領域を表す画像ファイルのファイル名と、該図領域の表題を示す文字列と、該図領域を説明した文字列と、該図の特徴を示す文字列とを格納している。

ＲＯＭ１０３は、例えば、ＩＰＬ（Initial Program Loader）と呼ばれるプログラムを記憶している。ＣＰＵ１０２は、図示を省略した電源から電力が供給されると、ＲＯＭ１０３からＩＰＬを読み出して実行する。ＣＰＵ１０２は、ＩＰＬを実行すると、記憶部１０５に記憶されているサーバプログラムと制御プログラムを読み出して起動し、ＲＡＭ１０４を作業エリアとして画像処理装置１００の各部の制御を行う。

ＣＰＵ１０２がサーバプログラムを起動すると、画像処理装置１００はＷＷＷサーバとして機能し、ＨＴＴＰに従った通信を行う機能が実現する。また、ＣＰＵ１０２が制御プログラムを起動すると、図４および図５に示したフローチャートの処理を行い、画像入力部１０８から文書を読取り、読取った文書の要約を表す構造化文書を生成する機能が実現する。この構造化文書は、テキストデータであり、例えば、ＸＨＴＭＬ（eXtensible HyperText Markup Language）に従って記述されている。なお、構造化文書の記述は、ＸＨＴＭＬに限定されるものではなく、例えば、ＸＭＬ（eXtensible Markup Language）やＨＴＭＬ、ＳＧＭＬ（Standard Generalized Markup Language）など、構造化文書を記述できるものであれば、他の仕様に従って記述されていてもよい。

以上に説明したように、画像処理装置１００の構成は、ＣＰＵがプログラムを実行することにより各部が制御され、各種機能が実現するという意味において、一般的なコンピュータ装置のハードウェア構成と同一であると言える。

＜実施形態の動作＞
次に、本実施形態の動作について説明する。以下の説明においては、まず、画像処理装置１００が構造化文書を生成する際の動作について、図４のフローチャートを用いて説明し、次に、画像処理装置１００が、生成された構造化文書を利用した検索サービスをＰＣ２００へ提供する際の動作について説明する。なお、以下の説明においては、画像処理装置１００の電源が投入され、ＣＰＵ１０２が既に制御プログラムを実行している場合を想定して動作の説明を行う。また、画像処理装置１００は、図６に例示した文書を読取る場合を想定して動作の説明を行う。

＜構造化文書を生成する際の動作＞
画像処理装置１００の使用者が、Ｕ／Ｉ部１０６が具備する読取りキーを押下すると、画像入力部１０８に載置された文書の読取り指示がＵ／Ｉ部１０６からＣＰＵ１０２へ出力される。ＣＰＵ１０２は、この読取り指示が供給されると、画像入力部１０８を制御し、画像入力部１０８に載置された文書の読取りを画像入力部１０８に行わせる（図４：ステップＳＡ１）。画像入力部１０８は、文書の読み取りが終了すると、読取った文書を表す画像ファイルを記憶部１０５に生成し、生成したファイルを一意に識別するファイル名（例えば、「image001.jpg」）を画像ファイルに付け、文書の読み取りが終了したことを知らせる終了メッセージをＣＰＵ１０２へ送信する。

ＣＰＵ１０２は、終了メッセージを受け取ると、記憶部１０５に生成された画像ファイルを解析し、文章を示す領域と、図を示す領域の画像を抽出し、抽出した領域毎に、抽出した領域の画像を表すデータを生成する（ステップＳＡ２）。
例えば、画像入力部１０８が、図６に示した文書を読取った場合、図７に示したように、文章を示す領域として、文章領域ＥＡ１〜ＥＡ３が抽出され、図を示す領域として、図領域ＥＢ１〜ＥＢ３が抽出される。そして、文章領域ＥＡ１を表す文章領域画像データＤＡ１（ファイル名：da1.jpg）、文章領域ＥＡ２を表す文章領域画像データＤＡ２（ファイル名：da2.jpg）、文章領域ＥＡ３を表す文章領域画像データＤＡ３（ファイル名：da3.jpg）、図領域ＥＢ１を表す図領域画像データＤＢ１（ファイル名：db1.jpg）、図領域ＥＢ２を表す図領域画像データＤＢ２（ファイル名：db2.jpg）、および図領域ＥＢ３を表す図領域画像データＤＢ３（ファイル名：db3.jpg）が生成される。これらの生成されたファイルのうち、図領域を表す画像データのファイル名は、関連付けテーブルＴＢ１の図領域フィールドに格納される。
なお、ここで図を示す領域として抽出されるのは、グラフや表などの図形を含む領域だけでなく、写真や絵などを含む領域も抽出される。即ち、本明細書において、図とは、グラフや表だけでなく、写真や絵など幅広い概念を含む。

次にＣＰＵ１０２は、文章領域を表す文章領域画像データＤＡ１〜ＤＡ３を解析して文章領域内の文字列を抽出し、抽出した文字列を表すテキストデータＤＴ１（ファイル名：dt1.txt）〜ＤＴ３（ファイル名：dt3.txt）を生成する（ステップＳＡ３）。
ＣＰＵ１０２は、テキストデータの生成が終了すると、図領域を表す図領域画像データＤＢ１〜ＤＢ３を解析し、図領域画像データが表す画像を認識する（ステップＳＡ４）。例えば、図６に例示した文書の場合、図領域画像データＤＢ１および図領域画像データＤＢ２が表す画像は棒グラフであると認識され、図領域画像データＥＢ３が表す画像は写真であると認識される。

次にＣＰＵ１０２は、生成した図領域画像データを記憶部１０５から順次読出し（ステップＳＡ５）、ステップＳＡ４の認識結果に基づいて、読出した図領域画像データが表す画像がグラフを表す画像であるか否かを判断する（ステップＳＡ６）。
例えば、ＣＰＵ１０２が図領域画像データＤＢ１を読出すと、このデータは、ステップＳＡ４で棒グラフであると認識されているため、ステップＳＡ６において、図領域画像データＤＢ１が表す画像はグラフであると判断される（ステップＳＡ６：ＹＥＳ）。

ＣＰＵ１０２は、ステップＳＡ６で「ＹＥＳ」と判断すると、図領域画像データを解析し、図領域画像データが表す画像内に、グラフの表題を示す文字列があるか否かを判断する（ステップＳＡ７）。具体的には、ＣＰＵ１０２は、図領域画像データが表す画像中の文字列を抽出し、抽出した文字列中に「図」や「表」といった文字列を含む文がある場合には、この文字列が図領域が表す画像の表題であると判断する。
例えば、図領域画像データＤＢ１の場合、図７に示したように、このデータが示す図領域ＥＢ１には「図１：1996-2000年のモバイル製品動向」という文字列があるため、ＣＰＵ１０２は、この文字列が図領域画像データＥＢ１が表す画像の表題であると判断する（ステップＳＡ７：ＹＥＳ）。

ＣＰＵ１０２は、ステップＳＡ７で「ＹＥＳ」判断すると、表題を示している文字列を、図領域画像データＤＢ１の表題を表す文字列として関連付ける。具体的には、ＣＰＵ１０２は、図３に例示したように、関連付けテーブルＴＢ１において、図領域画像データＤＢ１のファイル名「db1.jpg」が格納されている行の表題フィールドに、表題を示している文字列「図１：1996-2000年のモバイル製品動向」という文字列を格納する（ステップＳＡ８）。

次にＣＰＵ１０２は、表題に含まれている文字列と同じ文字列を含んでいるテキストデータを検索する（ステップＳＡ９）。例えば、テキストデータＤＴ１には、表題に含まれている「図１」と同じ文字列が含まれているので、テキストデータＤＴ１が、表題と同じ文字列を含んでいるテキストデータとして抽出される。
ＣＰＵ１０２は、表題と同じ文字列を含んでいるテキストデータＤＴ１を抽出すると（ステップＳＡ１０：ＹＥＳ）、抽出したテキストデータが、図領域画像データＤＢ１に関連する段落であると判断し、図領域画像データＤＢ１とテキストデータＤＴ１とを関連付ける。具体的には、ＣＰＵ１０２は、図３に例示したように、図領域画像データＤＢ１のファイル名「db1.jpg」が格納されている行の段落フィールドに、抽出したテキストデータＤＴ１のファイル名を格納する（ステップＳＡ１１）。

次にＣＰＵ１０２は、図領域画像データが表しているグラフの特徴を抽出し、抽出した特徴を表す文字列を生成する。例えば、図領域画像データＤＢ１が表すグラフの場合、グラフは増加傾向を示しているので、「増加傾向」という文字列を生成する。なお、グラフの特徴を表す文字列は、グラフの表題、軸の方向、軸の単位などを基にして生成される。次に、ＣＰＵ１０２は、生成した文字列を図領域画像データに関連付ける。具体的には、ＣＰＵ１０２は、図３に例示したように、関連付けテーブルＴＢ１において、図領域画像データＤＢ１のファイル名「db1.jpg」が格納されている行の特徴フィールドに、生成した文字列「増加傾向」を格納する（ステップＳＡ１２）。

ＣＰＵ１０２は、ステップＳＡ１２の処理を終えると、全ての図領域画像データについて、表題、段落、特徴との関連付けを行ったか否かを判断する（ステップＳＡ１３）。ここで、図領域画像データＤＢ２と、図領域画像データＤＢ３については、関連付けを終了していないため、ＣＰＵ１０２は、ステップＳＡ５へ戻り処理を継続する（ステップＳＡ１３：ＮＯ）。

次に、ＣＰＵ１０２は、図領域画像データＤＢ２を読出し（ステップＳＡ５）、ステップＳＡ４の認識結果に基づいて、読出した図領域画像データＤＢ２が表す画像がグラフを表す画像であるか否かを判断する（ステップＳＡ６）。図領域画像データＤＢ２は、ステップＳＡ４でグラフであると認識されているため、ステップＳＡ６において、図領域画像データＤＢ２が表す画像はグラフであると判断される（ステップＳＡ６：ＹＥＳ）。

ＣＰＵ１０２は、ステップＳＡ６で「ＹＥＳ」と判断すると、図領域画像データを解析し、図領域画像データが表す画像内に、グラフの表題を示す文字列があるか否かを判断する（ステップＳＡ７）。図領域画像データＤＢ２の場合、このデータが示す図領域ＥＢ２には、「図」や「表」という文字列が含まれていないため、ＣＰＵ１０２は、図領域画像データＤＢ２が表す画像内には、グラフの表題を示す文字列が無いと判断する（ステップＳＡ７：ＮＯ）。

ＣＰＵ１０２は、ステップＳＡ７で「ＮＯ」と判断すると、次に、図領域画像データＤＢ２が表す画像の領域内に記述されている文字列を抽出し（ステップＳＡ１４）、抽出した文字列と同じ文字列が記述されているテキストデータを検索する（ステップＳＡ１５）。図領域画像データＤＢ２の場合、このデータが示す図領域ＥＢ２からは「Ａ社」，「Ｂ社」，「Ｃ社」，「台数」，「年（半期毎）」という文字列が抽出される。そして、テキストデータＤＴ２には、抽出された文字列「Ａ社」という文字列と同じ文字列が含まれているので、テキストデータＤＴ２が、図領域画像データＤＢ２に関連する段落であるとして検索される。

ＣＰＵ１０２は、テキストデータＤＴ２が、図領域画像データＤＢ２に関連する段落であると判断すると、図３に例示したように、関連付けテーブルＴＢ１において、図領域画像データＤＢ２のファイル名「db2.jpg」が格納されている行の段落フィールドに、検索されたテキストデータＤＴ２のファイル名「dt2.txt」を格納する（ステップＳＡ１６）。

次にＣＰＵ１０２は、図領域画像データＤＢ２が表しているグラフの特徴を抽出し、抽出した特徴を表す文字列を生成する。図領域画像データＤＢ２が表すグラフの場合、グラフは増加傾向を示しているので、「増加傾向」という文字列を生成し、図３に例示したように、関連付けテーブルＴＢ１において、図領域画像データＤＢ２のファイル名「db2.jpg」が格納されている行の特徴フィールドに、生成した文字列「増加傾向」を格納する（ステップＳＡ１２）。

ＣＰＵ１０２は、ステップＳＡ１２の処理を終えると、全ての図領域画像データについて、表題、段落、特徴との関連付けを行ったか否かを判断する（ステップＳＡ１３）。ここで、図領域画像データＤＢ３については、関連付けを終了していないため、ＣＰＵ１０２は、ステップＳＡ５へ戻り処理を継続する（ステップＳＡ１３：ＮＯ）。

次に、ＣＰＵ１０２は、図領域画像データＤＢ３を読出し（ステップＳＡ５）、ステップＳＡ４の認識結果に基づいて、読出した図領域画像データＤＢ３が表す画像がグラフを表す画像であるか否かを判断する（ステップＳＡ６）。図領域画像データＤＢ３は、ステップＳＡ４で写真であると認識されているため、ステップＳＡ６において、図領域画像データＤＢ３が表す画像は写真であると判断される（ステップＳＡ６：ＮＯ）。

ＣＰＵ１０２は、ステップＳＡ６で「ＮＯ」と判断すると、図領域画像データを解析し、図領域画像データが表す画像内に、グラフの表題を示す文字列があるか否かを判断する（ステップＳＡ１７）。図領域画像データＤＢ３の場合、このデータが示す図領域ＥＢ３には「図３」という文字列があるため、ＣＰＵ１０２は、この文字列が図領域画像データＥＢ３が表す画像の表題であると判断する（ステップＳＡ１７：ＹＥＳ）。

ＣＰＵ１０２は、ステップＳＡ１７で「ＹＥＳ」判断すると、表題を示している文字列を、図領域画像データＤＢ３の表題を表す文字列として関連付ける。ＣＰＵ１０２は、図３に例示したように、関連付けテーブルＴＢ１において、図領域画像データＤＢ３のファイル名「db3.jpg」が格納されている行の表題フィールドに、表題を示している文字列「図３」という文字列を格納する（ステップＳＡ１８）。

次にＣＰＵ１０２は、表題に含まれている文字列と同じ文字列を含んでいるテキストデータを検索する（ステップＳＡ１９）。ここで、テキストデータＤＴ３には、表題に含まれている「図３」と同じ文字列が含まれているので、テキストデータＤＴ３が、表題と同じ文字列を含んでいるテキストデータとして抽出される。ＣＰＵ１０２は、表題と同じ文字列を含んでいるテキストデータＤＴ３を抽出すると（ステップＳＡ２０：ＹＥＳ）、抽出したテキストデータが、図領域画像データＤＢ１に関連する段落であると判断し、図３に例示したように、図領域画像データＤＢ１のファイル名「db3.jpg」が格納されている行の段落フィールドに、抽出したテキストデータＤＴ３のファイル名を格納する（ステップＳＡ２１）。

ＣＰＵ１０２は、ステップＳＡ２１の処理を終えると、全ての図領域画像データについて、表題、段落、特徴との関連付けを行ったか否かを判断する（ステップＳＡ１３）。ここで、ＣＰＵ１０２は、全ての図領域画像データＤＢ１〜ＤＢ３について、表題、段落、特徴との関連付けを終了しているため、ステップＳＡ１３で「ＹＥＳ」と判断する。

ＣＰＵ１０２は、ステップＳＡ１３で「ＹＥＳ」と判断すると、画像入力部１０８が読取った文書の要約を表す構造化文書の生成を始める。
まず、ＣＰＵ１０２は、読取った文書を表す画像ファイルの記憶位置を示すＵＲＬ（Uniform Resource Locator）を構造化文書中に記述する（図５：ステップＳＡ２２）。
次に、ＣＰＵ１０２は、関連付けテーブルＴＢ１に格納されている図領域画像データのファイル名「db1.jpg」を読出し（図５：ステップＳＡ２３）、図８に例示したように、読出したファイル名「db1.jpg」を属性値として、画像を表示させるためのタグ「img」と共に記述する（ステップＳＡ２４）。
次にＣＰＵ１０２は、図領域画像データＤＢ１のファイル名に対応付けて関連付けテーブルＴＢ１に格納されている、図領域画像データＤＢ１の表題「図１:1996-2000年のモバイル製品動向」を読出し（ステップＳＡ２５）、図８に例示したように、抽出した表題をタグ「hyoutitle」と共に記述する（ステップＳＡ２６）。
次に、ＣＰＵ１０２は、図領域画像データＤＢ１のファイル名に対応付けて関連付けテーブルＴＢ１の段落フィールドに格納されているテキストデータのファイル名「dt1.txt」を読出し（ステップＳＡ２７）、読出したファイル名のファイルに記述されている文字列を、図８に例示したように、文字列を表示させるためのタグ「pre」と共に記述する（ステップＳＡ２８）。
次に、ＣＰＵ１０２は、図領域画像データＤＢ１のファイル名に対応付けて関連付けテーブルＴＢ１の特徴フィールドに格納されている文字列「増加傾向」を読出し（ステップＳＡ２９）、図８に示したように、読出した文字列をタグ「hyouComment」と共に記述する（ステップＳＡ３０）。

ＣＰＵ１０２は、ステップＳＡ２９の処理を終えると、関連付けテーブルＴＢ１に格納されている図領域画像データのファイル名を全て読出したか否かについて判断する（ステップＳＡ３１）。ここで、図領域画像データＤＢ２と、図領域画像データＤＢ３については、まだ読出していないため、ＣＰＵ１０２は、ステップＳＡ２３へ戻り処理を継続する。

以下、ＣＰＵ１０２は、図領域画像データＤＢ１の時と同様に、ステップＳＡ２３からステップＳＡ３１までの処理を行い、図８に例示したように、構造化文書を生成する。
ＣＰＵ１０２は、ステップＳＡ３１で、関連付けテーブルＴＢ１に格納されている図領域画像データのファイル名を全て読出したと判断すると（ステップＳＡ３１：ＹＥＳ）、構造化文書の生成を終了し、生成した構造化文書を一意に識別するファイル名「bunnsyo001」を構造化文書に付与し、生成した構造化文書を記憶部１０５に記憶させる。

＜構造化文書をＰＣ２００へ提供する際の動作＞
次に、画像処理装置１００が、生成した構造化文書をＰＣ２００へ提供する際の動作について説明する。なお、以下の説明においては、ＰＣ２００にて、既にＷＷＷブラウザが起動されている場合を想定する。

ＰＣ２００の使用者が、ＰＣ２００を操作し、画像処理装置１００が記憶しているＨＴＭＬファイルのうち、図９に例示したページを表すＨＴＭＬファイルのＵＲＬを入力し、このページの表示を指示する操作を行うと、ＰＣ２００は、入力されたＵＲＬを含むＨＴＴＰリクエストメッセージを、画像処理装置１００を宛先として送信する。
このＨＴＴＰリクエストメッセージが画像処理装置１００の通信部１０７にて受信されると、ＣＰＵ１０２は、このメッセージに含まれているＵＲＬで特定されるＨＴＭＬファイルを記憶部１０５から読み出す。この後、ＣＰＵ１０２は、読み出したＨＴＭＬファイルを含むＨＴＴＰレスポンスメッセージを生成し、このメッセージを、ＰＣ２００を宛先として送信する。

このメッセージがＰＣ２００にて受信されると、このメッセージに含まれているＨＴＭＬファイルがＰＣ２００にて実現されているＷＷＷブラウザにより解釈され、図９に例示した検索用のキーワードを入力するページＰ０１がＰＣ２００のディスプレイに表示される。この後、ＰＣ２００の使用者が、例えば、ページＰ０１内のテキストボックスに「モバイル」という文字列を入力した後、ページＰ０１内の「検索」ボタンをクリックする旨の操作を行うと、ＰＣ２００は、画像処理装置１００が記憶しているＣＧＩプログラムのＵＲＬを、受信したＨＴＭＬファイルから抽出し、抽出したＵＲＬと、テキストボックスに入力された文字列とを含むＨＴＴＰリクエストメッセージを、画像処理装置１００を宛先として送信する。

ＣＰＵ１０２は、このメッセージを受信すると、受信したメッセージに含まれている文字列「モバイル」およびＣＧＩプログラムのＵＲＬとを抽出する。この後、ＣＰＵ１０２は、抽出したＵＲＬで特定されるＣＧＩプログラムを記憶部１０５から読み出し、抽出した文字列をこのＣＧＩプログラムへの引数にして、ＣＧＩプログラムを起動する。
ＣＰＵ１０２は、ＣＧＩプログラムを起動すると、引数としたデータ、即ち、ページＰ０１に入力された文字列を検索キーにして、この検索キーと同じ文字列が記述されている構造化文書を、記憶部１０５に記憶されている構造化文書の中から検索する。

ＣＰＵ１０２は、検索キーとした文字列と同じ文字列が記述されている構造化文書として、例えば、上述した動作で生成されたファイル名が「bunnsyo001」である構造化文書を見つけると、この構造化文書の記憶位置を示すＵＲＬをハイパーリンクとして記述したＨＴＭＬファイルを生成し、このＨＴＭＬファイルを含むＨＴＴＰレスポンスメッセージを生成してＰＣ２００へ送信する。

このメッセージがＰＣ２００にて受信されると、このメッセージに含まれているＨＴＭＬファイルがＷＷＷブラウザにより解釈され、検索キーとした文字列が記述されている構造化文書のＵＲＬがＰＣ２００のディスプレイに表示される。
この後、ＰＣ２００の使用者が、このＵＲＬをクリックする旨の操作を行うと、ＰＣ２００は、ＨＴＭＬファイルにハイパーリンクとして記述されている構造化文書のＵＲＬをＨＴＭＬファイルから抽出し、抽出したＵＲＬを含むＨＴＴＰリクエストメッセージを画像処理装置１００を宛先として送信する。

このＨＴＴＰリクエストメッセージが画像処理装置１００の通信部１０７にて受信されると、ＣＰＵ１０２は、このメッセージに含まれているＵＲＬで特定される構造化文書を記憶部１０５から読み出す。この後、ＣＰＵ１０２は、読み出した構造化文書を含むＨＴＴＰレスポンスメッセージを生成し、このメッセージを、ＰＣ２００を宛先として送信する。このメッセージがＰＣ２００にて受信されると、このメッセージに含まれている構造化文書がＰＣ２００にて実現されているＷＷＷブラウザにより解釈され、この構造化文書で表されるページＰ０２が、例えば、図１０に例示したようにＰＣ２００のディスプレイに表示される。

この後、ＰＣ２００の使用者が、ページＰ０２の上部に表示されている、画像ファイルのファイル名をクリックする旨の操作を行うと、この画像ファイルのＵＲＬを含むＨＴＴＰリクエストメッセージがＰＣ２００から画像処理装置１００へ送信される。
このＨＴＴＰリクエストメッセージが画像処理装置１００の通信部１０７にて受信されると、ＣＰＵ１０２は、このメッセージに含まれているＵＲＬで特定される画像ファイルを記憶部１０５から読み出す。この後、ＣＰＵ１０２は、読み出した画像ファイルを含むＨＴＴＰレスポンスメッセージを生成し、このメッセージを、ＰＣ２００を宛先として送信する。

このメッセージがＰＣ２００にて受信されると、このメッセージに含まれている画像ファイルがＷＷＷブラウザにより解釈され、図６に例示した文書の画像がＰＣ２００のディスプレイに表示される。

以上説明したように、本実施形態によれば、文書が読取られると、読取られた文書を表す画像ファイルが生成されると共に、読取られた文書中の図領域に係わる情報を有する構造化文書が生成される。この構造化文書には、読取った文書中の全ての文字列ではなく、図領域に係わる文字列のみが記述されているため、この構造化文書中の文字列を検索すれば、間接的に図領域の画像の検索を行うことができる。

＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。

上述した実施形態においては、図領域が写真や絵を表している場合、グラフの時と同様に図領域内の特徴を示す文字列を生成して構造化文書に記述してもよい。例えば、図領域内が人物の写真を表している場合、人物の人数を認識し、この人数を「hyouComment」タグ内に記述するようにしてもよいし、図領域が風景を表している場合、風景を認識し、「山」や「海」等、風景の特徴を表す文字列を「hyouComment」タグ内に記述するようにしてもよい。

上述した実施形態においてグラフとして認識される図は棒グラフに限定されるものではなく、円グラフや折れ線グラフなど、他の種類のグラフもグラフとして認識される。

上述した実施形態においては、読取った文書に対して一つの構造化文書を生成するようにしているが、図領域画像データ毎に構造化文書を生成するようにしてもよい。
また、図領域データ毎に構造化文書を生成した際には、図領域の画像に関連する他の図領域の表題や図領域画像データのＵＲＬを構造化文書中に記述するようにしてもよい。例えば、図１１に例示した文書を画像処理装置１００が読取った場合、表題として「図１：１９９６−２０００年のモバイル製品動向」という文字列と、「図２」という文字列と、「図３：２００１−２００２年のモバイル製品動向」という文字列が抽出される。ＣＰＵ１０２は、各図領域データ毎に構造化文書を生成する際、表題の文字列と類似性の高い表題を関連付けテーブルＴＢ１から読出し、読出した表題に対応する図領域画像データのファイル名を読出す。図１１に示した文書の場合、文書上部のグラフの表題「図１：１９９６−２０００年のモバイル製品動向」と、文書下部のグラフの表題「図３：２００１−２００２年のモバイル製品動向」とを比較すると、「年のモバイル製品動向」の部分は文字列が一致し、類似性がある。ＣＰＵ１０２は、文書上部のグラフに係わる構造化文書を生成する際、「図３：２００１−２００２年のモバイル製品動向」という表題と、この表題に対応する図領域画像データのファイル名をを関連付けテーブルＴＢ１から読出し、例えば「kannrennzu」というタグと共に、図１２に例示したように構造化文書中に記述する。このような態様によれば、文書内で関連する図面が容易に分かるようになる。

画像処理装置１００は、図領域内に「図」や「表」といった文字列が見つからなかった場合、図領域内の文字列を認識し、認識した文字列と同じ文字列を含んでいるテキストデータを、図領域に関連する段落であるとして関連付けているが、認識した文字列と同じ文字列を含んでいるテキストデータが多数あった場合、文書上で図領域からの距離が近い段落を図領域に関連する段落であるとして関連付けるようにしてもよい。また、認識した文字列と同じ文字列を一番多く含んでいるテキストデータを、図領域に関連する段落であるとして関連付けるようにしてもよい。
また、図領域内に、「図」や「表」といった文字列が見つからなかった場合、図領域内の画像を認識し、図領域内の画像の特徴を表している言葉を含んでいるテキストデータを、図領域に関連する段落であるとして関連付けるようにしてもよい。

画像処理装置１００の使用者は、自身が興味を持っていることを表すキーワードを、Ｕ／Ｉ部１０６を操作して予め記憶部１０５に記憶させておき、画像処理装置１００は、この記憶部１０５に記憶したキーワードに関連した図や文章について、構造化文書を生成するようにしてもよい。例えば、画像処理装置１００の使用者が、「Ａ社」に関して興味をもっており、記憶部１０５に「Ａ社」という文字列を記憶させた場合、画像処理装置１００は、図６に例示した文書を読取った後、図領域内の文字列を認識し、「Ａ社」という文字列を含む図領域画像データＤＢ１，ＤＢ２のファイル名を関連付けテーブルＴＢ１に格納する。画像処理装置１００は、この図領域画像データＤＢ１，ＤＢ２に係わる表題、段落、特徴を抽出し、構造化文書を生成する。
このような態様によれば、指定されたキーワードに関連する図・文章のみが読取った文書から抽出されて構造化文書が生成されるので、検索キーワードを指定して構造化文書を検索する手間を省くことが可能となる。

上述した実施形態において、図領域の表題（「hyoutitle」タグで囲まれた文字列）や図の特徴（「hyouComment」タグで囲まれた文字列）は表示されないが、これらが表示されるように構造化文書を生成するようにしてもよい。

画像処理装置１００に、例えば、プリンタ等の印刷手段を持たせ、使用者からの指示により、構造化文書を印刷するようにしてもよい。また、画像処理装置１００は、文書の検索により抽出された構造化文書を印刷するようにしてもよい。

上述した実施形態において画像処理装置１００は、ＬＡＮ３００を介して送信された、文書を表す画像ファイルを受信し、この受信した画像ファイルに対して、画像ファイルに係わる構造化文書を生成するようにしてもよい。

本発明の実施形態に係わる通信システムの構成を例示した図 本発明の実施形態に係る画像処理装置の要部構成を示すブロック図。 同実施形態に係わる画像処理装置が記憶している関連付けテーブルのフォーマットを例示した図。 ＣＰＵ１０２が構造化文書を生成する際に行う処理の流れを示したフローチャート。 ＣＰＵ１０２が構造化文書を生成する際に行う処理の流れを示したフローチャート。 画像入力部が読取る文書を例示した図。 画像ファイルから抽出された領域を例示した図。 画像処理装置が生成する構造化文書を例示した図。 画像処理装置が提供するページを例示した図。 構造化文書で表されるページを例示した図。 画像入力部が読取る文書を例示した図。 画像処理装置が生成する構造化文書を例示した図。

符号の説明

１００・・・画像処理装置、１０１・・・バス、１０２・・・ＣＰＵ、１０３・・・ＲＯＭ、１０４・・・ＲＡＭ、１０５・・・記憶部、１０６・・・Ｕ／Ｉ部、１０７・・・通信部、１０８・・・画像入力部、２００・・・ＰＣ、３００・・・ＬＡＮ。

Claims (7)

1. 文書を読取り、読取った文書を表す画像ファイルを生成する読取り手段と、
   前記画像ファイルが表す画像中の図の領域を抽出する図領域抽出手段と、
   前記画像ファイルが表す画像中の文章の領域を抽出する文章領域抽出手段と、
   前記図領域抽出手段により抽出された図領域に存在する文字列を抽出する文字列抽出手段と、
   前記文字列抽出手段により抽出された文字列と同じ文字列を含む文を、前記文章領域抽出手段により抽出された文章領域から抽出する文抽出手段と、
   前記図領域抽出手段により抽出された図領域と、前記文抽出手段により抽出された文とを含む文書を表す文書データを生成する文書データ生成手段と
   を有する画像処理装置。
2. 前記文書データ生成手段は、前記図領域抽出手段により抽出された図領域と、前記文字列抽出手段により抽出された文字列と、前記文抽出手段により抽出された文とを含む文書を表す文書データを生成すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記文書データ生成手段は、前記画像ファイルの記憶位置を示す情報を含む文書データを生成すること
   を特徴とする請求項１に記載の画像処理装置。
4. 前記文書データ生成手段は、前記文抽出手段により抽出された文字列のうち、予め定められた所定文字列と同じ文字列を抽出し、該抽出された文字列を含む文書を表す文書データを生成すること
   を特徴とする請求項１に記載の画像処理装置。
5. 前記図領域抽出手段は、複数の図領域を抽出し、
   前記図領域抽出手段により抽出された複数の図領域毎に、各図領域に関連性がある他の図領域に係わる情報を抽出する関連情報抽出手段を有し、
   前記文書データ生成手段は、前記関連情報抽出手段により抽出された情報を含む文書データを生成すること
   を特徴とする請求項１に記載の画像処理装置。
6. 前記図領域抽出手段により抽出された図領域の特徴を抽出する特徴抽出手段を有し、
   前記文書データ生成手段は、前記特徴抽出手段により抽出された特徴を表す文字列を含む文書データを生成すること
   を特徴とする請求項１に記載の画像処理装置。
7. 文書を読取り、読取った文書を表す画像ファイルを生成する読取りステップと、
   前記画像ファイルが表す画像中の図の領域を抽出する図領域抽出ステップと、
   前記画像ファイルが表す画像中の文章の領域を抽出する文章領域抽出ステップと、
   前記図領域抽出ステップにより抽出された図領域に存在する文字列を抽出する文字列抽出ステップと、
   前記文字列抽出ステップにより抽出された文字列と同じ文字列を含む文を、前記文章領域抽出ステップにより抽出された文章領域から抽出する文抽出ステップと、
   前記図領域抽出ステップにより抽出された図領域と、前記文抽出ステップにより抽出された文とを含む文書を表す文書データを生成する文書データ生成ステップと
   を有する画像処理方法。

Images