JP2008052439A - 画像処理システムおよび画像処理プログラム - Google Patents

Abstract

【課題】入力した画像から認識した属性名の変更ができないことを課題とし、文書内の属性名の変更を可能にする画像処理システムを提供する。
【解決手段】画像処理システムの領域抽出手段は、入力した画像から領域を抽出し、文字認識手段は、前記領域抽出手段によって抽出された領域内の文字を認識し、属性抽出手段は、前記文字認識手段によって認識された結果に応じて、前記領域抽出手段によって抽出された領域の属性名を抽出し、対応属性記憶手段は、第１の属性と該第１の属性と対応している第２の属性を記憶し、属性変換手段は、前記対応属性記憶手段に記憶されている属性に応じて、前記属性抽出手段によって抽出された属性を変換する。
【選択図】図１

Description

本発明は、画像処理システムおよび画像処理プログラムに関する。

紙文書は、情報の伝達や記録を行うための媒体として優れたものであるが、これを保存するために書庫などのスペースが必要になる。また、情報を紙文書に記録して保存している場合、後にその紙文書に記録された情報が必要になったときには、書庫などに収納されている多くの紙文書の中から目的とする情報が記録された紙文書を探し出さなければならない。

そこで、紙文書を電子化して保存することが行われるようになってきている。具体的には、スキャナなどによって紙文書の各ページに対応する画像を読み取り、その画像に対応する画像データを紙文書毎にファイル化してハードディスクなどの記憶装置に記憶させることが行われるようになってきている。そして、文書画像データに対して、文字認識処理を行い、テキストコードとしての文書として取り扱えるようになっている。

一方、文書作成アプリケーション（いわゆるワープロソフトウェア等）によって作成される電子文書としては、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等を用いて、データの意味を項目ごとに定義付け、そのデータを構造化して管理することが行われている。これらを採用することによって、会社間の取引に使うデータ項目について、業界ごとに標準化を進めている状況である。

これらに関連する技術として、例えば、特許文献１には、データ構造を定義するスキーマの生成を容易に行うことができるデータ管理システムを提供することを課題とし、スキーマのいずれかを派生元として、そのスキーマのデータ構造要素を変更して新たな派生先のスキーマを生成する工程、その派生先のスキーマと派生元のスキーマとを関連付けて保持する工程を含み、派生先のスキーマに属するデータセットを所定処理に供する際に関連付けを利用するデータ管理システムが開示されている。
特開２００４−０２１４４９号公報

本発明は、このような背景技術の状況の中でなされたもので、入力した画像から文字認識して得た属性名の変更ができないことを課題とし、文書内の属性名の変更を可能にする画像処理システムおよび画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］ 入力した画像から領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
前記文字認識手段によって認識された結果に応じて、前記領域抽出手段によって抽出された領域の属性名を抽出する属性抽出手段と、
第１の属性と該第１の属性と対応している第２の属性を記憶している対応属性記憶手段と、
前記対応属性記憶手段に記憶されている属性に応じて、前記属性抽出手段によって抽出された属性を変換する属性変換手段
を具備することを特徴とする画像処理システム。

［２］ 入力した画像から領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
前記文字認識手段によって認識された結果に応じて、前記領域抽出手段によって抽出された領域の属性を抽出する属性抽出手段と、
前記属性抽出手段によって抽出された属性に応じて、文書の構造を変換する構造変換手段と、
第１の属性と該第１の属性と対応している第２の属性を記憶している対応属性記憶手段と、
前記対応属性記憶手段に記憶されている属性および前記構造変換手段によって変換された構造に応じて、前記属性抽出手段によって抽出された属性を変換する属性変換手段
を具備することを特徴とする画像処理システム。

［３］ 入力した画像から領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
前記文字認識手段によって認識された結果に応じて、前記領域抽出手段によって抽出された領域の属性を抽出する属性抽出手段と、
前記属性抽出手段によって抽出された属性に応じて、文書の構造を変換する構造変換手段と、
第１の属性と該第１の属性と対応している第２の属性を記憶している対応属性記憶手段と、
修正前の属性と修正後の属性とを対応させて記憶している修正属性記憶手段と、
前記対応属性記憶手段に記憶されている属性、前記修正属性記憶手段に記憶されている属性、前記構造変換手段によって変換された構造、または自然言語処理による結果に応じて、前記属性抽出手段によって抽出された属性を変換する属性変換手段
を具備することを特徴とする画像処理システム。

［４］ 画像を入力する画像入力手段と、
前記画像入力手段によって入力された画像から領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
前記文字認識手段によって認識された結果に応じて、前記領域抽出手段によって抽出された領域の属性を抽出する属性抽出手段と、
前記属性抽出手段によって抽出された属性に応じて、文書の構造を変換する構造変換手段と、
第１の属性と該第１の属性と対応している第２の属性を記憶している対応属性記憶手段と、
修正前の属性と修正後の属性とを対応させて記憶している修正属性記憶手段と、
前記対応属性記憶手段に記憶されている属性、前記修正属性記憶手段に記憶されている属性、前記構造変換手段によって変換された構造、または自然言語処理による結果に応じて、前記属性抽出手段によって抽出された属性を変換する属性変換手段と、
前記構造変換手段によって変換された構造、前記属性変換手段によって変換された属性および前記文字認識手段による認識結果に対して、文書処理を行う文書処理手段
を具備することを特徴とする画像処理システム。

［５］ コンピュータに、
入力した画像から領域を抽出する領域抽出機能と、
前記領域抽出機能によって抽出された領域内の文字を認識する文字認識機能と、
前記文字認識機能によって認識された結果に応じて、前記領域抽出機能によって抽出された領域の属性名を抽出する属性抽出機能と、
第１の属性と該第１の属性と対応している第２の属性を記憶部に記憶させるように制御する対応属性記憶制御機能と、
前記対応属性記憶制御機能によって記憶されている属性に応じて、前記属性抽出機能によって抽出された属性を変換する属性変換機能
を実現させることを特徴とする画像処理プログラム。

［６］ コンピュータに、
入力した画像から領域を抽出する領域抽出機能と、
前記領域抽出機能によって抽出された領域内の文字を認識する文字認識機能と、
前記文字認識機能によって認識された結果に応じて、前記領域抽出機能によって抽出された領域の属性を抽出する属性抽出機能と、
前記属性抽出機能によって抽出された属性に応じて、文書の構造を変換する構造変換機能と、
第１の属性と該第１の属性と対応している第２の属性を記憶部に記憶させるように制御する対応属性記憶制御機能と、
前記対応属性記憶制御機能によって記憶されている属性および前記構造変換機能によって変換された構造に応じて、前記属性抽出機能によって抽出された属性を変換する属性変換機能
を実現させることを特徴とする画像処理プログラム。

［７］ コンピュータに、
入力した画像から領域を抽出する領域抽出機能と、
前記領域抽出機能によって抽出された領域内の文字を認識する文字認識機能と、
前記文字認識機能によって認識された結果に応じて、前記領域抽出機能によって抽出された領域の属性を抽出する属性抽出機能と、
前記属性抽出機能によって抽出された属性に応じて、文書の構造を変換する構造変換機能と、
第１の属性と該第１の属性と対応している第２の属性を記憶部に記憶させるように制御する対応属性記憶制御機能と、
修正前の属性と修正後の属性とを対応させて記憶部に記憶させるように制御する修正属性記憶制御機能と、
前記対応属性記憶制御機能によって記憶されている属性、前記修正属性記憶制御機能によって記憶されている属性、前記構造変換機能によって変換された構造、または自然言語処理による結果に応じて、前記属性抽出機能によって抽出された属性を変換する属性変換機能
を実現させることを特徴とする画像処理プログラム。

請求項１の画像処理システムによれば、本構成を有していない場合に比較して、文書内の属性名の変更を可能にする。例えば、一方の会社で用いている文書内の属性と他方の会社で用いている文書内の属性が、名称は異なるが同一の意味を有しているような場合に、一方の会社の属性を他方の会社の属性に変換することができるようになる。

請求項２の画像処理システムによれば、本構成を有していない場合に比較して、文書内の属性名の変更を可能にする。例えば、一方の会社で用いている文書内の属性と他方の会社で用いている文書内の属性が、名称は異なるが同一の意味を有しているような場合に、一方の会社の属性を他方の会社の属性に変換することができるようになる。

請求項３の画像処理システムによれば、本構成を有していない場合に比較して、文書内の主に文字認識の誤りの修正を可能にする。例えば、一方の会社で用いている文書内の属性と他方の会社で用いている文書内の属性が、名称は異なるが同一の意味を有しているような場合に、一方の会社の属性を他方の会社の属性に変換することができるようになり、文字認識の誤りの修正をより確実に行うことができるようになる。

請求項４の画像処理システムによれば、本構成を有していない場合に比較して、文書内の属性名の変更および文字認識の誤りの修正を行ったうえで、入力した画像の文書処理を可能にする。例えば、一方の会社で用いている文書内の属性と他方の会社で用いている文書内の属性が、名称は異なるが同一の意味を有しているような場合に、一方の会社の属性を他方の会社の属性に変換することができ、文字認識の誤りの修正をより確実に行うことができるようになるうえに、入力した画像の文書処理が可能になる。

請求項５の画像処理プログラムによれば、本構成を有していない場合に比較して、文書内の属性名の変更を可能にする。例えば、一方の会社で用いている文書内の属性と他方の会社で用いている文書内の属性が、名称は異なるが同一の意味を有しているような場合に、一方の会社の属性を他方の会社の属性に変換することができるようになる。

請求項６の画像処理プログラムによれば、本構成を有していない場合に比較して、文書内の属性名の変更を可能にする。例えば、一方の会社で用いている文書内の属性と他方の会社で用いている文書内の属性が、名称は異なるが同一の意味を有しているような場合に、一方の会社の属性を他方の会社の属性に変換することができるようになる。

請求項７の画像処理プログラムによれば、本構成を有していない場合に比較して、文書内の主に文字認識の誤りの修正を可能にする。例えば、一方の会社で用いている文書内の属性と他方の会社で用いている文書内の属性が、名称は異なるが同一の意味を有しているような場合に、一方の会社の属性を他方の会社の属性に変換することができるようになり、文字認識の誤りの修正をより確実に行うことができるようになる。

以下、図面に基づき本発明の好適な一実施の形態を説明する。
各図は一実施の形態を示している。図１は、本実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。
以下、文書として、帳票を主に例示して説明する。また、文書処理として、帳票処理（例えば請求書に対する経理処理等）を主に例示して説明する。
また、文書の構造変換として、ファイルフォーマット変換を例示して説明する。

本実施の形態は、図１に示すように、画像入力モジュール１１、装置情報入力モジュール１２、領域抽出モジュール１３、文字認識モジュール１４、属性抽出モジュール１５、ファイルフォーマット変換モジュール１６、修正モジュール１７、対応属性記憶モジュール１８、修正データ記憶モジュール１９、文書処理２０を有している。また、修正モジュール１７内には、学習データ修正モジュール１７１、自然言語処理修正モジュール１７２、属性名対応修正モジュール１７３、操作者修正モジュール１７４を有している。

画像入力モジュール１１は、図１に示すように、領域抽出モジュール１３と接続されている。画像を入力し、その入力した画像を領域抽出モジュール１３へ渡す。具体的には、スキャナ、カメラ等により画像を電子情報として入力するものである。また、ファックス等により通信回線を介して他のシステムから画像を入力してもよいし、画像データベースのように画像を記憶しているハードディスク等から読み込んできてもよい。ここで、入力する画像は１枚の画像であってもよいし、複数ページからなる画像であってもよい。

装置情報入力モジュール１２は、図１に示すように、領域抽出モジュール１３と接続されている。画像入力モジュール１１が画像を入力する際に利用した機器（スキャナ等）に関する情報、例えば機器の識別子等を領域抽出モジュール１３へ渡す。ただし、機器に関する情報は修正モジュール１７で用いられ、領域抽出モジュール１３からファイルフォーマット変換モジュール１６まで、機器に関する情報を順繰りに渡していく。また、修正モジュール１７と装置情報入力モジュール１２が直接に機器に関する情報をやりとりしてもよいし、修正モジュール１７と装置情報入力モジュール１２が共通にアクセスできるメモリに記憶するようにしてもよい。

領域抽出モジュール１３は、図１に示すように、画像入力モジュール１１、装置情報入力モジュール１２、文字認識モジュール１４と接続されている。画像入力モジュール１１によって入力された画像からその画像を構成している領域を抽出する。その領域抽出の結果を、文字認識モジュール１４へ渡す。
領域の抽出は、画像から空白等で区切られた領域を抽出することによって行われる。この領域抽出の処理は、例えば、画像入力モジュール１１による入力画像を二値化処理し、白画素の領域が一定の長さ（あるいは面積）以上あるところによって区切る。そのように区切ると、黒画素の領域（例えば、矩形）を抽出することができる。さらに、その黒画素の領域の画像としての特徴（例えば、面積、縦または横の大きさ、形状、黒画素塊の存在位置等）を抽出し、文字領域、図形領域、表領域、写真領域等の種別を判別することができる。もちろん他の既存の方法で領域を抽出してもよい。

文字認識モジュール１４は、図１に示すように、領域抽出モジュール１３、属性抽出モジュール１５と接続されている。領域抽出モジュール１３によって抽出された領域内の文字を認識し、その認識結果を属性抽出モジュール１５へ渡す。文字認識モジュール１４は、文字領域、表領域に対して文字認識処理を行うことによりテキストデータである文字列を生成する。ただし、この文字認識結果には、誤認識の結果等が含まれている可能性がある。また、文字認識結果についての確からしさを表す信頼度値を算出し、個々の認識結果に付加するようにしてもよい。

属性抽出モジュール１５は、図１に示すように、文字認識モジュール１４、ファイルフォーマット変換モジュール１６と接続されている。文字認識モジュール１４によって認識された結果に応じて、領域抽出モジュール１３によって抽出された領域の属性を抽出する。ここでの属性とは、領域抽出モジュール１３によって抽出された領域の項目名等である。具体的には、文書が納品書の場合、「納品書番号」、「納品日」、「摘要」、「単価」、「数量」、「料金」等が該当する。これらは、例えば、文字列の記載位置から類推することができる。つまり、一般的に、属性名が左にあり、それに対応する内容が右にあるので、欄が２つ並んでいる配置の場合に、その左側の欄にある文字列を属性として抽出する。または、予め属性名として登録された文字列のデータベースを検索することによって、それと一致する文字列を属性名とする等の属性名抽出の方法がある。
また、属性抽出モジュール１５は、属性名の他に属性値（その属性に対応する文字列）、例えば「納品書番号」には英数字１０桁等を抽出するようにしてもよい。

ファイルフォーマット変換モジュール１６は、図１に示すように、属性抽出モジュール１５、修正モジュール１７と接続されている。属性抽出モジュール１５によって抽出された属性に応じて、文書の構造であるファイルフォーマットを変換する。
つまり、画像入力モジュール１１によって入力した画像から、他のアプリケーション（文書処理２０）で使えるデータを抽出するためには、ＸＭＬ等で定義されているデータ構造としなければならない。
しかしながら、文字認識モジュール１４での文字認識結果は、単なるテキストデータであり、このデータ自体に構造はない。属性抽出モジュール１５によって、そのテキストデータから属性名と属性値が抽出されるが、そのままでは、他のアプリケーションに使えるデータ構造は有していない。
そこで、ファイルフォーマット変換モジュール１６は、文字認識モジュール１４による文字認識結果と属性抽出モジュール１５による抽出した属性名をＸＭＬ等で定義されているファイルフォーマットに変換する。

対応属性記憶モジュール１８は、図１に示すように、修正モジュール１７と接続されている。２つの会社間（Ａ社、Ｂ社）によっては、同一の意味であるが、違う言葉を用いる場合がある。例えば、Ａ社では「部門名」と使い、Ｂ社では「部署名」（同様に、「作成日」と「作成年月日」等）のようにである。つまり、画像入力モジュール１１で入力した文書に使われている属性名を文書処理２０で使われる属性名に変換する必要があるが、そのために対応属性記憶モジュール１８は属性名を対にして記憶している。

修正データ記憶モジュール１９は、図１に示すように、修正モジュール１７と接続されている。修正モジュール１７の過去の修正処理における、修正前の属性と修正後の属性を対応させて記憶している。また、装置情報入力モジュール１２による機器番号をともに記憶していてもよい。

修正モジュール１７は、図１に示すように、ファイルフォーマット変換モジュール１６、対応属性記憶モジュール１８、修正データ記憶モジュール１９、文書処理２０と接続されている。対応属性記憶モジュール１８に記憶されている属性、修正データ記憶モジュール１９に記憶されている属性、ファイルフォーマット変換モジュール１６によって変換された構造、自然言語処理による結果、または操作者による修正指示に応じて、属性抽出モジュール１５によって抽出された属性を変換する。その際に、学習データ修正モジュール１７１、自然言語処理修正モジュール１７２、属性名対応修正モジュール１７３、操作者修正モジュール１７４のうち、いずれか１つ以上のモジュールを用いる。

学習データ修正モジュール１７１は、修正データ記憶モジュール１９に記憶されている過去の修正データを用いて、文字認識モジュール１４、属性抽出モジュール１５の結果を修正する。同種の文書であれば、過去と同じ誤りがあり、同じ修正が行われている可能性が高いからである。例えば、修正データ記憶モジュール１９に、過去に「連結書」を「連絡書」と修正したことが記憶されており、今回の文字認識モジュール１４、属性抽出モジュール１５の処理結果に「連結書」という単語があれば、「連絡書」と修正する。また、ファイルフォーマット変換モジュール１６によって変換されたファイルフォーマットと文書処理２０が本来対象とするファイルフォーマットとを比較して、対応する属性名を修正するようにしてもよい。また、装置情報入力モジュール１２による機器情報を用いて、例えば、同一の機器で入力された画像であるならば、その修正情報を優先して適用するようにしてもよい。
自然言語処理修正モジュール１７２は、文字認識モジュール１４、属性抽出モジュール１５による処理結果を自然言語処理によって修正する。例えば、文書処理２０で処理される用語をすべて記憶しているコーパスを用いて、それ以外の用語がでてきた場合に、操作者修正モジュール１７４での処理の際に、操作者に注意を促すようにする。

属性名対応修正モジュール１７３は、対応属性記憶モジュール１８を用いて、属性を例えばＢ社用の用語に修正する。
操作者修正モジュール１７４は、操作者による修正の指示に応じて、修正を行う。学習データ修正モジュール１７１、自然言語処理修正モジュール１７２、属性名対応修正モジュール１７３によるそれぞれの修正箇所がわかるように、色分けしてその修正箇所を表示するようにしてもよい。また、文字認識結果の信頼度値に応じて、文字の表示の形態を変化させてもよい。例えば、信頼度値が低い文字は、目立つような文字とすることである。また、学習データ修正モジュール１７１から属性名対応修正モジュール１７３までが行った修正について、その修正の確からしさである確信度に応じて、その修正箇所を表示するようにしてもよい。例えば、確信度が低い修正箇所を目立つように表示することである。
修正モジュール１７は、上記の修正処理が終了した時点で、その修正前と修正後とを対にして修正データ記憶モジュール１９に記憶させる。さらに、その際に、対象とした画像を入力した機器に関する情報、修正の際の確からしさを表す確信度を記憶するようにしてもよい。

文書処理２０は、図１に示すように、修正モジュール１７と接続されている。ファイルフォーマット変換モジュール１６によって変換された構造、修正モジュール１７によって変更された属性および文字認識モジュール１４による認識結果に対して、文書処理を行う。例えば、前述したように、請求書に対する経理処理、会社間における発注データのやりとりに関する処理、監査に関する処理等がある。

図２を用いて、本実施の形態を実現する場合のシステム例全体を説明する。
Ａ社２１０のシステムとＢ社２２０のシステムとが通信回線２９０によって接続されている。
Ａ社２１０には、図２に示すように、スキャナ２１１、プリンター２１２、通信サーバー２１３とがあり、これらは互いに接続されており、外部のシステムと通信可能になっている。
Ｂ社２２０には、図２に示すように、スキャナ２２１、プリンター２２２、パソコン２２３、通信サーバー２２８があり、これらは互いに社内ラン２２９によって接続されている。パソコン２２３には、ディスプレイ２２４、キーボード２２５、マウス２２６、文書ＤＢ２２７が接続されている。
本実施の形態を実現する場合の典型的な例は、Ａ社２１０のスキャナ２１１が画像入力モジュール１１、装置情報入力モジュール１２に該当し、Ｂ社２２０のパソコン２２３が領域抽出モジュール１３〜文書処理２０までの各モジュールを実行する。

Ａ社２１０、Ｂ社２２０間の業務として、Ａ社２１０がＢ社２２０に対して、文書を送付する場合を想定して説明する。
Ａ社２１０の操作者はスキャナ２１１を用いて、文書を画像として入力する。その画像は、通信サーバー２１３、通信回線２９０を介して、Ｂ社２２０に送付される。
Ｂ社２２０は、通信サーバー２２８によって、Ａ社２１０からの画像を受け取る。その画像は、社内ラン２２９を介して、パソコン２２３に渡される。パソコン２２３では、領域抽出モジュール１３から修正モジュール１７までの処理が行われる。そして、学習データ修正モジュール１７１等による処理結果をディスプレイ２２４に表示し、キーボード２２５、マウス２２６を用いた操作者の操作によって操作者修正モジュール１７４による処理を実行する。そして、操作者の修正が完了した後に文書処理２０による処理を実行し、その処理結果を文書ＤＢ２２７に記憶する。
また、本実施の形態は、Ｂ社２２０内の機器でのみ実現することもできるし、スキャナ２１１またはスキャナ２２１内で、領域抽出モジュール１３〜文書処理２０までの各モジュールを実行することもできる。

図３を用いて、本実施の結果が取り扱うデータ構造の例を説明する。
領域テーブル３０は、図３に示すように、ＩＤ欄３１、左上座標欄３２、右下座標欄３３、種別欄３４、属性名欄３５、属性値欄３６、修正情報欄３７の欄がある。
ＩＤ欄３１から種別欄３４までは、領域抽出モジュール１３による処理結果が記憶され、属性名欄３５と属性値欄３６は、文字認識モジュール１４と属性抽出モジュール１５による処理結果が記憶され、修正情報欄３７は、修正モジュール１７による処理結果が記憶される。

ＩＤ欄３１には、その画像内で抽出された領域を一意に特定できる符号が記憶される。
左上座標欄３２、右下座標欄３３には、領域抽出モジュール１３によって抽出された領域の画像内における位置が記憶される。例えば、抽出領域が矩形の場合、画像の縦をＸ軸、横をＹ軸とした平面空間とし、その画像内における抽出領域の左上角の座標を左上座標欄３２に記憶し、右下角の座標を右下座標欄３３に記憶することによって、画像内における抽出領域の位置を特定できる。
種別欄３４には、その部品画像の種別（文字領域、図形領域、表領域、写真領域等）が記憶される。文字領域が、文字認識モジュール１４以降の処理対象となる。

属性名欄３５には、左上座標欄３２と右下座標欄３３によって特定できる領域内に対して、文字認識モジュール１４による文字認識結果の中から属性抽出モジュール１５によって抽出された属性名が記憶される。
属性値欄３６には、属性名欄３５に記憶されている属性名に対応する属性値が記憶される。
修正情報欄３７には、修正モジュール１７によって修正されたか否かを示す符号が記憶される。また、どのような修正が、どのモジュールで行われたのか等の情報を含んでいてもよい。

図４を用いて、修正情報を蓄積した学習データにおけるデータ構造の例を説明する。
修正テーブル４０は、図４に示すように、ＩＤ欄４１、修正前欄４２、修正後欄４３、機器情報欄４４、確信度欄４５の欄がある。それぞれの欄は、修正モジュール１７による処理結果が記憶される。学習データ修正モジュール１７１によりアクセスされるデータである。学習データ修正モジュール１７１を基にして、修正すべき属性を探索し、その属性を修正する。

ＩＤ欄４１には、その修正を一意に特定できる符号が記憶される。
修正前欄４２には、修正前の属性名が記憶される。
修正後欄４３には、修正後の属性名が記憶される。
機器情報欄４４には、その修正対象の画像を入力した機器に関する情報が記憶される。
確信度欄４５には、修正の確からしさを表す確信度が記憶される。例えば、自然言語処理修正モジュール１７２による修正の際、その他の修正案があったが、その修正とした場合等には低い値となる。また、操作者による修正の場合は、高い値とする。

図５を用いて、属性名の対応関係を示すデータ構造の例を説明する。
対応属性テーブル５０は、図５に示すように、ＩＤ欄５１、Ａ社属性名欄５２、Ｂ社属性名欄５３の欄がある。対応属性テーブル５０は、予め作成されているものであり、属性名対応修正モジュール１７３によりアクセスされるデータである。属性名対応修正モジュール１７３は、対応属性テーブル５０を基にして、属性の置換を行う。対応属性テーブル５０に、記憶される内容は、例えば、Ａ社２１０とＢ社２２０とで、同一の意味を有するが違う言葉で表されているものを対にしたものである。

ＩＤ欄５１には、その対応を一意に特定できる符号が記憶される。
Ａ社属性名欄５２には、Ａ社２１０で用いられている属性名が記憶される。例えば、「作成日」である。
Ｂ社属性名欄５３には、Ａ社属性名欄５２に対応するＢ社２２０で用いられている属性名が記憶される。例えば、「作成日」に対応して「作成年月日」が記憶される。

図６を用いて、本実施の形態が行う処理を経時的に説明する。
ステップＳ６０１では、画像入力モジュール１１が対象となる文書を画像として入力する。
ステップＳ６０２では、ステップＳ６０１で入力された画像に対して、領域抽出モジュール１３が領域を抽出する。
ステップＳ６０３では、ステップＳ６０２で抽出された文字領域に対して、文字認識モジュール１４が文字認識処理を行う。

ステップＳ６０４では、ステップＳ６０３で文字認識された結果に対して、属性抽出モジュール１５が属性を抽出する。その際、領域抽出モジュール１３による領域抽出の結果である領域の位置等の情報を用いてもよい。
ステップＳ６０５では、ステップＳ６０３で文字認識された結果とステップＳ６０４で抽出された属性とを用いて、ファイルフォーマット変換モジュール１６がファイルフォーマット変換を行う。
ステップＳ６０６では、ステップＳ６０３で文字認識された結果とステップＳ６０４で抽出された属性とに対して、修正データ記憶モジュール１９を用いて、学習データ修正モジュール１７１が修正を行う。
ステップＳ６０７では、ステップＳ６０６で修正された結果に対して、自然言語処理修正モジュール１７２が自然言語処理を用いた修正を行う。

ステップＳ６０８では、さらに、対応属性記憶モジュール１８を用いて、属性名対応修正モジュール１７３が修正を行う。
ステップＳ６０９では、ステップＳ６０６からステップＳ６０８による修正結果を操作者に対して提示し、操作者による修正指示に基づいて、操作者修正モジュール１７４による修正が行われる。
ステップＳ６１０では、ステップＳ６０６からステップＳ６０９による修正結果を、修正モジュール１７は、修正データ記憶モジュール１９に反映させる。
ステップＳ６１１では、修正モジュール１７によって修正された結果に対して、文書処理２０による帳票処理を行う。

図７を参照して、本実施の形態の画像処理システムのハードウェア構成例について説明する。図７に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理システムであり、スキャナ等のデータ読み取り部４１７と、プリンタなどのデータ出力部４１８を備えたハード構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１は、上述の実施の形態において説明した各種のモジュール、すなわち、領域抽出モジュール１３、文字認識モジュール１４、属性抽出モジュール１５等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２は、ＣＰＵ４０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。

ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス４０６に接続されている。

キーボード４０８、マウス等のポインティングデバイス４０９は、操作者により操作される入力デバイスである。ディスプレイ４１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ４０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、画像入力モジュール１１により入力された画像や修正モジュール１７による処理結果のデータなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ４１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体４１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース４０７、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介して接続されているＲＡＭ４０３に供給する。リムーバブル記録媒体４１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート４１４は、外部接続機器４１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート４１４は、インタフェース４０７、および外部バス４０６、ブリッジ４０５、ホストバス４０４等を介してＣＰＵ４０１等に接続されている。通信部４１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部４１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部４１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図７に示す画像処理システムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態の画像処理システムは、図７に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図７に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）などに組み込まれていてもよい。

前記実施の形態では、文書として、帳票を主に例示して説明したが、これに限ることなく、文書としての形態を有する情報群であれば対応することができる。また、同様に、文書処理としても、帳票処理に限ることなく、文書としての情報群を対象とした情報処理、例えば翻訳処理等であってもよい。
また、文書の構造変換として、ファイルフォーマット変換を例示して説明したが、これに限ることなく、文書を構成する構造を他の構造に変換して他のアプリケーション等に利用可能とするような変換処理であればよい。

なお、修正モジュール１７内の処理の順番は学習データ修正モジュール１７１、自然言語処理修正モジュール１７２、属性名対応修正モジュール１７３、操作者修正モジュール１７４としたが、属性名対応修正モジュール１７３から先に行うようにしてもよい。
また、ファイルフォーマット変換モジュール１６は、文書処理２０が必要としている属性を、属性抽出モジュール１５が抽出できなかった旨を修正モジュール１７に渡してもよい。そして、学習データ修正モジュール１７１等による修正によっても属性が不足している場合には、操作者修正モジュール１７４は、操作者に属性が不足している旨を提示するようにしてもよい。

なお、説明したプログラムについては、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供することもできる。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えることもできる。

「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

本実施の形態の概念的なモジュール構成図である。 本実施の形態を実現する場合のシステム例全体の構成図である。 本実施の形態が取り扱うデータ構造の例である。 修正情報を蓄積した学習データにおけるデータ構造の例である。 属性名の対応関係を示すデータ構造の例である。 本実施の形態による処理を示すフローチャート例である。 本実施の形態のハードウェア構成例を示すブロック図である。

符号の説明

１１…画像入力モジュール
１２…装置情報入力モジュール
１３…領域抽出モジュール
１４…文字認識モジュール
１５…属性抽出モジュール
１６…ファイルフォーマット変換モジュール
１７…修正モジュール
１８…対応属性記憶モジュール
１９…修正データ記憶モジュール
２０…文書処理
３０…領域テーブル
４０…修正テーブル
５０…対応属性テーブル
１７１…学習データ修正モジュール
１７２…自然言語処理修正モジュール
１７３…属性名対応修正モジュール
１７４…操作者修正モジュール

Claims (7)

1. 入力した画像から領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
   前記文字認識手段によって認識された結果に応じて、前記領域抽出手段によって抽出された領域の属性名を抽出する属性抽出手段と、
   第１の属性と該第１の属性と対応している第２の属性を記憶している対応属性記憶手段と、
   前記対応属性記憶手段に記憶されている属性に応じて、前記属性抽出手段によって抽出された属性を変換する属性変換手段
   を具備することを特徴とする画像処理システム。
2. 入力した画像から領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
   前記文字認識手段によって認識された結果に応じて、前記領域抽出手段によって抽出された領域の属性を抽出する属性抽出手段と、
   前記属性抽出手段によって抽出された属性に応じて、文書の構造を変換する構造変換手段と、
   第１の属性と該第１の属性と対応している第２の属性を記憶している対応属性記憶手段と、
   前記対応属性記憶手段に記憶されている属性および前記構造変換手段によって変換された構造に応じて、前記属性抽出手段によって抽出された属性を変換する属性変換手段
   を具備することを特徴とする画像処理システム。
3. 入力した画像から領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
   前記文字認識手段によって認識された結果に応じて、前記領域抽出手段によって抽出された領域の属性を抽出する属性抽出手段と、
   前記属性抽出手段によって抽出された属性に応じて、文書の構造を変換する構造変換手段と、
   第１の属性と該第１の属性と対応している第２の属性を記憶している対応属性記憶手段と、
   修正前の属性と修正後の属性とを対応させて記憶している修正属性記憶手段と、
   前記対応属性記憶手段に記憶されている属性、前記修正属性記憶手段に記憶されている属性、前記構造変換手段によって変換された構造、または自然言語処理による結果に応じて、前記属性抽出手段によって抽出された属性を変換する属性変換手段
   を具備することを特徴とする画像処理システム。
4. 画像を入力する画像入力手段と、
   前記画像入力手段によって入力された画像から領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された領域内の文字を認識する文字認識手段と、
   前記文字認識手段によって認識された結果に応じて、前記領域抽出手段によって抽出された領域の属性を抽出する属性抽出手段と、
   前記属性抽出手段によって抽出された属性に応じて、文書の構造を変換する構造変換手段と、
   第１の属性と該第１の属性と対応している第２の属性を記憶している対応属性記憶手段と、
   修正前の属性と修正後の属性とを対応させて記憶している修正属性記憶手段と、
   前記対応属性記憶手段に記憶されている属性、前記修正属性記憶手段に記憶されている属性、前記構造変換手段によって変換された構造、または自然言語処理による結果に応じて、前記属性抽出手段によって抽出された属性を変換する属性変換手段と、
   前記構造変換手段によって変換された構造、前記属性変換手段によって変換された属性および前記文字認識手段による認識結果に対して、文書処理を行う文書処理手段
   を具備することを特徴とする画像処理システム。
5. コンピュータに、
   入力した画像から領域を抽出する領域抽出機能と、
   前記領域抽出機能によって抽出された領域内の文字を認識する文字認識機能と、
   前記文字認識機能によって認識された結果に応じて、前記領域抽出機能によって抽出された領域の属性名を抽出する属性抽出機能と、
   第１の属性と該第１の属性と対応している第２の属性を記憶部に記憶させるように制御する対応属性記憶制御機能と、
   前記対応属性記憶制御機能によって記憶されている属性に応じて、前記属性抽出機能によって抽出された属性を変換する属性変換機能
   を実現させることを特徴とする画像処理プログラム。
6. コンピュータに、
   入力した画像から領域を抽出する領域抽出機能と、
   前記領域抽出機能によって抽出された領域内の文字を認識する文字認識機能と、
   前記文字認識機能によって認識された結果に応じて、前記領域抽出機能によって抽出された領域の属性を抽出する属性抽出機能と、
   前記属性抽出機能によって抽出された属性に応じて、文書の構造を変換する構造変換機能と、
   第１の属性と該第１の属性と対応している第２の属性を記憶部に記憶させるように制御する対応属性記憶制御機能と、
   前記対応属性記憶制御機能によって記憶されている属性および前記構造変換機能によって変換された構造に応じて、前記属性抽出機能によって抽出された属性を変換する属性変換機能
   を実現させることを特徴とする画像処理プログラム。
7. コンピュータに、
   入力した画像から領域を抽出する領域抽出機能と、
   前記領域抽出機能によって抽出された領域内の文字を認識する文字認識機能と、
   前記文字認識機能によって認識された結果に応じて、前記領域抽出機能によって抽出された領域の属性を抽出する属性抽出機能と、
   前記属性抽出機能によって抽出された属性に応じて、文書の構造を変換する構造変換機能と、
   第１の属性と該第１の属性と対応している第２の属性を記憶部に記憶させるように制御する対応属性記憶制御機能と、
   修正前の属性と修正後の属性とを対応させて記憶部に記憶させるように制御する修正属性記憶制御機能と、
   前記対応属性記憶制御機能によって記憶されている属性、前記修正属性記憶制御機能によって記憶されている属性、前記構造変換機能によって変換された構造、または自然言語処理による結果に応じて、前記属性抽出機能によって抽出された属性を変換する属性変換機能
   を実現させることを特徴とする画像処理プログラム。

Images