JP2009122722A - 帳票認識プログラム、帳票認識装置および帳票認識方法 - Google Patents

Abstract

【課題】認識した帳票データの訂正作業において、訂正作業者の負担を軽減することを課題とする。
【解決手段】この帳票認識装置は、各種の帳票に対応付けて、当該帳票を構成する複数の文字列それぞれを示す論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、入力された帳票を認識し、論理構造雛形記憶部に記憶される論理要素と一致する文字列と、論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせとを抽出して格納し、格納された帳票データと、認識された帳票画像とをそれぞれ表示部に出力し、表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を特定して、特定した文字列を他の文字列と区別して表示部に表示出力するとともに、帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力する。
【選択図】 図１

Description

この発明は、各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、論理構造雛形記憶部に記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識する帳票認識プログラム、帳票認識装置および帳票認識方法に関する。

従来より、帳票のフォームごとに抽出したいデータの位置情報を記したレイアウト定義体を用意し、帳票のフォームを識別したあとにレイアウト定義体を使ってタグ付きデータをＯＣＲで認識する帳票のデータ入力システムがある。具体的には、タグ名と帳票上の矩形領域を表す２点の座標の組が複数個記されており、例えば、データ「富士通太郎」に対するタグは「本人氏名」である（図３参照）。

この帳票のデータ入力システムは、入力された帳票画像とレイアウト定義体を用いて認識した認識結果とを並べて表示し、ユーザは、帳票画像と認識結果を見比べて認識結果が正しいかどうかを判断する。そして、ユーザは、認識結果が誤っていれば、認識結果をいったん削除し、正しい値をキーボード等で入力する。

ところが、このような手法では、帳票画像と認識結果を見比べて認識結果が正しいかどうかを判断するため、読み込んだデータの訂正作業において、ユーザの負担が大きく、さらには、人為的なミスを防ぐことができない。そこで、このようなデータ入力システムにおいて、読み込んだ帳票にエラーがある場合に、データ訂正作業の負担を軽減する様々な技術が開示されている。

例えば、特許文献１（特開平７−９３４６９号公報）では、帳票認識処理の際に発生したエラー箇所に対応する帳票のレイアウトイメージを自動で生成するデータ入力システムが開示されている。具体的には、データ入力システムは、読取対象の帳票のレイアウトを指定するレイアウト情報に従って、読み込んだ帳票の帳票イメージのレイアウトを解析し、このレイアウト解析によって決定された各読取対象の文字認識を行う。そして、データ入力システムは、この文字認識結果データとレイアウト情報とからレイアウト解析エラーを検出し、そのエラー発生箇所に対応する帳票イメージを画面表示する。

特開平７−９３４６９号公報

しかしながら、上記した従来の技術では、データ訂正作業の負担を必ずしも軽減することができず、却って負担が大きくなる場合があるという課題があった。

具体的には、エラー発生箇所のみに対応する帳票イメージが表示されるため、この帳票イメージが拡大されて表示されている場合、エラー箇所が帳票上のどこにある文字列なのかがわからないことがあり、特に、帳票内で同じ文字列の見出しが存在するときは、それらの文字列を区別しなければならない。その結果、ユーザは周辺の画像を確認できるようにいったん拡大されたイメージを縮小表示しなければならならず、却ってユーザの負担が大きくなる。

また、従来の技術では、帳票を読み込んだ際のエラーをユーザに表示するだけで、表示したエラーが正しく修正されたか否かをユーザに表示することができない。つまり、エラー発生箇所のみに対応する帳票イメージに基づいて、当該エラー箇所をユーザが手動で修正したとしても、当該修正内容が必ずしも正しいとは限らず、その修正内容をユーザ自身が目視で確認する必要があるため、データ訂正作業の負担を軽減することができるとは言い難い。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、認識した帳票データの訂正作業において、訂正作業者の負担を軽減することが可能である帳票認識プログラム、帳票認識装置および帳票認識方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本装置は、各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、前記論理構造雛形記憶部に記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識することをコンピュータに実行させる帳票認識プログラムであって、前記帳票上の文字列と、当該帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けとを帳票データとして記憶する帳票データ記憶手段と、前記入力された帳票を認識した帳票画像に対して、前記論理構造雛形記憶部に記憶される論理要素と一致する文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納する帳票データ格納手順と、前記帳票データ記憶手段に記憶される帳票データと、前記認識された帳票画像とをそれぞれ表示部に出力し、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を前記帳票データ記憶手段から特定して、特定した文字列を他の文字列と区別した帳票データを表示部に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力する。

本発明によれば、認識した帳票データの訂正作業において、訂正作業者の負担を軽減することが可能である。また、ユーザが認識結果を修正するたびにデータ文字列候補の順位を変え、修正結果と矛盾するところがあればユーザに注意を喚起することができる結果、ユーザは、修正を正確かつ迅速に行うことが可能である。

以下に添付図面を参照して、この発明に係る帳票認識プログラム、帳票認識装置および帳票認識方法の実施例を詳細に説明する。なお、以下では、本実施例に係る帳票認識装置の概要および特徴、帳票認識装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。

［帳票認識装置の概要および特徴］
まず最初に、図１を用いて、本実施例に係る帳票認識装置の概要および特徴を説明する。図１は、実施例１に係る帳票認識装置の全体構成を示すシステム構成図である。

図１に示す帳票認識装置は、各種の帳票（例えば、決算帳票、会計帳票、人事帳票など）における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形ＤＢと、活字の文書の画像をコンピュータが編集できる形式（文字コードの列）に変換するＯＣＲ（Optical Character Recognition）とを備える。

論理構造雛形ＤＢに記憶される情報の例を具体的に説明すると、論理構造雛形ＤＢは、帳票の種類に応じて、論理要素と論理要素間の関係、さらに論理要素には文字列を記憶する。ここで記憶される論理要素は、見出しとデータの属性を持ち、見出しとデータの対応関係や、見出し間の階層関係などがツリー構造で表現される（図１の（ａ）参照）。また、論理要素には帳票上で表現される文字列が登録される。図１の（ａ）に示される「Ａ」と「Ｂ」とは論理要素の見出しであり、「Ｃ」〜「Ｈ」は論理要素のデータである。

そして、この帳票認識装置は、ＯＣＲにより読み込んだ帳票画像とイメージスキャンした元々の帳票画像とを並べてディスプレイなどの表示部に表示出力して、ユーザに読み込んだデータが正しいか否かを確認させ、正しい場合には、当該帳票データを取り込んで各種処理を実行する。なお、本実施例で対象とする帳票とは、ＯＣＲで読み込まれる紙媒体だけでなく、ネットワークや記憶媒体などから受け付ける電子ファイル（電子データ）などについても、同様の処理を行うことができる。

このような構成において、実施例１に係る帳票認識装置は、上記したように、各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形ＤＢを備え、論理構造雛形ＤＢに記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識することを概要とするものであり、特に、認識した帳票データの訂正作業において、訂正作業者の負担を軽減することが可能である点に主たる特徴がある。

この主たる特徴を具体的に説明すると、帳票認識装置は、帳票上の文字列と、当該帳票上の文字列と論理構造雛形ＤＢに記憶される論理要素間の関係との対応付けとを帳票データとして記憶する帳票データＤＢを備える。具体的に例を挙げると、帳票データＤＢは、入力された帳票上の文字列を、論理構造雛形ＤＢに記憶される論理要素間の関係に対応付けた情報を記憶する。

そして、帳票認識装置は、入力された帳票を認識し、論理構造雛形ＤＢに記憶される論理要素と一致する文字列を抽出して帳票データＤＢに格納するとともに、論理構造雛形ＤＢに記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、帳票上の文字列と論理構造雛形ＤＢに記憶される論理要素間の関係との対応付けを帳票データＤＢに格納する（図１の（１）〜（３）参照）。

上記した例で具体的に説明すると、帳票認識装置は、図１の（ｂ）に示すようなレイアウト要素の見出し文字列「Ａ１」、「Ｂ１」と、レイアウト要素のデータ文字列「Ｃ１」〜「Ｈ１」とから構成される入力帳票を受け付けた場合、入力帳票の見出し文字列「Ａ１」、「Ｂ１」とデータ文字列「Ｃ１」〜「Ｈ１」とを抽出して帳票データＤＢに格納する。続いて、帳票認識装置は、論理構造雛形ＤＢに記憶される論理要素の見出しおよびデータを満たす帳票上の文字列の組み合わせを抽出して、図１の（ｃ）に示すように、帳票上の文字列と論理構造雛形ＤＢに記憶される論理要素間の関係（図１の（ａ）参照）との対応付けを帳票データＤＢに格納する。

そして、帳票認識装置は、帳票データＤＢに記憶される帳票データと、認識された帳票画像とをそれぞれ表示部に出力する（図１の（４）と（５）参照）。上記した例で具体的に説明すると、ここでは、帳票認識装置は、図１の（ｄ）に示すように、帳票データＤＢに記憶される帳票データと、認識された帳票画像とをそれぞれ表示部に出力したとする。

その後、帳票認識装置は、表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を帳票データＤＢから特定して、特定した文字列を他の文字列と区別した帳票データを表示部に表示出力するとともに、帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域（画像）を表示部に表示出力する（図１の（６）〜（８）参照）。

上記した例で具体的に説明すると、帳票認識装置は、図１の（ｄ）の画面において、ユーザにより認識結果の「Ｆ１」の場所がクリックされた場合、選択された文字列「Ｆ１」に関係する見出し「Ａ１」および見出しのデータ「Ｆ１」を帳票データＤＢから特定する。そして、帳票認識装置は、図１の（ｅ）に示すように、特定した「Ａ１、Ｆ１」を他の文字列「Ｂ１」と区別した帳票データを表示部に表示出力するとともに、帳票画像のうち当該特定された帳票データの「Ａ１、Ｆ１」を含む最低限の画像を表示部に表示出力する。

このように、実施例１に係る帳票認識装置は、ユーザが確認または修正したい文字列を選択した場合に、当該選択された文字列に関係する文字列が含まれる場所のみを特定して表示することができる結果、上記した主たる特徴のごとく、認識した帳票データの訂正作業において、訂正作業者の負担を軽減することが可能である。

［帳票認識装置の構成］
次に、図２を用いて、図１に示した帳票認識装置の構成を説明する。図２は、実施例１に係る帳票認識装置の構成を示すブロック図である。図２に示すように、この帳票認識装置１０は、入力受付部１１と、表示部１２と、記憶部２０と、制御部３０とから構成される。

入力受付部１１は、ＯＣＲなどを備え、各種の帳票を受け付ける。具体的に例を挙げると、入力受付部１１は、紙媒体の帳票画像を受け付けてＯＣＲで読み込んだり、ファイル形式の帳票画像データをネットワークや各種記憶媒体などを受け付けたりして、その受け付けたデータを後述するインターフェース制御部３１に出力する。

表示部１２は、モニタ（若しくはディスプレイ、タッチパネル）やスピーカを備えて構成され、各種の情報を出力する。例えば、表示部１２は、後述するインターフェース制御部３１や論理構造解析部３５の指示制御により、図３に示す入力受付部１１により受け付けられた帳票データなどを表示出力する。なお、図３は、表示される帳票画像と帳票データとを示す図である。

記憶部２０は、制御部３０による各種処理に必要なデータおよびプログラムを格納するとともに、特に本発明に密接に関連するものとしては、レイアウト情報ＤＢ２１と、論理構造雛形ＤＢ２２と、帳票データＤＢ２３とを備える。

レイアウト情報ＤＢ２１は、文字コードと座標からなる文字情報と、罫線・セルの座標などから構成されるレイアウト情報を記憶する。具体的に例を挙げれば、レイアウト情報ＤＢ２１は、図４に示すように、文字情報、罫線情報、セル情報から構成されるレイアウト情報を記憶する。ここで、文字情報には、文字数と各文字の情報が記され、各文字の情報には、文字コードと座標、および、その文字が包含されているセルへのポインタが記され、罫線情報には、罫線数と各罫線情報が記される。また、各罫線情報には、実線・点線などの罫線種別と座標、および、その罫線が構成するセルへのポインタが記されており、セル情報にはセル数と各セルの情報が記される。各セルの情報には座標と、そのセルが包含する文字へのポインタとそのセルを構成する罫線へのポインタが記される。なお、図４は、レイアウト情報ＤＢに記憶される情報の例を示す図である。

論理構造雛形ＤＢ２２は、各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する。具体的に例を挙げれば、論理構造雛形ＤＢ２２は、図５に示すように、見出しとデータの属性を持ち、帳票上で表現される複数の文字列からなる論理要素と、見出しとデータの対応関係や、見出し間の階層関係などをツリー構造で表現した論理構造を記憶する。

また、図５に示した各論理要素は、図６に示すデータ構造を持つ。「種別」は、見出しかデータを表し、「代表文字列」は、例えば、（本人）、（氏名）などである。また、論理要素ＩＤは、論理構造雛形である論理構造において一意に割り当てられたＩＤであり、表現文字列は、登録された帳票上で表現される文字列を表し、親は、論理構造雛形の論理構造を表すツリー構造における上位の論理要素であり、子は、下位の論理要素である。例えば、論理要素「本人」を例にして説明すると、論理構造雛形ＤＢ２２は、論理要素「本人」のデータ構造「種別、代表文字列、論理要素ＩＤ、表現文字列、表現文字列の個数、親へのポインタ、子へのポインタ、子の個数」を「見出し、本人、１、本人・ご本人・御本人、３、００、０１・０２・０３・０４、４」などと記憶する。なお、図５は、論理構造雛形ＤＢに記憶される論理構造を示す図であり、図６は、論理構造雛形ＤＢに記憶される論理構造を構成する各論理要素のデータ構造を示す図である。

帳票データＤＢ２３は、帳票上の文字列と、当該帳票上の文字列と論理構造雛形ＤＢ２２に記憶される論理要素間の関係との対応付けとを帳票データとして記憶する。具体的に例を挙げれば、帳票データＤＢ２３は、論理構造雛形ＤＢ２２に記憶されるツリー構造の論理構造（図５参照）と帳票上の文字列とを対応付けを行い、図７に示すような論理構造対応付け結果２２ａを記憶する。また、帳票データＤＢ２３は、対応付けられた各論理要素に対して図８〜図１１のデータ構造を記憶する。

それぞれについて具体的に説明する。まず、帳票データＤＢ２３は、帳票上のレイアウト要素（文字列）と、図５に示した論理構造における各論理要素との対応結果として、図８に示す論理結果データ２３ｂを記憶する。この論理結果データ２３ｂは、論理要素に一意に割り当てられた「論理要素ＩＤ」と、当該論理要素に対応付けられた帳票上のレイアウト要素を特定する「領域候補へのポインタ」と、当該論理要素に対応付けられた帳票上の領域候補の個数を示す「領域候補の個数」とから構成される。図７を例にして説明すると、帳票データＤＢ２３は、論理結果データ２３ｂとして「論理要素ＩＤ、領域候補へのポインタ、領域候補の個数」を「０１（本人）、００ａ、１」や「００１（住所）、００ｂ・００ｋ、２」などと記憶する。図７の例では、帳票上のひとつの領域が複数の論理要素に対する領域候補に対応することとなり、１７個の論理要素に対して２２個の領域候補データが対応することになる。なお、領域候補へのポインタは、論理要素を特定するアドレスなどの情報であり、ここでは一例を挙げただけであり、これに限定されるわけではない。

次に、図９に示すデータ構造について説明する。帳票データＤＢ２３は、図７で対応付けられた各論理要素に対応付けた、図９に示すような領域情報２３ｃを記憶する。領域情報２３ｃは、論理情報が含まれる帳票上の領域に対して一意に割り当てられた「領域ＩＤ」、当該論理要素が存在する帳票上の位置を示す「座標」、当該論理要素を示す「文字列」、当該論理要素を示す文字列に関する情報を示す「文字情報」、当該論理要素を構成する「文字の個数」、当該論理要素が対応付けられた論理要素である可能性を示す「候補順位」などを記憶する。「候補順位」とは、例えば、図７の構成要素「本人」の配下にある「住所」や「電話番号」などのように、読み込まれた帳票画像上に、この「住所」や「電話番号」に該当する候補が複数ある場合に設定される。例えば、帳票データＤＢ２３は領域情報２３ｃとして「領域ＩＤ、座標、文字列、文字情報、文字の個数、候補順位」を「０１、１００．１２０、本人、本（０ｘ９６７Ｂ），人（０ｘ９０６Ｃ）、２、１」などと記憶する。

そして、帳票データＤＢ２３は、図７で対応付けられた各論理要素に対応付けて、図１０に示すような制御情報２２ｄをさらに記憶する。この制御情報２２ｄは、論理要素に一意に割り当てられた「論理要素ＩＤ」と、当該論理要素に対応付けられた帳票上の論理要素を特定する「領域候補へのポインタ」と、当該論理要素に対応付けられた帳票上の領域候補の個数を示す「領域候補の個数」と、ユーザが選択したかどうかを表すフラグであり値としてＯＮまたはＯＦＦを持つ「選択フラグ」と、領域候補を選択したかどうかを表すフラグであり値としてＯＮまたはＯＦＦを持つ「サブ選択フラグ」と、選択された領域候補が何番目の選択候補であるかを表す「サブ選択番号」と、認識結果を変更したことを表すフラグであり値としてＮＯＷ、ＰＡＳＴ、ＯＦＦを持つ「候補変更フラグ」と、画面に表示するかどうかを表すフラグであり値としてＯＮまたはＯＦＦを持つ「表示フラグ」と、矛盾があるかどうかを表すフラグで値としてＯＮまたはＯＦＦを持つ「矛盾フラグ」とを備える。例えば、帳票データＤＢ２３は、制御情報２２ｄとして「論理要素ＩＤ、領域候補へのポインタ、領域候補の個数、選択フラグ、サブ選択フラグ、サブ選択番号、候補変更フラグ、表示フラグ、矛盾フラグ」を「０１（本人）、００ａ、１、ＯＮ、ＯＮ、１、ＯＮ、ＯＦＦ、ＯＮ」などと記憶する。

そして、帳票データＤＢ２３は、図７で対応付けられた各論理要素に対応付けて、図１１に示すような表示情報２２ｅをさらに記憶する。この表示情報２２ｅは、ルートを除く最上位の論理要素を論理要素ＩＤで表した「最上位の論理要素」と、読み込まれた帳票画像における表示領域が座標で表現された「画像表示領域」、読み込まれた帳票データを表示する修正ウインドウの表示項目を論理要素ＩＤの集合で表現される「修正ウインドウ表示項目」とから構成される。例えば、帳票データＤＢ２３は、表示情報２２ｅとして「最上位の論理要素、画像表示領域、修正ウインドウ表示項目」を「０１（本人）、３００×２００、０１（本人）．００１（００１）」などと記憶する。

なお、図７は、帳票データＤＢ２３に記憶される論理構造対応付け結果２２ａの例を示す図であり、図８は、論理結果データ２３ｂに記憶される情報の例を示す図であり、図９は、領域情報２３ｃに記憶される情報の例を示す図であり、図１０は、制御情報２２ｄに記憶される情報の例を示す図であり、図１１は、表示情報２２ｅに記憶される情報の例を示す図である。

制御部３０は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、インターフェース制御部３１と、レイアウト認識部３２と、文字認識部３３と、論理構造認識部３４と、論理構造解析部３５とを備え、これらによって種々の処理を実行する。なお、制御部３０における各機能部の詳細な処理については、図１４以降で具体的に説明するので、ここでは各機能部の概要について説明する。

インターフェース制御部３１は、表示部１２からユーザの操作を受け付けたり、後述する論理構造解析部３５による論理構造の解析結果を表示部１２に表示出力したりする。具体的には、インターフェース制御部３１は、入力受付部１１により受け付けられた帳票を帳票画像としてレイアウト認識部３２に出力したり、論理構造認識部３４により認識された帳票の認識結果を修正ウインドウとして表示部１２に表示出力したり、表示部１２からクリックなどのユーザの操作を受け付けて操作内容を論理構造解析部３５に出力したり、受け付けたユーザの操作結果により変更された表示内容を表示部１２に表示出力したりする。

レイアウト認識部３２は、入力受付部１１により受け付けられた帳票のレイアウトを認識する。具体的には、レイアウト認識部３２は、入力受付部１１により受け付けられた帳票をインターフェース制御部３１を介して受け付け、当該受け付けた帳票の種類を識別し、識別した帳票の種類に対応するレイアウトをレイアウト情報ＤＢ２１に記憶されるレイアウト情報を特定し、特定したレイアウト情報に基づいて解析する。そして、レイアウト認識部３２は、解析した結果を後述する文字認識部３３に出力する。

文字認識部３３は、入力受付部１１により受け付けられた帳票上の文字列を認識する。具体的には、文字認識部３３は、レイアウト認識部３２により認識されたレイアウト認識結果を受け付けると、レイアウト認識部３２により特定されたレイアウト情報ＤＢ２１に記憶されるレイアウト情報とレイアウト認識部３２により特定された帳票の種類に対応する論理構造雛形ＤＢ２２に記憶される論理構造とに基づいて、入力受付部１１により受け付けられた帳票上の文字列を抽出し、抽出結果を帳票データＤＢ２３に格納する。

論理構造認識部３４は、入力受付部１１により受け付けられた帳票上の文字列の論理構造を認識する。具体的には、論理構造認識部３４は、レイアウト認識部３２により認識されたレイアウト認識結果を受け付けると、論理構造雛形ＤＢ２２に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、図１２や図１３に示すように、帳票上の文字列と論理構造雛形ＤＢ２２に記憶される論理要素間の関係との対応付けを帳票データＤＢ２３に格納する。なお、論理構造認識結果で複数の候補を出力する手法としては、例えば、特願２００６−２０９０６５では、論理要素（ｉ１、ｊ１）に対して算出された事後確率ｐｐ１（ｉ１、ｊ１、ｋ１）をｋ１毎に大きさの順番に並べ替えて出力する手法を用いてもよく、また、特願２００７−０２４１２５では、論理構造雛形ＤＢ２２に記憶される論理要素間の関係とのマッチング結果で出力されるクリークを評価値の順番に並べ、２位以下を候補とする手法を用いてもよい。なお、図１２と図１３とは、論理要素の対応関係の例を示す図である。

論理構造解析部３５は、表示部１２に表示する帳票の認識結果を修正ウインドウとして表示制御する。具体的には、論理構造解析部３５は、帳票データＤＢ２３に格納された入力受付部１１により受け付けられた帳票上の文字列と対応付けられた論理要素間の関係とに基づいて、帳票認識結果を修正ウインドウとして表示制御指示をインターフェース制御部３１に出力する。また、論理構造解析部３５は、インターフェース制御部３１に受け付けられたユーザの操作（ユーザアクション）に基づいて、論理要素間の関係を解析して、受け付けられたユーザの操作による帳票認識結果の修正内容を修正ウインドウとして表示制御指示をインターフェース制御部３１に出力する。

［帳票認識装置による処理］
次に、図１４〜図１８を用いて、帳票認識装置による処理を説明する。図１４は、実施例１に係る帳票認識装置における全体的な処理の流れを示すフローチャートである。

（全体的な処理の流れ）
図１４に示すように、帳票が入力されると（ステップＳ１０１肯定）、帳票認識装置１０は、文書解析処理を実施する（ステップＳ１０２）。具体的には、入力受付部１１により帳票が受け付けられると、帳票認識装置１０のレイアウト認識部３２と文字認識部３３は、レイアウト情報ＤＢ２１に記憶されるレイアウト情報に基づいて、入力された帳票のレイアウトと帳票上の文字列とをそれぞれ認識する。そして、帳票認識装置１０の論理構造認識部３４は、受け付けられた帳票上の文字列の論理構造を認識して帳票データＤＢ２３に格納する。

続いて、帳票認識装置１０は、入力された帳票の表示処理を行って、ユーザアクション待機状態に遷移する（ステップＳ１０３とステップＳ１０４）。具体的には、帳票認識装置１０の論理構造解析部３５は、帳票データＤＢ２３に格納された入力受付部１１により受け付けられた帳票上の文字列と対応付けられた論理要素間の関係とに基づいて、帳票認識結果を修正ウインドウとして表示制御指示をインターフェース制御部３１に出力し、インターフェース制御部３１は、受け付けた表示制御指示に基づいて、入力された帳票を表示部１２に表示出力して、ユーザアクションを受け付ける状態に遷移する。

その後、ユーザアクションを受け付けた帳票認識装置１０は、ユーザアクション取得処理を行って、論理情報解析を行い、解析結果を表示する（ステップＳ１０５〜ステップＳ１０７）。具体的には、表示部１２に表示出力された修正ウインドウ（読み込んだ帳票データ）のある領域（文字列）がユーザ操作により修正された場合、インターフェース制御部３１は、この修正内容を論理構造解析部３５に出力し、論理構造解析部３５は、受け付けた修正内容と帳票データＤＢ２３に記憶される帳票上の文字列と論理要素間の関係（帳票の論理構造）とに基づいて、帳票データＤＢ２３に帳票の論理構造を修正する。そして、論理構造解析部３５は、修正した帳票の論理構造をインターフェース制御部３１に出力し、インターフェース制御部３１は、受け付けた修正した帳票の論理構造を表示部１２に表示出力する。

そして、ユーザアクションで処理終了が選択されるまで（ステップＳ１０８否定）、帳票認識装置１０は、上記したステップＳ１０４〜ステップＳ１０７の処理を繰り返し、ユーザアクションで処理終了が選択されると（ステップＳ１０８肯定）、帳票認識装置１０は、処理を終了する。

（表示項目決定処理の流れ）
次に、図１５を用いて、表示項目決定処理について説明する。図１５は、実施例１に係る帳票認識装置における表示項目決定処理の流れを示すフローチャートである。

この表示項目決定処理は、図１４のステップＳ１０７に該当し、入力された帳票の論理構造が表示部１２に表示出力された後に、ユーザアクションを受け付けた場合に、当該ユーザアクションに基づいて表示項目を決定する処理である。

具体的には、帳票認識装置１０は、表示項目決定処理において、ユーザがある項目を選択すると、その項目の選択フラグのみがＯＮになった論理要素がインターフェース制御部３１から論理構造解析部３５に送られてくる。そこで、論理構造解析部３５では、帳票データＤＢ２３に記憶されている論理要素をサーチして選択フラグがＯＮになっているものを見つけ、その論理要素ＩＤを用いて論理構造雛形ＤＢ２１を参照し、対応する論理要素と、その親、および、さらにその親というようにして上位の論理要素をたどってすべての上位の論理要素を列挙する。そして、論理構造解析部３５では、列挙した論理要素を対応する論理要素を帳票データＤＢ２３からサーチして見つけて、それらの表示フラグをＯＮにする。ただし、選択フラグがＯＮになっている論理要素の候補変更フラグがＮＯＷになっているときは、そのすぐ上位の論理要素の表示フラグはＯＦＦにする。

ここで、論理構造雛形ＤＢ２２に基づいて、抽出されて対応付けられた論理要素全てに変数「ｉ（ｉ＝０〜Ｍ）」を割り振って（論理要素Ｌｉ）、上記した処理の流れをフローを用いて説明する。ユーザによりある項目が選択されて、その項目の選択フラグのみがＯＮになった論理構造をインターフェース制御部３１から受け付けた論理構造解析部３５は、変数「ｉ」に「０」を代入する（ステップＳ２０１）。

そして、論理構造解析部３５は、変数「ｉ」が「Ｍ」よりも小さい場合（ステップＳ２０２肯定）、帳票データＤＢ２３に記憶されている論理要素「Ｌｉ」の選択フラグがＯＮか否かを判定する（ステップＳ２０３）。

そして、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の選択フラグがＯＮである場合（ステップＳ２０３肯定）、論理構造解析部３５は、当該論理要素「Ｌｉ」の表示フラグをＯＮにするとともに（ステップＳ２０４）、論理構造雛形ＤＢ２２に記憶される論理要素のデータ構造を参照して、当該論理要素「Ｌｉ」の上位の論理要素を求めてそれらの表示フラグをＯＮにし（ステップＳ２０５）、当該論理要素「Ｌｉ」の候補選択フラグがＯＮであるか否かを判定する（ステップＳ２０６）。

その後、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の候補選択フラグがＯＮである場合には（ステップＳ２０６肯定）、論理構造解析部３５は、当該論理要素「Ｌｉ」の１つ上位の論理要素の表示フラグをＯＦＦにして処理を終了し（ステップＳ２０７）、当該論理要素「Ｌｉ」の候補選択フラグがＯＮでない場合には（ステップＳ２０６否定）、そのまま処理を終了する。

一方、ステップＳ２０３に戻り、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の選択フラグがＯＮでない場合（ステップＳ２０３否定）、論理情報解析部３５は、変数「ｉ」を「１」増加させた次の論理要素「Ｌｉ＋１」に対して（ステップＳ２０８）、ステップＳ２０２〜ステップＳ２０７の処理を実施する。

（矛盾項目発見処理の流れ）
次に、図１６と図１７とを用いて、矛盾項目発見処理について説明する。図１６は、実施例１に係る帳票認識装置における矛盾項目発見処理の流れを示すフローチャートであり、図１７は、実施例１に係る矛盾項目発見処理における候補フラグ変更処理の流れを示すフローチャートである。

この矛盾項目発見処理は、図１４のステップＳ１０６とテップＳ１０７とに該当し、修正などのユーザアクションを受け付けた場合に、当該ユーザアクションによる修正内容において発生する矛盾項目を発見する処理である。

具体的には、帳票認識装置１０は、矛盾項目発見処理において、論理構造をサーチして、領域ＩＤに対して、領域ＩＤに対応する領域が領域候補になっている論理要素を求め、論理要素ＩＤとその候補順位を列挙する。ここで、ひとつの領域ＩＤに対して、第１位候補が複数あるときは、それに対応する論理要素と親の情報の矛盾フラグをＯＮにする。また、選択フラグがＯＮになっている論理要素の候補変更フラグがＮＯＷになっているときは、その第１位候補が領域候補になっている論理要素に関して、それが第１位候補ではないときには最下位候補に順位を下げ、それ以外の順位を上げて、候補変更フラグをＰＡＳＴにする。

ここで、論理構造雛形ＤＢ２１に基づいて、抽出されて対応付けられた論理要素全てに変数「ｉ（ｉ＝０〜Ｍ）」（論理要素Ｌｉ）と「ｊ」（論理要素Ｌｊ）とを割り振って、上記した処理の流れをフローを用いて説明する。ユーザによりある項目が選択されて、帳票データＤＢ２３の制御情報２２ｄに記憶されている選択フラグのみがＯＮになった論理情報をインターフェース制御部３１から受け付けた論理情報解析部３５は、変数「ｉ」に「０」、「Ｌｊ＝ＮＵＬＬ」、「ｊ＝１〜Ｎ」とする変数の初期化を行う（ステップＳ３０１）。

そして、論理情報解析部３５は、変数「ｉ」が「Ｍ」よりも小さい場合（ステップＳ３０２肯定）、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の第ｒ位領域候補のＩＤを「ｓ」としてＬ（ｓ）に（ｉ、ｒ）を追加して（ステップＳ３０３）、変数「ｉ」を「１」増加させて（ステップＳ３０４）、ステップＳ３０２に戻る。つまり、一つの論理要素「Ｌｉ」について複数の候補がある場合に、一つの論理要素の候補「Ｌ（ｉ、ｒ）」としてそれぞれを対応付ける。

その後、変数「ｉ」が「Ｍ」よりも大きくなった場合（ステップＳ３０２否定）、論理構造解析部３５は、辺「ｊ」に「０」を代入して（ステップＳ３０５）、変数「ｊ」が「Ｎ」よりも小さいか否かを判定する（ステップＳ３０６）。

変数「ｊ」が「Ｎ」よりも小さい場合（ステップＳ３０６肯定）、論理構造解析部３５は、帳票データＤＢ２３の制御情報２２ｄを参照して「Ｌｊ」に第１位候補が複数あるときに、第１位候補に対応する論理要素の矛盾フラグをＯＮにし（ステップＳ３０７）、変数「ｊ」を「１」増加させて（ステップＳ３０８）、ステップＳ３０６以降の処理を繰り返す。そして、変数「ｊ」が「Ｎ」よりも大きくなった場合（ステップＳ３０６否定）、論理構造解析部３５は、処理を終了する。

つまり、帳票データＤＢ２３の制御情報２２ｄを参照し、ユーザにより変更された論理要素「Ｌｉ」が他の領域の論理要素「Ｌｊ」として使用されている場合には矛盾が発生していることとなるため、ユーザにより変更された論理要素「Ｌｉ」に一致する他の論理要素「Ｌｊ」があるか否かを判定し、ある場合には、他の論理要素「Ｌｊ」の矛盾フラグをＯＮにする。

また、図１７を用いて、実施例１に係る矛盾項目発見処理における候補フラグ変更処理の流れを説明する。図１７に示すように、論理構造解析部３５は、ユーザによりある項目が選択されて、帳票データＤＢ２３の制御情報２２ｄに記憶されている選択フラグのみがＯＮになった論理情報をインターフェース制御部３１から受け付けた論理構造解析部３５は、変数「ｉ」に「０」を代入する（ステップＳ４０１）。

そして、変数「ｉ」が「Ｍ」よりも小さい場合（ステップＳ４０２肯定）、論理構造解析部３５は、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の選択フラグをＯＮ、論理要素「Ｌｉ」の候補変更フラグをＯＮ、論理要素「Ｌｉ」の第１位候補のＩＤを「ｓ」として論理要素Ｌ（ｓ）のうち第１位候補でないものを対応する論理湯祖の中で最下位候補へ落とす（ステップＳ４０３〜ステップＳ４０５）。その後、論理構造解析部３５は、変数「ｉ」を「１」増加させて（ステップＳ４０６）、次の論理要素「Ｌｉ＋１」に対して、ステップＳ４０２〜ステップＳ４０５の処理を実施し、変数「ｉ」が「Ｍ」より大きくなると（ステップＳ４０２否定）、処理を終了する。

（表示情報設定処理の流れ）
次に、図１８を用いて、表示情報設定処理について説明する。図１８は、実施例１に係る帳票認識装置における表示情報設定処理の流れを示すフローチャートである。この表示情報設定処理は、図１４のステップＳ１０７に該当し、上記した矛盾項目発見処理の後に、表示項目を決定するとともに、表示する画像の領域を決定する処理である。

具体的には、帳票認識装置１０は、表示情報設定処理において、表示フラグがＯＮになっている論理要素に関して、ルートを除く最上位の論理要素を求めて表示情報の最上位論理要素に設定する。また、表示情報設定処理では、表示フラグがＯＮになっている論理要素と矛盾フラグがＯＮになっている論理要素を修正ウインドウ表示項目に記す。そして、これらの領域候補第１位の領域とサブ選択フラグがＯＮになっている論理要素（サブ選択番号をｘとする）で領域候補第ｘ位の領域に関し、帳票画像上でそれらを囲む外接矩形を求める。そして、その外接矩形の周りにあらかじめ決めておく大きさのマージンを付け加え、画像からはみ出さすときははみ出さないように修正して、帳票画像上での表示領域を決め、その座標を画像表示領域に設定する。

ここで、論理構造雛形ＤＢ２２に基づいて、抽出されて対応付けられた論理要素全てに変数「ｉ（ｉ＝０〜Ｍ）」を割り振って（論理要素Ｌｉ）、上記した処理の流れをフローを用いて説明する。ユーザによりある項目が選択されて、その項目の選択フラグのみがＯＮになった論理情報をインターフェース制御部３１から受け付けた論理構造解析部３５は、変数「ｉ」に「０」を代入する（ステップＳ５０１）。

そして、論理構造解析部３５は、変数「ｉ」が「Ｍ」よりも小さい場合（ステップＳ５０２肯定）、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の表示フラグがＯＮか否かを判定する（ステップＳ５０３）。

帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の表示フラグがＯＮでない場合には（ステップＳ５０３否定）、論理構造解析部３５は、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の矛盾フラグがＯＮか否かを判定し（ステップＳ５０４）、矛盾フラグがＯＮである場合（ステップＳ５０４肯定）、論理要素「Ｌｉ」の第１位領域候補を領域リストへ追加し、領域候補「Ｌｉ」を修正ウインドウ項目へ追加する（ステップＳ５０５）。

そして、論理構造解析部３５は、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」のサブ選択フラグがＯＮである場合には（ステップＳ５０６肯定）、論理要素「Ｌｉ」のサブ選択番号ｘを、論理要素「Ｌｉ」の第ｘ位領域候補として領域リストへ追加し（ステップＳ５０７）、その後に変数「ｉ」を「１」増加させて（ステップＳ５０８）、ステップＳ５０２〜ステップＳ５０８までの処理を繰り返す。

一方、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」のサブ選択フラグがＯＮでない場合には（ステップＳ５０６否定）、論理構造解析部３５は、その後に変数「ｉ」を「１」増加させて（ステップＳ５０８）、ステップＳ５０２〜ステップＳ５０８までの処理を繰り返す。

ステップＳ５０３に戻り、論理情報解析部３５は、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の表示フラグがＯＮである場合には（ステップＳ５０３肯定）、ステップＳ５０５の処理を行い、帳票データＤＢ２３の制御情報２２ｄに記憶されている論理要素「Ｌｉ」の矛盾フラグがＯＮでない場合（ステップＳ５０４否定）、ステップＳ５０６の処理を実施する。

その後、変数「ｉ」が「Ｍ」よりも大きくなった場合（ステップＳ５０２否定）、論理構造解析部３５は、領域リストの領域について座標を用いて外接矩形を算出し、算出した外接矩形に予め定めたマージン分を出して表示情報の画像表示領域として、帳票データＤＢ２３の表示情報２２ｅに格納する（ステップＳ５０９とステップＳ５１０）。

（画面表示を用いた説明）
次に、図１９〜図２５を用いて、帳票認識装置による処理を画面表示例を用いて説明する。図１９は、表示される画面例を示す図であり、図２０は、ユーザに選択された画面を示す図であり、図２１は、論理要素候補が例示された画面を示す図であり、図２２は、ユーザにより論理要素が修正された例を示す図であり、図２３は、矛盾項目が見つかった例を示す図であり、図２４は、矛盾項目が修正された例を示す図であり、図２５は、修正が完了した例を示す図である。

論理情報の修正画面は、認識対象の画像と修正ウインドウが並置される（図１９参照）。修正ウインドウには、論理情報が表示されており、このうちデータ部分はユーザが自由に書き込めるようになっている。データ入力部分の右下にはボタンがあり、データ入力部分を選択したときにアクティブになり、それを押すと候補が表示される。帳票認識装置１０は、ユーザが選択したときに、制御情報２２ｄをなどを参照して、選択した論理要素に関連する上位の論理要素とそれらに対応する帳票上の領域をわかるように表示する。これにより、同じ言葉でも異なる意味の見出しを判別できるようになり、修正が確実になり効率化される。

具体的に例を挙げて説明すると、図１４に示したステップＳ１０１〜ステップＳ１０３の処理を実施すると、帳票認識装置１０は、図１９に示したように、読み込んだ元の帳票のデータである帳票画像（ａ）と読み込んだ帳票から論理構造を取得して作成した修正ウインドウ（ｂ）を表示部１２に表示する。なお、帳票認識装置１０は、ここで表示されている各論理要素（例えば、本人、電話番号など）に対応付けて、図８〜図１０に示した各データを備えていることとなる。

この例では、本人の電話番号と勤務先の電話番号を誤って認識した。修正画面の本人の電話番号欄がユーザによりクリックして選択されると、帳票認識装置１０は、これに対応する見出し−上位見出しがハイライト表示されると同時に、左の帳票画像においても対応する文字列を矩形で表示し、これらが映し出されるサイズで電話番号（０４４−７７７−１１１１のところ）が中央に表示される。ユーザはこれを見て、文字列の対応が誤っていることを一瞬で察知する（図２０参照）。

また、帳票認識装置１０は、ルートを除く見出しの論理要素の最上位が変化しなければ帳票画像の表示も変えないようにすることで、確認のたびごとに左の帳票画像が移動せず、見出しの論理要素の最上位が変化して初めて帳票画像が移動する。これにより、確認の際のユーザの視点移動をスムーズにできる。例えば、図７のように論理構造認識結果がすべて合っていたとして、帳票認識装置１０は、修正ウインドウの上から順番に確認していき、本人氏名、本人住所、本人電話番号の確認では、帳票画像の本人の表がクローズアップされて表示されそのまま動かないが、勤務先住所を確認しようとして初めて勤務先の表がクローズアップされるように画面を移動させる。

その後、帳票認識装置１０は、ユーザが一度修正したら、その修正結果を基にして、矛盾するところや確認すべきところをユーザに提示する。ユーザが修正したところが関連する部分で、修正した部分が誤っているならば誤っている可能性が高いところを提示する。

例えば、帳票認識装置１０は、ユーザは本人の電話番号が誤っているのに気づいたので、右下のグレーのボタンがユーザによりクリックされると、他の文字列候補を表示する（図２１参照）。そして、第２候補にユーザがカーソルを合わせると、帳票認識装置１０は、その文字列候補に対応する文字列が帳票画像上で矩形によって表示する（図２２参照）。その後、ユーザは確認してそれを選択する。すると、帳票認識装置１０は、勤務先の電話番号が重複して対応することになるので、矛盾するところを修正画面で表示して、ユーザに確認するよう促す（図２３参照）。同様にして、右下のグレーのボタンがクリックされると、帳票認識装置１０は、他の文字列候補を表示し（図２４参照）、ユーザは、第２候補にカーソルを合わせて選択する（図２５参照）。

その後、帳票認識装置１０は、ユーザが修正を行うたびに、修正結果と認識結果候補を比較して、認識結果候補の順位を更新する（図２６、図２７参照）。図２６では、本人と勤務先に親権者の欄が加わった画面例を示し、図２７では、論理構造認識結果の一部を示す図である。本人住所の認識候補が「１．Ｋ」、「２．Ｃ」、「３．Ｑ」であり、勤務先の認識候補が「１．Ｑ」、「２．Ｃ」、「３．Ｋ」であるとする。ここで、帳票認識装置１０は、本人住所を修正してＣとすると、勤務先の認識候補でＣの可能性はほぼないと判断できるので、勤務先の認識候補を「１．Ｑ」、「２．Ｋ」、「３．Ｃ」と変更する。

（全体的な処理の流れのまとめ）
上記した処理の流れについて、このような表示画面では、ユーザの操作により、修正ウインドウにおいて、見出しの文字列とデータ入力部をクリックで選択できるとともに、データ部分の文字列を変更できるようになっている。また、ユーザ側は、データ部分の変更として、認識候補の選択と直接文字列を書き込む２つの手段がある。

具体的には、ユーザが修正ウインドウにおいて、見出しの文字列とデータ入力部のいずれかをクリックすると、帳票認識装置１０は、どこをクリックしたかを求め、対応する論理情報の選択フラグをＯＮにする。そして、修正ウインドウにおいて、データ文字列の認識候補を第２位以降表示させてカーソル（マウス）がユーザにより合わせられると、帳票認識装置１０は、サブ選択フラグをＯＮにして、カーソルを合わされた候補の候補順位をサブ選択番号に設定する。カーソルが合わされた候補が変わるたびに同様の処理を行う。さらに、ユーザにより候補が選択されると、帳票認識装置１０は、対応する論理情報において、選択したものを第１位にして、それ以降を下位にずらすようにして認識候補の順位を更新し、さらに候補変更フラグをＮＯＷにする。また、帳票認識装置１０は、直接文字列を書き込んだときは、論理情報の第１位候補の文字列をそれに置き換え、文字情報をクリアして文字の個数を０にし、領域ＩＤと座標をクリアする。

また、図１９に示したように、帳票認識装置１０が表示する画面には、帳票画像を表示するウインドウと、修正画面を表示するウインドウがある。帳票認識装置１０は、帳票画像の表示において、表示情報の画像表示領域によって帳票画像の該当する領域を表示し、修正ウインドウにおいては、帳票から入力したいデータをその見出しと上位見出しとともに表示するようになっており、あらかじめ論理構造雛形ＤＢ２２のどのデータを入力するかということと、どのような順番で表示するかを設定できるようになっている。帳票認識装置１０は、初期状態ではそれらがすべて表示するが、ユーザの修正作業が始まると、それらのうちで、表示情報の修正ウインドウ表示項目に記されている論理要素が含まれるように部分的に表示される。

具体的には、論理構造解析部３５は、インターフェース制御部３１から論理情報と表示情報を受けたら、表示情報２２ｅの最上位の論理要素と画像表示領域を参照し、直前の最上位の論理要素と画像表示領域と比較して、最上位の論理要素が直前のものと同じであり、かつ、画像表示領域が直前のものに包含されているならば、表示領域は直前のものと変えないようにする。それ以外の場合は、論理情報解析部３５は、与えられた画像表示領域を表示領域として決定して、表示情報２２ｅに格納する。

そして、論理構造解析部３５は、帳票画像上で画像表示領域を、修正ウインドウ上で修正ウインドウ表示項目に記されている論理要素が含まれるように表示する。さらに、論理構造解析部３５は、制御情報２２ｄにおいて、表示フラグがＯＮになっている論理要素に関して領域候補第１位の領域を矩形で表示し、修正ウインドウ上では論理要素が見出しならば文字列の色を変えて（例えば青）表示し、データならば入力部の色を変えて（例えば赤）表示する。同様に、論理構造解析部３５は、制御情報２２ｄにおいて、選択フラグがＯＮ、サブ選択フラグがＯＮになっている論理要素に関しては、サブ選択番号をｘとすると、領域候補第ｘ位の領域について色を変えた矩形（例えばオレンジ）で表示する。また、論理構造解析部３５は、制御情報２２ｄにおいて、表示フラグがＯＦＦで矛盾フラグがＯＮになっている論理要素に関して、論理要素の文字列の色を変えて（例えば緑）表示し、種別がデータのとき領域候補第１位の領域について色を変えた矩形（例えば緑）で表示する。

［実施例１による効果］
このように、実施例１によれば、帳票上の文字列と、当該帳票上の文字列と前記論理構造雛形記憶手段に記憶される論理要素間の関係との対応付けとを帳票データとして帳票データＤＢ２３に記憶し、入力された帳票を認識し、論理構造雛形ＤＢ２２に記憶される論理要素と一致する文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶手段に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、帳票上の文字列と論理構造雛形ＤＢ２２に記憶される論理要素間の関係との対応付けを帳票データＤＢ２３に格納し、帳票データＤＢ２３に記憶される帳票データと、認識された帳票画像とをそれぞれ表示部に出力し、表示部１２に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を帳票データＤＢ２３から特定して、特定した文字列を他の文字列と区別した帳票データを表示部１２に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の画像を表示部１２に表示出力するので、認識した帳票データの訂正作業において、訂正作業者の負担を軽減することが可能である。

また、実施例１によれば、入力された帳票を認識し、論理構造雛形ＤＢ２２に記憶される論理要素の候補となる帳票上の文字列を抽出して帳票データＤＢ２３に格納するとともに、論理構造雛形ＤＢ２２に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを複数抽出して、帳票上の文字列と論理構造雛形ＤＢ２２に記憶される論理要素間の関係との対応付けを帳票データＤＢ２３に格納し、表示部１２に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列の候補となる他の文字列を帳票データＤＢ２３からさらに特定して、特定した候補となる他の文字列をユーザにより選択された文字列に対応付けてさらに表示部１２に表示出力するので、訂正作業者（ユーザ）は、文字列の対応が誤っていることを一瞬で察知することが可能である。

また、実施例１によれば、入力された帳票を認識し、論理構造雛形ＤＢ２２に記憶される論理要素の候補となる帳票上の文字列に対応付けて、それぞれ候補となる文字列の順位を抽出して帳票データＤＢ２３に格納するとともに、論理構造雛形ＤＢ２２に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを複数抽出して、帳票上の文字列と論理構造雛形ＤＢ２２に記憶される論理要素間の関係との対応付けを帳票データＤＢ２３に格納し、表示部１２に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列の候補となる他の文字列と順位とを帳票データＤＢ２３からさらに特定して、特定した候補となる順位の高い他の文字列をユーザにより選択された文字列に対応付けてさらに表示部１２に表示出力するので、訂正作業者（ユーザ）は、文字列の対応が誤っていることを一瞬で察知することが可能であるとともに、新たな文字列候補を簡単に選択することが可能である。

また、実施例１によれば、表示部１２に表示された帳票データの文字列がユーザにより修正された場合に、当該修正された文字列と論理要素間の関係が他の文字列を帳票データＤＢ２３から特定し、特定した論理要素間の関係がある他の文字列を特定されていない他の文字列と区別した帳票データを表示部１２に表示出力するとともに、帳票画像のうち当該特定された帳票データの文字列を含む最低限の画像を表示部１２に表示出力するので、ユーザが認識結果を修正するたびにデータ文字列候補の順位を変え、修正結果と矛盾するところがあればユーザに注意を喚起することができる結果、ユーザは、修正を正確かつ迅速に行えるようになる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）帳票画像形式、（２）システム構成等、（３）プログラム、にそれぞれ区分けして異なる実施例を説明する。

（１）帳票画像形式
例えば、本発明は、紙媒体の帳票画像だけでなく、ネットワーク、各種記憶媒体、電子メールなどから受け付けた電子ファイルの帳票画像についても上記した同様の処理を行うことができる。

（２）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

（３）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。

図２８は、帳票認識プログラムを実行するコンピュータシステムの例を示す図である。図２８に示すように、コンピュータシステム１００は、ＲＡＭ１０１と、ＨＤＤ１０２と、ＲＯＭ１０３と、ＣＰＵ１０４とから構成される。ここで、ＲＯＭ１０３には、上記の実施例と同様の機能を発揮するプログラム、つまり、図２８に示すように、帳票データ格納プログラム１０３ａと、表示制御プログラム１０３ｂとがあらかじめ記憶されている。

そして、ＣＰＵ１０４には、これらのプログラム１０３ａと１０３ｂを読み出して実行することで、図２８に示すように、帳票データ格納プロセス１０４ａと、表示制御プロセス１０４ｂとなる。なお、帳票データ格納プロセス１０４ａは、図２に示した、文字認識部３３と論理構造認識部３４とに対応し、同様に、表示制御プロセス１０４ｂは、インターフェース制御部３１と論理構造解析部３５に対応する。

また、ＨＤＤ１０２には、各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形テーブル１０２ａと、帳票上の文字列と、当該帳票上の文字列と論理構造雛形テーブル１０２ａに記憶される論理要素間の関係との対応付けとを帳票データとして記憶する帳票データテーブル１０２ｂとが設けられる。なお、論理構造雛形テーブル１０２ａは、図２に示した、論理構造雛形ＤＢ２２に対応し、帳票データテーブル１０２ｂは、同様に、帳票データＤＢ２３に対応する。

ところで、上記したプログラム１０３ａと１０３ｂとは、必ずしもＲＯＭ１０３に記憶させておく必要はなく、例えば、コンピュータシステム１００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらに、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータシステム１００に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム１００がこれらからプログラムを読み出して実行するようにしてもよい。

（付記１）各種の帳票に対応付けて、当該帳票を構成する複数の文字列それぞれを示す論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、前記論理構造雛形記憶部に記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識することをコンピュータに実行させる帳票認識プログラムであって、
前記帳票上の文字列と、当該帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けとを帳票データとして記憶する帳票データ記憶手段と、
前記入力された帳票を認識した帳票画像に対して、前記論理構造雛形記憶部に記憶される論理要素と一致する文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納する帳票データ格納手順と、
前記帳票データ記憶手段に記憶される帳票データと、前記認識された帳票画像とをそれぞれ表示部に出力し、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を前記帳票データ記憶手段から特定して、特定した文字列を他の文字列と区別した帳票データを表示部に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力する表示制御手順と、
をコンピュータに実行させることを特徴とする帳票認識プログラム。

（付記２）前記帳票データ格納手順は、前記入力された帳票を認識し、前記論理構造雛形記憶部に記憶される論理要素の候補となる帳票上の文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを複数抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納し、
前記表示制御手順は、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列の候補となる他の文字列を前記帳票データ記憶手段からさらに特定して、特定した候補となる他の文字列をユーザにより選択された文字列に対応付けてさらに表示部に表示出力することを特徴とする付記１に記載の帳票認識プログラム。

（付記３）前記帳票データ格納手順は、前記入力された帳票を認識し、前記論理構造雛形記憶部に記憶される論理要素の候補となる帳票上の文字列に対応付けて、それぞれ候補となる文字列の順位を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを複数抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納し、
前記表示制御手順は、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列の候補となる他の文字列と順位とを前記帳票データ記憶手段からさらに特定して、特定した候補となる順位の高い他の文字列をユーザにより選択された文字列に対応付けてさらに表示部に表示出力することを特徴とする付記１に記載の帳票認識プログラム。

（付記４）前記表示制御手順は、前記表示部に表示された帳票データの文字列がユーザにより修正された場合に、当該修正された文字列と論理要素間の関係が他の文字列を前記帳票データ記憶手段から特定し、特定した論理要素間の関係がある他の文字列を特定されていない他の文字列と区別した帳票データを表示部に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力することを特徴とする付記１に記載の帳票認識プログラム。

（付記５）各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、前記論理構造雛形記憶部に記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識する帳票認識装置であって、
前記帳票上の文字列と、当該帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けとを帳票データとして記憶する帳票データ記憶手段と、
前記入力された帳票を認識した帳票画像に対して、前記論理構造雛形記憶部に記憶される論理要素と一致する文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納する帳票データ格納手段と、
前記帳票データ記憶手段に記憶される帳票データと、前記認識された帳票画像とをそれぞれ表示部に出力し、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を前記帳票データ記憶手段から特定して、特定した文字列を他の文字列と区別した帳票データを表示部に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力する表示制御手段と、
を備えたことを特徴とする帳票認識装置。

（付記６）各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、前記論理構造雛形記憶部に記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識することに適した帳票認識方法であって、
前記帳票上の文字列と、当該帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けとを帳票データとして記憶する帳票データ記憶手段と、
前記入力された帳票を認識した帳票画像に対して、前記論理構造雛形記憶部に記憶される論理要素と一致する文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納する帳票データ格納工程と、
前記帳票データ記憶手段に記憶される帳票データと、前記認識された帳票画像とをそれぞれ表示部に出力し、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を前記帳票データ記憶手段から特定して、特定した文字列を他の文字列と区別した帳票データを表示部に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力する表示制御工程と、
を含んだことを特徴とする帳票認識方法。

以上のように、本発明に係る帳票認識プログラムおよび帳票認識装置は、各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、論理構造雛形記憶部に記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識することに有用であり、特に、認識した帳票データの訂正作業において、訂正作業者の負担を軽減することに適する。

実施例１に係る帳票認識装置の全体構成を示すシステム構成図である。 実施例１に係る帳票認識装置の構成を示すブロック図である。 表示される帳票画像と帳票データとを示す図である。 レイアウト情報ＤＢに記憶される情報の例を示す図である。 論理構造雛形ＤＢに記憶される論理構造を示す図である。 論理構造雛形ＤＢに記憶される論理構造を構成する各論理要素のデータ構造を示す図である。 帳票データＤＢ２３に記憶される論理構造対応付け結果２２ａの例を示す図である。 論理結果データ２３ｂに記憶される情報の例を示す図である。 領域情報２３ｃに記憶される情報の例を示す図である。 制御情報２２ｄに記憶される情報の例を示す図である。 表示情報２２ｅに記憶される情報の例を示す図である。 論理要素の対応関係の例を示す図である。 論理要素の対応関係の例を示す図である。 実施例１に係る帳票認識装置における全体的な処理の流れを示すフローチャートである。 実施例１に係る帳票認識装置における表示項目決定処理の流れを示すフローチャートである。 実施例１に係る帳票認識装置における矛盾項目発見処理の流れを示すフローチャートである。 実施例１に係る矛盾項目発見処理における候補フラグ変更処理の流れを示すフローチャートである。 実施例１に係る帳票認識装置における表示情報設定処理の流れを示すフローチャートである。 表示される画面例を示す図である。 ユーザに選択された画面を示す図である。 論理要素候補が例示された画面を示す図である。 ユーザにより論理要素が修正された例を示す図である。 矛盾項目が見つかった例を示す図である。 矛盾項目が修正された例を示す図である。 修正が完了した例を示す図である。 本人と勤務先に親権者の欄が加わった画面例を示す図である。 論理構造認識結果の一部を示す図である 帳票認識プログラムを実行するコンピュータシステムの例を示す図である。

符号の説明

１０ 帳票認識装置
１１ 入力受付部
１２ 表示部
２０ 記憶部
２１ レイアウト情報ＤＢ
２２ 論理構造雛形ＤＢ
２３ 帳票データＤＢ
３０ 制御部
３１ インターフェース制御部
３２ レイアウト認識部
３３ 文字認識部
３４ 論理構造認識部
３５ 論理構造解析部
１００ コンピュータシステム
１０１ ＲＡＭ
１０２ ＨＤＤ
１０２ａ 論理構造雛形テーブル
１０２ｂ 帳票データテーブル
１０３ ＲＯＭ
１０３ａ 帳票データ格納プログラム
１０３ｂ 表示制御プログラム
１０４ ＣＰＵ
１０４ａ 帳票データ格納プロセス
１０４ｂ 表示制御プロセス

Claims (6)

1. 各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、前記論理構造雛形記憶部に記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識することをコンピュータに実行させる帳票認識プログラムであって、
   前記帳票上の文字列と、当該帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けとを帳票データとして記憶する帳票データ記憶手段と、
   前記入力された帳票を認識した帳票画像に対して、前記論理構造雛形記憶部に記憶される論理要素と一致する文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納する帳票データ格納手順と、
   前記帳票データ記憶手段に記憶される帳票データと、前記認識された帳票画像とをそれぞれ表示部に出力し、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を前記帳票データ記憶手段から特定して、特定した文字列を他の文字列と区別した帳票データを表示部に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力する表示制御手順と、
   をコンピュータに実行させることを特徴とする帳票認識プログラム。
2. 前記帳票データ格納手順は、前記入力された帳票を認識し、前記論理構造雛形記憶部に記憶される論理要素の候補となる帳票上の文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを複数抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納し、
   前記表示制御手順は、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列の候補となる他の文字列を前記帳票データ記憶手段からさらに特定して、特定した候補となる他の文字列をユーザにより選択された文字列に対応付けてさらに表示部に表示出力することを特徴とする請求項１に記載の帳票認識プログラム。
3. 前記帳票データ格納手順は、前記入力された帳票を認識し、前記論理構造雛形記憶部に記憶される論理要素の候補となる帳票上の文字列に対応付けて、それぞれ候補となる文字列の順位を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを複数抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納し、
   前記表示制御手順は、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列の候補となる他の文字列と順位とを前記帳票データ記憶手段からさらに特定して、特定した候補となる順位の高い他の文字列をユーザにより選択された文字列に対応付けてさらに表示部に表示出力することを特徴とする請求項１に記載の帳票認識プログラム。
4. 前記表示制御手順は、前記表示部に表示された帳票データの文字列がユーザにより修正された場合に、当該修正された文字列と論理要素間の関係が他の文字列を前記帳票データ記憶手段から特定し、特定した論理要素間の関係がある他の文字列を特定されていない他の文字列と区別した帳票データを表示部に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力することを特徴とする請求項１に記載の帳票認識プログラム。
5. 各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、前記論理構造雛形記憶部に記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識する帳票認識装置であって、
   前記帳票上の文字列と、当該帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けとを帳票データとして記憶する帳票データ記憶手段と、
   前記入力された帳票を認識した帳票画像に対して、前記論理構造雛形記憶部に記憶される論理要素と一致する文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納する帳票データ格納手段と、
   前記帳票データ記憶手段に記憶される帳票データと、前記認識された帳票画像とをそれぞれ表示部に出力し、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を前記帳票データ記憶手段から特定して、特定した文字列を他の文字列と区別した帳票データを表示部に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力する表示制御手段と、
   を備えたことを特徴とする帳票認識装置。
6. 各種の帳票における論理要素と当該論理要素間の関係とを示す論理構造を記憶する論理構造雛形記憶部を備え、前記論理構造雛形記憶部に記憶される論理構造に従って、入力されて認識された帳票の論理構造を認識することに適した帳票認識方法であって、
   前記帳票上の文字列と、当該帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けとを帳票データとして記憶する帳票データ記憶手段と、
   前記入力された帳票を認識した帳票画像に対して、前記論理構造雛形記憶部に記憶される論理要素と一致する文字列を抽出して前記帳票データ記憶手段に格納するとともに、前記論理構造雛形記憶部に記憶される論理要素間の関係を満たす帳票上の文字列の組み合わせを抽出して、帳票上の文字列と前記論理構造雛形記憶部に記憶される論理要素間の関係との対応付けを前記帳票データ記憶手段に格納する帳票データ格納工程と、
   前記帳票データ記憶手段に記憶される帳票データと、前記認識された帳票画像とをそれぞれ表示部に出力し、前記表示部に表示された帳票データの文字列がユーザにより選択された場合に、当該選択された文字列に関係する文字列を前記帳票データ記憶手段から特定して、特定した文字列を他の文字列と区別した帳票データを表示部に表示出力するとともに、前記帳票画像のうち当該特定された帳票データの文字列を含む最低限の領域を表示部に表示出力する表示制御工程と、
   を含んだことを特徴とする帳票認識方法。

Images