JP2021114211A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】表を含む表画像の認識結果を元の表の構造のまま表示する場合に比較して、操作者が表画像と認識結果を確認する手間を軽減する。【解決手段】プロセッサを備え、プロセッサは、表を含む表画像の認識結果を取得し、表の行又は列ごとに、表画像と認識結果とを交互に配置した画面を表示するように制御することを特徴とする情報処理装置。【選択図】図７

Description

本発明は、情報処理装置及びプログラムに関する。

ユーザにより記入された紙文書を読み取った画像に対して、記入箇所を認識する画像処理装置であって、記入箇所のうち、記入されたマークを認識する領域を予め設定し、設定された領域に基づいて、認識対象となる画像上の領域に対してマークの認識を行い、マークの認識がされた領域に対する認識結果を示すオブジェクトを生成し、生成されたオブジェクトを、マークの認識がされた領域に対応する位置に重ね合わせて表示する画像処理装置は、知られている（例えば、特許文献１参照）。

表の画像に含まれる罫線と文字列の配置状態に基づいて、表における各項の領域とその位置を解析して表構造を得、得られた表構造を表示し、表示された表構造に対して、項の領域の修正を指示し、修正指示に基づいて、項の領域と位置を修正して修正後の表構造を得、修正後の表構造における各項について文字認識を行い、その認識結果と表構造に基づいて表形式データを生成する表認識装置も、知られている（例えば、特許文献２参照）。

特開２０１３−０１２２２３号公報 特開２０００−０９０１９５号公報

表を含む表画像を認識した認識結果を操作者が確認して修正することがある。その際、表画像とは別に認識結果を元の表の構造のまま表示させて、操作者が表画像と認識結果を確認する場合、表画像と認識結果が離れて表示されているため、操作者は表画像と認識結果を行き来しながら認識結果を確認しなくてはいけなく、操作者にとって、確認作業は手間であった。

本発明の目的は、表を含む表画像の認識結果を元の表の構造のまま表示する場合に比較して、操作者が表画像と認識結果を確認する手間を軽減することにある。

請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、表を含む表画像の認識結果を取得し、前記表の行又は列ごとに、前記表画像と前記認識結果とを交互に配置した画面を表示するように制御する
ことを特徴とする情報処理装置である。
請求項２に記載の発明は、前記プロセッサは、前記画面を表示する際に、前記表画像における行又は列の構造と、前記認識結果における行又は列の構造との間の不整合がある箇所を、他の箇所とは異なる態様で表示するように制御することを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、操作者から入力された前記表の列数又は行数に基づいて、前記不整合がある箇所を特定することを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、前記認識結果を解析して得られた前記表の列数又は行数に基づいて、前記不整合がある箇所を特定することを特徴とする請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、操作者の前記認識結果を修正する操作に応じて、当該認識結果を修正した修正後認識結果を表示するように制御することを特徴とする請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記修正後認識結果を表示する際に、前記表画像から切り出された画像は表示しないように制御することを特徴とする請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、前記修正後認識結果を表示する際に、修正前の前記認識結果を並べて表示するように制御することを特徴とする請求項５に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記修正後認識結果を表示する際に、当該修正後認識結果における修正された箇所を、他の箇所とは異なる態様で表示するように制御することを特徴とする請求項５に記載の情報処理装置である。
請求項９に記載の発明は、コンピュータに、表を含む表画像の認識結果を取得する機能と、前記表の行又は列ごとに、前記表画像と前記認識結果とを交互に配置した画面を表示するように制御する機能とを実現させるためのプログラムである。

請求項１の発明によれば、表を含む表画像の認識結果を元の表の構造のまま表示する場合に比較して、操作者が表画像と認識結果を確認する手間を軽減することができる。
請求項２の発明によれば、表画像における行又は列の構造と認識結果における行又は列の構造との間の不整合がある箇所を他の箇所と同じ態様で表示する場合に比較して、不整合がある箇所の発見が容易になる。
請求項３の発明によれば、表画像を解析して得られた表の列数又は行数に基づいて不整合がある箇所を特定する場合に比較して、不整合がある箇所を正確に特定することができる。
請求項４の発明によれば、操作者から入力された表の列数又は行数に基づいて不整合がある箇所を特定する場合に比較して、不整合がある箇所を特定するための操作者の手間を軽減することができる。
請求項５の発明によれば、認識結果を修正した効果を確認することが可能となる。
請求項６の発明によれば、修正した認識結果を表画像から切り出された画像と共に表示する場合に比較して、認識結果を修正した効果を見易い状態で確認することが可能となる。
請求項７の発明によれば、修正した認識結果を単独で表示する場合に比較して、認識結果を修正した効果の確認が容易になる。
請求項８の発明によれば、修正した認識結果における修正された箇所を他の箇所と同じ態様で表示する場合に比較して、認識結果を修正した効果の確認が容易になる。
請求項９の発明によれば、表を含む表画像の認識結果を元の表の構造のまま表示する場合に比較して、操作者が表画像と認識結果を確認する手間を軽減することができる。

本発明の実施の形態が適用される帳票処理システムの全体構成例を示した図である。 （ａ），（ｂ）は、認識結果訂正装置が帳票認識結果から表領域を構成する際の様子を示した図である。 （ａ），（ｂ）は、認識結果訂正装置が帳票画像から表領域を切り出して再配置する際の様子を示した図である。 （ａ），（ｂ）は、認識結果訂正装置が表示する訂正画面の一例を示した図である。 認識結果訂正装置が表示する訂正後確認画面の一例を示した図である。 本発明の実施の形態における認識結果訂正装置のハードウェア構成例を示した図である。 本発明の実施の形態における認識結果訂正装置の機能構成例を示したブロック図である。 本発明の実施の形態における認識結果訂正装置の動作例を示したフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［帳票処理システムの全体構成］
図１は、本実施の形態が適用される帳票処理システム１の全体構成例を示した図である。図示するように、この帳票処理システム１は、画像読取装置１０と、帳票認識装置２０と、認識結果訂正装置３０と、帳票処理装置５０とが通信回線８０に接続されることにより構成されている。尚、図では、画像読取装置１０、帳票認識装置２０、認識結果訂正装置３０、帳票処理装置５０を１つずつしか示していないが、各装置は２つ以上設けられていてもよい。

画像読取装置１０は、紙等の記録媒体に記録された画像を読み取る装置である。ここで、画像読取装置１０は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。本実施の形態において、画像読取装置１０は、特に、記入枠を有し、その記入枠内に手書き又は印刷により文字、数字等の記号が記入された帳票を読み取る。

帳票認識装置２０は、画像読取装置１０が読み取った帳票の記入枠や記入枠内に記入された文字、数字等の記号を認識する装置である。帳票認識装置２０は、特に、記入枠が表構造を有している場合にその表構造を認識する。

認識結果訂正装置３０は、帳票認識装置２０が帳票を認識した結果（以下、「帳票認識結果」という）を訂正する装置である。認識結果訂正装置３０は、帳票認識結果を訂正するための訂正画面を表示し、この訂正画面上でユーザが帳票認識結果の訂正操作を行うと、帳票認識結果を訂正する。

帳票処理装置５０は、帳票認識装置２０による帳票認識結果、又は、認識結果訂正装置３０による帳票認識結果を認識結果訂正装置３０が訂正したものに対して、予め定められた処理を行う装置である。ここで、予め定められた処理としては、帳票の記入枠に関連付けられた項目と、記入枠内に記入された文字等を認識して得られたテキストデータとを対応付けてデータベースに格納する処理等がある。

［本実施の形態の概要］
本実施の形態では、認識結果訂正装置３０が、表の行又は列ごとに、表を含む表画像とその表画像の認識結果とを交互に配置した画面を表示する。尚、表の行ごとに、表を含む表画像とその表画像の認識結果とを交互に配置した画面を表示する場合と、表の列ごとに、表を含む表画像とその表画像の認識結果とを交互に配置した画面を表示する場合とは、行と列とが異なるだけで、その他は同じなので、以下では、前者の場合についてのみ説明する。前者の場合において行を列と読み替えれば、後者の場合となる。即ち、本実施の形態は、以下において「行」を「行又は列」と読み替えたものである。

図２（ａ），（ｂ）は、認識結果訂正装置３０が帳票認識結果４１０から表領域を構成する際の様子を示した図である。尚、このように構成された表領域のことを、以下では、「表認識結果４２０」と呼ぶことにする。

図２（ａ）には、認識結果訂正装置３０が帳票認識装置２０から取得した帳票認識結果４１０の一例を示している。図２（ａ）に示すように、帳票認識結果４１０は、例えばＸＭＬ（eXtensible Markup Language）による記述となっている。

この記述において、記述行４１１〜４１４は、表の１行目の認識結果を示している。具体的には、表の１行目から４つのセルを認識し、１つ目、２つ目、３つ目、４つ目のセルからそれぞれ文字「Ａ１」、「Ｍ２」、「Ａ３」、「Ａ４」を認識したことを示している。

また、記述行４１５〜４１９は、表の２行目の認識結果を示している。具体的には、表の２行目から５つのセルを認識し、１つ目、２つ目のセルからそれぞれ文字「Ｂ１」、「Ｂ２」を認識し、３つ目のセルから文字を認識せず、４つ目、５つ目のセルからそれぞれ文字「Ｂ３」、「Ｂ４」を認識したことを示している。

図２（ｂ）には、認識結果訂正装置３０が帳票認識結果４１０から構成した表認識結果４２０の一例を示している。

図２（ｂ）に示すように、表認識結果４２０の行認識結果４２１は、図２（ａ）の記述行４１１〜４１４に従い、４つのセルから構成され、１つ目、２つ目、３つ目、４つ目のセル内にそれぞれ文字「Ａ１」、「Ｍ２」、「Ａ３」、「Ａ４」が設定されたものとなっている。

表認識結果４２０の行認識結果４２２は、図２（ａ）の記述行４１５〜４１９に従い、５つのセルから構成され、１つ目、２つ目のセル内にそれぞれ文字「Ｂ１」、「Ｂ２」が設定され、３つ目のセル内には文字が設定されず、４つ目、５つ目のセル内にそれぞれ文字「Ｂ３」、「Ｂ４」が設定されたものとなっている。

表認識結果４２０の行認識結果４２３は、図２（ａ）では対応する記述行を省略したが、４つのセルから構成され、１つ目、２つ目、３つ目、４つ目のセル内にそれぞれ文字「Ｃ１」、「Ｃ２」、「Ｃ３」、「Ｃ４」が設定されたものとなっている。

表認識結果４２０の行認識結果４２４は、図２（ａ）では対応する記述行を省略したが、５つのセルから構成され、１つ目、２つ目、３つ目、４つ目、５つ目のセル内にそれぞれ文字「Ｄ１」、「Ｄ２」、「Ｄ３」、「Ｄ」、「４」が設定されたものとなっている。

表認識結果４２０の行認識結果４２５は、図２（ａ）では対応する記述行を省略したが、４つのセルから構成され、１つ目、２つ目、３つ目、４つ目のセル内にそれぞれ文字「Ｅ１」、「Ｅ２」、「Ｅ３」、「Ｅ４」が設定されたものとなっている。

図３（ａ），（ｂ）は、認識結果訂正装置３０が帳票画像４３０から表領域の画像を切り出して再配置する際の様子を示した図である。尚、このように切り出された表領域の画像のことを、以下では、「表領域画像４４０」と呼ぶことにする。

図３（ａ）には、認識結果訂正装置３０が画像読取装置１０から取得した帳票画像４３０の一例を示している。この帳票画像４３０には、図２（ｂ）に示した表認識結果４２０の範囲４３１も示している。つまり、この例では、表のセルが存在しない領域が表認識結果４２０の範囲４３１に含まれており、表の６行目は表認識結果４２０の範囲４３１に含まれていない。これは、５つのセルが含まれていると誤認識された行があること、及び、６行目が認識されなかったことによる。

図３（ｂ）には、認識結果訂正装置３０が帳票画像４３０から行ごとに切り出して再配置した表領域画像４４０の一例を示している。認識結果訂正装置３０は、図２（ｂ）の行認識結果４２１〜４２５にそれぞれ対応する行領域画像４４１〜４４５を切り出している。

その際、認識結果訂正装置３０は、帳票画像４３０から表以外の領域の画像を全て除去するのではなく、表以外の領域の画像にも除去しない部分を設けている。具体的には、表の画像だけを切り出すのではなく、表の画像と一緒に表の周囲の領域の画像を切り出している。表の周囲の領域の画像としては、例えば、表の大きさの予め定められた比率分の領域の画像が考えられる。このように表の周囲の領域の画像も切り出すことで、表の画像を切り出した際に列数の誤認識により表の画像の比較対象の部分が欠けてしまうことを防止できる。図３（ｂ）では、表の周囲の領域の画像として、領域画像４４１ａ、領域画像４４１ｂ〜４４５ｂ、領域画像４４１ｃ〜４４５ｃ、領域画像４４５ｄを切り出している。尚、上記では、表の大きさの予め定められた比率分の領域の画像としたが、この例では、帳票画像４３０の横幅に限界があるので、領域画像４４１ａ及び領域画像４４５ｄの比率の方が、領域画像４４１ｂ〜４４５ｂ及び領域画像４４１ｃ〜４４５ｃの比率よりも高くなっている。また、領域画像４４５ｄは、後述するように行領域画像４４５の下に行認識結果４２５を挿入するために、行領域画像４４５から切り離されている。

図４（ａ），（ｂ）は、認識結果訂正装置３０が表示する訂正画面４５０の一例を示した図である。訂正画面４５０は、ユーザが表認識結果４２０を訂正するための画面である。

図４（ａ）には、ユーザが訂正を行う前の訂正画面４５０を示している。認識結果訂正装置３０は、図３（ｂ）に示した行領域画像４４１〜４４５及び領域画像４４５ｄの間に、図２（ｂ）に示した行認識結果４２１〜４２５を挿入することで、この訂正画面４５０を生成している。その際、行領域画像４４１〜４４５と行認識結果４２１〜４２５との間で表の構造や文字の認識結果に不整合がある場合、認識結果訂正装置３０は、この不整合がある箇所をハイライト表示する。このハイライト表示は、不整合が修正された箇所については消去される。図中、ハイライト表示は、斜線ハッチングで示している。

具体的には、まず、行認識結果４２１の２つ目のセル内の文字の認識結果の信頼性が低いので、このセルをハイライト表示している。この場合、ハイライト表示されたセルに対してユーザが操作を行うと、認識結果訂正装置３０は、この認識結果に対する訂正候補を含む訂正候補表示欄４５２を表示する。そして、ユーザは、訂正候補表示欄４５２に含まれる訂正候補の何れかを選択する操作を行うことにより、当初の文字の認識結果を訂正する。

また、行認識結果４２２は、４つのセルを含むべきだが、５つのセルを含んでいるので、行全体をハイライト表示している。この場合、ユーザは、文字が設定されていない３つ目のセルを削除する操作を行うことにより、セルの数を４つに訂正する。

更に、行認識結果４２４も、４つのセルを含むべきだが、５つのセルを含んでいるので、行全体をハイライト表示している。この場合、ユーザは、文字が分かれて設定されている４つ目のセルと５つ目のセルとを結合する操作を行うことにより、セルの数を４つに訂正する。

尚、認識結果訂正装置３０は、行領域画像４４１の１行目の画像の上に行追加マーク４５１を表示している。１行目よりも上の行が認識されていなければ、ユーザは、この行追加マーク４５１を操作することにより、その認識されていない行を追加する。

また、認識結果訂正装置３０は、行認識結果４２５の５行目の画像の下にも行追加マーク４５５を表示している。５行目よりも下の行が認識されていなければ、ユーザは、この行追加マーク４５５を操作することにより、その認識されていない行を追加する。この例では、実際に６行目が認識されていないので、ユーザは、行追加マーク４５５を操作することにより、６行目を追加することになる。

図４（ｂ）には、ユーザがこのように訂正を行った後の訂正画面４５０を示している。認識結果訂正装置３０は、図３（ａ）の帳票画像４３０から、図４（ａ）の行認識結果４２１〜４２５を訂正した訂正後行認識結果４７１〜４７５に応じて切り出した行画像４６１〜４６５と、この訂正後行認識結果４７１〜４７５とを交互に配置することで、訂正を行った後の訂正画面４５０を生成している。そして、ユーザが確認ボタン４５３を押下する操作を行うと、認識結果訂正装置３０は、訂正後の表認識結果４２０を確認するための訂正後確認画面４７０を表示する。

図５は、認識結果訂正装置３０が表示する訂正後確認画面４７０の一例を示した図である。この訂正後確認画面４７０は、訂正前表認識結果４８０と、訂正後表認識結果４９０とを含む。認識結果訂正装置３０は、訂正前表認識結果４８０と、訂正後表認識結果４９０とで、訂正により変更された箇所をハイライト表示する。図中、ハイライト表示は、斜線ハッチングで示している。

具体的には、まず、訂正前表認識結果４８０の訂正前行認識結果４８１の２つ目のセルでは文字「Ｍ２」だったのが、訂正後表認識結果４９０の訂正後行認識結果４９１の２つ目のセルでは文字「Ａ２」となっているので、訂正前表認識結果４８０及び訂正後表認識結果４９０ではこのセルをハイライト表示している。

また、訂正前表認識結果４８０の訂正前行認識結果４８２には文字が設定されていないセルがあったが、訂正後表認識結果４９０の訂正後行認識結果４９２ではこのセルは削除されているので、訂正前表認識結果４８０では削除されたセルを、訂正後表認識結果４９０では削除されたセルがあった箇所を、それぞれハイライト表示している。

更に、訂正前表認識結果４８０の訂正前行認識結果４８４には文字「Ｄ」が設定されたセルと文字「４」が設定されたセルとがあったが、訂正後表認識結果４９０の訂正後行認識結果４９４ではこのセルが文字「Ｄ４」が設定された１つのセルに結合されているので、訂正前表認識結果４８０では結合前の２つのセルを、訂正後表認識結果４９０では結合後の１つのセルを、それぞれハイライト表示している。

更にまた、訂正前表認識結果４８０では訂正前行認識結果４８５の下に行領域はなかったが、訂正後表認識結果４９０では訂正後行認識結果４９５の下に訂正後行認識結果４９６が追加されているので、訂正後表認識結果４９０では訂正後行認識結果４９６をハイライト表示している。

尚、この訂正後確認画面４７０では、訂正後表認識結果４９０と一緒に訂正前表認識結果４８０も並べて表示するようにしたが、これには限らない。訂正前表認識結果４８０を並べて表示せず、訂正後表認識結果４９０のみを表示するようにしてもよい。

［認識結果訂正装置のハードウェア構成］
図６は、本実施の形態における認識結果訂正装置３０のハードウェア構成例を示した図である。図示するように、認識結果訂正装置３０は、演算手段であるプロセッサ３１と、記憶手段であるメインメモリ３２及びＨＤＤ（Hard Disk Drive）３３とを備える。ここで、プロセッサ３１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、後述する各機能を実現する。また、メインメモリ３２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ３３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。更に、認識結果訂正装置３０は、外部との通信を行うための通信Ｉ／Ｆ３４と、ディスプレイ等の表示デバイス３５と、キーボードやマウス等の入力デバイス３６とを備える。

［認識結果訂正装置の機能構成］
図７は、本実施の形態における認識結果訂正装置３０の機能構成例を示したブロック図である。本実施の形態における認識結果訂正装置３０は、情報処理装置の一例であり、図示するように、受信部４１と、帳票認識結果記憶部４２と、帳票画像記憶部４３と、表認識結果生成部４４と、表領域画像生成部４５と、画面生成部４６と、表示制御部４７と、操作受付部４８と、送信部４９とを備えている。

受信部４１は、帳票認識装置２０から帳票認識結果４１０を受信する。また、画像読取装置１０から帳票画像４３０を受信する。

帳票認識結果記憶部４２は、受信部４１が受信した帳票認識結果４１０を記憶する。

帳票画像記憶部４３は、受信部４１が受信した帳票画像４３０を記憶する。

表認識結果生成部４４は、図２（ａ），（ｂ）に示したように、帳票認識結果記憶部４２に記憶された帳票認識結果４１０から表認識結果４２０を生成する。本実施の形態では、表を含む表画像の認識結果として、表認識結果４２０を用いており、表画像の認識結果を取得する手段の一例として、表認識結果生成部４４を設けている。

また、表認識結果生成部４４は、後述するように画面生成部４６から訂正後行認識結果が通知されると、帳票認識結果記憶部４２に記憶された帳票認識結果４１０を、訂正後行認識結果の内容で訂正する。

表領域画像生成部４５は、図３（ａ），（ｂ）に示したように、帳票画像記憶部４３に記憶された帳票画像４３０から、帳票認識結果記憶部４２に記憶された表領域の座標に基づいて表領域画像４４０を切り出す。その際、表領域画像４４０から行ごとに行領域画像も切り出す。

また、表領域画像生成部４５は、帳票認識結果記憶部４２に記憶された帳票認識結果４１０が訂正後行認識結果の内容で訂正されると、帳票認識結果４１０における訂正後の行の座標に基づいて行画像を切り出す。

画面生成部４６は、表領域画像生成部４５が生成した表領域画像４４０と、表認識結果生成部４４が生成した表認識結果４２０とから、表認識結果４２０を訂正するための訂正画面４５０を生成する。具体的には、図４（ａ）に示したように、表領域画像４４０から切り出した行領域画像と、表認識結果４２０から切り出した行認識結果とを交互に配置した訂正画面４５０を生成する。本実施の形態では、表の行ごとに表画像と認識結果とを交互に配置した画面の一例として、訂正画面４５０を用いており、この画面を表示するように制御する手段の一例として、画面生成部４６を設けている。

また、画面生成部４６は、表認識結果４２０における不整合がある箇所を特定し、図４（ａ）に示したように、訂正画面４５０上で、不整合がある箇所をハイライトする。本実施の形態では、表画像における行の構造と認識結果における行の構造との間の不整合がある箇所を他の箇所とは異なる態様で表示するように制御する手段の一例として、画面生成部４６を設けている。

その際、不整合がある箇所は、例えば、次のような方法で特定すればよい。

第１の方法は、表の列数と表認識結果４２０におけるある行の列数とが異なる場合に、その行を不整合がある箇所として特定する、というものである。ここで、表の列数は、操作受付部４８が受け付けたユーザ操作で指定されたものであってよい。この場合、画面生成部４６は、操作者から入力された表の列数に基づいて、不整合がある箇所を特定する手段の一例である。或いは、表の列数は、表認識結果４２０を解析して求めたものであってもよい。例えば、表認識結果４２０における行のうち予め定められた基準以上の行の列数が同じであれば、その列数を表の列数とすることが考えられる。この場合、画面生成部４６は、認識結果を解析して得られた表の列数に基づいて、不整合がある箇所を特定する手段の一例である。

第２の方法は、表認識結果４２０におけるあるセル内の文字の認識結果の信頼度が予め定められた基準以下であれば、そのセルを不整合がある箇所として特定する、というものである。

更に、画面生成部４６は、訂正画面４５０上で表認識結果４２０を訂正するユーザ操作を操作受付部４８が受け付けると、表認識結果４２０が訂正された訂正画面４５０を生成する。具体的には、図４（ｂ）に示したように、表領域画像生成部４５が切り出した行画像と、訂正後行認識結果とが交互に配置された訂正画面４５０を生成する。本実施の形態では、認識結果を修正した修正後認識結果の一例として、訂正後行認識結果を用いており、操作者の認識結果を修正する操作に応じて修正後認識結果を表示するように制御する手段の一例として、画面生成部４６を設けている。そして、画面生成部４６は、この訂正後行認識結果を表認識結果生成部４４に通知する。

また、画面生成部４６は、図５に示したように、行画像が配置されることなく訂正後行認識結果が配置された訂正後確認画面４７０を生成することもある。この場合、画面生成部４６は、修正後認識結果を表示する際に、表画像から切り出された画像は表示しないように制御する手段の一例である。更に、画面生成部４６は、図５に示したように、訂正前表認識結果４８０が訂正後表認識結果４９０と並べて配置された訂正後確認画面４７０を生成することもある。この場合、画面生成部４６は、修正後認識結果を表示する際に、修正前の認識結果を並べて表示するように制御する手段の一例である。更にまた、画面生成部４６は、訂正後確認画面４７０上で、訂正前表認識結果４８０と訂正後表認識結果４９０とで変更された箇所をハイライトすることもある。この場合、画面生成部４６は、修正後認識結果を表示する際に、修正前の認識結果を並べて表示するように制御する手段の一例である。

表示制御部４７は、画面生成部４６が生成した訂正画面４５０及び訂正後確認画面４７０を表示するように表示デバイス３５を制御する。

操作受付部４８は、訂正画面４５０上で表認識結果を訂正するユーザ操作を受け付ける。また、帳票内の表の列数を指定するユーザ操作を受け付けることもある。

送信部４９は、帳票認識結果記憶部４２に記憶された帳票認識結果４１０を、その訂正が必要ないことが分かった後又はその訂正が完了した後に、帳票処理装置５０へ送信する。

［認識結果訂正装置の動作］
本実施の形態における認識結果訂正装置３０では、まず、受信部４１が帳票認識装置２０から帳票認識結果４１０を受信して帳票認識結果記憶部４２に記憶し、受信部４１が画像読取装置１０から帳票画像４３０を受信して帳票画像記憶部４３に記憶する。そして、認識結果訂正装置３０は、帳票認識結果記憶部４２に記憶された帳票認識結果４１０を訂正するための訂正画面４５０を生成して表示する。

図８は、このときの認識結果訂正装置３０の動作例を示したフローチャートである。尚、このフローチャートは、帳票認識結果４１０に対する様々な訂正のうち、表認識結果４２０に対する訂正のための訂正画面４５０に着目したフローチャートとなっている。

図示するように、認識結果訂正装置３０では、まず、表認識結果生成部４４が、帳票認識結果記憶部４２に記憶された帳票認識結果４１０が表を含むかどうかを判定する（ステップ３０１）。

その結果、帳票認識結果４１０が表を含むと判定しなければ、表認識結果生成部４４は、処理を終了する。

一方、帳票認識結果４１０が表を含むと判定すれば、表認識結果生成部４４は、帳票認識結果４１０から表認識結果４２０を生成する（ステップ３０２）。

次に、表領域画像生成部４５が、帳票画像記憶部４３に記憶された帳票画像４３０から表領域画像４４０を生成する（ステップ３０３）。具体的には、帳票画像記憶部４３に記憶された帳票画像４３０から、帳票認識結果記憶部４２に記憶された表領域の座標に基づいて切り出すことにより、表領域画像４４０を生成する。

そして、表領域画像生成部４５は、ステップ３０３で生成した表領域画像４４０から行領域画像を生成する（ステップ３０４）。具体的には、表領域画像４４０から行ごとに切り出すことにより、行領域画像を生成する。

そして、表領域画像生成部４５は、ステップ３０４で生成した行領域画像をスペースを空けて再配置する（ステップ３０５）。

次に、画面生成部４６が、ステップ３０５で行領域画像が再配置された際の空いたスペースに行認識結果を配置することにより、訂正画面４５０を生成する（ステップ３０６）。ここで、行認識結果は、ステップ３０２で生成された表認識結果４２０を行ごとに分けたものである。

そして、画面生成部４６は、ステップ３０６で生成した訂正画面４５０において、問題箇所をハイライトする（ステップ３０７）。具体的には、表の列数と表認識結果４２０におけるある行の列数とが異なる場合に、その行を問題個所としてハイライトする。或いは、表認識結果４２０におけるあるセル内の文字の認識結果の信頼度が予め定められた基準以下であれば、そのセルを問題箇所として特定する。

次いで、表示制御部４７が、ステップ３０６で生成され、ステップ３０７で問題箇所がハイライトされた訂正画面４５０を表示するように、表示デバイス３５を制御する（ステップ３０８）。

その後、表認識結果生成部４４は、帳票認識結果４１０に未処理の表があるかどうかを判定する（ステップ３０９）。

その結果、未処理の表があると判定すれば、表認識結果生成部４４は、処理をステップ３０２へ戻して、その表についてステップ３０２〜３０８の処理を繰り返す。

一方、未処理の表があると判定しなければ、表認識結果生成部４４は、処理を終了する。

さて、このように表示された訂正画面４５０上で行認識結果を訂正するユーザ操作があったとする。すると、認識結果訂正装置３０では、まず、操作受付部４８が、そのユーザ操作を受け付ける。次に、画面生成部４６が、行認識結果を訂正した訂正後行認識結果を表認識結果生成部４４に通知する。次いで、表認識結果生成部４４が、帳票認識結果記憶部４２に記憶された帳票認識結果４１０を、訂正後行認識結果の内容で訂正する。

また、このように帳票認識結果記憶部４２に記憶された帳票認識結果４１０が訂正後行認識結果の内容で訂正されると、表領域画像生成部４５が、帳票画像記憶部４３に記憶された帳票画像４３０から帳票認識結果４１０における訂正後の行の座標に基づいて行画像を切り出す。次に、画面生成部４６が、表領域画像生成部４５が切り出した行画像と、訂正後行認識結果とが交互に配置された訂正画面４５０を生成する。次いで、表示制御部４７が、この訂正画面４５０を表示するように表示デバイス３５を制御する。

そして、最後に、送信部４９が、帳票認識結果記憶部４２に記憶されて訂正された帳票認識結果４１０を、帳票処理装置５０へ送信する。或いは、送信部４９は、帳票認識結果４１０を訂正する必要がない場合は、帳票認識結果記憶部４２に記憶された帳票認識結果４１０をそのまま帳票処理装置５０へ送信してもよい。

［プロセッサ］
本実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ：Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。

また、本実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施の形態において記載した順序のみに限定されるものではなく、変更してもよい。

［プログラム］
本実施の形態における認識結果訂正装置３０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

即ち、本実施の形態を実現するプログラムは、コンピュータに、表を含む表画像の認識結果を取得する機能と、表の行又は列ごとに、表画像と認識結果とを交互に配置した画面を表示するように制御する機能とを実現させるためのプログラムとして捉えられる。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０…画像読取装置、２０…帳票認識装置、３０…認識結果訂正装置、４１…受信部、４２…帳票認識結果記憶部、４３…帳票画像記憶部、４４…表認識結果生成部、４５…表領域画像生成部、４６…画面生成部、４７…表示制御部、４８…操作受付部、４９…送信部

Claims (9)

1. プロセッサを備え、
   前記プロセッサは、
   表を含む表画像の認識結果を取得し、
   前記表の行又は列ごとに、前記表画像と前記認識結果とを交互に配置した画面を表示するように制御する
   ことを特徴とする情報処理装置。
2. 前記プロセッサは、前記画面を表示する際に、前記表画像における行又は列の構造と、前記認識結果における行又は列の構造との間の不整合がある箇所を、他の箇所とは異なる態様で表示するように制御することを特徴とする請求項１に記載の情報処理装置。
3. 前記プロセッサは、操作者から入力された前記表の列数又は行数に基づいて、前記不整合がある箇所を特定することを特徴とする請求項２に記載の情報処理装置。
4. 前記プロセッサは、前記認識結果を解析して得られた前記表の列数又は行数に基づいて、前記不整合がある箇所を特定することを特徴とする請求項２に記載の情報処理装置。
5. 前記プロセッサは、操作者の前記認識結果を修正する操作に応じて、当該認識結果を修正した修正後認識結果を表示するように制御することを特徴とする請求項１に記載の情報処理装置。
6. 前記プロセッサは、前記修正後認識結果を表示する際に、前記表画像から切り出された画像は表示しないように制御することを特徴とする請求項５に記載の情報処理装置。
7. 前記プロセッサは、前記修正後認識結果を表示する際に、修正前の前記認識結果を並べて表示するように制御することを特徴とする請求項５に記載の情報処理装置。
8. 前記プロセッサは、前記修正後認識結果を表示する際に、当該修正後認識結果における修正された箇所を、他の箇所とは異なる態様で表示するように制御することを特徴とする請求項５に記載の情報処理装置。
9. コンピュータに、
   表を含む表画像の認識結果を取得する機能と、
   前記表の行又は列ごとに、前記表画像と前記認識結果とを交互に配置した画面を表示するように制御する機能と
   を実現させるためのプログラム。

Images