JP2015102938A - 帳票認識装置、帳票認識方法、及びプログラム - Google Patents
帳票認識装置、帳票認識方法、及びプログラム Download PDFInfo
- Publication number
- JP2015102938A JP2015102938A JP2013241716A JP2013241716A JP2015102938A JP 2015102938 A JP2015102938 A JP 2015102938A JP 2013241716 A JP2013241716 A JP 2013241716A JP 2013241716 A JP2013241716 A JP 2013241716A JP 2015102938 A JP2015102938 A JP 2015102938A
- Authority
- JP
- Japan
- Prior art keywords
- item value
- item
- score
- character string
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
【課題】 項目名の記載がない帳票群に対して、誤り少なく、文字列を読み取る。【解決手段】 帳票画像から検出された文字列に対し、項目値スコアを計算し（４４０，４５０）、項目値候補スコアを計算し（４６０）、項目値候補ペアの配置関係に対し、異なる属性の項目値同士の配置関係としての妥当さを表す項目値候補配置スコアを計算し（４７０）、項目値候補スコアと項目候補配置スコアの値から、異なる属性の項目値同士のペアとしての妥当さを表す項目値候補ペアスコアを計算し（４８０）、項目値グループの項目値を決定する（４９０）。【選択図】図４
Description
本発明は、帳票認識装置、帳票認識方法及びプログラムに係り、特に帳票画像上に記載される文字列の属性の理解と文字列認識の技術に関する。
光学式文字認識装置（ＯＣＲ）に代表される従来の帳票認識装置は、あらかじめ読取対象文字列の帳票画像上での記載位置とその属性をユーザが事前に装置に登録しておく「帳票定義」により、読取対象文字列の読取および当該文字列の属性の理解を行っていた。
帳票処理業務において、処理する帳票のレイアウト、すなわち文字列の記載位置や枠の記載位置、枠の並びが統一されており、帳票画像における読取対象文字列の記載位置が固定である場合には、前記の帳票定義を事前に装置に登録することで読取対象文字列の位置検出および該文字列の属性の理解を行っていた。一方で、多種レイアウトが混在する帳票処理業務や、処理する帳票のレイアウトが未知である帳票処理業務が存在する。
図２は、従来手法における入力対象の帳票画像の例である。
多種レイアウトとは、図２に示す帳票例２００，２０１のように、読取対象文字列の記載位置が帳票ごとに異なることである。図２の例は、帳票画像内から「振込先口座番号」「納入金額」「納入期限日付」を読み取る例であるが、それぞれ記載位置が異なるため、帳票ごとに帳票定義を作成する必要がある。業務によっては帳票レイアウトの種類が数万種類に及ぶ場合もあり、帳票定義による認識は、帳票定義の作成コストが膨大になり利用できなかった。
多種レイアウトとは、図２に示す帳票例２００，２０１のように、読取対象文字列の記載位置が帳票ごとに異なることである。図２の例は、帳票画像内から「振込先口座番号」「納入金額」「納入期限日付」を読み取る例であるが、それぞれ記載位置が異なるため、帳票ごとに帳票定義を作成する必要がある。業務によっては帳票レイアウトの種類が数万種類に及ぶ場合もあり、帳票定義による認識は、帳票定義の作成コストが膨大になり利用できなかった。
多種レイアウト帳票に対して帳票定義を用いずに認識する技術として、例えば特許文献１に開示の技術のように、帳票画像から文字列領域を検出し、検出された文字列に対して単語照合や表記照合をすることにより、項目名らしさを表す項目名尤度と、項目値らしさを表す項目値尤度を計算し、検出された前記文字列の組み合わせからなる文字列ペアに対し、前記文字列ペアの配置関係の項目名−項目値関係としての妥当さを表す配置尤度を計算し、項目名尤度、前記項目値尤度、配置尤度の値から、項目名−項目値関係の評価値を計算し、帳票画像内の項目名−項目値関係を決定する方式がある。
具体的には、項目名とは、例えばデータの属性を表す文字列であり、図２の帳票例２００では「口座番号」や「金額」「納入期限」が相当する。項目値とは項目名に対するデータの文字列であり、「１２３４５−６−７８９０１」や「１０，０００」、「２２年３月１日」が相当する。項目名―項目値関係とは、同じ属性の項目名と項目値のペアであり、例えば「口座番号」と「１２３４５−６−７８９０１」が相当する。
また、特許文献２の方式では、帳票を論理的に構成する論理要素（項目名や項目値）からなる論理構造を、論理要素となる文字列と当該文字列の出現頻度および論理要素間の相対位置に関する頻度によって定義した辞書を帳票種ごとに作成し、帳票画像内の文字列と辞書内の論理構造を照合することにより、帳票画像内の文字列が論理構造内の論理要素である確率により、帳票画像内から読取対象の文字列を読み取る。
特許文献１の方式では、項目名と項目値のペアを検出するため、項目名が記載されていない場合には項目値を正しく抽出することはできないという課題がある。
図３は、本発明及び／又は本実施例が目的とする入力対象の帳票画像の例である。
例えば、図３の帳票例から「銀行」、「支店」、「預金種目」、「口座番号」の項目名に対する項目値を抽出する場合、帳票例３００には項目名と項目値が記載されているため、ペアを抽出することで４つの項目値を抽出できる。しかし、帳票例３０１には「支店」と「預金種目」の項目名の記載がないため「ＹＹＹ銀行」と「普通」を抽出することがむずかしい。
例えば、図３の帳票例から「銀行」、「支店」、「預金種目」、「口座番号」の項目名に対する項目値を抽出する場合、帳票例３００には項目名と項目値が記載されているため、ペアを抽出することで４つの項目値を抽出できる。しかし、帳票例３０１には「支店」と「預金種目」の項目名の記載がないため「ＹＹＹ銀行」と「普通」を抽出することがむずかしい。
特許文献２の方式では、帳票種ごとに、論理構造辞書内の論理要素の出現頻度や論理要素間の相対位置の頻度を定義するため、辞書の作成コストが膨大になってしまう。また、論理構造辞書と整合性のとれないレイアウトの帳票の場合、正しい認識結果が得られず、汎用性が低下する場合がある。さらに、文字列単位で全ての項目名と項目値の単語との照合を行うため、銀行名等のように単語数が数千の場合、処理時間が増大するという課題もある。
本発明は、このような課題に鑑みてなされたものである。
すなわち、本発明は、項目名が記載されていなくても項目値を抽出する帳票認識方式を提供することを第１の課題とする。
また、本発明は、辞書の作成コストを極力少なくかつ様々なレイアウトの帳票に対しても、汎用性高く認識できる帳票認識方式を提供することを第２の課題とする。
また、本発明は、項目値の単語照合の処理コストが少ない帳票認識方式を提供することを第３の課題とする。
すなわち、本発明は、項目名が記載されていなくても項目値を抽出する帳票認識方式を提供することを第１の課題とする。
また、本発明は、辞書の作成コストを極力少なくかつ様々なレイアウトの帳票に対しても、汎用性高く認識できる帳票認識方式を提供することを第２の課題とする。
また、本発明は、項目値の単語照合の処理コストが少ない帳票認識方式を提供することを第３の課題とする。
本発明の第１の解決手段によると、
帳票認識装置であって、
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力する画像入力部と、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算する項目値表記スコア計算部と、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算する項目値単語スコア計算部と、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とする項目値候補選択部と、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算する項目値候補配置スコア計算部と、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算する項目値候補ペアスコア計算部と、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識する項目値グループ評価部と、
前記帳票画像内の文字列の認識結果を記憶する記憶部又は出力する出力部と
を備えたことを特徴とする帳票認識装置が提供される。
帳票認識装置であって、
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力する画像入力部と、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算する項目値表記スコア計算部と、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算する項目値単語スコア計算部と、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とする項目値候補選択部と、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算する項目値候補配置スコア計算部と、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算する項目値候補ペアスコア計算部と、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識する項目値グループ評価部と、
前記帳票画像内の文字列の認識結果を記憶する記憶部又は出力する出力部と
を備えたことを特徴とする帳票認識装置が提供される。
本発明の第２の解決手段によると、
帳票認識方法であって、
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力し、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算し、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算し、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とし、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算し、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算し、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記帳票画像内の文字列の認識結果を記憶する又は出力する
ことを特徴とする帳票認識方法が提供される。
帳票認識方法であって、
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力し、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算し、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算し、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とし、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算し、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算し、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記帳票画像内の文字列の認識結果を記憶する又は出力する
ことを特徴とする帳票認識方法が提供される。
本発明の第３の解決手段によると、
帳票認識プログラムであって、
制御部が、画像入力部により、データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力するステップと、
前記制御部が、前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算するステップと、
前記制御部が、前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算するステップと、
前記制御部が、前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とするステップと、
前記制御部が、前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算するステップと、
前記制御部が、前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算するステップと、
前記制御部が、前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記制御部が、前記帳票画像内の文字列の認識結果を記憶部に記憶する又は出力部に出力するステップと
をコンピュータに実行させるための帳票認識プログラムが提供される。
帳票認識プログラムであって、
制御部が、画像入力部により、データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力するステップと、
前記制御部が、前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算するステップと、
前記制御部が、前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算するステップと、
前記制御部が、前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とするステップと、
前記制御部が、前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算するステップと、
前記制御部が、前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算するステップと、
前記制御部が、前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記制御部が、前記帳票画像内の文字列の認識結果を記憶部に記憶する又は出力部に出力するステップと
をコンピュータに実行させるための帳票認識プログラムが提供される。
本発明により、多種レイアウトの帳票が混在する帳票処理業務において、厳密な帳票定義なしに帳票を認識することができる。また、項目名の記載がない項目についても認識することができる。さらに、文字認識誤りに頑健に認識することができる。
以下、本発明の実施の形態を説明する。なお、これにより本発明が限定されるものではない。具体的な処理の内容を説明する前に、本発明の概略について説明する。
Ａ．概要
本実施例は、多種レイアウトが混在する帳票群を、読取対象文字列の記載位置および当該文字列の属性を事前に登録する帳票定義なしに、読取対象文字列の読取および当該文字列の属性の判定を行うものである。さらに、項目名の記載がない帳票においても属性の判定を行うものである。
このために、本実施例では互いに関係する複数の項目値の組合せを「項目値グループ」とし、その属性の組合せをあらかじめ指定する。帳票上の複数の文字列と項目値グループとの照合を行うことにより、各項目値の文字列を判定する。具体的には、項目名とは、例えばデータの属性を表す文字列である。項目値とは、例えば項目名に対するデータの文字列である。ここで、図３を例とすると、項目値グループを構成する属性は「銀行」「支店」「口座種別」「口座番号」の４項目であり、それぞれの項目値は「ＸＸＸ銀行」「ＹＹＹ支店」「普通」「１２３４５６７」が挙げられる。
本実施例は、多種レイアウトが混在する帳票群を、読取対象文字列の記載位置および当該文字列の属性を事前に登録する帳票定義なしに、読取対象文字列の読取および当該文字列の属性の判定を行うものである。さらに、項目名の記載がない帳票においても属性の判定を行うものである。
このために、本実施例では互いに関係する複数の項目値の組合せを「項目値グループ」とし、その属性の組合せをあらかじめ指定する。帳票上の複数の文字列と項目値グループとの照合を行うことにより、各項目値の文字列を判定する。具体的には、項目名とは、例えばデータの属性を表す文字列である。項目値とは、例えば項目名に対するデータの文字列である。ここで、図３を例とすると、項目値グループを構成する属性は「銀行」「支店」「口座種別」「口座番号」の４項目であり、それぞれの項目値は「ＸＸＸ銀行」「ＹＹＹ支店」「普通」「１２３４５６７」が挙げられる。
この機能を実現するためには、帳票画像から抽出された文字列から項目値グループを特定することが必要である。本実施例では、帳票画像内の全文字列又は予め定められた範囲若しくは数等の文字列に対し、当該文字列が項目値である確率に相当する項目値スコアを計算し、項目値スコアが既定の値を超えたものを各属性における項目値の候補とする（以下、項目値候補と記載）。次に、属性の異なる２つの項目値候補の配置関係が妥当であるかを評価する評価尺度である項目値配置スコアを計算する。さらに、全ての項目値スコアと項目値配置スコアを評価することにより、項目値グループを構成する文字列を決定する。
具体的には、以下の順序により、帳票内の項目値グループの文字列を決定する。
（１）全ての文字列内の文字を識別し、文字の確からしさを表す文字スコアを計算する。（２）項目値のうち、「ＸＸＸ銀行」や「普通」などの単語で記載されるものについては、ユーザが事前に登録した項目値の単語リストである項目値単語辞書内の項目値単語と、帳票画像内の文字列とを照合し、項目値単語辞書内の全ての項目値単語と、帳票画像内の全文字列との組み合わせに対して、「項目値単語スコア」を計算する。
（３）項目値のうち、日付や、金額、口座番号などの汎用的に利用できる文法表記ルールによって記載されるものについては、ユーザが事前に文法表記ルールを定義した項目値表記辞書内の項目値表記と、帳票画像内の文字列とを照合し、項目値表記辞書内の全ての又は予め定められた項目値表記と、帳票画像内の全文字列との組み合わせに対して、「項目値表記スコア」を計算する。
（４）（２）と（３）の結果から、項目値単語辞書を定義した属性については項目値単語スコアを、項目値表記辞書を定義した属性については項目値表記スコアを「項目値候補スコア」とする。この値が閾値を超える文字列を「項目値候補」とする。
（５）２つの項目値の配置関係が項目値グループ内の文字列として妥当な配置関係であるかを評価するルールを用いて、属性の異なる２つの項目値候補の組み合わせからなる全ての項目値候補ペアに対して、「項目値候補配置スコア」を計算する。
（６）項目値単語スコア、項目値表記スコア、項目値候補配置スコアを基に、全ての項目値候補ペアに対して、当該項目値候補ペアが項目値グループ内で妥当な関係にあるかを表す評価値を計算し、前記評価値を基に帳票画像内から項目値グループ内の各項目値に相当する文字列を抽出する。
（１）全ての文字列内の文字を識別し、文字の確からしさを表す文字スコアを計算する。（２）項目値のうち、「ＸＸＸ銀行」や「普通」などの単語で記載されるものについては、ユーザが事前に登録した項目値の単語リストである項目値単語辞書内の項目値単語と、帳票画像内の文字列とを照合し、項目値単語辞書内の全ての項目値単語と、帳票画像内の全文字列との組み合わせに対して、「項目値単語スコア」を計算する。
（３）項目値のうち、日付や、金額、口座番号などの汎用的に利用できる文法表記ルールによって記載されるものについては、ユーザが事前に文法表記ルールを定義した項目値表記辞書内の項目値表記と、帳票画像内の文字列とを照合し、項目値表記辞書内の全ての又は予め定められた項目値表記と、帳票画像内の全文字列との組み合わせに対して、「項目値表記スコア」を計算する。
（４）（２）と（３）の結果から、項目値単語辞書を定義した属性については項目値単語スコアを、項目値表記辞書を定義した属性については項目値表記スコアを「項目値候補スコア」とする。この値が閾値を超える文字列を「項目値候補」とする。
（５）２つの項目値の配置関係が項目値グループ内の文字列として妥当な配置関係であるかを評価するルールを用いて、属性の異なる２つの項目値候補の組み合わせからなる全ての項目値候補ペアに対して、「項目値候補配置スコア」を計算する。
（６）項目値単語スコア、項目値表記スコア、項目値候補配置スコアを基に、全ての項目値候補ペアに対して、当該項目値候補ペアが項目値グループ内で妥当な関係にあるかを表す評価値を計算し、前記評価値を基に帳票画像内から項目値グループ内の各項目値に相当する文字列を抽出する。
前記課題を解決するために、本実施例は、例えば、
帳票画像を入力し、当該帳票画像内の文字列の認識処理を行う帳票認識装置であって、
前記帳票画像から文字列領域を検出する文字列検出部と、
前記文字列領域の個々の文字を認識する文字列認識部と、
帳票画像内の文字列に対し、当該文字列が項目値の表記である確率を表す項目値表記スコアを計算する項目値表記スコア計算部と、
帳票画像内の文字列に対し、当該文字列が項目値の単語である確率を表す項目値単語スコアを計算する項目値単語スコア計算部と、
項目値表記スコアと項目値単語スコアの両方を項目値スコアとし、項目値スコアが高い文字列を項目値候補として選択する項目値候補選択部と、
帳票画像内の項目値候補の文字列ペアに対し、帳票内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、当該文字列ペアの配置関係が項目値グループの項目値として妥当であるかを表す項目値候補配置スコアを計算する項目値候補配置スコア計算部と、
帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア、項目値配置スコアを基に、当該文字列ペアが項目値グループの項目値としての尤もらしさを表す評価値を計算する項目値候補ペアスコア計算部と、
前記項目値候補ペアスコアにより、帳票画像内の文字列と項目値グループとの対応付けを評価ことで項目値の文字列を決定する項目値グループ評価部とを備えることを特徴とする。
帳票画像を入力し、当該帳票画像内の文字列の認識処理を行う帳票認識装置であって、
前記帳票画像から文字列領域を検出する文字列検出部と、
前記文字列領域の個々の文字を認識する文字列認識部と、
帳票画像内の文字列に対し、当該文字列が項目値の表記である確率を表す項目値表記スコアを計算する項目値表記スコア計算部と、
帳票画像内の文字列に対し、当該文字列が項目値の単語である確率を表す項目値単語スコアを計算する項目値単語スコア計算部と、
項目値表記スコアと項目値単語スコアの両方を項目値スコアとし、項目値スコアが高い文字列を項目値候補として選択する項目値候補選択部と、
帳票画像内の項目値候補の文字列ペアに対し、帳票内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、当該文字列ペアの配置関係が項目値グループの項目値として妥当であるかを表す項目値候補配置スコアを計算する項目値候補配置スコア計算部と、
帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア、項目値配置スコアを基に、当該文字列ペアが項目値グループの項目値としての尤もらしさを表す評価値を計算する項目値候補ペアスコア計算部と、
前記項目値候補ペアスコアにより、帳票画像内の文字列と項目値グループとの対応付けを評価ことで項目値の文字列を決定する項目値グループ評価部とを備えることを特徴とする。
以下、本発明の一実施例になる帳票認識装置および帳票認識方法について、図面を用いて詳細に説明する。
Ｂ．装置
図１は、本発明の帳票認識装置のハードウェア構成例である。本実施例の帳票認識装置１００は、操作部１１０と、表示部１２０と、画像入力部１３０と、記憶部１４０と、制御部１５０と、インターフェース（ＩＦ）１６０とを備えるコンピュータ装置である。操作部１１０は、ユーザが数字や文字の入力操作を行う際に利用するキーボードや、スキャンの開始を指示するためのボタン等を有する操作部である。表示部１２０は、入力画像や認識結果等を表示する液晶ディスプレイ等を有する表示部である。画像入力部１３０は、フラットベッドスキャナやオートシートフィーダ付きのスキャナ、およびＣＣＤ（Charge Coupled Device）等の撮像素子を用いて画像を撮像するデジタルカメラ等の撮像部である。記憶部１４０は、メモリやハードディスク装置等からなる記憶デバイスであり、画像入力部１３０で入力された画像や各種内部処理用プログラム、および各種設定データを記憶する。また、記憶部１４０は、文字識別辞書や項目値単語辞書、項目値表記辞書等を記憶する。制御部１５０は、文字列の検出や文字列認識、項目値グループの解析を行う帳票認識や装置全体の制御を行う。なお、入力画像は、画像入力部１３０から撮像する替わりに記憶部１４０内に記録された画像データを用いてもよい。ＩＦ１６０は、他の装置とデータを入出力する。
図１は、本発明の帳票認識装置のハードウェア構成例である。本実施例の帳票認識装置１００は、操作部１１０と、表示部１２０と、画像入力部１３０と、記憶部１４０と、制御部１５０と、インターフェース（ＩＦ）１６０とを備えるコンピュータ装置である。操作部１１０は、ユーザが数字や文字の入力操作を行う際に利用するキーボードや、スキャンの開始を指示するためのボタン等を有する操作部である。表示部１２０は、入力画像や認識結果等を表示する液晶ディスプレイ等を有する表示部である。画像入力部１３０は、フラットベッドスキャナやオートシートフィーダ付きのスキャナ、およびＣＣＤ（Charge Coupled Device）等の撮像素子を用いて画像を撮像するデジタルカメラ等の撮像部である。記憶部１４０は、メモリやハードディスク装置等からなる記憶デバイスであり、画像入力部１３０で入力された画像や各種内部処理用プログラム、および各種設定データを記憶する。また、記憶部１４０は、文字識別辞書や項目値単語辞書、項目値表記辞書等を記憶する。制御部１５０は、文字列の検出や文字列認識、項目値グループの解析を行う帳票認識や装置全体の制御を行う。なお、入力画像は、画像入力部１３０から撮像する替わりに記憶部１４０内に記録された画像データを用いてもよい。ＩＦ１６０は、他の装置とデータを入出力する。
Ｃ．動作概要
次に、図４から図７を用いて、制御部１５０における帳票認識の4種類の処理フローを示す。
（第１実施形態）
図４に、制御部１５０における帳票認識の処理フロー図を示す。
まず、ステップ４０５の画像入力において、制御部１５０は、画像入力部１３０から画像を入力する。
次に、ステップ４１０の枠検出において、制御部１５０は、入力された帳票画像から枠（セル）を検出する。
次に、図４から図７を用いて、制御部１５０における帳票認識の4種類の処理フローを示す。
（第１実施形態）
図４に、制御部１５０における帳票認識の処理フロー図を示す。
まず、ステップ４０５の画像入力において、制御部１５０は、画像入力部１３０から画像を入力する。
次に、ステップ４１０の枠検出において、制御部１５０は、入力された帳票画像から枠（セル）を検出する。
次に、ステップ４２０の文字列検出において、制御部１５０は、帳票画像から文字列領域を検出する。文字列領域とは、ある１つの文字列を含む矩形領域である。ステップ４１０および４２０の具体例として、例えば、特開平１１−５３４６６号公報に開示の技術のように、帳票画像から縦と横の罫線を抽出し、２本の罫線の交点を抽出し、交点の形状と配置関係から矩形枠の四隅に相当する右上角、左上角、右下角、左下角を検出することにより、帳票画像内から枠を検出し、枠内外の文字列領域を検出する方式を利用することができる。
ステップ４３０の文字列認識では、制御部１５０は、ステップ４２０において検出された文字列領域を個々の文字領域に分割し、個々の文字領域のパターンを文字識別辞書を用いて識別する。ステップ４３０の文字識別の具体例として、例えば、非特許文献：F.Kimura et. al. “Modified quadratic discriminant functions and the application to chinese character recognition ”IEEETransaction on Pattern Analysis and Machine Intelligence、 vol.9、 pp.149-153に開示の技術（改良型投影距離：MQDF）がある。この方式では、大量の文字パターンを用いて文字識別辞書を作成する際にベイズの定理から導かれる距離尺度である識別関数を文字カテゴリごとに導出し、入力された文字パターンを識別する際には識別関数の出力する値に基づいて、文字カテゴリに分類することで、個々の文字を識別する。
ステップ４４０の項目値表記スコア計算では、制御部１５０は、ステップ４３０において認識された各文字列の文字列認識結果ごとに、項目値表記辞書と照合し、当該文字列が項目値表記辞書に登録された文字列の文法表記ルールとの一致度を表す項目値表記スコアを計算する。ステップ４４０の処理は、後に詳細に説明する。
ステップ４５０の項目値単語スコア計算では、制御部１５０は、ステップ４３０において認識された各文字列の文字列認識結果ごとに、項目値単語辞書と照合し、当該文字列が項目値単語辞書に登録された単語である確率を表す項目値単語スコアを計算する。ステップ４５０の処理は、後に詳細に説明する。
ステップ４６０の項目値候補選択では、制御部１５０は、ステップ４４０で計算した項目値表記スコアとステップ４５０で計算した項目値単語スコアが閾値を超えた文字列を項目値候補として選定する。ステップ４６０の処理は、後に詳細に説明する。
ステップ４７０の項目値候補配置スコア計算では、制御部１５０は、ステップ４６０で選定した項目値候補に対して、互いに属性が異なる２つの項目値候補の配置関係の妥当さを表す項目値候補配置スコアを計算する。項目値候補配置スコアは、２つの文字列が属する枠の配置関係や、２つの文字列の配置関係を基に計算する。ステップ４７０の処理は、後に詳細に説明する。
ステップ４７０の項目値候補配置スコア計算では、制御部１５０は、ステップ４６０で選定した項目値候補に対して、互いに属性が異なる２つの項目値候補の配置関係の妥当さを表す項目値候補配置スコアを計算する。項目値候補配置スコアは、２つの文字列が属する枠の配置関係や、２つの文字列の配置関係を基に計算する。ステップ４７０の処理は、後に詳細に説明する。
ステップ４８０の項目値候補ペアスコア計算では、制御部１５０は、ステップ４４０において計算された項目値表記スコア、ステップ４５０において計算された項目値単語スコア、ステップ４７０において計算された項目値候補配置スコアを基に、各スコアの数値から２つの項目値候補のペアが項目値グループの一部としての妥当さを表す項目値候補ペアスコアを計算する。項目値候補ペアスコアの計算には、例えば、項目値表記スコア、項目値単語スコア、項目値候補配置スコアを代入することで評価値を出力する評価関数を用いる方法などがある。ステップ４８０の処理は、後に詳細に説明する。
ステップ４９０の項目値グループ評価では、制御部１５０は、ステップ４８０で計算された評価値を基に、帳票画像内での項目値候補から項目値グループを構成する文字列を決定する。例えば、項目値グループを構成する全ての属性を満たす項目値候補ペアの組合せ（例えば、銀行−支店ペア、支店−口座種別ペア、口座種別−口座番号ペアの組合せ）のうち、項目値候補ペアスコアの総和が最大となるものを選択する。もしくは、ある閾値以上となる組合せを選択する。項目値候補ペアの組合せを決定することにより、文字列の認識結果および該文字列の属性が決定される。ステップ４９０の処理は、後に詳細に説明する。
ステップ４９５の記憶および出力では、制御部１５０は、ステップ４８０までの処理で求めた認識結果や途中結果を記憶部１４０に記憶もしくは表示部１２０かＩＦ１６０に出力する。なお、制御部１５０は、別のタイミングで認識結果や途中結果を記憶部１４０から読み出し、表示部１２０かＩＦ１６０に出力してもよい。
なお、図４においてステップ４４０とステップ４５０はどちらを先に処理してもかまわない。
なお、図４においてステップ４４０とステップ４５０はどちらを先に処理してもかまわない。
以上のように、本実施形態によると、項目名が記載されていなくても項目値を抽出することができる。また、本実施形態によると、辞書の作成コストを極力少なくかつ様々なレイアウトの帳票に対しても、汎用性高く認識できる帳票認識方式を提供することができる。
（第２実施形態）
図５に、制御部１５０における帳票認識の別の処理フロー図を示す。図５は図４と比べてステップ５１０とステップ５２０の処理が追加されている。これは、項目値単語照合の処理時間を削減することを目的としている。例えば、銀行名の属性の項目値単語は非常に多いため、帳票中の全ての文字列に対して照合処理を行うと処理時間がかかる。これに対し、銀行名は「ＸＸＸ銀行」「ＡＡＡ信用金庫」など、「銀行」や「信用金庫」などの属性に応じて記載されるキーワード（以降、「項目値キーワード」と記載する）が存在する。項目値キーワードの単語数は項目値単語よりも少ないため、まず項目値キーワード検出により項目値単語が記載される領域を推定し、その領域内のみ項目値単語照合を行うものである。
図５に、制御部１５０における帳票認識の別の処理フロー図を示す。図５は図４と比べてステップ５１０とステップ５２０の処理が追加されている。これは、項目値単語照合の処理時間を削減することを目的としている。例えば、銀行名の属性の項目値単語は非常に多いため、帳票中の全ての文字列に対して照合処理を行うと処理時間がかかる。これに対し、銀行名は「ＸＸＸ銀行」「ＡＡＡ信用金庫」など、「銀行」や「信用金庫」などの属性に応じて記載されるキーワード（以降、「項目値キーワード」と記載する）が存在する。項目値キーワードの単語数は項目値単語よりも少ないため、まず項目値キーワード検出により項目値単語が記載される領域を推定し、その領域内のみ項目値単語照合を行うものである。
ステップ５１０の項目値キーワード検出では、制御部１５０は、ステップ４３０において認識された各文字列の文字列認識結果ごとに、項目値キーワード辞書と照合し、当該文字列が項目値キーワード辞書に登録されたキーワード単語である確率を表す項目値キーワードスコアを計算し、スコアが閾値以上の文字列を項目値キーワードであると判定する。ステップ５１０の処理は、後に詳細に説明する。
ステップ５２０の項目値単語照合文字列選択では、制御部１５０は、ステップ５１０において項目値キーワードと判定された文字列の周囲の文字列を項目値単語照合の候補として選択する。選択方法としては、項目値キーワードが照合された文字列を基準として、その基準文字列の上下左右方向で閾値以内の距離にある文字列を選択する方法や、基準文字列を含む枠の上下左右方向に基準以内の枠内の文字列を選択する方法などがある。ステップ５２０の処理は、後に詳細に説明する。
なお、図５においてステップ４４０と、ステップ５１０からステップ４５０までの一連の処理はどちらを先に処理してもかまわない。
以上のように、本実施形態によると、さらに、項目値単語照合の処理時間を削減することができる。
（第３実施形態）
図６に、制御部１５０における帳票認識の別の処理フロー図を示す。図６は図５と比べてステップ６１０からステップ６３０の処理が追加されており、ステップ４６０が６４０に変更されている。これは、項目名が記載されている項目値の認識率を向上させることを目的としている。帳票画像のノイズやかすれなどの悪影響により、文字列認識誤りが発生し、項目値表記スコアや項目値単語スコアが低い値になることがある。これにより、ステップ４６０の項目値候補選択において、項目値の文字列のスコアが低くなる場合や、選択できない場合がある。このため、後段の処理で正しく項目値グループを決定できないという課題がある。この課題には、例えば特開２０１１−２４８６０９号公報に開示の技術のように、項目名と項目値のペアを求めることで対応することができる。項目名と項目値の両方を評価するため、仮に項目値のスコアが低い場合でも、項目名のスコアにより項目名―項目値ペアを抽出することができる。本実施例では、項目値だけでなく項目名―項目値ペアも項目値候補とする。
図６に、制御部１５０における帳票認識の別の処理フロー図を示す。図６は図５と比べてステップ６１０からステップ６３０の処理が追加されており、ステップ４６０が６４０に変更されている。これは、項目名が記載されている項目値の認識率を向上させることを目的としている。帳票画像のノイズやかすれなどの悪影響により、文字列認識誤りが発生し、項目値表記スコアや項目値単語スコアが低い値になることがある。これにより、ステップ４６０の項目値候補選択において、項目値の文字列のスコアが低くなる場合や、選択できない場合がある。このため、後段の処理で正しく項目値グループを決定できないという課題がある。この課題には、例えば特開２０１１−２４８６０９号公報に開示の技術のように、項目名と項目値のペアを求めることで対応することができる。項目名と項目値の両方を評価するため、仮に項目値のスコアが低い場合でも、項目名のスコアにより項目名―項目値ペアを抽出することができる。本実施例では、項目値だけでなく項目名―項目値ペアも項目値候補とする。
ステップ６１０の項目名スコア計算では、制御部１５０は、ステップ４３０において認識された各文字列の文字列認識結果ごとに、項目名となりうる単語のリストである「項目名辞書」と照合し、当該文字列が項目名辞書に登録された単語である確率を表す項目名スコアを計算する。ステップ６１０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。ステップ６１０の処理は、後に詳細に説明する。
ステップ６２０の項目名―項目値配置スコア計算では、制御部１５０は、ステップ４１０において検出された枠の座標およびステップ４２０において検出された文字列領域の座標を基に、帳票画像内の文字列ペアをなす２つの文字列間の配置に対して、項目名−項目値関係としての妥当さを表す項目名―項目値配置スコアを計算する。ステップＳ６２０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。ステップ６２０の処理は、後に詳細に説明する。
ステップ６２５の項目名―項目値ペアスコア計算では、制御部１５０は、ステップ６１０で計算した項目名スコアと、ステップ４４０で計算した項目値表記スコアとステップ４５０で計算した項目値単語スコアと、ステップ６２０において計算された項目名―項目値配置スコアを基に、各スコアの数値から２つの文字列の項目名−項目値関係の評価値である項目名−項目値ペアスコアを計算する。評価値の計算には、例えば、項目名スコア、項目値単語スコア、項目名表記スコア、項目名―項目値配置スコアを代入することで評価値を出力する評価関数を用いる方法などがある。ステップ６２５の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。ステップ６２５の処理は、後に詳細に説明する。
ステップ６３０の項目名―項目値ペア検出では、制御部１５０は、ステップ６２５で計算した項目名―項目値ペアスコアが閾値を超えた場合に、当該文字列の組合せを項目名と項目値のペアであると判定する。ステップ６３０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。ステップ６３０の処理は、後に詳細に説明する。
ステップ６４０の項目値候補選択では、制御部１５０は、ステップ４４０で計算した項目値表記スコアとステップ４５０で計算した項目値単語スコアが閾値を超えた文字列、およびステップ６３０で計算した項目名―項目値ペアスコアが閾値を超えた文字列ペアを項目値候補として選定する。ステップ６４０の処理は、後に詳細に説明する。
なお、図６において、ステップ６１０と、ステップ４４０、ステップ５１０からステップ４５０までの一連の処理、ステップ６２０は、いずれを先に処理してもかまわない。
以上のように、本実施形態によると、さらに、項目名が記載されている項目値の認識率を向上させることができる。
（第４実施形態）
図７に、制御部１５０における帳票認識の別の処理フロー図を示す。図７は図６と比べてステップ５１０とステップ５２０の処理が削除されている。すなわち、制御部１５０が、項目値キーワード検出による項目値単語照合の削減をしない場合の処理フローである。なお、図７は、図４と比べてステップ６１０、６２０〜６４０の処理が追加されている。
なお、図７において、ステップ６１０、ステップ４４０、ステップ４５０、ステップ６２０、ステップ６３０は、いずれを先に処理してもかまわない。
以上のように、本実施形態によると、さらに、照合の処理を簡易にすることができる。
図７に、制御部１５０における帳票認識の別の処理フロー図を示す。図７は図６と比べてステップ５１０とステップ５２０の処理が削除されている。すなわち、制御部１５０が、項目値キーワード検出による項目値単語照合の削減をしない場合の処理フローである。なお、図７は、図４と比べてステップ６１０、６２０〜６４０の処理が追加されている。
なお、図７において、ステップ６１０、ステップ４４０、ステップ４５０、ステップ６２０、ステップ６３０は、いずれを先に処理してもかまわない。
以上のように、本実施形態によると、さらに、照合の処理を簡易にすることができる。
Ｄ．詳細動作
（第１から第４実施形態の処理の詳細）
以下、第１から第４実施例に記載の処理の詳細について説明する。ここでは、第１から第４の実施例の全ての処理を含む第３実施例の処理フローである図６に従って、図８の帳票を例として説明する。
（第１から第４実施形態の処理の詳細）
以下、第１から第４実施例に記載の処理の詳細について説明する。ここでは、第１から第４の実施例の全ての処理を含む第３実施例の処理フローである図６に従って、図８の帳票を例として説明する。
図５２は、制御部の詳細構成図である。
制御部１５０は、枠検出部１４１０と、文字列検出部１４２０と、文字列認識部１４３０と、項目名スコア計算部１６１０と、項目値表記スコア計算部１４４０と、項目値キーワード検出部１５１０と、項目値単語照合対象文字列選択部１５２０と、項目値単語スコア計算部１４５０と、項目名―項目値配置スコア計算部１６２０と、項目名―項目値ペアスコア計算部１６２５と、項目名―項目値ペア検出部１６３０と、項目値候補選択部１６４０と、項目値候補配置スコア計算部１４７０と、項目値候補ペアスコア計算部１４８０と、項目値グループ評価部１４９０とを備える。なお、この図は、第３実施形態に対応するものであるが、第１、２、４実施形態についても処理フローに基づき必要のない構成部を省略すればよい。
制御部１５０は、枠検出部１４１０と、文字列検出部１４２０と、文字列認識部１４３０と、項目名スコア計算部１６１０と、項目値表記スコア計算部１４４０と、項目値キーワード検出部１５１０と、項目値単語照合対象文字列選択部１５２０と、項目値単語スコア計算部１４５０と、項目名―項目値配置スコア計算部１６２０と、項目名―項目値ペアスコア計算部１６２５と、項目名―項目値ペア検出部１６３０と、項目値候補選択部１６４０と、項目値候補配置スコア計算部１４７０と、項目値候補ペアスコア計算部１４８０と、項目値グループ評価部１４９０とを備える。なお、この図は、第３実施形態に対応するものであるが、第１、２、４実施形態についても処理フローに基づき必要のない構成部を省略すればよい。
図８は、帳票８００の一例である。表８０１は帳票８００の各文字列についてＳ１０１からＳ１２９までの文字列番号を付けた図である。以降の説明では表８０１内の文字列番号を参照する。図８の帳票８００の認識において、一例として項目値グループを構成する読取対象の属性（項目名）は、「銀行」、「支店」、「口座種別」、「口座番号」の４つとする。この例では、「ＸＸＸ銀行」「ＹＹＹ支店」「普通」「１２３４５６７」の項目値文字列を抽出することが正解となる。
（ステップ４３０）
まず、図６のステップ６１０、ステップ４４０、ステップ５１０、ステップ４５０で用いられる、文字列認識結果と辞書との照合処理の概要について、図９を用いて一例を説明する。図９は、文字列認識と照合処理の概略を示す図である。
まず、ステップ４３０の文字列認識内において、制御部１５０（文字列認識部１４３０）は、ステップ４２０で抽出された文字列画像９４０からステップ９００の文字切出し処理を行うことにより、１文字単位の切出し方の候補を全て検出してネットワークで表現した切出し仮説ネットワーク９５０を作成する。次に、ステップ９１０において、制御部１５０（文字列認識部１４３０）は、全ての切出し候補の文字パターンを文字識別する。文字識別結果は、確からしさに応じてスコア付けされた第１位から第Ｎ位（Ｎは任意の数）までの候補を持っている（９６０）。ステップ９２０の文字列照合は、図６のステップ６１０やステップ４４０、５１０、４５０に相当する処理であり、制御部１５０（文字列認識部１４３０）は、ステップ９６０のネットワークに対してあらかじめ用意した文字列辞書９３０を照合して認識結果９７０を求める。文字列の照合とは、ネットワーク中の最適なパスを探索する問題とみなすことができる。このため、文字列照合スコアの計算方法として、例えば、文字列照合により求まった文字列パスの切出しパターンの文字識別スコアの平均値を文字列スコアとする方法が利用できる。なお、ネットワークを用いず、文字識別の前に切出し方を一意に決めてから文字識別と照合を行ってもよい。
まず、図６のステップ６１０、ステップ４４０、ステップ５１０、ステップ４５０で用いられる、文字列認識結果と辞書との照合処理の概要について、図９を用いて一例を説明する。図９は、文字列認識と照合処理の概略を示す図である。
まず、ステップ４３０の文字列認識内において、制御部１５０（文字列認識部１４３０）は、ステップ４２０で抽出された文字列画像９４０からステップ９００の文字切出し処理を行うことにより、１文字単位の切出し方の候補を全て検出してネットワークで表現した切出し仮説ネットワーク９５０を作成する。次に、ステップ９１０において、制御部１５０（文字列認識部１４３０）は、全ての切出し候補の文字パターンを文字識別する。文字識別結果は、確からしさに応じてスコア付けされた第１位から第Ｎ位（Ｎは任意の数）までの候補を持っている（９６０）。ステップ９２０の文字列照合は、図６のステップ６１０やステップ４４０、５１０、４５０に相当する処理であり、制御部１５０（文字列認識部１４３０）は、ステップ９６０のネットワークに対してあらかじめ用意した文字列辞書９３０を照合して認識結果９７０を求める。文字列の照合とは、ネットワーク中の最適なパスを探索する問題とみなすことができる。このため、文字列照合スコアの計算方法として、例えば、文字列照合により求まった文字列パスの切出しパターンの文字識別スコアの平均値を文字列スコアとする方法が利用できる。なお、ネットワークを用いず、文字識別の前に切出し方を一意に決めてから文字識別と照合を行ってもよい。
（ステップ６１０）
次に、図６のステップ６１０の項目名スコア計算について、図１０と図１１、図１２を用いて説明する。図１０は項目名辞書の例、図１１は項目名スコアテーブルの例、図１２は項目名文字列の抽出結果の例である。ステップ６１０では、制御部１５０（項目名スコア計算部１６１０）は、帳票画像内の文字列と項目名辞書との照合を行い、項目名スコアを計算する。ステップ６１０における項目名照合の具体例としては、例えば、特開２００４−１７１３１６号公報に開示の技術を利用することができる。図１０の項目名辞書を用いて、図８の帳票画像内の文字列に対して項目名スコアを計算する場合、項目名スコアテーブルの例は図１１のようになる。図１１の項目名スコアテーブルの場合、制御部１５０（項目名スコア計算部１６１０）は、帳票画像内のＮ個（本実施例の場合Ｎ＝２９（Ｓ１０１〜Ｓ１２９））の文字列に対し、全ての項目名単語との照合を行い、項目名スコアを計算する。図１２において、Ｓ１２８の「電話番号」が項目名文字列として検出されているのは、項目名辞書内の「口座番号」や「番号」の単語と照合しているためである。図１１の項目名スコアテーブルにおいて、Ｓ１２８の「電話番号」はＳ１１３の「口座番号」と比べて低いスコアとなっていることがわかる。同様に、Ｓ１１７の「口座名」も「口座番号」と照合した結果である。
次に、図６のステップ６１０の項目名スコア計算について、図１０と図１１、図１２を用いて説明する。図１０は項目名辞書の例、図１１は項目名スコアテーブルの例、図１２は項目名文字列の抽出結果の例である。ステップ６１０では、制御部１５０（項目名スコア計算部１６１０）は、帳票画像内の文字列と項目名辞書との照合を行い、項目名スコアを計算する。ステップ６１０における項目名照合の具体例としては、例えば、特開２００４−１７１３１６号公報に開示の技術を利用することができる。図１０の項目名辞書を用いて、図８の帳票画像内の文字列に対して項目名スコアを計算する場合、項目名スコアテーブルの例は図１１のようになる。図１１の項目名スコアテーブルの場合、制御部１５０（項目名スコア計算部１６１０）は、帳票画像内のＮ個（本実施例の場合Ｎ＝２９（Ｓ１０１〜Ｓ１２９））の文字列に対し、全ての項目名単語との照合を行い、項目名スコアを計算する。図１２において、Ｓ１２８の「電話番号」が項目名文字列として検出されているのは、項目名辞書内の「口座番号」や「番号」の単語と照合しているためである。図１１の項目名スコアテーブルにおいて、Ｓ１２８の「電話番号」はＳ１１３の「口座番号」と比べて低いスコアとなっていることがわかる。同様に、Ｓ１１７の「口座名」も「口座番号」と照合した結果である。
（ステップ４４０）
次に、図６のステップ４４０の項目値表記スコア計算について、図１３と図１４、図１５を用いて説明する。基本的な概念は前記の項目名スコア計算と同じである。図１３は項目値表記辞書の例、図１４は項目値スコアテーブルの例、図１５は項目値表記文字列の抽出結果の例である。ステップ４４０では、制御部１５０（項目値表記スコア計算部１４４０）は、帳票画像内の文字列と項目値表記辞書との照合を行い、項目値表記スコアを計算する。ステップ４４０における項目値表記照合の具体的な実施例としては、例えば、非特許文献：高橋他、「回帰的遷移ネットワークを用いた文字経路探索方式の開発」、電子情報通信学会技術研究報告 Vol.109 No.418 pp.141-146、に開示の技術のように、個別文字の識別候補をノードと見立てた識別候補文字ネットワークと状態遷移ネットワークで表現した表記辞書のマッチングにより、状態遷移ネットワークから最適な文字列パスを選択し、文字列認識結果を得る方法がある。項目値表記辞書の例として、例えば、図１３の項目値表記辞書１３００に示すような文字列の表記ルールの正規表現がある。口座番号については、１桁から７桁の数字列の表記が登録されている。口座番号以外の項目値表記辞書の例としては、項目値表記辞書１３０１に示す金額や日付などがある。図１３の表記辞書１３００を用いて、図８の帳票画像内の文字列に対して項目値表記スコアを計算する場合、項目値スコアテーブルは図１４のようになる。ここでは、項目値表記辞書には口座番号の属性しか登録されていないため、銀行、支店、口座種別の属性は０となっている。
次に、図６のステップ４４０の項目値表記スコア計算について、図１３と図１４、図１５を用いて説明する。基本的な概念は前記の項目名スコア計算と同じである。図１３は項目値表記辞書の例、図１４は項目値スコアテーブルの例、図１５は項目値表記文字列の抽出結果の例である。ステップ４４０では、制御部１５０（項目値表記スコア計算部１４４０）は、帳票画像内の文字列と項目値表記辞書との照合を行い、項目値表記スコアを計算する。ステップ４４０における項目値表記照合の具体的な実施例としては、例えば、非特許文献：高橋他、「回帰的遷移ネットワークを用いた文字経路探索方式の開発」、電子情報通信学会技術研究報告 Vol.109 No.418 pp.141-146、に開示の技術のように、個別文字の識別候補をノードと見立てた識別候補文字ネットワークと状態遷移ネットワークで表現した表記辞書のマッチングにより、状態遷移ネットワークから最適な文字列パスを選択し、文字列認識結果を得る方法がある。項目値表記辞書の例として、例えば、図１３の項目値表記辞書１３００に示すような文字列の表記ルールの正規表現がある。口座番号については、１桁から７桁の数字列の表記が登録されている。口座番号以外の項目値表記辞書の例としては、項目値表記辞書１３０１に示す金額や日付などがある。図１３の表記辞書１３００を用いて、図８の帳票画像内の文字列に対して項目値表記スコアを計算する場合、項目値スコアテーブルは図１４のようになる。ここでは、項目値表記辞書には口座番号の属性しか登録されていないため、銀行、支店、口座種別の属性は０となっている。
（ステップ５１０）
次に、図６のステップ５１０の項目値キーワード検出について、図１６と図１７を用いて説明する。基本的な概念は前記の項目名スコア計算と同じである。図１６は項目値キーワード辞書の例、図１７は項目値キーワード文字列の抽出結果の例である。ステップ５１０では、制御部１５０（項目値キーワード検出部１５１０）は、帳票画像内の文字列と項目値キーワード辞書との照合を行い、項目値キーワードスコアを計算する。ステップ５１０における単語照合の具体的な実施例としては、ステップ６１０やステップ４５０と同様に、特開２００４−１７１３１６号公報に開示の技術を利用することができる。図１６の項目値キーワード辞書を用いて、図８の帳票画像内の文字列に対して項目値キーワードスコアを計算する。図１７では、項目名文字列、項目値表記文字列、項目名キーワード文字列が抽出された結果である。
次に、図６のステップ５１０の項目値キーワード検出について、図１６と図１７を用いて説明する。基本的な概念は前記の項目名スコア計算と同じである。図１６は項目値キーワード辞書の例、図１７は項目値キーワード文字列の抽出結果の例である。ステップ５１０では、制御部１５０（項目値キーワード検出部１５１０）は、帳票画像内の文字列と項目値キーワード辞書との照合を行い、項目値キーワードスコアを計算する。ステップ５１０における単語照合の具体的な実施例としては、ステップ６１０やステップ４５０と同様に、特開２００４−１７１３１６号公報に開示の技術を利用することができる。図１６の項目値キーワード辞書を用いて、図８の帳票画像内の文字列に対して項目値キーワードスコアを計算する。図１７では、項目名文字列、項目値表記文字列、項目名キーワード文字列が抽出された結果である。
（ステップ５２０）
次に、図６のステップ５２０の項目値単語照合対象文字列選択について、図１８から図２５を用いて説明する。ステップ５２０の処理では、制御部１５０（項目値単語照合対象文字列選択部１５２０）は、項目値グループの文字列は互いに近接した範囲に記載されているという前提（条件）に従い、図１７に示した、抽出済みの項目名文字列１７００、項目値表記文字列１７１０、項目値キーワード文字列１７２０を利用して、項目値単語照合処理の対象となる文字列を選択する。なお、図５のステップ５２０の項目値単語照合対象文字列選択では、項目値表記文字列と項目値キーワード文字列のみを利用してこの処理を行う。
次に、図６のステップ５２０の項目値単語照合対象文字列選択について、図１８から図２５を用いて説明する。ステップ５２０の処理では、制御部１５０（項目値単語照合対象文字列選択部１５２０）は、項目値グループの文字列は互いに近接した範囲に記載されているという前提（条件）に従い、図１７に示した、抽出済みの項目名文字列１７００、項目値表記文字列１７１０、項目値キーワード文字列１７２０を利用して、項目値単語照合処理の対象となる文字列を選択する。なお、図５のステップ５２０の項目値単語照合対象文字列選択では、項目値表記文字列と項目値キーワード文字列のみを利用してこの処理を行う。
ステップ５２０の項目値単語照合対象文字列選択の一例としては、図１８の表１８００に示すように、制御部１５０（項目値単語照合対象文字列選択部１５２０）が、照合単語を含む枠とその隣接枠との配置に従って設定した重みを用いて、表１８１０に示すスコア計算を用いることにより実現できる。ここで、隣接する枠とは、枠の辺を共有する枠同士を指す。上側の隣接枠を図１９の例を用いて説明すると、枠Ｃ１００の上側に隣接する枠はＣ１０１、同様にＣ１０２の上側隣接枠はＣ１０３からＣ１０５、Ｃ１０６の上側隣接枠はＣ１０７からＣ１０９である。他の辺についても同様である。文字列のスコア（Ｓｗ）は、例えば数１や数２を利用することができる。
数１と数２のそれぞれにおいて、３つの式を選択する際には、それぞれ上の式が優先される。数１では、項目値単語照合の対象となる文字列に近い文字列ほどスコアが高くなるように値を設定している。また、数２のように前段で求めた照合のスコアを乗算することで文字認識結果を考慮することも可能である。
図２０及び図２１は、前段までに抽出された全ての項目名文字列、項目値表記文字列、項目値キーワード文字列に対して、図１８を用いて枠のスコア計算を行い、各枠ごとにスコアの総和を計算した結果である。項目値グループの項目値が記載されている枠とその周辺が高い値になっていることがわかる。項目値単語照合文字列の選択方法の一例として、例えば図２０のスコアの上位１／３の枠内の文字列を選択することができる。図２０の網掛け部分が選択した枠である。さらに、この範囲では適切に全ての項目値をカバーできない場合を想定して、図２１に示すように図２０で選択した枠を上下左右に所定の範囲拡大した薄い網掛けの枠内の文字列も含めてもよい。また、枠がない帳票については、文字列間の空白を仮想的に罫線とみなすことにより、図１８から図２１の処理を適用することが可能である。
また、図２０と図２１の例は、項目名文字列、項目値表記文字列、項目値キーワード文字列を用いたが、必ずしも全て利用する必要はない。図２２は項目名文字列と項目値キーワード文字列のみを利用して図２０と同様のスコア計算をした結果である。上位１／３を網掛けで示している。図２３は、図２１と同様に上下左右に対象枠を拡大した例である。
さらに、図２２を用いて選択された文字列を削減する方法について説明する。この処理は必ずしも実施する必要はない。図２２では、図８の文字列Ｓ１２５を含む枠（スコア５．７）が、他の選択された枠とは孤立して選択されている。１つの文字列のみから複数の項目値を得られないと判断して候補から除外した結果が図２４、それを上下左右に拡大した結果が図２５である。
（ステップ４５０）
次に、図６のステップ４５０の項目値単語スコア計算について、図２６と図２７、図２８を用いて説明する。基本的な概念は前記の項目名スコア計算と同じである。図２６は項目値単語辞書の例、図２７は項目値スコアテーブルの例、図２８は項目値単語文字列の抽出結果の例である。ステップ４５０では、制御部１５０（項目値単語スコア計算部１４５０）は、ステップ５２０で選択された文字列と項目値単語辞書との照合を行い、項目値単語スコアを計算する。ステップ４５０における単語照合の具体的な実施例としては、ステップ６１０と同様に、特開２００４−１７１３１６号公報に開示の技術を利用することができる。図２６の項目値単語辞書を用いて、図８の帳票画像内の文字列に対して項目値単語スコアを計算する場合、項目値スコアテーブルの例は図２７のようになる。図２７では、ステップ４４０で計算した項目値表記スコアとステップ４５０で計算した項目値単語スコアが記録されている。なお、口座種別の属性については、ステップ５１０の項目値キーワード検出と同じ内容であるため、ステップ４５０では省略することができる。また、文字列選択を行わない図４と図７のステップ４４０では、帳票上の全ての文字列に対して照合処理を行う。
次に、図６のステップ４５０の項目値単語スコア計算について、図２６と図２７、図２８を用いて説明する。基本的な概念は前記の項目名スコア計算と同じである。図２６は項目値単語辞書の例、図２７は項目値スコアテーブルの例、図２８は項目値単語文字列の抽出結果の例である。ステップ４５０では、制御部１５０（項目値単語スコア計算部１４５０）は、ステップ５２０で選択された文字列と項目値単語辞書との照合を行い、項目値単語スコアを計算する。ステップ４５０における単語照合の具体的な実施例としては、ステップ６１０と同様に、特開２００４−１７１３１６号公報に開示の技術を利用することができる。図２６の項目値単語辞書を用いて、図８の帳票画像内の文字列に対して項目値単語スコアを計算する場合、項目値スコアテーブルの例は図２７のようになる。図２７では、ステップ４４０で計算した項目値表記スコアとステップ４５０で計算した項目値単語スコアが記録されている。なお、口座種別の属性については、ステップ５１０の項目値キーワード検出と同じ内容であるため、ステップ４５０では省略することができる。また、文字列選択を行わない図４と図７のステップ４４０では、帳票上の全ての文字列に対して照合処理を行う。
（ステップ６２０）
次に、図６のステップ６２０の項目名―項目値配置スコア計算について、図２９を用いて説明する。ステップ６２０の処理では、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、２つの文字列間の配置関係を評価することにより、項目名と項目値のペアとして妥当な配置に高い項目名―項目値配置スコアを、妥当でない配置に低い項目名―項目値配置スコアを設定する。制御部１５０（項目名―項目値配置スコア計算部１６２０）は、項目名―項目値配置スコアを、２つの文字列が属する枠のサイズおよび配置関係や、２つの文字列矩形のサイズおよび配置関係を基に計算する。ステップ６２０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。この技術では、例えば項目名―項目値配置スコアは、項目名―項目値配置スコアが取り得る値の最大値で初期化し、文字列ペアをなす２つの文字列の配置関係が項目名−項目値関係として非妥当であると判断できる配置パターンをペナルティルールとして定義し、初期値からペナルティルールによって得られたペナルティ値を減算した値として計算する方法がある。この処理を帳票画像内の全文字列ペアに対して実行する。
次に、図６のステップ６２０の項目名―項目値配置スコア計算について、図２９を用いて説明する。ステップ６２０の処理では、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、２つの文字列間の配置関係を評価することにより、項目名と項目値のペアとして妥当な配置に高い項目名―項目値配置スコアを、妥当でない配置に低い項目名―項目値配置スコアを設定する。制御部１５０（項目名―項目値配置スコア計算部１６２０）は、項目名―項目値配置スコアを、２つの文字列が属する枠のサイズおよび配置関係や、２つの文字列矩形のサイズおよび配置関係を基に計算する。ステップ６２０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。この技術では、例えば項目名―項目値配置スコアは、項目名―項目値配置スコアが取り得る値の最大値で初期化し、文字列ペアをなす２つの文字列の配置関係が項目名−項目値関係として非妥当であると判断できる配置パターンをペナルティルールとして定義し、初期値からペナルティルールによって得られたペナルティ値を減算した値として計算する方法がある。この処理を帳票画像内の全文字列ペアに対して実行する。
図２９に、特開２０１１−２４８６０９号公報に開示の技術を用いたペナルティルールの例を示す。制御部１５０（項目名―項目値配置スコア計算部１６２０）は、ペナルティルールは２つの文字列の属する枠の配置関係やサイズ、２つの文字列矩形の配置関係やサイズを基に計算する。制御部１５０（項目名―項目値配置スコア計算部１６２０）は、例えば、ルール２９１０の場合、２つの文字列が相互に隣接する枠内に存在する場合に、項目名となる文字列の中心座標が、枠の中心座標からずれがある場合に、ずれの距離に応じてペナルティを付加する。これは、本来２つの文字列が項目名−項目値関係にある場合には、項目名となる文字列は枠の中心付近に存在するといった仮定によるものである。ルール２９２０の場合、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、項目名となる文字列の属する枠の高さが、項目値となる文字列の属する枠の高さよりも大きい場合に、枠高さの比率に応じてペナルティを付加する。これは、本来は、項目名の属する枠の高さより、項目値の属する枠高さが大きいといった仮定に基づくものである。ルール２９３０の場合、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、２つの文字列が同一枠に存在する場合に、項目名となる文字列よりも、項目値となる文字列が左もしくは上に存在する場合に、左もしくは上方向へのはみ出し距離に応じてペナルティを付加する。これは、本来、２つの文字列が項目名−項目値関係にある場合には、項目名となる文字列の右下方向に項目値が存在するといった仮定に基づくものである。ルール２９４０の場合、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、２つの文字列が帳票画像内のいずれの枠にも属さず、枠の外かつ相互に近くに存在する場合に、項目名となる文字列の高さと、項目値となる文字列の高さが異なる場合に、文字列高さの比率に応じて、ペナルティを付加する。これは、本来は、項目名と項目値の文字列の高さは互いにほぼ等しいという仮定に基づくものである。ルール２９５０は、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、項目名となる文字列と、項目値となる文字列の距離が離れている場合に、２つの文字列の距離に応じてペナルティを付加する。これは、２つの文字列が項目名−項目値関係にある場合には、２つの文字列は相互に近くにあるといった仮定に基づくものである。ルール２９６０は、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、項目名となる文字列より、項目値となる文字列が左上方向に存在する場合に、そのずれの距離に応じてペナルティを付加するものである。これは、本来は、項目名の右下方向に項目値が存在するといった仮定に基づくものである。
以上のように、ペナルティルールは、２つの文字列が項目名−項目値関係にある場合の尤もらしい配置関係を仮定し、その仮定から外れる配置関係に２つの文字列が配置される場合に、ペナルティが付加されるように生成される。なお、ペナルティルールは図２９に示したルール２９１０から２９６０に限定されるものではなく、２つの文字列の属する枠の配置関係やサイズ、２つの文字列矩形の配置関係やサイズなどから計算されるものであり、２つの文字列が項目名−項目値関係にある場合に尤もらしい配置関係を仮定し、その仮定から外れる場合に付加される計算方法であれば、これに限定しない。
（ステップ６２５、６３０）
次に、図６のステップ６２５の項目名―項目値ペアスコア計算及びステップ６３０の項目名―項目値ペア検出について、図３０を用いて説明する。ステップ６２５及び６３０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。図３０は項目名―項目値ペア検出結果の例である。項目名―項目値ペアスコア計算では、制御部１５０（項目名―項目値ペアスコア計算部１６２５）は、例えば、項目名スコア、項目値スコア（項目値表記スコアもしくは項目値単語スコア）、項目名―項目値配置スコアを入力とする評価関数によって計算する。Ｓｎを項目名スコア、Ｓｖを項目値スコア、Ｓａを項目名―項目値配置スコアとしたときに、評価関数Ｓｐ(Ｓｎ、 Ｓｖ、 Ｓａ)の例として、例えば数３、数４、数５に示すものがある。
次に、図６のステップ６２５の項目名―項目値ペアスコア計算及びステップ６３０の項目名―項目値ペア検出について、図３０を用いて説明する。ステップ６２５及び６３０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。図３０は項目名―項目値ペア検出結果の例である。項目名―項目値ペアスコア計算では、制御部１５０（項目名―項目値ペアスコア計算部１６２５）は、例えば、項目名スコア、項目値スコア（項目値表記スコアもしくは項目値単語スコア）、項目名―項目値配置スコアを入力とする評価関数によって計算する。Ｓｎを項目名スコア、Ｓｖを項目値スコア、Ｓａを項目名―項目値配置スコアとしたときに、評価関数Ｓｐ(Ｓｎ、 Ｓｖ、 Ｓａ)の例として、例えば数３、数４、数５に示すものがある。
なお、評価関数は数３、数４、数５に限るものではなく、項目名スコア、項目値スコア、項目名―項目値配置スコアの値から、２つの文字列が項目名−項目値関係にある確からしさを算出できる形式であれば、これに限らない。制御部１５０（項目名―項目値ペア検出部１６３０）は、このような評価関数による項目名−項目値評価値計算を帳票画像内の全文字列ペアに対して行い、評価関数Ｓｐの値が閾値を超えたペアを項目名―項目値ペアとして検出する。図３０は検出結果であり、「先方銀行」と「ＸＸＸ銀行」のペアが銀行の属性として、「口座番号」と「１２３４５６７」のペアが口座番号の属性として、「電話番号」と「０４２−１２３４−５６７８」のペアが口座番号の属性として検出されている。
（ステップ６４０）
次に、図６のステップ６４０の項目値候補選択について、図３１を用いて説明する。制御部１５０（項目値候補選択部１６４０）は、項目値候補には、ステップ４４０で求めた項目値表記スコアが閾値以上の項目値表記文字列、ステップ４５０で求めた項目値単語スコアが閾値以上の項目値単語文字列、およびステップ６３０で求めた項目名―項目値ペアスコアが閾値以上の項目名―項目値ペアとする。制御部１５０（項目値候補選択部１６４０）は、項目値候補スコア（Ｓｃ）として、数６に示すように、項目値候補として選択した文字列（もしくは文字列ペア）に応じて、項目値単語スコア、項目値表記スコア、項目名―項目値ペアスコアのいずれかを選択する。
次に、図６のステップ６４０の項目値候補選択について、図３１を用いて説明する。制御部１５０（項目値候補選択部１６４０）は、項目値候補には、ステップ４４０で求めた項目値表記スコアが閾値以上の項目値表記文字列、ステップ４５０で求めた項目値単語スコアが閾値以上の項目値単語文字列、およびステップ６３０で求めた項目名―項目値ペアスコアが閾値以上の項目名―項目値ペアとする。制御部１５０（項目値候補選択部１６４０）は、項目値候補スコア（Ｓｃ）として、数６に示すように、項目値候補として選択した文字列（もしくは文字列ペア）に応じて、項目値単語スコア、項目値表記スコア、項目名―項目値ペアスコアのいずれかを選択する。
数６の３つの式を選択する際には、上の式が優先される。すなわち、項目名―項目値ペアが検出されている場合には１つ目の式を、項目名―項目値ペアが検出されず項目値単語が検出されている場合には２つ目の式を、項目名―項目値ペアも項目値単語も検出されず項目値表記が検出されている場合には３つ目の式を用いる。図３１は、項目値候補の選定結果であり、図３２は選定結果を格納したテーブルである。なお、文字列Ｓ１０８は、２つの項目値単語が検出されたため、図３２では文字列Ｓ１０８ａと文字列Ｓ１０８ｂに分割している。この項目値候補を用いて、後段のステップ４７０からステップ４９０の処理を行う。なお、図４と図５のステップ４６０の項目値候補選択では項目名―項目値ペア検出をしていないため、項目値候補選択には項目値表記文字列と項目値単語文字列のみを用いる。
（ステップ４７０）
次に、図６のステップ４７０の項目値候補配置スコア計算について、図３３と図３４を用いて説明する。ステップ４７０の処理では、制御部１５０（項目値候補配置スコア計算１４７０）は、互いに属性の異なる２つの項目値候補間の配置関係を評価することにより、項目値グループの項目値として妥当な配置に高い項目値候補配置スコア（Ｓca）を、妥当でない配置に低い項目値候補配置スコアスコアを設定する。ここでは、２つの文字列（もしくは文字列ペア）を含む枠の配置、または文字列（もしくは文字列ペア）間の配置に応じてスコアを計算する。図３３に、具体的な計算方式の一例を示す。図３３には、４種類の配置スコアの計算方法を示している。（１）は２つの文字列が異なる枠に含まれている場合である。（２）は、一方が枠内、もう一方が枠外の場合である。（３）は、２つの文字列とも枠外の場合である。（４）は、２つの文字列が同じ枠内に含まれている場合である。
次に、図６のステップ４７０の項目値候補配置スコア計算について、図３３と図３４を用いて説明する。ステップ４７０の処理では、制御部１５０（項目値候補配置スコア計算１４７０）は、互いに属性の異なる２つの項目値候補間の配置関係を評価することにより、項目値グループの項目値として妥当な配置に高い項目値候補配置スコア（Ｓca）を、妥当でない配置に低い項目値候補配置スコアスコアを設定する。ここでは、２つの文字列（もしくは文字列ペア）を含む枠の配置、または文字列（もしくは文字列ペア）間の配置に応じてスコアを計算する。図３３に、具体的な計算方式の一例を示す。図３３には、４種類の配置スコアの計算方法を示している。（１）は２つの文字列が異なる枠に含まれている場合である。（２）は、一方が枠内、もう一方が枠外の場合である。（３）は、２つの文字列とも枠外の場合である。（４）は、２つの文字列が同じ枠内に含まれている場合である。
図３４は、（１）のペナルティを利用して、文字列Ｓ１１３を基準として計算した項目値候補配置スコアの例である。２つの文字列が異なる枠内に含まれている場合、１．０を初期値として２つの文字列に至るまでに枠を経由する（跨ぐ）ごとに図３３（１）のペナルティ値を減算する。例えば、文字列Ｓ１１３と文字列Ｓ１０６の項目値候補配置スコア（Ｓｃａ（Ｓ１１３，Ｓ１０６））を計算する場合、経由する枠は文字列Ｓ１１３，Ｓ１０８，Ｓ１０５，Ｓ１０６となる。文字列Ｓ１１３からＳ１０８へは上方向へ移動するため、図３３の（１）に従って０．３減算して０．７となる。同様にＳ１０５に上方向へ移動して０．４となる。Ｓ１０６へは右方向への移動であるため０．１減算して０．３となる。したがって、Ｓｃａ（Ｓ１１３，Ｓ１０６）は０．３となる。同様に、Ｓｃａ（Ｓ１１３，Ｓ１２３）は０．７となる。なお、２つの枠の間に複数の経路が存在する場合には、スコアが最大となる経路を選択してもよい。もしくは、先に縦方向に移動してから横方向に移動する場合と、先に横方向に移動してから縦方向に移動する場合を比較し、スコアが大きい方を選択してもよい。（２）（３）（４）の計算方法についても、図３４と同様に枠もしくは文字列を経由するたびにスコアを減算することで項目値候補配置スコアを求めることができる。なお、項目値候補配置スコアの計算方法は、図３３に示した方法に限定されるものではなく、２つの項目値候補の属する枠の配置関係やサイズ、項目値候補の文字列矩形の配置関係やサイズなどから計算されるものであれば、これに限らない。
図３５は、項目値候補配置スコアの計算結果をネットワークで表現した図である。角丸四角は項目値候補を表すノードであり、行番号と認識結果、項目値候補スコア（Ｓｃ）が記載されている。角丸四角形間のリンク上の数字は、項目値候補配置スコア（Ｓｃａ）を表している。図３５では、項目値候補スコアが閾値を超えた文字列、もしくは文字列のペアがノードとして登録されており、異なる属性のノード間にリンクを設定している。なお、図３５では、銀行、支店、口座種別、口座番号の順にリンクを設定しているが、全ての属性間（例えば銀行と口座種別や、銀行と口座番号など）にリンクを設定してもよい。
（ステップ４８０）
次に、図６のステップ４８０の項目値候補ペアスコア計算について、図３６と図３７を用いて説明する。ステップ４８０の処理では、制御部１５０（項目値候補ペアスコア計算部１４８０）は、互いに属性の異なる２つの項目値候補の文字列のペアに対して、項目値候補スコア（Ｓｃ）と項目値候補配置スコア（Ｓｃａ）を用いて項目値候補ペアスコア（Ｓｃｐ）を計算する。２つの項目値候補の文字列（もしくは文字列ペア）ｉと文字列（もしくは文字列ペア）ｊとの間の項目値候補ペアスコアを求める評価関数Ｓｃｐ（文字列（もしくは文字列ペア）ｉ，文字列（もしくは文字列ペア）ｊ）の計算方法の一例としては、数７がある。（なお、数７では「（もしくは文字列ペア）」が記述スペースの都合上省略されている。）
次に、図６のステップ４８０の項目値候補ペアスコア計算について、図３６と図３７を用いて説明する。ステップ４８０の処理では、制御部１５０（項目値候補ペアスコア計算部１４８０）は、互いに属性の異なる２つの項目値候補の文字列のペアに対して、項目値候補スコア（Ｓｃ）と項目値候補配置スコア（Ｓｃａ）を用いて項目値候補ペアスコア（Ｓｃｐ）を計算する。２つの項目値候補の文字列（もしくは文字列ペア）ｉと文字列（もしくは文字列ペア）ｊとの間の項目値候補ペアスコアを求める評価関数Ｓｃｐ（文字列（もしくは文字列ペア）ｉ，文字列（もしくは文字列ペア）ｊ）の計算方法の一例としては、数７がある。（なお、数７では「（もしくは文字列ペア）」が記述スペースの都合上省略されている。）
なお、ステップ６３０の項目名―項目値ペア検出の評価関数に数３から数５を用いたように、ステップ４８０の評価関数も数７に限定しない。
図３６は、図３５のネットワーク表現に基づいて項目値候補ペアスコアを計算した結果である。リンク上の数字が項目値候補ペアスコアである。また、図３７は、項目値候補ペアスコアの計算結果を格納したテーブルを表す図である。図３７では、例えば、銀行の属性の項目値候補文字列Ｓ１０７と支店の属性の項目値候補文字列Ｓ１０８ｂとのスコアが１．５７となっている。空欄はスコア０．０である。
図３６は、図３５のネットワーク表現に基づいて項目値候補ペアスコアを計算した結果である。リンク上の数字が項目値候補ペアスコアである。また、図３７は、項目値候補ペアスコアの計算結果を格納したテーブルを表す図である。図３７では、例えば、銀行の属性の項目値候補文字列Ｓ１０７と支店の属性の項目値候補文字列Ｓ１０８ｂとのスコアが１．５７となっている。空欄はスコア０．０である。
（ステップ４９０）
次に、図６のステップ４９０の項目値グループ評価について、図３８、図３９、図４０を用いて説明する。ステップ４９０の処理では、制御部１５０（項目値グループ評価部１４９０）は、ステップ４８０で計算した項目値候補ペアスコアを用いて、最適な文字列の組を決定する。決定方法の一例としては、図３６のネットワークにおいて全ての属性を満たすパスの中で項目値候補ペアスコアの総和が最大となるパスを選択することや、総和が閾値を超えるパスを選択することが挙げられる。最大値の代わりに平均値を用いることや、その他の評価基準を用いてもよい。また、本実施例ではネットワーク表現を用いているが、その他の方法で実現してもよい。
次に、図６のステップ４９０の項目値グループ評価について、図３８、図３９、図４０を用いて説明する。ステップ４９０の処理では、制御部１５０（項目値グループ評価部１４９０）は、ステップ４８０で計算した項目値候補ペアスコアを用いて、最適な文字列の組を決定する。決定方法の一例としては、図３６のネットワークにおいて全ての属性を満たすパスの中で項目値候補ペアスコアの総和が最大となるパスを選択することや、総和が閾値を超えるパスを選択することが挙げられる。最大値の代わりに平均値を用いることや、その他の評価基準を用いてもよい。また、本実施例ではネットワーク表現を用いているが、その他の方法で実現してもよい。
図３８は、図３６のネットワークからスコアの総和が最大となるパスを太線で示した図である。この結果、図３９において太線で示した項目値候補が選択される。銀行と口座番号の属性については項目名―項目値ペアが選択されているため、制御部１５０（項目値グループ評価部１４９０）が、項目値の文字列のみを抽出して認識結果として作成したテーブルが図４０である。
図６のステップ４９５の処理では、制御部１５０は、図４０のように作成したデータを記憶部１４０に記憶する。また、制御部１５０は、記憶部１４０からそのデータを適宜読み出して、表示部１２０に表示することができ、及び／又は、ＩＦ１６０により他の装置へ出力することができる。なお、制御部１５０は、表示や出力データの例として、記憶部１４０に記憶されたデータから、他にも後述の図４８〜図５１等に示した表示画面を作成することができる。
また、図３６のネットワークでは、銀行と支店や支店と口座種別など属性の順序に従ってリンクを設定したが、制御部１５０（項目値候補配置スコア計算部１４７０）は、それ以外のリンクを設定してもよい。図４１は銀行と口座種別や支店と口座番号の属性の間にリンクを設定した例である。このリンクは、帳票上のかすれやノイズ等に起因した文字識別の誤りに対応したものである。文字識別を誤ったために、正しい項目値候補が抽出されない場合でも、無理にスコアの低い項目値候補を経由したパスを選択しないようにすることを目的としている。例えば図４２は、文字列Ｓ１０８ｂの「ＹＹＹ支店」が認識されずに項目値候補とならなかった場合のネットワークである。最適パスを示す太線は、支店の属性の項目値候補をスキップしたパスとなっている。
さらに、項目値グループ評価において、最適なパスだけでなく閾値を超えたパスを複数選択する場合では、図４３に示すように帳票上に複数の項目値グループが列記されている場合にも対応することができる。図４３の表４３００は、３つの項目値グループが列記されている例である。表４３１０は文字列番号を示す図であり、表４３２０は項目値候補の抽出結果をもとに文字列を分割した文字列番号である。図４４は、項目値グループ評価４９０において、図４３に対して作成したネットワークの例である。制御部１５０（項目値グループ評価部１４９０）は、詳細なスコアについては省略するが、閾値を超えた３つのパスを選択することにより、正しく３つの項目値グループを決定することができる。
図４５は、文字認識の誤りなどによりＳ２０３ｃが項目値候補にならなかったネットワークの例である。２つ目の項目値グループの文字列は、Ｓ２０３ａ、Ｓ２０３ｂ、Ｓ２０２ｃ、Ｓ２０３ｄとなり、文字列Ｓ２０２ｃが別の項目値グループのパスと重複している。このような場合は、制御部１５０（項目値グループ評価部１４９０）は、パスのスコアが高い方を優先し、２つ目の項目値グループから文字列Ｓ２０２ｃを除いてもよい。また、図４６に示すように、図４２と同様にリンクを増やすことにより解決することもできる。また、項目値グループが列記されている場合には、制御部１５０（項目値グループ評価部１４９０）は、同じ属性の項目値候補同士の配置を評価することにより、誤りを削減すること可能である。
さらに、図４７に示すように、枠内に複数の項目名グループが列記されている表４７００の場合では図３３の（２）のペナルティルールを使用し、枠外に列記されている表４７１０の場合では図３３の（４）のペナルティルールを使用することにより、スコアの値は異なるがリンク構造が図４４や図４６と同じネットワークを作成することにより、項目値グループを決定することができる。
（第５実施形態）
第２の実施形態の図５、および第３の実施形態の図６では、制御部１５０は、ステップ５１０の項目値キーワード検出の後、ステップ５２０の項目値単語照合対象文字列選択をし、ステップ４５０の項目値単語スコア計算を行っている。この場合、銀行と支店の照合を独立して行うため、実際にはない銀行と支店の組合せを求めることがある。
これを解決するため、本実施形態では、項目値単語の照合にあらかじめ優先度を設定し、項目値単語照合を複数の段階に分ける。一例として、優先度１を「銀行」、優先度２を「支店」、優先度３を「口座種別」とすることができる。まず、制御部１５０は、「銀行」の項目値単語照合を行って銀行の候補を絞る。制御部１５０は、「支店」の項目値単語照合では、銀行ごとに分類された支店の項目値単語辞書を用いる。そして、制御部１５０は、絞られた候補の銀行ごとに、その銀行の支店の項目値単語辞書を用いて項目値単語照合を行う。
以上のように、本実施形態によると、さらに、優先度毎の辞書により、単語照合の処理コストを一層少なくすることができる。
第２の実施形態の図５、および第３の実施形態の図６では、制御部１５０は、ステップ５１０の項目値キーワード検出の後、ステップ５２０の項目値単語照合対象文字列選択をし、ステップ４５０の項目値単語スコア計算を行っている。この場合、銀行と支店の照合を独立して行うため、実際にはない銀行と支店の組合せを求めることがある。
これを解決するため、本実施形態では、項目値単語の照合にあらかじめ優先度を設定し、項目値単語照合を複数の段階に分ける。一例として、優先度１を「銀行」、優先度２を「支店」、優先度３を「口座種別」とすることができる。まず、制御部１５０は、「銀行」の項目値単語照合を行って銀行の候補を絞る。制御部１５０は、「支店」の項目値単語照合では、銀行ごとに分類された支店の項目値単語辞書を用いる。そして、制御部１５０は、絞られた候補の銀行ごとに、その銀行の支店の項目値単語辞書を用いて項目値単語照合を行う。
以上のように、本実施形態によると、さらに、優先度毎の辞書により、単語照合の処理コストを一層少なくすることができる。
（表示画面の例）
次に、本発明における表示画面の例について図４８から図５１を用いて説明する。
図４８は、ステップ４９０において、制御部１５０が、図３８から図４０で決定した項目値グループの認識結果を表示した例である。領域４８００が帳票画像を表示する領域である。領域４８１０をはじめとする太い線で囲まれた文字列は項目値として抽出された結果を表す。領域４８２０は項目値グループを表示する枠である。一例として、抽出された項目値を含む枠の外接矩形等で表現できる。領域４８３０は認識結果を表示する領域である。領域４８４０をはじめとする網掛け領域には項目値の属性が表示される。領域４８５０をはじめとする枠内には項目値の文字認識結果が表示される。文字認識結果が誤っている場合には、その項目値の文字認識結果表示領域を選択して文字を修正することも可能である。
次に、本発明における表示画面の例について図４８から図５１を用いて説明する。
図４８は、ステップ４９０において、制御部１５０が、図３８から図４０で決定した項目値グループの認識結果を表示した例である。領域４８００が帳票画像を表示する領域である。領域４８１０をはじめとする太い線で囲まれた文字列は項目値として抽出された結果を表す。領域４８２０は項目値グループを表示する枠である。一例として、抽出された項目値を含む枠の外接矩形等で表現できる。領域４８３０は認識結果を表示する領域である。領域４８４０をはじめとする網掛け領域には項目値の属性が表示される。領域４８５０をはじめとする枠内には項目値の文字認識結果が表示される。文字認識結果が誤っている場合には、その項目値の文字認識結果表示領域を選択して文字を修正することも可能である。
図４９は銀行の属性が認識できなかった例である。この場合、制御部１５０は、操作部１１０又は画像入力部１３０により認識されていない領域４９００を選択して文字を入力することも可能である。さらに、項目値キーワードを追加することも可能である。項目値キーワードに「信用金庫」が登録されていなかった場合、この帳票の銀行名である「ＺＺＺ信用金庫」は認識できない。そこで、領域４９１０の「キーワード追加」ボタンを選択することによりキーワードを追加する。
図５０はキーワード追加の画面である。キーワードの追加には、文字認識を利用する方法と手入力による方法が可能である。文字認識を利用する場合は、領域５０００で認識したい領域を選択することにより、制御部１５０は、領域５０１０に認識結果を表示部１２０に表示する。領域５０２０に属性を入力することでキーワードの登録ができる。さらに、領域５０３０にキーワードの文字を直接入力することも可能である。この帳票の場合、信用金庫の略称である「信金」もキーワードとして考えられるため、領域５０３０で「信金」を入力している。キーワードを追加した後に領域５０４０の「再認識」ボタンを選択することにより、再度項目値グループの認識を行うことができる。
図５１は再認識結果の表示例である。キーワードを追加したことにより、「ＺＺＺ信用金庫」が正しく認識されている。
図５１は再認識結果の表示例である。キーワードを追加したことにより、「ＺＺＺ信用金庫」が正しく認識されている。
このように、図４から図７の処理フローによれば、項目名が記載されていない項目値を認識することができる。
Ｅ．付記
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれている。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれている。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の帳票認識方法又は帳票認識装置・システムは、その各手順をコンピュータに実行させるための帳票認識プログラム、帳票認識プログラムを記録したコンピュータ読み取り可能な記録媒体、帳票認識プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
Claims (15)
- 帳票認識装置であって、
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力する画像入力部と、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算する項目値表記スコア計算部と、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算する項目値単語スコア計算部と、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とする項目値候補選択部と、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算する項目値候補配置スコア計算部と、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算する項目値候補ペアスコア計算部と、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識する項目値グループ評価部と、
前記帳票画像内の文字列の認識結果を記憶する記憶部又は出力する出力部と
を備えたことを特徴とする帳票認識装置。
- 請求項１に記載された帳票認識装置であって、
前記帳票画像内の文字列に対し、該文字列が項目値に比較的頻出する項目値キーワードである確率を表す項目値キーワードスコアを計算し、項目値キーワードを検出する項目値キーワード検出部と、
前記項目値表記スコアと前記項目値キーワードスコアを用いて、項目値の単語を検出する際の対象文字列を選択する項目値単語照合対象文字列選択部と
を備え、
前記項目値単語スコア計算部は、前記項目値単語照合対象文字列選択部で選択された文字列に対し、前記項目値単語スコアを計算することを特徴とする帳票認識装置。
- 請求項２に記載された帳票認識装置であって、
前記帳票画像内の文字列に対し、該文字列が項目名である確率を表す項目名スコア（Ｓｎ）を計算する項目名スコア計算部と、
前記項目値表記スコア（Ｓｎ）と前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記帳票画像内の文字列ペアに対し、該文字列ペアの配置関係が項目名−項目値関係として妥当であるかを表す項目名―項目値配置スコア（Ｓａ）を計算する項目名―項目値配置スコア計算部と、
前記項目名スコア（Ｓｎ）、前記項目値スコア（Ｓｖ）、前記項目名―項目値配置スコア（Ｓａ）を基に、該文字列ペアの項目名−項目値としての尤もらしさを表す評価値である項目名−項目値ペアスコア（Ｓｐ）を計算する項目名−項目値ペアスコア計算部と、
前記項目名−項目値ペアスコア計算部の出力する前記項目名−項目値ペアスコア（Ｓｐ）により、前記帳票画像内での項目名−項目値関係の対応付けを決定する項目名−項目値ペア検出部と
を備え、
前記項目値候補選択部は、前記項目値スコア（Ｓｖ）が高い文字列と、前記項目名−項目値ペアスコア（Ｓｐ）が高い文字列のペアを項目値候補として選択することを特徴とする帳票認識装置。
- 請求項1に記載された帳票認識装置であって、
前記帳票画像内の文字列に対し、該文字列が項目名である確率を表す項目名スコア（Ｓｎ）を計算する項目名スコア計算部と、
前記項目値表記スコア（Ｓｎ）と前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記帳票画像内の文字列ペアに対し、該文字列ペアの配置関係が項目名−項目値関係として妥当であるかを表す項目名―項目値配置スコア（Ｓａ）を計算する項目名―項目値配置スコア計算部と、
前記項目名スコア（Ｓｎ）、前記項目値スコア（Ｓｖ）、前記項目名―項目値配置スコア（Ｓａ）を基に、該文字列ペアの項目名−項目値としての尤もらしさを表す評価値である項目名−項目値ペアスコア（Ｓｐ）を計算する項目名−項目値ペアスコア計算部と、
前記項目名−項目値ペアスコア計算部の出力する前記項目名−項目値ペアスコア（Ｓｐ）により、前記帳票画像内での項目名−項目値関係の対応付けを決定する項目名−項目値ペア検出部と
を備え、
前記項目値候補選択部は、前記項目値スコア（Ｓｖ）が高い文字列と、前記項目名−項目値ペアスコア（Ｓｐ）が高い文字列のペアを項目値候補として選択することを特徴とする帳票認識装置。
- 請求項１に記載された帳票認識装置であって、
前記項目値候補ペアスコア計算部は、前記項目値候補スコア（Ｓｃ）が高い項目値候補の文字列をノードとし、項目値候補同士のリンクのスコアを前記項目値候補配置スコア（Ｓｃａ）とするネットワークを作成し、前記項目値候補スコア（Ｓｃ）及び前記項目値候補配置スコア（Ｓｃａ）により前記項目値候補ペアスコア（Ｓｃｐ）を計算し、
前記項目値グループ評価部は、前記ネットワーク内で２つの文字列間の前記項目値候補ペアスコア（Ｓｃｐ）が高いパスを選択することにより、前記帳票画像内の文字列と項目値グループとの対応付けを評価することで項目値の文字列を決定する
ことを特徴とする帳票認識装置。
- 請求項３に記載された帳票認識装置であって、
項目名となりうる単語のリストである項目名辞書を備え、
前記項目名スコア計算部は、帳票画像内の文字列と前記項目名辞書との照合を行い、前記項目名スコア（Ｓｎ）を計算することを特徴とする帳票認識装置。
- 請求項１に記載された帳票認識装置であって、
文字列の数字又は記号の表記ルールのリストである項目値表記辞書を備え、
前記項目値表記スコア計算部は、帳票画像内の文字列と前記項目値表記辞書との照合を行い、前記項目値表記スコアを計算することを特徴とする帳票認識装置。
- 請求項２に記載された帳票認識装置であって、
属性に応じて記載されるキーワードである項目値キーワードのリストである項目値キーワード辞書を備え、
前記項目値キーワード検出部は、帳票画像内の文字列と前記項目値キーワード辞書との照合を行い、前記項目値キーワードスコアを計算することを特徴とする帳票認識装置。
- 請求項２に記載された帳票認識装置であって、
前記項目値単語照合対象文字列選択部は、項目値グループの文字列は互いに近接した範囲に記載されているという条件に従い、抽出済みの文字列を利用して項目値単語照合処理の対象となる文字列を選択することを特徴とする帳票認識装置。
- 請求項１に記載された帳票認識装置であって、
事前に登録した項目値の単語リストである項目値単語辞書を備え、
前記項目値単語スコア計算部は、選択された文字列と前記項目値単語辞書との照合を行い、前記項目値単語スコアを計算することを特徴とする帳票認識装置。
- 請求項３に記載された帳票認識装置であって、
前記項目名―項目値配置スコア計算部は、前記項目名―項目値配置スコア（Ｓａ）を、該項目名―項目値配置スコアが取り得る値の最大値で初期化し、文字列ペアをなす２つの文字列の配置関係が項目名−項目値関係として非妥当であると判断できる配置パターンをペナルティルールとして定義し、初期値からペナルティルールによって得られたペナルティ値を減算した値として計算することを特徴とする帳票認識装置。
- 請求項３に記載された帳票認識装置であって、
前記項目値候補選択部は、項目値候補を、前記項目値表記スコアが閾値以上の項目値表記文字列、前記項目値単語スコアが閾値以上の項目値単語文字列、前記項目名―項目値ペアスコアが閾値以上の項目名―項目値ペアとし、項目値候補スコア（Ｓｃ）を、項目名―項目値ペアスコア、項目値単語スコア、項目値表記スコア、の順にいずれかを選択して求めることを特徴とする帳票認識装置。
- 請求項１に記載された帳票認識装置であって、
前記項目値単語辞書は、項目名にあらかじめ優先度が設定され、第１優先度の項目名の項目値ごとに第２優先度の項目名の項目値のリストを設け、
前記項目値単語スコア計算部は、優先度が設定された前記項目値単語辞書を参照して、優先度の順に項目値単語照合を行って絞り各優先度の項目値の候補を絞る
ことを特徴とする帳票認識装置。
- 帳票認識方法であって、
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力し、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算し、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算し、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とし、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算し、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算し、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記帳票画像内の文字列の認識結果を記憶する又は出力する
ことを特徴とする帳票認識方法。
- 帳票認識プログラムであって、
制御部が、画像入力部により、データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力するステップと、
前記制御部が、前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算するステップと、
前記制御部が、前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算するステップと、
前記制御部が、前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とするステップと、
前記制御部が、前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算するステップと、
前記制御部が、前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算するステップと、
前記制御部が、前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記制御部が、前記帳票画像内の文字列の認識結果を記憶部に記憶する又は出力部に出力するステップと
をコンピュータに実行させるための帳票認識プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013241716A JP6174466B2 (ja) | 2013-11-22 | 2013-11-22 | 帳票認識装置、帳票認識方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013241716A JP6174466B2 (ja) | 2013-11-22 | 2013-11-22 | 帳票認識装置、帳票認識方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015102938A true JP2015102938A (ja) | 2015-06-04 |
| JP6174466B2 JP6174466B2 (ja) | 2017-08-02 |
Family
ID=53378609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013241716A Active JP6174466B2 (ja) | 2013-11-22 | 2013-11-22 | 帳票認識装置、帳票認識方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6174466B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016051339A (ja) * | 2014-08-29 | 2016-04-11 | 日立オムロンターミナルソリューションズ株式会社 | 帳票認識装置及び方法 |
| WO2019004363A1 (ja) * | 2017-06-29 | 2019-01-03 | 株式会社ビズオーシャン | 情報入力方法、情報入力装置、及び情報入力システム |
| US11055481B2 (en) | 2017-06-29 | 2021-07-06 | Spalo Co., Ltd. | Information input method, information input apparatus, and information input system |
| WO2021186642A1 (ja) * | 2020-03-18 | 2021-09-23 | 株式会社Pfu | 画像処理装置、制御方法及び制御プログラム |
| CN113591772A (zh) * | 2021-08-10 | 2021-11-02 | 上海杉互健康科技有限公司 | 医疗信息结构化识别录入的方法、系统、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005135041A (ja) * | 2003-10-29 | 2005-05-26 | Hitachi Ltd | 文書検索・閲覧手法及び文書検索・閲覧装置 |
| JP2009169844A (ja) * | 2008-01-18 | 2009-07-30 | Hitachi Software Eng Co Ltd | 表認識方法及び表認識装置 |
| JP2010140204A (ja) * | 2008-12-10 | 2010-06-24 | Sharp Corp | 文字認識装置、文字認識方法、文字認識プログラムおよび記録媒体 |
| JP2011248609A (ja) * | 2010-05-26 | 2011-12-08 | Hitachi Omron Terminal Solutions Corp | 帳票認識装置および帳票認識方法 |
-
2013
- 2013-11-22 JP JP2013241716A patent/JP6174466B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005135041A (ja) * | 2003-10-29 | 2005-05-26 | Hitachi Ltd | 文書検索・閲覧手法及び文書検索・閲覧装置 |
| JP2009169844A (ja) * | 2008-01-18 | 2009-07-30 | Hitachi Software Eng Co Ltd | 表認識方法及び表認識装置 |
| JP2010140204A (ja) * | 2008-12-10 | 2010-06-24 | Sharp Corp | 文字認識装置、文字認識方法、文字認識プログラムおよび記録媒体 |
| JP2011248609A (ja) * | 2010-05-26 | 2011-12-08 | Hitachi Omron Terminal Solutions Corp | 帳票認識装置および帳票認識方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016051339A (ja) * | 2014-08-29 | 2016-04-11 | 日立オムロンターミナルソリューションズ株式会社 | 帳票認識装置及び方法 |
| WO2019004363A1 (ja) * | 2017-06-29 | 2019-01-03 | 株式会社ビズオーシャン | 情報入力方法、情報入力装置、及び情報入力システム |
| JPWO2019004363A1 (ja) * | 2017-06-29 | 2019-06-27 | 株式会社ビズオーシャン | 情報入力方法、情報入力装置、及び情報入力システム |
| US11055481B2 (en) | 2017-06-29 | 2021-07-06 | Spalo Co., Ltd. | Information input method, information input apparatus, and information input system |
| WO2021186642A1 (ja) * | 2020-03-18 | 2021-09-23 | 株式会社Pfu | 画像処理装置、制御方法及び制御プログラム |
| CN113591772A (zh) * | 2021-08-10 | 2021-11-02 | 上海杉互健康科技有限公司 | 医疗信息结构化识别录入的方法、系统、设备及存储介质 |
| CN113591772B (zh) * | 2021-08-10 | 2024-01-19 | 上海杉互健康科技有限公司 | 医疗信息结构化识别录入的方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6174466B2 (ja) | 2017-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6406932B2 (ja) | 帳票認識装置及び方法 | |
| JP5405586B2 (ja) | 手書き文字認識方法および手書き文字認識装置 | |
| JP6938228B2 (ja) | 計算機、文書識別方法、及びシステム | |
| US7499588B2 (en) | Low resolution OCR for camera acquired documents | |
| Weinman et al. | Toward integrated scene text reading | |
| TWI321294B (en) | Method and device for determining at least one recognition candidate for a handwritten pattern | |
| JP6174466B2 (ja) | 帳票認識装置、帳票認識方法、及びプログラム | |
| JP5211334B2 (ja) | 手書き記号の認識方法及び装置 | |
| US20240095247A1 (en) | Computerized information extraction from tables | |
| US20160034441A1 (en) | Systems, apparatuses and methods for generating a user interface | |
| US6137908A (en) | Handwriting recognition system simultaneously considering shape and context information | |
| JP5621169B2 (ja) | 帳票認識装置および帳票認識方法 | |
| JP5653817B2 (ja) | 帳票認識装置、帳票認識方法およびそのためのプログラム | |
| JP2004139484A (ja) | 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム | |
| WO2020071558A1 (ja) | 帳票レイアウト解析装置、その解析プログラムおよびその解析方法 | |
| CN114341954B (zh) | 文本行提取 | |
| CN111340020A (zh) | 一种公式识别方法、装置、设备及存储介质 | |
| US10438097B2 (en) | Recognition device, recognition method, and computer program product | |
| JP2015069256A (ja) | 文字識別システム | |
| JP3216800B2 (ja) | 手書き文字認識方法 | |
| KR20220132536A (ko) | 필기에서의 수학 검출 | |
| US20220044048A1 (en) | System and method to recognise characters from an image | |
| JP4466241B2 (ja) | 文書処理手法及び文書処理装置 | |
| JP5712415B2 (ja) | 帳票処理システム及び帳票処理方法 | |
| JP4418726B2 (ja) | 文字列探索装置、探索方法およびこの方法のプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160722 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170307 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170706 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6174466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |