JP2019175037A - 文字認識装置、方法およびプログラム - Google Patents

Abstract

【課題】項目ごとに尤度を算出し、算出した尤度に基づいて読取項目の表示態様を変更することが可能な文字認識装置、方法およびプログラムを提供する。【解決手段】書類をスキャンして変換された画像データに対して、読取を行う読取項目の設定を行う読取項目設定部２３１と、ＯＣＲ機能を備え、画像データの読取項目に表示されている文字情報をＯＣＲで読み取ってテキストデータを生成する文字認識部２３２と、読取項目の画像データとテキストデータとを並列に表示させるテキストデータ表示部２３３と、テキストデータの尤度を算出する尤度算出部２３４と、表示されたテキストデータの表示の態様を変更する表示変更部２３５と、を有する制御部２３０を備える文字認識装置２００を提供する。【選択図】図２

Description

本開示は、画像データから文字情報を読み取る文字認識装置、方法およびプログラムに関する。

手書きで文字が記入された書類をイメージスキャナなどで読み取り、ＯＣＲ（Optical Character Recognition）処理を行うことにより、入力情報を所定の文字コードに変換したデジタルデータを生成する技術が普及している。

手書きの書類等を画像としてスキャンした画像データから、機械学習により文字認識を行う文字識別システムが開示されている（例えば、特許文献１参照。）。特許文献１に開示されている文字認識システムでは、見本文字画像の入力を受け付ける文字画像入力受付部と、見本文字画像に基づいて文字部品を抽出する文字部品抽出と、文字部品に基づいて擬似文字モデルを生成する擬似文字モデル生成部と、擬似文字モデルに基づいて文字識別パターンを生成して識別辞書を生成する識別辞書生成と、により構成されるシステムが提案されている。

特開２０１５−０６９２５６号公報

ところで、ＯＣＲによる文字認識の正解率は必ずしも完全ではないため、文字認識処理を行った後に、人間の目視による確認が一般的に行われる。その際に、文字認識の精度（文字認識処理を行った文字の尤度）は文字ごとに異なるが、その尤度によらず全ての項目・文字を目視で一律に確認するため、非効率であった。

そこで、本開示では、手書きの書類等を画像としてスキャンした画像データからＯＣＲ処理により文字認識を行う際に、項目ごとに尤度を算出し、算出した尤度に基づいて読取項目の表示態様を変更することにより、読取項目ごとの読取処理の信頼性を把握することで無駄な目視確認処理を行わず、精度の高いテキストデータ生成を行うことができる文字認識装置、方法およびプログラムについて説明する。

本開示の一態様における文字認識装置は、書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識装置であって、書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識部と、読取項目ごとに読取項目の画像データとテキストデータとを比較可能に表示し、テキストデータを編集可能な状態にするテキストデータ表示部と、読取項目ごとに文字認識の尤度を算出する尤度算出部と、算出された尤度に基づき、テキストデータを表示する箇所の態様を変化させる表示変更部と、を備える。

本開示の一態様における文字認識方法は、書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識方法であって、文字認識部が行う、書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、テキストデータ表示部が行う、読取項目ごとに読取項目の画像データとテキストデータとを比較可能に表示し、テキストデータを編集可能な状態にするテキストデータ表示ステップと、尤度算出部が行う、読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、算出された尤度に基づき、表示変更部が行う、テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を備える。

また、本開示の一態様における文字認識プログラムは、書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識プログラムであって、書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、読取項目ごとに読取項目の画像データとテキストデータとを比較可能に表示し、テキストデータを編集可能な状態にするテキストデータ表示ステップと、読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、算出された尤度に基づき、テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を電子計算機に実行させる。

本開示によれば、手書きの書類等を画像としてスキャンした画像データからＯＣＲ処理により文字認識を行う際に、項目ごとに尤度を算出し、算出した尤度に基づいて読取項目の表示態様を変更することができるため、読取項目ごとの読取処理の信頼性を把握することが可能である。これにより、無駄な目視確認処理を行わず、精度の高いテキストデータ生成を行うことが可能である。

本開示の一実施形態に係る文字認識システムを示す機能ブロック図である。 図１に示す文字認識装置２００の構成の一例を示す機能ブロック図である。 図１の画像データＤＢ２２１に記憶されている画像データの例である口座振替依頼書を示す模式図である。 図３の口座振替依頼書の画像データが表示部に表示されている状態の例を示す模式図である。 図４の画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。 図２の文字認識部２３２による特徴抽出とベクトル変換の様子を示す模式図である。 図２の文字認識部２３２による字種の判定の様子を示す模式図である。 図５の読取項目の画像データとテキストデータとが並列に表示されている状態からテキストデータの右端に色彩が施された状態の例を示す模式図である。 図１に示す文字認識システム１による文字認識方法を示すフローチャートである。 図１に示す記憶部２４０に記憶される金融機関テーブルの例を示す図である。 本開示の一実施形態に係る文字認識システムにおける画像データから抽出された読取項目の画像データと、テキストデータとが並列に表示されている状態の例を示す模式図である。 本開示の一実施形態に係る文字認識システムにおける画像データから抽出された読取項目の画像データと、テキストデータとが並列に表示されている状態の例を示す模式図である。 本開示の一実施形態に係る文字認識システムにおける画像データから抽出された読取項目の画像データと、テキストデータとが並列に表示されている状態の例を示す模式図である。

本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。

（実施形態１）
＜構成＞
図１は、本開示の実施形態１に係る文字認識システム１のブロック図である。この文字認識システム１は、例えば、手書きの申込書や口座振替依頼書等の書類を画像としてスキャンした画像データから、文字情報を読み取るシステムであり、顧客から申込書や口座振替依頼書を受領するユーザ企業が、申込書や口座振替依頼書に記載された手書きの文字情報を読み取るために使用される。

文字認識システム１は、ユーザシステム１００と、文字認識装置２００と、ネットワークＮＷと、を有している。ユーザシステム１００と、文字認識装置２００とは、ネットワークＮＷを介して接続される。ネットワークＮＷは、インターネット、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等により構成される。また、このネットワークＮＷは有線通信でも無線通信でも良く、ＬＴＥ（Long Term Evolution）等の４Ｇと呼ばれる通信方式や、５Ｇによる通信方式も含まれる。

ユーザシステム１００は、複数の項目から構成される申込書や口座振替依頼書などの書類をスキャンし、画像データに変換する。このユーザシステム１００は、スキャナ装置１１０と、ユーザ端末１２０とを備え、例えば、ＵＳＢ（登録商標）やＬＡＮにより相互に通信可能に接続されている。

スキャナ装置１１０は、申込書や口座振替依頼書などの書類をスキャンして画像データに変換する装置である。なお、この実施形態１ではスキャナ装置としたが、紙媒体による書類を電子データ化できる装置であれば良く、例えば、カメラ等でも良い。スキャナ装置１１０でスキャンした画像データは、後述する画像データＤＢ２２１に記憶される。

ユーザ端末１２０は、ユーザ企業に設置される端末であり、ユーザの操作により、画像データに対して読取項目を設定し、読取項目の文字認識が行われたテキストデータに対して目視確認を行う端末である。このユーザ端末１２０は、画像データを表示する表示部を備え、操作部を操作することでネットワークＮＷを介して文字認識装置２００にアクセスされ、各種プログラムが起動されて提供されるようになっており、表示部はディスプレイ等から構成され、操作部はキーボードやマウス等から構成される。

図２は、図１に示す文字認識装置２００の構成の一例を示す機能ブロック図である。この文字認識装置２００は、設定された読取項目に基づき、画像データ上の読取項目に表示されている文字情報をテキストデータとして生成する。文字認識装置２００は、通信部２１０と、記憶部２２０と、制御部２３０とを備える。

通信部２１０は、ネットワークＮＷを介してユーザシステム１００と通信を行うための通信インターフェースであり、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等の通信規約により通信が行われる。

記憶部２２０は、各種制御処理や制御部２５０内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等から構成される。また、記憶部２２０は、後述するテキストデータ表示部２３３により表示された読取項目の画像データや、尤度算出部２３４により算出された尤度を一時的に記憶している。

さらに、記憶部２２０は、スキャナ装置１１０で変換した画像データを記憶する画像データＤＢ２２１と、画像データに対して設定した読取項目を記憶する読取項目ＤＢ２２２と、読取項目が読み取られて生成されたテキストデータを記憶するテキストデータＤＢ２２３とを備えている。画像データＤＢ２２１、読取項目ＤＢ２２２、テキストデータＤＢ２２３は、制御部２３０の各種プログラムからアクセスされて参照、更新が可能なデータベースである。

制御部２３０は、記憶部２２０に記憶されているプログラムを実行することにより、文字認識装置２００の全体の動作を制御するものであり、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等から構成される。制御部２３０により実行されるプログラムの機能として、読取項目設定部２３１、文字認識部２３２、テキストデータ表示部２３３、尤度算出部２３４、表示変更部２３５を備えている。この読取項目設定部２３１、文字認識部２３２、テキストデータ表示部２３３、尤度算出部２３４、表示変更部２３５は、記憶部２２０に記憶されているプログラムにより起動されて実行される。

読取項目設定部２３１は、ユーザ端末１２０の操作部が操作されることにより、画像データＤＢ２２１に記憶されている画像データに対して、読取を行う読取項目の設定を行う。読取項目の設定は、画像データが表示されているユーザ端末１２０の表示部で、操作部（例えば、マウス）が操作されて、例えば、いわゆるドラッグ＆ドロップによる範囲設定により行われる。設定された読取項目は、読取項目ＤＢ２２２に記憶される。

図３は、図２の画像データＤＢ２２１に記憶されている画像データの例である口座振替依頼書を示す模式図である。この口座振替依頼書は、公共料金の引き落とし等のために、金融機関に対して口座振替を依頼するための申込書であり、記入項目として、氏名フリガナ記入欄Ａ１、氏名漢字記入欄Ａ２、金融機関名記入欄Ａ３、支店名記入欄Ａ４、金融機関コード記入欄Ａ５、支店コード記入欄Ａ６、預金種目記入欄Ａ７、口座番号記入欄Ａ８が設けられている。また、これらの記入項目には例として、氏名フリガナ記入欄Ａ１には「トッキョ タロウ」と、氏名漢字記入欄Ａ２には「特許 太郎」と、金融機関名記入欄Ａ３には「みずほ（銀行）」と、支店名記入欄Ａ４には「麹町（支店）」と、金融機関コード記入欄Ａ５には「０００１」と、支店コード記入欄Ａ６には「０２１」と、口座番号記入欄Ａ８には「１１１１１１１」と手書きで記入され、預金種目記入欄Ａ７には「普通」に〇がつけられている。

ユーザ企業では、口座振替依頼書をテキスト化する処理を行う際、このような口座振替依頼書を、スキャナ装置１１０を使用してスキャンを行い、画像データを画像データＤＢ２２１に記憶させる。

図４は、図３の口座振替依頼書の画像データが表示部に表示されている状態の例を示す模式図である。ユーザ端末１２０の表示部の画面Ｐ１には、図３に示す口座振替依頼書の画像データが表示され、口座振替依頼書の記入項目と同様の氏名フリガナ記入欄Ａ１、氏名漢字記入欄Ａ２、金融機関名記入欄Ａ３、支店名記入欄Ａ４、金融機関コード記入欄Ａ５、支店コード記入欄Ａ６、預金種目記入欄Ａ７、口座番号記入欄Ａ８が表示されている。

この状態で、ユーザ端末１２０の操作部が操作されてドラッグ＆ドロップを行い、図４に破線で示すように読取項目の範囲設定を行う。例えば、氏名フリガナ読取項目Ｓ１、氏名漢字読取項目Ｓ２、金融機関名読取項目Ｓ３、支店名読取項目Ｓ４、金融機関コード読取項目Ｓ５、支店コード読取項目Ｓ６、口座番号読取項目Ｓ７が読取項目として範囲設定される。

なお、ここでは、ユーザの操作により読取項目の範囲設定を行う方法について説明したが、文字認識装置２００により読取項目を自動設定しても良い。例えば、図３の口座振替依頼書において、印刷されている文字や罫線等以外の、手書きにより記入されている文字を認識し、その範囲を文字認識ごとに設定しても良い。これにより、印刷されている罫線からはみ出して記載されている場合でも文字認識が可能である。

文字認識部２３２は、ＯＣＲ機能を備え、画像データＤＢ２２１に記憶されている画像データを読み出し、読取項目ＤＢ２２２に記憶されている読取項目に表示されている文字情報をＯＣＲで読み取ってテキストデータを生成する。生成されたテキストデータは、テキストデータＤＢ２２３に記憶される。

図３に示す例では、氏名フリガナ読取項目Ｓ１に記載されている内容として「トッキョ タロウ」がテキストデータとして生成される。同様に、氏名漢字読取項目Ｓ２の記載内容として「特許 太郎」が、金融機関名読取項目Ｓ３の記載内容として「みずほ（銀行）」が、支店名読取項目Ｓ４の記載内容として「麹町（支店）」が、金融機関コード読取項目Ｓ５の記載内容として「０００１」が、支店コード読取項目Ｓ６の記載内容として「０２１」が、口座番号読取項目Ｓ７の記載内容として「１１１１１１１」がテキストデータとして生成される。

テキストデータ表示部２３３は、画像データＤＢ２２１に記憶されている画像データから、読取項目ＤＢ２２２に記憶されている読取項目の画像データを抽出する。また、テキストデータ表示部２３３は、テキストデータＤＢ２２３に記憶されているテキストデータを読み出し、読取項目の画像データとテキストデータとを、ユーザ端末１２０の表示部上に並列に表示する。

図５は、図４の画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。ユーザ端末１２０の表示部の画面Ｐ１の左側には、図４と同様に、氏名フリガナ記入欄Ａ１、氏名漢字記入欄Ａ２、金融機関名記入欄Ａ３、支店名記入欄Ａ４、金融機関コード記入欄Ａ５、支店コード記入欄Ａ６、預金種目記入欄Ａ７、口座番号記入欄Ａ８が表示されている。

また、画面Ｐ１の右側には、画像データから抽出された読取項目の画像データの例として、氏名フリガナ読取項目Ｓ１、氏名漢字読取項目Ｓ２、金融機関名読取項目Ｓ３、支店名読取項目Ｓ４、金融機関コード読取項目Ｓ５、支店コード読取項目Ｓ６、口座番号読取項目Ｓ７が表示されている。

さらに、これらの読取項目から読み取ったテキストデータの例として、氏名フリガナテキストＴ１、氏名漢字テキストＴ２、金融機関名テキストＴ３、支店名テキストＴ４、金融機関コードテキストＴ５、支店コードテキストＴ６、口座番号テキストＴ７が、それぞれの読取項目の画像データの下側にそれぞれ並列に表示されている。このように表示するのは、それぞれの読取項目の画像データと読取結果であるテキストデータとを対比しやすくすることで、正確にテキストデータ生成が行われていることを確認しやすくするためである。

この読取項目の画像データ及びテキストデータは、図５に示すように画像データに並列に表示しても良く、また、画面Ｐ１の上に別画面（ウィンドウ）として表示させても良い。

尤度算出部２３４は、画面Ｐ１に表示されている読取項目ごとのテキストデータの尤度を算出する。このとき、テキストデータを構成する文字ごとに算出された尤度に対して所定の演算、例えば、文字ごとの尤度を乗算することにより、読取項目ごとのテキストデータの尤度を算出する。なお、テキストデータの尤度の算出はこれ以外の方法で算出しても良く、例えば、文字ごとの尤度の平均値を算出することにより算出しても良い。

ここで、文字認識部２３２で行われるＯＣＲ機能における文字識別と尤度との関係について説明する。図６は、図２の文字認識部２３２による特徴抽出とベクトル変換の様子を示す模式図である。また、図７は、図２の文字認識部２３２による字種の判定の様子を示す模式図である。

文字認識部２３２は、図６に示すように、切り出した１個の文字パターンの画像データに対して特徴抽出を行う。そして、文字のストロークの方向成分などを抽出し、画像データを特徴空間上の１つのベクトルに変換する。図６に示す例では、画像データＸが多層のニューラルネットワークに入力され、方向や位置等の特徴を捉えて特徴抽出をされている様子を模式的に示している。また、図６に示す例では、ベクトルＸ_１と、ベクトルＸ_２と、ベクトルＸ_３とに変換された様子が模式的に示されている。

次に、文字認識部２３２は、図７に示すように、変換されたベクトルに基づいて字種が何であるかを判定する。例えば、当該判定において、事前に大量のパターンを使った分布の様子から、どの字種が特徴空間上のどの辺りに分布しているかを保持している辞書データを参照し、未知の入力パターンである画像データの候補を決定する。図７に示す例では、辞書データにおいて、字種「中」、字種「申」および字種「十」の情報が記憶されている様子を概念的に示しており、原点から離れるほどその字種の尤もらしさが高いことを示している。

文字認識部２３２は、以上のプロセスにより、複数のテキスト候補（例えば、中、申、十）を取得する。そして、各テキスト候補の尤もらしさを示す尤度が文字ごとに算出される。尤度算出部２３４では、その文字ごとの尤度から、読取項目の尤度が算出される。なお、各テキスト候補の尤度は、特徴空間内における各候補の中心と、未知の入力パターンである画像データとの距離で算出することができる。

表示変更部２３５は、尤度算出部２３４によって算出されたテキストデータの尤度に基づき、テキストデータ表示部２３３によって表示されたテキストデータの表示の態様を変更する。例えば、画面Ｐ２に表示されている各テキストデータの枠の右端に色彩を施し、その色をテキストデータの尤度に基づいて変化させる。

図８は、図５の読取項目の画像データとテキストデータとが並列に表示されている状態からテキストデータの右端に色彩が施された状態の例を示す模式図である。テキストデータ表示部２３３によって表示された、氏名フリガナテキストＴ１、氏名漢字テキストＴ２、金融機関名テキストＴ３、支店名テキストＴ４、金融機関コードテキストＴ５、支店コードテキストＴ６、口座番号テキストＴ７には、図８に示すように、それぞれ氏名フリガナ彩色部Ｔ１１、氏名漢字彩色部Ｔ２１、金融機関名彩色部Ｔ３１、支店名彩色部Ｔ４１、金融機関コード彩色部Ｔ５１、支店コード彩色部Ｔ６１、口座番号彩色部Ｔ７１が設けられている。

この氏名フリガナ彩色部Ｔ１１、氏名漢字彩色部Ｔ２１、金融機関名彩色部Ｔ３１、支店名彩色部Ｔ４１、金融機関コード彩色部Ｔ５１、支店コード彩色部Ｔ６１、口座番号彩色部Ｔ７１は、尤度算出部２３４によって算出された、氏名フリガナテキストＴ１、氏名漢字テキストＴ２、金融機関名テキストＴ３、支店名テキストＴ４、金融機関コードテキストＴ５、支店コードテキストＴ６、口座番号テキストＴ７の尤度により、例えば、尤度が０〜０．６の場合は赤色に、０．６〜０．８の場合はオレンジ色に、０．８以上の場合は黄色に彩色される。また、尤度が高くなるほど細く表示されている。このように態様を変化させるのは、テキストデータの尤度が高いほどその読取項目のテキストデータへの変換処理が正確に行われているといえるので、その読取項目の尤度がどれくらいであったかを一目で把握することを可能にするためである。

＜処理の流れ＞
以下、図９を参照しながら、文字認識システム１が実行する文字認識方法の一例を説明する。図９は、図１に示す文字認識システム１による文字認識方法を示すフローチャートである。

ステップＳ１０１の処理として、読取項目設定部２３１では、画像データＤＢ２２１に記憶されている画像データに対して、読み取ってテキストデータの生成を行う読取項目の設定を行う。

このとき、例えば、図４に示す氏名フリガナ読取項目Ｓ１にはカタカナのみが記載され、金融機関コード読取項目Ｓ５、支店コード読取項目Ｓ６、及び口座番号読取項目Ｓ７には数字のみが記載されるため、生成するテキストデータの文字種類を限定するように設定することも可能である。また、金融機関名読取項目Ｓ３は、金融機関コード読取項目Ｓ５の値に対応する金融機関名が記入され、支店名読取項目Ｓ４は、支店コード読取項目Ｓ６の値に対応する支店名が記入されるので、例えば図１０に示すような金融機関テーブルから該当するテキスト及び値を選択するように設定することも可能である。設定された読取項目は、読取項目ＤＢ２２２に記憶される。

ステップＳ１０２の処理として、文字認識部２３２では、画像データＤＢ２２１に記憶されている画像データが読み出され、読取項目ＤＢ２２２に記憶されている読取項目に表示されている文字情報がＯＣＲで読み取られ、テキストデータが生成される。具体的には、例えば、文字パターンの画像データに対して特徴抽出が行われ、文字のストロークの方向成分などが抽出されて特徴空間上の１つのベクトルに変換され、どの字種が特徴空間上のどの辺りに分布しているかを保持している辞書データを参照されて尤度の高い字種が決定される。

ステップＳ１０３の処理として、テキストデータ表示部２３３では、画像データＤＢ２２１に記憶されている画像データから読取項目ＤＢ２２２に記憶されている読取項目の画像データが抽出され、また、テキストデータＤＢ２２３に記憶されているテキストデータが読み出され、読取項目の画像データとテキストデータとが、図５に示す画面Ｐ１のように並列に表示する。

図５の例では、氏名フリガナ読取項目Ｓ１と氏名フリガナテキストＴ１とが、氏名漢字読取項目Ｓ２と氏名漢字テキストＴ２とが、金融機関名読取項目Ｓ３と金融機関名テキストＴ３とが、支店名読取項目Ｓ４と支店名テキストＴ４とが、金融機関コード読取項目Ｓ５と金融機関コードテキストＴ５とが、支店コード読取項目Ｓ６と支店コードテキストＴ６とが、口座番号読取項目Ｓ７と口座番号テキストＴ７とがそれぞれ並列に表示されている。

ステップＳ１０４の処理として、尤度算出部２３４では、テキストデータＤＢ２２３に記憶されているテキストデータを構成する文字ごとに算出された、文字ごとの尤度を乗算して、その読取項目の尤度を算出する。

ステップＳ１０５の処理として、表示変更部２３５では、尤度算出部２３４によって算出されたテキストデータの尤度に基づき、図８に示すように、氏名フリガナテキストＴ１、氏名漢字テキストＴ２、金融機関名テキストＴ３、支店名テキストＴ４、金融機関コードテキストＴ５、支店コードテキストＴ６、口座番号テキストＴ７にそれぞれ設けられた、氏名フリガナ彩色部Ｔ１１、氏名漢字彩色部Ｔ２１、金融機関名彩色部Ｔ３１、支店名彩色部Ｔ４１、金融機関コード彩色部Ｔ５１、支店コード彩色部Ｔ６１、口座番号彩色部Ｔ７１の色彩及び太さが変更される。例えば、算出されたテキストデータの尤度が０〜０．６の場合は赤色に、０．６〜０．８の場合はオレンジ色に、０．８以上の場合は黄色に彩色される。

以上のように、本実施形態に係る文字認識システムは、テキストデータを構成する文字ごとに算出された尤度を、テキストデータを構成する文字の分だけ乗算して、その読取項目のテキストデータの尤度を算出する。これにより、読み取ったテキストデータの尤度から、読取項目ごとの読取の信頼性を評価することが可能になる。

また、読取項目ごとのテキストデータの尤度に基づき、表示されたテキストデータの枠の右端に色彩を施し、その色をテキストデータの尤度に基づいて変化させる等の手法により態様を変化させることができるので、テキストデータの尤度を一目で把握することが可能になる。これにより、読取項目ごとの信頼性を一目で把握することができるため、信頼性の低い読取項目のみ重点的に確認するなど、目視による確認の効率向上に寄与することが可能である。

（実施形態２）
＜構成＞
図１１は、本開示の実施形態２に係る文字認識システムにおける、画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。この文字認識システム１は、実施形態１と同様の構成であるが、表示変更部２３５により変更される、テキストデータ表示部２３３によって表示されたテキストデータの表示の態様が異なる。この実施形態２では、表示変更部２３５は、尤度算出部２３４によって算出された読取項目ごとのテキストデータの尤度が所定の閾値以下の場合、当該読取項目のテキストデータの表示を行わない（ブランクにして表示させる）点において、実施形態１と異なる。

図１１に示すように、画面Ｐ１には、実施形態１の図５と同様に、氏名フリガナ読取項目Ｓ１、氏名漢字読取項目Ｓ２、金融機関名読取項目Ｓ３、支店名読取項目Ｓ４、金融機関コード読取項目Ｓ５、支店コード読取項目Ｓ６、口座番号読取項目Ｓ７、氏名フリガナテキストＴ１、氏名漢字テキストＴ２、金融機関名テキストＴ３、支店名テキストＴ４、金融機関コードテキストＴ５、支店コードテキストＴ６、口座番号テキストＴ７が表示されているが、氏名フリガナテキストＴ１及び氏名漢字テキストＴ２のテキストデータが表示されず、ブランク（空白）状態になっている。この例では、氏名フリガナテキストＴ１及び氏名漢字テキストＴ２のテキストデータの尤度が所定の閾値以下であるため、表示変更部２３５は表示を行っていない。

このように、所定の閾値以下のテキストデータを表示していないのは、これらのテキストデータの尤度が低く、一定の信頼性がないと考えられるため、人間が目視確認して個別に手入力し直す必要がある。そのため、最初からテキストデータを表示しないことにより、余計な目視確認処理を省略し、効率的に文字入力を行うことを可能にするためである。その他の構成及び処理の流れについては、実施形態１と同様である。

本実施形態によれば、上記実施形態１の効果に加え、尤度算出部２３４によって算出されたテキストデータの尤度が所定の閾値以下の場合、表示変更部２３５ではテキストデータの表示を行わないので、一定の信頼性がない読取項目についてテキストデータの表示を省略することができる。これにより、余計な目視確認処理を省略し、効率的に文字入力を行うことが可能になる。

（実施形態３）
＜構成＞
図１２は、本開示の実施形態３に係る文字認識システムにおける、画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。この文字認識システム１は、実施形態１と同様の構成であるが、表示変更部２３５により変更される、テキストデータ表示部２３３によって表示されたテキストデータの表示の態様が異なる。この実施形態３では、表示変更部２３５は、読取項目ごとのテキストデータの尤度により各テキスト表示欄に設けられた彩色部に色彩を施すとともに、文字ごとの尤度に応じて文字の態様を変更する点において、実施形態１と異なる。文字の態様の変更は、例えば、文字の色彩の変更や、文字のフォント（字体や文字の太さ）の変更、文字の大きさの変更等によって行われる。

図１２に示すように、画面Ｐ１には、実施形態１の図５と同様に、氏名フリガナ読取項目Ｓ１、氏名漢字読取項目Ｓ２、金融機関名読取項目Ｓ３、支店名読取項目Ｓ４、金融機関コード読取項目Ｓ５、支店コード読取項目Ｓ６、口座番号読取項目Ｓ７、氏名フリガナテキストＴ１、氏名漢字テキストＴ２、金融機関名テキストＴ３、支店名テキストＴ４、金融機関コードテキストＴ５、支店コードテキストＴ６、口座番号テキストＴ７が表示されているが、氏名フリガナテキストＴ１に表示されている「トッキョ タロウ」のうち、「ト」の部分と、「ッキョ」の部分と、「タロウ」の部分とが、それぞれ異なる色彩で表示されている。また、氏名漢字テキストＴ２に表示されている「特許 太郎」のうち、「特許」の部分と、「太郎」の部分とが、それぞれ異なる文字の太さで表示されている。例えば、それぞれの文字の尤度により、例えば、尤度が０〜０．６の場合は太字の赤色に、０．６〜０．８の場合は通常の太さの赤色に、０．８以上の場合は通常の太さの黒色に表示される。

このように、それぞれの文字の尤度により異なる態様で表示しているのは、テキストデータの中でも文字により尤度が異なる場合があるので、その文字の尤度がどれくらいであったかを一目で把握することを可能にするためである。その他の構成及び処理の流れについては、実施形態１と同様である。

本実施形態によれば、上記実施形態１の効果に加え、テキストデータを構成する文字ごとの尤度に応じて、文字の態様を変更するので、その文字の尤度がどれくらいであったかを一目で把握することが可能になる。これにより、文字ごとの読取の信頼性を評価することが可能になる。

（実施形態４）
＜構成＞
図１３は、本開示の実施形態４に係る文字認識システムにおける、画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。この文字認識システム１は、実施形態１と同様の構成であるが、表示変更部２３５により変更される、テキストデータ表示部２３３によって表示されたテキストデータの表示の態様が異なる。この実施形態４では、表示変更部２３５は、尤度算出部２３４によって算出されたテキストデータの尤度が所定の閾値以上の場合、読取項目の画像データとテキストデータとの表示を行わない点において、実施形態１と異なる。

図１３に示すように、画面Ｐ１には、氏名フリガナ読取項目Ｓ１、氏名漢字読取項目Ｓ２、口座番号読取項目Ｓ７、氏名フリガナテキストＴ１、氏名漢字テキストＴ２、口座番号テキストＴ７が表示されているが、図５に示す金融機関名読取項目Ｓ３、支店名読取項目Ｓ４、金融機関コード読取項目Ｓ５、支店コード読取項目Ｓ６、金融機関名テキストＴ３、支店名テキストＴ４、金融機関コードテキストＴ５、支店コードテキストＴ６は表示されていない状態になっている。この例では、金融機関名テキストＴ３、支店名テキストＴ４、金融機関コードテキストＴ５、支店コードテキストＴ６のテキストデータの尤度が所定の閾値以上であるため、表示変更部２３５は表示を行っていない。

このように、所定の閾値以上の読取項目の画像データ及びテキストデータを表示していないのは、これらのテキストデータの尤度が高く、一定の信頼性があると考えられるため、人間による確認を省略することが可能であると考えられる。そのため、画面Ｐ２にこれらの項目を表示せず、人間が確認して個別に手入力で修正を行う可能性のあるテキストデータのみ表示することにより、効率的に文字入力を行うことを可能にするためである。その他の構成及び処理の流れについては、実施形態１と同様である。

本実施形態によれば、上記実施形態１の効果に加え、尤度算出部２３４によって算出されたテキストデータの尤度が所定の閾値以上の場合、表示変更部２３５では読取項目の画像データ及びテキストデータの表示を行わないので、一定の信頼性がある読取項目についてテキストデータの確認を省略することができる。これにより、効率的に文字入力を行うことが可能になる。

なお、その他の実施形態として、文字認識装置に直接スキャナ装置を接続し、ネットワークを経由せずにスタンドアローンで文字認識装置を構成することも可能である。これは、外部への情報漏洩を防止するために、文字認識装置をネットワークに接続せずに構成したい場合に有効である。

以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することができる。また、実施形態１〜４に記載した構成を組み合わせて実施することもできる。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれるものである。

１ 文字認識システム、１００ ユーザシステム、１１０ スキャナ装置、１２０ ユーザ端末、２００ 文字認識装置、２１０ 通信部、２２０ 記憶部、２２１ 画像データＤＢ、２２２ 読取項目ＤＢ、２２３ テキストデータＤＢ、２３０ 制御部、２３１ 読取項目設定部、２３２ 文字認識部、２３３ テキストデータ表示部、２３４ 尤度算出部、２３５ 表示変更部、ＮＷ ネットワーク

本開示の一態様における文字認識装置は、書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識装置であって、書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識部と、読取項目ごとに読取項目の画像データとテキストデータとを比較可能に表示し、テキストデータに対して文字入力を行うことでテキストデータを編集可能な状態にするテキストデータ表示部と、読取項目ごとに文字認識の尤度を算出する尤度算出部と、算出された尤度に基づき、テキストデータを表示する箇所の態様を変化させる表示変更部と、を備え、表示変更部は、読取項目ごとの尤度が所定の第１の閾値以下であるテキストデータの読取項目について、テキストデータの表示欄から文字列を表示しない設定に変更し、読取項目ごとの尤度が所定の第２の閾値以上の読取項目の画像データとテキストデータとを表示せず、読取項目ごとの尤度が第１の閾値より大きく第２の閾値未満である場合、読取項目ごとの尤度に応じて読取項目のテキストデータを表示する箇所の態様を変化させる。

本開示の一態様における文字認識方法は、書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識方法であって、文字認識部が行う、書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、テキストデータ表示部が行う、読取項目ごとに読取項目の画像データとテキストデータとを比較可能に表示し、テキストデータに対して文字入力を行うことでテキストデータを編集可能な状態にするテキストデータ表示ステップと、尤度算出部が行う、読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、算出された尤度に基づき、表示変更部が行う、テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を備え、表示変更ステップでは、読取項目ごとの尤度が所定の第１の閾値以下であるテキストデータの読取項目について、テキストデータの表示欄から文字列を表示しない設定に変更し、読取項目ごとの尤度が所定の第２の閾値以上の読取項目の画像データとテキストデータとを表示せず、読取項目ごとの尤度が第１の閾値より大きく第２の閾値未満である場合、読取項目ごとの尤度に応じて読取項目のテキストデータを表示する箇所の態様を変化させる。

また、本開示の一態様における文字認識プログラムは、書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識プログラムであって、書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、読取項目ごとに読取項目の画像データとテキストデータとを比較可能に表示し、テキストデータに対して文字入力を行うことでテキストデータを編集可能な状態にするテキストデータ表示ステップと、読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、算出された尤度に基づき、テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を電子計算機に実行させ、表示変更ステップでは、読取項目ごとの尤度が所定の第１の閾値以下であるテキストデータの読取項目について、テキストデータの表示欄から文字列を表示しない設定に変更し、読取項目ごとの尤度が所定の第２の閾値以上の読取項目の画像データとテキストデータとを表示せず、読取項目ごとの尤度が第１の閾値より大きく第２の閾値未満である場合、読取項目ごとの尤度に応じて読取項目のテキストデータを表示する箇所の態様を変化させる。

（実施形態２）
＜構成＞
図１１は、本開示の実施形態２に係る文字認識システムにおける、画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。この文字認識システム１は、実施形態１と同様の構成であるが、表示変更部２３５により変更される、テキストデータ表示部２３３によって表示されたテキストデータの表示の態様が異なる。この実施形態２では、表示変更部２３５は、尤度算出部２３４によって算出された読取項目ごとのテキストデータの尤度が所定の閾値（第１の閾値）以下の場合、当該読取項目のテキストデータの表示を行わない（ブランクにして表示させる）点において、実施形態１と異なる。

（実施形態４）
＜構成＞
図１３は、本開示の実施形態４に係る文字認識システムにおける、画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。この文字認識システム１は、実施形態１と同様の構成であるが、表示変更部２３５により変更される、テキストデータ表示部２３３によって表示されたテキストデータの表示の態様が異なる。この実施形態４では、表示変更部２３５は、尤度算出部２３４によって算出されたテキストデータの尤度が所定の閾値（第２の閾値）以上の場合、読取項目の画像データとテキストデータとの表示を行わない点において、実施形態１と異なる。

Claims (12)

1. 書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識装置であって、
   前記書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識部と、
   前記読取項目ごとに前記読取項目の画像データと前記テキストデータとを比較可能に表示し、前記テキストデータを編集可能な状態にするテキストデータ表示部と、
   前記読取項目ごとに文字認識の尤度を算出する尤度算出部と、
   前記読取項目ごとの尤度に基づき、前記テキストデータを表示する箇所の態様を変化させる表示変更部と、を備える文字認識装置。
2. 前記テキストデータ表示部は、前記読取項目の画像データと前記テキストデータとを並列に表示する、請求項１に記載の文字認識装置。
3. 前記書類の画像データから前記読取項目を設定する読取項目設定部を備える、請求項１または請求項２に記載の文字認識装置。
4. 前記読取項目設定部は、前記読取項目ごとの尤度が所定の閾値以下である前記テキストデータの前記読取項目について、前記テキストデータを表示しない設定に変更する、請求項３に記載の文字認識装置。
5. 前記文字認識部は、前記テキストデータを生成するとともに、前記テキストデータを構成する文字ごとに尤度を算出し、
   前記尤度算出部は、前記文字ごとの尤度に対して所定の演算を行い、前記読取項目ごとの尤度を算出する、請求項１から請求項４のいずれか１項に記載の文字認識装置。
6. 前記尤度算出部は、前記文字ごとの尤度を乗算して前記読取項目ごとの尤度を算出する、請求項５に記載の文字認識装置。
7. 前記表示変更部は、前記文字ごとの尤度に応じて前記文字ごとに異なる態様で表示する、請求項５または請求項６に記載の文字認識装置。
8. 前記表示変更部は、前記読取項目ごとの尤度に応じて前記読取項目の前記テキストデータを表示する箇所を異なる色で表示する、請求項１から請求項７のいずれか１項に記載の文字認識装置。
9. 前記表示変更部は、前記読取項目ごとの尤度が所定の閾値以上の前記読取項目の画像データと前記テキストデータとを表示しない、請求項１から請求項８のいずれか１項に記載の文字認識装置。
10. 前記表示変更部は、前記読取項目ごとの尤度が所定の閾値以上の前記読取項目の前記テキストデータを編集不可能な状態にする、請求項１から請求項９のいずれか１項に記載の文字認識装置。
11. 書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識方法であって、
    文字認識部が行う、前記書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、
    テキストデータ表示部が行う、前記読取項目ごとに前記読取項目の画像データと前記テキストデータとを比較可能に表示し、前記テキストデータを編集可能な状態にするテキストデータ表示ステップと、
    尤度算出部が行う、前記読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、
    算出された尤度に基づき、表示変更部が行う、前記テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を備える文字認識方法。
12. 書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識プログラムであって、
    前記書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、
    前記読取項目ごとに前記読取項目の画像データと前記テキストデータとを比較可能に表示し、前記テキストデータを編集可能な状態にするテキストデータ表示ステップと、
    前記読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、
    算出された尤度に基づき、前記テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を電子計算機に実行させる文字認識プログラム。
    
    

Images