JP2020046857A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】記入者個人の特性を考慮せずに、予め定義付けられた候補文字との類似度合いによって文字認識結果を出力する場合と比較して、文字を手書きした記入者個人の特性が反映された文字認識結果が出力されるようにする。【解決手段】記入者に紐付き、記入者が手書きした第１文字を示す第１文字情報と、認識対象の第２文字を示す第２文字情報とに基づいて、第２文字の認識結果に対する記入者に応じた警告が出力される。【選択図】図８

Description

本発明は、情報処理装置及びプログラムに関する。

文字認識処理が知られている。また、文字の認識結果に対する確信度が算出される場合がある。確信度は、認識対象の文字が正しいと確信される度合いであり、例えば、認識対象の文字と候補文字との類似度やその他の定義等が確信度として用いられる。一般的に、確信度が高いほど、認識結果が誤りである可能性が低くなると考えられている。

特許文献１には、文字認識対象を３種類のいずれかに分類し、その分類に応じて、文字認識結果の抽出、文字認識対象の人手入力、又は、複数人による文字認識対象の手入力のいずれかを実行する装置が記載されている。

特許文献２には、優先度の高い帳票画像の文字認識結果を修正画面に表示する装置が記載されている。

特開２０１６−２１２８１２号公報 特開２０１２−６４１９５号公報

ところで、文字の認識結果に対する確信度が高い場合であっても、必ずしも当該認識結果が正しい文字を表しているとは限らない。例えば、記入者が手書きした文字を認識する場合において、当該記入者個人の特性（例えば癖字）等が、文字認識処理に用いられる辞書や文字認識処理のアルゴリズム等に反映されていない場合、高い確信度が得られるにも関わらず、誤った文字を表す認識結果が得られることが考えられる。

本発明の目的は、記入者個人の特性を考慮せずに、予め定義付けられた候補文字との類似度合いによって文字認識結果を出力する場合と比較して、文字を手書きした記入者個人の特性が反映された文字認識結果が出力されるようにすることにある。

請求項１に記載の発明は、記入者に紐付き、前記記入者が手書きした第１文字を示す第１文字情報と、認識対象の第２文字を示す第２文字情報とに基づいて、前記第２文字の認識結果に対する前記記入者に応じた警告を出力する出力手段、を有する情報処理装置である。

請求項２に記載の発明は、前記第１文字情報は、前記第１文字が前記第１文字以外の別の文字として認識され得ることを示す情報である、ことを特徴とする請求項１に記載の情報処理装置である。

請求項３に記載の発明は、前記第１文字情報は、前記記入者を識別するための情報と、前記第１文字を表す第１画像とを含み、前記出力手段は、前記第２文字を表す第２画像と前記第１画像との比較結果に応じて前記警告を出力する、ことを特徴とする請求項２に記載の情報処理装置である。

請求項４に記載の発明は、誤認識され得る文字群を表す画像群に、前記記入者によって予め手書きされた前記第１文字を表す前記第１画像が含まれている場合、前記第１文字情報を記憶する記憶手段と、を更に有し、前記出力手段は、前記記入者によって手書きされた前記第２文字を表す前記第２画像と、前記記憶手段に記憶されている前記記入者に紐付く前記第１文字情報に含まれる前記第１画像との比較結果に応じて、前記警告を出力する、ことを特徴とする請求項３に記載の情報処理装置である。

請求項５に記載の発明は、前記出力手段は、前記第２文字の認識結果の確からしさを示す確信度が予め定められた閾値以上になった場合に、前記第１文字情報と前記第２文字情報とに基づいて前記警告を出力する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置である。

請求項６に記載の発明は、前記出力手段は、更に、前記第２文字の正解認識結果を出力する、ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置である。

請求項７に記載の発明は、コンピュータを、記入者に紐付き、前記記入者が手書きした第１文字を示す第１文字情報と、認識対象の第２文字を示す第２文字情報とに基づいて、前記第２文字の認識結果に対する前記記入者に応じた警告を出力する出力手段、として機能させるプログラムである。

請求項１，７に記載の発明によれば、記入者個人の特性を考慮せずに、予め定義付けられた候補文字との類似度合いによって文字認識結果を出力する場合と比較して、文字を手書きした記入者個人の特性が反映された文字認識結果が出力することができる。

請求項２，３，４に記載の発明によれば、別の文字として認識され得る情報を用いて警告を出力することができる。

請求項５に記載の発明によれば、確信度が閾値以上となる認識結果を対象として警告が出力される。

請求項６に記載の発明によれば、正解認識結果が提示される。

本実施形態に係る情報処理システムを示す図である。 本実施形態に係る画像処理装置を示す図である。 端末装置を示す図である。 不正解情報ＤＢに登録されている情報を示す図である。 評価シートを示す図である。 判定結果記憶部に記憶されている情報を示す図である。 評価シートの登録画面を示す図である。 文字認識結果等の表示画面を示す図である。 画像処理装置の動作に関するフローチャートを示す図である。 変形例に係る画像処理装置を示す図である。

図１を参照して、本発明の実施形態に係る情報処理システムについて説明する。図１は、本実施形態に係る情報処理システムの一例としての画像処理システムを示す。

画像処理システムは、一例として、情報処理装置の一例としての画像処理装置１０と、１又は複数の端末装置１２を含む。画像処理装置１０と端末装置１２は、例えば、インターネット又は他のネットワーク等の通信経路Ｎを介して互いに通信する機能を有する。なお、サーバ等の装置が画像処理システムに含まれてもよい。

画像処理装置１０は、画像データに認識処理（文字認識処理や図形認識処理）を適用することで、当該画像データから文字や記号や図形等を認識する装置である。認識処理として、例えば、ＯＣＲ（Optical Character Recognition）処理やＯＭＲ（Optical Mark Recognition）処理が実行される。

認識対象となる画像データは特に限定されるものではない。例えば、画像読取装置（例えばスキャナ）によって文書に対して画像読取処理が行われ、その画像読取処理によって生成された画像データが、認識対象の画像データとして用いられてもよいし、撮像装置（例えばカメラ）によって文書が撮像されることで生成された画像データが、認識対象の画像データとして用いられてもよい。もちろん、これら以外の方法によって生成された画像データが、認識対象の画像データとして用いられてもよい。

端末装置１２は、例えば、ＰＣ（パーソナルコンピュータ）、タブレットＰＣ、スマートフォン、携帯電話等である。例えば、画像データの認識結果を示す情報が画像処理装置１０から端末装置１２に送られて、その認識結果が端末装置１２に表示される。

以下、図２を参照して画像処理装置１０について詳しく説明する。図２は、画像処理装置１０の構成を示す。

不正解情報ＤＢ（データベース）１４は、文字を表す画像データ（以下「文字画像データ」と称する）に対する文字認識処理によって誤認識され得る文字（以下「不正解文字」と称する）を示す情報を格納する格納領域である。不正解情報ＤＢ１４においては、文字画像データ毎に、文字画像データと、当該文字画像データに対する文字認識処理によって誤認識され得る不正解文字を示す情報とが互いに対応付けられている。不正解情報ＤＢ１４に格納されている文字画像データは、文字認識処理によって誤認識され得る文字を表す画像データであるといえる。例えば、事前検証によって、文字画像データと、その文字画像から誤認識される不正解文字を示す情報との組み合わせが収集され、それらの情報が不正解情報ＤＢ１４に予め登録される。不正解情報ＤＢ１４は、例えば、１又は複数の記憶装置（例えばハードディスクドライブやメモリ等）によって構成される。なお、不正解情報ＤＢ１４は、画像処理装置１０に設けられずに、サーバ等の外部装置に設けられてもよい。

不正解情報ＤＢ１４に登録されている不正解文字は、文字画像データに対する文字認識の確信度が高い文字（例えば確信度が確信度の閾値以上となる文字）であってもよい。確信度は、文字認識処理によって認識された文字が正しいものであると確信される度合（認識結果の確からしさを示す度合）である。例えば、認識対象の文字画像データから抽出された文字の特徴と、その文字の認識候補の標準特徴との距離の逆数が確信度として用いられる。確信度が大きいほど、抽出された文字の特徴と認識候補の標準特徴とが近いことを意味しており、認識結果が誤りである確率が低いことになる。別の定義として、特徴間の類似度を確信度として用いてもよい。もちろん、これら以外の別の定義が用いられてもよい。確信度の閾値は、例えば予め定められた値であって、画像入力者や訂正者等によって変更されてもよい。不正解情報ＤＢ１４に登録されている不正解文字は、高い確信度を有する文字であるが正しく認識されない文字であるといえる。

以下、文字画像データに対する文字認識処理によって認識された不正解文字であってその確信度が閾値以上となる不正解文字を、その文字画像データに対する「高確信度不正解文字」と称することとする。また、不正解情報ＤＢ１４には、文字画像データと、当該文字画像データに対する文字認識処理によって高確信度で誤認識され得る高確信度不正解文字を示す情報とが互いに対応付けられているものとする。

なお、文字認識処理に用いられる辞書や、言語処理モデル（例えば機械学習モデル）や、文字の記入者の癖等に起因して、文字画像データから高確信度不正解文字が認識されることがある。例えば、機械学習に利用したサンプルが有する特徴と異なる特徴を有する文字に対して文字認識処理が適用された場合や、機械学習モデルが当該文字に適していない場合や、機械学習モデルのパラメータが当該文字に適していない場合等に、高確信度不正解文字が認識されることがある。

予備情報受付部１６は、記入者が文字を記入した評価シートを表す画像データ（以下「評価シート画像データ」と称する）を予備情報として受け付けて、当該評価シート画像データを判定処理部１８に出力するように構成されている。当該評価シート画像データには、当該記入者を識別するための記入者識別情報（例えば記入者名やＩＤ等）が予め対応付けられている。予備情報受付部１６は、例えば、通信経路Ｎを介して外部装置から送られてきた評価シート画像データを受け付けてもよいし、画像読取装置や撮像装置から出力された評価シート画像データを受け付けてもよい。なお、画像読取装置や撮像装置は画像処理装置１０に含まれてもよい。

評価シートは、記入者が記入した文字の文字認識処理への適合度を判定するための文書であって、記入者によって文字が記入される文書である。具体的には、評価シートは、記入者が記入した文字が誤認識される可能性のある文字か否かを事前に評価するために用いられる。例えば、評価シートは、不正解情報ＤＢ１４に格納されている情報に基づいて作成されてもよい。この場合、評価シートには、予め選択された１又は複数の高確信度不正解文字が印刷される。記入者は、印刷されている高確信度不正解文字を倣って手書きで文字を評価シートに記入することとなる。つまり、評価シートは、記入者に高確信度不正解文字を記入させるための文書であるといえる。もちろん、評価シートは、不正解情報ＤＢ１４に格納されている情報に基づかずに作成されてもよい。例えば、評価シートに、予め選択された１又は複数の文字が印刷され、記入者は、その文字を手書きで評価シートに記入することとなる。評価シートは、記入者の記入の特徴（例えば文字を書くときの癖等）を把握するために用いられる。記入者によって文字が記入された評価シートがスキャンや撮影されることで、評価シート画像データが生成され、当該評価シート画像データに当該記入者の記入者識別情報が対応付けられて予備情報受付部１６に受け付けられる。

判定処理部１８は、評価シート画像データから抽出された文字画像データと、不正解情報ＤＢ１４に登録されている各文字画像データとを照合し、これらの文字画像データ同士のマッチング度合（類似度）を判定するように構成されている。マッチング度合（類似度）の計算として、例えば公知の技術が用いられる。例えば、文字画像データ同士の特徴点のマッチング、テンプレートを用いたマッチング、各文字画像データのヒストグラムの比較等によって、マッチング度合が計算される。もちろん、これら以外の手法によってマッチング度合が計算されてもよい。評価シート画像データから抽出された文字画像データが、不正解情報ＤＢ１４に登録されている文字画像データと類似する場合（例えばマッチング度合（類似度）が類似度の閾値以上となる場合）、評価シート画像データから抽出された文字画像データに対して文字認識処理が適用されると、その文字画像データから高確信度不正解文字が認識されると推測される。なお、類似度の閾値は予め定められた値であり、画像入力者や訂正者等によって変更されてもよい。

評価シート画像データから抽出された文字画像データが、不正解情報ＤＢ１４に登録されている文字画像データと類似する場合、判定処理部１８は、評価シート画像データから抽出された当該文字画像データと、当該評価シート画像データに対応付けられている記入者識別情報とを互いに対応付けて判定結果記憶部２０に記憶させる。

判定結果記憶部２０は、上記のように判定処理部１８から出力された情報を格納する格納領域である。このようにして、記入者毎に、文字認識処理によって高確信度不正解文字が認識され得る文字画像データが、判定結果記憶部２０に記憶される。判定結果記憶部２０は、例えば、１又は複数の記憶装置（例えばハードディスクドライブやメモリ等）によって構成される。なお、高確信度不正解文字が認識され得る文字画像データと記入者識別情報とを含む情報が、第１文字情報の一例に相当し、その文字画像データが表す文字が第１文字の一例に相当する。

画像受付部２２は、認識対象の画像データを受け付けて認識処理部２４に出力するように構成されている。画像受付部２２は、例えば、通信経路Ｎを介して外部装置から送られてきた画像データを受け付けてもよいし、画像読取装置や撮像装置から出力された画像データを受け付けてもよい。例えば、画像受付部２２は、認識対象の画像データとして、認識対象の文書を表す画像データ（以下、「文書画像データ」と称する）を受け付ける。当該文書には、記入者によって手書きで文字が記入されている。また、文書画像データには、当該記入者を識別するための記入者識別情報（例えば記入者名やＩＤ等）が予め対応付けられている。なお、文書画像データに表されている文字が第２文字の一例に相当し、その文字を表す画像データが第２文字情報の一例に相当する。

認識処理部２４は、画像受付部２２が受け付けた認識対象の文書画像データに対して文字認識処理を適用することで、当該文書画像データから文字を認識するように構成されている。また、認識処理部２４は、認識された各文字についての文字認識の確信度を計算するように構成されている。認識処理部２４は、認識された文字毎に確信度を計算する。以下の説明では、認識対象の文書画像データから認識された文字を「認識文字」と称することとする。認識処理部２４は、文書画像データと、文書画像データに対する認識結果を示す情報（認識文字を示す情報）と、各認識結果に対する確信度（各認識文字の確信度）を示す情報とを、確信度判定部２６に出力する。

確信度判定部２６は、認識対象の文書画像データから認識された各認識文字の確信度に基づいて、各認識文字が高い確信度を有する文字（例えば確信度が確信度の閾値以上となる文字）に該当するか否かを判定するように構成されている。以下、高い確信度を有する文字を「高確信度文字」と称することとする。つまり、確信度判定部２６は、認識対象の文書画像データから認識された認識文字群の中から高確信度文字を特定する。確信度判定部２６は、認識対象の文書画像データと、高確信度文字を示す情報と、その高確信度文字が認識された文字画像データとを検索部２８に出力する。

検索部２８は、判定結果記憶部２０において、認識対象の文書画像データから抽出され、文字認識処理によって高確信度文字が認識された文字画像データと、認識対象の文書において当該高確信度文字を記入した記入者の記入者識別情報との組み合わせを検索するように構成されている。当該文字画像データと当該記入者識別情報との組み合わせが判定結果記憶部２０に記憶されている場合、当該文字画像データが表す認識文字（認識対象の文書から抽出された高確信度文字）は、当該記入者に関して、誤認識された可能性のある文字であると推測される。例えば、検索部２８は、上記の文字認識処理によって高確信度文字が認識された文字画像データと、判定結果記憶部２０に記憶されて、当該記入者の記入者識別情報が対応付けられている各文字画像データとを照合し、これらの文字画像データ同士のマッチング度合（類似度）を判定する。検索部２８は、判定結果記憶部２０において、文字認識処理によって高確信度文字が認識された文字画像データと類似する文字画像データ（例えば類似度が類似度の閾値以上となる文字画像データ）を検索する。その類似する文字画像データが判定結果記憶部２０に記憶されている場合、認識対象の文書から抽出された高確信度文字は、当該記入者に関して、誤認識された可能性のある文字であると推測される。つまり、判定結果記憶部２０には、記入者毎に、高確信度不正解文字が認識され得る文字画像データが記憶されているため、文字認識処理によって高確信度文字が認識された文字画像データと記入者識別情報との組み合わせが判定結果記憶部２０に記憶されている場合、当該高確信度文字は、当該記入者に関して、高確信度不正解文字に該当すると推測される。検索部２８は、検索結果を示す情報を確信度変更部３０に出力する。

確信度変更部３０は、認識結果に対する確信度（認識文字の確信度）を変更するように構成されている。例えば、文字認識処理によって高確信度文字が認識された文字画像データと記入者識別情報との組み合わせが判定結果記憶部２０に記憶されている場合、つまり、当該高確信度文字が、誤認識された可能性のある文字であると判断された場合、確信度変更部３０は、当該高確信度文字の確信度をより低い値に変更する。その低い値は、例えば予め定められた値である。確信度変更部３０は、当該高確信度文字の確信度を、予め定められた値の分、低い値に変更してもよい。

警告出力部３２は、文字認識処理によって高確信度文字が認識された文字画像データと記入者識別情報との組み合わせが判定結果記憶部２０に記憶されている場合、当該文字画像データの文字認識処理の結果に対する警告を示す情報（警告情報）を出力するように構成されている。例えば、警告出力部３２は、警告情報を端末装置１２に送信する。

なお、確信度判定部２６は、認識対象の文書画像データから認識された各認識文字が、高確信度不正解文字に該当するか否かを判定してもよい。つまり、確信度判定部２６は、認識対象の文書画像データから認識された認識文字群の中から高確信度不正解文字を特定してもよい。例えば、確信度判定部２６は、当該認識文字群の中から、高確信度不正解文字として不正解情報ＤＢ１４に登録されている文字を検索する。認識文字が不正解情報ＤＢ１４に登録されている場合、当該認識文字は、誤認識された可能性の文字に該当する。この場合、警告出力部３２は、警告情報を出力してもよい。また、確信度変更部３０は、その認識文字の確信度を低い値に変更してもよい。

文書画像データ、文字画像データ、文字認識処理による認識結果を示す情報（認識文字を示す情報）、確信度を示す情報等は、画像処理装置１０から端末装置１２に送信されて、端末装置１２に表示される。また、警告情報が出力された場合、その警告情報は画像処理装置１０から端末装置１２に送信されて、端末装置１２に表示される。

以下、図３を参照して端末装置１２について詳しく説明する。図３は、端末装置１２の構成を示す。

通信部３４は通信インターフェースであり、情報を他の装置に送信する機能、及び、他の装置から送信されてきた情報を受信する機能を有する。通信部３４は、無線通信機能を有していてもよいし、有線通信機能を有していてもよい。

ＵＩ部３６はユーザインターフェースであり、表示部と操作部とを含む。表示部は、液晶ディスプレイやＥＬディスプレイ等の表示装置である。操作部は、キーボード等の入力装置である。また、表示部と操作部とを兼ね備えたユーザインターフェース（例えばタッチパネル等）が、ＵＩ部３６として用いられてもよい。また、ＵＩ部３６は、音を発生させるスピーカ等の音声発生部や、音声の入力を受けるマイク等の音声入力部等を含んでもよい。

例えば、認識対象の文書画像データや、文字画像データや、認識結果を示す情報（認識文字を示す情報）、確信度を示す情報、警告情報等が、ＵＩ部３６の表示部に表示される。また、訂正者は、ＵＩ部３６を操作することで、認識結果の訂正指示を与えてもよい。

記憶部３８は、各種の情報（データやプログラム等）を格納する１又は複数の格納領域であり、１又は複数の記憶装置（例えばハードディスクドライブやメモリ等）によって構成される。

制御部４０は、端末装置１２の各部の動作を制御するように構成されている。例えば、制御部４０は、通信部３４による通信の制御、ＵＩ部３６（表示部）への各種情報の表示制御、ＵＩ部３６（操作部）を介して入力された情報の受付制御、等を行う。具体的には、制御部４０は、認識対象の文書画像データや、文字画像データや、認識結果を示す情報や、確信度を示す情報や、警告情報等をＵＩ部３６の表示部に表示させる。

なお、図１に示す例では、画像処理装置１０と端末装置１２とが別々のハードウェアとして構成されているが、画像処理装置１０に端末装置１２が組み込まれてもよい。つまり、画像処理装置１０は、端末装置１２が有する構成（例えばＵＩ部３６等）を有していてもよい。この場合、認識対象の文書画像データや認識結果を示す情報等は、画像処理装置１０に設けられた表示部に表示されてもよい。また、訂正者は画像処理装置１０に設けられたＵＩ部を操作することで認識結果を訂正してもよい。

以下、具体例を挙げて画像処理装置１０の動作について詳しく説明する。以下では、「画像データ」を「画像」と称し、「文書画像データ」を「文書画像」と称し、「文字画像データ」を「文字画像」と称し、「評価シート画像データ」を「評価シート画像」と称することとする。

図４を参照して、不正解情報ＤＢ１４に登録されている情報の具体例について説明する。図４は、その登録情報の一例を示す。

不正解情報ＤＢ１４においては、文字画像毎に、文字画像と、その文字画像から誤認識され得る高確信度不正解文字を示す情報とが互いに対応付けられている。文字画像と高確信度不正解文字との組み合わせが事前に収集され、それらが不正解情報ＤＢ１４に予め登録される。例えば、事前評価として、互いに異なる母集団（例えば、成人の母集団、未成年の母集団、性別毎の母集団、年代別の母集団等）に属する複数の記入者によって文字が記入され、その文字を表す文字画像に対して文字認識処理が適用される。その文字認識処理によって高確信度で不正解文字が認識された文字画像と、当該高確信度不正解文字とが互いに対応付けられて不正解情報ＤＢ１４に登録される。

図４に示す例では、文字「こ」を表現している文字画像「こ」と、その文字画像から誤認識され得る高確信度不正解文字「つ」とが互いに対応付けられている。つまり、当該文字画像「こ」に対して文字認識処理を適用した場合、高確信度で文字「つ」が認識され得る。当該文字画像は文字「こ」を表現しているため、認識された文字「つ」は不正解文字に該当する。

また、１文字を表す文字画像から１文字が誤認識されるとは限らない。例えば、文字「だ」を表現している文字画像「だ」に対して文字認識処理が適用された場合、高確信度で２つの不正解文字（文字「た」「い」）が認識され得る。つまり、文字画像「だ」中の画像「た」から文字「た」が誤認識され、文字画像「だ」中の画像「゛」（濁点を表す画像）から文字「い」が誤認識され得る。このように、１文字を表す文字画像から２文字以上の文字が誤認識される場合もあり、このような情報も不正解情報ＤＢ１４に登録される。

以下、図５を参照して評価シートの具体例について説明する。図５は、評価シートの一例を示す。

評価シート４２には、見本となる１又は複数の文字を含む文字群４４が予め印字されている。また、評価シート４２には記入欄４６が形成されており、記入者は、文字群４４に含まれる文字を倣って文字を手書きで記入欄４６に記入することとなる。

文字群４４に含まれる文字は、例えば誤認識され得る文字である。高確信度不正解文字が文字群４４に含まれてもよい。例えば、文字認識結果に対する過去の訂正の履歴に基づいて、誤認識された文字（例えば訂正された文字）が文字群４４に含まれてもよい。もちろん、不正解文字以外の文字が文字群４４に含まれてもよい。

図５に示す例では、ひらがなで表記された文字群４４が評価シート４２に印字されており、記入者によって文字「こ」が手書きで記入欄４６に記入されている。

記入者によって文字が記入された評価シート４２が画像読取装置によって読み取られたり、撮像装置によって撮像されたりすることで、記入済みの評価シート４２を表す評価シート画像が生成される。その評価シート画像は予備情報として予備情報受付部１６によって受け付けられる。なお、その評価シート画像には、評価シート４２に文字を記入した記入者（例えば記入者Ａ）の記入者識別情報が対応付けられている。

判定処理部１８は、評価シート画像中の記入欄４６から抽出された文字画像（例えば文字画像「こ」）と、不正解情報ＤＢ１４に登録されている各文字画像とを比較する。例えば、文字画像「こ」と類似する文字画像（例えば高確信度不正解文字）が不正解情報ＤＢ１４に登録されている場合、判定処理部１８は、文字画像「こ」と記入者Ａの記入者識別情報とを互いに対応付けて判定結果記憶部２０に記憶させる。記入者Ａが記入した文字「こ」を表す文字画像「こ」は、例えば、高確信度で不正解文字「つ」と認識され得る画像である。

文字群４４に含まれる文字は、認識対象の文書に記載されると想定される文字と関連性を有する文字であってもよい。例えば、認識対象の文書がカルテである場合、カルテに出現すると想定される文字（例えばアルファベットや数字等）が文字群４４に含まれる。認識対象の文書に出現すると想定される文字群を評価シート４２に形成しておき、その文字群について判定処理部１８による判定処理を適用しておけば、あらゆる文字を評価シート４２に形成しなくても、認識対象の文書から認識された文字が、記入者との関係で、高確信度不正解文字に該当するか否かを判断することができる。なお、漢字や記号や図形等が文字群４４に含まれてもよい。

以下、図６を参照して、判定結果記憶部２０に記憶されている情報の具体例について説明する。図６は、その情報の一例を示す。

判定結果記憶部２０においては、記入者毎に、記入者識別情報と、高確信度不正解文字であると認識され得る１又は複数の文字画像（評価シート画像から抽出された１又は複数の文字画像）とが互いに対応付けられている。例えば、記入者Ａには、文字画像１として文字画像「こ」が対応付けられている。この文字画像「こ」は、記入者Ａが記入した評価シートの画像から抽出された画像であって、高確信度で不正解文字「つ」と認識され得る画像である。他の記入者についても同様に、高確信度不正解文字であると認識され得る１又は複数の文字画像が登録されている。

以下、図７を参照して、評価シートの登録時の画面について説明する。図７は、その登録画面の一例を示す。

この登録画面４８は、評価シートの登録に用いられる端末装置（例えば端末装置１２であってもよい）に表示される。登録画面４８には、記入者認証ボタン５０と評価シート登録ボタン５２が表示されている。例えば、作業者（例えば記入者自身や、評価シートの登録作業を行う者等）が記入者認証ボタン５０を押すと、記入者識別情報の入力画面が端末装置に表示され、その入力画面上で記入者識別情報が作業者によって入力される。作業者が評価シート登録ボタン５２を押すと、登録対象の評価シート画像が予備情報受付部１６によって受け付けられる。その評価シート画像には、入力された記入者識別情報が対応付けられる。例えば、予備情報受付部１６が、入力された記入者識別情報をその評価シート画像に対応付けてもよい。

以下、図８を参照して、文字認識結果等の表示画面について説明する。図８は、その表示画面の一例を示す。

表示画面５４は、例えば、端末装置１２のＵＩ部３６に表示される。表示画面５４の情報は、例えば、警告出力部３２によって生成され、その情報が画像処理装置１０から端末装置１２に送信されて、表示画面５４がＵＩ部３６に表示される。

表示画面５４には、認識対象の文書画像から抽出された文字画像、その文字画像に対する文字認識処理の結果を示す情報（認識文字）、確信度を示す情報、及び、文字認識処理の結果に対する警告の有無（警告出力部３２による警告情報の出力の有無）を示す情報が互いに対応付けられて表示される。ここでは、記入者Ａに紐付く文書画像、つまり、記入者Ａによって手書きで文字等が記入された文書画像に対する文字識別結果等が表示されているものとする。なお、その文書画像には、記入者Ａによって手書きで記入された文字以外にも、手書きではない文字（例えば活字）が形成されていてもよい。

例えば、認識対象の文書画像から、文字「こ」を表す文字画像５６が抽出されている。この文字「こ」は手書きで記入された文字ではなく、例えば活字である。認識結果５８は、その文字画像５６に対する文字認識処理の結果（認識文字）である。文字画像５６からは文字「こ」が認識されており、その文字認識の確信度は０．９９９４である。確信度が「１」に近いほど、文字認識の確からしさが高く、誤認識の可能性が低いことを意味している。確信度が０．９９９４であるため、この値は高い確信度であるといえる。

また、文字画像５６に対応付けられて警告マーク６０が表示されている。警告マーク６０は、文字画像５６に対する文字認識処理の結果に対する警告の有無を示す情報、つまり、文字画像５６に対する文字認識処理の結果に関して警告出力部３２によって警告情報が出力されているか否かを示す情報である。ここでは、一例として、警告マークの色によって警告の有無が表現されている。例えば、警告マークの色が緑色であれば、文字認識処理の結果に対する警告は発せられておらず、警告マークの色が黄色であれば、文字認識処理の結果に対する警告が発せられている。文字画像５６に対する警告マーク６０の色は緑色であり、文字認識処理の結果に対して警告は発せられていない。これは、記入者Ａの記入者識別情報と文字画像５６との組み合わせが、判定結果記憶部２０に記憶されていないことを意味する。つまり、文字画像５６は、高確信度不正解文字が認識される可能性のある画像ではないと推測される。なお、警告の有無は色以外の情報によって表現されてもよい。例えば、警告を示す文字が表示されてもよいし、マークの形状によって警告の有無が表現されてもよい。また、警告の有無を表現する音声が発せられてもよい。

また、認識対象の文書画像から、文字「こ」を表す文字画像６２が抽出されている。この文字「こ」は、記入者Ａによって手書きで記入された文字である。認識結果６４は、その文字画像６２に対する文字認識処理の結果（認識文字）である。文字画像６２からは文字「つ」が認識されており、その文字認識の確信度は０．９９９６である。確信度が０．９９９６であるため、この値は高い確信度であるといえる。

また、文字画像６２に対応付けられて警告マーク６６が表示されている。警告マーク６６は、文字画像６２に対する文字認識処理の結果に対する警告の有無を示す情報、つまり、文字画像６２に対する文字認識処理の結果に関して警告出力部３２によって警告情報が出力されているか否かを示す情報である。文字画像６２に対する警告マーク６６の色は黄色であり、文字認識処理の結果に対して警告が発せられている。これは、記入者Ａの記入者識別情報と文字画像６２との組み合わせが、判定結果記憶部２０に記憶されていることを意味する。つまり、文字画像６２は、高確信度不正解文字が認識される可能性のある画像であると推測され、認識結果６４は、誤りである可能性がある。ここでは、文字画像６２は文字「こ」を表していると評価できるのに対して、その文字画像６２から高確信度で不正解文字「つ」が認識されており、誤認識が発生している。

他の文字画像についても、その認識結果、確信度及び警告マークが表示される。

以下、図９を参照して、画像処理装置１０の動作について具体例を挙げて説明する。図９は、画像処理装置１０の動作に関するフローチャートを示す。以下では、記入者Ａに紐付く文書画像に対して文字認識処理を適用するものとする。

まず、事前準備が行われる。記入者Ａは、図５に示されている評価シート４２中の記入欄４６に、手書きで文字を記入する（ステップＳ０１）。これにより、記入済みの評価シート４２が作成される。

次に、記入済みの評価シート４２が画像読取装置によって読み取られることで、その記入済みの評価シート４２を表す評価シート画像が生成される(ステップＳ０２)。

予備情報受付部１６は、その評価シート画像と記入者Ａの記入者識別情報とを受け付ける（ステップＳ０３）。その評価シート画像には記入者Ａの記入者識別情報が対応付けられる。

次に、判定処理部１８は、評価シート画像中の記入欄４６から抽出された文字画像と、不正解情報ＤＢ１４に登録されている各文字画像とを比較する（ステップＳ０４）。

当該文字画像が不正解情報ＤＢ１４に登録されている場合（ステップＳ０５，Ｙｅｓ）、判定処理部１８は、当該文字画像と記入者Ａの記入者識別情報とを互いに対応付けて判定結果記憶部２０に記憶させる（ステップＳ０６）。

当該文字画像が不正解情報ＤＢ１４に登録されていない場合（ステップＳ０５，Ｎｏ）、判定処理部１８は、当該文字画像を判定結果記憶部２０に記憶させない。

判定処理部１８は、評価シート４２の記入欄４６に記入されているすべての文字を対象としてステップＳ０４の比較処理を行う。

例えば、記入欄４６から抽出された文字画像６２（文字画像「こ」）が不正解情報ＤＢ１４に登録されている場合、判定処理部１８は、図６に示すように、当該文字画像「こ」と記入者Ａの記入者識別情報とを互いに対応付けて判定結果記憶部２０に記憶させる。また、文字画像５６（文字画像「こ」）が不正解情報ＤＢ１４に登録されていない場合、当該文字画像５６は判定結果記憶部２０に記憶されない。

ここまでの処理（ステップＳ０１からステップＳ０６までの処理）が事前準備に該当する。以下の処理では、認識対象の文書に対する文字認識処理が実行される。

まず、画像受付部２２は、認識対象の文書画像を受け付ける（ステップＳ０７）。例えば、記入者Ａが手書きで文字等を記入した文書が画像読取装置によって読み取られることで、その文書を表す文書画像が生成される。画像受付部２２は、その文書画像を受け付ける。その文書画像には、記入者Ａの記入者識別情報が対応付けられている。

次に、認識処理部２４は、当該文書画像に対して文字認識処理を適用することで、当該文書画像から文字を認識し、更に、各認識文字（各認識結果）に対する確信度を計算する（ステップＳ０８）。

次に、確信度判定部２６は、各認識文字が高確信度文字に該当するか否かを判定する（ステップＳ０９）。認識文字の確信度が確信度の閾値以上である場合、当該認識文字は高確信度文字であると判定される。ここでは、図８に示されている文字画像５６，６２が高確信度文字に該当すると判定されたものとする。

次に、検索部２８は、判定結果記憶部２０において、認識対象の文書画像から抽出され、文字認識処理によって高確信度文字が認識された文字画像と、記入者Ａの記入者識別情報との組み合わせを検索する（ステップＳ１０）。検索部２８は、各文字画像について検索を行う。

次に、警告出力部３２は、高確信度文字が認識された文字画像と記入者Ａの記入者識別情報との組み合わせが判定結果記憶部２０に記憶されている場合、当該文字画像の認識結果に対する警告情報を出力する（ステップＳ１１）。警告出力部３２は、高確信度文字が認識された文字画像と記入者Ａの記入者識別情報との組み合わせが判定結果記憶部２０に記憶されていない場合、当該文字画像の認識結果に対する警告情報を出力しない。

例えば、文字画像６２（文字画像「こ」）に類似する文字画像と記入者Ａの記入者識別情報との組み合わせが判定結果記憶部２０に記憶されている。この場合、文字画像６２の認識結果に対する警告情報が出力される。一方、文字画像５６（文字画像「こ」）に類似する文字画像と記入者Ａの記入者識別情報との組み合わせは判定結果記憶部２０に記憶されていない。この場合、文字画像５６の認識結果に対する警告情報は出力されない。

次に、図８に示されている表示画面５４（認識対象の文書画像から抽出された各文字画像、各文字画像に対する文字認識処理の結果を示す情報（各認識文字）、確信度を示す情報、及び、文字認識処理の結果に対する警告の有無を示す情報が表示される画面）の情報が警告出力部３２によって生成され、その表示画面５４の情報が画像処理装置１０から端末装置１２に送信される。そして、表示画面５４が、端末装置１２のＵＩ部３６に表示される（ステップＳ１２）。

文字画像５６の認識結果に対して警告情報は出力されていないため、文字画像５６に紐付く警告マーク６０は緑色で表示されている。つまり、文字画像５６の認識結果５８は、誤りである可能性が低いと推測される。

一方、文字画像６２の認識結果に対して警告情報が出力されているため、文字画像６２に紐付く警告マーク６６は黄色で表示されている。つまり、文字画像６２の認識結果６４は、誤りである可能性が高いと推測される。

以上のように、高確信度不正解文字が認識され得る文字画像を記入者毎に事前に特定しておき、その高確信度不正解文字が認識され得る文字画像を用いて、認識対象の文字画像に対する文字認識結果を評価することで、記入者個人の特性を考慮せずに、予め定義付けられた候補文字との類似度合いによって文字認識結果を出力する場合と比較して、文字を手書きした記入者個人の特性が反映された文字認識結果が出力される。つまり、記入者個人の特性（例えば文字の記入時の癖等）に起因する文字の誤認識が事前に評価されており、その評価を用いることで、記入者個人の特性が反映された文字認識結果が出力される。

なお、警告情報が発せられた文字画像に関して、文字の正解認識結果が表示画面５４に表示されてもよい。例えば、不正解情報ＤＢ１４に、文字画像と、高確信度不正解文字を示す情報と、当該文字画像が表す正解の文字（正解認識結果）を示す情報とが互いに対応付けられている。例えば、作業者等が当該文字画像を参照することで、当該文字画像が表す正解の文字を特定し、そのようにして特定された正解文字を示す情報が、当該文字画像に対応付けられて不正解情報ＤＢ１４に予め登録される。具体例を挙げると、文字画像「こ」と、高確信度不正解文字「つ」と、正解文字「こ」とが互いに対応付けられて不正解情報ＤＢ１４に予め登録される。例えば、検索部２８は、不正解情報ＤＢ１４において、高確信度不正解文字が認識された文字画像（例えば文字画像「こ」）に対応付けられている正解文字「こ」を検索する。警告出力部３２は、その検索結果を示す情報を端末装置１２に送信する。端末装置１２のＵＩ部３６には、その正解文字「こ」が表示される。例えば、図８に示されている表示画面５４においては、認識結果６４の隣に正解文字「こ」が表示される。こうすることで、正解文字が訂正者に提示される。

以下、図１０を参照して変形例について説明する。図１０は、変形例に係る画像処理装置１０Ａの構成を示す。上記の実施形態では、評価シートを用いて事前準備が行われるが、変形例では、評価シートの代わりに、文書画像の認識結果に対する訂正の結果が事前準備に用いられる。

画像処理装置１０Ａは、画像処理装置１０の構成に加えて、確認訂正処理部６８と不正解情報抽出部７０を含む。

確認訂正処理部６８は、認識対象の文書画像の認識結果を訂正するように構成されている。例えば、訂正者が端末装置１２を用いて認識結果の訂正指示を与えると、その訂正指示を示す情報が端末装置１２から画像処理装置１０Ａに送信される。確認訂正処理部６８は、その訂正指示に従って認識結果を訂正する。例えば、文書画像中の文字画像「こ」が文字「つ」として認識され、訂正者が文字「つ」を文字「こ」に訂正する指示を与えた場合、確認訂正処理部６８は、認識結果としての文字「つ」を文字「こ」に訂正する。

不正解情報抽出部７０は、認識対象の文書画像において、高確信度で不正解文字として認識された文字画像を抽出するように構成されている。例えば、文字画像「こ」の認識結果に対する確信度が確信度の閾値以上であるにも関わらず、その認識結果が訂正されている場合、不正解情報抽出部７０は、その文字画像「こ」を、高確信度で不正解文字として認識された文字画像として抽出する。

判定処理部１８は、高確信度で不正解文字として認識された文字画像（例えば文字画像「こ」）と、不正解情報ＤＢ１４に登録されている各文字画像とを照合する。高確信度で不正解文字として認識された文字画像が、不正解情報ＤＢ１４に登録されている文字画像と類似する場合、判定処理部１８は、高確信度で不正解文字として認識された文字画像と記入者識別情報とを互いに対応付けて判定結果記憶部２０に記憶させる。

上記以外の処理は、上述した実施形態に係る処理と同じである。変形例においても、上述した実施形態と同様に、文字を手書きした記入者個人の特性が反映された文字認識結果が出力される。

上記の画像処理装置１０及び端末装置１２のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、画像処理装置１０及び端末装置１２のそれぞれは、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、画像処理装置１０及び端末装置１２のそれぞれの各部の機能が実現される。上記プログラムは、ＣＤ又はＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、画像処理装置１０及び端末装置１２のそれぞれの各部は、例えばプロセッサ、電子回路又はＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、画像処理装置１０及び端末装置１２のそれぞれの各部は、ＤＳＰ（Digital Signal Processor）又はＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。

１０ 画像処理装置、１２ 端末装置、１４ 不正解情報ＤＢ、１６ 予備情報受付部、１８ 判定処理部、２０ 判定結果記憶部、２２ 画像受付部、２４ 認識処理部、２６ 確信度判定部、２８ 検索部、３０ 確信度変更部、３２ 警告出力部。

Claims (7)

1. 記入者に紐付き、前記記入者が手書きした第１文字を示す第１文字情報と、認識対象の第２文字を示す第２文字情報とに基づいて、前記第２文字の認識結果に対する前記記入者に応じた警告を出力する出力手段、
   を有する情報処理装置。
2. 前記第１文字情報は、前記第１文字が前記第１文字以外の別の文字として認識され得ることを示す情報である、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１文字情報は、前記記入者を識別するための情報と、前記第１文字を表す第１画像とを含み、
   前記出力手段は、前記第２文字を表す第２画像と前記第１画像との比較結果に応じて前記警告を出力する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 誤認識され得る文字群を表す画像群に、前記記入者によって予め手書きされた前記第１文字を表す前記第１画像が含まれている場合、前記第１文字情報を記憶する記憶手段と、
   を更に有し、
   前記出力手段は、前記記入者によって手書きされた前記第２文字を表す前記第２画像と、前記記憶手段に記憶されている前記記入者に紐付く前記第１文字情報に含まれる前記第１画像との比較結果に応じて、前記警告を出力する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記出力手段は、前記第２文字の認識結果の確からしさを示す確信度が予め定められた閾値以上になった場合に、前記第１文字情報と前記第２文字情報とに基づいて前記警告を出力する、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置。
6. 前記出力手段は、更に、前記第２文字の正解認識結果を出力する、
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. コンピュータを、
   記入者に紐付き、前記記入者が手書きした第１文字を示す第１文字情報と、認識対象の第２文字を示す第２文字情報とに基づいて、前記第２文字の認識結果に対する前記記入者に応じた警告を出力する出力手段、
   として機能させるプログラム。
   

Images