JP2020046857A - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP2020046857A JP2020046857A JP2018173984A JP2018173984A JP2020046857A JP 2020046857 A JP2020046857 A JP 2020046857A JP 2018173984 A JP2018173984 A JP 2018173984A JP 2018173984 A JP2018173984 A JP 2018173984A JP 2020046857 A JP2020046857 A JP 2020046857A
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- information
- recognized
- writer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Discrimination (AREA)
Abstract
【課題】記入者個人の特性を考慮せずに、予め定義付けられた候補文字との類似度合いによって文字認識結果を出力する場合と比較して、文字を手書きした記入者個人の特性が反映された文字認識結果が出力されるようにする。【解決手段】記入者に紐付き、記入者が手書きした第1文字を示す第1文字情報と、認識対象の第2文字を示す第2文字情報とに基づいて、第2文字の認識結果に対する記入者に応じた警告が出力される。【選択図】図8
Description
本発明は、情報処理装置及びプログラムに関する。
文字認識処理が知られている。また、文字の認識結果に対する確信度が算出される場合がある。確信度は、認識対象の文字が正しいと確信される度合いであり、例えば、認識対象の文字と候補文字との類似度やその他の定義等が確信度として用いられる。一般的に、確信度が高いほど、認識結果が誤りである可能性が低くなると考えられている。
特許文献1には、文字認識対象を3種類のいずれかに分類し、その分類に応じて、文字認識結果の抽出、文字認識対象の人手入力、又は、複数人による文字認識対象の手入力のいずれかを実行する装置が記載されている。
特許文献2には、優先度の高い帳票画像の文字認識結果を修正画面に表示する装置が記載されている。
ところで、文字の認識結果に対する確信度が高い場合であっても、必ずしも当該認識結果が正しい文字を表しているとは限らない。例えば、記入者が手書きした文字を認識する場合において、当該記入者個人の特性(例えば癖字)等が、文字認識処理に用いられる辞書や文字認識処理のアルゴリズム等に反映されていない場合、高い確信度が得られるにも関わらず、誤った文字を表す認識結果が得られることが考えられる。
本発明の目的は、記入者個人の特性を考慮せずに、予め定義付けられた候補文字との類似度合いによって文字認識結果を出力する場合と比較して、文字を手書きした記入者個人の特性が反映された文字認識結果が出力されるようにすることにある。
請求項1に記載の発明は、記入者に紐付き、前記記入者が手書きした第1文字を示す第1文字情報と、認識対象の第2文字を示す第2文字情報とに基づいて、前記第2文字の認識結果に対する前記記入者に応じた警告を出力する出力手段、を有する情報処理装置である。
請求項2に記載の発明は、前記第1文字情報は、前記第1文字が前記第1文字以外の別の文字として認識され得ることを示す情報である、ことを特徴とする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記第1文字情報は、前記記入者を識別するための情報と、前記第1文字を表す第1画像とを含み、前記出力手段は、前記第2文字を表す第2画像と前記第1画像との比較結果に応じて前記警告を出力する、ことを特徴とする請求項2に記載の情報処理装置である。
請求項4に記載の発明は、誤認識され得る文字群を表す画像群に、前記記入者によって予め手書きされた前記第1文字を表す前記第1画像が含まれている場合、前記第1文字情報を記憶する記憶手段と、を更に有し、前記出力手段は、前記記入者によって手書きされた前記第2文字を表す前記第2画像と、前記記憶手段に記憶されている前記記入者に紐付く前記第1文字情報に含まれる前記第1画像との比較結果に応じて、前記警告を出力する、ことを特徴とする請求項3に記載の情報処理装置である。
請求項5に記載の発明は、前記出力手段は、前記第2文字の認識結果の確からしさを示す確信度が予め定められた閾値以上になった場合に、前記第1文字情報と前記第2文字情報とに基づいて前記警告を出力する、ことを特徴とする請求項1から請求項4のいずれか一項に記載の情報処理装置である。
請求項6に記載の発明は、前記出力手段は、更に、前記第2文字の正解認識結果を出力する、ことを特徴とする請求項1から請求項5のいずれか一項に記載の情報処理装置である。
請求項7に記載の発明は、コンピュータを、記入者に紐付き、前記記入者が手書きした第1文字を示す第1文字情報と、認識対象の第2文字を示す第2文字情報とに基づいて、前記第2文字の認識結果に対する前記記入者に応じた警告を出力する出力手段、として機能させるプログラムである。
請求項1,7に記載の発明によれば、記入者個人の特性を考慮せずに、予め定義付けられた候補文字との類似度合いによって文字認識結果を出力する場合と比較して、文字を手書きした記入者個人の特性が反映された文字認識結果が出力することができる。
請求項2,3,4に記載の発明によれば、別の文字として認識され得る情報を用いて警告を出力することができる。
請求項5に記載の発明によれば、確信度が閾値以上となる認識結果を対象として警告が出力される。
請求項6に記載の発明によれば、正解認識結果が提示される。
図1を参照して、本発明の実施形態に係る情報処理システムについて説明する。図1は、本実施形態に係る情報処理システムの一例としての画像処理システムを示す。
画像処理システムは、一例として、情報処理装置の一例としての画像処理装置10と、1又は複数の端末装置12を含む。画像処理装置10と端末装置12は、例えば、インターネット又は他のネットワーク等の通信経路Nを介して互いに通信する機能を有する。なお、サーバ等の装置が画像処理システムに含まれてもよい。
画像処理装置10は、画像データに認識処理(文字認識処理や図形認識処理)を適用することで、当該画像データから文字や記号や図形等を認識する装置である。認識処理として、例えば、OCR(Optical Character Recognition)処理やOMR(Optical Mark Recognition)処理が実行される。
認識対象となる画像データは特に限定されるものではない。例えば、画像読取装置(例えばスキャナ)によって文書に対して画像読取処理が行われ、その画像読取処理によって生成された画像データが、認識対象の画像データとして用いられてもよいし、撮像装置(例えばカメラ)によって文書が撮像されることで生成された画像データが、認識対象の画像データとして用いられてもよい。もちろん、これら以外の方法によって生成された画像データが、認識対象の画像データとして用いられてもよい。
端末装置12は、例えば、PC(パーソナルコンピュータ)、タブレットPC、スマートフォン、携帯電話等である。例えば、画像データの認識結果を示す情報が画像処理装置10から端末装置12に送られて、その認識結果が端末装置12に表示される。
以下、図2を参照して画像処理装置10について詳しく説明する。図2は、画像処理装置10の構成を示す。
不正解情報DB(データベース)14は、文字を表す画像データ(以下「文字画像データ」と称する)に対する文字認識処理によって誤認識され得る文字(以下「不正解文字」と称する)を示す情報を格納する格納領域である。不正解情報DB14においては、文字画像データ毎に、文字画像データと、当該文字画像データに対する文字認識処理によって誤認識され得る不正解文字を示す情報とが互いに対応付けられている。不正解情報DB14に格納されている文字画像データは、文字認識処理によって誤認識され得る文字を表す画像データであるといえる。例えば、事前検証によって、文字画像データと、その文字画像から誤認識される不正解文字を示す情報との組み合わせが収集され、それらの情報が不正解情報DB14に予め登録される。不正解情報DB14は、例えば、1又は複数の記憶装置(例えばハードディスクドライブやメモリ等)によって構成される。なお、不正解情報DB14は、画像処理装置10に設けられずに、サーバ等の外部装置に設けられてもよい。
不正解情報DB14に登録されている不正解文字は、文字画像データに対する文字認識の確信度が高い文字(例えば確信度が確信度の閾値以上となる文字)であってもよい。確信度は、文字認識処理によって認識された文字が正しいものであると確信される度合(認識結果の確からしさを示す度合)である。例えば、認識対象の文字画像データから抽出された文字の特徴と、その文字の認識候補の標準特徴との距離の逆数が確信度として用いられる。確信度が大きいほど、抽出された文字の特徴と認識候補の標準特徴とが近いことを意味しており、認識結果が誤りである確率が低いことになる。別の定義として、特徴間の類似度を確信度として用いてもよい。もちろん、これら以外の別の定義が用いられてもよい。確信度の閾値は、例えば予め定められた値であって、画像入力者や訂正者等によって変更されてもよい。不正解情報DB14に登録されている不正解文字は、高い確信度を有する文字であるが正しく認識されない文字であるといえる。
以下、文字画像データに対する文字認識処理によって認識された不正解文字であってその確信度が閾値以上となる不正解文字を、その文字画像データに対する「高確信度不正解文字」と称することとする。また、不正解情報DB14には、文字画像データと、当該文字画像データに対する文字認識処理によって高確信度で誤認識され得る高確信度不正解文字を示す情報とが互いに対応付けられているものとする。
なお、文字認識処理に用いられる辞書や、言語処理モデル(例えば機械学習モデル)や、文字の記入者の癖等に起因して、文字画像データから高確信度不正解文字が認識されることがある。例えば、機械学習に利用したサンプルが有する特徴と異なる特徴を有する文字に対して文字認識処理が適用された場合や、機械学習モデルが当該文字に適していない場合や、機械学習モデルのパラメータが当該文字に適していない場合等に、高確信度不正解文字が認識されることがある。
予備情報受付部16は、記入者が文字を記入した評価シートを表す画像データ(以下「評価シート画像データ」と称する)を予備情報として受け付けて、当該評価シート画像データを判定処理部18に出力するように構成されている。当該評価シート画像データには、当該記入者を識別するための記入者識別情報(例えば記入者名やID等)が予め対応付けられている。予備情報受付部16は、例えば、通信経路Nを介して外部装置から送られてきた評価シート画像データを受け付けてもよいし、画像読取装置や撮像装置から出力された評価シート画像データを受け付けてもよい。なお、画像読取装置や撮像装置は画像処理装置10に含まれてもよい。
評価シートは、記入者が記入した文字の文字認識処理への適合度を判定するための文書であって、記入者によって文字が記入される文書である。具体的には、評価シートは、記入者が記入した文字が誤認識される可能性のある文字か否かを事前に評価するために用いられる。例えば、評価シートは、不正解情報DB14に格納されている情報に基づいて作成されてもよい。この場合、評価シートには、予め選択された1又は複数の高確信度不正解文字が印刷される。記入者は、印刷されている高確信度不正解文字を倣って手書きで文字を評価シートに記入することとなる。つまり、評価シートは、記入者に高確信度不正解文字を記入させるための文書であるといえる。もちろん、評価シートは、不正解情報DB14に格納されている情報に基づかずに作成されてもよい。例えば、評価シートに、予め選択された1又は複数の文字が印刷され、記入者は、その文字を手書きで評価シートに記入することとなる。評価シートは、記入者の記入の特徴(例えば文字を書くときの癖等)を把握するために用いられる。記入者によって文字が記入された評価シートがスキャンや撮影されることで、評価シート画像データが生成され、当該評価シート画像データに当該記入者の記入者識別情報が対応付けられて予備情報受付部16に受け付けられる。
判定処理部18は、評価シート画像データから抽出された文字画像データと、不正解情報DB14に登録されている各文字画像データとを照合し、これらの文字画像データ同士のマッチング度合(類似度)を判定するように構成されている。マッチング度合(類似度)の計算として、例えば公知の技術が用いられる。例えば、文字画像データ同士の特徴点のマッチング、テンプレートを用いたマッチング、各文字画像データのヒストグラムの比較等によって、マッチング度合が計算される。もちろん、これら以外の手法によってマッチング度合が計算されてもよい。評価シート画像データから抽出された文字画像データが、不正解情報DB14に登録されている文字画像データと類似する場合(例えばマッチング度合(類似度)が類似度の閾値以上となる場合)、評価シート画像データから抽出された文字画像データに対して文字認識処理が適用されると、その文字画像データから高確信度不正解文字が認識されると推測される。なお、類似度の閾値は予め定められた値であり、画像入力者や訂正者等によって変更されてもよい。
評価シート画像データから抽出された文字画像データが、不正解情報DB14に登録されている文字画像データと類似する場合、判定処理部18は、評価シート画像データから抽出された当該文字画像データと、当該評価シート画像データに対応付けられている記入者識別情報とを互いに対応付けて判定結果記憶部20に記憶させる。
判定結果記憶部20は、上記のように判定処理部18から出力された情報を格納する格納領域である。このようにして、記入者毎に、文字認識処理によって高確信度不正解文字が認識され得る文字画像データが、判定結果記憶部20に記憶される。判定結果記憶部20は、例えば、1又は複数の記憶装置(例えばハードディスクドライブやメモリ等)によって構成される。なお、高確信度不正解文字が認識され得る文字画像データと記入者識別情報とを含む情報が、第1文字情報の一例に相当し、その文字画像データが表す文字が第1文字の一例に相当する。
画像受付部22は、認識対象の画像データを受け付けて認識処理部24に出力するように構成されている。画像受付部22は、例えば、通信経路Nを介して外部装置から送られてきた画像データを受け付けてもよいし、画像読取装置や撮像装置から出力された画像データを受け付けてもよい。例えば、画像受付部22は、認識対象の画像データとして、認識対象の文書を表す画像データ(以下、「文書画像データ」と称する)を受け付ける。当該文書には、記入者によって手書きで文字が記入されている。また、文書画像データには、当該記入者を識別するための記入者識別情報(例えば記入者名やID等)が予め対応付けられている。なお、文書画像データに表されている文字が第2文字の一例に相当し、その文字を表す画像データが第2文字情報の一例に相当する。
認識処理部24は、画像受付部22が受け付けた認識対象の文書画像データに対して文字認識処理を適用することで、当該文書画像データから文字を認識するように構成されている。また、認識処理部24は、認識された各文字についての文字認識の確信度を計算するように構成されている。認識処理部24は、認識された文字毎に確信度を計算する。以下の説明では、認識対象の文書画像データから認識された文字を「認識文字」と称することとする。認識処理部24は、文書画像データと、文書画像データに対する認識結果を示す情報(認識文字を示す情報)と、各認識結果に対する確信度(各認識文字の確信度)を示す情報とを、確信度判定部26に出力する。
確信度判定部26は、認識対象の文書画像データから認識された各認識文字の確信度に基づいて、各認識文字が高い確信度を有する文字(例えば確信度が確信度の閾値以上となる文字)に該当するか否かを判定するように構成されている。以下、高い確信度を有する文字を「高確信度文字」と称することとする。つまり、確信度判定部26は、認識対象の文書画像データから認識された認識文字群の中から高確信度文字を特定する。確信度判定部26は、認識対象の文書画像データと、高確信度文字を示す情報と、その高確信度文字が認識された文字画像データとを検索部28に出力する。
検索部28は、判定結果記憶部20において、認識対象の文書画像データから抽出され、文字認識処理によって高確信度文字が認識された文字画像データと、認識対象の文書において当該高確信度文字を記入した記入者の記入者識別情報との組み合わせを検索するように構成されている。当該文字画像データと当該記入者識別情報との組み合わせが判定結果記憶部20に記憶されている場合、当該文字画像データが表す認識文字(認識対象の文書から抽出された高確信度文字)は、当該記入者に関して、誤認識された可能性のある文字であると推測される。例えば、検索部28は、上記の文字認識処理によって高確信度文字が認識された文字画像データと、判定結果記憶部20に記憶されて、当該記入者の記入者識別情報が対応付けられている各文字画像データとを照合し、これらの文字画像データ同士のマッチング度合(類似度)を判定する。検索部28は、判定結果記憶部20において、文字認識処理によって高確信度文字が認識された文字画像データと類似する文字画像データ(例えば類似度が類似度の閾値以上となる文字画像データ)を検索する。その類似する文字画像データが判定結果記憶部20に記憶されている場合、認識対象の文書から抽出された高確信度文字は、当該記入者に関して、誤認識された可能性のある文字であると推測される。つまり、判定結果記憶部20には、記入者毎に、高確信度不正解文字が認識され得る文字画像データが記憶されているため、文字認識処理によって高確信度文字が認識された文字画像データと記入者識別情報との組み合わせが判定結果記憶部20に記憶されている場合、当該高確信度文字は、当該記入者に関して、高確信度不正解文字に該当すると推測される。検索部28は、検索結果を示す情報を確信度変更部30に出力する。
確信度変更部30は、認識結果に対する確信度(認識文字の確信度)を変更するように構成されている。例えば、文字認識処理によって高確信度文字が認識された文字画像データと記入者識別情報との組み合わせが判定結果記憶部20に記憶されている場合、つまり、当該高確信度文字が、誤認識された可能性のある文字であると判断された場合、確信度変更部30は、当該高確信度文字の確信度をより低い値に変更する。その低い値は、例えば予め定められた値である。確信度変更部30は、当該高確信度文字の確信度を、予め定められた値の分、低い値に変更してもよい。
警告出力部32は、文字認識処理によって高確信度文字が認識された文字画像データと記入者識別情報との組み合わせが判定結果記憶部20に記憶されている場合、当該文字画像データの文字認識処理の結果に対する警告を示す情報(警告情報)を出力するように構成されている。例えば、警告出力部32は、警告情報を端末装置12に送信する。
なお、確信度判定部26は、認識対象の文書画像データから認識された各認識文字が、高確信度不正解文字に該当するか否かを判定してもよい。つまり、確信度判定部26は、認識対象の文書画像データから認識された認識文字群の中から高確信度不正解文字を特定してもよい。例えば、確信度判定部26は、当該認識文字群の中から、高確信度不正解文字として不正解情報DB14に登録されている文字を検索する。認識文字が不正解情報DB14に登録されている場合、当該認識文字は、誤認識された可能性の文字に該当する。この場合、警告出力部32は、警告情報を出力してもよい。また、確信度変更部30は、その認識文字の確信度を低い値に変更してもよい。
文書画像データ、文字画像データ、文字認識処理による認識結果を示す情報(認識文字を示す情報)、確信度を示す情報等は、画像処理装置10から端末装置12に送信されて、端末装置12に表示される。また、警告情報が出力された場合、その警告情報は画像処理装置10から端末装置12に送信されて、端末装置12に表示される。
以下、図3を参照して端末装置12について詳しく説明する。図3は、端末装置12の構成を示す。
通信部34は通信インターフェースであり、情報を他の装置に送信する機能、及び、他の装置から送信されてきた情報を受信する機能を有する。通信部34は、無線通信機能を有していてもよいし、有線通信機能を有していてもよい。
UI部36はユーザインターフェースであり、表示部と操作部とを含む。表示部は、液晶ディスプレイやELディスプレイ等の表示装置である。操作部は、キーボード等の入力装置である。また、表示部と操作部とを兼ね備えたユーザインターフェース(例えばタッチパネル等)が、UI部36として用いられてもよい。また、UI部36は、音を発生させるスピーカ等の音声発生部や、音声の入力を受けるマイク等の音声入力部等を含んでもよい。
例えば、認識対象の文書画像データや、文字画像データや、認識結果を示す情報(認識文字を示す情報)、確信度を示す情報、警告情報等が、UI部36の表示部に表示される。また、訂正者は、UI部36を操作することで、認識結果の訂正指示を与えてもよい。
記憶部38は、各種の情報(データやプログラム等)を格納する1又は複数の格納領域であり、1又は複数の記憶装置(例えばハードディスクドライブやメモリ等)によって構成される。
制御部40は、端末装置12の各部の動作を制御するように構成されている。例えば、制御部40は、通信部34による通信の制御、UI部36(表示部)への各種情報の表示制御、UI部36(操作部)を介して入力された情報の受付制御、等を行う。具体的には、制御部40は、認識対象の文書画像データや、文字画像データや、認識結果を示す情報や、確信度を示す情報や、警告情報等をUI部36の表示部に表示させる。
なお、図1に示す例では、画像処理装置10と端末装置12とが別々のハードウェアとして構成されているが、画像処理装置10に端末装置12が組み込まれてもよい。つまり、画像処理装置10は、端末装置12が有する構成(例えばUI部36等)を有していてもよい。この場合、認識対象の文書画像データや認識結果を示す情報等は、画像処理装置10に設けられた表示部に表示されてもよい。また、訂正者は画像処理装置10に設けられたUI部を操作することで認識結果を訂正してもよい。
以下、具体例を挙げて画像処理装置10の動作について詳しく説明する。以下では、「画像データ」を「画像」と称し、「文書画像データ」を「文書画像」と称し、「文字画像データ」を「文字画像」と称し、「評価シート画像データ」を「評価シート画像」と称することとする。
図4を参照して、不正解情報DB14に登録されている情報の具体例について説明する。図4は、その登録情報の一例を示す。
不正解情報DB14においては、文字画像毎に、文字画像と、その文字画像から誤認識され得る高確信度不正解文字を示す情報とが互いに対応付けられている。文字画像と高確信度不正解文字との組み合わせが事前に収集され、それらが不正解情報DB14に予め登録される。例えば、事前評価として、互いに異なる母集団(例えば、成人の母集団、未成年の母集団、性別毎の母集団、年代別の母集団等)に属する複数の記入者によって文字が記入され、その文字を表す文字画像に対して文字認識処理が適用される。その文字認識処理によって高確信度で不正解文字が認識された文字画像と、当該高確信度不正解文字とが互いに対応付けられて不正解情報DB14に登録される。
図4に示す例では、文字「こ」を表現している文字画像「こ」と、その文字画像から誤認識され得る高確信度不正解文字「つ」とが互いに対応付けられている。つまり、当該文字画像「こ」に対して文字認識処理を適用した場合、高確信度で文字「つ」が認識され得る。当該文字画像は文字「こ」を表現しているため、認識された文字「つ」は不正解文字に該当する。
また、1文字を表す文字画像から1文字が誤認識されるとは限らない。例えば、文字「だ」を表現している文字画像「だ」に対して文字認識処理が適用された場合、高確信度で2つの不正解文字(文字「た」「い」)が認識され得る。つまり、文字画像「だ」中の画像「た」から文字「た」が誤認識され、文字画像「だ」中の画像「゛」(濁点を表す画像)から文字「い」が誤認識され得る。このように、1文字を表す文字画像から2文字以上の文字が誤認識される場合もあり、このような情報も不正解情報DB14に登録される。
以下、図5を参照して評価シートの具体例について説明する。図5は、評価シートの一例を示す。
評価シート42には、見本となる1又は複数の文字を含む文字群44が予め印字されている。また、評価シート42には記入欄46が形成されており、記入者は、文字群44に含まれる文字を倣って文字を手書きで記入欄46に記入することとなる。
文字群44に含まれる文字は、例えば誤認識され得る文字である。高確信度不正解文字が文字群44に含まれてもよい。例えば、文字認識結果に対する過去の訂正の履歴に基づいて、誤認識された文字(例えば訂正された文字)が文字群44に含まれてもよい。もちろん、不正解文字以外の文字が文字群44に含まれてもよい。
図5に示す例では、ひらがなで表記された文字群44が評価シート42に印字されており、記入者によって文字「こ」が手書きで記入欄46に記入されている。
記入者によって文字が記入された評価シート42が画像読取装置によって読み取られたり、撮像装置によって撮像されたりすることで、記入済みの評価シート42を表す評価シート画像が生成される。その評価シート画像は予備情報として予備情報受付部16によって受け付けられる。なお、その評価シート画像には、評価シート42に文字を記入した記入者(例えば記入者A)の記入者識別情報が対応付けられている。
判定処理部18は、評価シート画像中の記入欄46から抽出された文字画像(例えば文字画像「こ」)と、不正解情報DB14に登録されている各文字画像とを比較する。例えば、文字画像「こ」と類似する文字画像(例えば高確信度不正解文字)が不正解情報DB14に登録されている場合、判定処理部18は、文字画像「こ」と記入者Aの記入者識別情報とを互いに対応付けて判定結果記憶部20に記憶させる。記入者Aが記入した文字「こ」を表す文字画像「こ」は、例えば、高確信度で不正解文字「つ」と認識され得る画像である。
文字群44に含まれる文字は、認識対象の文書に記載されると想定される文字と関連性を有する文字であってもよい。例えば、認識対象の文書がカルテである場合、カルテに出現すると想定される文字(例えばアルファベットや数字等)が文字群44に含まれる。認識対象の文書に出現すると想定される文字群を評価シート42に形成しておき、その文字群について判定処理部18による判定処理を適用しておけば、あらゆる文字を評価シート42に形成しなくても、認識対象の文書から認識された文字が、記入者との関係で、高確信度不正解文字に該当するか否かを判断することができる。なお、漢字や記号や図形等が文字群44に含まれてもよい。
以下、図6を参照して、判定結果記憶部20に記憶されている情報の具体例について説明する。図6は、その情報の一例を示す。
判定結果記憶部20においては、記入者毎に、記入者識別情報と、高確信度不正解文字であると認識され得る1又は複数の文字画像(評価シート画像から抽出された1又は複数の文字画像)とが互いに対応付けられている。例えば、記入者Aには、文字画像1として文字画像「こ」が対応付けられている。この文字画像「こ」は、記入者Aが記入した評価シートの画像から抽出された画像であって、高確信度で不正解文字「つ」と認識され得る画像である。他の記入者についても同様に、高確信度不正解文字であると認識され得る1又は複数の文字画像が登録されている。
以下、図7を参照して、評価シートの登録時の画面について説明する。図7は、その登録画面の一例を示す。
この登録画面48は、評価シートの登録に用いられる端末装置(例えば端末装置12であってもよい)に表示される。登録画面48には、記入者認証ボタン50と評価シート登録ボタン52が表示されている。例えば、作業者(例えば記入者自身や、評価シートの登録作業を行う者等)が記入者認証ボタン50を押すと、記入者識別情報の入力画面が端末装置に表示され、その入力画面上で記入者識別情報が作業者によって入力される。作業者が評価シート登録ボタン52を押すと、登録対象の評価シート画像が予備情報受付部16によって受け付けられる。その評価シート画像には、入力された記入者識別情報が対応付けられる。例えば、予備情報受付部16が、入力された記入者識別情報をその評価シート画像に対応付けてもよい。
以下、図8を参照して、文字認識結果等の表示画面について説明する。図8は、その表示画面の一例を示す。
表示画面54は、例えば、端末装置12のUI部36に表示される。表示画面54の情報は、例えば、警告出力部32によって生成され、その情報が画像処理装置10から端末装置12に送信されて、表示画面54がUI部36に表示される。
表示画面54には、認識対象の文書画像から抽出された文字画像、その文字画像に対する文字認識処理の結果を示す情報(認識文字)、確信度を示す情報、及び、文字認識処理の結果に対する警告の有無(警告出力部32による警告情報の出力の有無)を示す情報が互いに対応付けられて表示される。ここでは、記入者Aに紐付く文書画像、つまり、記入者Aによって手書きで文字等が記入された文書画像に対する文字識別結果等が表示されているものとする。なお、その文書画像には、記入者Aによって手書きで記入された文字以外にも、手書きではない文字(例えば活字)が形成されていてもよい。
例えば、認識対象の文書画像から、文字「こ」を表す文字画像56が抽出されている。この文字「こ」は手書きで記入された文字ではなく、例えば活字である。認識結果58は、その文字画像56に対する文字認識処理の結果(認識文字)である。文字画像56からは文字「こ」が認識されており、その文字認識の確信度は0.9994である。確信度が「1」に近いほど、文字認識の確からしさが高く、誤認識の可能性が低いことを意味している。確信度が0.9994であるため、この値は高い確信度であるといえる。
また、文字画像56に対応付けられて警告マーク60が表示されている。警告マーク60は、文字画像56に対する文字認識処理の結果に対する警告の有無を示す情報、つまり、文字画像56に対する文字認識処理の結果に関して警告出力部32によって警告情報が出力されているか否かを示す情報である。ここでは、一例として、警告マークの色によって警告の有無が表現されている。例えば、警告マークの色が緑色であれば、文字認識処理の結果に対する警告は発せられておらず、警告マークの色が黄色であれば、文字認識処理の結果に対する警告が発せられている。文字画像56に対する警告マーク60の色は緑色であり、文字認識処理の結果に対して警告は発せられていない。これは、記入者Aの記入者識別情報と文字画像56との組み合わせが、判定結果記憶部20に記憶されていないことを意味する。つまり、文字画像56は、高確信度不正解文字が認識される可能性のある画像ではないと推測される。なお、警告の有無は色以外の情報によって表現されてもよい。例えば、警告を示す文字が表示されてもよいし、マークの形状によって警告の有無が表現されてもよい。また、警告の有無を表現する音声が発せられてもよい。
また、認識対象の文書画像から、文字「こ」を表す文字画像62が抽出されている。この文字「こ」は、記入者Aによって手書きで記入された文字である。認識結果64は、その文字画像62に対する文字認識処理の結果(認識文字)である。文字画像62からは文字「つ」が認識されており、その文字認識の確信度は0.9996である。確信度が0.9996であるため、この値は高い確信度であるといえる。
また、文字画像62に対応付けられて警告マーク66が表示されている。警告マーク66は、文字画像62に対する文字認識処理の結果に対する警告の有無を示す情報、つまり、文字画像62に対する文字認識処理の結果に関して警告出力部32によって警告情報が出力されているか否かを示す情報である。文字画像62に対する警告マーク66の色は黄色であり、文字認識処理の結果に対して警告が発せられている。これは、記入者Aの記入者識別情報と文字画像62との組み合わせが、判定結果記憶部20に記憶されていることを意味する。つまり、文字画像62は、高確信度不正解文字が認識される可能性のある画像であると推測され、認識結果64は、誤りである可能性がある。ここでは、文字画像62は文字「こ」を表していると評価できるのに対して、その文字画像62から高確信度で不正解文字「つ」が認識されており、誤認識が発生している。
他の文字画像についても、その認識結果、確信度及び警告マークが表示される。
以下、図9を参照して、画像処理装置10の動作について具体例を挙げて説明する。図9は、画像処理装置10の動作に関するフローチャートを示す。以下では、記入者Aに紐付く文書画像に対して文字認識処理を適用するものとする。
まず、事前準備が行われる。記入者Aは、図5に示されている評価シート42中の記入欄46に、手書きで文字を記入する(ステップS01)。これにより、記入済みの評価シート42が作成される。
次に、記入済みの評価シート42が画像読取装置によって読み取られることで、その記入済みの評価シート42を表す評価シート画像が生成される(ステップS02)。
予備情報受付部16は、その評価シート画像と記入者Aの記入者識別情報とを受け付ける(ステップS03)。その評価シート画像には記入者Aの記入者識別情報が対応付けられる。
次に、判定処理部18は、評価シート画像中の記入欄46から抽出された文字画像と、不正解情報DB14に登録されている各文字画像とを比較する(ステップS04)。
当該文字画像が不正解情報DB14に登録されている場合(ステップS05,Yes)、判定処理部18は、当該文字画像と記入者Aの記入者識別情報とを互いに対応付けて判定結果記憶部20に記憶させる(ステップS06)。
当該文字画像が不正解情報DB14に登録されていない場合(ステップS05,No)、判定処理部18は、当該文字画像を判定結果記憶部20に記憶させない。
判定処理部18は、評価シート42の記入欄46に記入されているすべての文字を対象としてステップS04の比較処理を行う。
例えば、記入欄46から抽出された文字画像62(文字画像「こ」)が不正解情報DB14に登録されている場合、判定処理部18は、図6に示すように、当該文字画像「こ」と記入者Aの記入者識別情報とを互いに対応付けて判定結果記憶部20に記憶させる。また、文字画像56(文字画像「こ」)が不正解情報DB14に登録されていない場合、当該文字画像56は判定結果記憶部20に記憶されない。
ここまでの処理(ステップS01からステップS06までの処理)が事前準備に該当する。以下の処理では、認識対象の文書に対する文字認識処理が実行される。
まず、画像受付部22は、認識対象の文書画像を受け付ける(ステップS07)。例えば、記入者Aが手書きで文字等を記入した文書が画像読取装置によって読み取られることで、その文書を表す文書画像が生成される。画像受付部22は、その文書画像を受け付ける。その文書画像には、記入者Aの記入者識別情報が対応付けられている。
次に、認識処理部24は、当該文書画像に対して文字認識処理を適用することで、当該文書画像から文字を認識し、更に、各認識文字(各認識結果)に対する確信度を計算する(ステップS08)。
次に、確信度判定部26は、各認識文字が高確信度文字に該当するか否かを判定する(ステップS09)。認識文字の確信度が確信度の閾値以上である場合、当該認識文字は高確信度文字であると判定される。ここでは、図8に示されている文字画像56,62が高確信度文字に該当すると判定されたものとする。
次に、検索部28は、判定結果記憶部20において、認識対象の文書画像から抽出され、文字認識処理によって高確信度文字が認識された文字画像と、記入者Aの記入者識別情報との組み合わせを検索する(ステップS10)。検索部28は、各文字画像について検索を行う。
次に、警告出力部32は、高確信度文字が認識された文字画像と記入者Aの記入者識別情報との組み合わせが判定結果記憶部20に記憶されている場合、当該文字画像の認識結果に対する警告情報を出力する(ステップS11)。警告出力部32は、高確信度文字が認識された文字画像と記入者Aの記入者識別情報との組み合わせが判定結果記憶部20に記憶されていない場合、当該文字画像の認識結果に対する警告情報を出力しない。
例えば、文字画像62(文字画像「こ」)に類似する文字画像と記入者Aの記入者識別情報との組み合わせが判定結果記憶部20に記憶されている。この場合、文字画像62の認識結果に対する警告情報が出力される。一方、文字画像56(文字画像「こ」)に類似する文字画像と記入者Aの記入者識別情報との組み合わせは判定結果記憶部20に記憶されていない。この場合、文字画像56の認識結果に対する警告情報は出力されない。
次に、図8に示されている表示画面54(認識対象の文書画像から抽出された各文字画像、各文字画像に対する文字認識処理の結果を示す情報(各認識文字)、確信度を示す情報、及び、文字認識処理の結果に対する警告の有無を示す情報が表示される画面)の情報が警告出力部32によって生成され、その表示画面54の情報が画像処理装置10から端末装置12に送信される。そして、表示画面54が、端末装置12のUI部36に表示される(ステップS12)。
文字画像56の認識結果に対して警告情報は出力されていないため、文字画像56に紐付く警告マーク60は緑色で表示されている。つまり、文字画像56の認識結果58は、誤りである可能性が低いと推測される。
一方、文字画像62の認識結果に対して警告情報が出力されているため、文字画像62に紐付く警告マーク66は黄色で表示されている。つまり、文字画像62の認識結果64は、誤りである可能性が高いと推測される。
以上のように、高確信度不正解文字が認識され得る文字画像を記入者毎に事前に特定しておき、その高確信度不正解文字が認識され得る文字画像を用いて、認識対象の文字画像に対する文字認識結果を評価することで、記入者個人の特性を考慮せずに、予め定義付けられた候補文字との類似度合いによって文字認識結果を出力する場合と比較して、文字を手書きした記入者個人の特性が反映された文字認識結果が出力される。つまり、記入者個人の特性(例えば文字の記入時の癖等)に起因する文字の誤認識が事前に評価されており、その評価を用いることで、記入者個人の特性が反映された文字認識結果が出力される。
なお、警告情報が発せられた文字画像に関して、文字の正解認識結果が表示画面54に表示されてもよい。例えば、不正解情報DB14に、文字画像と、高確信度不正解文字を示す情報と、当該文字画像が表す正解の文字(正解認識結果)を示す情報とが互いに対応付けられている。例えば、作業者等が当該文字画像を参照することで、当該文字画像が表す正解の文字を特定し、そのようにして特定された正解文字を示す情報が、当該文字画像に対応付けられて不正解情報DB14に予め登録される。具体例を挙げると、文字画像「こ」と、高確信度不正解文字「つ」と、正解文字「こ」とが互いに対応付けられて不正解情報DB14に予め登録される。例えば、検索部28は、不正解情報DB14において、高確信度不正解文字が認識された文字画像(例えば文字画像「こ」)に対応付けられている正解文字「こ」を検索する。警告出力部32は、その検索結果を示す情報を端末装置12に送信する。端末装置12のUI部36には、その正解文字「こ」が表示される。例えば、図8に示されている表示画面54においては、認識結果64の隣に正解文字「こ」が表示される。こうすることで、正解文字が訂正者に提示される。
以下、図10を参照して変形例について説明する。図10は、変形例に係る画像処理装置10Aの構成を示す。上記の実施形態では、評価シートを用いて事前準備が行われるが、変形例では、評価シートの代わりに、文書画像の認識結果に対する訂正の結果が事前準備に用いられる。
画像処理装置10Aは、画像処理装置10の構成に加えて、確認訂正処理部68と不正解情報抽出部70を含む。
確認訂正処理部68は、認識対象の文書画像の認識結果を訂正するように構成されている。例えば、訂正者が端末装置12を用いて認識結果の訂正指示を与えると、その訂正指示を示す情報が端末装置12から画像処理装置10Aに送信される。確認訂正処理部68は、その訂正指示に従って認識結果を訂正する。例えば、文書画像中の文字画像「こ」が文字「つ」として認識され、訂正者が文字「つ」を文字「こ」に訂正する指示を与えた場合、確認訂正処理部68は、認識結果としての文字「つ」を文字「こ」に訂正する。
不正解情報抽出部70は、認識対象の文書画像において、高確信度で不正解文字として認識された文字画像を抽出するように構成されている。例えば、文字画像「こ」の認識結果に対する確信度が確信度の閾値以上であるにも関わらず、その認識結果が訂正されている場合、不正解情報抽出部70は、その文字画像「こ」を、高確信度で不正解文字として認識された文字画像として抽出する。
判定処理部18は、高確信度で不正解文字として認識された文字画像(例えば文字画像「こ」)と、不正解情報DB14に登録されている各文字画像とを照合する。高確信度で不正解文字として認識された文字画像が、不正解情報DB14に登録されている文字画像と類似する場合、判定処理部18は、高確信度で不正解文字として認識された文字画像と記入者識別情報とを互いに対応付けて判定結果記憶部20に記憶させる。
上記以外の処理は、上述した実施形態に係る処理と同じである。変形例においても、上述した実施形態と同様に、文字を手書きした記入者個人の特性が反映された文字認識結果が出力される。
上記の画像処理装置10及び端末装置12のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、画像処理装置10及び端末装置12のそれぞれは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、画像処理装置10及び端末装置12のそれぞれの各部の機能が実現される。上記プログラムは、CD又はDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、画像処理装置10及び端末装置12のそれぞれの各部は、例えばプロセッサ、電子回路又はASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、画像処理装置10及び端末装置12のそれぞれの各部は、DSP(Digital Signal Processor)又はFPGA(Field Programmable Gate Array)等によって実現されてもよい。
10 画像処理装置、12 端末装置、14 不正解情報DB、16 予備情報受付部、18 判定処理部、20 判定結果記憶部、22 画像受付部、24 認識処理部、26 確信度判定部、28 検索部、30 確信度変更部、32 警告出力部。
Claims (7)
- 記入者に紐付き、前記記入者が手書きした第1文字を示す第1文字情報と、認識対象の第2文字を示す第2文字情報とに基づいて、前記第2文字の認識結果に対する前記記入者に応じた警告を出力する出力手段、
を有する情報処理装置。 - 前記第1文字情報は、前記第1文字が前記第1文字以外の別の文字として認識され得ることを示す情報である、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記第1文字情報は、前記記入者を識別するための情報と、前記第1文字を表す第1画像とを含み、
前記出力手段は、前記第2文字を表す第2画像と前記第1画像との比較結果に応じて前記警告を出力する、
ことを特徴とする請求項2に記載の情報処理装置。 - 誤認識され得る文字群を表す画像群に、前記記入者によって予め手書きされた前記第1文字を表す前記第1画像が含まれている場合、前記第1文字情報を記憶する記憶手段と、
を更に有し、
前記出力手段は、前記記入者によって手書きされた前記第2文字を表す前記第2画像と、前記記憶手段に記憶されている前記記入者に紐付く前記第1文字情報に含まれる前記第1画像との比較結果に応じて、前記警告を出力する、
ことを特徴とする請求項3に記載の情報処理装置。 - 前記出力手段は、前記第2文字の認識結果の確からしさを示す確信度が予め定められた閾値以上になった場合に、前記第1文字情報と前記第2文字情報とに基づいて前記警告を出力する、
ことを特徴とする請求項1から請求項4のいずれか一項に記載の情報処理装置。 - 前記出力手段は、更に、前記第2文字の正解認識結果を出力する、
ことを特徴とする請求項1から請求項5のいずれか一項に記載の情報処理装置。 - コンピュータを、
記入者に紐付き、前記記入者が手書きした第1文字を示す第1文字情報と、認識対象の第2文字を示す第2文字情報とに基づいて、前記第2文字の認識結果に対する前記記入者に応じた警告を出力する出力手段、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018173984A JP2020046857A (ja) | 2018-09-18 | 2018-09-18 | 情報処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018173984A JP2020046857A (ja) | 2018-09-18 | 2018-09-18 | 情報処理装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020046857A true JP2020046857A (ja) | 2020-03-26 |
Family
ID=69901436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018173984A Pending JP2020046857A (ja) | 2018-09-18 | 2018-09-18 | 情報処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020046857A (ja) |
-
2018
- 2018-09-18 JP JP2018173984A patent/JP2020046857A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11087125B2 (en) | Document authenticity determination | |
JP7206729B2 (ja) | 情報処理装置及びプログラム | |
JP4995554B2 (ja) | 光学式文字認識補正のための知識ベースを利用した個人情報の検索方法 | |
RU2613734C1 (ru) | Захват видео в сценарии ввода данных | |
TWI321294B (en) | Method and device for determining at least one recognition candidate for a handwritten pattern | |
CN111753767A (zh) | 一种作业自动批改的方法、装置、电子设备和存储介质 | |
US11113493B2 (en) | Biometric authentication system | |
US7136526B2 (en) | Character string recognition apparatus, character string recognizing method, and storage medium therefor | |
JP2010044485A (ja) | 文字認識装置、文字認識プログラム、および文字認識方法 | |
CN106570367B (zh) | 基于键盘操作的用户身份识别方法和装置 | |
CN113094478B (zh) | 表情回复方法、装置、设备及存储介质 | |
JP6146209B2 (ja) | 情報処理装置、文字認識方法、及びプログラム | |
US11756321B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP2020046857A (ja) | 情報処理装置及びプログラム | |
US11699296B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP7247496B2 (ja) | 情報処理装置及びプログラム | |
CN112560728B (zh) | 目标对象识别方法及装置 | |
US9443139B1 (en) | Methods and apparatus for identifying labels and/or information associated with a label and/or using identified information | |
JP5223739B2 (ja) | 携帯式文字認識装置、文字認識プログラム及び文字認識方法 | |
JP7342655B2 (ja) | 情報処理装置、制御方法及びプログラム | |
EP4125026A1 (en) | Product identification assistance techniques in an electronic marketplace application | |
CN117437650A (zh) | 基于深度学习的手写体签名比对方法、系统、装置及介质 | |
CN118116024A (zh) | 信息匹配方法、装置、电子设备及存储介质 | |
JP2977244B2 (ja) | 文字認識方法及び文字認識装置 | |
JP2024114810A (ja) | くずし字認識システム、くずし字認識方法、及びプログラム |