JP2019128690A

JP2019128690A - 手書文字認識システム

Info

Publication number: JP2019128690A
Application number: JP2018008538A
Authority: JP
Inventors: 雄太松本; Yuta Matsumoto; 知太寺田; Tomota Terada
Original assignee: Nomura Research Institute Ltd
Current assignee: Nomura Research Institute Ltd
Priority date: 2018-01-23
Filing date: 2018-01-23
Publication date: 2019-08-01
Anticipated expiration: 2038-01-23
Also published as: JP6474504B1

Abstract

【課題】従来の手書文字認識技術による文字認識の精度向上を、複数の手書文字認識方法を複合的に用いて実現する。【解決手段】手書文字認識対象の画像から行単位で切り出して行画像とし、各行画像を複数の文字認識方法によって文字認識し、複数の文字認識結果を多数決により文字認識結果を決定する手書文字認識システム。【選択図】図１

Description

本発明は、手書き文字認識処理に関し、特に、手書き文字認識処理のうち、手書き文字の画像データを前処理する技術に関する。

従来から文字認識技術として、活字の文書の画像を文字コード列に変換する情報処理技術としてＯＣＲ（Ｏｐｔｉｃａｌｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎ）が広く用いられてきた。これに加え、下記特許文献１では、手書きで記入された文書をスキャンして得た文書画像を文字認識し、文字認識結果を全角又は半角判断して出力する技術が開示されていた。

特開２００４−１５１８３６号公報

従来から、OCR技術に加え、様々な手書文字認識技術が用いられているものの、認証対象の画像によってその精度はまちまちであり、安定した精度を得ることが難しく、より一層の精度の向上が望まれている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、様々の手書文字認識技術を複合的に用いて認識精度が改善した手書き文字認識システムを提供することにある。

本発明に係る手書文字認識システムは、対象書面の画像データの画像を画像内にある複数行の手書文字列を行単位に切り出して行画像とする行認識部と、当該行画像を所定の文字認識方法により文字認識する第１の文字認識部と、当該第１の文字認識部の文字認識方法と異なる文字認識方法にて文字認識を行う複数の第２の文字認識部と、前記第１の文字認識部による文字認識結果と当該複数の第２の文字認識部による複数の文字認識結果とから多数決により文字認識結果を得る多数決部とからなり、前記第２の文字認識部は相互に異なる文字認識方法を用いる。

本発明によれば、手書文字認識の精度向上を実現することができる。

本発明に係る手書文字認識システムのシステム構成図である。本発明に係る手書文字認識システムで処理する書面例である。本発明に係る手書文字認識装置による第１の行認識方法を説明する図である。従来の行認識方法による課題を説明する図である。本発明に係る手書文字認識装置による第２の行認識方法を説明する図である。本発明に係る手書文字認識装置による第２の行認識方法を説明する図である。本発明に係る手書文字認識装置による第３の行認識方法を説明する図である。本発明に係る手書文字認識装置が保持する認識結果のデータ構成である。本発明に係る手書文字認識システムの動作フローチャートである。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

図１は、本実施形態に係る手書文字認識システム１の構成を示す模式図である。手書文字認識システム１は、手書き文字が記載された伝票を画像として読み込むスキャナー１１と、このスキャナー１１により読み込まれた画像データを受信して画像データを保存し、必要に応じて、所定の装置に保存している画像データを送信するスキャナー管理装置１０と、このスキャナー管理装置１０から画像データを受信し、各処理を実行して伝票に記載された手書き文字を文字認識して所定の装置に文字認識結果を送信する手書文字認識装置２０と、この手書文字認識装置２０からの要請に応じて所定の処理が完了した画像データを前記手書文字認識装置２０と異なる手書文字認識方法による手書文字認識方法により文字認識して認識結果を手書文字認識装置２０に送り返すリモートエンジン装置３１・・・３Ｎと、手書文字認識装置２０から受領した文字認識結果を認識対象の画像データと共にユーザに対して表示する確認承認者装置４１及び確認担当者装置４２とからなる。それぞれの装置は、ネットワーク５０に接続されており、所定の権限によって相互にデータ通信可能となっている。ここで、本実施形態では図１のシステムハードウェア構成としたが、各種様々なハードウェア構成を取ることができ、例えば、スキャナー管理装置１０及び手書文字認識装置２０を同一のコンピュータにて構成することもできる。ここで、スキャナーが読み込む書面の一例として伝票を挙げたが、申請書等の書面であっても良い。また、手書文字認識装置２０とハードウェアとして別個のリモートエンジン装置３１・・・３ＮＮがそれぞれ異なる手書文字認識方法を用いることとしたが、手書文字認識装置２０に複数の異なる手書文字認識方法を実装しても良いが、最近の潮流として、システム会社１社で複数の方法を実現するにはコスト低減及び品質向上を追求することも難しく、自社以外のサービス提供会社のリモートエンジン装置３１・・・３Ｎを用いることで、自社の手書文字認識方法とは異なる別視点の手書文字認識方法による認識結果を得て複合的に用いることで全体として認識結果の向上を期待できる。このようなリモートエンジン装置３１・・・３Ｎはそれぞれ異なる会社により開発運営されていることもあり、入力データのフォーマットとして異なる仕様となっている場合もあるため、必要に応じて、手書文字認識装置２０が仕様に合致した画像データにして送信する。例えば、行画像の画像データではなく、複数行のままの画像データを仕様とするサービス提供会社もあり、逆に、文字単位の画像データを仕様とするサービス提供会社もある。

ネットワーク５０は、有線ネットワークまたは無線ネットワークもしくはそれらの組み合わせを含み、インターネット、イントラネット、ＬＡＮ、ＷＡＮ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線電話網などを含んでもよい。

スキャナー１１は画像情報を取り込むイメージスキャナであり、例えば、画像取得対象の書面に対して光を投射してその反射光を撮像素子で検出して電気信号に変換してデジタルデータである画像データにする装置である。スキャナー１１はＵＳＢケーブルなどの接続ケーブルでスキャナー管理装置１０と接続されており、スキャナー管理装置１０を接続ケーブルを介して画像データを取得する。本実施形態では、スキャナー管理装置１０とスキャナー１１との構成を例示したが、他の構成としては、スキャナー管理装置１０とスキャナー１１の機能を統合的に有する複合機（プリンタ複合機又はデジタル複合機）にてシステム構成してもよく、現時点で普及している複合機では、原稿自動送り装置（ＡＤＦ：ＡｕｔｏＣｏｃｕｍｅｎｔＦｅｅｄｅｒ）の機能を有し、複数の書面を連続して送って連続してスキャンすることを実現している。さらに、複合機を用いた発展的な構成としては、複合機に手書文字認識装置２０の機能を実装するものである。そうすることで、確認担当者がＡＤＦを用いて無数の伝票を読み取り、複合機による手書文字認識結果と取得し、複合機からのリクエストでリモートエンジン装置３１・・・３Ｎで処理された文字認識結果も取得し、多数決により文字認識結果を決定し、確認担当者が確認担当者装置４２から複合機にアクセスして決定された文字認識結果を確認する構成となる。

スキャナー管理装置１０は取得した画像データをこの画像データを識別する画像識別情報を加えて手書文字認識装置２０に送信する。スキャナー管理装置１０は画像データの画像の一部をトリミングする機能を有しており、手書文字認識装置２０が手書認識する対象範囲が予め決められている場合には予め定められている範囲にトリミングした上で手書文字認識装置２０に送信する。図２に示す対象画像の伝票のような書面では、伝票上の各位置で記載する項目が枠で予め指定されており、トリミングする場合にはその枠線を基準に実行する。伝票上の記載項目は、氏名、住所等といった記載項目データ属性を有しており、伝票の記載位置から各トリミングした画像がどの記載項目データ属性を有しているかを判別可能であり、この記載項目データ属性も手書文字認識装置２０に送信することができる。これらトリミング処理、記載項目データ属性の判別処理は、手書文字認識装置２０で実行しても良い。

手書文字認識装置２０は受信した画像データの画像（トリミング処理している場合にはトリミング後の画像）に対して、初期処理（傾き補正、拡大縮小、ノイズ除去、明暗補正、不要箇所除去等）を行って行認識し、行認識された文字又は文字列を文字認識し、認識結果と信頼度を出力する。初期処理の傾き補正、拡大縮小、ノイズ除去、明暗補正、不要箇所除去等については各種慣用技術が存在し、それらを適用して処理することができる。傾き補正はトリミングで切り取られた図上において文字の記載方向と切り取りの長手方向とが一致するように処理することもできるし、単に、書面の記載枠に沿って水平方向に一致するように処理してもよい。拡大縮小は手書文字認識の標準の文字大きさに揃えるために実施する。ノイズ除去はスキャンの読み取り書面上に物理的に存在するノイズ、又は、スキャン時に発生する各種ノイズを取り除くための処理である。明暗補正は手書文字認識に最適化された汎用的な明暗補正技術を用いる。不要箇所除去は手書文字認識の対象外のオブジェクトを除去する処理で、書面フォームにある雛形文字（例えば、氏名における「様」）を除去する。

行認識は複数の方法があるためここで説示する。第１の行認識方法は、初期処理を実施した対象画像（図３（ａ）参照）を左上から左下へかけて１ピクセル行毎に黒ドットをカウントしてヒストグラムを生成し、黒ドットのカウントのない区間を抽出し、その区間の中間点を行の切り出しポイントとし（図３（ｂ）参照）、切り出しポイントを通過する横直線で対象画像を切り出す（図３（ｃ）参照）。図３（ｂ）のヒストグラムでは横軸が度数（黒ドットのカウント数）、縦軸が階級（行画像における縦位置）を示す。ヒストグラムでは通常縦軸が度数、横軸が階級をとるものが一般的であるものの、説明の便宜上、逆にして説示した。

第１の行認識方法はシンプルで高速に処理することができるものの、横直線で切り出すことで対象行に記載している文字の一部がその上の行又はその下の行にはみ出して記載されている場合にそのはみ出している文字の一部が対象行に含まれずに切り出されてしまい、正しく文字認識できなくなるという課題がある（図４（ａ）参照）。この課題に対しては、第２の行認識方法で解決することができる。第２の行認識方法は、第１の行認識方法と同様に、ヒストグラムを生成し、その後、ヒストグラムのグラフの谷を行切り出しポイントの基準として切り出しを行う（図５（ｂ）参照）。より具体的には、縦方向の全区間の度数のうち、所定閾値の度数以下である１以上の縦方向の部分区間を特定し、その各部分区間を切り出し候補とする。各部分区間のいずれの位置を切り出しポイントにするかはいくつかの方法があり、各部分区間の中間位置でもよいし、各部分区間内で最小値の度数を有する各部分区間の位置であってもよい。図５（ｃ）の切り出しポイントの始点側を開始点とし、横方向（文字の記載方向）の終点側を目標点とする。言い換えれば、切り出しポイントを通過する横直線と画像領域の交点である二点のうち、一方を開始点とし、他方を目標点とする。そして、各文字を構成する線を障害物と捉えて開始点から終了点までのグラフ探索問題（つまり、グラフ上の開始点から終了点までの道を見つける）として既存のグラフ探索問題のアルゴリズムを適用して解法し、開始点から終了点までの道を切り出し線とする。この切り出し線を用いて画像領域を切り取り、切り取った上方向から順にそれぞれ行画像とする。既存のアルゴリズムの一例としては、Ａ＊（Ａ−ｓｔａｒ）探索アルゴリズムを例えば適用することができる。各行画像には画像識別情報に加え、行識別情報が付与される。

第２の行認識方法のバリエーションとしては、図６（ｂ）の通り、画像データの画像を横方向に均等に二分割し、それぞれの分割領域に対してヒストグラムを求め、図５（ｂ）と同様に、それぞれの分割領域について所定閾値の度数以下である１以上の縦方向の部分区間を特定し、一方の分割領域の各部分区間を開始点の候補とし、他方の分割領域の各部分区間を終了点の候補とし、縦方向から上から順に開始点と終了点の組み合わせとして、それぞれの組み合わせについてグラフ探索問題のアルゴリズムを適用して切り出し線を導出しても良く（図６（ｃ）参照）。対象行に属する文字が上の行又は下の行に大きくはみ出して記載されている場合、例えば、図６（ａ）に示す通り、二行目の「Ｆ」が三行目の文字列側に大きくはみ出している場合に、適切に行認識することができる。

また、第１の行認識方法の第２の課題としては、対象行の各文字と上の行又は下の行の各文字が接触している場合にその接触している文字の一部が対象行に含まれずに切り出されてしまい、正しく文字認識できなくなるという課題もある。この第２の課題は、前記第２の行認識方法でも解決できない場合もある。図４（ｂ）では１行目の「代」の一部と二行目の「７」が接触しており、これら二文字の間に空隙が存在しないためにＡ＊探索アルゴリズムでは１行目と２行目の切り出し線が迂回して形成され、この切り出し線に切り出された１行目の文字列には不要な文字が含まれ、二行目の文字列には必要な文字が含まれていない。これに対し、第３の行認識方法ではこの課題を解決でき、第３の行認識方法は、黒ドットの塊を１個とカウントするラベリングを用いて矩形抽出し（図７（ａ）参照）、抽出した矩形領域大きさ又は矩形高さが標準の矩形領域大きさ又は矩形高さと比べて大きい場合には分割処理対象として矩形領域を抽出し（図７（ｂ）参照）、抽出した矩形領域の中心又は重心の位置を通る横手方向の直線上のドットを白ドットに変更し（図７（ｃ）参照）、以降は、第２の行認識方法と同様に、ヒストグラムを形成し、切り出しポイントのグラフ探索を行って切り出し処理を行う（図７（ｄ）参照）。

手書文字認識装置２０は自己の手書文字認識機能を用いて各行画像を文字認識する。手書文字認識機能は、慣用技術のオフライン手書文字認識方法（オフライン手書文字認識方法）から構成され、まず、文字抽出され、各種技法（例えば、ニューラルネットワークを用いるもの、文字属性の特徴情報を用いるものなどがある）の文字認識がなされる。手書文字認識装置２０はローカルにある自己のエンジンを用いて手書文字認識を行っているため迅速に文字認識処理することができる。また、いずれの手書文字認識技法を用いた場合でも文字認識結果である文字コード列の他、信頼度も同様に出力することができる。
各リモートエンジン装置３１・・・３Ｎは、手書文字認識装置２０から受信した画像識別情報及び行識別情報が付与された各行画像をそれぞれのオフライン手書文字認識方法を用いて手書き文字認識を行う。各リモードエンジン装置はそれぞれ異なるオフライン手書文字認識方法を用いているため、行画像によっては異なる認識結果を得ることもある。各リモートエンジン装置３１・・・３Ｎは文字認識結果（文字コード列、信頼度）を文字認識装置２０に送信する。

手書文字認識装置２０は複数あるリモートエンジン装置３１、・・・、３Ｎ（Ｎ：自然数）から対象の画像に対応するリモートエンジン装置３Ｎを選択し、選択したリモートエンジン装置に対象画像を送信することもできる（選択する場合でも、多数決処理するために複数のリモートエンジン装置３Ｎを選択することが望ましい）。手書文字認識装置２０は、各対象画像の記載項目データ属性を保持しているため、その記載項目データ属性からリモートエンジン装置３Ｎを選択することもできる。手書文字認識装置２０がリモートエンジン装置を用いて手書文字認識するかどうかは、自己の手書文字認識による認識結果の信頼度が所定以下の場合に、リモートエンジン装置３１、・・・、３Ｎに手書文字認識のリクエストを送信しても良い。

手書文字認識装置２０は、自己で処理した文字認識結果、各リモートエンジン装置３１・・・３Ｎで処理された文字認識結果を図８のデータ形式で保持している。これら複数の文字認識結果を多数決して一の文字認識結果とする。多数決は、認識結果である文字コード列単位に、複数の文字認識結果を集計し、最も多くのエンジンで認識された文字コード列を採用する。図８の例で言えば、００１の処理エンジンと００２の処理エンジンは同じ文字コード列αであるため文字コード列αのカウンタ数が２で、００３の処理エンジンは文字コード列βのカウンタ数が１で、多数決により文字コードαの認識結果が採用されることになる。信頼度は採用された文字コードを認識結果とする信頼度のいずれかを使用してもよいし、平均計算して平均値を使用してもよいし、採用された文字コードを認識したエンジン数を認識処理した全エンジン数で除算したものであってもよい。前記のような文字コード列単位の集計を行う多数決方法以外に、文字コード列単位に信頼度を集計し、最も大きい信頼度を有する文字コード列の認識結果を採用する構成であっても良い。このような多数決方法の前提としては、処理エンジンで使用する信頼度を正規化する必要がある。
手書文字認識装置２０は追加で多数決した文字認識結果の文字列に対して言語モデルによる補正処理を施すこともできる。ここで、言語モデルとしては、例えば、Ｎ−ｇｒａｍモデル、人工知能モデル（ディープラーニングモデル）がある。汎用的なＮ−ｇｒａｍモデル、人工知能モデルを用いてもよいし、記載項目データ属性に合致したＮ−ｇｒａｍモデル、人工知能モデルを構成して用いてもよい。特に、人工知能モデルでは、実際の入力データを学習データとして準備し、学習モデルを形成することで、氏名の学習モデル、住所の学習モデルを用意することができる。

確認担当者装置４２では認識結果を確認することができ、対象書面を選択すると、対象書面の画像（又はその一部）と共に、認識結果を表示し、確認担当者が内容確認して認識結果が正しい場合にはそのフラグを設定する。認識結果が正しくない場合には誤っている認識結果を確認担当者が確認担当者装置４２で修正する。手書文字認識装置２０は複数エンジンで認識した認識結果、多数決した認識結果、補正処理した認識結果それぞれを全て保存し、デフォルトで表示する認識結果は設定可能で、確認担当者の求めに応じて、他の認識結果も参照可能とすることもできる。また、手書文字認識装置２０がリクエストを送ったリモートエンジン装置３Ｎ以外のリモートエンジン装置を確認担当者から受け付けて、再度、手書文字認識を行う処理を行っても良い。

確認承認者装置４１では確認担当者が行った確認をレビューすることができ、対象書面を選択すると、対象書面の画像（又はその一部）、認識結果及び確認担当者の確認結果が表示し、確認承認者が内容確認して認識結果が正しい場合にはそのフラグを設定する。認識結果が正しくない場合には誤っている認識結果を確認承認者が確認承認者装置４１で修正する。

次に、本実施形態の動作について、図９を用いて説明する。

スキャナー管理装置１０はスキャナー１１でスキャンした画像データを取得し（ステップ１０５）、手書文字認識処理すべき領域をトリミングし（ステップ１１０）、トリミングした画像データに画像情報識別情報及び記載項目データ属性を付与して手書文字認識装置２０に送信する。

手書文字認識装置２０はスキャナー管理装置１０から受信したトリミング画像に対して、各種初期処理（傾き補正等）を実行し（ステップ１１５）、いずれかの行認識方法にて行認識処理を実行し、各行画像を取得する（ステップ１２０）。

手書文字認識装置２０は自装置内で各行画像の手書文字認識を実行すると共に（ステップ１２５）、リモートエンジン装置３１・・・３Ｎに各行画像を送信して自装置外での手書文字認識を依頼する。

手書文字認識装置２０の依頼を受けたリモートエンジン装置３１・・・３Ｎは対象となる行画像を手書文字認識し（ステップ１３０）、認識結果を手書文字認識装置２０に送信する。

手書文字認識装置２０は自装置内で実行した手書文字認識の認識結果を得ると共に、リモートエンジン装置３１・・・３Ｎの認識結果を受信する。

手書文字認識装置２０は得られた複数の認識結果を多数決し、決定した認識結果を保存する（ステップ１３５）。手書文字認識装置２０は多数決した認識結果に対して補正処理を行って保存する（ステップ１４０）。

確認担当者装置４２では確認担当者の操作を受けて、手書文字認識装置２０から処理済みの認識結果を参照し、必要に応じて認識結果を修正する（不図示）。修正された場合には修正内容が手書文字認識装置２０に保存される。

確認承認者装置４１では確認承認者の操作を受けて、手書文字認識装置から処理済みの認識結果又は修正内容を参照し、必要に応じて認識結果又は修正内容を修正する（不図示）。

上述の実施の形態において、保存は、ハードディスクや半導体メモリにより行う。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

以上、実施の形態に係る手書文字認識システム１の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

本発明は、手書き文字の画像データを前処理する技術に好適に利用可能である。

手書文字認識システム１
スキャナー管理装置１０
スキャナー１１
手書文字認識装置２０
リモートエンジン装置３１
リモートエンジン装置３Ｎ
確認承認者装置４１
確認担当者装置４２

Claims

対象書面の画像データの画像を画像内にある複数行の手書文字列を行単位に切り出して行画像とする行認識部と、当該行画像を所定の文字認識方法により文字認識する第１の文字認識部と、当該第１の文字認識部の文字認識方法と異なる文字認識方法にて文字認識を行う複数の第２の文字認識部と、前記第１の文字認識部による文字認識結果と当該複数の第２の文字認識部による複数の文字認識結果とから多数決により文字認識結果を得る多数決部とからなり、前記第２の文字認識部は相互に異なる文字認識方法を用いる手書文字認識システム。
前記認識結果は、行画像を文字認識した文字列と当該文字認識の信頼度からなり、
前記多数決部による多数決は、複数の認識結果のうち同じ文字列となった認識結果の集計数のうち最も多い認識結果を多数決による文字認識結果とする
前記請求項１に記載の手書文字認識システム。
前記認識結果は、行画像を文字認識した文字列と当該文字認識の信頼度からなり、
前記多数決部による多数決は、複数の認識結果のうち同じ文字列となった認識結果の信頼度の合計値のうち、最も高い合計値となった認識結果を多数決による文字認識結果とする
前記請求項１に記載の手書文字認識システム。
前記行認識部は、前記画像データの画像をヒストグラムにして当該ヒストグラムを用いて１以上の切り出しポイントを特定し、特定した切り出しポイントから前記所定箇所の画像を切り出して行画像とする
前記請求項１ないし３のいずれかに記載の手書文字認識システム。
前記行認識部は、前記行画像内の文字を構成する線を障害物とし、前記ヒストグラムの度数が所定閾値以下の所定区間のいずれかの位置を切り出しポイントとし、この切り出しポイントを基準として設定される開始点から目標点までのグラフ探索問題を解答し、当該解答を切り出し線として用いて切り出す
前記請求項４に記載の手書文字認識システム。
前記行認識部は、前記行画像内の文字を構成する連続する線を塊として矩形抽出し、抽出した矩形領域の大きさ又は高さが所定値以上の場合に、当該塊である連続した線を断線処理した後に、前記グラフ探索問題を解答する
前記請求項５に記載の手書文字認識システム。