JP2021018520A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】帳票等の文書におけるＯＣＲ処理において、単語辞書に登録できないが重要である、１回性の高いＩＤ類（シリアル番号、会員ＩＤ、患者ＩＤ、等）の文字列をより精度よく文字認識することができる情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】画像処理装置は、文字認識処理の結果の文字列が、単語辞書の単語に合致しない場合で、予め定義されている文字種の並びのパターンに類似するパターンが存在する時は、パターンによる重み付けを行う文字認識処理に変更して、ＯＣＲ処理を行う。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来から、複写機又はスキャナで帳票及び一般文書を画像データに変換し、原稿の内容をＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）処理する方法が知られている。ＯＣＲ処理によって予測された候補文字に対して、予め定義しておいた単語リストと照らし合わせて、近しい文字列を見つける「単語マッチング」という方法がある。また個々の文字のＯＣＲ精度を上げる方法として、特許文献１では、日本語ＯＣＲして英数字がみつかった場合、その前後も含めて英語ＯＣＲする方法が検討されている。

特開２００４−０４６３１５号公報

特に前述の単語リストによれば、事前にわかっている単語、例えば帳票に登場しうる顧客名リスト、を登録しておくことによって、多少ＯＣＲの精度が低くても、正解を見つけ出す補正処理が可能になる。しかし、特に帳票類において、特定の項目をＯＣＲして抽出する処理を考えると、この方法が難しい場合がある。例えば、修理サービスの依頼帳票において、修理品のシリアル番号（例：「ＩＸＰ０８９ＯＰ：３２０８Ｑ」、「Ｅ８６ＩＬ１１０３ＩＯ」、「０ｘ３２−０３３３−３０８３Ａ６」等）が記載されており、その文字列を読み取りたいとする。シリアル番号のような多様かつ大量な、１回性の高い文字列を単語リストに登録することは難しい。しかしながら、シリアル番号の管理は重要であるため、ＯＣＲの正確性は重要である。このような性質の文字列は、他にも会員ＩＤ、患者ＩＤ等、多岐にわたるが何れも帳票中の重要な情報である。

本発明の情報処理装置は、単語辞書の単語に合致しない文字認識処理の結果の文字列に、予め定義されている文字種の並びのパターンに類似するパターンが存在する場合、前記パターンに基づいて前記文字列に対する文字認識処理を変更する制御手段を有することを特徴とする。

本発明によれば、１回性の高いＩＤ類の文字列を、より精度よく文字認識することができる。

画像処理システムのシステム構成の一例を示す図である。 画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置のＯＣＲ処理の一例を示すフローチャートである。 図３のステップＳ３０２の詳細なフローチャートである。 単語と文章の一例を示す図である。 図３のステップＳ３１０の詳細なフローチャートである。 ＯＣＲ結果と信頼度を説明するための図である。 文字列パターンの一例を示す図である。 ＯＣＲ結果と信頼度を説明するための図である。 ＯＣＲ信頼度と文字列パターンの関係を示す図である。 図３のステップＳ３１０の詳細なフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
（システム構成）
図１は、画像処理システムのシステム構成の一例を示す図である。
図１に示すように、画像処理装置１００、ＰＣ／サーバー端末１０１はイーサネット（登録商標）、無線ＬＡＮ等からなるＬＡＮ１０４に接続され、Ｉｎｔｅｒｎｅｔ１０５に接続されている。また、モバイル端末１０３は、公衆無線通信網１０２等からＩｎｔｅｒｎｅｔ１０５に接続されている。画像処理装置１００、ＰＣ／サーバー端末１０１及び、モバイル端末１０３は、ＬＡＮ１０４又は、公衆無線通信網１０２からＩｎｔｅｒｎｅｔ１０５に接続され、相互に通信可能となっている。ＰＣ／サーバー端末１０１とモバイル端末１０３に関しては、どちらか一方が画像処理システムに含まれる構成でもよい。また、画像処理装置１００がＰＣ／サーバー端末１０１及びモバイル端末１０３が何れか又は双方が実施する処理を行ってもよい。

画像処理装置１００は操作部、スキャナ部及び、プリンタ部を有する複写複合機である。本実施形態のシステムで、画像処理装置１００は、複数枚の名刺、免許証、ハガキ等原稿を読み取るスキャン端末として利用される。特に本実施形態においては、画像処理装置１００は、複数枚のレシートを読み取るスキャン端末として利用される。また、画像処理装置１００は、原稿を読み取って得られたスキャン画像から原稿ごとの原稿画像を抽出するマルチクロップ処理を実施する。更に、画像処理装置１００は、表示部、タッチパネル、ハードボタン等の操作部を有し、エラー通知、指示通知等の表示、スキャン操作、設定操作等の操作を行う。

ＰＣ／サーバー端末１０１は、画像処理装置１００で生成された画像を表示する。また、ＰＣ／サーバー端末１０１は、画像処理装置１００が生成した原稿画像の保存、ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）処理等を実施し、再利用可能なコンテンツデータを生成する。なお、画像処理装置１００が実施するマルチクロップ処理をＰＣ／サーバー端末１０１で実施してもよい。更に、画像処理装置１００、及びＰＣ／サーバー端末１０１は、クラウドやサーバー等の外部ストレージとの通信も可能で、保存した画像、メタデータを外部ストレージへ送信することができる。なお、本実施形態では、画像処理装置１００で原稿画像の保存、言語推定後のメタデータ生成を行った後、ＰＣ／サーバー端末１０１へ送信を行う処理を説明するが、ＰＣ／サーバー端末１０１で同機能を備えてもよい。

また、モバイル端末１０３は、操作部、無線通信部、ウェブブラウザを動作させるアプリ部を有するスマートフォン又はタブレット端末である。本実施形態のシステムで、モバイル端末１０３は、ＰＣ／サーバー端末１０１と同様に表示端末、操作端末及び、コンテンツデータ生成、保存端末として利用される。なお、ＰＣ／サーバー端末１０１とモバイル端末１０３は、表示及び操作、メタデータ生成、コンテンツデータ生成及び保存の機能等、どちらか一方の構成でもよい。
以上の構成要素はあくまで例示であり、すべての構成が必要というものではない。
また、モバイル端末１０３は、操作部、無線通信部、ウェブブラウザを動作させるアプリ部を有するスマートフォン又はタブレット端末である。本実施形態のシステムで、モバイル端末１０３は、ＰＣ／サーバー端末１０１と同様に表示端末、操作端末及び、コンテンツデータ生成、保存端末として利用される。なお、ＰＣ／サーバー端末１０１とモバイル端末１０３は、表示及び操作、メタデータ生成、コンテンツデータ生成及び保存の機能等、どちらか一方の構成でもよい。
以上の構成要素はあくまで例示であり、すべての構成が必要というものではない。

（画像処理装置１００のハードウェア構成）
図２は、画像処理装置１００のハードウェア構成の一例を示す図である。制御部１１０は、ＣＰＵ１１１、記憶装置１１２、ネットワークＩ／Ｆ部１１３、スキャナＩ／Ｆ部１１４、表示・操作部Ｉ／Ｆ部１１５で構成され、これらはシステムバス１１６を介して互いに通信可能に接続されている。制御部１１０は、画像処理装置１００全体の動作を制御する。
ＣＰＵ１１１は、記憶装置１１２に記憶された制御プログラムを読み出して読取制御及び送信制御等の各種制御を行う。
記憶装置１１２は、プログラム、画像、メタデータ、設定データ及び処理結果データ等を格納し保持する。記憶装置１１２は、不揮発性メモリであるＲＯＭ１１７、揮発性メモリであるＲＡＭ１１８及び、大容量記憶領域であるＨＤＤ１１９等で構成される。

ＲＯＭ１１７は、制御プログラム等を保持する。ＣＰＵ１１１がＲＯＭ１１７又はＨＤＤ１１９に記憶された制御プログラムを読み出し、実行することにより、後述する図３、図６、図８、図９、図１１のフローチャートの処理が実現される。
ＲＡＭ１１８は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。
ＨＤＤ１１９は、大容量記憶領域であるＨＤＤで、画像、メタデータ等を保存する記憶領域として用いられる。
ネットワークＩ／Ｆ部１１３は、制御部１１０又は画像処理装置１００をＬＡＮ１０４に接続するインタフェースである。ネットワークＩ／Ｆ部１１３は、ＰＣ／サーバー端末１０１及びモバイル端末１０３等のＬＡＮ１０４上の外部装置に画像を送信したり、ＬＡＮ１０４上の外部装置から各種情報を受信したりする。

スキャナＩ／Ｆ部１１４は、スキャナ部１２０と制御部１１０を接続するインタフェースである。スキャナ部１２０は、原稿台上の画像を読み取ってスキャン画像を生成し、スキャナＩ／Ｆ部１１４を介して制御部１１０に入力する。
表示・操作部Ｉ／Ｆ部１１５は、表示・操作部１２１と制御部１１０とを接続するインタフェースである。表示・操作部１２１には、タッチパネル機能を有する液晶表示部及びテンキー、スタートボタン、キャンセルボタン等のハードキーが備えられている。スタートボタンは、コピー及びスキャンの処理を開始させるためのボタンである。キャンセルボタンは画像処理装置１００が実行中の処理を一時停止、又は中止するためのボタンである。
その他、画像処理装置１００にはプリンタ部等もあるものがあるが、本実施形態では用いないため説明を省略する。
以上のように、本実施形態に係る画像処理装置１００は、図２に示したハードウェア構成によって、画像処理機能を提供することができる。

（ＯＣＲ処理の概要フローチャート）
図３は、画像処理装置１００のＯＣＲ処理の一例を示すフローチャートである。ＯＣＲ処理は画像より文字を認識する文字認識処理の一例である。また、図３のフローチャートは、画像処理装置１００の情報処理の一例を示すフローチャートでもある。
ステップＳ３００において、ＣＰＵ１１１は、ＯＣＲ処理のためにまず原稿の画像をレイアウト解析する。レイアウト解析では、一般に画像上の画素がどのようなドキュメント上の意味を有するかを推定する。例えば、ＣＰＵ１１１は、「文字」「表」「図」「写真」「罫線」等の要素に、原稿画像の座標領域を分解する。ここでは、特に「文字」という領域を判別できる方法であれば、その手法は問わない。
ステップＳ３００によりレイアウト解析結果を得られたら、ステップＳ３０１において、ＣＰＵ１１１は、その中から文字の領域を取り出し、更に文字のブロックに分割する。一般にレイアウト解析では、文字領域を分解した場合、段落のような塊で分解することが多い。そのため、後続の処理に有利なようにここでは文字が、一定の距離以内に集まっているブロックになるように、分割する。これは、例えばヒストグラム法等を用いることで実現できるが、文字のブロックが分割できる方法であれば、その手法は問わない。

ステップＳ３０１により文字ブロックが分割できたら、ステップＳ３０２において、ＣＰＵ１１１は、それらのブロックを「文」と「単語」に分別する。ステップＳ３０２の処理の詳細は図４を用いて後述する。
ステップＳ３０２により文字ブロックが文と単語に分別されたら、ステップＳ３０３において、ＣＰＵ１１１は、単語に分別された文字ブロックだけを、単語リストとマッチングする。単語リストは、予め登録されている単語の一覧である。単語リストは、単語辞書の一例である。
ステップＳ３０４において、ＣＰＵ１１１は、文字ブロックが単語リストとマッチングしたか否か、即ち、文字ブロックが単語リストに含まれる単語と合致したか否か、を判定する。ＣＰＵ１１１は、文字ブロックが単語リストとマッチングしたと判定すると、処理をステップＳ３０５へ進める。ステップＳ３０５において、ＣＰＵ１１１は、対象単語は通常の単語であり、ＯＣＲは成功したとみなしてＯＣＲ処理を終了する。一方、ＣＰＵ１１１は、文字ブロックが単語リストとマッチングしなかったと判定すると、単語リストに登録されないＩＤ類の可能性がある、として、処理をステップＳ３１０へ進める。

ステップＳ３１０において、ＣＰＵ１１１は、文字列パターン検出を行う。ステップＳ３１０の処理の詳細は図６を用いて後述する。
ステップＳ３１１において、ＣＰＵ１１１は、ステップＳ３１０の文字列パターン検出において、文字列パターンを検出できたか否かを判定する。ＣＰＵ１１１は、文字列パターンを検出できたと判定した場合、処理をステップＳ３１２へ進める。文字列パターンを検出できなかったと判定した場合、処理をステップＳ３１４へ進める。
ステップＳ３１２において、ＣＰＵ１１１は、検出した文字列パターンに沿って重み付けＯＣＲ処理を行う。ステップＳ３１２の処理の詳細は図１１を用いて後述する。

ステップＳ３１３において、ＣＰＵ１１１は、ステップＳ３１２にて文字列パターンに適合する結果が重み付けＯＣＲで検出できたか否かを判定する。ＣＰＵ１１１は、文字列パターンに適合する結果が重み付けＯＣＲで検出できたと判定した場合、ＯＣＲ処理を終了する。ＣＰＵ１１１は、文字列パターンに適合する結果が重み付けＯＣＲで検出できなかったと判定すると、処理をステップＳ３１４へ進める。
ステップＳ３１４において、ＣＰＵ１１１は、本実施形態の処理でも処理不可能な文字列パターンであると判断する。そして、ＣＰＵ１１１は、ＯＣＲ処理を終了する。

（「文と単語の分別（ステップＳ３０２）」の実行フロー）
図４を用いて、図３のステップＳ３０２の詳細なフローチャートの処理を説明する。
ステップＳ４００において、ＣＰＵ１１１は、ステップＳ３０１で分割された文字ブロックを、近接している距離に応じて、文字グループとして分割する。一般的に、横書きの原稿を対象にすると、横方向の文字間隔の連続の分布によって、複数の文字グループへ分割することができる。
例として、図５に、単語と文章の例をあげる。例えば、５０４と５０５では、それぞれのグループでは文字間がほとんどなく、連続しているが、５０１〜５０３では、それより文字間は開いている。しかし、開いていても文字間が同じで連続している状態なので、５０１〜５０３はひとまとまりの文字のグループと判断される。このようなグループ分割の方法は様々な方法が採用でき、本実施形態ではその詳細は問わない。

ステップＳ４０１において、このようにして分割した文字グループから、ＣＰＵ１１１は、その構成文字ブロックを包含する外接矩形を計算する。ステップＳ４０２において、ＣＰＵ１１１は、その外接矩形のサイズから、縦横比及び文字数の関係が閾値以上かどうかを判定する。ＣＰＵ１１１は、閾値以上である場合、処理をステップＳ４０３へ進める。ＣＰＵ１１１は、閾値以上でない場合、処理をステップＳ４０４へ進める。
ステップＳ４０３において、ＣＰＵ１１１は、該当の文字グループは「文章である」と判定する。
ステップＳ４０４において、ＣＰＵ１１１は、該当の文字グループは「単語である」と判定する。
例えば図５の５０４及び５０１〜５０３は単語と判断される例である。５０５は文章と判断される例である。

（「文字列パターン検出（ステップＳ３１０）」の実行フロー）
図６を用いて、図３のステップＳ３１０の詳細なフローチャートの処理を説明する。
ステップＳ３０４で「単語マッチング」しなかった単語は、ＣＰＵ１１１は、ＩＤ類のような単語登録のできない単語とみなし、文字列パターンを検出する。
ステップＳ６００において、ＣＰＵ１１１は、まず文字グループを通常ＯＣＲ(特別なバイアスのない一般的な文字ＯＣＲ）した結果から、各文字をＯＣＲしたときに一般的に計算される「ＯＣＲ候補文字」を取得する。
ＯＣＲ候補文字は、一例としては図７のように得られる。ＯＣＲ対象の画像文字列７００に対して、それぞれの文字に対してＯＣＲ計算結果として、候補と考えられる文字コードを、信頼度（ＯＣＲ処理が正答と考える確率）と共に出力することが一般的である。例えば、画像中の「２」という文字に対して、ＯＣＲ処理は「２」「Ｚ」「Ｓ」「ｓ」という文字が考えられ、その確率はそれぞれ「８０％」「５０％」「３０％」「１０％」である、ということである。

ステップＳ６０１において、ＣＰＵ１１１は、この情報から、可能性のある文字列パターンを生成する。
ここで、「文字列パターン」とは、どのような表現でもよいが、例えば図８のような正規表現を使ったものが考えられる。例えば具体的なＩＤ文字列８０１は、一般化した場合、正規表現としては８０２のように表現できる。同様に郵便番号文字列８０３は、一般化して正規表現としては８０４のように表現できる。
ステップＳ６０１の目的は、ある文字グループをＯＣＲした結果から、その文字グループが属するかもしれない一般化された文字列パターンを推定することである。
例えば、図７の結果を、信頼度の％数値順にマップすると、図９のようになるが、その内容を文字の種類（数字・英字）ごとに正規表現に置き換え、上位から詰めてパターン化すると図１０のようになる。これを単純化すると、最上位（最上列）のＯＣＲ候補は「〒[0-9]{3}-[0-9]{3}[A-Z]」と表現できることになる。これは、図８の８０４と比較すると、最後の「[A-Z]」だけが違っていることになる。

そこで、ステップＳ６０２において、ＣＰＵ１１１は、このような登録済みの文字列パターン（図８のような定義）と、ＯＣＲ結果からステップＳ６０１で推定したパターンを比較する。登録済みの文字列パターンは、予め定義されている文字種の並びのパターンの一例である。そして、ステップＳ６０３において、ＣＰＵ１１１は、比較の結果、差分が閾値以下であるかどうかを判定する。ＣＰＵ１１１は、差分が閾値以下であると判定すると、処理をステップＳ６０６へ進める。ＣＰＵ１１１は、差分が閾値以下でないと判定すると、処理をステップＳ６０４へ進める。差分が閾値以下であるとは、パターンが類似する一例である。ステップＳ６０３において、Ｙｅｓと判定される処理は、単語辞書の単語に合致しない文字認識処理の結果の文字列に、予め定義されている文字種の並びのパターンに類似するパターンが存在する場合の処理の一例である。
ステップＳ６０６において、ＣＰＵ１１１は、マッチするパターンが発見された、として、パターン候補に追加する。ステップＳ６０３ののち、又はステップＳ６０６ののち、ステップＳ６０４において、ＣＰＵ１１１は、パターン生成のために利用可能な候補文字はまだ残っているかを判定する。ここでやることは、図１０の上位の列からたどっていって、下位の候補文字のパターンが変化する点がまだ残っているか、を調べることである。例えば、７０％のランクまで落とすと（上から３列目）、パターンは「〒[0-9]{3}-[A-Z]{2}[0-9][A-Z]」となり、変化するため利用可能な候補は残っている、といえる。

ＣＰＵ１１１は、利用可能な候補文字は残っていると判定すると、新しい文字列パターンを生成するために、処理をステップＳ６０１へ戻す。ＣＰＵ１１１は、利用可能な候補文字は残っていないと判定すると、処理をステップＳ６０７へ進める。
ステップＳ６０７において、ＣＰＵ１１１は、パターン候補を呼び出し側に返す。

（「重み付けＯＣＲ処理（ステップＳ３１２）」の実行フロー）
図１１を用いて、図３のステップＳ３１０の詳細なフローチャートの処理を説明する。
ステップＳ１１００において、ＣＰＵ１１１は、ステップＳ３１０で検出した文字列パターンから、ひとつのパターンを選択する。ＣＰＵ１１１は、そのパターンから、各文字に対してＯＣＲの計算結果を限定する指定字種を生成する。これは例えば「[0-9]」であれば、「0123456789」という結果のみをＯＣＲ結果として出力するように、ＯＣＲ計算をバイアス化する、というものである。これを「字種限定ＯＣＲ」というが、その実現方法の詳細は問わない。例えば、ＯＣＲのための特徴量比較処理自体を制限することもできるし、ＯＣＲ結果の候補文字をフィルタリングする、という方法も取れる。ステップＳ１１０１において、ＣＰＵ１１１は、この字種限定を行って、各文字を再度ＯＣＲする。このとき、ＣＰＵ１１１は、例えば通常ＯＣＲよりも多量の特徴量を利用する等、ＯＣＲ処理自体の精度をあげる処理を行ってもよい。ステップＳ１１０１の処理は、パターンに基づいて文字列に対する文字認識処理を変更する制御処理の一例である。

ステップＳ１１０２において、ＣＰＵ１１１は、再度ＯＣＲした結果、各文字のＯＣＲ信頼度が全て閾値（例えば９０％等）以上か否かを判定する。ＣＰＵ１１１は、各文字のＯＣＲ信頼度が全て閾値以上であると判定すると、処理をステップＳ１１０６へ進める。ＣＰＵ１１１は、各文字のＯＣＲ信頼度が全て閾値以上でないと判定すると、処理をステップＳ１１０４へ進める。
ステップＳ１１０６において、ＣＰＵ１１１は、ステップＳ１１０１の結果得られたＯＣＲ結果を、該当の文字グループに対する最も確からしいＯＣＲ結果と確定する。そして、ＣＰＵ１１１は、重み付けＯＣＲ処理を終了する。

ステップＳ１１０４において、ＣＰＵ１１１は、候補となる文字列パターンはまだ残っているかを判定する。ＣＰＵ１１１は、候補となる文字列パターンがまだ残っている場合は、処理をステップＳ１１００へ戻し、新しい文字列パターンを選択し、ステップＳ１１００からの処理を繰り返す。ＣＰＵ１１１は、候補となるパターン文字列が他にない場合は、処理をステップＳ１１０７へ進める。ステップＳ１１０７において、ＣＰＵ１１１は、最終的にパターンマッチできなかったとする。そして、ＣＰＵ１１１は、重み付けＯＣＲ処理を終了する。

以上、本実施形態によれば、１回性の高いＩＤ類の文字列を、より精度よく文字認識することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。

１００ 画像処理装置
１１１ ＣＰＵ

Claims (5)

1. 単語辞書の単語に合致しない文字認識処理の結果の文字列に、予め定義されている文字種の並びのパターンに類似するパターンが存在する場合、前記パターンに基づいて前記文字列に対する文字認識処理を変更する制御手段を有することを特徴とする情報処理装置。
2. 前記文字列に、予め定義されている文字種の並びのパターンに類似するパターンが存在するか否かを判定する判定手段を更に有し、
   前記判定手段により前記文字列に、予め定義されている文字種の並びのパターンに類似するパターンが存在すると判定された場合、前記制御手段は、前記パターンに基づいて前記文字列に対する文字認識処理を変更することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記パターンに基づいて前記文字列に対する字種限定を行った文字認識処理を行うことを特徴とする請求項１又は２に記載の情報処理装置。
4. 情報処理装置が実行する情報処理方法であって、
   単語辞書の単語に合致しない文字認識処理の結果の文字列に、予め定義されている文字種の並びのパターンに類似するパターンが存在する場合、前記パターンに基づいて前記文字列に対する文字認識処理を変更する制御工程を含むことを特徴とする情報処理方法。
5. コンピュータを、請求項１乃至３の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images