JP2019185138A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】光学的文字認識の結果の精度を評価できるようにする。【解決手段】画像処理装置が、文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する信頼度算出部と、その信頼度に応じた表示態様で前記特定項目の文字列を表した文字認識処理結果画像を出力する画像出力部と、を備える。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

光学的文字認識で読み取った内容の評価に関して幾つかの技術が提案されている。
例えば、特許文献１には、広告審査の支援のために、広告コンテンツに対して光学文字認識ソフト等を用いてテキスト変換し、テキスト情報における特徴語同士を比較することによって類似度を判定することが記載されている。
また、特許文献２には、レセプトのイメージデータに対して光学的文字認識を適用した際に、同一または外見的に類似する文字データが所定数以上連続して所定方向に並ぶ場合に、連続した文字データの一群を線として判断することが記載されている。

特開２０１７−１７３８８１号公報 特開２００６−０７９１９０号公報

光学的文字認識で読み取った内容の評価だけでなく、光学的文字認識の結果の精度の評価も重要である。例えば、光学的文字認識の結果のチェック者が、読み取り結果の信頼度を知ることができれば、信頼度の低い場合には特に念入りにチェックを行う、あるいは２人のチェック者でダブルチェックを行うといった対策を講じることができる。

本発明は、上述の課題を解決することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的としている。

本発明の第１の態様によれば、画像処理装置は、文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する信頼度算出部と、その信頼度に応じた表示態様で前記特定項目の文字列を表した文字認識処理結果画像を出力する画像出力部と、を備える。

本発明の第２の態様によれば、画像処理方法は、文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する工程と、その信頼度に応じた表示態様で前記特定項目の文字列を表した文字認識処理結果画像を出力する工程と、を含む。

本発明の第３の態様によれば、プログラムは、コンピュータに、文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する工程と、その信頼度に応じた表示態様で前記特定項目の文字列を表した文字認識処理結果画像を出力する工程と、を実行させるためのプログラムである。

この発明によれば、光学的文字認識の結果の精度を評価することができる。

実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。 実施形態に係る画像処理装置のハードウェア構成例を示す図である。 第一実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。 文書帳票の一例を示す図である。 第一実施形態に係るデータベースが記憶する記録テーブルの概要を示す図である。 第一実施形態に係る画像処理装置の処理フローを示す第一の図である。 第一実施形態に係る画像処理装置の処理フローを示す第二の図である。 第一実施形態に係る表示部が表示する確認画面の表示例を示す図である。 第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。 第二実施形態に係る画像処理装置の処理フローを示す第一の図である。 第二実施形態に係る画像処理装置の処理フローを示す第二の図である。 実施形態に係る画像処理装置の構成の例を示す図である。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。
図１に示す構成で、画像処理システム１００は画像処理装置１、画像読取装置２、記録装置３およびデータベース４により構成される。
画像処理装置１は画像読取装置２と通信ケーブルにより接続されている。画像読取装置２は光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する。画像処理装置１は文書帳票の画像データをＯＣＲ処理し文字認識する。画像処理装置１は文字認識結果を記録装置３に出力し、記録装置３がその文字認識結果をデータベースに記録する。なお、画像処理装置１が対象とする文書は、特定の種類のものに限定されない。ＯＣＲ処理可能ないろいろな文書を、画像処理装置１の処理対象とすることができる。
データベース４は画像処理装置１と記録装置３とに接続されている。データベース４は記録装置３から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち記録対象となる文字列を示す記録文字列の対応関係を記憶している。記録文字列が示す文字列は文書帳票に記述される文字列のうちデータベース４に記録、保存しておくべき重要な文字列である。画像処理システム１００を利用する作業者は予め、記録装置３を用いて過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうちの記録文字列をデータベース４に登録しておく。
作業者を、画像処理装置１のユーザ、または単にユーザとも称する。

そしてデータベース４には文書帳票の画像データとその画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報との対応関係が、多くの文書帳票について十分に記録されているものとする。このような状態において、画像処理装置１は処理を行う。

図２は画像処理装置のハードウェア構成例を示す図である。
図２に示す構成で、画像処理装置１は、画像処理装置本体１０と、表示装置１７と、入力デバイス１８とを備える。
画像処理装置本体１０は、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は画像読取装置２、記録装置３、データベース４との間で無線通信を行うものであっても、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。
表示装置１７は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode）パネル等の表示画面を備える。
入力デバイス１８は、例えばキーボードおよびマウス、あるいは、表示装置１７の表示画面に設けられてタッチパネルを構成するタッチセンサ、あるいはこれらの組み合わせなど、ユーザ操作を受ける装置である。

＜第一実施形態＞
図３は、第一実施形態に係る画像処理装置１の機能構成を示す概略ブロック図である。
通信部１１０は、図２の通信モジュールを用いて構成され、他の装置と通信を行う。特に、通信部１１０は、画像読取装置２、記録装置３、データベース４と通信を行う。
表示部１２０は、図２の表示装置１７を用いて構成され、各種画像を表示する。
特に、表示部１２０は画像出力部の例に該当し、信頼度算出部１９６が算出した信頼度に応じた表示態様で特定項目の文字列を表した文字認識処理結果画像を出力する。このように、画像処理装置１は、信頼度の計算によって光学的文字認識の結果の精度を評価することができる。そして、画像処理装置１は、信頼度を表示することで光学的文字認識の結果の精度の評価を作業者に提示することができる。作業者は、信頼度の表示を参照して注意すべき部分を把握することができ、必要に応じて対策を講じることができる。
但し、出力部が文字認識処理結果画像を出力する方法は、画像を表示する方法に限定されない。例えば、通信部１１０が出力部として機能し、文字認識処理結果画像の画像データを他の装置に送信して表示させるようにしてもよい。

操作入力部１３０は、図２の入力デバイスを用いて構成され、ユーザ操作を受け付ける。
記憶部１８０は、図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６を用いて構成され、各種データを記憶する。
制御部１９０は、図２のＣＰＵ１１が、記憶部１８０（図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６）からプログラムを読み出して実行することで構成される。制御部１９０は、画像処理装置１の各部を制御して各種処理を実行する。
取得部１９１は、文書帳票の画像データを取得する。

特徴量抽出部１９２は、複数の文書帳票の画像データの認識処理結果に基づいて、文書帳票の画像データに含まれる記録文字列の特徴を示す第一特徴量を文書帳票の画像データ毎に抽出する。特徴量の抽出を特徴量の生成とも称する。
特に、特徴量抽出部１９２は、文字認識処理された文書画像に含まれる記録文字列を特定し、特定した記録文字列の文書画像中における第一特徴量を抽出する。具体的には、特徴量抽出部１９２は記録文字列特定部の例に該当し、処理対象の文書画像の文字認識の結果得られた文字列のうち、記録文字列として指定された文字列を特定する。記録文字列の候補を複数特定した場合、特徴量抽出部１９２は、表示部１２０に確認画面を出力させ、確認画面においてユーザが特定した位置における記録文字列の特徴量を抽出する。特に、特徴量抽出部１９２は、文字列を特定する表示を行った文書画像上でのユーザ操作にて特定された文字列を記録文字列として特徴量の抽出を行う。
ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。

記録部１９３は、新たな文書帳票の画像データにおける文字列の特徴量を用いて、新たな文書帳票の画像データから読み取った文字列の情報のうちの記録文字列を抽出して記録する。特に、記録部１９３は記録文字列抽出部の例に該当し、特徴量抽出部１９２が抽出した記録文字列の特徴量を用いて、新たな文書画像の文字認識結果から記録文字列を抽出する。
信頼度算出部１９６は、画像処理装置１の処理結果の信頼度を算出する。特に、信頼度算出部１９６は、画像処理システム１００の実運用の際、画像処理装置１が新たな文書帳票の画像から記録文字列を抽出すると、得られた記録文字列の書式的な信頼度を算出する。具体的には、信頼度算出部１９６は、文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する。ここでいう特定項目の文字列は、記録文字列であってもよいし、記録文字列以外の所定の文字列であってもよい。例えば、特定項目の文字列が、記録文字列以外の文字列、かつ、予め位置を指定された文字列であってもよい。

信頼度算出部１９６が信頼度算出に用いる特徴量として、いろいろな特徴量を用いることができる。
例えば、信頼度算出部１９６が、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の文書画像の書式についての特徴量に基づいて、信頼度を算出するようにしてもよい。例えば、信頼度算出部１９６が、特定項目の文字列に含まれる文字の属性、または、その文字列の範囲の座標など、特定項目の文字列の書式的な特性に関する特徴量に基づいて、画像処理装置１の処理結果の信頼度を算出するようにしてもよい。

ここでいう書式には、文字の属性と、文字列の範囲の座標とが含まれる。
ここでいう文字の属性（文字属性）は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。以下、文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。
あるいは、信頼度算出部１９６が、文字認識そのものの信頼度と、特定項目の文字列の書式的な特性に関する特徴量との両方に基づいて、画像処理装置１の処理結果の信頼度を算出するようにしてもよい。

信頼度算出部１９６が、特定項目の文字列の書式的な特性に関する特徴量に基づいて画像処理装置１の処理結果の信頼度を算出する場合、処理対象の文書画像に限らず、文書の書式（Format）の解析等で処理済みの文書画像の特徴量を用いるようにしてもよい。
例えば、信頼度算出部１９６が、処理済みの文書画像について予め記録された特徴量のばらつき度合いに基づいて信頼度を算出するようにしてもよい。特徴量のばらつき度合いが大きい場合、画像処理装置に与えられる文書の書式が一定していない、あるいは、画像処理装置１が解析した書式の特徴が実際の書式を十分に反映していないといった原因が考えられる。この場合、処理対象の文書画像についても、画像処理装置１が想定している書式と異なる書式である可能性が比較的高い。この点で、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が低いと考えられる。

一方、特徴量のばらつき度合いが小さい場合、画像処理装置に与えられる文書の書式が一定しており、かつ、画像処理装置１が解析した書式の特徴が実際の書式を十分に反映していると考えられる。この場合、処理対象の文書画像の処理機が、画像処理装置１が想定している書式と同じであり、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が高いと考えられる。すなわち、画像処理装置１が、処理対象の画像を適切に処理していると期待される。

あるいは、信頼度算出部１９６が、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いに基づいて信頼度を算出するようにしてもよい。ここでいう偏差の度合いは、平均値、中央値または最頻値などの標準値との差の大きさである。偏差の度合いが大きいとは、標準値との差が大きいことである。偏差の度合いが小さいとは、標準値との差が小さいことである。
偏差の度合いが大きい場合、処理対象の文書画像の書式が、画像処理装置１が想定している書式と異なる、あるいは、想定している書式は合っていても画像処理装置１が解析した書式の特徴が、処理対象の文書画像については適切でないといった原因が考えられる。この場合、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が比較的低いと考えられる。

一方、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いが小さい場合、処理対象の文書画像の書式が、画像処理装置１が想定している書式と同じであり、かつ、画像処理装置１が解析した書式の特徴が、処理対象の文書画像について適切であると考えられる。この場合、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が比較的高いと考えられる。すなわち、画像処理装置１が、処理対象の画像を適切に処理していると期待される。

このような処理により画像処理装置１は新たな文書帳票の画像データに含まれる記録するべき文字列情報の記録の労力を軽減する。

図４は文書帳票の一例を示す図である。
この図が示すように文書帳票には、その文書を作成した企業のマーク、作成日、作成担当者、文書内容が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が１つまたは複数示される。作業者はある１つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の文字列（記録文字列）を、記録装置３を用いてデータベース４へ記録する。具体的には作業者は文書帳票を見ながら記録装置３がデータベース４に記録すべき記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置２に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置２が読み取り画像処理装置１へ出力する。そして記録装置３は作業者の操作と画像処理装置１の制御とに基づいて、１つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けてデータベース４に記録する。図４の例においては、日付５１、発注先５２、商品名５３、数量５４、金額５５が記録文字列である。文書帳票５には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などである。

図５はデータベースが記憶する記録テーブルの概要を示す図である。
図５で示すようにデータベース４は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けて記録テーブルに記憶する。

図６は第一実施形態に係る画像処理装置の処理フローを示す第一の図である。図６は、画像処理装置１が第一特徴量を抽出する処理手順の例を示す。
次に画像処理装置１の処理フローについて順を追って説明する。
まずデータベース４にはある文書帳票についての画像データと、その文書帳票に記述されている記録文字列との組み合わせが、同じ書式（Format）の文書帳票複数枚分記録されている。例えば図４で示す文書帳票５の書式の記録文字列情報（記録文字列を示す情報）が複数枚分記録されているとする。
これら画像データと記録文字列情報との組み合わせとして、例えば過去の業務で扱われた文書帳票の画像データおよび記録文字列情報を用いることができる。過去の業務から画像データおよび記録文字列情報を必要量確保できる場合、画像処理装置に第一特徴量を取得させるために画像データおよび記録文字列情報を別途用意する必要はない。
このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。

画像処理装置１の取得部１９１は、通信部１１０を制御してデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ６０１）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列と、当該文字列の範囲を示す画像データ内の座標とを検出する（ステップＳ６０２）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。

特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ６０３）。

ここでいう文字の属性（文字属性）は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。以下、文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。

また、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。

なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列に記録文字列を特定するようにしてもよい。ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。

次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する（ステップＳ６０４）。
具体的には、特徴量抽出部１９２は、記録文字列毎に、複数の文書帳票におけるその記録文字列の文字列属性を解析して、１つの記録文字列に１つの特徴量を抽出する。
特徴量抽出部１９２が、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する方法は、特定の方法に限定されない。例えば、特徴量抽出部１９２が、複数の文書帳票から得られた複数の文字列属性について、先頭の文字の座標、末尾の文字の座標、文字の種類、文字の高さ、フォントの種類などの項目毎に最頻値（Mode）を求めるようにしてもよい。また、特徴量抽出部１９２が、先頭の文字の座標、末尾の文字の座標、文字の高さ、文字間の距離など数値で示される属性について項目毎に平均値（Average）または中央値（Median）を求めるようにしてもよい。また、特徴量抽出部１９２が、数値で表される項目について、その最大値および最小値を特徴量とするなど、範囲を有する特徴量、あるいは、複数の数値で表される特徴量を用いるようにしてもよい。また、特徴量抽出部１９２が、文字の種類、フォントの種類など数値以外の属性を数値化して特徴量を求めるようにしてもよい。また、特徴量抽出部１９２が、公知の機械学習アルゴリズムを用いて特徴量を抽出するようにしてもよい。
特徴量抽出部１９２が、文書帳票の１つの書式かつ１つの記録文字列について複数の数値を取得した場合、これら複数の数値をベクトル化して１つのベクトルの特徴量を抽出するようにしてもよい。

特徴量抽出部１９２が抽出した、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を第一特徴量と称する。特徴量抽出部１９２は、同じ書式の複数枚の文書帳票を用いて、その書式における記録文字列それぞれの第一特徴量を抽出する。第一特徴量は記録文字列を抽出するための特徴量である。第一特徴量に、文字の属性を示す情報、文字列の範囲を示す座標の何れか、またはこれらの組み合わせが含まれていてもよい。
特徴量抽出部１９２は、記録文字列毎に得られた第一特徴量を、文書帳票の書式の識別子に紐づけてデータベース４に記録する（ステップＳ６０５）。

例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票５の書式識別子に紐づけてデータベース４に記録する。
ステップＳ６０５の後、画像処理装置１は、図６の処理を終了する。

以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために利用する情報（第一特徴量）を抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図７を参照して、その処理について説明する。

図７は第一実施形態に係る画像処理装置の処理フローを示す第二の図である。図７は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ７０１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ７０２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ７０３）。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、特徴量抽出部１９２はデータベース４から記録文字列毎の第一特徴量を読み出す（ステップＳ７０４）。特徴量抽出部１９２は記録部１９３へ第三特徴量と第一特徴量とを出力する。

記録部１９３は画像データ中の文字列毎の第三特徴量と、記録文字列毎の第一特徴量とを取得する。記録部１９３は、各第一特徴量に対して第三特徴量が一意に対応付けられるかを判定する（ステップＳ７０５）。例えば、第一特徴量が文字列の範囲を示す座標を含んで構成されており、記録部１９３は、各第一特徴量に含まれる文字列の範囲を示す座標を用いて、各第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する。
各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合（ステップＳ７０５：ＹＥＳ）には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。

ステップＳ７０５でＹＥＳの場合、記録部１９３は、第一特徴量に含まれる文字属性と、その第一特徴量に対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する（ステップＳ７０６）。

記録部１９３は、ステップＳ７０６の判定結果がＹＥＳとなり文字属性が一致する場合（ステップＳ７０６：ＹＥＳ）、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１９３はその確認画面をモニタに出力する（ステップＳ７０７）。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。すなわち、作業者は全ての記録文字列が選択されているか（確認画面において矩形枠で囲まれているか）確認することができる。
確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。

なお確認画面をモニタに出力する理由を、図４を用いて説明する。図４では、記録文字列のうち商品名５３が６つ記入されている。過去の文書帳票においても６つの商品名５３の記入が最大だった場合、新たな文書帳票に対して、商品名５３は１〜６個の範囲内で自動的に記録文字列と判定される。したがって、例えば新たな帳票では商品名５３が７つ記載されていた場合、１〜６個目までの部分については、ステップＳ７０５、Ｓ７０６いずれもＹＥＳとなるため、画像処理装置１は７個目の文字列を記録せずに終了してしまう。このような事象が改善されるように、画像処理装置１は、ステップＳ７０７で記録文字列を記録する前に、確認画面を表示して、作業者に対して、記録して終了してよいかの確認を行う。

表示部１２０は、確認画面において記録文字列をその信頼度に応じた態様で表示する。
図８は、表示部１２０が表示する確認画面の表示例を示す図である。図８の例で、表示部１２０は、文書帳票の画像における文字列Ｃ１〜Ｃ４のＯＣＲ処理結果として得られた４つの記録文字列を領域Ａ１〜Ａ４に示している。表示部１２０はこれらの記録文字列をその信頼度に応じた態様で表示している。
図８の例では、画像処理装置１によるＯＣＲ結果の信頼度が記録文字毎に３段階で示されている。領域Ａ１およびＡ２に示す記録文字列が信頼度「高」なっており、領域Ａ３に示す記録文字列が信頼度「中」となっており、領域Ａ４に示す記録文字列が信頼度「低」となっている。表示部１２０は、これらの信頼度に応じた態様で領域Ａ１〜Ａ４の矩形を表示することで、記録文字列の信頼度を表示している。

表示部１２０が信頼度を表示するために、信頼度算出部１９６が記録文字列毎に信頼度を算出する。上述したように、信頼度算出部１９６が、信頼度の算出に用いる特徴量として、いろいろな特徴量を用いることができる。また、信頼度算出部１９６が、記録文字列毎の信頼度に加えて、あるいは代えて、文書全体の信頼度を算出するようにしてもよい。

記録部１９３は作業者のボタンのアイコン画像の押下に応じて、全ての記録文字列が選択されているかを判定する（ステップＳ７０８）。記録部１９３は全ての記録文字列が選択されている場合（ステップＳ７０８：ＹＥＳ）には、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ７０９）。

例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致したとする。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。
ステップＳ７０９の後、画像処理装置１は、図７の処理を終了する。

上述のステップＳ７０５でＮＯの場合、またはステップＳ７０６でＮＯの場合、またはステップＳ７０８でＮＯの場合、記録部１９３は、第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１９３は、画像データ中の対応する座標の第三特徴量が存在しなかった第一特徴量の座標の範囲に入力欄を設けた帳票画像（文書帳票の画像）の入力用画像データを生成してモニタに出力する（ステップＳ７１０）。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。ステップＳ７０７での確認画面の表示の場合と同様、表示部１２０が、特定できた記録文字列をその信頼度に応じた表示態様で帳票画像上に表示するようにしてもよい。

作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１９３は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を抽出する（ステップＳ７１１）。
記録部１９３は帳票画像データの識別子と記録文字列とを対応付けてデータベース４に記録する（ステップＳ７１２）。具体的には、記録部１９３は、ステップＳ７１１で入力欄に入力された文字列については、入力された文字列を記録文字列とし、それ以外の記録文字については、第一特徴量と第三特徴量との比較で特定された文字列を記録文字列とする。そして、記録部１９３は、記録文字列と帳票画像データの識別子とを対応付けてデータベース４に記録する。
ステップＳ７１２の後、画像処理装置１は、図７の処理を終了する。

画像処理装置１が、図７の処理で第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ７１１の後、図６の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ７１１の後に追加学習を行うことで、図６で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。さらに、画像処理装置１が、ステップＳ７０８でＹＥＳの場合も、図６の処理フローの再実施または追加学習にて第一特徴量を更新するようにしてもよい。
画像処理装置１が、図７の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図７の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。

図７に示す処理によれば、画像処理装置１は予め作業者が記録しておいた文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。

＜第二実施形態＞
第二実施形態では、画像処理装置１が、文書帳票の複数の書式に対応する場合について説明する。
図９は第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。
図９に示すように第二実施形態に係る画像処理装置１は、図３で示した各機能部に加え、さらにグループ分類部１９４、グループ特定部１９５の機能を有する。

図１０は第二実施形態に係る画像処理装置の処理フローを示す第一の図である。
次に第二実施形態に係る画像処理装置１の処理フローについて順を追って説明する。
データベース４には書式が異なる複数の文書帳票についての画像データと、各文書帳票に記述されている記録文字列の組み合わせが、その文書帳票毎に多数記録されている。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。

画像処理装置１の取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだかを判定する（ステップＳ９０１）。ＮＯの場合、取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ９０２）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列とその画像データ内の座標とを検出する（ステップＳ９０３）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。

特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０４）。

第一実施形態で説明したように、文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。

第一実施形態の場合と同様、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。

なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列に記録文字列を特定するようにしてもよい。第一実施形態で説明したように、ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。

次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ記録文字列毎の特徴量を抽出する（ステップＳ９０５）。具体的には、特徴量抽出部１９２は、ステップＳ９０４で記録文字列に対応付けた文字列の文字列属性を特徴量化する。第二実施形態では複数種類の書式を対象とするため、文書帳票を書式毎にグループ分けしていないステップＳ９０５の時点では、図７のステップＳ６０４の場合と異なり直接第一特徴量を抽出することはできない。そこで、特徴量抽出部１９２は、グループ毎の第一特徴量を抽出する準備として、文書帳票毎かつ記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ記録文字列毎の特徴量を個別第一特徴量と称する。
特徴量抽出部１９２は、得られた個別第一特徴量を、文書帳票の識別子および記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０６）。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。

例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す個別第一特徴量を、文書帳票毎かつ記録文字列毎に、文書帳票５の識別子および記録文字列の識別子に紐づけてデータベース４に記録する。

特徴量抽出部１９２はまた、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列の文字列属性とを抽出する（ステップＳ９０７）。上述したように、非記録文字列は、作業者によって記録されない文字列、すなわち、記録文字列以外の文字列である。文字列属性には、その文字列に含まれる文字の属性を示す情報、その文字列の範囲の座標を示す情報の何れか一方あるは両方が含まれていてもよい。

特徴量抽出部１９２は、文書帳票毎かつ非記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ非記録文字列毎の特徴量を抽出する（ステップＳ９０８）。
具体的には、特徴量抽出部１９２は、ステップＳ９０４で何れの記録文字列にも対応付けられなかった文字列の各々について、その文字列の属性（文字列属性）を特徴量化する。第一特徴量の場合と同様、文書帳票を書式毎にグループ分けしていないステップＳ９０８の時点では、同じ書式の文書帳票に共通の特徴量を生成することはできない。そこで、特徴量抽出部１９２は、グループ毎の第二特徴量を抽出する準備として、文書帳票毎かつ非記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。
特徴量抽出部１９２が、文書帳票毎、かつ、複数の非記録文字列を纏めた個別第二特徴量を生成するようにしてもよい。例えば、特徴量抽出部１９２が、１つの文書帳票につき１つの個別第二特徴量を生成するようにしてもよい。

特徴量抽出部１９２は、得られた個別第二特徴量を、文書帳票の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０９）。非記録文字列の識別子として、例えばその非記録文字列の位置を示す座標値を用いることができる。
例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像、文書帳票のタイトル５０３、挨拶文５０４などを示す個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する。

データベース４には、文書帳票の複数の書式それぞれについて、その書式の文書帳票の画像データとその画像データに対応する記録文字列の情報が記録されている。画像処理装置１の取得部１９１は全ての文書帳票についての画像データと記録文字列の情報を読み込むまでステップＳ９０１〜ステップＳ９０９の処理を繰り返す。

ステップＳ９０１で、取得部１９１がデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだと判定した場合（ステップＳ９０１：ＹＥＳ）、グループ分類部１９４が文書帳票をグループ分けする（ステップＳ９２１）。グループ分類部１９４は、文書帳票の画像データに含まれる個別第二特徴量に基づいて、文書帳票をグループ分けする。例えばグループ分類部１９４は、各文書帳票を、個別第二特徴量が示す非記録文字列の一致度や、エンブレム画像の一致度、非記録文字列の座標範囲の一致度などに基づいてグループ分けする。グループ分類部１９４はこのグループ分けの処理において文書帳票のグループ識別子を決定する。グループ分類部１９４は全ての文書帳票についてグループ分けが終了したかを判定する（ステップＳ９２２）。

グループ分類部１９４は全ての文書帳票のグループ分けが完了していない場合にはステップＳ９２１の処理を繰り返す。具体的には、ステップＳ９２２で、グループ分けを終了していない文書帳票があるとグループ分類部１９４が判定した場合（ステップＳ９２２：ＮＯ）、処理がステップＳ９２１へ戻る。
グループ分類部１９４は、全ての文書帳票のグループ分けが完了した場合（ステップＳ９２２：ＹＥＳ）、文書帳票の識別子とその文書帳票に付与されたグループ識別子とを対応付けてデータベース４のグループテーブル（記録テーブル）に記録する（ステップＳ９２３）。

そして特徴量抽出部１９２は、あるグループに属する１つまたは複数の文書帳票の各個別第一特徴量および各個別第二特徴量をデータベース４から読み取り、グループに属する文書帳票の各個別第一特徴量および各個別第二特徴量に対応する各グループ第一特徴量、各グループ第二特徴量を抽出する（ステップＳ９２４）。各グループ第一特徴量はグループに属する文書帳票の各個別第一特徴量の平均等の値であってもよい。同様に各グループ第二特徴量はグループに属する文書帳票の各個別第二特徴量の平均等の値であってもよい。各グループ第一特徴量、各グループ第二特徴量は、各個別第一特徴量の平均、各個別第二特徴量の平均でなくとも、所定の統計処理や機械学習等の手法を用いて、グループに属する１つ又は複数の文書帳票の記録文字列や非記録文字列を特定できるよう算出された特徴量であれば、どのような手法を用いて、各グループ第一特徴量、各グループ第二特徴量を抽出してもよい。

例えば、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票から記録文字列毎に文字列属性を抽出して（直接的に）グループ第一特徴量を生成するようにしてもよい。この場合、特徴量抽出部１９２が、ステップＳ９０５およびステップＳ９０６での個別第一特徴量の抽出および記録をパスする（特に何も処理を行わない）。
一方、個別第二特徴量については、ステップＳ９２１でのグループ分けで使用できるように、特徴量抽出部１９２がステップＳ９０８で抽出しておく。但し、ステップ９２１で、グループ分類部１９４が、個別第二特徴量を用いず非記録文字列を用いて文書帳票のグループ分けを行うようにしてもよい。この場合、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票の非記録文字列の文字列属性から（直接的に）グループ第二特徴量を抽出するようにしてもよい。この場合、特徴量抽出部１９２は、ステップＳ９０７〜ステップＳ９０９では特に何も処理を行わない。
特徴量抽出部１９２は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ９２５）。
ステップＳ９２５の後、画像処理装置１は、図１０の処理を終了する。

以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために必要な情報（グループ第一特徴量およびグループ第二特徴量）を文書帳票のグループ毎に抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図１１を参照して、その処理について説明する。

図１１は第二実施形態に係る画像処理装置の処理フローを示す第二の図である。図１１は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ１００１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ１００２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ１００３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。

次にグループ特定部１９５が、データベース４が記憶しているグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像５０２に対応する特徴量であってよい。グループ特定部１９５はあるグループ第二特徴量に示す情報が、ステップＳ１００１で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部１９５は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。グループ特定部１９５はデータベース４から読み取ったグループ第二特徴量に一致する情報が新たに読み込んだ文書帳票の画像データから特定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ１００４）。その後、グループ特定部１９５はデータベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ１００５）。グループ特定部１９５は記録部１９３へ第三特徴量と１つまたは複数のグループ第一特徴量とを出力する。グループ第一特徴量はそのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。

記録部１９３は画像データ中の１つまたは複数の文字列についての第三特徴量と、１つまたは複数のグループ第一特徴量とを取得する。記録部１９３は各グループ第一特徴量に含まれる文字列の範囲を示す座標を用いて、各グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する（ステップＳ１００６）。各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。

ステップＳ１００６でＹＥＳの場合、記録部１９３は、グループ第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性とがそれぞれ一致するかどうかを判定する（ステップＳ１００７）。

記録部１９３は、ステップＳ１００７の判定結果がＹＥＳとなり文字属性が一致する場合、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１９３はその確認画面をモニタに出力する（ステップＳ１００８）。図７のステップＳ７０７の場合と同様、表示部１２０は、確認画面において記録文字列をその信頼度に応じた態様で表示する。
作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。すなわち、作業者は全ての記録文字列が選択されているか（確認画面において矩形枠で囲まれているか）確認することができる。
確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。

記録部１９３は作業者のボタンのアイコン画像の押下に応じて、全ての記録文字列が選択されているかを判定する（ステップＳ１００９）。記録部１９３は全ての記録文字列が選択されている場合（ステップＳ１００９：ＹＥＳ）には、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ１０１０）。

例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されているグループ第一特徴量ｇ１１と、第三特徴量ｂ３がグループ第一特徴量ｇ１２と、第三特徴量ｃ３がグループ第一特徴量ｇ１３と、第三特徴量ｄ３がグループ第一特徴量ｇ１４とそれぞれ特徴量が一致したとする。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。
ステップＳ１０１０の後、画像処理装置１は、図１１の処理を終了する。

上述のステップＳ１００６でＮＯの場合、またはステップＳ１００７でＮＯの場合、またはステップＳ１００９でＮＯの場合、記録部１９３は、グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１９３は、画像データ中の対応する座標の第三特徴量が存在しなかったグループ第一特徴量の座標の範囲に入力欄を設けた帳票画像（文書帳票の画像）の入力用画像データを生成してモニタに出力する（ステップＳ１０１１）。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。図７のステップＳ７１０の場合と同様、表示部１２０が、特定できた記録文字列をその信頼度に応じた表示態様で帳票画像上に表示するようにしてもよい。

作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１９３は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を抽出する（ステップＳ１０１２）。
記録部１９３は帳票画像データの識別子と記録文字列とを対応付けてデータベース４に記録する（ステップＳ１０１３）。具体的には、記録部１９３は、ステップＳ７１１で入力欄に入力された文字列については、入力された文字列を記録文字列とし、それ以外の記録文字については、第一特徴量と第三特徴量との比較で特定された文字列を記録文字列とする。そして、記録部１９３は、記録文字列と帳票画像データの識別子とを対応付けてデータベース４に記録する。
ステップＳ１０１３の後、画像処理装置１は、図１１の処理を終了する。

画像処理装置１が、図１１の処理で第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ１０１２の後、図６の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ１０１２の後に追加学習を行うことで、図６で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。さらに、画像処理装置１が、ステップＳ１００９でＹＥＳの場合も、図６の処理フローの再実施または追加学習にて第一特徴量を更新するようにしてもよい。
画像処理装置１が、図１１の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図１１の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。

図１１に示す処理によれば、画像処理装置１は予め作業者が記録しておいた複数の書式それぞれの文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。

＜第三実施形態＞
なお、画像処理装置１の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置１に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース４に登録しておく。これにより、同一グループ内に画像処理装置１の処理誤り等により異種の帳票が混じることがなくなり、精度のよい第一特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップＳ１００４と同じく、第二特徴量を用いてグループ特定する。

＜第四実施形態＞
また、画像処理装置１の処理の他の例としては、画像処理装置１は第二特徴量を用いて文書帳票をグループ分けするだけでなく、第一特徴量を用いて、また第二特徴量と共に第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、第一特徴量を用いて帳票をグループ分けすることが可能となる。最初のグループ分けを第四実施形態で示すように作業者が行い、新たな文書帳票に対してはステップＳ１００４の処理により第一特徴量を用いてグループ分けすることにより、ＯＣＲ処理において精度よく記録文字列を読み取ることが可能となる。
この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部１９４が第一特徴量に基づいて帳票画像データをグループ分けする。そして、特徴量抽出部１９２は、グループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。

＜第五実施形態＞
第二実施形態においてはステップＳ１００４において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置１はグループを特定する処理を行わずに、作業者により設定された全グループに対して、１グループごとに順に特定して第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多く第一特徴量と第三特徴量とが一致するはずなので、画像処理装置１は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列をステップＳ１００８において記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部１９２は、取得部１９１の取得した帳票画像データを認識処理した結果に基づいて、記録文字列の特徴を示す第一特徴量または記録文字列以外の認識情報を示す第二特徴量を抽出する。特徴量抽出部１９２は、予め設定された所定のグループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。

以上のように、信頼度算出部１９６は、文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する。表示部１２０は、信頼度算出部１９６が算出した信頼度に応じた表示態様で特定項目の文字列を表した文字認識処理結果画像を出力する。
このように、画像処理装置１は、信頼度の計算によって光学的文字認識の結果の精度を評価することができる。そして、画像処理装置１は、信頼度を表示することで光学的文字認識の結果の精度の評価を作業者に提示することができる。作業者は、信頼度の表示を参照して注意すべき部分を把握することができ、必要に応じて対策を講じることができる。
特に、信頼度算出部１９６が文字列の書式的な特徴量に基づいて信頼度を算出することで、画像処理装置１は、文書のフォーマットの観点から光学的文字認識の結果の精度を評価することができる。例えば、信頼度算出部１９６が、文字認識そのものの信頼度と、文字認識処理対象の文書画像の書式についての特徴量に基づいて信頼度を算出することで文字認識そのものの信頼度のみに基づく場合よりも、信頼度を高精度に算出できることが期待される。

また、信頼度算出部１９６は、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の文書画像の書式についての特徴量に基づいて、信頼度を算出する。
これにより、信頼度算出部１９６は、記録部１９３が記録文字列の特定に用いる第一特徴量に基づいて信頼度を算出することができる。記録部１９３が記録文字列の特定に用いる特徴量に基づいて信頼度を算出する点で、信頼度算出部１９６が、精度の高い信頼度を算出できることが期待される。

また、信頼度算出部１９６は、予め記録された特徴量のばらつき度合いに基づいて信頼度を算出する。
特徴量のばらつき度合いが大きい場合、画像処理装置に与えられる文書の書式が一定していない、あるいは、画像処理装置１が解析した書式の特徴が実際の書式を十分に反映していないといった原因が考えられる。この場合、処理対象の文書画像についても、画像処理装置１が想定している書式と異なる書式である可能性が比較的高い。この点で、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が低いと考えられる。

一方、特徴量のばらつき度合いが小さい場合、画像処理装置に与えられる文書の書式が一定しており、かつ、画像処理装置１が解析した書式の特徴が実際の書式を十分に反映していると考えられる。この場合、処理対象の文書画像の処理機が、画像処理装置１が想定している書式と同じであり、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が高いと考えられる。すなわち、画像処理装置１が、処理対象の画像を適切に処理していると期待される。
この点で、信頼度算出部１９６が、予め記録された特徴量のばらつき度合いに基づいて信頼度を算出することで、高精度に信頼度を算出できる。

また、信頼度算出部１９６は、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いに基づいて信頼度を算出する。
また、信頼度算出部１９６は、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いに基づいて信頼度を算出する。
偏差の度合いが大きい場合、処理対象の文書画像の書式が、画像処理装置１が想定している書式と異なる、あるいは、想定している書式は合っていても画像処理装置１が解析した書式の特徴が、処理対象の文書画像については適切でないといった原因が考えられる。この場合、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が比較的低いと考えられる。

一方、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いが小さい場合、処理対象の文書画像の書式が、画像処理装置１が想定している書式と同じであり、かつ、画像処理装置１が解析した書式の特徴が、処理対象の文書画像について適切であると考えられる。この場合、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が比較的高いと考えられる。すなわち、画像処理装置１が、処理対象の画像を適切に処理していると期待される。
この点で、信頼度算出部１９６が、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いに基づいて信頼度を算出することで、高精度に信頼度を算出できる。

次に、図１２を参照して、本発明の実施形態の構成について説明する。
図１２は、実施形態に係る画像処理装置の構成の例を示す図である。図１２に示す画像処理装置６００は、信頼度算出部６０１と、画像出力部６０２と、を備える。
かかる構成にて、信頼度算出部６０１は、文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する画像出力部６０２は、その信頼度に応じた表示態様で特定項目の文字列を表した文字認識処理結果画像を出力する。
このように、画像処理装置６００は、信頼度の計算によって光学的文字認識の結果の精度を評価することができる。そして、画像処理装置６００は、信頼度を表示することで光学的文字認識の結果の精度の評価を作業者に提示することができる。作業者は、信頼度の表示を参照して注意すべき部分を把握することができ、必要に応じて対策を講じることができる。
特に、信頼度算出部６０１が文字列の書式的な特徴量に基づいて信頼度を算出することで、画像処理装置６００は、文書のフォーマットの観点から光学的文字認識の結果の精度を評価することができる。例えば、信頼度算出部６０１が、文字認識そのものの信頼度と、文字認識処理対象の文書画像の書式についての特徴量に基づいて信頼度を算出することで文字認識そのものの信頼度のみに基づく場合よりも、信頼度を高精度に算出できることが期待される。

上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、それら装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 画像処理装置
２ 画像読取装置
３ 記録装置
４ データベース
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０ 記憶部
１９０ 制御部
１９１ 取得部
１９２ 特徴量抽出部
１９３ 記録部
１９４ グループ分類部
１９５ グループ特定部
１９６ 信頼度算出部

Claims (6)

1. 文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する信頼度算出部と、
   その信頼度に応じた表示態様で前記特定項目の文字列を表した文字認識処理結果画像を出力する画像出力部と、
   を備える画像処理装置。
2. 前記信頼度算出部は、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の文書画像の書式についての特徴量に基づいて、前記信頼度を算出する
   請求項１に記載の画像処理装置。
3. 前記信頼度算出部は、予め記録された前記特徴量のばらつき度合いに基づいて前記信頼度を算出する
   請求項２に記載の画像処理装置。
4. 前記信頼度算出部は、文字認識対象の文書画像における前記特徴量の、予め記録された前記特徴量における偏差の度合いに基づいて前記信頼度を算出する
   請求項２または請求項３に記載の画像処理装置。
5. 文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する工程と、
   その信頼度に応じた表示態様で前記特定項目の文字列を表した文字認識処理結果画像を出力する工程と、
   を含む画像処理方法。
6. コンピュータに、
   文書画像に含まれる特定項目の文字列の書式的な特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する工程と、
   その信頼度に応じた表示態様で前記特定項目の文字列を表した文字認識処理結果画像を出力する工程と、
   を実行させるためのプログラム。

Images