JP2015187765A - 帳票フォーマット情報登録方法及びシステム並びにプログラム - Google Patents

Abstract

【課題】帳票の文字認識を行うために帳票フォーマット情報を高精度かつ容易に作成する。
【解決手段】帳票画像上のフィールド内の各文字を文字認識するためにフィールドの構造を定義したフィールド定義を帳票フォーマット情報として帳票辞書データベースに登録するために、複数の帳票画像が帳票の種類別に分類されたクラスの中から登録対象とするクラスを選択する工程と、選択したクラスに属する帳票画像の一つを表示部に表示する工程と、表示部に表示した帳票画像上で文字認識対象とする部分領域をフィールドとして設定する工程と、フィールド内の各文字を文字認識するためのフィールド定義を設定する工程と、選択したクラスに属する複数の帳票画像を対象として、先に設定したフィールド定義に基づく文字認識処理を行うことによりフィールド定義の確認テストを実行する工程と、確認テストで得られた文字認識結果を表示部に表示する工程とを実行する。
【選択図】 図２

Description

この発明は、帳票の文字認識に利用するための帳票フォーマット情報を帳票辞書データベースに登録する帳票フォーマット情報登録方法及びシステム並びにプログラムに関する。

従来、金融機関や官公庁をはじめとする様々な組織において、各種の帳票が利用されている。帳票は、金銭、物品、サービス等の出入りを管理するために利用される。帳票の自動処理装置を利用すれば、大量の帳票を１枚ずつ判別して種類別に分類して、各帳票に記載された情報を読み取って管理することができる。

帳票の種類判別及び文字認識には帳票辞書データベースが利用される。帳票辞書データベースには、予め帳票の種類判別及び帳票上の所定領域の文字認識を行うために必要な情報が帳票フォーマット情報として登録されている。帳票フォーマット情報を利用することにより、帳票画像の所定領域の情報を読み取って帳票の種類を判別すると共に、帳票画像上で文字認識処理の処理対象として設定された部分領域（フィールド）の文字を文字認識することができる。

新たに登場した帳票は、帳票辞書データベースに帳票フォーマット情報が登録されていないので、装置上で帳票の種類を判別することができず、処理対象外の帳票としてリジェクトされる。リジェクトされた帳票と同じ種類の帳票が、次回の処理でリジェクトされないようにするために、帳票画像から帳票の種類を判別するための情報、帳票画像上でフィールドの位置を特定する情報、フィールド内の各文字を文字認識するための情報等を、帳票フォーマット情報として、帳票辞書データベースに登録する必要がある。

例えば、特許文献１には、帳票フォーマット情報を作成する方法が開示されている。この方法では、文字が記入されていない帳票画像上で文字認識処理の処理対象とするフィールドを指定すると、このフィールド内で連続した直線を罫線として検出する処理が行われる。そして、罫線の検出結果に基づいて、１文字ずつ文字が記入される文字枠、複数の文字枠から形成されるフィールド枠等の情報を、帳票フォーマット情報として登録する。

また、例えば、特許文献２には、既に登録されている帳票フォーマット情報を利用して、新たな帳票フォーマット情報を作成する方法が開示されている。この方法では、フィールドが個別文字枠又は罫線枠のいずれであるかを示す情報、フィールドに記入される文字種を示す情報等を含むフィールド情報がデータベースに蓄積されている。オペレータが、新たに登録する帳票のフィールドについて、フィールドに記入される内容や文字の種類等の情報を手入力すると、このフィールドの文字認識処理に利用可能と推定されるフィールド情報が、データベースに蓄積されたフィールド情報の中から選択されて候補として表示される。帳票画像上でフィールドの領域を指定すると共に、候補として挙げられたフィールド情報の中から指定したフィールドに適用するフィールド情報を選択して、選択したフィールド情報の内容を必要に応じて修正する。そして、このフィールド情報に基づく文字認識処理を行って、文字認識に成功した場合に、フィールド情報を新たな帳票の帳票フォーマット情報とする。

特開２００５−１０８０６２号公報 特開２００７−３２３４７４号公報

しかしながら、上記特許文献１に記載の方法では、帳票辞書データベースへのデータ登録作業時に、新たに作成した帳票フォーマット情報によって帳票画像の種類判別やフィールド上での文字認識を正しく行えるか否かの評価が行われない。このため、帳票辞書データベースに登録した帳票フォーマット情報に不備があっために、帳票フォーマット情報を登録した帳票が再びリジェクトされてしまう場合があった。

また、上記特許文献２に記載の方法では、蓄積済みのフィールド情報の中に、新たに登録する帳票に利用可能なものがない場合には、全ての情報を一から登録する必要があるため登録作業に手間がかかる。また、フィールド情報に係る文字認識処理の確認がフィールド情報の設定に利用した一枚の帳票画像のみを対象として行われるため、フィールド情報の不備を検出できず、フィールド情報を設定した帳票が再びリジェクトされてしまう場合があった。

本発明は、上述した従来技術による問題点を解消するためになされたもので、帳票画像の所定領域に記入された文字を文字認識するための帳票フォーマット情報を高精度かつ容易に作成して帳票辞書データベースに登録することができる帳票フォーマット情報登録方法及びシステム並びにプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、帳票画像上のフィールド内の各文字を文字認識するために前記フィールドの構造を定義したフィールド定義を、帳票フォーマット情報として帳票辞書データベースに登録する帳票フォーマット情報登録方法であって、複数の帳票画像が帳票の種類別に分類されたクラスの中から登録対象とするクラスを選択するクラス選択工程と、選択したクラスに属する帳票画像の一つを表示部に表示する帳票画像表示工程と、前記表示部に表示した帳票画像上で文字認識対象とする部分領域をフィールドとして設定するフィールド設定工程と、前記フィールド設定工程で設定した前記フィールド内の各文字を文字認識するためのフィールド定義を設定するフィールド定義設定工程と、選択したクラスに属する複数の帳票画像を対象として、前記フィールド設定工程で設定したフィールドに前記フィールド定義設定工程で設定したフィールド定義を適用して前記フィールド内の文字を文字認識することにより前記フィールド定義に係る確認テストを実行する確認テスト工程と、前記確認テスト工程で得られた文字認識結果に関する情報を前記表示部に表示する結果表示工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記フィールド定義設定工程は、前記フィールド設定工程で設定した前記フィールドに、フィールド定義テンプレートとして予め準備された複数種類のフィールド定義のそれぞれを適用して、前記フィールド内の文字を文字認識する工程と、各フィールド定義テンプレートによる文字認識結果に基づいて、前記フィールドに適用可能なフィールド定義テンプレートを選択する工程と、選択した前記フィールド定義テンプレートによるフィールド定義を前記フィールドに適用するフィールド定義として設定する工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記フィールド定義設定工程は、選択したクラスに属する複数の帳票画像の間で前記フィールド内の文字及び罫線を形成する各画素位置を比較して、所定割合以上のフィールドで共通する位置にない画素は文字を形成する画素であると判定して消去することにより、文字を含まず罫線のみを含む未記入フィールド画像を生成する工程と、前記未記入フィールド画像に含まれる罫線の特徴に基づいて前記フィールドのフィールド定義を設定する工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記フィールド定義設定工程は、前記フィールド設定工程で設定した前記フィールドの画像と、前記フィールド定義設定工程で設定したフィールド定義とを前記表示部に表示する工程と、前記表示部に表示された前記フィールド定義の修正を指示する操作を受け付けて前記フィールド定義を修正する工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記フィールド設定工程は、前記表示部に表示した帳票画像上で前記部分領域を含む範囲が指定された場合に、該範囲内の一番外側で連続した罫線から成る矩形枠を検出してフィールドとして認識する工程と、前記表示部に表示した帳票画像上で前記部分領域に含まれる位置が指定された場合に、指定された前記位置を囲う罫線から成る一番小さい矩形枠を検出すると共に、横方向に連続して前記矩形枠と同じ大きさの矩形枠がある場合には該矩形枠を文字枠であると認識して、横方向に連続する複数の文字枠から成る領域をフィールドとして認識する工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記フィールド設定工程は、前記表示部に表示した帳票画像上で指定された範囲内に文字列が含まれている場合、又は前記帳票画像上で指定された位置が文字列の部分である場合には、前記文字列の文字の全てを含む領域をフィールドとして認識する工程を含んだことを特徴とする。

また、本発明は、上記発明において、前記結果表示工程では、前記確認テスト工程で文字認識処理の対象とされた帳票画像の数と、前記確認テスト工程で前記フィールド内の文字を文字認識できた帳票画像の数との割合を確認可能な情報が表示されることを特徴とする。

また、本発明は、上記発明において、前記帳票画像表示工程では、選択されたクラスに属する全ての帳票画像の特徴量の平均値に最も近い特徴量を有する帳票画像である代表画像が前記表示部に表示されることを特徴とする。

また、本発明は、上記発明において、前記確認テスト工程で文字認識処理の対象とする帳票画像の数は、予め設定された上限値以下に制限されることを特徴とする。

また、本発明は、上記発明において、前記表示部に表示した帳票画像上で帳票の種類判別に利用する部分領域を指定する領域指定工程と、前記領域指定工程で指定した前記部分領域内の文字を文字認識して得られた文字を判別文字とする判別文字取得工程と、選択したクラスに属する複数の帳票画像を対象として、前記領域指定工程で指定した部分領域の文字認識を行って前記判別文字が得られることを確認すると共に、前記帳票辞書データベースに登録済みのクラスの中に同じ部分領域から同じ判別文字が得られるクラスが存在しないことを確認する判別テスト工程と、前記判別テスト工程で得られた結果を前記表示部に表示する判別結果表示工程とを含んだことを特徴とする。

また、本発明は、帳票画像上のフィールド内の各文字を文字認識するために前記フィールドの構造を定義したフィールド定義を、帳票フォーマット情報として帳票辞書データベースに登録する帳票フォーマット情報登録システムであって、複数の帳票画像が帳票の種類別に分類されたクラスの中から登録対象とするクラスに属する帳票画像の一つを表示するための表示部と、前記表示部に表示された帳票画像上で文字認識対象とする部分領域を指定する操作を受けて前記部分領域をフィールドとして設定すると共に、設定したフィールド内の各文字を文字認識するためのフィールド定義を設定するフィールド定義設定部と、登録対象とする前記クラスに属する複数の帳票画像を対象として、前記フィールド定義設定部で設定された前記フィールドに前記フィールド定義を適用して前記フィールド内の文字を文字認識することにより前記フィールド定義に係る確認テストを実行する設定確認テスト部とを備えることを特徴とする。

また、本発明は、帳票画像上のフィールド内の各文字を文字認識するために前記フィールドの構造を定義したフィールド定義を、帳票フォーマット情報として帳票辞書データベースに登録する帳票フォーマット情報登録プログラムであって、複数の帳票画像が帳票の種類別に分類されたクラスの中から登録対象とするクラスを選択するクラス選択ステップと、選択したクラスに属する帳票画像の一つを表示部に表示する帳票画像表示ステップと、前記表示部に表示した帳票画像上で文字認識対象とする部分領域をフィールドとして設定するフィールド設定ステップと、前記フィールド設定ステップで設定した前記フィールド内の各文字を文字認識するためのフィールド定義を設定するフィールド定義設定ステップと、選択したクラスに属する複数の帳票画像を対象として、前記フィールド設定ステップで設定したフィールドに前記フィールド定義設定ステップで設定した前記フィールド定義を適用して前記フィールド内の文字を文字認識することにより前記フィールド定義に係る確認テストを実行する確認テストステップと、前記確認テストステップで得られた文字認識結果に関する情報を前記表示部に表示する結果表示ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、同じ種類の帳票の帳票画像を複数含むクラスの中から一つの帳票画像を表示部に表示した状態で、文字認識処理の処理対象とするフィールドの指定と、このフィールドに含まれる各文字を文字認識するために各文字枠の位置等を定義したフィールド定義の設定とを行った後、クラスに属する複数の帳票画像を対象として、設定したフィールド定義により文字認識結果が得られるか否かの確認テストを行うことができるので、確認テストの結果に応じて必要があればフィールド定義の変更や修正を行って、高精度にフィールド定義を設定することができる。

また、本発明によれば、帳票画像上でフィールドを指定するだけで、このフィールドに適用可能なフィールド定義の設定が、予め準備されたフィールド定義テンプレートの中から自動的に選択されるので、フィールド定義を一から全て設定する必要がなく、容易にフィールド定義を設定することができる。

また、本発明によれば、一つの帳票画像上でフィールドを指定するだけで、同じクラスに属する複数の帳票画像のフィールドの画素位置を比較して、フィールド内の文字を消去した未記入のフィールド画像が自動生成されるので、罫線のみから成る未記入のフィールド画像から罫線を検出することにより、高精度にフィールド定義を設定することができる。

また、フィールドの画像と、このフィールドについて自動で定義されたフィールド定義の内容とを表示部に表示して、フィールド定義を修正することができるので、容易な作業で、高精度にフィールド定義を設定することができる。

図１は、本実施形態に係る帳票フォーマット情報登録方法の概要を説明する図である。 図２は、帳票フォーマット情報登録システムの構成概略を示すブロック図である。 図３は、帳票フォーマット情報登録方法の処理手順を示すフローチャートである。 図４は、帳票画像を種類別に分類するクラスタリング処理の結果を示す画面例である。 図５は、帳票画像から帳票の種類を判別するための帳票判別情報を設定する際の画面例である。 図６は、文字認識処理の処理対象とするフィールドの指定及び該フィールドでの文字認識処理に係る設定をフィールド定義として設定する際の画面例である。 図７は、設定されたフィールド定義による文字認識確認テストの結果表示を示す画面例である。 図８は、フィールド定義テンプレートを選択する際の画面例である。 図９は、フィールド定義を修正する際の画面例である。

以下に添付図面を参照して、この発明に係る帳票フォーマット情報登録方法及びシステム並びにプログラムについて説明する。まず、本実施形態に係る帳票フォーマット情報登録方法の概要を説明する。図１は、帳票フォーマット情報登録システムによって行われる帳票フォーマット情報登録方法の概要を説明する模式図である。

帳票フォーマット情報登録システムに、帳票辞書データベースに帳票フォーマット情報が登録されていない未登録帳票の画像が入力されると（Ａ１）、帳票画像から取得した特徴量に基づいて帳票画像を帳票の種類別にクラスに分類するクラスタリング処理が行われる（Ａ２）。なお、帳票フォーマット情報登録システムに入力される未登録帳票の画像は、金融機関や官公庁で実際に処理されてリジェクトされた帳票の画像であるため、各記入欄には、異なる情報が印刷されたり手書きされたりした状態にある。

帳票フォーマット情報には、帳票判別情報と、フィールド定義とが含まれている。帳票判別情報は、帳票の種類判別に利用可能な文字や図柄等、帳票画像から取得できる特徴を示す情報と、この特徴情報を読み取ることができる帳票画像上の位置情報とを含む情報である。また、フィールド定義は、帳票画像上で文字認識処理の対象とするフィールドを特定するための位置情報と、フィールドに含まれる各文字を文字認識するために必要な情報とを含む情報である。フィールド定義には、例えば、フィールドを各文字枠に分割するための方法、フィールドに含まれる文字枠の数、各文字枠から得られる文字の種類、文字枠の文字が印刷された文字であるか手書きの文字であるかを示す情報等が含まれる。

帳票画像が複数のクラスに分類されると、この中から、帳票辞書データベースへ帳票フォーマット情報を登録するクラスを選択する（Ｂ１）。クラスの選択は、手動で行われる態様であってもよいし、帳票フォーマット情報の登録作業によって得られる効果に基づいて自動選択される態様であっても構わない。例えば、クラスに属する帳票画像の数が多ければ、帳票フォーマット情報を帳票辞書データベースに登録することにより次回から多くの帳票をリジェクトすることなく処理できるようになる。このため、クラスに分類された帳票画像の数が多いほど登録作業による効果が高いとして、帳票画像の数が最大のクラスが自動選択される。

クラスが選択されると、このクラスに属する帳票画像を利用して、帳票フォーマット情報を登録するための処理が開始される。まず、選択されたクラスに属する帳票画像の傾きを補正する画像修正の処理が行われる（Ｂ２）。

そして、傾きが補正された帳票画像１００の１枚を、帳票フォーマット情報登録システムの表示部に表示した状態で、帳票フォーマット情報を設定する処理が行われる（Ｂ３）。図１に示すように、帳票画像１００に住所や氏名等の個人情報が含まれている場合には、個人情報を消去してから設定処理を開始する。帳票画像１００上で、個人情報を含む部分領域１０１を指定するだけで指定領域内の情報が自動的に消去される。

帳票画像１００上で、帳票の種類判別に利用可能な文字列が含まれる部分領域１０２、１０３を指定すると（Ｂ３）、帳票フォーマット情報登録システムでは、この部分領域１０２、１０３内の文字を文字認識することにより帳票の種類を判別できるか否かを確認するテストが実行される（Ｂ４）。具体的には、登録作業中のクラスに属する帳票画像のうち例えば９０％以上の帳票画像で部分領域１０２、１０３から同じ文字列を取得できること、登録済みのクラスの中に同じ部分領域１０２、１０３から同じ文字列が取得される別のクラスが存在しないこと、登録済みのクラスの帳票フォーマット情報により登録作業中のクラスが登録済みのクラスと誤判別されないこと等を確認する処理が行われる。すなわち、登録作業完了後には各クラスの帳票フォーマット情報により帳票辞書データベースに登録済みの全てのクラスで帳票の種類を正しく判別できることが確認される。そして、確認結果に問題があれば設定を変更する作業が行われる。こうして、指定された部分領域１０２、１０３によりクラスに属する帳票画像の種類判別を行えることが確認された後、指定された部分領域１０２、１０３と、この部分領域１０２、１０３から得られる判別用の文字列とを含む情報が帳票判別情報として採用される。

また、帳票画像１００上で、文字認識処理の処理対象とする領域をフィールド１０４として指定すると（Ｂ３）、フィールド１０４内の各文字を文字認識するためのフィールド定義が自動的に設定されて、このフィールド定義により、クラスに属する全ての帳票画像でフィールド１０４の文字を文字認識できるか否かを確認するテストが実行される（Ｂ４）。帳票フォーマット情報登録システムには、予め、複数のフィールド定義がフィールド定義テンプレートとして準備されている。例えば、クラスに１０００枚の帳票画像が登録されている場合に、ランダムに選択した１００枚の帳票画像を対象として、それぞれのフィールド定義テンプレートを利用して、フィールド１０４の文字を文字認識する処理を実行する。そして、最も高い文字認識率を示したフィールド定義テンプレートを、指定されたフィールド１０４のフィールド定義として採用する。フィールド定義を決定した後（Ｂ３）、クラスに属する１０００枚全ての帳票画像を対象として、フィールド１０４の文字認識テストを実行する（Ｂ４）。例えば、フィールド１０４の文字認識結果として得られるべき文字の種類や桁数等から正しい文字認識結果が得られたか否かが判定される。そして、確認結果に問題があれば設定を変更する作業が行われる。なお、文字認識時には、フィールド１０４に含まれる文字を消去して罫線のみを残した未記入画像を生成して、フィールド定義テンプレートによるフィールド定義に利用するが、これについての詳細は後述する。

帳票設定内容の確認テスト（Ｂ４）は、部分領域１０２、１０３の指定やフィールド１０４の指定操作に応じて自動的に開始される態様であってもよいし、手動操作に応じて開始される態様であっても構わない。

こうして、同じクラスに属する複数の帳票画像を対象として、設定内容に問題がないことを確認するための確認テストを行い、必要に応じて帳票判別情報及びフィールド定義の設定内容を修正する。そして、設定を完了すると、これらを帳票フォーマット情報として帳票辞書データベースに登録する（Ｃ１）。

このように、本実施形態に係る帳票フォーマット情報登録システムでは、一つの帳票画像上で帳票の種類判別及び文字認識に必要な設定を行った後、設定内容に係る確認テストを行って、テスト結果を確認しながら設定内容を修正することができる点を一つの特徴としている。帳票の種類判別に係る設定では、この設定により、登録作業中のクラスに属する複数の帳票画像で帳票の種類を正しく判別できることと、帳票辞書データベースへの登録作業中のクラス及び登録済みのクラスを含め、全てのクラスで帳票の種類が誤判別されないこととを確認するためのテストが行われる。また、帳票のフィールド定義に係る設定では、登録作業中のクラスに属する複数の帳票画像上でフィールドを特定して該フィールド内から正しい文字認識結果を得られることを確認するためのテストが行われる。これにより、選択したクラスに属する全ての帳票画像で、帳票の種類判別及び帳票上の所定フィールドの文字認識を正確に行えるように、帳票フォーマット情報を設定することができる。

なお、クラスに属する帳票画像の中には、帳票の汚れや記入された文字の状態によって文字認識を正確に行えないものが含まれる場合があるが、帳票フォーマット情報登録システムでは、確認テストを行った後、文字認識できなかった帳票画像と、この帳票画像での文字認識結果とを表示部上に表示して確認できるようになっている。これにより、設定内容に問題があるのか帳票画像に問題があるのかを確認して、帳票画像に起因する文字認識の失敗についてはこれをテスト結果から除外して、帳票フォーマット情報の設定を行うことができる。

次に、帳票フォーマット情報登録システムの構成について説明する。図２は帳票フォーマット情報登録システムの構成概略を示すブロック図である。

帳票フォーマット情報登録システムは、後述する機能及び動作を実現するための制御部１０と、制御部１０の動作に必要な各種のデータを保存するための記憶部２０と、帳票画像、帳票判別情報、フィールド定義等に関する各種情報を表示するための表示部３０と、帳票クラスの選択、帳票判別情報やフィールド定義の設定等に関する各種情報の入力操作を行うための操作部４０とを備えている。表示部３０は、例えば液晶ディスプレイ等から成る情報表示装置であり、操作部４０は、例えばマウスとキーボード等から成る情報入力装置である。

記憶部２０は、例えば半導体メモリやハードディスク等から成る不揮発性の記憶装置で、内部には、クラスタリング処理が行われる前の複数の未登録帳票の帳票画像が未登録帳票画像データ２１として保存され、クラスタリング処理により帳票の種類別にクラスに分類された未登録帳票の帳票画像がクラス別帳票画像データ２２として保存される。また、記憶部２０には、帳票判別情報に関連する情報が帳票判別情報データ２３として保存され、フィールド定義に関連する情報がフィールド定義データ２５として保存される。また、記憶部２０には、フィールドを形成する文字枠等、フィールドの構造を定義するためのフィールド定義が予めフィールド定義テンプレートとして準備され、フィールド定義テンプレートデータ２４として保存されている。また、記憶部２０には、文字認識に利用する数字、英字、漢字、記号等の辞書データを含む文字認識用データ２６と、設定登録済みの帳票フォーマット情報を含む帳票辞書データベース２７とが保存されている。

なお、図２には示していないが、未登録帳票画像データ２１として保存される未登録帳票画像は、例えば、帳票フォーマット情報登録システムに接続されたスキャナ等によって帳票現物をスキャンして読み取る態様であってもよいし、他の装置からネットワークや記憶媒体を介して受信する態様であっても構わない。また、図２では、帳票辞書データベース２７が帳票フォーマット情報登録システムの記憶部２０に保存される態様を示しているが、帳票辞書データベース２７の保存場所がこれに限定されるものではなく、例えば、帳票フォーマット情報登録システムと通信可能に接続された他のサーバ装置や記憶装置等に保存される態様であっても構わない。

制御部１０は、クラスタリング処理部１１と、帳票画像処理部１２と、帳票判別情報設定部１３と、フィールド定義設定部１４と、帳票種類判別部１５と、文字認識部１６と、設定確認テスト部１７と、帳票フォーマット登録部１８とを有している。制御部１０は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するＣＰＵと、該ＣＰＵによって制御される各種ハードウェア等によって構成されている。制御部１０の動作に必要なソフトウェアプログラムやデータは記憶部２０に保存されるが、保存先は特に限定されず、別途専用に設けられたディスクやフラッシュメモリ等の記憶装置に保存される態様であってもよいし、通信可能に接続されたサーバや記憶装置等に保存される態様であっても構わない。

クラスタリング処理部１１は、複数の帳票画像を、各帳票画像から取得した特徴量に基づいて帳票の種類別に各クラスに分類するクラスタリング処理を実行する機能を有する。例えば、複数の帳票画像から罫線の特徴量を取得して、この特徴量を２次元空間上にプロットし、空間上でのユークリッド距離が所定値以下の帳票画像を同じクラスに分類する。罫線の特徴量を利用して帳票画像を分類することにより、複数の帳票画像で、罫線で囲まれた同じ枠内に異なる情報が記入されている場合でも、記入内容の違いによる影響を受けることなく帳票画像を種類別に分類することができる。

クラスタリング処理部１１は、過去に行われたクラスタリング処理で未登録帳票画像をクラスに分類して保存したクラス別帳票画像データ２２と、クラスに分類されていない新たな未登録帳票画像が保存された未登録帳票画像データ２１とを対象としてクラスタリング処理を実行する。対象とする全ての未登録帳票画像が帳票の種類別にクラスに分類されると、この分類に基づいてクラス別帳票画像データ２２が更新される。なお、クラス別帳票画像データ２２には、各クラスの代表画像に関する情報が含まれている。代表画像とは、その特徴量が、クラスに属する未登録帳票画像の特徴量の平均値に最も近い帳票画像である。

なお、クラスタリング処理に用いる罫線の特徴量とは、例えば、帳票画像内で罫線を形成する黒画素の所定領域内での密度、長さ、方向等に基づいて算出される値であるが、これについては本願出願人による特開２００１−２８３１５２号公報に記載しているので詳細な説明は省略する。また、帳票画像から得られる特徴量に基づいて帳票画像を各クラスに分類するクラスタリング処理についても、本願出願人による特開２０１４−１０７５２号公報に記載した従来技術を利用することができるので詳細な説明は省略する。

帳票画像処理部１２は、未登録帳票画像データ２１に保存された未登録帳票画像の傾き等を補正する機能を有する。また、帳票画像処理部１２は、複数の帳票画像の間で、それぞれの帳票画像から切り出したフィールドの画像を比較できるように、フィールドの画像の傾き、歪、縮尺等を補正する機能を有する。

帳票判別情報設定部１３は、帳票の種類判別に利用可能な帳票画像上の部分領域の指定を受けて、この部分領域に関する情報を、帳票判別情報として設定する機能を有する。例えば、クラスに分類された未登録帳票画像上で、このクラスの帳票画像を他のクラスの帳票画像と区別するために利用できる文字や図柄等を含む部分領域の位置及びサイズと、この部分領域から取得される文字や図柄等の特徴情報とが、帳票判別情報として設定される。設定された帳票判別情報は、帳票判別情報データ２３として記憶部２０に保存される。

フィールド定義設定部１４は、帳票画像上で文字認識すべき部分領域の指定を受けて、この部分領域をフィールドとして設定する機能を有する。また、フィールド定義設定部１４は、各フィールドに含まれる一又は複数の文字を文字認識するための文字認識条件を設定する機能を有している。帳票画像上でのフィールドの位置及びサイズに関する情報と、フィールド内で各文字を文字認識するための文字認識条件とが、フィールド定義を構成する。

例えば、フィールド定義では、枠内に一文字のみを含む文字枠を複数連続して成るフィールドである場合には、フィールドを各文字枠に分割して各文字枠内の文字を文字認識するように文字認識条件が設定される。また、フィールド定義では、フィールドに含まれる文字の桁数や文字の種類、文字が印刷されたものであるか手書きであるかを示す情報等を設定することができる。帳票でよく用いられるフィールドの構造は予めフィールド定義テンプレートとして準備され、フィールド定義テンプレートデータ２４として記憶部２０に保存されている。

フィールド定義設定部１４は、帳票画像上でフィールドが指定されると、フィールドに含まれる罫線等の情報から、フィールドに適用可能なフィールド定義テンプレートを自動的に選択する機能を有している。

例えば、操作部４０により、帳票画像上でフィールドを含む範囲が指定されると、フィールド定義設定部１４は、この範囲内の一番外側で連続した罫線から成る矩形枠を検出して、これをフィールドとして認識する。また、操作部４０により、フィールドとする枠内の一部をクリックする操作が行われると、クリックされた位置を囲う一番小さい罫線の矩形枠を検出すると共に、横方向に連続して存在する同じ大きさの矩形枠がある場合にはこの矩形枠を文字枠であると認識して、これら複数の文字枠から成る領域をフィールドとして認識する。

フィールド定義設定部１４は、フィールドを認識すると、同じクラスに属する複数の帳票画像から、フィールドの画像を切り出す。このとき、各フィールド画像を重ね合わせた際にフィールドに含まれる罫線が同じ位置で重なり合うように、帳票画像処理部１２の機能により、フィールド画像の傾き、歪、縮尺等が補正される。フィールド定義設定部１４は、補正した複数のフィールド画像の間で、罫線及び文字を形成する画素の位置を比較する。そして、所定割合以上（例えば９０％以上）のフィールド画像で同じ位置にある画素は罫線を形成する画素であると判定する。こうして、それぞれ異なる文字が記入された複数のフィールド画像を利用して文字を形成する画素のみを消去することにより罫線のみから成る未記入画像を生成する。

なお、例えば、全てのフィールド画像が、千円単位の金額をアラビア数字で印刷した文字を含んでいる場合は、常に０（ゼロ）を示す百の位、十の位、一の位で、０（ゼロ）を形成する画素が９０％以上のフィールド画像で共通した位置となる。このため、０（ゼロ）を形成する画素は文字を形成する画素であるにも拘わらず、罫線を形成する画素と誤判定されてしまう。このような場合に対応するため、フィールド定義設定部１４は、少なくともフィールド画像内で文字認識処理を行って、予め設定された所定の信頼度以上の確率で０（ゼロ）の文字が検出された場合はこれを消去する。これにより、罫線のみから成る未記入画像を生成することができる。なお、「￥」等の通貨記号や、金額の桁区切りに利用するコンマ等の記号についても同様の処理によりこれらの文字を消去することができる。

フィールド定義設定部１４は、こうして罫線のみから成るフィールドの未記入画像を生成すると、これを利用して、フィールド定義テンプレートによる設定を行う。例えば、複数の文字枠から成るフィールドを定義したフィールド定義テンプレートを適用する際に、文字が記入された状態のフィールド画像を利用するのではなく、未記入のフィールド画像を利用することができるので、フィールドに含まれる各文字枠の位置及びサイズを正確に設定することができる。

続いて、フィールド定義設定部１４は、同じクラスに属する複数の帳票画像から切り出したフィールド画像を対象として、記憶部２０にフィールド定義テンプレートデータ２４として保存されている複数のフィールド定義をそれぞれ適用して文字認識処理を実行する。そして、最も高い文字認識率を示したフィールド定義テンプレートを、指定されたフィールドのフィールド定義として採用する。すなわち、フィールドに適用可能なフィールド定義テンプレートを自動的に選択して、選択したフィールド定義テンプレートに基づいて、先に領域指定されたフィールドのフィールド定義を設定する。

また、フィールド定義設定部１４は、記憶部２０に保存された既存のフィールド定義テンプレートの中に、新たに指定されたフィールドに適用できるものが存在しない場合には、操作部４０による操作に応じて、既存のフィールド定義テンプレートの修正、新たなフィールド定義の作成等を行う機能を有している。既存のフィールド定義テンプレートの選択、既存のフィールド定義テンプレートの修正、又は新たなフィールド定義の作成を行って、フィールドの文字認識に利用するフィールド定義の設定を完了すると、フィールド定義設定部１４は、これをフィールド定義データ２５として記憶部２０に保存する。

なお、帳票判別情報設定部１３及びフィールド定義設定部１４は、操作部４０による所定の操作を受けて、文字を含む部分領域を自動的に選択する機能を有する。例えば、画像上で、文字列を含む範囲が指定されると、帳票判別情報設定部１３は、指定された範囲内に存在する文字列の存在を認識して、この文字列を内部に含む領域を帳票判別情報に係る部分領域として選択する。また、例えば、帳票判別情報とする文字列部分、すなわち文字列を形成する文字又はその近傍を、マウスでクリックする操作が行われると、帳票判別情報設定部１３は、クリックされた位置の周囲で文字列の存在を認識して、この文字列を内部に含む領域を帳票判別情報に係る部分領域として選択する。フィールド定義設定部１４についても、同様に、範囲指定やクリックの操作を受けて印刷文字の存在を認識し、この文字を内部に含む領域をフィールドに係る部分領域として選択する。例えば、ＯＣＲＢフォントやＭＩＣＲ文字等、機械読み出し専用のフォントにより印刷された文字列がある場合に限らず、一般的なフォントを利用して印刷された文字列がある場合にも、この文字列全体又は一部を含むように範囲を指定する操作や、文字列の部分をクリックする操作を行うことにより、文字列全体を含む領域が自動的に選択される。

帳票種類判別部１５は、帳票判別情報設定部１３によって帳票判別情報として設定された部分領域の文字や図柄等が帳票画像上に存在することを認識して、帳票の種類を判別する機能を有する。記憶部２０の帳票判別情報データ２３には、クラス別、すなわち帳票の種類別に、帳票画像上の所定領域で取得される文字や図柄等の特徴が帳票判別情報として保存されているので、帳票画像から帳票の種類を判別することができる。

文字認識部１６は、フィールド定義設定部１４によって設定されたフィールドに、フィールド定義テンプレートデータ２４として保存されているフィールド定義又はフィールド定義設定部１４によって設定されたフィールド定義を適用して、記憶部２０に文字認識用データ２６として保存された辞書データを利用して文字認識処理を行う機能を有する。また、文字認識部１６は、同様に、文字認識用データ２６を利用して、帳票判別情報として設定された部分領域内の文字を文字認識する機能を有する。

設定確認テスト部１７は、帳票判別情報設定部１３により、クラスに分類された未登録帳票画像上で帳票判別情報の設定がなされると、この設定に基づいて帳票種類判別部１５による帳票の種類判別が可能であるか否かを確認するため、クラスに分類された複数の未登録帳票画像を対象として確認テストを実行する機能を有する。具体的には、登録作業中のクラスに属する複数の未登録帳票画像で、帳票判別情報で設定された所定領域から文字列等の同一の特徴情報を取得できること、帳票辞書データベースに登録済みのクラスの中に帳票画像上の同じ領域から同じ特徴情報が取得される別のクラスが存在しないこと、及び／又は登録済みのクラスの帳票フォーマット情報により登録作業中のクラスが登録済みのクラスと誤判別されないこと等を確認する処理が行われる。

また、設定確認テスト部１７は、クラスに分類された未登録帳票画像上で、フィールド定義設定部１４によりフィールド定義の設定がなされると、この設定に基づいて文字認識部１６によるフィールドの文字認識が可能であるか否かを確認するため、クラスに分類された複数の未登録帳票画像を対象として確認テストを実行する機能を有する。

なお、設定確認テスト部１７による確認テスト時に、確認テストの対象とする未登録帳票画像の数については、上限数を設定できるようになっている。例えば、未登録帳票画像の総数に対する確認テスト対象の割合と、確認テスト対象の上限枚数との少なくともいずれか一方を設定すると、これらの設定を満たすように確認テスト対象が選択されるようになっている。また、確認テストの結果は表示部３０に表示されるので、確認テストの結果に応じて、帳票判別情報に係る設定の修正、フィールド定義テンプレートの変更、フィールド定義の設定内容の修正等の作業を行うことができるが、これについての詳細は後述する。

帳票フォーマット登録部１８は、帳票フォーマット情報を記憶部２０の帳票辞書データベース２７に登録する機能を有する。具体的には、設定確認テスト部１７による確認テストを経て、設定内容に問題がないことが確認されると、帳票判別情報設定部１３によって設定された帳票判別情報と、フィールド定義設定部１４によって設定されたフィールド定義とを、帳票フォーマット情報として帳票辞書データベース２７に登録する。

こうして、未登録帳票の帳票フォーマット情報が帳票辞書データベース２７に登録されると、次回の帳票処理時には、登録された帳票フォーマット情報に基づいて帳票の種類の判別が可能となり、帳票の所定フィールドに記入された文字の文字認識も可能となる。

次に、帳票フォーマット情報登録方法について説明する。実際の処理では、文字認識処理の処理対象領域とする複数のフィールドを指定して、各フィールドでフィールド定義を設定するが、説明を簡単にするため、以下では一つのフィールドを設定する場合を例に説明することとする。

図３は帳票フォーマット情報登録方法の処理手順を示すフローチャートである。また、図４〜図９は、帳票フォーマット情報の登録処理時に、帳票フォーマット情報登録システムの表示部３０に表示される画面例を示す図である。

まず、クラスタリング処理部１１によって、記憶部２０に未登録帳票画像データ２１として保存された複数の未登録帳票画像を帳票の種類別に分類するクラスタリング処理が行われ、その結果が、帳票のサムネイル画像と共に表示部３０に表示される（ステップＳ１）。

図４は、クラスタリング処理の結果を示す画面例である。このように、画面左側には、システム上での分類結果がツリー状に表示されて、画面右側には各分類結果に属する未登録帳票画像をさらに分類した各クラスの情報が表示される。具体的には、画面右側には、クラスに属する未登録帳票の枚数と、このクラスに新たに未登録帳票画像が加えられた日時を示す更新日時と、このクラスが最初に作成された日時を示す作成日時と、このクラスの代表画像の画像ファイルを示すファイル名と、帳票のサムネイル画像とが、クラス別に表示される。また、画面上には星形のマークが表示されるが、これは各クラスの帳票フォーマット情報を帳票辞書データベース２７に登録することによって得られる効果の度合いを示している。塗り潰された星形のマークの数が多いほど登録による効果が高く、このクラスの帳票フォーマット情報を帳票辞書データベース２７に登録した際に、リジェクトされる帳票の数が減少して帳票の処理効率が向上することを示している。例えば、クラスに属する未登録帳票画像の数が多いほど、この未登録帳票画像の帳票フォーマットを帳票辞書データベース２７に登録することにより、次回の帳票処理時に、未登録であることを理由にリジェクトされる帳票の数が減少するので、塗り潰された星形のマークの数が多くなる。このマークを参考に、複数のクラスの中から、帳票フォーマット情報の登録作業の対象とするクラスを選択することができる。

図４に示す画面上の情報を参考にクラスを選択する操作を行うと（図３ステップＳ２）、帳票画像処理部１２が、選択されたクラスに属する未登録帳票画像の傾き等を修正する処理を行う（ステップＳ３）。そして、表示部３０には、傾き等が修正された代表画像が表示される。表示部３０に表示された画像に個人情報が含まれる場合には、操作部４０を操作して、個人情報が含まれる部分領域を指定して個人情報を消去することができる（ステップＳ４）。例えば、図１に示した未登録帳票画像１００で、個人情報が含まれる部分領域１０１を指定してこれを消去すると、次に、帳票判別情報を設定するための設定画面が表示部３０に表示される。

図５は、帳票判別情報を設定する際の画面例である。画面左側上部には、未登録帳票画像に関する情報が帳票情報として表示され、その下に、帳票判別情報に関する情報が判別設定として表示される。また、画面右側には、個人情報が消去された代表画像である未登録帳票画像３００が表示されるので、この未登録帳票画像３００を利用して帳票判別情報を設定する（図３ステップＳ５）。

図５に示すように、設定画面左側には、未登録帳票画像３００に関する帳票判別情報が未設定であることを示すメッセージ２０１が表示される。操作部４０のマウスを操作して、画面右側の未登録帳票画像３００上で、帳票判別情報として利用可能な部分領域３０２、３０３を選択する。そして、マウスを操作して画面左側にある追加ボタン２０２をクリックすると、文字認識部１６によって、この部分領域３０２、３０３内の文字が文字認識されて、消去ボタン２０３と文字認識結果を示す判別文字列とが画面左側に表示される。なお、マウスを操作して消去ボタン２０３をクリックすると、対応する部分領域の選択を解除できるようになっている。

帳票判別情報に係る部分領域の選択時には、画像上で、文字列を含む範囲を指定するようにマウスによるドラッグ操作を行うだけで、指定された範囲内にある文字列の存在が認識されて、この文字列を内部に含む領域が自動的に選択されるようになっている。また、例えば、文字列を含む部分領域の位置を指定するようにマウスによるクリック操作を行った場合にも、同様に、クリックした位置の周囲にある文字列の存在が認識されて、この文字列を内部に含む領域が自動的に選択される。

帳票判別情報設定部１３は、未登録帳票画像３００上で選択された部分領域３０２、３０３の位置及びサイズを特定するための情報と、この部分領域３０２、３０３で文字認識により得られる判別文字列とを含む帳票判別情報とを、帳票判別情報データ２３として記憶部２０に保存する。

続いて、マウスを操作して判別確認ボタン２０４をクリックすると、設定確認テスト部１７によって、帳票判別情報の設定内容に関する確認テストが実行される（ステップＳ６）。具体的には、帳票種類判別部１５によって、未登録帳票画像３００と同じクラスに属する複数の未登録帳票画像を対象として、各部分領域３０２、３０３から同一の判別文字列を得ることができるか否かを確認するテストが行われる。また、設定確認テスト部１７は、帳票辞書データベース２７に登録済みのクラスの中に帳票画像上の同じ領域から同じ文字列が取得されるクラスがないこと等、登録作業完了後には各クラスの帳票フォーマット情報により帳票辞書データベースに登録済みの全てのクラスで帳票の種類を正しく判別できることを確認するためのテストを行う。

設定確認テスト部１７による確認結果は、表示部３０に表示される。表示部３０には、例えば、確認テストに利用した未登録帳票画像の数、部分領域３０２、３０３から判別文字列が得られた未登録帳票画像の数、これらの数の割合等が表示される。また、部分領域３０２、３０３から判別文字列が得られなかった未登録帳票画像がある場合には、表示部３０に、この未登録帳票画像と文字認識結果とを表示して確認できるようになっている。

確認結果に問題がある場合には（ステップＳ７；Ｎｏ）、帳票判別情報の設定を変更する（ステップＳ８）。例えば、同じクラスの中に部分領域３０２、３０３から判別文字列を得られない未登録帳票画像がある場合には、この未登録帳票画像と、部分領域３０２、３０３を文字認識して得られた結果とを表示部３０に表示して確認し、必要に応じて、帳票判別情報として利用する部分領域３０２、３０３を変更する。また、例えば、部分領域３０２、３０３及び判別文字列が、既に帳票辞書データベース２７に登録済みの他のクラスと同一となってしまう場合も、帳票のクラスを判別できるように部分領域３０２、３０３の設定を変更する。

帳票判別情報が変更されると、記憶部２０に保存されている帳票判別情報データ２３が変更後の帳票判別情報に基づいて更新される。そして、ステップＳ５及びＳ６の処理が再度実行される。

設定された帳票判別情報に問題がないことが確認されると（ステップＳ７；Ｙｅｓ）、続いて、未登録帳票画像３００上で、文字認識処理の処理対象となるフィールドを設定する（ステップＳ９）。図６は、フィールドの領域指定及びフィールド定義設定を行う際の画面例である。帳票判別情報の設定を終えた後に表示されるこの画面上には、画面左側に、設定確認テスト部１７による確認テストによって帳票判別情報に問題がないことを確認済みであることを示すメッセージ２０５が表示される。

画面右側に表示された未登録帳票画像３００上で、操作部４０のマウスを操作して、文字認識処理の処理対象とするフィールド３０４を手動で選択する。フィールド３０４を含む範囲を指定する操作又はフィールド３０４内をクリックする操作を行うと、フィールド定義設定部１４により、罫線で囲まれた部分領域がフィールド３０４として自動的に選択される。また、手動選択又は自動選択された領域内に、文字列が含まれている場合には、この文字列を内部に含む領域が自動的に選択されるようになっている。

マウスを操作して画面左側にある追加ボタン２０６をクリックすると、フィールド定義設定部１４により、記憶部２０のフィールド定義テンプレートデータ２４の中から、フィールド３０４内の文字の文字認識に利用可能なフィールド定義テンプレートが自動的に選択される（図３ステップＳ１０）。

そして、文字認識部１６が、選択されたフィールド定義テンプレートに基づいてフィールド３０４を文字枠に分割して、各文字枠内の文字を文字認識する。また、文字認識部１６は、フィールド３０４の左側にある文字列を、フィールド名称として文字認識する。例えば、フィールド定義設定部１４が、フィールド３０４近傍で罫線に囲まれた領域内にある文字列のうち、この文字列を囲う罫線とフィールド３０４を形成する罫線との接続状態から、フィールド名称とする文字列を特定する。この結果、図６に示すように、画面左側に、消去ボタン２０７、フィールド名称及び文字認識結果が表示される。なお、マウスを操作して消去ボタン２０７をクリックすると、フィールド３０４の選択を解除できるようになっている。

フィールド定義設定部１４によって自動選択されたフィールド定義テンプレートが適切ではないために、フィールド３０４の文字認識結果に誤りがある場合には、マウスを操作して修正ボタン２０８をクリックしてフィールド定義テンプレートを変更することができる。また、修正ボタン２０８をクリックして、例えば、フィールド３０４内で文字枠とする各領域を手動設定することによりフィールド定義テンプレートによるフィールド定義の内容を修正したり、新たにフィールド定義を作成したりすることもできる。これらの処理は、設定確認テスト部１７による確認テスト後に行う処理と同様であるため、詳細は後述する。

フィールド定義設定部１４は、こうして設定されたフィールド３０４の位置及びサイズを特定するための情報と、このフィールド３０４に適用されるフィールド定義に関する情報とを、フィールド定義データ２５として記憶部２０に保存する。

続いて、マウスを操作して画面上のＯＣＲ確認ボタン２０９をクリックすると、設定確認テスト部１７により、フィールド３０４及びフィールド定義の設定内容に関する確認テストが実行される（図３ステップＳ１１）。具体的には、設定確認テスト部１７による命令信号を受けた文字認識部１６によって、選択されたクラスに属する複数の未登録帳票画像で、フィールド定義データ２５として保存されたフィールド定義に基づいてフィールドの文字を文字認識する処理が行われる。確認テストの結果は、表示部３０に表示される。確認テストの結果に問題がある場合には（ステップＳ１２；Ｎｏ）、フィールド定義の設定を変更する（ステップＳ１３）。

図７は、確認テストの結果を示す画面例である。画面上には、代表画像のフィールド３０４を拡大した拡大画像３０５と、フィールド定義に基づく確認テストにより代表画像のフィールド３０４内の文字を文字認識した文字認識結果２１１と、フィールド定義によってクラスに属する複数の未登録帳票画像のフィールドの文字を文字認識して得られた確認テスト結果２１２とが表示される。図７に示す確認テスト結果２１２は、同じクラスに属する１５３枚の未登録帳票画像のフィールドで、先に設定したフィールド定義に基づいて文字認識処理を行った結果、全ての未登録帳票画像で正常な文字認識結果が得られたことを示している。

なお、同じクラスに、正常な文字認識結果が得られない未登録帳票画像がある場合には、マウスを操作して図７に示すボタン２１３クリックして、フィールド３０４に適用するフィールド定義テンプレートを変更することができる。図８は、フィールド定義テンプレートを変更する際に表示されるテンプレート選択画面の画面例である。この選択画面上で、フィールド定義テンプレートを変更することができる。

図８に示すように、フィールド定義テンプレートの選択画面上には、フィールド定義テンプレートの名称と、フィールド定義テンプレートに基づいて代表画像のフィールド３０４で得られた文字認識結果と、フィールド定義テンプレートに基づいて同じクラスに属する複数の未登録帳票画像のフィールドで文字認識を行って得られた集計結果とが表示される。図８に示す集計結果は、同じクラスに属する８２枚の未登録帳票画像を対象として、各フィールド定義テンプレートによるフィールド定義に基づいて文字認識を行った場合に、何枚の未登録帳票画像で正常な文字認識結果が得られたかを示している。フィールド定義テンプレートを変更する際には、図８に示す画面上で、自動設定されたフィールド定義テンプレートよりも良好な集計結果が得られるフィールド定義テンプレートを選択する。

自動設定されたフィールド定義テンプレートによる確認結果に問題があり（ステップＳ１２；Ｎｏ）かつ他のフィールド定義テンプレートの中にも良好な集計結果が得られるフィールド定義テンプレートが存在せず、既存のフィールド定義テンプレートを利用できない場合には、マウスを操作して図７の画面でボタン２１４をクリックしてフィールド定義を修正する。図９は、フィールド定義を修正する際の画面例である。

図９に示すように、フィールド定義の修正画面には、フィールド３０４を拡大したフィールド画像３０６と、フィールド３０４に記入された文字を消去した未記入画像３０７と、フィールド３０４を各文字枠に分割した文字記入位置画像３０８とが表示される。また、画面下部には、フィールド定義テンプレートの名称と、フィールド画像３０６で得られた文字認識結果と、同じクラスに属する複数の未登録帳票画像のフィールドで文字認識を行って得られた集計結果とが表示される。

未記入画像３０７は、フィールド定義設定部１４によって自動的に生成されるが、手動で生成することもできる。具体的には、図９に示す画面上で、マウスを操作してボタン３０９をクリックして、フィールド画像３０６上で消去したい文字を含む領域３１０を指定すると、この領域３１０の文字が消去される。こうして各文字枠内の文字を順に消去することにより、未記入画像３０７を取得することができる。また、画面下部に表示されたフィールド定義テンプレートを選択すると、自動的に未記入画像３０７が生成されるが、この画像上で、一部の文字や記号が残っている場合には、手動操作によりこれを消去して、文字及び記号を含まない未記入画像３０７を生成することができる。

こうして、文字や記号を手動操作により消去して未記入画像３０７を生成すると、画面下部で選択したフィールド定義テンプレートにこの手動操作による修正内容が反映され、修正されたフィールド定義を未記入画像３０７に適用して得られた文字記入位置画像３０８が表示される。また、画面下部の集計結果の欄には、同じクラスに属する複数の未登録帳票画像に修正後のフィールド定義を適用して文字認識処理を行った結果が表示される。図９の例は、画面下部の一覧表示で、一番上に表示されたフィールド定義テンプレートを選択して修正作業を行った結果、同じクラスに属する５７枚の未登録帳票画像のうち、９６．５％に当たる５５枚で正常な文字認識結果を得られるようになったことを示している。

なお、この画面上で、操作部４０のマウスを操作して、集計結果の項目に示された結果をクリックすると、文字認識結果が得られなかった残り２枚の未登録帳票画像と、フィールドで得られた文字認識結果とが表示部３０に表示される。フィールド定義が不適切である場合の他、例えば、フィールド３０４に記入された文字が小さすぎる、潰れている、文字枠からはみ出している等の場合にも正しい文字認識結果が得られない場合がある。未登録帳票画像と文字認識結果とを表示部３０に表示して確認することにより、正しい文字認識結果が得られなかった原因が、フィールド３０４の記入文字に起因するものであることを確認できれば、フィールド定義の設定に問題がないと判断することができる。

こうして、修正したフィールド定義により文字認識結果が得られることを確認した後、マウスを操作して図９に示す画面上でＯＫボタンをクリックすると、フィールド定義設定部１４は、記憶部２０に保存されているフィールド定義データ２５を修正後のフィールド定義に基づいて更新する。

図８に示すフィールド定義テンプレートの変更、図９に示すフィールド定義テンプレートによるフィールド定義の修正等の作業を完了すると（図３ステップＳ１３）、再び図７に示す画面に戻る。なお、図７の画面下部に桁数設定２１５として表示されているように、文字認識した後の出力桁数を指定することもできる。必要に応じて桁数を設定した後、マウスを操作してＯＫボタンをクリックすると、図６に示す画面に戻る。なお、設定内容は、記憶部２０に保存されているフィールド定義データ２５に反映される。

図６に示す画面上で、マウスを操作してＯＣＲ確認ボタン２０９をクリックすると、再び、変更又は修正されたフィールド定義による確認テストを実行することができる（図３ステップＳ１１）。設定確認テスト部１７による確認結果は、表示部３０に表示されるので、確認結果に問題がないことを確認し（ステップＳ１２；Ｙｅｓ）、マウスを操作して図６に示す画面上の確定ボタン２１０をクリックすると、帳票フォーマット情報が記憶部２０の帳票辞書データベース２７に登録される（図３ステップＳ１４）。具体的には、帳票フォーマット登録部１８が、記憶部２０に帳票判別情報データ２３として保存されていた帳票判別情報と、フィールド定義データ２５として保存されていたフィールド定義とを、先に選択したクラスに属する未登録帳票画像の帳票フォーマット情報として、帳票辞書データベース２７に登録する。また、帳票フォーマット登録部１８は、帳票辞書データベース２７に帳票フォーマット情報を登録したクラスのデータのうち、設定登録された内容で帳票判別できた帳票画像データを記憶部２０から削除して、選択したクラスに関する設定登録の処理を終了する。

なお、設定確認テスト部１７による確認テストについては、図５に示す判別確認ボタン２０４や図６に示すＯＣＲ確認ボタン２０９をクリックする操作に応じて実行される態様に限定されるものではない。具体的には、帳票判別情報設定部１３により帳票判別情報の設定や修正等が行われたことを認識して、設定確認テスト部１７が自動的に確認テストを実行する態様であってもよい。同様に、フィールド定義設定部１４によりフィールド定義に係る設定や修正等が行われると、自動的に、設定確認テスト部１７による確認テストが開始される態様であっても構わない。

上述したように、本実施形態によれば、帳票辞書データベース２７に帳票フォーマット情報が登録されていない未登録帳票画像が帳票の種類別にクラス別に分類され、各クラスの代表画像、各クラスに含まれる未登録帳票の数、各クラスの帳票フォーマット情報を帳票辞書データベース２７に登録した際に得られる効果を示すマーク等が表示部３０に表示されるので、帳票辞書データベース２７に登録するクラスを容易に選択することができる。

また、帳票画像上でクラスに属する帳票画像を他のクラスの帳票画像と区別するための部分領域３０２、３０３を選択して、この部分領域３０２、３０３から得られる文字認識結果等の特徴情報により、クラスに属する帳票画像を他のクラスの帳票画像と区別できることを確認する確認テストを実行することができる。部分領域３０２、３０３の設定時に確認テストを行って、設定内容に問題があれば修正することができる。

また、帳票画像上で、文字認識対象とするフィールド３０４を選択すると、予め準備されたフィールド定義テンプレートの中から、このフィールド３０４に適用可能なフィールド定義が自動的に選択されるので、フィールド定義の設定を容易に行うことができる。また、設定したフィールド定義により、クラスに属する複数の帳票画像を対象として、正常に文字認識できることを確認する確認テストを実行することができる。フィールド定義に問題があればフィールド定義の内容を修正することができるので、フィールド定義を高精度に設定することができる。

以上のように、本発明に係る帳票フォーマット情報登録方法及びシステム並びにプログラムは、帳票画像の所定領域に記入された文字を文字認識するための帳票フォーマット情報を高精度かつ容易に作成して帳票辞書データベースに登録するために有用な技術である。

１０ 制御部
１１ クラスタリング処理部
１２ 帳票画像処理部
１３ 帳票判別情報設定部
１４ フィールド定義設定部
１５ 帳票種類判別部
１６ 文字認識部
１７ 設定確認テスト部
１８ 帳票フォーマット登録部
２０ 記憶部
２１ 未登録帳票画像データ
２２ クラス別帳票画像データ
２３ 帳票判別情報データ
２４ フィールド定義テンプレートデータ
２５ フィールド定義データ
２６ 文字認識用データ
２７ 帳票辞書データベース
３０ 表示部
４０ 操作部

Claims (12)

1. 帳票画像上のフィールド内の各文字を文字認識するために前記フィールドの構造を定義したフィールド定義を、帳票フォーマット情報として帳票辞書データベースに登録する帳票フォーマット情報登録方法であって、
   複数の帳票画像が帳票の種類別に分類されたクラスの中から登録対象とするクラスを選択するクラス選択工程と、
   選択したクラスに属する帳票画像の一つを表示部に表示する帳票画像表示工程と、
   前記表示部に表示した帳票画像上で文字認識対象とする部分領域をフィールドとして設定するフィールド設定工程と、
   前記フィールド設定工程で設定した前記フィールド内の各文字を文字認識するためのフィールド定義を設定するフィールド定義設定工程と、
   選択したクラスに属する複数の帳票画像を対象として、前記フィールド設定工程で設定したフィールドに前記フィールド定義設定工程で設定したフィールド定義を適用して前記フィールド内の文字を文字認識することにより前記フィールド定義に係る確認テストを実行する確認テスト工程と、
   前記確認テスト工程で得られた文字認識結果に関する情報を前記表示部に表示する結果表示工程と
   を含んだことを特徴とする帳票フォーマット情報登録方法。
2. 前記フィールド定義設定工程は、
   前記フィールド設定工程で設定した前記フィールドに、フィールド定義テンプレートとして予め準備された複数種類のフィールド定義のそれぞれを適用して、前記フィールド内の文字を文字認識する工程と、
   各フィールド定義テンプレートによる文字認識結果に基づいて、前記フィールドに適用可能なフィールド定義テンプレートを選択する工程と、
   選択した前記フィールド定義テンプレートによるフィールド定義を前記フィールドに適用するフィールド定義として設定する工程と
   を含んだことを特徴とする請求項１に記載の帳票フォーマット情報登録方法。
3. 前記フィールド定義設定工程は、
   選択したクラスに属する複数の帳票画像の間で前記フィールド内の文字及び罫線を形成する各画素位置を比較して、所定割合以上のフィールドで共通する位置にない画素は文字を形成する画素であると判定して消去することにより、文字を含まず罫線のみを含む未記入フィールド画像を生成する工程と、
   前記未記入フィールド画像に含まれる罫線の特徴に基づいて前記フィールドのフィールド定義を設定する工程と
   を含んだことを特徴とする請求項１又は２に記載の帳票フォーマット情報登録方法。
4. 前記フィールド定義設定工程は、
   前記フィールド設定工程で設定した前記フィールドの画像と、前記フィールド定義設定工程で設定したフィールド定義とを前記表示部に表示する工程と、
   前記表示部に表示された前記フィールド定義の修正を指示する操作を受け付けて前記フィールド定義を修正する工程と
   を含んだことを特徴とする請求項１、２又は３に記載の帳票フォーマット情報登録方法。
5. 前記フィールド設定工程は、
   前記表示部に表示した帳票画像上で前記部分領域を含む範囲が指定された場合に、該範囲内の一番外側で連続した罫線から成る矩形枠を検出してフィールドとして認識する工程と、
   前記表示部に表示した帳票画像上で前記部分領域に含まれる位置が指定された場合に、指定された前記位置を囲う罫線から成る一番小さい矩形枠を検出すると共に、横方向に連続して前記矩形枠と同じ大きさの矩形枠がある場合には該矩形枠を文字枠であると認識して、横方向に連続する複数の文字枠から成る領域をフィールドとして認識する工程と
   を含んだことを特徴とする請求項１〜４のいずれか１項に記載の帳票フォーマット情報登録方法。
6. 前記フィールド設定工程は、
   前記表示部に表示した帳票画像上で指定された範囲内に文字列が含まれている場合、又は前記帳票画像上で指定された位置が文字列の部分である場合には、前記文字列の文字の全てを含む領域をフィールドとして認識する工程
   を含んだことを特徴とする請求項１〜５のいずれか１項に記載の帳票フォーマット情報登録方法。
7. 前記結果表示工程では、前記確認テスト工程で文字認識処理の対象とされた帳票画像の数と、前記確認テスト工程で前記フィールド内の文字を文字認識できた帳票画像の数との割合を確認可能な情報が表示されることを特徴とする請求項１〜６のいずれか１項に記載の帳票フォーマット情報登録方法。
8. 前記帳票画像表示工程では、選択されたクラスに属する全ての帳票画像の特徴量の平均値に最も近い特徴量を有する帳票画像である代表画像が前記表示部に表示されることを特徴とする請求項１〜７のいずれか１項に記載の帳票フォーマット情報登録方法。
9. 前記確認テスト工程で文字認識処理の対象とする帳票画像の数は、予め設定された上限値以下に制限されることを特徴とする請求項１〜８のいずれか１項に記載の帳票フォーマット情報登録方法。
10. 前記表示部に表示した帳票画像上で帳票の種類判別に利用する部分領域を指定する領域指定工程と、
    前記領域指定工程で指定した前記部分領域内の文字を文字認識して得られた文字を判別文字とする判別文字取得工程と、
    選択したクラスに属する複数の帳票画像を対象として、前記領域指定工程で指定した部分領域の文字認識を行って前記判別文字が得られることを確認すると共に、前記帳票辞書データベースに登録済みのクラスの中に同じ部分領域から同じ判別文字が得られるクラスが存在しないことを確認する判別テスト工程と、
    前記判別テスト工程で得られた結果を前記表示部に表示する判別結果表示工程と
    を含んだことを特徴とする請求項１〜９のいずれか１項に記載の帳票フォーマット情報登録方法。
11. 帳票画像上のフィールド内の各文字を文字認識するために前記フィールドの構造を定義したフィールド定義を、帳票フォーマット情報として帳票辞書データベースに登録する帳票フォーマット情報登録システムであって、
    複数の帳票画像が帳票の種類別に分類されたクラスの中から登録対象とするクラスに属する帳票画像の一つを表示するための表示部と、
    前記表示部に表示された帳票画像上で文字認識対象とする部分領域を指定する操作を受けて前記部分領域をフィールドとして設定すると共に、設定したフィールド内の各文字を文字認識するためのフィールド定義を設定するフィールド定義設定部と、
    登録対象とする前記クラスに属する複数の帳票画像を対象として、前記フィールド定義設定部で設定された前記フィールドに前記フィールド定義を適用して前記フィールド内の文字を文字認識することにより前記フィールド定義に係る確認テストを実行する設定確認テスト部と
    を備えることを特徴とする帳票フォーマット情報登録システム。
12. 帳票画像上のフィールド内の各文字を文字認識するために前記フィールドの構造を定義したフィールド定義を、帳票フォーマット情報として帳票辞書データベースに登録する帳票フォーマット情報登録プログラムであって、
    複数の帳票画像が帳票の種類別に分類されたクラスの中から登録対象とするクラスを選択するクラス選択ステップと、
    選択したクラスに属する帳票画像の一つを表示部に表示する帳票画像表示ステップと、
    前記表示部に表示した帳票画像上で文字認識対象とする部分領域をフィールドとして設定するフィールド設定ステップと、
    前記フィールド設定ステップで設定した前記フィールド内の各文字を文字認識するためのフィールド定義を設定するフィールド定義設定ステップと、
    選択したクラスに属する複数の帳票画像を対象として、前記フィールド設定ステップで設定したフィールドに前記フィールド定義設定ステップで設定した前記フィールド定義を適用して前記フィールド内の文字を文字認識することにより前記フィールド定義に係る確認テストを実行する確認テストステップと、
    前記確認テストステップで得られた文字認識結果に関する情報を前記表示部に表示する結果表示ステップと
    をコンピュータに実行させることを特徴とする帳票フォーマット情報登録プログラム。

Images