JP2017033205A - 記載内容認識システム、記載内容認識方法、及び記載内容認識プログラム - Google Patents

Abstract

【課題】通信の負荷を低減できる。【解決手段】クライアント装置１０は、画像情報３０の認識処理の対象範囲３１から対象範囲３１に記載された記載内容を識別可能な抽出情報を抽出する。サーバ装置２０は、精度の良い認識処理を実現するため（抽出情報から精度よく記載内容を認識するため）に、各種情報（例えば、文字を認識するための文字認識辞書などの抽出情報から記載内容を認識（識別）するための情報）を含んだ認識情報を記憶しており、クライアント装置１０が抽出した抽出情報と、記憶している認識情報とに基づいて、記載内容を認識する。【選択図】図１

Description

記載内容認識システム、記載内容認識方法、及び記載内容認識プログラムに関する。

従来から、帳票を撮像して取得した帳票の画像情報から文字の特徴を抽出し、文字認識辞書と照合して文字の認識を行う文字認識（ＯＣＲ：Optical Character Recognition）が行われている。このような文字認識は、文字認識辞書などの文字認識に必要な資産ファイルを予め文字認識を行う端末に配布することで、様々な端末上で実現できる。しかしながら、資産ファイルは、適宜更新されることがあるため、複数の端末に資産ファイルを配布すると、資産ファイルの管理に手間がかかるという問題があった。

これに対して、帳票を撮像して取得した帳票の画像情報を、取得した端末からサーバ装置に転送し、サーバ装置側で認識処理を行う技術が知られている。上記技術は、端末側に資産ファイルを配布する必要がなくサーバ装置側の資産ファイルだけを管理すればよいため、資産ファイルの管理の手間を低減できる。

特開２００４−１７９８５１号公報

しかしながら、上記技術では、画像情報を、サーバ装置に転送するため、通信に負荷がかかるという問題があった。
本発明は、このような問題に鑑みてなされたものであり、通信の負荷を抑止可能な記載内容認識システム、記載内容認識方法、及び記載内容認識プログラムの提供を目的とする。

上記課題を解決するために、本発明の記載内容認識システムは、クライアント装置と、サーバ装置とを有する。
クライアント装置は、抽出部を備える。抽出部は、画像情報の認識処理の対象範囲から対象範囲に記載された記載内容を識別可能な抽出情報を抽出する。サーバ装置は、認識情報記憶部と、認識処理部とを備える。認識情報記憶部は、認識処理に用いる認識情報を記憶する。認識処理部は、抽出部が抽出した抽出情報と認識情報記憶部が記憶する認識情報とに基づいて、記載内容を認識する。

また、上記課題を解決するために、本発明の記載内容認識方法は、クライアント装置と、サーバ装置とで実行する。
クライアント装置は、画像情報の認識処理の対象範囲から対象範囲に記載された記載内容を識別可能な抽出情報を抽出し、サーバ装置は、クライアント装置が抽出した抽出情報と記憶している認識処理に用いる認識情報とに基づいて、記載内容を認識する。

また、上記課題を解決するために、本発明は、以下に示すような処理を、認識処理に用いる認識情報を記憶し、認識情報に基づいて認識処理を実行するサーバ装置と通信可能に接続するクライアント装置に処理を実行させる記載内容認識プログラムを提供する。

クライアント装置に、画像情報の認識処理の対象範囲から対象範囲に記載された記載内容を識別可能な抽出情報を抽出し、抽出情報に基づいて、サーバ装置に記載内容の認識を実行させる。

記載内容認識システム、記載内容認識方法、及び記載内容認識プログラムによれば、通信の負荷を抑止できる。

第一実施形態における記載内容認識システムの概要を示す図である。 第二実施形態における帳票認識システムの概要を示す図である。 第二実施形態におけるクライアント装置のハードウェア構成の一例を示す図である。 第二実施形態における帳票の一例を示す図である。 第二実施形態における文字の特徴量情報の抽出の一例を示す図（その１）である。 第二実施形態における文字の特徴量情報の抽出の一例を示す図（その２）である。 第二実施形態における文字の特徴量情報の一例を示す図である。 第二実施形態におけるクライアント装置の機能ブロックを示す図である。 第二実施形態における抽出情報の一例を示す図である。 第二実施形態におけるサーバ装置の機能ブロックを示す図である。 第二実施形態における認識項目情報の一例を示す図である。 第二実施形態におけるマーク内容情報の一例を示す図である。 第二実施形態における帳票画像の記載内容認識処理を示すシーケンス図（その１）である。 第二実施形態における帳票画像の記載内容認識処理を示すシーケンス図（その２）である。 第二実施形態における認識結果表示画面の一例を示す図である。

以下、実施形態を図面を参照して説明を行う。
［第一実施形態］
図１は、第一実施形態における記載内容認識システムの概要を示す図である。記載内容認識システム１は、画像情報３０に記載された記載内容のうち、認識処理の対象範囲３１に記載された（位置する）記載内容を認識するシステムである。

記載内容認識システム１は、クライアント装置１０と、クライアント装置１０と通信可能なサーバ装置２０とを含んで構成される。クライアント装置１０は、抽出部１１を備える。抽出部１１は、画像情報３０の認識処理の対象範囲３１から対象範囲３１に記載された記載内容を識別可能な抽出情報を抽出する。

画像情報３０は、氏名、住所、及び電話番号の情報を含んでおり、そのうちの氏名の情報だけが対象範囲３１に位置する。この場合、抽出部１１は、例えば、対象範囲３１の部分の画像情報（氏名の情報を含む画像情報）を抽出情報として抽出する。

サーバ装置２０は、認識情報記憶部２１と認識処理部２２とを備える。認識情報記憶部２１は、認識処理に用いる認識情報を記憶する。認識情報は、精度の良い認識処理を実現するため（抽出情報から精度よく記載内容を認識するため）に、各種情報（例えば、文字を認識するための文字認識辞書などの抽出情報から記載内容を認識（識別）するための情報）を含んでおり、容量が大きい場合がある。また、認識情報は、適宜更新される場合がある。

認識処理部２２は、抽出部１１が抽出した抽出情報と認識情報記憶部２１が記憶する認識情報とに基づいて、記載内容を認識する。認識処理部２２は、クライアント装置１０から抽出情報を取得して、認識情報を用いて抽出情報に対して認識処理を行うことで、対象範囲３１に位置する「氏名 〇×太郎」を認識する。

次に、記載内容認識システム１における記載内容認識方法について説明する。クライアント装置１０は、画像情報３０の認識処理の対象範囲３１から対象範囲３１に記載された記載内容を識別可能な抽出情報を抽出する。サーバ装置２０は、クライアント装置１０が抽出した抽出情報と、記憶している認識処理に用いる認識情報とに基づいて、対象範囲３１に記載された記載内容を認識する。

このように、記載内容認識システム１では、サーバ装置２０は、全体（画像情報３０）に含まれる認識処理の対象範囲３１から抽出された抽出情報に基づいて、対象範囲３１に記載された記載内容を認識する。

したがって、記載内容認識システム１は、画像情報３０に基づいて認識処理の対象範囲３１に記載された記載内容を認識する場合よりも、クライアント装置１０からサーバ装置２０に送信するデータサイズを抑えることができる。すなわち、記載内容認識システム１は、クライアント装置１０とサーバ装置２０との通信の負荷を抑止できる。

なお、記載内容認識システム１では、サーバ装置２０が認識情報を記憶し、サーバ装置２０が認識処理を行うため、クライアント装置１０が複数台である場合であっても、記載内容認識システム１は、管理コストの増加を抑止できる。また、記載内容認識システム１では、サーバ装置２０が認識情報を記憶し、サーバ装置２０が認識処理を行うため、クライアント装置１０は、記憶領域が小さい（性能が低い）端末であってもよい。

［第二実施形態］
次に第二実施形態についてより具体的に説明する。図２は、第二実施形態における帳票認識システムの概要を示す図である。

帳票認識システム４０は、帳票の記載内容を認識するシステムである。帳票認識システム４０は、金融機関などで用いられる。帳票認識システム４０は、サーバ装置５０と、サーバ装置５０とネットワーク８０を介して接続する複数のクライアント装置６０（図２では複数のうちの一台を図示）と、各クライアント装置６０と接続するスキャナ７０を含んで構成される。

スキャナ７０は、帳票を撮像して帳票の画像情報（以下、帳票画像と呼ぶことがある）を取得して、帳票画像をクライアント装置６０に送信する。
クライアント装置６０は、金融機関などの窓口に配置され、オペレータによって操作される端末である。クライアント装置６０は、サーバ装置５０に対して帳票の記載内容（帳票画像に含まれる記載内容）のうち、クライアント装置６０が所定の処理に利用する記載内容の認識を依頼する。

より具体的には、クライアント装置６０は、帳票の種別に基づいて帳票画像から、クライアント装置６０が処理に利用する記載内容を含む範囲の画像情報を取得する。そして、クライアント装置６０は、当該画像情報から抽出情報（画像情報よりデータサイズが小さい情報）を抽出し、抽出情報を送信して画像情報に含まれる記載内容の認識をサーバ装置５０に依頼する。抽出情報は、記載内容の認識に用いる情報（記載内容を識別可能な情報）である。なお、クライアント装置６０が処理に利用する記載内容は、帳票の種別に応じて予め決められている。

サーバ装置５０は、クライアント装置６０の依頼に基づいて帳票の記載内容の認識を行う装置である。サーバ装置５０は、帳票の記載内容の認識を行うために必要な各種情報を記憶する。例えば、サーバ装置５０は、処理に利用する記載内容が記載される位置に関する位置情報（座標）を、帳票の種別毎に記憶する。

次にクライアント装置６０のハードウェア構成について図３を用いて説明する。図３は、第二実施形態におけるクライアント装置のハードウェア構成の一例を示す図である。クライアント装置６０は、プロセッサ６１によって装置全体が制御されている。プロセッサ６１には、バス６９を介してＲＡＭ（Random Access Memory）６２と複数の周辺機器が接続されている。プロセッサ６１は、マルチプロセッサであってもよい。プロセッサ６１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＰＬＤ（Programmable Logic Device）である。またプロセッサ６１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ６２は、クライアント装置６０の主記憶装置として使用される。ＲＡＭ６２には、プロセッサ６１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ６２には、プロセッサ６１による処理に必要な各種データが格納される。

バス６９に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）６３、グラフィック処理装置６４、入力インタフェース６５、光学ドライブ装置６６、機器接続インタフェース６７及びネットワークインタフェース６８がある。

ＨＤＤ６３は、内蔵したディスクに対して、磁気的にデータの書き込み及び読み出しを行う。ＨＤＤ６３は、クライアント装置６０の補助記憶装置として使用される。ＨＤＤ６３には、ＯＳのプログラム、アプリケーションプログラム、及び各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。

グラフィック処理装置６４には、モニタ６４ａが接続されている。グラフィック処理装置６４は、プロセッサ６１からの命令にしたがって、画像をモニタ６４ａの画面に表示させる。モニタ６４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。

入力インタフェース６５には、キーボード６５ａとマウス６５ｂとが接続されている。入力インタフェース６５は、キーボード６５ａやマウス６５ｂから送られてくる信号をプロセッサ６１に送信する。なお、マウス６５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

光学ドライブ装置６６は、レーザ光などを利用して、光ディスク６６ａに記録されたデータの読み取りを行う。光ディスク６６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク６６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

機器接続インタフェース６７は、クライアント装置６０に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース６７には、メモリ装置６７ａやメモリリーダライタ６７ｂやスキャナ７０を接続することができる。メモリ装置６７ａは、機器接続インタフェース６７との通信機能を搭載した記録媒体である。メモリリーダライタ６７ｂは、メモリカード６７ｃへのデータの書き込み、またはメモリカード６７ｃからのデータの読み出しを行う装置である。メモリカード６７ｃは、カード型の記録媒体である。

ネットワークインタフェース６８は、ネットワーク８０に接続されている。ネットワークインタフェース６８は、ネットワーク８０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

以上のようなハードウェア構成によって、第二実施形態のクライアント装置６０の処理機能を実現することができる。なお、第一実施形態のクライアント装置１０、サーバ装置２０、及び第二実施形態のサーバ装置５０もクライアント装置６０と同様のハードウェアにより処理機能を実現することができる。

クライアント装置６０は、例えば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第二実施形態の処理機能を実現する。クライアント装置６０に実行させる処理を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、クライアント装置６０に実行させるプログラムをＨＤＤ６３に格納しておくことができる。プロセッサ６１は、ＨＤＤ６３内のプログラムの少なくとも一部をＲＡＭ６２にロードし、プログラムを実行する。またクライアント装置６０に実行させるプログラムを、光ディスク６６ａ、メモリ装置６７ａ、メモリカード６７ｃなどの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ６１からの制御により、ＨＤＤ６３にインストールされた後、実行可能となる。またプロセッサ６１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

次に帳票について図４を用いて具体的に説明する。図４は、第二実施形態における帳票の一例を示す図である。図４に示した帳票１００は、振込依頼に関する帳票である。帳票１００は、帳票ＩＤを有する。帳票ＩＤは、帳票の種別を識別可能な情報であり、予め決められた位置（例えば、四隅）に記載される。図４に示した帳票１００では、帳票ＩＤは、左上に「９９９９」と記載されている。

また、帳票１００は、振替日、振込指定、手数料、勘定科目、先方銀行（銀行，支店）、受取人の預金種目、受取人の口座番号、受取人の略称、受取人の口座名の項目を有する。また、帳票１００は、依頼人のカナ氏名、依頼人の漢字氏名、依頼人の住所、金額、受取人の現金、当手、他手、押印（収納印又は振替印）の項目を有する。なお、帳票が有する項目の種類、及び各項目の配置（座標）は、帳票ＩＤ（帳票の種別）に応じて決まる。

ところで、クライアント装置６０は、所定の処理を行う際、帳票１００の上記項目に記載された記載内容のうち、一部の項目に記載された記載内容を処理に利用する。例えば、クライアント装置６０は、銀行、支店、金額、預金種目、口座番号、口座名の項目の記載内容を処理に利用する。すなわち、銀行、支店、金額、預金種目、口座番号、口座名の項目が、帳票１００における認識対象となる項目（以下、認識項目と呼ぶことがある）となる。この場合、クライアント装置６０は、帳票１００の帳票画像から、認識項目を含む範囲の画像情報（以下、認識項目画像と呼ぶことがある）を取得し、各認識項目画像から抽出情報（認識項目画像よりデータサイズが小さい情報）を抽出する。

より具体的には、クライアント装置６０は、マークが記載された認識項目（例えば、預金種目）の認識項目画像から、マーク位置（マークされたチェックボックス）を示す情報を、抽出情報として抽出する。また、クライアント装置６０は、文字が記載された認識項目（例えば、銀行）の認識項目画像から、認識項目に記載された各文字（Ａの特徴量情報、Ｂの特徴量情報、Ｃの特徴量情報、銀の特徴量情報、行の特徴量情報）の特徴量情報を、抽出情報として抽出する。文字の特徴量情報は、文字を識別可能な情報である。特徴量情報については後で図５〜７を用いて詳細に説明する。

なお、認識項目は、帳票ＩＤ（帳票の種別）に応じて予め決められている。そして、帳票ＩＤ（帳票の種別）に応じた認識項目に関する認識項目情報（処理に利用する記載内容が記載される位置に関する位置情報）は、サーバ装置５０に記憶されている。

次に特徴量情報について図５〜７を用いて説明する。図５、６は、第二実施形態における文字の特徴量情報の抽出の一例を示す図である。図７は、第二実施形態における文字の特徴量情報の一例を示す図である。ここでは、文字の一例として「２」を用いて説明する。

まずはじめに、図５に示すように「２」に対して複数（例えば、１６）の領域を重複なく設定する。そして、各領域における「２」を構成する要素（画素）の特徴量を算出する。ここでは、領域１１０（１６の領域の内の１つ）における「２」を構成する要素の特徴量の抽出を図６で具体的に説明する。

図６（ａ）は、領域１１０における左右方向の特徴量の抽出の概要を示している。左右方向の特徴量は、領域１１０において文字を構成する要素の左右方向の連続数（２，３，４，３）のうち、所定の連続数に満たないもの（２以下のもの）を除外した和により算出される。すなわち、領域１１０からは、左右方向の特徴量が、「１０」と抽出される。

図６（ｂ）は、領域１１０における上下方向の特徴量の抽出の概要を示している。上下方向の特徴量は、領域１１０において文字を構成する要素の上下方向の連続数（２，３，２，２，２，１）のうち、所定の連続数に満たないもの（２以下のもの）を除外した和により算出される。すなわち、領域１１０からは、上下方向の特徴量が、「３」と抽出される。

図６（ｃ）は、領域１１０における右上左下方向の特徴量の抽出の概要を示している。右上左下方向の特徴量は、領域１１０において文字を構成する要素の右上左下方向の連続数（２，４，４，２）のうち、所定の連続数に満たないもの（２以下のもの）を除外した和により算出される。すなわち、領域１１０からは、右上左下方向の特徴量が、「８」と抽出される。

図６（ｄ）は、領域１１０における右下左上方向の特徴量の抽出の概要を示している。右下左上方向の特徴量は、領域１１０において文字を構成する要素の右下左上方向の連続数（１，２，１，２，１，１，２，１，１）のうち、所定の連続数に満たないもの（２以下のもの）を除外した和により算出される。すなわち、領域１１０からは、右下左上方向の特徴量が、「０」と抽出される。

上述した４方向（左右方向、上下方向、右上左下方向、右下左上方向）の特徴量を、「２」に対して設定した１６の領域全てにおいて抽出することで、図７に示す「２」の特徴量情報１２０が抽出される。

このようにして文字から抽出した特徴量情報は、文字毎に異なる情報になるため、文字の特定（識別）に用いる事ができる。なお、上述した特徴量情報は、一例であってこれに限らない。特徴量情報は、文字から抽出できる、文字を識別可能な情報であればよい。

次にクライアント装置６０の機能について図８を用いて説明する。図８は、第二実施形態におけるクライアント装置の機能ブロックを示す図である。
クライアント装置６０は、帳票画像取得部６０１と、帳票ＩＤ画像取得部６０２と、抽出情報抽出部６０３と、認識項目情報取得部６０４とを備える。また、クライアント装置６０は、認識項目画像取得部６０５と、記入枠除去部６０６と、認識結果取得部６０７と、認識結果表示部６０８と、通信部６０９とを備える。

帳票画像取得部６０１は、スキャナ７０が読取った帳票画像を取得する。帳票ＩＤ画像取得部６０２は、帳票画像から帳票ＩＤを含む範囲の画像情報（以下、帳票ＩＤ画像と呼ぶことがある）を取得する。帳票ＩＤ画像取得部６０２は、帳票画像の予め決められた範囲（帳票ＩＤが記載される、予め決められた位置を含む範囲）を帳票ＩＤ画像として取得する。

抽出情報抽出部６０３は、画像情報から抽出情報（画像情報よりもデータサイズが小さい情報）を取得する。抽出情報抽出部６０３は、マークが記載された認識項目の認識項目画像から、マーク位置（マークされたチェックボックス）を示す情報を、抽出情報として抽出する。また、抽出情報抽出部６０３は、文字が記載された認識項目の認識項目画像から、認識項目に記載された各文字の特徴量情報を、抽出情報として抽出する。抽出情報抽出部６０３は、帳票ＩＤ画像から帳票ＩＤを構成する各文字の特徴量情報を、抽出情報として抽出する。

ここで抽出される抽出情報について図９を用いて説明する。図９は、第二実施形態における抽出情報の一例を示す図である。
抽出情報６０３ａ１は、画像情報が、帳票ＩＤ画像または文字が記載される認識項目の認識項目画像である場合に抽出される抽出情報である。抽出情報６０３ａ１は、画像情報に含まれる各文字（図９ではＮ個の文字）の特徴量情報を含んで構成される。

抽出情報６０３ａ２は、画像情報が、マークが記入される認識項目の認識項目画像である場合に抽出される抽出情報である。抽出情報６０３ａ２は、マーク位置（マークされているチェックボックス）を示す情報を含んで構成される。例えば、マーク位置「１」は、マーク項目の一番左側に位置するチェックボックスにマークがされていることを示している。

なお、抽出情報は一例であってこれに限らない。画像情報に含まれる文字やマークから抽出可能な記載内容の認識に用いる情報（記載内容を識別可能な情報）であればよく、例えば、文字を構成する要素（画素）の色などの情報も抽出情報として抽出してもよい。図８に戻って説明を続ける。

認識項目情報取得部６０４は、帳票の帳票ＩＤに応じた認識項目情報を取得する。認識項目情報取得部６０４は、帳票ＩＤ画像から抽出した帳票ＩＤの認識に用いる抽出情報を、サーバ装置５０に送信して帳票ＩＤに応じた認識項目情報の特定を依頼する。認識項目情報取得部６０４は、サーバ装置５０から特定結果（帳票ＩＤに応じた認識項目情報）を取得する。

認識項目画像取得部６０５は、認識項目情報取得部６０４が取得した認識項目情報に基づいて、帳票画像から各認識項目の認識項目画像を取得する。
記入枠除去部６０６は、認識項目画像から記入枠（外枠、及び点線）を除去する。クライアント装置６０は、このように認識項目画像から記入枠を除去することにより、抽出情報抽出部６０３による抽出情報の抽出の精度を向上させることができる。

認識結果取得部６０７は、各認識項目画像から抽出した、認識項目に記載された記載内容の認識に用いる抽出情報を、サーバ装置５０に送信して認識項目に記載された記載内容の認識をサーバ装置５０に依頼する。認識結果取得部６０７は、サーバ装置５０から認識結果（各認識項目の記載内容）を取得する。

認識結果表示部６０８は、認識結果画像を表示する。通信部６０９は、サーバ装置５０との各種通信を制御する。
次にサーバ装置５０が備える機能について図１０を用いて説明する。図１０は、第二実施形態におけるサーバ装置の機能ブロックを示す図である。

サーバ装置５０は、認識項目情報記憶部５０１と、文字認識辞書５０２と、マーク内容認識辞書５０３と、認識処理部５０４と、認識項目情報特定部５０５と、通信部５０６とを含んで構成される。

認識項目情報記憶部５０１は、帳票ＩＤ（帳票の種別）毎に認識項目に関する認識項目情報を記憶する。ここで、認識項目情報について、図１１を用いて詳細に説明する。
図１１は、第二実施形態における認識項目情報の一例を示す図である。認識項目情報５０１ａは、帳票ＩＤ「９９９９」（帳票１００）の認識項目情報である。認識項目情報５０１ａは、項目名と、座標と、属性との項目を含んで構成される。

項目名は、認識項目を識別可能な識別情報であり、項目名には、認識項目の名称が設定される。座標は、帳票における認識項目の位置を示す位置情報である。座標には、帳票の左上を（０，０）とした場合における認識項目の左上、及び右下の相対座標が設定される。属性は、認識項目の記載形式を示す情報である。属性には、認識項目が文字を記載する項目である場合には文字と設定され、マークを記載する項目である場合にはマークと設定される。

例えば、認識項目情報５０１ａには、項目名「銀行」、座標「（５０，４０）（１３０，６０）」、属性「文字」が設定されている。これは、帳票画像の「（５０，４０）（１３０，６０）」に位置する「銀行」の項目が認識対象であり、当該認識項目には、文字で情報が記載されていることを示している。

なお、認識項目情報は一例であってこれに限らない。例えば、認識項目情報は、認識項目から抽出情報を抽出する際に利用する他の情報を含んでいてもよい。例えば、認識項目情報は、記載される文字の上限数、記載される文字が手書または活字のどちらであるかを示す情報、記載される文字の形態（漢字、数字、カタカナ）、枠の形状（枠内の入力を支援する点線の有無）などの情報を含んでいてもよい。図１０に戻って説明を続ける。

文字認識辞書５０２は、予め抽出した様々な文字の特徴量情報を記憶する。マーク内容認識辞書５０３は、マーク項目（マークで内容を記載する項目）の記載内容の認識に用いるマーク内容情報を記憶する。マーク内容情報は、マークの内容を識別可能な情報であり、各チェックボックスを示す情報と、各チェックボックスの内容とを対応付けた情報である。マーク内容認識辞書は、各帳票ＩＤ（帳票の種別）のマーク項目毎にマーク内容情報を記憶する。

ここでマーク内容情報について図１２を用いて説明する。図１２は、第二実施形態におけるマーク内容情報の一例を示す図である。マーク内容情報５０３ａは、帳票１００の預金種別の項目のマークの内容を示す情報である。マーク内容情報５０３ａは、チェックボックス番号と、内容との項目を含む。

チェックボックス情報は、チェックボックスを識別可能な情報である。チェックボックス情報「１」は、帳票１００の預金種目の項目における左のチェックボックスを示している。チェックボックス情報「２」は、帳票１００の預金種目の項目における中央のチェックボックスを示している。チェックボックス情報「３」は、帳票１００の預金種目の項目における右のチェックボックスを示している。内容の項目には、対応するチェックボックスにマークが記載された場合に記載内容として認識される内容が設定されている。

例えば、マーク内容情報５０３ａは、チェックボックス情報「１」、内容「普通」が設定されている。これは、チェックボックス情報「１」にマークがされた場合、預金種目の記載内容が「普通」であることを意味する。図１０に戻って説明を続ける。

認識処理部５０４は、抽出情報に基づいて記載内容を認識する。認識処理部５０４は、抽出情報が、帳票ＩＤの認識に用いる抽出情報である場合には、文字認識辞書５０２を参照し、抽出情報を構成する各文字の特徴量情報から各文字を特定し、帳票ＩＤを認識する。

認識処理部５０４は、抽出情報が、マークが記載される認識項目の認識項目画像から抽出された抽出情報である場合には、マーク内容認識辞書５０３を参照し、認識項目に記載された記載内容を認識する。認識処理部５０４は、抽出情報が、文字が記載される認識項目の認識項目画像から抽出された抽出情報である場合には、文字認識辞書５０２を参照し、抽出情報を構成する各文字の特徴量情報から各文字を特定し、認識項目に記載された記載内容を認識する。

認識項目情報特定部５０５は、認識処理部５０４が帳票ＩＤを認識した場合に、当該認識した帳票ＩＤに基づいて認識項目情報記憶部５０１から帳票ＩＤに応じた認識項目情報を特定する。通信部５０６は、クライアント装置６０との各種通信を制御する。

次に帳票画像の記載内容認識処理について図１３、１４を用いて説明する。図１３、１４は、第二実施形態における帳票画像の記載内容認識処理を示すシーケンス図である。
［ステップＳ１］帳票画像取得部６０１は、スキャナ７０から帳票画像を取得する。

［ステップＳ２］帳票ＩＤ画像取得部６０２は、帳票画像から帳票ＩＤ画像を取得する。
［ステップＳ３］抽出情報抽出部６０３は、帳票ＩＤ画像から帳票ＩＤの認識に用いる抽出情報を抽出する。抽出情報抽出部６０３は、帳票ＩＤ画像から帳票ＩＤを構成する各文字の特徴量情報を抽出情報として抽出する。

［ステップＳ４］認識項目情報取得部６０４は、サーバ装置５０に対して抽出した抽出情報を送信して、帳票ＩＤに応じた認識項目情報の特定を依頼する。
［ステップＳ５］認識処理部５０４は、抽出情報と文字認識辞書５０２とに基づいて、帳票ＩＤを構成する各文字を特定し、帳票ＩＤを認識する。

［ステップＳ６］認識項目情報特定部５０５は、認識処理部５０４が認識した帳票ＩＤと認識項目情報記憶部５０１とに基づいて、帳票ＩＤに応じた認識項目情報を特定する。認識項目情報特定部５０５は、特定結果（認識項目情報）をクライアント装置６０に送信する。

［ステップＳ７］認識項目情報取得部６０４は、サーバ装置５０から特定結果（認識項目情報）を取得する。
［ステップＳ８］認識項目画像取得部６０５は、認識項目情報取得部６０４が取得した認識項目情報に基づいて、帳票画像から認識項目画像を取得する。

［ステップＳ９］記入枠除去部６０６は、取得した認識項目画像から記入枠を除去する。
［ステップＳ１０］抽出情報抽出部６０３は、各認識項目画像から認識項目に記載された記載内容の認識に用いる抽出情報を抽出する。抽出情報抽出部６０３は、マークが記載された認識項目の認識項目画像から、マーク位置を示す情報を抽出情報として抽出する。また、抽出情報抽出部６０３は、文字が記載された認識項目の認識項目画像から、認識項目に記載された各文字の特徴量情報を、抽出情報として抽出する。

［ステップＳ１１］認識結果取得部６０７は、サーバ装置５０に対して各認識項目画像から抽出した抽出情報を送信して、各認識項目の記載内容の認識を依頼する。
［ステップＳ１２］認識処理部５０４は、抽出情報に基づいて認識項目画像に含まれる記載内容（各認識項目の記載内容）を認識する。

認識処理部５０４は、抽出情報が、マークが記載された認識項目の認識項目画像から抽出された抽出情報である場合には、抽出情報とマーク内容認識辞書５０３とに基づいて、認識項目に記載された記載内容を認識する。認識処理部５０４は、抽出情報が、文字が記載される認識項目の認識項目画像から抽出された抽出情報である場合には、抽出情報と文字認識辞書５０２とに基づいて、抽出情報を構成する各文字を特定し、認識項目に記載された記載内容を認識する。認識処理部５０４は、各認識項目の記載内容の認識結果をクライアント装置６０に送信する。

［ステップＳ１３］認識結果取得部６０７は、各認識項目の記載内容の認識結果を取得する。
［ステップＳ１４］認識結果表示部６０８は、各認識項目の記載内容の認識結果を表示画面に表示する。

ここで認識結果表示部６０８が表示する画面について図１５を用いて説明する。図１５は、第二実施形態における認識結果表示画面の一例を示す図である。
認識結果表示画面６０８ａは、帳票１００の認識項目の認識結果を表示した画面である。認識結果表示画面６０８ａは、帳票１００の帳票画像１００ａと、帳票１００の認識項目の認識結果とを併せて表示する。このように、認識結果表示部６０８が帳票画像１００ａと、帳票１００の認識項目の認識結果とを併せて表示した認識結果表示画面６０８ａを表示することで、オペレータは、帳票画像１００ａと、認識結果とを見比べて認識結果の誤りを画面上で確認できる。

このような、帳票認識システム４０によれば、クライアント装置６０は、帳票画像（全体）から、認識項目画像（部分画像）を取得して、当該認識項目画像から認識項目画像よりもデータサイズの小さい抽出情報を抽出し、サーバ装置５０に送信する。そして、サーバ装置５０は、抽出情報を用いて、認識項目画像に含まれる記載内容を認識する。

したがって、帳票認識システム４０は、認識項目画像をサーバ装置５０に送信する場合よりも、クライアント装置６０からサーバ装置５０に送信するデータサイズを抑えることができる。すなわち、帳票認識システム４０は、クライアント装置６０とサーバ装置５０との通信の負荷を抑制できる。

なお、クライアント装置６０は、帳票ＩＤ画像から抽出した帳票ＩＤの認識に用いる抽出情報を、サーバ装置５０に送信して帳票ＩＤに応じた認識項目情報の特定を依頼するとして説明したがこれに限らない。

帳票ＩＤ画像のデータサイズが、認識項目画像のデータサイズと比べて小さい場合、例えば、クライアント装置６０は、帳票ＩＤ画像を画像のままサーバ装置５０に送信して帳票ＩＤに応じた認識項目情報の特定を依頼してもよい。この場合、サーバ装置５０は、帳票ＩＤ画像から抽出情報を抽出して、抽出した抽出情報と文字認識辞書５０２を用いて帳票ＩＤを認識すればよい。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、クライアント装置６０、サーバ装置５０が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（可搬型記録媒体を含む）に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ：Flexible Disk）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワーク８０を介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受取ったプログラムにしたがった処理を実行することもできる。

なお、上述の実施の形態は、実施の形態の要旨を逸脱しない範囲内において種々の変更を加えることができる。
さらに、上述の実施の形態は、多数の変形、変更が当業者にとって可能であり、説明した正確な構成及び応用例に限定されるものではない。

１ 記載内容認識システム
１０ クライアント装置
１１ 抽出部
２０ サーバ装置
２１ 認識情報記憶部
２２ 認識処理部
３０ 画像情報
３１ 対象範囲

Claims (7)

1. クライアント装置は、
   画像情報の認識処理の対象範囲から前記対象範囲に記載された記載内容を識別可能な抽出情報を抽出する抽出部を備え、
   サーバ装置は、
   前記認識処理に用いる認識情報を記憶する認識情報記憶部と、
   前記抽出部が抽出した前記抽出情報と前記認識情報記憶部が記憶する前記認識情報とに基づいて、前記記載内容を認識する認識処理部と、を備える、
   記載内容認識システム。
2. 前記抽出情報は、前記対象範囲の部分の前記画像情報よりもデータサイズが小さい情報である、
   請求項１に記載の記載内容認識システム。
3. 前記対象範囲には、文字で前記記載内容が記載されており、
   前記抽出情報は、文字を識別可能な特徴量情報である、
   請求項２に記載の記載内容認識システム。
4. 前記対象範囲には、マークで前記記載内容が記載されており、
   前記抽出情報は、マーク位置を示す情報である、
   請求項２に記載の記載内容認識システム。
5. 前記特徴量情報は、
   文字に対して重複なく設定された複数の領域それぞれから抽出される、前記領域に含まれる文字を構成する要素の特徴量からなる、
   請求項３に記載の記載内容認識システム。
6. 記載内容認識システムが実行する記載内容認識方法であって、
   クライアント装置は、
   画像情報の認識処理の対象範囲から前記対象範囲に記載された記載内容を識別可能な抽出情報を抽出し、
   前記サーバ装置は、
   前記クライアント装置が抽出した前記抽出情報と記憶している前記認識処理に用いる認識情報とに基づいて、前記記載内容を認識する、
   記載内容認識方法。
7. 認識処理に用いる認識情報を記憶し、前記認識情報に基づいて認識処理を実行するサーバ装置と通信可能に接続するクライアント装置に、
   画像情報の認識処理の対象範囲から前記対象範囲に記載された記載内容を識別可能な抽出情報を抽出し、
   前記抽出情報に基づいて、前記サーバ装置に前記記載内容の認識を実行させる、
   処理を実行させる記載内容認識プログラム。

Images