JP2020091748A - 端末装置、プログラム、画像管理方法 - Google Patents

Abstract

【課題】データ量が増大してしまうことを抑えつつ、文字情報を取得した基となる画像を把握することができる端末装置を提供する。【解決手段】帳票を連続して撮像するカメラから得られる複数のフレーム画像を取得するフレーム画像取得部と、前記複数のフレーム画像のそれぞれについて文字認識処理を行う文字認識部と、前記文字認識部によって得られた文字認識結果と、当該文字認識結果が得られたフレーム画像とを出力する認識データ管理部と、を有する。【選択図】図１

Description

本発明は、端末装置、プログラム、画像管理方法に関する。

携帯電話やスマートフォン等の端末装置によって運転免許証等の各種証明書を撮像して得られた撮像データと、当該撮像データを文字認識することで得られる文字情報とを用いて、各種申し込み手続を電子的に行なうことが行なわれている。端末装置のカメラで撮像して文字認識するものとしては、例えば、特許文献１に記載された携帯端末装置がある。この特許文献１の携帯端末装置においては、読み取り対象の文書を連続して撮像される間に得られる複数の文書画像について文字認識を行い、読み取り対象の項目名に対応する値を取得している。

特許第６３６４０５１号公報

しかしながら、上述の技術において、文書画像から文字情報を取得することで、各種申し込み手続を電子的に行うことができるが、申し込み手続に用いられた文字情報が、どのような文書画像から得られた文字情報であったかを確認することができない。例えば、文書画像に含まれる文字について誤りなく文字認識処理が行われて、文字情報が得られていたか否かを後から確認できた方が好ましい場合がある。
また、一般に、端末装置にて文字認識処理を行う場合には、ユーザにシャッターボタンを押してもらうことで撮像された画像データを対象として文字認識処理が行われるが、特許文献１のように、シャッターボタンを押すことなく撮像されている場合、例えば文字認識処理を行うために撮像された動画データを残すようにすると、データ量が増大してしまう。

本発明は、このような事情に鑑みてなされたもので、その目的は、データ量が増大してしまうことを抑えつつ、文字情報を取得した基となる画像を把握することができる端末装置、プログラム、画像管理方法を提供することにある。

（１）上述した課題を解決するために、本発明の一態様である端末装置は、帳票を連続して撮像するカメラから得られる複数のフレーム画像を取得するフレーム画像取得部と、前記複数のフレーム画像のそれぞれについて文字認識処理を行う文字認識部と、前記文字認識部によって得られた文字認識結果と、当該文字認識結果が得られたフレーム画像とを出力する認識データ管理部と、を有する。

（２）また、本発明の一態様である端末装置は、前記文字認識結果が得られたフレーム画像のうち保存条件を満たすフレーム画像を選択する選択部を有し、前記認識データ管理部は、前記文字認識結果と、前記選択部によって選択されたフレーム画像とを出力する。

（３）また、本発明の一態様であるプログラムは、コンピュータを、上記（１）または（２）に記載の端末装置として動作させるためのプログラムであって、前記コンピュータを前記端末装置が備える各部として機能させるためのプログラムである。

（４）また、本発明の一態様である画像管理方法は、フレーム画像取得部が、帳票を連続して撮像するカメラから得られる複数のフレーム画像を取得し、文字認識部が、前記複数のフレーム画像のそれぞれについて文字認識処理を行い、認識データ管理部が、前記文字認識部によって得られた文字認識結果と、当該文字認識結果が得られたフレーム画像とを出力する。

以上説明したように、この発明によれば、帳票を連続して撮像するカメラから得られる複数のフレーム画像のうち、文字認識部によって得られた文字認識結果と、当該文字認識結果が得られたフレーム画像とを出力するようにした。これにより、データ量が増大してしまうことを抑えつつ、文字情報を取得した基となる画像を把握することができる。

この発明の一実施形態による帳票データ管理システム１の構成を示す概略ブロック図である。 帳票データ記憶部２０１に記憶される情報の一例を示す図である。 端末装置１０の動作を説明するフローチャートである。 表示部１０２に表示される画面の一例を示す図である。

以下、本発明の一実施形態による端末装置を用いた帳票データ管理システムについて図面を参照して説明する。図１は、この発明の一実施形態による帳票データ管理システム１の構成を示す概略ブロック図である。
帳票データ管理システム１は、１つまたは複数の端末装置１０と帳票データ管理装置２０とがネットワーク３０を介して接続される。この図において端末装置１０は一例として１つだけ図示してある。

端末装置１０は、例えば、カメラを内蔵したスマートフォン、携帯電話、携帯情報端末（ＰＤＡ）、タブレットＰＣ等のうちいずれかを用いることができる。端末装置１０は、帳票データ管理装置２０または他のサーバからダウンロードした所定のアプリケーションソフトウェアを実行することで、帳票の撮像を行なって撮像データを生成して生成されたデータを帳票データ管理装置２０に送信し、銀行の口座開設や、各種保険の申し込み、各種サービスの会員登録等の手続を電子的に行なうことができる。

ここで、帳票は、例えば、運転免許証、保険証（健康保険証）、住民票等の公的機関が発行した書面や、上述の手続のサービスを行なうにあたり利用可能として指定された書面（例えば、電気やガスや水道等の料金の支払証明書、クレジット支払明細書など）であって、手続を申し込みするユーザの氏名や住所等が記載され、これら氏名や住所が正しいことを証明可能な書面である。また、書面としては、生命保険証券、自動車保険証券、健康診断票、名刺等を用いることも可能である。このような帳票を端末装置１０によって撮像し、文字認識処理を行なって、帳票から文字情報を取得することで、この文字情報を利用して各種申込手続等を電子的に行なうことができる。
例えば、この文字情報を利用することで、ユーザは、氏名や住所等の入力が必要な項目について自分自身で入力する必要がなく、得られた文字情報を確認して間違いが無いか否かを確認して、帳票データ管理装置２０に送信し、各種申込手続を進めることができる。また、ユーザによってタッチパネルやキーボード等を介して入力された氏名等の文字列と文字認識処理結果の文字情報とが一致するか否かの判定を行なうことで、ユーザの氏名等の入力情報が正しいかを判定するようにしてもよい。

端末装置１０は、カメラ１０１、表示部１０２、フレーム画像取得部１０３、記憶部１０４、文字認識部１０５、選択部１０６、認識データ管理部１０７、通信部１０８、及び制御部１０９を含んで構成され、ネットワーク３０を介して帳票データ管理装置２０と通信を行なう機能を有する。

カメラ１０１は、光学系であるレンズを介して撮像素子（例えばＣＣＤ（固体撮像素子））によって光を受光し、帳票等の被写体について、秒間１０から３０フレームのフレームレートで撮像を連続して行うことで、各フレームにおける撮像データをフレーム画像として生成する。すなわち、ユーザは、帳票を撮像するあたり、端末装置１０のアプリケーションプログラムを起動する指示を入力し、プレビュー画面を見ながら、撮影対象の帳票が撮像範囲内に収まるように端末装置１０を移動させることで、シャッターボタンを押すことなく、毎秒１０から３０フレームのフレーム画像を得るように操作することができる。この場合、ユーザは、シャッターボタンを押す必要がないため、いわゆる動画を撮影している感覚で撮影すればよく、また、特別な操作をする必要がない。

表示部１０２は、例えば液晶表示装置やタッチパネル等であり、カメラ１０１によって生成されたフレーム画像をプレビュー画面に表示する機能、各種情報を表示する機能を有する。

フレーム画像取得部１０３は、カメラ１０１から得られる複数のフレーム画像を取得する。ここで取得されるフレーム画像は、カメラ１０１によって生成されたフレーム画像のそれぞれであってもよいし、文字認識部１０５の文字認識処理の速度に応じて、一部のフレーム画像を抜粋して取得するようにしてもよい。
また、フレーム画像取得部１０３は、取得したフレーム画像を記憶部１０４のフレーム画像記憶部１０４１に記憶する。

記憶部１０４は、各種情報を記憶する。このフレーム画像記憶部１０４１は、フラッシュメモリ、ハードディスク、ＲＡＭ等のメモリの少なくとも１つを用いて構成することができる。記憶部１０４には、フレーム画像記憶部１０４１とアプリケーション記憶部１０４２とが設けられている。

フレーム画像記憶部１０４１は、フレーム画像取得部１０３が取得したフレーム画像を記憶する。
アプリケーション記憶部１０４２は、帳票データ管理装置２０または他のサーバからダウンロードした所定のアプリケーションソフトウェアを記憶する。このアプリケーションソフトウェアは、後述する制御部１０９によって読み出されて実行されることで、本実施形態における文字認識処理やフレーム画像の管理に関する機能を実行することができる。

文字認識部１０５は、フレーム画像記憶部１０４１に記憶されたフレーム画像について文字認識処理を行う。ここでは、文字認識部１０５は、フレーム画像記憶部１０４１に記憶されたフレーム画像を対象として文字認識処理をしてもよいし、フレーム画像取得部１０３から直接フレーム画像を得て、文字認識処理を行ってもよい。
また、文字認識部１０５は、フレーム画像記憶部１０４１に記憶されたフレーム画像を対象として文字認識処理を行う場合、例えば、第１フレーム画像がフレーム画像記憶部１０４１に記憶された後、次のフレーム画像である第２フレーム画像がフレーム画像取得部１０３によってフレーム画像記憶部１０４１に書き込まれる間に、文字認識部１０５は、第１フレーム画像を対象とした文字認識処理を実行して終了することができる。例えば、文字認識部１０５は、フレームレートが２０ｆｐｓである場合、１つのフレーム画像に対する文字認識処理の速度が５０ミリ秒未満程度で文字認識処理を行うことができる。また、カメラ１０１によってフレーム画像が生成されるフレームレートに対応する速度よりも文字認識部１０５の文字認識処理が遅い場合（フレームレートが２０ｆｐｓであって、１つのフレーム画像に対する文字認識処理の速度が５０ミリ秒を超える場合）には、フレーム画像取得部１０３は、カメラ１０１によって生成されるフレーム画像のうち、数枚おきにフレーム画像記憶部１０４１に記憶するようにしてもよい。これにより、文字認識部１０５が実施する文字認識処理を超えて必要以上にフレーム画像を記憶する必要がなくなり、記憶部１０４の記憶領域を削減することができる。
ただし、記憶部１０４の記憶領域を十分に確保できる場合、フレーム画像取得部１０３は、カメラ１０１によって生成される都度、フレーム画像記憶部１０４１に記憶するようにし、文字認識部１０５が、フレーム画像記憶部１０４１に記憶されたフレーム画像の中から、文字認識処理をする対象のフレーム画像を抽出して文字認識するようにしてもよい。

文字認識部１０５によって行われる文字認識処理は、公知のＯＣＲ処理を行うものであってよく、例えば、取得（抜粋）される画像（ＢＭＰ、ＪＰＥＧ等）の明るさ、ハイライトを調整して白黒二値化し、レイアウト解析し、罫線を除去し、文字を切り出し、パターン辞書、フォント辞書等を用いて文字認識し、文字認識された値を出力する。この出力される値としては、例えば、文字列を表す情報である。また、値としては、テキストデータを用いるようにしてもよい。また、文字認識部１０５は、認識された各文字の外接矩形の座標を出力することもできる。

ここで、申し込み手続によっては、撮影する対象の帳票が予め決められている場合がある。例えば、自動車運転免許証が撮影対象の帳票として定められている場合がある。このような場合、自動車運転免許証は、書式が決まっているため、帳票からカメラ１０１までの距離が一定範囲に収まるようにして撮像した場合、どの項目が画像のどの位置（座標）にあるかについて、特定することが可能である。そのため、文字認識部１０５は、申し込み手続に応じた定義情報を記憶するようにしてもよい。この定義情報は、項目名と、その項目名が存在しうる座標の範囲を対応づけたデータである。この定義情報を参照することで、文字認識部１０５は、特定の座標の範囲に記載された文字列について氏名、住所等の項目を特定した上で、その座標の範囲を対象として得られた値（文字列）を項目とともに取得することができる。

選択部１０６は、文字認識結果が得られたフレーム画像のうち保存条件を満たすフレーム画像を選択する。ここでいう保存とは、帳票から文字認識によって得られた値（文字列）について、その文字認識を行った対象の画像を文字認識処理がどのような画像を基におこなわれたかを証拠（根拠）として記憶装置に記憶しておくことである。この記憶先となる記憶装置は、この実施形態において、帳票データ管理装置２０である場合について説明するが、ネットワーク３０に接続された他のサーバの記憶装置であってもよい。また、端末装置１０の記憶部１０４に記憶しておき、帳票データ管理装置２０から参照要求を端末装置１０に送信し、端末装置１０が、この参照要求を受信した場合に、フレーム画像を帳票データ管理装置２０に送信するようにしてもよい。

また、保存条件とは、フレーム画像とそのフレーム画像から得られた文字情報とについて、保存するか否かを判定に用いられる条件である。この実施形態においては、文字認識処理は、フレーム画像が得られる毎に実施されるため、フレーム画像とそのフレーム画像に対する文字情報の組を複数得ることができる。そこで、フレーム画像と文字情報の組の全てを保存することもできるが、保存しておくことが好ましいフレーム画像を選択し、そのフレーム画像と文字情報の組を保存することができる。これにより、後から確認する対象のフレーム画像が増大してしまうことを低減することができる。
ここで、保存条件は任意の条件を用いることができるが、例えば、下記のいずれか１つまたは複数の条件の組み合わせを用いることができる。

（ａ）文字認識処理によって文字情報を得ることができたフレーム画像であること
文字認識処理によって文字情報が得られなかったフレーム画像については、保存対象から除外することで、不要な画像を保存する必要がなくなり、データ量が増大してしまうことを抑えることができる。例えば動画データそのものを保存する場合に比べてデータ量を大幅に低減することができる。

（ｂ）帳票全体が撮影範囲内に収まるフレーム画像であること
帳票全体が撮影範囲内にあるか否かについては、例えば、帳票の外周が撮影範囲内にあるか否かを判定することで検出することができる。帳票の外周は、帳票が置かれた背景（例えば、帳票がテーブルに置かれた場合には、テーブルの画像）との画素値の差が所定以上である場合に、外周であると検出することができる。
帳票の外周が撮影範囲に収まっている場合には、帳票の全体がフレーム画像として得られているため、読み取り対象となる項目のそれぞれについて、フレーム画像に含まれた状態で保存することができる。すなわち、読み取り対象となる項目のうち一部の項目が撮像範囲から外れてしまっている場合には、後から読み取り対象となった項目の画像を後から確認することができないため、そのような画像を除外することができる。
また、帳票全体が撮影範囲にあるか否かについては、帳票の複数の頂点のうちいずれか２点が撮影範囲に収まるフレーム画像を用いることもできる。帳票の外周は一般に矩形状であるため、その帳票の４つの頂点のうち、例えば、対角線上に位置する頂点が撮影範囲に収まるように撮像された場合には、帳票の全体が撮影範囲に収まるように撮像されている。これにより、読み取り対象の項目についていずれもフレーム画像に収まる。

（ｃ）帳票の中央部分が撮影範囲の中央部分にあるフレーム画像であること
帳票の中央部分が撮影範囲の中央にあるようにして撮影されている場合、帳票にある複数の読み取り対象の項目について、１つのフレーム画像内に収まっている可能性が高い。そのため、読み取り対象の項目が複数あったとしても、それら複数の読み取り対象の項目が１つのフレーム画像に含まれるようにして撮像されている可能性が高い。例えば、帳票の読み取り対象となる複数の項目が、帳票の中央から近い位置にいずれも配置されている場合には、帳票の中央近傍の項目が撮影範囲の中央に位置するようにして文字認識が行われると、たいていの場合、他の項目も撮像領域に入る。また、申し込み手続によっては、撮像対象としての帳票の種別が決まっており、その種別が予め解ることで、読み取り対象の項目の座標位置を予め把握することができ、また、撮像する際の帳票からカメラ１０１までの距離の範囲も決まっている（例えば数十センチメートルの範囲）ため、所定の項目が撮像範囲の中央に配置された状態で撮像されていれば、他の項目についても撮影範囲に収まっていると推定することができる。

（ｄ）文字認識処理にて取得する対象の項目のうち、所定の項目について１つのフレーム画像から文字情報を得ることができたフレーム画像であること
ここで所定の項目としては、例えば、３つの項目等、項目の数としてもよいし、「氏名」と「生年月日」等、項目そのものが指定されていてもよい。
例えば、読み取り対象の項目が複数ある場合、その項目毎に異なるフレーム画像から文字認識を行うと、複数のフレーム画像を保存する必要が生じるため、保存する対象のフレーム画像の数が増大する。
例えば、項目の数を用いる場合、複数の項目が１つのフレーム画像に写った状態のフレーム画像を保存することができ、保存するフレーム画像の数を低減することができる。
また、例えば、「氏名」、「住所」、「生年月日」が順に並んで配置された帳票を対象として文字認識処理をする場合、「氏名」と「生年月日」とが１つのフレーム画像に収まっている場合には、「氏名」と「生年月日」との間に「住所」が写っていることとなる。そのため、特定の項目を対象とすることで、必要な項目が写っているフレーム画像を保存することができる。

（ｅ）いくつかのフレーム画像で特定の複数の項目について文字情報が得られること
帳票の外周がカメラの撮像範囲に収まらないサイズであって、帳票の紙面に沿ってカメラを移動させつつ撮像する場合、撮像範囲が異なるようにして帳票が連続的に撮像される。このような場合、１つのフレーム画像で特定の複数の項目が得られないために複数のフレーム画像を必要となる。そのため特定の複数の項目について文字情報を得るために用いられた複数のフレーム画像が保存する。

（ｆ）ユーザによって選択されたフレーム画像であること
いくつかのフレーム画像のうち、特定の項目が撮影範囲の中央に位置するように撮像されたフレーム画像や、必要な項目の全てが写っているフレーム画像を選択してもらう。

このように、保存条件は複数あるが、例えば、条件（ｃ）と条件（ｄ）を組み合わせて用いる場合には、例えば、３つの項目について文字情報を得ることができ、かつ、その３つの項目のうち所定の項目が撮像範囲の中央に位置するフレーム画像を保存対象とすることができる。

また、保存する対象のフレーム画像は、カメラ１０１によって撮像された撮影範囲内のデータであればよい。例えば、カメラ１０１によって撮影された領域のそのままのサイズであってもよいし、フレーム画像から文字認識を行った領域を切り出して保存するようにしてもよい。

認識データ管理部１０７は、文字認識部１０５によって得られた文字認識結果と、当該文字認識結果が得られたフレーム画像とを出力する。この出力は、例えば、通信部１０８によってネットワーク３０を介して帳票データ管理サーバ出力する。
また、認識データ管理部１０７は、文字認識結果と、選択部１０６によって選択されたフレーム画像とを出力することもできる。

通信部１０８は、端末装置１０の外部の機器（例えば、帳票データ管理装置２０）と通信を行う。また、通信部１０８は、認識データ管理部１０７の制御のもと、ユーザ識別情報、フレーム画像、文字情報を帳票データ管理装置２０に送信する。

制御部１０９は、端末装置１０内の各部を制御する。また、制御部１０９は、カメラ１０１によって帳票を撮像する場合に、撮影ガイド枠を表示部１０２の表示画面に表示させることもできる。この撮影ガイド枠は、帳票に対する文字認識処理を行うにあたり、撮像画像に重畳させるようにして表示される矩形状の図形である。この撮影ガイド枠は、帳票を撮影する際に、帳票の外周の端部が、この撮影ガイド枠の内周に収まる程度であって、撮影ガイド枠に近い位置となるように撮影された場合に、文字認識処理による文字認識精度が高くなるようなサイズに設定される。例えば、帳票とカメラ１０１との距離が離れすぎていると、帳票に記載された文字等のサイズも小さくなり、正しく文字認識を行うことができなくなり、一方で、近すぎると、焦点が合わなくなったり、あるいは、文字認識したい対象の文字列がカメラの撮像領域内に収まらない場合がある。そこで、このよう撮影ガイド枠を表示することで、ユーザに対し、端末装置１０に対する帳票の相対位置をどのようにすればよいかを直感的に認識してもらうことができ、文字認識率が低下してしまわないようにし、かつ、ユーザにとって撮影しやすい環境を提供することができる。また、帳票の輪郭部分（上端、下端、左端、右端）撮影ガイド枠の上部側と下部側、左側と右側の直線部分にそれぞれ平行となるように、端末装置１０を帳票の紙面と平行な面において回転させることで、カメラ１０１の撮像領域（フレーム画像）に対する帳票の文字列が並ぶ方向の傾きを低減させることができる。
また、ここでは、撮影ガイド枠を表示するだけでなく、「確認カードが枠線に収まるように位置を合わせて下さい」等のメッセージも表示するようにしてもよい。

帳票データ管理装置２０は、帳票データ記憶部２０１を有し、例えば、Ｗｅｂサーバとしてネットワーク３０に接続される。

図２は、帳票データ記憶部２０１に記憶される情報の一例を示す図である。
帳票データ記憶部２０１は、ユーザ識別情報、帳票識別情報、帳票画像、文字情報とを対応付けて記憶する。
ユーザ識別情報は、ユーザを個別に識別する情報である。ユーザ識別情報は、例えば、端末装置１０の電話番号、端末装置１０の個体識別番号等を用いてもよいし、端末装置１０を用いて帳票データ管理装置２０にログインをして手続等の申し込みをする場合には、ログインする際のユーザＩＤを用いてもよい。
帳票識別情報は、端末装置１０から送信されるフレーム画像を個別に識別することが可能な情報であり、例えば、端末装置１０から受信した際に、帳票データ管理装置２０が個別の識別情報を割り当てて、帳票画像とともに記憶するようにしてもよい。
帳票画像は、端末装置１０から送信されたフレーム画像である。
文字情報は、フレーム画像に対して文字認識処理を行うことで得られた情報であり、項目と項目に対する値を含む。項目は氏名、住所等の項目の名称であり、値は、文字認識によって得られた結果であり、たとえば、文字、数字、記号等である。

次に、上述の端末装置１０の動作について図３、図４を用いて説明する。図３は、端末装置１０の動作を説明するフローチャート、図４は、表示部１０２に表示される画面の一例を示す図である。ここでは、読み取る対象の帳票として、自動車運転免許証と同じ程度の大きさであり、公的機関によって発行された通知カードを対象とした場合について説明する。
端末装置１０の制御部１０９は、帳票文字認識モードが起動されると、カメラ１０１を起動する（ステップＳ１０１）。カメラ１０１は、起動すると、撮像範囲にある物体を撮像し、フレーム画像を生成する。例えば、フレームレートが２０ｆｐｓである場合には、５０ミリ秒毎にフレーム画像が生成される。表示部１０２は、カメラ１０１によってフレーム画像が生成される毎に順次表示する。表示部１０２には、例えば、あるフレーム画像において、図４の符号５００に示すような画面が表示される。ここでは、表示部１０２は、撮像領域全体の画像を表示するとともに、制御部１０９は、表示部１０２に撮影ガイド枠（符号５１０）を表示させる。
表示部１０２に撮影ガイド枠及びフレーム画像が表示されることで、ユーザは、読み取り対象の帳票がカメラの撮像範囲あるいは撮影ガイド枠に収まるように、帳票に対する端末装置１０の位置を移動させる。例えば、帳票の書面に沿って、帳票の上端側、下端側、左端側、右端側等への移動、帳票の書面に対するカメラ１０１までの距離を近づける、あるいは遠ざけるような移動、カメラの撮像範囲に対する帳票の傾きを無くすような回転方向への移動等が行われる。

フレーム画像取得部１０３は、カメラ１０１によって生成されたフレーム画像を取得して（ステップＳ１０２）、フレーム画像記憶部１０４１に記憶する。フレーム画像記憶部１０４１にフレーム画像が記憶されると、文字認識部１０５は、フレーム画像記憶部１０４１に記憶されたフレーム画像を読み出し、このフレーム画像を対象として文字認識処理を行う（ステップＳ１０３）。
文字認識部１０５は、定義情報を読み出す。ここでは、申し込み手続に応じて読み取り対象の帳票の種別が決まっているため、その種別に応じた定義情報を読み出す。そして、文字認識部１０５は、定義情報を用いて文字認識処理を実行する。これにより、取得したい対象の項目毎に文字列を抽出することが可能である。

次に文字認識部１０５は、文字認識処理によって読み取りが成功したか否かを判定する（ステップＳ１０４）。例えば、文字認識部１０５は、読み取り対象の項目に対する文字列が記載された領域から文字を抽出することができたか否かを判定する。文字の抽出をすることができなかった場合、文字認識部１０５は、読み取りが成功しなかったと判定し、その文字認識の対象となったフレーム画像をフレーム画像記憶部１０４１から削除する。フレーム画像を削除すると、制御部１０９は、処理をステップＳ１０２に移行する。

文字認識部１０５は、文字の読み取りが成功した場合、文字認識処理によって得られた値と、得られた項目とを、文字認識処理を行ったフレーム画像に対応づけてフレーム画像記憶部１０４１に記憶する（ステップＳ１０４）。
次に、選択部１０６は、フレーム画像記憶部１０４１に記憶された情報を参照し、保存条件を満たすフレーム画像があるか否かを判定する（ステップＳ１０６）。この保存条件は、任意の保存条件を用いることができるが、例えば、申し込み手続に応じて保存条件が予め決められていてもよい。

保存条件を満たすフレーム画像がない場合、制御部１０９は、処理をステップＳ１０２に移行する。
ここで、選択部１０６は、保存条件を満たしていないと判定されたフレーム画像とその文字情報とをフレーム画像記憶部１０４１から削除するようにしてもよい。

一方、保存条件を満たすフレーム画像がある場合、認識データ管理部１０７は、フレーム画像記憶部１０４１に記憶された情報のうち、保存条件を満たすと判定されたフレーム画像とこのフレーム画像から得られた文字情報を、ユーザ識別情報とともに通信部１０８によって帳票データ管理装置２０に送信する（ステップＳ１０７）。

認識データ管理部１０７は、フレーム画像等のデータを帳票データ管理装置２０に送信した後は、フレーム画像記憶部１０４１に記憶されたフレーム画像や文字情報を削除するようにしてもよい。

帳票データ管理装置２０は、端末装置１０から受信したフレーム画像とこのフレーム画像から得られた文字情報とユーザ識別情報とを帳票データ記憶部２０１に記憶する。

上述した実施形態によれば、保存条件を満たすフレーム画像を選択し、文字情報とともに保存するようにしたので、保存するデータ量が増大してしまうことを抑えつつ、文字情報を取得した基となる画像を把握することができる。また、保存条件を満たすフレーム画像を選択した上で、帳票データ管理装置２０に送信するようにしたので、端末装置１０から帳票データ管理装置２０に送信するデータの通信量も増大しないように低減することができる。

なお、上述した実施形態において、フレーム画像取得部１０３、文字認識部１０５、選択部１０６、認識データ管理部１０７、通信部１０８、制御部１０９等の各部の機能をＣＰＵ（中央処理装置）等の処理装置若しくは専用の電子回路で構成するようにしてもよい。

上述した実施形態における端末装置１０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 帳票データ管理システム
１０ 端末装置
２０ 帳票データ管理装置
３０ ネットワーク
１０１ カメラ
１０２ 表示部
１０３ フレーム画像取得部
１０４ 記憶部
１０５ 文字認識部
１０６ 選択部
１０７ 認識データ管理部
１０８ 通信部
１０９ 制御部
１０４１ フレーム画像記憶部
１０４２ アプリケーション記憶部

Claims (4)

1. 帳票を連続して撮像するカメラから得られる複数のフレーム画像を取得するフレーム画像取得部と、
   前記複数のフレーム画像のそれぞれについて文字認識処理を行う文字認識部と、
   前記文字認識部によって得られた文字認識結果と、当該文字認識結果が得られたフレーム画像とを出力する認識データ管理部と、
   を有する端末装置。
2. 前記文字認識結果が得られたフレーム画像のうち保存条件を満たすフレーム画像を選択する選択部を有し、
   前記認識データ管理部は、
   前記文字認識結果と、前記選択部によって選択されたフレーム画像とを出力する
   請求項１記載の端末装置。
3. コンピュータを、請求項１または請求項２に記載の端末装置として動作させるためのプログラムであって、前記コンピュータを前記端末装置が備える各部として機能させるためのプログラム。
4. フレーム画像取得部が、帳票を連続して撮像するカメラから得られる複数のフレーム画像を取得し、
   文字認識部が、前記複数のフレーム画像のそれぞれについて文字認識処理を行い、
   認識データ管理部が、前記文字認識部によって得られた文字認識結果と、当該文字認識結果が得られたフレーム画像とを出力する
   画像管理方法。

Images