JP2019120984A - 帳票データ管理装置、帳票データ管理方法 - Google Patents

Abstract

【課題】撮像画像を文字認識する際に生じる通信や文字認識処理にかかる時間を低減する帳票データ管理装置を提供する。【解決手段】帳票が撮像された帳票画像と、当該帳票画像の一部の領域が指定された画像である部分画像とを受信する画像受信部と、前記帳票画像を記憶する帳票データ記憶部と、前記部分画像を外部機器に送信し、当該外部機器から送信される、前記部分画像を文字認識した結果である文字情報を取得する文字情報取得部と、前記取得された文字情報を前記記憶された帳票画像に対応付けて前記帳票データ記憶部に記憶する文字情報書込部とを有する。【選択図】図１

Description

本発明は、帳票データ管理装置、帳票データ管理方法に関する。

スマートフォン等の端末装置のカメラで撮像された帳票の画像データと、この画像データからＯＣＲ（Optical Character Recognition/Reader、光学的文字認識）によって得られた文字列とをサーバ上に記憶することで、帳票のデータを活用可能に保存するサービスがある。このようなシステムでは、端末装置によって帳票を撮像し、撮像画像をネットワーク上に設けられたＷｅｂサーバに送信する。この撮像画像は、ＷｅｂサーバからＯＣＲサーバに送信され、この撮像画像がＯＣＲ処理されることで、帳票内に記述された文字を認識し、認識結果として得られる文字列データをＷｅｂサーバに送信する。Ｗｅｂサーバは、文字列データと撮像画像とを対応づけて記憶する。このように保存されたデータは、例えば、銀行の口座開設や、各種保険の申込、各種サービスの会員登録等に用いることができる。
また、身分証明書を撮像した画像情報からＯＣＲによって文字情報を読取ることで、上記身分証明書における本人確認のための情報を抽出するものもある（例えば、特許文献１参照）。画像情報から文字情報を読み取ることで、ユーザは、自分の氏名や住所等をテキスト入力する手間を省くことができる。

特開２０１５−０４５９１０号公報

しかしながら、ＯＣＲの読取り精度を向上させるために、カメラでの撮像は、高い解像度（例えば最高画質）に設定される。このため、撮像対象の帳票がＡ４サイズなど、比較的大きなサイズの書類である場合、撮像画像のデータサイズが大きくなる。これに伴い、ＷｅｂサーバからＯＣＲサーバに送信される画像データのサイズも大きくなり、通信の負荷が大きくなり、また、ＯＣＲサーバにおける読取り時間も長引いてしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、撮像画像を文字認識する際に生じる通信や文字認識処理にかかる時間を低減する帳票データ管理装置、帳票データ管理方法を提供することにある。

上述した課題を解決するために、本発明は、帳票が撮像された帳票画像と、当該帳票画像の一部の領域が指定された画像である部分画像とを受信する画像受信部と、前記帳票画像を記憶する帳票データ記憶部と、前記部分画像を外部機器に送信し、当該外部機器から送信される、前記部分画像を文字認識した結果である文字情報を取得する文字情報取得部と、前記取得された文字情報を前記記憶された帳票画像に対応付けて前記帳票データ記憶部に記憶する文字情報書込部とを有する。

また、本発明は、画像受信部が、帳票が撮像された帳票画像と、当該帳票画像の一部の領域が指定された画像である部分画像とを受信し、文字情報取得部が、前記部分画像を外部機器に送信し、当該外部機器から送信される、前記部分画像を文字認識した結果である文字情報を取得し、文字情報書込部が、前記取得された文字情報を前記受信した帳票画像に対応付けて前記帳票データ記憶部に記憶する帳票データ管理方法である。

以上説明したように、この発明によれば、帳票画像に基づくデータを記憶するにあたり、帳票画像のうち部分画像を外部機器に送信し、当該部分画像に基づく文字認識結果である文字情報を帳票画像とともに記憶するようにした。これにより、帳票画像そのものを対象として文字認識する必要がなくなるので、外部機器との間における通信量を低減できることで、通信時間を削減することができ、また、文字認識が不要な領域を予め除外した上で文字認識することができるため、文字認識に係る時間が削減でき、文字認識が不要な領域に起因して生じるノイズを減少させることで読取り精度を向上させることができる。

この発明の一実施形態による帳票データ管理システム１の構成を示す概略ブロック図である。 帳票データ記憶部２０２に記憶される情報の一例を示す図である。 帳票データ管理システム１の動作を説明するフローチャートである。 端末装置１０に表示される画面の一例を示す図である。

以下、本発明の一実施形態による帳票データ管理装置を用いた帳票データ管理システムについて図面を参照して説明する。図１は、この発明の一実施形態による帳票データ管理システム１の構成を示す概略ブロック図である。
帳票データ管理システム１は、複数の端末装置１０（１１）と帳票データ管理装置２０とＯＣＲサーバ３０とがネットワーク４０を介して接続される。

端末装置１０、端末装置１１は、例えば、スマートフォンや携帯電話等であり、銀行の口座開設や、各種保険の申込、各種サービスの会員登録等の手続を、ネットワークに接続されたサービス提供サーバに接続するか、当該サービス提供サーバからダウンロードした所定のアプリケーションを実行することで、行なうことができる。サービス提供サーバに接続して申込手続を行なう場合、アプリケーションをダウンロードして実行することなく、サービス提供サーバから送信されるコマンド等の制御信号に基づいて、後述するカメラ機能の起動や撮像等の制御を行なうこともできる。以下、端末装置１０の機能について説明するが、端末装置１１においても同様の機能を有する。

端末装置１０は、カメラや、カメラで撮像された画像の一部の領域を指定する入力装置が設けられており、ネットワーク４０を介して帳票データ管理装置２０と通信をすることで上述の手続を行なうことができる。より具体的に、端末装置１０は、帳票をカメラで撮像することで帳票画像を生成し、タッチパネルやテンキーなどを介して入力される操作内容に基づいて、この帳票画像の一部の領域が指定されると、指定された領域内の画像を部分画像として帳票画像とは別に生成する。このとき、端末装置１０は、帳票を撮像する際に例えば、画質設定を、撮像可能な最高画質（単位面積あたりの画素数が最も多い）に設定した上で撮像し、操作入力に応じて部分画像を生成し、部分画像と帳票画像とを帳票データ管理装置２０に送信する。端末装置１０は、部分画像と帳票画像とを帳票データ管理装置２０に送信する際、帳票画像については、部分画像よりも低い画質となるように帳票画像の縦および横のサイズを縮小（圧縮）する処理を実行してから送信する。ただし、送信先である帳票データ管理装置２０において縮小機能がある場合には、そのまま送信してもよい。

ここで帳票は、免許証、保険証、住民票等の公的機関が発行した書面や、上述の手続のサービスを行なうにあたり利用可能として指定された書面（例えば、電気やガスや水道等の料金の支払証明書、クレジット支払明細書など）であって、手続を申し込みするユーザの氏名や住所等が記載され、これら氏名や住所が正しいことを証明可能な書面である。
ユーザは、帳票画像が撮像されると、帳票画像のうち、自身の氏名、住所、郵便番号等の必要な文字列を含むようにした領域を指定する。端末装置１０は、この指定された領域内の画像を部分画像として生成する。

帳票データ管理装置２０は、画像受信部２０１と、帳票データ記憶部２０２と、文字情報取得部２０３と、文字情報書込部２０４とを有する。この帳票データ管理装置２０は、例えば、Ｗｅｂサーバとしてネットワーク４０に接続される。
画像受信部２０１は、帳票が撮像された帳票画像と、当該帳票画像の一部の領域が指定された画像である部分画像とを端末装置１０から受信する。
帳票データ記憶部２０２は、帳票画像等を記憶する。
文字情報取得部２０３は、部分画像を外部機器（ここではＯＣＲサーバ３０）に送信し、当該ＯＣＲサーバ３０から送信される、部分画像を文字認識した結果である文字情報を取得する。この文字情報は、例えば、部分画像に含まれる文字情報が文字認識されることで生成されるテキスト情報が含まれており、例えば、ユーザの氏名や住所、郵便番号等を表す文字列が含まれる。

ここで、ＯＣＲサーバ３０に送信される部分画像の画質は、帳票データ記憶部２０２に記憶される帳票画像の画質よりも高画質である。すなわち、ＯＣＲサーバ３０に送信される部分画像の単位面積あたりの画素数は、帳票データ記憶部２０２に記憶される帳票画像の単位面積あたりの画素数よりも多い。
文字情報書込部２０４は、取得された文字情報を帳票データ記憶部２０２に記憶された帳票画像に対応付けて当該帳票データ記憶部２０２に記憶する。

ＯＣＲサーバ３０は、帳票データ管理装置２０からネットワーク４０を介して部分画像を受信し、受信した部分画像を対象として文字認識処理（ＯＣＲ処理）を行なうことで文字情報を生成し、帳票データ管理装置２０に送信する。

ネットワーク４０は、インターネットやＬＡＮ（ローカルエリアネットワーク）等であり、一部に無線の区間があってもよい。

図２は、帳票データ記憶部２０２に記憶される情報の一例を示す図である。帳票データ記憶部２０２は、ユーザ識別情報、帳票識別情報、帳票画像とを対応付けて記憶する。ユーザ識別情報は、ユーザを個別に識別する情報であり、端末装置１０を用いて帳票データ管理装置２０にログインする際のユーザＩＤを用いてもよいし、端末装置１０の電話番号、端末装置１０の個体識別番号等であってもよい。
帳票識別情報は、端末装置１０や端末装置１１から送信される帳票画像を個別に識別することが可能な情報であり、例えば、端末装置１０（あるいは端末装置１１）から受信した際に、帳票データ管理装置２０が個別の番号を割り当てて、帳票画像とともに記憶するようにしてもよい。
帳票画像は、端末装置１０や端末装置１１から送信された画像データである。
文字情報は、帳票画像に対応する部分画像からＯＣＲサーバ３０によって生成された文字情報である。

次に、帳票データ管理システム１の動作について図３のフローチャートを用いて説明する。
ユーザは、各種サービスの申込を行なうにあたり、免許証や保険証等の必要な帳票を用意し、予め端末装置１０にダウンロードしておいたサービス申込のアプリケーションを実行する。端末装置１０は、アプリケーションを実行すると、ユーザＩＤやパスワード等の入力を受付け、帳票データ管理装置２０との間でログイン処理をし、ログインが正常に認証されると、カメラによる撮像機能を起動し、画質を最高モードに設定する。ここでは、ログインを行わなくてもサービス申込手続を行なうことができる場合には、ログイン処理を行なうことなく、カメラによる撮像機能が起動され、画質が最高モードに設定される。ユーザによって、撮像範囲内に帳票全体が収まるように調整された上で撮像ボタンが押されると、端末装置１０は、帳票を撮像し（ステップＳ１０１）、帳票画像を生成する。次に端末装置１０は、帳票画像の一部の領域を選択するための選択領域の指定の入力を受付ける。ここでは、端末装置１０は、選択領域の指定を受付けるモードに移行した際、帳票画像の一部を拡大表示する。例えば、端末装置１０は、撮像対象が免許証であり、ユーザの氏名や住所等の文字情報として必要な文字列が記載された領域の位置が予め決まっている場合には、それらの文字列が記載された領域を含む範囲（例えば、免許証の上半分の領域）を拡大表示する。ユーザは、拡大表示された画面を視認し、氏名と住所が含まれるようにした領域をタッチパネルを介して指定する。この領域の指定は、例えば、拡大表示された画面に表示される選択領域を指定するガイド枠の画像を表示し、その枠の画面上の位置やサイズを変更する入力を受け付け、決定ボタンが押下されると、そのガイド枠内の画像が部分画像として生成される（ステップＳ１０２）。

ここで、端末装置１０は、撮像対象が予め決まっている場合には、帳票画像の一部を拡大する際に、文字情報として必要な文字列が記載された領域を含むようにした拡大画像を表示することができるが、帳票の種類が予め決まっていない場合（任意の帳票が撮像可能な場合）には、帳票画像の左上部分など、所定の領域を拡大表示した上で、「氏名、住所を含むように範囲を移動してください」等のメッセージを画面上に表示し、拡大表示する領域をユーザによってタッチパネルを介して操作入力してもらうことで、帳票画像における拡大表示する対象領域を移動することで、氏名や住所が含まれた領域を含むようにして拡大表示するようにしてもよい。

このように、拡大表示をしたあとで、ユーザから部分画像とする対象の領域を指定してもらうことで、拡大表示しない場合に比べて、部分画像の対象領域の範囲を指定しやすくすることができ、ユーザにとって操作性が向上する。すなわち、帳票画像のままだと、帳票のレイアウトによっては、帳票全体に対して氏名や住所が記載された領域が小さい場合には、部分画像に含めなくてよい領域が多く含まれたり、あるいは必要な部位が含まれなかったりする場合があり、部分画像の指定がしにくい場合がある。そのため、拡大表示した上で範囲指定をしてもらうことで、部分画像の対象領域を指定しやすくなる。

端末装置１０は、帳票画像と部分画像が生成されると、帳票画像の縦および横のサイズを縮小した上で、この帳票画像と部分画像とを帳票データ管理装置２０に送信する（ステップＳ１０３）。ここでは、帳票画像のサイズを縮小してから送信するようにしたので、端末装置１０から帳票データ管理装置２０に帳票画像の送信にかかる通信量や通信時間を削減することができる。

帳票データ管理装置２０の画像受信部２０１は、ログインしている端末装置１０から、帳票画像と部分画像を端末装置１０から受信すると、帳票画像に帳票識別情報を発行した上で、ユーザ識別情報と帳票識別情報と帳票画像とを帳票データ記憶部２０２に記憶する（ステップＳ２０１）。ユーザ識別情報は、端末装置１０が帳票データ管理装置２０にログインした際のユーザＩＤを用いてもよいし、ログイン処理を行なうことなく申込手続を行なうことができる場合には端末装置１０の電話番号、端末装置１０の個体識別番号等を用いることができる。
文字情報取得部２０３は、受信した帳票画像と部分画像とのうち、部分画像を帳票識別情報とともにＯＣＲサーバ３０に送信する（ステップＳ２０２）。

ＯＣＲサーバ３０は、部分画像と帳票識別情報とを受信すると、部分画像を対象として文字認識処理を行ない、部分画像に文字列を示すテキスト情報を生成し（ステップＳ３０１）、生成されたテキスト情報を文字情報として、帳票識別情報とともに帳票データ管理装置２０に送信する（ステップＳ３０２）。

帳票データ管理装置２０の文字情報取得部２０３は、ＯＣＲサーバ３０から送信される文字情報と帳票識別情報とを受信し（ステップＳ２０３）、受信した帳票識別情報に応じた帳票画像に対応付けて文字情報を帳票データ記憶部２０２に記憶する（ステップＳ２０４）。

図４は、端末装置１０に表示される画面の一例を示す図である。図４（ａ）においては、帳票画像が撮像された後の画面を表す。この図において、端末装置１０の表示画面（符号ａ）には、帳票画像（符号ｂ）の全体が表示されており、さらに、拡大画像の対象となる範囲がガイド枠（符号ｃ）によって表示されている。この状態において、ユーザによって帳票画像が正しく撮像できたことが確認され、確認完了を示すタッチ入力がなされると、拡大画像を表示する。

図４（ｂ）は、図４（ａ）において、ガイド枠によって指定された領域を拡大画像として表示された場合の画面を示す図である。端末装置１０の表示画面（符号ａ）には、拡大画像（符号ｂ）が表示される。さらに、部分画像として抽出する対象となる領域を指定するガイド枠（符号ｃ）が表示される。このガイド枠は、氏名と住所とを含む範囲であり、拡大画像における帳票の他の情報がなるべく含まれないようにした矩形形状の領域を表している。この図に例においては、生年月日に相当する文字列も含むような範囲がガイド枠内に収まっているが、免許証の交付日や、有効期限、顔写真の一部等の領域が除外されているため、文字認識する上で必要のない情報は概ね除外されている。なお生年月日については、ＯＣＲサーバ３０において、文字認識した後の文字列から除外した上で、文字情報として帳票データ管理装置２０に送信すればよい。ここでは、図４（ａ）のように帳票全体を表示した状態において部分画像の範囲を指定する場合に比べて、図４（ｂ）のように、拡大画像において部分画像の領域を指定する方が、画像が拡大されているため、範囲の指定がし易い。

上述したように、帳票画像のうち部分画像をＯＣＲサーバ３０に送信するようにしたので、サイズの縮小をすることなく帳票画像の全体を送信する場合に比べて、通信量及び通信時間を削減することができる。また、文字認識する対象の領域のサイズが帳票画像全体ではなく、部分画像であるため、文字認識が不要な領域を予め除外した上で文字認識することができるため、文字認識する上でのノイズとなり得る画像を削減した上で文字認識するようにしたため、ノイズが含まれにくい状況において文字認識でき、文字認識の精度を向上させることができる。
また、ＯＣＲサーバ３０において帳票画像全体を対象とするより部分画像を対象とすることで、処理対象の画像のデータサイズが少なくすむため、ＯＣＲサーバ３０における使用メモリの量を削減することができる。
また、部分画像を対象として文字認識することで、文字情報として用いる必要のない文字列が含まれた領域を文字認識の対象外にすることができるため、文字認識にかかる処理時間を短縮することができる。

また、帳票データ管理装置２０において、縦および横のサイズを縮小した帳票画像を帳票データ記憶部２０２に記憶するようにしたので、帳票データ記憶部２０２において必要な記憶領域を削減することができる。ここで記憶（保存）される帳票画像は、確認が必要になった段階で読み出され、画面上に表示されることで、各種サービスの提供者が視認によって内容を確認できる程度の画像サイズであればよい。すなわち、帳票画像に基づく文字認識処理は、帳票画像に対応する部分画像（高画質）によって実行されるため、帳票画像そのものが高画質（例えば縦および横のサイズが大きいままの状態）である必要がなく、事後的に各種サービスの提供者が、帳票の記載内容を確認できる程度に圧縮されていても問題がない。

なお、上述した実施形態において、部分画像は、ユーザによって選択された領域に基づいて生成される場合について説明したが、撮像対象の帳票が予め決められており、帳票が撮像範囲のうち所定の範囲に対応するように撮像される場合には、部分画像とする対象の領域をユーザに選択してもらうことなく、端末装置１０のアプリケーションが選択するようにしてもよい。例えば、カメラ機能にて撮像する際に、端末装置１０の画面上に表示されるシャッターを切る前の段階において画面上に表示されているカメラ画像に対して、帳票のサイズに応じた輪郭画像を表示し、この輪郭画像と帳票の外周が一致するようにしてユーザに撮像してもらう。これにより、端末装置１０は、撮像された帳票画像のうち予め決められた範囲の領域を部分画像として抽出する。例えば、帳票画像の左上の頂点部分から右側に予め決められた画素数だけ離れた画素であって、かつ、下側に予め決められた画素数だけ離れた画素を基点として、所定のサイズの領域を部分画像として抽出するようにしてもよい。例えば、免許証は、日本国においてはサイズやレイアウト、氏名や住所が記載される位置が決まっているため、予め決められた撮影方法に沿って撮影された場合には、ユーザが指定することなく部分画像を得ることが可能である。

また、上述の実施形態において、帳票データ記憶部２０２は、さらに、帳票画像のうち部分画像が生成された領域を表す座標データを記憶するようにしてもよい。この座標データは、例えば、帳票画像のうち部分画像が指定された際の座標位置を保持しておき、帳票画像のサイズが縮小された際に、同じようにサイズを縮小した際の座標を座標データとして得る。これにより、帳票画像のうちどの部分に基づいて文字情報が生成されたかを後から把握することが可能である。例えば、帳票画像の中に複数人の氏名あるいは住所が記載されている場合、どの氏名や住所を対象として生成された文字情報であるかを簡単に把握することができる。これにより、文字情報と帳票画像との関係が正しいか否か等の確認も簡単に行なうことができる。

また、上述した実施形態において、撮像画像に基づく文字認識処理は、ＯＣＲサーバ３０が行なう場合について説明したが、端末装置１０に撮像画像に基づく文字認識処理を行なう機能を設け、端末装置１０において文字認識処理を行なうようにしてもよい。この場合、撮像画像をＯＣＲサーバ３０に送信しなくて済むため通信の負荷を低減することができる。また、端末装置１０において部分画像を対象として文字認識処理を行なうことで、帳票画像の全体を対象として文字認識処理を行なわずに済むため、文字認識処理にかかる時間が長引いてしまうことを低減し、文字認識が不要な領域に起因して生じるノイズを減少させ読取り精度を向上することができる。

上述した実施形態における端末装置１０、帳票データ管理装置２０をそれぞれ、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…帳票データ管理システム,１０、１１…端末装置,２０…帳票データ管理装置,３０…ＯＣＲサーバ,４０…ネットワーク,２０１…画像受信部,２０２…帳票データ記憶部,２０３…文字情報取得部,２０４…文字情報書込部

Claims (3)

1. 帳票が撮像された帳票画像と、当該帳票画像の一部の領域が指定された画像である部分画像とを受信する画像受信部と、
   前記帳票画像を記憶する帳票データ記憶部と、
   前記部分画像を外部機器に送信し、当該外部機器から送信される、前記部分画像を文字認識した結果である文字情報を取得する文字情報取得部と、
   前記取得された文字情報を前記記憶された帳票画像に対応付けて前記帳票データ記憶部に記憶する文字情報書込部と
   を有する帳票データ管理装置。
2. 前記外部機器に送信される部分画像の単位面積あたりの画素数は、前記帳票データ記憶部に記憶される帳票画像の単位面積あたりの画素数よりも多い
   請求項１記載の帳票データ管理装置。
3. 画像受信部が、帳票が撮像された帳票画像と、当該帳票画像の一部の領域が指定された画像である部分画像とを受信し、
   文字情報取得部が、前記部分画像を外部機器に送信し、当該外部機器から送信される、前記部分画像を文字認識した結果である文字情報を取得し、
   文字情報書込部が、前記取得された文字情報を前記受信した帳票画像に対応付けて前記帳票データ記憶部に記憶する
   帳票データ管理方法。

Images