JP2017045210A - 携帯端末、情報処理システムと、その処理方法及びプログラム - Google Patents

Abstract

【課題】携帯端末で撮影された画像を用いた記入チェックを効率化する仕組みを提供こと。
【解決手段】撮影手段を備える携帯端末であって、前記撮影手段による撮影により得られた第１の画像に対応する記入チェック箇所が視認可能なように透過された第２の画像を取得する画像取得手段と、前記第１の画像と、前記第２の画像とを用いて、記入チェック用の第３の画像を生成する画像生成手段と、ユーザに記入チェックさせるべく、前記画像生成手段により生成された第３の画像を表示する表示手段と、前記表示手段による前記第３の画像の表示後、出力指示があった場合に、前記第１の画像を出力する出力手段とを備えることを特徴とする。
【選択図】図３

Description

本発明は、撮影画像を用いた記入チェックを行う携帯端末、情報処理システムと、その処理方法及びプログラムに関する。

従来より、利用者端末から帳票サーバに帳票データを送信して、帳票サーバ側で記入内容に不備が無いかをチェックし、利用者端末にチェック結果を返す仕組みがある。

特許文献１には、利用者端末から送信された帳票データの内容判定、オペレータの操作によるエラー修正、修正結果のメッセージを付与した処理結果の作成などの処理すべてを帳票サーバ側で行う電子処理システムの技術が記載されている。

特開平６−２８２７５号公報

しかし、特許文献１のシステム構成では、記入不備チェックを行うためには、必ず帳票サーバに帳票データを送らなければならず、帳票サーバと通信が困難な環境では記入不備チェックができない。また、記入漏れなどの些細な不備チェックでさえ、利用者端末と帳票サーバ間の通信が発生し、不備の無い帳票が完成するまでに時間が掛かってしまうという課題があった。

一方、利用者端末で撮影した画像で文字認識を行い、記入不備チェックを行う場合、サーバや通常利用するコンピュータよりスペックが高くない利用者端末では、記入不備チェックの処理時間が長くなってしまうという技術的な課題が発生する。また、簡易的な記入不備チェックであるにも関わらず、利用者端末のシステムで記入不備チェックを待たなければならず、業務効率が低下してしまうことがあった。利用するユーザとしては、撮影したらすぐに確認したいため、数秒でも待機させることは利便性が低くなるという問題があった。

そこで、本発明の目的は、携帯端末で撮影された画像を用いた記入チェックを効率化する仕組みを提供ことである。

本発明の目的を達成するための、撮影手段を備える携帯端末であって、前記撮影手段による撮影により得られた第１の画像に対応する記入チェック箇所が視認可能なように透過された第２の画像を取得する画像取得手段と、前記第１の画像と、前記第２の画像とを用いて、記入チェック用の第３の画像を生成する画像生成手段と、ユーザに記入チェックさせるべく、前記画像生成手段により生成された第３の画像を表示する表示手段と、前記表示手段による前記第３の画像の表示後、出力指示があった場合に、記入チェック済みとして前記第１の画像を出力する出力手段とを備えることを特徴とする。

本発明によれば、携帯端末で撮影された画像を用いた記入チェックを効率化することができる。

本発明の帳票システム１００の構成の一例を示す図 情報処理装置１０１のハードウエア構成の一例を示す図 情報処理装置１０１およびサーバ１０２の一例を示す機能ブロック図 情報処理装置１０１で記入不備のチェック結果を取得してサーバ１０２に送信する全体処理の一例を示すフローチャート 情報処理装置１０１で行う記入不備チェック処理の一例を示すフローチャート サーバ１０２で申込書の撮影画像、付帯画像、記入不備チェックフラグ、ログインユーザ名、フォーム名を受信する処理の一例を示すフローチャート サーバ１０２で受信した申込書一覧を表示する処理の一例を示すフローチャート 情報処理装置１０１で申込書の撮影画像に付帯する画像を追加する処理の一例を示すフローチャート 情報処理装置１０１で申込書の記入不備のチェックを目視で分かりやすく確認するために申込書に被せる不備確認カバーシートの一例を示す図 情報処理装置１０１で記入不備チェックを目視で容易にするために申込書撮影画像に不備確認カバーシートを被せて表示する画面の一例を示す図 情報処理装置１０１で記入不備チェック結果を表示する画面の一例を示す図 サーバ１０２および情報処理装置１０１で帳票フォームと不備確認カバーシートを管理するテーブルの一例を示す図 サーバ１０２で受信した申込書の送信時間と送信者と帳票ＩＤと記入不備チェックフラグを管理するテーブルの一例を示す図 図１４で管理されたテーブルをサーバ１０２で表示する画面の一例を示す図 サーバ１０２で受信した申込書を表示する画面の一例を示す図 フォームごとの記入不備チェック認識領域および不備チェック方法を管理するテーブルの一例を示す図 情報処理装置１０１で送信する申込書の画像の確認表示を行う画面の一例を示す図 情報処理装置１０１で送信する申込書の付帯画像の確認表示を行う画面の一例を示す図 情報処理装置１０１で予め設定する情報設定を行う画面の一例を示す図 サーバ１０２のハードウエア構成の一例を示す図

以下、図面を参照して本発明の実施形態を詳細に説明する。

図１に示すように、本実施形態に帳票システム１００（情報処理システム）は、情報処理装置１０１（携帯端末）、およびサーバ１０２が、ネットワーク１０３により通信可能に接続された構成をとる。情報処理装置１０１は、カメラ等を用いて帳票の画像を取り込み、帳票の記入不備チェックを行う。サーバ１０２は、帳票の記入不備チェックに必要な記入内容の認識領域と認識条件を帳票フォーム識別情報ごとに管理している。情報処理装置１０１は、携帯電話、スマートフォン、タブレット端末およびＰＤＡ端末などの持ち運び可能な端末であって、ブラウザまたは帳票システムのアプリケーションがインストールされており、無線通信によりネットワーク１０３を介して、サーバ１０２と通信可能である。なお、サーバ１０２は、汎用的なコンピュータであってもよいことは言うまでもない。

以下、図２を用いて、図１に示した情報処理装置１０１に適用可能なハードウエア構成の一例について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。

２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１２からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、タッチセンサ２１０からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１１等の表示器への表示を制御する。なお、図２では、ディスプレイ２１１と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて情報処理装置１０１のユーザが使用するものである。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク１０３を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１１上のタッチセンサ２１０におけるユーザのタッチ操作指示を受付けることを可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイルや地図データ等も、外部メモリ２１２に格納されており、これらについての詳細な説明も後述する。

２０９は撮影画像入力コントローラで、撮影画像入力処理部２１４を介してカメラ２１５からの入力を制御する（撮影手段に相当）。カメラ２１５から入力された撮影画像を認識することが可能となっている。

次に、図２０を用いて、図１に示したサーバ１０２に適用可能な情報処理装置のハードウエア構成について説明する。

図２０において、２００１はＣＰＵで、システムバス２００４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２００２あるいは外部メモリ２０１１には、ＣＰＵ２００１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２００３はＲＡＭで、ＣＰＵ２００１の主メモリ、ワークエリア等として機能する。ＣＰＵ２００１は、処理の実行に際して必要なプログラム等をＲＯＭ２００２あるいは外部メモリ２０１１からＲＡＭ２００３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２００５は入力コントローラで、キーボード（ＫＢ）２００９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２００６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２０１０等の表示器への表示を制御する。なお、図２０では、ＣＲＴ２０１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

２００７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ、データベース等の外部メモリ２０１１へのアクセスを制御する。

２００８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示した１０３）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２００１は、例えばＲＡＭ２００３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２０１０上での表示を可能としている。また、ＣＰＵ２００１は、ＣＲＴ２０１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２０１１に記録されており、必要に応じてＲＡＭ２００３にロードされることによりＣＰＵ２００１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２０１１に格納されている。

図３は、情報処理装置１０１とサーバ１０２の機能構成の一例を示すブロック図である。情報処理装置１０１は、撮影手段を備える携帯端末として説明する。

画像取得部３０１は、前記撮影手段による撮影により得られた第１の画像に対応する記入チェック箇所が視認可能なように透過された第２の画像を取得する機能部である。

画像生成部３０２は、前記第１の画像と、前記第２の画像とを用いて、記入チェック用の第３の画像を生成する機能部である。

表示部３０３は、ユーザに記入チェックさせるべく、画像生成部３０２により生成された第３の画像を表示する機能部である。また、前記第１の画像を表示し、前記第１の画像とともに、前記撮影手段による撮影により得られた前記第１の画像の付帯画像の枚数を表示する機能部である。また、後述の認識結果取得部３０７により認識結果を取得した場合に、第３の画像とともに認識結果が得られたことを示す情報を表示する機能部である。さらに、認識結果を表示する指示があった場合に、前記第３の画像から、前記第１の画像と前記認識結果に従って生成された認識結果画像に切り替えて表示する機能部である。

出力部３０４は、前記表示部３０３による前記第３の画像の表示後、出力指示があった場合に、記入チェック済みとして前記第１の画像を出力する機能部である。また、第１の画像と、後述の付帯画像とを合わせて出力する機能部である。また、ヘッダ情報を含む第１の画像を出力する機能部である。

付帯画像記憶部３０５は、ユーザによる付帯画像の撮影指示があった場合に、前記撮影手段による撮影により得られた付帯画像を記憶する機能部である。

定義情報記憶部３０６は、第１の画像から記入内容を認識するための認識領域と認識条件を含む定義情報を記憶する機能部である。

認識結果取得部３０７は、前記第１の画像と前記定義情報とに基づき、認識結果を取得する機能部である。

認識処理実行部３０８は、前記第３の画像の表示のバックグラウンドで、前記第１の画像と前記定義情報とに基づく認識処理を実行する機能部である。
情報取得部３０９は、記入チェックに係るチェック者情報を含むヘッダ情報を取得する機能部である。

出力画像生成部３１０は、ヘッダ情報を含む第１の画像を生成する機能部である。

受信部３１１は、第１の画像を受信する機能部である。
出力画像登録部３１２は、第１の画像をハードディスクやデータベース等に登録する機能部である。
一覧表示部３１３は、第１の画像に対応する案件の一覧を表示する機能部である。

図４は、情報処理装置１０１で記入不備のチェック結果を取得してサーバ１０２に送信する全体処理（以下、記入不備チェック結果取得・送信処理）の一例を示すフローチャートである。

また、図１９は、情報処理装置１０１で予め設定する情報設定を行う画面の一例である。初期設定画面１９０１では、販売店名、担当者、電話番号を入力してＯＫボタンを押下すると、情報が情報処理装置１０１に保存される。なお、初期設定画面１９０２のように、予め撮影する申込書のフォームが決まっている場合には、文字認識するための帳票フォーム定義情報やカバーシートを特定するためのフォームＩＤを入力する構成であってもよい。この初期設定は、記入不備チェックアプリで設定するものである。

ステップＳ４０１において、情報処理装置１０１で記入不備チェックアプリを起動し、ログインする。記入不備チェックアプリを起動した際に、初期設定ボタン（不図示）を押下することで、上述初期設定画面を表示し初期設定をユーザの操作により適宜実行するものとする。

ステップＳ４０２において、申込書撮影ボタン（不図示）の押下を検知すると、カメラ２１５を起動して記入不備チェックを行う申込書の撮影を実行する。ここで、申込書等の帳票の四隅を検出し、フォーカスがあった場合に撮影が実行される。この実行により申込書に対応する撮影画像を取得する。

ステップＳ４０３において、撮影画像に合致するフォームがあるか否かを判定する。合致するフォームがあるかは、ローカルのフォームテーブル１２００（図１２）のデータ順に撮影画像とフォーム画像を帳票認識技術などを用いて比較し、合致するフォームを特定する。なお、上述の通り、予め帳票ＩＤが設定されている場合には、そのフォームＩＤがフォームテーブルにあるか否かで判定してもよい。また、撮影画像の所定の領域からフォームＩＤを抽出してフォームを特定してもよい。ステップＳ４０３で合致するフォームがないと判定された場合には、ステップＳ４０４へ処理を移し、合致するフォームがあると判定された場合には、ステップＳ４０６へ処理を移す。

ステップＳ４０４において、合致するフォームテーブルがなければ、ステップＳ４０５で撮影した申込書は不備チェック対応フォームではない旨のエラーメッセージを表示してアプリケーションを終了する。なお、対応フォームでない場合には、エラーメッセージを表示後、再撮影する処理に移行してもよい。合致するフォームテーブルがあれば、ステップＳ４０６において帳票とフォームテーブル（図１２）を参照して、撮影した申込書に対応するカバーシート（画像）を外部メモリ２１２から取得する。なお、フォームテーブル１２００と、対応する画像（フォーム画像、カバーシート）は外部メモリ２１２に記憶されている。すなわち、撮影により得られた第１の画像に対応する、カバーシートである記入チェック箇所が視認可能なように透過された第２の画像を取得する処理の一例を示すものである。

ステップＳ４０７において、撮影された申込書の撮影画像と、ステップＳ４０４で取得した撮影した申込書に対応する不備確認用のカバーシート（図９）をオーバレイして、チェック用画像を生成する。すなわち、第１の画像と、第２の画像とを用いて、記入チェック用の第３の画像を生成する処理の一例を示すものである。
この生成された画像を記入不備チェック中画面（図１０−１）に表示する。すなわち、ユーザに記入チェックさせるべく、生成された第３の画像を表示する表示する処理の一例を示すものである。
このカバーシートには、ユーザがチェックをしやすいように、チェック箇所の説明を含めるカバーシートであってもよい。
図９のカバーシートは、チェック箇所が透過処理されており、撮影した撮影画像と重ねあわせると記入不備チェックを行いたい箇所の記入が容易に確認できるようになっている。なお、チェック箇所以外の部分も透過させるようにしてもよいが、チェック箇所をユーザに視認しやすくさせるために、チェック箇所より透過率を低くする、あるいは色を変える（例えば、グレーに設定する）ようにする画像にすることが望ましい。

ステップＳ４０８において、不備チェック処理の初期化のため、記入不備チェック完了フラグをＯＦＦに、ＯＫボタンフラグ・キャンセルボタンフラグをＯＦＦにする。

ステップＳ４０９において記入不備チェック処理フロー（図５で後述）を行う。この記入不備チェック処理は、図１０−１の記入不備チェック中画面を表示しているバックグラウンドで処理が実行される。すなわち、第３の画像の表示のバックグラウンドで、第１の画像と定義情報とに基づく認識処理の実行の一例を示すものである。

ステップＳ４１０において、認識結果である記入不備チェックフラグ、ＯＫボタンフラグ、キャンセルボタンフラグを取得する。記入不備チェック処理フロー（図５）でＯＫボタンフラグがＯＮになっているかを確認し、ＯＮになっていればステップＳ４２２の付帯画像追加処理フロー（図８で後述）に遷移する。なお、ＯＫボタンフラグがＯＮになっている場合とは、図１０−１の記入不備チェック中画面で、オーバレイされた画像を用いて目視での不備チェックを行い、不備チェックを完了した場合である。ステップＳ４２２の処理が完了すれば、ステップＳ４２３で情報処理装置１０１から申込書の撮影画像、付帯画像、フォーム名、ログインユーザ名、不備チェック完了フラグＯＦＦをサーバ１０２に送信して処理を終了する。

ステップＳ４１０において記入不備チェック処理フロー（図５）でＯＫボタンフラグがＯＮになっているかを確認してＯＦＦであれば、ステップＳ４１１でキャンセルボタンフラグがＯＮになっているかを確認する。キャンセルボタンがＯＮになっていればアプリを終了する。

ステップＳ４１１でキャンセルボタンフラグがＯＦＦであれば、ステップＳ４１２で図１０−１に記入不備チェックが完了した旨と確認ボタンを表示（認識結果情報の表示）して、記入不備チェック完了画面（図１０−２）に変更する。キャンセルボタンフラグがＯＦＦの場合は、記入不備チェック完了フラグがＯＮになっている。つまり、バックグラウンドで、目視ではなくシステムによる認識により、記入不備チェックが完了した場合である。
言い換えると、第１の画像と定義情報とに基づき認識された結果を取得し、認識されて結果を取得した場合に、第３の画像とともに認識した結果が得られたことを示す情報（例えば、確認ボタン）を表示する処理の一例を示すものである。

ステップＳ４１３では記入不備チェック完了画面（図１０−２）でＯＫボタン、キャンセルボタン、確認ボタンのどのボタンが押されたかを判定する。キャンセルボタンが押されたらアプリを終了する。ＯＫボタンが押されたら、ステップＳ４２２において付帯画像追加処理フロー（図８で後述）に遷移する。ステップＳ４２２の処理が完了すれば、ステップＳ４２４で情報処理装置１０１から申込書の撮影画像、付帯画像、フォーム名、ログインユーザ名、不備チェック完了フラグＯＮをサーバ１０２に送信して処理を終了する。なお、不備があった場合には、確認ボタンを押下して確認させたうえで、送信を実行させるように制御する。確認ボタンが押されたらステップＳ４１４に遷移する。

ステップＳ４１４において、情報処理装置１０１は、ステップＳ４０３で特定した撮影画像のフォームＩＤを検索キーとして、記入不備チェックテーブル１６１０を検索し、取得した全レコードのチェックＩＤ＝ｉの結果カラム１６１１に、ＲＡＭ２０２に記憶されている変数ｒｅｓｕｌｔ［ｉ］の値をそれぞれ登録する。本実施形態においては、記入不備チェックテーブル１６１０のフォームＩＤ＝１０００の５レコードの結果カラム１６１１にフォームＩＤ＝１０００のチェック結果を示す変数ｒｅｓｕｌｔ［ｉ］＝［ＯＫ、ＮＧ、ＯＫ、ＮＧ、ＯＫ］の値が登録される。

ステップＳ４１５において、情報処理装置１０１は、ディスプレイ２１１から記入不備チェック完了画面（図１０−２）を閉じて、記入不備チェック結果画面（図１１）上に撮影画像表示撮影画像を表示する。すなわち、確認ボタンの押下により、認識された結果を表示する指示があった場合に、第３の画像から、第１の画像と認識された結果に従って生成された認識結果画像に切り替えて表示する処理の一例を示すものである。

ステップＳ４１６において、情報処理装置１０１は、変数ｒｅｓｕｌｔ［ｉ］にＮＧが存在するか判定する。

ＮＧが存在しない場合は、ステップＳ４１７において、情報処理装置１０１は、「記入不備はありませんでした。」のメッセージが記された記入不備チェック結果画面（不備なし）１１１０を表示する。

ＮＧが存在する場合は、ステップＳ４１８において、情報処理装置１０１は、「記入不備があります。」のメッセージが記された記入不備チェック結果画面（不備あり）１１２０を表示する。

ステップＳ４１９において、情報処理装置１０１は、フォームＩＤ＝撮影画像のフォームＩＤ、結果カラム１６１１＝ＮＧを検索キーとして、記入不備チェックテーブル１６１０を検索し、記入不備チェック認識領域の起点座標（Ｘ、Ｙ）と終点座標（Ｘ、Ｙ）を取得する。

ステップＳ４２０において、情報処理装置１０１は、取得した記入不備チェック認識領域の起点座標（Ｘ、Ｙ）と終点座標（Ｘ、Ｙ）を対角とする矩形を撮影画像上に描き、赤で塗りつぶす（１１２１）。この時矩形は透過設定されている。これにより、記入不備の領域を識別可能に表示することができる。

ステップＳ４２１において、記入不備チェック結果画面でどのボタンが押されたかを判定する。キャンセルボタンが押されていればアプリを終了し、ＯＫボタンが押されていれば
ステップＳ４２２の付帯画像追加処理（図８で後述）を実施する。ステップＳ４２２の後、ステップＳ４２４で情報処理装置１０１から申込書の撮影画像、付帯画像、フォーム名、ログインユーザ名、不備チェック完了フラグＯＮをサーバ１０２に送信して処理を終了する。すなわち、第３の画像の表示後、出力指示があった場合に、記入チェックに係る情報と第１の画像を出力する処理の一例を示すものである。また、付帯画像があった場合には、第１の画像と、付帯画像とを合わせて出力する処理の一例を示すものである。付帯画像がない場合には、付帯画像は送信されないことはいうまでもない。
送信は、１申込書ごとにおこなってもよいし、サーバ１０２と通信ができない場合には、情報処理装置１０１に記憶させて、通信ができる状態になった場合に、複数の申込書に係るデータを送信する構成であってもよい。

図５は、情報処理装置１０１で行う記入不備チェック処理の一例を示すフローチャートである。

また、図１６は、フォームごとの記入不備チェック認識領域および不備チェック方法を管理するテーブルの一例である。

記入不備チェックテーブル１６１０にはフォームＩＤ、チェック箇所につけられたチェックＩＤ、記入不備チェックの認識条件、記入不備チェック認識領域の起点座標（Ｘ、Ｙ）と終点座標（Ｘ、Ｙ）が記憶されている。すなわち、第１の画像から記入内容を認識するための認識領域と認識条件を含む定義情報を記憶するものの一例である。

なお、「記入不備チェックテーブル１６１０」には記入不備チェック処理結果を記憶するための結果カラム１６１１が存在するが、図５の記入不備チェック処理において、結果カラム１６１１はまだ使用しないため、この時点ではｎｕｌｌである。

ステップＳ５０１において、ステップＳ４０４で特定した撮影画像のフォームＩＤを検索キーとして、記入不備チェックテーブル１６１０を検索し、記入不備チェックレコードを取得する。

ステップＳ５０２において、変数ｉに１を代入し、ＲＡＭ２０２に記憶する。

ステップＳ５０３において、記入不備チェックレコードのｉ番目から、記入不備チェック認識領域の起点（Ｘ座標、Ｙ座標）と終点（Ｘ座標、Ｙ座標）と記入不備チェック認識条件を取得する。

ステップＳ５０４において、記入不備チェック認識条件の値について判定する。

記入不備チェック認識条件が「必須」の場合は、入力必須の項目であるため、ステップＳ５０５において、撮影画像のチェック認識領域に文字や記号が記入されているか否かを判定する。なお、この判定処理は、ＯＣＲ等による解析技術を用いるが、既知の技術であるため、説明は省略する。

文字や記号が記入されている場合は、ステップＳ５０６において、チェック結果をＲＡＭ２０２に記憶する変数ｒｅｓｕｌｔ［ｉ］に「ＯＫ」を代入する。

文字や記号が記入されていない場合は、ステップＳ５０７において、変数ｒｅｓｕｌｔ［ｉ］に「ＮＧ」を代入する。

記入不備チェック認識条件が「丸囲み」の場合は、複数の選択肢のうち１つを丸印で囲む項目であるため、ステップＳ５０８において、撮影画像のチェック認識領域に丸印が記入されているか否かを判定する。この判定処理は、ＯＣＲ等による解析技術を用いるが、既知の技術であるため、説明は省略する。なお、本実施例では丸印の存在有無を判定しているが、丸印に限定するものではなく、レ点やその他の図形の判定であってもよい。

また、上記において、丸印の数を「１つ」としたが、記入不備チェックテーブル１６１０に「上限値」や「チェック数」カラムを設け、上限値を超えた場合「ＮＧ」、印の個数が「チェック数」以外の場合「ＮＧ」と判定するとしてもよい。また、記入不備チェックテーブル１６１０に「桁数」カラムを設け、記入された文字が許可された桁数であれば「ＯＫ」、許可されていない桁数であれば「ＮＧ」と判定してもよい。また、記入不備チェックテーブル１６１０に「文字属性」カラムを設け、記入された文字の属性、例えば「数字」「ひらがな」「カタカナ」「英数字」などによって、ＯＫ・ＮＧの判定をしてもよい。

また、ＯＣＲ等による解析結果で、記入された文字を認識できなかった場合、「ＮＧ」と判定するとしてもよい。また、変数ｒｅｓｕｌｔ［ｉ］の値は、「ＯＫ」「ＮＧ」の２つに限定するものではなく、「不明瞭」「認識不可」「矛盾」などの値を持つとしてもよい。

丸印が記入されている場合は、ステップＳ５０９において、変数ｒｅｓｕｌｔ［ｉ］に「ＯＫ」を代入する。

丸印が記入されていない場合は、ステップＳ５１０において、変数ｒｅｓｕｌｔ［ｉ］に「ＮＧ」を代入する。

ステップＳ５１１において、次の領域の不備チェックをするために、変数ｉをインクリメントする。ステップＳ５１２において、チェックＩＤ＝ｉの記入不備チェックレコードが存在するか否かを判定する。存在しない場合は、ステップＳ５１７で記入不備チェック完了フラグをＯＮにして、この記入不備チェック処理を終了する。存在する場合はステップＳ５１３で、記入不備チェック中画面（図１０−１）においてＯＫボタンが押されたかどうかを判定して、ＯＫボタンが押されていたらステップＳ５１５でＯＫボタンフラグをＯＮにして、図４の（１）に戻る。ＯＫボタンが押されていなければステップＳ５１４に遷移する。なお、ＯＫボタンやキャンセルボタンの押下はユーザにより任意のタイミングにより押下されるため、押下されたタイミングでステップＳ５１３、ステップＳ５１４の判定を行うものとする。

ステップＳ５１４では、記入不備チェック中画面（図１０−１）においてキャンセルボタンが押されたかどうかを判定して、キャンセルボタンが押されていたらステップＳ５１６でキャンセルボタンフラグをＯＮにして、図４の（１）に戻る。キャンセルボタンが押されていなければ、ステップＳ５０３に戻って引き続き記入不備チェックを行う。キャンセルボタンが押下された場合とは、記入不備チェックを終了する場合である。

以上で、図５の記入不備チェック処理の説明を終了する。この処理によって、撮影画像のフォームＩＤに対応する記入不備チェックレコードについてのチェック結果が変数ｒｅｓｕｌｔ［ｉ］に記憶されたことになる。具体的には、本実施例では、変数ｒｅｓｕｌｔ［ｉ］には、［ＯＫ、ＮＧ、ＯＫ、ＮＧ、ＯＫ］の値が格納されている。

図６は、ステップＳ４２４で情報処理装置１０１から送信される画像と属性情報を、サーバ１０２で受信するフローの一例である。

ステップＳ６０１では、サーバ１０２は申込書の画像、付帯画像、記入不備チェック完了フラグ（ＯＦＦ，ＯＮ）、ログインユーザ名、フォーム名を受信する。

ステップＳ６０２では、受信した画像（記入不備チェック済みの申込書の画像）と付帯画像を所定のフォルダに格納し、受信申込書一覧テーブル１３００（図１３）に受信日時、フォーム名、ログインユーザ名、記入不備チェック完了フラグ（ＯＦＦ・ＯＮ）のレコードを追加する。これにより、情報処理装置１０１で記入不備チェックした情報が登録される。その後、サーバ１０２側のオペレータが詳細なチェックを行い、さらに不備があればログインユーザ名に対応する担当者へ電話等を行うものとする。電話は例えば、受信した画像のヘッダに入力されている電話番号を用いるものとする。

図７は、サーバ１０２で情報処理装置１０１から受信した画像と属性情報を表示し、オペレータにより記入漏れがないか確認するフローの一例である。

ステップＳ７０１では、受信申込書一覧テーブル（図１３）を読み込み受信申込書一覧画面（図１４）を表示する。この時、サーバ１０２側で、所定時間内に所定数を超える申込書を受信した場合（例えば、５分内で、２０件以上の申込書の画像を受信した場合）に、申込書システムによる不備チェックがない申込書を優先させて表示すると決定し、受信申込書一覧画面１４２０を表示する。また、所定時間内に所定数以下の申込書を受信している場合には、受信申込書一覧画面１４１０を表示する。不備チェックがない申込書を優先して表示するモードの場合には、サーバ１０２では、不備チェックが「未完了」でソートしたリストを生成して、受信申込書一覧画面に表示する。

ステップＳ７０２では、受信申込書一覧画面（図１４）で終了ボタンがクリックされたかを判定し、終了ボタンが押されれば申込書の確認処理を終了する。終了ボタンがクリックされていなければステップＳ７０３でフォーム名がクリックされたかを判定する。

ステップＳ７０３でフォーム名がクリックされたかを判定し、クリックされていなければステップＳ７０２に戻る。フォーム名がクリックされていれば、ステップＳ７０４で受信した申込書を受信申込書確認画面（図１５）に表示し、サーバ側のオペレータが目視で記入不備のチェックを行う。
このとき受信申込書一覧画面（図１４）で不備チェック完了の申込書がクリックされていれば、受信申込書確認画面（記入不備チェック済み）１５１０を表示し、不備チェック未完了の申込書がクリックされていれば、受信申込書確認画面（記入不備チェック未完了）１５１１を表示する。よって、サーバ側のオペレータは既にシステムで記入不備チェックが行われた申込書かどうかを容易に確認することができる。

ステップＳ７０５ではサーバ側のオペレータが申込書に記入不備箇所があるかの判定を行う。
記入不備があれば、申込書の画像のヘッダに記載されている送信者（ログインユーザ）に記入不備箇所を通知し、記入後に申込書の撮影・再送を実施することを伝え、ステップ７０８に遷移する。記入不備がなければ、申込書のヘッダに記載されている送信者（ログインユーザ）に記入不備なしを通知し、ステップ７０８に遷移する。
尚、ヘッダには一例として電話番号を記載しているため、本実施例では送信者に電話で連絡をとることを想定しているが、ヘッダにメールアドレスやシステムのＵＲＬなど送信者への別の連絡手段を記載するようにしても構わない。また、図１５の受信申込書確認画面で、不備連絡ボタン（不図示）を押下すると、不備内容を記入できるウィンドウ（テキストボックス等を含む画面）が表示され、不備内容を入力すると、送信者（担当者）の情報処理装置１０１に送信する構成をとることも可能である。

ステップＳ７０８で受信申込書確認画面（図１５）で完了ボタンを押下して画面を閉じると、ステップＳ７０９では受信申込書一覧テーブル（図１３）からステップ７０４で表示した申込書のレコードを削除する。なお、削除せず、確認済みとして完了フラグを設定して管理してもよい。

図８は、情報処理装置１０１で申込書の撮影画像に付帯する付帯画像を追加する処理フローの一例である。

ステップＳ８０１では、送信画像確認画面（図１７）を表示し、付帯画像番号、付帯画像枚数を０に設定する。

ステップＳ８０２では、初期設定画面（図１９）で設定した販売店名、担当者名、担当者電話番号、付帯画像枚数、記入不備チェックテーブル１６１０の結果カラムに基づく記入不備チェック完了状況など（これらをヘッダ情報と称する）を取得する。この取得した情報を基に、申込書の撮影画像にヘッダ画像として追加して表示する。具体的には、取得した販売店名、担当者名、担当者電話番号、付帯画像枚数、記入不備チェック完了状況に基づいて、所定のサイズで画像化し、申込書の画像の上部に挿入する。すなわち、第１の画像とともに、撮影により得られた第１の画像の付帯画像の枚数を表示する処理の一例を示すものである。また、記入チェックに係るチェック者情報を含むヘッダ情報を取得して、ヘッダ情報を含む第１の画像を生成する処理の一例を示すものである。
このヘッダ情報を含む画像を記入不備チェック済み画像としてサーバ１０２へ送信する。
尚、ヘッダに追加する情報は、任意の項目を追加可能であり、上記の情報に限定されるものではない。また、サーバ１０２のオペレータから送信者に連絡を取るための手段の一例として電話番号を記載しているが、ヘッダにメールアドレスやシステムのＵＲＬなど送信者への別の連絡手段を記載するようにしても構わない。

ステップＳ８０３では、送信画像確認画面（図１７）でどのボタンが押されたかを判定する。キャンセルボタンが押されれば図４の（２）に戻って、ステップＳ４０２で申込書の再撮影処理を行う。送信ボタンが押され、付帯画像があれば各付帯画像のヘッダに付帯画像番号／付帯画像枚数情報を付与して本処理フローを終了する。
付帯書類画像撮影ボタンが押されれば、ステップＳ８０４で申込書に必要な免許証などの付帯画像を撮影する。撮影された付帯画像をメモリに記憶する。すなわち、ユーザによる付帯画像の撮影指示があった場合に、撮影により得られた付帯画像を記憶する処理の一例を示すものである。

ステップＳ８０５では、ステップＳ８０４で撮影した付帯画像を付帯画像確認画面（図１８）に表示して、付帯画像枚数を＋１する。

ステップＳ８０６では、撮影した付帯画像の付帯画像番号に付帯画像枚数を入れる。

ステップＳ８０７では、付帯画像確認画面（図１８）でどのボタンが押されたかを判定する。ＯＫボタンが押されれば送信画像確認画面（図１７）に戻る。
キャンセルボタンが押されればステップＳ８０８で付帯画像枚数を−１し、撮影した付帯画像の付帯画像番号をクリアして送信画像確認画面（図１７）に戻る。
再撮影ボタンが押されればステップＳ８０９で付帯画像枚数を−１し、撮影した付帯画像の付帯画像番号をクリアして付帯画像の再撮影を行うためにステップＳ８０４に戻る。
以上が申込書の撮影画像に付帯する画像を撮影して追加する処理フローの一例である。

以上、本実施形態によれば、携帯端末で撮影された画像を用いた記入チェックを効率化することが可能となる。また、画像認識による記入チェックの処理が完了する時間までに簡易的に記入チェックができ、利便性を高めることが可能となる。カバーシートを用いた簡易的な記入チェックを可能とすることで、多数の申込書の作業を効率よく進めることが可能となる。

さらに、カバーシートを用いた簡易的な記入チェック（目視チェック）で不安な場合はシステムの記入不備チェックを待ってから行うことも可能であり、チェック者（ユーザ）によってどちらにするかを選択することができるため、より利便性が高く、業務の効率化を向上することができる。

また、申込書および付帯画像にヘッダ情報としてエンドユーザーの連絡先をつけておくことで、サーバ側のオペレータが記入不備を発見して、チェック者に簡単に連絡することも可能である。

さらにサーバ側のオペレータが送られてきた申込書が既にシステムで不備チェックされたものかどうかを把握することができるため、システムで不備チェックしていないものから優先的に記入不備の確認を実施することができる。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、ＯＳ（オペレーティングシステム）に供給されるスクリプトデータ等の形態から成ってもよい。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ１０２、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 帳票システム
１０１ 情報処理装置
１０２ サーバ
１０３ ネットワーク

Claims (12)

1. 撮影手段を備える携帯端末であって、
   前記撮影手段による撮影により得られた第１の画像に対応する記入チェック箇所が視認可能なように透過された第２の画像を取得する画像取得手段と、
   前記第１の画像と、前記第２の画像とを用いて、記入チェック用の第３の画像を生成する画像生成手段と、
   ユーザに記入チェックさせるべく、前記画像生成手段により生成された第３の画像を表示する表示手段と、
   前記表示手段による前記第３の画像の表示後、出力指示があった場合に、記入チェックに係る情報と前記第１の画像とを出力する出力手段と
   を備えることを特徴とする携帯端末。
2. ユーザによる付帯画像の撮影指示があった場合に、前記撮影手段による撮影により得られた付帯画像を記憶する付帯画像記憶手段
   を更に備え、
   前記出力手段は、前記第１の画像と、前記付帯画像とを合わせて出力することを特徴とする請求項１に記載の携帯端末。
3. 前記表示手段は、前記第１の画像とともに、前記撮影手段による撮影により得られた前記第１の画像の付帯画像の枚数を表示することを特徴とする請求項２に記載の携帯端末。
4. 前記第１の画像から記入内容を認識するための認識領域と認識条件を含む定義情報を記憶する記憶手段と、
   前記第１の画像と前記定義情報とに基づき認識された結果を取得する認識結果取得手段と
   を更に備え、
   前記表示手段は、前記認識結果取得手段により認識された結果を取得した場合に、前記第３の画像とともに認識した結果が得られたことを示す情報を表示することを特徴とする請求項１乃至３のいずれか１項に記載の携帯端末。
5. 前記表示手段は、前記認識された結果を表示する指示があった場合に、前記第３の画像から、前記第１の画像と前記認識された結果に従って生成された認識結果画像に切り替えて表示することを特徴とする請求項４に記載の携帯端末。
6. 前記第３の画像の表示のバックグラウンドで、前記第１の画像と前記定義情報とに基づく認識処理を行う認識処理実行手段を
   更に備えることを特徴とする請求項４又は５に記載の携帯端末。
7. 記入チェックに係るチェック者情報を含むヘッダ情報を取得する情報取得手段と、
   前記ヘッダ情報を含む第１の画像を生成する画像生成手段と
   を更に備え、
   前記出力手段は、前記ヘッダ情報を含む第１の画像を出力することを特徴とする請求項１乃至６のいずれか１項に記載の携帯端末。
8. 撮影手段を備える携帯端末と情報処理装置を含む情報処理システムであって、
   前記携帯端末は、
   前記撮影手段による撮影により得られた第１の画像に対応する記入チェック箇所が視認可能なように透過された第２の画像を取得する画像取得手段と、
   前記第１の画像と、前記第２の画像とを用いて、記入チェック用の第３の画像を生成する画像生成手段と、
   ユーザに記入チェックさせるべく、前記画像生成手段により生成された第３の画像を表示する表示手段と、
   前記表示手段による前記第３の画像の表示後、出力指示があった場合に、前記第１の画像を出力する出力手段と
   を備え、
   前記情報処理装置は、
   前記第１の画像を受信する受信手段と、
   前記受信手段により受信した前記第１の画像を登録する出力画像登録手段と
   を備えることを特徴とする情報処理システム。
9. 撮影手段を備える携帯端末の処理方法であって、
   前記撮影手段による撮影により得られた第１の画像に対応する記入チェック箇所が視認可能なように透過された第２の画像を取得する画像取得ステップと、
   前記第１の画像と、前記第２の画像とを用いて、記入チェック用の第３の画像を生成する画像生成ステップと、
   ユーザに記入チェックさせるべく、前記画像生成ステップにより生成された第３の画像を表示する表示ステップと、
   前記表示ステップによる前記第３の画像の表示後、出力指示があった場合に、記入チェックに係る情報と前記第１の画像とを出力する出力ステップと
   を含むことを特徴とする処理方法。
10. 撮影手段を備える携帯端末と情報処理装置を含む情報処理システムの処理方法であって、
    前記携帯端末は、
    前記撮影手段による撮影により得られた第１の画像に対応する記入チェック箇所が視認可能なように透過された第２の画像を取得する画像取得ステップと、
    前記第１の画像と、前記第２の画像とを用いて、記入チェック用の第３の画像を生成する画像生成ステップと、
    ユーザに記入チェックさせるべく、前記画像生成ステップにより生成された第３の画像を表示する表示ステップと、
    前記表示ステップによる前記第３の画像の表示後、出力指示があった場合に、前記第１の画像を出力する出力ステップと
    を含み、
    前記情報処理装置は、
    前記第１の画像を受信する受信ステップと、
    前記受信ステップにより受信した前記第１の画像を登録する出力画像登録ステップと
    を含むことを特徴とする処理方法。
11. 撮影手段を備える携帯端末のプログラムであって、
    前記携帯端末を
    前記撮影手段による撮影により得られた第１の画像に対応する記入チェック箇所が視認可能なように透過された第２の画像を取得する画像取得手段と、
    前記第１の画像と、前記第２の画像とを用いて、記入チェック用の第３の画像を生成する画像生成手段と、
    ユーザに記入チェックさせるべく、前記画像生成手段により生成された第３の画像を表示する表示手段と、
    前記表示手段による前記第３の画像の表示後、出力指示があった場合に、記入チェックに係る情報と前記第１の画像とを出力する出力手段と
    して機能させることを特徴とするプログラム。
12. 撮影手段を備える携帯端末と情報処理装置を含む情報処理システムのプログラムであって、
    前記携帯端末を、
    前記撮影手段による撮影により得られた第１の画像に対応する記入チェック箇所が視認可能なように透過された第２の画像を取得する画像取得手段と、
    前記第１の画像と、前記第２の画像とを用いて、記入チェック用の第３の画像を生成する画像生成手段と、
    ユーザに記入チェックさせるべく、前記画像生成手段により生成された第３の画像を表示する表示手段と、
    前記表示手段による前記第３の画像の表示後、出力指示があった場合に、前記第１の画像を出力する出力手段と
    して機能させ、
    前記情報処理装置を、
    前記第１の画像を受信する受信手段と、
    前記受信手段により受信した前記第１の画像を登録する出力画像登録手段と
    して機能させることを特徴とするプログラム。

Images