JP2015191382A - 画像データ処理装置、方法、及びプログラム - Google Patents

Abstract

【課題】 手書き書類記入時の記入誤りおよび記入漏れ防止し、受付窓口の業務効率を改善する画像データ処理装置を提供する。【解決手段】 本発明に係る画像データ処理装置は、書類画像、種類情報、記入欄の名称、ＩＤ、及び位置情報とを関連付けて記憶するデータベースと、記入書類の撮影画像に基づいて書類を検出する書類検出部と、書類検出部が検出した書類の記入欄位置情報を認識する記入欄位置認識部と、認識した記入欄位置情報の変化有無を検出する記入欄変化検出部と、記入欄変化検出部が位置情報の変化があった記入欄を検出した場合、前記記入欄の次の記入欄に対して記入に関する説明文を含む未記入書類の投影画像を生成して記入書類の適当な位置に投影する投影部とを備えることで実現する。【選択図】 図１

Description

本発明は、画像データ処理装置に関するものであり、特に手書きで記入する書類のデータを処理する画像データ処理装置、方法、及びプログラムに関するものである。

近年、ネットの普及により、顧客または利用者があるサービスを受ける際に、紙の申込書を記入せず、自装置でネットを介してサービス提供元のデータ処理装置と繋がって、必要な情報の入力だけでサービスを受けることができるようになっている。

また、最近、多くのサービス提供元は、手続の窓口で顧客がサービスの申し込みに必要な情報を入力するための顧客操作型端末装置が設置されるようになっている。このような装置はタッチパネルを備え、顧客が指か、又は専用の記入装置、例えば、電子ペン等で必要な情報を入力することができるようになっている。

しかし、多くのサービスを受ける際に、例えば、市役所に証明書発行の申込み、病院等で健康診断を受ける際に問診票の記入などに対しては、顧客がこれらのようなサービス提供元の受付窓口で、必要な書類を記入して印鑑を押さなければならない場合がある。

このような場合、顧客は、サービス提供元の受付窓口で、サービス提供元が用意している書類に必要な情報(例えば、氏名、住所、生年月日など)を手書きで記入し、印鑑を押して受付窓口に提出しなればならない。

また、多くの顧客は、これらのようなサービス提供元の申し込み書類の記入にあまり馴染みがない。従って、それらの書類を記入する際に、記入欄にどのような情報を記入すればよいかについて不明な場合が生じる。このため、顧客は、サービス提供元が用意した書類に関する記入ガイダンスや注意事項などの情報、又は記入例を読まなければならない。

さらに、顧客にとって、短時間でそれらの説明文を読み、正確に理解した上で、記入欄に正しい情報を記入することは難しい。また、顧客は、記入例を参照しても、記入例に全ての記入欄に対する情報（記入案内や注意事項など）をまとめて表示されているので、顧客が本当に参照したい情報を見つけることが難しく、表示されている情報から重要な情報を見逃してしまう可能性がある。

これらにより、顧客は、書類を記入する際に、記入箇所の誤りや未記入箇所の発生等で、受付窓口の係員とのやり取りで書類の修正に手間が取ってしまい、処理の効率が落ちるという問題があった。

このような問題を解決するために、特許文献１には、帳票処理装置が開示されている。この帳票処理装置は、利用者の帳票の記入欄内での記入状況、或いは帳票への未記入状況に応じた情報（例えば、注意事項など）を表示することができる。利用者は表示情報を参照して、帳票を作成するときに、帳票作成の記入ミスを軽減させ、容易に帳票を作成することが可能である。

また、前記帳票処理装置は、帳票の同じ記入欄内での記入状況に応じて、帳票が置かれた周辺に適切な情報（例えば、注意事項など）を画面表示するように構成されている。利用者は、帳票の記入欄の形状が同じ、サイズの大小も均一で、且つ一列毎に綺麗に配列される場合には、それらの記入欄の周辺に表示される情報を参照して記入することができる。

特開２００７−２９３６５９号公報

しかしながら、帳票の記入欄が複雑で、形状、サイズの大小が異なり、且つ一列毎に綺麗に配列されていない帳票がある。この場合、利用者は、帳票の記入欄の近くではなく、帳票の周辺に表示されている情報がどの記入欄に対するものであるかを判断することが難しく、表示されている情報をうまく利用することができないという問題があった。

また、前記帳票処理装置は、利用者が記入済帳票を受付窓口に提出する前に、記入ミスがあった場合、それを検知して利用者に訂正するように案内することができないという問題もあった。

さら、利用者は、電子ペン等で帳票に記入している場合、記入した情報は帳票に直接に表示されず、表示スクリーンに表示されている。従って、表示スクリーンの上に置かれている帳票に記入しながら表示情報を確認することは困難であるという問題もあった。

本発明は、顧客が書類を記入する際に、その説明文を容易に確認でき、手書き書類記入時の記入誤りおよび記入漏れを防ぎ、誤った内容の書類が窓口に持ち込まれないようにすることで処理の効率を向上させることを主な目的とする。

上記目的を達成するために、本発明の画像データ処理装置は、少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶するデータベースと、
記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出する書類検出部と、
前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信する記入欄位置認識部と、
前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信する記入欄変化検出部と、
前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影する投影部とを備えることを特徴とする。

また、本発明の画像データ処理方法は、 少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶し、
記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出し、
前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信し、
前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信し、
前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影することを特徴とする。

さらに、本発明の画像データ処理プログラムは、 少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶する処理と、
記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出する処理と、
前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信する処理と、
前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信する処理と、
前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影する処理とをコンピュターに実行させることを特徴とする。

本発明によれば、顧客側の書類記入時に、各記入欄に関する説明文を書類の当該記入欄上、又はその近くに投影して顧客がそれを容易に確認でき、手書き書類の記入誤りおよび記入漏れを防止し、書類の処理業務を効率化することができる。

本発明の第一の実施形態に係る画像データ処理装置の構成要素を示すブロック図である。 本発明の第一の実施形態に係る画像データ処理装置のデータベースとそれに記憶する情報の一例を示す図である。 本発明の第一の実施形態に係る画像データ処理装置のデータベースに記憶する記入欄情報の一例を示すテーブル図である。 本発明の第一の実施形態に係る画像データ処理装置の動作を示すフローチャートである。 本発明の第一の実施形態に係る画像データ処理装置の投影画像位置の一例を示す説明図である。 本発明の第一の実施形態に係る画像データ処理装置の投影画像位置の他の一例を示す説明図である。 本発明の第二の実施形態に係る未記入書類の記入例画像を示す図である。 本発明の第三の実施形態に係る画像データ処理装置のデータベースに記憶する記入欄情報の一例を示すテーブル図である。 本発明の第三の実施形態に係る画像データ処理装置の動作を示すフローチャートである。 本発明の第三の実施形態に係る画像データ処理装置の投影画像と記入書類との重なる状態を示す図である。 本発明の第一〜第八の実施形態に係る画像データ処理装置のハードウェアの構成例を示すブロック図である。

以下、本発明の実施の形態に係る画像データ処理装置について、図面を参照して詳細に説明する。
（第一の実施形態）
本発明の第一の実施形態に係る画像データ処理装置においては、サービス提供元は、次のような準備が必要である。まず、サービス提供元は、受付窓口で、机やテーブルなどのような記入台の上に、顧客が記入する書類を置く領域を投影できるように投影部を設置する。

また、サービス提供元は、少なくとも、画像データ処理装置に接続する外部の撮影装置、又は画像データ処理装置の内部に設置される撮影装置を起動する。撮影装置は、サービスを受けるための各種類の書類（種類の情報を付されているもの）を未記入の状態で撮影した画像を発生する。画像データ処理装置は、その画像と、種類情報と、記入欄ごとにつけられた記入欄ＩＤと、記入欄名称と、記入欄位置情報と、記入欄に関する記入方法や注意事項などの情報とを関連付けた情報をデータベースに予め記憶する。

図１は、本発明の第一の実施形態に係る画像データ処理装置の構成要素を示すブロック図である。

図１に示すように、本発明に係る画像データ処理装置１０１は、書類検出部１０２と、記入欄位置認識部１０３と、記入欄変化検出部１０４と、投影部１０５と、データベース１０６を有する。

図２は、本発明の第一の実施形態に係る画像データ処理装置のデータベース１０６とそれに記憶する情報の一例を示すブロック図である。

図２に示すように、データベース１０６には、少なくとも、未記入の状態の書類（以下は、未記入書類と称する）の書類画像２０１と、未記入書類の種類情報２０２と、未記入書類の記入欄ごとにつけられた記入欄ＩＤ２０３と、記入欄名称２０４と、記入欄位置情報２０５と、未記入書類の記入欄に関する記入方法や注意事項などの情報（以下は、説明文２０６と称する）とを関連付けて記憶している。

サービス提供元は、正面に種類情報２０２が付された未記入書類を事前に撮影してデータベース１０６に記憶する。未記入書類の書類画像２０１は、その記憶した画像データである。例えば、その画像データは、正面から撮影された画像のデータである。

種類情報２０２は、未記入書類を識別するデータである。例えば、種類情報２０２は、戸籍謄抄本等の交付申請書を識別するために当該戸籍謄抄本の交付申請書の紙面に付与されたバーコードである。勿論、未記入書類を識別する情報であれば、他のデータでもよい。

記入欄ＩＤ２０３は、未記入書類の各記入欄を識別するデータである。例えば、数字の１〜１１である。勿論、記入欄を識別することができるのであれば、他のデータでもよい。

記入欄名称２０４は、未記入書類の記入欄に付けた名前である。例えば、「氏名」や「住所」等である。

記入欄位置情報２０５は、未記入書類における記入欄の位置を示すデータである。例えば、記入欄が長方形である場合、未記入書類における左上と右下の頂点位置の座標情報を記入欄の位置情報とする。勿論、記入欄の位置を識別することができるのであれば、他のデータを利用してもよい。

記入欄説明文２０６は、未記入書類の各記入欄に関する説明文２０６を表すデータである。例えば、“市区町村名をご記入ください”というものである。

図３は、本発明の第一の実施形態に係る画像データ処理装置のデータベース１０６に記憶する記入欄情報の一例を示すテーブル図である。

図３に示すように、記入欄情報は、記入欄ＩＤ２０３（例えば、“１”）と、記入欄名称２０４（例えば、“市区町村”）と、記入欄位置情報２０５の左上座標（例えば、（１９、３０））と右下座標（例えば、（１４１、７０））と、記入欄に関する説明文２０６（例えば、“市区町村名をご記入ください”）とを関連付けてデータベース１０６に記憶している。
[書類検出部１０２]
顧客は、書類（以下は、記入書類００１と称する）を記入台に置いて記入する際に、記入欄にどのような情報を記入すればよいか不明な場合、画像データ処理装置に接続又は設置される撮影装置を起動する。これにより、撮影装置は、記入台に置かれている記入書類００１を撮影した画像（以下は、撮影画像と称する）を出力する。書類検出部１０２はその撮影画像を撮影装置から取得する。

取得方法は、既知の技術を利用する。例えば、無線又は有線なものを介して受信することが考えられる。

また、撮影装置は、既知の技術を利用する。例えば、顧客によって起動された後、書類検出部１０２は、記入台上の記入書類００１や記入書類００１上に置く顧客の手などの変化を常に検知して、その検知の画像を撮影して書類検出部１０２に撮影画像のデータを送信できるもので良い。

書類検出部１０２は、データベース１０６に予め記憶されている未記入書類の種類情報２０２を読み出す。

種類情報２０２の一例としては、例えば、バーコード、二次元バーコード、ＡＲ（augmented reality）タグを利用することができる。コードやタグの情報を未記入書類ごとにデータベース１０５に予め記憶する。未記入書類の紙面にはこれらのコードもしくはタグを付与する。例えば、これらのコードもしくはタグを事前に未記入書類の紙面に貼り付け又は印刷する。

書類検出部１０２はこれらバーコード、二次元バーコード、ＡＲタグなどの種類情報２０２を撮影画像から読み取り、データベース１０５に記憶されている未記入書類の種類情報２０２と比較することで、記入書類００１の種類を同定する。

また、既知の技術として、ＳＩＦＴ（Scale Invariant Feature Transform）など局所特徴量を利用したマッチングにより種類を同定することもできる。

ＳＩＦＴの詳細は、David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110に記載されているため、詳しい説明を省略する。

ＳＩＦＴなど局所特徴量を同定に利用する場合は、特別なコードもしくはタグの印刷は不要である。この場合、未記入書類の種類情報２０２には局所特徴量を予め記録する。

未記入書類の種類情報２０２に登録されている特徴量は、例えば、未記入書類を正面から撮影した書類画像２０１を書類検出部１０２で検出し抽出したものであってよい。

書類検出部１０２は、記入書類００１の書類種類２０２を同定した後、記入書類００１の記入台に対する位置（領域）を計算する。位置の計算方法は、例えば、書類種類２０２を利用する場合、バーコード、二次元バーコード、ＡＲタグなどを読み取って、これらのバーコード、二次元バーコード、ＡＲタグなどの撮影画像上の位置に基づいて、撮影画像上での記入書類００１の記入台に対する位置を認識して、その認識結果に基づいて記入書類００１の記入台に置かれた位置を算出することができる。

また、これらのコードやタグは、記入書類００１の紙面の決められた２つ以上の位置に印刷することによって位置の計算精度を上げることができる。

さらに、ＳＩＦＴなど多数の特徴点が抽出される特徴量を利用する場合、書類検出部２０２は、まず入力された撮影画像の画像領域の特徴点と、特徴量を記録した未記入書類の種類情報２０２にあらかじめ登録されている局所特徴量との、局所特徴量間距離を用いて対応点を検出する。

次に、書類検出部１０２は、対応点の位置関係から幾何学的整合性を検証することで、撮影画像上の記入書類００１の位置やスケール等、例えば、ホモグラフィ行列など幾何変換の情報を得て、得た情報に基づいて、記入書類００１の記入台に置かれた位置を計算する。

更に、撮影画像上で記入書類００１の領域の画素と記入台の表面領域の画素、又は記入台に対する記入書類００１の座標情報等を利用して、記入書類００１の記入台に置く位置を推定することもできる。

いずれも、既知の技術を利用するため、詳細な説明を省略する。

書類検出部１０２で同定された記入書類００１及び計算された記入書類００１の位置情報は、記入欄位置認識部１０３と投影部１０５に送信される。

また、書類検出部１０２は、撮影装置から入力された撮影画像を連続的に取得し、取得の都度、撮影画像の記入書類００１の種類を同定し、記入書類００１の記入台に置く位置を推定して記入欄位置認識部１０３に送信する。
[記入欄位置認識部１０３]
記入欄位置認識部１０３は、受信された記入書類００１の撮影画像データ及び計算された記入書類００１の位置情報に基づいて、記入書類００１に顧客が記入しようとする記入欄の位置を認識する。

位置の認識方法としては、例えば、撮影画像内の記入書類００１の記入欄が長方形である場合、記入欄位置認識部１０３は、記入書類００１における記入欄の左上と右下の頂点位置の座標情報と、データベース１０６に予め記憶されている書類画像２０１の対応未記入書類の対応記入欄の左上と右下の頂点位置の座標情報と比較して認識することができる。

また、ＳＩＦＴなど多数の特徴点が抽出される特徴量を利用する場合、記入欄位置認識部１０３は、まず入力された画像領域の特徴点と、特徴量を記録した未記入書類の種類情報２０２にあらかじめ登録されている局所特徴量との、局所特徴量間距離を用いて対応点を検出する。

次に、記入欄位置認識部１０３は、対応点の位置関係から幾何学的整合性を検証することで、撮影画像上の記入書類００１の記入欄の位置を計算することもできる。

ここの位置情報とは、例えば、ホモグラフィ行列など幾何変換の情報で表され、撮影画像上の記入書類００１の記入欄の位置や形状やスケールを得ることができる。

記入欄位置認識部１０３で計算された記入欄位置情報２０５は、記入欄変化検出部１０４へ送信される。

また、記入欄位置認識部１０３は、書類検出部１０２から同定した記入書類００１の情報、及び推定した記入書類００１の記入台に置く位置情報を受信し、それに基づいて計算した記入欄位置情報２０５を記入欄変化検出部１０４に送信する。
[記入欄変化検出部１０４]
記入欄変化検出部１０４は、記入欄位置情報２０５を受信した場合、記入欄内の情報に変化があったか否かを判断する。記入欄内の情報が変化の有無は、例えば、記入欄領域内の画素が有する輝度の情報を比較して判断してもよいし、又は、記入欄内の文字数の多少により判断してもよい。

例えば、記入欄変化検出部１０４は、記入欄位置認識部１０３から送信された記入欄位置情報２０５に基づいて、当該記入欄位置領域の画素と、データベース１０６の書類画像２０１から対応の未記入書類の対応記入欄位置領域の画素を読み出す。

続いて、記入欄変化検出部１０４は、記入欄位置認識部１０３から認識されて送られた記入書類００１の記入欄位置領域の画素と、データベース１０６から読み出した対応の書類画像２０１の記入欄位置領域の画素とを比較する。

記入欄変化検出部１０４は、比較の結果に基づいて、書類画像２０１の記入欄内の画素に対応する記入書類００１の記入欄内の画素の変化有無を検出する。

例えば、記入欄変化検出部１０４は、記入書類００１の記入欄内の全画素に関する変化量を合計して、予め定めた閾値以上に画素が変化していた場合、当該記入欄に顧客による記入が完了したと判断する。

閾値以下の場合、記入欄変化検出部１０４は、未記入又は記入が完了していない記入欄の記入欄ＩＤ２０３を投影部１０５に出力する。

また、記入欄変化検出部１０４は、記入完了となった場合、その記入欄ＩＤ２０３の値より大きい値を持つ記入欄、即ち、顧客が次に記入しようとする記入欄で、どのような情報を記入すればよいか不明である記入欄のＩＤ２０３をデータベース１０６から取得し、投影部１０５へ出力する。
[投影部１０５]
投影部１０５は、記入欄変化検出部１０４から送られた顧客が記入しようとする記入欄ＩＤ２０３を受け取り、データベース１０６から記入欄ＩＤ２０３に関連付けて記憶している説明文２０６を取り出す。

続いて、投影部１０５は、記入書類００１の位置情報に基づいて、取り出した説明文２０６を書類画像２０１の記入欄に対応する記入書類００１上の適当な位置、例えば、記入書類００１の記入欄と重なる位置、又はその記入欄の近くの位置に投影すべく、書類画像（以下は、投影画像００２と称する）を生成する。

投影部１０５は、生成した投影画像００２を記入台に置く記入書類００１と重なる位置、又は対応の記入欄の近くに投影する。投影部１０５は、例えば、データを編集できるプロジェクタによって構成すればよい。

なお、投影部１０５は、説明文２０６を、各記入欄に対応して事前に作成して記入欄と関連付けてデータベース１０６に記憶してもよい。この場合、投影部１０５は、投影画像００２を生成する際に、データベース１０６からその説明文２０６を抽出して利用してもよい。また、投影部１０５は、ネットを介して外部装置から取得してもよい。

次に、画像データ処理装置の処理方法について図面を参照して説明する。

図４は、本発明の第一の実施形態に係る画像データ処理装置の動作を示すフローチャートである。

まず、顧客は、サービス提供元の受付窓口で用意されている各種の書類から、記入しようとする記入書類００１を取り出して、記入台に置いて鉛筆やボルペン等の記入用具で記入する。

顧客は、記入書類００１の記入欄に対して不明な場合が生じた際に、記入台に置かれている画像データ処理装置に接続又は設置される撮影装置を起動してもよいし、受付窓口が開いている時間常時起動しておいてもよい。撮影装置は、記入台に置く記入書類００１を撮影し、撮影した撮影画像を書類検出部１０２に送信する（ステップＳ４０１）。

書類検出部１０２は、撮影装置から入力された撮影画像の中から記入書類００１の種類を示す種類情報２０２を検出する。検出した種類情報２０２と、データベース１０６に記憶している種類情報２０２から一致する情報があるかを検索する（ステップＳ４０２）。

また、書類検出部１０２は、検出した種類情報２０２と一致する種類情報２０２が見つかった場合、撮影された記入書類００１に対応する書類画像２０１がデータベース１０６にあったと判断する（ステップＳ４０３）。

書類検出部１０２は、撮影装置に撮影された記入書類００１の撮影画像に対応する書類画像２０１がデータベース１０６にあったと判断した場合、例えば、撮影された撮影画像中の記入書類００１に付与されるバーコード、二次元バーコード、ＡＲタグなどを読み取る。

また、書類検出部１０２は、読み取った情報が撮影画像上に位置する位置に基づいて、撮影画像の中の記入書類００１の記入台に対する位置を認識し、認識の結果に基づいて、記入書類００１が記入台に置かれた位置を推定し、推定した位置情報を記入欄位置認識部１０３へ送信する(ステップＳ４０４)。

記入欄位置認識部１０３は、書類検出部１０２から送信された記入書類００１の種類情報２０２と位置情報に基づいて、当該記入書類００１の記入欄位置を認識し、認識した記入欄位置情報２０５を記入欄変化検出部１０４へ送信する（ステップＳ４０５）。

記入欄変化検出部１０４は、受信された記入欄位置情報２０５に基づいて、当該記入欄位置領域の画素と、データベース１０６から対応の未記入書類の書類画像２０１の対応記入欄位置領域の画素を読み出す。

続いて、記入欄変化検出部１０４は、撮影画像の記入書類００１の記入欄領域内の画素とこれに対応する未記入書類の書類画像２０１の対応記入欄領域内の画素とを比較し、撮影画像の記入書類００１の記入欄領域内の画素の変化有無を検出する（ステップＳ４０６）。

記入欄変化検出部１０４は、撮影画像の記入書類００１の記入欄領域内の画素が予め定められた閾値以上であれば、記入欄は記入済であったと判断し、予め定められた閾値以下であれば、記入欄は、未記入、又は記入がまだ完了していないと判断する。

続いて、記入欄変化検出部１０４は、記入欄領域内の画素が予め定められた閾値以上であって、当該記入欄は記入済であったと判断した場合、当該記入欄ＩＤ２０３の値より大きい値を持つ記入欄ＩＤ２０３を次の未記入の記入欄として検出して投影部１０５へ送信する（ステップＳ４０７）。

なお、記入欄内の画素が予め定められた閾値以下であった場合、当該記入欄が、未記入か、記入がまだ完了していないと判断し、当該記入欄のＩＤ２０３を投影部１０５へ送信する。（ステップＳ４０８）。

投影部１０５は、記入欄変化検出部１０４から送信された記入欄ＩＤ２０３を受け取り、デーダベース１０６に記憶している記入欄ＩＤ２０３に関連付けている説明文２０６を取り出す。

続いて、投影部１０５は、取り出した説明文２０６を書類画像２０１の対応記入欄の適当な位置、例えば、記入欄と重なる位置、又は記入欄の近くに投影すべく、投影画像００２を生成する。

投影部１０５は、生成した投影画像００２を記入台に置く記入書類００１と重なる位置、又は対応記入欄の近くに投影する。（ステップＳ４０９）。

記入書類００１に投影画像００２を投影する位置の例として、図５及び図６を参照して下記のように説明する。

図５に示すように、顧客は、戸籍謄抄本等の交付請求書を記入する際に、請求年月日、住所、氏名、生年月日をそれぞれ対応する記入欄へ無事に記入できたが、電話番号の記入欄に、どのような電話番号を記入すればよいか不明な場合が生じた。

この場合、投影部１０５は、顧客が投影画像００２において記入書類００１の電話番号の記入欄に対する説明文２０６を参照しやすいために、記入書類００１の電話番号の下方に投影する。これによって、顧客が“昼間連絡の取れる電話番号（携帯電話番号などを記入してください）”という説明文２０６を参照しながら当該記入書類００１の電話番号の記入欄に記入することができる。

図６は、顧客が記入している戸籍謄抄本等の交付請求書の真上に投影画像００２を投影した例である。例えば、投影部１０５は、投影画像００２を記入台に置く記入書類００１を完全に重なるように投影する。

これによって、顧客が“昼間連絡の取れる電話番号（携帯電話番号などを記入してください）”という説明文２０６を参照しながら当該記入書類００１の電話番号の記入欄を記入することができる。

当該記入欄への記入が終了すると、当該記入欄が最後の記入欄ではない場合、ステップＳ４０５〜Ｓ４０８を繰り返す（ステップＳ４１０）。最後の記入欄まで記入する。

なお、当該記入欄が最後の記入欄である場合、記入欄変化検出部１０４は、最後の記入欄のＩＤ２０３の値より小さい値を持つ記入欄の全てに対して記入欄領域内の情報変化があったか否かを再判断する。

記入欄変化検出部１０４は、記入欄領域内の情報の変化を検出していない、即ち、未記入、又は記入未完了の記入欄があった場合、ステップ４０８と４０９を繰り返す。全記入欄が記入されたら処理を終了する（ステップＳ４１１）。

以上のように、本実施形態の画像データ処理装置の処理を説明した。本実施形態によれば、顧客が記入しようとする記入欄へ効果的に記入方法を提示でき、顧客の書類記入時の負担を軽減し、誤った理解による記入誤りを防ぐことができると共に、顧客が記入漏れを防ぐことができる。

したがって、誤った内容の書類や記入未完了の書類が受付窓口に持ち込まれることを防ぎ、処理業務効率を向上させることができる。
（第二の実施形態）
次に、本発明の第二の実施形態に係る画像データ処理装置について説明する。

図７は、本発明の第二の実施形態に係る未記入書類の記入例画像を示す図である。

図７に示すように、本実施形態に係る画像データ処理装置は、未記入書類の記入欄ごとに、記入すべき内容を例示した記入例画像００３を他の情報と関連付けてデータベース１０６にさらに記憶する。それ以外は、画像データ処理装置の構成及び処理は第一の実施形態と同様のものを想定する。

本実施形態では、投影部１０５（図１に示す）は、書類検出部１０２が記入書類００１の種類と位置情報を検出した時点で、一例として1秒から３０秒の時間を規定時間としてデータベース１０６に予め記憶する記入例画像００３を取り出す。

投影部１０５は、取り出した記入例画像００３を記入台に置く記入書類００１と重なるように投影する。顧客が記入書類００１に投影された記入例画像００３を参照して記入書類００１を記入することができる。

また、記入欄変化検出部１０４が図４に示す前記第一の実施形態のステップＳ４０６において、記入欄の画素に変化を検出した場合、すなわち、顧客が空欄への記入を開始した場合、投影部１０５は、前記規定時間が経過する前に記入例画像００３の投影を終了する。これによって、記入例画像００３がなくなるので、顧客が記入欄に記載する際に、記入例画像００３による邪魔が生じられない。

なお、当該記入欄への記入が終了すると、顧客に再び参照させるために、記入例画像００３を記入台に置く記入書類００１に再投影して、前記の処理を繰り返す。すべての記入欄が記入されたら処理を終了する。

以上のように、本実施形態によれば、顧客が記入する記入書類００１のそのものに記入例画像００３が表示されることで、記入書類００１の記入時の思考の負担を減らし、記入時間の短縮と、記入漏れおよび記入ミスを減らすことができ、書類の処理業務を効率化することができる。
（第三の実施形態）
次に、本発明の第三の実施形態に係る画像データ処理装置について説明する。

本実施形態に係る画像データ処理装置は、記入欄への記入内容が正しいかどうかを判断する為、及び記入内容の自動読み取りの為、図１に示す記入欄変化検出部１０４が記号や文字の認識手段であるＯＭＲ(Optical Mark Reader)とＯＣＲ(Optical Character Reader)のどちらか一方もしくは両方を備える。

また、一例として、記入欄ごとに記入が期待される正しい文字種８０１、例えば、漢字、ひらがな、かたかな、アルファベット、数字などの種類、記入欄のフォーマット（特性等）８０２、例えば、電話番号や郵便番号、暗証番号などの決まっている桁数や形式、及びエラーメッセージ８０３などの記入様式を関連付けてデータベース１０６に事前に記憶する。

図８は、本発明の第三の実施形態に係る画像データ処理装置のデータベースに記憶する記入欄情報の一例を示すテーブル図である。

図８に示すように、図３に示す記入欄情報に文字種、フォーマット及びエラーメッセージをさらに加える。例えば、少なくとも、記入欄ＩＤ２０３と、記入欄名称２０４と、記入欄位置情報２０５の左上座標、右下座標と、記入欄に関する説明文２０６と、文字種８０１と、フォーマット８０２と、エラーメッセージ８０３とを関連付けてデータベース１０６に記憶している。

なお、他の構成及び処理は第一の実施形態と同様のものを想定する。

図９は、本発明の第三の実施形態に係る画像データ処理装置の動作を示すフローチャートである。

図９に示すように、記入欄変化検出部１０４は、顧客が記入した記入書類００１の記入欄に対してＯＭＲやＯＣＲ処理を行う（ステップＳ９０１）。

記入欄変化検出部１０４は、ＯＭＲやＯＣＲの結果、例えば、郵便番号が日本国内では７桁で有ることや、加入電話の電話番号が０から始まり１０桁か１１桁であること、アラビア数字だけで氏名が構成されないことなどを利用して不一致するものがあるか否かを判断する（ステップＳ９０２）。

判断の結果、顧客が記入した記入書類００１の記入欄に記入した文字種・桁数やフォーマットなどが図８のテーブルに記憶された文字種・桁数やフォーマットなどと一致しない場合は、記入欄変化検出部１０４は、記入欄ＩＤ２０３を投影部１０５に送信する。（ステップＳ９０３）
投影部１０５は、記入欄のＩＤ２０３を受信した後、データベース１０６から記入欄ＩＤ２０３に関連付けているエラーメッセージ８０３を取り出して、顧客に修正を促す強調表示９０６とエラーメッセージ８０３を含む投影画像００２を生成する。（ステップＳ９０４）。

投影部１０５は、生成した投影画像００２を記入書類００１と重なるように投影する（ステップＳ９０５）。

図１０は、本発明の第三の実施形態に係る画像データ処理装置の投影画像と記入書類との重なる状態を示す図である。

図１０に示すように、強調表示９０６は、例えば、色を付け、又は枠を太くするものが考えられる。また、エラーメッセージ８０３は、データベース１０６に記憶しているものである。

本実施形態によれば、顧客の記入誤りを自動的に検出し修正を促すことで、受付窓口に誤った内容が記入された書類が持ち込まれることを防ぎ、訂正処理作業時間を削減でき、書類の処理効率向上を実現することができる。
（第四の実施形態）
次に、本発明の第四の実施形態に係る画像データ処理装置について説明する。

本実施形態に係る記入欄変化検出部１０４は、記入書類００１の線や図形や文字が書かれた領域情報を検出して投影部１０５に送信する。

投影部１０５は受信した領域情報を避けた位置に投影画像００２を投影することができる。なお、画像データ処理装置の他の構成及び処理は第一〜第三の実施形態と同様のものを想定する。

記入書類００１には、予め印刷された欄を構成する直線や説明書き等が存在し、そのような部分へ投影画像００２を投影することは、文字や線が重なることにより顧客の読取を阻害することになる。

本実施形態の記入欄変化検出部１０４は、前記第一の実施形態のステップＳ４０６を経て、顧客が記入しようとする記入欄に対して、書類画像２０１の当該記入欄の画像上の明度が低い画素が存在する領域、例えば、黒色の画素を検出した領域の情報を投影部１０５に送信する。

投影部１０５は、記入欄変化検出部１０４から送信されたこの領域の情報を利用して、当該領域に重ならない領域で、前記記入欄に近い箇所へ記入欄に関する説明文２０６を含む投影画像００２を生成して投影する。

以上のように、本実施形態によれば、顧客の記入欄への記入する際に、説明文を読みやすいように説明文の投影画像を投影するができ、書類の処理業務を効率化することができる。
（第五の実施形態）
次に、本発明の第五の実施形態に係る画像データ処理装置について説明する。

本実施形態に係る画像データ処理装置は、第一〜第四の実施形態の画像データ処理装置に加えて、投影部１０５は、記入書類００１への記入が必要な記入欄の内部又はその周辺を明度の高い色、その他の領域を暗色で塗りつぶした投影画像００２を生成して投影する機能をさらに備える。

なお、画像データ処理装置の他の構成及び処理は第一〜第四の実施形態と同様のものを想定する。

本実施形態によれば、顧客は記入が必要な記入欄の領域と他の領域とに異なる明度の投影画像００２を生成することができるので、顧客は記入が必要な記入欄をより直感的に識別することができ、記入時の負担を軽減することで、業務効率を向上することができる。
（第六の実施形態）
次に本発明の第六の実施形態に係る画像データ処理装置について説明する。

本実施形態に係る画像データ処理装置は、第一〜第五の実施形態の画像データ処理装置に加えて、記入欄変化検出部１０４は、記入台に置く記入書類００１に顧客の手が置いている場合、その位置を検出する機能をさらに備える。

前記記入欄変化検出部１０４は、記入台に置く記入書類００１に顧客の手が置かれている場合、その位置を検出して投影部１０５に送信する。

投影部１０５は、手にかからない位置へ投影画像００２を生成して投影する。例えば、記入書類００１の記入欄に対して検出した手の位置とは反対の方向へ投影画像００２を投影すればよい。

手の検出は撮影画像中から肌色の色相などカラー情報を利用しても良いし、背景差分法を利用しても良いし、輪郭形状を用いる方法でもよい。

本実施形態によれば、顧客の手を検出して、手にかからない位置へ投影画像００２を投影することができるので、顧客は記入時に、説明文を参照しやすく、負担を軽減することで、業務効率を向上することができる。
（第七の実施形態）
次に本発明の第七の実施形態に係る画像データ処理装置について説明する。

本実施形態に係る画像データ処理装置は、第一〜第六の実施形態の画像データ処理装置に加えて、投影部１０５は、顧客が記入している記入欄の次に記入する記入欄に関して、データベース１０６に予め記憶された強調表示９０６や説明文２０６を含む投影画像００２を生成して投影する機能をさらに備える。

本実施形態によれば、投影部１０５は、次に記入する記入欄に関しても、データベース１０６に予め記憶された強調表示９０６や説明文２０６などの情報を含む投影画像００２を生成して投影することができる。これによって、顧客が現在の記入欄に記入する際に、顧客の記入速度に合わせて次の記入欄に対する説明文を含む投影画像００２が生成して投影されることで、顧客の記入時負担の軽減と、記入誤りや記入忘れを防ぐことができる。

したがって、誤った内容の書類が受付窓口に持ち込まれることを防ぎ、処理業務効率の向上を実現できる。
（第八の実施形態）
次に本発明の第八の実施形態に係る画像データ処理装置について説明する。
本実施形態に係る画像データ処理装置は、第一〜第七の実施形態の画像データ処理装置に加えて、記入欄変化検出部１０４は、顧客が、書類への記入を完了する前の段階で、記入欄の単位時間当たりの変化量が減少もしくは無くなったことを検出する。

投影部１０５は、検出後一定時間経過した後、記入欄に関する説明文２０６を含む投影画像００２を生成して投影する機能をさらに備える。

記入書類００１の記入を完了する前に記入のペースが落ちたもしくは止まったということは、顧客が記入内容もしくは方法を理解できず、迷っている可能性がある。本実施形態に係る投影部１０５は、顧客が迷っているタイミングを見計らうことができ、記入欄に関する説明文２０６を含む投影画像００２をよいタイミングで生成して投影する。これによって、顧客が書類記入時の負担を軽減し、誤った理解による記入誤りを防ぐことができる。

したがって、誤った内容の書類が受付窓口に持ち込まれることを防ぎ、処理業務効率を向上させることができる。

次に、上述した本発明の各実施形態のハードウェアの構成例を図１０に基づいて、説明する。

上述した本発明の各実施形態において、各フローチャートを参照して説明した処理機能は、コンピュータによって実現することができる。

その場合、画像データ処理装置１００が有すべき機能の処理内容を記述したプログラムが提供される。

図１１は、本発明の第一〜第八の実施形態に係る画像データ処理装置のハードウェアの構成例を示すブロック図である。

図１１に示すように、本発明の各実施形態としての画像データ処理装置１０１の処理機能は、ＲＯＭ１００３（Read Only Memory）又は記憶装置１００４（ＨＤＤ）に記憶されたコンピュータ・プログラムをＣＰＵ１００１（Central Processing Unit）がＲＡＭ１００２（Random Access Memory）に読み込んで実行する。これにより、コンピュータ上で、外部機器接続インタフェース１００５、ネットワークインタフェース１００６、投影デバイス１００７から入力された画像データに対する処理を実現される。

また、前記処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

上記プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータに格納しておき、ネットワークを通じて、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

上記プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム若しくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。

そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。

また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

以上のように、本発明の実施の形態を説明したが、上記については単に本発明の原理を示すものである。本発明は上記に示して説明した構成および実施形態に限定されるものではなく、さらに、多数の変形、変更が当業者にとって可能である。

付記
上記の実施形態の一部又は全部は、以下の付記のように記載することも可能である。但し、実際には、以下の記載に限定されない。
（付記１）
少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶するデータベースと、
記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出する書類検出部と、
前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信する記入欄位置認識部と、
前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信する記入欄変化検出部と、
前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影する投影部とを備えることを特徴とする画像データ処理装置。
（付記２）
前記記入欄変化検出部は、前記記入欄領域内の情報の変化がなかった記入欄を検出した場合、当該記入欄のＩＤを送信することを特徴とする付記１に記載の画像データ処理装置。
（付記３）
前記記入欄領域内の情報は、前記記入欄領域内の画素であり、前記記入欄変化検出部は、前記記入欄領域内の情報の変化有無を検出する際に、前記記入欄領域内の画素と前記データベースに記憶された当該記入欄に対応する記入欄領域内の画素とを比較し、前記記入欄領域内の画素が予め定められた閾値以上である場合、当該記入欄が変化され、記入済であったと判断し、予め定められた閾値以下である場合、当該記入欄が変化されず、未記入、又は記入未完了であったと判断することを特徴とする付記１又は２に記載の画像データ処理装置。
（付記４）
前記データベースは、前記未記入書類の記入例の書類画像を他の情報と関連付けてさらに記憶し、前記投影部は、前記書類検出部が前記記入書類を検出した後、当該記入書類への記入がなされる前に、前記データベースに記憶している前記記入例の書類画像を前記記入書類と重なるように投影することを特徴とする付記１〜３のいずれか１つに記載の画像データ処理装置。
（付記５）
前記投影部は、前記記入書類への記入が必要な記入欄の内部又はその周辺の領域を明度の高い色で、その他の領域を暗色で塗りつぶした投影画像を生成することを特徴とする付記１〜４のいずれか１つに記載の画像データ処理装置。
（付記６）
前記記入欄変化検出部は、前記記入書類の最後の記入欄が記入された後、最後の記入欄のＩＤより小さな記入欄ＩＤを持つ記入欄領域内の情報の変化有無を検出することを特徴とする付記１〜５のいずれか１つに記載の画像データ処理装置。
（付記７）
前記未記入書類の記入欄ごとに記入が期待される記入様式、及び前記記入欄に対するエラーメッセージとを他の情報と関連付けて前記データベースにさらに記憶し、
前記記入欄変化検出部は、前記記入様式を認識する記入様式認識デバイスをさらに備え、前記記入書類の記入欄に記入された記入様式に対して認識処理を行い、認識の結果に基づいて、前記記入欄に記入された記入様式が前記データベースに記憶する記入様式と一致していないと判断した場合は、当該記入欄に対する修正を促す強調表示と前記エラーメッセージとを含む前記記入書類の投影画像を生成して前記記入書類と重なるように投影することを特徴とする付記１に記載の画像データ処理装置。
（付記８）
少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶し、
記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出し、
前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信し、
前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信し、
前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影することを特徴とする画像データ処理方法。
（付記９）
少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶する処理と、
記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出する処理と、
前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信する処理と、
前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信する処理と、
前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影する処理とをコンピュターに実行させることを特徴とするプログラム。
（付記１０）
少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶する処理と、
記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出する処理と、
前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信する処理と、
前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信する処理と、
前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影する処理とをコンピュターに実行させるプログラムが記録された記録媒体。

本発明の画像データ処理装置は、金融機関や交通機関、公共機関、教育機関のみならず、一般企業や商業施設などにおいて、申請書類、帳簿、事務処理用書類などの書類を作成する際に適用可能である。

００１ 記入書類
００２ 投影画像
００３ 記入例画像
１０１ 画像データ処理装置
１０２ 書類検出部
１０３ 記入欄位置認識部
１０４ 記入欄変化検出部
１０５ 投影部
１０６ データベース
２０１ 書類画像
２０２ 種類情報
２０３ 記入欄ＩＤ
２０４ 記入欄名称
２０５ 記入欄位置情報
２０６ 記入欄に関する説明文
８０１ 文字種
８０２ フォーマット
８０３ エラーメッセージ
９０６ 強調表示
１００１ ＣＰＵ
１００２ ＲＡＭ
１００３ ＲＯＭ
１００４ 記憶装置
１００５ 外部機器接続インタフェース
１００６ ネットワークインタフェース
１００７ 投影デバイス

Claims (10)

1. 少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶するデータベースと、
   記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出する書類検出部と、
   前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信する記入欄位置認識部と、
   前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信する記入欄変化検出部と、
   前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影する投影部とを備えることを特徴とする画像データ処理装置。
2. 前記記入欄変化検出部は、前記記入欄領域内の情報の変化がなかった記入欄を検出した場合、当該記入欄のＩＤを送信することを特徴とする請求項１に記載の画像データ処理装置。
3. 前記記入欄領域内の情報は、前記記入欄領域内の画素であり、前記記入欄変化検出部は、前記記入欄領域内の情報の変化有無を検出する際に、前記記入欄領域内の画素と前記データベースに記憶された当該記入欄に対応する記入欄領域内の画素とを比較し、前記記入欄領域内の画素が予め定められた閾値以上である場合、当該記入欄が変化され、記入済であったと判断し、予め定められた閾値以下である場合、当該記入欄が変化されず、未記入、又は記入未完了であったと判断することを特徴とする請求項１又は２に記載の画像データ処理装置。
4. 前記データベースは、前記未記入書類の記入例の書類画像を他の情報と関連付けてさらに記憶し、前記投影部は、前記書類検出部が前記記入書類を検出した後、当該記入書類への記入がなされる前に、前記データベースに記憶している前記記入例の書類画像を前記記入書類と重なるように投影することを特徴とする請求項１〜３のいずれか１項に記載の画像データ処理装置。
5. 前記投影部は、前記記入書類への記入が必要な記入欄の内部又はその周辺の領域を明度の高い色で、その他の領域を暗色で塗りつぶした投影画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の画像データ処理装置。
6. 前記記入欄変化検出部は、前記記入書類の最後の記入欄が記入された後、最後の記入欄のＩＤより小さな記入欄ＩＤを持つ記入欄領域内の情報の変化有無を検出することを特徴とする請求項１〜５のいずれか１項に記載の画像データ処理装置。
7. 前記未記入書類の記入欄ごとに記入が期待される記入様式、及び前記記入欄に対するエラーメッセージとを他の情報と関連付けて前記データベースにさらに記憶し、
   前記記入欄変化検出部は、前記記入様式を認識する記入様式認識デバイスをさらに備え、前記記入書類の記入欄に記入された記入様式に対して認識処理を行い、認識の結果に基づいて、前記記入欄に記入された記入様式が前記データベースに記憶する記入様式と一致していないと判断した場合は、当該記入欄に対する修正を促す強調表示と前記エラーメッセージとを含む前記記入書類の投影画像を生成して前記記入書類と重なるように投影することを特徴とする請求項１に記載の画像データ処理装置。
8. 少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶し、
   記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出し、
   前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信し、
   前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信し、
   前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影することを特徴とする画像データ処理方法。
9. 少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶する処理と、
   記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出する処理と、
   前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信する処理と、
   前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信する処理と、
   前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影する処理とをコンピュターに実行させることを特徴とするプログラム。
10. 少なくとも、未記入書類の書類画像と、前記未記入書類に付与される種類情報と、前記未記入書類の記入欄を識別する記入欄のＩＤと、前記記入欄の位置を表す記入欄位置情報と、前記記入欄に関する説明文とを関連付けて記憶する処理と、
    記入台に置く記入書類の撮影画像を取得し、取得した撮影画像から前記記入書類に付与される種類情報を検出し、検出した種類情報と前記データベースに記憶している未記入書類の種類情報とに基づいて、前記記入書類を識別し、さらに、前記撮影画像中の前記記入書類が記入台に置かれた位置を示す位置情報を検出する処理と、
    前記書類検出部で検出された前記位置情報に基づいて、前記記入書類の記入欄の位置を認識して記入欄位置情報を送信する処理と、
    前記記入欄位置認識部から送信された前記記入欄位置情報に基づいて、前記記入欄領域内の情報と前記データベースに記憶された当該記入書類に対応する書類画像の対応記入欄領域内の情報とを比較し、前記記入欄位置認識部から送信された前記記入書類の記入欄領域内の情報の変化有無を検出し、前記記入欄領域内の情報の変化に応じて記入中または未記入の記入欄ＩＤを検出して送信する処理と、
    前記記入欄変化検出部から送信された記入欄ＩＤを受け取り、前記データベースに記憶している当該記入欄ＩＤに関連付けている説明文を抽出して、投影画像を生成し、生成した前記投影画像が前記記入書類に一部又は全部と重なる位置に投影する処理とをコンピュターに実行させるプログラムが記録された記録媒体。

Images