JP2017091144A - 記入用紙の入力支援システム - Google Patents

Abstract

【課題】ユーザが記入用紙の記入欄に記入する際，ユーザが記入する記入欄に応じたガイダンスをスマートグラスに自動的に表示できるシステムを提供する。【解決手段】本発明に係る記入用紙の入力支援システム１において，ユーザ６が記入用紙２の記入欄２０に記入する際，電子ペン３は，ユーザ６が記入する記入欄２０に印字された符号化パターンを読取り，表示制御装置４は，電子ペン３が読み取った符号化パターンにエンコードされたコード情報から，ユーザ６が記入する記入用紙２と記入欄２０を特定して，これらに応じたガイダンス情報をスマートグラス５に表示する。【選択図】図１

Description

本発明は，少なくとも一つの記入欄が設けられた記入用紙を記入するユーザに対して，ユーザが記入する記入欄に係るガイダンスを自動で提示できるようにした発明である。

官公庁への申請書類，クレジットの申込書，保険の申込書等，手書きを求められる申請書類を用いる業務の効率を高めるために電子ペンが実用化されている（例えば，特許文献１）。手書きを求められる申請書類を用いる業務に電子ペンを利用することで，申請書類に手書きで記入された内容をデジタル化してコンピュータへ入力できるため，この業務の効率を高めることができる。

しかしながら，官公庁への申請書類等，手書きを求められる申請書類は，住所，氏名，勤務先等を記入する際のルールが別紙で定められていることが多く，記入に際しては，申請書と別紙を交互に見比べながら記入することになるが，ルールに反した形式で誤記入されることも多く，申請書類を書き直すことがしばしば発生する。

手書きで申請書類を記入している申請者に対して，申請者が記入しようとしている記入欄に係るガイダンスをコンピュータ機器により自動で提示できれば，申請書類の誤記入を減らすことができる。申請書類の記入に妨げにならないディスプレイとしては，メガネ型ウェアブル端末やヘッドマウントディスプレイとも称されるスマートグラスが好適で，近年では，コンピュータ映像を実際の視野に重ねて表示できるシースルー型のスマートグラスも開発されている。

ユーザがペンで操作した内容に応じたコンピュータ映像をスマートグラスに表示させる発明として，机の表面上で行ったペンの操作に応じた画像をユーザに提示する発明（特許文献２）が既に開示されているが，ユーザがペンで示した位置に対応する画像をスマートグラスに表示させるのみで，申請者が記入する申請書類の記入欄に応じたガイダンスをスマートグラスに表示できるように構成されていない。

特表２００３−５２８３８７号公報 特開２０１１−１８０８６７号公報

そこで，本発明は，ユーザが記入用紙の記入欄に記入する際，ユーザが記入する記入欄に応じたガイダンスをスマートグラスに自動的に表示できるシステムを提供することを課題とする。

上述した課題を解決する本発明は，記入欄の識別に用いるコード情報をエンコードした符号化パターンを前記記入欄に印字した記入用紙と，実際の視野にコンピュータ画像を重ねて表示するスマートグラスと，ペン先に印字されている前記符号化パターンを光学的に読み取り，前記符号化パターンにエンコードされている前記コード情報を少なくとも取得する電子ペンと，前記記入欄の記入ルールを説明するガイダンス情報を前記スマートグラスに表示させる表示制御装置とから少なくとも構成され，前記表示制御装置は，前記符号化パターンにエンコードされた前記コード情報を前記記入欄毎に記した用紙定義情報と，前記記入欄に対応する前記ガイダンス情報を前記記入欄毎に記したガイダンステーブルを前記記入用紙毎に記憶し，前記電子ペンが前記記入用紙から読み取った前記コード情報が送信されると，前記電子ペンが読み取った前記コード情報を含む前記用紙定義情報を検索することで前記記入用紙を特定し，更に，検索した前記用紙定義情報を参照して，前記電子ペンが読み取った前記コード情報に対応する前記記入欄を特定した後，特定した前記記入用紙に対応する前記ガイダンステーブルに記されている前記ガイダンス情報の中から，特定した前記記入欄に対応する前記ガイダンス情報を前記スマートグラスに表示させる処理を実行する表示制御手段を備えていることを特徴とする記入用紙の入力支援システムである。

ユーザが前記記入用紙の前記記入欄に記入する際，前記電子ペンは，ユーザが記入する前記記入欄に印字された前記符号化パターンを読取り，前記表示制御装置は，前記電子ペンが読み取った前記符号化パターンにエンコードされた前記コード情報から，ユーザが記入する前記記入用紙と前記記入欄を特定して，これらに応じた前記ガイダンス情報を前記スマートグラスに表示するように本発明は構成されており，よって，本発明の課題を達成できる。

記入用紙の入力支援システムの構成を示した図。 符号化パターンとして記入用紙に印字するドットパターンを説明する図。 電子ペンのブロック図。 表示制御装置のブロック図。 記入用紙のレイアウトの一例を説明する図。 用紙定義情報の一例を説明する図。 ガイダンステーブルの一例を説明する図。 表示制御装置の表示制御手段の動作を説明する図。 スマートグラスを説明する図。

ここから，本発明の好適な実施形態を記載する。なお，以下の記載は本発明の範囲を束縛するものでなく，理解を助けるために記述するものである。

ここから本発明に係る記入用紙の入力支援システム１について，図を参照しながら詳細に説明する。図１は，記入用紙の入力支援システム１の構成を示した図で，図１に図示したように，本発明に係る記入用紙の入力支援システム１は，ユーザ６が頭部に装着するシースルー型のスマートグラス５と，スマートグラス５に表示させる画像を制御する表示制御装置４と，コード情報をエンコードした符号化パターンを記入欄２０に印字している記入用紙２と，記入用紙２の記入欄２０に印字されている符号化パターンを光学的に読み取る機能を備えた電子ペン３とから少なくとも構成される。なお，図１では，スマートグラス５と表示制御装置４は有線で接続し，電子ペン３と表示制御装置４は無線で接続している。

符号化パターンにエンコードしたコード情報によって，ユーザ６が記入する記入用紙２とユーザ６が記入する記入欄２０を識別できるようにするためには，ユーザ６が記入する記入用紙２毎でコード情報が異なり，更に，記入用紙２に設けられた記入欄２０毎でコード情報が異なることが必要で，本実施形態では，Ａｎｏｔｏ社のデジタルライティングテクノロジーを利用して，このことを実現している。

まず，記入用紙２について説明する。図２は，符号化パターンとして記入用紙２に印字するドットパターンを説明する図である。本実施形態の記入用紙２には，記入用紙２のレイアウトに対応する文字や絵柄とは別に，図２（ａ）で図示したようなドットパターンが，カーボンを含んだ特殊インキを用いて全面に印刷される。

ドットパターンの各ドットは，格子状の交点において上下左右のいずれかの方向に微妙にずれた状態で配置され，図２（ｂ）で図示したように，一つのドットで２＾２通りを表現することができ，Ａｎｏｔｏ社のデジタルライティングテクノロジーでは，６ドット×６ドットのドットパターンで一つの座標が表されるため，本実施形態では，６ドット×６ドットのドットパターンで表される座標を，本発明に係るコード情報として取り扱う。

上述したように，一つのドットで２＾２通りを表現することができるので，３６個のドットにより２＾７２通りの座標を表現することができる。図２（ａ）で図示したように，ドットの間隔は０．３ｍｍであるため，この２＾７２通りの座標を全て網羅できる用紙面積は非常に膨大な面積になり，この膨大な面積に含まれる一部領域が一つの記入用紙２に割り当てられ，結果として，記入用紙２の座標は記入用紙２毎にユニークになる。すなわち，電子ペン３が記入用紙２から読み取った座標を処理する装置（ここでは，表示制御装置４）に，記入用紙２に割り当てられた座標範囲（以下，記入用紙座標）と，記入用紙２に設けられた記入欄２０の座標範囲（以下，記入欄座標）を記憶させておけば，この装置は，電子ペン３が記入用紙２から読み取った座標から，ユーザ６が記入する記入用紙２と，電子ペン３が座標を読み取った記入用紙２上の位置を判別できる。

次に，電子ペン３について説明する。図３は，電子ペン３のブロック図である。図３に図示したように，電子ペン３には，従来のペンとして機能するペン部３３に加え，電子ペン３として機能するために，記入用紙２に印刷されたドットパターンを読取る手段であるカメラ３２（ＣＣＤカメラやＣＯＭＳカメラ）と，外部装置と無線通信するための手段である無線通信手段３５と，ペン部３３のペン先に加わる圧力を計測するための筆圧センサ３４と，カメラ３２が撮像した画像の画像処理などの行うためのプロセッサ３０と，プロセッサ３０が処理した情報を記憶するメモリ３１を備えている。

記入用紙２上に印刷されたドットパターンを読取る手段であるカメラ３２は光源と光学系を備える。上述しているように，ドットパターンは，カーボンを含んだ特殊インキで印刷されているため，赤外線を照射する光源にすることで，カメラ３２は記入用紙２に印刷されたドットパターンだけを認識することができる。

電子ペン３に備えられた無線通信手段３５は，外部装置（ここでは，表示制御装置４になる）と無線通信する手段で，Ａｎｏｔｏ社のデジタルライティングテクノロジーでは，無線通信手段３５としてブルートゥース（登録商標）を利用している。当然のことながら，無線通信手段３５はブルートゥース（登録商標）以外の手段，例えば，ＺｉｇＢｅｅや赤外線でもよい。また，無線通信でなくとも，ＵＳＢなど有線で通信を行う手段を電子ペン３が備えていても構わない。

筆圧センサ３４は，ユーザ６が電子ペン３のペン部３３の先端に加わる圧力すなわち筆圧を検出する手段である。筆圧センサ３４が検出した筆圧はプロセッサ３０に伝達され，プロセッサ３０は，筆圧センサ３４から送信される筆圧を参照することで，ペン部３３のペン先がＯＮ状態，すなわち，記入用紙２に接した状態（＝記入している状態）であるか，ＯＦＦ状態，すなわち，記入用紙２に接していない状態（＝記入していない状態）であるか判断する。

画像処理を行うプロセッサ３０は，ペン部３３のペン先がＯＮ状態であるときに，カメラ３２を用いて高速（５０回〜１００回／秒）でドットパターンを撮像して，撮像したドットパターンから座標を演算し，ドットパターンを撮像した時間情報，ドットパターンから得られる座標，および，座標の推移を解析することで得られるストローク情報を少なくとも筆跡情報として，時系列でメモリ３１に記憶する。なお，本実施形態では，プロセッサ３０は，特殊座標を読み取ると，メモリ３１に記憶している筆跡情報を外部装置（ここでは，表示制御装置４）へ，無線通信手段３５を用いて送信する。

次に，表示制御装置４について説明する。図４は，表示制御装置４のブロック図である。本実施形態に係る表示制御装置４は，ＣＰＵ，ＲＡＭおよびデータ記憶装置（例えば，ハードディスク）などを備えたコンピュータを利用して実現される装置で，図１に図示したように，本実施形態に係る表示制御装置４は，有線によりスマートグラス５と接続し，更に，無線により電子ペン３と接続する。

図４に図示したように，本実施形態に係る表示制御装置４は，記入欄２０に印字した符号化パターンにエンコードしたコード情報を記入欄２０毎に少なくとも記述した用紙定義情報４２を記入用紙２毎に記憶し，更に，記入欄２０に対応するガイダンス情報を記述したガイダンステーブル４３を記入用紙２毎に記憶している。また，本実施形態に係る表示制御装置４は，電子ペン３と無線通信する手段として無線通信手段４１と，電子ペン３から座標を受信すると，電子ペン３から受信した座標に対応するガイダンス情報をスマートグラス５に表示させる表示制御手段４０を備える。

図５は，記入用紙２のレイアウトの一例を説明する図である。図５で図示したように，本実施形態の記入用紙２は申込書で，本実施形態の記入用紙２には，「フリガナ」，「氏名」，「住所」および「電話番号」それぞれの記入欄２０ａ〜ｄが設けられており，更に，本実施形態の記入用紙２には，電子ペン３にデータ送信させるための絵柄であるガイダンス絵柄２１が設けられている。ガイダンス絵柄２１が印刷される範囲には，Ｐｉｄｇｅｔと称され，記入用紙２に割り当てられた座標と無関係な座標で，電子ペン３の動作（ここでは，筆跡情報の送信）を制御するための座標が印刷されている。

図６は，用紙定義情報４２の一例を説明する図である。本実施形態では，６ドット×６ドットのドットパターンで表される座標をコード情報として扱うため， 本実施形態に係る用紙定義情報４２には，記入用紙２の記入用紙座標と，記入欄２０毎に記入欄座標が記述されている。図５で図示した記入用紙２には，「フリガナ」，「氏名」，「住所」および「電話番号」にそれぞれ対応する記入欄２０ａ〜ｄが設定されているため，図６で図示した用紙定義情報４２は，「フリガナ」の記入欄２０ａに対応する記入欄座標，「氏名」の記入欄２０ｂに対応する記入欄座標，「住所」の記入欄２０ｃに対応する記入欄座標，および，「電話番号」の記入欄２０ｄに対応する記入欄座標を含んでいる。なお，ガイダンス絵柄２１が設けられている範囲に印刷する特殊座標は，電子ペン３の動作を制御するための座標であるため，特殊座標については用紙定義情報４２に記述していない。

図７は，ガイダンステーブル４３の一例を説明する図である。ガイダンステーブル４３には，記入用紙２に設けられた記入欄２０毎に，記入欄２０の中のそれぞれの記入欄２０ａ〜ｄに対応するガイダンス情報が記述される。図５で図示した記入用紙２には，「フリガナ」，「氏名」，「住所」および「電話番号」にそれぞれ対応する記入欄２０ａ〜ｄが設定されているため，図７で図示したガイダンステーブル４３は，「フリガナ」の記入欄２０ａに対応するガイダンス情報，「氏名」の記入欄２０ｂに対応するガイダンス情報，「住所」の記入欄２０ｃに対応するガイダンス情報，および，「電話番号」の記入欄２０ｄに対応するガイダンス情報を含んでいる。なお，ガイダンステーブル４３に記憶させるガイダンス情報は，ガイダンスが必要とする記入欄２０のガイダンス情報のみであってよい。また，ガイダンス情報は，記入欄２０の記入ルールの説明にすることが好適で，外国の方向けに，記入ルールの説明を外国語表示にすることもできる。

表示制御装置４が備える無線通信手段４１は，電子ペン３が備える無線通信手段３５に対応した手段になり，例えば，電子ペン３が無線通信手段３５としてブルートゥース（登録商標）を備えている場合，表示制御装置４が無線通信手段４１としてブルートゥース（登録商標）を備えることになる。

表示制御装置４が備える表示制御手段４０は，表示制御装置４として用いるコンピュータが備えるＣＰＵを動作せるコンピュータプログラムにより実現される手段で，図８は，表示制御装置４の表示制御手段４０の動作を説明する図である。

ユーザ６が，電子ペン３のペン部を記入用紙２のそれぞれの記入欄２０ａ〜ｄの何れかに押し当てた後，電子ペン３のペン部をガイダンス絵柄に押し当てると，電子ペン３のプロセッサは，電子ペン３の無線通信手段を作動させて，この時点でメモリ３１に記憶している筆跡情報を表示制御装置４へ送信する（Ｓ１）。

表示制御装置４の無線通信手段４１が，電子ペン３から送信された筆跡情報を受信すると，表示制御装置４の表示制御手段４０は，電子ペン３から送信された筆跡情報から，時系列的に最後になる座標をコード情報として取得する（Ｓ２）。

次に，表示制御装置４の表示制御手段４０は，表示制御装置４が記憶している用紙定義情報４２の中から，コード情報として取得した座標が含まれる記入用紙座標を有する用紙定義情報４２を検索することで，ユーザ６が利用する記入用紙２を特定する（Ｓ３）。

次に，表示制御装置４の表示制御手段４０は，検索した用紙定義情報４２を参照し，コード情報として取得した座標が含まれる記入欄座標を特定することで，ユーザ６が記入する記入欄が２０ａ〜ｄのうちのどれであるかを特定する（Ｓ４）。

次に，表示制御装置４の表示制御手段４０は，特定した記入用紙２に対応するガイダンステーブル４３から，記入欄２０ａ〜ｄのうちの特定したひとつの記入欄に対応するガイダンス情報を検索し，検索したガイダンス情報をスマートグラス５に送信することで，検索したガイダンス情報をスマートグラス５に表示させて（Ｓ５），この手順は終了する。

最後に，ガイダンス情報を表示するスマートグラス５について説明する。図９は，本実施形態に係るスマートグラス５を説明する図である。スマートグラス５は市販品を利用することができるが，実空間を直視可能で，かつ，視野内にコンピュータ画像を重畳させて表示できることを考慮し，本実施形態に係るスマートグラス５はシースルー型になる。

シースルー型の場合，図９に図示したように，スマートグラス５は，画像を投影する小型の液晶プロジェクタ５０と，液晶プロジェクタ５０が投影した画像を反射させるハーフミラー５１と，液晶プロジェクタ５０を制御するコントローラ５２を備える。

スマートグラス５のコントローラ５２は表示制御装置４と接続し，表示制御装置４から送信されたガイダンス情報に係る画像を液晶プロジェクタ５０によりハーフミラー５１に投影し，ハーフミラー５１で反射した光がユーザ６の目に到達することで，ガイダンス情報がユーザ６に伝達される。

なお，本実施の形態では，Ａｎｏｔｏ社のデジタルライティングテクノロジーを例にとりながら説明したが，Ａｎｏｔｏ社のデジタルライティングテクノロジーを利用する以外の形態でも本発明は実施できる。例えば，本実施形態では，６ドット×６ドットのドットパターンで表される座標をコード情報として取り扱っているが，記入用紙２の識別子と記入欄２０のシリアル番号を連結させた情報をコード情報することもできる。また，記入用紙２に印字する符号化パターンは，６ドット×６ドットのドットパターン以外でもよい。

１ 記入用紙の入力支援システム
２ 記入用紙
２０ 記入欄
３ 電子ペン
４ 表示制御装置
４０ 表示制御手段
４２ 用紙定義情報
４３ ガイダンステーブル
５ スマートグラス
６ ユーザ

Claims (1)

1. 記入欄の識別に用いるコード情報をエンコードした符号化パターンを前記記入欄に印字した記入用紙と，
   実際の視野にコンピュータ画像を重ねて表示するスマートグラスと，
   ペン先に印字されている前記符号化パターンを光学的に読み取り，この前記符号化パターンにエンコードされている前記コード情報を少なくとも取得する電子ペンと，
   前記記入欄の記入ルールを説明するガイダンス情報を前記スマートグラスに表示させる表示制御装置とから少なくとも構成され，
   前記表示制御装置は，前記符号化パターンにエンコードされた前記コード情報を前記記入欄毎に記した用紙定義情報と，前記記入欄に対応する前記ガイダンス情報を前記記入欄毎に記したガイダンステーブルを前記記入用紙毎に記憶し，前記電子ペンが前記記入用紙から読み取った前記コード情報が送信されると，前記電子ペンが読み取った前記コード情報を含む前記用紙定義情報を検索することで前記記入用紙を特定し，更に，検索した前記用紙定義情報を参照して，前記電子ペンが読み取った前記コード情報に対応する前記記入欄を特定した後，特定した前記記入用紙に対応する前記ガイダンステーブルに記されている前記ガイダンス情報の中から，特定した前記記入欄に対応する前記ガイダンス情報を前記スマートグラスに表示させる処理を実行する表示制御手段を備えている，
   ことを特徴とする，記入用紙の入力支援システム。
   

Images