JP2015011586A - 情報提示装置、情報提示システム、情報提示方法及びプログラム - Google Patents

Abstract

【課題】書類への記入時における記入ミスを減らす。
【解決手段】ユーザが記入できる記入領域を含む第１の文書を撮影することによって得られた文書画像を取得する画像取得手段と、前記記入領域の位置を特定する特定手段と、前記記入領域に対応する参考情報を取得する情報取得手段と、提示手段を制御して、前記記入領域の近傍において視認されるように前記参考情報を前記ユーザへと提示させる制御手段と、を備えることを特徴とする情報提示装置。
【選択図】図１

Description

本発明は、情報提示装置、情報提示システム、情報提示方法及びプログラムに関する。

例えば銀行において行われる、ローン契約等の重要な契約時には、業者が顧客に対して対面で法規面の説明等を行い、顧客がそれに同意し、その上で書類を作成するプロセスが用いられる。この際に、書類に対して顧客の手で記入を行うことも多いが、書類作成に不慣れな顧客は記入を失敗する可能性がある。

特に、業者と顧客との双方が記入を行う書類については、時間を節約するために、業者が先に記入を行った書類を事前に準備することがある。この場合、契約締結日当日に顧客が記入するだけで書類が完成するが、顧客が記入を失敗した場合、書類の再作成が必要となり、多大な時間を要してしまう。

書類記入ミスを防ぐための工夫として、特許文献１では、次のような提案がなされている。すなわち、記入対象の文書画像を解析して得た記入枠と、ユーザが手書きを行う筆記具の位置とを比較し、記入位置が記入対象として正しいかが判断される。

特開２０１２−１５１７５３号公報

しかしながら、特許文献１に記載の技術は、記入位置の誤りを防ぐためには有効であるものの、記入内容そのものの誤りを防ぐことは難しい。

本発明は、書類への記入時における記入ミスを減らすことを目的とする。

本発明の目的を達成するために、例えば、本発明の情報提示装置は以下の構成を備える。すなわち、
ユーザが記入できる記入領域を含む第１の文書を撮影することによって得られた文書画像を取得する画像取得手段と、
前記記入領域の位置を特定する特定手段と、
前記記入領域に対応する参考情報を取得する情報取得手段と、
提示手段を制御して、前記記入領域の近傍において視認されるように前記参考情報を前記ユーザへと提示させる制御手段と、
を備えることを特徴とする。

書類への記入時における記入ミスを減らすことができる。

一実施形態に係る情報提示装置の構成を示す図。 一実施形態に係る情報提示装置の効果的な使用例を説明する図。 一実施形態において用いられるデータの構成例を示す図。 一実施形態において用いられるデータの構成例を示す図。 一実施形態に係る情報提示方法の一例を示すフローチャート。 一実施形態に係る情報提示方法で行われる各処理のフローチャート。 一実施形態に係るレイアウト決定処理のフローチャート。

以下、本発明の実施例を図面に基づいて説明する。ただし、本発明の範囲は以下の実施例に限定されるものではない。

［実施形態１］
図１（Ａ）は、実施形態１に係る情報提示装置１０９の全体構成を示すブロック図である。情報提示装置１０９は、演算部１０１、投影部１０２、撮影部１０３、ＵＩ部１０４、通信部１０５、バス（ＢＵＳ）１０６、ランダムアクセスメモリ（ＲＡＭ）１０７、及びストレージ１０８を備える。

演算部１０１は、情報提示装置１０９全体の動作を制御する。演算部１０１は、例えばマイクロプロセッサでありうる。演算部１０１は、画像若しくは映像の撮影処理、情報投影処理、画像識別処理、画像補正処理、画像編集処理、又は文字認識処理等のために、演算又は論理判断等を行う。

投影部１０２は、文字、画像、又は映像等の各種情報を投影することにより、情報をユーザに提示する。本実施形態において、投影部１０２はプロジェクタであり、紙文書上に情報を重畳表示するものとする。しかしながら、投影部１０２はプロジェクタに限定されず、例えばＡＲ(Augmented Reality)の機能を備えたヘッドマウントディスプレイ等であってもよい。このようなヘッドマウントディスプレイも、ユーザの目に対して情報を投影できる。このように、本実施形態において、現実空間の紙文書上に情報を重畳表示する際には、現実空間上の紙文書上に情報を投影する方法の他に、現実空間上の紙文書像と情報とを重畳してユーザに視覚的に提示する方法を用いることもできる。また、本実施形態に係る情報表示方法は、現実空間の紙文書上に情報を重畳表示するものに限られず、仮想現実空間上の紙文書上に情報を重畳表示してもよい。以降、紙文書上に情報を重畳表示する処理を、便宜上「投影」処理と呼ぶ。

撮影部１０３は、静止画像又は動画像等を含む画像を読み取る。例えば、撮影部１０３は、現実空間上の画像を読み取る撮像センサでありうる。撮影部１０３は、読み取った画像を電子データに変換できる。

ＵＩ部１０４は、オペレータの指示を受け取る。ＵＩ部１０４は、例えば、ボタン又はタッチパネル等でありうる。しかしながら、ＵＩ部１０４は、物理的なボタン又はタッチパネル等である必要はない。例えば、投影部１０２が仮想的なボタン又はタッチパネル等の画像を投影し、オペレータがこれらに触れることによって、オペレータは指示を入力してもよい。この場合、ＵＩ部１０４は、撮影部１０３によって得られた画像データを演算部１０１が解析して得た結果を、オペレータの指示として受け取ってもよい。このようにして、仮想的なＵＩを実現することができる。

通信部１０５は、例えばネットワークコントローラであり、有線又は無線の通信路を介して外部とのデータ交換を行う。

ＢＵＳ１０６は、情報提示装置１０９が有する各部の間で信号又はデータ等を転送する。信号には、例えば、演算部１０１が各部を制御するためのアドレス信号又はコントロール信号等が含まれる。

ＲＡＭ１０７は、読み書き可能なランダムアクセスメモリである。ＲＡＭ１０７は、各部から受け取った各種データのための一次記憶として用いられる。具体的には、ＲＡＭ１０７は、処理に必要なデータを記憶する各種ワーク領域を有する。また、ＲＡＭ１０７は、処理中に値が変更される各種データを格納する。

ストレージ１０８は、不揮発性メモリである。ストレージ１０８は、例えば、ＳＤカード若しくはＣＦカード等のリムーバブルメディア、又は情報提示装置１０９に内蔵された大容量のメモリ等でありうる。また、ストレージ１０８は、例えばハードディスクであってもよい。ストレージ１０８は、大量のデータを変更可能に記憶しうる。演算部１０１により実行される制御プログラムは、ストレージ１０８に格納される。また、ストレージ１０８は、ブートプログラム、各種初期データ、画像識別プログラム、画像補正プログラム、画像編集プログラム、及び文字認識プログラム等を格納することができる。演算部１０１は、必要に応じて、ストレージ１０８に格納されたプログラムを、ＲＡＭ１０７にロードし、実行することができる。このような構成によれば、プログラムが固定化される必要はなく、プログラムを修正可能に構成することができるために、柔軟なシステムを実現する事ができる。

本実施形態において、情報提示装置１０９は、投影部１０２及び撮影部１０３を備える。しかしながら、情報提示装置１０９と、投影部１０２を備える投影装置とは別の装置であってもよい。また、情報提示装置１０９と、撮影部１０３を備える撮影装置とは別の装置であってもよい。このような情報提示装置、投影装置、及び撮影装置は、情報提示システムを構成する。

図１（Ｂ）は、実施形態１に係る情報提示装置１０９の機能構成を示すブロック図である。情報提示装置１０９は、画像取得部１５１、文書認識部１５２、領域特定部１５３、情報取得部１５４、レイアウト決定部１５５、及び提示制御部１５６を備える。これらの各部の機能は、上述のように、演算部１０１がプログラムに従って動作することにより実現されうる。もっとも、情報提示装置１０９は、これらの各部のうちの少なくとも１つとして動作する専用の回路を有していてもよい。これらの各部の動作については、図６，７を参照して後述する。

次に、図２を参照して、本実施形態に係る情報提示装置の効果的な使用例について説明する。図２は、銀行での契約業務において、本実施形態に係る情報提示装置を使用する例を示す。図２において、ユーザは、書類を手書きで作成しようとしている。

本実施形態に係る情報提示装置１０９は、上述のように、投影部１０２及び撮影部１０３を有している。説明者であるユーザ２０２は銀行の職員であり、契約業務を担当している。ユーザ２０２は、書類作成を行うユーザ２０３と机２１０を挟んで向き合う形で座っている。ユーザ２０２は、以下に説明する、契約業務における文書作成を主導する。ユーザ２０３は銀行の顧客であり、ボールペン２０６のような記入具を使い、以下に説明するように、契約書類である第１の文書２０５を手書きで作成する。以下では、文字が記入される文書２０５のことを記入対象文書と呼ぶことがある。

文書２０５は、ユーザ２０３が手書きで記入できる記入領域である、記入対象領域２０９を含んでいる。記入対象領域２０９の代表例としては、顧客の住所及び氏名等が挙げられる。これらの項目については、正確な記入が求められる。特に顧客の住所に関しては、法規上の都合により、住民票等の公的文書に記載されている現住所欄の住所と、記入した住所とが、一字一句、一致していなければならない場合がある。また、住所に関しては、番地の表記を省略する場合としない場合とがある。さらに、マンション名等を含む住所等の長文を記入する場合、記入する文字数は数十文字に及ぶ場合がある。この場合、書類によって大きさが異なる記入対象領域２０９へと誤記無くバランスよく手書きにより文字を記入する作業は容易ではない。特に、普段書類作成をしないユーザ２０３にとって、このような記入作業は負担となる。

本実施形態によれば、このような状況において、ユーザ２０３による手書き書類作成時に、書き損じが発生する可能性を減らすことができる。

第２の文書２０４は、住民票等の公的文書であり、住所欄２０７を含んでいる。この住所欄２０７は、記入対象領域２０９に記入すべき住所の文字列が記載されている。以下では、記入の手本として用いられる文書２０４のことを手本文書と呼ぶ場合がある。机２１０の上に文書２０４を配置すると、情報提示装置１０９が内蔵する撮影部１０３を用いた、文書認識処理が実行される。具体的には、撮影部１０３によって取得された文書２０４を含む文書画像に対する、文字認識処理を用いた解析が行われる。この結果、文書２０４に記載された文書名、氏名、及び住所等の文書情報が、デジタル処理可能なデータとして抽出される。こうして抽出された文書情報は、投影部１０２による投影のために用いられる。抽出された文書情報は、ストレージ１０８、又はネットワークを介して接続されたサーバ等に格納される。格納された文書情報は、任意のタイミングで取得可能である。

ここで、ユーザ２０３は、ボールペン２０６を手に取って、文書２０５内の記入対象領域２０９に手書きの住所を記入しようと試みる。すると、情報提示装置１０９は、内蔵の撮影部１０３により撮影された文書２０５を含む文書画像について、文書認識処理を実行する。この文書画像は、文書２０４と文書２０５との双方を含んでいてもよい。

また、情報提示装置１０９は、内蔵の撮影部１０３により撮影された文書２０５を含む文書画像を用いて、領域特定処理を行う。領域特定処理においては、画像識別処理を行うことにより、ユーザの行動を検知し、ユーザ２０３が文字を記入しようとする記入対象領域を特定する。本実施形態においては、ボールペンの先端の間の距離が閾値以下であるような領域が、記入対象領域として判定される。具体的には、空間座標を解析することで、ボールペン２０６の先端が記入対象領域２０９と接したと判定された場合に、ユーザ２０３が住所欄への記入意図を有しているものと判定される。後述するように、文書２０５上の各領域の位置は、文書認識部１５２によって判定される。

記入対象領域の特定方法は、この方法には限られない。例えば、ボールペン２０６の先端と文書２０４上の各領域との間の画像上での距離に従って、記入対象領域を特定してもよい。具体的には、ボールペン２０６の先端と文書２０４上のある領域との距離が閾値以内である場合に、この領域を記入対象領域として特定することができる。また、撮影部１０３によって撮影された画像の代わりに、又はこの画像に加えて、ユーザ２０３又はボールペン２０６等の位置姿勢を検出するセンサからの情報を用いて、記入対象領域を特定してもよい。

また、ユーザが指で直にタッチした領域を記入対象領域として特定してもよい。ユーザの指の位置は、例えば、撮影部１０３で撮影された画像に対して画像認識処理を行うことにより決定できる。さらなる方法として、ＵＩ部１０４が、仮想的なボタン等を用いた、記入対象領域についてのユーザ選択を検出してもよく、この場合、検出したユーザ選択に従って記入対象領域が特定される。例えば、投影部１０２によって投影された各領域のフィールド名のリストを、仮想的なボタンとして用いることができ、ユーザは、このリストを指で直にタッチすることにより選択を行うことができる。

領域特定処理によって記入対象領域が特定されると、情報取得部１５４により、ユーザ２０３が記入すべき文字列が取得される。本実施形態においては、文書認識処理によって抽出された文書情報の中から、関連性の高い情報が選択される。具体的には、記入対象領域２０９の領域名と合致する情報が選択される。ここでは、記入対象領域２０９は住所欄であり、住所を示す文書情報が選択される。そして、選択された情報に含まれる文字列が、手本文字列として特定される。このように情報取得部１５４は、ユーザ２０３によって記入されることが予測される文字列を取得する。

手本文字列が特定されると、記入対象領域２０９の大きさに応じて、記入領域内に手本文字列が収まるように、レイアウト決定部１５５は文字サイズ又は改行位置等の文字列の提示レイアウトを決定する。レイアウトが決定された手本文字列は、提示制御処理により、投影部１０２を用いて、参考情報２０８として記入対象領域２０９の付近に投影される。

このような構成によれば、例えば住民票等の公的文書の記載通りの住所を契約書に記載する必要がある場合、特に住所に番地等の略されやすい部分が含まれる場合に、ユーザによる記入ミスを減らすことが可能となる。また、適切にレイアウトが調整された文字列を投影することにより、マンション名を含むような長い住所を、所定の枠内に適切な文字サイズで記入することが容易となる。

参考情報２０８の投影位置は、記入対象領域２０９の記入枠内であっても、記入枠外であってもよい。この場合、文書２０５に含まれる空白領域の有無や、人体認識処理を用いたユーザ２０３の利き腕判定結果に応じて、投影場所を決定又は変更することができる。利き腕判定は、例えば、腕判定部（不図示）が、文書２０５及びユーザ２０３の腕が含まれる画像を画像認識処理により解析することにより、行うことができる。この結果に応じて、後述する提示制御部１５６は、参考情報２０８の投影位置を制御する。

具体的には、ユーザ２０３の利き腕が右腕であると認識された場合には、ユーザ２０３による筆記作業に干渉しないように、ユーザ２０３の視覚正面に対し左側に参考情報２０８を投影することができる。また、ユーザ２０３の利き腕が左腕であると判定された場合には、右側に参考情報２０８を投影することができる。また、記入枠内に参考情報２０８を投影する場合は、用紙の背面から情報を投影する投影部、例えばディスプレイ、を机に設置し、この投影部を用いて情報を投影してもよい。さらに、文書２０５上に十分な空白領域が存在しない場合は、投影する文字列の背景と文字色とを反転させる等の方法により強調表示を行い、視認性を向上させてもよい。また、参考情報２０８の投影位置は、文書２０５の外側であってもよく、例えば机２１０の上であってもよい。

この説明において、参考情報２０８は文字列であるものとした。しかしながら、他にも画像又は映像等を含む参考情報を投影することもできる。例えば、実印又は銀行印のような印鑑の種別を、押印が必要な箇所に表示してもよい。このような構成により、押印を忘れる可能性を減らすことができる。また、この説明ではプロジェクタのような投影部１０２が参考情報２０８を投影するものとした。しかしながら、上述のように、ＡＲ（Augmented Reality）の機能を備えたヘッドマウントディスプレイ等において、参考情報２０８を表示することによっても、同様の効果を得ることができる。また、別の実施形態においては、複数の記入領域に対して、例えば全ての記入領域に対して、対応する参考情報が投影されてもよい。

以上の方法によれば、ユーザ２０３が記入しようとする文字列そのものが、記入前と記入中との少なくとも一方において、記入対象領域２０９にフィットする状態で手元に表示される。このため、誤記、又は文字サイズのバランスが悪いことによる、書き損じの発生を減らすことができる。

図３は、本実施形態に係る情報提示装置１０９によって行われる処理において使用される、各種の処理情報のデータ構成例を示す。図３（Ａ）は、文書認識部１５２によって上述のように抽出された文書情報の構成例を示す。文書情報は、具体的には、文書名又は発行日等の情報の種別、情報のテキストデータ、及びテキストの文字数の組み合わせで構成される、複数のデータにより構成される。ここで、氏名データ３０１は、文書２０４に記載されたユーザ２０３の氏名を示す。また、住所データ３０２は、文書２０４に記載されたユーザ２０３の住所を示す。

図３（Ｂ）は、情報取得部１５４が情報を取得するために用いる、文書２０５の領域設定情報の構成例を示す。この領域設定情報は、記入されることが想定される文書２０５の種類に応じて予め用意され、ストレージ１０８内に格納されている。それぞれのデータは、文書２０５上のそれぞれの記入領域に対応するものであり、フィールドＩＤと、文書名と、フィールド名と、フィールド座標と、対応データと、投影アクション、等により構成されている。フィールドＩＤは、各記入領域についてのＩＤである。

データ３０３及びデータ３０４は、それぞれ同一の文書名の文書２０５（例えば住宅ローン契約書Ａ）内の異なる記入領域「現住所」及び「契約者氏名」に関するデータである。また、データ３０５及びデータ３０６は、別の文書名の文書２０５（例えばカーローン契約書Ｂ）内の異なる記入領域「現住所」及び「契約者氏名」に関するデータである。これらのデータには、文書２０５上の記入領域（例えば記入欄）の範囲を特定する「フィールド座標」が設定されている。

領域特定部１５３は、領域設定情報を参照して、ボールペン２０６の先端との間の距離が閾値以下である記入領域を選択し、この記入領域を記入対象領域として特定する。本実施形態において、領域特定部１５３は、ボールペン２０６の先端位置の座標が、フィールド座標により特定される範囲内において文書２０５に接触している場合に、このフィールド座標に対応するフィールド名の記入領域を記入対象領域として特定する。一実施形態において、「フィールド座標」は文書２０５を基準とする座標系で表されている。この場合、例えば、撮影部１０３が撮影した画像から文書２０５の位置を検出することにより、画像上の座標を文書２０５を基準とする座標へと変換することができる。

別の方法として、領域特定部１５３は、文書２０５の画像を解析することにより、ボールペン２０６の先端位置付近にある記入枠とそのラベルとを認識し、それぞれ記入対象領域及びそのフィールド名として扱ってもよい。

領域特定部１５３によって、文書２０５内のユーザ２０３が意図する記入対象領域が特定されると、情報取得部１５４は、領域設定情報を参照して、「対応データ」を取得する。具体的には、記入対象領域のフィールド名及び文書２０５の文書名に対応する「対応データ」が取得される。「対応データ」は、文書２０４の文書名と、投影する情報の種別と、を特定する。例えば、領域特定部１５３によって、データ３０３、すなわち「住宅ローン契約書Ａ」の記入領域「現住所」が特定された場合、情報取得部１５４は、対応データである「＄住民票．＄住所」の値を取得する。すなわち、情報取得部１５４は、文書名「住民票」についての種別「住所」のデータ、すなわちデータ３０２を、ユーザ２０３の記入することを意図する手本文字列として、文書情報から取得する。

情報取得部１５４が取得したデータは、記入対象領域に対応する投影アクションに従って、投影部１０２によって文書２０５上に投影される。例えば、記入対象領域が「住宅ローン契約書Ａ」の記入領域「現住所」である場合、パターンＡの投影アクションに従って投影が行われる。投影アクションは、投影部１０２による情報の投影方法を特定する。記入領域に対応する投影アクションの種類は、領域設定情報において定義されている。それぞれの投影アクションに対応する具体的な投影方法は、投影アクション定義情報により定義される。図３（Ｃ）は、投影アクション定義情報の構成例を示す。単一の記入領域に対して、複数のパターンを定義してもよい。

データ３０７は、パターンＡの投影アクションに関する定義データである。パターンＡにおいては、情報の「投影位置」はフィールド上部である。すなわち、記入対象領域の上部に、情報が投影される。また、パターンＡにおいては、「アクション定義」が「表示文字置換」となっている。具体的には、情報取得部１５４が取得した手本文字列のうち、ユーザ２０３が既に記入した文字は「○」という記号で置換され、置換後の文字列が投影される。ユーザ２０３が既に記入した文字は、撮影部１０３が撮影した文書２０５の画像に対して、文字認識部（不図示）が文字認識処理を行うことにより、認識されうる。このように、投影部１０２は、手本文字列のうち既に記入された文字と、まだ記入されていない文字とを区別できるように、参考情報を投影することができる。この場合、投影される文字列がユーザ２０３の記入状況に応じて変化するため、ユーザ２０３は、次に記入すべき文字が何であるかを判別しやすくなる。

データ３０８〜３１１は、他の投影アクション定義情報である。データ３０８で定義されるパターンＢにおいては、情報の「投影位置」はフィールド上部であり、「アクション定義」は「表示色変更」である。具体的には、情報取得部１５４が取得した手本文字列のうち、ユーザ２０３が既に記入した文字は灰色にされ（グレイアウト）、未記入の文字は青色にされる。この場合、ユーザ２０３による記入状況に応じて、これにより記入対象領域の上に投影される文字列のうち未記入のものが記入済みのものに対してより強調されるため、ユーザ２０３が記入済み文字列を区別しやすくなる。

データ３０９で定義されるパターンＣにおいては、情報の「投影位置」はフィールド内であり、「アクション定義」は「正誤チェック」である。具体的には、ユーザ２０３が記入対象領域に記入済みの文字列が、「対応データ」によって特定される文字列、例えば「＄住民票．＄住所」に対応する文字列と一致するか否かがチェックされる。こうして、記入された文字列に誤記が含まれるか否かを記入時にチェックする事ができる。誤記が含まれている場合、投影部１０２が記入対象領域付近に警告表示を投影する等の方法で、ユーザ２０２又はユーザ２０３に通知することができる。このような通知も、情報提示装置１０９が提示する参考情報に含まれる。

データ３１０で定義されるパターンＤにおいては、「投影位置」がフィールド上部であり、「アクション定義」は「添削」である。「添削」においては、ユーザが記入対象領域へと既に記入した文字列と、この文字列のサイズとが認識される。さらに、認識された文字列に対応する、投影された文字列のサイズが判定される。対応する投影された文字列とは、認識された文字列に対応する手本文字列内の文字列である。そして、認識された文字列のサイズと投影された文字列のサイズとが比較され、比較の結果がユーザに対して通知される。このような比較結果も、情報提示装置１０９が提示する参考情報に含まれる。

具体的な一例においては、記入された文字列のうち少なくとも一部の文字領域面積が認識され、これに対応する投影された文字列についての文字領域面積と比較される。文字列の文字領域面積は、例えば、文字列を囲む矩形の面積であってもよいが、算出方法は特に限定されない。そして、記入された文字列の文字領域面積と、対応する投影された文字列の文字領域面積との一致度、例えば差分又は比率に応じて、投影される文字列又は投影される文字列の背景色を変更することにより、ユーザに対する通知が行われる。

例えば、記入された文字列の文字領域面積と、対応する投影された文字列の文字領域面積との一致度が高い場合、例えば誤差が閾値以内である場合には、投影される文字列又は投影される文字列の背景色が青色とされる。また、新たに記入された文字についての一致度が、既に記入されている文字についての一致度よりも低くなった場合、投影される文字列又は投影される文字列の背景色が黄色とされる。さらに、一致度が低い文字が連続して記入された場合、投影される文字列又は投影される文字列の背景色が赤色とされる。このような文字の記入状況に応じた情報を参考にして、ユーザ２０３は、次に記入する文字の大きさを調整する事が可能となる。

データ３１１で定義されるパターンＥにおいては、「投影位置」がフィールド内であり、「アクション定義」が注意喚起である。具体的には、例えば記入対象領域が金額欄である場合に、金額欄が赤色となるように画像の投影が行われる。こうして、誤った金額を記入する事がないよう、ユーザ２０３に注意を喚起する事ができる。このような注意喚起情報も、情報提示装置１０９が提示する参考情報に含まれる。

図４は、本実施形態におけるレイアウト決定処理において用いられる処理情報のデータ構成例を示す。フィールドＩＤ４０１は、図３（Ｂ）に示すものと同様である。図３（Ｂ）には、データ３０３についてのフィールドＩＤである００１が示されている。手本文字列４０２及び文字数４０３は、図３（Ｂ）のデータ３０３に対応する図３（Ａ）のデータ３０２と同様である。この手本文字列４０２は、情報取得部１５４によって取得された文字列である。

レイアウト決定部１５５は、手本文字列４０２が記入対象領域、すなわちデータ３０３に示されるフィールド座標内に収まる大きさで投影されるように、文字サイズ又は改行位置等のレイアウトを決定する。図４には、レイアウト決定部１５５によって決定された推奨文字サイズ４０４及び推奨改行位置４０５が示されている。レイアウト決定時に単語解析処理等を行うことにより、マンション名等又は地名等の途中で改行が行われないように、推奨文字サイズ４０４及び推奨改行位置４０５を決定してもよい。

また、文書２０５が文字列又は図等を多く含む等の理由で、文書２０５上に適当な投影領域が存在しない場合には、文字列を投影する代わりに、文字数又は文字サイズが識別できるように「○」又は「＊」等の記号を参考情報として提示してもよい。この場合、文書上に文字列を投影しても文字の判読が困難な場合でも、文字列の推奨されるバランスを把握することができる。

手本文字列４０２は、提示制御処理において、レイアウト決定部１５５によって決定されたレイアウトで、及び定義された投影アクションに従って、投影部１０２により文書２０５の現住所記入領域の上に投影される。

図５は、演算部１０１の処理手順を示すフローチャートである。図５に示す処理により、情報提示装置１０９全体の動作が制御される。ステップＳ５０１はシステムの初期化処理であり、演算部１０１は、各種パラメータの初期化等を行う。ステップＳ５０２は、演算部１０１が、ＵＩ部１０４又は撮影部１０３が何らかのイベントを検知するのを待つ処理である。具体的には、演算部１０１は、物理なボタンをユーザが操作すること、仮想的なボタン又は投影領域へユーザが接触したこと、等のイベントが検知されるのを待つ。仮想的なボタン又は投影領域へのユーザの接触の判定は、上述したように投影部１０２及び撮影部１０３を用いて実現できる。

イベントが発生すると、ステップＳ５０３において、演算部１０１は、発生したイベントを判別する。そして、演算部１０１は、イベントの種類に応じた各種の処理を開始する。各種のイベントに対応した処理は、ステップＳ５０４としてまとめて表現されている。ステップＳ５０４における処理は、文書認識処理、領域特定処理、情報取得処理、レイアウト決定処理、及び提示制御処理等を含む。ステップＳ５０４はまた、電源のＯＦＦイベントに応じた終了処理も含む。以下では、これらの処理は、演算部１０１がブログラムに従って動作することにより実現される各部によって行われるものとして説明する。

図６（Ａ）は、ステップＳ５０４において実行される処理の一例である、文書２０４に対する文書認識処理のフローチャートである。この処理において、文書認識部１５２は、手本文書である文書２０４の画像を取得し、文書２０４を特定する。本実施形態においては、上述のように、手本文書である文書２０４から、投影される情報の候補が抽出される。

ステップＳ６０１において、画像取得部１５１は、デジタル解析可能なデータとして、文書２０４の画像を取得する。文書の画像は、撮影部１０３の撮影範囲内に新たな文書が入った際に、撮影部１０３によって撮影される。画像取得部１５１は、取得した文書２０４の画像を、文書認識部１５２に転送する。

ステップＳ６０２において、文書認識部１５２は、文書２０４の画像に対して領域認識及び文字認識を行う。この処理により、文書認識部１５２は、文書２０４に含まれるそれぞれの領域から、文書名、住所、及び日付等の文書情報を抽出する。こうして、文書認識部１５２は、投影される情報の候補を取得する。一実施形態において、文書認識部１５２は、領域認識処理によって文書２０４から検出されたそれぞれの領域について、領域に付されたラベルと、領域に記載された文字列とを抽出することができる。

別の実施形態において、文書認識部１５２は、予め用意されている手本文書についての領域情報を参照して、文書２０４から文書情報を抽出してもよい。領域情報は、例えば、それぞれの種別の手本文書について、文書内にある領域の位置と、それぞれの領域についてのフィールド名を特定する。文書認識部１５２は、パターンマッチング等の技術を用いて文書２０４の種別（例えば文書名）及び画像中における文書２０４の位置を判定することができる。そして、文書認識部１５２は、判定された文書２０４の種別に対応する領域情報を参照して、それぞれの領域に含まれる文字列等の情報を抽出する。こうして抽出された情報は、ステップＳ６０３において、図３（Ａ）に示されるように、フィールド名及び文書名に対応付けてストレージ１０８に記録される。もっとも、抽出する情報は文字列には限定されず、例えば画像であってもよい。

さらなる実施形態においては、文書情報が抽出される領域が、ユーザ入力によって指定されてもよい。例えば、文書認識部１５２は、ユーザ入力によって指定された範囲内の領域について文字認識処理を行い、投影される情報の候補として文字列を取得することができる。

ステップＳ６０３において、文書認識部１５２は、ステップＳ６０２における文字認識結果を保存する。具体的には、文書認識部１５２は、文書２０４中の文書領域毎に抽出された文書情報を、ストレージ１０８内のデータベースに格納する。その後、処理は図５のフローにリターンする。

本実施形態において、文書認識部１５２は、机２１０の上に配置された文書２０４から文書情報、すなわち投影される情報の候補を抽出する。しかしながら、投影される情報の候補は、予め用意され、ストレージ１０８内のデータベースに記録されていてもよい。

ここでは、手本文書である文書２０４が机２１０の上に１部存在する場合を例に説明した。新旧の住民票等、複数の文書が机２１０の上に存在する場合には、どの文書から文書情報を抽出するのかをユーザに問い合わせてもよい。例えば、文書認識部１５２は、投影部１０２を用いて、どの文書から情報を抽出するのかを尋ねるメッセージを投影してもよい。ユーザ２０３は、例えば、直接文書に触れることにより、又は表示された文書名のリストから文書名を選択することにより、文書を選択することができる。これらのユーザ選択は、上述したようにＵＩ部１０４が検出することができる。

図６（Ｂ）は、ステップＳ５０４において実行される処理の一例である、文書認識処理、領域特定処理、情報取得処理、レイアウト決定処理、及び提示制御処理のフローチャートである。

ステップＳ６０４は、記入対象文書である文書２０５に対する文書認識処理である。ステップＳ６０４において、画像取得部１５１は、文書２０５の画像を取得する。画像取得部１５１は、取得した文書２０５の画像を、文書認識部１５２に転送する。文書認識部１５２は、転送された画像を分析し、机２１０の上に文書２０５が配置された事を検出する。その後、文書認識部１５２は、画像に対して領域認識及び文字認識を行うことにより、文書２０５の種別（例えば文書名）を判定する。

例えば、文書２０５のタイトルを認識することにより、文書２０５の種別を判定することができる。しかしながら、文書２０５の種別の判定方法は、この方法に限られない。例えば、文書２０５の種別を、ユーザに問い合わせてもよい。具体的な一例として、ＵＩ部１０４が、仮想的なボタン等を用いた、文書２０５の種別についてのユーザ選択を検出し、検出したユーザ選択を文書認識部１５２に送信することができる。この場合には、投影部１０２によって投影された記入対象文書の文書名のリストを、仮想的なボタンとして用いることができ、ユーザは、このリストを指で直にタッチすることにより選択を行うことができる。既に文書２０５に対する文書認識処理が終了している場合には、ステップＳ６０４の処理を省略してもよい。

別の実施形態において、文書認識部１５２は、文書２０４に対する文書認識処理と同様に、パターンマッチング等の技術を用いて文書２０５の種別及び画像中における文書２０４の位置を判定してもよい。また、文書認識部１５２は、領域認識処理によって文書２０５から記入枠のような記入領域を検出し、その画像上の位置又は三次元空間上の位置を判定してもよい。この場合、文書認識部１５２は、検出されたそれぞれの記入領域について、記入領域に付されたラベルをフィールド名として抽出してもよい。

ステップＳ６０５は、領域特定処理である。ステップＳ６０５において、領域特定部１５３は、図３（Ｂ）に示す領域定義情報を参照して、文書２０５に含まれる記入領域の位置を特定する。さらに、領域特定部１５３は、上述のように、ユーザの行動を検知し、複数の記入領域のうちユーザが記入しようとする記入対象領域を特定する。また、領域特定部１５３は、特定された記入対象領域についてあらかじめ設定されている投影アクションを、図３（Ｃ）に示す投影アクション定義情報を参照して取得する。

ステップＳ６０６及びＳ６０７は、情報取得処理であり、情報取得部１５４は、ユーザが意図する手本文字列を、参考情報として上述のように取得する。具体的には、ステップＳ６０６において、情報取得部１５４は、特定された記入対象領域に対応する、ステップＳ６０３で生成された文書情報が、ストレージ１０８が有するデータベースに存在するか否かを判定する。例えば、情報取得部１５４は、文書２０５の文書名に対応する、例えば図３（Ａ）の文書情報を参照して、記入対象領域のフィールド名を「種別」として有するデータが存在するか否かを判定する。対応する情報がデータベースに存在する場合、処理はステップＳ６０７に進み、情報取得部１５４は、ストレージ１０８内のデータベースから対応する文字列を取得する。対応する情報が存在しない場合、図６（Ｂ）の処理は終了し、図５のフローにリターンする。

本実施形態において、情報取得部１５４は、ストレージ１０８が有するデータベースに格納された文書情報を参照して、手本文字列を決定した。しかしながら、手本文字列の決定方法はこの方法に限られない。例えば、机２１０の上に置かれた文書２０４の画像に対して文字認識等の処理を行うことにより得られた文書情報のリストを、文書２０５等の上に投影し、手本文字列をユーザに選択させてもよい。また、机２１０の上に置かれた文書上の特定領域を触れる等の方法でユーザが選択し、この特定領域に含まれる文字列の文字認識結果を手本文字列として特定してもよい。

さらに、情報取得部１５４は、投影部１０２を用いて、事前にデータベースに格納済みの文書情報や住所情報等をリストとして文書２０５に投影してもよい。情報取得部１５４は、候補となる文字列についてのユーザ選択をＵＩ部１０４を介して取得することができ、そしてユーザ選択に従う文字列を手本文字列として用いてもよい。

また、上述の方法で決定された手本文字列は、後にそのまま投影されてもよいし、ユーザの要求に応じて編集されてもよい。編集を行う場合、編集ボタンをユーザに押下させる等の方法で編集指示をＵＩ部１０４を介してユーザから受け取り、物理的なキーボード又は仮想的に表示したキーボード等を用いてユーザに文字列を編集させてもよい。

ステップＳ６０６にて文書情報を取得できなかった場合、処理を終了するのではなく、記入対象領域に応じて予め設定されたデフォルトの文字又は記号を、デフォルト数だけ投影してもよい。例えば、記入対象領域が住所欄であった場合、記入される文字数は最大でも３０文字程度であると考えられる。このような場合、記入対象領域に入るようなレイアウトで「○」等の記号を３０個表示することにより、ユーザに適した文字バランスで文字を記入させることが可能となる。このように、情報取得部１５４は、記入対象領域について予め定められた数の記号で構成される情報を参考情報として取得してもよく、この参考情報は記入対象領域に合わせた適切なレイアウトで投影部１０２により投影されうる。

ステップＳ６０８はレイアウト決定処理である。ステップＳ６０８において、レイアウト決定部１５５は、ステップＳ６０５で特定され記入対象領域内に、ステップＳ６０７で決定された手本文字列が収まるように、文字列のレイアウトを決定する。具体的な方法については、既に説明した通りである。

ステップＳ６０９は、提示制御処理である。ステップＳ６０９において、提示制御部１５６は、投影部１０２を制御して、ステップＳ６０７で取得された手本文字列を参考情報として文書２０５上に投影させる。この際、手本文字列は、ステップＳ６０８で決定されたレイアウトで、ステップＳ６０５で取得された投影アクションに従って、ステップＳ６０５で特定された記入対象領域の近傍においてユーザに視認されるように提示される。その後、処理は、図５に示されるフローにリターンする。

本実施形態において、投影部１０２による投影範囲は既知であるものとする。すなわち、提示制御部１５６は、文書２０５上の所望の位置、又は撮影部１０３によって撮影される画像上の所望の位置に対応する現実空間中の位置、に所望の情報を投影するように投影部１０２を制御することができるものとする。投影部１０２がヘッドマウントディスプレイ等である場合には、文書２０５を含む画像又は現実空間像と参考情報とが重畳された状態でユーザに提示される。この場合には、投影部１０２は、検出された文書２０５の位置に従って、投影アクションに従う位置に参考情報が提示されるように画像表示を行うことができる。

図７は、ステップＳ６０９において、投影アクションに従って手本文字列を投影する際に行われる処理の一例を詳細に示す。図７では、図３（Ｃ）のデータ３０７に示される「パターンＡ」の投影アクションを用いる場合について説明する。

ステップＳ７０１は記入済文字認識処理である。ステップＳ７０１において提示制御部１５６は、撮影部１０３が取得した画像を分析することにより、ユーザが既に記入した文字を認識する。ステップＳ７０２は文字表示変更処理である。ステップＳ７０２において提示制御部１５６は、ステップＳ６０７で決定された手本文字列のうち、ステップＳ７０１で認識された記入済みの文字に対応する文字について、順次表示を変更する。具体的には、「パターンＡ」の投影アクションに従い、手本文字列のうち、記入済みの文字に対応する文字を「○」という記号に置換する。その後、ステップＳ７０３において、提示制御部１５６は、ステップＳ７０２における処理後の手本文字列を、文書２０５に投影する。投影位置は、上述のように、投影アクション定義情報に従って決定される。

ステップＳ７０４は文字数比較処理である。ステップＳ７０４において提示制御部１５６は、ステップＳ７０１で認識された記入済みの文字数と、ステップＳ６０７で決定された手本文字列の文字数とを比較することにより、手本文字列の全てがユーザにより記入されたかどうかを判定する。記入が終了している場合、処理はステップＳ７０５に進み、記入が終了していない場合、処理はステップＳ７０１に戻る。この際、提示制御部１５６は、ユーザが記入した文字列の中に認識できない文字が存在するか否かを判定し、認識できない文字が存在する場合にはユーザに通知してもよい。例えば、認識できない文字を特定する注意喚起メッセージを、ユーザが見えるように投影することができる。この構成によれば、判読不能な書体で文字が記入され、書類が法律的な効果を有さなくなる可能性を減らすことができる。

ステップＳ７０５は参考情報更新処理であり、記入対象領域に対する記入が終了すると、提示制御部１５６は、この記入対象領域に対応する手本文字列の投影を終了する。以上の処理によれば、文字列の表示がユーザの記入状況に応じて変化するため、ユーザが次に記入すべき文字が何か判別しやすくなる。

図３（Ｃ）に示される「パターンＢ」〜「パターンＥ」の投影アクションも、図７に示すフローチャートと同様の処理により実現できる。例えば、ステップＳ７０２において上述の「パターンＢ」〜「パターンＥ」の投影アクションについての説明に従う処理を行えばよい。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (16)

1. ユーザが記入できる記入領域を含む第１の文書を撮影することによって得られた文書画像を取得する画像取得手段と、
   前記記入領域の位置を特定する特定手段と、
   前記記入領域に対応する参考情報を取得する情報取得手段と、
   提示手段を制御して、前記記入領域の近傍において視認されるように前記参考情報を前記ユーザへと提示させる制御手段と、
   を備えることを特徴とする情報提示装置。
2. 前記第１の文書は、複数の記入領域を含み、
   前記特定手段は、前記複数の記入領域のうち、ユーザが記入しようとする記入領域を特定し、
   前記情報取得手段は、前記特定された記入領域に対応する参考情報を取得し、
   前記制御手段は、前記提示手段を制御して、前記特定された記入領域の近傍において視認されるように前記参考情報を前記ユーザへと提示させる
   ことを特徴とする、請求項１に記載の情報提示装置。
3. 前記特定手段は、ユーザが記入に用いる記入具の先端と、前記記入領域との間の距離が閾値以下である場合に、当該記入領域を前記ユーザが記入しようとしている記入領域として特定することを特徴とする、請求項２に記載の情報提示装置。
4. 前記参考情報は、前記記入領域に前記ユーザが記入すべき文字列であることを特徴とする、請求項１乃至３の何れか１項に記載の情報提示装置。
5. 前記記入領域内に収まるレイアウトで提示されるように、前記参考情報の提示レイアウトを決定するレイアウト決定手段をさらに備えることを特徴とする、請求項４に記載の情報提示装置。
6. 前記文書画像を参照して、ユーザが前記記入領域へと既に記入した文字列と、該文字列のサイズとを認識する認識手段と、
   前記決定されたレイアウトで提示された場合における、前記参考情報のうち前記認識された文字列に対応する文字列のサイズと、前記認識された文字列のサイズとを比較し、該比較の結果をユーザに対して通知する通知手段と、
   をさらに備えることを特徴とする、請求項５に記載の情報提示装置。
7. 前記文書画像を参照して、ユーザが前記記入領域へと既に記入した文字を認識する認識手段をさらに備え、
   前記制御手段は、前記ユーザが記入すべき文字列のうち、既に記入された文字と、まだ記入されていない文字とを区別できるように、前記参考情報を前記提示手段に提示させることを特徴とする、請求項５に記載の情報提示装置。
8. 前記文書画像を参照して、ユーザが前記記入領域へと既に記入した文字を認識する認識手段と、
   ユーザが前記記入領域へと既に記入した文字に、前記認識手段が認識できない文字が含まれる場合に、ユーザに対して通知を行う通知手段と、
   をさらに備えることを特徴とする、請求項５に記載の情報提示装置。
9. 前記レイアウト決定手段は、前記参考情報に従って提示される文字のサイズと前記参考情報に従って提示される文字列の改行位置とのうちの少なくとも１つを決定することを特徴とする、請求項５乃至８の何れか１項に記載の情報提示装置。
10. ユーザが映っている前記文書画像を解析することにより、前記ユーザが記入に用いる腕を判定する腕判定手段をさらに備え、
    前記制御手段は、前記腕判定手段による判定結果に従って、前記参考情報が提示される位置を制御する
    ことを特徴とする、請求項１乃至９の何れか１項に記載の情報提示装置。
11. 前記参考情報を含む第２の文書を撮影することによって得られた文書画像から、当該参考情報を抽出する抽出手段をさらに備えることを特徴とする、請求項１乃至１０の何れか１項に記載の情報提示装置。
12. 前記提示手段は、前記記入領域の近傍に前記参考情報を投影することを特徴とする、請求項１乃至１１の何れか１項に記載の情報提示装置。
13. 前記提示手段は、前記第１の文書を含む画像に前記参考情報を重畳してユーザに提示することを特徴とする、請求項１乃至１１の何れか１項に記載の情報提示装置。
14. 請求項１乃至１３の何れか１項に記載の情報提示装置と、
    前記第１の文書を撮影する撮影手段と、
    前記提示手段と、
    を備えることを特徴とする情報提示システム。
15. 情報提示装置が行う情報提示方法であって、
    ユーザが記入できる記入領域を含む第１の文書を撮影することによって得られた文書画像を取得する画像取得工程と、
    前記記入領域の位置を特定する特定工程と、
    前記記入領域に対応する参考情報を取得する情報取得工程と、
    提示手段を制御して、前記記入領域の近傍において視認されるように前記参考情報を前記ユーザへと提示させる制御工程と、
    を備えることを特徴とする情報提示方法。
16. コンピュータに、
    ユーザが記入できる記入領域を含む第１の文書を撮影することによって得られた文書画像を取得する画像取得工程と、
    前記記入領域の位置を特定する特定工程と、
    前記記入領域に対応する参考情報を取得する情報取得工程と、
    提示手段を制御して、前記記入領域の近傍において視認されるように前記参考情報を前記ユーザへと提示させる制御工程と、
    を実行させるプログラム。

Images