JP2018112802A - 情報提供装置 - Google Patents

Abstract

【課題】記入項目に応じて柔軟に見本情報を提示する。【解決手段】ユーザーの個人情報を記憶した個人情報記憶部（記憶部１３）と、ユーザーが記入する記入用紙を撮像する撮像部１１と、撮像された記入用紙を文字認識して記入欄の記入項目を特定する記入項目特定部１５２と、記入項目特定部１５２により特定された記入項目が、当日の日付に連動して記入内容が変わる日付連動項目であるか否かを判断する項目判断部１５３と、項目判断部１５３により日付連動項目であると判断された記入項目について、個人情報記憶部に記憶された個人情報１３１と当日の日付とに基づいて日付連動項目の見本情報を生成する日付連動見本生成部１５６と、日付連動見本生成部１５６によって生成された日付連動項目の見本情報を表示する画像表示部１２とを備えたことを特徴とする。【選択図】図２

Description

本発明は、記入用紙の見本情報を表示する情報提供装置に関する。

銀行や役所、企業等の手続きでは、手続きに応じた各種記入用紙に手書きで氏名や住所等を記入しなければならないことがあり、記入に戸惑うことがある。そこで、カメラにより記入用紙を撮影して記入領域を検出し、記入領域名に合致する個人情報を、予め記憶しておいた住民票等に記載の個人情報から取得して、投影部により記入用紙の記入領域近傍に投影する技術が提案されている（例えば、特許文献１を参照）。また、ユーザーによって記入用紙に手書き入力された情報を撮影して文字認識し、記入項目に関連づけてデータベースに自動的に取り込む技術も知られている（例えば、特許文献２を参照）。

特開２０１５−０１１５８６号公報 特開２０１５−２１０７８１号公報

しかしながら、従来技術では、記入領域名に合致する個人情報をそのままサポート情報として投影していたため、例えば記入日や年齢のように当日の日付によって変動する記入内容の見本情報を提示することができなかったという問題があった。

本発明は上記課題に鑑みてなされたものであり、記入項目に応じて柔軟に見本情報を提示することができる技術を提供することを目的とする。

本発明の情報提供装置は、ユーザーの個人情報を記憶した個人情報記憶部と、前記ユーザーが記入する記入用紙を撮像する撮像部と、撮像された前記記入用紙を文字認識して記入欄の記入項目を特定する記入項目特定部と、前記記入項目特定部により特定された前記記入項目が、当日の日付に連動して記入内容が変わる日付連動項目であるか否かを判断する項目判断部と、前記項目判断部により前記日付連動項目であると判断された前記記入項目について、前記個人情報記憶部に記憶された前記個人情報と当日の日付とに基づいて前記日付連動項目の見本情報を生成する日付連動見本生成部と、前記日付連動見本生成部によって生成された前記日付連動項目の前記見本情報を表示する画像表示部とを備えたことを特徴とする。
また、前記個人情報は、個人情報項目と個人情報値とを含んでおり、前記日付連動項目を、前記個人情報項目と対応付けて記憶した日付連動情報記憶部と、前記項目判断部により前記記入項目が前記日付連動項目であると判断された場合に、前記日付連動情報記憶部を参照し、前記日付連動項目に対応付けられた前記個人情報項目を検索キーとして、前記個人情報記憶部に記憶された前記個人情報を検索してもよい。
また、前記日付連動情報記憶部は、前記日付連動項目に前記見本情報の算出式を対応付けて記憶しており、前記日付連動見本生成部は、前記見本情報の算出式に基づいて、前記日付連動情報検索部による検索により得られた前記個人情報と前記当日の日付とに基づいて前記日付連動項目の前記見本情報を生成してもよい。
また、前記記入欄から和暦又は西暦を示すキーワードを検出し、検出した前記キーワードに対応して、前記日付連動見本生成部により生成された前記日付連動項目の前記見本情報を前記和暦又は前記西暦に変換する形式変換部を備えてもよい。

本発明によれば、記入項目に応じて柔軟に見本情報を提示することができる。

本発明に係る実施形態のメガネ型端末の外観図である。 図１に示すメガネ型端末の概略構成を示す機能ブロック図である。 図２に示す個人情報の登録例である。 図２に示す日付連動情報の登録例である。 図２に示すメガネ型端末の見本情報表示処理の流れを示すフローチャートである。 日付連動項目の見本情報を表示したイメージ図である。

以下、図を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。

図１に示すように、メガネ型端末１は、ユーザーが頭部に装着するメガネ型のウェアラブル端末であり、ユーザーが記入する記入用紙５０を撮像部１１により撮像して、記入欄の見本情報をハーフミラー１２ａに表示する機能を有する情報提供装置の一例である。具体的には、メガネ型端末１は、図２に示すように、撮像部１１と、画像表示部１２と、記憶部１３と、通信部１４と、制御部１５とを備えており、それぞれがデータバス１６を介して接続されている。

撮像部１１は、図１に示すように、メガネ型端末１の前方側に向けて配置されたＣＣＤカメラやＣＭＯＳカメラ等の固体撮像素子で構成されたカメラであり、ユーザーの前方視界の画像を撮像する。以下、撮像部１１によって撮像された画像を視界画像と称す。

画像表示部１２は、メガネ型端末１をユーザーが装着したときに、図１に示すような、ユーザーの眼球の直前に位置するハーフミラー１２ａを表示画面として有している。ハーフミラー１２ａに投影された画像は、ユーザーの視界に重畳されて表示される。

記憶部１３は、半導体メモリー等の記憶手段であり、ユーザーの個人情報１３１を記憶している。図３に示すように、個人情報１３１は、個人情報項目１３１ａと、そのデータ値である個人情報値１３１ｂとで構成される。例えば、個人情報１３１には、ユーザーの本人情報として、「氏名」、「氏名ふりがな」、「性別」、「生年月日」、「電話番号」、「住所」、「住所ふりがな」、当該住所に居住を開始した「居住年月日」等が登録されている。また、ユーザーの勤務先情報も登録されており、「勤務先名称」、「勤務先名称ふりがな」、「勤務先住所」、「勤務先住所ふりがな」、「勤務先電話番号」、勤務先に入社した「入社年月日」等の個人情報項目１３１ａとそれぞれの個人情報値１３１ｂとが含まれている。さらに、ユーザーの家族情報を個人情報１３１に登録してもよい。ユーザーは、インターネット等から通信部１４を介して、個人情報項目１３１ａ及び個人情報値１３１ｂを入力して、個人情報１３１として登録しておくことができる。

また、記憶部１３には、類語辞書１３２と、日付連動情報１３３とが記憶されている。類語辞書１３２は、個人情報項目１３１ａの類語が登録されており、例えば、氏名の類語として、名前、芳名等が登録されている。日付連動情報１３３は、図４に示すように、当日の日付に連動して記入内容が変わる記入項目である日付連動項目１３３ａと、この日付連動項目１３３ａの見本情報の生成に用いられる個人情報項目１３３ｂと、見本情報を生成するための見本情報算出式１３３ｃとが対応付けて登録されている。個人情報項目１３３ｂは、個人情報１３１の個人情報項目１３１ａに対応している。なお、日付連動項目１３３ａ「記入日」は、対応する個人情報項目１３３ｂが存在しないため、見本情報算出式１３３ｃに「本日の日付」だけが登録されている。

本実施形態の記憶部１３は、個人情報１３１を記憶する個人情報記憶部、類語辞書１３２を記憶する類語辞書記憶部、日付連動情報１３３を記憶する日付連動情報記憶部としてそれぞれ機能する。なお、記憶部１３に記憶された個人情報１３１、類語辞書１３２及び日付連動情報１３３のそれぞれは、ユーザーのスマートフォン等の携帯端末やクラウド上に記憶されてもよい。この場合、制御部１５は、通信部１４経由で記憶部１３の各種データにアクセスすることができる。

通信部１４は、無線ＬＡＮ等の無線通信によって、インターネット等のネットワークに接続し、各種データを送受信する機能を有する。

制御部１５は、撮像部１１、画像表示部１２、と記憶部１３、通信部１４にそれぞれ接続され、メガネ型端末１全体の動作制御を実行する。制御部１５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ等の情報処理部である。ＲＯＭにはメガネ型端末１の動作制御を行うための制御プログラムが記憶されている。制御部１５のＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、端末全体の制御を行う。また、制御部１５は、記入欄検出部１５１と、記入項目特定部１５２と、項目判断部１５３と、日付連動情報検索部１５４と、固定情報検索部１５５と、日付連動見本生成部１５６と、固定見本生成部１５７と、形式変換部１５８と、記入内容取得部１５９としてそれぞれ機能する。

記入欄検出部１５１は、撮像部１１による視界画像からユーザーの現在の記入欄を検出する機能を有する。例えば、記入欄検出部１５１は、視界画像からユーザーが手に持っている筆記具を検出し、筆記具の先端部方向に位置する記入欄をユーザーの現在の記入欄として検出することができる。

記入項目特定部１５２は、記入欄検出部１５１によって検出された記入欄の周辺領域の視界画像に対して、ＯＣＲ（Optical Character Recognition）を行って、記入欄の記入項目を特定する機能を有する。記入項目特定部１５２は、類語辞書１３２を用いて、記入用紙５０から特定した記入項目に類語辞書１３２に登録されている類語を含めてもよい。これにより、多様な記載の記入項目を個人情報項目１３１ａや日付連動項目１３３ａに紐付けることができる。

項目判断部１５３は、日付連動情報１３３を参照して、記入項目特定部１５２により特定された記入項目が、当日（本日）の日付に連動して記入内容が変わる日付連動項目１３３ａであるか否かを判断する。

日付連動情報検索部１５４は、項目判断部１５３により日付連動項目１３３ａであると判断された場合に、日付連動項目１３３ａに対応付けられた個人情報項目１３３ｂを検索キーとして、個人情報１３１の個人情報項目１３１ａを検索し、見つかった個人情報項目１３１ａの個人情報値１３１ｂを取得する。

固定情報検索部１５５は、項目判断部１５３により日付連動項目１３３ａでないと判断された場合に、記入項目特定部１５２により特定された記入項目を検索キーとして、個人情報１３１の個人情報項目１３１ａを検索し、見つかった個人情報項目１３１ａの個人情報値１３１ｂを取得する。

日付連動見本生成部１５６は、日付連動情報検索部１５４により取得された個人情報値１３１ｂと当日の日付とに基づいて、日付連動項目１３３ａの見本情報を生成する機能を有する。具体的には、日付連動見本生成部１５６は、日付連動情報１３３の見本情報算出式１３３ｃに基づいて、日付連動情報検索部１５４により取得された個人情報値１３１ｂと当日の日付とに基づいて、日付連動項目１３３ａの見本情報を生成する。

例えば、日付連動項目１３３ａが「年齢」であった場合、日付連動情報検索部１５４は「年齢」に対応する個人情報項目１３３ｂ「生年月日」を検索キーとして個人情報項目１３１ａを検索し、個人情報項目１３１ａ「生年月日」の個人情報値１３１ｂである「１９６１／１０／○」を取得する。日付連動見本生成部１５６は、日付連動項目１３３ａ「年齢」の見本情報算出式１３３ｃが「生年月日と本日の日付の差分」であるので、取得した個人情報値１３１ｂ「１９６１／１０／○」と本日の日付（例えば、「２０１６／１２／２１」）との差分を日付連動項目１３３ａ「年齢」の見本情報として生成する。これにより、ユーザーの当日の年齢「５５歳」を見本情報として生成することができる。

固定見本生成部１５７は、固定情報検索部１５５により取得された個人情報値１３１ｂを記入項目の見本情報として生成する。固定見本生成部１５７により生成される見本情報は、当日の日付に連動しない見本情報であり、個人情報１３１に登録された個人情報値１３１ｂをそのまま見本情報としたものである。

形式変換部１５８は、日付連動見本生成部１５６及び固定見本生成部１５７により生成されたそれぞれの見本情報を記入欄の記入形式に合わせて各種変換する機能を有する。具体的には、形式変換部１５８は、記入欄検出部１５１により検出された記入欄を文字認識にすることにより和暦又は西暦を示すキーワードを検出する。和暦を示すキーワードとしては、例えば、「昭」、「平」、「明」等の和暦を示す漢字が含まれる。また、西暦を示すキーワードとしては、例えば「２０」、「１９」等の数字が含まれる。和暦又は西暦のいずれのキーワードも検出されなかった場合は西暦としてもよい。形式変換部１５８は、検出したキーワードに対応して、見本情報を和暦又は西暦に変換する。例えば、形式変換部１５８は、和暦と西暦とを対応させた対応表を参照して、和暦又は西暦の変換を行ってもよい。

記入内容取得部１５９は、撮像部１１による視界画像を文字認識し、実際にユーザーが記入欄に記入した記入内容を取得して、個人情報１３１に蓄積する機能を有する。具体的には、記入内容取得部１５９は、日付連動情報検索部１５４又は固定情報検索部１５５による検索において、該当する個人情報１３１（個人情報項目１３１ａ又は個人情報値１３１ｂ）が見つからなかった場合に、撮像部１１による視界画像を文字認識し、実際にユーザーが記入欄に記入した記入内容を個人情報値１３１ｂとし、この記入欄の記入項目を個人情報項目１３１ａとして個人情報１３１に登録する。

次に、図５を参照して、メガネ型端末１の見本情報提示処理の流れを説明する。

ユーザーがメガネ型端末１を装着した状態で記入用紙を視界に捉えると、撮像部１１によって記入用紙が撮像される（ステップｓ１１）。つづいて、記入欄検出部１５１は、撮像部１１により撮像された画像から、筆記具の先端部によって指し示された現在の記入欄６１を検出する（ステップｓ１２）。

つづいて、記入項目特定部１５２は、記入欄検出部１５１によって検出された記入欄の近傍領域に対して文字認識を行い（ステップｓ１３）、記入欄の記入項目を特定する（ステップｓ１４）。つづいて、項目判断部１５３は、日付連動情報１３３を参照して、特定された記入項目が日付連動項目１３３ａであるか否かを判断する（ステップｓ１５）。

日付連動項目１３３ａである場合（ステップｓ１５でＹｅｓ）、日付連動情報検索部１５４は、日付連動項目１３３ａに対応付けられた個人情報項目１３３ｂを検索キーとして個人情報１３１を検索する（ステップｓ１６）。日付連動項目１３３ａは当日の日付に連動して記入内容が変わるため、日付連動項目１３３ａを検索キーにして個人情報１３１ａを検索することができないからである。このように、日付連動項目１３３ａの見本情報の生成に用いる個人情報項目１３３ｂを日付連動項目１３３ａに対応付けておくことで、日付連動情報検索部１５４が日付連動項目１３３ａに基づいて、個人情報１３１を検索することができる。

日付連動情報検索部１５４による検索によって個人情報項目１３３ｂに対応する個人情報項目１３１ａが見つかった場合（ステップｓ１７でＹｅｓ）、日付連動見本生成部１５６は、見本情報算出式１３３ｃに基づいて、検索により見つかった個人情報項目１３１ａの個人情報値１３１ｂと本日の日付との差分により、本日付けの個人情報値を算出し（ステップｓ１８）、日付連動項目１３３ａの見本情報を生成する。

つづいて、形式変換部１５８が、生成された見本情報を記入欄の形式に合わせて変換すると（ステップｓ１９）、制御部１５は、見本情報を記入欄検出部１５１により検出された記入欄の近傍に画像表示部１２により表示させ（ステップｓ２０）、本処理を終了する。

一方、記入項目特定部１５２により特定された記入項目が日付連動項目１３３ａでない場合（ステップｓ１５でＮｏ）、固定情報検索部１５５は、記入項目特定部１５２により特定された記入項目を検索キーとして個人情報１３１を検索する（ステップｓ２１）。固定情報検索部１５５による検索によって記入項目に対応する個人情報項目１３１ａが見つかった場合（ステップｓ２２でＹｅｓ）、固定見本生成部１５７は、見つかった個人情報項目１３１ａの個人情報値１３１ｂをそのまま見本情報として生成する。つづいて、形式変換部１５８が、生成された見本情報を記入欄の形式に合わせて変換すると（ステップｓ１９）、制御部１５は、見本情報を記入欄検出部１５１により検出された記入欄の近傍に画像表示部１２により表示させ（ステップｓ２０）、本処理を終了する。

なお、日付連動情報検索部１５４による検索によって個人情報項目１３３ｂに対応する個人情報項目１３１ａが見つからなかった場合や（ステップｓ１７でＮｏ）、固定情報検索部１５５による検索によって記入項目に対応する個人情報項目１３１ａが見つからなかった場合には（ステップｓ２２でＮｏ）、記入内容取得部１５９は、撮像部１１による視界画像を文字認識して、記入欄に記入内容が記入されるまで待機する（ステップｓ２３、ステップｓ２３でＮｏ）。ユーザーにより記入欄が記入されると（ステップｓ２３でＹｅｓ）、記入内容取得部１５９は、記入内容を文字認識して（ステップｓ２４）、記入内容を個人情報値１３１ｂとし、記入欄の記入項目を個人情報項目１３１ａとして個人情報１３１に蓄積し（ステップｓ２５）、本処理を終了する。

これにより、例えば、図６に示すように、撮像部１１が記入用紙５０を撮像すると、記入欄検出部１５１により視界画像２０内からユーザーの筆記具８０の先端部方向に位置する記入欄６１が現在の記入欄として検出される。そして、記入項目特定部１５２により記入欄６１の周辺領域に対する文字認識が行われ、記入項目６２として「居住年数」が特定される。「居住年数」は、図４に示す日付連動情報１３３において日付連動項目１３３ａとして登録されている。そのため、項目判断部１５３は、記入項目６２である「居住年数」を日付連動項目１３３ａと判断する。

記入項目６２が日付連動項目１３３ａと判断されると、日付連動情報検索部１５４は、日付連動項目１３３ａの「居住年数」に対応づけられた個人情報項目１３３ｂの「入居年月日」を検索キーとして個人情報１３１を検索し、個人情報項目１３１ａである「入居年月日」の個人情報値１３１ｂとして「１９△△／８／１」を取得する。つづいて、日付連動見本生成部１５６が、見本情報算出式１３３ｃに基づいて、個人情報１３１に記憶された個人情報値１３１ｂ「１９△△／８／１」と本日の日付との差分により、日付連動項目１３３ａの見本情報（例えば、「８年４月２０日」）を生成する。つづいて、形式変換部１５８は、記入欄６１に文字認識を行い、記入形式が「年 月」であることを認識すると、日付連動見本生成部１５６により生成された見本情報を記入欄６１の記入形式に合わせて「８年４月」に変換する。制御部１５は、形式変換部１５８により形式変換された見本情報７０を記入欄６１の近傍に画像表示部１２により表示させる。これにより、ユーザーの視界上で記入用紙５０の現在の記入欄６１の見本情報７０が記入欄６１の近傍に重畳表示される。

このように、本実施形態のメガネ型端末１は、ユーザーの個人情報を記憶した個人情報記憶部（記憶部１３）と、ユーザーが記入する記入用紙５０を撮像する撮像部１１と、撮像された記入用紙５０を文字認識して記入欄の記入項目を特定する記入項目特定部１５２と、記入項目特定部１５２により特定された記入項目が、当日の日付に連動して記入内容が変わる日付連動項目１３３ａであるか否かを判断する項目判断部１５３と、項目判断部１５３により日付連動項目１３３ａであると判断された記入項目について、個人情報記憶部に記憶された個人情報１３１と当日の日付とに基づいて日付連動項目１３３ａの見本情報７０を生成する日付連動見本生成部１５６と、日付連動見本生成部１５６によって生成された日付連動項目１３３ａの見本情報７０を表示する画像表示部１２とを備えたことを特徴とする。これにより、メガネ型端末１は、記入項目が当日の日付に連動して記入内容が変わる日付連動項目１３３ａであっても、ユーザーの個人情報と当日の日付とに基づいて日付連動項目１３３ａの見本情報を生成してユーザーに提示することができる。したがって、メガネ型端末１は、記入項目に応じて柔軟にユーザーの見本情報を提示することができ、ユーザービリティを向上させることができる。

本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々様々に変更が可能であることは言うまでもない。例えば、メガネ型端末１は情報提供装置の一例であり、スマートフォンのカメラで記入用紙５０を撮像すると、スマートフォンの画面上に見本情報７０を表示したり、カメラ機能を備えたプロジェクターにより記入用紙５０を撮影して、見本情報７０を記入用紙５０上に画像投影したりしてもよい。

１ メガネ型端末
１１ 撮像部
１２ 画像表示部
１２ａ ハーフミラー
１３ 記憶部
１４ 通信部
１５ 制御部
１６ データバス
２０ 視界画像
５０ 記入用紙
６１ 記入欄
６２ 記入項目
７０ 見本情報
８０ 筆記具
１３１ 個人情報
１３１ａ 個人情報項目
１３１ｂ 個人情報値
１３２ 類語辞書
１３３ 日付連動情報
１３３ａ 日付連動項目
１３３ｂ 個人情報項目
１３３ｃ 見本情報算出式
１５１ 記入欄検出部
１５２ 記入項目特定部
１５３ 項目判断部
１５４ 日付連動情報検索部
１５５ 固定情報検索部
１５６ 日付連動見本生成部
１５７ 固定見本生成部
１５８ 形式変換部
１５９ 記入内容取得部

Claims (4)

1. ユーザーの個人情報を記憶した個人情報記憶部と、
   前記ユーザーが記入する記入用紙を撮像する撮像部と、
   撮像された前記記入用紙を文字認識して記入欄の記入項目を特定する記入項目特定部と、
   前記記入項目特定部により特定された前記記入項目が、当日の日付に連動して記入内容が変わる日付連動項目であるか否かを判断する項目判断部と、
   前記項目判断部により前記日付連動項目であると判断された前記記入項目について、前記個人情報記憶部に記憶された前記個人情報と当日の日付とに基づいて前記日付連動項目の見本情報を生成する日付連動見本生成部と、
   前記日付連動見本生成部によって生成された前記日付連動項目の前記見本情報を表示する画像表示部と
   を備えたことを特徴とする情報提供装置。
2. 前記個人情報は、個人情報項目と個人情報値とを含んでおり、
   前記日付連動項目を、前記個人情報項目と対応付けて記憶した日付連動情報記憶部と、
   前記項目判断部により前記記入項目が前記日付連動項目であると判断された場合に、前記日付連動情報記憶部を参照し、前記日付連動項目に対応付けられた前記個人情報項目を検索キーとして、前記個人情報記憶部に記憶された前記個人情報を検索する日付連動情報検索部と
   を備えたことを特徴とする請求項１に記載の情報提供装置。
3. 前記日付連動情報記憶部は、
   前記日付連動項目に前記見本情報の算出式を対応付けて記憶しており、
   前記日付連動見本生成部は、
   前記見本情報の算出式に基づいて、前記日付連動情報検索部による検索により得られた前記個人情報と前記当日の日付とに基づいて前記日付連動項目の前記見本情報を生成する
   ことを特徴とする請求項２に記載の情報提供装置。
4. 前記記入欄から和暦又は西暦を示すキーワードを検出し、検出した前記キーワードに対応して、前記日付連動見本生成部により生成された前記日付連動項目の前記見本情報を前記和暦又は前記西暦に変換する形式変換部を備えた
   ことを特徴とする請求項１から３までのいずれか１項に記載の情報提供装置。

Images