JP2019061590A - 情報処理装置、情報処理システム及びプログラム - Google Patents

Abstract

【課題】記入対象に記入した情報に関連する情報を記入対象の近傍に仮想的に表示することができる情報処理装置、情報処理システム及びプログラムを提供する。【解決手段】情報処理装置３は、現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により撮影された画像に基づいて、表示装置の使用者の動きを検出する検出手段と、検出された使用者の動きに基づいて、記入対象に記入される記入情報に関連する関連情報を仮想空間の画像として記入対象の近傍に表示するよう表示装置に指示する指示手段とを備える。【選択図】図３

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

近年、現実世界環境の実際の直視を可能にし、同時に仮想物体の画像をエンドユーザの視野に投影し、それによりエンドユーザによって知覚される現実世界環境を、仮想物体を用いて拡張する電子デバイスが提案されている（例えば、特許文献１参照。）。

特許文献１に記載された電子デバイスは、個々に識別され、又は特定のグループに所属するものとして識別され得る特定の人物がＨＭＤ（ヘッドマウントディスプレイ）の視野内に存在する場合、又は特定の人物がＨＭＤから特定の距離内に存在する場合、その特定の人物に関連付けられたリマインダが表示され得る拡張現実環境を、ＨＭＤのユーザに対して生成および表示するものである。

特表２０１６−５０６５６５号公報

本発明の課題は、記入対象に記入した情報に関連する情報を記入対象の近傍に仮想的に表示することができる情報処理装置、情報処理システム及びプログラムを提供することにある。

［１］現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により撮影された画像に基づいて、前記表示装置の使用者の動きを検出する検出手段と、検出された前記使用者の動きに基づいて、記入対象に記入される記入情報に関連する関連情報を前記仮想空間の画像として前記記入対象の近傍に表示するよう前記表示装置に指示する指示手段と、を備えた情報処理装置。
［２］前記関連情報は、罫線である、
前記［１］に記載の情報処理装置。
［３］前記指示手段は、前記罫線を前記記入情報の大きさに応じて変更するよう指示する、前記［２］に記載の情報処理装置。
［４］前記検出手段は、前記記入対象に記入するための筆記手段を持つ前記使用者の手指の動きを検出し、前記指示手段は、前記使用者の手指の動きに応じた前記関連情報を表示するよう指示する、前記［１］から［３］のいずれか１つに記載の情報処理装置。
［５］前記指示手段は、前記関連情報を前記記入対象の表面、前方又は隣接位置に表示するよう指示する、前記［１］から［４］のいずれか１つに記載の情報処理装置。
［６］前記関連情報は、前記記入対象への前記記入情報の記入を支援する支援情報である、前記［１］から［５］のいずれか１つに記載の情報処理装置。
［７］前記支援情報は、検出された前記使用者の空中での手書き操作に対する単語候補である、前記［６］に記載の情報処理装置。
［８］前記支援情報は、前記記入情報が誤記を含む場合に前記誤記の箇所を示す情報である、前記［６］に記載の情報処理装置。
［９］前記支援情報は、前記記入情報に関連するファイルリスト又はＷｅｂ検索結果である、前記［１］から［５］のいずれか１つに記載の情報処理装置。
［１０］前記指示手段は、前記記入情報を含む前記関連情報を前記記入対象の前方の位置に表示するよう指示し、前記記入情報に対する前記使用者の動作に基づいて処理を実行する処理手段をさらに備えた、前記［１］から［９］のいずれか１つに記載の情報処理装置。
［１１］前記表示装置は、音声入力部を備え、前記音声入力部から取得した音声の内容から主要な部分を抽出して文字に変換する変換手段と、をさらに備え、前記指示手段は、前記変換された文字を前記関連情報として表示するよう指示する、前記［１］から［１０］のいずれか１つに記載の情報処理装置。
［１２］現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置と、前記表示装置により撮影された画像に基づいて、前記表示装置の使用者の動きを検出する検出手段と、検出された前記使用者の動きに基づいて、記入対象に記入される記入情報に関連する関連情報を前記仮想空間の画像として前記記入対象の近傍に表示するよう前記表示装置に指示する指示手段と、を備えた情報処理システム。
［１３］コンピュータを現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により撮影された画像に基づいて、前記表示装置の使用者の動きを検出する検出手段と、検出された前記使用者の動きに基づいて 、記入対象に記入される記入情報に関連する関連情報を前記仮想空間の画像として前記記入対象の近傍に表示するよう前記表示装置に指示する指示手段、として機能させるためのプログラム。

請求項１、１２、１３に係る発明によれば、記入対象に記入した情報に関連する情報を記入対象の近傍に仮想的に表示するよう表示装置に指示することができる。
請求項２に係る発明によれば、記入対象の近傍に罫線を仮想的に表示するよう表示装置に指示することができる。
請求項３に係る発明によれば、記入情報の大きさに応じた罫線を仮想的に表示するよう表示装置に指示することができる。
請求項４に係る発明によれば、使用者の手指の動きに応じて関連情報を仮想的に表示するよう表示装置に指示することができる。
請求項５に係る発明によれば、関連情報を記入対象の表面、前方又は隣接位置に仮想的に表示するよう表示装置に指示することができる。
請求項６に係る発明によれば、記入情報の記入を支援する支援情報を表示するよう表示装置に指示することができる。
請求項７に係る発明によれば、検出された使用者の空中での手書き操作に対する単語候補を表示するよう表示装置に指示することができる。
請求項８に係る発明によれば、記入情報が誤記を含む場合に誤記の箇所を示す情報を表示するよう表示装置に指示することができる。
請求項９に係る発明によれば、記入情報に関連するファイルリスト及びＷｅｂ検索結果を表示するよう表示装置に指示することができる。
請求項１０に係る発明によれば、使用者が記入対象に直接接触することなく、使用者の動作に基づく処理を実行することができる。
請求項１１に係る発明によれば、参加者の音声から抽出した文字を関連情報として仮想的に表示することができる。

図１（ａ）は、本発明の実施の形態に係る情報処理システムの構成例を示す図、図１（ｂ）は、ヘッドマウントディスプレイ装置の一例を示す外観図である。 図２は、ＨＭＤ装置の制御系の一例を示す図である。 図３は、情報処理装置の制御系の一例を示すブロック図である。 図４は、仮想画像の一例を示す図であり、（ａ）は、罫線に係る仮想画像の一例を示す図、（ｂ）は、（ａ）に示す罫線と異なる間隔を有する罫線に係る仮想画像を示す図、（ｃ）は、升目状の罫線に係る仮想画像の一例を示す図である。 図５は、本発明の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 図６は、支援情報の一例を示す図である。 図７は、支援情報の一例を示す図である。 図８は、支援情報の一例を示す図である。 図９は、関連情報の一例を示す図である。 図１０は、関連情報の一例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

［実施の形態の要約］
本実施の形態に係る情報処理装置は、現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により撮影された画像に基づいて、表示装置の使用者の動きを検出する検出手段と、検出された前記使用者の動きに基づいて、記入対象に記入される記入情報に関連する関連情報を仮想空間の画像として記入対象の近傍に表示するよう表示装置に指示する指示手段とを備える。

「表示装置」には、使用者の頭部に装着され、使用者が表示画像を仮想空間の画像として視認すると同時に現実空間（外景）も直接視認可能な光透過方式の頭部装着型表示装置、外景を撮影した画像に表示画像を仮想空間の画像として重ねて表示する携帯型情報端末等が含まれる。光透過方式の頭部装着型表示装置は、ゴーグル型でもメガネ型でもよい。携帯型情報端末は、頭部装着型でもよい。

「記入対象」とは、筆記手段によって記入される対象をいい、例えば、ホワイトボードや、テーブル、壁等に貼り付けたホワイトボードの代わりになるプラスチックシート等が該当する。なお、記入対象は、例えば、アノトパターン（微細なドットパターン）等の座標が埋め込まれたものでもよい。筆記手段は、記入対象に応じたものであり、例えば、ホワイトボード用のペン（ホワイトボードマーカ）、アノトパターンを読み取れるデジタルペン等が該当する。

関連情報とは、記入情報に関連する情報をいう。関連情報には、例えば、文字の入力位置や文字の大きさをガイドする罫線に係る表示画像や、ファイルやＷｅｂ画像に係る表示画像、使用者による記入対象への記入情報の記入を支援する支援情報が含まれる。

［実施の形態］
図１（ａ）は、本発明の実施の形態に係る情報処理システムの構成例を示す図、図１（ｂ）は、ヘッドマウントディスプレイ装置の一例を示す外観図である。

この情報処理システム１は、第１の者が使用するヘッドマウントディスプレイ装置（以下「ＨＭＤ装置」という。）２Ａと、第２の者が使用するＨＭＤ装置２Ｂと、各ＨＭＤ装置２Ａ、２Ｂ（これらを総称するときは、以下「ＨＭＤ装置２」という。）を制御する情報処理装置３と、第１の者が文字や図形等を記入するためのホワイトボード４を備える。ＨＭＤ装置２と情報処理装置３とは、互いに無線によって通信可能に接続されている。第１の者及び第２の者は、使用者の一例である。ホワイトボード４は、記入対象の一例である。文字や図形は、記入情報の一例である。

このような情報処理システム１は、本実施の形態の場合、例えば、オフィス、公共施設、病院等の会議室、多目的室、談話室、講演会場等で用いられ得る。本実施の形態において、第１の者は、例えば、会議や講義でプレゼンテーションを行うプレゼンテータ（一般的には会議や講義ごとに１人）であり、第２の者は、例えば、会議や講義への参加者（一般的には複数）である。プレゼンテータ及び参加者を総称するときは、以下、使用者又はユーザともいう。

ＨＭＤ装置２は、現実空間に仮想空間の画像（以下「仮想画像」ともいう。）が重なるように、すなわち仮想画像を仮想的に表示するものである。具体的には、ＨＭＤ装置２は、図１（ｂ）に示すように、使用者の頭部に装着されるものであり、使用者が仮想画像を視認すると同時に現実空間（外景）も直接視認可能な光透過方式の頭部装着型表示装置である。

ＨＭＤ装置２は、表示部２２と、外向きカメラ２３Ａとを備える。表示部２２は、耳に装着されるフレーム２２０と、右側透過型ディスプレイ２２１ａ及び左側透過型ディスプレイ２２１ｂ（これらを総称するときは「透過型ディスプレイ２２１」ともいう。）とを備える。

透過型ディスプレイ２２１は、例えば、透過型液晶ディスプレイ、透過型有機ＥＬディスプレイ、透過型無機ＥＬディスプレイ等を用いることができる。右側透過型ディスプレイ２２１ａは、右眼用の表示画像を表示し、左側透過型ディスプレイ２２１ｂは、左眼用の表示画像を表示する。右眼用の表示画像及び左眼用の表示画像は、外景に重なって仮想画像として使用者に視認される。

図２は、ＨＭＤ装置２の制御系の一例を示す図である。ＨＭＤ装置２は、ＨＭＤ装置２の各部を制御する制御部２０と、各種の情報を記憶する記憶部２１と、上記の表示部２２と、上記の外向きカメラ２３Ａと、内向きカメラ２３Ｂと、センサ部２４と、音声入力部２５と、位置検出部２６と、処理部２７と、無線通信部２８とを備える。

制御部２０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部２１に記憶されたプログラム２１０に従って動作することにより送信手段２００、受信手段２０１、表示制御手段２０２等として機能する。各手段２００〜２０２の詳細は後述する。

記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム、データ等が記憶されている。

外向きカメラ２３Ａは、対面する者の顔や自分の手等を含む外景を撮影し、撮影した画像（以下、「撮像画像」ともいう。）を制御部２０に送る。内向きカメラ２３Ｂは、当該ＨＭＤ装置２の使用者の眼を撮影し、撮影した画像を制御部２０に送る。外向きカメラ２３Ａ及び内向きカメラ２３Ｂが撮影する画像は、静止画でも動画でもよい。使用者を顔画像により特定する場合は、静止画でもよいが、使用者の手等を撮影してジェスチャーを検出する場合や視線方向を検出する場合は、動画又は１秒間に複数枚撮影する連続的な静止画が好ましい。

センサ部２４は、距離画像センサと、加速度センサと、ジャイロセンサとを備える。距離画像センサは、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ等を用いることができる。距離画像センサは、赤外線、レーザ又は超音波等を照射し、その反射の時間差から画素ごとに距離を読み取って距離画像を得る。加速度センサは、ＨＭＤ装置２に加わる加速度を検出する。ジャイロセンサは、ＨＭＤ装置２に加わる角速度を検出する。

音声入力部２５は、マイクロフォンで構成され、当該ＨＭＤ装置２の使用者が発声した音声を電気信号である音声信号に変換して入力する。

処理部２７は、外向きカメラ２３Ａ、内向きカメラ２３Ｂ、センサ部２４及び音声入力部２５により入力された情報を処理するものであり、ジェスチャー検出部２７０と、視線検出部２７１と、音声認識部２７２と備える。

ジェスチャー検出部２７０は、当該ＨＭＤ装置２の使用者の動きを示すジェスチャーを検出する。具体的には、ジェスチャー検出部２７０は、センサ部２４の距離画像センサが検出した距離画像から、使用者の手の動き（例えば、２本指によるピンチ動作等）により予め定められた手のジェスチャーを検出する。また、ジェスチャー検出部２７０は、センサ部２４の加速度センサが検出したＨＭＤ装置２の加速度と、ジャイロセンサが検出したＨＭＤ装置２の角速度とに基づいて、使用者の頭部の動き（例えば、左右に振る等）により予め定められた頭部のジェスチャーを検出する。ジェスチャー検出部２７０は、検出したジェスチャーに対応するコマンドを制御部２０に送信する。

視線検出部２７１は、内向きカメラ２３Ｂが使用者の眼を撮影した画像から使用者の視線方向を検出し、検出した視線方向に対応するコマンドを制御部２０に送信する。視線検出技術としては、例えば、内向きカメラ２３Ｂに可視光カメラを用いて、目頭の位置に対する虹彩の位置に基づいて視線方向を検出してもよく、内向きカメラ２３Ｂに赤外線カメラと赤外線ＬＥＤを用いて、角膜反射の位置に対する瞳孔の位置に基づいて視線方向を検出してもよい。なお、ジェスチャーの代わりに視線方向を用いてもよい。

音声認識部２７２は、音声入力部２５が入力した音声信号をデジタルの音声データに変換し、音声データを制御部２０に送信する。なお、ジェスチャーの代わりに音声を用いてもよい。

無線通信部２８は、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｗｉ−Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いて情報処理装置３と通信する。なお、無線通信部２８は、ＨＭＤ装置２同士で通信してもよい。

位置検出部２６は、自装置２の位置を示す位置情報をＧＰＳ（Global Positioning
System）等を用いて定期的に検出し、検出した位置情報を制御部２０に送信する。なお、自装置２の位置をビーコン信号を用いて検出してもよい。すなわち、位置検出部２６は、ビーコン発信機を識別するビーコンＩＤを含むビーコン信号を検出し、ビーコンＩＤ及びビーコン信号の強度情報を情報処理装置３に送信する。情報処理装置３は、ビーコンＩＤに対応するビーコン発信機の位置の情報及びビーコン信号の強度からＨＭＤ装置２の位置情報を取得する。位置情報は、例えば、経度、緯度を示す（ｘ，ｙ）で表される。なお、位置情報は、経度、緯度、高度を示す（ｘ，ｙ，ｚ）でもよい。

次に、ＨＭＤ装置２の各手段２００〜２０２について説明する。

送信手段２００は、外向きカメラ２３Ａにより撮影された撮像画像、処理部２７による処理結果（例えば、ジェスチャー検出部２７０が検出したジェスチャーに対応するコマンド、視線検出部２７１が検出した視線方向や視線方向に対応するコマンド、又は音声認識部２７２により認識された音声データ）、又は位置検出部２６が検出した位置情報を、当該ＨＭＤ装置２の使用者を識別するユーザＩＤとともに無線通信部２８により情報処理装置３に送信する。

受信手段２０１は、情報処理装置３の送信手段３０３から送信された表示画像、及び表示画像を仮想画像として視認させるべき位置を示す位置情報を受信する。

表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて表示部２２を制御する。すなわち、表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて右眼用の表示画像及び左眼用の表示画像を生成し、右眼用の表示画像を右側透過型ディスプレイ２２１ａに表示し、左眼用の表示画像を左側透過型ディスプレイ２２１ｂに表示して位置情報に対応する位置に仮想画像が当該ＨＭＤ装置２の使用者に視認されるよう制御する。

表示画像は、プレゼンテータによりホワイトボード４の表面４ａに記入される記入情報に関連する関連情報に係る画像を含む。ここで、関連情報には、例えば、文字の入力位置や文字の大きさをガイドする罫線に係る表示画像や、Ｗｅｂ検索画面やファイルリストに係る表示画面、プレゼンテータの入力行為をサポートする支援情報（例えば、テンプレートの一覧、単語候補の一覧、修正候補の一覧等）に係る表示画像を含む。これらの詳細については、後述する。

具体的には、表示制御手段２０２は、罫線に係る仮想画像がホワイトボード４の表面４ａ（図１参照）上にプレゼンテータに視認されるよう表示部２２を制御する。また、表示制御手段２０２は、支援情報に係る仮想画像がホワイトボード４の近傍にプレゼンテータに視認されるよう表示部２２を制御する。なお、ホワイトボード４の「近傍」とは、現実空間に重ねられた仮想空間において、ホワイトボード４の表面４ａが占める領域以外の位置をいい、例えば、ホワイトボード４の表面４ａの左右上下の位置や、ホワイトボード４の表面４ａの手前（使用者側）の位置（すなわち、表面４ａから離れた前方）、隣接位置等が該当する。

図３は、情報処理装置３の制御系の一例を示すブロック図である。情報処理装置３は、情報処理装置３の各部を制御する制御部３０と、各種の情報を記憶する記憶部３１と、各ＨＭＤ装置２と無線通信を行う無線通信部３２と、ネットワーク３３０を介して外部装置３３１と通信するネットワーク通信部３３とを備える。

無線通信部３２は、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｗｉ−Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いてＨＭＤ装置２と通信する。

ネットワーク通信部３３は、ネットワーク３３０を介して、外部装置３３１との間で信号を送受信する。ネットワーク３３０は、例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネット、イントラネット等であり、有線でも無線でもよい。外部装置３３１には、ウェブサーバ装置等が含まれる。

制御部３０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム３１０に従って動作することにより受付手段３００、文字情報取得手段３０１、表示画像生成手段３０２、送信手段３０３等として機能する。表示画像生成手段３０２及び送信手段３０３は、指示手段の一例である。各手段３００〜３０３の詳細は後述する。

記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム３１０、罫線情報３１１等が記憶されている。罫線情報３１１には、プレゼンテータによりホワイトボード４に記入された文字情報と罫線の間隔とが関連付けられて記録されている。なお、本明細書において、テーブルに情報を書き込む場合に記録又は登録を用い、記憶部に情報を書き込む場合に記憶を用いる。

次に、情報処理装置３の各手段３００〜３０３について説明する。

受付手段３００は、ＨＭＤ装置２から送信される撮影画像、音声データ、位置情報及び各種のコマンド等を受け付ける。

文字情報取得手段３０１は、受付手段３００が受け付けた撮像画像に対して、文字認識処理を実行し、撮像画像に含まれる文字情報を取得する。文字認識処理とは、当該撮像画像に対して、例えば、ＯＣＲ（Optical Character Recognition）を実行することにより、撮像画像に含まれる文字情報を取得する処理をいう。文字情報取得手段３０１が取得する文字情報には、例えば、文字そのもの、文字の意味等の記入情報に関する情報のみならず、文字の横幅や縦幅等文字の大きさを示す情報が含まれる。

また、文字情報取得手段３０１は、現在仮想画像として表示されている罫線の間隔が記入された文字の大きさに適するか否かに関する情報をさらに取得する。具体的には、文字情報取得手段３０１は、文字情報として取得した文字の大きさと、現在仮想画像として表示されている罫線の間隔との差を求め、この差が予め定められた範囲内か否かに関する情報を取得する。

表示画像生成手段３０２は、ＨＭＤ装置２の表示部２２に表示させる表示画像を生成する。例えば、表示画像生成手段３０２は、文字情報取得手段３０１が取得した文字情報と、情報処理装置３の記憶部３１に記憶された罫線情報３１１に記録された文字情報とを照合して罫線の間隔を特定し、当該特定された間隔を有する罫線に係る表示画像を生成する。また、表示画像生成手段３０２は、生成した表示画像を仮想画像として視認させるべき位置情報を算出する。

送信手段３０３は、ＨＭＤ装置２に、生成された表示画像を仮想空間の画像として表示するように指示する。具体的には、送信手段３０３は、表示画像生成手段３０２が生成した表示画像、及び表示画像を仮想画像として視認させるべき位置情報をＨＭＤ装置２（本実施の形態ではプレゼンテータが使用するＨＭＤ装置２Ａ）に送信する。

（実施の形態の動作）
次に、情報処理システム１の動作の一例について、図４を参照し、図５のフローチャートに従って説明する。図４は、仮想画像の一例を示す図であり、（ａ）は、罫線に係る仮想画像の一例を示し、（ｂ）は、（ａ）に示す罫線と異なる間隔を有する罫線に係る仮想画像を示し、（ｃ）は、升目状の罫線に係る仮想画像の一例を示す。図５は、本発明の実施の形態に係る情報処理装置３の動作の一例を示すフローチャートである。

（１）罫線の表示
プレゼンテータが手を動かして罫線の表示を指示するジェスチャー（第１のジェスチャー）を行うと、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から、第１のジェスチャーを検出し、それに対応する第１のコマンドを制御部２０に送信する。また、位置検出部２６は、自装置２の位置を示す位置情報を定期的に検出し、検出した位置情報を制御部２０に送信する。制御部２０は、ホワイトボード４に対する距離画像を距離画像センサにより取得する。距離画像によりＨＭＤ装置２に対するホワイトボード４の相対的位置が求まる。制御部２０の送信手段２００は、第１のコマンド、距離画像及びＨＭＤ装置２Ａの位置情報を無線通信部２８により情報処理装置３に送信する。

受付手段３００は、ＨＭＤ装置２から送信される第１のコマンド、距離画像及びＨＭＤ装置２Ａの位置情報を受け付ける（Ｓ１）。受付手段３００が第１のコマンドを受け付けると、表示画像生成手段３０２は、ＨＭＤ装置２の表示部２２に表示させる罫線に係る表示画像を生成するとともに（Ｓ２）、罫線に係る表示画像を仮想画像として視認させるべき位置情報を算出する（Ｓ３）。ここで生成される罫線に係る表示画像は、例えば、罫線情報３１１に記録された情報に基づいて生成されるものであり、予め定められた間隔で並ぶ複数の線を含む画像である。

情報処理装置３の送信手段３０３は、プレゼンテータが使用するＨＭＤ装置２Ａに、表示画像生成手段３０２が生成した罫線に係る表示画像、及び罫線に係る表示画像を仮想画像として視認させるべき位置情報を送信する（Ｓ４）。

受信手段２０１は、情報処理装置３の送信手段３０３から送信された罫線に係る表示画像、及びこの罫線に係る表示画像を仮想画像として視認させるべき位置を示す位置情報を受信する。

表示制御手段２０２は、図４（ａ）に示すように、受信手段２０１が受信した表示画像及び位置情報に基づいて、予め定められた間隔を有する罫線４０Ａに係る表示画像がホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する。

（２）文字情報の取得
ＨＭＤ装置２Ａの制御部２０は、ジェスチャー検出部２７０から第１のコマンドが送信される度に、外向きカメラ２３Ａを制御してホワイトボード４の表面４ａにプレゼンテータにより記入された文字等の記入情報を撮影する。制御部２０は、外向きカメラ２３Ａによりホワイトボード４の表面４ａを撮影して得られた撮像画像を取得する。

ＨＭＤ装置２Ａの送信手段２００は、撮像画像を情報処理装置３に送信する。

情報処理装置３の受付手段３００は、ＨＭＤ装置２Ａから送信された撮像画像を受け付ける（Ｓ５）。

文字情報取得手段３０１は、受付手段３００が受け付けた撮像画像に対して、文字認識処理を実行し、撮像画像に含まれる文字情報を取得する（Ｓ６）。

（３）罫線の変更
現在仮想画像として表示されている罫線の間隔が記入された文字の大きさに適するものでない場合（Ｓ７）、表示画像生成手段３０２は、文字情報取得手段３０１が取得した文字情報と、情報処理装置３の記憶部３１に記憶された罫線情報３１１とを照合して罫線の間隔を特定するとともに（Ｓ８）、特定された間隔を有する罫線に係る表示画像を生成する（Ｓ９）。

送信手段３０３は、表示画像生成手段３０２が生成した上記の特定された間隔を有する罫線に係る表示画像をプレゼンテータが使用するＨＭＤ装置２Ａに送信する（Ｓ１０）。

ＨＭＤ装置２Ａの表示制御手段２０２は、図４（ｂ）に示すように、上記の特定された間隔を有する罫線４０Ｂに係る表示画像がホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する。

好ましくは、上述した罫線に係る仮想画像は、プレゼンテータが装着するＨＭＤ装置２Ａのみに表示されるよう制御される。また、本実施の形態では、説明の便宜上、参加者もＨＭＤ装置２Ｂを装着しているものとして説明したが、プレゼンテータがＨＤＭ装置２Ａを装着していればよく、参加者は必ずしもＨＭＤ装置２Ｂを装着していなくてもよい。

以上のように、本発明に係る情報処理装置３は、プレゼンテータに対して、プレゼンテータがホワイトボード４の表面４ａに記入した文字の大きさに応じた罫線を仮想的に視認させることにより、記入する文字の大きさのバラツキの抑制を支援するとともに、複数の文字をホワイトボード４の上下縁部に平行に記入することを支援することができる。

以上、本発明の実施の形態を説明したが、上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。以下、具体的な変形例を説明する。なお、以下の説明では、特に記述が無い限り、上述したＨＭＤ装置２Ａの制御部２０及び情報処理装置３の制御部３０の各手段が動作を行うものとし、上記の実施の形態で説明した各手段の詳細については説明を省略する。

＜変形例１＞
上述の例では、表示画像生成手段３０２は、一方向（例えば、横方向）の罫線に係る表示画面を表示したが、図４（ｃ）に示すように、升目状の罫線４０Ｃに係る表示画像をプレゼンテータに視認させるよう表示部２２を制御してもよい。

＜変形例２＞
プレゼンテータのジェスチャーに応じて罫線の種類を切り替えて表示するようにしてもよい。以下、具体的に説明する。なお、「罫線の種類を切り替える」とは、例えば、図４（ａ）に示す横方向の罫線を、図４（ｃ）に示す升目状の罫線に切り替えることをいう。

ＨＭＤ装置２Ａのジェスチャー検出部２７０が、プレゼンテータが手を動かして罫線の種類の切り替えを行うジェスチャー（第２のジェスチャー）を検出して、ＨＭＤ装置２Ａの送信手段２００が第２のジェスチャーに対応する第２のコマンドを情報処理装置３に送信する。

第２のコマンドを受け付けた情報処理装置３は、現在仮想画像として表示されている罫線と異なる種類の罫線に係る表示画像を生成してＨＭＤ装置２Ａに送信する。かかる表示画像を受信したＨＭＤ装置２Ａは、切り替え後の罫線に係る表示画像をホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する。

第２のジェスチャーは、例えば、プレゼンテータがホワイトボード４の表面４ａに記入情報を記入するためのペン１００（図７参照）を保持している場合に、プレゼンテータがこのペン１００を予め定められた指（例えば、人差し指）で予め定められた回数（例えば、２回〜５回）タップする行為が該当する。

以上のようにして、ＨＭＤ装置２Ａは、プレゼンテータのジェスチャーに応じて罫線を切り替えて仮想画面としてプレゼンテータに視認させるように表示することができる。

＜変形例３＞
実施の形態では、文字情報取得手段３０１が取得した文字情報に応じて罫線の間隔を変更したが、プレゼンテータのジェスチャーに応じて罫線の間隔を変更するようにしてもよい。以下、具体的に説明する。

ＨＭＤ装置２Ａのジェスチャー検出部２７０は、プレゼンテータが手を動かして罫線の間隔の変更を行うジェスチャー（第３のジェスチャー）を検出して、ＨＭＤ装置２Ａの送信手段２００が第３のジェスチャーに対応する第３のコマンドを情報処理装置３に送信する。

第３のコマンドを受け付けた情報処理装置３は、現在仮想画像として表示されている罫線と間隔が異なる罫線に係る表示画像を生成してＨＭＤ装置２Ａに送信する。かかる表示画像を受信したＨＭＤ装置２Ａは、変更後の間隔を有する罫線に係る表示画像をホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する。

第３のジェスチャーは、例えば、プレゼンテータがホワイトボード４の表面４ａに記入情報を記入するためのペン１００を保持している場合に、プレゼンテータがこのペン１００をスライドさせる行為が該当する。

＜変形例４＞
図６は、支援情報の一例を示す図である。図６に示すように、ＨＭＤ装置２Ａは、複数のテンプレート５１を含むテンプレート集５を、ホワイトボード４の表面４ａの近傍（例えば、上下左右いずれかの隣接位置）に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御してもよい。以下、具体的に説明する。

ＨＭＤ装置２Ａのジェスチャー検出部２７０は、プレゼンテータが手を動かして罫線の間隔の変更を行うジェスチャー（第４のジェスチャー）を検出して、ＨＭＤ装置２Ａの送信手段２００が第４のジェスチャーに対応する第４のコマンドを情報処理装置３に送信する。

第４のコマンドを受け付けた情報処理装置３は、複数のテンプレート５１を含むテンプレート集５に係る表示画像を生成してＨＭＤ装置２Ａに送信する。かかる表示画像を受信したＨＭＤ装置２Ａは、テンプレート集５に係る表示画像をホワイトボード４の表面４ａの上下左右いずれかの隣接位置に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御してもよい。

第４のジェスチャーは、例えば、プレゼンテータが、仮想空間におけるホワイトボード４の表面４ａの予め定められた位置を予め定められた時間（例えば、２〜５秒）指す行為が該当する。予め定められた位置に、例えば、ポインタ５２等の目印となる対象物を仮想空間に表示するよう制御してもよい。なお、テンプレート集５は、例えば、ＳｍａｒｔＡｒｔ（登録商標）等が該当する。

＜変形例５＞
図７は、支援情報の一例を示す図である。図７に示すように、ＨＭＤ装置２Ａは、複数の単語候補６１を含む単語リスト６を、ホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御してもよい。以下、具体的に説明する。

ＨＭＤ装置２Ａのジェスチャー検出部２７０は、プレゼンテータが手を動かして単語リスト６の表示を行うジェスチャー（第５のジェスチャー）を検出して、ＨＭＤ装置２Ａの送信手段２００が第５のジェスチャーに対応する第５のコマンドを情報処理装置３に送信する。

ＨＭＤ装置２Ａの制御部２０は、ジェスチャー検出部２７０から第５のコマンドが送信される度に、外向きカメラ２３Ａを制御してペン先１００ａの軌跡を撮影する。換言すれば、外向きカメラ２３Ａは、使用者の空中での手書き操作を検出する。制御部２０は、外向きカメラ２３Ａによりペン先１００ａの軌跡を撮影して得られた撮像画像を取得する。

文字情報取得手段３０１は、この撮像画像に対して文字認識処理を実行し、撮像画像に含まれる文字情報を取得する。また、文字情報取得手段３０１は、認識した文字（例えば、ひらがな）から、記入の候補となる単語候補６１（漢字を含んで構成される）を予測する。単語候補６１の予測には、例えば、予め定められた関連する辞書に基づいて生成する方法等公知の技術を用いて行ってよい。また、単語候補６１は、例えば、Deep Leaning等の学習機能により学習させておいてもよい。単語候補６１は、検出された使用者の空中での手書き操作に対するものである。

表示画像生成手段３０２は、予測された複数の単語候補６１を含む単語リスト６に係る表示画像を生成してＨＭＤ装置２Ａに送信する。かかる表示画像を受信したＨＭＤ装置２Ａは、単語リスト６に係る表示画像をホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する。

第５のジェスチャーは、例えば、プレゼンテータがペン１００に対して予め定められた指（例えば、人差し指）を接触する行為が該当する。

＜変形例６＞
図８は、支援情報の一例を示す図である。図８に示すように、ＨＭＤ装置２Ａは、修正候補７を、ホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御してもよい。以下、具体的に説明する。

ＨＭＤ装置２Ａの制御部２０は、外向きカメラ２３Ａを制御してホワイトボード４の表面４ａにプレゼンテータにより記入された文字等の記入情報を撮影する。制御部２０は、外向きカメラ２３Ａによりホワイトボード４の表面４ａを撮影して得られた撮像画像を取得する。

文字情報取得手段３０１は、この撮像画像に対して文字認識処理を実行し、撮像画像に含まれる文字情報を取得する。また、文字情報取得手段３０１は、取得した文字情報に誤字脱字が含まれるか否かチェックするとともに、記入情報が誤字脱字（総称して「誤記」ともいう。）を含む場合、誤記の箇所を示す情報を取得するとともに修正候補を予測する。誤字脱字の抽出や修正候補の予測には、公知の技術を用いてもよい。

表示画像生成手段３０２は、予測された修正候補７を含む表示画像を生成してＨＭＤ装置２Ａに送信する。かかる表示画像を受信したＨＭＤ装置２Ａは、修正候補７を含む表示画像をホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する。

＜変形例７＞
図９は、関連情報の一例を示す図である。図９に示すように、ＨＭＤ装置２Ａは、ファイルリスト８及びファイル８２を、ホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御してもよい。ファイル８２は、例えば、文書作成プログラム、図形作成プログラム、表計算プログラム等で作成されるデータである。以下、具体的に説明する。

ＨＭＤ装置２Ａのジェスチャー検出部２７０は、プレゼンテータが手を動かしてファイルリスト８の表示を行うジェスチャー（第６のジェスチャー）を検出して、ＨＭＤ装置２Ａの送信手段２００が第６のジェスチャーに対応する第６のコマンドを情報処理装置３に送信する。

第６のコマンドを受け付けた情報処理装置３は、ファイルリスト８に係る表示画像を生成してＨＭＤ装置２Ａに送信する。かかる表示画像を受信したＨＭＤ装置２Ａは、ファイルリスト８に係る表示画像をホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する。

プレゼンテータが仮想空間に表示されたファイルリスト８から特定のファイル名８１を選択すると、ＨＭＤ装置２Ａは、当該特定のファイル名８１に対応するファイル８２に係る表示画像をホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する。

なお、仮想空間に表示されるファイル８２は、例えば、予め情報処理装置３の記憶部３１等に記憶しておくことが好ましい。

＜変形例８＞
情報処理装置３の制御部３０は、音声データから会話情報（例えば、トピック等）等の主要な部分を文字に変換して抽出する変換手段と、関連する会話情報を統合する統合手段とをさらに備えてもよい。統合手段を備えた情報処理装置の詳細について以下具体的に説明する。

情報処理装置３の受付手段３００は、音声データを受け付けたか否かを判断する。

参加者が会話すると、参加者が使用するＨＭＤ装置２Ｂの音声入力部２５は、参加者が発生した音声を音声信号に変換して入力する。音声認識部２７２は、音声信号を音声データに変換する。送信手段２００は、音声データを情報処理装置３に送信する。

情報処理装置３の受付手段３００は、音声データを受け付ける。受付手段３００が音声データを受け付けると、変換手段は、音声データから会話情報を抽出する。統合手段は、抽出された会話情報のうち、互いに関連する会話情報を統合して統合情報を生成する。

一例を示す。例えば、変換手段が、音声データから会話情報は、例えば、「締め切、明日」、「発明提案書」、「知財部」、「上司、相談」、「プログラム、実装」、「独自技術」、「高精度、高速」等の会話情報を抽出した場合、統合手段は、「締め切、明日」、「発明提案書」、「知財部」及び「上司、相談」を統合して「特許、発明」という統合情報を生成するともに、「プログラム、実装」、「独自技術」及び「高精度、高速」を統合して、「独自技術、開発」という統合情報を生成する。会話情報の抽出及び統合情報の生成には、公知の技術を用いてもよい。

また、情報処理装置３は、統合情報に係る表示画像を生成してＨＭＤ装置２Ａに送信してもよい。また、かかる表示画像を受信したＨＭＤ装置２Ａは、統合情報に係る表示画像をホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御してもよい。さらに、ＨＭＤ装置２Ａは、プレゼンテータが仮想画像として表示された統合情報を選択すると、選択された統合情報に含まれる会話情報を仮想画像としてプレゼンテータに視認されるよう表示部２２を制御してもよい。

＜変形例９＞
図１０は、関連情報の一例を示す図である。情報処理装置３は、プレゼンテータの動作に基づいて特定の処理を実行する処理手段をさらに備えてもよい。具体的には、図１０に示すように、ＨＭＤ装置２Ａの表示制御手段２０２は、情報処理装置３から送信された表示画像に基づいて、Ｗｅｂ検索画面９を、ホワイトボード４の表面４ａの近傍に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御してもよい。以下、具体的に説明する。

ＨＭＤ装置２Ａのジェスチャー検出部２７０は、プレゼンテータが手を動かして記入情報をプレゼンテータ側に引き出す指示を行うジェスチャー（第７のジェスチャー）を検出して、ＨＭＤ装置２Ａの送信手段２００が第７のジェスチャーに対応する第７のコマンドを情報処理装置３に送信する。

第３のコマンドを受け付けた情報処理装置３は、記入情報に係る表示画像を生成してＨＭＤ装置２Ａに送信する。かかる表示画像を受信したＨＭＤ装置２Ａは、記入情報に係る表示画像をホワイトボード４の表面４ａのプレゼンテータ側の位置（すなわち、前方）に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する（図１０の付番「Ａ」参照）。

プレゼンテータが自身の側に仮想画面として引き出された記入情報Ａの中から、Ｗｅｂによる検索を行いたい文字列（例えば、図１０の「特許出願」）を選択すると、情報処理装置３は、選択された文字列を検索するＷｅｂ検索画面９に係る表示画像を生成してＨＭＤ装置２Ａに送信する。かかる表示画像を受信したＨＭＤ装置２Ａは、Ｗｅｂ検索画面９に係る表示画像をホワイトボード４の表面４ａ上に仮想画像としてプレゼンテータに視認されるよう表示部２２を制御する。「選択」は、使用者の動作の一例である。選択された文字列の検索に係るＷｅｂ検索画面９の表示は、使用者の動作に基づく処理の一例である。なお、図１０では、説明の便宜上、プレゼンテータに選択された「特許出願」との文言を下線付きの太字で示したが、これに限られるものではなく、例えば、カラーで表示してもよい。

第７のジェスチャーは、例えば、プレゼンテータが自身の手を手前に引き寄せる行為が該当する。

以上のように、プレゼンテータは、自身の側に引き出された仮想画面において文字列を選択することにより、現実空間でホワイトボード４の表面４ａに記入された文字に接触しなくとも、検索したい文字列を選択することができる。

＜変形例１０＞
ホワイトボード４の位置情報は、次の方法で取得してもよい。

例えば、地図データを用いた方法によりホワイトボード４の位置情報を取得してもよい。すわなち、情報処理装置３の記憶部に地図データを記憶させておく。地図データは、ホワイトボード４が配置される、建物内又は部屋内の３次元図形と、ホワイトボード４を識別するホワイトボードＩＤに紐付けられ、建物内又は部屋内に配置されたホワイトボード４の３次元位置を示す位置情報とを含む。３次元図形は、ＨＭＤ装置２の外向きカメラ２３Ａによって撮影されたホワイトボード４の画像と比較されるものである。ＨＭＤ装置２の位置情報、ＨＭＤ装置２の外向きカメラ２３Ａによって撮影されたホワイトボード４を含む画像、及び地図データに基づいてホワイトボード４に位置情報及びホワイトボードＩＤを取得する。

また、他の方法として、ホワイトボード４にホワイトボード４の位置を示す位置情報及びホワイトボードＩＤを暗号化したＱＲコード（登録商標）等のコード画像を張り付けておき、ＨＭＤ装置２の外向きカメラ２３Ａによって撮影されたコード画像を情報処理装置３に送信し、情報処理装置３でコード画像を復号してホワイトボード４の位置情報を取得してもよい。

送信手段３０３は、表示画像と表示画像を仮想画像として視認させるべき位置情報をＨＭＤ装置２に送信すると、ＨＭＤ装置２の表示制御手段２０２は、表示画像が仮想画像として位置情報に表示するよう制御する。

以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。

制御部２０、３０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。

また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。また、上記実施の形態で用いたプログラムをクラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することができる。

１…情報処理システム、２、２Ａ、２Ｂ…ＨＭＤ装置、３…情報処理装置、４…ホワイトボード、４ａ…表面、５…テンプレート集、６…単語リスト、７…修正候補、８…ファイルリスト、９…検索画面、２０…制御部、２１…記憶部、２２…表示部、２３Ａ…外向きカメラ、２３Ｂ…内向きカメラ、２４…センサ部、２５…音声入力部、２６…位置検出部、２７…処理部、２８…無線通信部、３０…制御部、３１…記憶部、３２…無線通信部、３３…ネットワーク通信部、４０Ａ，４０Ｂ，４０Ｃ…罫線、５１…テンプレート、５２…ポインタ、６１…単語候補、８１…ファイル名、８２…ファイル、１００…ペン、１００ａ…ペン先、２００…送信手段、２０１…受信手段、２０２…表示制御手段、２１０…プログラム、２２０…フレーム、２２１…透過型ディスプレイ、２２１…透過型ディスプレイ、２２１ａ…右側透過型ディスプレイ、２２１ｂ…左側透過型ディスプレイ、２７０…ジェスチャー検出部、２７１…視線検出部、２７２…音声認識部、３００…受信手段、３０１…文字情報取得手段、３０２…表示画像生成手段、３０３…送信手段、３１０…プログラム、３１１…罫線情報、３３０…ネットワーク、３３１…外部装置

Claims (13)

1. 現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により撮影された画像に基づいて、前記表示装置の使用者の動きを検出する検出手段と、
   検出された前記使用者の動きに基づいて、記入対象に記入される記入情報に関連する関連情報を前記仮想空間の画像として前記記入対象の近傍に表示するよう前記表示装置に指示する指示手段と、
   を備えた情報処理装置。
2. 前記関連情報は、罫線である、
   請求項１に記載の情報処理装置。
3. 前記指示手段は、前記罫線を前記記入情報の大きさに応じて変更するよう指示する、
   請求項２に記載の情報処理装置。
4. 前記検出手段は、前記記入対象に記入するための筆記手段を持つ前記使用者の手指の動きを検出し、
   前記指示手段は、前記使用者の手指の動きに応じた前記関連情報を表示するよう指示する、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記指示手段は、前記関連情報を前記記入対象の表面、前方又は隣接位置に表示するよう指示する、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記関連情報は、前記記入対象への前記記入情報の記入を支援する支援情報である、
   請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記支援情報は、検出された前記使用者の空中での手書き操作に対する単語候補である、
   請求項６に記載の情報処理装置。
8. 前記支援情報は、前記記入情報が誤記を含む場合に前記誤記の箇所を示す情報である、
   請求項６に記載の情報処理装置。
9. 前記支援情報は、前記記入情報に関連するファイルリスト又はＷｅｂ検索結果である、
   請求項１から５のいずれか１項に記載の情報処理装置。
10. 前記指示手段は、前記記入情報を含む前記関連情報を前記記入対象の前方の位置に表示するよう指示し、
    前記記入情報に対する前記使用者の動作に基づいて処理を実行する処理手段をさらに備えた、
    請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記表示装置は、音声入力部を備え、
    前記音声入力部から取得した音声の内容から主要な部分を抽出して文字に変換する変換手段と、をさらに備え、
    前記指示手段は、前記変換された文字を前記関連情報として表示するよう指示する、
    請求項１から１０のいずれか１項に記載の情報処理装置。
12. 現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置と、
    前記表示装置により撮影された画像に基づいて、前記表示装置の使用者の動きを検出する検出手段と、
    検出された前記使用者の動きに基づいて、記入対象に記入される記入情報に関連する関連情報を前記仮想空間の画像として前記記入対象の近傍に表示するよう前記表示装置に指示する指示手段と、
    を備えた情報処理システム。
13. コンピュータを
    現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により撮影された画像に基づいて、前記表示装置の使用者の動きを検出する検出手段と、
    検出された前記使用者の動きに基づいて 、記入対象に記入される記入情報に関連する関連情報を前記仮想空間の画像として前記記入対象の近傍に表示するよう前記表示装置に指示する指示手段、
    として機能させるためのプログラム。