JP2006065517A - 実空間情報付加装置、方法及びプログラム - Google Patents

Abstract

【課題】情報を付加したい物体が存在する場所に行かなくても情報を付加する。
【解決手段】登録手段１０３がユーザが意図した実空間位置又は実空間範囲と付加される情報の保管場所と情報の実空間上の提示位置とをデータベースに登録する。判定手段１０２がデータベースを参照して情報が付加された実空間位置が取得画像の実空間における取得範囲内にあるか否かを判定する。出力手段１０８が取得範囲内にあると判定された場合にデータベースを参照して画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力する。変換手段１０４が取得範囲内にあると判定された場合に実空間上の座標系位置を画面上の座標系位置に変換する。変換手段１０４が情報が付加された図形が指定された位置であって画面上の座標系位置を実空間上の座標系位置に変換する。変換手段１０４が画面上で指定された情報位置を実空間上の座標系での位置に変換する。
【選択図】図１

Description

本発明は、実空間に存在する物体に情報を付加する実空間情報付加装置、方法及びプログラムに関する。

現在、商品にバーコードタグを添付しておき、商品購入時にバーコードリーダによってバーコードに関連付けられた価格情報を読み出して精算することは日常的に行われている。この手法では、商品価格を変更する場合でも、バーコードタグを貼り替える必要は無く、バーコードに関連付けられた情報のみを変更するだけでよいというメリットがある。

物体に情報を付加する別の方法として、データベース上に蓄積された情報に関連付けられたマーカーを物体に付加する方法がある。例えば、書籍に印刷されたマーカーをカメラで読み取り、マーカーに対応付けられた電子出版物の閲覧ページの映像情報をヘッドマウントディスプレイ上に表示するものがある（例えば、特許文献１参照）。マーカーに関連付けられる情報は、その情報を提示する機器が扱えるメディア、すなわちテキスト、画像・動画、音などである。

特開２００３−１５０５９９公報

しかし、上記の技術では、情報を付与したい対象物にバーコードタグやマーカーを直接付加する必要がある。したがって、バーコードタグやマーカーを付加するために、情報を付与したい対象物が存在する場所に行かなくてはならない。
本発明は、上述した従来の技術における問題点に鑑み、情報を付加したい物体が存在する場所に行かなくても情報を付加することができる実空間情報付加装置、方法及びプログラムを提供することを目的とする。

本発明の実空間情報付加装置によれば、取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を、データベースを参照して付加する実空間情報付加装置において、少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録する登録手段と、前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定する判定手段と、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力する第１出力手段と、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換する第１変換手段と、前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換する第２変換手段と、前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換する第３変換手段を具備することを特徴とする。

また、本発明の実空間情報付加装置によれば、取得現場の環境状況を検出するセンサを備えた場所で取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を付加し、付加した情報をデータベースで管理する実空間情報付加装置において、少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録する登録手段と、前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定する判定手段と、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力する第１出力手段と、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換する第１変換手段と、前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換する第２変換手段と、前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換する第３変換手段と、前記センサの検出値に応じて、前記データベース情報を参照して、前記画面上に表示される図形に付加された情報を画面上に表示させる指示を出力する第２出力手段を具備することを特徴とする。

本発明の実空間情報付加方法によれば、取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を付加し、付加した情報をデータベースで管理する実空間情報付加方法において、少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録し、前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定し、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力し、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換し、前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換し、前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換することを特徴とする。

また、本発明の実空間情報付加方法によれば、取得現場の環境状況を検出するセンサを備えた場所で取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を付加し、付加した情報をデータベースで管理する実空間情報付加方法において、少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録し、前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定し、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力し、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換し、前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換し、前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換し、前記センサの検出値に応じて、前記データベース情報を参照して、前記画面上に表示される図形に付加された情報を画面上に表示させる指示を出力することを特徴とする。

本発明のプログラムによれば、取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を付加し、付加した情報をデータベースで管理する実空間情報付加方法において、コンピュータに、
少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録し、前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定し、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力し、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換し、前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換し、前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換することを実行させる。

また、本発明のプログラムによれば、取得現場の環境状況を検出するセンサを備えた場所で取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を付加し、付加した情報をデータベースで管理する実空間情報付加方法において、コンピュータに、
少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録し、前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定し、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力し、前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換し、前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換し、前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換し、前記センサの検出値に応じて、前記データベース情報を参照して、前記画面上に表示される図形に付加された情報を画面上に表示させる指示を出力することを実行させる。

本発明の実空間情報付加装置、方法及びプログラムによれば、情報を付加したい物体が存在する場所に行かなくても情報を付加できるという効果を得ることができる。

以下、図面を参照しながら本発明の実施形態にかかる実空間情報付加装置、方法及びプログラムについて詳細に説明する。
（第１の実施形態）
本実施形態の実空間情報付加システムは、図１に示すように、実空間情報付加装置１００、データベース１２０、及び画像取得装置１５０を備えている。画像取得装置１５０で取得した画像を基にして、実空間情報付加装置１００がこの画像を表示画面上で情報を付加し、実空間情報付加装置１００において、この情報を閲覧する。なお、実空間情報付加装置１００と画像取得装置１５０は、一般的に遠隔に配置される。例えば、画像取得装置１５０は作業員が作業をしている現場側に配置され、実空間情報付加装置１００が現場を遠隔地から支援する支援者（以後、サポート員と称する）がいるサポート側に配置される。すなわち、このサポート員は実空間情報付加装置１００のユーザである。しかし、これに限定されず、画像取得装置１５０のそばに実空間情報付加装置１００を配置していても構わない。

実空間情報付加装置１００は、入力部１０１、入力データ処理部１０２、データベースアクセス部１０３、座標変換部１０４、表示部１０５、画像受信部１０６、制御指令値送信部１０７、情報表示処理部１０８、スピーカー１０９を備え、画像取得装置１５０は、カメラコントローラ１５１、カメラ１５５、画像送信部１５６を備えている。カメラコントローラ１５１は、制御指令値受信部１５２、カメラ位置姿勢制御部１５３、現在値取得部１５４を備えている。

入力部１０１は、実空間情報付加装置１００のサポート員が、操作量を入力するためのものである。入力部１０１は、例えば、ジョイスティック、マウス、キーボード、マイクを備えている。サポート員は、入力部１０１を使用して、情報を付加したい物体が撮影されるように、カメラ１５５の位置姿勢を制御することができる。サポート員は、例えば、ジョイスティックからの操作量又はキーボード入力からの操作量をカメラ位置姿勢の制御量に利用する。また、サポート員は、入力部１０１のマイクを使用して音声等を入力する。
また、サポート員は、表示部１０５上で入力部１０１のマウスをクリックすることにより、情報を付加する位置を指定する。

カメラ１５５は、現場での画像、映像を取得する。画像送信部１５６は、カメラ１５５が取得した画像を実空間情報付加装置１００に送信する。画像受信部１０６は、画像取得装置１５０から送信されたカメラ１５５が取得した画像を受信する。
表示部１０５は、カメラ位置姿勢制御部１５３として１自由度の回転ステージを用いた場合、カメラ１５５はカメラ位置姿勢制御部１５３を制御して撮影される範囲を確認するためのものである。例えば、表示部１０５は、サポート側で、回転ステージの軸を中心としてカメラ１５５の回転したときに撮影される範囲を確認するためのものである。また、表示部１０５は、情報を付加する位置を指定するために現場側のカメラ１５５で撮影された画像が表示される位置指定ウィンドウ５０２と、情報が付加された仮想オブジェクトの仮想オブジェクトリスト５０３を表示する。ここで、仮想オブジェクトは情報を付加した画面上の位置に情報が付加されたことを可視化するために表示する図形のことである。位置指定ウィンドウ５０２は後に図５を参照して説明する。

入力データ処理部１０２は、入力部１０１から受け取った操作量を、カメラ１５５の位置姿勢の制御量に変換し、制御指令値送信部１０７に出力する。また、入力データ処理部１０２は、入力部１０１のマウスのクリックが表示部１０５の表示画面内の所定のウィンドウ（図５に示す位置指定ウィンドウ５０２）内でのものであるか否かを判定し、このウィンドウ内のものである場合にはこのウィンドウ上の座標値を座標変換部１０４に送信すると共に、付加する情報として仮想オブジェクト名を入力することを促すメッセージを表示部１０５に表示させる。

また、入力データ処理部１０２は、サポート員が入力部１０１により仮想オブジェクト名を入力すると、付加するコンテンツが保存されている場所を示す指標であるデータパスを入力することを促すメッセージを表示部１０５に表示させる。ここで、コンテンツは、テキストデータ、音声データ、画像データ、映像データなどのコンピュータで提示可能なデータ、及びコンピュータで実行可能な実行形式のファイルである。さらに、入力データ処理部１０２は、サポート員が入力部１０１によりコンテンツのデータパスを入力すると、入力されたコンテンツが画像や映像、テキストのように表示部１０５で提示できるものであれば、コンテンツを提示する位置を指定することを促すメッセージを表示部１０５に表示させる。

また、入力データ処理部１０２は、サポート員が入力部１０１により位置指定画面上でマウスをクリックすることによりコンテンツを提示する位置を指定すると、この位置を、情報を付加する位置を指定されたときと同様に座標変換部１０４に送信する。さらに、入力データ処理部１０２は、入力された仮想オブジェクト名、コンテンツのデータパス、及び座標変換部１０４で変換されて得られた、仮想オブジェクトのグローバル座標値とコンテンツを提示するグローバル座標値をデータベースアクセス部１０３に送信する。ここで、位置指定ウィンドウ５０２上での座標系をローカル座標系と呼び、現場カメラ１５５が撮影できる空間上の座標系をグローバル座標系と呼ぶ。また、サポート員が仮想オブジェクト上をダブルクリックすると、入力データ処理部１０２は、仮想オブジェクトがダブルクリックされたと判定し、仮想オブジェクト名を基にして、データベースアクセス部１０３を介してデータベース１２０から仮想オブジェクトに関連付けられているコンテンツヘのデータパスを取得する。さらに、入力データ処理部１０２は取得したコンテンツのデータパスをもとにコンテンツデータを取得し、表示部１０５に表示する。なお、コンテンツが画像、テキストの場合、入力データ処理部１０２は、データベースアクセス部１０３を介してデータベース１２０からコンテンツを提示するグローバル位置を取得し、座標変換部１０４でローカル座標系に変換してから表示部１０５のその位置に表示する。また、コンテンツが音声の場合は情報表示処理部１０８で音声を再生しスピーカー１０９から音声を出力する。

入力データ処理部１０２は、仮想オブジェクトの消去を「ＹＥＳ」、「ＮＯ」の選択肢で確認する仮想オブジェクト消去確認ダイアログを表示する。サポート員が「ＹＥＳ」を選択すると、入力データ処理部１０２は、データベースアクセス部１０３を介して対象となる仮想オブジェクトをデータベース１２０から削除する。入力データ処理部１０２は、サポート員が「ＮＯ」を選択した場合、仮想オブジェクト消去確認ダイアログと、選択ダイアログを非表示にする。

制御指令値送信部１０７は、入力データ処理部１０２からカメラ１５５の位置姿勢の制御量を受け取り、制御指令値受信部１５２に出力する。制御指令値受信部１５２は、制御指令値送信部１０７からこの制御量を受け取り、カメラ位置姿勢制御部１５３に出力する。カメラ位置姿勢制御部１５３は、受信した制御量に応じてカメラ１５５の位置・姿勢を制御する。カメラ位置姿勢制御部１５３として１自由度の回転ステージを用いた場合、カメラ１５５は回転ステージの軸を中心として回転する。

座標変換部１０４は、ローカル座標系での座標値をグローバル座標系での座標値に変換し入力データ処理部に送信する。座標変換部１０４は、グローバル座標系とローカル座標系との座標変換を行う。なお、座標変換部での詳細な処理については後に図１２、図１３及び図１４を参照して説明する。

データベースアクセス部１０３は、仮想オブジェクト名、コンテンツのデータパス、仮想オブジェクトのグローバル座標値、コンテンツを提示するグローバル座標値を１セットとしてデータベース１２０に登録する。また、データベースアクセス部１０３は、コンテンツが音声の場合はコンテンツを提示するグローバル座標値を登録しない。なお、このとき、仮想オブジェクトを表示するための図形の形状と範囲を同時に登録することとする。データベース１２０の内容は後に図１８を参照して説明する。

情報表示処理部１０８は、定期的に現場側の現在値取得部１５４に問い合わせてカメラ１５５の現在位置姿勢を取得し保持する。また、情報表示処理部１０８は、取得したカメラ１５５の現在位置姿勢から表示部１０５で現在表示されている実空間の範囲をグローバル座標系で算出する。さらに、情報表示処理部１０８は、データベースアクセス部１０３を介して、データベース１２０から現在登録されている仮想オブジェクトのグローバル座標値を取得し、これらが現在表示されている実空間の範囲内にあるかどうかを判定する。情報表示処理部１０８は、登録されている仮想オブジェクトの位置が現在表示されている範囲内に存在した場合、グローバル座標値を座標変換部１０４に出力する。さらに、情報表示処理部１０８は、表示部１０５に図形（仮想オブジェクト）を表示させると共に、仮想オブジェクトリスト５０３に表示されている文字を強調表示にする。なお、情報表示処理部１０８は、仮想オブジェクトを表示する際、その仮想オブジェクト名と仮想オブジェクトを表示している指定画面上の表示位置を一時的に保持する。

現在値取得部１５４は、情報表示処理部１０８からの問い合わせに応じて、カメラ位置姿勢制御部１５３から現在のカメラ位置姿勢を取得し、情報表示処理部１０８に送信する。
スピーカー１０９は、コンテンツが音声の場合に、情報表示処理部１０８から再生情報を受け取って音声を出力する。
なお、ネットワークを利用するためのデータ送受信部については図中において省略している。

次に、本実施形態の実空間情報付加装置１００の動作を図２を参照して説明する。
入力データ処理部１０２又は情報表示処理部１０８が終了イベントがあるかどうか監視する（ステップＳ２０１）。終了イベントがある場合は実空間情報付加装置１００の動作を終了し、終了イベントがない場合はステップＳ２０２に進む。ステップＳ２０２では、情報表示処理部１０８が仮想オブジェクトを可視化する。すなわち、情報表示処理部１０８が、データベース１２０の内容を基にして、座標変換部１０４を利用してローカル座標を求め、仮想オブジェクトを表示部１０５に表示する。ステップＳ２０２は後に図８を参照して詳細に説明する。

入力データ処理部１０２が、入力部１０１から入力があるか否かを判定する（ステップＳ２０３）。入力がある場合はステップＳ２０４に進み、一方、入力がない場合はステップＳ２０１に戻る。入力データ処理部１０２が、入力部１０１でジョイスティック等から操作量が入力されたか否かを判定する（ステップＳ２０４）。操作量の入力がある場合はステップＳ２０５に進み、一方、入力がない場合はステップＳ２０６に進む。

ステップＳ２０５では、ステップＳ２０４で入力された操作量に基づいて、カメラ１５５の位置姿勢を制御する。ステップＳ２０５の詳細は後に図３を参照して説明する。ステップＳ２０５の処理が終了するとステップＳ２０１に戻る。ステップＳ２０６では、入力データ処理部１０２が、位置指定ウィンドウ５０２上で、マウスによるクリックイベントを検出したか否かを判定する。クリックイベントを検出したと判定された場合はステップＳ２０７に進み、一方、検出しないと判定された場合はステップＳ２０８に進む。

ステップＳ２０７では、ステップＳ２０６でクリックされたマウスの位置に基づいて、データベース１２０に情報（コンテンツ）を付加する。ステップＳ２０７の詳細は後に図４を参照して説明する。ステップＳ２０７の処理が終了するとステップＳ２０１に戻る。ステップＳ２０８では、入力データ処理部１０２が位置指定ウィンドウ５０２上でダブルクリックイベントを検出したか否かを判定する。ダブルクリックイベントを検出したと判定された場合はステップＳ２０９に進み、一方、検出しないと判定された場合はステップＳ２１０に進む。

ステップＳ２０９では、入力データ処理部１０２が、コンテンツデータをサポート員に提示する。すなわち、コンテンツが音声の場合はスピーカー１０９から出力し、コンテンツが画像の場合は表示部１０５に表示する。ステップＳ２０９の詳細は後に図１０を参照して説明する。ステップＳ２０９の処理が終了するとステップＳ２０１に戻る。ステップＳ２１０では、入力データ処理部１０２が、表示部１０５に表示されている仮想オブジェクト上でのマウスによる右クリックイベントを検出したか否かを判定する。検出したと判定された場合はステップＳ２１１に進み、一方、検出しないと判定された場合はステップＳ２０１に戻る。

ステップＳ２１１では、入力データ処理部１０２がサポート員に操作選択ダイアログを提示し、コンテンツを変更したり、仮想オブジェクトを消去したりする処理を行う。ステップＳ２１１の詳細は後に図１５を参照して説明する。ステップＳ２１１の処理が終了するとステップＳ２０１に戻る。

次に、図２のステップＳ２０５の処理を図３を参照して説明する。
現場側のカメラ１５５で撮影される映像が、画像送信部１５６、サポート側の画像受信部１０６を介して表示部１０５に送信され、サポート員に提示される。サポート員は、この画像を観察し、入力部１０１のジョイスティック等により操作する。その後、入力データ処理部１０２が入力部１０１からこの操作での操作量を取得し、この操作量をカメラ１５５の位置姿勢の制御量に変換し、制御指令値送信部１０７に出力する（ステップＳ３０１）。

制御指令値送信部１０７が、この制御量を画像取得装置１５０に送信し、制御指令値受信部１５２がこの制御量を受信する（ステップＳ３０２）。制御指令値受信部１５２は、受信した制御量をカメラ位置姿勢制御部１５３に送信する（ステップＳ３０３）。カメラ位置姿勢制御部１５３は、受信した制御量に応じてカメラ１５５の位置及び姿勢を制御する（ステップＳ３０４）。

カメラ位置姿勢制御部１５３が、例えば、１自由度の回転ステージを用いてカメラ１５５を制御する場合、カメラ１５５はこの回転ステージの軸を中心として回転する。そして、カメラ１５５が取得した映像及び画像は、画像送信部１５６及び画像受信部１０６を介して表示部１０５に表示される。サポート員は、回転ステージの軸を中心としてカメラ１５５が回転したときに撮影される範囲を表示部１０５で確認することが可能となる。サポート員は、図３に示したフローチャートのように、情報を付加したい物体が撮影されるように、カメラ１５５の位置姿勢を制御することができる。なお、ここではジョイスティックからの操作量をカメラ位置姿勢の制御量に利用したが、キーボード入力からの操作量をカメラ位置姿勢の制御量に利用しても良い。

次に、図２のステップＳ２０７の処理を図４、図５及び図６を参照して説明する。図５は、表示部１０５の表示例である。表示部１０５はカメラ１５５で撮影された画像が表示される位置指定ウィンドウ５０２と、情報が付加された仮想オブジェクトリスト５０３をサポート員に提示する。図６は、情報を付加する場合のＧＵＩの遷移を示す図である。

サポート員は、図５の位置指定ウィンドウ５０２上でマウスをクリックすることにより情報を付加する位置、すなわち仮想オブジェクトの位置を指定する。サポート員は、例えば、図６の（Ａ）に示したようなクリック位置でクリックする。入力データ処理部１０２は、マウスのクリックが位置指定ウィンドウ５０２内のクリックであれば、位置指定ウィンドウ５０２上の座標値を座標変換部１０４に送信する（ステップＳ４０１）。

座標変換部１０４は、位置指定ウィンドウ５０２上での座標系であるローカル座標系と、現場カメラ１５５が撮影できる空間上の座標系であるグローバル座標系との座標変換を行う（ステップＳ４０２）。すなわち、座標変換部１０４は受信したローカル座標系での座標値をグローバル座標系での座標値に変換する（ステップＳ４０２）。座標変換部１０４は、この変換された座標値を入力データ処理部１０２に送信する（ステップＳ４０３）。

入力データ処理部１０２は、付加する情報として仮想オブジェクト名を入力することを促すメッセージを表示部１０５に表示する（ステップＳ４０４）。入力データ処理部１０２は、例えば、図６の（Ｂ）に示すように、「仮想オブジェクト名を入力してください」と位置指定ウィンドウ５０２に表示する。サポート員が仮想オブジェクト名を入力する（ステップＳ４０５）と、入力データ処理部１０２はコンテンツを選択する処理を実行する（ステップＳ４０６）。このステップＳ４０６は後に、図７を参照して詳細に説明する。

次に、図４のステップＳ４０６を図６及び図７を参照して説明する。
入力データ処理部１０２は、付加するコンテンツが保存されているデータパスを入力することを促すメッセージを表示部１０５に表示する（ステップＳ７０１）。入力データ処理部１０２は、例えば、図６の（Ｃ）に示したように、表示部１０５上に「コンテンツを入力してください」を表示する。

サポート員は、付加する情報（コンテンツ）へのデータパスを入力する（ステップＳ７０２）。サポート員は、例えば、図６の（Ｃ）に示したように、「C:\contents\test.txt」と入力する。なお、図６の（Ｃ）では、データヘのパスを入力する例を示したが、既存のコンテンツ用ファイルの一覧を表示し、サポート員に選択させるようにしてもよい。また、テキスト入力ダイアログを表示してサポート員に直接テキストデータを入力させ、そのデータをファイル化してもよい。この場合は、作成したファイルのデータパスをコンテンツのデータパスとする。また、音声入力ダイアログを表示すると共に、それ以降一定時間の音声入力を音声データとしてファイル化してもよい。入力部１０１のマイクにより音声を取得する。この場合も作成したファイルのデータパスをコンテンツのデータパスとする。

入力データ処理部１０２が、サポート員が入力したコンテンツが画像や映像、テキストのようにディスプレイに提示することができるものであるか否かを判定する（ステップＳ７０３）。提示することができるものである場合にはステップＳ７０４に進み、一方、できない場合にはステップＳ７０９に進む。

ステップＳ７０４では、入力データ処理部１０２はコンテンツを提示する位置（コンテンツ提示位置）を指定することを促すメッセージを表示部１０５に表示する。入力データ処理部１０２は、例えば、図６の（Ｄ）のように「コンテンツを表示する位置を指定してください」と表示部１０５に表示させる。なお、コンテンツを表示する位置を仮想オブジェクトからの相対位置、あるいは画面上の絶対位置で予め登録しておき、コンテンツの提示位置を指定する手順を省略することによりサポート員の入力項目を減らしてもよい。

一方、ステップＳ７０９では、入力データ処理部１０２は、入力された仮想オブジェクト名、コンテンツのデータパス、及びステップＳ４０２で取得された、仮想オブジェクトのグローバル座標値をデータベースアクセス部１０３に送信する。
サポート員が、位置指定ウィンドウ５０２上でマウスをクリックすることによりコンテンツを提示する位置を指定する（ステップＳ７０５）。サポート員は、例えば、図６の（Ｄ）のクリック位置に示したような位置をクリックする。その後、ステップＳ７１０に進む。

入力データ処理部１０２は情報を付加する位置が指定されたときと同様に、指定された位置をローカル座標系で示した値を座標変換部１０４に送信する（ステップＳ７０６）。座標変換部１０４は、ローカル座標系での座標値をグローバル座標系での座標値に変換し入力データ処理部１０２に送信する（ステップＳ７０６）。入力データ処理部１０２は、入力された仮想オブジェクト名、コンテンツのデータパス、及び座標変換部１０４で変換された仮想オブジェクトのグローバル座標値とコンテンツを提示するグローバル座標値をデータベースアクセス部１０３に送信する（ステップＳ７０８）。データベースアクセス部１０３は、仮想オブジェクト名、コンテンツのデータパス、仮想オブジェクトのグローバル座標値、コンテンツを提示するグローバル座標値を１セットとしてデータベース１２０に登録する（ステップＳ７１０）。なお、この時、仮想オブジェクトを表示するための図形の形状と範囲を同時に登録することとする。本実施形態では、後に図９の仮想オブジェクト９０１として示すように、図形の形状を「楕円」とし、範囲はマウスで入力された位置指定ウィンドウ５０２上のある点を中心として、長軸の長さをａ、短軸の長さをｂとする。

次に、図２のステップＳ２０２を図８及び図９を参照して説明する。ステップＳ２０２は、情報が付加されていることを可視化する処理、つまり仮想オブジェクトを表示する処理である。図９は、上述したように、登録した仮想オブジェクト「直方体Ａ」９０２を表示した例を示す図である。図９において直方体Ａ９０２は、位置指定ウィンドウ５０２の左側に示した図形である。
情報を付加した位置に楕円図形（仮想オブジェクト９０１）を表示する際、仮想オブジェクトリスト５０３内で「直方体Ａ」を強調表示する。なお、仮想オブジェクトリスト５０３内の他の仮想オブジェクトに対応する楕円図形が位置指定ウィンドウ５０２内に表示されていないのは、それらの仮想オブジェクトが位置指定ウィンドウ５０２内に存在しないからである。すなわち、これらの仮想オブジェクトに関連する実物体がカメラ１５５の視野外にあるからである。

現在値取得部１５４は、情報表示処理部１０８からの問い合わせがあると、カメラ位置姿勢制御部１５３から現在のカメラ位置姿勢を取得し、情報表示処理部１０８に送信する（ステップＳ８０１）。情報表示処理部１０８は、取得したカメラ１５５の現在位置姿勢から表示部１０５に現在表示されている実空間の範囲をグローバル座標系で算出する（ステップＳ８０２）。さらに、情報表示処理部１０８は、データベースアクセス部１０３を介して、現在登録されている仮想オブジェクトのグローバル座標値を取得する（ステップＳ８０３）。情報表示処理部１０８は、これらのグローバル座標値が現在表示されている実空間の範囲内にあるかどうかを判定する（ステップＳ８０４）。登録されている仮想オブジェクトの位置が現在表示されている範囲内に存在していると判定された場合はステップＳ８０５に進み、一方、存在していないと判定された場合はステップＳ８０８に進む。

ステップＳ８０５では、情報表示処理部１０８は登録されている仮想オブジェクトのグローバル座標値を座標変換部１０４に送信する。座標変換部１０４は、このグローバル座標系での座標値をローカル座標系での座標値に変換し、このローカル座標系での座標値を情報表示処理部１０８に送信する（ステップＳ８０６）。さらに、情報表示処理部１０８はこのローカル座標系での座標値に基づいて表示部１０５に図形を表示する（ステップＳ８０７）。情報表示処理部１０８は、仮想オブジェクトリスト５０３に表示されている文字のうち、図形を表示した仮想オブジェクトの名前を強調表示する（ステップＳ８０８）。なお、情報表示処理部１０８は、仮想オブジェクトを表示する際、その仮想オブジェクト名と仮想オブジェクトを表示している指定画面上の表示位置を一時的に保持する。

次に、図２のステップＳ２０９を図１０及び図１１を参照して説明する。このステップＳ２０９は、コンテンツを閲覧する場合である。図１１は、付加されたコンテンツを提示した例を示す図である。
サポート員が仮想オブジェクト９０１上をダブルクリックすると、入力データ処理部１０２は、仮想オブジェクトがダブルクリックされたと判定し、仮想オブジェクト名をデータベースアクセス部１０３へ送信する（ステップＳ１００１）。サポート員は例えば、図１１の仮想オブジェクト９０１上をダブルクリックする。データベースアクセス部１０３は、この仮想オブジェクトに関連付けられているコンテンツヘのデータパスを取得する（ステップＳ１００２）。データベースアクセス部１０３はこのデータパスを入力データ処理部１０２に送信する（ステップＳ１００３）。さらに、入力データ処理部１０２は取得したコンテンツのデータパスをもとにコンテンツデータを取得する（ステップＳ１００４）。

入力データ処理部１０２が、このコンテンツデータに音声等の音源データが含まれているか否か判定する（ステップＳ１００５）。音源データが含まれている場合にはステップＳ１００９に進み、一方、含まれていない場合にはステップＳ１００６に進む。
ステップＳ１００６では、入力データ処理部１０２は、データベースアクセス部１０３を介してデータベース１２０から、コンテンツを提示するためのグローバル座標値を取得する。座標変換部１０４が、このグローバル座標値をグローバル座標系からローカル座標系に変換する（ステップＳ１００７）。情報表示処理部１０８が、表示部１０５にこのコンテンツをその位置に表示する。図１１の例では、「この重さは１ｋｇです」というコンテンツ１１０１が表示される。一方、ステップＳ１００９では、音声等をスピーカー１０９で再生する。

次に、座標変換部１０４におけるローカル座標系からグローバル座標系への変換、及びグローバル座標系からローカル座標系への変換について図１２、図１３及び図１４を参照して詳細に説明する。なお、ここでは上述したようにカメラ位置姿勢制御部１５３として１自由度の回転ステージを用いた場合について説明する。図１２は、実空間上の物体とカメラ１５５で撮影された物体が表示される射影面との関係を示す図である。

図１２に示すように、カメラ１５５で撮影された実物体は、２次元平面の射影面１２０３、１２０８に射影される。位置指定ウィンドウ５０２に表示されるものは、この射影面１２０３に射影される物体である。例えば、実物体１２０１は、射影面１２０３に射影された物体１２０２が位置指定ウィンドウ５０２に表示される。また、実物体１２０６は、射影面１２０８に射影された物体１２０７が位置指定ウィンドウ５０２に表示される。以下、グローバル座標系が円柱座標系である場合と直交座標系である場合での座標変換を説明する。

（グローバル座標系が円柱座標系である場合）
回転軸１２０５を中心として回転する回転ステージによってカメラ１５５を回転させると射影面も回転する。そこで、直交座標系で表現される射影面内の座標（ローカル座標）を、回転軸を中心とした円柱座標系（グローバル座標）で表現することにより、カメラ姿勢の変更に依存しない仮想オブジェクトの位置を表現する。

図１３は、位置指定ウィンドウ５０２と図１２を上部から見た様子を示した図である。カメラ１５５の視野角をτ［ｒａｄ］、位置指定ウィンドウ５０２の横幅をＬ、情報表示処理部１０８から取得した、現在のカメラ姿勢をθ［ｒａｄ］とする。カメラ姿勢は、カメラ１５５の初期姿勢からの変位角である。座標変換部１０４は、ローカル座標が入力されると、ローカル座標で表現された位置指定ウィンドウ５０２上の任意の点Ａ（ａｘ，ａｙ）をグローバル座標系で表現された点Ａ（ω，ａｙ）に変換する。ωは、位置指定ウィンドウ５０２上の点Ａを円柱座標系で表現した場合の偏角である。ここで、射影面の横幅が位置指定ウィンドウ５０２の横幅Ｌと同じになる位置に射影面を設定する。このとき、回転軸から射影面への距離をｎとすると、
ｔａｎ（τ／２）＝Ｌ／２ｎ 式（１）
ｔａｎ（ω−θ）＝（Ｌ−２ａｘ）／２ｎ 式（２）
であるから、式（１）と式（２）からｎを消去すると、
ｔａｎ（ω−θ）＝（１−２ａｘ／Ｌ）ｔａｎ（τ／２） 式（３）
となり、
ω＝ａｒｃｔａｎ｛（１−２ａｘ／Ｌ）ｔａｎ（τ／２）｝＋θ 式（４）
となる。一方、グローバル座標からローカル座標への変換は、式（３）を変形して
ａｘ＝Ｌ／２−Ｌｔａｎ（ω−θ）／２ｔａｎ（τ／２） 式（５）
となる。

本実施形態では、サポート側でコンテンツを付加し閲覧する例を示したが、サポート側に限定する物ではない。つまり、サポート側の構成を現場側にも設置することにより、現場側でコンテンツの付加、及び閲覧が可能である。
（グローバル座標系が直交座標系である場合）
上記では、グローバル座標を円柱座標系で表現したが、変形例として、グローバル座標を直交座標系で表現する場合を図１４を参照して説明する。図１４は、グローバル座標系とローカル座標系との関係を示す図である。図１４の上方の図形は、図１２における射影面を円柱の側面におき、かつ円柱の側面を切り開いたものである。この場合、カメラ位置姿勢が初期姿勢の時の位置指定ウィンドウ５０２の左上をグローバル座標系１４０１の原点とし、カメラ位置姿勢が任意の姿勢の時の位置指定ウィンドウ５０２の左上をローカル座標系１４０２の原点とする。

ここで、カメラ１５５の視野角をτ［ｒａｄ］、位置指定ウィンドウ５０２の横幅をＬ、情報表示処理部１０８から取得した現在のカメラ姿勢をθ［ｒａｄ］、回転軸から射影面までの距離をｒとすると、ローカル座標系での任意の点Ａ（ａｘ，ａｙ）をグローバル座標系（Ａｘ，Ａｙ）で表現すると、
Ａｘ＝ａｘ＋ｒθ 式（６）
Ａｙ＝ａｙ 式（７）
となる。ここで、Ｌ≒ｒτと近似すると
Ａｘ＝ａｘ＋Ｌθ／τ 式（８）
となる。一方、グローバル座標系からローカル座標系への変換は、式（８）を変形して、
ａｘ＝Ａｘ−Ｌθ／τ 式（９）
となる。

次に、図２のステップＳ２１１の処理を図１５及び図１６を参照して説明する。このステップＳ２１１は、作成された仮想オブジェクトに関連付けたコンテンツを変更する処理を示す。図１６は、仮想オブジェクトに関連付けたコンテンツを変更する場合の画面遷移を示す図である。
サポート員が仮想オブジェクトを右クリックする（図２のステップＳ２１０）と、入力データ処理部１０２は、図１６の（Ｂ）に示すように、「コンテンツ変更」と「仮想オブジェクトの消去」と「キャンセル」の中から操作を選択させる操作選択ダイアログ１６０１を表示する（ステップＳ１５０１）。入力データ処理部１０２は、サポート員がどの項目を選択したかを判定する（ステップＳ１５０２）。

入力データ処理部１０２が、サポート員が「キャンセル」を選択したと判定した場合はステップＳ１５０５に進み、サポート員が「コンテンツ変更」を選択したと判定した場合はステップＳ１５０３に進み、サポート員が「仮想オブジェクトの消去」を選択したと判定した場合はステップＳ１５０６に進む。

ステップＳ１５０５では、入力データ処理部１０２が表示部１０５での操作選択ダイアログ１６０１を非表示にする。
ステップＳ１５０３では、入力データ処理部１０２は、変更するコンテンツのデータパスの入力を促すダイアログ６０２を表示する。以下は、図７に示したステップＳ４０６の処理を行う。すなわち、サポート員がコンテンツのデータパスを入力すると、入力されたコンテンツが画像や映像、テキストのようにディスプレイに提示できるものであれば、入力データ処理部１０２はコンテンツを提示する位置を指定することを促すメッセージ（例えば、図６の「コンテンツを表示する位置を指定して下さい」６０３）を表示部１０５に表示する。なお、コンテンツを表示する位置を仮想オブジェクトからの相対位置、あるいは画面上の絶対位置で予め登録しておき、コンテンツの提示位置を指定する手順を省略することによりサポート員の入力項目を減らしてもよい。サポート員が、位置指定ウィンドウ５０２上でマウスをクリックすることによりコンテンツを提示する位置を指定すると、入力データ処理部１０２はローカル座標系での座標値を座標変換部１０４に送信する。座標変換部１０４では、ローカル座標系での座標値をグローバル座標系での座標値に変換し入力データ処理部１０２に送信する。入力データ処理部１０２は、対象となった仮想オブジェクトの仮想オブジェクト名、コンテンツのデータパス、コンテンツを提示するグローバル座標値をデータベースアクセス部１０３に送信する。データベースアクセス部１０３は、仮想オブジェクト名をキーにして、コンテンツのデータパス、コンテンツを提示するグローバル座標値を既存のデータに上書きで登録する。その後、ステップＳ１５０５に進む。

一方、ステップＳ１５０６では、入力データ処理部１０２は仮想オブジェクトの消去を「ＹＥＳ」、「ＮＯ」の選択肢で確認する仮想オブジェクトの消去確認ダイアログを表示部１０５に表示させる（ステップＳ１５０６）。入力データ処理部１０２は、この消去確認ダイアログで「ＹＥＳ」が選択されたか「ＮＯ」が選択されたかを判定する（ステップＳ１５０７）。「ＹＥＳ」が選択された場合はステップＳ１５０８に進み、「ＮＯ」が選択された場合はステップＳ１５０９に進む。

ステップＳ１５０８では、入力データ処理部１０２は、データベースアクセス部１０３を介して対象となる仮想オブジェクトをデータベース１２０から削除し、ステップＳ１５０９に進む。ステップＳ１５０９では、入力データ処理部１０２は、仮想オブジェクト消去確認ダイアログと、選択ダイアログを非表示にし、ステップＳ１５０５に進む。

以上に示した本実施形態によれば、撮影した実空間画像を表示する画面上において、情報を付加したい実物体が表示されている画面上の位置に情報を関連付けた仮想オブジェクトを生成し、情報を付加したい物体と仮想オブジェクトとの対応関係を維持することにより、あたかも実物体に情報が付加されているかのようにすることを実現することができる。

（第２の実施形態）
本実施形態の実空間情報付加システムは、図１７に示すように、実空間情報付加装置１７００、データベース１２０、画像取得装置１７５０を備えている。本実施形態の実空間情報付加システムは、第１の実施形態の実空間情報付加システムと比較して、新たに、いくつかの装置部分が付加されたことのみ異なる。すなわち、実空間情報付加装置１７００は、新たに、センサデータ受信部１７０１を備え、画像取得装置１７５０は、新たに、距離センサ１７５１、温度センサ１７５３、センサデータ送信部１７５２、１７５４を備えている。これら新たに付加された装置部分以外は、全て第１の実施形態で使用した番号と同一の番号を付してその説明を省略する。

第１の実施形態では、仮想オブジェクトをクリックすることにより、関連付けられた情報（コンテンツ）を提示する例を説明したが、本実施形態では、センサ（距離センサ１７５１、温度センサ１７５３）の値が事前に設定した閾値以下の場合、あるいは閾値以上の場合、あるいは事前に設定した範囲内の場合にコンテンツを提示する。

距離センサ１７５１は、機器、壁、若しくは床などに設置され、そこから事前に設定されたある一定範囲内に人が存在しているかどうかを検知する。センサデータ送信部１７５２は、距離センサ１７５１の検知結果を実空間情報付加装置１７００に送信する。

温度センサ１７５３は、作業者の周りに配置してある機器、若しくは壁、床などの作業環境を構成するものの温度、あるいは室温を測定する。センサデータ送信部１７５４は、温度センサ１７５３の検知結果を実空間情報付加装置１７００に送信する。
センサデータ受信部１７０１は、距離センサ１７５１及び／又は温度センサ１７５３の検知結果を受け取り、情報表示処理部１０８に送信する。

次に、データベース１２０の内容を図１８を参照して説明する。
データベース１２０は、図１８に示した内容を１セットとして複数セットの情報を格納している。１セットの情報は、仮想オブジェクト名１８０１、コンテンツのデータパス１８０２、仮想オブジェクトのグローバル座標での位置１８０３、コンテンツのグローバル座標での提示位置１８０４、コンテンツを提示する際に利用するセンサ名１８０５、コンテンツを提示する際の提示条件（センサが示す値の上限値）１８０６、コンテンツを提示する際の提示条件（センサが示す値の下限値）１８０７、仮想オブジェクト用の表示図形の形状１８０８、表示図形の形状を決定する形状パラメータ１８０９を含んでいる。

図１８の右側に示したものは、上記の１セットの情報の具体的な内容（すなわち、数値例）である。この数値例では、仮想オブジェクト名１８０１が「サンプルオブジェクト」、コンテンツのデータパス１８０２が「C:\contents\sample.bmp」、仮想オブジェクトのグローバル座標での位置１８０３が「１００，５０」、コンテンツのグローバル座標での提示位置１８０４が「１１０，５０」、コンテンツを提示する際に利用するセンサ名１８０５が「距離センサ」、コンテンツを提示する際の提示条件（距離センサが示す値の上限値）１８０６が「１００」、コンテンツを提示する際の提示条件（距離センサが示す値の下限値）１８０７が「１０」、仮想オブジェクト用の表示図形の形状１８０８が「円」、表示図形の形状を決定する形状パラメータ１８０９（この場合は半径を示す）が「２」である。

第１の実施形態でのデータベース１２０も同様な内容であるが、センサに関する内容は無い。すなわち、第１の実施形態でのデータベース１２０での１セットの情報は、仮想オブジェクト名１８０１、コンテンツのデータパス１８０２、仮想オブジェクトのグローバル座標での位置１８０３、コンテンツのグローバル座標での提示位置１８０４、仮想オブジェクト用の表示図形の形状１８０８、表示図形の形状を決定する形状パラメータ１８０９を含んでいる。

次に、本実施形態の実空間情報付加装置１７００の動作を図１９を参照して説明する。第１の実施形態での動作と同様なステップは図２での番号と同様な番号を付しその説明を省略する。
ステップＳ１９０１では、情報表示処理部１０８が可視化された仮想オブジェクトにセンサによる表示をする条件がデータベース１２０に登録されているか否かを判定して登録されている場合は、この条件と照らし合わせてコンテンツを表示させたりさせなかったりする。ステップＳ１９０１の詳細は後に図２２を参照して説明する。

ステップＳ１９０２では、入力データ処理部１０２が、表示部１０５にコンテンツ提示条件選択ダイアログを表示させる。表示部１０５は、例えば、後述するように図２１の（Ｂ）に示したようなダイアログを表示する。
ステップＳ１９０３では、入力データ処理部１０２が、クリックによってコンテンツを表示させるか、センサの値によってコンテンツを表示させるかをサポート員に決定するように促す。また、入力データ処理部１０２は決定した事項をデータベースアクセス部１０３を介してデータベース１２０に登録する。ステップＳ１９０３の詳細は後に図２０及び図２１を参照して説明する。

次に、図１９のステップＳ１９０３の処理を図２０及び図２１を参照して説明する。図２１は、ステップＳ２０７でコンテンツを提示する位置を入力した後、提示条件を設定する際の画面遷移を示す図である。
サポート員が、ステップＳ２０７でコンテンツを提示する位置を入力すると、入力データ処理部１０２は、コンテンツ提示条件の選択を促すコンテンツ提示条件選択ダイアログ２１０１を表示する（ステップＳ１９０２）。入力データ処理部１０２は、サポート員の入力を判定する（ステップＳ２００１）。ステップＳ２００１は、例えば、図２１の（Ｂ）のように示され、サポート員はクリックによって選択する。サポート員が「クリックでコンテンツを提示」を選択したと判定した場合はステップＳ２００６に進み、一方、サポート員が「センサの値でコンテンツを提示」を選択した場合はステップＳ２００２に進む。

「クリックでコンテンツを提示」を選択したと判定した場合は、第１の実施形態と同様である。ステップＳ２００６では、表示部１０５は、コンテンツ提示条件選択ダイアログを非表示にする。
ステップＳ２００２では、入力データ処理部１０２は、データベースアクセス部１０３を介してデータベース１２０から、事前に登録されているセンサのリストを取得する。入力データ処理部１０２は、表示部１０５に、コンテンツを提示する条件としてどのセンサの値を利用するかを選択するセンサ選択ダイアログ２１０２を表示させる。サポート員が、このセンサ選択ダイアログ２１０２から利用するセンサを選択する（ステップＳ２００３）。ステップＳ２００３は、例えば、図２１の（Ｃ）のように示され、サポート員はクリックによって選択する。入力データ処理部１０２は、表示部１０５に、コンテンツを提示する条件を入力するコンテンツ提示条件ダイアログ２１０３を表示する。サポート員がコンテンツを提示する条件を入力する（ステップＳ２００４）。入力データ処理部１０２は、データベースアクセス部１０３を介して、仮想オブジェクト名、コンテンツのデータパス、仮想オブジェクトのグローバル座標値、コンテンツを提示するグローバル座標値、コンテンツ提示に利用するセンサ名、コンテンツ提示の条件等を１セットとして、データベース１２０に登録する。なお、この時、仮想オブジェクトを表示するための図形の形状と範囲を同時に登録することとする。例えば、コンテンツ提示に利用するセンサとして、距離センサ１７５１を選択し、コンテンツ提示の条件を、図２１の（Ｄ）に示したように、
１００以下
１０以上
とすると、
センサ名：距離センサ
提示条件下限値：１０
提示条件上限値：１００
もデータベース１２０に登録される。

次に、図１９のステップＳ１９０１を図２２を参照して説明する。このステップＳ１９０１は、センシング情報からコンテンツを提示する処理である。
距離センサ１７５１や温度センサ１７５３などの各センサからの値は、センサデータ送信部１７５２、１７５４、実空間情報付加装置１７００のセンサデータ受信部１７０１を介して情報表示処理部１０８に送信される。情報表示処理部１０８は、第１の実施形態で示したように、登録されている仮想オブジェクトの位置が位置指定ウィンドウ５０２に表示されている範囲内に存在するかどうかを定期的に判定し、存在する場合は仮想オブジェクトを表示する処理を行う。
本実施形態ではさらに、ステップＳ２０２で可視化された仮想オブジェクトの提示条件として、センサの条件が登録されているかどうかを判定し、センサの条件が登録されている場合は、センサデータ受信部１７０１から受信したセンサの値と比較して、条件内であれば登録されているコンテンツを表示する。

すなわち、情報表示処理部１０８が、ステップＳ２０２で可視化された仮想オブジェクトの提示条件として、センサの条件が登録されているかどうかを判定する（ステップＳ２２０１）。登録されている条件がある場合にはステップＳ２２０２に進み、一方、ない場合には何も行わないでこのステップＳ１９０１を終了する。ステップＳ２２０２では、情報表示処理部１０８が、センサデータ受信部１７０１からセンサの条件をデータベースアクセス部１０３を介してデータベース１２０から取得する。その後、情報表示処理部１０８は、センサデータ受信部１７０１からセンサ値を取得する。このセンサ値は、センサデータ送信部１７５２又はセンサデータ送信部１７５４から送信されてきた距離センサ１７５１及び／又は温度センサ１７５３からのセンサ値である。

情報表示処理部１０８が、取得したセンサ値がセンサ条件の範囲内であるかどうかを判定する（ステップＳ２２０４）。センサ条件の範囲内である場合にはステップＳ２０９に進み、範囲内でない場合はステップＳ１９０１を終了する。ステップＳ２０９は、第１の実施形態で図１０を参照して説明してある。

以上に示した実施形態によれば、第１の実施形態での効果に加え、現場でのある物体との距離や現場での温度をセンシングするセンサの値に基づいて、コンテンツをサポート員に提示した方がよい場合を判定し、必要な情報（コンテンツ）をサポート員に提示することができる。

ところで、距離センサ１７５１は、機器、壁、若しくは床などに設置され、そこから事前に設定されたある一定範囲内に人が存在しているかどうかを検知するものである。距離センサ１７５１は、一定範囲内に人が存在した場合に情報（コンテンツ）を提示する。このように、接近者が現れたときに情報（コンテンツ）が提示されるため、わざわざ遠隔地から現場を監視し、必要なときに遠隔地から提示する必要がなく、サポート側の負担を軽減することができる。また、必要な場合にのみ提示することにより、注意を引く提示方法となる。さらに、距離センサ１７５１を用いることにより、どの程度人が近づいた場合に接近者が現れたとみなすかを、任意に設定することが可能となる。

一方、温度センサ１７５３が検出するのは、作業者の周りに配置してある機器、若しくは壁、床などの作業環境を構成するものの温度、あるいは室温とする。温度センサ１７５３は、検出する対象の温度が事前に設定された温度範囲から外れた、若しくは温度範囲内の場合に情報（コンテンツ）を提示する。このように、対象の温度が設定範囲から外れた、若しくは温度範囲内の場合に情報（コンテンツ）が提示されるため、わざわざ遠隔地から対象を常に監視している必要がなく、遠隔地側の負担を軽減することができる。必要な場合にのみ提示することにより、注意を引く提示方法となる。

また、情報（コンテンツ）が音声の場合、作業者にとっては、近づいていないにもかかわらず、危険温度を超える毎に「ここに近づくと危険です」といった内容を音声で提示されると、例えば、作業者は作業に集中しずらくなり作業効率が落ちてしまう。これを防ぐため、距離センサ１７５１と温度センサ１７５３とを併用することにより、例えば作業者が機器等から一定距離内に近づき、かつ機器温度が例えば設定温度を超えている場合にのみ、情報（コンテンツ）を提示させるという設定も可能となる。この場合、作業者が機器へ近づかなかった場合や、近づいても機器温度が危険温度以下の場合は情報（コンテンツ）は提示されない。これにより、不必要な情報を受け取ることを避けることができ、作業効率を下げずに済むことが可能となる。

距離センサ１７５１や温度センサ１７５３以外にも利用可能なセンサとしては、人感センサ、振動センサ、圧力センサ等の利用が考えられる。
人感センサは、機器、壁、若しくは床などに設置され、そこからある一定範囲内に人が存在しているかどうかを検知する。一定範囲内に人が存在した場合に情報（コンテンツ）が提示される。このように、接近者が現れたときに情報（コンテンツ）が提示されるため、わざわざ遠隔地から現場を監視し、必要なときに遠隔地から提示する必要がなく、遠隔地側の負担を軽減することができる。

振動センサは、機器、壁、若しくは床などに設置され、そこから事前に設定されたある一定範囲内、若しくは範囲外の振動があるかどうかを検知する。一定範囲内、若しくは範囲外の振動があった場合、人が存在すると感知し、情報（コンテンツ）が提示される。このように、接近者が現れたときに情報（コンテンツ）が提示されるため、わざわざ遠隔地から現場を監視し、必要なときに遠隔地から提示する必要がなく、遠隔地側の負担を軽減することができる。

圧力センサは、機器、壁、若しくは床などに設置され、そこから事前に設定されたある一定範囲内、若しくは範囲外の圧力があるかどうかを検知する。一定範囲内、若しくは一定範囲外の圧力があった場合、人が存在すると感知し、情報（コンテンツ）が提示される。このように、接近者が現れたときに情報（コンテンツ）が提示されるため、わざわざ遠隔地から現場を監視し、必要なときに遠隔地から提示する必要がなく、遠隔地側の負担を軽減することができる。

また、上述の実施形態の中で示した処理手順に示された指示、及び流れ図の各ステップに示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の実空間情報付加装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の実空間情報付加装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態にかかる実空間情報付加システムのブロック図。 図１の実空間情報付加システムの全体の動作を示すフローチャート。 図２のステップＳ２０５の処理を示すフローチャート。 図２のステップＳ２０７の処理を示すフローチャート。 図４に示した処理での表示部の表示例を示す図。 図４に示した処理での表示部上のＧＵＩ（Graphical User Interface）の遷移を示す図。 図４のステップＳ４０６の処理を示すフローチャート。 図２のステップＳ２０２の処理を示すフローチャート。 図８に示した処理での表示部の表示例を示す図。 図２のステップＳ２０９の処理を示すフローチャート。 図１０に示した処理での表示部の表示例を示す図。 実空間上の実物体とカメラで撮影された物体が表示される射影面との関係を示す図。 表示部の位置指定ウィンドウ内の位置指定と図１２を上方から見た図。 直交座標系であるグローバル座標系と直交座標系であるローカル座標系との関係を示す図。 図２のステップＳ２１１の処理を示すフローチャート。 図１５に示した処理での表示部上のＧＵＩの遷移を示す図。 本発明の第２の実施形態にかかる実空間情報付加システムのブロック図。 図１７のデータベースの内容を示す図。 図１７の実空間情報付加システムの全体の動作を示すフローチャート。 図１９のステップＳ１９０３の処理を示すフローチャート。 図２０に示した処理での表示部上のＧＵＩの遷移を示す図。 図１９のステップＳ１９０１の処理を示すフローチャート。

符号の説明

１００・・・実空間情報付加装置、１０１・・・入力部、１０２・・・入力データ処理部、１０３・・・データベースアクセス部、１０４・・・座標変換部、１０５・・・表示部、１０６・・・画像受信部、１０７・・・制御指令値送信部、１０８・・・情報表示処理部、１０９・・・スピーカー、１２０・・・データベース、１５０・・・画像取得装置、１５１・・・カメラコントローラ、１５２・・・制御指令値受信部、１５３・・・カメラ位置姿勢制御部、１５４・・・現在値取得部、１５５・・・カメラ、１５６・・・画像送信部、５０２・・・位置指定ウィンドウ、５０３・・・仮想オブジェクトリスト、６０１、６０２、６０３・・・ダイアログ、９０１・・・仮想オブジェクト、１１０１・・・コンテンツ、１２０１、１２０６・・・実物体、１２０２、１２０７・・・射影された物体、１２０３、１２０８・・・射影面、１２０５・・・回転軸、１４０１・・・グローバル座標系、１４０２・・・ローカル座標系、１６０１・・・操作選択ダイアログ、１７００・・・実空間情報付加装置、１７０１・・・センサデータ受信部、１７５０・・・画像取得装置、１７５１・・・距離センサ、１７５２、１７５４・・・センサデータ送信部、１７５３・・・温度センサ、１８０１・・・仮想オブジェクト名、１８０２・・・データパス、１８０３・・・仮想オブジェクト位置、１８０４・・・コンテンツ提示位置、１８０５・・・センサ名、１８０６・・・コンテンツ提示条件（上限値）、１８０７・・・コンテンツ提示条件（下限値）、１８０８・・・表示図形形状、１８０９・・・形状パラメータ、２１０１・・・コンテンツ提示条件選択ダイアログ、２１０２・・・センサ選択ダイアログ、２１０３・・・コンテンツ提示条件ダイアログ

Claims (7)

1. 取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を付加し、付加した情報をデータベースで管理する実空間情報付加装置において、
   少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録する登録手段と、
   前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定する判定手段と、
   前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力する第１出力手段と、
   前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換する第１変換手段と、
   前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換する第２変換手段と、
   前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換する第３変換手段を具備することを特徴とする実空間情報付加装置。
2. 前記データベース情報を参照して、前記画面上に表示される図形に付加された情報を画面上に表示させる指示を出力する第２出力手段をさらに具備することを特徴とする請求項１に記載の実空間情報付加装置。
3. 取得現場の環境状況を検出するセンサを備えた場所で取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を付加し、付加した情報をデータベースで管理する実空間情報付加装置において、
   少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録する登録手段と、
   前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定する判定手段と、
   前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力する第１出力手段と、
   前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換する第１変換手段と、
   前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換する第２変換手段と、
   前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換する第３変換手段と、
   前記センサの検出値に応じて、前記データベース情報を参照して、前記画面上に表示される図形に付加された情報を画面上に表示させる指示を出力する第２出力手段を具備することを特徴とする実空間情報付加装置。
4. 取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を付加し、付加した情報をデータベースで管理する実空間情報付加方法において、
   少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録し、
   前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定し、
   前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力し、
   前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換し、
   前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換し、
   前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換することを特徴とする実空間情報付加方法。
5. 前記データベース情報を参照して、前記画面上に表示される図形に付加された情報を画面上に表示させる指示を出力することを特徴とする請求項４に記載の実空間情報付加方法。
6. 取得現場の環境状況を検出するセンサを備えた場所で取得した取得画像を表示した画面をユーザが観察することにより該ユーザが意図した実空間位置又は実空間範囲に情報を付加し、付加した情報をデータベースで管理する実空間情報付加方法において、
   少なくとも、ユーザが意図した実空間位置又は実空間範囲と、付加される情報の保管場所と、前記情報の実空間上の提示位置とをデータベース情報として前記データベースに登録し、
   前記データベース情報を参照して、前記情報が付加された実空間位置が前記取得画像の実空間における取得範囲内にあるか否かを判定し、
   前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記データベース情報を参照して前記画面上に情報が付加された位置又は範囲を示す図形を表示させる指示を出力し、
   前記情報が付加された実空間位置が前記取得範囲内にあると判定された場合に、前記実空間上の座標系での位置を前記画面上の座標系での位置に座標変換し、
   前記取得範囲内にあって前記画面上に表示されている図形のうちの情報が付加された図形が指定された位置であって画面上の座標系での位置を、実空間上の座標系での位置に座標変換し、
   前記情報を表示させる情報位置であって前記画面上で指定された情報位置を、実空間上の座標系での位置に変換し、
   前記センサの検出値に応じて、前記データベース情報を参照して、前記画面上に表示される図形に付加された情報を画面上に表示させる指示を出力することを特徴とする実空間情報付加方法。
7. コンピュータに、請求項４から請求項６のいずれか１項に記載の実空間情報付加方法の各処理を実行させるためのプログラム。

Images