JP2005250734A - ユビキタス環境情報スナップショットデータの生成方法、閲覧方法、生成装置、閲覧装置及びプログラム並びにユビキタス環境情報スナップショットのデータ構造 - Google Patents

Abstract

【課題】 家電機器の操作情報やセンサ情報などの環境情報を写真ファイル内に埋め込むことで画像上に環境情報を視覚化する方式を提案する。これにより直感的な環境情報の取得、管理が実現できる。
【解決手段】 カメラ１ａで機器２を含む環境を撮影して画像データを取得する。機器２に関連付けられたタグ２ｂを画像内で検索し、タグに基づき機器の識別情報と機器の画像内の座標を取得する。機器の識別情報に基づき機器の操作情報及びアドレス情報を含む機器情報をディレクトリサーバ３へ問い合わせる。機器情報を取得し、機器情報に含まれるアドレス情報を参照して機器２の状態提供部２ａに対して作業状態を問い合わせる。画像データに、機器の前記画像内の座標、機器の操作情報とアドレス情報とを含む機器情報、及び、機器の作業状態の情報を含む付加データを付加する。
【選択図】 図１

Description

本発明は、家電機器の操作情報やセンサ情報などの環境情報をu-Photoと呼ばれる写真ファイル内に埋め込むことで環境情報を画像上に視覚化する方式に関する。

近年、コンピュータの小型化とその遍在化により、「いつでもどこでも」ユーザがコンピュータを利用できるユビキタスコンピューティング環境が実現しつつある。ユビキタスコンピューティング環境では、パーソナルコンピュータ（PC）や携帯情報端末（PDA）といったコンピュータに加え、環境内に設置された多くの家電機器やセンサがそれぞれ計算能力とネットワークコネクティビティを備え、ユーザはこれらを利用することができる。
IWAMOTO， T．， NISHIO， N．， TOKUDA， H．， "Wapplet: A Media Access Framework for Wear-able Applications，" The 16th IEEE International Conference on Information Networking， pp．127-137， 2002． FERSCHA， A．， KELLER， M．，"DigiScope: An Invisible Worlds Window，" Adjunct Proceedings， The Fifth International Conference on Ubiqui-tous Computing， pp．261-262， October 2003．

しかし、扱う情報が増えるにつれて、ユーザが各情報を把握することが困難になる。このような環境では、氾濫する情報のなかから必要な情報をどのようにして取得し、管理するかが重要となる。

そこで、本発明は、家電機器の操作情報やセンサ情報などの環境情報をu-Photo と呼ばれる写真ファイル内に埋め込むことで、画像上に環境情報を視覚化する方式を提案する。これにより、直感的な環境情報の取得、管理が実現できる。

この発明に係るユビキタス環境情報スナップショットデータの生成方法は、
機器を含む環境を撮影して画像データを取得するステップと、
前記機器に関連付けられたタグを前記画像内で検索するステップと、
前記タグに基づき前記機器の識別情報と前記機器の前記画像内の座標を取得するステップと、
前記機器の識別情報に基づき前記機器の操作情報及びアドレス情報を含む機器情報を問い合わせるステップと、
前記機器情報を取得するステップと、
前記機器情報に含まれるアドレス情報を参照して前記機器に対して作業状態を問い合わせるステップと、
前記機器の作業状態の情報を取得するステップと、
前記画像データに、前記機器の前記画像内の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含む付加データを付加するステップと、を備えるものである。

この発明に係るユビキタス環境情報スナップショットデータの閲覧方法は、
画像データと、機器の前記画像内の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含み、前記画像データに付加される付加データとを備えるデータを読み込むステップと、
前記画像データに基づき画像を表示するステップと、
前記機器の前記画像内の座標に対応する位置に前記機器のアイコンを配置するステップと、
前記機器の操作情報に基づき前記機器の操作手段を表示するステップと、
前記機器の作業状態の情報に基づき前記機器の作業状態を表示するステップと、
表示された前記機器の操作手段が操作されたときに、前記機器の操作情報とアドレス情報を参照して操作命令を送信するステップと、
前記機器の作業状態の情報が更新されたとき、更新された作業状態の情報に基づき前記機器の作業状態を再表示するステップと、を備えるものである。

この発明に係るユビキタス環境情報スナップショットデータの生成方法は、
環境を撮影して画像データを取得するステップと、
前記環境及び／又は前記環境に含まれる機器に関連付けられたセンサ情報を検索するステップと、
前記センサ情報を取得するステップと、
前記画像データに、前記センサ情報を含む付加データを付加するステップと、を備えるものである。

環境を撮影したときの位置を検出するステップを備え、
前記センサ情報を検索するステップは、検出された位置に基づきセンサ情報を検索するようにしてもよい。

前記環境に含まれる機器に関連付けられたタグを前記画像内で検索するステップと、
前記タグに基づき前記機器の識別情報を取得するステップと、を備え、
前記センサ情報を検索するステップは、前記機器の識別情報に基づきセンサ情報を検索するようにしてもよい。

この発明に係るユビキタス環境情報スナップショットデータの閲覧方法は、
画像データと、環境及び／又は前記環境に含まれる機器に関連付けられるセンサ情報を含み、前記画像データに付加される付加データとを備えるデータを読み込むステップと、
前記画像データに基づき画像を表示するステップと、
前記センサ情報を参照してセンサの値を表示するステップと、
前記センサの値の更新要求を受けたときに、前記センサ情報に基づき前記センサの値の更新命令を送信するステップと、
前記センサの値が更新されたとき、更新されたセンサの値に基づき前記センサの値を再表示するステップと、を備えるものである。

この発明に係るユビキタス環境情報スナップショットデータの生成方法は、
コンテンツを再生中の機器を含む環境を撮影して画像データを取得するステップと、
前記機器に関連付けられたタグを前記画像内で検索するステップと、
前記タグに基づき前記機器の識別情報を取得するステップと、
前記機器の識別情報に基づき前記機器の操作情報及びアドレス情報を含む機器情報を問い合わせるステップと、
前記機器情報に含まれるアドレス情報を参照して前記機器に対して作業状態を問い合わせるステップと、
再生中のコンテンツの情報及び再生位置に関する情報を含む前記機器の作業状態の情報を取得するステップと、
前記画像データに、少なくとも、前記機器の操作情報を含む機器情報と、再生中のコンテンツの情報及び再生位置に関する情報を含む前記機器の作業状態の情報とを含む付加データを付加するステップと、を備えるものである。

この発明に係るユビキタス環境情報スナップショットデータの閲覧方法は、
画像データと、少なくとも、機器の操作情報を含む機器情報と、再生中のコンテンツの情報及び再生位置に関する情報を含む前記機器の作業状態の情報とを含み、前記画像データに付加される付加データとを備えるデータを読み込むステップと、
前記機器情報に基づき利用可能な機器を検索するステップと、
前記機器の操作情報に基づき前記機器の操作手段を表示するステップと、
前記機器の作業状態の情報に基づき前記機器の作業状態を表示するステップと、
検索された利用可能な機器に対して、再生中のコンテンツの情報及び再生位置に関する情報を含む操作命令を送出するステップと、を備えるものである。

この発明に係るユビキタス環境情報スナップショットデータの生成装置は、
撮影手段と、
前記撮影手段で機器を含む環境を撮影することにより取得した画像内において前記機器に関連付けられたタグを検索し、前記タグに基づき前記機器の識別情報と前記画像内の前記機器の座標を取得する機器識別情報取得部と、
前記機器の識別情報に基づき前記機器の操作情報及びアドレス情報を含む機器情報を取得する機器情報取得部と、
前記機器情報に含まれるアドレス情報を参照して前記機器に対して作業状態を問い合わせることにより前記機器の作業状態の情報を取得する機器状態取得部と、
前記画像データに、前記画像内の前記機器の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含む付加データを付加するユビキタス環境情報スナップショットデータ生成部とを備えるものである。

さらに、撮影時の自己の位置を検出する位置検出部と、
前記位置検出部の出力に基づき環境に設置されたセンサの情報を取得するセンサ情報取得部とを備えるようにしてもよい。

この発明に係るユビキタス環境情報スナップショットデータの閲覧装置は、
表示装置と、
入力装置と、
画像データと、画像内の機器の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含み、前記画像データに付加される付加データとを備えるデータを読み込み、付加されたデータを解析する解析部と、
前記画像データに基づき前記表示装置に画像を表示する画像表示部と、
前記機器の機器情報を参照して、前記画像内の前記機器の座標に対応する位置に前記機器のアイコンを配置するアイコン配置部と、
前記機器の操作情報に基づき前記機器の操作手段を表示する操作手段生成部と、
前記機器の作業状態の情報に基づき前記機器の作業状態を表示する作業状態表示部と、
前記入力装置を通じて前記機器の操作手段が操作されたとき、前記機器の操作情報とアドレス情報を参照して操作命令を送信する操作命令生成部と、を備えるものである。

本発明に係るデータ構造は、
機器を含む環境を撮影手段で撮影することにより取得した画像データと、
画像内の前記機器の座標と、前記機器の操作情報及びアドレス情報を含む機器情報と、前記機器の作業状態の情報とを含み、前記画像データに付加される付加データとを備えることを特徴とするものである。

本発明に係るデータ構造は、
環境を撮影手段で撮影することにより取得した画像データと、
前記環境及び／又は前記環境に含まれる機器に関連付けられたセンサ情報を含み、前記画像データに付加される付加データとを備えることを特徴とするものである。

この発明は、上記いずれかの方法をコンピュータに実行させるためのプログラムに関する。
この発明に係るプログラムは、例えば、記録媒体に記録される。
媒体には、例えば、ＥＰＲＯＭデバイス、フラッシュメモリデバイス、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。

また、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等の通信媒体を含む。インターネットもここでいう通信媒体に含まれる。

媒体とは、何等かの物理的手段により情報（主にデジタルデータ、プログラム）が記録されているものであって、コンピュータ、専用プロセッサ等の処理装置に所定の機能を行わせることができるものである。

本発明によれば、家電機器の操作情報やセンサ情報などの環境情報をJPEGなどの画像データに付加するようにしたので、画像上に環境情報を視覚化することができる。これにより、直感的な環境情報の取得、操作及び管理が実現できる。

本発明の特徴は、家電機器の操作情報やセンサ情報などの環境情報を画像データに付加した点にある。例えば、JPEGの画像データに環境情報を記述したXMLデータを埋め込んだものである。以下の説明において、本発明に係る家電などの機器（デバイスと表記することがある）の操作情報やセンサ情報などの環境情報を画像データに付加したデータ（ファイルと表記することがある）を、「u-Photo」と名付けることにする。「u-Photo」は発明者らによる造語である。以下、「u-Photo」の機能要件について説明する。

（１）u-Photoの機能要件
u-Photo によって実現すべき事柄を三点挙げ、それらについて説明する。

（１−１）直感的な家電などの機器操作
写真と、写真に写っている環境情報をスコープとしてまとめることで、直感的な情報取得の実現を目指す。特に、家電機器を撮影した場合、ユーザが画像中の家電機器をクリックすることで、その家電機器についての情報取得や機器操作の実現を目指す。

（１−２）撮影時の環境側の状態記録
写真は、撮影対象の撮影時刻の視覚的な状態を保存したものであるため、家電機器の状態やセンサ情報のタイムスタンプをともに保存するのに適している。したがって、撮影時の家電機器の状態や、センサ情報の状態を保存して、のちにその状態を参照できることを目指す。また、保存された家電機器の状態情報を利用して、のちに撮影時の機器の状態を別の家電機器上で再現する"サービス再現"の実現を目指す。

（１−３）保存、携帯
u-Photo をファイルとして保存し、別環境にコピーして利用したり、他のユーザと共有して利用できることを目指す。

（２）以上の機能を実現するためのu-Photo Creatorが備える機能

（２−１）u-Photo 生成機能
u-Photoのカメラのシャッターを押すと、フォーカスした範囲の環境情報を取得して画像に埋め込み、u-Photoを生成する。

（２−２）通信機能（ネットワークコネクティビティ）
環境側に設置されたディレクトリサーバやデバイス、センサにネットワークを介して接続することができる。

（２−３）デバイスの認識機能
撮影時に、写っている各デバイスを画像解析もしくは専用タグリーダによって認識し、デバイスのID とその画像中の位置を特定することができる。特定したID の情報をもとに、ディレクトリサービスと通信して、デバイスの操作情報やデバイスの周囲にあるセンサの情報を取得する。

（２−４）u-Photo 表示機能
u-Photo ファイル内に記述されたデバイス情報やサービス情報、センサ情報を実際の画像にマッピングして表示する機能とデバイス用GUIやセンサ用GUIを生成し表示する。

（２−５）デバイスやセンサの操作機能
GUIを介して実際のデバイスと通信し、操作コマンドを送る。また、環境内に設置された温度センサや音量センサなどのセンサと通信し、現在のセンサ値を取得する。本機能により、遠隔地からでもu-Photoを利用してデバイスを操作したり、撮影場所の現在のセンサ値を取得することができる。

（２−６）サービスの再現機能
家電機器を撮影した際、撮影時の家電機器の状態をデジタル写真内に保存して後に参照できる。また保存した家電機器の状態を別の家電機器に割り当ててサービス再現をすることができる。 例 ）ビデオ再生中のディスプレイを撮影し、別のディスプレイあてにサービス再現すると、同じビデオを撮影時点での再生箇所からそのディスプレイ上で再生できる。（発明の実施の形態３を参照）

写真ファイルにデバイス情報などを埋め込む利点として次の二つが挙げられる。
・画像をクリックすることで、実際のデバイスやセンサと通信することができるため、ユーザは直感的に作業を行うことができる。
・画像ファイルとして保存されているため、管理や他人への配布が容易である。

発明の実施の形態１．
発明の実施の形態１について図面を参照して説明する。
前述したように、u-Photo は、画像ファイル形式であるJPEGに画像内の機器の操作コマンドやセンサ情報取得コマンド、撮影時の機器の状態とセンサ情報を記したXMLファイルを埋め込んだファイルである。u-Photo は写真撮影時に、カメラそのものあるいはカメラに有線又は無線でつながった端末上のu-Photo Creator システムによって生成される。u-Photo Creator システムの説明図を図１乃至図７に示す。

図１はu-Photo Creatorを含むシステム全体を示す。
図２はu-Photoの生成方法を示すフローチャートである。
図３はu-Photoの閲覧方法を示すフローチャートである。
図４はu-Photo Creator のブロック図を示す。
図５はu-Photo閲覧装置のブロック図を示す。
図６（ａ）はu-Photo Creatorで撮影した環境画像の例を示し、図６（ｂ）はu-Photo閲覧装置で表示されるu-Photoの画面の例を示す。
図７はu-Photoのデータ構造の例を示す（埋め込まれるデータのみを示し、画像データの表示は省略している）。

以上の図面を参照してu-Photo Creator システムについて詳細な説明を加える。

図１において、１はu-Photo ファイルを生成するためのu-Photo Creatorである。u-Photo Creator１は環境の画像データを取得するための撮影手段１ａを備える。u-Photo Creator１はＰＤＡにより実現可能である。撮影手段１ａは典型的にはＣＣＤ撮像素子を備えるカメラであるが、これ以外のものであっても環境の画像データを取得できるものであれば利用可能である。環境とは、u-Photo Creator１で撮影可能な周囲という程度の意味である。u-Photo Creator１は図示しない無線又は有線通信手段を備え、環境に存在する機器２やディレクトリサーバ３と通信可能である。図１において、点線の領域１００はu-Photo Creator１で通信可能な範囲を示す。

２は環境に存在する各種の機器（エアコンやテレビのような家電機器、パソコンやプリンタのようなＯＡ機器、など）である。発明の実施の形態１に係るu-Photo Creator１の処理の対象となる機器は、自己の状態の情報を提供する状態提供部２ａと画像認識用タグ２ｂとを備えるものである。機器２も図示しない無線又は有線通信手段を備える。状態提供部２ａは、u-Photo Creator１から問い合わせを受けて、機器の状態、作業の内容、これらを制御するための情報などを含む作業状態をu-Photo Creator１へ送る。画像認識用タグ２ｂは画像内にある機器を検索するために使用されるものであって、機器上又は機器の近傍に設けられたLED タグや二次元バーコードといったID 認識可能なタグである。画像認識用タグ２ｂに基づき機器２のID と機器２の画像中の座標が画像解析によって取得される。

画像認識用タグ２ｂとして以下のものを使用することができる。

（１）LED タグ
各機器にLED 点滅タグを取り付ける。機器ごとにその色や点滅パターンを変えておく。画像解析によってその色や点滅パターンを照合し、機器ＩＤ（デバイスIDと表現することがある）、画像中の位置を特定する。

（２）バーコード、二次元バーコード
各機器に二次元バーコードを取り付ける。その中にデバイスＩＤを含ませておく。画像解析によって二次元バーコードを読み込み、デバイスID 、画像中の位置を特定する。

（３）RF タグ
各機器にRF(Radio Frequency)タグを取り付ける。ＲＦタグにはデバイスのＩＤを記憶させておく。u-Photo カメラ内の図示しないRF タグリーダによってタグID を検知し、デバイスID を特定する。

（４）赤外線発信タグ
各機器に赤外線発信タグを取り付ける。赤外線発信タグはデバイスのＩＤを発信する。u-Photo カメラ内の図示しない赤外線受信機によってタグID を検知し、デバイスID を特定する。

なお、機器の外形を画像解析して機器のＩＤと画像中の座標を直接求めるようにしてもよい。この場合、各機器にタグを設ける必要はない。

３はディレクトリサーバである。ディレクトリサーバ３は、u-Photo Creator１から問い合わせを受けて、対応する機器情報（機器名、機器の種類、機器の操作情報、機器の情報提供部のアドレスなどを含む）を返すサーバである。その機器情報データベース３ｂには環境内の機器の情報が予め記憶されている。機器情報提供部２ａはu-Photo Creator１から機器ＩＤを受け、これに基づき機器情報データベース３ｂを検索し、対応する機器情報をu-Photo Creator１へ送信する。ディレクトリサーバ３は、図示しない無線又は有線通信手段を備え、u-Photo Creator１と通信可能である。

なお、図１においてＳはひとつの機器２の少なくとも画像認識用タグ２ｂ部分を覆う遮蔽物である。遮蔽物Ｓのために当該機器２はu-Photo Creator１で認識することができない。このことを使えば、環境に多数の機器が存在しても必要なもののみを選択してu-Photoを生成することが簡単に行える。機器の登録／非登録を、画像認識用タグ２ｂを見えなくするという簡単で直感的なやり方で自由に行える。このこともu-Photoの特徴である。無線通信可能な機器の全てが登録されて操作が煩雑になることがない。

図２はu-Photoの生成方法を示すフローチャートである。図２において、Ｓ１乃至Ｓ８、Ｓ１１、Ｓ１２はu-Photo Creator１の処理、Ｓ５及びＳ６はディレクトリサーバ３の処理、Ｓ９及びＳ１０は機器２の処理である。

カメラ１ａで機器２を含む環境の写真を撮影し、画像データを得る（Ｓ１）。画像の例を図６（ａ）に示す。この例はテーブルの上にプリンタが２台（ＰＲＮ１，ＰＲＮ２）とパソコン（ＰＣ１）が置かれている例を示す。２台のプリンタ（ＰＲＮ１，ＰＲＮ２）とパソコン（ＰＣ１）はいずれも画像認識用タグ（２ｂ−ＰＲＮ１，２ｂ−ＰＲＮ２，ＰＣ１−２ｂ）を備えるので、これらについてu-Photoファイルを作成することができる。カメラ１ａで撮影された写真には画像認識用タグ２ｂも含まれる。画像データ内を検索し、画像認識用タグ２ｂを発見する（Ｓ２）。画像認識用タグ２ｂを発見したら、これから機器のＩＤと、画像認識用タグ２ｂの画像中の座標を取得する（Ｓ３）。ディレクトリサーバ３へ機器情報を問い合わせる（Ｓ４）。問い合わせには機器ＩＤを含める。ディレクトリサーバ３で機器ＩＤに基づき機器情報を検索する（Ｓ５）。検索した機器情報をu-Photo Creator１へ送る（Ｓ６）。機器情報には、機器名、機器の種類、機器の操作情報、機器の情報提供部のアドレスが含まれる（図７参照）。

機器情報を受信したら（Ｓ７）、機器の情報提供部のアドレス宛てに現在の作業状態を問い合わせる（Ｓ９）。問い合わせを受けた機器は現在の作業状態を回答する（Ｓ１０，Ｓ１１）。作業状態には、機器の状態（ＯＮ／ＯＦＦ、使用可能／不能など）、作業の内容（照明、印刷、ビデオの再生など）、これらを制御するための情報が含まれる。

作業状態の回答を受信したらu-Photoファイルを生成するに必要な情報、つまり環境の画像データ、機器ＩＤ、その座標、機器情報、作業状態が揃う（Ｓ１１）。これらの情報をまとめ画像内に埋め込むことによりu-Photoファイルを生成する（Ｓ１２）。

こうして生成されたu-PhotoファイルはＰＤＡで閲覧することもできるし、メールに添付して送付することもできる。u-Photoファイルを閲覧できる装置を用いて、ネットワークを通じて遠方から各種機器を操作したり、機器の状態を監視することができる。

図３はu-Photoの閲覧方法を示すフローチャートである。Ｓ２０乃至Ｓ２６、Ｓ３０はu-Photo閲覧装置（例えばＰＤＡ）の処理、Ｓ２７乃至Ｓ２９は機器２の処理である。

u-Photoファイルを開いて解析する（Ｓ２０，Ｓ２１）。u-Photoファイルから、環境の画像データとともに、機器ＩＤ、その座標、機器情報、作業状態を取得できる。画像を表示し（Ｓ２２）、座標に従い機器の位置にアイコンを配置する（Ｓ２３）。機器情報に従い機器のＯＮ／ＯＦＦなどの操作手段を表示する（Ｓ２４）。u-Photoファイル内の作業状態情報に従い作業状態を表示する（Ｓ２５）。ここで表示される画面の例を図６（ｂ）に示す。画像識別タグ２ｂの近くにアイコン（ＩＣＯＮ１〜３）が表示され、その近くに操作手段（ＳＷ１〜ＳＷ３）が表示される。さらに、作業状態を示すコメントボックス（ＢＯＸ１〜３）も表示されている。操作手段にカーソルを合わせてクリックすることにより、機器のＯＮ／ＯＦＦを制御できる。なお、図６（ｂ）は一例を示すに過ぎない。例えば、操作手段（ＳＷ１〜ＳＷ３）やコメントボックス（ＢＯＸ１〜３）を常時表示するのではなく、必要に応じて表示するようにしてもよい。ユーザにより操作手段が操作されると、操作命令を生成して機器２へ送信する（Ｓ２６）。

制御命令を受けて機器２は機器を制御する（Ｓ２８、Ｓ２９）。その結果作業状態が変化したら、作業状態をu-Photo閲覧装置へ送る（Ｓ３０）。これを受けて作業状態を更新する（Ｓ２５）。

図４はu-Photo Creator のブロック図を示す。図４において、１１は機器ID 取得部である。写真を撮影すると、まず機器ID 取得部１１が撮影した画像内にある機器を検索する。撮影する各家電機器上にはLED タグや二次元バーコードといったID 認識可能なタグをとりつけておき、機器のID と機器の画像中の座標が画像解析によって取得される。取得されたID 情報は機器情報取得部へ渡される。

１２は機器情報取得部である。機器情報取得部１２は、機器ID 取得部１１から渡されたID をもとに、ディレクトリサーバ３へ機器の情報を問い合わせる。ディレクトリサーバ３には、機器名、機器の種類、機器の操作情報、機器の状態提供部のアドレスが登録されており、機器のID をもとにこれらが取得される。取得された機器の状態提供部のアドレスが機器状態取得部１３に渡される。

１３は機器状態取得部である。機器状態取得部１３は、機器情報取得部１２から渡されたアドレスあてに、現在の作業状態を問い合わせる。作業状態は、例えばライトのON 、OFF 情報や、ビデオ再生のコンテンツ名、再生時間などを指す。

１４はu-Photo 生成部である。u-Photo 生成部１４は上記の各部で取得された情報をまとめてXML 形式で保存し、撮影したJPEG 画像内に埋め込む。

図５はu-Photo閲覧装置（u-Photo Viewer）のブロック図を示す。生成したu-Photo ファイルは、u-Photo Viewer で開くことができる。u-Photo Viewer はu-Photo に埋め込まれた付加情報を解析し、それをもとに画像中の機器の座標に操作用のアイコンを配置したり、センサ情報を表示する。

４はu-Photo閲覧装置本体、４ａは表示装置、４ｂは入力装置（キーボード、マウス等のほかにパッドなど）である。例えば、ＰＤＡであればこれらが一体構成されている。

４１はu-Photoファイルを開いて解析するu-Photo解析部である。
４２は画像を表示する画像表示部である。
４３は座標に従い機器の位置にアイコンを配置するアイコン配置部である。
４４は機器情報に従い機器のＯＮ／ＯＦＦなどの操作手段を表示する操作手段生成部である。
４５はu-Photoファイル内の作業状態情報に従い作業状態を表示する機器の作業状態表示部である。
４６はユーザにより操作手段が操作されたとき、操作命令を生成して機器２へ送信する操作命令生成部である。

本発明の実施の形態１によれば、家電機器の操作情報などの環境情報をu-Photo と呼ばれる写真ファイル内に埋め込むことで、画像上に環境情報を視覚化することができる。これにより、直感的な環境情報の取得、管理が実現できる。

扱う機器が増えてもユーザは容易に多くの機器情報のなかから必要な情報のみを取得し、管理することができる。本発明の実施の形態１によれば、ユーザが各情報を容易に把握することができるようになるのである。

u-Photoを利用して例えば次のようなことができる。

（１）ライト制御
u-Photo を使った単純な機器制御である。u-Photo Creator上でライトを撮影し、u-Photo閲覧装置の画面中のライト操作手段をクリックしてライト制御を行う。

（２）u-Photo へのファイルのドラッグアンドドロップによる印刷
u-Photo を使った直感的な機器制御である。ドキュメントファイルのアイコンをu-Photo 画像中のプリンタアイコン（図６（ｂ）のICON1、ICON2）へドラッグアンドドロップすることにより、当該プリンタに印刷を実行させる。

（３）アクセスコントロール
u-Photoで扉の開閉を行うようにしておき、u-Photoを関係者にのみ配布するようにすれば、当該関係者のみにアクセスを許すことができる。機器の使用についても同様である。また、u-Photo で家電操作をする際のユーザ認証などのセキュリティ機能を持たせることもできる。

発明の実施の形態２．
発明の実施の形態１は機器の制御・状態監視に関するものであった。発明の実施の形態２は環境の情報（温度、湿度など）の監視に関するものである。機器の制御を直接行う場合と比べてセンサの座標情報の重要性は低く、座標の情報を省くことも可能である。

図８は発明の実施の形態２に係るu-Photo Creatorを含むシステム全体を示す。
図９は発明の実施の形態２に係るu-Photoの生成方法及び閲覧方法を示すフローチャートである。
図１０は発明の実施の形態２に係るu-Photo Creator のブロック図を示す。
図１１は発明の実施の形態２に係るu-Photo閲覧装置のブロック図を示す。
図１２（ａ）は発明の実施の形態２に係るu-Photo Creatorで撮影した環境画像の例を示し、図１２（ｂ）は同じくu-Photo閲覧装置で表示されるu-Photoの画面の例を示す。
図１３は発明の実施の形態２に係るu-Photoのデータ構造の例を示す（埋め込まれるデータのみを示し、画像データの表示は省略している）。

以上の図面を参照して発明の実施の形態２に係るu-Photo Creator システムについて詳細な説明を加える。

図８は発明の実施の形態２に係るu-Photo Creatorを含むシステム全体を示す。この図は図１に対応するものである。これらの図において共通又は相当する要素は同じ符号を付し、その説明は省略する。u-Photo Creator１は自分の位置を検出するための位置検出部１ｂを備える。センサの座標情報を省く代わりに自分の位置を検出し、関係のあるセンサの情報のみを取得するためである。ただし、以下で説明する処理とは別に、センサの部屋の中での位置座標を取得するための機構は必要になってくるので、例えば超音波タグなどを用いてセンサの位置情報を用意したり、タグをつかわずに手動で全部のセンサの座標をサーバに登録しておく、といった作業が必要になる。

５はu-Photo Creator１の近くに配置されたセンサ（情報収集対象）である。各センサ５は温度や湿度などのセンサの情報を送信するセンサ情報提供部５ａを備えている。センサ５は、図示しない無線又は有線通信手段を備え、ディレクトリサーバ３と通信可能である。

ディレクトリサーバ３は機器情報提供部３ａ，機器情報データベース３ｂに代えて／これらとともにセンサ情報提供部３ｃと、センサ情報データベースとを備える。センサ情報データベース３ｄには環境内のセンサの情報が予め記憶されている。センサ情報提供部３ｃはu-Photo Creator１から位置情報及び／又は画像中の機器２の機器ＩＤを受け、これに基づきセンサ情報データベース３ｄを検索し、対応するセンサ情報をu-Photo Creator１へ送信する。

図９は発明の実施の形態２に係るu-Photoの生成方法及び閲覧方法を示すフローチャートである。図９において、Ｓ４０乃至Ｓ４５はu-Photoの生成処理を示し、Ｓ５０乃至Ｓ５６はu-Photoの閲覧処理を示し、Ｓ６０乃至Ｓ６２はセンサ５とディレクトリサービスサーバ３の間の送受信処理を示す。

カメラ１ａで機器２を含む環境の写真を撮影し、画像データを得る（Ｓ４０）。画像の例を図１２（ａ）に示す。この例はテーブルの上に１台のパソコン（ＰＣ１）が置かれている例を示す。パソコン（ＰＣ１）は画像認識用タグ（ＰＣ１−２ｂ）を備えるので、この座標情報を取得することができるとともに、これに関連付けられたセンサ情報を取得することができる（ＢＯＸ４に示された照度や音量など）。画像認識用タグ２ｂに関する処理は発明の実施の形態１の場合と同様である。センサ情報問い合わせのための情報を生成する（Ｓ４１）。

センサ情報を取得するための問い合わせのやり方は例えば次のようなものである。
・u-Photo Creatorで撮影時に自分の位置を検出し、その位置周辺にあるセンサの情報をサーバから取得する。センサの情報は画像の特定の位置ではなく、「この部屋の温度」のように表示される。
・デバイスのIDをキーに、サーバから当該デバイスの周囲あるいは当該デバイスが設置された部屋にあるセンサの情報を取得する。この場合、少なくとも１つのデバイスが認識される必要がある。センサの情報はデバイスの近くに表示される。

u-Photo Creator１から問い合わせをうけ、ディレクトリサーバ３は、例えばu-Photo Creatorの位置検出部１ｂによる位置情報及び／又は機器ＩＤに基づきセンサ情報を検索する（Ｓ４２）。検索したセンサ情報をu-Photo Creator１へ送る（Ｓ４３）。センサ情報には、センサ名、センサの種類、センサの値が含まれる（図１３参照）。

センサ情報を受信したら（Ｓ４４）、u-Photoファイルを生成するに必要な情報、すなわち画像データ、センサ情報をまとめ画像内に埋め込むことによりu-Photoファイルを生成する（Ｓ４５）。

こうして生成されたu-PhotoファイルはＰＤＡで閲覧することもできるし、メールに添付して送付することもできる。u-Photoファイルを閲覧できる装置を用いて、ネットワークを通じて遠方から各種センサを監視することができる。

u-Photo閲覧装置では、u-Photoファイルを開いて解析する（Ｓ５０）。u-Photoファイルから、環境の画像データとともにセンサ情報を取得できる。画像とともにセンサ情報を表示する（Ｓ５１）。ここで表示される画面の例を図１２（ｂ）に示す。画像識別タグ２ｂの近くにセンサによる情報（ＢＯＸ４）が表示される。また、画像中の任意の位置にこの環境のセンサ値を示す情報（ＢＯＸ４）が表示される。さらに、センサ値を更新するための操作手段（ＳＷ４）も表示される。

操作手段（ＳＷ４）が操作されると、u-Photo閲覧装置はディレクトリサーバに対してセンサ情報の更新要求を出す（Ｓ５２）。これを受けてセンサ情報を検索し、u-Photo閲覧装置へ返す（Ｓ５３，Ｓ５４）。センサ情報を受信したら、センサ情報を再表示する（Ｓ５５，Ｓ５６）。

なお、センサからディレクトリサーバへは適宜センサ値が送られていて、センサ情報データベースの内容は常に最新のものに更新されている（Ｓ６０乃至Ｓ６２）。

図１０はu-Photo Creator のブロック図を示す。この図は図４に対応するものである。これらの図において共通又は相当する要素は同じ符号を付し、その説明は省略する。

１５は環境に設置されたセンサの情報をディレクトリサーバ３から取得するセンサ情報取得部である。センサ情報取得部１５には、u-Photo Creator１の位置を検出する位置検出部１ｂが接続されている。この位置情報はディレクトリサーバへの問い合わせ（前述のＳ４１）の際に使用される。

図１１はu-Photo閲覧装置４のブロック図を示す。この図は図５に対応するものである。これらの図において共通又は相当する要素は同じ符号を付し、その説明は省略する。

４７はセンサ値更新命令（前述のＳ５２）を発生するセンサ値更新命令発生部である。

なお、以上の説明はセンサ情報をディレクトリサービスサーバから取得するものであった。これに代えて／これとともに、u-Photo Creator及び／又はu-Photo閲覧装置から直接センサに問い合わせ、直接センサ値を受けるようにしてもよい。このようにした場合の図面を図１４及び図１５に示す。

図１４は発明の実施の形態２の変形例に係るu-Photo Creatorを含むシステム全体を示す。
図１５は発明の実施の形態２の変形例に係るu-Photoの生成方法及び閲覧方法を示すフローチャートである。
これらの説明は割愛する。

なお、U-Photoファイルは転送可能であるので遠方から機器を制御したり、センサの情報を取得できる。この概念を図１６に示す。図１６において、１０１はインターネット等のコンピュータ通信ネットワークである。

発明の実施の形態３．
コンテンツの視聴を中断したときu-Photo を使えば、異なる場所でコンテンツを中断した個所から視聴を再開することができる。例えば、ビデオサービスの再現が可能である。本例では、u-Photo を使ったサービス再現として、ビデオサービスの別環境での再現を行う。ビデオ再生中のディスプレイを撮影すると、u-Photo 内に再生中のビデオのコンテンツとタイムコードが記録される。生成したu-Photo をu-Photo 閲覧装置で開きディスプレイをクリックして「サービス再現」メニューを選択すると、同じビデオを撮影時の続きから別のディスプレイで再生することができる。ビデオ再現時のサービスコンポーネント移送には、Wappletフレームワーク（非特許文献１参照されたい）を利用できる。

図１７は発明の実施の形態３に係るu-Photoの生成方法及び閲覧方法を示すフローチャートである。

図１７の処理のうち発明の実施の形態３に特徴的な部分について説明する。
図２のu-Photo Creatorの処理の後、機器からコンテンツ情報（ＵＲＬ等のアドレス情報を含む）と当該コンテンツの再生タイムカウンタとを含む作業状態の回答を受信する（Ｓ１３）。当該作業状態の情報を画像に埋め込み、u-Photoファイルを生成する（Ｓ１４）。
u-Photo閲覧装置で利用可能な機器を検索する（Ｓ２４ａ）。u-Photoファイルを生成した場所と同じであれば同じ機器を使用することができる。別の場所であれば、その周囲に存在する機器から利用可能なものを選択する。以下、発明の実施の形態１の場合と同様に機器を制御する（Ｓ２５乃至Ｓ３０）。制御命令はコンテンツ情報（ＵＲＬ等のアドレス情報を含む）と当該コンテンツの再生タイムカウンタを含んでいる。

以上、環境情報を画像ファイルにu-Photo として埋め込むことで、直感的な家電機器の操作や、センサ情報の取得、サービスの再現を実現する方式について述べた。本発明に関連する研究としては、DigiScope（非特許文献２があげられる。DigiScopeでは、スコープを向けた場所の環境情報をスコープ上に表示することができる。しかし、ファイルとして保存して参照することはできない。

本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

また、本明細書において、部とは必ずしも物理的手段を意味するものではなく、各部の機能が、ソフトウェアによって実現される場合も包含する。さらに、一つの部の機能が、二つ以上の物理的手段により実現されても、若しくは、二つ以上の部の機能が、一つの物理的手段により実現されてもよい。

発明の実施の形態１に係るu-Photo Creatorを含むシステム全体を示す。 発明の実施の形態１に係るu-Photoの生成方法を示すフローチャートである。 発明の実施の形態１に係るu-Photoの閲覧方法を示すフローチャートである。 発明の実施の形態１に係るu-Photo Creator のブロック図を示す。 発明の実施の形態１に係るu-Photo閲覧装置のブロック図を示す。 図６（ａ）はu-Photo Creatorで撮影した環境画像の例を示し、図６（ｂ）はu-Photo閲覧装置で表示されるu-Photoの画面の例を示す。 発明の実施の形態１に係るu-Photoのデータ構造の例を示す（埋め込まれるデータのみを示し、画像データの表示は省略している）。 発明の実施の形態２に係るu-Photo Creatorを含むシステム全体を示す。 発明の実施の形態２に係るu-Photoの生成方法及び閲覧方法を示すフローチャートである。 発明の実施の形態２に係るu-Photo Creator のブロック図を示す。 発明の実施の形態２に係るu-Photo閲覧装置のブロック図を示す。 図１２（ａ）は発明の実施の形態２に係るu-Photo Creatorで撮影した環境画像の例を示し、図１２（ｂ）は同じくu-Photo閲覧装置で表示されるu-Photoの画面の例を示す。 発明の実施の形態２に係るu-Photoのデータ構造の例を示す（埋め込まれるデータのみを示し、画像データの表示は省略している）。 発明の実施の形態２の変形例に係るu-Photo Creatorを含むシステム全体を示す。 発明の実施の形態２の変形例に係るu-Photoの生成方法及び閲覧方法を示すフローチャートである。 これらの説明は割愛する。 U-Photoファイルを使って遠方から機器を制御したり、センサの情報を取得するときのシステムを示す。 発明の実施の形態３に係るu-Photoの生成方法及び閲覧方法を示すフローチャートである。

符号の説明

１ u-Photo Creator（u-Photo生成装置）
１１ 機器ＩＤ取得部
１２ 機器情報取得部
１３ 機器状態取得部
１４ u-Photo生成部
１５ センサ情報取得部
１ａ 撮影手段（カメラ）
１ｂ 位置検出部
２ 機器（制御対象）
２ａ 状態提供部
２ｂ 画像認識用タグ
３ ディレクトリサービスサーバ
３ａ 機器情報提供部
３ｂ 機器情報データベース
３ｃ センサ情報提供部
３ｄ センサ情報データベース
４ u-Photo閲覧装置
４ａ 表示装置
４ｂ 入力装置
４１ u-Photo解析部
４２ 画像表示部
４３ アイコン配置部
４４ 操作手段生成部
４５ 機器の作業状態表示部
４６ 操作命令生成部
４７ センサ値更新命令発生部
５ センサ（情報収集対象）
５ａ センサ情報提供部
１００ 通信可能範囲
１０１ コンピュータ通信ネットワーク
Ｓ 遮蔽物

Claims (19)

1. 機器を含む環境を撮影して画像データを取得するステップと、
   前記機器に関連付けられたタグを前記画像内で検索するステップと、
   前記タグに基づき前記機器の識別情報と前記機器の前記画像内の座標を取得するステップと、
   前記機器の識別情報に基づき前記機器の操作情報及びアドレス情報を含む機器情報を問い合わせるステップと、
   前記機器情報を取得するステップと、
   前記機器情報に含まれるアドレス情報を参照して前記機器に対して作業状態を問い合わせるステップと、
   前記機器の作業状態の情報を取得するステップと、
   前記画像データに、前記機器の前記画像内の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含む付加データを付加するステップと、を備えるユビキタス環境情報スナップショットデータの生成方法。
2. 画像データと、機器の前記画像内の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含み、前記画像データに付加される付加データとを備えるデータを読み込むステップと、
   前記画像データに基づき画像を表示するステップと、
   前記機器の前記画像内の座標に対応する位置に前記機器のアイコンを配置するステップと、
   前記機器の操作情報に基づき前記機器の操作手段を表示するステップと、
   前記機器の作業状態の情報に基づき前記機器の作業状態を表示するステップと、
   表示された前記機器の操作手段が操作されたときに、前記機器の操作情報とアドレス情報を参照して操作命令を送信するステップと、
   前記機器の作業状態の情報が更新されたとき、更新された作業状態の情報に基づき前記機器の作業状態を再表示するステップと、を備えるユビキタス環境情報スナップショットデータの閲覧方法。
3. 環境を撮影して画像データを取得するステップと、
   前記環境及び／又は前記環境に含まれる機器に関連付けられたセンサ情報を検索するステップと、
   前記センサ情報を取得するステップと、
   前記画像データに、前記センサ情報を含む付加データを付加するステップと、を備えるユビキタス環境情報スナップショットデータの生成方法。
4. 環境を撮影したときの位置を検出するステップを備え、
   前記センサ情報を検索するステップは、検出された位置に基づきセンサ情報を検索する、ことを特徴とする請求項３記載のユビキタス環境情報スナップショットデータの生成方法。
5. 前記環境に含まれる機器に関連付けられたタグを前記画像内で検索するステップと、
   前記タグに基づき前記機器の識別情報を取得するステップと、を備え、
   前記センサ情報を検索するステップは、前記機器の識別情報に基づきセンサ情報を検索する、ことを特徴とする請求項３記載のユビキタス環境情報スナップショットデータの生成方法。
6. 画像データと、環境及び／又は前記環境に含まれる機器に関連付けられるセンサ情報を含み、前記画像データに付加される付加データとを備えるデータを読み込むステップと、
   前記画像データに基づき画像を表示するステップと、
   前記センサ情報を参照してセンサの値を表示するステップと、
   前記センサの値の更新要求を受けたときに、前記センサ情報に基づき前記センサの値の更新命令を送信するステップと、
   前記センサの値が更新されたとき、更新されたセンサの値に基づき前記センサの値を再表示するステップと、を備えるユビキタス環境情報スナップショットデータの閲覧方法。
7. コンテンツを再生中の機器を含む環境を撮影して画像データを取得するステップと、
   前記機器に関連付けられたタグを前記画像内で検索するステップと、
   前記タグに基づき前記機器の識別情報を取得するステップと、
   前記機器の識別情報に基づき前記機器の操作情報及びアドレス情報を含む機器情報を問い合わせるステップと、
   前記機器情報に含まれるアドレス情報を参照して前記機器に対して作業状態を問い合わせるステップと、
   再生中のコンテンツの情報及び再生位置に関する情報を含む前記機器の作業状態の情報を取得するステップと、
   前記画像データに、少なくとも、前記機器の操作情報を含む機器情報と、再生中のコンテンツの情報及び再生位置に関する情報を含む前記機器の作業状態の情報とを含む付加データを付加するステップと、を備えるユビキタス環境情報スナップショットデータの生成方法。
8. 画像データと、少なくとも、機器の操作情報を含む機器情報と、再生中のコンテンツの情報及び再生位置に関する情報を含む前記機器の作業状態の情報とを含み、前記画像データに付加される付加データとを備えるデータを読み込むステップと、
   前記機器情報に基づき利用可能な機器を検索するステップと、
   前記機器の操作情報に基づき前記機器の操作手段を表示するステップと、
   前記機器の作業状態の情報に基づき前記機器の作業状態を表示するステップと、
   検索された利用可能な機器に対して、再生中のコンテンツの情報及び再生位置に関する情報を含む操作命令を送出するステップと、を備えるユビキタス環境情報スナップショットデータの閲覧方法。
9. 撮影手段と、
   前記撮影手段で機器を含む環境を撮影することにより取得した画像内において前記機器に関連付けられたタグを検索し、前記タグに基づき前記機器の識別情報と前記画像内の前記機器の座標を取得する機器識別情報取得部と、
   前記機器の識別情報に基づき前記機器の操作情報及びアドレス情報を含む機器情報を取得する機器情報取得部と、
   前記機器情報に含まれるアドレス情報を参照して前記機器に対して作業状態を問い合わせることにより前記機器の作業状態の情報を取得する機器状態取得部と、
   前記画像データに、前記画像内の前記機器の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含む付加データを付加するユビキタス環境情報スナップショットデータ生成部とを備えるユビキタス環境情報スナップショットデータの生成装置。
10. さらに、撮影時の自己の位置を検出する位置検出部と、
    前記位置検出部の出力に基づき環境に設置されたセンサの情報を取得するセンサ情報取得部とを備えることを特徴とする請求項９記載のユビキタス環境情報スナップショットデータの生成装置。
11. 表示装置と、
    入力装置と、
    画像データと、画像内の機器の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含み、前記画像データに付加される付加データとを備えるデータを読み込み、付加されたデータを解析する解析部と、
    前記画像データに基づき前記表示装置に画像を表示する画像表示部と、
    前記機器の機器情報を参照して、前記画像内の前記機器の座標に対応する位置に前記機器のアイコンを配置するアイコン配置部と、
    前記機器の操作情報に基づき前記機器の操作手段を表示する操作手段生成部と、
    前記機器の作業状態の情報に基づき前記機器の作業状態を表示する作業状態表示部と、
    前記入力装置を通じて前記機器の操作手段が操作されたとき、前記機器の操作情報とアドレス情報を参照して操作命令を送信する操作命令生成部と、を備えるユビキタス環境情報スナップショットデータの閲覧装置。
12. 機器を含む環境を撮影手段で撮影することにより取得した画像データと、
    画像内の前記機器の座標と、前記機器の操作情報及びアドレス情報を含む機器情報と、前記機器の作業状態の情報とを含み、前記画像データに付加される付加データとを備えることを特徴とするデータ構造。
13. 環境を撮影手段で撮影することにより取得した画像データと、
    前記環境及び／又は前記環境に含まれる機器に関連付けられたセンサ情報を含み、前記画像データに付加される付加データとを備えることを特徴とするデータ構造。
14. コンピュータに、
    機器を含む環境を撮影して画像データを取得するステップと、
    前記機器に関連付けられたタグを前記画像内で検索するステップと、
    前記タグに基づき前記機器の識別情報と前記機器の前記画像内の座標を取得するステップと、
    前記機器の識別情報に基づき前記機器の操作情報及びアドレス情報を含む機器情報を問い合わせるステップと、
    前記機器情報を取得するステップと、
    前記機器情報に含まれるアドレス情報を参照して前記機器に対して作業状態を問い合わせるステップと、
    前記機器の作業状態の情報を取得するステップと、
    前記画像データに、前記機器の前記画像内の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含む付加データを付加するステップと、を実行させるためのプログラム。
15. コンピュータに、
    画像データと、機器の前記画像内の座標、前記機器の操作情報とアドレス情報とを含む機器情報、及び、前記機器の作業状態の情報を含み、前記画像データに付加される付加データとを備えるデータを読み込むステップと、
    前記画像データに基づき画像を表示するステップと、
    前記機器の前記画像内の座標に対応する位置に前記機器のアイコンを配置するステップと、
    前記機器の操作情報に基づき前記機器の操作手段を表示するステップと、
    前記機器の作業状態の情報に基づき前記機器の作業状態を表示するステップと、
    表示された前記機器の操作手段が操作されたときに、前記機器の操作情報とアドレス情報を参照して操作命令を送信するステップと、
    前記機器の作業状態の情報が更新されたとき、更新された作業状態の情報に基づき前記機器の作業状態を再表示するステップと、を実行させるためのプログラム。
16. コンピュータに、
    環境を撮影して画像データを取得するステップと、
    前記環境及び／又は前記環境に含まれる機器に関連付けられたセンサ情報を検索するステップと、
    前記センサ情報を取得するステップと、
    前記画像データに、前記センサ情報を含む付加データを付加するステップと、を実行させるためのプログラム。
17. コンピュータに、
    画像データと、環境及び／又は前記環境に含まれる機器に関連付けられるセンサ情報を含み、前記画像データに付加される付加データとを備えるデータを読み込むステップと、
    前記画像データに基づき画像を表示するステップと、
    前記センサ情報を参照してセンサの値を表示するステップと、
    前記センサの値の更新要求を受けたときに、前記センサ情報に基づき前記センサの値の更新命令を送信するステップと、
    前記センサの値が更新されたとき、更新されたセンサの値に基づき前記センサの値を再表示するステップと、を実行させるためのプログラム。
18. コンピュータに、
    コンテンツを再生中の機器を含む環境を撮影して画像データを取得するステップと、
    前記機器に関連付けられたタグを前記画像内で検索するステップと、
    前記タグに基づき前記機器の識別情報を取得するステップと、
    前記機器の識別情報に基づき前記機器の操作情報及びアドレス情報を含む機器情報を問い合わせるステップと、
    前記機器情報に含まれるアドレス情報を参照して前記機器に対して作業状態を問い合わせるステップと、
    再生中のコンテンツの情報及び再生位置に関する情報を含む前記機器の作業状態の情報を取得するステップと、
    前記画像データに、少なくとも、前記機器の操作情報を含む機器情報と、再生中のコンテンツの情報及び再生位置に関する情報を含む前記機器の作業状態の情報とを含む付加データを付加するステップと、を実行させるためのプログラム。
19. コンピュータに、
    画像データと、少なくとも、機器の操作情報を含む機器情報と、再生中のコンテンツの情報及び再生位置に関する情報を含む前記機器の作業状態の情報とを含み、前記画像データに付加される付加データとを備えるデータを読み込むステップと、
    前記機器情報に基づき利用可能な機器を検索するステップと、
    前記機器の操作情報に基づき前記機器の操作手段を表示するステップと、
    前記機器の作業状態の情報に基づき前記機器の作業状態を表示するステップと、
    検索された利用可能な機器に対して、再生中のコンテンツの情報及び再生位置に関する情報を含む操作命令を送出するステップと、を実行させるためのプログラム。
    

Images