JP2009505268A - エンドユーザプログラミングのための拡張現実感眼鏡のためのシステム、装置及び方法 - Google Patents

Abstract

エンドユーザプログラマが、環境知能の環境の仮想的なインタラクションのメカニズム／パターンが現実の位置、表面、オブジェクト及び装置に重畳されるように、物理的な大きさを持つ環境知能の環境を可視化することを可能とする、拡張現実感（ＡＲ）眼鏡１３１のためのシステム、装置及び方法が提供される。更に、エンドユーザは、環境知能の環境において、仮想的なインタラクションのメカニズム／パターンをプログラミングし、これらを対応する現実のオブジェクト及び装置に重畳させることができる。

Description

本発明は、エンドユーザプログラマが、仮想的なインタラクションのメカニズム／パターンが現実のオブジェクト及び装置に重畳されるように、物理的な大きさを持つ環境知能の環境を可視化することを可能とする、拡張現実感眼鏡のためのシステム、装置及び方法に関する。

環境知能（Ambient Intelligence）は、最近の重要な３つの技術、即ちユビキタス（ubiquitous）コンピューティング、ユビキタス通信及びユーザに適応したインタフェースの集中として定義される。「環境（Ambient）」は、「全ての側面に存在する」と定義される（例えば「Merriam-Webster Dictionary」を参照）。ユビキタスは、「同時に至るところにある」と定義され（例えば「The American Heritage Dictionary」を参照）、家庭、職場、病院及び小売店等を含む全ての環境におけるコンピューティング及び通信の遍在という概念を取り入れるものである。ユビキタスコンピューティングは、或る環境における日常のオブジェクトにマイクロプロセッサを組み込むことを意味する。家庭においては、これら日常のオブジェクトは、家具、衣服、玩具及び埃（ナノテクノロジ）を含む。ユビキタス通信は、特別な無線ネットワーキングを利用して、これら日常のオブジェクトが互いに及び近隣に居る生物と通信することが可能であることを意味する。また、このことは全て目立たないように実現される。

目標の環境を複製することが可能でない場合に、斯かる環境知能の環境のためのソフトアプリケーションを、エンドユーザは如何に開発するであろうか。また、可能である場合であっても、当該環境における知能装置間の不可視な又は仮想的な相互接続及び生物（人間に限らない）との関係が、如何にエンドユーザ開発者に対して可視とされるであろうか。

既存のエンドユーザプログラミング手法はしばしば、ユーザが自身のアプリケーションを開発することを可能とするため、コンピュータ画面上における視覚的なプログラミング言語を利用する。しかしながら、これらエンドユーザプログラミング手法は、物理的な大きさもが存在する環境知能の環境に対してはうまく動作しない。エンドユーザによって容易に理解され且つエンドユーザプログラミングに適した、仮想的な及び現実の大きさの視覚化は、コンピュータグラフィクスのみを利用していては困難である。例えば、エンドユーザ開発者は専門家であり又はプロフェッショナルな分野における労働者であり得るが、家庭においては消費者でもあり得る。エンドユーザが欲することを行うためのプログラミング装置は、家具を再配置するかのように単純で便利であるべきである。

ここで図１Ａ及びＢを参照すると、環境知能とのエンドユーザのインタラクションをグラフィカルなユーザインタフェースによって可視化する代わりに、本発明の好適な実施例は、拡張現実感（augmented reality、ＡＲ）眼鏡１３１を利用する。該眼鏡を通して、仮想的なインタラクションのメカニズム／パターン（例えばコンテキスト起動要因１０１及び１０２並びに環境知能アプリケーション間のリンク）が、現実のオブジェクト１０５及び１０６並びに装置に重畳される。

エンドユーザプログラマが拡張現実感（ＡＲ）眼鏡１３１を通して環境知能の環境を見るとき、該エンドユーザは「書き込み」モードにあると言われ、即ちエンドユーザは現実のオブジェクト及び装置に具現化されているかのように環境知能アプリケーション内の既存の関係を「見る」ことができる。環境知能の環境の他の全てのエンドユーザのように、エンドユーザプログラマが拡張現実感（ＡＲ）眼鏡１３１を装着していないときには、該エンドユーザは「読み取り」モードにあると言われる。なぜなら、前記関係はもはや「可視」ではなく、その影響が体験され得るのみであるからである。

現実の体験は、主体志向であり反射的且つ不随意な態様で形成されると言うことができる。ユーザは、該ユーザが存在する状況を（ある程度）選択し得るが、該状況は常に個人が制御することができない態様で該ユーザに影響を及ぼす。ユーザは感覚により知覚された「テキスト」を「読む」が、該ユーザの動作によって影響をも与える（「書き込む」）。現在の環境知覚の環境における読み取りと書き込みとの分離は、リハーサルとパフォーマンスとの分離に類似している。

本発明のシステム、装置及び方法は、ユーザが環境知能の環境のためのアプリケーションを開発するための方法であって、斯かる環境を「ビート（beat）」と呼ばれる小さなアプリケーションを有する構成部分に分割することに基づく、効果的且つ効率的な方法を提供する。ユーザは、これらビートを開発並びに保持及び更新するため、拡張現実感（ＡＲ）眼鏡１３１を利用する。

これらビートはこのとき、一意的なストーリーを形成するため、環境知能の環境（特定の環境における用途）のユーザからのフィードバックに基づく、環境ナラティブ（narrative）エンジン３００により配列される。即ち、ユーザが環境知能の環境とインタラクトすることにより（例えば該環境をトレーニングすることにより）、ビートのセットが相互に関係付けられる。該ビートのセット及びそれらの相互関係は、ビート間の遷移を捕捉することにより所与のユーザに対してパーソナライズされることもでき、該ユーザの環境知能体験の個人的なストーリーを形成する。該個人的なストーリーは或る種の永続的なメモリに保持され、混合された現実における或る種のインタラクティブなナラティブ／ドラマのセットにおける特定のユーザとの将来のインタラクションにおいて環境知能の環境を生成するために環境ナラティブエンジン３００により利用される。代替として、トレーニングは、複数のユーザのインタラクションをトレーニング期間にわたって平均化することにより得られても良く、また必要なときに更新されても良い。

例えばパフォーマンス環境のような共同制作環境においては、個人がパフォーマンスをしているときに、該パフォーマンス自体がそれによってオーサリング（author）されるべき且つ環境ナラティブに追加されるべき新たなビートを形成し、それによりインタラクティブなナラティブの構造及び内容をリアルタイムに変化させる。パフォーマは、パフォーマンスをしている間オーサリングされているビートを「見る」ため、パフォーマンスをしている間ＡＲ眼鏡１３１を装着しても良いし、又は後にＡＲ眼鏡１３１を装着しパフォーマンスによって生成されたビートをレビューすることにより当該パフォーマンスをレビューしても良い。ＡＲ眼鏡１３１を装着しているパフォーマは、例えば該パフォーマがパフォーマンスに満足できず、異なるビート（又は修正されたビート）を達成するため全て又は一部を繰り返すことを欲する場合、パフォーマンスがオーサリングされているときに、ビートを「編集」するためにパフォーマンスを中断しても良い。

上述したように、ナラティブに対する継続中の修正が可能である。即ち、ビート及びビート間の相互関係を追加／修正／削除することにより、またビート間の遷移を修正及び追加することにより、環境知能の環境のトレーニング及び再トレーニングが可能である。本発明の拡張現実感（ＡＲ）眼鏡１３１は、環境が使用されている（オーサリング）間に、ビート及びビートの遷移を可視とする（可視化）ことにより、元の開発を容易化する。その後、本発明の拡張現実感（ＡＲ）眼鏡は、展開／開発された環境知能の環境の保守及び拡張（更新）のため同様の機能を実行する。

以下の記載は限定のためではなく説明のために提供されるものであることは、当業者には理解されるべきである。当業者は、本発明の精神及び添付される請求項の範囲内となる多くの変更例があることを理解する。既知の機能及び動作の不必要な詳細は、本発明を不明瞭にしないために本記載から省かれ得る。

本発明のシステム、装置及び方法は、環境知能の環境のユーザプログラミングのための拡張現実感（ＡＲ）眼鏡を提供する。ＡＲ眼鏡が特に有用である環境知能の環境を含む状況は、以下のとおりである。

１．状況
美術館への通常の来訪者が該美術館の部屋及びホールを歩く際、しばしば絵画やその歴史を理解することが困難である。より好ましい学習経験を提供するため、来訪者の知識レベル（初心者、中級者、上級者又は子供／大人）に対して調整され、鑑賞されるべき美術オブジェクトに対して調整された、設置されたディジタルメディア（テキスト／画像、音楽／音声及びビデオ）が、選択された美術オブジェクトに対して提供される。

以下のユーザ状況を考える。美術史家が、アムステルダムの国立美術館を訪れる。該美術史家が「１７世紀のオランダ」のホールに入ったとき、レンブラント・ファン・ラインの有名な絵画「夜警」（1642年）を鑑賞する。該美術史家が当該絵画へと歩み寄ると、該絵画及び黄金時代についての多くの詳細を示すテキストが、該絵画の隣にあるディスプレイに現れる。該美術史家は、１７世紀の肖像画及び光の使用についてのセクションに特に興味を持つ。しばらくの後、画面上のメッセージが該美術史家をヨハネス・フェルメールの絵画へと向けさせる。該美術史家が「牛乳を注ぐ女」（1658-1660年）へと近づくと、ストーリーが継続する。

国立美術館の館長が、より多くの設置メディアを、該美術館における絵画及び芸術作品に対して追加することを決定する。起動要因及び起動要因に関連するメディアを見るため、該館長は拡張現実感（ＡＲ）眼鏡１３１を装着する。図１Ａは、該館長が該館長の拡張現実感（ＡＲ）眼鏡１３１を通して見るものの例を示す。地面における紫色の円１０１は、ユーザがメディアのプレゼンテーション（紫色の球体１０２）を起動することができる領域を示す。床の黄色の点線１０４は、或る絵画から他の絵画へのリンク（例えば、肖像画における光の使用に焦点を当てたもの）を示す。前記館長が該館長のＡＲ眼鏡又は該館長のポケットの中のモバイル型マウス装置（図１Ｄ）１５０にあるボタン１５１を押下すると、視野１３２にダイアログ画面が出現し、該館長が設置されたメディアオブジェクトを管理することを可能とする。該館長は、或る絵画に対して新たなメディアオブジェクトを追加することを選択する。歩き回るか又はインタラクションの半径を選択することにより、該館長は設置されたメディアオブジェクトが起動されることができる領域を定義する。該館長は来訪者の知識レベルを「上級」に設定し、ＡＲ眼鏡１３１の視野１３２に表示されるプレゼンテーションのリストから適切なメディアプレゼンテーションを選択する。対応するプレゼンテーションは、美術館のデータベースに保存されている。次いでアイコンが、絵画１０３の隣にあるディスプレイ上に現れる。該館長は新たな設置されたメディアオブジェクトを保存し、メディア−美術間の関連及び起動要因を「プログラミング」する際の支援として拡張現実感（ＡＲ）眼鏡を利用して、メディアを伴う芸術作品を追加及び更新することを継続する。

本発明によるＡＲ眼鏡１３１を利用した実装は、以下のとおりである。

２．実装
本発明の好適な実施例においては、アーキテクチャはインタラクティブなナラティブと考えられる。ユーザが建物内を歩く態様に依存して、異なるストーリーがユーザに語られる。ディジタルメディア及び照明により拡張され、アーキテクチャの組み合わせられたビューは環境のナラティブである。環境を歩く（環境とインタラクトする）ことにより、ユーザは、環境知能として知覚される、一意的で個人的なストーリーを生成する。美術史家のような来訪者のための「読み取り」モードにおいては、ユーザは既にプログラムされたものしか体験できない。（拡張現実感（ＡＲ）眼鏡１３１を装着することにより起動される）「書き込み」モードにおいては、権限を持つ美術館職員が、環境のナラティブにおける配置メディアを変更することができる。

環境のナラティブの極小の単位は、ビートと呼ばれる。各ビートは、前提条件部と実行可能動作部とを有する対から成る。前提条件部は更に、ステージ上（位置）、パフォーマンス（動作）、動作者（ユーザの役割）、小道具（prop）（触知可能なオブジェクト及び電子装置）及びスクリプト（知識レベルを含むストーリー値）から成る群から選択される条件の少なくとも１つの記述を有し、動作部が実行される前には真である必要がある。動作部は、前提条件が真である場合にはいつでも環境においてそれぞれレンダリング／起動される、実際のプレゼンテーション記述又はアプリケーションを含む。ビートは、ユーザフィードバック（例えばユーザの命令／音声）、状況情報（例えば利用可能なユーザ、装置）及びストーリーの状態に基づいて、ビートシーケンス化エンジン３００によりシーケンス化される。

図２は、ビートドキュメントの例２００である。該ドキュメントは、以下を含む。

（ｉ）ビートが起動のためスケジューリングされる前に満たされるべき前提条件（precondition）２０１。ステージ（stage）要素は例えば、「wing1」と名付けられた位置に「夜警」と呼ばれるステージがある必要があることを示す。動作者（actor）要素は更に、「上級（advanced）」（専門家）であるとして既知の来訪者（visitor）が存在している必要があることを示す。該前提条件は基本的に、動作が許容される状況を記述する。

（ii）前提条件が真である場合にとられる動作（action）。主（main）部２０３は、ハイパーメディア・プレゼンテーション・マークアップを含み、ことによるとストーリー値（story-value）２０４、起動要因（trigger）２０５及びリンク（link）２０６のようなナビゲーション要素を含む。これら要素は、動作／アプリケーションがビートシーケンス化処理にどのように影響を与え得るかを規定するために利用される。図２において、各タイプの１つが示されているが、ビート記述においてはこれらのそれぞれが幾つあっても良い（全くなくても良い）。

上述したように、好適な実施例においては、少なくとも２つのインタラクションモード、即ち「読み取り」モードとオーサリング即ち「書き込み」モードとがある。

以下のステップは、環境知能の環境の通常の利用（読み取りモード）の間に実行される。

−状況を捕捉する：センサが、ユーザ、装置及びオブジェクトにおける変化を探知するため、環境（１以上の場所）を継続的に監視する。状況モデルを構築するため、幾つかのタイプのセンサが互いと組み合わせられて用いられても良い。状況情報は、ビートシーケンス化エンジンが、ビートの前提条件が満たされているか否かを決定するために必要とされる。

−或るビートを開始ビート（例えば「index.html」ページ）として利用する：該ビートは、ナラティブにおける入口点を形成する。動作部が実行される。動作部は、ブラウザプラットフォームに送信されることができるプレゼンテーションマークアップを含んでも良いし、又は特別なアプリケーションに対するリモートプロシージャコールを含んでも良い。

−ユーザフィードバック（例えばキーボードの押下、マウスのクリック）をローカルに処理する。プレゼンテーションマークアップ又はアプリケーションにおいてビートのマークアップ要素が遭遇された場合、ビートシーケンス化エンジン３００に命令が送信され、該エンジンにおいて該命令がビートセットと照合される。要素ｉｄ及びドキュメントｉｄが存在する場合、ユーザフィードバックのイベント（リンク、起動要因の設定／解除、ストーリー値の変更）が、ビートシーケンス化エンジン３００により処理される。例えば図２において、プレゼンテーションにおいてリンク要素が到達された場合、「to」フィールドに規定されたクエリが実行される。その結果のビートは、アクティブなビートのセットに追加される（該ビートの全ての前提条件が満たされている場合）。

−センサ網により認識された状況の変化（例えば新たなユーザが環境に入ってきた場合）を、ビートシーケンス化エンジン３００に送信する。

ビートシーケンス化エンジン３００のフロー図の例が、図３に示される。リンク、起動要因（遅延されたリンク；起動要因の前提条件が合致された場合に起動される）及びストーリー値（ナラティブ状態情報のためのセッション変数）の使用が、高度に動的なシステムに帰着する。

好適な実施例においては、権限のあるユーザが環境知能の環境にいるときに、該ユーザが拡張現実感（ＡＲ）眼鏡１３１を装着した場合に、「書き込み」モードが起動される。該モードにおいては、ビートシーケンス化エンジン３００が「読み取り」モードにおける場合と同様に機能し続け、ユーザの動作に対して迅速なユーザフィードバックを提供する。しかしながら、環境知能の環境の通常の動作に加え、オーサリングツール５０２は、拡張現実感（ＡＲ）眼鏡１３１のユーザの視野１３２において、ナラティブについてのメタデータを可視化する。図１Ａにおいて、アイコン１０３、経路１０４及び円１０２が、該付加的な情報又はメタデータを示している。

−アイコン１０３は、ビートの動作部を表す。動作部が複数の装置を利用する場合、当該ビートに対して複数のアイコンが出現する。好適な実施例においては、同一のビートにどのアイコンが属しているかを示すため、色又は他の視覚的な特徴が利用される。

−対応して、組み合わせ色付き経路１０４は、或る色付きビートから他の色付きビートへのリンクを表す。該経路の源とアンカービートとが、色特性によって示される。源のビートが青いアイコンを持ち、行き先のビートが赤いアイコンを持つ場合、経路は例えば青／赤の点線となる。

−床、壁または天井における、対応して色付けされた円１０２又は長方形は、色付きビートがアクティブである位置を表す。

該付加的な情報又はメタデータは、ビートシーケンス化エンジン３００によって、ビートセットから抽出され得る。

−好適な実施例においては、各ビートがプレビュー特性（オフラインのシミュレーションのために利用される）を持つ。該ビートプレビュー特性は、アイコンと関連付けられる。ビートセットにおいてビートドキュメント中の前提条件セクションにおいて規定される各装置及びオブジェクトは、該アイコンによりマークされる。ビートシーケンス化エンジンは装置及びオブジェクトの位置及び場所を知っているため、拡張現実システム（例えば図４及び５を参照）が、ユーザが装着している拡張現実感眼鏡１３１を利用し、ユーザの方向を考慮に入れて（例えば図４のカメラ４０２を利用して）、仮想的なアイコンを現実のオブジェクトに重畳することができる。

−ビート記述の動作部においてリンクが規定される。リンクの源及び行き先が算出され得る。各ビート記述中のステージ前提条件が、経路を決定するために利用される。好適な実施例においては、視界の直接の線がない場合には、ビート間の経路を算出するため、及びＡＲ眼鏡１３１の装着者に対してどの経路が可視化されるかを算出するため（例えば１０４を参照）、予め保存された建物／場所の物理的な図面が利用される。

−ビート記述におけるステージ前提条件及び状況モデル（正確な座標）から、ビートがアクティブである領域が抽出される。好適な実施例においては、本発明の拡張現実感（ＡＲ）眼鏡は、仮想的な平面を、現実の例えば壁又は床に重畳させるために利用される。

図４は、典型的な拡張現実システム４００のフローを示す。拡張現実感眼鏡１３１におけるカメラ４０２は、ユーザの座標及び方向を、データ取得モジュール４０３に送信する。該データ取得モジュール４０３は、環境の３Ｄモデル４０７のためのデータ（アイコン、経路及び領域並びにビートシーケンス化エンジンの状況モデルにおける位置データ）を取得するため、ビートシーケンス化モジュール３００に要求する（３０７）。該３Ｄモデル４０７は、カメラの現実のビュー４０５を用いて拡張された２Ｄ平面を生成するため、カメラ４０２からの位置データと共にグラフィクス描画エンジン３０８により利用される。拡張されたビデオ４０６は次いで、ユーザが装着している拡張現実感眼鏡を介して、ユーザに提示される。

ユーザの視点からの、環境知能の環境の環境ナラティブ構造の可視化は、本発明の拡張現実感（ＡＲ）眼鏡１３１により提供される「読み取り」機能である。本発明の「書き込み」機能は更に、拡張現実感（ＡＲ）眼鏡１３１を利用して可視化された環境知能の環境をユーザが変更／プログラミングすることを可能とする。好ましくは、図５に示されるように、本発明はオーサリングツール５０２と、少なくとも１つのユーザ入力装置１３１、１４０及び１５０へのインタフェースとを提供する。ユーザ入力装置は、身振りを捕捉するための手段と、本発明の拡張現実感眼鏡を装着しているユーザの視野１３２に提示される拡張された環境の３Ｄモデルにおけるアイコン及び経路を選択するための携帯型ボタン装置／モバイル型マウス１５０とを含む。

好適な実施例においては、本発明のＡＲ眼鏡を装着したユーザの視野１３２に出現するアイコン及び経路を選択するための、ユーザの視野１３２におけるグラフィカルユーザインタフェース（ＧＵＩ）６００乃至９００が備えられる。該ＧＵＩが単一の画面に収まらない場合には、ユーザが多段階の画面ＧＵＩにおいて前方及び後方に移動することを可能とするためのスクロールメカニズムが提供される。好適な実施例においては、該スクロールメカニズムは、モバイル型マウスのスクロールボタン、ＡＲ眼鏡１３１上のスクロールボタン、又はヘッドセットにより捕捉される音声コマンドのうちの１つである。他の可能性は、ユーザの身振り、頷き、及びその他の身体の動きを、ユーザが装着しているＡＲ眼鏡１３１の視野１３２におけるディスプレイをスクロールさせる指示として捕捉することを含む。音声コマンドを取り入れた好適な実施例においては、発話されたキーワードがメニュー及び機能へのショートカットとして利用され、音声認識器が特定のキーワードで起動し、対応するメニュー及び機能を選択する。

本発明のオーサリングツール５０２を用いると、ユーザは環境ナラティブの構造を変更することができる。為された変更は、本発明のＡＲ眼鏡１３１の装着者の視野１３２に提示されるメタデータを生成するビートシーケンス化エンジン３００により利用されるビートデータベースへとコミットされる。好適な実施例のＡＲシステム５００のグラフィクス描画部４０８は、拡張されたビューと共に該ＧＵＩを描画する。図５は、オーサリングツール５０２、ビートシーケンス化エンジン３００及び拡張現実システム４０２乃至４０８の間の関係の好適な実施例を示す。

環境知能の環境のためのオーサリングツール５０２は、典型的に以下を有する。
−ビート動作、リンク及び前提条件の変更
−ビート及びリンクの追加
−ビート及びリンクの削除
典型的なオーサリングツール５０２は、ユーザが新たなビート及びリンクを追加し、古いものを除去し、既存のものを変更することを可能とする。これらの機能は、ＡＲ眼鏡１３１の「書き込み」モードにおいて提供される。好適な実施例においては、「読み取り」モードにはユーザの指示により入り、それにより「読み取り」モードに入るためにユーザがＡＲ眼鏡１３１を外す必要がないようにされる。この「読み取り」モードにおいては、ユーザは該ユーザのＡＲ眼鏡１３１において可視化された付加的な情報を見るが、環境知能の環境はユーザがＡＲ眼鏡を装着することなく「読み取り」モードにあるかのように動作する。また、好適な実施例においては、試行ビートが指定されることができ、それによりビートの試行セットが保存されることができ、後に一度にセットとして追加／削除されることができる。このことは、削除された他のビートと共にでしか利用されないビートをユーザが除去し忘れるという状況を回避する。このことはまた、例えば他の建物に何らかの環境知能を提供するため、以前に定義されデバッグされたビートセットの再利用を可能とする。

ボタン１５１に触れることにより、ＡＲ眼鏡１３１の視野１３２において異なる画面が選択され表示されるような代替実施例においては、他のＧＵＩが可能である。更に、代替の実施例は、音声対話及びヘッドセット１４０を利用しても良い。全ての代替ＧＵＩ実施例において、ユーザはユーザの動作に対して即座のフィードバックを受ける。

好適な実施例においては、アイコン、経路及び領域を選択することにより、ユーザが異なるオーサリング画面を立ち上げる。

好適な実施例においては、アイコンを選択することにより、ユーザが特定のビートの動作部を変更する。第１の画面６０１が、入ってくる及び出て行くリンク６０１．２のようなビートについての情報を提供する例が、図６に示される。第２の画面６０２は、ユーザがアイコンを修正することを可能とする。画面６０１及び６０２は共に、本発明の拡張現実感眼鏡１３１を装着するユーザの視野１３２に出現する。

経路を選択することにより、ユーザはリンク７０１．１／７０１．２の源及び／又は行き先を変更する（７０１）ことができる（図７）。ユーザは、ビートデータベースから既存のビートを選択することができ、又はクエリ７０１．３を特定することができる（例えば、幾つかのキーワードを発話することによって。次いで、クエリのキーワードに合致するビートのアイコンが、アイコンに表示される）。

領域を選択することによって、ユーザは選択されたビートの前提条件８０１及び８０２（図８）を変更することができる。

ユーザは、或るユーザがビートの前提条件を変更してから、オーサリング画面を切り換え得る（ユーザはまた、該前提条件が持つ影響を変更し、動作を変更したいと欲し得る）。ＡＲシステム５００は、即座のフィードバックをユーザに提供する。全ての変更は、本発明のＡＲ眼鏡１３１により提供される可視化に反映される。

新たなビートを追加するため、ユーザは該ユーザが新たなビートを追加したい旨を示唆する。好適な実施例においては、このことはボタンを押下することにより実現され、ユーザが新たなビートの前提条件及び動作部を生成することができるモードを立ち上げる。該前提条件が、最初に規定される必要がある（これら前提条件が選択され得るアプリケーションを限定するであろうからである）。装置及びオブジェクトに触れることにより、ユーザは新たなビート記述の前提条件セクションに対して小道具を追加することができる。タグ付けされた衣服を装着することにより、ユーザは、動作者の役割を仮定し動作者の制約を追加することができる。好適な実施例においては、ボタンを押しながら歩き回ることにより、ユーザはビートがアクティブになることができる領域を設定する。全てのインタラクションは、可能な限り、実世界と近いものとされる。前提条件が設定された後、ユーザは該新たな前提条件に関連付けられる必要があるスクリプト又はアプリケーションを選択する。最後のステップは、環境ナラティブに新たなビートを追加することである。

ここで図９を参照すると、一定の数の起動要因（例えば美術館における１つの部屋のような各場所に対して１つ）を持つルートのビート（環境）９０５を含む基本的な構造が示される。各起動要因は、該特定の場所について、ビートを開始させる。該「場所」ビート９０４．１乃至９０４．Ｎは、最初は何もしない。しかし、ユーザが新たなビートを追加する際、ユーザは該ビートを適切な「場所」ビート９０４．１乃至９０４．Ｎに追加することができる（又は後の利用のため単にデータベースに該ビートを追加しても良い）。該動作は、オーサリングツール５０２により、正しい「場所」ビート９０４．１乃至９０４．Ｎに追加される起動要因要素へと変換される。ユーザは、ユーザ定義されたビートを削除することのみ可能とされる。

起動要因要素は、前提条件部とリンク記述とを持つ。該前提条件が満たされると、リンクが横断される（更にビートが開始される）。好適な実施例においては、可能なプロット構造を制約することにより、ツール５０２が簡素化される。新たなリンクを追加するためには、ユーザは、特定のボタンを押下することによって、該ユーザが新たなリンクを追加したい旨を示唆する必要がある。好適な実施例においては、このことは、ボタン押下と組み合わせて身振りを利用することにより為され、それによりユーザは、或るアイコンをリンクの始点として選択し、他のアイコンを該リンクの終点として選択することができる。該リンクの始点は視野１３２においてダイアログ画面を立ち上げ、該画面において、スクリプト又はアプリケーションにおけるどの点において該リンクが横断されるべきであるかをユーザが規定する。ユーザが満足した場合、該ユーザは該新たなリンクを保存する。ＡＲシステムは、ユーザに対して即座のフィードバックを提供する。新たなビート及びリンクは、拡張現実感眼鏡１３１の視野１３２において即座に描画される。図１０は、新たなに追加されたリンクが、ＡＲ眼鏡１３１の視野１３２においてどのように現れるかを示す。

ビート及びリンクの削除は、ビート及びリンクの追加に類似する。ユーザは、特定のボタンを押下することにより、又は音声コマンドにより、削除を示唆する。ユーザは次いで、（依然として装着されている該ユーザのＡＲ眼鏡を用いて物理的なオブジェクト又は装置に触れることにより）アイコンを選択し、ビート（及び該ビートから出て行くリンクの全て）が削除される旨の警告を受ける。該モードにおいてユーザがリンクを選択した場合も同様に、該ユーザは該リンクが削除される旨の警告を受ける。ＡＲシステム５００は、ユーザに対して即座のフィードバックを提供する。削除されたビート及びリンクは、拡張現実感眼鏡１３１の視野１３２から削除される。種々の設定でユーザがビート及びリンクの削除並びにその影響を実験することを可能とするため、「アンドゥ（undo）」／「デバッグ」モードが提供される。図１１における強調箇所１１０１は、該「アンドゥ」操作が好適な実施例において実装されたときに、該操作により影響を受けるビート１００１を示す。

本発明の好適な実施例が記載され説明されたが、ここで説明された装置及びシステムアーキテクチャ並びに方法は説明のためのものであり、本発明の真の範囲から逸脱することなく、種々の変更及び修正が為され得、本発明の要素に代わる同等物が代用され得ることは、当業者には理解されるであろう。加えて、本発明の中心範囲から逸脱することなく、本発明の教示を特定の状況に適応させるために、多くの変更が為され得る。それ故本発明は、本発明を実行するための予期される最良の形態として開示された実施例に限定されるものではなく、本発明は添付される請求の範囲内となる全ての実施例を含むことが意図されている。

拡張現実感（ＡＲ）眼鏡を利用した環境知能の環境の装着者の印象を示す。 拡張現実感（ＡＲ）眼鏡の実装の例を示す。 イヤフォン及びマイクロフォンを有するヘッドセットを含むＡＲ眼鏡のためのオーディオ入力／出力装置の例を示す。 本発明のＡＲ眼鏡の視野において選択を為すためのモバイル型マウス状装置の例を示す。 典型的なビートドキュメントを示す。 典型的なビートシーケンス化エンジンのフロー図を示す。 典型的な拡張現実システムを示す。 本発明による、オーサリングツールにより修正された、図４の拡張現実システムを示す。 本発明のＡＲ眼鏡を用いたビートオーサリング用ユーザインタフェースの画面を示す。 リンク修正を実現するための、本発明のＡＲ眼鏡を用いたユーザインタフェースの画面を示す。 前提条件の修正／定義のための、本発明のＡＲ眼鏡を用いたユーザインタフェースの画面を示す。 プロット構造への新たなビートの追加を示す。 新たに追加されたリンクがＡＲ眼鏡の視野にどのように現れるかを示す。 「アンドゥ」操作により影響を受けるビートを示す。

Claims (16)

1. エンドユーザが、少なくとも１つのプログラム可能な構成要素を含むように環境知能の環境をプログラムすることを可能とするための装置であって、前記装置は、
   透明な視野を持つ拡張現実感眼鏡であって、該拡張現実感眼鏡を装着したときエンドユーザに対して、前記透明な視野において前記ユーザによって見られる対応する実世界のエンティティに近接する前記少なくとも１つのプログラム可能な構成要素を前記透明な視野において可視化する拡張現実感眼鏡と、
   前記少なくとも１つのプログラム可能な構成要素について、少なくとも１つのプログラムをエンドユーザが閲覧、作成及び修正するための、前記拡張現実感眼鏡を装着しているエンドユーザの前記拡張現実感眼鏡の視野において出現するユーザプログラミングインタフェースと、
   前記ユーザプログラミングインタフェースが前記視野において出現しているときに、ユーザが前記ユーザプログラミングインタフェースに対して指示し反応するための、少なくとも１つのユーザ入力装置と、
   を有する装置。
2. 前記拡張現実感眼鏡は更に、エンドユーザが前記環境知能の環境とインタラクトするときに前記少なくとも１つのプログラム可能な構成要素を「読み取る」機能と、前記拡張現実感眼鏡を装着していない場合にエンドユーザによって見られるであろう視野に前記環境知能の環境とのエンドユーザのインタラクションを表示する機能とを有する、請求項１に記載の装置。
3. 前記ユーザプログラミングインタフェースは、前記少なくとも１つのユーザ入力装置と組み合わせられ、それによりアイコン、ビート、領域及びリンクのいずれかを別個に及び組み合わせて生成、取得、変更／削除、命名及び保存することのそれぞれを含む「書き込み」の機能を有する、請求項１に記載の装置。
4. 前記拡張現実感眼鏡は更に、エンドユーザが前記環境知能の環境とインタラクトするときに前記少なくとも１つのプログラム可能な構成要素を「読み取る」機能と、エンドユーザによって見られる前記環境知能の環境の少なくも１つの構成要素のビューを表示する機能とを有する、請求項３に記載の装置。
5. 前記ユーザプログラミングインタフェースは、前記拡張現実感眼鏡の視野に提示されるグラフィカルユーザインタフェースを有し、
   前記ユーザ入力装置は、音声入力／出力のためのヘッドセット、左ボタン、右ボタン及びメニューボタンを含むボタン装置／モバイル型マウス、音声入力及びオーディオフィードバックのためのマイクロフォン及びスピーカを含むハンドヘルド型オーディオ入出力ワンド、前記拡張現実感眼鏡に組み込まれるホイールマウス、並びに前記拡張現実感眼鏡に組み込まれる左及び右ボタンから成る群から選択される装置の組み合わせを有する、請求項１に記載の装置。
6. 前記ユーザプログラミングインタフェースは、前記少なくとも１つのユーザ入力装置と組み合わせられ、それによりアイコン、ビート、領域及びリンクのいずれかを別個に及び組み合わせて生成、取得、変更／削除、命名及び保存することのそれぞれを含む「書き込み」の機能を有する、請求項２に記載の装置。
7. 前記拡張現実感眼鏡を装着しているユーザにより見られている場面を決定するための、前記拡張現実感眼鏡を装着しているエンドユーザの位置及び方向に関する情報を提供するための手段と、
   少なくとも前記視野において前記少なくとも１つの構成要素に近接する対応する実世界のエンティティを可視化するための、構成要素の位置情報を取得するための手段と、
   を更に有する、請求項２に記載の装置。
8. 前記エンドユーザの位置及び方向に関する情報を提供するための手段は、前記拡張現実感眼鏡に装着されたカメラであり、
   前記構成要素の位置情報を取得するための手段は、構成要素の位置のデータベースから位置情報を取得することと、前記構成要素を検知するために配置されたセンサ網から位置情報を取得することと、から成る群から選択される、請求項７に記載の装置。
9. 前記ユーザプログラミングインタフェースは、前記少なくとも１つのユーザ入力装置と組み合わせられ、それによりアイコン、ビート、領域及びリンクのいずれかを別個に及び組み合わせて生成、取得、変更／削除、命名及び保存することのそれぞれを含む「書き込み」の機能を有する、請求項８に記載の装置。
10. 前記ユーザプログラミングインタフェースは、前記拡張現実感眼鏡の視野に提示されるグラフィカルユーザインタフェースを有し、
    前記ユーザ入力装置は、音声入力／出力のためのヘッドセット、左ボタン、右ボタン及びメニューボタンを含むボタン装置／モバイル装置、音声入力及びオーディオフィードバックのためのマイクロフォン及びスピーカを含むハンドヘルド型オーディオ入出力ワンド、前記拡張現実感眼鏡に組み込まれるホイールマウス、並びに前記拡張現実感眼鏡に組み込まれる左及び右ボタンから成る群から選択される装置の組み合わせである、請求項９に記載の装置。
11. 環境知能の環境のエンドユーザプログラミングのためのシステムであって、前記システムは拡張現実システムを有し、前記拡張現実システムは、
    エンドユーザによって装着される、請求項１に記載の拡張現実感眼鏡と、
    前記拡張現実感眼鏡を装着している間にエンドユーザによって起動される環境知能の環境のプログラム可能な構成要素を「読み取る」ためのビートシーケンス化エンジンと、
    を含み、前記起動される構成要素は前記エンドユーザによって装着された前記拡張現実感眼鏡の視野において可視化され、前記システムは更に、
    前記拡張現実感眼鏡の視野において表示されるユーザインタフェースを利用して、環境知能の環境のプログラム可能な構成要素及び関連するプログラムを「書き込む」ため、前記エンドユーザのための前記拡張現実システムにインタフェース接続されたエンドユーザ入力を収集するためのオーサリングツールを有するシステム。
12. 環境知能の環境におけるエンドユーザが、少なくとも１つのプログラム可能な構成要素を含むように、前記環境知能の環境をプログラムするための方法であって、前記方法は、
    透明な視野を持つ拡張現実感眼鏡を提供するステップと、
    エンドユーザが前記環境知能の環境において前記拡張現実感眼鏡を装着したときに、前記視野において、前記透明な視野において見られる対応する実世界のエンティティに近接する前記少なくとも１つのプログラム可能な構成要素を可視化するステップと、
    「アンドゥ」／「デバッグ」モードを持つ、エンドユーザが前記少なくとも１つのプログラム可能な構成要素についての少なくとも１つのプログラムを「読み取る」及び「書き込む」ことを可能とする、前記視野におけるエンドユーザプログラミングインタフェースを表示するステップと、
    前記エンドユーザプログラミングインタフェースが前記視野において出現したときに、エンドユーザが表示された前記エンドユーザプログラミングインタフェースに対して指示し反応して、前記少なくとも１つのプログラム可能な構成要素をプログラムするための、少なくとも１つのユーザ入力装置を提供するステップと、
    を有する方法。
13. 前記拡張現実感眼鏡を装着しているエンドユーザの位置及び方向に関する情報を供給するステップと、
    前記供給されたエンドユーザの位置及び方向情報から、前記拡張現実感眼鏡を装着しているエンドユーザにより見られている場面を決定するステップと、
    プログラム可能な構成要素の位置情報を取得するステップと、
    前記透明な視野において見られる対応する実世界のエンティティに近接する前記少なくとも１つのプログラム可能な構成要素を前記視野において可視化するステップと、
    を更に有する、請求項１２に記載の方法。
14. 前記エンドユーザの位置及び方向に関する情報を供給するステップは、前記拡張現実感眼鏡に装着されたカメラを備えるステップを更に有し、
    前記構成要素の位置情報を取得するステップは、位置のデータベース及び前記構成要素の位置を検知するために配置されたセンサ網から成る群から選択される情報源からの情報を取得するステップを更に有する、
    請求項１３に記載の方法。
15. プログラム可能な構成要素についてのプログラムを「書き込む」ステップにおいて、前記エンドユーザインタフェースを表示するステップと、前記少なくとも１つのユーザ入力装置を提供するステップとを組み合わせるステップを更に有し、前記「書き込む」ステップは、アイコン、ビート、領域及びリンクのいずれかを別個に及び組み合わせて生成、取得、変更／削除、命名及び保存するサブステップを有する、請求項１４に記載の方法。
16. 前記エンドユーザプログラミングインタフェースを表示するステップは、前記拡張現実感眼鏡の視野に提示されるグラフィカルユーザインタフェースを表示するステップを更に有し、
    前記ユーザ入力装置を提供するステップは、音声入力／出力のためのヘッドセット、左ボタン、右ボタン及びメニューボタンを含むボタン装置／モバイル型マウス、音声入力及びオーディオフィードバックのためのマイクロフォン及びスピーカを含むハンドヘルド型オーディオ入出力ワンド、前記拡張現実感眼鏡に組み込まれるホイールマウス、並びに前記拡張現実感眼鏡に組み込まれる左及び右ボタンから成る群から選択される装置の組み合わせを提供するステップを更に有する、
    請求項１５に記載の方法。

Images