JP2017523619A - 拡張現実に基づくスマート環境の表現の管理 - Google Patents

拡張現実に基づくスマート環境の表現の管理 Download PDF

Info

Publication number
JP2017523619A
JP2017523619A JP2016565302A JP2016565302A JP2017523619A JP 2017523619 A JP2017523619 A JP 2017523619A JP 2016565302 A JP2016565302 A JP 2016565302A JP 2016565302 A JP2016565302 A JP 2016565302A JP 2017523619 A JP2017523619 A JP 2017523619A
Authority
JP
Japan
Prior art keywords
beacon
localization
information
registered
smart environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016565302A
Other languages
English (en)
Inventor
ブッサール，マチュー
パピヨン，セルジュ
クリストフ，ブノワ
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2017523619A publication Critical patent/JP2017523619A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

スマート環境の表現を管理するための能力が開示される。スマート環境の表現を管理するための能力は、スマート環境の表現の、拡張現実（ＡＲ）に基づく管理をサポートするように構成され、この管理には、ＡＲに基づいたスマート環境の表現の生成、ＡＲに基づいた、スマート環境の表現とスマート環境の物理的現実の整合などが含まれてもよい。

Description

本発明は一般に環境の管理に関し、より詳細にはスマート環境の表現の、拡張現実に基づく管理に関するが、これに限定されない。
スマート環境の利用が拡大し続けるにつれて、そのようなスマート環境の複雑さもまた拡大し続ける。例えば、ますます多くのＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ：モノのインターネット）リソースを含む物理環境の構成が普及してきており、将来も増え続けると予想される。そのようなスマート環境は多くの利益をもたらすが、スマート環境を使用するには通常、甚大な管理上のオーバヘッドが必要であり、特に複雑なシナリオでリソースを使用するスマート環境で顕著である。加えて、スマート環境の使用に関連する管理上のオーバヘッドは、余分の管理を必要とする事象または条件に遭遇しやすいリソース（例えば、置き間違えられたり、別の場所に移動されたりする可能性があるか、故障を起こしやすいなどのリソース）の使用によって悪化することもある。従って、スマート環境の管理のための改善された機構が求められている。
従来技術の様々な欠点が、環境の管理のための実施形態によって解決される。
少なくともいくつかの実施形態では、ある装置がプロセッサおよびプロセッサに通信可能に接続されたメモリを含み、プロセッサは、１組の物体が中に置かれた物理領域を含む環境内で、関連付けられた視野を有するデバイスの定位を決定し、そのデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報をデバイスの定位に基づいて決定し、ある物体がそのビーコンの定位に一致する定位を有するとして登録されているか、ビーコン定位情報に基づいて決定し、ある物体がそのビーコンの定位に一致する定位を有するとして登録されているかに関する決定に基づいて管理動作を行うように構成される。
少なくともいくつかの実施形態では、コンピュータによって実行されるとそのコンピュータに方法を行わせる命令を、コンピュータ可読記憶媒体がその中に記憶し、この方法は、１組の物体が置かれた物理領域を含む環境内で、関連付けられた視野を有するデバイスの定位を決定するステップと、そのデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報をデバイスの定位に基づいて決定するステップと、ある物体がそのビーコンの定位に一致する定位を有するとして登録されているか、ビーコン定位情報に基づいて決定するステップと、ある物体がそのビーコンの定位に一致する定位を有するとして登録されているかに関する決定に基づいて管理動作を行うステップとを含む。
少なくともいくつかの実施形態では、ある方法が含むステップは、プロセッサおよびメモリを使用して、１組の物体が置かれた物理領域を含む環境内で、関連付けられた視野を有するデバイスの定位を決定し、そのデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報をデバイスの定位に基づいて決定し、ある物体がそのビーコンの定位に一致する定位を有するとして登録されているか、ビーコン定位情報に基づいて決定し、ある物体がそのビーコンの定位に一致する定位を有するとして登録されているかに関する決定に基づいて管理動作を行う。
本明細書内の教示は、詳細説明を添付図面と併せて考察することにより容易に理解することができる。
スマート環境、ＡＲユーザデバイス、およびスマート環境表現管理システムを含む例示的システムを示す図である。 図１に示されるＡＲユーザデバイスの例示的実施形態を示す図である。 図１に示されるスマート環境表現管理システムの例示的実施形態を示す図である。 図１に示されるスマート環境の一部の例示的表現を示す図である。 スマート環境の表現を生成するための方法の例示的実施形態を示す図である。 検出物体情報および登録物体情報に基づいて管理動作を行うための方法の例示的実施形態を示す図である。 スマート環境の表現をスマート環境の物理的現実に整合させるための方法の例示的実施形態を示す図である。 ある環境に管理動作を行うための方法の例示的実施形態を示す図である。 本明細書に記載される機能の実行に使用するために適したコンピュータの上位レベルブロック線図である。
理解を助けるために、これらの図面で共通する同一の要素は、できる限り同じ参照番号を使用して示した。
本明細書には、スマート環境の表現を管理するための能力が提示されている。スマート環境の表現を管理するための能力は、スマート環境の操作および使用における改善に繋がるようにスマート環境の管理を容易化し得る。スマート環境の表現を管理するための能力は、スマート環境の表現の拡張現実（ＡＲ）に基づく管理をサポートするように構成されてもよく、この管理には、ＡＲに基づいたスマート環境の表現の生成、ＡＲに基づいた、スマート環境の表現とスマート環境の物理的現実（または少なくともスマート環境の物理的現実を取り込んだ、または測定したもの）の整合などが含まれてもよい。スマート環境の表現を管理するための能力の様々な実施形態が、図１に示されるとおりの、例示的スマート環境および、そのスマート環境の表現を管理するように構成された関連する管理システムを考察することによって、よりよく理解され得る。
図１は、スマート環境およびスマート環境表現管理システムを含む例示的システムを示す。
システム１００はスマート環境１１０、ＡＲユーザデバイス１２０、通信ネットワーク１３０および、スマート環境表現管理システム１４０を含む。
スマート環境１１０は、１組の物体１１１１から１１１５（集合的には、物体１１１）を含む場所であり、これらの物体はそれぞれに関連する１組のビーコン１１２１から１１２５（集合的には、ビーコン１１２）を有する。場所は、スマート環境をサポートできる任意の適切なタイプの場所であってもよく、それには屋内の場所、屋外の場所、またはそれらの組み合わせが含まれてもよい。例えば、場所は、住居、住居の一部、事業所、事業所の一部、企業もしくは大学の構内、企業もしくは大学の構内の一部、公園、公園の一部、町もしくは都市、町もしくは都市の一部など、ならびにそれらの様々な組み合わせであってもよい。上記の例に示されるとおり、場所は任意の適切なサイズであってもよい（例えば、家の１室、家全体、ビルの１フロア、ビルの複数フロア、ビルのグループ、任意のビルの外部の空き地、町または都市の街路（１つまたは複数）など、ならびにそれらの様々な組み合わせ）。スマート環境１１０は、これより少ない、またはこれより多くの物体１１１および関連するビーコン１１２を含んでもよいことを理解されたい。
物体１１１は、スマート環境内に置かれ得るどのような物体を含んでもよい。例えば、物体１１１はセンサ、アクチュエータ、メディアキャプチャデバイス（例えば、マイクロフォン、カメラなど）、メディア表現デバイス（例えば、ディスプレイ、スピーカなど）、接続された家電（例えば、冷蔵庫、カーテンなど）など、ならびにそれらの様々な組み合わせを含んでもよい。例えば、物体１１１はＩｏＴ（Ｉｎｔｅｒｎｅｔ−ｏｆ−Ｔｈｉｎｇｓ：モノのインターネット）環境に含まれ得るどのような物体を含んでもよい。スマート環境１１０に置かれる物体１１１のタイプは、スマート環境１１０の場所のタイプによって異なる（例えば、家庭内のセンサおよびアクチュエータ、事業所内のアクチュエータおよび防犯カメラ、町または都市の街路に配備されたセンサおよび防犯カメラなど）。概して、所与の物体１１１は、物体１１１の物体識別情報、スマート環境１１０内の物体１１１の定位を示す物体定位情報、物体１１１の物体能力情報、物体１１１の物体構成情報など、ならびにそれらの様々な組み合わせなどの、その物体に関連する物体情報を有してもよい。物体１１１の物体識別情報は、物体１１１の一意の物体識別子、物体１１１の物体タイプなどを含んでもよい。スマート環境内の物体１１１の定位を示す物体定位情報は、スマート環境１１０内の物体１１１の位置（例えば、物体１１１の絶対位置、１つまたは複数の基準点（例えば、１つまたは複数の他の物体１１１、ＡＲユーザデバイス１２０など）に相対的な物体１１１の位置など）を含んでおり、スマート環境１１０内の物体１１１の方向（例えば、物体１１１が向いている方向、物体１１１の影響が及ぶ範囲など、ならびにそれらの様々な組み合わせ）もまた含んでもよい。物体１１１の物体能力情報は、物体１１１から利用可能な機能またはサービスを含んでもよく、それらが物体１１１の物体タイプによって異なり得ることを理解されたい。物体１１１の物体能力情報はまた、メディア表現物体の処理能力、ネットワークアクセスゲートウェイのネットワーキング能力、カメラのカメラ解像度などの能力情報を含んでもよく、様々なタイプの物体１１１に関連し得る能力情報のタイプを理解されたい。物体１１１の物体構成情報は、物体１１の現在の構成を表す情報を含んでもよく、この構成が物体１１１の物体タイプにより異なることを理解されたい。例えば、物体１１１の物体構成情報は、物体１１１のネットワークアドレス、前述した物体１１１に関連する定位情報、物体１１１の影響が及ぶ２次元または３次元の空間範囲、物体１１１がセンサであれば物体１１１のセンサ閾値および範囲、物体１１１がアクチュエータであれば物体１１１のアクチュエーションのアラインメントおよび範囲、物体１１１がカメラであれば物体１１１の視野および解像度などを含んでもよく、様々なタイプの物体１１１に関連し得る構成情報のタイプを理解されたい。明確さのために省略したが、物体１１１の少なくともいくつかがＡＲユーザデバイス１２０と通信するように（例えば、ローカルに、またはＣＮ１３０を介して）構成されてもよく、物体１１１の少なくともいくつかがＣＮ１３０などを介して通信するように構成されるなどでもよい（例えば、物体１１１の制御に使用するために、ネットワーク経由でホストされるサービスが利用可能であってもよい）。スマートな物体である物体１１１について主に図示および説明されているが、物体１１１は、さらに、または代わりに、必ずしも処理能力またはネットワーキング能力を含まない単純な物体（例えば、家具、芸術作品など）を含んでもよい。
ビーコン１１２はＡＲユーザデバイス１２０によって検出され得るどのようなビーコンを含んでもよい。物体１１１に関連するビーコン１１２は、スマート環境１１０内のＡＲユーザデバイス１２０への相対的な関連物体１１１の定位（例えば、ＡＲユーザデバイス１２０から関連物体１１１への距離、ＡＲユーザデバイス１２０に対する関連物体１１１の向きなど）を決定できるように構成される。ビーコン１１２は、１つまたは複数の能動ビーコン、１つまたは複数の受動ビーコンなど、ならびにそれらの様々な組み合わせを含んでもよい。少なくともいくつかの実施形態では、所与の物体１１１について、その所与の物体１１１に関連するビーコン１１２は１つまたは複数の発光デバイスのセットを含んでもよい。発光デバイスは、ダイオード、レーザなどを含んでもよい。発光デバイスは、可視光線、赤外線などを発するように構成されてもよい。少なくともいくつかの実施形態では、所与の物体１１１について、その所与の物体１１１に関連するビーコン１１２は、複数の発光デバイスからなる、知られている幾何学パターンであってもよい（例えば、知られている寸法または方向の三角形に配置された３つの発光ダイオード、知られている寸法または方向の正方形または矩形に配置された４つの発光ダイオードなど）。ビーコン１１２は、自身の電源を有する１つまたは複数のビーコン、関連物体１１１から電力を引けるように関連物体１１１に接続された１つまたは複数のビーコンなど、ならびにそれらの様々な組み合わせを含んでもよい。少なくともいくつかの実施形態では、ビーコン１１２のうち１つまたは複数は、受動ビーコン（例えば、光を吸収する材料で作られたビーコン）を含んでもよい。概して、所与の物体１１１に関連する所与のビーコン１１２は、物体１１１に関連する物体情報を搬送するように構成されてもよいし、そのように構成されなくてもよい（区別については、追加の詳細で説明する）が、所与の物体１１１に関連する所与のビーコン１１２が物体１１１に関連する物体情報を搬送するように構成される場合は、ビーコン１１２は物体情報を任意の適切な方法で搬送してもよい（例えば、共働してビーコン１１２を提供する複数の光源の特定の方向または配置を介して、共働してビーコン１１２を提供する１つまたは複数の光源による発光の特定の変調を介してなど）。ビーコン１１２が関連物体１１１と共に配備される実施形態に関して主に図示および説明されているが、少なくともいくつかの実施形態ではビーコン１１２の１つまたは複数は、必要に応じて、物体１１１の１つまたは複数に対して提供されてもよいことを理解されたい（例えば、ＡＲユーザデバイス１２０による物体１１１の検出を可能にする関連ビーコン１１２を提供するために、ＡＲユーザ１２０のユーザが物体１１１にポータブルレーザのレーザビームをあてる、物体１１１に一時的または恒久的にビーコン１１２を取り付けてＡＲユーザデバイス１２０による物体１１１の検出を可能にできるように、ＡＲユーザデバイスのユーザ１２０がビーコン１１２を携行するなど、もしくはそれらの様々な組み合わせ）。
ＡＲユーザデバイス１２０は、スマート環境１１０の表現を管理するための能力の様々な機能をサポートするように構成される。ＡＲユーザデバイス１２０は、スマート環境１１０の場所の深度マップを提供する像の取込み、物体１１１に関連するビーコン１１２の検出を介した物体１１１の検出など、ならびにそれらの様々な組み合わせをサポートするように構成される。ＡＲユーザデバイス１２０は、ＡＲユーザデバイス１２０のユーザが（例えば、スマート環境１１０の場所の深度マップを提供する像を取り込むこと、ビーコン１１２を検出すること、物体１１１に関連するビーコン１１２の検出を介して物体１１１を検出することなどのために）ＡＲユーザデバイス１２０をスマート環境１１０内に運び込むことができるように、可搬またはウェアラブルであってもよい。ＡＲユーザデバイス１２０は、下記にさらに詳細に説明するように、様々な処理能力、画像取込みおよび信号検出の能力、ネットワーキング能力、表現能力、対話能力などをサポートしてもよい。例えば、ＡＲユーザデバイス１２０は、スマートフォン、タブレットコンピュータ、ヘッドマウントデバイス（例えばメガネまたはその他のヘッドマウントデバイス）などであってもよい。図２に、ＡＲユーザデバイス１２０の例示的一実施形態が示される。図２に示されるように、ＡＲユーザデバイス２００は、メモリ２２０、ＴｏＦ（タイムオブフライト方式）カメラ２３０、ネットワーキングインタフェース２４０、表現インタフェース２５０、および対話インタフェース２６０のそれぞれに通信可能に接続されたプロセッサ２１０を含む。プロセッサ２１０は、ＡＲユーザデバイス２００の他の様々な構成要素と共働して、スマート環境１１０の表現を管理するための能力の様々な機能を提供してもよい。メモリ２２０は様々なタイプのプログラムおよびデータを記憶するように構成され、それらは、スマート環境表現管理プログラム（複数可）２２１（例えば、プロセッサ２２１によって実行されて、本明細書で説明されるとおりのＡＲユーザデバイスの機能を提供してもよい、任意のプログラム（複数可））、ＴｏＦカメラ像２２２、スマート環境１１０のマップ２２３、ビーコン１１２に関連するビーコン情報２２４（例えば、ビーコン１１２から検出された検出ビーコン情報、ビーコン１１２に関連するとして登録されている登録ビーコン情報など）、物体１１１に関連する物体情報２２５（例えば、物体１１１または物体１１１に関連するビーコン１１２から検出された検出物体情報、物体１１１に関連するとして登録されている登録物体情報など）、スマート環境１１０の表現（複数可）２２６、および、他の情報２２７（例えば、ＡＲユーザデバイス２００の他の要素を制御するための他のプログラム、他のデータなど、ならびにそれらの様々な組み合わせ）を含んでもよい。ＴｏＦカメラ２３０は、スマート環境１１０の表現を管理するための能力をサポートして光学像を取り込むように構成される（例えば、ＴｏＦカメラの視野内のスマート環境１１０のある部分の３次元像を取り込むように構成される、物体１１１に関連するビーコン１１２を検出するように構成されるなど）。ネットワーキングインタフェース２４０はＡＲユーザデバイス２００によるスマート環境表現管理システム１４０との通信をサポートするように構成される（例えば、ＴｏＦカメラ２３０によって取り込まれた像を、スマート環境１１０の表現を管理するための管理機能を行う際に使用するためにスマート環境表現管理システム１４０に送信すること、スマート環境１１０の表現の最新バージョンを決定する状況でのスマート環境表現管理システム１４０との対話、スマート環境１１０の表現の最新バージョンをＡＲユーザデバイス１２０で表現するためにスマート環境表現管理システム１４０から受信することなど、ならびにそれらの様々な組み合わせ）。表現インタフェース２５０（例えば、１つまたは複数のディスプレイ画面、１つまたは複数のスピーカなど）は、ＡＲユーザデバイス１２０での情報の表現をサポートするように構成される（例えば、ＴｏＦカメラ像２２２、スマート環境１１０のマップ２２３、ビーコン１１２に関連するビーコン情報２２４、物体１１１に関連する物体情報２２５、スマート環境１１０の表現（複数可）２２６、他の情報２２７、スマート環境１１０の表現を管理する状況でのＡＲユーザデバイス１２０による選択のための選択肢など、ならびにそれらの様々な組み合わせ）。対話インタフェース２６０（例えば、タッチスクリーンコントロール、ボタンなど）は、ＡＲユーザデバイス１２０のユーザの、ＡＲユーザデバイス１２０に表現される情報との対話をサポートするように構成される（例えば、スマート環境１１０の表現に関する情報にユーザがアクセスできるようにすること、スマート環境１１０の表現を管理する状況でユーザが設定情報および選択を指定できるようにすることなど）。図２のＡＲユーザデバイス２００は単に図１のＡＲユーザデバイス１２０の考え得る１つの実装を表しており、よって、図１の状況の中で、ＡＲユーザデバイス１２０の能力について、さらに説明が続行されることを理解されたい。ＡＲユーザデバイス１２０は、図２のＡＲユーザデバイス２００に関して図示および説明されるどのような機能をサポートしてもよく、ならびに、本明細書でＡＲユーザデバイスによって行われるとして図示および説明される他のどのような機能をサポートしてもよい。
ＣＮ１３０はスマート環境１１０の表現を管理するための能力の様々な機能を提供することに関連する通信をサポートするように構成された１つまたは複数の通信ネットワークを含んでもよい。ＣＮ１３０は、ＡＲユーザデバイス１２０とスマート環境表現管理システム１４０との間の通信をサポートするように構成される。ＣＮ１３０が１つまたは複数の無線アクセスネットワーク（例えば、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）、セルラーなど）を含み、それを介してＡＲユーザデバイス１２０がスマート環境表現管理システム１４０と通信してもよいし、ＣＮ１３０が１つまたは複数の有線ネットワークを有し、そのネットワークが１つまたは複数の無線アクセスネットワークとスマート環境表現管理システム１４０との間の通信をサポートしてもよいし、あるいはそれらの様々な組み合わせを有してもよい。
スマート環境表現管理システム１４０は、スマート環境１１０の表現を管理するための能力の様々な機能をサポートするように構成される。スマート環境表現管理システム１４０はスマート環境１１０の表現を生成するように構成されてもよく、それには、スマート環境１１０の初期表現を作成すること、スマート環境１１０の既存の表現を更新すること、スマート環境１１０の物理的現実へのスマート環境１１０の表現の整合をサポートすることなど、ならびにそれらの様々な組み合わせが含まれてもよい。スマート環境表現管理システム１４０は、下記のさらなる詳細で説明するように、スマート環境１１０の表現を管理するための能力の様々な機能をサポートするための様々な能力を含んでもよい。図３に、スマート環境表現管理システム１４０の例示的実施形態が示される。図３に示されるように、スマート環境表現管理システム３００は、メモリ３２０、ネットワーキングインタフェース３３０、表現インタフェース３４０、および対話インタフェース３５０のそれぞれと通信可能に結合されたプロセッサ３１０を含む。プロセッサ３１０は、スマート環境表現管理システム３００の他の様々な構成要素と共働して、スマート環境１１０の表現を管理するための能力の様々な機能を提供してもよい。メモリ３２０は様々なタイプのプログラムおよびデータを記憶するように構成され、それらは、スマート環境表現管理プログラム（複数可）３２１（例えば、プロセッサ３２１によって実行されて、本明細書で説明されるとおりのスマート環境表現管理システムの機能を提供してもよい、任意のプログラム（複数可））、ＡＲユーザデバイス１２０から受信されたＴｏＦカメラ像３２２、スマート環境１１０のモデル３２３、ビーコン１１２に関するビーコン情報３２４（例えば、ビーコン１１２から検出された検出ビーコン情報、ビーコン１１２に関連するとして登録されている登録ビーコン情報など）、物体１１１に関連する物体情報３２５（例えば、物体１１１または物体１１１に関連するビーコン１１２から検出された検出物体情報、物体１１１に関連するとして登録されている登録物体情報など）、スマート環境１１０の表現（複数可）３２６、および、他の情報３２７（例えば、スマート環境表現管理システム３００の他の要素を制御するための他のプログラム、他のデータなど、ならびにそれらの様々な組み合わせ）を含んでもよい。ネットワーキングインタフェース３３０はＡＲユーザデバイス１２０との通信をサポートするように構成される（例えば、ＴｏＦカメラによって取り込まれた像を、スマート環境１１０の表現を管理するための管理機能を行う際に使用するために受信すること、スマート環境１１０の表現の最新バージョンを決定する状況でのＡＲユーザデバイス１２０との対話、スマート環境１１０の表現の最新バージョンをＡＲユーザデバイス１２０で表現するためにＡＲユーザデバイス１２０に提供することなど、ならびにそれらの様々な組み合わせ）。表現インタフェース３４０（例えば、１つまたは複数のディスプレイ画面、１つまたは複数のスピーカなど）は、スマート環境表現管理システム３００で情報の表現をサポートするように構成される（例えば、スマート環境１１０のモデル３２３の表現、ビーコン１１２に関連するビーコン情報３２４、物体１１１に関連する物体情報３２５、スマート環境１１０の表現（複数可）３２６、他の情報３２７、スマート環境１１０の表現を管理する状況でのＡＲユーザデバイス１２０のユーザによる選択のための選択肢など、ならびにそれらの様々な組み合わせ）。対話インタフェース３５０（例えば、タッチスクリーンコントロール、ボタンなど）は、スマート環境表現管理システム３００のユーザの、スマート表現管理システム３００に表現される情報との対話をサポートするように構成される（例えば、スマート環境１１０の表現に関する情報にユーザがアクセスできるようにすること、スマート環境１１０の表現を管理する状況でユーザが設定情報および選択を指定できるようにすることなど）。図３のスマート環境表現管理システム３００は単に図１のスマート環境表現管理システム１４０の考え得る１つの実装を示しており、よって、図１の状況の中で、スマート環境表現管理システム１４０の能力について、さらに説明が続行されることを理解されたい。スマート環境表現管理システム１４０は、図３のスマート環境表現管理システム３００に関して図示および説明されるどのような機能、ならびに、本明細書でスマート環境表現管理システムによって行われるとして図示および説明される他のどのような機能をサポートしてもよい。
スマート環境表現管理システム１４０は、スマート環境１１０の表現を生成するように構成されてもよい。スマート環境表現管理システム１４０は、スマート環境１１０内の物体１１１の定位を示す表示（例えば、少なくとも位置、任意選択で、方向）を含むようにスマート環境１１０のモデルを拡張することによってスマート環境１１０の表現を生成するように構成されてもよい。スマート環境１１０のモデルは、スマート環境１１０の３次元モデルであってもよい。スマート環境１１０のモデルは、スマート環境１１０のグラフィカル表現であってもよい（例えば、コンピュータ支援製図（ＣＡＤ）ツールを使用して描かれたもの、スマート環境１１０の画像ベースの表現（例えば、ＡＲユーザデバイス１２０のＴｏＦカメラによって取り込まれたスマート環境１１０の深度マップ）などであってもよい。スマート環境１１０内の物体１１１の定位は、物体１１１の基準物体定位情報に基づいてスマート環境管理表現システム１４０によって決定され、この情報はスマート環境１１０のためにスマート環境表現管理システム１４０によって格納されている。ＡＲユーザデバイス１２０から受信された物体情報は、スマート環境表現管理システム１４０によってスマート環境１１０の表現を生成するために使用されてからスマート環境表現管理システム１４０によって格納されてもよいし、または、スマート環境表現管理システム１４０によって格納されてからスマート環境表現管理システム１４０によってスマート環境１１０の表現を生成するために使用されてもよい。ただし、どちらの場合でも、ＡＲユーザデバイス１２０から受信された物体情報は、スマート環境表現管理システム１４０の物体情報の一部として、スマート環境１１０の表現を生成するためにスマート環境表現管理システム１４０によってアクセスされてもよいように格納される。換言すれば、スマート環境表現管理システム１４０によって維持される物体情報は、スマート環境１１０の表現に関する様々な管理機能を提供する際にスマート環境表現管理システム１４０によって使用されてもよい基準物体情報のセットを提供する。スマート環境表現管理システム１４０によって最終的に格納される物体１１１の基準物体定位情報は、ＡＲユーザデバイス１２０のＴｏＦカメラによって取り込まれた像に基づいて決定される。つまり、スマート環境１１０内の物体１１１の定位は、スマート環境１１０内のＡＲユーザデバイス１２０の定位を決定し（例えば、スマート環境１１０のモデルおよびＡＲユーザデバイス１２０のＴｏＦカメラからのＴｏＦカメラ像に基づいて、精密定位技法に基づいて、など）、物体１１１に関連するビーコン１１２の検出に基づいてスマート環境１１０内の物体１１１を検出し、スマート環境１１０内のＡＲユーザデバイス１２０の定位およびスマート環境１１０内の物体１１１の検出に関連する情報に基づいてスマート環境１１０内の物体１１１の定位を決定することによって決定されてもよい。スマート環境表現管理システム１４０は、（ａ）物体１１１に関連する基準物体定位情報に基づいてスマート環境１１０のモデル内の物体１１１の定位を識別し、（ｂ）スマート環境１１０内の物体１１１の定位の表示を含ませるようにスマート環境１１０のモデルを拡張することによって、スマート環境１１０内の物体１１１の定位の表示を含むようにスマート環境１１０のモデルを拡張するように構成されてもよい。スマート環境１１０内の物体１１１の定位の表示は、各物体１１１について、スマート環境１１０内の物体１１１の実際の位置に対応するスマート環境１１０の３次元モデル内の物体１１１の位置を識別し、スマート環境１１０の３次元モデル内の識別された物体１１１の位置にインジケータ（例えば、アイコンまたは他の何らかの適切なインジケータ）を関連付けることによって提供されてもよい。スマート環境１１０の表現内で物体１１１を表すインジケータは、それに関連する物体情報を有してもよい（例えば、物体識別情報、物体定位情報、物体能力情報、物体構成情報など、ならびにそれらの様々な組み合わせ）。スマート環境１１０の表現内で物体１１１を表すインジケータは、物体１１１の物体情報の表現、スマート環境１１０の表現の中での物体１１１の表現の構成（例えば、物体１１１のために格納されている、登録された構成情報の修正）、物体１１１そのものとの通信または物体１１１そのものの構成など、ならびにそれらの様々な組み合わせを可能にするために、選択可能であってもよい（例えば、ＡＲユーザデバイス１２０の対話インタフェース、スマート環境表現管理システム１４０の対話インタフェース、スマート環境１１０の表現がそこに提示されてもよい他の任意のデバイスの対話インタフェースなどを介して）。ＡＲユーザデバイス１２０の視野内にあるスマート環境１１０の一部分の例示的表現が図４に示される。図４に示されるように、ＡＲユーザデバイス１２０の視野内にあるスマート環境１１０の一部分は家庭の居間の一部分（それぞれに関連するビーコン１１２１、１１２２および１１２３を有する物体１１１１、１１１２および１１１３を含む）を含み、よって、ＡＲユーザデバイス１２０の視野内にあるスマート環境１１０の部分の表現４００は、家庭の居間のその部分の画像を含み、その画像はアイコン４０１（防犯カメラとして描かれた物体１１１１に関連する）、アイコン４０２（照明として描かれた物体１１１２に関連する）、およびアイコン４０３（テレビとして描かれた物体１１１３に関連する）を含むように拡張されている。
図５は、スマート環境の表現を生成するための方法の例示的一実施形態を示す。方法５００のステップが、ＡＲユーザデバイスによって実行されてもよく、スマート環境表現管理システムによって実行されてもよく、または、ＡＲユーザデバイスとスマート環境表現管理システムとの間に分散されてもよいことを理解されたい。主に順次行われるとして図示および説明されているが、方法５００のステップの少なくとも一部が同時または図５に示されるものとは別の順序で行われてもよいことを理解されたい。
ステップ５０１で、方法５００が開始する。
ステップ５１０で、スマート環境のモデルが取得される。スマート環境は、１組の物体およびその物体に関連する１組のビーコンを含む物理領域である。
ステップ５２０で、ＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像が取得される。ＴｏＦカメラ像は物理領域の像であり、物理領域の全体または一部の像を含んでもよい。ＴｏＦカメラ像の取得は、物理領域内に置かれたビーコンの検出を含むか、あるいは、検出に関連付けられていてもよい。ビーコンは物理領域内に置かれた物体に関連しており、よって、ビーコンの検出は、検出されたビーコンに関連する物体の検出であると見なされてもよいし、または、物体の検出に使用されてもよい。
ステップ５３０で、スマート環境内のＡＲユーザデバイスの定位が決定される。スマート環境内のＡＲデバイスの定位は、スマート環境のモデルおよびＴｏＦカメラ像に基づくか（例えば、ＡＲユーザデバイスのＴｏＦカメラによって取り込まれたスマート環境の深度マップとスマート環境の基準モデルとの比較に基づき、基準モデルがスマート環境のモデルまたは、スマート環境の表現の現在もしくは以前のバージョンであってもよい）、精密定位技法（例えば、屋外スマート環境ではＧＰＳ測位、屋内スマート環境では屋内定位など）に基づくか、または、それらの様々な組み合わせに基づいて決定されてもよい。
ステップ５４０で、スマート環境内の物体の定位を示す物体定位情報が、ＴｏＦカメラ像およびスマート環境内のＡＲユーザデバイスの定位に基づいて決定される。物体定位情報は、検出された各ビーコンについて、スマート環境内のビーコンの定位を決定し、ＴｏＦカメラ像およびスマート環境内のＡＲユーザデバイスの定位に基づいて、検出されたビーコンに関連する物体を決定し、そのビーコンのビーコン定位情報をそのビーコンに関連する物体の物体定位情報として使用することによって決定されてもよい。
ステップ５５０で、スマート環境の表現が、スマート環境のモデルおよびスマート環境内の物体の定位を示す物体定位情報に基づいて生成される。スマート環境の表現の生成は、スマート環境内に置かれた物体の表示を含めるようにスマート環境のモデルを拡張することを含んでもよく、ここでスマート環境内に置かれた物体の表示はスマート環境内に置かれた物体の物体定位情報に従って提供される（それによってスマート環境内の物体の定位の表示を提供する）。スマート環境の表現に含まれる物体インジケータはそれに関連する他のタイプの物体情報を有してもよい（例えば、物体識別情報、物体能力情報、物体構成情報、物体状態情報など、ならびにそれらの様々な組み合わせ）。スマート環境の表現は、また、１つまたは複数の物体の影響が及ぶ空間的範囲の表示を含んでもよい（例えば、センサ物体の検知範囲の表示、アクチュエータ物体のアクチュエータ範囲の表示、防犯カメラの視野の表示、ディスプレイデバイスのディスプレイ範囲の表示など）。生成されたスマート環境の表現は、ローカルに格納（例えば、スマート環境表現管理システムに格納）、リモートデバイスに伝播（例えば、ＡＲユーザデバイスでの表現のためにスマート環境表現管理システムからＡＲユーザデバイスに伝播）、表現インタフェースを介して表現（例えば、スマート環境表現管理システムまたはＡＲユーザデバイスに表現）されるなど、ならびにそれらの様々な組み合わせが行われてもよいことを理解されたい。
ステップ５９９で、方法５００は終了する。
図６は、検出物体情報および登録物体情報に基づいて管理動作を行うための方法の例示的実施形態を示す。方法６００は主に、ＡＲユーザデバイスから受信された情報に基づいてスマート環境の表現を生成するために、スマート環境表現管理システムによって行われる機能について図示および説明されている。ただし、スマート環境表現管理システムによって行われるとして図示および説明される様々な機能が分散されても、他の方法で様々に提供されてもよいことを理解されたい。主に順次行われるとして図示および説明されているが、方法６００のステップの少なくとも一部が同時または図６に示されるものとは別の順序で行われてもよいことを理解されたい。
ステップ６０１で、方法６００が開始する。
ステップ６１０で、スマート環境内のＡＲユーザデバイスの定位が決定される。スマート環境内のＡＲユーザデバイスの定位は、スマート環境のモデルおよびＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像に基づいて決定されてもよい。スマート環境のモデルは、スマート環境の基準モデル（例えば、スマート環境の表現がまだ作成されていないモデル）、スマート環境の表現の以前のバージョンなどを含んでもよい。ＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像は、スマート環境の深度マップを含んでもよい。スマート環境内のＡＲユーザデバイスの定位は、スマート環境のモデルからの情報をＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像に含まれる情報とマッチングすることによって決定されてもよい。マッチングは、画像認識能力、履歴情報、基準点（例えば、１つまたは複数の物体１１１、１つまたは複数の物体１１１に関連するビーコン１１２など）など、ならびにそれらの様々な組み合わせに基づいてもよい。スマート環境内のＡＲユーザデバイスの定位は、スマート環境内のＡＲユーザデバイスの位置（例えば、絶対位置、相対位置など）、スマート環境内のＡＲユーザデバイスの方向（例えば、ＡＲユーザデバイスが向いている方向、ＡＲユーザデバイスの視野の表現、または他の任意の適切な方向情報）などを含んでもよい。スマート環境内のＡＲユーザデバイスの定位は、（１）ＡＲユーザデバイス上で決定されて（例えば、ＡＲユーザデバイスがスマート環境のモデルをスマート環境表現管理システムから受け取る）、スマート環境表現管理システムに提供されてもよいし、または、（２）スマート環境表現管理システム上で決定されてもよい（例えば、ＡＲユーザデバイスがＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像をスマート環境表現管理システムに提供する）。スマート環境内のＡＲデバイスの定位は、精密定位技法（例えば、屋外スマート環境ではＧＰＳ測位、屋内スマート環境では屋内定位など）に基づいて決定されてもよい。
ステップ６２０で、ＡＲユーザデバイスの視野内にあるとして検出された１組の物体について、検出物体情報が決定される。ＡＲユーザデバイスの視野内にあるとして検出される１組の物体は、ＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像に基づいて、ＡＲユーザデバイスの視野内でそれらの物体に関連するビーコンを検出することによって決定される。検出された物体の検出物体情報は、検出された物体の検出物体識別情報、検出された物体の検出物体定位情報（例えば、スマート環境内の検出された物体の位置を示し、任意選択で方向を示す情報）など、ならびにそれらの様々な組み合わせを含んでもよい。検出された１組の物体の検出物体定位情報は、スマート環境内のＡＲユーザデバイスの定位に基づいて決定されてもよい。検出された物体の検出物体定位情報は、スマート環境内で検出された物体の絶対位置を示す絶対物体定位情報でもよく、この情報は、スマート環境内で検出された物体のＡＲユーザデバイスに対する相対的な位置を示す相対物体定位情報に基づくと共にスマート環境内のＡＲユーザデバイスの定位に基づいて決定されてもよい。検出された物体の検出物体情報は、検出された物体の他のタイプの検出物体情報もまた含んでもよい。検出された１組の物体の検出物体情報は、ＡＲユーザデバイス上で決定されてスマート環境表現管理システムに提供されてもよいし、または、ＡＲユーザデバイスから受け取られた情報に基づいてスマート環境表現管理システムで決定されてもよい。ただし、どちらの場合でも、検出物体情報が、スマート環境でのＡＲユーザデバイスによるスマート環境のビーコンの検出に基づきＡＲユーザデバイスによってスマート環境でローカルに取得された情報を含むことを理解されたい。ＡＲユーザデバイスの視野内にあるとして検出された１組の物体の検出物体情報には、ＡＲユーザデバイスの視野内にあるとしてＡＲユーザデバイスによって検出されたビーコンの検出ビーコン情報もまた関連付けられていてもよい。ＡＲユーザデバイスは、それに関連する視野を有する。
ステップ６３０で、ＡＲユーザデバイスの視野内にあるとして登録された１組の物体について、登録物体情報が決定される。ＡＲユーザデバイスの視野内にあるとして登録される１組の物体は、スマート環境内のＡＲユーザデバイスの定位に基づいてスマート環境内のＡＲユーザデバイスの視野を決定し、格納された情報（例えば、スマート環境のために保持されている、格納済みの物体情報、スマート環境内の物体の位置の表示を含む、既存のスマート環境の表現など、ならびにそれらの様々な組み合わせ）から、ＡＲユーザデバイスの視野内にあるとして登録された１組の物体を決定することによって決定されてもよい。ＡＲユーザデバイスの視野内にあるとして登録されている１組の物体のための登録物体情報は（ＡＲユーザデバイスの視野内にあるとして検出された１組の物体の検出物体情報の決定について前述した、ＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像に基づいて物体に関連するビーコンを検出することを通して物体そのものから決定される過程とは異なり）、スマート環境に関連する格納された情報から決定されてもよい。登録された物体の登録物体情報は、登録された物体の登録物体識別情報および登録された物体の登録物体定位情報を含む（例えば、スマート環境内の登録された物体の位置を示し、任意選択で方向を示す情報）。登録された物体の登録物体定位情報は、絶対物体定位情報でもよい（例えば、スマート環境内の登録された物体の絶対位置、スマート環境内の登録された物体のスマート環境内のＡＲユーザデバイスの定位に対する位置など）。登録された物体の登録物体情報は、登録された物体の他のタイプの登録物体情報もまた含んでもよい。ＡＲユーザデバイスの視野内にあるとして登録されている１組の物体の登録物体情報には、ＡＲユーザデバイスの視野内にあるとして登録されているビーコンの登録ビーコン情報もまた関連付けられていてもよい。
ステップ６４０で、検出物体情報と登録物体情報の比較に基づいて管理動作が行われる。管理動作は、スマート環境の表現をスマート環境の物理的現実に整合させるために検出された物体を登録された物体に照らして評価する動作（例えば、その例示的実施形態が図７に関して図示および説明されている）、スマート環境の表現を生成する動作など、ならびにそれらの様々な組み合わせのうち１つまたは複数を含んでもよい。そのような管理動作の組み合わせが実行される場合は、スマート環境の表現は検出された物体の評価が終了した後に生成されてもよいし、検出された各物体が評価される都度生成されてもよく（例えば、スマート環境の表現のディスプレイを見るユーザの誰もがスマート環境の物理的現実にスマート環境の表現を確実に整合させる過程を見られるようにするために、スマート環境の表現を生成する際に基づく登録物体情報への変更をもたらす検出された各物体の評価の後に、その都度、ＡＲユーザデバイスまたはスマート環境表現管理システム上のスマート環境の表現のディスプレイがリフレッシュされてもよい）、その他のときに生成されてもよいことを理解されたい。
ステップ６９９で、方法６００は終了する。終了するとして図示および説明されているが（明瞭にするために）、方法６００は実行され続けてもよいし、または様々な条件下で再実行されてもよい（例えば、ＡＲユーザデバイスのユーザがスマート環境内を動き回り、ＡＲユーザデバイスがスマート環境の像をさらに取り込むときに定期的に、ＡＲユーザデバイスにスマート環境の画像をさらに取り込ませるためのＡＲユーザデバイスのユーザによる手動の指示に応答してなど。これらおよびその他の利用シナリオについても、上記で加えて説明した）ことを理解されたい。
図７は、スマート環境の表現をスマート環境の物理的現実に整合させるための方法の例示的実施形態を示す。方法７００は主に、ＡＲユーザデバイスから受信された情報に基づいてスマート環境の表現を生成するために、スマート環境表現管理システムによって行われる機能について図示および説明されている。ただし、スマート環境表現管理システムによって行われるとして図示および説明される様々な機能が分散されても、他の方法で様々に提供されてもよいことを理解されたい。方法７００が図６の方法６００のステップ６４０として使用されてもよいことを理解されたい。主に順次行われるとして図示および説明されているが、方法７００のステップの少なくとも一部が同時または図７に示されるものとは別の順序で行われてもよいことを理解されたい。
ステップ７０１で、方法７００が開始する。
ステップ７１０で、検出された１組の物体の中の検出された物体の１つが選択される。
ステップ７２０で、検出された物体のうち選択された１つが、（例えば、スマート環境の表現の管理に使用するためにスマート環境表現管理システムによって維持されている）登録された１組の物体の中の登録された物体のいずれかに一致するかについて、決定が行われる。検出された物体のうち選択された１つが登録された物体のいずれかに一致するかについての決定は、検出された物体のうち選択された１つの検出された物体情報を、登録された物体に関連する登録物体構成情報のそれぞれと比較することを含んでもよい。検出された物体のうち選択された１つが登録された物体のいずれかに一致するかについての決定は、検出された物体のうち選択された１つの検出物体識別子が登録された物体のうち１つの登録物体識別子のうち１つに一致するかについての決定を含んでもよい。検出された物体のうち選択された１つが登録された物体のいずれかに一致するかについての決定は、検出された物体のうち選択された１つの物体定位情報が登録された物体のうち１つの物体定位情報に一致するかについての決定を含んでもよい。検出された物体のうち選択された１つが登録された１組の物体の中の登録された物体のうち１つに一致すれば、方法７００は（例えば、物体のさらなる評価のために）ステップ７３０に進む。検出された物体のうち選択された１つが登録された１組の物体の中の登録された物体のいずれにも一致しない場合は、方法７００は（例えば、検出された物体のうち選択された１つの登録のために）ステップ７６０に進む。
ステップ７３０で、物体の検出された構成が物体の登録された構成に一致するかについての決定が行われる。物体の検出された構成と登録された構成が一致するかについての決定は、物体の検出された定位が物体の登録された定位に一致するかの決定を含んでもよい。物体の検出された定位が物体の登録された定位に一致するかについての決定は、物体の検出された位置（および、任意選択で、検出された方向）が登録された位置（および、任意選択で、登録された方向）に一致するかについての決定を含んでもよい。物体の検出された構成と登録された構成が一致すれば、方法７００はステップ７７０に進む。物体の検出された構成と登録された構成が一致しなければ、方法はステップ７４０に進む。
ステップ７４０で、物体を再構成するかについての決定が行われる。この決定は自動的に（例えば、検出された物体の有する検出された構成がその物体の登録された構成とは異なるときに、その検出された物体がその物体の登録された構成に一致する構成を有するように再構成されるということを示す設定に基づいて、または、検出された物体の有する検出された構成がその物体の登録された構成とは異なるときに、その物体は再構成されないが、その物体の登録構成情報が、その物体の登録構成情報がその物体の構成の実際に一致するように更新されるということを示す設定に基づいて）、物体の検出された構成が物体の登録された構成に一致しないことの表示がユーザに提示されたときのユーザによるＡＲユーザデバイスを介した手動選択を検出したことに応答してなど)、ならびにそれらの様々な組み合わせによって行われてもよい。そのような設定またはユーザに対する表示の提示は、任意の適切な粒度で適用されてもよいことを理解されたい（例えば、スマート環境の全ての物体について、スマート環境内の物体のサブセット（例えば、物体のタイプ、物体の定位などのうち１つまたは複数に基づく）についてなど、ならびにそれらの様々な組み合わせ）。物体が再構成される場合は、方法７００はステップ７７０に進む（ここでは、物体は方法７００の範囲外とみなされる何らかの時点に何らかの方法で再構成されると仮定されるが、物体が再構成される必要があることの表示がＡＲユーザデバイスのユーザに提示されるステップを含むように方法７００が適合されてもよいことを理解されたい）。物体が再構成されない場合は、方法７００はステップ７５０に進む。
ステップ７５０で、物体の検出構成情報に基づいて物体の登録構成情報が更新される。物体の登録構成情報はスマート環境の表現の作成または更新に使用されるので、ステップ７７０に示されるように、その後のスマート環境の表現は物体の登録構成情報の更新を反映する（方法７００は、ステップ７５０からステップ７７０に進む）。
ステップ７６０で、物体の検出物体情報を物体の登録物体情報として使用して、検出された物体が登録される。物体の登録物体情報は、次にスマート環境の表現を生成するために使用されてもよいので、その後のスマート環境の表現はスマート環境内の検出された物体の存在を反映する。
ステップ７７０で、１組の検出された物体の中の最後の検出された物体がすでに選択されたかについての決定が行われる。１組の検出された物体の中の最後の検出された物体がまだ選択されていない場合は、方法７００はステップ７１０に戻る（ここで、１組の検出された物体の中の次の検出された物体が評価のために選択される）。１組の検出された物体の中の最後の検出された物体がまだ選択されていない場合は、方法７００はステップ７９９に進み、ここで方法７００は終了する。
ステップ７９９で、方法７００は終了する。終了するとして図示および説明されているが（明瞭にするために）、方法７００は実行され続けてもよいし、または様々な条件下で再実行されてもよい（例えば、方法６００のステップ６４０を提供するために方法７００が使用される場合に方法６００が再実行される都度、１つまたは複数の追加管理動作を提供またはサポートするためになど）ことを理解されたい。
図８は、ある環境に管理動作を行うための方法の例示的実施形態を示す。方法８００は主に、ＡＲユーザデバイスから受信された情報に基づいてスマート環境の表現を生成するために、スマート環境表現管理システムによって行われる機能について図示および説明されている。ただし、スマート環境表現管理システムによって行われるとして図示および説明される様々な機能が分散されても、他の方法で様々に提供されてもよいことを理解されたい。主に順次行われるとして図示および説明されているが、方法８００のステップの少なくとも一部が同時または図８に示されるものとは別の順序で行われてもよいことを理解されたい。
ステップ８０１で、方法８００が開始する。
ステップ８１０で、スマート環境内のＡＲユーザデバイスの定位が決定される。スマート環境内のＡＲユーザデバイスの定位は、スマート環境のモデルおよびＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像に基づいて決定されてもよい。スマート環境のモデルは、スマート環境の基準モデル（例えば、スマート環境の表現がまだ作成されていないモデル）、スマート環境の表現の以前のバージョンなどを含んでもよい。ＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像は、スマート環境の深度マップを含んでもよい。スマート環境内のＡＲユーザデバイスの定位は、スマート環境のモデルからの情報をＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像に含まれる情報とマッチングすることによって決定されてもよい。マッチングは、画像認識能力、履歴情報、基準点（例えば、１つまたは複数の物体１１１、１つまたは複数の物体１１１に関連するビーコン１１２など）など、ならびにそれらの様々な組み合わせに基づいてもよい。スマート環境内のＡＲユーザデバイスの定位は、スマート環境内のＡＲユーザデバイスの位置（例えば、絶対位置、相対位置など）、スマート環境内のＡＲユーザデバイスの方向（例えば、ＡＲユーザデバイスが向いている方向、ＡＲユーザデバイスの視野の表現、または他の任意の適切な方向情報）などを含んでもよい。スマート環境内のＡＲユーザデバイスの定位は、（１）ＡＲユーザデバイス上で決定されて（例えば、ＡＲユーザデバイスがスマート環境のモデルをスマート環境表現管理システムから受け取る）、スマート環境表現管理システムに提供されてもよいし、または、（２）スマート環境表現管理システム上で決定されてもよい（例えば、ＡＲユーザデバイスがＡＲユーザデバイスのＴｏＦカメラによって取り込まれた像をスマート環境表現管理システムに提供する）。スマート環境内のＡＲデバイスの定位は、精密定位技法（例えば、屋外スマート環境ではＧＰＳ測位、屋内スマート環境では屋内定位など）に基づいて決定されてもよい。ＡＲユーザデバイスは、それに関連する視野を有する。
ステップ８２０で、ＡＲユーザデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報が、ＡＲユーザデバイスの定位に基づいて決定される。
ステップ８３０で、ある物体がそのビーコンの定位に一致する定位を有するとして登録されているかについての決定が、ビーコン定位情報に基づいて行われる。少なくともいくつかの実施形態では、ある物体がそのビーコンの定位に一致する定位を有するとして登録されているかについての決定は、物体登録情報を検索して、そのビーコンの定位に一致する物体の定位を示す物体定位情報を有する物体をその物体登録情報が含むか決定することによって行われてもよい。少なくともいくつかの実施形態では、物体の定位とビーコンの定位の一致は、絶対的な一致（例えば、座標が同一であるか、または他の測位情報が同一である）であってもよく、または、物体の定位とビーコンの定位が十分に近いので、検出されたビーコンがその物体に関連する見込みがあるか、少なくともかなりの見込みがあるとの決定であってもよい（例えば、定位は同一ではないが定位の差が閾値を満たす場合。ここで、閾値は１つまたは複数の要因（例えば、環境のタイプまたはサイズ、環境内に配備されているか、配備されていると期待される物体の数など、ならびにそれらの様々な組み合わせ）に基づいて変動してもよい）。
ステップ８４０で、ある物体がそのビーコンの定位に一致する定位を有するとして登録されているかについての決定に基づいて、管理動作が行われる。
少なくともいくつかの実施形態では、管理動作を行うことは、そのビーコンの定位に一致する定位を有する物体が登録されていないとの決定に基づいて、そのビーコンに関連する物体を識別し、そのビーコンに関連する物体が環境に関連するとして登録されているか決定することを含んでもよい。ビーコンに関連する物体を識別することは、ビーコンから受け取った情報に基づいてそのビーコンに関連する物体を識別すること、または、ビーコンの識別子を決定し、ビーコンに関連する物体へのビーコンの識別子のマッピングに基づいてビーコンに関連する物体を決定することを含んでもよい。管理動作は、ビーコンに関連する物体が環境に関連するとして登録されているとの決定に基づいて、ビーコンに関連する物体が環境に関連するとして登録されており、かつビーコンに関連する物体の物体定位情報がビーコンのビーコン定位情報に一致しないことを示すメッセージの生成、ビーコンに関連する物体の定位情報の更新に関するメッセージ（例えば、ビーコンに関連する物体の定位情報を更新するようユーザに求める要求メッセージ、ビーコンに関連する物体の定位情報を更新するかについての指示を応答するようユーザに求めるメッセージなど）の生成、環境内の新しい場所へのビーコンに関連する物体の移動に関するメッセージ（例えば、ビーコンに関連する物体を環境内の新しい場所に移動させるようユーザに求めるメッセージ、ビーコンに関連する物体を環境内の新しい場所に移動させるかについての指示を応答するようユーザに求めるメッセージなど）の生成などのうち、１つまたは複数を含んでもよい。管理動作は、ビーコンに関連する物体が環境に関連するとして登録されていないとの決定に基づいて、ビーコンに関連する物体の物体登録情報を決定し、ビーコンに関連する物体の物体登録情報の格納を開始することを含んでもよい。物体登録情報は、ビーコンから受信された情報または少なくとも１つのユーザ入力インタフェースを介して受信された情報のうち少なくとも１つから決定されてもよい。物体登録情報は、ビーコンに関連する物体の識別子、ビーコンに関連する物体の物体定位情報、または、ビーコンに関連する物体の物体特性もしくは能力の情報のうち少なくとも１つを含んでもよい。
少なくともいくつかの実施形態では、管理動作を行うことは、ビーコンの定位に一致する定位を有するとして登録されている物体がないとの決定に基づいて、ビーコンに関連する物体の物体登録情報を決定し、ビーコンに関連する物体の物体登録情報の格納を開始することを含んでもよい。物体登録情報は、ビーコンから受信された情報または少なくとも１つのユーザ入力インタフェースを介して受信された情報のうち少なくとも１つから決定されてもよい。物体登録情報は、ビーコンに関連する物体の識別子、ビーコンに関連する物体の物体定位情報、または、ビーコンに関連する物体の物体特性もしくは能力の情報のうち少なくとも１つを含んでもよい。
少なくともいくつかの実施形態では、管理動作を行うことは、ビーコンの定位に一致する定位を有するとして登録されている物体がないとの決定に基づいて、物体の物体定位情報の更新に関するメッセージ（例えば、物体の物体定位情報を更新するようユーザに求める要求メッセージ、物体の定位情報を更新するかについての指示を応答するようユーザに求めるメッセージなど）の生成、環境内の新しい場所への物体の移動に関するメッセージ（例えば、物体を環境内の新しい場所に移動させるようユーザに求めるメッセージ、物体を環境内の新しい場所に移動させるかについての指示を応答するようユーザに求めるメッセージなど）の生成などを含んでもよい。
少なくともいくつかの実施形態では、管理動作を行うことは、ある物体がビーコンの定位に一致する定位を有するとして登録されているとの決定に基づいて、ビーコンの定位に一致する定位を有するとして登録されている物体に関連する検出物体構成情報をビーコンから取得し、ビーコンの定位に一致する定位を有するとして登録されている物体に関連する登録物体構成情報を取得し、次に、検出物体構成情報と登録物体構成情報を比較することを含んでもよい。管理動作は、検出物体構成情報と登録物体構成情報が一致しないとの決定に基づいて、検出物体構成情報に基づき登録物体情報を更新することを含んでもよい。管理動作は、検出物体構成情報と登録物体構成情報が一致しないとの決定に基づいて、検出物体構成情報と登録物体構成情報が一致しないことを示すメッセージの生成、検出物体構成情報に基づき登録物体構成情報を更新することに関するメッセージ（例えば、検出物体構成情報に基づき登録物体構成情報を更新するようユーザに求める要求メッセージ、検出物体構成情報に基づき登録物体構成情報を更新するかについての指示を応答するようユーザに求めるメッセージなど）の作成、検出物体構成情報に基づき物体を再構成することに関するメッセージ（例えば、検出物体構成情報に基づいて物体を再構成するようにユーザに求める要求メッセージ、検出物体情報に基づき物体を再構成するかについての指示を応答するようユーザに求めるメッセージなど）の作成などのうち少なくとも１つを行うことを含んでもよい。
少なくともいくつかの実施形態では、管理動作を行うことは、図５の方法５００、図６の方法６００、または図７の方法７００のうち１つまたは複数に関して図示および説明される実施形態を含むか、含まない場合はその実施形態に基づいてもよい。
ステップ８９９で、方法８００は終了する。終了するとして図示および説明されているが（明瞭にするために）、方法８００は実行され続けてもよいし、または様々な条件下で再実行されてもよい（例えば、ＡＲユーザデバイスのユーザがスマート環境内を動き回り、ＡＲユーザデバイスがスマート環境の像をさらに取り込むときに定期的に、ＡＲユーザデバイスにスマート環境の画像をさらに取り込ませるためのＡＲユーザデバイスのユーザによる手動の指示に応答してなどの条件。これらおよびその他の利用シナリオについても、上記で加えて説明した）ことを理解されたい。
図９は、本明細書に記載される機能の実行に使用するために適したコンピュータの上位レベルブロック線図である。
コンピュータ９００はプロセッサ９０２（例えば、中央処理ユニット（ＣＰＵ）および／または他の適切なプロセッサ）およびメモリ９０４（例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）など）。
コンピュータ９００は、共働モジュール／プロセス９０５もまた含んでもよい。共働プロセス９０５は本明細書に記載される機能を実装するためにメモリ９０４にロードされてプロセッサ９０２によって実行されることができ、よって、共働プロセス９０５（関連データ構造を含む）は、例えばＲＡＭメモリ、磁気式または光学式のドライブまたはディスケットなどのコンピュータ可読記憶媒体上に記憶されることができる。
コンピュータ９００は、１つまたは複数の入力／出力デバイス９０６もまた含んでもよい（例えば、ユーザ入力デバイス（キーボード、キーパッド、マウスなど）、ユーザ出力デバイス（ディスプレイ、スピーカなど）、入力ポート、出力ポート、受信機、送信機、１つまたは複数の記憶装置（例えば、テープドライブ、フロッピードライブ、ハードディスクドライブ、コンパクトディスクドライブなど）など、ならびに、それらの様々な組み合わせ）。
図９に示されるコンピュータ９００が本明細書に記載される機能要素および／または本明細書に記載される機能要素の一部を実装するために適した一般的なアーキテクチャおよび機能性を提供することが、理解される。例えば、コンピュータ９００は、物体１１１、ビーコン１１２、ＡＲユーザデバイス１２０、スマート環境表現管理システム１４０などのうち１つまたは複数を実装するために適した一般的なアーキテクチャおよび機能性を提供する。
本明細書に図示および記載される機能が（例えば、汎用コンピュータ上で実行して（例えば１つまたは複数のプロセッサによる実行を通して）専用目的コンピュータを実装するための１つまたは複数のソフトウェアの実装を通してなど）ソフトウェアで実装されてもよく、かつ／またはハードウェアで実装されてもよい（例えば、汎用コンピュータ、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、および／または他の何らかのハードウェア等価物を使用して）ことを理解されたい。
本明細書でソフトウェアの方法として論じられるステップのいくつかが、例えば、プロセッサと共働して様々な方法ステップを行う回路として、ハードウェアの中に実装されてもよいことを理解されたい。本明細書に記載される機能／要素の一部がコンピュータプログラム製品として実装され、そこでコンピュータ命令がコンピュータによって処理されると、本明細書に記載される方法および／または技法が起動されるか他の方法で提供されるようにコンピュータの動作を適合させてもよい。本発明の方法を起動させるための命令は、固定もしくは取り外し可能な媒体に格納されてもよいし、放送内のデータストリームもしくは他の信号搬送媒体を介して送信されてもよいし、かつ／または、命令に従って動作するコンピューティングデバイス内のメモリに記憶されてもよい。
本明細書で使用するとき、用語「または（もしくは）（ｏｒ）」は、特に断りのない限り（例えば、「あるいは（ｏｒ ｅｌｓｅ）」または「または、その代わりに（ｏｒ ｉｎ ｔｈｅ ａｌｔｅｒｎａｔｉｖｅ）」の使用）、非排他的な「または」を示すことを理解されたい。
様々な実施形態の態様が特許請求の範囲に明記される。それらおよび他の様々な実施形態の態様は、下記の番号付き条項に明記される。
１．
プロセッサおよびプロセッサに通信可能に接続されたメモリを含む装置であって、
プロセッサが、
１組の物体が中に置かれた物理領域を含む環境内で、関連付けられた視野を有するデバイスの定位を決定し、
そのデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報をデバイスの定位に基づいて決定し、
ある物体がビーコンの定位に一致する定位を有するとして登録されているか、ビーコン定位情報に基づいて決定し、
ある物体がビーコンの定位に一致する定位を有するとして登録されているかに関する決定に基づいて管理動作を行うように構成される、
装置。
２．
プロセッサが、
物理領域のモデルおよびデバイスのカメラによって取り込まれた像、または
屋内測位技法のうち少なくとも１つに基づいてデバイスの定位を決定するように構成される、
条項１に記載の装置。
３．
管理動作を行うために、プロセッサが、
ビーコンの定位に一致する定位を有するとして登録された物体がないとの決定に基づいて、
ビーコンに関連する物体を識別し、
ビーコンに関連する物体が環境に関連するとして登録されているか決定するように構成される、
条項１に記載の装置。
４．
ビーコンに関連する物体を識別するために、プロセッサが、
ビーコンから受信された情報に基づいてビーコンに関連する物体を識別するか、または
ビーコンの識別子を決定し、ビーコンに関連する物体へのビーコンの識別子のマッピングに基づいてビーコンに関連する物体を識別するように構成される、
条項３に記載の装置。
５．
プロセッサが、
ビーコンに関連する物体が環境に関連するとして登録されているとの決定に基づいて、
ビーコンに関連する物体が環境に関連するとして登録されており、かつビーコンに関連する物体の物体定位情報がビーコンのビーコン定位情報に一致しないことを示すメッセージを生成するか、
ビーコンに関連する物体の物体定位情報の更新に関するメッセージを生成するか、または
環境内の新しい場所へのビーコンに関連する物体の移動に関するメッセージを生成するように構成される、条項３に記載の装置。
６．
プロセッサが、
ビーコンに関連する物体が環境に関連するとして登録されていないとの決定に基づいて、
ビーコンに関連する物体の物体登録情報を決定し、
ビーコンに関連する物体の物体登録情報の格納を開始するように構成される、条項３に記載の装置。
７．
物体登録情報が、ビーコンから受信された情報または少なくとも１つのユーザ入力インタフェースを介して受信された情報のうち少なくとも１つから決定される、条項６に記載の装置。
８．
物体登録情報が、ビーコンに関連する物体の識別子、ビーコンに関連する物体の物体定位情報、または、ビーコンに関連する物体の物体特性もしくは能力の情報のうち少なくとも１つを含む、条項６に記載の装置。
９．
管理動作を行うために、プロセッサが、
ビーコンの定位に一致する定位を有するとして登録されている物体がないとの決定に基づいて、
ビーコンに関連する物体の物体登録情報を決定し、
ビーコンに関連する物体の物体登録情報の格納を開始するように構成される、
条項１に記載の装置。
１０．
物体登録情報が、ビーコンから受信された情報または少なくとも１つのユーザ入力インタフェースを介して受信された情報のうち少なくとも１つから決定される、条項９に記載の装置。
１１．
物体登録情報が、ビーコンに関連する物体の識別子、ビーコンに関連する物体の物体定位情報、または、ビーコンに関連する物体の物体特性もしくは能力の情報のうち少なくとも１つを含む、条項９に記載の装置。
１２．
管理動作を行うために、プロセッサが、
ビーコンの定位に一致する定位を有するとして登録されている物体がないとの決定に基づいて、
ビーコンに関連する物体の物体定位情報の更新に関するメッセージを生成するか、または、
環境内の新しい場所へのビーコンに関連する物体の移動に関するメッセージを生成するように構成される、
条項１に記載の装置。
１３．
管理動作を行うために、プロセッサが、
ある物体がビーコンの定位に一致する定位を有するとして登録されているとの決定に基づいて、
ビーコンの定位に一致する定位を有するとして登録されている物体に関連する検出物体構成情報をビーコンから取得し、
ビーコンの定位に一致する定位を有するとして登録されている物体に関連する登録物体構成情報を取得し、
検出物体構成情報と登録物体構成情報を比較するように構成される、
条項１に記載の装置。
１４．
プロセッサが、
検出物体構成情報と登録物体構成情報が一致しないとの決定に基づいて、
検出物体構成情報に基づき登録物体情報を更新するように構成される、
条項１３に記載の装置。
１５．
プロセッサが、
検出物体構成情報と登録物体構成情報が一致しないとの決定に基づいて、
検出物体構成情報と登録物体構成情報が一致しないことを示すメッセージを作成するか、
検出物体構成情報に基づく登録物体構成情報の更新に関するメッセージを作成するか、または、
登録物体構成情報に基づく物体の再構成に関するメッセージを作成するように構成される、
条項１３に記載の装置。
１６．
装置がデバイスであるか、または、デバイスと通信するように構成されたネットワークデバイスである、条項１に記載の装置。
１７．
デバイスが拡張現実デバイスを備える、条項１に記載の装置。
１８．
装置が、環境の像を取り込むように構成されたタイムオブフライト方式のカメラをさらに備える、
条項１に記載の装置。
１９．
命令を記憶するコンピュータ可読記憶媒体であって、その命令がコンピュータによって実行されるとコンピュータに方法を行わせ、その方法が、
１組の物体が中に置かれた物理領域を含む環境内で、関連付けられた視野を有するデバイスの定位を決定するステップと、
そのデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報をデバイスの定位に基づいて決定するステップと、
ある物体がビーコンの定位に一致する定位を有するとして登録されているか、ビーコン定位情報に基づいて決定するステップと、
ある物体がビーコンの定位に一致する定位を有するとして登録されているかに関する決定に基づいて管理動作を行うステップとを含む、
コンピュータ可読記憶媒体。
２０．
１組の物体が置かれた物理領域を含む環境内で、関連付けられた視野を有するデバイスの定位を決定し、
そのデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報をデバイスの定位に基づいて決定し、
ある物体がビーコンの定位に一致する定位を有するとして登録されているか、ビーコン定位情報に基づいて決定し、
ある物体がビーコンの定位に一致する定位を有するとして登録されているかに関する決定に基づいて管理動作を行うために、
プロセッサおよびメモリを使用するステップを含む、
方法。
本明細書に提示された教示を組み込んだ様々な実施形態が示されており、本明細書で詳細に説明したが、当業者が、変更後もそれらの教示を組み込んだ、他の多くの変更形態を容易に考案できることを理解されたい。

Claims (10)

  1. プロセッサおよびプロセッサに通信可能に接続されたメモリを含む装置であって、
    プロセッサが、
    １組の物体が中に置かれた物理領域を含む環境内で、関連付けられた視野を有するデバイスの定位を決定し、
    そのデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報をデバイスの定位に基づいて決定し、
    ある物体がビーコンの定位に一致する定位を有するとして登録されているか、ビーコン定位情報に基づいて決定し、
    ある物体がビーコンの定位に一致する定位を有するとして登録されているかに関する決定に基づいて管理動作を行うように構成される、
    装置。
  2. 管理動作を行うために、プロセッサが、
    ビーコンの定位に一致する定位を有するとして登録された物体がないとの決定に基づいて、
    ビーコンに関連する物体を識別し、
    ビーコンに関連する物体が環境に関連するとして登録されているか決定するように構成される、
    請求項１に記載の装置。
  3. ビーコンに関連する物体を識別するために、プロセッサが、
    ビーコンから受信された情報に基づいてビーコンに関連する物体を識別するか、または
    ビーコンの識別子を決定し、ビーコンに関連する物体へのビーコンの識別子のマッピングに基づいてビーコンに関連する物体を識別するように構成される、
    請求項２に記載の装置。
  4. プロセッサが、
    ビーコンに関連する物体が環境に関連するとして登録されているとの決定に基づいて、
    ビーコンに関連する物体が環境に関連するとして登録されており、かつビーコンに関連する物体の物体定位情報がビーコンのビーコン定位情報に一致しないことを示すメッセージを生成するか、
    ビーコンに関連する物体の物体定位情報の更新に関するメッセージを生成するか、または
    環境内の新しい場所へのビーコンに関連する物体の移動に関するメッセージを生成するように構成される、
    請求項２に記載の装置。
  5. プロセッサが、
    ビーコンに関連する物体が環境に関連するとして登録されていないとの決定に基づいて、
    ビーコンに関連する物体の物体登録情報を決定し、
    ビーコンに関連する物体の物体登録情報の格納を開始するように構成される、
    請求項２に記載の装置。
  6. 管理動作を行うために、プロセッサが、
    ビーコンの定位に一致する定位を有するとして登録されている物体がないとの決定に基づいて、
    ビーコンに関連する物体の物体登録情報を決定し、
    ビーコンに関連する物体の物体登録情報の格納を開始するように構成される、
    請求項１に記載の装置。
  7. 管理動作を行うために、プロセッサが、
    ビーコンの定位に一致する定位を有するとして登録されている物体がないとの決定に基づいて、
    ビーコンに関連する物体の物体定位情報の更新に関するメッセージを生成するか、または、
    環境内の新しい場所へのビーコンに関連する物体の移動に関するメッセージを生成するように構成される、
    請求項１に記載の装置。
  8. 管理動作を行うために、プロセッサが、
    ある物体がビーコンの定位に一致する定位を有するとして登録されているとの決定に基づいて、
    ビーコンの定位に一致する定位を有するとして登録されている物体に関連する検出物体構成情報をビーコンから取得し、
    ビーコンの定位に一致する定位を有するとして登録されている物体に関連する登録物体構成情報を取得し、
    検出物体構成情報と登録物体構成情報を比較するように構成される、
    請求項１に記載の装置。
  9. 命令を記憶するコンピュータ可読記憶媒体であって、その命令がコンピュータによって実行されるとコンピュータに方法を行わせ、その方法が、
    １組の物体が中に置かれた物理領域を含む環境内で、関連付けられた視野を有するデバイスの定位を決定するステップと、
    そのデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報をデバイスの定位に基づいて決定するステップと、
    ある物体がビーコンの定位に一致する定位を有するとして登録されているか、ビーコン定位情報に基づいて決定するステップと、
    ある物体がビーコンの定位に一致する定位を有するとして登録されているかに関する決定に基づいて管理動作を行うステップとを含む、
    コンピュータ可読記憶媒体。
  10. １組の物体が置かれた物理領域を含む環境内で、関連付けられた視野を有するデバイスの定位を決定し、
    そのデバイスの視野内にあるとして検出されたビーコンの定位を示すビーコン定位情報をデバイスの定位に基づいて決定し、
    ある物体がビーコンの定位に一致する定位を有するとして登録されているか、ビーコン定位情報に基づいて決定し、
    ある物体がビーコンの定位に一致する定位を有するとして登録されているかに関する決定に基づいて管理動作を行うために、
    プロセッサおよびメモリを使用するステップを含む、
    方法。
JP2016565302A 2014-04-29 2015-04-10 拡張現実に基づくスマート環境の表現の管理 Pending JP2017523619A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/264,194 2014-04-29
US14/264,194 US9728009B2 (en) 2014-04-29 2014-04-29 Augmented reality based management of a representation of a smart environment
PCT/IB2015/000635 WO2015166337A2 (en) 2014-04-29 2015-04-10 Augmented reality based management of a representation of a smart environment

Publications (1)

Publication Number Publication Date
JP2017523619A true JP2017523619A (ja) 2017-08-17

Family

ID=54015122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016565302A Pending JP2017523619A (ja) 2014-04-29 2015-04-10 拡張現実に基づくスマート環境の表現の管理

Country Status (5)

Country Link
US (1) US9728009B2 (ja)
EP (1) EP3137977A2 (ja)
JP (1) JP2017523619A (ja)
CN (1) CN106462238A (ja)
WO (1) WO2015166337A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166580A1 (ja) * 2023-02-08 2024-08-15 Ｎｅｃプラットフォームズ株式会社 状況把握支援装置、状況把握支援方法、及びコンピュータ読み取り可能な記憶媒体

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9510329B2 (en) * 2014-07-25 2016-11-29 Aruba Networks, Inc. Dynamic user-configurable information element
US10210661B2 (en) * 2016-04-25 2019-02-19 Microsoft Technology Licensing, Llc Location-based holographic experience
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
US10360744B1 (en) * 2016-11-17 2019-07-23 Alarm.Com Incorporated Verified access to a monitored property
US20180158244A1 (en) * 2016-12-02 2018-06-07 Ayotle Virtual sensor configuration
EP3333590A1 (en) * 2016-12-12 2018-06-13 Nxp B.V. Apparatus and associated methods
US10760815B2 (en) * 2017-12-19 2020-09-01 Honeywell International Inc. Building system commissioning using mixed reality
FR3076360B1 (fr) * 2017-12-28 2020-08-07 Thales Sa Systeme et procede de controle d'identite
WO2019168886A1 (en) * 2018-03-02 2019-09-06 Purdue Research Foundation System and method for spatially mapping smart objects within augmented reality scenes
WO2019189965A1 (ko) * 2018-03-30 2019-10-03 데이터얼라이언스 주식회사 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
US10972360B2 (en) * 2018-05-08 2021-04-06 Lexi Devices, Inc. Dynamic design of a lighting configuration
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
JP7503542B2 (ja) * 2018-10-05 2024-06-20 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
EP4052086A4 (en) 2019-10-31 2023-11-15 Magic Leap, Inc. EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES
JP2023504570A (ja) 2019-12-09 2023-02-03 マジック リープ， インコーポレイテッド 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
US11287155B2 (en) 2020-02-11 2022-03-29 Honeywell International Inc. HVAC system configuration with automatic parameter generation
US11526976B2 (en) 2020-02-11 2022-12-13 Honeywell International Inc. Using augmented reality to assist in device installation
US11237534B2 (en) 2020-02-11 2022-02-01 Honeywell International Inc. Managing certificates in a building management system
WO2021163300A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
WO2021227082A1 (en) * 2020-05-15 2021-11-18 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for positioning internet of things devices
US11106328B1 (en) * 2020-07-28 2021-08-31 Qualcomm Incorporated Private control interfaces for extended reality
US11847310B2 (en) 2020-10-09 2023-12-19 Honeywell International Inc. System and method for auto binding graphics to components in a building management system
US11921876B1 (en) * 2023-06-14 2024-03-05 Snowflake Inc. Organization-level global data object on data platform
US11909743B1 (en) 2023-07-13 2024-02-20 Snowflake Inc. Organization-level account on data platform

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207073A (ja) * 2001-01-11 2002-07-26 Sony Corp 情報処理装置および方法、並びにプログラム
US20060007304A1 (en) * 2004-07-09 2006-01-12 Duane Anderson System and method for displaying item information
JP2006128854A (ja) * 2004-10-27 2006-05-18 Sony Corp 携帯端末装置、及び携帯端末装置の遠隔制御プログラム
US20090187374A1 (en) * 2008-01-22 2009-07-23 Richard Baxter Wireless position sensing in three dimensions using ultrasound
JP2011097167A (ja) * 2009-10-27 2011-05-12 Allied Resources Communications:Kk デバイス発見方法
US20110276338A1 (en) * 2010-05-04 2011-11-10 General Electric Company Automated workflow engine in a delivery of healthcare
US20130169682A1 (en) * 2011-08-24 2013-07-04 Christopher Michael Novak Touch and social cues as inputs into a computer
US20140023335A1 (en) * 2012-07-19 2014-01-23 Fabriq, Ltd. Video apparatus and method for identifying and commissioning devices

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040022422A1 (en) * 2002-08-02 2004-02-05 Masaki Yamauchi Authentication apparatus and authentication method
EP2688229B1 (en) * 2012-07-17 2017-08-30 Alcatel Lucent Method for detecting interactive devices and associated equipments

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207073A (ja) * 2001-01-11 2002-07-26 Sony Corp 情報処理装置および方法、並びにプログラム
US20060007304A1 (en) * 2004-07-09 2006-01-12 Duane Anderson System and method for displaying item information
JP2006128854A (ja) * 2004-10-27 2006-05-18 Sony Corp 携帯端末装置、及び携帯端末装置の遠隔制御プログラム
US20090187374A1 (en) * 2008-01-22 2009-07-23 Richard Baxter Wireless position sensing in three dimensions using ultrasound
JP2011097167A (ja) * 2009-10-27 2011-05-12 Allied Resources Communications:Kk デバイス発見方法
US20110276338A1 (en) * 2010-05-04 2011-11-10 General Electric Company Automated workflow engine in a delivery of healthcare
US20130169682A1 (en) * 2011-08-24 2013-07-04 Christopher Michael Novak Touch and social cues as inputs into a computer
US20140023335A1 (en) * 2012-07-19 2014-01-23 Fabriq, Ltd. Video apparatus and method for identifying and commissioning devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166580A1 (ja) * 2023-02-08 2024-08-15 Ｎｅｃプラットフォームズ株式会社 状況把握支援装置、状況把握支援方法、及びコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
US20150310664A1 (en) 2015-10-29
WO2015166337A3 (en) 2016-01-14
US9728009B2 (en) 2017-08-08
CN106462238A (zh) 2017-02-22
EP3137977A2 (en) 2017-03-08
WO2015166337A2 (en) 2015-11-05

Similar Documents

Publication Publication Date Title
US9728009B2 (en) Augmented reality based management of a representation of a smart environment
KR102385263B1 (ko) 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법
US10860954B1 (en) Roomfinder platform
CN110537101B (zh) 用于确定物体位置的定位系统
US9367811B2 (en) Context aware localization, mapping, and tracking
JP6625740B2 (ja) Ｉｏｔ対話システム
US11096008B1 (en) Indoor positioning techniques using beacons
JP6624406B2 (ja) 位置検索システム、位置検索方法、発信装置、位置検出装置および設備機器
US10830593B2 (en) Cognitive fingerprinting for indoor location sensor networks
US11721078B2 (en) Information processing system, information processing terminal device, server device, information processing method and program thereof
CN105242666B (zh) 一种控制设备移动的方法和装置
US10215858B1 (en) Detection of rigid shaped objects
JP2014139745A (ja) 機器管理システム、機器管理装置、機器管理方法及びプログラム
US10982960B2 (en) Systems and methods for real-time updating of attributes of an area and status of devices within the area
US20190162542A1 (en) Method And Apparatus For Indoor Mapping, Positioning, Or Navigation
KR20240142445A (ko) 네트워크-중심적 증강 현실 프로세싱을 위한 장치, 컴퓨터-구현 방법, 및 컴퓨터 프로그램 제품
Liu et al. A building/environment data based indoor positioning service
US11269041B2 (en) System for communicating a presence of a device via a light source
US20240144517A1 (en) Displaying an aggregation of data in dependence on a distance to a closest device in an image
US20220335693A1 (en) Mixed reality space sharing system, sharing information management server, mixed reality terminal, mixed reality space sharing method, and sharing information management program
Chen Vision-based Appliance Identification and Control with Smartphone Sensors in Commercial Buildings
JP2014106741A (ja) 捜索支援サーバ、捜索支援プログラム及び捜索支援システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181016