JP2020505691A - 物理的グラフに基づいてアクションをとること - Google Patents

Abstract

物理的グラフに基づいてアクションをとること。アクションをとることは、ユーザからのコマンド（自然言語コマンドなど）を解釈するエージェントの使用によって発生する。エージェントは、物理的空間の中の、および、複数のセンサにより観測される、１つまたは複数の物理的実体の状態を表す物理的グラフに対する少なくとも１つの問い合わせを組み立てることにより、コマンドに応答する。エージェントは、次いで、物理的グラフに対する問い合わせまたは複数の問い合わせを使用する。それらの問い合わせへの応答に応答して、エージェントは、とるべきアクションを識別する。そのようなアクションは、情報をユーザに提示すること、および、通信物を他のものへと外に送出することなどのアクションを含み得る。しかしながら、アクションは、物理的アクションを含むことさえある。実例として、エージェントは、（ロボットまたはドローンによってなどで）物理的アクションを実行する物理的アクションエンジンを含み得る。

Description

[0001]コンピューティングシステム、および、関連付けられるネットワークは、私たちの世界に大きな変革を起こした。最初は、コンピューティングシステムは、単純なタスクを実行することができるのみであった。しかしながら、処理パワーが増大し、ますます利用可能になったことにつれて、コンピューティングシステムにより実行されるタスクの複雑度は大幅に増大した。同じように、コンピューティングシステムのハードウェア複雑度および能力が、大きいデータセンタによりサポートされるクラウドコンピューティングによって例示されるように、大幅に増大した。

[0002]長い期間の時間の間、コンピューティングシステムは、本質的に、それらが、それらの命令またはソフトウェアにより命じられたことを行うにすぎなかった。しかしながら、ソフトウェア、および、ハードウェアの採用は、とても進歩させられた様態になりつつあるので、コンピューティングシステムは今や、これまでにないほど、より高いレベルでの、ある程度のレベルの意思決定の能力がある。現在では、いくつかの点において、意思決定のレベルは、意思決定する人間脳の能力に近付く、その能力に匹敵する、または、その能力を上回ることさえある。換言すれば、コンピューティングシステムは今や、ある程度のレベルの人工知能を用いる能力がある。

[0003]人工知能の１つの例は、物理的世界からの外部刺激の認識である。実例として、音声認識技術が、話されている単語を、および、話している人物のアイデンティティさえも、検出することにおいて高い度合いの正確性を可能とするように、大幅に向上した。同じように、コンピュータビジョンは、コンピューティングシステムが、自動的に、個別の写真、もしくは、ビデオのフレームの中の物体を識別すること、または、人間のアクティビティ（ａｃｔｉｖｉｔｙ）を一連のビデオフレームにわたって認識することを可能とする。例として、顔認識技術は、コンピューティングシステムが顔を認識することを可能とし、アクティビティ認識技術は、コンピューティングシステムが、２人の近接する人々が一緒に作業しているかどうかを知ることを可能とする。

[0004]これらの技術の各々は、深層学習（深層ニューラルネットワークベースの、および、強化ベースの学習機構）および機械学習アルゴリズムを用いて、経験から、音を生じさせているもの、および、画像の中にある物体または人々を学習し、以て、認識の正確性を経時的に向上させることができる。大きい数の視覚的な気を散らすものを伴う、より複雑な画像化されたシーンの中の物体を認識することの領域において、進歩させられたコンピュータビジョン技術は今や、そのシーンの中の関心の物体を素早く、および正確に認識する人間の能力を上回る。従来のグラフィカル処理ユニット（ＧＰＵ）内の行列変換ハードウェアなどのハードウェアが、さらには、深層ニューラルネットワークの背景状況においての物体認識においての迅速な速さの一因となり得る。

[0005]本明細書で請求される主題は、何らかの欠点を解決する、または、上記で説明されたものなどの環境においてのみ動作する、実施形態に制限されない。むしろ、本背景技術は、本明細書で説明される一部の実施形態が実践され得る、１つの例示的な技術領域を例解するために提供されるのみである。

[0006]本明細書で説明される少なくとも一部の実施形態は、物理的グラフに基づいてアクションをとることに関係する。アクションをとることは、ユーザからの１つまたは複数のコマンドを解釈するエージェントの使用によって発生する。実例として、コマンドは、ユーザにより自然言語の形で発行され得るものであり、その事例において、コマンドは、自然言語エンジンによって解釈される。エージェントは、物理的空間の中の、および、複数のセンサにより観測される、１つまたは複数の物理的実体の状態を表す物理的グラフに対する少なくとも１つの問い合わせを組み立てる（ｆｏｒｍｕｌａｔｉｎｇ）ことにより、コマンドに応答する。エージェントは、次いで、物理的グラフに対する問い合わせまたは複数の問い合わせを使用する。それらの問い合わせへの応答に応答して、エージェントは、とるべきアクションを識別する。そのようなアクションは、情報をユーザに提示すること、および、通信物を他のものへと外に送出することなどのアクションを含み得る。しかしながら、アクションは、物理的アクションを含むことさえある。実例として、エージェントは、（例えば、ロボットまたはドローンによって）物理的アクションを実行する物理的アクションエンジンを含み得る。

[0007]かくして、本明細書で説明される原理は、現実世界の一部分のグラフを評価することにより、ユーザ発行される問い合わせおよびコマンドに応答する現実感エージェント（ｒｅａｌｉｔｙ ａｇｅｎｔ）を提供する。一部の実施形態において、現実感エージェントは、ユーザ発行される問い合わせおよびコマンドに応答して、現実世界に影響力を及ぼすことさえある。エージェントは、現実世界それ自体においてのユーザの増幅になる。エージェントは、しばしばユーザを缶詰にする（ｃａｎ ａ ｕｓｅｒ）現実世界情報およびアクティビティを観測する、より多くの性能を有する。エージェントは、そのような現実世界情報を記憶に留め、そのような現実世界情報について推論する、より多くの性能を有する。最後に、エージェントは、潜在的に、現実世界からの情報、および、現実世界について推論することに基づいて、現実世界において物理的アクションをとる、より多くの能力を有する。

[0008]本概要は、発明を実施するための形態において下記でさらに説明される、単純化された形式での概念の選択物を紹介するために提供されるものである。本概要は、請求される主題の、主要な特徴、または本質的な特徴を識別することを意図されず、本概要は、請求される主題の範囲を決定することにおいて一助として使用されることもまた意図されない。

[0009]本発明の上記で詳説された、および他の、利点および特徴が得られ得る様式を説明するために、上記で簡潔に説明された本発明のより詳しい説明が、添付される図面において例解される、本発明の具体的な実施形態への参照により与えられることになる。これらの図面は、本発明の典型的な実施形態のみを描写し、それゆえに、本発明の範囲について制限的であると考えられることにはならないということを理解して、本発明が、付随する図面の使用によって、追加的な特殊性および詳細を伴って、記載および説明されることになる。

[0010]本明細書で説明される原理が用いられ得る例コンピュータシステムを例解する図である。 [0011]複数個の物理的実体および複数個のセンサを含む物理的空間と、物理的空間の中の物理的実体の特徴を検知する認識構成要素と、そのような物理的実体の検知される特徴を、計算および問い合わせすることがそれらの特徴に対して実行され得るように記憶する特徴ストア（記憶装置；ｓｔｏｒｅ）とを含む、本明細書で説明される原理が動作し得る環境を例解する図である。 [0012]場所の中の物理的実体を追跡するための、および、図２の環境において実行され得る、方法のフローチャートを例解する図である。 [0013]図３の方法を実行することを支援するために使用され得る、および、追跡される物理的実体に関する問い合わせを後で実行するために使用され得る、実体追跡データ構造を例解する図である。 [0013]関心の信号セグメントを効率的にレンダリングするための方法のフローチャートを例解する図である。 [0014]物理的空間内の１つもしくは複数のセンサにより検知される情報の作成、または、その情報へのアクセスを制御するための方法のフローチャートを例解する図である。 [0015]物理的空間内の検知される特徴のコンピュータナビゲート可能グラフ（ｃｏｍｐｕｔｅｒ−ｎａｖｉｇａｂｌｅ ｇｒａｐｈ）を作成することに加えて、さらには、コンピュータナビゲート可能グラフのプルーニング（枝刈り；ｐｒｕｎｉｎｇ）が存在することが、以て、現実世界のコンピュータナビゲート可能グラフを管理可能なサイズで保つためにあり得るということを示す、再帰フローを例解する図である。 [0016]エージェント（さらには、本明細書では「現実感エージェント」と呼ばれる）が、現実世界観測に基づいてアクションをとるための方法のフローチャートを例解する図である。 [0017]エージェント（図８のエージェントなど）が、ユーザコマンドに応答してアクションをとるための例動作環境を例解する図である。 [0018]１つまたは複数の物理的条件を、それらを基に１つまたは複数のアクションを実行するためにセットするための方法のフローチャートを例解する図である。

[0019]本明細書で説明される少なくとも一部の実施形態は、物理的グラフに基づいてアクションをとることに関係する。アクションをとることは、ユーザからの１つまたは複数のコマンドを解釈するエージェントの使用によって発生する。実例として、コマンドは、ユーザにより自然言語の形で発行され得るものであり、その事例において、コマンドは、自然言語エンジンによって解釈される。エージェントは、物理的空間の中の、および、複数のセンサにより観測される、１つまたは複数の物理的実体の状態を表す物理的グラフに対する少なくとも１つの問い合わせを組み立てることにより、コマンドに応答する。エージェントは、次いで、物理的グラフに対する問い合わせまたは複数の問い合わせを使用する。それらの問い合わせへの応答に応答して、エージェントは、とるべきアクションを識別する。そのようなアクションは、情報をユーザに提示すること、および、通信物を他のものへと外に送出することなどのアクションを含み得る。しかしながら、アクションは、物理的アクションを含むことさえある。実例として、エージェントは、（例えば、ロボットまたはドローンによって）物理的アクションを実行する物理的アクションエンジンを含み得る。

[0020]かくして、本明細書で説明される原理は、現実世界の一部分のグラフを評価することにより、ユーザ発行される問い合わせおよびコマンドに応答する現実感エージェントを提供する。一部の実施形態において、現実感エージェントは、ユーザ発行される問い合わせおよびコマンドに応答して、現実世界に影響力を及ぼすことさえある。エージェントは、現実世界それ自体においてのユーザの増幅になる。エージェントは、しばしばユーザを缶詰にする現実世界情報およびアクティビティを観測する、より多くの性能を有する。エージェントは、そのような現実世界情報を記憶に留め、そのような現実世界情報について推論する、より多くの性能を有する。最後に、エージェントは、潜在的に、現実世界からの情報、および、現実世界について推論することに基づいて、現実世界において物理的アクションをとる、より多くの能力を有する。

[0021]本明細書で説明される原理は、コンピューティングシステムの背景状況において動作するので、コンピューティングシステムが、図１について説明されることになる。次いで、基にしてアンビエントコンピューティングが実行され得る、基盤の原理が、次いで、図２ないし４について説明されることになる。コンピュータナビゲート可能グラフからの信号セグメントを得ることが、次いで、図５について説明されることになる。その後、アンビエントコンピューティングの背景状況においてのセキュリティのアプリケーションが、図６について説明されることになる。コンピュータナビゲート可能グラフのサイズを管理することが、図７について説明されることになる。現実感エージェントが、次いで、図８および９について説明されることになる。最後に、物理的条件を指定することにより将来に影響を及ぼすための方法が、図１０について説明される。

[0022]コンピューティングシステムは、今やますます、多種多様の形式をとっている。コンピューティングシステムは、例えば、ハンドヘルドデバイス、家電、ラップトップコンピュータ、デスクトップコンピュータ、メインフレーム、分散型コンピューティングシステム、データセンタであることがあり、または、ウェアラブル（例えば、眼鏡、腕時計、バンド、等々）などの、従来からコンピューティングシステムと考えられなかったデバイスであることさえある。本説明において、および、特許請求の範囲において、用語「コンピューティングシステム」は、少なくとも１つの物理的および有形なプロセッサと、プロセッサにより実行され得るコンピュータ実行可能命令を有する能力がある物理的および有形なメモリとを含む、任意のデバイスまたはシステム（または、それらの組み合わせ）を含むと幅広く定義される。メモリは、任意の形式をとり得るものであり、コンピューティングシステムの性質および形式に依存し得る。コンピューティングシステムは、ネットワーク環境にわたって分散型であり得るものであり、複数個の構成物コンピューティングシステムを含み得る。

[0023]図１において例解されるように、その最も基本的な構成において、コンピューティングシステム１００は、典型的には、少なくとも１つのハードウェア処理ユニット１０２と、メモリ１０４とを含む。メモリ１０４は、揮発性、不揮発性、または、その２つの何らかの組み合わせであり得る、物理的システムメモリであり得る。用語「メモリ」は、さらには、本明細書では、物理的記憶媒体などの不揮発性大容量記憶機構を指すために使用され得る。コンピューティングシステムが分散型であるならば、処理、メモリ、および／または記憶能力もまた分散型であり得る。

[0024]コンピューティングシステム１００は、しばしば「実行可能構成要素」と呼称される、複数個の構造を有する。実例として、コンピューティングシステム１００のメモリ１０４は、実行可能構成要素１０６を含むように例解される。用語「実行可能構成要素」は、ソフトウェア、ハードウェア、または、それらの組み合わせであり得る構造であると、コンピューティングの分野の当業者に十分に理解されている構造に対する名前である。実例として、ソフトウェアの形で実現されるとき、当業者は、実行可能構成要素の構造は、そのような実行可能構成要素がコンピューティングシステムのヒープ内に実在するかどうかを問わず、または、実行可能構成要素がコンピュータ可読記憶媒体上に実在するかどうかを問わず、コンピューティングシステム上で実行され得るソフトウェアオブジェクト、ルーチン、メソッドを含み得るということを理解するであろう。

[0025]そのような事例において、当業者は、実行可能構成要素の構造は、コンピューティングシステムの１つまたは複数のプロセッサにより（例えば、プロセッサスレッドにより）解釈されるときに、コンピューティングシステムが機能を実行することを引き起こされるように、コンピュータ可読媒体上に実在するということを認識するであろう。そのような構造は、（実行可能構成要素がバイナリであるならば事実であるが）プロセッサにより直接的にコンピュータ可読であり得る。代替的に、構造は、解釈可能であるように、および／または、プロセッサにより直接的に解釈可能であるそのようなバイナリを生成するために（単一の段階においてか、複数個の段階においてかを問わず）コンパイルされるように構造化され得る。実行可能構成要素の例構造のそのような理解は、十分に、用語「実行可能構成要素」を使用するときのコンピューティングの技術分野の当業者の理解の範囲内である。

[0026]用語「実行可能構成要素」は、さらには、当業者により、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、または、任意の他の特殊化された回路の中でなど、ハードウェアの形で、専一に、または、ほぼ専一に実現される構造を含むと十分に理解されている。よって、用語「実行可能構成要素」は、実現されるのがソフトウェアの形か、ハードウェアの形か、組み合わせの形かを問わず、コンピューティングの技術分野の当業者により、十分に理解されている構造に対する用語である。本説明において、用語「構成要素」が、さらには使用され得る。本説明において、および、その事例において使用される際、この用語（用語が１つまたは複数の修飾語句によって修飾されるかどうかに関わらず）は、さらには、用語「実行可能構成要素」と同義であり、または、そのような「実行可能構成要素」の特定のタイプであり、かくして、さらには、コンピューティングの技術分野の当業者により、十分に理解されている構造を有することを意図される。

[0027]後に続く説明において、実施形態は、１つまたは複数のコンピューティングシステムにより実行される行為を参照して説明される。そのような行為がソフトウェアの形で実現されるならば、（行為を実行する、関連付けられるコンピューティングシステムの）１つまたは複数のプロセッサは、実行可能構成要素を組成するコンピュータ実行可能命令を実行したことに応答して、コンピューティングシステムの動作を指図する。例えば、そのようなコンピュータ実行可能命令は、コンピュータプログラム製品をする、１つまたは複数のコンピュータ可読媒体上で実施され得る。そのような動作の例は、データの操作を必然的に含む。

[0028]コンピュータ実行可能命令（および、操作されたデータ）は、コンピューティングシステム１００のメモリ１０４内に記憶され得る。コンピューティングシステム１００は、さらには、コンピューティングシステム１００が、他のコンピューティングシステムと、例えばネットワーク１１０を介して通信することを可能とする、通信チャネル１０８を内包し得る。

[0029]すべてのコンピューティングシステムがユーザインターフェイスを要するとは限らないが、一部の実施形態において、コンピューティングシステム１００は、ユーザとインターフェイス接続することにおいての使用のためのユーザインターフェイス１１２を含む。ユーザインターフェイス１１２は、出力機構１１２Ａと、入力機構１１２Ｂとを含み得る。本明細書で説明される原理は、寸分違わない出力機構１１２Ａまたは入力機構１１２Ｂに制限されるものではなく、なぜならば、そのようなものは、デバイスの性質に依存することになるからである。しかしながら、出力機構１１２Ａは、実例として、スピーカ、ディスプレイ、触覚出力、ホログラム、仮想現実感、等々を含み得る。入力機構１１２Ｂの例は、実例として、マイクロホン、タッチスクリーン、ホログラム、仮想現実感、カメラ、キーボード、他のポインタ入力のマウス、任意のタイプのセンサ、等々を含み得る。

[0030]本明細書で説明される実施形態は、例えば、下記でより詳細に論考されるような、１つまたは複数のプロセッサおよびシステムメモリなどのコンピュータハードウェアを含む、専用または汎用コンピューティングシステムを、含む、または、利用することがある。本明細書で説明される実施形態は、さらには、コンピュータ実行可能命令および／またはデータ構造を、搬送または記憶するための、物理的な、および他のコンピュータ可読媒体を含む。そのようなコンピュータ可読媒体は、汎用または専用コンピューティングシステムによりアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータ実行可能命令を記憶するコンピュータ可読媒体は、物理的記憶媒体である。コンピュータ実行可能命令を搬送するコンピュータ可読媒体は、伝送媒体である。かくして、制限ではなく例として、実施形態は、少なくとも２つの明確に異なる種類のコンピュータ可読媒体：記憶媒体および伝送媒体を含み得る。

[0031]コンピュータ可読記憶媒体は、所望されるプログラムコード手段をコンピュータ実行可能命令またはデータ構造の形式で記憶するために使用され得る、および、汎用または専用コンピューティングシステムによりアクセスされ得る、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光学ディスク記憶機構、磁気ディスク記憶機構もしくは他の磁気記憶デバイス、または、任意の他の物理的および有形な記憶媒体を含む。

[0032]「ネットワーク」は、コンピューティングシステム、および／またはモジュール、および／または他の電子デバイスの間の電子データの移送を可能にする、１つまたは複数のデータリンクと定義される。情報が、ネットワークまたは別の通信接続（ハードワイヤード、ワイヤレス、または、ハードワイヤードもしくはワイヤレスの組み合わせのいずれか）を介して、コンピューティングシステムに転送または提供されるとき、コンピューティングシステムは、当然のことながら、接続を伝送媒体とみなす。伝送媒体は、所望されるプログラムコード手段をコンピュータ実行可能命令またはデータ構造の形式で搬送するために使用され得る、および、汎用または専用コンピューティングシステムによりアクセスされ得る、ネットワークおよび／またはデータリンクを含み得る。上記のものの組み合わせが、さらには、コンピュータ可読媒体の範囲の中に含まれるべきである。

[0033]さらに、様々なコンピューティングシステム構成要素に達すると、コンピュータ実行可能命令またはデータ構造の形式でのプログラムコード手段は、自動的に、伝送媒体から記憶媒体に（または、その逆に）転送され得る。例えば、ネットワークまたはデータリンクを介して受信される、コンピュータ実行可能命令またはデータ構造は、ネットワークインターフェイスモジュール（例えば、「ＮＩＣ」）の中のＲＡＭ内にバッファリングされ得るものであり、次いで結局のところは、コンピューティングシステムＲＡＭに、および／または、コンピューティングシステムにおいての、より揮発性でない記憶媒体に転送され得る。かくして、可読媒体は、さらには（または、主としてでさえあるが）伝送媒体を利用するコンピューティングシステム構成要素内に含まれ得るということが理解されるべきである。

[0034]コンピュータ実行可能命令は、例えば、プロセッサにおいて実行されるときに、汎用コンピューティングシステム、専用コンピューティングシステム、または専用処理デバイスが、所定の機能、または機能のグループを実行することを引き起こす、命令およびデータを含む。代替的に、または加えて、コンピュータ実行可能命令は、コンピューティングシステムを、所定の機能、または機能のグループを実行するように構成し得る。コンピュータ実行可能命令は、例えば、バイナリであることがあり、または、アセンブリ言語などの中間フォーマット命令などの、プロセッサによる直接的な実行の前に何らかの翻訳（コンパイルなど）を経る命令であることさえあり、または、ソースコードであることさえある。

[0035]当業者は、本発明が、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースの、またはプログラマブルな民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、移動電話、ＰＤＡ、ページャ、ルータ、スイッチ、データセンタ、ウェアラブル（眼鏡または腕時計など）、および同類のものを含む、多くのタイプのコンピューティングシステム構成によって、ネットワークコンピューティング環境において実践され得るということを察知するであろう。本発明は、さらには、分散型システム環境において実践され得るものであり、それらの環境において、ネットワークを通して（ハードワイヤードデータリンク、ワイヤレスデータリンクによって、または、ハードワイヤードデータリンクおよびワイヤレスデータリンクの組み合わせによってのいずれかで）リンクされる、ローカルコンピューティングシステムおよびリモートコンピューティングシステムが、両方ともタスクを実行する。分散型システム環境において、プログラムモジュールは、ローカルおよびリモートの両方のメモリ記憶デバイス内に配置され得る。

[0036]当業者は、さらには、本発明が、クラウドコンピューティング環境において実践され得るということを察知するであろう。クラウドコンピューティング環境は分散型であり得るが、このことは要されるものではない。分散型のとき、クラウドコンピューティング環境は、組織の中で国際的に分散型であり得るものであり、および／または、複数個の組織にわたって所有される構成要素を有し得る。本説明、および、後に続く特許請求の範囲において、「クラウドコンピューティング」は、構成可能コンピューティングリソース（例えば、ネットワーク、サーバ、記憶機構、アプリケーション、およびサービス）の共有プールへのオンデマンドネットワークアクセスを可能にするためのモデルと定義される。「クラウドコンピューティング」の定義は、適正に配備されるときにそのようなモデルから得られ得る、他の数多くの利点のいずれにも制限されない。

[0037]実例として、クラウドコンピューティングは現在、構成可能コンピューティングリソースの共有プールへの、ユビキタスな、および便利なオンデマンドアクセスを供するように、市場において用いられる。さらにまた、構成可能コンピューティングリソースの共有プールは、仮想化によって迅速にプロビジョニングされ、低い管理労力またはサービスプロバイダ対話によって解放され、次いで、適宜スケーリングされ得る。

[0038]クラウドコンピューティングモデルは、オンデマンドセルフサービス、幅広いネットワークアクセス、リソースプーリング、迅速な弾力性（ｒａｐｉｄ ｅｌａｓｔｉｃｉｔｙ）、測定されるサービス、等々のような、様々な特性からなり得る。クラウドコンピューティングモデルは、さらには、例えば、サービスとしてのソフトウェア（「ＳａａＳ」）、サービスとしてのプラットフォーム（「ＰａａＳ」）、および、サービスとしてのインフラストラクチャ（「ＩａａＳ」）などの、様々なサービスモデルの形式で生じ得る。クラウドコンピューティングモデルは、さらには、プライベートクラウド、コミュニティクラウド、パブリッククラウド、ハイブリッドクラウド、等々のような、異なる配備モデルを使用して配備され得る。本説明において、および、特許請求の範囲において、「クラウドコンピューティング環境」は、クラウドコンピューティングが用いられる環境である。

[0039]図２は、本明細書で説明される原理が動作し得る環境２００を例解する。環境２００は、パターンを有する、物理的信号（電磁放射または音響など）を放出する、または反射させる、任意の現存の物体、人物、または物であり得る、複数個の物理的実体２１０を含む、物理的空間２０１を含み、そのパターンは、それぞれの物体、人物、または物の、１つまたは複数の物理的特徴（さらには、本明細書では状態と呼ばれる）を潜在的に識別するために使用され得る。そのような潜在的に識別する電磁放射の例は、光パターンを有する可視光（例えば、静止画像またはビデオ）であり、その光パターンから、可視実体の特性が探知され得る。そのような光パターンは、任意の時間的な、空間的な、または、より高くさえある次元の空間であり得る。そのような音響の例は、正常の動作においての、または、アクティビティもしくは事象を経る、人間の音声、物体の音、あるいは、反射させられる音響エコーであり得る。

[0040]環境２００は、さらには、物理的実体２１０から物理的信号を受信するセンサ２２０を含む。センサは、当然ながら、物理的実体が放出する、または反射させる、あらゆる物理的信号を拾い上げる必要はない。実例として、可視光カメラ（静止またはビデオ）は、電磁放射を可視光の形式で受信し、そのような信号を処理可能な形式へと変換する能力があるが、カメラはすべて有限のダイナミックレンジを有するので、任意の周波数のすべての電磁放射を拾い上げることはできない。音響センサは、同じように、所定の周波数レンジに対して設計される、制限されたダイナミックレンジを有する。任意の事例において、センサ２２０は、（矢印２２９により表されるように）結果的に生じるセンサ信号を認識構成要素２３０に提供する。

[0041]認識構成要素２３０は、受信されるセンサ信号において検出されるパターンに基づいて、場所の中の物理的実体２１０の１つまたは複数の特徴を、少なくとも推定（例えば、推定または認識）する。認識構成要素２３０は、さらには、物理的実体の特徴の「少なくとも推定」と関連付けられる信頼度レベルを生成し得る。その信頼度レベルが１００％未満であるならば、「少なくとも推定」は推定にすぎない。その信頼度レベルが１００％であるならば、「少なくとも推定」は現実に推定を超えるものであり、それは認識である。本説明の残りにおいて、および、特許請求の範囲において、「少なくとも推定される」特徴は、さらには、明快さを高めるために、「検知される」特徴と呼称されることになる。このことは、用語「検知する」の通常の使用法と整合するものであり、なぜならば、「検知される」特徴は、常に完全な確実性を伴って存在するとは限らないからである。認識構成要素２３０は、深層学習（深層ニューラルネットワークベースの、および、強化ベースの学習機構）および機械学習アルゴリズムを用いて、経験から、画像の中にある全部の物体または人々を学習し、以て、認識の正確性を経時的に向上させることができる。

[0042]認識構成要素２３０は、（矢印２３９により表されるように）検知される特徴を、検知される特徴ストア２４０内へと提供するものであり、その検知される特徴ストア２４０は、物理的実体が物理的空間の中にあるのが、短い時間の間か、長い時間の間か、永続的にかを問わず、場所２０１の中の各々の物理的実体に対する、検知される特徴（および、関連付けられる信頼度レベル）を記憶することができる。計算構成要素２５０は、次いで、検知される特徴ストア２４０内で提供される、検知される特徴データに関する種々の問い合わせおよび／または計算を実行し得る。問い合わせおよび／または計算は、計算構成要素２５０と、検知される特徴ストア２４０との間の（矢印２４９により表される）対話により可能にされ得る。

[0043]一部の実施形態において、認識構成要素２３０が、センサにより提供されるセンサ信号を使用して、場所２０１の中の物理的実体の検知される特徴を検知するとき、センサ信号は、さらには、検知される特徴ストアなどのストアに提供される。実例として、図２において、検知される特徴ストア２４０は、検知される特徴２４１と、検知特徴の証拠を表す、対応するセンサ信号２４２とを含むように例解される。

[0044]検知される複数の実体のうちの少なくとも１つに対する、検知される特徴のうちの少なくとも１つ（および、好ましくは、多く）に対して、少なくとも１つの信号セグメントが、検知される特徴とコンピュータで関連付けられ、そのことによって、検知される特徴へのコンピュータナビゲーションが、さらには、信号セグメントへのコンピュータナビゲーションを可能とする。検知される信号の、関連付けられる信号セグメントとの関連付けは、継続的に実行され得るものであり、かくして、拡張するグラフ、および、信号セグメントの拡張するコレクションを結果的に生じさせる。それでもやはり、下記でさらに説明されるように、ガベージコレクションプロセスが、古くさい、または、もはや関心のものではない、検知される特徴および／または信号セグメントをクリーンアップするために使用され得る。

[0045]信号セグメントは、実例として、信号セグメントを生成したセンサまたは複数のセンサの識別情報などの、複数個のまとまりのメタデータを含み得る。信号セグメントは、そのセンサにより生成された信号のすべてを含む必要はなく、短さのために、おそらくは、個別の物理的実体の検知される特徴を検知するために使用された、信号の一部分のみを含み得る。その事例において、メタデータは、記憶された元の信号セグメントの一部分の記述を含み得る。

[0046]検知される信号は、センサにより生成される任意のタイプの信号であり得る。例は、ビデオ、画像、およびオーディオ信号を含む。しかしながら、信号の多様性は、人間により検知され得るものに制限されない。実例として、信号セグメントは、より良好な人間注目の人間観測を可能とするために、センサにより生成される信号の変換されるバージョンを表し得る。そのような変換は、フィルタリング、周波数に基づくそのようなフィルタリング、または量子化を含み得る。そのような変換は、さらには、増幅、周波数偏移、速さ調整、拡大、振幅調整、等々を含み得る。

[0047]記憶域所要量の低減、および、関心の信号への適正な注目を可能とするために、おそらくは、信号セグメントの一部分のみが記憶される。実例として、ビデオ信号ならば、おそらくは、ビデオのフレームの一部分のみが記憶される。さらにまた、任意の所与の画像に対して、おそらくは、フレームの、関連性のある一部分のみが記憶される。同じように、センサ信号が画像であったならば、おそらくは、画像の、関連性のある一部分のみが記憶される。信号セグメントを使用して特徴を検知する認識サービスは、信号セグメントのどの一部分が特徴を検知するために使用されたかを承知している。よって、認識サービスは、任意の所与の検知される特徴に対して、信号の、関連性のある一部分を具体的にくりぬくことができる。

[0048]計算構成要素２５０は、さらには、検知される特徴ストア２４０に関するデータへのアクセスを決定し得るセキュリティ構成要素２５１を有し得る。実例として、セキュリティ構成要素２５１は、どのユーザが、検知される特徴データ２４１および／またはセンサ信号２４２にアクセスし得るかを制御し得る。さらにまた、セキュリティ構成要素２５１は、検知される特徴データのどれにわたって計算が実行されるか、および／または、どのユーザが何のタイプの計算もしくは問い合わせを実行することを認可されるかを制御することさえある。かくして、セキュリティが効果的に達成される。このセキュリティに関する、より多くのことは、図６について下記で説明されることになる。

[0049]検知される特徴データは、物理的空間２０１の中の物理的実体の検知される特徴を経時的に表すので、複雑なコンピューティングが、物理的空間２０１の中の物理的実体に関して実行され得る。下記で説明されることになるように、ユーザにとって、それはあたかも、まさに環境それ自体が、その物理的空間に関する任意のコンピューティング問い合わせまたは計算に対して準備を整えている、助けになるコンピューティングパワーで満たされるかのようである。このことは、本明細書では以降、さらには「アンビエントコンピューティング」と呼称されることになる。

[0050]さらにまた、検知される特徴が関心のものであるときはいつでも、その特徴のその認識構成要素検知をサポートする証拠が再構築され得る。実例として、コンピューティング構成要素２４０は、個別の物理的実体が個別の場所に最初に進入したときのビデオ証拠を提供し得る。複数個のセンサが、その特徴を検知するために認識構成要素により使用されたセンサ信号を生成したならば、任意の個々のセンサ、または、センサの組み合わせに対するセンサ信号が、再構築および評価され得る。かくして、実例として、個別の場所に最初に進入する物理的実体のビデオ証拠が、異なる角度から再調査され得る。

[0051]物理的空間２０１は、図２において例解され、内にセンサを有する任意の物理的空間の抽象的表現であることを意図されるにすぎない。そのような物理的空間の無限の例があるが、例は、部屋、家、近所、工場、競技場、ビルディング、フロア、事務所、車、飛行機、宇宙船、ペトリ皿、パイプまたはチューブ、大気圏、地下空間、洞窟、陸地、それらの組み合わせおよび／または一部分を含む。物理的空間２０１は、その場所の中の物理的実体から放出される、それらの物理的実体により影響を及ぼされる（例えば、回折、周波数偏移、エコー、その他）、および／または、それらの物理的実体から反射させられる信号を受信する能力があるセンサが存在する限りにおいて、観測可能な宇宙の全体、または、その任意の一部分であり得る。

[0052]物理的空間２０１の中の物理的実体２１０は、単に例として、４つの物理的実体２１１、２１２、２１３、および２１４を含むように例解される。省略符号２１５は、センサ２２０からのデータに基づいて検知されている特徴を有する、任意の数の、および種々の物理的実体が存し得るということを表す。省略符号２１５は、さらには、物理的実体が場所２０１を抜け出る、および、場所２０１に進入することがあるということを表す。かくして、場所２０１の中の物理的実体の数およびアイデンティティは、経時的に変化し得る。

[0053]物理的実体の位置が、さらには経時的に変動し得る。物理的実体の位置は、図２において物理的空間２０１の上側の一部分において示されるが、このことは、単純に、分かりやすい標示の目的のためのものである。本明細書で説明される原理は、物理的空間２０１の中の任意の個別の物理的位置を占有する、任意の個別の物理的実体に依存的ではない。

[0054]最後にあたって、単に約束事のために、および、物理的実体２１０をセンサ２２０と区別するために、物理的実体２１０は三角として例解され、センサ２２０は円として例解される。物理的実体２１０およびセンサ２２０は、当然ながら、任意の物理的形状またはサイズを有し得る。物理的実体は、典型的には、形状において三角形ではなく、センサは、典型的には、形状において円形ではない。さらにまた、センサ２２０は、物理的空間２０１の中の物理的実体を観測することを、それらのセンサ２２０がその物理的空間２０１の中で物理的に配置されるか否かに対して関係なく行い得る。

[0055]物理的空間２０１の中のセンサ２２０は、単に例として、２つのセンサ２２１および２２２を含むように例解される。省略符号２２３は、物理的空間の中の物理的実体により放出される、影響を及ぼされる（例えば、回折、周波数偏移、エコー、その他によって）、および／または、反射させられる信号を受信する能力がある、任意の数の、および種々のセンサが存在し得るということを表す。動作可能なセンサの数および能力は、物理的空間の中のセンサが、追加される、除去される、アップグレードである、壊される、置換される、等々の際に、経時的に変化し得る。

[0056]図３は、物理的空間の中の物理的実体を追跡するための方法３００のフローチャートを例解する。方法３００は、図２の物理的空間２０１の中の物理的実体２１０を追跡するために実行され得るので、図３の方法３００は、今から、図２の環境２００を頻繁に参照して説明されることになる。さらには、図４は、方法３００を実行することを支援するために使用され得る、ならびに、追跡される物理的実体に関する問い合わせを後で実行するために、および、おそらくはさらには、追跡される物理的実体と関連付けられるセンサ信号にアクセスし、それらのセンサ信号を再調査するために使用され得る、実体追跡データ構造４００を例解する。さらにまた、実体追跡データ構造４００は、図４の検知される特徴ストア２４０内に記憶され得る（そのことは、検知される特徴データ２４１として表される）。よって、図３の方法３００は、さらには、図４の実体追跡データ構造４００を頻繁に参照して説明されることになる。

[0057]追跡することを支援するために、物理的空間に対する空間−時間データ構造がセットアップされる（行為３０１）。このデータ構造は、分散型データ構造または非分散型データ構造であり得る。図４は、空間−時間データ構造４０１を含む実体追跡データ構造４００の例を例解する。この実体追跡データ構造４００は、検知される特徴データ２４１として、図２の検知される特徴ストア２４０の中に含まれ得る。本明細書で説明される原理は、物理的実体、ならびに、それらの検知される特徴およびアクティビティを追跡することについて説明されるが、本明細書で説明される原理は、２つ以上の場所の中の物理的実体（ならびに、それらの検知される特徴およびアクティビティ）を追跡することのために動作し得る。その事例において、おそらくは空間−時間データ構造４０１は、（省略符号４０２Ａおよび４０２Ｂにより象徴化されるように）実体追跡データ構造４００により表されるツリー内のルートノードではない。むしろ、共通ルートノードを介して相互接続され得る、複数個の空間−時間データ構造が存在し得る。

[0058]次いで、図３に戻ると、囲み３１０Ａの内容が、物理的空間（例えば、物理的空間２０１）の中に少なくとも一時的にある、複数個の物理的実体（例えば、物理的実体２１０）の各々に対して実行され得る。さらにまた、囲み３１０Ｂの内容が、囲み３１０Ａの中に入れ子にされているように例解され、その内容が、所与の物理的実体に対して、複数回の各々において実行され得るということを表す。方法３００を実行することにより、複雑な実体追跡データ構造４００が、作成され、成長させられることが、以て、場所の中に１つまたは複数の回数ある、物理的実体の検知される特徴を記録するために行われ得る。さらにまた、実体追跡データ構造４００は、潜在的にさらには、所定の検知される特徴（または、特徴変化）が認識されることを結果的に生じさせた、検知される信号にアクセスするために使用され得る。

[0059]個別の時間においての場所内の個別の物理的実体に対して、物理的実体は、１つまたは複数のセンサにより検知される（行為３１１）。換言すれば、物理的実体から放出される、物理的実体により影響を及ぼされる（例えば、回折、周波数偏移、エコー、その他によって）、および／または、物理的実体から反射させられる、１つまたは複数の物理的信号が、センサのうちの１つまたは複数により受信される。図１を参照して、物理的実体２１１が、個別の時間においてセンサ２２１および２２２の両方により検知される、１つまたは複数の特徴を有するということを想定する。

[0060]セキュリティの１つの態様が、この時点において登場し得る。認識構成要素２３０は、個別のセッティングによって、個別の物理的実体と関連付けられる、検知される特徴を記録することを、個別のタイプの、および／もしくは、個別の時間において生成されるセンサ信号から検知された、検知される特徴を記録することを、または、それらの組み合わせを記録することを拒絶し得るセキュリティ構成要素２３１を有し得る。実例として、おそらくは認識構成要素２３０は、場所の中にいる、いかなる人々の検知される特徴も記録しないことになる。よりきめの細かい例として、おそらくは認識構成要素２３０は、１組の人々の検知される特徴を記録することを、それらの検知される特徴が、人物のアイデンティティまたは性別に関係する場合、および、それらの検知される特徴が、個別の時間フレームにおいて生成されたセンサ信号から結果的に生じた場合、行わないことになる。このセキュリティに関する、より多くのことは、やはり、図６について下記で説明されることになる。

[0061]許されるならば、物理的実体が検知された個別の時間の少なくとも近似が、物理的実体に対応する実体データ構造の中で表され、これは、空間−時間データ構造とコンピューティングで関連付けられる（行為３１２）。実例として、図４を参照すると、実体データ構造４１０Ａは、物理的実体２１１に対応し得るものであり、空間−時間データ構造４０１と（線４３０Ａにより表されるように）コンピューティングで関連付けられる。本説明において、および、特許請求の範囲において、データ構造の１つのノードは、コンピューティングシステムが、何の手段によってであれ、２つのノードの間の関連付けを検出することができるならば、データ構造の別のノードと「コンピューティングで関連付けられる」。実例として、ポインタの使用は、コンピューティング関連付けに対する１つの機構である。データ構造のノードは、さらには、データ構造の他のノードの中に含まれることにより、および、コンピューティングシステムにより関連付けであると認識される任意の他の機構により、コンピューティングで関連付けられ得る。

[0062]時間データ４１１は、実体データ構造４１０Ａの中で、物理的実体が（少なくとも、囲み３１０Ｂの内容の、この時間反復において）検知された時間の少なくとも近似を表す。時間は、実時間（例えば、原子時計について具現される）であり得るものであり、または、人為的な時間であり得る。実例として、人為的な時間は、実時間からずらされる、および／または、実時間とは異なる様式で具現される時間（例えば、千年紀の最後の変わり目からの秒または分の数）であり得る。人為的な時間は、さらには、各々の検知においてインクリメントする、単調に増大する数により具現される時間などの論理的時間であり得る。

[0063]さらには、（行為３１１においての）個別の時間においての個別の物理的実体の検知に基づいて、個別の物理的実体が個別の時間において実在する環境は、個別の物理的実体の、少なくとも１つの物理的特徴（および、おそらくは複数個）を検知する（行為３１３）。実例として、図２を参照すると、認識構成要素２３０は、物理的実体２１１の、少なくとも１つの物理的特徴を、（例えば、矢印２２９により表されるように）センサ２２１および２２２から受信される信号に基づいて検知し得る。

[0064]個別の物理的実体の、検知される少なくとも１つの物理的特徴は、次いで、個別の時間の少なくとも近似とコンピューティングで関連付けられる様式で、実体データ構造内で表される（行為３１４）。実例として、図２において、検知される特徴データは、（矢印２３９により表されるように）検知される特徴ストア２４０に提供される。一部の実施形態において、この検知される特徴データは、実体追跡データ構造４００を実質的に１つの行為において修正するように、個別の時間の少なくとも近似とともに提供され得る。換言すれば、行為３１２および行為３１４は、検知される特徴ストア２４０内への書き込み動作を低減するために、実質的に同じ時間に実行され得る。

[0065]さらにまた、許されるならば、認識構成要素が、検知される特徴を検知するために依拠したセンサ信号が、検知される特徴とコンピュータで関連付けられる様式で記録される（行為３１５）。実例として、検知される特徴データ２４１内（例えば、空間−時間データ構造４０１内）にある、検知される特徴は、検知される信号データ２４２内に記憶される、そのようなセンサ信号とコンピューティングで関連付けられ得る。

[0066]図４を参照すると、第１の実体データ構造は今、時間４１１とコンピューティングで関連付けられる、検知される特徴データ４２１を有する。この例において、検知される特徴データ４２１は、物理的実体の、２つの検知される物理的特徴４２１Ａおよび４２１Ｂを含む。しかしながら、省略符号４２１Ｃは、検知される特徴データ４２１の部分として実体データ構造４０１の中に記憶される、物理的実体の、任意の数の検知される特徴が存在し得るということを表す。実例として、任意の個別の時間において検出される際に、任意の所与の物理的実体に対して、単一の検知される特徴、または、無数の検知される特徴、または、中間の任意の数が存在し得る。

[0067]一部の事例において、検知される特徴は、他の特徴と関連付けられ得る。実例として、物理的実体が人物であるならば、特徴は人物の名前であり得る。その具体的に識別される人物は、実体データ構造の中で表されない特徴に基づく、知られている特性を有することがある。実例として、人物は、組織の中での所定の地位または身分を有する、所定の訓練を有する、所定の身長である、等々のことがある。実体データ構造は、データ構造に関する問い合わせすることおよび／または他の計算のリッチさをいっそうさらに伸展するように、個別の特徴が検知される（例えば、名前）とき、その物理的実体の追加的な特徴（例えば、地位、身分、訓練、身長）をポイントすることにより伸展され得る。

[0068]検知される特徴データは、さらには、物理的実体が現実に個別の時間４１０Ａにおいて、検知される特徴を有するということの推定される確率を表す、各々の検知される特徴と関連付けられる信頼度レベルを有し得る。この例において、信頼度レベル４２１ａが、検知される特徴４２１Ａと関連付けられ、物理的実体２１１が現実に検知される特徴４２１Ａを有するということの信頼度を表す。同じように、信頼度レベル４２１ｂが、検知される特徴４２１Ｂと関連付けられ、物理的実体２１１が現実に検知される特徴４２１Ｂを有するということの信頼度を表す。省略符号４２１ｃは、やはり、任意の数の物理的特徴に対して具現される信頼度レベルが存在し得るということを表す。さらにまた、（例えば、確実性が存在する事例において、または、検知される物理的特徴の信頼度を測定することが、重要でない、もしくは望ましくない事例において）具現される信頼度レベルが存在しない、一部の物理的特徴が存在することがある。

[0069]検知される特徴データは、さらには、その信頼度レベルの検知特徴を検知するために認識構成要素により使用されたセンサ信号へのコンピューティング関連付け（例えば、ポインタ）を有し得る。実例として、図４において、センサ信号４２１Ａａが、検知される特徴４２１Ａとコンピューティングで関連付けられ、時間４１１において、検知される特徴４２１Ａを検知するために使用されたセンサ信号を表す。同じように、センサ信号４２１Ｂｂが、検知される特徴４２１Ｂとコンピューティングで関連付けられ、時間４１１において、検知される特徴４２１Ｂを検知するために使用されたセンサ信号を表す。省略符号４２１Ｃｃは、やはり、任意の数の物理的特徴のコンピューティング関連付けが存在し得るということを表す。

[0070]認識構成要素２３０のセキュリティ構成要素２３１は、さらには、個別の時間において個別の特徴を検知するために使用されたセンサ信号を記録すべきか否かを判断することにおいて、セキュリティを働かせ得る。かくして、セキュリティ構成要素２３１は、１）個別の特徴が検知されたということを記録すべきかどうかを決定すること、２）個別の物理的実体と関連付けられる特徴を記録すべきかどうかを決定すること、３）個別の時間において検知される特徴を記録すべきかどうかを決定すること、４）センサ信号を記録すべきかどうか、および、そうであるならば、どの信号を検知される特徴の証拠として記録すべきかを決定すること、等々において、セキュリティを働かせ得る。

[0071]例として、追跡されている場所が部屋であるということを想定する。今から、画像センサ（例えば、カメラ）が、部屋の中の何かを検知するということを想定する。例の検知される特徴は、「物」が人間であるということである。別の例の検知される特徴は、「物」が個別の名付けられた人物であるということである。「物」が人物であるということの１００パーセントの信頼度レベル、ただし、人物が具体的な識別される人物であるということのわずか２０パーセントの信頼度レベルが存在することがある。この事例において、検知される特徴セットは、より具体的なタイプの別の特徴である１つの特徴を含む。さらにまた、カメラからの画像データが、個別の時間においての個別の物理的実体の検知される特徴の記録によりポイントされ得る。

[0072]別の例特徴は、物理的実体が、単純に場所の中に、または、場所の中の個別の位置に実在するということである。別の例は、これが、個別の時間からの（例えば、近時の時間において、または、これまででということさえある）物理的実体の最初の出現であるということである。特徴の別の例は、品目が無生物（例えば、９９パーセント確実性を伴う）、道具（例えば、８０パーセント確実性を伴う）、およびハンマ（例えば、６０パーセント確実性を伴う）であるということである。別の例特徴は、物理的実体が、場所から、もはや存在しない（例えば、欠けている）、または、個別の姿勢を有する、所定の方角に向きを定められる、または、場所の中の別の物理的実体との位置的関係性を有する（例えば、「テーブル上に」、または、「椅子＃５に座る」）ということである。

[0073]任意の事例において、任意の場所の中の物理的実体の数およびタイプから検知され得る、特徴の数およびタイプは無数である。さらには、以前に述べられたように、囲み３１０Ｂにより表されるように、囲み３１０Ｂの中の行為は、潜在的に、任意の所与の物理的実体に対して、複数回、実行され得る。実例として、物理的実体２１１は、センサ２２１および２２２のうちの１つまたは両方により、対照をなして検出され得る。図４を参照すると、この検出は、実体データ構造４１０の中で表されることになる、次の検出の時間（または、近似である）を結果的に生じさせる。実例として、時間４１２が、さらには、実体データ構造の中で表される。さらにまた、検知される特徴４２２（例えば、おそらくは、検知される特徴４２２Ａおよび４２２Ｂを、やはり柔軟性を表す省略符号４２２Ｃとともに含む）が、第２の時間４１２とコンピューティングで関連付けられる。さらにまた、それらの検知される特徴は、さらには、関連付けられる信頼度レベル（例えば、４２２ａ、４２２ｂ、省略符号４２２ｃ）を有し得る。同じように、それらの検知される特徴は、さらには、関連付けられるセンサ信号（例えば、４２２Ａａ、４２２Ｂｂ、省略符号４２２Ｃｃ）を有し得る。

[0074]第２の時間において検知される、検知される特徴は、第１の時間において検知される、検知される特徴と同じ、または異なることがある。信頼度レベルは、経時的に変化し得る。例として、人間が、時間＃１において、大きい部屋の１つの側部において、画像によって、９０パーセント信頼度を伴って検出され、人間は、具体的には、Ｊｏｈｎ Ｄｏｅであると、３０パーセント信頼度を伴って検知されるということを想定する。今、０．１秒後である時間＃２において、Ｊｏｈｎ Ｄｏｅは、部屋の別の部分において１５．２４ｍ（５０フィート）離れて、１００パーセント信頼度を伴って検知され、人間が、Ｊｏｈｎ Ｄｏｅが時間１において、いることを思索された同じ場所にとどまる。人間は、（少なくとも事務所セッティングにおいて）１５．２４ｍ（５０フィート）を１秒の１０分の１で移動しないので、今や、時間１において検出された人間は、まったくＪｏｈｎ Ｄｏｅではないということが結論付けられ得る。そのため、人間がＪｏｈｎ Ｄｏｅであるということの時間＃１に対する信頼度は、ゼロに低減される。

[0075]図２に戻ると、省略符号４１３および４２３は、物理的実体が場所の中で検出され得る回数の数に対する制限が存在しないということを表す。後続の検出が行われる際、より多くのことが、物理的実体に関して学習され得るものであり、かくして、検知される特徴は、各々の検知される特徴に対する信頼度レベルに対する対応する調整によって、適切なように追加（または除去）され得る。

[0076]今や、囲み３１０Ｂの外側に移り、ただし囲み３１０Ａの中にとどまって、任意の所与の物理的実体に対して、異なる時間においての個別の物理的実体の検知される特徴の比較（行為３２１）に基づいて、個別の実体においての特徴変化が検知され得る（行為３２２）。この検知される変化は、認識構成要素２３０または計算構成要素２５０により実行され得る。所望されるならば、それらの検知される変化は、さらには記録され得る（行為３２３）。実例として、検知される変化は、個別の時間とコンピューティングで関連付けられる、または、おそらくは関連付けられない様式で、実体データ構造４１０Ａ内に記録され得る。特徴変化の証拠となるセンサ信号が、各々の時間において、検知される特徴の証拠となったセンサ信号を使用して再構築され得る。

[0077]実例として、第１の時間においての検知される特徴が、場所の中の物理的実体の存在であることに基づいて、および、第２の時間においての第２の特徴が、場所の中の物理的実体の欠けであることに基づいて、物理的実体は物理的空間を抜け出たということが結論付けられ得る。反対に、第１の時間においての検知される特徴が、場所からの物理的実体の欠けであり、第２の時間においての第２の特徴が、場所の中の物理的実体の存在であることに基づいて、物理的実体は場所に進入したということが結論付けられ得る。一部の事例において、おそらくは、物理的空間からの欠けは、物理的実体において、その物理的実体が物理的空間内に存在すると最初に検出されるまでは探し求められない。

[0078]今、囲み３１０Ａを参照すると、物理的実体の特徴のこの追跡は、経時的に複数個の実体に対して実行され得る。実例として、囲み３１０Ａの内容は、物理的空間２０１の中の物理的実体２１１、２１２、２１３、もしくは２１４の各々に対して、または、物理的空間２０１に進入する、もしくは、物理的空間２０１を抜け出る、他の物理的実体に対して実行され得る。図４を参照すると、空間−時間データ構造４０１は、さらには、（おそらくは、図２の第２の物理的実体２１２と関連付けられる）第２の実体データ構造４１０Ｂ、（おそらくは、図２の第３の物理的実体２１３と関連付けられる）第３の実体データ構造４１０Ｃ、および、（おそらくは、図２の第４の物理的実体２１４と関連付けられる）第４の実体データ構造４１０Ｄと（線４３０Ｂ、４３０Ｃ、および４３０Ｄにより表されるように）コンピューティングで関連付けられる。

[0079]空間−時間データ構造４０１は、さらには、条件およびアクションを定義する、１つまたは複数のトリガを含み得る。条件が満たされるとき、対応するアクションが発生することになる。トリガは、空間−時間データ構造内の任意の場所に記憶され得る。実例として、条件が／またはアクションが、個別の実体データ構造についてのものであるならば、トリガは、対応する実体データ構造内に記憶され得る。条件および／またはアクションが、個別の実体データ構造の個別の特徴についてのものであるならば、トリガは、対応する特徴データ構造内に記憶され得る。

[0080]省略符号４１０Ｅは、実体データ構造の数が変化し得るということを表す。実例として、追跡データが、物理的空間の中にずっとある物理的実体について永久に保たれるならば、追加的な実体データ構造が、新しい物理的実体が場所の中で検出される各々の時間に追加され得るものであり、任意の所与の実体データ構造が、物理的実体が物理的空間の中で検出される各々の時間に増され得る。しかしながら、ガベージコレクションが、（例えば、クリーンアップ構成要素２６０により）実体追跡データ構造４００に、適正に編集、記憶、および／またはナビゲートされるには大きすぎるように成長させないために実行され得るということを想起されたい。

[0081]囲み３１０Ａの外側で、関連付けられる実体データ構造の比較（行為３３１）に基づいて、異なる物理的実体の間の物理的関係性が検知され得る（行為３３２）。それらの物理的関係性は、同じように、おそらくは、検知される物理的関係性を有する、関連付けられる実体データ構造の中で、および／または、おそらくは、物理的実体が関係性を有すると検知される時間と関連付けられて、実体追跡データ構造４０１内に記録され得る（行為３３３）。実例として、時間を通しての異なる物理的実体に対する実体データ構造の分析により、個別の時間においてということ、物理的実体が別の物理的実体の背後に隠され得るということ、または、物理的実体が別の物理的実体の検知を不明瞭にしていることがあるということ、または、２つの物理的実体が結び付けられたということ、または、物理的実体が複数個の物理的実体を作成するために引き離されたということが決定され得る。物理的実体関係性の証拠となるセンサ信号が、適切な時間において、および、各々の物理的実体に対して、検知される特徴の証拠となったセンサ信号を使用して再構築され得る。

[0082]特徴データストア２４０は、今や、物理的空間の中の経時的な物理的実体の表現に対する複雑な関数および問い合わせを、それを基に計算するための、強力なストアとして使用され得る。そのような計算および問い合わせすることは、計算構成要素２５０により実行され得る。このことは、数え上げられる数の助けになる実施形態を可能にし、実際、本明細書では「アンビエントコンピューティング」と呼称される、全体的に新しい形式のコンピューティングを導き入れる。センサを有する物理的空間の中で、それはあたかも、まさに空気それ自体が、物理的世界に関する状態を計算および検知するために使用され得るかのようである。それはあたかも、水晶球が今や、その物理的空間に対して作成されており、その水晶球から、その場所に関する多くの物、およびその歴史を、問い合わせおよび／または計算することが可能であるかのようである。

[0083]例として、ユーザは今、物体がまさしく今、物理的空間内にあるかどうか、または、どこに物体が、個別の時間において物理的空間の中にあったかを問い合わせすることができる。ユーザは、さらには、個別の特徴（例えば、会社の中での地位または身分）を有するどの人物が、まさしく今、その物体の近くにいるかを問い合わせし、物体をユーザに持っていくように、その人物と通信することができる。ユーザは、物理的実体の間の関係性に関して問い合わせすることができる。実例として、ユーザは、誰が物体の所有権を有するかを問い合わせすることができる。ユーザは、物体の状態に関して、それが隠されているかどうか、および、何の他の物体がその物体の視認を不明瞭にしているかを問い合わせすることができる。ユーザは、いつ物理的実体が物理的空間の中に最初に出現したか、いつそれらが抜け出たか、等々を問い合わせすることができる。ユーザは、さらには、いつ明かりが消されたか、いつシステムが物理的実体の１つまたは複数の特徴の中のいくつかになったかを問い合わせすることができる。ユーザは、さらには、物体の特徴に関して検索することができる。ユーザは、さらには、場所の中で発生したアクティビティに関して問い合わせすることができる。ユーザは、個別のタイプの物理的実体が場所の中にある平均時間を計算する、どこに物理的実体が何らかの将来の時間において、あることになるかを予想する、等々のことができる。よって、リッチなコンピューティングおよび問い合わせすることが、センサを有する物理的空間に関して実行され得る。

[0084]以前に述べられたように、コンピュータナビゲート可能グラフは、検知される特徴と関連付けられる信号セグメントを有し得る。図５は、関心の信号セグメントを効率的にレンダリングするための方法５００のフローチャートを例解する。最初に、コンピューティングシステムは、検知される特徴のナビゲート可能グラフをナビゲートして、個別の検知される特徴に達する（行為５０１）。実例として、このナビゲーションは、自動的に、または、ユーザ入力に応答して実行され得る。ナビゲーションは、算出の結果であり得るものであり、または単純に、関心の検知される特徴を識別することを必然的に含み得る。別の例として、ナビゲーションは、ユーザ問い合わせの結果であり得る。一部の実施形態において、算出または問い合わせは、複数個の検知される特徴がナビゲートされることを結果的に生じさせ得る。例として、コンピューティングシステムは、図２においての検知される特徴２２２Ａへとナビゲートするということを想定する。

[0085]コンピューティングシステムは、次いで、個別の検知される特徴と、関連付けられるセンサ信号との間のコンピュータ関連付けを使用して、個別の検知される特徴とコンピュータで関連付けられる、検知される信号へとナビゲートする（行為５０２）。実例として、図２において、検知される特徴が、検知される特徴２２２Ａであると、コンピュータ関連付けが、信号セグメント２２２Ａａへとナビゲートするために使用される。

[0086]最後に、信号セグメントが、次いで、適切な出力デバイス上でレンダリングされ得る（行為５０３）。実例として、コンピューティングシステムが、図１のコンピューティングシステム１００であるならば、適切な出力デバイスは、出力機構１１２Ａのうちの１つまたは複数であり得る。実例として、オーディオ信号が、スピーカを使用してレンダリングされ得るものであり、視覚データが、ディスプレイを使用してレンダリングされ得る。検知される信号へとナビゲートする後、複数のことが生起し得る。ユーザは、個別の信号セグメントをプレイする、または、おそらくは、特徴の一因となった複数個の信号セグメントから選定することができる。ビューが、複数個の信号セグメントから合成され得る。

[0087]コンピューティングが物理的世界に関して実行されることによって、新しいタイプのアンビエント計算が可能にされる。それはあたかも、コンピュータが、空気それ自体の中で実施される、まさにアンビエント環境において利用可能であり、その空気と接触している任意の地点にあった物理的実体に関する計算を実行することができるかのようである。作業場において、生産性は、このアンビエントコンピューティングを使用して大幅に向上させられ得る。実例として、ユーザは、置き違えられた道具を素早く見つけ出すことがあり、または、道具に近い同僚と通信することができることがあり、そのことによって、ユーザは、その同僚に、その道具をつかんで、それをユーザに持っていくように頼むことができる。さらにまた、アンビエントコンピューティングに加えて、人間は、関心の個別の時間において、関心の個別の物理的実体に対する、関心の特徴を検知するために使用されたセンサ信号を再調査することができる。しかしながら、アンビエントコンピューティングの、責任の重い使用に起因することによる、物理的生産性を向上させるためのシナリオの数は無制限である。

[0088]今やアンビエントコンピューティングの原理が、図２ないし５について説明されたので、そのようなアンビエントコンピューティングの背景状況において実行され得るセキュリティ機構が、図６について説明されることになる。図６は、物理的空間内の１つもしくは複数のセンサにより検知される情報の作成、または、その情報へのアクセスを制御するための方法６００のフローチャートを例解する。方法は、経時的に物理的空間内で検知される、検知される物理的実体の特徴のコンピュータナビゲート可能グラフを作成するステップ（行為６０１）を含む。本明細書で説明される原理は、そのようなコンピュータナビゲート可能グラフの寸分違わない構造に制限されない。例構造、および、その作成は、図２ないし４について説明されている。

[0089]方法６００は、さらには、コンピュータナビゲート可能グラフのノードの作成、または、それらのノードへのアクセスを、１つまたは複数の判定基準に基づいて制約するステップ（行為６０２）を含む。かくして、セキュリティが、コンピュータナビゲート可能グラフに課される。矢印６０３および６０４は、グラフを作成すること、および、そのグラフのノードに対する作成／アクセスを制約することのプロセスが、継続的なプロセスであり得るということを表す。グラフは、継続的に、ノードがグラフに追加され（および、おそらくは、グラフから除去され）得る。さらにまた、作成の制約は、ノードの作成の可能性があるときはいつでも考慮され得る。アクセスの制約は、グラフのノードが作成されるときに、または、その後の任意の時点において判断され得る。制約の例は、実例として、検知される物理的実体の見込みのアイデンティティ、検知される物理的実体の検知される特徴、等々を含み得る。

[0090]コンピュータナビゲート可能グラフのノードへのアクセスが認可されるかどうかを決定することにおいて、各々のノードに対するアクセス判定基準が存在し得る。そのようなアクセス判定基準は、明示的または暗黙のものであり得る。すなわち、アクセスされることになるノードに対して明示的なアクセス判定基準が存在しないならば、おそらくは、アクセス判定基準のデフォルトセットが適用され得る。任意の所与のノードに対するアクセス判定基準は、任意の様式で組織化され得る。実例として、１つの実施形態において、ノードに対するアクセス判定基準は、コンピュータナビゲート可能グラフ内のノードとともに記憶され得る。

[0091]アクセス制約は、さらには、要求されるアクセスのタイプに基づく制約を含み得る。実例として、計算的アクセスは、ノードが、直接的にアクセスされるのではなく、計算において使用されるということを意味する。ノードの内容を読み出すための直接的なアクセスが制約され得る一方で、ノードの厳密な内容を報告しない計算的アクセスは可能とされ得る。

[0092]アクセス制約は、さらには、アクセスされるノードのタイプに基づくものであり得る。実例として、コンピュータナビゲート可能グラフの個別の実体データ構造ノードへのアクセスにおいての制約が存在し得る。実例として、その個別の実体データ構造ノードが、物理的空間内の個別の人物の検出を表すならば、アクセスは拒否され得る。さらには、コンピュータナビゲート可能グラフの個別の信号セグメントノードへのアクセスにおいての制約が存在し得る。例として、おそらくは誰しも、人物が所与の時間において、ある場所内にいたと決定することはでき得るが、その場所においてのその人物のビデオ記録物を再調査することはでき得ない。アクセス制約は、さらには、誰がアクセスの要求者であるかに基づくものであり得る。

[0093]コンピュータナビゲート可能グラフの、個別の検知される特徴ノードの作成を制約すべきかどうかを決定することにおいて、考慮される種々の判定基準が存在し得る。実例として、コンピュータナビゲート可能グラフの、個別の信号セグメントノードの作成においての制約が存在し得る。

[0094]図７は、物理的空間内の検知される特徴のコンピュータナビゲート可能グラフを作成すること（行為７０１）に加えて、さらには、コンピュータナビゲート可能グラフのプルーニング（行為７０２）が存在し得るということを示す、再帰フロー７００を例解する。これらの行為は、（矢印７０３および７０４により表されるように）同時的および継続的に発生することがあり、以て、検知される特徴のコンピュータナビゲート可能グラフを管理可能なサイズで保つために起こることさえある。どのようにコンピュータナビゲート可能グラフが作成され得るか（行為７０１として表される）に関して、本明細書内に相当量の説明が存在している。

[0095]今から、本説明は、どのようにコンピュータナビゲート可能グラフが、コンピュータナビゲート可能グラフの、１つまたは複数のノードを除去するためにプルーニングされ得るか（行為７０２）に重点を置くことになる。コンピュータナビゲート可能グラフの任意のノードは、除去に従わなければならないことがある。実例として、物理的実体データ構造の検知される特徴は、特定の時間、または、時間のグループに対して除去され得る。物理的実体データ構造の検知される特徴は、さらには、すべての時間に対して除去され得る。物理的実体データ構造の、２つ以上の検知される特徴が、任意の所与の時間に対して、または、時間の任意のグループに対して除去され得る。さらにまた、物理的実体データ構造は、一部の事例において、全体的に除去され得る。

[0096]ノードの除去は、実例として、物理的グラフが、物理の法則を与えられたとすると不可能である何かを表すときに発生し得る。実例として、所与の物体は、同じ時間に２つの所にはあり得ないものであり、その物体は、短い量の時間内に相当量の距離を移動することを、そのような移動が、もっともらしくない、または不可能である環境において行うこともまたできない。よって、物理的実体が、１つの場所において絶対的な確実性を伴って追跡されるならば、同じ物理的実体が、整合しない場所にあるということを、より少ない信頼度を伴って表す、任意の物理的実体データ構造は削除され得る。

[0097]ノードの除去は、さらには、より多くの信頼度が、物理的実体の検知される特徴に関して得られるときに発生し得る。実例として、場所の中の物理的実体の検知される特徴が、１００パーセント確実性を伴って決定されるならば、その物理的実体のその検知される特徴の確実性レベルは、さらにはすべての先行の時間に対して１００パーセントを読み出すために更新され得る。さらにまた、物理的実体に適用可能でないように学習された（すなわち、信頼度レベルが、ゼロまたは無視できるほどに低減した）検知される特徴、その検知される特徴が、その物理的実体に対して除去され得る。

[0098]さらにまた、コンピュータナビゲート可能グラフ内の一部の情報は、単純に、陳腐すぎて有用でないことがある。実例として、物理的実体が、物理的実体の先行の認識をもはや関連性のないものにするように、相当量の期間の時間の間、物理的空間内で観測されなかったならば、物理的実体データ構造全体が除去され得る。さらにまた、陳腐化された様態になった物理的実体の検出は除去され得るが、物理的実体データ構造は、より近時の検出を反映するように残存する。かくして、コンピュータナビゲート可能グラフのクレンジング（またはプルーニング）が、内的分析によって、および／または、外的情報によって実行され得る。このプルーニングは、より少ない品質の情報を除去すること、および、記憶されるべき、より関連性のある情報に対する空間を空けることにより、コンピュータナビゲート可能グラフ内で表される情報の品質を内的に向上させる。

[0099]よって、本明細書で説明される原理は、物理的世界のコンピュータナビゲート可能グラフを可能とする。グラフは、検索可能および問い合わせ可能であり得るものであり、以て、検索すること、および問い合わせすること、および他の計算が、現実世界に関して実行されることを可能とする。セキュリティが、そのような環境においてさらに課され得る。最後に、グラフは、クレンジングおよびプルーニングによって、管理可能なサイズへと保たれ得る。かくして、コンピューティングにおいての新しいパラダイムが達成された。

[00100]物理的空間の、上記で説明されたコンピュータナビゲート可能グラフは、多種多様の用途および技術的成果を可能にする。そのような用途のうちの２つが、今から説明されることになる。第１のものは、現実世界を観測する、現実世界について推論する、および、潜在的にさらには、現実世界に作用する（ａｃｔ ｉｎ）、ユーザの能力を増幅する現実感エージェントである。第２のものは、ユーザが、現実世界において発生し得る物理的条件を具現することを可能とするシステムであり、そのことによって、ユーザは、物理的条件が満たされることがあれば、将来に影響を及ぼすことができる。いずれの事例においても、自然言語解釈が、コマンドを現実感エージェントに発行する、および／または、物理的条件を、それらを基に将来においてアクションをとるために具現するために用いられ得る。

[00101]図８は、エージェント（さらには、本明細書では「現実感エージェント」と呼ばれる）が、現実世界観測に基づいてアクションをとるための方法８００のフローチャートを例解する。図９は、エージェント９１０のための例動作環境９００を例解する。エージェント９１０は、図８の方法８００を実行し得るので、図８は、図９の環境９００を頻繁に参照して説明されることになる。エージェントは、実例として、コンピューティングシステム上で走るコンポーネントであり得る。

[00102]図８の方法８００によれば、エージェントは、ユーザから受信される１つまたは複数のコマンドを解釈する（行為８０１）。実例として、図９において、ユーザ９０１は、矢印９０２および９０３により表されるように、コマンドを発行する。これらのコマンドは、自然言語コマンドであり得る（例えば、ユーザがコマンドを話す）。その事例において、自然言語コマンドは、矢印９０２により表され、自然言語エンジン９１１によりエージェント９１０において受信される。本明細書で説明される原理は、どのように自然言語コマンド解釈が発生するかに制限されない。それでも、自然言語コマンド９０２は、自然言語エンジン９１１により（矢印９０３により表されるように）コンピュータ可読コマンドへと解釈される。

[00103]図８の方法８００によれば、エージェントは、物理的グラフに対する少なくとも１つの問い合わせを組み立てることにより、コマンドに応答する（行為８０２）。実例として、図９において、問い合わせ生成器９１２は、物理的グラフ９２０に対して発行されることになる複数個の問い合わせを生成し得る。物理的グラフ９２０は、物理的空間の中の、および、複数個のセンサにより観測される、１つまたは複数の物理的実体の状態を表す。そのような物理的グラフ９２０のより具体的な例は、図１ないし４について上記で説明されている。

[00104]図８の方法８００によれば、エージェントは、次いで、物理的グラフに対する（または、物理的グラフへの）１つまたは複数の問い合わせを発行する（行為８０３）。実例として、図９において、問い合わせ生成器９１２は、矢印９０４により表されるように、物理的グラフ９２０への問い合わせを発行する。当然ながら、問い合わせへの応答が、さらには、エージェントにより、物理的グラフ９２０から返ってきて受信される（行為８０４）。問い合わせを発信すること（行為８０３）、および、応答を受信すること（行為８０４）のプロセスは、１つの単純な要求および応答において発生する必要はなく、物理的グラフ９２０との複雑な対話を表すことがある。実例として、１つの問い合わせへの応答が、１つまたは複数のさらなる問い合わせを生成するために使用され得る。任意の事例において、応答は、エージェントにより、アクション識別器９１３において受信される。

[00105]図８の方法８００によれば、エージェントは、次いで、問い合わせ応答に応答的に、とるべきアクションを識別する（行為８０５）。そのようなアクションは、ユーザから受信されるコマンドにおいて要求される情報をユーザに通知すること、信号セグメントをユーザに対してレンダリングすること、物理的世界について計算すること、および、結果をユーザに提示することなどの仮想アクション、他の人間および／またはそれらのエージェントとの通信、等々を含み得る。しかしながら、そのようなアクションは、さらには物理的アクションを含み得る。

[00106]図８の方法８００によれば、エージェントは、次いで、アクションが始動されることを引き起こし得る（行為８０６）。実例として、図９において、アクション識別器９１３は、（矢印９０６により表されるように）アクションエージェント９１４に、アクションをとるようにシグナリングする。アクションエージェント９１４は、仮想アクション（それの例は、先行段落において提供された）を実行し得るものであり、または、物理的アクションを現に実行することを、以て、物理的作業に影響を与えるために行い得る。

[00107]例として、ユーザが、所定の作業場において何らかの流出があるかどうかを尋ねる、および、そうであるならば、区域を立ち入り禁止にするための、現実感エージェントに関するコマンドを発行するということを想定する。現実感エージェントは、その作業場の物理的グラフを問い合わせして、流出を識別し、次いで、ドローンまたはロボットが区域に送り出されることを引き起こして、個人がその区域内へと歩いていくことを防止する。

[00108]物理的アクションは、即時ではないことがあり、何らかの物理的条件を、それを基に何らかの将来のアクションをとるためにセットすることを含み得る。例として、そのような物理的条件は、個別の場所内の少なくとも１つの識別される物理的実体の、物理的存在または欠けを含み得る。代替的に、または加えて、そのような物理的条件は、物理的アクティビティの発生または欠けを含み得る。代替的に、または加えて、そのような物理的条件は、２つ以上の物理的実体の間の物理的関係性の存在または欠けを含み得る。

[00109]図１０は、１つまたは複数の物理的条件を、それらを基に１つまたは複数のアクションを実行するためにセットするための方法１０００のフローチャートを例解する。方法１０００は、物理的条件をセットするステップ（行為１００１）を含む。この物理的条件は、（例えば、図９のアクションエンジン９１４によって、図８の行為８０６において）コマンドを基に何らかのアクションをとる現実感エージェントの部分としてセットされ得る。しかしながら、物理的条件のセットすることは、代替的に、ユーザからの直接的なコマンドにより実行されていることがある。やはり、そのようなコマンドは、自然言語エンジンにより解釈されるような自然言語コマンドであることさえある。かくして、現実感エージェント９１０は、さらには、物理的条件を、それらを基に何らかの将来のアクションをとるために直接的にセットするために使用され得る。

[00110]システム（例えば、おそらくは現実感エージェント９１０）は、さらには、物理的条件の発生を基に、とるべきアクションを識別する（行為１００２）。行為１００２は、物理的条件のセットすること（行為１００１）との時間的関係性を伴わずに示されるものであり、なぜならば、そのようなアクションの識別は、物理的条件の発生に先行して発生し得るものであり、および／または、物理的条件の発生に応答的に行われ得るからである。かくして、行為１００２は、行為１００１の前と同じくらい早期に発生し得るものであり、または、物理的条件の検出の後（判断ブロック１００４においての「はい」）に発生し得るものであり、または両方である。とられるべきアクションは、システムにより決定され得る、または、ユーザにより具現され得る。

[00111]物理的条件がセットされるとき（行為１００１）、システムは、物理的条件の、可能性のある急迫した発生の発生に対して監視する（行為１００３）。物理的条件の発生または急迫が検出されるならば（判断ブロック１００４においての「はい」）、アクションがとられる（行為１００５）。そのようなアクションは、１つもしくは複数の、個人もしくはシステムに、物理的条件が発生した、もしくは急迫であるということを注意喚起すること、１人もしくは複数の個人と、物理的条件に関して通信すること、信号セグメントを提示することなどの仮想アクション、または、他の仮想アクションであり得る。アクションは、さらには、（物理的条件が、より公算が大きく見えることの理由で）発生する物理的条件を回避すること（または、促進すること）などの物理的アクションであり得る。そのようなアクションは、物理的条件の発生に対処するための、ロボットまたはドローンの送り出すことを含み得る。流出例において、ユーザは、現実感エージェントに、流出を警戒し、それが発生するならば、作業員がその区域に進入することを防止すること、安全チームに通知すること等々を行うための特定の物理的アクションをとるように命令することができる。

[00112]かくして、本明細書で説明される原理は、現実世界の一部分のグラフを評価することにより、ユーザ発行される問い合わせおよびコマンドに応答する現実感エージェントを提供する。一部の実施形態において、現実感エージェントは、ユーザ発行される問い合わせおよびコマンドに応答して、現実世界に影響力を及ぼすことさえある。エージェントは、現実世界それ自体においてのユーザの増幅になる。エージェントは、しばしばユーザを缶詰にする現実世界情報およびアクティビティを観測する、より多くの性能を有する。エージェントは、そのような現実世界情報を記憶に留め、そのような現実世界情報について推論する、より多くの性能を有する。最後に、エージェントは、潜在的に、現実世界からの情報、および、現実世界について推論することに基づいて、現実世界において物理的アクションをとる、より多くの能力を有する。さらにまた、本明細書で説明される原理は、任意の物理的条件の発生に対して現実世界を観測し、物理的条件に応答して任意のアクション（仮想または物理的）を実行するための機構を提供する。かくして、ユーザは、現実世界条件を、それを基にアクションをとるために具現することにより、現実世界の将来に影響を及ぼす権限を与えられた様態になる。

[00113]本発明は、その趣旨または本質的な特性から逸脱することなく、他の特定の形式で実施され得る。説明された実施形態は、すべての点において、単に、制約的ではなく例解的と考えられるべきものである。本発明の範囲は、それゆえに、上述の説明によってというよりむしろ、添付される特許請求の範囲により指示される。特許請求の範囲の均等性の意味および範囲の中にあるすべての変化は、その特許請求の範囲の、範囲の中に包容されることになる。

Claims (10)

1. コンピューティングシステムであって、
   １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサにより実行されるとき、前記コンピューティングシステムに、エージェントを始動することおよび動作させることの一方または双方をさせるように構造化されたコンピュータ実行可能命令を有する１つまたは複数のコンピュータ可読媒体と
   を備え、前記エージェントは、
   ユーザからの１つまたは複数のコマンドを解釈することと、
   前記１つまたは複数のコマンドのうちの少なくとも１つに応答することであって、
   物理的空間の中の複数のセンサにより観測される１つまたは複数の物理的実体の状態を表す物理的グラフに対する少なくとも１つの問い合わせを組み立て、
   前記物理的グラフに対する前記少なくとも１つの問い合わせを発行し、
   前記物理的グラフに対する前記少なくとも１つの問い合わせへの１つまたは複数の応答に応答して、とるべきアクションを識別する
   ことによって、前記１つまたは複数のコマンドのうちの少なくとも１つに応答することと
   を行うように構成された、コンピューティングシステム。
2. 請求項１に記載のコンピューティングシステムであって、前記エージェントは、
   自然言語エンジンを備え、前記ユーザからの前記１つまたは複数のコマンドは、自然言語コマンドを含む、コンピューティングシステム。
3. 請求項１に記載のコンピューティングシステムであって、前記エージェントは、
   １つまたは複数の物理的行為が実行されることを引き起こすように構成された物理的アクションエンジンを備え、識別される前記アクションは、物理的アクションを含む、コンピューティングシステム。
4. 請求項１に記載のコンピューティングシステムであって、識別される前記アクションは、状態が前記物理的グラフにおいて達成されるならばアクションがトリガされるように、前記物理的グラフ内にトリガを作成することを含む、コンピューティングシステム。
5. 請求項１に記載のコンピューティングシステムであって、識別される前記アクションは、前記ユーザからの前記１つまたは複数のコマンドのうちの前記少なくとも１つにおいて要求される情報を前記ユーザに通知することである、コンピューティングシステム。
6. 請求項１に記載のコンピューティングシステムであって、識別される前記アクションは、信号セグメントを前記ユーザに対してレンダリングすることを含む、コンピューティングシステム。
7. 請求項１に記載のコンピューティングシステムであって、識別される前記アクションは、１人または複数の他の人間と通信することである、コンピューティングシステム。
8. 請求項１に記載のコンピューティングシステムであって、識別される前記アクションは、物理的条件をセットすることと、前記物理的条件の発生に対する前記物理的グラフの監視を継続することとを含む、コンピューティングシステム。
9. 請求項１に記載のコンピューティングシステムであって、識別される前記アクションは、物理的条件の潜在的な発生に対して前記物理的グラフを監視することと、前記物理的条件を回避または促進するための物理的アクションをとることとを含む、コンピューティングシステム。
10. エージェントが動作するための方法であって、
    前記エージェントが、ユーザからの１つまたは複数のコマンドを解釈するステップと、
    前記エージェントが、前記１つまたは複数のコマンドのうちの少なくとも１つに応答するステップであって、
    物理的空間の中の複数のセンサにより観測される１つまたは複数の物理的実体の状態を表す物理的グラフに対する少なくとも１つの問い合わせを組み立て、
    前記物理的グラフに対する前記少なくとも１つの問い合わせを発行し、
    前記物理的グラフに対する前記少なくとも１つの問い合わせへの１つまたは複数の応答に応答して、とるべきアクションを識別する
    ことによって、前記１つまたは複数のコマンドのうちの少なくとも１つに応答するステップと
    を含む、方法。

Images