JP2021008258A - スマートオブジェクトの知識の共有 - Google Patents

Abstract

【課題】スマートオブジェクトの知識の共有を提供する。【解決手段】コンピューティング装置において、第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、第１のセンサデータは物理ドメイン内のエンティティの状態を表すステップと、第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、第２の感知オブジェクトは第１の感知オブジェクトと区別可能であり、第２のセンサデータは物理ドメイン内のエンティティの状態を表すステップと、第１のセンサデータ及び第２のセンサデータをマージして、エンティティの状態を表す拡張されたデータセットを生成するステップと、拡張されたデータセットの抜粋を移動オブジェクトに送信するステップであり、抜粋は拡張されたデータセットの選択されたサブセットであるステップとを含む方法を含む。【選択図】図１

Description

本発明は、スマートオブジェクトネットワーキングの分野におけるものである。特に、実施形態は、物理ドメインの自律車両知覚に関する。

１つのスマートオブジェクトによるその周囲の認識は、常にその近傍と見通し線に限られ、利用可能なセンサやプロセッサにより制約される。したがって、完全に自動化されたオブジェクトの社会的な受け入れは、その限られた知覚を考慮して不可能な場合がある。

スマートオブジェクト間の協調のための現在の手法は、同じタイプのスマートオブジェクトに限られ、非効率性とレイテンシに関連する問題に悩まされる。

意思決定エンティティとしてのスマートコネクテッドオブジェクトの最近の進化は、信頼できる環境を作り出すという根本的な課題を提起した。これは、自律車両のドメインにおいて特に明白であり、そこでは車両は、そのローカル環境を知覚及び解釈して反応的及び予測的制御アクションを実行する必要がある。自律車両は、オブジェクトトラッキングなどの極めて複雑なタスクを実行して、周囲の知覚及び他のオブジェクトの軌道の決定を作り出す必要がある。近年、３Ｄ Ｌｉｄａｒ導入により、高度なセンサの分野において大きな進歩がなされており、３Ｄ Ｌｉｄａｒは、オブジェクト追跡のために又はコンピュータビジョン／機械学習において最も一般に使用される技術である。畳み込みニューラルネットワーク（ＣＮＮ）は、主にエンドツーエンド方式で自律運転タスクに成功裏に適用されてきた。従前のエンドツーエンド操舵制御方法は、画像又は画像シーケンスを入力として取り、操舵角をＣＮＮで直接予測する。実際、操舵角に関する単一タスク学習は良好な性能を報告した。しかしながら、視覚入力のみで正確なスピード値を予測することは自明でないため、単一の誤りが破局的な可能性がある。

スマートコネクテッドオブジェクトにおいて、取得される知識は、同じオブジェクトに属する１つ又は複数のセンサから推論されることがある。これらのセンサは、これらが役立つオブジェクトの周囲（例えば、街灯柱、交通信号、ＣＣＴＶ、車両など）を知覚することを目的とし、カメラ、ソナー、ＬＩＤＡＲ、レーダ、又は他のセンサから構成されてもよい。実施形態は、意思決定のために、スマートコネクテッドオブジェクトに利用可能なセンサデータの品質を改善しようとする。

実施形態は、ネットワーク内のスマートオブジェクト間で関連情報を共有し、特定のスマートオブジェクトからの情報を他のスマートオブジェクトからの情報で拡張するための効率的なメカニズムを提供する。

実施形態は、コンピューティング装置において、第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、移動オブジェクトは無線接続性を有し、第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、第２の感知オブジェクトは第１の感知オブジェクトと区別可能であり、第２のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、第１のセンサデータ及び第２のセンサデータをマージして、エンティティの状態を表す拡張されたデータセットを生成するステップと、拡張されたデータセットの抜粋を移動オブジェクトに送信するステップであり、抜粋は拡張されたデータセットの選択されたサブセットであり、選択されたサブセットは、移動オブジェクトのアイデンティティ又は位置に依存してコンピューティング装置により選択される、ステップと、を含む方法を含む。

任意で、エンティティ状態は、１つ以上のオブジェクトの位置情報であり、例えば、エンティティは、上記１つ以上のオブジェクトが存在する空間でもよい。

任意で、移動オブジェクトは車両である。車両かその他かにかかわらず、自律的であるか、又は半自律的であり自律モードで動作するかのいずれかである移動オブジェクトは、移動オブジェクトの運動経路に関してコンピューティング装置からの指示に従って、又は何らかの他の自律的に制御された作動に関してコンピューティング装置からの指示に従って決定を行うように構成されてもよい。移動オブジェクトは、スマートコネクテッドシング、又はＳＣｏＴでもよい。移動オブジェクトは、ドローン、海洋船舶、小型化されたドローン、医療機器、対象（人又は動物）の身体に接触し又はその内部にある医療機器でもよい。

自律的又は半自律的であるオブジェクトは、それが制御するように動作可能である１つ以上のアクチュエータを含むことを意味するとみなされる。制御は、コンピューティング装置からの指示に従う。半自律は、アクチュエータが手動又は自律モードで動作し得ることを意味するとみなされる。アクチュエータは、例えば、車又は他の車両を駆動させる手段でもよい。

任意で、第１のセンサデータは、物理ドメイン内の第１の１つ以上のオブジェクトのセットの位置情報を表す。任意で、第２のセンサデータは、物理ドメイン内の第２の１つ以上のオブジェクトのセットの位置情報を表す。第１のセットは、（情報の観点からでなく、メンバシップの観点から）第２のセットと重複していてもよく、同一であってもよく、あるいは相互排他的でもよい。第１のセットは、（情報の観点からでなく、メンバシップの観点から）第２のセットのサブセット又はスーパーセットでもよい。

拡張されたデータセットは、データセットとしての第１のセンサデータ又はデータセットとしての第２のセンサデータのいずれかと比較して拡張される。この拡張されたデータセットは、拡張されたデータセットと呼ばれ得る。

第１及び第２のセンサデータをマージすることは、２つのデータセットからの同じエンティティ状態に関する情報（すなわち、データにより表される物理特性又は他の概念）を三角測量することを含んでもよい。マージは、一方又は他方の（又は双方の）データセットからエンティティ状態に関するいくつかのデータを破棄することを含んでもよい。マージは、一方又は他方の（又は双方の）データセットからエンティティ状態に関する情報を抽出することを含んでもよい。マージは、２つのデータセットからの異なる現象に関する情報を組み合わせることを含んでもよく、それにより、拡張されたデータセットにおいてすべてのエンティティ状態が表現される。この文脈におけるエンティティ状態は、現象、物理ドメイン内のオブジェクトの物理特性、物理ドメインの物理特性、物理ドメインのステータス、物理エンティティ、物理特性、オブジェクトの物理特性、環境の物理特性、複数のオブジェクトを含む空間領域の状態のうちの１つ以上を含むとみなされる。マージは、三角測量を含んでもよく、三角測量は、２つ以上の方法を使用して同じトピックに関するデータを収集することを意味し得る。三角測量は、必ずしもデータを相互検証するのでなく、同じ現象の異なる次元（dimensions）（エンティティ状態）を捕捉するものである。

任意で、エンティティの状態を表す拡張されたデータセットは、第１のセンサデータにより位置情報が表される第１のオブジェクトのセットと第２のセンサデータにより位置情報が表される第２のオブジェクトのセットとの結合の位置情報を表す拡張されたデータセットでもよい。第１のセットは、（情報の観点からでなく、メンバシップの観点から）第２のセットと重複していてもよく、同一であってもよく、あるいは相互排他的でもよい。第１のセットは、（情報の観点からでなく、メンバシップの観点から）第２のセットのサブセット又はスーパーセットでもよい。

任意で、抜粋は、第１のオブジェクトのセット及び第２のオブジェクトのセットの結合の選択されたサブセットの、拡張されたデータセットからの位置情報の表現であり、選択されたサブセットは、車両の位置に対して定義された第１の空間領域内に表された位置があるオブジェクトである。

一例示的な実施形態が、コンピューティング装置において、第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、第１の感知オブジェクトは自律又は部分的自律車両あり、第１のセンサデータは、物理ドメイン内の車両の外部にある第１の１つ以上のオブジェクトのセットの位置情報を表す、ステップと、第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、第２の感知オブジェクトは第１の感知オブジェクトと区別可能であり、第２のセンサデータは、物理ドメイン内の第２の１つ以上のオブジェクトのセットの位置情報を表す、ステップと、第１のセンサデータ及び第２のセンサデータをマージして、第１のオブジェクトのセット及び第２のオブジェクトのセットの結合の位置情報を表す拡張されたデータセットを生成するステップと、拡張されたデータセットの抜粋を車両に送信するステップであり、抜粋は、第１のオブジェクトのセット及び第２のオブジェクトのセットの結合の選択されたサブセットの、拡張されたデータセットからの位置情報の表現であり、選択されたサブセットは、車両の位置に対して定義された第１の空間領域内に表された位置があるオブジェクトである、ステップと、を含む方法である。

マージ及び送信ステップは、第１のセンサデータを第２のセンサデータで拡張して、車両に、その自身のセンサのみにより生成されたデータ（すなわち、第１のセンサデータ）から車両に利用可能となる位置情報よりもより正確な（すなわち、より小さい不確実性の）及び／又はより包括的な（すなわち、より多くのオブジェクトを表す）物理ドメイン内のオブジェクトに関する位置情報を提供するのに役立つ。車両の意思決定能力は、より正確及び／又はより包括的な情報（例えば、周囲又は近傍の他のオブジェクトに関する３６０ビュー）により改善される。

実施形態は、スマートオブジェクト間の協働知能（collaborative intelligence）を可能にする知識ベースの三角測量法を提供する。換言すれば、第１の感知オブジェクトからのセンサデータは、１つ以上の他の感知オブジェクトからのセンサデータで三角測量され、意思決定のために第１の感知オブジェクトに利用可能な位置情報を改善する。感知オブジェクトは、周囲の物理ドメインの仮想的な知覚を可能にするセンサを備えたスマートオブジェクトである。感知オブジェクトは、他のスマートオブジェクトとのその相互作用を強化するプロセッサ及び接続性を組み込まれる。接続性を有するスマートオブジェクトは、スマートコネクテッドプロダクト又はスマートコネクテッドシング（ＳＣｏＴ）として知られており、車両はその例である。

この方法は、複数の感知オブジェクトにより共有された知識を利用して、拡張された知識又は協働知能を生成する。拡張された知識は、改善された信頼度、増加した精度、補足された視認性などの形をとることができる。実施形態は、その周囲についての多様なレベルの認識を有する感知オブジェクトがリアルタイムで集合知に関与することを可能にし、これは、感知オブジェクトのグループから共有された知識をもとにし、ぴったり合った（tailor-made）補強情報を再配信して、強化された意思決定のためにオブジェクト中心の拡張された知識が車両に送信されることを可能にする。

実施形態は、例えば、データの異なる次元を捕捉し得る、周囲の接続された感知オブジェクトからの集合知識（拡張されたデータセット）を用いて、車両の限定されたオブジェクト中心の視認性を拡張する。集合知識はコンピューティング装置により取得され、これはネットワークエッジにあってもよく、無線ネットワーク上の車両と共有するために拡張されたデータセットの抜粋を抽出し、それにより改善された効率及びレイテンシを達成する。さらに、三角測量（マージのタイプ）メカニズムの制御は、対象車両に合わせられた拡張された知識を可能にする。このような拡張された知識は、オブジェクト測位、分類における増加した信頼度及び／又は精度の観点から拡張でき、ブラインドスポットに対する補償とすることができる。

知識共有に参加している各感知オブジェクト（すなわち、第１のオブジェクト又は第２のオブジェクト）は、所与の角度に関してかなり信頼性があり正確な情報を有するが、他の角度に関して限られた又は信頼できない知識を有する可能性がある。一方、感知オブジェクトの機能性（センサハードウェア、ソフトウェア、分類アルゴリズム、及び／又は通信モジュール）における欠陥（偶発的又は意図的）は、他の「健全な」感知オブジェクトと共有される誤った知識を結果としてもたらし、混乱又は不鮮明な脅威を生じさせる可能性がある。実施形態は、多様なレベルの認識を有する感知オブジェクトが集合知に関与し、それにより、それらの各々がその知識を共有し、他の感知オブジェクトから補強情報を受信してその知覚を改善することを可能にする。

任意で、選択されたサブセットは、第２のオブジェクトのセットのメンバであって第１のオブジェクトのセットのメンバでないオブジェクトを含む。

有利には、このような実施形態は、第１の感知オブジェクトが事前に認識していなかった物理ドメイン内のオブジェクトの位置情報を第１の感知オブジェクトに知らせるのに役立つ。すなわち、実施形態は、第１のセンサデータ内のブラインドスポットを第２のセンサデータからの情報で埋める。

任意で、拡張されたデータセットの抜粋は、第１のオブジェクトのセット及び第２のオブジェクトのセットの双方のメンバであるオブジェクトの表現を含み、拡張されたデータセット内の表現は、第２のセンサデータ内のオブジェクトの表現からの位置情報で拡張された第１のセンサデータ内のオブジェクトの表現からの位置情報を含む。

位置情報は、センサデータにより表される。２つのデータソースからの同じオブジェクトに関する位置情報の組み合わせは、実際の位置情報のより正確又はより完全な表現を提供する。実施形態は、車両に取り付けられたセンサ以外のセンサからのセンサデータを活用して、車両自身のセンサからのセンサデータを拡張し、拡張されたデータを帯域幅効率の良い方法で車両に返し共有する。

任意で、第１のセンサデータ及び第２のセンサデータをマージすることは、第１のセンサデータ内の第１のオブジェクトのセットの各メンバの表現を第２のセンサデータ内の第２のオブジェクトのセットの各メンバの表現と比較して、第２のセットのオブジェクトにも属する第１のオブジェクトのセットのメンバを識別することと、第１のセットのオブジェクト及び第２のオブジェクトのセットの双方に属する各オブジェクトについて、第１のセンサデータ内のオブジェクトの位置情報の表現を第２のセンサデータ内のオブジェクトの位置情報の表現と組み合わせることにより、拡張されたデータセット内のオブジェクトの位置情報の表現を生成することとを含む。

実施形態は、複数のデータソースからのオブジェクトの表現を比較し、物理ドメインからの同じオブジェクトが複数のソースからのセンサデータ内にいつ表現されるかを識別する。例えば、予備的な比較が潜在的な一致を識別してもよく、潜在的な一致は、より詳細な比較を受け（すなわち、例えば、オブジェクト認知結果などのメタデータを含むより多くの特性に基づく）、潜在的な一致の肯定的又は否定的評価を与える。

任意で、第１のセンサデータ内のオブジェクトの位置情報の表現は、位置情報の表現の精度の指標を含み、第２のセンサデータ内のオブジェクトの位置情報の表現は、位置情報の表現の精度の指標を含み、拡張されたデータ内のオブジェクトの位置情報の表現は、位置情報の表現の精度の指標を含み、第１のセンサデータ内のオブジェクトの位置情報の表現を第２のセンサデータ内のオブジェクトの位置情報の表現と組み合わせることにより生成される第１のオブジェクトのセット及び第２のオブジェクトのセットの双方に属する上記又は各オブジェクトの、拡張されたデータセット内の位置情報の表現は、第１のセンサデータ及び第２のセンサデータ内の上記オブジェクトの位置情報の表現の精度より高い精度のものである。

代わりに又はさらに、位置情報の表現は、（第１のセンサデータ、第２のセンサデータ、及び拡張されたデータのうち１つ以上についての）位置情報の表現の信頼度の指標を含んでもよい。この場合、拡張されたデータの信頼度は、第１及び第２のセンサデータの信頼度に対して増加する。

任意で、実施形態は、それが第１のセンサデータよりもより正確である（又はより高い信頼度である）という条件で、拡張されたデータセットについての組み合わせられた表現のみを選択し、そうでなければ、第１のセンサデータからの表現を単に使用してもよい。

任意で、第１のセンサデータ内の各オブジェクトの位置情報の表現の精度の指標は、オブジェクト位置に関する確率の分布を含み、第２のセンサデータ内の各オブジェクトの位置情報の表現の精度の指標は、オブジェクト位置に関する確率の分布を含み、第１のセンサデータ内のオブジェクトの位置情報の表現を第２のセンサデータ内のオブジェクトの位置情報の表現と組み合わせることは、第１のセンサデータ及び第２のセンサデータからの上記オブジェクトのオブジェクト位置に関する確率の分布を重ね合わせることを含む。

オブジェクト位置に関する確率分布は、空間にわたる、任意で、地表の面に沿った２Ｄ空間にわたるオブジェクト位置の確率密度関数である。重ね合わせは、２つの分布の重複を識別することができ、組み合わせられた表現におけるオブジェクト位置が重複の中心にある。有利には、重ね合わせによる分布の組み合わせは、第１のセンサデータ及び第２のセンサデータの双方から推定されたポジションに基づくオブジェクト位置の表現を生じ、したがって、より正確である。

任意で、第１のセンサデータ、第２のセンサデータ、及び拡張されたデータセット内のエンティティの状態、又は各オブジェクトの位置情報の表現は、オブジェクト位置の表現、及び／又はオブジェクト速度の表現、及び／又はオブジェクト加速度の表現を含む。

位置情報は、単にオブジェクト位置の表現でもよい。さらに、位置の変化率（すなわち、速度）及び上記変化率の変化率（すなわち、加速度）などの、他の位置ベースの特性がさらに表されてもよい。有利には、速度及び／又は加速度の表現は、コントローラが、オブジェクトが将来どこに移動するかを予測するのを助け、これは、衝突のリスクを最小化する運動経路が決定されることを可能にする。

任意で、方法は、移動オブジェクトにおいて、拡張されたデータセットの抜粋を受信及び使用して、移動オブジェクトにおける機能的変更を開始するアクチュエータを制御することを含んでもよい。

例えば、機能的変更は、車両の運動経路でもよい。車両は、物理オブジェクトの位置に基づいて車両の運動経路（すなわち、運動の方向及びスピード）を決定するアルゴリズムを含む自律運転のための車両制御デバイスを備え、目的機能は、上記物理オブジェクトとの衝突を回避する運動経路を決定し、辿ることである。有利には、実施形態は、車両センサ単体から取得できるものよりもより正確及び／又はより包括的な物理オブジェクトの位置情報の表現を提供することにより、上記アルゴリズムの機能を強化して衝突を回避する。

実施形態は、オブジェクト中心の方式でコンテンツを形成する（populating）柔軟性を維持すると同時に、種々のスマートオブジェクトにより共有される知識のフォーマットを標準化することができる。このフォーマットは、ＫＴフォーマット、又は知識転送（knowledge transfer）フォーマットと呼ばれることがある。

別の態様の実施形態は、プロセッサハードウェア、メモリハードウェア、及びデータ通信インターフェースを含み、方法を実行するように構成されたコンピューティング装置を含み、上記方法は、第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、移動オブジェクトは無線接続性を有し、第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、第２の感知オブジェクトは第１の感知オブジェクトと区別可能であり、第２のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、第１のセンサデータ及び第２のセンサデータをマージして、エンティティの状態を表す拡張されたデータセットを生成するステップと、拡張されたデータセットの抜粋を移動オブジェクトに送信するステップであり、抜粋は拡張されたデータセットの選択されたサブセットであり、選択されたサブセットは、移動オブジェクトのアイデンティティ又は位置に依存して当該コンピューティング装置により選択される、ステップと、を含む。

また、システムは、第１の感知オブジェクト及び第２の感知オブジェクトの中から１つ以上を含んでもよい。感知オブジェクトはスマートオブジェクトでもよく、スマートコネクテッドシングでもよい。

別の態様の実施形態は、プロセッサハードウェア及びメモリハードウェアを有するコンピューティング装置により実行されたときにコンピューティング装置に上述の方法又は別の方法の実施形態に従う方法を実行させる処理命令を含むコンピュータプログラムを含む。

別の態様の実施形態は、コンピューティング装置において、第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、第１の感知オブジェクトは自律又は部分的自律車両であり、第１のセンサデータは、物理ドメイン内の車両の外部にある第１の１つ以上のオブジェクトのセットの位置情報を表す、ステップと、第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、第２の感知オブジェクトは第１の感知オブジェクトと区別可能であり、センサデータは、物理ドメイン内の第２の１つ以上のオブジェクトのセットの位置情報を表す、ステップと、第１のセンサデータ及び第２のセンサデータをマージして、第１のオブジェクトのセット及び第２のオブジェクトのセットの結合の位置情報を表す拡張されたデータセットを生成するステップと、拡張されたデータセットの抜粋を車両に送信するステップであり、抜粋は、第１のオブジェクトのセット及び第２のオブジェクトのセットの結合の選択されたサブセットの、拡張されたデータセットからの位置情報の表現であり、選択されたサブセットは、車両の位置に対して定義された第１の空間領域内に表された位置があるオブジェクトである、ステップと、を含む。

別の態様の実施形態は、プロセッサハードウェア、メモリハードウェア、及びデータ通信インターフェースを含み、方法を実行するように構成されたコンピューティング装置を含み、上記方法は、データ通信インターフェースを介して、第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、第１の感知オブジェクトは自律又は部分的自律車両であり、第１のセンサデータは、物理ドメイン内の車両の外部にある第１の１つ以上のオブジェクトのセットの位置情報を表す、ステップと、データ通信インターフェースを介して、第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、第２の感知オブジェクトは第１の感知オブジェクトと区別可能であり、センサデータは物理ドメイン内の第２の１つ以上のオブジェクトのセットの位置情報を表す、ステップと、第１のセンサデータ及び第２のセンサデータをマージして、第１のオブジェクトのセットと第２のオブジェクトのセットとの結合の位置情報を表す拡張されたデータセットを生成する、ステップと、データ通信インターフェースを介して、拡張されたデータセットの抜粋を車両に送信するステップであり、抜粋は、第１のオブジェクトのセットと第２のオブジェクトのセットとの結合の選択されたサブセットの、拡張されたデータセットからの位置情報の表現であり、選択されたサブセットは、車両の位置に対して定義された第１の空間領域内に表された位置があるオブジェクトである、ステップと、を含む。

次に、以下の図面を参照して純粋に例示として詳細な説明を提供する。
一実施形態の方法を示す。 一実施形態のハードウェア構成を示す。 一実施形態によるコネクテッドオブジェクトのネットワークを示す。 車両制御デバイスの一例を示す。 一実施形態を示す。 対象車両により実行され得る一例示的な処理を示す。 一実施形態が実現される物理ドメインシナリオを示す。 一車両の視野を示す。 センサデータを示す。 確率密度関数を重ね合わせることによるセンサデータのマージを示す。 車両制御デバイスのセンサ及び機能モジュールを示す。 コンピューティング装置を示す。

実施形態は、ネットワーク内のリアルタイムデータ共有のために、標準化されたフォーマットでセンサデータを生成するネットワーク内の複数の感知オブジェクトを活用する。個々の感知オブジェクトからのデータは、精度改善、信用性改善、冗長性排除などの目的のために中央又はローカルのコンピューティング装置でマージされ、解析される。ひとたび拡張された（augmented）データが解析されると、オブジェクト中心の抜粋が抽出され、意思決定のためにデータを必要とするその自律オブジェクト又は各自律オブジェクトに送信される。

図１は、一実施形態による方法を示す。実施形態は、方法自体でもよく、実行されたときにコンピューティングハードウェアに方法を実行させるプログラムでもよく、あるいは方法を実行するように動作可能な装置でもよい。この方法は、４つのステップＳ１０１〜Ｓ１０４を含む。特定の時間インスタンスを表すセンサデータに関して、マージステップＳ１０３の前に受信ステップＳ１０１、Ｓ１０２が実行され、送信ステップＳ１０４の前にマージステップＳ１０３が実行される。この方法は繰り返して実行され、それにより、前の時間インスタンスを表すセンサデータがマージされ（Ｓ１０３）、送信されて（Ｓ１０４）いる間、現在の時間インスタンスを表すセンサデータが受信されてもよい。

図２は、一実施形態のハードウェア構成を示す。実施形態は、プロセッサ１２、メモリ１４、及び通信インターフェース１６を備えるコンピューティング装置１０を含む。残りのハードウェアは、実施形態の一部を形成してもよく、あるいは実施形態とは別個だが実施形態に含まれる１つ以上のエンティティに通信上結合されたハードウェアでもよい。残りのハードウェアは、固定センサ３０、センサが取り付けられたオブジェクト４０、車両２、車両制御デバイス２０を含む。コンピューティング装置１０は、クラウドサーバ又はエッジサーバ又はフォグサーバでもよい。コンピューティング装置１０は固定でもよく、すなわち、固定オブジェクトに取り付けられ、あるいは建物内に収容されてもよい。コンピューティング装置１０は、複数の車両２のために、特定の物理ドメイン２００（すなわち、特定の位置範囲）における上記車両の滞在時間の間、オンデマンドサービスとしてステップＳ１０１〜Ｓ１０４の方法を実行してもよい。

図２の例において、移動オブジェクトは車両である。移動オブジェクトは、衛星、スマートコネクテッドオブジェクト（smart connected object、ＳＣｏＴ）でもよく、ＳＣｏＴかその他かにかかわらず、移動オブジェクトは、衛星、車両、例えば、車、トラック、バン、ローリー、オートバイ、自転車、カート、トロリー、ロボット、船、ドローン、小型化されたドローン、配送ロボット、スマート移動オブジェクト、キャリア（carrier）への接続に対して構成されたスマート移動オブジェクト、現存の（live）又は現存する（living）キャリアへの接続に対して構成されたスマート移動オブジェクト、スマートコネクテッドシング（smart connected thing、ＳＣｏＴ）、小型化されたスマートコネクテッドシングでもよいことに留意する。ＳＣｏＴは、コンピューティングネットワークの一部として、コンピューティング装置、例えば第１のコンピューティング装置１０との間でデータが交換されることを可能にする接続性（connectivity）を有するオブジェクトである。ＳＣｏＴは、プロセッサ、センサ、及びソフトウェアの中からの１つ以上に組み込まれてもよい。ＳＣｏＴは、これらに限られないがドローン、海洋船舶、又は配送ロボットでもよい。提供される例のいずれにおいても、移動オブジェクトは小型化されてもよい。

物理ドメイン２００は、固定センサ３０により観察されてもよく、固定センサ３０は、一実施形態の一部でもよく、あるいは実施形態の外部だが一実施形態のコンピューティング装置１０に通信上結合されてもよい。固定センサ３０は、物理ドメイン２００内のオブジェクトの位置情報を表すリアルタイムセンサデータをコンピューティング装置１０に提供するように構成される。固定センサ３０は、例えば、ＬＩＤＡＲ、ＲＡＤＡＲ、又はカメラでもよい。固定センサ３０は、建物に固定されてもよく、あるいは例えばポール４０又は何らかの他のオブジェクトに取り付けられてもよい。ポールは、物理ドメイン内の固定物理オブジェクト４０の例示である。物理ドメイン２００はまた、動的物理オブジェクト５０、例えば自転車に乗るサイクリストにより占有される。センサ３０は、それが取り付けられたオブジェクト４０との組み合わせか又はそれ単独かのいずれかで、第２の感知オブジェクトの例である感知オブジェクトとみなされてもよい。

この方法は、例えば、コンピューティング装置１０により実行されてもよく、コンピューティング装置１０は、第１の感知オブジェクトとしての対象（subject）車両への、及び１つ以上の第２の感知オブジェクトへのデータ通信リンクを有するサーバでもよい。サーバ１０と感知オブジェクトとの間のデータ通信リンクは、１ホップの無線リンク、又は２ホップ若しくは３ホップの無線リンクでもよい。サーバ１０と感知オブジェクトとの間のデータ通信は、移動オブジェクト２とアクセスポイントとの間の無線リンクと、アクセスポイントとコンピューティング装置１０との間の１つ以上の有線又は無線接続との組み合わせでもよい。ステップＳ１０１〜Ｓ１０４を実行するコンピューティング装置１０は、感知オブジェクトと無線通信するアクセスポイントを提供し、あるいは該アクセスポイントへの直接有線接続を有してもよい。感知オブジェクトは、第１の感知オブジェクトとしての移動オブジェクト２と、第２のセンサデータを提供し第１の感知オブジェクトと区別可能な固定センサ３０などの第２の感知オブジェクトとを包含する集合的な用語として使用される。第１の感知オブジェクト及び第２の感知オブジェクトとしての指定は主観的であり、拡張されたデータセットの抜粋がＳ１０４において送信される移動オブジェクト２は、この方法における第１の感知オブジェクトであることに留意する。しかしながら、拡張されたデータの抜粋の生成及び別の車両への送信という文脈において、同じ車両が第２の感知オブジェクトの機能を実行してもよい。第２の感知オブジェクトは、ネットワーク内の任意のオブジェクトであり、第１の感知オブジェクト２の物理ドメイン内のオブジェクトに関する位置情報を生成するセンサを備える。

ステップＳ１０１において、第１のセンサデータがコンピューティング装置１０により受信される。ステップＳ１０１は、例えば、第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップを含んでもよく、第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、移動オブジェクトは無線接続性を有し、第１のセンサデータは物理ドメイン内のエンティティの状態を表す。

自律車両の制御に関する特定の例において、ステップＳ１０１は、第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップを含んでもよく、第１の感知オブジェクトは自律又は部分的自律車両２であり、第１のセンサデータは、物理ドメイン２００内の車両の外部にある第１の１つ以上のオブジェクトのセットの位置情報を表す。

車両２は対象車両と呼ばれてもよく、車両制御デバイス２０により自律又は部分的自律モードで運転可能である。車両制御デバイス２０は、車両制御デバイスプロセッサ２２、車両制御デバイスメモリ２４、及び車両制御デバイス通信インターフェース２６を含み得る。１つ以上のセンサ２８が車両２０に取り付けられてもよく、物理ドメイン２００内のオブジェクトの位置情報を表すリアルタイムセンサデータを車両制御デバイス通信インターフェース２６及びコンピューティング装置通信インターフェース１６を介してコンピューティング装置１０に提供する。車両取り付けセンサ２８の上記又は各々は、ＬＩＤＡＲ、ＲＡＤＡＲ、又はカメラでもよい。車両取り付けセンサ２８により提供されるデータは、第１のセンサデータの例である。第１のセンサデータは、センサからアクセスポイントへ直接通信されてもよく、あるいは車両通信インターフェース（すなわち、車両とネットワークとの間の通信のために車両により提供されるハードウェア）を介して送信されてもよい。

対象車両２は第１の感知オブジェクトであり、コンピューティング装置１０も含むネットワークのメンバでもよい。対象車両２は、ネットワーク内のスマートコネクテッドシング（ＳＣｏＴ）又はスマートオブジェクトの例である。１つ又は複数の第２の感知オブジェクトもまた、ネットワーク内のスマートコネクテッドシング（ＳＣｏＴ）又はスマートオブジェクトの例であり得る。

対象車両２は、自動車両でもよい。対象車両２は、車又はバンでもよい。対象車両２は、ボートでもよい。対象車両２は、ドローン又は小型化されたドローンなどの空中車両でもよい。対象車両２は、車両制御デバイス２０により自律又は部分的自律モードで動作可能である。この文脈における動作可能は、運動制御可能（又は運転可能）を意味すると考えられ、それにより、自律モードにおいて、車両制御デバイス２０は、対象車両２の運動のスピード及び方向を制御する責任を負い（マニュアルオーバライドが許容可能であり得ることに留意する）、部分的自律モードにおいて、車両制御デバイス２０は、（認可されたエンティティから）指示が受信されたときなどの特定の状況において、車両２の運動のスピード及び方向を制御することができる。ステップＳ１０２は、第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信することを含んでもよく、第２の感知オブジェクトは第１の感知オブジェクトと区別可能であり、第２のセンサデータは物理ドメイン内のエンティティの状態を表す。

自律車両の制御に関する特定の例において、ステップＳ１０２で、物理ドメイン２００内のオブジェクトの位置情報も表す第２のセンサデータがコンピューティング装置１０により受信される。第２の感知オブジェクトは、第１の感知オブジェクトの物理ドメイン２００内のオブジェクトに関する位置情報を生成するセンサを備えたネットワーク内の任意のオブジェクトである。具体的には、第２のセンサデータは、第２の１つ以上のオブジェクトのセットの位置情報を表す。

第１のセンサデータは、物理ドメイン２００内の車両２の外部にある第１の１つ以上のオブジェクトのセットの位置情報を表す。第２のセンサデータは、物理ドメイン２００内の車両２の外部にある第２の１つ以上のオブジェクトのセットの位置情報を表す。第１のセンサデータ及び第２のセンサデータは、リアルタイムセンサデータである。例えば、第１のセンサデータ及び第２のセンサデータは、物理ドメイン２００の現在の状態を表すデータであり、現在は、システムにおけるレイテンシを許容する現在である。第１の１つ以上のオブジェクトのセット及び第２の１つ以上のオブジェクトのセットは双方、物理ドメイン２００内のオブジェクトの位置情報を表す。

物理ドメイン２００は、静的及び動的の双方のオブジェクトにより占有される。静的オブジェクト４０は、物理ドメインを占有し、かつその位置が変化しないオブジェクトである。動的オブジェクト５０は、その位置がある時間にわたり変化する物理オブジェクトである。第１のオブジェクトのセット及び第２のオブジェクトのセットの双方が、静的オブジェクト４０及び動的オブジェクト５０のいずれか又は双方を含んでもよい。第１のオブジェクトのセット及び第２のオブジェクトのセットは、重複したメンバシップを有してもよい。第２のオブジェクトのセットは、第１のオブジェクトのセットのサブセットでもよく、この場合、第２のセンサデータは、車両２が第１のセンサデータにより既に認識しているオブジェクトに関するより多くの又はより良い位置情報を提供することにより、第１のセンサデータを拡張してもよい。第２のオブジェクトのセットは、（メンバシップの観点から）第１のオブジェクトのセットにより部分的に重複され、それとは部分排他的でもよい。この場合、第２のセンサデータは、車両がまだ認識していないオブジェクトに関する位置情報を提供することにより、第１のセンサデータを拡張してもよい。マージＳ１０３及び送信Ｓ１０４ステップは、第１のセンサデータを第２のセンサデータで拡張して、車両２に、車両自身のセンサ２８のみにより生成されたデータ（すなわち、第１のセンサデータ）から車両２に利用可能となる位置情報よりもより正確な（すなわち、より小さい不確実性の）又はより包括的な（すなわち、より多くのオブジェクトを表す）物理ドメイン内のオブジェクトに関する位置情報を提供するのに役立つ。

第１のセンサデータ及び第２のセンサデータにおいて表される位置情報は、オブジェクト位置、オブジェクトスピード、オブジェクト速度、オブジェクト方向、オブジェクト加速度のうち１つ以上でもよい。各々の表現された特性は、信頼度又は精度の指標を伴ってもよい。第１のセンサデータ及び第２のセンサデータは、共通のデータフォーマット（共通は、共通の全てのセンサデータを意味するものとみなされる）でフォーマットされてもよい。

ステップＳ１０３は、第１のセンサデータ及び第２のセンサデータをマージして、エンティティの状態を表す拡張されたデータセットを生成するステップを含んでもよい。自律車両の制御に関する特定の例において、ステップＳ１０３で、第１のセンサデータは第２のセンサデータとマージされる。例えば、Ｓ１０３は、第１のセンサデータ及び第２のセンサデータをマージして、第１のオブジェクトのセットと第２のオブジェクトのセットとの結合（union）の位置情報を表す拡張されたデータセットを生成することを含んでもよい。マージするステップＳ１０３は、第１のセンサデータ及び第２のセンサデータを共通のフォーマットにフォーマットすることを含んでもよい。マージするステップＳ１０３は、第１のオブジェクトのセットと第２のオブジェクトのセットとを照合することを含んでもよく、それにより、データセットの双方の中の同じオブジェクトの位置情報の表現を識別し、例えば、さらなる処理（すなわち、比較、重複除去）のために互いを関連づけることができる。マージするステップＳ１０３は、冗長性除去を含んでもよい。マージするステップＳ１０３の結果は、第２のセンサデータとマージされた第１のセンサデータを含む拡張されたデータセットである。

第１のセンサデータ及び第２のセンサデータをマージするステップＳ１０３は、第１のセンサデータ内の第１のオブジェクトのセットの各メンバの表現を第２のセンサデータ内の第２のオブジェクトのセットの各メンバの表現と比較して、第２のオブジェクトのセットにも属する第１のオブジェクトのセットのメンバを識別することと、第１のオブジェクトのセット及び第２のオブジェクトのセットの双方に属する各オブジェクトについて、第１のセンサデータ内のオブジェクトの位置情報の表現を第２のセンサデータ内のオブジェクトの位置情報の表現と組み合わせることにより、拡張されたデータセット内のオブジェクトの位置情報の表現を生成することとを含んでもよい。例えば、位置情報は、位置に関する、その位置にオブジェクトがある確率の分布を含んでもよい。このような場合、組み合わせることは、第１のセンサデータ及び第２のセンサデータからの上記オブジェクトのオブジェクト位置に関する確率の分布を重ね合わせる（superimposing）ことにより、第１のセンサデータ内のオブジェクトの位置情報の表現を第２のセンサデータ内のオブジェクトの位置情報の表現と組み合わせることを含んでもよい。

第１のセンサデータ及び第２のセンサデータをマージするステップＳ１０３は、第１のオブジェクトのセットのメンバでないオブジェクトの位置情報を表す拡張されたデータセットを提供するシナリオにおいて、第１のオブジェクトのセットの位置情報の表現と第２のオブジェクトのセットの位置情報の表現とを集約することを含んでもよい。換言すれば、第１のオブジェクトのセットと第２のオブジェクトのセットとの結合は、第１のオブジェクトのセットのメンバではない１つ以上のオブジェクトを含む。

マージするステップＳ１０３は、位置特性を集約することをさらに含んでもよく、例えば、第１のセンサデータがオブジェクト位置を表してもよく、第２のセンサデータがオブジェクト速度を表してもよく、それにより、マージするステップＳ１０３は、第１のセンサデータ内に表されたオブジェクトの１つ又は複数の位置情報特性を第２のセンサデータ内に表された同じオブジェクトの１つ又は複数の位置情報特性で拡張することを含む。

拡張されたデータセットは、第１のオブジェクトのセットと第２のオブジェクトのセットとの結合の位置情報を表す。拡張されたデータセットは、第１のセンサデータからの情報を第２のセンサデータからの情報で拡張する。第１のセンサデータは、対象車両により提供されるセンサからのデータであり、第２のセンサデータは、対象車両以外のオブジェクト（例えば、他の車両又は固定センサ）により提供されるセンサからのデータである。したがって、拡張されたデータセットは、その自身のセンサから車両に利用可能であったであろう情報を他のセンサからの情報で拡張する。Ｓ１０４において、拡張されたデータセットの抜粋が車両２に送信される。拡張されたデータセットは、対象車両に関連する抜粋を選択するためにフィルタリング又はトリアージされ、抜粋は、車両２と本方法を実行するコンピューティング装置１０との間の上述のデータ通信リンクを介して送信される。抜粋を送信することは、伝送帯域幅が無関係なデータで浪費されることを防ぐ。

マージするステップＳ１０３は、コンピューティング装置１０上で動作するソフトウェアプログラム又はモジュールにより実行されてもよい。マージするステップＳ１０３の責任を負うソフトウェアモジュールは集合知識最適化器（collective knowledge optimiser）と呼ばれてもよく、例えば、特定の機能のための１つ以上のサブモジュールを含んでもよい。
・ 精度改善
・ 信頼度改善
・ 信用性改善
・ 冗長性排除
・ ブラインドスポット補完（Blind spot completion）

車両２により実行される機能が参照される場合、その機能は車両制御デバイス２０などの車両２の１つ又は複数の特定のハードウェア要素により実行され得ることが暗に示されていることに留意する。

ステップＳ１０４は、拡張されたデータセットの抜粋を移動オブジェクトに送信するステップを含んでもよく、抜粋は、拡張されたデータセットの選択されたサブセットであり、選択されたサブセットは、移動オブジェクトのアイデンティティ又は位置に依存してコンピューティング装置により選択される。自律車両の制御に関する特定の例において、送信するステップＳ１０４は、拡張されたデータセットの抜粋を車両２に送信するステップを含んでもよく、抜粋は、第１のオブジェクトのセット及び第２のオブジェクトのセットの結合のうち選択されたサブセットの、拡張されたデータセットからの位置情報の表現であり、選択されたサブセットは、車両２の位置に対して定義された第１の空間領域内に表された位置があるオブジェクトである。車両２の位置は、第１のセンサデータ、第２のセンサデータ、又は双方の組み合わせにより表されてもよい。車両２の位置は、第１のセンサデータに付随したメタデータでもよい。第１の空間領域は、例えば、水平面における車両２の周囲の定義された半径であって、所定の距離だけ垂直に延在していてもよい。定義された半径は予め定義されてもよく、あるいは車両速度に対し適応的でもよい。

一例示的な実施形態において、移動オブジェクトは、同じネットワーク内のドローン又は小型化されたドローンの機団の１つとして動作するドローン又は小型化されたドローンであり、各々が、センサデータをコンピューティング装置に提供する（すなわち、第１のセンサデータ及び第２のセンサデータ）。エンティティの状態の表現は、例えば大気温度の示度（reading）、ドローンが動作しているか又はドローンがその他の方法で示度を取得するように構成された媒体の化学組成の示度、又は、例えば環境現象の画像でもよい。コンピューティング装置は、ドローン又は小型ドローンのうち少なくとも２つからの示度を三角測量し（triangulates）て、エンティティの状態をある程度の精度又は信頼度で決定する。例えば、上記精度又は信頼度の程度は、任意の個々のドローン又は小型ドローンからの示度の精度又は信頼度の程度より良好である。第１の感知オブジェクトに送信される抜粋は、それがコンピューティング装置に送信した示度の拡張されたバージョンであり、その精度を改善するために同じエンティティ状態の他の示度により拡張されている。第１の感知オブジェクトは、アクチュエータを制御して、第１の感知オブジェクトにおける機能的変更、例えば、方向の変更若しくは運動経路における他のそのような変更、又はデバイスのスイッチオン／オフを開始し得る出力信号の変更などを開始するように動作可能である。例えば、環境現象の例において、第１の感知オブジェクトは、安全な動作温度を上回り又は下回る温度降下の場合にベースに戻るドローンでもよい。

図３は、一実施形態による、コネクテッドオブジェクトのネットワークを示す。対象車両２を含むスマートオブジェクト７がコンピューティング装置に無線接続され、該コンピューティング装置は、データトリアージ６４及び集合知識最適化器６２を含むソフトウェアモジュールを実行する１つ以上の相互接続されたサーバでもよい。集合知識最適化器６２は、コンピューティングハードウェア上で動作し、かつ第１のセンサデータ及び第２のセンサデータのマージＳ１０３を実行するように構成されたソフトウェアモジュールである。拡張されたデータセットは、メモリ１４に記憶される。拡張されたデータセットは、例えば、動的マップの形式でもよい。データトリアージ６４は、Ｓ１０４における拡張されたデータの抜粋の構成及び送信を実行するように構成される。

集合知識最適化器６２は、対象車両２の欠落した又は多義的な情報を決定し、スマートオブジェクト７のネットワークの中から情報の代替ソースを識別し、対象車両２からのセンサデータを識別された情報の代替ソースからのセンサデータとマージするように動作可能でもよい。拡張されたデータは、同じオブジェクトに関する複数のソースからのデータをマージして、ポジション、軌道、及び／又は分類の精度及び信頼度の観点からより信頼できる情報を作成してもよい。

図４は、実施形態の一部として含まれ又は実施形態と通信し得る車両制御デバイス２０の一例を示す。センサ２８１〜２８４は、本文献の他の箇所に記載された車両取り付けセンサの例であり、第１のセンサデータを提供する。センサ２８は、ＬＩＤＡＲ２８１、ＲＡＤＡＲ２８２、カメラ２８３、及び物理ドメイン２００内の車両２又は任意の他オブジェクトの位置及び／又はポジション及び／又は速度及び／又は加速度を示す情報を提供する他のセンサのうち１つ以上を含んでもよい。

車両コンピューティングデバイスメモリ２４は、車両コンピューティングデバイスプロセッサ２２により処理されたときに車両コンピューティングデバイスプロセッサ２２に、以下の例示的な人工知能機能、すなわち、オブジェクト接触予測器２２１、位置識別器２２２、オブジェクト認知機能２２３、群知能機能２２４、運動経路識別器２２５、及びコントローラ２２６のうち１つ以上を実現させる命令を記憶する。車両コンピューティングデバイス通信インターフェース２６は、２つの機能モジュール、知識拡張器（knowledge augmenter）２６１及び知識交換器２６２として動作するように構成されてもよい。

センサ２８１〜２８４、及び関連づけられた処理機能２２１〜２２６は、測定されたセンサデータを解析して、（運動経路識別器２２５を介して）動的物理オブジェクトの運動を、（位置識別器を介して）物理オブジェクトの位置を、（オブジェクト認知機能２２５を介して）オブジェクトの分類を推測し、推論された情報をコントローラ２２６内で使用する。

オブジェクト接触予測器２２１は、受信した拡張されたデータの抜粋を使用して、ある点における同じジオロケーション（空間座標）での複数のオブジェクトの共存をモデル化し、予測する。車両２が存在することになり、ゆえに複数のオブジェクトの共存が予測されるべき時間及び位置は、車両コンピューティングデバイス２０自体により、又はコンピューティング装置１０と協働して計算されてもよい。予測された共存は空間的相互作用の例であり、これは、空間的相互作用を回避する運動経路を仮定するためのコントローラ２２６への指示をトリガする。

車両制御デバイス２０は、対象車両２のコンポーネントである。そのような車両制御デバイス２０は、コンピューティング装置に周期的に問い合わせ、問い合わせに応答して、Ｓ１０４で送信される拡張されたデータの抜粋を受信するように構成されてもよい。車両制御デバイス２０は、例えばオブジェクト接触予測器２２１において、拡張されたデータの抜粋を使用して、車両２の予測された経路の定義された接触閾距離内に位置又は予測された経路を同時に有するいかなるオブジェクトも識別するように構成される。例えば、拡張されたデータの抜粋は、データトリアージ６４及び／又は集合知識最適化器６２により車両のために生成される。

換言すれば、オブジェクト接触予測器２２１は、フォグ又はクラウドからカスタマイズされた情報（すなわち、問い合わせ応答）を取得し、それを使用して、受信した拡張されたデータの抜粋（問い合わせ応答）に表される位置情報に基づいて、将来における他のオブジェクトとの共存のリスクを計算する。この情報は、このような共存を回避するための指示としてコントローラに伝達され、ゆえに、衝突が回避されるような方法で車両２の操縦を最適化し、さらに、急激な加速、減速、又は操舵を回避してもよい。

知識拡張器２６１は、Ｓ１０４で送信されるコンピューティング装置１０からの拡張されたデータの抜粋を受信し、かつ受信したデータを車両制御デバイス２０内に、例えばオブジェクト接触予測器２２１に配信するソフトウェア機能又はレイヤ、例えばＡＰＩ又はＡＰＩ様レイヤなどでもよい。

知識交換器２６２は、センサ２８１〜２８４により収集されたデータを、Ｓ１０３においてコンピューティング装置１０によりマージするためにネットワークにわたり標準化されたフォーマットに変換するソフトウェア機能又はレイヤ、例えばＡＰＩ又はＡＰＩ様レイヤなどでもよい。例えば、標準化されたフォーマットは、データの量を、表されたオブジェクトの位置情報に関連する情報のみに低減させ、それにより、余分な帯域幅使用を低減させてもよい。

図５は、一実施形態を示す。図５の例において、複数の感知オブジェクトは、スマートコネクテッドシング（ＳＣｏＴ）７でもよく、そのうち１つが対象車両２であり、クラウド又はフォグ内の１つ以上のサーバであるコンピューティング装置１０とデータ通信する。感知オブジェクトは、コンピューティングネットワークの一部として、コンピューティング装置、例えばコンピューティング装置１０との間でデータが交換されることを可能にする接続性を有するオブジェクトである。感知オブジェクトは、上記で論じられたように、コンピューティング装置１０とのデータ通信を活用する知識拡張器ソフトウェア２６１及び知識交換ソフトウェア２６２を組み込まれる。感知オブジェクトは自律又は半自律車両であり、オブジェクト接触予測器２２１を含み、これは、コンピューティング装置１０から受信した拡張されたデータの抜粋を使用して衝突を予測し、運動コントローラ２２６に衝突を回避する経路を仮定するよう指示する。感知オブジェクトはＳＣｏＴと呼ばれてもよく、ＳＣｏＴの例は、車両２（車両取り付けセンサ２８又は車両制御デバイス２０などの、コンポーネントの集合セット、又はそれらの個々のコンポーネントのいずれかとして）、静的センサ３０を含む。各感知オブジェクトは、４つのタイプのセンサ２８１〜２８４のうちの１つ以上のセンサを有する。コンピューティングネットワークはコンピューティング装置１０を含み、これは、４つの機能モジュール、すなわち三角測量器（triangulator）６６、集合知識最適化器６２、データトリアージ６４、及び動的マップ６８を有して示されている。機能モジュールへの分割は、機能が複数のコンピューティングデバイス、プロセッサ、又はスレッド間で如何にして分割され得るかの一例を提供することに留意する。しかしながら、コンピューティング装置は、図示の４つの機能を実現するソフトウェアを実行するコンピューティングデバイス又はコンピューティングデバイスのネットワークであり、上記機能性は、単一のコンピューティングプログラムにより、又は複数のコンピューティングプログラムにより提供されることがあり得る。

データトリアージ６４は、マージするためにリアルタイムセンサデータが第１のコンピューティング装置１０に到達する前に、例えば重複データエントリを除去することにより、リアルタイムセンサデータをフィルタリングしてもよい。あるいは、重複データエントリは、集合知識最適化器６２により除去されてもよい。

三角測量器６６は、集合知識最適化器６２と協働して動作して、車両２からのリアルタイムセンサデータにおけるギャップ、例えばブラインドスポットを識別し、これらのギャップを、固定センサ又は他の車両からのセンサなどのセンサからのデータで埋める。ギャップを埋めるデータは、車両２（又はその車両コンピューティングデバイス２０）に通信されてもよい。集合知識最適化器は、ステップＳ１０３に関連して上記で論じられたように、センサデータをマージする。拡張されたデータは、例えば、動的マップ６８の形式で記憶される。動的マップ６８は、感知されたオブジェクトの位置情報をそれらオブジェクトについての予測された経路と共に使用して、それらの感知された位置及び予測された運動経路に基づいてオブジェクトの運動を将来に投影する動的４次元マップを維持してもよい。データトリアージ６４は、ネットワーク内の各自律車両についてオブジェクト中心の抜粋を抽出し、その抜粋を自律運転などの意思決定における使用のために各自律車両に送信する。

図６は、対象車両２及びコンピューティング装置１０により実行され得る一例示的な処理を示す。説明の目的で、コンピューティング装置１０のデータ処理機能は、２つの機能モジュール、三角測量器６６と集合知識最適化器６２とに分割される。この分割は説明目的のものであり、実施形態は双方の機能に同じコンピューティングハードウェアを利用してもよいことに留意する。

ステップＳ６００〜Ｓ６０２は、対象車両２（すなわち、そのセンサデータが拡張される自律車両）で実行される。Ｓ６００において、センサデータが、第１のセンサデータとして車両取り付けセンサにより周囲の環境から取得される。Ｓ６０１は任意的なオブジェクト認知ステップであり、取得されたセンサデータに対して人工知能オブジェクト認知手順が実行される。Ｓ６０２において、センサデータは、データを三角測量するためにコンピューティング装置１０により利用される標準化されたＫＴフォーマットにフォーマットされる。

ステップＳ６０３〜Ｓ６１１は、コンピューティング装置１０において実行される。ステップＳ６０３において、センサデータが、対象車両２から、及び第２のセンサデータとして物理ドメインの示度を作ることによりセンサデータを取得する他の感知オブジェクトから受信される。すべての受信したセンサデータは、ネットワーク内の標準化されたフォーマットに従ってフォーマットされる。ステップＳ６０４において、異なるソースからのセンサデータ（すなわち、第１及び第２のセンサデータ）が組み合わせられ、位置情報と、任意で、例えばデータグラフにおけるオブジェクト認知情報などのメタデータとが含まれる。複数のソースからのセンサデータをマージすることによる情報の導出は、集合知（collective intelligence）と呼ばれることがある。Ｓ６０５において、データグラフは、第１のセンサデータ及び第２のセンサデータからのいずれのレコードが同じ物理ドメインオブジェクトに関連するかに関する仮説を作成するために使用される。Ｓ６０６において、作成された仮説は、データを解析することにより確認され、Ｓ６０７において、同じオブジェクトに関連すると決定されたいずれのレコードも集約され（有効な仮説Ｅｏｂｊ及びＰｏｂｊのためのレコードを集約する）、Ｓ６０８において、例えば、複数のソースからの同じオブジェクトの位置の確率分布を互いに重ね合わせることによりマージされる。Ｓ６０８でのマージは、集約されたレコード（Ｔｏｂｊ）上の三角測量として記述されてもよい。

Ｓ６０９において、マージされたレコードを含む感知されたオブジェクトに関するレコードが、例えばデータグラフとして記憶される。データグラフは、対象車両２を含むオブジェクト間の距離を示すことができる。これにより、Ｓ６１０において、対象車両２についてオブジェクト中心の探索が実行されて、対象車両２に対して予め定義された空間領域内のオブジェクトに関する全てのレコードを抽出する。Ｓ６１１において、抽出されたデータ、すなわち拡張されたデータの抜粋が、運動経路決定などの意思決定における使用のために対象車両２に送り返される。抜粋は、第１及び第２のセンサデータに使用されるのと同じデータフォーマットでもよい。

Ｎを、ｎ個の区別可能な感知オブジェクト２、７のネットワークとする。各感知オブジェクトはセンサ２８を含み、プロセッサをさらに含んでもよく、それが意思決定者であることを可能にする。感知オブジェクト３０は、センサデータを収集するネットワークに含まれてもよいが意思決定を実行しない。Ｓ（Ｉ，ｎ）をＮＩのうちのＩセンサとし、ＫＩ（ｎ）をｎ個の感知オブジェクトのセンサデータ出力とする。Ｄｎを、感知オブジェクトｎにより検出される周囲のオブジェクトのセットとする。

実施形態は、感知オブジェクトのＫＩ（ｎ）からの環境及び車両センサから来る処理されたデータをマージする。各々の接続された感知オブジェクトは、その現在のステータスに関する正確な情報と、その周囲の検出されたオブジェクトの、それらの推定された位置（ＧＰＳ又は角度／距離）、推定された相対スピード及び加速度を有する完全なリストとを、信頼度及び／又は精度レベルと共に（潜在的にリアルタイムで）提供する。さらに、それは、検出されたオブジェクトの分類（例えば、車両、人、街頭設置物（street furniture）等）、そのサイズ（３Ｄ）、説明（例えば、トラック、車、バイク、子供、高齢者、交通信号、道路標識等）、詳細な内容（車のモデル、学童、ベビーカー、スピード制限道路標識等）などの他のメタデータを提供してもよい。

周囲の要素の（そのそれぞれの信頼度レベルに関連づけられた）推定されたポジションＥ_ｏｂｊの集約された分布と軌道予測Ｐ_ｏｂｊの集約されたベクトル分布のため、各感知オブジェクトは、それ自身の感知データＫＩにより生成された情報を生成及び通信することができるべきである。次いで、より高いレベルの三角測量Ｔ_ｏｂｊを、以下に示す式に基づき計算できる。

以下で図７〜図１０に関連して一例証的な例を開示する。

図７に示す状況において、歩行者４は、横断歩道における赤の歩行者灯にもかかわらず通りを横断している。オブジェクト３は、感知オブジェクト２（対象車両としてコンピューティング装置１０とデータ通信する車両）の視野の前方で移動している車両である。車両１は、コンピューティング装置１０とデータ通信する感知オブジェクトである。歩行者はコンピューティング装置１０へのデータ接続を有さない、すなわち、歩行者はネットワークの一部を形成するスマートオブジェクト７を所有していないことが仮定される。車１、２は双方、ネットワークの一部としてコンピューティング装置１０に接続された感知オブジェクトであり、例えば、それらはスマートオブジェクト又は接続されたＳＣｏＴであることが仮定される。したがって、いずれの車両も、対象車両としてコンピューティング装置１０からオブジェクト中心の拡張された知識を受信することができる。

車両１及び２は、無線データ通信を介してコンピューティング装置１０に接続される。車両１は、オブジェクト３及び４の存在についてのその知識（分類、位置、軌道等のうち１つ以上を含む）を共有し、一方、車両２は、オブジェクト３のみのその知識を共有し、なぜならば、オブジェクト４は、車両２の視点からはブラインドスポットにあるからである。コンピューティング装置１０は、この知識を集約し、三角測量し、状況のフルの知識を形成することができる。この拡張された知識は、コンピューティング装置１０により（例えば、集合知識最適化器６２により）解析され、オブジェクト３により引き起こされた車両２の視野内のブラインドスポットを識別し、拡張されたデータの関連する抜粋を直ちに車両２に送り、ゆえに歩行者との衝突を回避する。

図８は、車両１の視野を示す。オブジェクト４が車両１に見えることに留意する。

図９は、第１のセンサデータとしてコンピューティング装置１０に送信するために車両２により生成されたセンサデータ（すなわち、対象車両からのセンサデータ）と、第２のセンサデータとしてコンピューティング装置に送信するために車両１により生成されたセンサデータ（すなわち、第１のセンサデータを拡張するために使用され得る別の感知オブジェクトからのセンサデータ）を示す。

図９に示すように、標準化されたデータフォーマットがネットワーク内のすべてのスマートオブジェクトにより使用されてもよく、これは、知識共有を容易にする。車両１のセンサの視野がオブジェクト４を含むため、車両１は、位置情報を表す記述情報と、任意でさらにオブジェクト４に関する他の情報、例えば、とりわけ、ポジション、オブジェクトタイプの分類、スピード、加速度、測定の信頼度レベルのうちの１つ以上などを合成することができる。車両１及び２からのセンサデータは、コンピューティング装置１０で共有される。

コンピューティング装置１０に接続されたスマートオブジェクトのセットＮ＿ｉｎと、接続されていないオブジェクトのセットＮ＿ｏｕｔを定義する。コンピューティング装置１０は、各々のＮ＿ｉｎスマートオブジェクトにより提供される検出知識に基づいて、Ｎ＿ｉｎスマートオブジェクトの双方向グラフと、Ｎ＿ｉｎスマートオブジェクトからＮ＿ｏｕｔオブジェクトへの一方向を作成することができる。複数のＮ＿ｉｎスマートオブジェクトが同じオブジェクトを検出している場合、三角測量手法がトリガされ、三角測量は、複数の感知オブジェクトからの同じオブジェクトに関するセンサデータのマージであり、上記同じオブジェクトに関する情報を改善する。最後、各スマートオブジェクトのための第１の空間領域が定義され、関係する対象車両の第１の空間領域内にあると決定されたオブジェクトに関する拡張されたデータを選択することにより、拡張されたデータの抜粋が抽出される。第１の空間領域は、例えば、地表の面における特定の半径でもよい。抜粋抽出の目的では垂直位置を無視できることがあってもよく、あるいは、第１の空間領域が定義された高さを有してもよい。

図９に示されるセンサデータはコンピューティング装置１０に送信され、それにより処理される（例えば、ステップＳ１０３及びＳ１０４）。例えば、コンピューティング装置１０は、フィルタリング（ローカルソースからのレコードを比較することにより、同じオブジェクトに関する異なるソースからの可能なレコードを識別する）、仮説生成（それらの可能性うちいずれが同じ物理ドメインオブジェクトに関するレコードで有りうるか）、仮説確認（解析を行って仮説をチェックし、肯定的な場合にレコードを集約する）、三角測量（同じオブジェクトに関する複数のレコードをマージ又は三角測量する特定のメカニズム）のうち１つ以上の処理を実行することができる。

図６の状況を参照し、図１０において、同じオブジェクトに関する複数のレコードが如何にして互いにマージされ得るかの一例を示す。各感知オブジェクトは、オブジェクト３の位置についてのその知識を、推定されたポジション及び信頼度レベルを含むフォーマット（例えば、平均の周囲のガウス分布）で報告する。推定されたポジション及び信頼度レベルは、オブジェクトがある位置で発見される確率の分布として表され得る。図１０に示すように、いずれか個々の感知オブジェクトから報告された推定されたポジションは、実際の値と異なる可能性が高い。さらに、各感知オブジェクトにより知覚される信頼度は、必ずしも同じでない。コンピューティング装置１０は、双方の分布を重ね合わせによりマージして重複ゾーンを発見し、それ自体、重複ゾーンの中心としての位置の修正された表現を提供する。このようなマージは、例えばスピード、方向、サイズ等を含む報告された位置情報に対して行われてもよく、このマージの結果は、オブジェクト３に関する拡張されたデータセットである。

拡張されたデータセットは、第１及び第２のセンサデータからの２つのレコードをマージすることにより得られるオブジェクト３の新しい表現を含む。拡張されたデータセットは、（車両１のセンサデータからの）第２のデータセットからのオブジェクト４の表現をさらに含む。例えば、集合知識最適化器６２は、車両１及び２の双方がオブジェクト３に関する改善した位置情報からの恩恵を受けることを識別し得る。集合知識最適化器６２は拡張されたデータセットを記憶し、抜粋が、データトリアージ６４を介して、第１の空間領域に基づいて対象車両２に送信するために選択される。この抜粋は対象車両２に送信され、意思決定に、例えば車両の運動経路を選択する際に利用される。

図１１に示すように、例えばＬＩＤＡＲ２８１、ＲＡＤＡＲ２８２、カメラ２８３、及び超音波センサ２８４を含むセンサが、物理ドメインから示度を取得する。物理ドメインから示度を取得する他のセンサの例には、温度計２８５及び雨センサ２８６を含む。他のセンサデータは車両センサ２８７により提供されてもよく、これは、走行距離計、加速度センサ、ジャイロスコープ、充填レベルセンサのうち１つ以上を含んでもよい。センサ２８１〜２８７からのデータは、処理のため、及びコンピューティング装置１０への送信のために車両コンピューティングデバイス２０によりアクセス可能である。

車両コンピューティングデバイス２０は、センサから受信したデータを処理し、その処理されたデータのうち一部は車両２自身により利用され、一部はコンピューティング装置１０に送信される。車両で実行され得る処理機能には、車線追跡、オブジェクト追跡、データフィルタリング、運動推定、グリッド抽出又はモデリング、及び交通標識及び交通信号検出を含む。物理オブジェクトの位置情報を表すデータを含むいくらかの処理されたデータは、コンピューティング装置１０のより高レベルのモジュールに渡される。車両２は、擬似自律世界モデリング（quasi-autonomous world modelling）のためにデータの一部を利用してもよい。

コントローラ２６は、（入ってくる下向き矢印により表される）コンピューティング装置１０から受信した拡張されたデータの抜粋を利用し、対象車両２の軌道（又は運動経路）を算出し、エンジン２５１、変速機２５２、ブレーキ２５３、及びステアリング２５４のうち１つ以上を含むアクチュエータ２５に、算出された運動経路を実現するよう指示する。さらに、例えば１つ以上の車両センサ２８７からの入力データに基づいて、コントローラ２６により車両安定化が実行されてもよい。コンピューティング装置１０又は他のより高レベルのモジュールとの通信は、ＨＭＩ又はＶ２Ｘなどの通信インターフェースを介してもよいことに留意する。

図１２は、本発明を具現化し、センサデータを受信、マージ、及び送信する一実施形態の方法を実現するために使用され得る、サーバなどのコンピューティング装置１０のブロック図である。コンピューティング装置は、プロセッサ９９３及びメモリ９９４を備える。コンピューティング装置は、他のコンピューティング装置と、例えば実施形態の車両制御デバイス２０と通信するためのネットワークインターフェース９９７をさらに含む。コンピューティング装置１０は、図１２に示す形式のコンピューティングデバイスでもよい。車両制御デバイス２０は、図１２に示す形式のコンピューティングデバイスでもよい。一実施形態の任意の他のコンピューティング装置が、図１２に示す形式のコンピューティングデバイスでもよい。一実施形態のコンピューティング装置１０が、図１２に示すものなどの複数の相互接続されたコンピューティング装置でもよい。

例えば、一実施形態は、そのようなコンピューティング装置のネットワークから構成されてもよい。任意で、コンピューティング装置は、キーボード及びマウス９９６などの１つ以上の入力機構、及び１つ以上のモニタ９９５などの表示ユニットをさらに含む。コンポーネントは、バス９９２を介して互いに接続可能である。

メモリ９９４は、コンピュータ読取可能記憶媒体を含んでもよく、この用語は、コンピュータ実行可能命令を搬送し又はデータ構造を記憶させるように構成された、単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連づけられたキャッシュ及びサーバ）を参照してもよい。コンピュータ実行可能命令は、例えば、汎用コンピュータ、専用コンピュータ、又は専用処理デバイス（例えば、１つ以上のプロセッサ）によりアクセス可能であり、かつこれらに１つ以上の機能又は動作を実行させる命令及びデータを含んでもよい。ゆえに、用語「コンピュータ読取可能記憶媒体」は、マシンによる実行のための命令のセットを記憶、符号化、又は搬送することができ、マシンに本開示の方法のいずれか１つ以上を実行させる任意の媒体をさらに含んでもよい。したがって、用語「コンピュータ読取可能記憶媒体」は、これらに限られないがソリッドステートメモリ、光学媒体、及び磁気媒体を含むとみなされてもよい。限定でなく例として、このようなコンピュータ読取可能媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読取専用メモリ（ＣＤ‐ＲＯＭ）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）を含む、非一時的コンピュータ読取可能記憶媒体を含んでもよい。

プロセッサ９９３は、コンピューティング装置１０を制御し、処理動作を実行するように構成され、例えば、本明細書及び特許請求の範囲に記載された車両の運動経路を指示する方法の種々の異なる機能を実現するために、メモリに記憶されたコードを実行する。メモリ９９４は、プロセッサ９９３により読み出され、書き込まれるデータを記憶する。本明細書で参照されるとき、プロセッサは、マイクロプロセッサ、中央処理ユニットなどの１つ以上の汎用処理デバイスを含んでもよい。プロセッサは、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セットを実現するプロセッサ若しくは命令セットの組み合わせを実現する複数のプロセッサを含んでもよい。プロセッサは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどの１つ以上の専用処理デバイスをさらに含んでもよい。１つ以上の実施形態において、プロセッサは、本明細書で論じられる動作及びステップを実行するための命令を実行するように構成される。

表示ユニット９９７は、コンピューティングデバイスにより記憶されたデータの表現を表示することができ、ユーザとコンピューティングデバイスに記憶されたプログラム及びデータとの間の対話を可能にするカーソル及びダイアログボックス及び画面をさらに表示してもよい。入力機構９９６は、ユーザがデータ及びコンピューティングデバイスへの命令を入力することを可能にし得る。

ネットワークインターフェース（ネットワークＩ／Ｆ）９９７は、インターネットなどのネットワークに接続されてもよく、ネットワークを介して他のこのようなコンピューティングデバイスに接続可能である。ネットワークＩ／Ｆ９９７は、ネットワークを介して他の装置から／他の装置へ入力／出力されるデータを制御することができる。マイクロホン、スピーカ、プリンタ、電源ユニット、ファン、ケース、スキャナ、トラッカーボール等などの他の周辺デバイスが、コンピューティングデバイスに含まれてもよい。

例えば、図３及び図５のデータトリアージ６４は、メモリ９９４に記憶された処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介してデータを交換するプロセッサ９９３（又はその複数）でもよい。特に、プロセッサ９９３は、ネットワークＩ／Ｆを介して拡張されたデータを受信し、各対象車両のための抜粋を抽出する処理命令を実行する。さらに、プロセッサ９９３は、ネットワークＩ／Ｆ９９７を介して、拡張データ抜粋をオブジェクト接触予測のために車両制御デバイス２０に送信する処理命令を実行してもよい。

例えば、図５に示す三角測量機能６６は、メモリ９９４に記憶された処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介してデータを交換するプロセッサ９９３（又はその複数）でもよい。特に、プロセッサ９９３は、ネットワークＩ／Ｆを介して、第１の感知オブジェクト及び第２の感知オブジェクトの双方から、物理ドメイン２００からの示度を取得するセンサからリアルタイムセンサデータを受信し、任意でさらに、受信したデータをマージする処理命令を実行する。さらに、プロセッサ９９３は、ネットワークＩ／Ｆ ９９７を介して、拡張されたデータ又はその抜粋を、オブジェクト接触予測器２２１によるオブジェクト接触予測のために、データトリアージ６４を介して車両制御デバイス２０に送信する処理命令を実行してもよい。

この例は、２つの感知オブジェクト、したがって２つのソースデータセット（第１のセンサデータ及び第２のセンサデータ）が存在することに関して提示されているが、実施形態は、２つのみ存在することに限定されず、２つより多くてもよい。実際、２つより多くの、例えば３つ、４つ、５つ、１０個、又は１００個の感知オブジェクトからのセンサデータの追加により利点が強化されることが理解され得る。

例えば、図４及び図５に示すオブジェクト接触予測器２２１は、メモリ９９４に記憶された処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介してデータを交換するプロセッサ９９３（又はその複数）でもよい。特に、プロセッサ９９３は、ネットワークＩ／Ｆを介して、拡張されたデータセットの抜粋を受信する処理命令を実行する。さらに、プロセッサ９９３は、車両制御メカニズムに、他のオブジェクトとの予測される空間的相互作用（すなわち、接触）を回避する運動経路を採用するように指示する処理命令を実行してもよい。

本発明を具現化する方法は、図１２に示すものなどのコンピューティングデバイスで実行できる。このようなコンピューティングデバイスは、図１２に示すあらゆるコンポーネントを有する必要はなく、これらのコンポーネントのサブセットから構成されてもよい。本発明を具現化する方法は、ネットワークを介して１つ以上のデータ記憶サーバと通信する単一のコンピューティングデバイスにより実行されてもよい。コンピューティングデバイス１２は、受信したセンサデータをマージし、拡張されたデータの抜粋を対象車両に送信するデータ記憶装置自体でもよい。

本発明を具現化する方法は、互いに協働して動作する複数のコンピューティングデバイスにより実行されてもよい。複数のコンピューティングデバイスのうちの１つ以上が、拡張されたデータセットの少なくとも一部分を記憶するデータ記憶サーバでもよい。

上記の実施形態につき以下の付記を残しておく。
（付記１）
コンピューティング装置において、
第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、前記第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、前記移動オブジェクトは無線接続性を有し、前記第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、
第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、前記第２の感知オブジェクトは前記第１の感知オブジェクトと区別可能であり、前記第２のセンサデータは前記物理ドメイン内の前記エンティティの状態を表す、ステップと、
前記第１のセンサデータ及び前記第２のセンサデータをマージして、前記エンティティの状態を表す拡張されたデータセットを生成するステップと、
前記拡張されたデータセットの抜粋を前記移動オブジェクトに送信するステップであり、前記抜粋は前記拡張されたデータセットの選択されたサブセットであり、前記選択されたサブセットは、前記移動オブジェクトのアイデンティティ又は位置に依存して前記コンピューティング装置により選択される、ステップと、
を含む方法。
（付記２）
前記エンティティの状態は、前記物理ドメイン内の１つ以上のオブジェクトの位置情報であり、前記第１のセンサデータは、前記物理ドメイン内の第１の１つ以上のオブジェクトのセットの位置情報を表し、前記第２のセンサデータは、前記物理ドメイン内の第２の１つ以上のオブジェクトのセットの位置情報を表し、
前記移動オブジェクトは、自律オブジェクト、又は自律モードで動作する半自律移動オブジェクトであり、
前記拡張されたデータセットは、前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの結合の位置情報を表し、
前記選択されたサブセットは、前記移動オブジェクトの位置に対して定義された第１の空間領域内に表された位置があるオブジェクトを表すデータである、
付記１に記載の方法。
（付記３）
前記選択されたサブセットは、前記第２のオブジェクトのセットのメンバであって前記第１のオブジェクトのセットのメンバでないオブジェクトを含む、
付記２に記載の方法。
（付記４）
前記拡張されたデータセットの前記抜粋は、前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの双方のメンバであるオブジェクトの表現を含み、前記拡張されたデータセット内の前記表現は、前記第２のセンサデータ内の前記オブジェクトの表現からの位置情報で拡張された前記第１のセンサデータ内の前記オブジェクトの表現からの位置情報を含む、
付記２又は３に記載の方法。
（付記５）
前記第１のセンサデータ及び前記第２のセンサデータをマージすることは、前記第１のセンサデータ内の前記第１のオブジェクトのセットの各メンバの表現を前記第２のセンサデータ内の前記第２のオブジェクトのセットの各メンバの表現と比較して、前記第２のオブジェクトのセットにも属する前記第１のオブジェクトのセットのメンバを識別することと、
前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの双方に属する各オブジェクトについて、前記第１のセンサデータ内の前記オブジェクトの位置情報の表現を前記第２のセンサデータ内の前記オブジェクトの位置情報の表現と組み合わせることにより、前記拡張されたデータセット内のオブジェクトの位置情報の表現を生成することと、を含む、
付記２乃至４のうちいずれか１項に記載の方法。
（付記６）
前記第１のセンサデータ内のオブジェクトの位置情報の表現は、前記位置情報の表現の精度の指標を含み、
前記第２のセンサデータ内のオブジェクトの位置情報の表現は、前記位置情報の表現の精度の指標を含み、
前記拡張されたデータセット内のオブジェクトの位置情報の表現は、前記位置情報の表現の精度の指標を含み、
前記第１のセンサデータ内のオブジェクトの位置情報の表現を前記第２のセンサデータ内のオブジェクトの位置情報の表現と組み合わせることにより生成される前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの双方に属する前記又は各オブジェクトの前記拡張されたデータセット内の位置情報の表現は、前記第１のセンサデータ及び前記第２のセンサデータ内の前記オブジェクトの位置情報の表現の精度より高い精度のものである、
付記５に記載の方法。
（付記７）
前記第１のセンサデータ内の各オブジェクトの位置情報の表現の精度の指標は、オブジェクト位置に関する確率の分布を含み、
前記第２のセンサデータ内の各オブジェクトの位置情報の表現の精度の指標は、オブジェクト位置に関する確率の分布を含み、
前記第１のセンサデータ内の前記オブジェクトの位置情報の表現を前記第２のセンサデータ内の前記オブジェクトの位置情報の表現と組み合わせることは、前記第１のセンサデータ及び第２のセンサデータからの前記オブジェクトのオブジェクト位置に関する前記確率の分布を重ね合わせることを含む、
付記６に記載の方法。
（付記８）
前記第１のセンサデータ、第２のセンサデータ、及び拡張されたデータセット内の前記エンティティの状態又は各オブジェクトの位置情報の表現は、オブジェクト位置の表現、及び／又はオブジェクト速度の表現、及び／又はオブジェクト加速度の表現を含む、付記１乃至７のうちいずれか１項に記載の方法。
（付記９）
前記移動オブジェクトにおいて、前記拡張されたデータセットの前記抜粋を受信及び使用して、前記移動オブジェクトにおける機能的変更を開始するアクチュエータを制御するステップ、
をさらに含む付記１乃至８のうちいずれか１項に記載の方法。
（付記１０）
プロセッサハードウェア、メモリハードウェア、及びデータ通信インターフェースを含み、方法を実行するように構成されたコンピューティング装置であって、前記方法は、
第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、前記第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、前記移動オブジェクトは無線接続性を有し、前記第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、
第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、前記第２の感知オブジェクトは前記第１の感知オブジェクトと区別可能であり、前記第２のセンサデータは前記物理ドメイン内の前記エンティティの状態を表す、ステップと、
前記第１のセンサデータ及び前記第２のセンサデータをマージして、前記エンティティの状態を表す拡張されたデータセットを生成するステップと、
前記拡張されたデータセットの抜粋を前記移動オブジェクトに送信するステップであり、前記抜粋は前記拡張されたデータセットの選択されたサブセットであり、前記選択されたサブセットは、前記移動オブジェクトのアイデンティティ又は位置に依存して当該コンピューティング装置により選択される、ステップと、
を含む、コンピューティング装置。
（付記１１）
システムであって、
コンピューティング装置と、
第１の感知オブジェクトと、を含み、
前記コンピューティング装置は、
プロセッサハードウェア、メモリハードウェア、及びデータ通信インターフェースを含み、方法を実行するように構成され、前記方法は、
前記第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、前記第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、前記移動オブジェクトは無線接続性を有し、前記第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、
第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、前記第２の感知オブジェクトは前記第１の感知オブジェクトと区別可能であり、前記第２のセンサデータは前記物理ドメイン内の前記エンティティの状態を表す、ステップと、
前記第１のセンサデータ及び前記第２のセンサデータをマージして、前記エンティティの状態を表す拡張されたデータセットを生成するステップと、
前記拡張されたデータセットの抜粋を前記移動オブジェクトに送信するステップであり、前記抜粋は前記拡張されたデータセットの選択されたサブセットであり、前記選択されたサブセットは、前記移動オブジェクトのアイデンティティ又は位置に依存して前記コンピューティング装置により選択される、ステップと、
を含む、システム。
（付記１２）
前記第２の感知オブジェクト
をさらに含む付記１１に記載のシステム。
（付記１３）
前記第１の感知オブジェクトにおいて、前記拡張されたデータセットの前記抜粋を受信及び使用して前記移動オブジェクトの運動経路を指示すること
をさらに含む付記１１又は１２に記載のシステム。
（付記１４）
プロセッサハードウェア及びメモリハードウェアを有するコンピューティング装置により実行されたときに前記コンピューティング装置に方法を実行させる処理命令を含むコンピュータプログラムであって、前記方法は、コンピューティング装置において、
第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、前記第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、前記移動オブジェクトは無線接続性を有し、前記第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、
第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、前記第２の感知オブジェクトは前記第１の感知オブジェクトと区別可能であり、前記第２のセンサデータは前記物理ドメイン内の前記エンティティの状態を表す、ステップと、
前記第１のセンサデータ及び前記第２のセンサデータをマージして、前記エンティティの状態を表す拡張されたデータセットを生成するステップと、
前記拡張されたデータセットの抜粋を前記移動オブジェクトに送信するステップであり、前記抜粋は前記拡張されたデータセットの選択されたサブセットであり、前記選択されたサブセットは、前記移動オブジェクトのアイデンティティ又は位置に依存して前記コンピューティング装置により選択される、ステップと、
を含む、コンピュータプログラム。
（付記１５）
コンピューティング装置において、
第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、前記第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、前記第１のセンサデータは、物理ドメイン内の前記移動オブジェクトの外部にある第１の１つ以上のオブジェクトのセットの位置情報を表す、ステップと、
第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、前記第２の感知オブジェクトは前記第１の感知オブジェクトと区別可能であり、前記センサデータは、前記物理ドメイン内の第２の１つ以上のオブジェクトのセットの位置情報を表す、ステップと、
前記第１のセンサデータ及び前記第２のセンサデータをマージして、前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの結合の位置情報を表す拡張されたデータセットを生成するステップと、
前記拡張されたデータセットの抜粋を前記移動オブジェクトに送信するステップであり、前記抜粋は、前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの前記結合の選択されたサブセットの、前記拡張されたデータセットからの位置情報の表現であり、前記選択されたサブセットは、前記移動オブジェクトの位置に対して定義された第１の空間領域内に表された位置があるオブジェクトである、ステップと、
を含む方法。

Claims (10)

1. コンピューティング装置において、
   第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、前記第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、前記移動オブジェクトは無線接続性を有し、前記第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、
   第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、前記第２の感知オブジェクトは前記第１の感知オブジェクトと区別可能であり、前記第２のセンサデータは前記物理ドメイン内の前記エンティティの状態を表す、ステップと、
   前記第１のセンサデータ及び前記第２のセンサデータをマージして、前記エンティティの状態を表す拡張されたデータセットを生成するステップと、
   前記拡張されたデータセットの抜粋を前記移動オブジェクトに送信するステップであり、前記抜粋は前記拡張されたデータセットの選択されたサブセットであり、前記選択されたサブセットは、前記移動オブジェクトのアイデンティティ又は位置に依存して前記コンピューティング装置により選択される、ステップと、
   を含む方法。
2. 前記エンティティの状態は、前記物理ドメイン内の１つ以上のオブジェクトの位置情報であり、前記第１のセンサデータは、前記物理ドメイン内の第１の１つ以上のオブジェクトのセットの位置情報を表し、前記第２のセンサデータは、前記物理ドメイン内の第２の１つ以上のオブジェクトのセットの位置情報を表し、
   前記移動オブジェクトは、自律オブジェクト、又は自律モードで動作する半自律移動オブジェクトであり、
   前記拡張されたデータセットは、前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの結合の位置情報を表し、
   前記選択されたサブセットは、前記移動オブジェクトの位置に対して定義された第１の空間領域内に表された位置があるオブジェクトを表すデータである、
   請求項１に記載の方法。
3. 前記選択されたサブセットは、前記第２のオブジェクトのセットのメンバであって前記第１のオブジェクトのセットのメンバでないオブジェクトを含む、
   請求項２に記載の方法。
4. 前記拡張されたデータセットの前記抜粋は、前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの双方のメンバであるオブジェクトの表現を含み、前記拡張されたデータセット内の前記表現は、前記第２のセンサデータ内の前記オブジェクトの表現からの位置情報で拡張された前記第１のセンサデータ内の前記オブジェクトの表現からの位置情報を含む、
   請求項２又は３に記載の方法。
5. 前記第１のセンサデータ及び前記第２のセンサデータをマージすることは、前記第１のセンサデータ内の前記第１のオブジェクトのセットの各メンバの表現を前記第２のセンサデータ内の前記第２のオブジェクトのセットの各メンバの表現と比較して、前記第２のオブジェクトのセットにも属する前記第１のオブジェクトのセットのメンバを識別することと、
   前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの双方に属する各オブジェクトについて、前記第１のセンサデータ内の前記オブジェクトの位置情報の表現を前記第２のセンサデータ内の前記オブジェクトの位置情報の表現と組み合わせることにより、前記拡張されたデータセット内のオブジェクトの位置情報の表現を生成することと、を含む、
   請求項２乃至４のうちいずれか１項に記載の方法。
6. 前記第１のセンサデータ内のオブジェクトの位置情報の表現は、前記位置情報の表現の精度の指標を含み、
   前記第２のセンサデータ内のオブジェクトの位置情報の表現は、前記位置情報の表現の精度の指標を含み、
   前記拡張されたデータセット内のオブジェクトの位置情報の表現は、前記位置情報の表現の精度の指標を含み、
   前記第１のセンサデータ内のオブジェクトの位置情報の表現を前記第２のセンサデータ内のオブジェクトの位置情報の表現と組み合わせることにより生成される前記第１のオブジェクトのセット及び前記第２のオブジェクトのセットの双方に属する前記又は各オブジェクトの前記拡張されたデータセット内の位置情報の表現は、前記第１のセンサデータ及び前記第２のセンサデータ内の前記オブジェクトの位置情報の表現の精度より高い精度のものである、
   請求項５に記載の方法。
7. 前記第１のセンサデータ内の各オブジェクトの位置情報の表現の精度の指標は、オブジェクト位置に関する確率の分布を含み、
   前記第２のセンサデータ内の各オブジェクトの位置情報の表現の精度の指標は、オブジェクト位置に関する確率の分布を含み、
   前記第１のセンサデータ内の前記オブジェクトの位置情報の表現を前記第２のセンサデータ内の前記オブジェクトの位置情報の表現と組み合わせることは、前記第１のセンサデータ及び第２のセンサデータからの前記オブジェクトのオブジェクト位置に関する前記確率の分布を重ね合わせることを含む、
   請求項６に記載の方法。
8. プロセッサハードウェア、メモリハードウェア、及びデータ通信インターフェースを含み、方法を実行するように構成されたコンピューティング装置であって、前記方法は、
   第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、前記第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、前記移動オブジェクトは無線接続性を有し、前記第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、
   第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、前記第２の感知オブジェクトは前記第１の感知オブジェクトと区別可能であり、前記第２のセンサデータは前記物理ドメイン内の前記エンティティの状態を表す、ステップと、
   前記第１のセンサデータ及び前記第２のセンサデータをマージして、前記エンティティの状態を表す拡張されたデータセットを生成するステップと、
   前記拡張されたデータセットの抜粋を前記移動オブジェクトに送信するステップであり、前記抜粋は前記拡張されたデータセットの選択されたサブセットであり、前記選択されたサブセットは、前記移動オブジェクトのアイデンティティ又は位置に依存して当該コンピューティング装置により選択される、ステップと、
   を含む、コンピューティング装置。
9. システムであって、
   コンピューティング装置と、
   第１の感知オブジェクトと、を含み、
   前記コンピューティング装置は、
   プロセッサハードウェア、メモリハードウェア、及びデータ通信インターフェースを含み、方法を実行するように構成され、前記方法は、
   前記第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、前記第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、前記移動オブジェクトは無線接続性を有し、前記第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、
   第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、前記第２の感知オブジェクトは前記第１の感知オブジェクトと区別可能であり、前記第２のセンサデータは前記物理ドメイン内の前記エンティティの状態を表す、ステップと、
   前記第１のセンサデータ及び前記第２のセンサデータをマージして、前記エンティティの状態を表す拡張されたデータセットを生成するステップと、
   前記拡張されたデータセットの抜粋を前記移動オブジェクトに送信するステップであり、前記抜粋は前記拡張されたデータセットの選択されたサブセットであり、前記選択されたサブセットは、前記移動オブジェクトのアイデンティティ又は位置に依存して前記コンピューティング装置により選択される、ステップと、
   を含む、システム。
10. コンピューティング装置に、
    第１の感知オブジェクトにより提供される１つ以上のセンサから第１のセンサデータを受信するステップであり、前記第１の感知オブジェクトは自律又は部分的自律移動オブジェクトであり、前記移動オブジェクトは無線接続性を有し、前記第１のセンサデータは物理ドメイン内のエンティティの状態を表す、ステップと、
    第２の感知オブジェクトにより提供される１つ以上のセンサから第２のセンサデータを受信するステップであり、前記第２の感知オブジェクトは前記第１の感知オブジェクトと区別可能であり、前記第２のセンサデータは前記物理ドメイン内の前記エンティティの状態を表す、ステップと、
    前記第１のセンサデータ及び前記第２のセンサデータをマージして、前記エンティティの状態を表す拡張されたデータセットを生成するステップと、
    前記拡張されたデータセットの抜粋を前記移動オブジェクトに送信するステップであり、前記抜粋は前記拡張されたデータセットの選択されたサブセットであり、前記選択されたサブセットは、前記移動オブジェクトのアイデンティティ又は位置に依存して前記コンピューティング装置により選択される、ステップと、
    を含む方法を実行させるコンピュータプログラム。

Images