JP2022548009A - 物体移動システム - Google Patents

Abstract

環境内の物体を移動させるためのシステムであって、物体を移動させるように構成された少なくとも１つのモジュラーホイールを含むシステム。モジュラーホイールは、物体に取り付けられるように構成された本体、ホイール、ホイールを回転させるように構成された駆動部及び駆動部を制御するように構成されたコントローラを含む。１つ又は複数の処理デバイスであって、環境内の物体の画像を捕捉するように構成される複数の撮像デバイスの各々から、複数の捕捉画像を含む画像ストリームを受信することと、環境内の物体の場所を決定するために画像を分析することと、少なくとも部分的に、決定された物体の場所を使用して、制御命令を生成することと、制御命令をコントローラであって、制御命令に応答して、駆動部を制御し、且つそれにより物体を移動させるコントローラに提供することとを行うように構成された１つ又は複数の処理デバイスが提供される。

Description

本発明は、環境内の物体を移動させるためのシステム及び方法に関し、特定の一例では、物体に取り付けられた１つ又は複数のモジュラーホイールを使用して物体を移動させるためのシステム及び方法に関する。

本明細書における、いかなる先行する公報（若しくはそれから得られる情報）又は公知であるいかなる事項への参照も、先行する公報（若しくはそれから得られる情報）又は公知である事項が、本明細書が関連する努力傾注分野における共通の一般的な知識の一部を形成することの承認若しくは容認又は提案形態として捉えられるべきではない。

“Ｅｎａｂｌｉｎｇ ｒａｐｉｄ ｆｉｅｌｄ ｄｅｐｌｏｙｍｅｎｔｓ ｕｓｉｎｇ ｍｏｄｕｌａｒ ｍｏｂｉｌｉｔｙ ｕｎｉｔｓ”ｂｙ Ｔｒｏｙ Ｃｏｒｄｉｅ，Ｔｉｒｔｈａｎｋａｒ Ｂａｎｄｙｏｐａｄｈｙａｙ，Ｊｏｎａｔｈａｎ Ｒｏｂｅｒｔｓ，Ｒｙａｎ Ｓｔｅｉｎｄｌ，Ｒｏｓｓ Ｄｕｎｇａｖｅｌｌ ａｎｄ Ｋｅｌｌｙ Ｇｒｅｅｎｏｐ，Ａｕｓｔｒａｌａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ ２０１６，ＡＣＲＡ ２０１６ Ｐ１０７－１１５は、迅速な現場配備のための特注プラットフォーム開発を可能にするモジュラーホイールの組を説明している。モジュラーホイールは、既存のモジュール式の検査ロボットの影響を受けているが、様々な環境を探査するために、操作が簡単な解決策を提供する。各ホイールは、２自由度を提供し、平面内で連続的な任意の方向付けを達成することができる。搭載コンピューティング及びｗｉ－ｆｉ接続により、モジュラーホイールは、個別に又は共同で動作することができる。アダプタの使用により、異種のロボットプラットフォームを必要に応じて作成することができる。異なる形状、サイズ及び構成のロボットが、研究所内及び現場で実演されたように実行時に作成され得る。システムモデルの動的な性質は、制御特性を決定付け、差動、アッカーマン及び非ホロノミック全方向制御オプションをユーザに提供する。

上記で説明されるシステムでは、全体的な制御は、オペレータによって実行され、それにより、システムは、手動制御による使用に制限される。

幅広い一形態では、本発明の態様は、環境内の物体を移動させるためのシステムを提供しようとするものであり、システムは、物体を移動させるように構成された少なくとも１つのモジュラーホイールであって、物体に取り付けられるように構成された本体、ホイール、ホイールを回転させるように構成された駆動部及び駆動部を制御するように構成されたコントローラを含む少なくとも１つのモジュラーホイールと、１つ又は複数の処理デバイスとを含み、１つ又は複数の処理デバイスは、環境内の物体の画像を捕捉するように構成される複数の撮像デバイスの各々から、複数の捕捉画像を含む画像ストリームを受信することと、環境内の物体の場所を決定するために画像を分析することと、少なくとも部分的に、決定された物体の場所を使用して、制御命令を生成することと、制御命令をコントローラであって、制御命令に応答して、駆動部を制御し、且つそれにより物体を移動させるコントローラに提供することとを行うように構成される。

一実施形態では、システムは、物体に装着される１つ又は複数のパッシブホイールを含む。

一実施形態では、少なくとも１つのモジュラーホイールは、ホイールの向きを調整するように構成されたステアリング駆動部を含み、コントローラは、ステアリング駆動部を制御して、それによりホイールの向きを変更するように構成される。

一実施形態では、少なくとも１つのモジュラーホイールは、１つ又は複数の処理デバイスと無線通信するように構成されたトランシーバを含む。

一実施形態では、少なくとも１つのモジュラーホイールは、駆動部、コントローラ、トランシーバ及びステアリング駆動部の少なくとも１つに給電するように構成された電源を含む。

一実施形態では、制御命令は、各ホイールのためのホイール向き及び各ホイールのための回転レートの少なくとも１つを含む。

一実施形態では、システムは、複数のモジュラーホイールを含む。

一実施形態では、１つ又は複数の処理デバイスは、それぞれの制御命令を各コントローラに提供して、それにより各モジュラーホイールを独立して制御するように構成される。

一実施形態では、１つ又は複数の処理デバイスは、制御命令をコントローラに提供するように構成され、コントローラは、各モジュラーホイールを独立して制御するために通信する。

一実施形態では、制御命令は、物体のための移動の方向及びレートを含み、コントローラは、制御命令を使用して、各ホイールのためのホイール向き及び各ホイールのための回転レートの少なくとも１つを決定する。

一実施形態では、システムは、複数のモジュラーホイールを差動回転させること及び１つ又は複数のモジュラーホイールの向きを変更することの少なくとも１つにより、車両をステアリング操作するように構成される。

一実施形態では、１つ又は複数の処理デバイスは、物体構成を決定することと、少なくとも部分的に物体の範囲に従って制御命令を生成することとを行うように構成される。

一実施形態では、物体構成は、物体の物理的な範囲及び物体と関連付けられた動きパラメータの少なくとも１つを示す。

一実施形態では、１つ又は複数の処理デバイスは、物体に対する各ホイールの位置を示すホイール構成を決定することと、少なくとも部分的にホイール構成に従って制御命令を生成することとを行うように構成される。

一実施形態では、少なくとも１つのモジュラーホイールは、それぞれ物体に既知の場所において取り付けられる。

一実施形態では、物体は、プラットフォームを含み、少なくとも１つのモジュラーホイールは、プラットフォームに取り付けられる。

一実施形態では、物体は、プラットフォームによって支持されるアイテムを含む。

一実施形態では、１つ又は複数の処理デバイスは、アイデンティティであって、各モジュラーホイール及び物体の少なくとも１つのアイデンティティを決定することと、アイデンティティに従って制御命令を生成することとを行うように構成される。１つ又は複数の処理デバイスは、少なくとも部分的にネットワーク識別子を使用してアイデンティティを決定するように構成される、請求項１８に記載のシステムである。

一実施形態では、１つ又は複数の処理デバイスは、機械可読コード化データを使用してアイデンティティを決定するように構成される。

一実施形態では、機械可読コード化データは、可視データであり、１つ又は複数の処理デバイスは、機械可読コード化データを検出するために画像を分析するように構成される。

一実施形態では、機械可読コード化データは、タグ上で符号化され、１つ又は複数の処理デバイスは、タグリーダから、機械可読コード化データを示す信号を受信するように構成される。

一実施形態では、タグは、短距離無線通信プロトコルタグ、ＲＦＩＤタグ及びＢｌｕｅｔｏｏｔｈ（登録商標）タグの少なくとも１つである。

一実施形態では、１つ又は複数の処理デバイスは、移動経路及び目的地の少なくとも１つを示すルーティングデータを決定することと、ルーティングデータ及び物体の場所に従って制御命令を生成することとを行うように構成される。

一実施形態では、ルーティングデータは、許容される物体移動経路、許容される物体の動き、種々の物体のための許容される近接限度、物体のための許容ゾーン、物体のための拒否ゾーンの少なくとも１つを示す。

一実施形態では、１つ又は複数の処理デバイスは、アイデンティティであって、物体及び物体に取り付けられた少なくとも１つのモジュラーホイールの少なくとも１つのためのアイデンティティを決定することと、少なくとも部分的に物体アイデンティティを使用してルーティングデータを決定することとを行うように構成される。

一実施形態では、１つ又は複数の処理デバイスは、較正制御命令を生成することと、較正制御命令に応答して、物体及び少なくとも１つのモジュラーホイールの少なくとも１つの動きをモニタすることと、モニタリングの結果を使用して制御命令を生成することとを行うように構成される。

一実施形態では、撮像デバイスは、環境内で固定場所に位置決めされるもの及び環境に対して静的であるものの少なくとも１つである。

一実施形態では、撮像デバイスの少なくともいくつかは、少なくとも部分的に重複する視野を有するように環境内に位置決めされ、１つ又は複数の処理デバイスは、異なる画像ストリームにおける重複画像であって、重複する視野を有する撮像デバイスによって捕捉された画像である重複画像を識別することと、環境内の物体の場所を決定するために重複画像を分析することとを行うように構成される。

一実施形態では、撮像デバイスの少なくともいくつかは、少なくとも部分的に重複する視野を有するように環境内に位置決めされ、１つ又は複数の処理デバイスは、環境内の物体の動きを決定するために経時的な物体の場所の変化を分析することと、物体の動きを状況認識規則と比較することと、比較の結果を使用して状況認識事象を識別することとを行うように構成される。

一実施形態では、重複画像は、ほぼ同じ時刻に捕捉された同期重複画像である。

一実施形態では、１つ又は複数の処理デバイスは、各捕捉画像の捕捉時刻を決定することと、捕捉時刻を使用して同期画像を識別することとを行うように構成される。

一実施形態では、１つ又は複数の処理デバイスは、撮像デバイスによって生成された捕捉時刻、各画像と関連付けられた受信時刻であって、１つ又は複数の処理デバイスによる受信の時刻を示す受信時刻及び画像における画像コンテンツの比較の少なくとも１つを使用して捕捉時刻を決定するように構成される。

一実施形態では、１つ又は複数の処理デバイスは、物体を含む画像である物体画像を識別するために各画像ストリームからの画像を分析することと、同じ物体を含む物体画像として重複画像を識別することとを行うように構成される。

一実施形態では、１つ又は複数の処理デバイスは、少なくとも部分的に撮像デバイスの位置決めに基づいて重複画像を識別するように構成される。

一実施形態では、１つ又は複数の処理デバイスは、静的画像領域を識別するために画像ストリームからのいくつかの画像を分析することと、非静的画像領域を含む画像として物体画像を識別することとを行うように構成される。

一実施形態では、画像の少なくとも１つは、バックグラウンド参照画像である。

一実施形態では、１つ又は複数の処理デバイスは、視体積交差（ｖｉｓｕａｌ ｈｕｌｌ）技法、及び画像における基準マークの検出、及び複数の三角測量画像における基準マークの検出の少なくとも１つを使用して物体の場所を決定するように構成される。

一実施形態では、１つ又は複数の処理デバイスは、較正データに従って画像を解釈するように構成される。

一実施形態では、較正データは、各撮像デバイスの撮像特性を示す内部較正データ及び環境内の複数の撮像デバイスの相対的な位置決めを示す外部較正データの少なくとも１つを含む。

一実施形態では、１つ又は複数の処理デバイスは、撮像デバイスを使用して異なる位置から捕捉された定義されたパターンの画像を受信することと、撮像デバイスの画像捕捉特性を示す較正データを生成するために画像を分析することとにより、較正プロセス中に較正データを生成するように構成される。

一実施形態では、１つ又は複数の処理デバイスは、環境内のターゲットの捕捉画像を受信することと、同じターゲットを示す、異なる撮像デバイスによって捕捉された画像を識別するために捕捉画像を分析することと、撮像デバイスの相対的な位置及び向きを示す較正データを生成するために、識別された画像を分析することとにより、較正プロセス中に較正データを生成するように構成される。

一実施形態では、１つ又は複数の処理デバイスは、環境モデルを生成するように構成され、環境モデルは、環境、環境内の撮像デバイスの場所、現在の物体の場所、物体の動き、予測される障害物、予測される物体の場所及び予測される物体の動きの少なくとも１つを示す。

一実施形態では、１つ又は複数の処理デバイスは、環境モデルのグラフィック表現を生成するように構成される。

一実施形態では、１つ又は複数の処理デバイスは、環境内の物体の動きを決定するために経時的な物体の場所の変化を分析することと、物体の動きを状況認識規則と比較することと、比較の結果を使用して状況認識事象を識別することとを行うように構成される。

一実施形態では、状況認識事象の識別に応答して、１つ又は複数の処理デバイスは、状況認識事象の表示を記録すること、状況認識事象を示す通知を生成すること、状況認識事象を示す出力を出力デバイスに生成させること、アラームを起動すること及び物体の動作を制御させることの少なくとも１つを含む措置を実行するように構成される。

一実施形態では、１つ又は複数の処理デバイスは、実質的にリアルタイムで状況認識事象を識別することと、実質的にリアルタイムで措置を実行することとを行うように構成される。

一実施形態では、撮像デバイスは、セキュリティ撮像デバイス、単眼撮像デバイス、非コンピュータビジョンベースの撮像デバイス及び関連付けられた内部較正情報を有さない撮像デバイスの少なくとも１つである。

幅広い一形態では、本発明の態様は、環境内の物体を移動させるための方法を提供しようとするものであり、方法は、物体を移動させるように構成された少なくとも１つのモジュラーホイールであって、各々が、物体に取り付けられるように構成された本体、ホイール、ホイールを回転させるように構成された駆動部及び駆動部を制御するように構成されたコントローラを含む少なくとも１つのモジュラーホイールと、１つ又は複数の処理デバイスとを含むシステムを使用して実行され、方法は、１つ又は複数の処理デバイスにおいて、環境内の物体の画像を捕捉するように構成される複数の撮像デバイスの各々から、複数の捕捉画像を含む画像ストリームを受信することと、環境内の物体の場所を決定するために画像を分析することと、少なくとも部分的に、決定された物体の場所を使用して、制御命令を生成することと、制御命令をコントローラであって、制御命令に応答して、駆動部を制御し、且つそれにより物体を移動させるコントローラに提供することとを含む。

幅広い一形態では、本発明の態様は、環境内の物体を、物体を移動させるように構成された少なくとも１つのモジュラーホイールであって、各々が、物体に取り付けられるように構成された本体、ホイール、ホイールを回転させるように構成された駆動部及び駆動部を制御するように構成されたコントローラを含む少なくとも１つのモジュラーホイールと、１つ又は複数の処理デバイスとを含むシステムを使用して移動させるためのコンピュータプログラム製品を提供しようとするものであり、コンピュータプログラム製品は、コンピュータ実行可能コードを含み、コンピュータ実行可能コードは、１つ又は複数の処理デバイスによって実行されると、環境内の物体の画像を捕捉するように構成される複数の撮像デバイスの各々から、複数の捕捉画像を含む画像ストリームを受信することと、環境内の物体の場所を決定するために画像を分析することと、少なくとも部分的に、決定された物体の場所を使用して、制御命令を生成することと、制御命令をコントローラであって、制御命令に応答して、駆動部を制御し、且つそれにより物体を移動させるコントローラに提供することとを１つ又は複数の処理デバイスに行わせる。

本発明の幅広い形態及びそれらのそれぞれの特徴は、併せて及び／又は独立して使用することができ、別個の幅広い形態への言及は、限定を意図するものではないことが理解されるであろう。その上、方法の特徴は、システム又は装置を使用して実行することができ、システム又は装置の特徴は、方法を使用して実装できることが理解されるであろう。

ここで、添付の図面を参照して、本発明の様々な例及び実施形態について説明する。

モジュラーホイールの例の概略端面図である。 図１Ａのモジュラーホイールの概略側面図である。 物体に装着された図１Ａのモジュラーホイールの概略端面図である。 図１Ｃの物体の概略側面図である。 環境内の物体モニタリングのためのシステムの例の概略図である。 環境内の物体を移動させるための方法の例のフローチャートである。 分散型コンピュータシステムの例の概略図である。 処理システムの例の概略図である。 クライアントデバイスの例の概略図である。 モジュラーホイールの特定の例の概略端面図である。 図７Ａのモジュラーホイールの概略側面図である。 図７Ａのモジュラーホイールのためのホイールコントローラの例の概略図である。 異なるホイール制御構成の例の概略図である。 環境内の物体を移動させるための方法の例のフローチャートである。 環境内の物体を移動させるための方法のさらなる例のフローチャートである。 環境内の物体を移動させるためのシステムで使用するための較正方法の例のフローチャートである。 環境内の物体を移動させるための方法の特定の例のフローチャートである。 状況認識モニタリング方法の一部として物体を識別する方法の例のフローチャートである。 状況認識モデルのグラフィック表現の例の概略図である。 画像領域分類のためのプロセスの例のフローチャートである。 オクルージョン軽減のためのプロセスの例のフローチャートである。 重み付き物体検出のためのプロセスの例のフローチャートである。

ここで、図１Ａ～１Ｄを参照して、環境内の物体を移動させるためのモジュラーホイールの例について説明する。

この例では、モジュラーホイール１５０は、物体に取り付けられるように構成された本体１５１を含む。本体は、任意の適切な形態であり得、マウンティングブラケット又は同様のものの使用を含めて、任意の方法で物体に取り付けることができる。

モジュラーホイールは、典型的には、車軸又は同様のものを使用して本体によって支持されるホイール１５２と、ホイールを回転させるように構成された駆動部１５３（モータなど）とを含む。駆動部１５３を制御するように構成されたコントローラ１５４が提供され、それにより必要に応じてホイール１５２を回転させることができる。

コントローラは、任意の適切な形態であり得、一例では不揮発性（例えば、ハードディスク）記憶装置に格納されたソフトウェアアプリケーションを実行する処理システムであるが、これは、必須ではない。しかし、コントローラは、マイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）などの論理の実施と任意に関連付けられるファームウェア又は任意の他の電子デバイス、システム若しくは構成など、任意の電子処理デバイスであり得ることも理解されるであろう。

使用時、１つ又は複数のモジュラーホイールは、物体を移動させることができるように物体に取り付けられ得、ここで、図１Ｃ及び１Ｄを参照してこの例について説明する。

この例では、プラットフォームの形態の物体１６０が示されており、プラットフォームには、４つのモジュラーホイール１５０が装着され、４つのモジュラーホイール１５０の各々を制御することによってプラットフォームを移動させることができる。しかし、幅広い異なる構成が企図され、上記の例は、単なる例示を目的とし、限定を意図するものではない。

例えば、システムは、駆動式モジュラーホイールとパッシブホイールとの組合せを使用することができ、原動力を提供するために１つ又は複数のモジュラーホイールを使用する一方、物体を完全に支持するためにパッシブホイールを使用することができる。ステアリングは、以下でさらに詳細に説明されるように、個々のホイールをステアリング操作することにより且つ／又は異なるモジュラーホイールの差動回転を通して（例えば、スキッドステア構成若しくは同様のものを使用して）達成することができる。

本例では、モジュラーホイールは、プラットフォームの四隅に近接して提供されるように示されている。しかし、これは、必須ではなく、モジュラーホイールは、プラットフォームを適切に支持するのに十分であることを想定した上で任意の場所に装着することができる。

本例は、プラットフォームの使用に焦点を置いているが、モジュラーホイールは、幅広い異なる物体で使用することができる。例えば、プラットフォーム、パレット又は他の同様の構造でホイールを使用することにより、１つ又は複数のアイテムをプラットフォームによって支持し、まとめて移動させることができる。従って、ホイールは、多くのアイテムを支持するパレットに取り付けることができ、それにより、パレットジャック又は同様のものを使用する必要なく、パレット及びアイテムを移動させることができる。この例では、物体という用語は、プラットフォーム／パレット及びその上に支持されるあらゆるアイテムをまとめて指すことを意図する。代わりに、プラットフォームを必要とすることなく、ホイールをアイテムに直接取り付けることができ、この事例ではアイテムが物体である。

移動させることができる物体の性質は、好ましい実装形態、意図される使用シナリオ及び環境の性質に応じて異なる。特定の環境例は、工場、倉庫、保管環境又は同様のものを含むが、技法は、より広範にわたって適用することができ、屋内及び／又は屋外環境で使用できることが理解されるであろう。同様に、物体は、多様な物体であり得、例えば車両の部品又は同様のものなど、工場内で移動するアイテムを含み得る。しかし、これは、限定を意図するものではないことが理解されるであろう。

ここで、図２を参照して、環境内の物体の動きを制御するためのシステムについて説明する。

この例では、動き制御は、可動物体及び任意に１つ又は複数の他の物体２０１、２０２、２０３が存在する環境Ｅ内で実行される。この点に関して、可動物体１６０という用語は、モジュラーホイールが取り付けられていることによって移動可能な任意の物体を指し、他の物体２０１、２０２、２０３という用語は、モジュラーホイールを含まない物体を指し、静的物体及び／又はモジュラーホイール以外のメカニズムを使用して移動する物体であり得る。そのような他の物体は、多様な物体であり得、特に人間、動物、車両、自律走行若しくは半自律走行車両（自動搬送車両（ＡＧＶ）など）又は同様のものなどの移動物体であり得るが、これは、限定を意図するものではない。本例では、４つの物体が示されているが、これは、単なる例示を目的とし、プロセスは、任意の数の物体で実行することができる。例えば、環境は、１つ又は複数の可動物体のみを含み、他のいかなる物体も含まない場合がある。

物体の動きを制御するためのシステムは、典型的には、撮像デバイス２２０から画像ストリームを受信するように構成された１つ又は複数の電子処理デバイス２１０を含み、撮像デバイス２２０は、環境Ｅにおいて、環境Ｅ内の物体１６０、２０１、２０２、２０３の画像を捕捉できるようにするために提供される。

例示を目的として、１つ又は複数の電子処理デバイスは、１つ又は複数の処理システム（コンピュータシステム、サーバ又は同様のものなど）の一部を形成し、１つ又は複数の処理システムは、以下でさらに詳細に説明されるように、ネットワークアーキテクチャを介して１つ又は複数のクライアントデバイス（携帯電話、ポータブルコンピュータ、タブレット又は同様のものなど）に接続することができると想定される。その上、例示を簡単にするため、残りの説明では、１つの処理デバイスについて言及するが、複数の処理デバイスを使用して、必要に応じて処理デバイス間で処理を分散できることと、単数形への言及が複数形の構成を包含する（その逆も同様である）こととが理解されるであろう。

撮像デバイス２２０の性質は、好ましい実装形態に応じて異なるが、一例では、撮像デバイスは、非コンピュータビジョン単眼カメラなどの低価格の撮像デバイスである。特定の一例では、セキュリティカメラを使用することができるが、以下の説明から明らかになるように、加えて及び／又は代わりに、ウェブカメラ又は同様のものなどの他の低価格のカメラを使用することができる。幅広い異なる撮像デバイス２２０を使用することも可能であり、各撮像デバイス２２０が同様のタイプ又はモデルである必要はない。

撮像デバイス２２０は、典型的には、環境Ｅの全範囲にわたる被写域を提供するように環境内に静的に位置決めされ、カメラの少なくともいくつかは、少なくとも部分的に重複する視野を含み、その結果、環境Ｅ内のあらゆる物体は、好ましくは、任意の時点で２つ以上の撮像デバイスによって撮像される。撮像は、完全な被写域を提供するために、様々な異なる位置で提供することもできる。例えば、撮像デバイスは、異なる高さで提供することができ、異なる角度から環境のビューを捕捉するように構成された床、壁及び／又は天井設置カメラの組合せを含み得る。

ここで、図３を参照してシステムの動作についてさらに詳細に説明する。

この例では、ステップ３００において、処理デバイス２１０は、撮像デバイス２２０の各々から画像ストリームを受信し、画像ストリームは、複数の捕捉画像を含み、環境Ｅ内の物体１６０、２０１、２０２、２０３の画像を含む。

ステップ３１０では、１つ又は複数の処理デバイスは、画像を分析し、ステップ３２０では、環境内の１つ又は複数の物体の場所を決定する。この点に関して、物体の場所は、あらゆる可動物体１６０の場所及び任意に他のあらゆる物体２０１、２０２、２０３の場所を含むが、これは、必須ではなく、好ましい実装形態に依存し得る。

一例では、この分析は、異なる画像ストリームの重複画像を識別することによって実行され、重複画像は、異なる重複する視野を有する撮像デバイスによって捕捉された画像であり、その結果、物体の画像は、異なる撮像デバイスによって少なくとも２つの異なる方向から捕捉される。この事例では、画像は、異なる重複画像における物体の位置を識別するために分析され、撮像デバイスの場所の知識は、物体の位置を三角測量するために使用される。この物体の位置の識別は、任意の適切な技法を利用して達成することができ、一例では、例えばＡ．Ｌａｕｒｅｎｔｉｎｉ（Ｆｅｂｒｕａｒｙ １９９４）．“Ｔｈｅ ｖｉｓｕａｌ ｈｕｌｌ ｃｏｎｃｅｐｔ ｆｏｒ ｓｉｌｈｏｕｅｔｔｅ－ｂａｓｅｄ ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ”．ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ．ｐｐ．１５０－１６２において説明されるような視体積交差手法を利用して達成される。しかし、基準マークの画像分析などの他の手法を使用することもできる。好ましい一例では、基準マークは、重複画像と併せて使用され、その結果、より高い精度で物体の場所を決定することができるが、これは、必須ではないことが理解されるであろう。

ステップ３３０では、１つ又は複数の処理デバイスは、物体の場所を使用して制御命令を生成し、ステップ３４０では、制御命令が１つ又は複数のモジュラーホイール１５０のコントローラ１５４に提供され、これらのモジュラーホイール１５０を制御して、それにより物体１６０を移動させることを可能にする。

制御命令が生成される方法は、好ましい実装形態に応じて異なる。例えば、各可動物体は、関連ルーティング情報（意図される移動経路及び／又は意図される目的地など）を有し得、その事例では、制御命令は、ルーティング情報及び現在の場所を考慮して生成することができる。加えて及び／又は代わりに、制御命令は、例えば、物体１６０が他の物体２０１、２０２、２０３又は環境Ｅの一部と衝突しないことを保証するために、環境Ｅ内の障害物の場所を考慮して生成することができる。

制御命令は、物体１６０と関連付けられたモジュラーホイール１５０の各々を独立して制御するために生成することができ、その結果、コントローラ１５４は、提供されたそれぞれの制御命令を実施するために使用される。例えば、処理デバイス２１０は、物体１６０と関連付けられた各モジュラーホイール１５０の回転レート及び／又は回転量を指定する命令を生成することができる。しかし、代わりに、処理デバイス２１０は、単に物体の全体としての移動方向及び／又は移動レートを識別することができ、各モジュラーホイール１５０のコントローラ１５４は、全体的な所望の物体の動きをもたらすために、各ホイールをどのように移動させる必要があるかを解明するために通信する。

いかなる場合にも、上記で説明される構成は、環境内の物体を移動させるために使用することができるシステムを提供することが理解されるであろう。具体的には、システムは、１つ又は複数のモジュラーホイールを物体に取り付けられるようにするために使用することができ、環境内の物体の場所は、環境内に位置決めされた多くのリモート撮像デバイスを使用してモニタされる。撮像デバイスからの画像は、環境内の物体の場所をモニタするために分析され、この情報は、１つ又は複数のモジュラーホイールを制御することによって物体の動きを制御するために使用される。

そのような構成により、環境内をナビゲートするために各物体及び／又は各ホイールにセンサを装備する必要性を回避しながら、依然として物体の自律制御の達成が可能である。検知要素は、高価であり、追加の複雑性を表す傾向があるため、この構成は、モジュラーホイールが安価であり且つ比較的単純であることを保証する上で役立ち、それにより内蔵検知要素が必要な場合よりも広く展開させることができる。

一例では、この構成により、共通の検知装置を使用して多くの異なる可動物体を制御することがさらに可能になり、その動きを中央で連係させることができ、それは、次に、動きの最適化に役立つことができ、潜在的な衝突を回避することができる。例えば、この構成により、工場又は同様のものなどの環境内にモジュラーホイールを容易に配備することができる。具体的には、一例では、この構成により、物体にモジュラーホイールを装備し、物体があたかもＡＧＶであるかのように動き回ることができ、それにより特設のＡＧＶの必要性が低減される。

一例では、物体の場所の検出及び制御は、状況認識モニタリングを実行するように構成されたシステムによって実行することができ、そのようなシステムの例は、その内容が相互参照により本明細書に組み込まれる、同時係属中のオーストラリア特許出願公開第２０１９９００４４２号明細書で説明されている。

この点に関して、状況認識は、時間又は空間に対する環境要素及び事象の認知、それらの意味の理解並びにそれらの将来のステータスの推定である。状況認識は、特に、負傷又は他の有害な結果につながり得るような人間と機器との間の相互作用がある場合など、様々な状況における意志決定に対して重要なものとして認められている。この一例は、人間と機器との間の相互作用が負傷又は死をもたらす可能性がある工場内である。

一例では、可動物体１６０及び／又は他の物体２０１、２０２、２０３の動き及び／又は場所は、環境Ｅ内の可動物体１６０及び／又は他の物体２０１、２０２、２０３の望ましい動き及び／又は潜在的に危険な若しくは他の望ましくない動きを表す基準を定義する状況認識規則と比較することができる。状況認識規則及び基準の性質は、好ましい実装形態、状況認識モニタリングプロセスが採用される状況、モニタされる物体の性質又は同様のものなどの因子に応じて異なる。例えば、規則は、物体の近接度、物体の予測される将来の近接度、移動経路の遮断、ある物体による特定のエリアの進入若しくは退出又は同様のものに関連し得、これらの例については、以下でさらに詳細に説明する。

状況認識規則の比較の結果は、典型的には、状況認識規則の不順守又は潜在的な不順守に対応する、発生したあらゆる状況認識事象を識別するために使用することができる。従って、例えば、状況認識規則に違反した場合、これは、潜在的な危険性を示し得、次にその比較を使用して措置を講じることができる。措置の性質及びこの措置が実行される方法は、好ましい実装形態に応じて異なる。

例えば、措置は、状況認識事象の詳細を単に記録することを含み得、この記録は、後の監査目的のために行うことができる。加えて及び／又は代わりに、措置は、例えば、通知又は可聴及び／若しくは可視警告を生成することによって個人に警告するためなど、危険な状態を試し且つ防ぐために講じることができる。この措置は、例えば、個人にその現在の動き又は場所を調整させる（例えば、ＡＧＶの経路から離れさせる）ことにより、補正手段を講じることができるように、環境内の個人に警告するために使用することができる。可動物体１６０及び自律走行又は半自律走行車両の事例では、この措置は、例えば、経路を変更するか又は停止するように車両に指示することによって物体／車両を制御することを含み得、それにより事故の発生を防げることが理解されるであろう。

それに従って、上記で説明される構成は、モジュラーホイールを使用して環境内の物体を移動させるためのシステムを提供することが理解されるであろう。システムは、環境をモニタし、それにより可動物体の動きを制御できるように構成することができる。加えて、このシステムは、可動物体と他の物体（ＡＧＶ、人間など）との両方の場所及び／又は動きを追跡できるようにするために使用することもでき、次に、その情報は、状況認識規則と共に使用して、ＡＧＶ又は他の車両が人物と接触する可能性があるか又は人物に接近している可能性がある際（その逆も同様）など、望ましくない条件が生じた際にそれを確立させることができる。一例では、システムは、例えば、可動物体、車両の動作を修正すること又は車両が接近しているという事実を人物に警告することなど、補正措置を自動的に実行することができる。

これを達成するため、システムは、環境Ｅ内に提供された複数の撮像デバイスを利用し、画像（典型的には重複する視野を有するもの）を利用して物体の場所を識別するように動作する。これにより、検出可能な特徴（ＲＦＩＤタグ又は同様のものなど）を物体に提供する必要性が回避されるが、以下でさらに詳細に説明されるように、そのようなタグの使用は、除外されない。

その上、このプロセスは、セキュリティカメラ又は同様のものの使用など、低価格の撮像デバイスを使用して実行することができ、それにより他のシステムよりも商業的に大きい価値が提供される。その利点は、カメラが、より簡単に入手可能であり、よく知られており、低価格であるのみならず、通信及び電力の供給を行う単一のイーサネットケーブルに接続できるものであることである。次いで、このケーブルは、標準的な既製のＰＯＥイーサネットスイッチ及び標準的な電源規制部に接続することができる。従って、これにより、そのようなシステムの設置及び構成費用を大幅に低減し、高価な立体又はコンピュータビジョンカメラを利用する必要性を回避することができ、多くの事例では、状況認識モニタリングのために既存のセキュリティカメラインフラストラクチャを利用することができる。

加えて、処理デバイスは、物体追跡及び制御のみならず、状況認識事象又は措置の識別も実質的にリアルタイムで実行するように構成することができる。従って、例えば、画像捕捉と、実行される措置との間に要する時間は、約１秒未満、約５００ｍｓ未満、約２００ｍｓ未満又は約１００ｍｓ未満であり得る。これにより、システムは、効果的に可動物体を制御すること及び／又は他の補正措置（環境内の個人に警告すること、車両を制御すること又は同様のものなど）を講じることができ、それにより衝撃又は負傷などの事象を回避することができる。

ここで、多くのさらなる特徴について説明する。

上記で言及したように、一例では、システムは、物体に装着される１つ又は複数のパッシブホイールを含む。そのようなパッシブホイールは、キャスターホイール又は同様のものなどの多方向ホイールであり得、その事例では、コントローラは、２つ以上のモジュラーホイールの差動回転を通して物体をステアリング操作するように構成することができる。加えて及び／又は代わりに、モジュラーホイールは、ホイールの向きを調整するように構成されたステアリング駆動部を含み得、その事例では、コントローラは、ステアリング駆動部を制御して、それによりホイールの向きを変更し、従って可動物体の動きを管理するように構成することができる。駆動ホイール及び別個のステアリングホイールを提供するなど、他の構成を使用できることも理解されるであろう。しかし、一般に、単一のモジュラーホイールにおいてステアリングと駆動との両方を提供することにより、より大きい範囲の柔軟性が提供され、それにより様々な異なる方法で同一のモジュラーホイールを使用することができる。この構成は、ホイールの故障に対処する上で役立つこともでき、例えばモジュラーホイールの１つ又は複数が故障した場合、異なる制御モードを使用することができる。

一例では、モジュラーホイールは、１つ又は複数の処理デバイスと無線通信するように構成されたトランシーバを含む。これにより、各モジュラーホイールは、処理デバイスと直接通信することができるが、これは、必須ではなく、集中型通信モジュール、複数のモジュラーホイール間のメッシュネットワーキング又は同様のものの使用など、他の構成を使用できることが理解されるであろう。

各モジュラーホイールは、典型的には、駆動部に給電するように構成された電源（電池など）と、コントローラと、トランシーバと、ステアリング駆動部と、任意の他のコンポーネントとを含む。各ホイールに対して電池を提供することにより、各ホイールを自給式にすることができ、これは、ホイールを物体に備え付けるのみでよく、電源又は他のホイールに別々に接続する必要がないことを意味するが、意図される使用シナリオに応じて別個の電源を使用できることが理解されるであろう。

一例では、システムは、複数のモジュラーホイールを含み、処理デバイスは、それぞれの制御命令を各コントローラに提供して、それにより各モジュラーホイールを独立して制御するように構成される。例えば、この動作は、個々のモジュラーホイールの各々のためのホイール向き及び／又は回転レートを含む制御命令を処理デバイスに生成させることを含み得る。

別の例では、処理デバイスは、制御命令をコントローラに提供するように構成され、異なるモジュラーホイールのコントローラは、各モジュラーホイールを独立して制御するために通信する。例えば、処理デバイスは、物体のための移動の方向及びレートを含む制御命令を生成することができ、次いで、その物体に取り付けられた各モジュラーホイールのコントローラは、各ホイールのためのホイール向き及び／又は回転レートを共同で決定する。さらなる例では、マスタ・スレーブ構成を使用することができ、マスタモジュラーホイールは、個々のモジュラーホイールの各々の動きを計算し、必要に応じてその情報を他のモジュラーホイールコントローラに伝達することができる。

一例では、処理デバイスは、物体構成を決定し、次いで少なくとも部分的に物体構成に従って制御命令を生成するように構成される。物体構成は、物体の動きに影響を及ぼし得るあらゆるものを示し得、物体の範囲、物体の動きに関連するパラメータ又は同様のものを含み得る。これにより、処理デバイスは、ホイールを制御する際に物体のサイズ及び／又は形状を取り入れることができ、それにより物体が他の物体又は環境の一部に影響を与えないことを保証することができる。この保証は、不規則なサイズの物体及び／又は突出部分のある物体に対して特に重要であり、このような保証がなければ、ホイールが、障害物から距離がある場合でも、環境及び／又は他の物体などの障害物と衝突する恐れがある。

この点に関して、物体の場所は、画像分析を使用して検出されるため、この同じ手法を使用して物体の範囲を決定できることが理解されるであろう。例えば、視体積交差分析を使用し、複数の視点から物体の画像を検査して物体のサイズ及び／又は形状を計算することができる。

同様に、処理デバイスは、物体に対する各ホイールの位置及び／又は各ホイールの相対的な位置を示すホイール構成を決定し、少なくとも部分的にホイール構成に従って制御命令を生成するように構成することができる。従って、同様の方法で、処理デバイスは、画像分析を使用して物体に対するホイールの位置を検出し、次いで制御信号を生成する際にこの情報を使用することができる。この動作は、物体の動きを正確に制御できるようにホイールがまとめて操作されることを保証するために使用することができるが、代わりに、１つ又は複数のモジュラーホイールが既知の場所に位置し得ることが理解されるであろう。

代わりに、物体及び／又はホイール構成は、事前に（例えば、初期のセットアッププロセス中に）定義することができ、次いで必要に応じて取得することができる。

一例では、処理デバイスは、１つ若しくは複数のモジュラーホイール又は物体のアイデンティティを決定し、次いでアイデンティティに従って制御命令を生成するように構成される。例えば、この動作は、制御命令が正しいモジュラーホイールに送信されることを保証するために使用することができる。この動作は、処理デバイスが物体又はホイール構成を取得できるようにするために使用することもでき、それにより必要に応じて物体及び／又はホイールアイデンティティに基づいてそのような構成の格納及び取得を行うことができる。

アイデンティティは、好ましい実装形態に応じて、多くの方法のいずれか１つで決定することができる。例えば、ホイールは、通信ネットワークを介して処理デバイスと通信するように構成することができ、その事例では、処理デバイスは、少なくとも部分的に、ＩＰ（インターネットプロトコル）、ＭＡＣ（媒体アクセス制御）アドレス又は同様のものなどのネットワーク識別子を使用してアイデンティティを決定するように構成することができる。別の例では、処理デバイスは、機械可読コード化データを使用してアイデンティティを決定するように構成することができる。この機械可読コード化データは、物体及び／又はホイール上に提供される可視コード化データ（バーコード、ＱＲコード（登録商標）又はより典型的にはＡｐｒｉｌタグなど）を含み得、可視コード化データは、画像の可視機械可読コード化データを識別するために画像を分析することによって検出することができ、処理デバイスによって復号することができる。しかし、別の例では、物体及び／又はモジュラーホイールは、短距離無線通信プロトコルタグ、ＲＦＩＤ（無線自動識別）タグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）タグ又は同様のものなどのタグと関連付けることができ、その事例では、機械可読コード化データは、適切なタグリーダから取得することができる。

異なる識別手法を併せて使用できることも理解されるであろう。例えば、物体及び／又はホイールは、適切なリーダのそばを通る際、機械可読コード化データの検出を通して一意に識別することができる。この例では、物体が識別された時点において、このアイデンティティは、環境内で物体が移動している際に物体を追尾することによって維持することができる。これは、識別のために物体がリーダのそばを再び通る必要がないことを意味し、エリアへの進入時などの限られた場面でのみ物体が識別される状況で特に有用である。

典型的には、１つ又は複数の処理デバイスは、移動経路及び／又は目的地を示すルーティングデータを決定し、次いでルーティングデータ及び物体の場所に従って制御命令を生成するように構成される。例えば、ルーティングデータは、物体及び／又はホイールアイデンティティを使用して、データベースなどのデータストアから取得することができる。

移動経路及び／又は目的地を示すことに加えて、ルーティングデータは、許容される物体移動経路、許容される物体の動き、種々の物体のための許容される近接限度、物体のための許容ゾーン又は物体のための拒否ゾーンも示し得る。この追加の情報は、好ましい経路を辿ることができない場合に利用することができ、例えば他の物体などの障害物を回避するために代替のルートの計算が可能になる。

同様に、処理デバイスは、物体の動きが、物体に対して定義された許容される物体移動経路から逸脱した場合、物体の動きが、物体に対して許容される物体の動きから逸脱した場合、２つの物体が、物体のための許容される近接限度内に位置する場合、２つの物体が、物体のための許容される近接限度に近づいている場合、２つの物体が、物体のための許容される近接限度内に位置することが予測される場合、２つの物体の予測移動経路が交差する場合、物体が、物体のための許容ゾーン外に位置する場合、物体が、物体のための許容ゾーンを出る場合、物体が、物体のための拒否ゾーン内に位置する場合又は物体が、物体のための拒否ゾーン内に入る場合、それを識別するように構成することができる。次いで、この情報を使用して、動きの停止又は補正を含む補正手段を講じることができる。

一例では、特にホイール構成が未知である場合、処理デバイスは、較正制御命令を生成するように構成することができ、較正制御命令は、１回の若しくは部分的な回転又はホイール向きの定義された変更の実行など、１つ又は複数のホイールのわずかな動きを引き起こすために使用される。次いで、処理デバイスは、較正制御命令に応答して物体及び／又はモジュラーホイールの動きをモニタし、モニタリングの結果を使用して制御命令を生成するように構成することができる。

例えば、較正命令を生成し、次いで動きをモニタすることにより、この情報を使用して特定のホイールを識別すること（例えば、ホイールのＩＰアドレスを具体的な物体の特定のホイールと一致させること）ができる。この情報を使用して、ホイールがどのように応答するかを識別することもでき、それは、次に、ホイールを正確に制御するため（例えば、物体へのホイールの装着の向きを説明するため）に使用することができる。それに従って、システムは、ホイール構成を計算するために視覚フィードバックを使用することができ、従ってホイールを正確に制御するために使用することができる制御命令を生成することができる。

一例では、撮像デバイスは、環境内の固定場所に位置決めされ、環境に対して静的であるか又は少なくとも実質的に静的である。これにより、各カメラ又は他の撮像デバイスによって捕捉された画像をより容易に解釈することができるが、これは、必須ではなく、代わりに、環境を通して繰り返しパンするカメラなどの移動カメラを使用できることが理解されるであろう。この事例では、処理デバイスは、典型的には、ホイールの位置及び／又は向きを考慮して画像を分析するように構成される。

典型的には、撮像デバイスは、少なくとも部分的に重複する視野を有するように環境内に位置決めされ、１つ又は複数の処理デバイスは、異なる画像ストリームにおける重複画像であって、重複する視野を有する撮像デバイスによって捕捉された画像である重複画像を識別することと、次いで環境内の物体の場所を決定するために重複画像を分析することとを行うように構成される。

一例では、重複画像は、ほぼ同じ時刻に捕捉された同期重複画像である。この点に関して、ほぼ同じ時刻に画像を捕捉するための要件は、物体の実質的な動きをもたらすことになる時間間隔より短い時間間隔内に画像が捕捉されることを意味する。従って、この時間間隔は、物体が動く速度に依存する一方、時間間隔は、典型的には、約１秒未満、約５００ｍｓ未満、約２００ｍｓ未満又は約１００ｍｓ未満である。

同期重複画像を識別するため、処理デバイスは、典型的には、画像と関連付けられたタイムスタンプ及び／又は撮像デバイスからの画像の受信の時刻などの情報を典型的に使用して、画像ストリームを同期させるように構成される。これにより、典型的には処理デバイスと時間同期されるコンピュータビジョンデバイス以外の撮像デバイスから画像を受信することができる。従って、ハードウェアにおいて通常実行されるすべてのカメラフィード間の正確な時間同期を保証するために、処理デバイスによる追加の機能性の実施が必要とされる。

一例では、処理デバイスは、各捕捉画像の捕捉時刻を決定し、次いで捕捉時刻を使用して同期画像を識別するように構成される。この動作は、典型的に必要とされ、なぜなら、ほとんどのコンピュータビジョンカメラに存在するような同期能力を撮像デバイスが組み込んでいないためであり、それにより、セキュリティカメラ又は同様のものなど、より安価である基本的な既存の技術を使用してシステムを実装することができる。

各捕捉画像の捕捉時刻が決定される方法は、好ましい実装形態に応じて異なる。例えば、撮像デバイスは、多くのセキュリティカメラでの事例と同様に、タイムスタンプなどの捕捉時刻を生成することができる。この事例では、デフォルトにより、タイムスタンプを捕捉時刻として使用することができる。加えて及び／又は代わりに、捕捉時刻は、処理デバイスによる受信の時刻を示す受信時刻に基づき得る。この時刻は、任意に、撮像デバイスと処理デバイスとの間の通信遅延を考慮することができ、通信遅延は、較正又は他のセットアッププロセス中に確立することができる。好ましい一例では、２つの技法を併せて使用することができ、その結果、画像の受信の時刻は、画像と関連付けられたタイムスタンプの有効性確認を行うために使用することができ、それにより、決定された捕捉時刻に対する追加の検証レベルを提供することができ、捕捉時刻が検証されなかった場合に補正手段を講じることができる。

しかし、同期画像の使用は、必須ではなく、好ましい実装形態に応じて非同期画像又は他のデータを使用できることが理解されるであろう。例えば、物体の画像が非同期的に捕捉されると、画像間において物体の場所が変化し得る。しかし、この変化は、以下でさらに詳細に説明されるように、物体の場所を識別する際に非同期的に捕捉された画像に時間的重み付けが提供されるような画像の重み付けなど、適切な技法を通して説明することができる。曖昧な境界及び／若しくは場所を物体に割り当てること又は同様のものなど、他の技法を採用することもできる。

一例では、処理デバイスは、物体画像を識別するために各画像ストリームからの画像を分析するように構成され、物体画像は、物体を含む画像である。物体画像を識別することにより、これらの物体画像は、同じ物体の画像を含む物体画像として重複画像を識別するために分析することができる。この分析は、画像認識プロセスに基づいて実行することができるが、より典型的には撮像デバイスの相対的な位置（特に視野）に関する知識に基づいて実行される。この分析は、例えば、画像内の物体の位置を考慮することもでき、それを使用して、異なる撮像デバイス間の重複する視野を絞り込み、それにより重複画像を位置付けることができる。そのような情報は、以下でさらに詳細に説明されるように、較正プロセス中に確立することができる。

一例では、１つ又は複数の処理デバイスは、静的画像領域を識別するために画像ストリームからのいくつかの画像を分析し、次いで非静的画像領域を含む画像として物体画像を識別するように構成される。特に、この動作は、画像間で起こった動きを識別するために、連続した又は後続の画像を比較することを伴い、その比較により、画像の動き成分が物体の移動の結果として生じたものであるかが評価される。この評価は、環境の大部分が静的なままであり、画像間で動きが見られるのが一般的に物体のみであるという事実に依拠する。それに従って、この動作は、物体を識別するための簡単なメカニズムを提供し、画像内の物体を検出するための画像の分析に必要な時間量を削減する。

物体が静的である場合、連続した画像間で比較が実行されれば、この技法では物体を検出できないことが理解されるであろう。しかし、この問題は、異なる学習率をバックグラウンド及びフォアグラウンドに適用することによって対処することができる。例えば、環境内に物体が存在しないバックグラウンド参照画像を確立することができ、直前の画像とは対照的に、バックグラウンド参照画像に対して減算を実行することができる。好ましい一手法では、バックグラウンド参照画像は、環境の変化を考慮するために周期的に更新される。それに従って、この手法は、静止物体の識別又は追跡を可能にする。静的物体の追跡は、静的物体の場所の記録を維持する環境モデルを利用して実行することもでき、その結果、以下でさらに詳細に説明されるように、物体が再び動き始めた際に追跡を再開できることも理解されるであろう。

従って、１つ又は複数の処理デバイスは、画像ストリームの画像間の画像領域の外観の変化度を決定し、次いで変化度に基づいて物体を識別するように構成することができる。画像は、連続した画像及び／又は時間的に離隔した画像であり得、変化度は、変化の大きさ及び／又は変化率である。画像領域のサイズ及び形状は、好ましい実装形態に応じて異なり得、画素のサブセット又は同様のものを含み得る。いかなる場合にも、画像領域の大部分が静的である場合、画像領域の外観がかなり変化する場合よりも、物体が画像領域内に位置する可能性が低く、その物体は、移動物体を示すことが理解されるであろう。

特定の一例では、この動作は、静的又は非静的画像領域（バックグラウンド及びフォアグラウンド画像領域とも呼ばれる）として画像領域を分類することによって達成され、非静的画像領域は、環境内の動きを示し、従って物体を示す。分類は、任意の適切な方法で実行することができるが、一例では、この分類は、変化度を分類閾値と比較し、次いで比較の結果に基づいて画像領域を分類することによって達成され、例えば変化度が分類閾値を超える場合、非静的なものとして画像領域を分類するか、又は変化度が分類閾値を下回る場合、静的なものとして画像領域を分類する。

これに続いて、画像領域の分類に基づいて物体を識別することができ、例えば非静的画像領域を分析することによって物体を識別することができる。一例では、この動作は、画像領域を使用してマスクを確立することによって達成され、次いで、マスクは、後続の分析を実行する際に使用され、例えば、フォアグラウンドマスクは、物体の識別及び追跡を行うために使用され、バックグラウンドマスクは、処理要件を低減するために除外される。

加えて、区別を改善するため、処理デバイスは、例えば、物体の動き、環境の影響又は同様のものの変化を考慮するために、分類閾値を動的に調整するように構成することができる。

例えば、物体が動きを停止した場合、画像領域は、物体を含んでいたとしても、静的なものとして再分類され得る。それに従って、一例では、この問題は、処理デバイスに、以前に移動していた物体を含む物体画像領域を識別させ、次いで非静的画像領域として画像領域を分類するために必要な変化度が低減するように物体画像領域に対する分類閾値を修正させることによって説明することができる。これにより、事実上、上記で言及したような領域に対する学習率が変化する。画像領域の外観の変化は、累積的に評価することができるため、事実上、領域内での動きが止まってから領域が静的画像領域として分類されるまでの持続時間が延び、従って物体を含まないものとして評価される。結果として、比較的短時間で物体の動きが止まった場合、領域の再分類が回避され、それにより物体の追跡をより正確に行うことができる。

別の例では、処理デバイスは、視覚効果を含む画像を識別し、次いで視覚効果に従って画像を処理し、それにより物体を識別するように構成することができる。この点に関して、視覚効果は、同じシーンの画像間の外観の変化をもたらし得、従って、その変化は、潜在的な物体として識別され得る。例えば、ＡＧＶは、車両の前方に照明を含み得、それにより時間と共に移り変わる外観の変化が生じるため、ＡＧＶとは別の物体として誤って検出され得る。室内の日光の変化、視覚提示デバイス（ディスプレイ若しくはモニタなど）の存在又は同様のものなど、他の周囲の照明の変化でも同様の問題が生じる。

一例では、視覚効果に対処するため、処理デバイスは、視覚効果を含む画像領域を識別し、次いで視覚効果を含む画像領域を除外し、且つ／又は視覚効果を説明する画像領域を分類するように構成することができる。従って、この動作は、例えば、外観の変化が検出された際に画像領域が非静的画像領域として分類される可能性が低くなるように分類閾値を引き上げることにより、識別された視覚効果に基づいて分類閾値を調整するために使用することができる。

視覚効果の検出は、好ましい実装形態、利用可能なセンサ及び視覚効果の性質に応じて様々な技法を使用して達成することができる。例えば、視覚効果が照明の変化である場合、１つ又は複数の照明センサからの信号を使用して視覚効果を検出することができる。代わりに、１日の流れの中で背景照明がどのように変化するかを分析するためになど、環境内で日常的に起こる視覚効果を識別し、これを考慮できるようにするために、１つ又は複数の参照画像を使用することができる。この参照画像は、環境内の起こり得る照明を予測するために、天気予報、現時刻に関する情報又は同様のものなどの環境情報と併せて使用することもできる。さらなる代替形態として、例えば、照明の変化が起こり得る環境及び／又はモニタ若しくはディスプレイを含む環境の一部又は同様のものをユーザに指定させることによって手動識別を実行することができる。

別の例では、視覚効果は、定義された特性に従って画像を分析することによって識別することができ、それによりそれらの特性を満たす領域を除外することができる。例えば、この動作は、車両警報灯に対応するものなどの既知の波長及び／又はスペクトル特性を有する照明を識別し、次いでそのような領域を分析から除外することを含み得る。

一般に、処理デバイスは、物体の場所を決定するために同期重複画像を分析するように構成される。一例では、この動作は、シルエットからの形状復元による３Ｄ再構築技法である視体積交差技法を使用して実行される。特に、そのような視体積交差技法は、画像内の物体のシルエットを識別し、これらのシルエットを使用して、実際の物体を含む逆投影一般化錐体（「シルエット錐体」としても知られている）を作成することを伴う。異なる視点から撮られた画像からのシルエット錐体は、２つ以上の錐体の交差部分を決定するために使用され、その交差部分は、実際の３Ｄ物体の境界ジオメトリである視体積を形成する。次いで、この視体積を使用して、撮像デバイスの既知の視点に基づいて場所を確認することができる。従って、異なる視点から捕捉された画像を比較することにより、環境Ｅ内の物体の位置を決定することができる。

しかし、いくつかの例では、そのような視体積交差手法は、必要ではない。例えば、“ＡｐｒｉｌＴａｇ：Ａ ｒｏｂｕｓｔ ａｎｄ ｆｌｅｘｉｂｌｅ ｖｉｓｕａｌ ｆｉｄｕｃｉａｌ ｓｙｓｔｅｍ”ｂｙ Ｅｄｗｉｎ Ｏｌｓｏｎ ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ），２０１１において説明されているように、物体が視覚的にコード化された機械可読データ（フィデューシャルマーカー又はＡｐｒｉｌタグなど）を含む場合、捕捉画像におけるフィデューシャルマーカーの視覚分析を通して場所を導き出すことができる。

好ましい一例では、手法は、基準マークと複数の画像との組合せを使用し、それにより基準マークを含む異なる画像の三角測量が可能になり、より高い精度で基準マーク、従って物体の場所を計算することができるようになる。

一例では、視体積交差又は同様の技法を使用する場合には特に、処理デバイスは、環境内のボリュームの画像である重複画像の対応する画像領域を識別し、次いで対応する画像領域を分析してボリューム内の物体を識別するように構成することができる。具体的には、この動作は、典型的には、異なる視点から捕捉されたものと同じボリュームの非静的画像領域である対応する画像領域を識別することを含む。次いで、例えば、視体積交差技法を使用して、非静的領域を分析して候補物体を識別することができる。

このプロセスは、十分に高いカメラ密度がある場合及び／又は物体が環境内で疎に配置されている場合、比較的単純であるが、このプロセスは、カメラが疎に配置されている場合及び／又は物体が密に配置されており、且つ／若しくは互いに近い場合、より複雑になる。特に、この状況では、物体は、全体的又は部分的に遮蔽される場合が多く、これは、一部の撮像デバイスを使用して物体の形状を正確に捕捉できないことを意味する。これは、次に、物体又はそれらのサイズ、形状若しくは場所の誤認につながり得る。

それに従って、一例では、候補物体が識別された時点において、これらの候補物体は、環境の三次元モデルに組み込むことができ、そのようなモデルの例については、以下でさらに詳細に説明する。次いで、モデルを分析して、潜在的なオクルージョンを識別することができ、例えば物体と撮像デバイスとの間に別の物体が位置決めされた際、三次元モデルから撮像デバイスの２Ｄ像面に物体を逆投影することによって行うことができる。識別された時点において、潜在的なオクルージョンを使用して候補物体の有効性確認を行うことができ、例えばオクルージョンを考慮して視体積交差プロセスを実行することができる。これらの問題の例は、“Ｖｉｓｕａｌ Ｈｕｌｌ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｉｎ ｔｈｅ Ｐｒｅｓｅｎｃｅ ｏｆ Ｐａｒｔｉａｌ Ｏｃｃｌｕｓｉｏｎ”ｂｙ Ｌｉ Ｇｕａｎ，Ｓｕｄｉｐｔａ Ｓｉｎｈａ，Ｊｅａｎ－Ｓｅｂａｓｔｉｅｎ Ｆｒａｎｃｏ，Ｍａｒｃ Ｐｏｌｌｅｆｅｙｓにおいて説明されている。

一例では、画像領域が潜在的なオクルージョンを含む場合、潜在的なオクルージョンは、遮蔽された画像領域として画像領域を分類し、物体を識別する際にこれを考慮することを処理デバイスに行わせることによって説明される。この動作は、単に遮蔽された画像領域を分析から除外することを伴い得るが、典型的には、この手法によって有意義な情報が失われ、結果として、物体は、不正確に識別され且つ／又は位置付けられる可能性がある。それに従って、別の例では、この動作は、対応する画像の異なるものを重み付けすることによって達成することができ、重み付けは、起こり得るオクルージョンの影響、従って結果として得られる物体検出の精度を評価するために使用される。

同様の重み付けプロセスは、他の問題を考慮するためにも使用することができる。それに従って、一例では、対応する画像領域と関連付けられた物体スコアが計算され、物体スコアは、対応する画像領域の物体の検出と関連付けられた確実性を示す。計算された時点で物体スコアを使用して物体を識別することができ、例えばスコアがスコア閾値を超えた場合、物体が正確に識別されたと評価することができる。

物体スコアは、様々な方法で使用できることが理解されるであろう。例えば、物体スコアが低過ぎる場合、物体は、単に分析から除外することができる。しかし、さらに役立てるため、この物体スコアは、物体の場所がどの程度明確に分かっているかに関して制約を加えるために使用することができ、その結果、低いスコアは、物体の場所の不確実性が高いものであり得、状況認識を評価する際にこの不確実性を考慮することができる。

一例では、物体スコアの計算は、対応する画像領域の各々に対する画像領域スコアを生成し、次いで対応する画像の各々の画像領域に対する画像領域スコアを使用して物体スコアを計算することによって行われる。従って、画像領域スコアは、特定のボリュームの画像領域を捕捉する各撮像デバイスに対して計算され、これらのスコアを組み合わせて、そのボリュームに対する全体的なスコアを作成することができる。

加えて及び／又は代わりに、個々の画像領域スコアを使用して、物体を正確に識別する際に使用するための画像領域に対する潜在的な信頼性を評価することができる。従って、特定の画像領域の考えられる精度が低い場合（大きいオクルージョン又は同様のものが存在する場合など）は、あらゆる分析において低い重み付けが与えられ、従って後続の分析に悪影響を及ぼす可能性が低く、それにより結果として得られる物体の場所に著しい影響を及ぼす可能性が低下する。

言及したように、この手法は、オクルージョンに対して使用することができるが、この手法は、幅広い他の因子に対しても使用することができる。例えば、スコアは、画像領域分類又は画像ストリームの画像間の画像領域の外観の変化度に基づき得、その結果、物体を含む可能性が低い静的画像領域は、低いスコアを有し、非静的領域は、高いスコアを有し得る。

同様に、この手法は、画像領域分類の持続性又は画像領域分類の変化履歴を考慮することができる。従って、画像領域の分類が頻繁に変化する場合、これは、領域が正しく分類されていないことを示唆し得、従って低い信頼スコアが与えられる一方、持続する分類は、正しい分類における高い信頼、従って高いスコアを含意する。

同様に、スコアは、視覚効果の存在又は可能性に基づいて割り当てることができ、物体を識別する際に視覚効果を説明することができる。別の例では、対象のボリュームに対するカメラジオメトリを使用することができ、その結果、ボリュームから距離があるか又はボリュームに対して斜めに配置されたカメラによって捕捉された画像には、低い重み付けが与えられる。

画像捕捉の時刻などの因子も考慮することができ、非同期データ捕捉を使用できるようにする上で役立てることができる。この例では、重複画像の１つが他の画像とかなり異なる時刻に捕捉された場合、この画像には、その間の時間に物体が移動した可能性があることを考慮して、物体の識別の観点から低い重み付けが与えられ得る。

同様に、解像度、焦点、露光又は同様のものなどの画質に関連する他の因子も考慮することができる。

それに従って、各撮像デバイスによって捕捉された画像に対するスコアの計算は、画像の各々を重み付けするために使用することができ、その結果、全体的な物体検出プロセスにおいて画像を信頼できる程度は、画質、オクルージョン、視覚効果、物体がどの程度良好に撮像されたか又は同様のものなどの因子を考慮することができ、それにより次に物体検出をより正確に実行できることが理解されるであろう。

物体がどのように検出されるかに関係なく、物体の場所の決定には、典型的には、環境内の撮像デバイスの位置決めに関する知識が必要とされ、従って、処理デバイスは、画像デバイスの既知の位置に従って画像を解釈するように構成される。この動作を達成するため、一例では、較正データにおいて位置情報が具体化され、その位置情報を使用して画像が解釈される。特定の一例では、較正データは、各撮像デバイスの撮像特性を示す内部較正データと、環境Ｅ内の撮像デバイスの相対的な位置決めを示す外部較正データとを含む。これにより、処理デバイスは、画像を補正して、捕捉画像のいかなる撮像歪みも説明することができ、環境Ｅに対する撮像デバイスの位置を説明することもできる。

較正データは、典型的には、較正プロセス中に生成される。例えば、内部較正データは、撮像デバイスを使用して異なる位置から捕捉された定義されたパターンの画像に基づいて生成することができる。定義されたパターンは、任意の適切な形態であり得、ドットパターン若しくは類似したもの、フィデューシャルマーカー又は同様のものを含み得る。画像は、画像の定義されたパターンの歪みを識別するために分析され、それは、次に、撮像デバイスの画像捕捉特性を示す較正データを生成するために使用することができる。そのような画像捕捉特性は、被写界深度、レンズ開口、レンズ歪み又は同様のものなどを含み得る。

対照的には、外部較正データは、環境内のターゲットの捕捉画像を受信することと、同じターゲットを示す、異なる撮像デバイスによって捕捉された画像を識別するために捕捉画像を分析することと、撮像デバイスの相対的な位置及び向きを示す較正データを生成するために、識別された画像を分析することとによって生成することができる。この場合にもやはり、このプロセスは、環境内に複数のターゲットを位置決めし、次いでいずれの撮像デバイスを使用していずれのターゲットが捕捉されたかを識別することによって実行することができる。この動作は、ユーザ入力に基づいて手動で実行することも、異なるターゲット及び異なる位置を容易に識別できるように固有のターゲットを使用して自動的に実行することもできる。このことから、この目的のためにＡｐｒｉｌタグなどのフィデューシャルマーカーを使用できることが理解されるであろう。

上記で言及したように、一例では、システムは、状況認識モニタリングシステムの一部であり得る。この例では、上記で説明されるように、モジュラーホイールを使用して動きを制御することに加えて、システムは、状況認識規則を使用して状況認識事象を識別し、次に事象の軽減の試みなどの措置を実行できるようにする。

状況認識規則の性質は、好ましい実装形態のみならず、環境の性質及び環境内の物体に応じて異なる。一例では、状況認識規則は、許容される物体移動経路、許容される物体の動き、種々の物体のための許容される近接限度、物体のための許容ゾーン又は物体のための拒否ゾーンの１つ又は複数を示す。この例では、物体の動きが、許容される物体移動経路から逸脱した場合、物体の動きが、許容される物体の動きから逸脱した場合、２つの物体が、物体の既定の近接限度内に位置する場合、２つの物体が、物体のための許容される近接限度に近づいている場合、２つの物体の予測移動経路が交差する場合、物体が、物体のための許容ゾーン外に位置する場合、物体が、物体のための許容ゾーンを出る場合、物体が、物体のための拒否ゾーン内に位置する場合、物体が、物体のための拒否ゾーン内に入る場合又は同様の場合、状況認識事象が起こると決定することができる。しかし、幅広い異なる状況認識事象を識別するために、幅広い異なる状況認識規則を定義できることと、上記の例が単なる例示を目的とすることとが理解されるであろう。

そのような規則は、様々な技法を使用して生成することができるが、典型的には、環境における物体の動作及び相互作用を理解することによって手動で生成される。別の例では、規則エンジンを使用して、タスクを少なくとも部分的に自動化することができる。規則エンジンは、典型的には、規則文書を受信し、自然言語処理を使用して構文解析して、論理表現及び物体タイプを識別することによって動作する。次いで、物体の物体タイプに基づいてこれらの物体識別子を取得するか、又は必要に応じてこれらの物体識別子を生成することにより、各物体タイプに対して物体識別子が決定される。次いで、論理表現を使用して物体規則が生成されるが、この動作は、これらの論理表現をタグにアップロードする前に論理表現をトリガ事象及び措置に変換することによって行われる。例えば、論理表現は、「Ｉｆ．．．ｔｈｅｎ．．．」という記述において規則テキスト内で指定される場合が多く、その論理表現は、トリガ及び措置に変換することができる。この動作は、テンプレートを使用して実行することができ、例えば、「Ｉｆ．．．ｔｈｅｎ．．．」という記述からテキストを使用してテンプレートを埋めることによって実行することができ、その結果、標準的な方法で規則が生成され、これらの規則を一貫して解釈することができる。

規則が生成された時点において、規則違反に応答して講じられる措置を定義することもでき、この情報は、規則データベースに規則データとして格納される。

上記から、典型的には、異なる物体及び／又は物体タイプに対して異なる規則が定義されることが理解されるであろう。従って、例えば、個人に対してある規則セットを定義し、ＡＧＶに対して別の規則セットを定義することができる。同様に、異なる方法で動作している異なるＡＧＶに対して異なる規則を定義することができる。いくつかの例では、規則は、物体間の相互作用に関連し、その事例では、規則は、複数の物体の物体アイデンティティに依存し得ることも理解されるであろう。

それに従って、一例では、規則が作成されると、規則は、１つ又は複数の物体アイデンティティと関連付けられ、物体アイデンティティは、物体タイプを示し、且つ／又は特定の物体を一意に示すことが可能であり、それにより異なるタイプの物体又は異なる個々の物体に対して物体状況認識規則を定義することができる。これにより、処理デバイスは、その後、環境内の物体の物体アイデンティティに基づいて関連規則を取得することができる。それに従って、一例では、１つ又は複数の処理デバイスは、少なくとも１つの物体に対する物体アイデンティティを決定し、次いで少なくとも部分的に物体アイデンティティを使用して、物体の動きを状況認識規則と比較するように構成される。従って、処理デバイスは、物体アイデンティティに従って１つ又は複数の状況認識規則を選択し、次いで選択した状況認識規則と物体の動きを比較することができる。

物体アイデンティティは、例えば、好ましい実装形態及び／又は物体の性質に応じて多くの異なる技法を利用して決定することができる。例えば、物体がいかなる形態の符号化識別子も含まない場合、この物体アイデンティティの決定は、画像認識技法を使用して実行することができる。例えば、人間を識別する事例では、人間は、おおむね同様の外観を有するが、一般にＡＧＶの外観と全く異なる外観を有し、それに従って、人間は、画像の１つ又は複数で実行される画像認識技法を使用して識別され得る。この動作は、必ずしも異なる個人の区別を必要としないが、いくつかの事例ではこの区別を実行できることに留意されたい。

加えて及び／又は代わりに、アイデンティティ、特に物体タイプは、動きの分析を通して識別することができる。例えば、ＡＧＶの動きは、典型的には、既定のパターンを辿る傾向にあり、且つ／又は典型的には一定の速度及び／若しくは方向変更などの特性を有する。これとは対照的に、個人の動きは、無計画であり、方向及び／又は速度が変化する傾向にあり、それにより動きパターンの分析に基づいてＡＧＶと人間とを区別することができる。

別の例では、物体は、物体アイデンティティを示す機械可読コードデータと関連付けることができる。この例では、処理デバイスは、機械可読コード化データを使用して物体アイデンティティを決定するように構成することができる。機械可読コード化データは、好ましい実装形態に応じて多くの方法のいずれか１つで符号化することができる。一例では、この物体アイデンティティの決定は、バーコード、ＱＲコード（登録商標）又はより典型的にはＡｐｒｉｌタグなどの視覚的にコード化されたデータを使用して達成することができ、視覚的にコード化されたデータは、画像の可視機械可読コード化データを識別するために画像を分析することによって検出することができ、処理デバイスによって復号することができる。しかし、別の例では、物体は、短距離無線通信プロトコルタグ、ＲＦＩＤ（無線自動識別）タグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）タグ又は同様のものなどのタグと関連付けることができ、その事例では、機械可読コード化データは、適切なタグリーダから取得することができる。

識別手法を併せて使用できることも理解されるであろう。例えば、物体は、適切なリーダのそばを通る際、機械可読コード化データの検出を通して一意に識別することができる。この例では、物体が識別された時点において、このアイデンティティは、環境内で物体が移動している際に物体を追尾することによって維持することができる。これは、識別のために物体がリーダのそばを再び通る必要がないことを意味し、例えば個人がアクセスカードを使用して部屋に入る際に起こり得るように、エリアへの進入時などの限られた場面でのみ物体が識別される状況で特に有用である。

一例では、１つ又は複数の処理デバイスは、物体の動きを使用して、予測される物体の動きを決定するように構成される。この動作は、例えば、過去の動きパターンを将来に外挿することによって実行することができ、例えば、直線上を移動する物体は、少なくとも短時間にわたって直線上を移動し続けると想定することができる。そのような予測を実行するために様々な技法を使用することができ、例えば機械学習技法を使用して特定の物体又は同様の物体タイプに対する動きのパターンを分析し、このパターンを他の利用可能な情報（定義された意図される移動経路又は同様のものなど）と組み合わせて将来の物体の動きを予測できることが理解されるであろう。次いで、予測される物体の動きは、潜在的な状況認識事象を事前に識別するために状況認識規則と比較することができる。この動作は、例えば、ＡＧＶと人物とが将来のある時点で妨害されることが予期されるかどうかを確認するために利用することができ、それにより妨害が起こる前に警告又は警報を生成することができる。

一例では、１つ又は複数の処理デバイスは、環境、環境における撮像デバイスの場所、クライアントデバイス（警告ビーコンなど）の場所、現在の物体の場所、物体の動き、予測される物体の場所、予測される物体の動き又は同様のものを示す環境モデルを生成するように構成される。環境モデルは、最近の過去の動きの記録を維持するために使用することができ、それは、次に、一時的に静止している物体の追跡に役立ち、また状況認識事象をより正確に識別するために使用することができる。

環境モデルは、メモリに保持することができ、必要に応じて処理デバイス及び／又は他の処理デバイス（リモートコンピュータシステムなど）によってアクセスすることができる。別の例では、処理デバイスは、現在又は過去の時点における環境モデルのグラフィック表現を生成するように構成することができる。このグラフィック表現を使用して、オペレータ又はユーザは、現在又は過去の環境ステータスを見ることができ、それにより状況認識事象と関連付けられた問題を確認することができる（事象の発生につながる状況の組を見直すこと又は同様のものなど）。この動作は、ヒートマップを表示し、環境内の物体の動きを示すことを含み得、次にそれを使用して、状況認識事象を引き起こし得るボトルネック又は他の問題を強調することができる。

以前に言及したように、状況認識事象を識別することに応答して措置を講じることができる。この措置は、これらに限定されないが、状況認識事象の表示を記録すること、状況認識事象を示す通知を生成すること、状況認識事象を示す出力を出力デバイスに生成させること（可聴及び／若しくは視覚出力を生成することを含む）、アラームを起動すること又は物体の動作を制御させることを含み得る。従って、通知は、監視者又はオペレータに提供することができ、警告は、例えば、潜在的な状況認識事象（差し迫った衝突の可能性など）を人間に知らせるために環境内で生成することができるか、又は自律走行若しくは半自律走行車両（ＡＧＶなど）を制御するために使用することができ、それにより、車両制御システムは、車両を停止させ、且つ／又は他の何らかの方法で車両の動作を変更することができ、それにより事故又は他の事象を回避することができる。

撮像デバイスは、セキュリティ撮像デバイス、単眼撮像デバイス、非コンピュータビジョンベースの撮像デバイス又は内部較正情報を有さない撮像デバイスのいずれか１つ又は複数から選択することができる。その上、手法は、撮像デバイスの構成に依拠しないため、較正データの使用によって異なる撮像デバイスを取り扱うことにより、単一のシステム内で異なるタイプ及び／又はモデルの撮像デバイスを使用することができ、それにより状況認識モニタリングシステムを実装するために使用することができる機器により大きい柔軟性が提供される。

上記で言及したように、一例では、プロセスは、１つ又は複数の処理システム及び任意に分散アーキテクチャの一部として動作する１つ又は複数のクライアントデバイスによって実行され、ここで、図４を参照してその例について説明する。

この例では、多くの処理システム４１０は、通信ネットワーク４４０（インターネット及び／又は１つ若しくは複数のローカルエリアネットワーク（ＬＡＮ）など）を介して、多くのクライアントデバイス４３０及び撮像デバイス４２０のみならず、多くのモジュラーホイールコントローラ４５４にも結合される。ネットワーク４４０の構成は、単なる例示を目的とし、実践では、処理システム４１０、撮像デバイス４２０、クライアントデバイス４３０及びコントローラ４５４は、有線又は無線接続（これらに限定されないが、モバイルネットワーク、８０２．１１ネットワークなどのプライベートネットワーク、インターネット、ＬＡＮ、ＷＡＮ若しくは同様のものを含む）を介して及び直接又はポイントツーポイント接続（Ｂｌｕｅｔｏｏｔｈ（登録商標）若しくは同様のものなど）を介してなど、任意の適切なメカニズムを介して通信できることが理解されるであろう。

一例では、処理システム４１０は、撮像デバイス４２０から画像ストリームを受信することと、画像ストリームを分析することと、モジュラーホイールを制御するために制御信号を生成することと、任意に状況認識事象を識別することとを行うように構成される。処理システム４１０は、通知及び／又は警告を生成すること（任意にクライアントデバイス若しくは他のハードウェアを介して表示される）、ＡＧＶ若しくは同様のものの動作を制御すること又は環境モデルを作成してそのアクセスを提供することなどの措置を実施するようにも構成される。処理システム４１０は、単一のエンティティとして示されているが、処理システム４１０は、例えば、クラウドベースの環境の一部として提供される処理システム４１０及び／又はデータベースを使用することにより、多くの地理的に別々の場所にわたって分散できることが理解されるであろう。しかし、上記で説明される構成は、必須ではなく、他の適切な構成を使用することもできる。

適切な処理システム４１０の例は、図５に示されている。

この例では、処理システム４１０は、示されるように、少なくとも１つのマイクロプロセッサ５１１、メモリ５１２、任意の入力／出力デバイス５１３（キーボード及び／又はディスプレイなど）並びに外部のインタフェース５１４を含み、それらは、バス５１５を介して相互接続される。この例では、外部のインタフェース５１４は、処理システム４１０を周辺デバイス（通信ネットワーク４４０、データベース、他の記憶装置又は同様のものなど）に接続するために利用することができる。単一の外部のインタフェース５１４が示されているが、これは、単なる例示を目的とし、実践では様々な方法（例えば、イーサネット、シリアル、ＵＳＢ、無線又は同様のもの）を使用して複数のインタフェースを提供することができる。

使用時、マイクロプロセッサ５１１は、必要なプロセスを実行するために、メモリ５１２に格納されたアプリケーションソフトウェアの形態の命令を実行する。アプリケーションソフトウェアは、１つ又は複数のソフトウェアモジュールを含み得、オペレーティングシステム環境又は同様のものなどの適切な実行環境で実行することができる。

それに従って、処理システム４１０は、適切にプログラムされたクライアントデバイス、ＰＣ、ウェブサーバ、ネットワークサーバ又は同様のものなどの任意の適切な処理システムから形成できることが理解されるであろう。特定の一例では、処理システム３１０は、Ｉｎｔｅｌアーキテクチャベースの処理システムなどの標準的な処理システムであり、不揮発性（例えば、ハードディスク）記憶装置に格納されたソフトウェアアプリケーションを実行するが、これは、必須ではない。しかし、処理システムは、マイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、論理の実施と任意に関連付けられたファームウェア（ＦＰＧＡ（フィールドプログラマブルゲートアレイ）など）などの任意の電子処理デバイス、任意の他の電子デバイス、システム又は構成であり得ることも理解されるであろう。

適切なクライアントデバイス４３０の例は、図６に示されている。

一例では、クライアントデバイス４３０は、示されるように、少なくとも１つのマイクロプロセッサ６３１、メモリ６３２、入力／出力デバイス６３３（キーボード及び／又はディスプレイなど）並びに外部のインタフェース６３４を含み、それらは、バス６３５を介して相互接続される。この例では、外部のインタフェース６３４は、クライアントデバイス４３０を周辺デバイス（通信ネットワーク４４０、データベース、他の記憶装置又は同様のものなど）に接続するために利用することができる。単一の外部のインタフェース６３４が示されているが、これは、単なる例示を目的とし、実践では様々な方法（例えば、イーサネット、シリアル、ＵＳＢ、無線又は同様のもの）を使用して複数のインタフェースを提供することができる。

使用時、マイクロプロセッサ６３１は、例えば、通知若しくは同様のものを受信できるようにするため及び／又は環境モデルへのアクセスを提供するために、処理システム４１０との通信が可能になるように、メモリ６３２に格納されたアプリケーションソフトウェアの形態の命令を実行する。

それに従って、クライアントデバイス４３０は、適切にプログラムされたＰＣ、インターネット端末、ラップトップ若しくはハンドヘルドＰＣ及び好ましい一例ではタブレット若しくはスマートフォン又は同様のものなどの任意の適切な処理システムから形成できることが理解されるであろう。従って、一例では、クライアントデバイス４３０は、Ｉｎｔｅｌアーキテクチャベースの処理システムなどの標準的な処理システムであり、不揮発性（例えば、ハードディスク）記憶装置に格納されたソフトウェアアプリケーションを実行するが、これは、必須ではない。しかし、クライアントデバイス４３０は、マイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、論理の実施と任意に関連付けられたファームウェア（ＦＰＧＡ（フィールドプログラマブルゲートアレイ）など）などの任意の電子処理デバイス、任意の他の電子デバイス、システム又は構成であり得ることも理解されるであろう。

ここで、図７Ａ及び７Ｂを参照してモジュラーホイールの例についてさらに詳細に説明する。

この例では、モジュラーホイール７５０は、物体に取り付けるように構成された装着部７５７を有する本体７５１を含む。本体は、「７」の字型であり、装着部７５７を支持する上方の横方向部分７５１．１と、内側に傾斜した斜めの脚部７５１．２とを有し、内側に傾斜した斜めの脚部７５１．２は、ホイール７５２を支持する下方のハブ７５１．３まで延在する。駆動部７５３は、ハブに取り付けられ、ホイールが回転できるようにする。電池７５６は、傾斜した斜めの脚部７５１．２の裏面に装着され、コントローラ７５４は、電池の外面に装着される。ステアリング駆動部７５５も提供され、それにより、本体７５１は、装着部７５７に対して回転することができ、それによりホイールの向き（車首方向）を調整することができる。

特定の一例では、モジュラーホイールは、自給式の２自由度ホイールであるように設計される。各モジュラーホイールは、ホイールの裏側且つモジュールの上部の結合部の下方に位置する連続回転サーボモータを使用することによって速度及び車首方向を生成することができる。それらの回転中心は、回転中のトルクを低減するために位置合わせされる。ホイール及び上部の結合部は、クロスプラットフォームの互換性を有効にするために、ＩＳＯ ９４０９－１４０４Ｍ６のボルトパターンを使用する。迅速なシステムの組み立て及び再構成を可能にするために、一般的なアダプタのセットを使用することができる。

適切なコントローラの例は、図８に示されている。

一例では、コントローラ７５４は、示されるように、少なくとも１つのマイクロプロセッサ８７１、メモリ８７２、入力／出力デバイス８７３（キーボード及び／又はディスプレイなど）並びに外部のインタフェース８７４を含み、それらは、バス８７５を介して相互接続される。この例では、外部のインタフェース８７４は、コントローラ７５４を周辺デバイス（通信ネットワーク４４０、データベース、他の記憶装置又は同様のものなど）に接続するために利用することができる。単一の外部のインタフェース８７４が示されているが、これは、単なる例示を目的とし、実践では様々な方法（例えば、イーサネット、シリアル、ＵＳＢ、無線又は同様のもの）を使用して複数のインタフェースを提供することができる。

使用時、マイクロプロセッサ８７１は、例えば、通知若しくは同様のものを受信できるようにするため及び／又は環境モデルへのアクセスを提供するために、処理システム４１０との通信が可能になるように、メモリ８７２に格納されたアプリケーションソフトウェアの形態の命令を実行する。

それに従って、コントローラ７５４は、適切にプログラムされたＰＣ、インターネット端末、ラップトップ若しくはハンドヘルドＰＣ及び好ましい一例ではタブレット若しくはスマートフォン又は同様のものなどの任意の適切な処理システムから形成できることが理解されるであろう。従って、一例では、コントローラ７５４は、標準的な処理システムであり、不揮発性（例えば、ハードディスク）記憶装置に格納されたソフトウェアアプリケーションを実行するが、これは、必須ではない。しかし、コントローラ７５４は、マイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、論理の実施と任意に関連付けられたファームウェア（ＦＰＧＡ（フィールドプログラマブルゲートアレイ）など）などの任意の電子処理デバイス、任意の他の電子デバイス、システム又は構成であり得ることも理解されるであろう。

特定の一例では、コントローラ７５４は、Ｒａｓｐｂｅｒｒｙ Ｐｉの形態であり、ホイールコマンドと、モジュラーホイール間及び／又は通信ネットワーク間のｗｉ－ｆｉ通信との両方を提供する。各ホイールの本体又は脚部には、電力を提供する４つのリチウムポリマー電池が内蔵されている。電池は、取り外し可能なパネルを通してアクセスすることができる。

一例では、モジュラーホイールシステムの中央制御は、個々のモジュラーホイールの速度、従って回転レートを設定するために相対速度を使用する。物体の中心に対する各モジュラーホイールの姿勢（位置及び向き）は、必要な速度を決定するために使用することができ、それによりホイールに対して中心をシフトすることによって従来の制御システムをもたらすことができる。モジュールと中心点との異なる組合せは、アッカーマンステアリング、差動駆動及び非ホロノミック全方向動きをもたらすことができる。そのような集中制御は、コントローラ８５４によって実行する（例えば、１つのコントローラをマスタとして指名し、他のコントローラをスレーブとして指名し、任意に集中型内蔵コントローラをモジュラーホイールの１つに組み込ませる）こと及び／又は処理システム４１０によって実行することができる。

構成の例は、図９Ａ～９Ｄに示されている。図９Ａは、三輪構成を示し、瞬間回転中心（ＩＣＲ）は、取り付けられたすべてのホイール間の中心に配置され、非ホロノミック全方向構成を生成する。図９Ｂは、四輪構成を示し、ＩＣＲは、２つの後輪の駆動軸に沿って一直線上に配置され、アッカーマン制御を提供する。図９Ｃは、四輪構成を示し、ＩＣＲは、車輪の両方の組間で一直線上に配置され、差動駆動又はスキッドステアを生成し、図９Ｄは、三輪構成を示し、ＩＣＲは、駆動軸に沿って一直線上にあり、三輪車制御を提供する。

他の駆動構成も採用することができ、これらの構成は、単なる例示を目的とすることが理解されるであろう。

ここで、物体の動きを制御するためのプロセス及び任意に状況認識モニタリングを同時に実行するためのプロセスの例についてさらに詳細に説明する。

これらの例の目的のため、１つ又は複数の処理システム４１０は、画像デバイス４２０からの画像ストリームをモニタし、物体の場所を識別するために画像ストリームを分析し、コントローラ４５４に転送される制御信号を生成するように動作し、それによりモジュラーホイールを制御することができ、それにより物体を移動させることができると想定される。

ユーザ対話は、クライアントデバイス４３０を介して提供されるユーザ入力に基づいて実行することができ、モデル視覚化の結果として得られる通知は、クライアントデバイス４３０によって表示することができる。一例では、プラットフォームに依存しない方法でこのユーザ対話を提供し、それにより異なるオペレーティングシステムを使用し、且つ異なる処理能力を有するクライアントデバイス４３０を使用して、このモデル視覚化に容易にアクセスできるようにするため、入力データ及びコマンドは、ウェブページを介してクライアントデバイス４３０から受信され、結果として得られる視覚化は、ブラウザアプリケーション又はクライアントデバイス４３０によって実行される他の同様のアプリケーションによってローカルにレンダリングされる。

従って、処理システム４１０は、典型的には、利用可能な特定のネットワークインフラストラクチャに応じて通信ネットワーク４４０又は同様のものを介してクライアントデバイス４３０、コントローラ４５４及び撮像デバイス４２０と通信するサーバ（以下ではサーバと呼ぶ）である。

これを達成するため、サーバ４１０は、典型的には、画像を分析するためのアプリケーションソフトウェアを実行するのみならず、データの格納及び処理、制御命令の生成又は同様のものを含む他の必要なタスクの実行も行う。サーバ４１０によって実行される動作は、アプリケーションソフトウェアとしてメモリ５１２に格納された命令に従って、且つ／又はＩ／Ｏデバイス５１３を介してユーザから受信された入力コマンド若しくはクライアントデバイス４３０から受信されたコマンドに従ってプロセッサ５１１によって実行される。

ユーザは、サーバ４１０上に直接提示されるか又はクライアントデバイス４３０上に提示されるＧＵＩ（グラフィックユーザインタフェース）又は同様のものを介して、及び特定の一例ではサーバ４１０によってホストされるウェブページを表示するブラウザアプリケーション又はサーバ４１０によって供給されるデータを表示するアプリを介してサーバ４１０と対話するとも想定する。クライアントデバイス４３０によって実行される動作は、アプリケーションソフトウェアとしてメモリ６３２に格納された命令に従って、且つ／又はＩ／Ｏデバイス６３３を介してユーザから受信された入力コマンドに従ってプロセッサ６３１によって実行される。

しかし、以下の例の目的のために想定される上記で説明される構成は、必須ではなく、他の多くの構成を使用できることが理解されるであろう。クライアントデバイス４３０とサーバ４１０との間の機能性の区分化は、特定の実装形態に応じて異なり得ることも理解されるであろう。

ここで、図１０を参照して、モジュラーホイールを有する物体の動きを制御するためのプロセスの例について説明する。

この例では、ステップ１０００において、サーバ４１０は、撮像デバイス４２０の各々から画像ストリームを受信し、ステップ１０１０において、画像ストリームを分析して同期重複画像を識別する。具体的には、このステップは、重複する視野を有する撮像デバイスからの画像を分析し、画像と関連付けられたタイムスタンプ及び／又は画像の受信の時刻などのタイミング情報を考慮し、それにより同期画像を識別することを伴う。ステップ１０２０では、サーバ４１０は、物体の同期重複画像を使用して実行される視体積交差技法を使用して、環境内の１つ又は複数の物体の場所を決定する。

ステップ１０３０では、サーバ４１０は、例えば、物体認識を使用して及び／又はＡｐｒｉｌタグ、ＱＲコード（登録商標）若しくは同様のものなどのコード化データを検出することにより、物体及び／又はホイールを識別する。物体及び／又は物体と関連付けられたモジュラーホイールを識別することにより、サーバ４１０は、物体と関連付けられたルーティングデータを取得することができる。ルーティングデータは、環境を通した事前に定義されたルートであるか、又はターゲット目的地を含み得、サーバ４１０がルートを計算するように動作する。

これに続いて、サーバ４１０は、ルートに従って制御命令を生成することができ、制御命令は、コントローラ４５４に転送することができ、それによりルーティングデータに従って物体を移動させることができ、それによりルートを辿れるようになる。

このプロセスは、周期的に（数秒ごとになど）繰り返すことができ、それにより、サーバ４１０は、物体の動きを実質的に連続的にモニタし、ルートを辿っていることを保証し、必要に応じて介入できる（例えば、状況認識事象を説明するため又は意図される移動経路からのいかなる逸脱も補正するため）ことが理解されるであろう。これにより、制御プロセスの各ループで生成する必要がある制御命令の複雑性も低減され、一連の簡単な制御命令として複雑な動きを実施することができる。

ここで、図１１Ａ及び１１Ｂを参照して、物体を制御するためのプロセス及び状況認識をモニタするためのプロセスのさらなる例について説明する。

この例では、ステップ１１００において、サーバ４１０は、撮像デバイス４２０から複数の画像ストリームを取得する。ステップ１１０５では、サーバ４１０は、典型的には、画像ストリーム内の動きを識別するために各画像ストリームを分析することにより、画像ストリーム内の物体を識別するように動作する。物体を識別することにより、ステップ１１１０では、サーバ４１０は、異なる撮像デバイスの相対的な位置に関する情報を使用して同期重複画像を識別するように動作する。ステップ１１１５では、サーバ４１０は、視体積交差分析を採用して環境内の物体を位置付ける。

環境内の物体の場所を識別することにより、ステップ１１２０では、この情報を使用して環境モデルを更新する。この点に関して、環境モデルは、環境内の物体の現在の場所及び任意に過去の場所に関する情報を含む環境のモデルであり、それを使用して物体の動き及び／又は場所を追跡することができる。この例については、以下でさらに詳細に説明する。

ステップ１１２５では、サーバ４１０は、例えば、コード化データ、ネットワークアドレス又は同様のものを使用して可動物体及び／又はホイールを識別する。物体及び／又はホイールが識別された時点で物体／ホイール構成を決定することができる。

この点に関して、物体構成は、典型的には、物体の範囲を示すが、物体が移動すべき速度に対する限界、物体と関連付けられた近接制限又は同様のものなどの追加の情報も示し得る。ホイール構成は、典型的には、物体上の各ホイールの位置を示し、特定の物体の動きを生成するために、各ホイールの相対速度及び／又は向きを制御するために使用される。

物体及び／又はホイール構成は、例えば、ホイールが物体に取り付けられるセットアッププロセス中など、事前に定義することも、例えば物体の範囲が成り立つように視体積交差分析を使用したり、ホイール上のＡｐｒｉｌタグなどのコード化識別子を使用したりして検出することもでき、それによりホイールの識別及び位置付けを行うことができる。

ステップ１１３５では、サーバ４１０は、物体のルート及び／又は目的地を定義するルーティングデータを決定する。この場合にもやはり、このルーティングデータは、典型的には、例えばセットアッププロセス中など、事前に定義して、必要に応じて取得することも、例えばクライアントデバイス４３０を使用してオペレータ又は他の個人によって手動で入力することもできる。

物体及び／又はホイール構成並びにルーティングデータは、最初に環境内で物体が検出される際など、一度決定するのみでよく、関連情報は、後続の制御ループにおいて制御命令を生成できるように環境モデルにおいて物体と関連付けられることが理解されるであろう。

物体又はホイール構成が決定されなかった場合、これらの物体又はホイール構成を検出できることも理解されるであろう。例えば、基本的な物体及び／又はホイール構成は、画像分析を通して生成することができ、視体積交差分析を使用して物体の基本的な形状及び／又はホイール位置を導き出すことができる。互いに対するホイール位置は、Ａｐｒｉｌタグ又は同様のものなど、基準マークを有するコード化データを使用して決定することもできる。加えて、ホイール構成データは、モジュラーホイールの１つ又は複数を選択的に制御し、物体及び／又はホイールの結果として得られる動きをモニタし、このフィードバックを使用してホイールの相対的な姿勢を導き出し、従ってホイール構成を生成することによって導き出すことができる。

状況認識モニタリングが実施されると想定すると、ステップ１１４０では、他の物体の動きの決定及び追跡が行われる。物体の動き及び／又は静的物体の場所が分かった時点で、ステップ１１４５において、動き又は場所が状況認識規則と比較され、状況認識事象（規則違反など）を識別することができる。ステップ１１５０では、この情報を使用して、警告若しくは通知の生成、ＡＧＶの制御又は同様のものなどの必要な措置を実行する。

これに続いて又はそうでなければステップ１１５５において、サーバ４１０は、可動物体のルートを計算する。この点に関して、ルートは、典型的には、ルーティングデータに従って生成されるが、任意に他の物体の場所及び／又は動き並びに物体の範囲及び物体構成の任意の他の関連パラメータを考慮することができ、それにより他の物体を回避するように物体を移動させることができる。

最後に、ステップ１１６０では、サーバ４１０は、物体と関連付けられたモジュラーホイールの各々に送信される制御命令を計算する。このステップは、ホイール構成に基づいて実行され、その結果、サーバ４１０は、それぞれのルートを実装するために、各モジュラーホイールの必要なホイール回転及び／又は向きを計算することができる。次いで、制御命令は、各ホイールコントローラ４５４に提供され、それにより計算されたルートを物体が辿るように相応にホイールを移動させることができる。

上記で言及したように、上記で説明される手法は、典型的には、較正プロセスに依拠し、較正プロセスは、撮像デバイス特性を決定するために内部的に、且つ環境内の撮像デバイスの位置を考慮するために外部的に撮像デバイス４２０を較正することを伴う。ここで、図１２を参照してそのような較正プロセスの例について説明する。

この例では、ステップ１２００において、撮像デバイスを使用してパターンの画像が捕捉される。パターンは、典型的には、既定の公知の形態であり、ドットパターン、Ａｐｒｉｌタグなどの機械可読コード化データ又は同様のものを含み得る。パターンの画像は、典型的には、様々な異なる角度から捕捉される。

ステップ１２１０では、捕捉画像と、公知のパターンの意図される外観を表す参照画像とを比較することによって画像が分析され、比較結果を使用して、特定の撮像デバイスの特性から生じるいかなる歪み又は他の視覚効果も決定することができる。ステップ１２２０では、この比較結果を使用して、撮像デバイスに対する内部較正データが導き出され、次いで、そのデータは、較正データの一部として格納され、それぞれの撮像デバイスによって捕捉された画像を補正して補正画像を生成するために使用することができる。

ステップ１２００～１２２０は、使用される個々の撮像デバイスの各々に対して繰り返され、その場で又は撮像デバイスを配置する前に実行できることが理解されるであろう。

ステップ１２３０では、この動作が依然として実行されていないと想定すると、カメラ及び１つ又は複数のターゲットが環境内に位置決めされる。ターゲットは、任意の適切な形態であり得、ドット、Ａｐｒｉｌタグなどの基準マーク又は同様のものを含み得る。

ステップ１２４０では、ターゲットの画像が撮像デバイス４２０によって捕捉され、画像は、サーバ４１０に提供され、ステップ１２５０において分析される。分析は、異なる撮像デバイス４２０によって異なる角度から捕捉されているターゲットを識別するために実行され、それにより撮像デバイス４２０の相対的な位置を決定することができる。このプロセスは、例えば、異なる画像における共通のターゲットをユーザに強調させ、三角測量を使用して、画像を捕捉した撮像デバイスの場所を計算できるようにすることにより、手動で実行することができる。代わりに、このプロセスは、少なくとも部分的に画像処理技法を使用して実行することができ、例えば環境全体を通して位置決めされた異なるターゲットを認識し、次いでこの場合にもやはり三角測量を使用してカメラ位置を導き出すことによって実行することができる。このプロセスは、カメラのおよその場所をユーザに識別させることによって（例えば、環境モデル内でこれらの場所を指定することによって）補助することもできる。

ステップ１２６０では、撮像デバイスの相対的な位置決めを示す外部較正データが較正データの一部として格納される。

ここで、図１３Ａ～１３Ｃを参照して、状況モニタリングを実行するためのプロセスの例についてさらに詳細に説明する。

この例では、ステップ１３００において、撮像デバイス４１０によって画像ストリームが捕捉され、ステップ１３０２において、これらの画像ストリームがサーバ４１０にアップロードされる。ステップ１３００及び１３０２は、実質的に連続的に繰り返され、その結果、画像ストリームは、実質的にリアルタイムでサーバ４１０に提示される。

ステップ１３０４では、サーバ４１０によって画像ストリームが受信され、サーバは、ステップ１３０６において、画像ストリームの各画像に対して画像捕捉時刻を識別するように動作し、このステップは、典型的には、タイムスタンプに基づいて行われ、タイムスタンプは、各画像と関連付けられ、それぞれの撮像デバイス４２０によって提供される。次いで、ステップ１３０８では、任意にこの時刻の有効性確認が行われ、このステップは、例えば、予期される送信遅延を考慮して、タイムスタンプされた捕捉時刻と、サーバ４１０による画像の受信の時刻との比較をサーバ４１０に行わせ、時刻が既定の許容誤差内であることを保証することによって行われる。時刻の有効性が確認できない場合、誤差が生じ得、その結果、問題を調査させることができる。

有効性が確認できた場合、サーバ４１０は、ステップ１３１０において、連続した画像を分析し、ステップ１３１２において、画像から静的領域を減算するように動作する。このステップは、各画像内の移動コンポーネントを識別するために使用され、そのコンポーネントは、環境内で移動している物体に対応すると考えられる。

ステップ１３１４では、実質的に同時に捕捉された異なる画像ストリームからの画像を識別することにより、同期重複画像が識別され、その画像は、異なる視点から捕捉された物体を含む。重複画像の識別は、外部較正データを使用して実行することができ、それにより重複する視野を有するカメラを識別することができる。重複画像の識別は、異なる画像における同じ物体を識別するために、物体を含む画像の分析も伴い得る。この分析では、画像内のＡｐｒｉｌタグなどの機械可読コード化データの存在を調べることも、認識技法を使用して物体の特性（物体の色、サイズ、形状又は同様のものなど）を識別することもできる。

ステップ１３１６では、画像が分析され、ステップ１３１８では、物体の場所が識別される。このステップは、コード化基準マークを使用して実行するか、又はそのようなマークが利用可能でない場合、視体積交差分析を実行することによって実行することができる。分析を実行するため、外部及び内部較正データを考慮して、撮像デバイスの特性（画像歪みなど）に対して画像を補正し、次いで視体積交差分析を実行する事例では、それぞれの撮像デバイスの相対的な位置についての知識をさらに利用して物体の場所及び／又は大まかな形状を解釈しなければならないことが理解されるであろう。

物体の場所を決定することにより、ステップ１３２０では、サーバ４１０は、物体アイデンティティを決定するように動作する。この点に関して、物体が識別される方法は、物体の性質及び識別データに応じて異なり、ここで、図１４を参照して識別プロセスの例についてさらに詳細に説明する。

この例では、ステップ１４００において、サーバ４１０は、画像処理技法を使用して物体の１つ又は複数の画像を分析し、ステップ１４０５において、画像がＡｐｒｉｌタグなどの視覚的にコード化されたデータを含むかどうか確認する。サーバがＡｐｒｉｌタグ又は他の視覚的にコード化されたデータを識別した場合、ステップ１４１０において、物体と関連付けられた識別子を決定するためにこのデータが分析される。識別子と物体との関連性は、典型的には、コード化データが最初に物体に割り当てられた際（例えば、Ａｐｒｉｌタグが物体に取り付けられるセットアッププロセス中）、データベースに物体データとして格納される。それに従って、ステップ１４１５において、機械可読コード化データから識別子を復号することにより、格納された物体データから物体のアイデンティティを取得することができ、それにより物体を識別することができる。

視覚的にコード化されたデータが存在しない場合、サーバ４１０は、ステップ１４２０において、物体がリーダ（Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＲＦＩＤタグリーダ）と同じ場所に存在しているかどうか判断する。同じ場所に存在している場合、ステップ１４２５において、タグリーダへのクエリが行われ、物体と関連付けられたタグからタグ付きデータが検出されているかどうか確認される。タグ付きデータが検出されている場合、ステップ１４１０において、タグデータを分析して識別子を決定することができ、ステップ１４１５において、この識別子を使用して、上記で説明されるものと同様の方法で格納された物体データを使用して物体を識別することができる。

上記で説明される技法は、ホイールがそれぞれの識別子及び／又はタグと関連付けられる場合、個々のホイールを識別するためにも使用できることが理解されるであろう。

タグデータが検出されない場合又は物体がリーダと同じ場所に存在していない場合、ステップ１４３５において、画像認識技法を使用して視覚分析を実行することができ、ステップ１４４０において、物体の識別を試みることができる。この視覚分析は、人物などの物体のタイプを識別するのに十分であるのみであり、同じタイプの物体間の区別ができない可能性があることが理解されるであろう。加えて、いくつかの状況では、この視覚分析は、物体の識別ができない場合があり、その事例では物体に未知のアイデンティティが割り当てられる可能性がある。

ステップ１３２２では、サーバ４１０は、既存の環境モデルにアクセスし、ステップ１３２４では、検出された物体が新しい物体であるかどうか評価する。例えば、新しい識別子が検出された場合、これは、新しい物体であることを示すことになる。代わりに、識別子がない物体の場合、サーバ４１０は、物体がモデル内で既存の物体に近接しているかどうかを評価することができ、これは、その物体が、移動した既存の物体であることを意味する。この点に関して、以前に説明されるように、物体は画像間の動きに基づいて識別されるため、長時間動かないままの物体は、検出がどのように実行されるかに応じて、画像内で検出できない場合があることに留意されたい。しかし、静的物体は、その判明している最後の場所に基づいて環境モデルに存在したままであり、その結果、物体が再び動き始め、画像内に位置する際、この物体は、物体の同時存在場所に基づいて環境モデル内の静的物体と一致するが、物体がどのように検出されるかに応じて、これは、不要であり得ることが理解されるであろう。

物体が新しい物体であると決定された場合、ステップ１３２６において、物体が環境モデルに追加される。物体が新しい物体ではない場合、例えば移動した既存の物体を表す場合、ステップ１３２８において、物体の場所及び／又は動きを更新することができる。

いずれの事例でも、ステップ１３３０において、将来の物体の動きを予測するために物体の動きを外挿することができる。従って、これにより、過去の動きパターンにおける傾向が調べられ、この過去の動きパターンを使用して短時間にわたって起こり得る将来の動きが予測され、それにより、サーバ４１０は、物体がしばらくしてどこに位置するかを予測することができる。以前に述べたように、このステップは、物体若しくは同様のタイプの物体の以前の動き又は定義された意図される移動経路などの他の情報を考慮して、機械学習技法又は同様のものを使用して実行することができる。

ステップ１３３２では、サーバ４１０は、それぞれの物体アイデンティティを使用して環境モデルで各物体と関連付けられた規則を取得する。規則は、典型的には、それぞれの物体に対して起こり得る様々な状況認識事象を指定するものであり、許容及び／又は拒否される動きの詳細を含み得る。これらの規則は、絶対的なものであり得、例えばＡＧＶの動きを事前にプログラムされた移動経路と比較して、物体の移動が移動経路から離れ過ぎていないかを確認することも、個人の動きを比較して、個人が許容ゾーン内に位置するか又は拒否ゾーン外に位置するかを確かめることもできる。状況認識規則は、相対的基準を定義することもでき、２つの物体が互いから一定の距離内に位置するかどうか、又は交差する予測移動経路を辿っているかどうかなどが挙げられる。

以前に述べたように、規則は、典型的には、特定の環境及び環境内の物体の要件の理解に基づいて定義される。規則は、典型的には、特定の物体若しくは物体タイプに対して又は複数の物体に対して定義され、その結果、異なる物体に対して状況認識を評価するために異なる規則を使用することができる。状況認識規則は、典型的には、特定の物体識別子又は指定された物体タイプの形態において、規則データとして関連物体アイデンティティと共に格納され、それぞれの規則は、環境内の検出された物体の各々に対して取得することができる。

ステップ１３３４では、規則は、各物体と関連付けられた物体の場所、動き又は予測される動きに適用され、ステップ１３３６では、規則に違反しているかどうかが判断され、従って事象が起こっていると判断される。

ステップ１３３６において規則に違反していると評価された場合、サーバ４１０は、ステップ１３３８において、規則データから措置を取得することによって必要なあらゆる措置を決定し、ステップ１３４０において措置を開始できるようにする。この点に関して、関連措置は、典型的には、規則の一部として指定され、異なる物体及び異なる状況認識事象と関連付けて異なる措置を定義することができる。これにより、特定の事象に適するように様々な措置を定義することができ、この措置は、これらに限定されないが、事象の記録、警告若しくは通知の生成又は自律走行若しくは半自律走行車両の制御を含み得る。

一例では、携帯電話などのクライアントデバイス４３０は、警告を表示するために使用することができ、その結果、環境内の関連する個人に警告を放送することができる。この警告は、利用可能なあらゆるクライアントデバイス４３０に通知をプッシュ配信することを含むことも、特定のユーザと関連付けられた特定のクライアントデバイス４３０に通知を差し向けることを含むこともできる。例えば、車両に関与する事象が起こった場合、通知は、車両オペレータ及び／又は管理者に提供することができる。さらなる例では、クライアントデバイス４３０は、ディスプレイ又は他の出力デバイス（可聴及び／又は視覚警告を生成するように構成されたビーコンなど）を含み得、環境内の定義された特定の場所に提供することも、ＡＧＶなどの物体と関連付けることもできる。この例では、ＡＧＶ又は他の物体との衝突が差し迫っている場合、物体上のビーコンを起動して、潜在的な衝突について個人に警告することができ、それにより衝突を回避することができる。

さらなる例では、クライアントデバイス４３０は、自律走行又は半自律走行車両などの物体の制御システムの一部を形成するか又は物体の制御システムに結合することができ、それにより、サーバ４１０は、物体を制御するように（例えば、状況認識事象が軽減されるまで物体の動きを停止するように）クライアントデバイス４３０に指示することができる。

上記から、クライアントデバイス４３０は、それぞれの物体と関連付けることも、環境内に位置決めすることもでき、これは、セットアッププロセスの一部として定義されることが理解されるであろう。例えば、物体と関連付けられたクライアントデバイス４３０は、物体データにおいて識別することができ、その結果、それぞれの物体と関連付けて措置が実行される際、物体データを使用して、関連付けられたクライアントデバイスの詳細を取得することができ、それによりそれぞれのクライアントデバイスに通知をプッシュすることができる。同様に、静的クライアントデバイスの詳細は、環境モデルの一部として格納することができ、その詳細は、必要に応じて同様の方法で取得することができる。

いかなる事象でも、措置が開始されたか又はそれ以外の場合、プロセスは、ステップ１３０４に戻り、モニタリングを継続することができる。

上記で説明される例は、状況認識モニタリングに焦点を置いているが、可動物体の制御と併せて実行することができ、具体的には、この例ではルーティングデータ並びに物体の動き及び場所に関する情報を使用して、モジュラーホイールを制御することができ、従って物体の動きを制御できることが理解されるであろう。

上記で説明されるように状況認識モニタリングを実行すること及び措置を実行することに加えて、サーバ４１０は、環境モデルの維持も行い、グラフィック表現によってこのモデルを見ることができるようにもする。この動作は、クライアントデバイス４３０を介して達成することができ、それにより、例えば、管理者又は他の個人は、環境内の活動の概要を維持することができ、状況認識事象が生じた際にそれらを潜在的に見ることもできる。ここで、図１５を参照して環境モデルのグラフィック表現の例についてさらに詳細に説明する。

この例では、グラフィック表現１５００は、建物又は同様のものの内部計画などの環境Ｅを含む。建物のグラフィック表現は、建物計画に基づいて及び／又は環境のスキャン若しくは撮像によって導き出せることが理解されるであろう。モデルは、撮像デバイス４２０の場所を表すアイコン１５２０と、物体の場所を表すアイコン１５０１、１５０２、１５０３及び１５０４と、クライアントデバイス４３０（可聴及び／又は視覚警告を生成する際に使用されるビーコンなど）の場所を表すアイコン１５３０とを含む。

撮像デバイス４２０の位置決めは、上記で説明される較正プロセスの一部として実行することができ、アイコンを手動でおよその場所に位置決めすることをユーザに行わせることを伴い得、位置決めは、較正が実行されるにつれて改善することができる。同様に、静的クライアントデバイス４２０の事例において及び／又はクライアントデバイス４２０を物体と関連付けることにより、クライアントデバイスの位置決めも手動で実行することができ、その結果、環境内で物体が検出されると、クライアントデバイスの場所がモデルに追加される。

この例では、表現は、物体と関連付けられた追加の詳細も表示する。この事例では、物体１５０１は、長方形の形状であり、その形状は、物体タイプ（ＡＧＶなど）を示すために使用することができ、そのアイコンは、実際の物理的なＡＧＶのフットプリントと同様のサイズを有する。物体１５０１には、関連付けられた識別子ＩＤ１５０１が示されており、その識別子は、物体の検出されたアイデンティティに対応する。この例では、物体は、関連付けられた事前にプログラムされた移動経路１５０１．１を有し、その移動経路１５０１．１は、ＡＧＶが辿る予定の経路であり、クライアントデバイスアイコン１５３０．１は、物体１５０１と関連付けて示されており、クライアントデバイスがＡＧＶ上に提供されていることを示す。

この例では、物体１５０２は、人物であり、従って物体１５０１と異なる形状（円形など）で示されており、この場合にもやはり人物のものと同様のフットプリントを有する。物体は、関連付けられた物体識別子ＩＤＰｅｒ２を有し、この物体識別子ＩＤＰｅｒ２により、これが人物であることを示し、数字を使用して異なる人間を区別している。物体１５０２は、移動経路１５０２．２を有し、環境内の物体１５０２の過去の動きを表している。

物体１５０３も人物であり、物体識別子ＩＤＰｅｒ３を含み、物体１５０２と区別される。この例では、物体は、静的であり、結果として点線で示されている。

物体１５０４は、第２のＡＧＶであり、この例ではＩＤ？？？によって表される未知の識別子を有する。ＡＧＶ １５０４は、過去の移動経路１５０４．２及び予測される移動経路１００４．３を有する。この例では、予測される移動経路がＡＧＶ １５０１の既定の経路１５０１．１と交差し、領域１５０４．４において交差が起こり得ることが予想され、潜在的な問題として強調されていることに留意されたい。

最後に、拒否領域１５０５が定義されており、その領域への物体の進入が許可されておらず、アイコン１５３０．５によって示されるように、関連付けられたクライアントデバイス４３０が提供されており、それにより物体が拒否領域に接近した場合に警告を生成することができる。

上記で説明されるように、画像領域は、画像領域が環境の静的部分のものであるか又は環境の動きを含む部分のものであるかを評価するために分類され、次にそれを使用して物体を識別することができる。ここで、図１６を参照して、画像領域を分類するためのプロセスの例についてさらに詳細に説明する。

ステップ１６００では、画像領域が識別される。画像領域は、セグメンテーショングリッド若しくは同様のものに基づいて各画像をセグメント化することにより又は前の画像における動きの検出に基づいて任意に定義することができる。画像領域が識別された時点において、サーバは、任意に、ステップ１６１０で過去の画像領域を評価し、その評価は、画像領域が非静的なものとして最近評価されたかどうかを識別するために実行することができ、それは、次に、最近動きを止めた物体を識別する上で役立つ。

ステップ１６２０では、視覚効果を識別することができる。視覚効果は、視覚効果の性質及び好ましい実装形態に応じて任意の適切な方法で識別することができる。例えば、このステップは、背景又は周囲の照明の変化を識別するために照明センサからの信号を分析することを伴い得る。代わりに、このステップは、環境内の視覚効果場所に関する情報を取得することを伴い得、視覚効果場所は、例えば、環境内のスクリーン又はディスプレイの場所を指定することにより、較正プロセス中に定義することができる。このステップは、例えば、特定の照明源などの視覚効果に対応するものとして知られているスペクトル応答を含む画像の部分を識別することなど、視覚効果を識別するために画像を分析することも伴い得る。このプロセスは、視覚効果を説明するため及びこれらの視覚効果を誤って移動物体と識別しないことを保証するために実行される。

ステップ１６３０では、分類閾値が設定され、分類閾値は、画像領域が静的であるか又は非静的であるかを評価するために使用される。分類閾値は、デフォルト値であり得、その値は、次いで、必要に応じて画像領域履歴及び／又は識別された視覚効果に基づいて修正される。例えば、画像領域が非静的なものとして以前に又は最近分類されたことを個々の領域履歴が示す場合、物体が最近動きを止めた場合に画像領域が静的なものとして分類される可能性を低減するために、分類閾値をデフォルトレベルから引き上げることができる。これにより、事実上、それぞれの画像領域の変化を評価するための学習時間が増加し、一時的に静止した物体を追跡する上で役立つ。同様に、視覚効果が領域内に存在する場合、画像領域が誤分類される可能性を低減するために、脅威分類閾値を修正することができる。

分類閾値が決定された時点で、ステップ１６４０において、その画像領域の変化が分析される。このステップは、典型的には、画像ストリームの複数の画像にわたって同じ画像領域を比較することによって実行される。複数の画像は、連続した画像であり得るが、これは、必須ではなく、時間的に離隔された任意の画像を評価することができる。これに続いて、ステップ１６５０では、画像領域の変化が閾値と比較され、ステップ１６６０では、比較結果を使用して画像領域が分類され、例えば移動度が分類閾値を下回る場合、領域は、静的なものとして分類される。

以前に説明されたように、物体が撮像デバイスの視界から少なくとも部分的に遮られるというオクルージョンが発生し得、ここで、図１７を参照してオクルージョン検出及び軽減のためのプロセスの例について説明する。

この例では、ステップ１７００において、複数の重複画像において対応する画像領域が識別される。この点に関して、対応する画像領域は、１つ又は複数のボクセルなどの環境内の共通のボリュームのビューである複数の重複画像からの画像領域である。ステップ１７１０では、例えば、視体積交差技法を使用して１つ又は複数の候補物体が識別される。

ステップ１７２０では、任意の候補物体が三次元モデル（図１０に関して上記で説明されるものと同様のモデル）に追加される。ステップ１７３０では、候補物体の画像を捕捉した撮像デバイスの像面に候補物体が逆投影される。このステップは、候補物体が重複しているかどうか、従ってオクルージョンが発生した可能性があるかどうかを確認するために実行される。

ステップ１７４０において潜在的なオクルージョンが識別された時点で、サーバは、この情報を使用して、候補物体の有効性確認を行うことができる。例えば、候補物体がオクルージョンに当てはまらない場合、これらの候補物体は、検出物体として受け入れることができる。逆に、オクルージョンが検出された場合、オクルージョンを考慮して、視体積交差プロセスを繰り返すことができる。この動作は、視体積交差プロセスからオクルージョンを含む画像領域を取り除くか、又はより典型的にはオクルージョンの存在を考慮することによって（例えば、以下でさらに詳細に説明されるような重み付けプロセス又は同様のものを使用して）達成することができる。

ここで、図１８を参照して、物体識別のための重み付けプロセスの例について説明する。

この例では、ステップ１８００において、ステップ１２００に関して説明されるものと同様の方法で対応する画像領域が識別される。

ステップ１８１０では、各画像領域が評価され、評価は、物体の検出が正確である可能性を確認するために使用される。この点に関して、物体の検出の成功は、画像解像度若しくは歪みなどの画質、カメラ距離及び角度などのカメラジオメトリ、画像領域が以前に静的であったか若しくは非静的であったかなどの画像領域履歴、オクルージョン若しくは視覚効果の有無、重複画像の捕捉時刻の差などの収集データ間の非同時性又は同様のものを含む様々な因子による影響を受けることが理解されるであろう。

それに従って、このプロセスは、各因子に基づいて値を割り当てることにより、これらの因子を考慮する試みを行い、ステップ１８２０では、この値を使用して画像領域スコアを決定する。例えば、各因子に対する値は、典型的には、因子が物体検出の成功に良い影響を与えるか又は悪い影響を与えるかを表し、従って、オクルージョンが存在する場合、－１の値を使用することができる一方、オクルージョンが存在しない場合、＋１の値を使用することができ、それによりオクルージョンが存在する場合よりも物体検出が正しい可能性が高いことを示すことができる。

計算された時点で、物体の識別において画像領域スコアを使用することができる。

一例では、ステップ１８３０において、画像領域スコアを重みとして使用して、視体積交差プロセスが実行される。従って、この例では、低い画像領域スコアを有する画像領域（物体が正確に撮像された可能性が低い）には、視体積交差プロセスにおいて低い重み付けが与えられる。結果的に、この画像領域が物体検出プロセスに与える影響は少なく、従って、プロセスは、より高い画像領域源を有する画像領域の方に大きく偏る。加えて及び／又は代わりに、ステップ１８４０では、対応する画像領域の各々の画像領域スコアを組み合わせることにより、集成物体スコアを計算することができ、ステップ１８５０では、結果として得られた値が閾値と比較され、ステップ１８６０では、この比較結果を使用して、物体の識別に成功したかどうかが評価される。

それに従って、上記で説明されるシステムは、環境内の物体の動きを追跡するように動作し、その追跡は、低価格のセンサを使用して達成できることが理解されるであろう。物体の動き及び／又は場所は、規則違反を識別するために、定義された状況認識規則と比較することができ、それにより、次に事故又は他のコンプライアンス事象の発生を防ぐために、違反の通知及び／又はＡＧＶの制御などの措置を講じることができる。

本明細書及び以下の特許請求の範囲全体を通して、文脈上必要でない限り、「含む（ｃｏｍｐｒｉｓｅ）」という単語及びその変形形態（「含む（ｃｏｍｐｒｉｓｅｓ）」又は「含んでいる」など）は、記述される整数若しくは整数群又はステップを含むことを含意するが、他の整数又は整数群を除外することを含意しないことが理解されるであろう。本明細書で使用される場合、別段の明記がない限り、「およそ」という用語は、±２０％を意味する。

当業者であれば、多くの変形形態及び変更形態が明らかになることが理解されるであろう。当業者に明らかであるそのような変形形態及び変更形態のすべては、説明される前に本発明が広く現れる趣旨及び範囲内にあるものと見なすべきである。

Claims (50)

1. 環境内の物体を移動させるためのシステムであって、
   ａ）前記物体を移動させるように構成された少なくとも１つのモジュラーホイールであって、
   ｉ）前記物体に取り付けられるように構成された本体、
   ｉｉ）ホイール、
   ｉｉｉ）前記ホイールを回転させるように構成された駆動部、及び
   ｉｖ）前記駆動部を制御するように構成されたコントローラ
   を含む少なくとも１つのモジュラーホイールと、
   ｂ）１つ又は複数の処理デバイスと
   を含み、前記１つ又は複数の処理デバイスは、
   ｉ）前記環境内の前記物体の画像を捕捉するように構成される複数の撮像デバイスの各々から、複数の捕捉画像を含む画像ストリームを受信することと、
   ｉｉ）前記環境内の物体の場所を決定するために前記画像を分析することと、
   ｉｉｉ）少なくとも部分的に、前記決定された物体の場所を使用して、制御命令を生成することと、
   ｉｖ）前記制御命令を前記コントローラであって、前記制御命令に応答して、前記駆動部を制御し、且つそれにより前記物体を移動させる前記コントローラに提供すること、
   を行うように構成される、システム。
2. 前記物体に装着される１つ又は複数のパッシブホイールを含む、請求項１に記載のシステム。
3. 前記少なくとも１つのモジュラーホイールは、前記ホイールの向きを調整するように構成されたステアリング駆動部を含み、前記コントローラは、前記ステアリング駆動部を制御して、それにより前記ホイールの向きを変更するように構成される、請求項１又は２に記載のシステム。
4. 前記少なくとも１つのモジュラーホイールは、前記１つ又は複数の処理デバイスと無線通信するように構成されたトランシーバを含む、請求項１～３のいずれか一項に記載のシステム。
5. 前記少なくとも１つのモジュラーホイールは、
   ａ）前記駆動部、
   ｂ）前記コントローラ、
   ｃ）トランシーバ、及び
   ｄ）ステアリング駆動部
   の少なくとも１つに給電するように構成された電源を含む、請求項１～４のいずれか一項に記載のシステム。
6. 前記制御命令は、
   ａ）各ホイールのためのホイール向き、及び
   ｂ）各ホイールのための回転レート
   の少なくとも１つを含む、請求項１～５のいずれか一項に記載のシステム。
7. 複数のモジュラーホイールを含む、請求項１～６のいずれか一項に記載のシステム。
8. 前記１つ又は複数の処理デバイスは、それぞれの制御命令を各コントローラに提供して、それにより各モジュラーホイールを独立して制御するように構成される、請求項７に記載のシステム。
9. 前記１つ又は複数の処理デバイスは、制御命令を前記コントローラに提供するように構成され、前記コントローラは、各モジュラーホイールを独立して制御するために通信する、請求項７に記載のシステム。
10. 前記制御命令は、前記物体のための移動の方向及びレートを含み、前記コントローラは、前記制御命令を使用して、
    ａ）各ホイールのためのホイール向き、及び
    ｂ）各ホイールのための回転レート
    の少なくとも１つを決定する、請求項９に記載のシステム。
11. ａ）複数のモジュラーホイールを差動回転させること、及び
    ｂ）１つ又は複数のモジュラーホイールの向きを変更すること
    の少なくとも１つにより、車両をステアリング操作するように構成される、請求項１～１０のいずれか一項に記載のシステム。
12. 前記１つ又は複数の処理デバイスは、
    ａ）物体構成を決定することと、
    ｂ）少なくとも部分的に前記物体の範囲に従って前記制御命令を生成することと
    を行うように構成される、請求項１～１１のいずれか一項に記載のシステム。
13. 前記物体構成は、
    ａ）前記物体の物理的な範囲、及び
    ｂ）前記物体と関連付けられた動きパラメータ
    の少なくとも１つを示す、請求項１２に記載のシステム。
14. 前記１つ又は複数の処理デバイスは、
    ａ）前記物体に対する各ホイールの位置を示すホイール構成を決定することと、
    ｂ）少なくとも部分的に前記ホイール構成に従って前記制御命令を生成することと
    を行うように構成される、請求項１～１３のいずれか一項に記載のシステム。
15. 前記少なくとも１つのモジュラーホイールは、それぞれ前記物体に既知の場所において取り付けられる、請求項１～１４のいずれか一項に記載のシステム。
16. 前記物体は、プラットフォームを含み、前記少なくとも１つのモジュラーホイールは、前記プラットフォームに取り付けられる、請求項１～１５のいずれか一項に記載のシステム。
17. 前記物体は、前記プラットフォームによって支持されるアイテムを含む、請求項１～１６のいずれか一項に記載のシステム。
18. 前記１つ又は複数の処理デバイスは、
    ａ）アイデンティティであって、
    ｉ）各モジュラーホイール、及び
    ｉｉ）前記物体
    の少なくとも１つのアイデンティティを決定することと、
    ｂ）前記アイデンティティに従って制御命令を生成することと
    を行うように構成される、請求項１～１７のいずれか一項に記載のシステム。
19. 前記１つ又は複数の処理デバイスは、少なくとも部分的にネットワーク識別子を使用して前記アイデンティティを決定するように構成される、請求項１８に記載のシステム。
20. 前記１つ又は複数の処理デバイスは、機械可読コード化データを使用して前記アイデンティティを決定するように構成される、請求項１８又は１９に記載のシステム。
21. 前記機械可読コード化データは、可視データであり、前記１つ又は複数の処理デバイスは、前記機械可読コード化データを検出するために前記画像を分析するように構成される、請求項２０に記載のシステム。
22. 前記機械可読コード化データは、タグ上で符号化され、前記１つ又は複数の処理デバイスは、タグリーダから、前記機械可読コード化データを示す信号を受信するように構成される、請求項２０又は２１に記載のシステム。
23. 前記タグは、
    ａ）短距離無線通信プロトコルタグ、
    ｂ）ＲＦＩＤタグ、及び
    ｃ）Ｂｌｕｅｔｏｏｔｈ（登録商標）タグ
    の少なくとも１つである、請求項２２に記載のシステム。
24. 前記１つ又は複数の処理デバイスは、
    ａ）ルーティングデータであって、
    ｉ）移動経路、及び
    ｉｉ）目的地
    の少なくとも１つを示すルーティングデータを決定することと、
    ｂ）前記ルーティングデータ及び前記物体の場所に従って制御命令を生成することと
    を行うように構成される、請求項１～２３のいずれか一項に記載のシステム。
25. 前記ルーティングデータは、
    ａ）許容される物体移動経路、
    ｂ）許容される物体の動き、
    ｃ）種々の物体のための許容される近接限度、
    ｄ）物体のための許容ゾーン、
    ｅ）物体のための拒否ゾーン
    の少なくとも１つを示す、請求項２４に記載のシステム。
26. 前記１つ又は複数の処理デバイスは、
    ａ）アイデンティティであって、
    ｉ）前記物体、及び
    ｉｉ）前記物体に取り付けられた少なくとも１つのモジュラーホイール
    の少なくとも１つのためのアイデンティティを決定することと、
    ｂ）少なくとも部分的に前記物体アイデンティティを使用して前記ルーティングデータを決定することと
    を行うように構成される、請求項２４又は２５に記載のシステム。
27. 前記１つ又は複数の処理デバイスは、
    ａ）較正制御命令を生成することと、
    ｂ）前記較正制御命令に応答して、前記物体及び前記少なくとも１つのモジュラーホイールの少なくとも１つの動きをモニタすることと、
    ｃ）前記モニタリングの結果を使用して制御命令を生成することと
    を行うように構成される、請求項１～２６のいずれか一項に記載のシステム。
28. 前記複数の撮像デバイスは、
    ａ）前記環境内で固定場所に位置決めされるもの、及び
    ｂ）前記環境に対して静的であるもの
    の少なくとも１つである、請求項１～２７のいずれか一項に記載のシステム。
29. 前記複数の撮像デバイスの少なくともいくつかは、少なくとも部分的に重複する視野を有するように前記環境内に位置決めされ、前記１つ又は複数の処理デバイスは、
    ａ）前記異なる画像ストリームにおける重複画像であって、重複する視野を有する撮像デバイスによって捕捉された画像である重複画像を識別することと、
    ｂ）前記環境内の物体の場所を決定するために前記重複画像を分析することと
    を行うように構成される、請求項１～２８のいずれか一項に記載のシステム。
30. 前記複数の撮像デバイスの少なくともいくつかは、少なくとも部分的に重複する視野を有するように前記環境内に位置決めされ、前記１つ又は複数の処理デバイスは、
    ａ）前記環境内の物体の動きを決定するために経時的な前記物体の場所の変化を分析することと、
    ｂ）前記物体の動きを状況認識規則と比較することと、
    ｃ）前記比較の結果を使用して状況認識事象を識別することと
    を行うように構成される、請求項１～２９のいずれか一項に記載のシステム。
31. 前記重複画像は、ほぼ同じ時刻に捕捉された同期重複画像である、請求項２９又は３０に記載のシステム。
32. 前記１つ又は複数の処理デバイスは、
    ａ）各捕捉画像の捕捉時刻を決定することと、
    ｂ）前記捕捉時刻を使用して同期画像を識別することと
    を行うように構成される、請求項３１に記載のシステム。
33. 前記１つ又は複数の処理デバイスは、
    ａ）前記撮像デバイスによって生成された捕捉時刻、
    ｂ）各画像と関連付けられた受信時刻であって、前記１つ又は複数の処理デバイスによる受信の時刻を示す受信時刻、及び
    ｃ）前記画像における画像コンテンツの比較
    の少なくとも１つを使用して捕捉時刻を決定するように構成される、請求項３２に記載のシステム。
34. 前記１つ又は複数の処理デバイスは、
    ａ）物体を含む画像である物体画像を識別するために各画像ストリームからの画像を分析することと、
    ｂ）同じ物体を含む物体画像として重複画像を識別することと
    を行うように構成される、請求項１～３３のいずれか一項に記載のシステム。
35. 前記１つ又は複数の処理デバイスは、少なくとも部分的に前記複数の撮像デバイスの位置決めに基づいて重複画像を識別するように構成される、請求項３４に記載のシステム。
36. 前記１つ又は複数の処理デバイスは、
    ａ）静的画像領域を識別するために画像ストリームからのいくつかの画像を分析することと、
    ｂ）非静的画像領域を含む画像として物体画像を識別することと
    を行うように構成される、請求項１～３５のいずれか一項に記載のシステム。
37. 前記画像の少なくとも１つは、バックグラウンド参照画像である、請求項３６に記載のシステム。
38. 前記１つ又は複数の処理デバイスは、
    ａ）視体積交差技法、及び
    ｂ）前記画像における基準マークの検出、及び
    ｃ）複数の三角測量画像における基準マークの検出
    の少なくとも１つを使用して物体の場所を決定するように構成される、請求項１～３７のいずれか一項に記載のシステム。
39. 前記１つ又は複数の処理デバイスは、較正データに従って前記画像を解釈するように構成される、請求項１～３８のいずれか一項に記載のシステム。
40. 前記較正データは、
    ａ）各撮像デバイスの撮像特性を示す内部較正データ、及び
    ｂ）前記環境内の前記複数の撮像デバイスの相対的な位置決めを示す外部較正データ
    の少なくとも１つを含む、請求項３９に記載のシステム。
41. 前記１つ又は複数の処理デバイスは、
    ａ）撮像デバイスを使用して異なる位置から捕捉された定義されたパターンの画像を受信することと、
    ｂ）前記撮像デバイスの画像捕捉特性を示す較正データを生成するために前記画像を分析することと
    により、較正プロセス中に較正データを生成するように構成される、請求項３９又は４０に記載のシステム。
42. 前記１つ又は複数の処理デバイスは、
    ａ）前記環境内のターゲットの捕捉画像を受信することと、
    ｂ）同じターゲットを示す、異なる撮像デバイスによって捕捉された画像を識別するために前記捕捉画像を分析することと、
    ｃ）前記複数の撮像デバイスの相対的な位置及び向きを示す較正データを生成するために、前記識別された画像を分析することと
    により、較正プロセス中に較正データを生成するように構成される、請求項３９～４１のいずれか一項に記載のシステム。
43. 前記１つ又は複数の処理デバイスは、環境モデルを生成するように構成され、前記環境モデルは、
    ａ）前記環境、
    ｂ）前記環境内の撮像デバイスの場所、
    ｃ）現在の物体の場所、
    ｄ）物体の動き、
    ｅ）予測される障害物、
    ｆ）予測される物体の場所、及び
    ｇ）予測される物体の動き
    の少なくとも１つを示す、請求項１～４２のいずれか一項に記載のシステム。
44. 前記１つ又は複数の処理デバイスは、前記環境モデルのグラフィック表現を生成するように構成される、請求項４３に記載のシステム。
45. 前記１つ又は複数の処理デバイスは、
    ａ）前記環境内の物体の動きを決定するために経時的な物体の場所の変化を分析することと、
    ｂ）前記物体の動きを状況認識規則と比較することと、
    ｃ）前記比較の結果を使用して状況認識事象を識別することと
    を行うように構成される、請求項１～４４のいずれか一項に記載のシステム。
46. 状況認識事象の識別に応答して、前記１つ又は複数の処理デバイスは、
    ａ）前記状況認識事象の表示を記録すること、
    ｂ）前記状況認識事象を示す通知を生成すること、
    ｃ）前記状況認識事象を示す出力を出力デバイスに生成させること、
    ｄ）アラームを起動すること、及び
    ｅ）物体の動作を制御させること
    の少なくとも１つを含む措置を実行するように構成される、請求項４５に記載のシステム。
47. 前記１つ又は複数の処理デバイスは、
    ａ）実質的にリアルタイムで前記状況認識事象を識別することと、
    ｂ）実質的にリアルタイムで措置を実行することと
    を行うように構成される、請求項４５又は４６に記載のシステム。
48. 前記複数の撮像デバイスは、
    ａ）セキュリティ撮像デバイス、
    ｂ）単眼撮像デバイス、
    ｃ）非コンピュータビジョンベースの撮像デバイス、及び
    ｄ）関連付けられた内部較正情報を有さない撮像デバイス
    の少なくとも１つである、請求項１～４７のいずれか一項に記載のシステム。
49. 環境内の物体を移動させるための方法であって、
    ａ）前記物体を移動させるように構成された少なくとも１つのモジュラーホイールであって、各々が、
    ｉ）前記物体に取り付けられるように構成された本体、
    ｉｉ）ホイール、
    ｉｉｉ）前記ホイールを回転させるように構成された駆動部、及び
    ｉｖ）前記駆動部を制御するように構成されたコントローラ
    を含む少なくとも１つのモジュラーホイールと、
    ｂ）１つ又は複数の処理デバイスと
    を含むシステムを使用して実行され、前記１つ又は複数の処理デバイスにおいて、
    ｉ）前記環境内の前記物体の画像を捕捉するように構成される複数の撮像デバイスの各々から、複数の捕捉画像を含む画像ストリームを受信することと、
    ｉｉ）前記環境内の物体の場所を決定するために前記画像を分析することと、
    ｉｉｉ）少なくとも部分的に、前記決定された物体の場所を使用して、制御命令を生成することと、
    ｉｖ）前記制御命令を前記コントローラであって、前記制御命令に応答して、前記駆動部を制御し、且つそれにより前記物体を移動させる前記コントローラに提供することと
    を含む方法。
50. 環境内の物体を、
    ａ）前記物体を移動させるように構成された少なくとも１つのモジュラーホイールであって、各々が、
    ｉ）前記物体に取り付けられるように構成された本体、
    ｉｉ）ホイール、
    ｉｉｉ）前記ホイールを回転させるように構成された駆動部、及び
    ｉｖ）前記駆動部を制御するように構成されたコントローラ
    を含む少なくとも１つのモジュラーホイールと、
    ｂ）１つ又は複数の処理デバイスと
    を含むシステムを使用して移動させるためのコンピュータプログラム製品であって、コンピュータ実行可能コードを含み、前記コンピュータ実行可能コードは、前記１つ又は複数の処理デバイスによって実行されると、
    ｉ）前記環境内の前記物体の画像を捕捉するように構成される複数の撮像デバイスの各々から、複数の捕捉画像を含む画像ストリームを受信することと、
    ｉｉ）前記環境内の物体の場所を決定するために前記画像を分析することと、
    ｉｉｉ）少なくとも部分的に、前記決定された物体の場所を使用して、制御命令を生成することと、
    ｉｖ）前記制御命令を前記コントローラであって、前記制御命令に応答して、前記駆動部を制御し、且つそれにより前記物体を移動させる前記コントローラに提供することと
    を前記１つ又は複数の処理デバイスに行わせる、コンピュータプログラム製品。

Images