JP2008507049A - 複数の分散エレメントによる自動探索システム及び方法 - Google Patents

複数の分散エレメントによる自動探索システム及び方法 Download PDF

Info

Publication number
JP2008507049A
JP2008507049A JP2007521706A JP2007521706A JP2008507049A JP 2008507049 A JP2008507049 A JP 2008507049A JP 2007521706 A JP2007521706 A JP 2007521706A JP 2007521706 A JP2007521706 A JP 2007521706A JP 2008507049 A JP2008507049 A JP 2008507049A
Authority
JP
Japan
Prior art keywords
robot
model
particles
search
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007521706A
Other languages
English (en)
Other versions
JP4926958B2 (ja
Inventor
ハワード,マイケル・ディー
ペイトン,デイビッド
ブラッドショウ,ウェンデル
スミス,ティモシー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2008507049A publication Critical patent/JP2008507049A/ja
Application granted granted Critical
Publication of JP4926958B2 publication Critical patent/JP4926958B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

地理的探索タスク及び他の探索タスクを行うエージェントチームの分散型協調制御のためのシステム及び方法。このアプローチは挙動ベースであり、探索問題に確率粒子アプローチを用いる。エージェントは、地理的エリア又はデータ空間における関心物体の存在に関する仮説を表す仮想の確率粒子の形態の確率分布に引き寄せられる。定期的な更新メッセージの合間に他のチームメンバ及び関心物体の移動をモデル化することによって信頼性の高い高帯域幅通信に対する依存が低減される。

Description

本発明は、自動探索を行うシステム及び方法に関する。より具体的には、本発明は、複数の自律的エージェントにより自動地理探索を行うシステム及び方法に関する。
ロボットは、退屈なタスク、汚いタスク、及び危険なタスクにますます用いられるようになっている。多くの多様な用途で、共同任務を行う3機〜20機のロボットから成るチームを、人間による監督を最小限にして制御するシステム及び方法が必要とされている。ロボットチームは、湾を捜索するために水中で用いられ、また研究者たちは、海洋化学の変化を監視するためにロボットを用いている。NASAは、ロボットチームを利用することが可能な任務を検討している。市販のロボットは安価になってきており、研究、探索及び救助、並びに他の用途に用いられるであろう。
この点で、ロボットは通常、中央システムにより制御される。中央プランナ(planner)が通常、特定の協調(coordination)プリミティブを用いて、タスクをどのようにロボット間で割り振るかを確認する。各ロボットは、探索空間において或る状態を有する。各ロボットのロケーションに関するデータが中央プロセッサに伝達され、協調のために分析され、ロボットに返送されなければならない。
この中央集中型アプローチは、帯域幅集約的であるため、簡単にはスケーラブルにはできない。このことがこのアプローチを、より要求の高い現在及び将来の用途に対して制約となっている。
したがって、当該技術分野において、複数のロボットが自律的に、尚且つ協調的に、ロボット間のデータフローを最小限にして動作することを可能にする分散型アプローチが必要とされている。
当該技術分野におけるこの必要性は、データ空間を特定のタイプの目標物/物体について探索する必要があるあらゆる用途に対して効率的な自動分散探索機構を提供する本発明により解決される。最も汎用的な実施態様において、本発明のシステムは、関心物体を検出する検出器と、物体の挙動を予測するモデルと、モデルにより出力されるデータに応答して検出器を物体へ導く機構とを備える。
特定用途において、本発明のシステムは、複数の移動プラットフォーム上に配設される。これらのプラットフォームは、例として、ロボット、無人航空機(UAV)又は移動データ構造であってもよい。最良の形態において、モデルは、一組の粒子の形態の物体又は目標物の確率分布特性を提供するようになっている予測モデルである。粒子を移動させて、物体の挙動を反映させる。物体の他の仮説アイデンティティ又は特性を説明するために複数のモデルが含まれてもよい。物体の挙動及び/又は特性(例えばロケーション)に関する更新が受信されると、それに従って、各移動プラットフォームにおいてモデルが更新される。粒子はクラスタにグループ化され、各ロボットが割り当てられて、それぞれのクラスタの質量中心において探索が開始される。
例示的な実施形態及び典型的な応用形態を、添付図面に関連して以下に説明し、本発明の有益な教示を開示する。
本明細書において、本発明の特定用途のための例示的な実施形態に関して説明するが、本発明はそれらに限定されないことを理解すべきである。本明細書中に提示される教示を利用できる当業者は、本発明の範囲内のさらなる修正形態、応用形態、及び実施形態、並びに本発明が特に役立つであろうさらなる分野を認識するであろう。
本発明の教示によれば、物体が存在する確率が動的な粒子クラスタにより表される。各粒子(メモリ内にのみ存在する)は同じ一定の値を有するため、密な粒子クラスタは、そのエリアに物体が存在する確率が高いことを暗示する。各ロボットは、新たな物体の可能性を通知されると、そのメモリ内の独自のエリアマップ上に粒子分布を作成する。ロボットは、以前に通知されていた物体に関する更新を得ると、その粒子分布を必要に応じて、新たな情報を表すように調節する。粒子はタイプ(種類)を有し、優先順位又は重みも有し得る。
各ロボットは、システムのユーザから、1つ又は複数の既知の又は疑わしい物体に関する確率情報を含む定期的な更新を受信し、その物体を見つけて識別するタスクを受ける。更新は、物体が属し得る、関連する非ゼロの尤度をそれぞれ有する1つ又は複数の考え得るクラスを含んでもよい。例えば、移動物体は、タンク(30%確率)であるか、乗用車(60%)であるか、又はスクールバス(10%)であり得る。クラスが伝達されない場合、ロボットは全ての可能性に等しい尤度を与える。このメッセージを受信する各ロボットは、各可能性を表す確率粒子クラスタを作成する。例えば、その物体がタンクを表す確率が30%である場合、30個のタンククラスの粒子が、その物体が認められたマップ上のロケーションを中心におそらくは擬似ガウス分布でメモリに作成される。同様に、ロボットは、60個の乗用車クラスの粒子及び10個のバスクラスの粒子を同ロケーションに作成する。
その後、定期的に、ロボットは、挙動モデル(例えば複数仮説粒子フィルタ)を実行し、各粒子をそのタイプに応じて、そのタイプの物体が移動するとモデルが予測する方向に、多少ランダムに移動させる。したがって、バス粒子は概ね近隣の学校に向かって移動するかもしれないが、定期的な更新が行われない場合、それらの粒子は住宅又はより遠方の学校に向かって拡散してしまう可能性がある。
本発明によれば、各ロボットは密な粒子エリアに引き寄せられる。このことがロボットの探索挙動を駆動する。各ロボットは、独自のメモリ内の粒子を個別にクラスタリングし、探索を行うクラスタを選択する。ロボット同士は、粒子を生成及び移動させる際に同一アルゴリズムを使用することによって、またその位置に関する時折のメッセージによって更新される互いの挙動をモデル化することによって、探索を協調させる。このモデル化アプローチは、正確な通信に対するアルゴリズムの依存を低減する。各ロボットは、K個のクラスタを各ロボットにつき1つずつ作成するクラスタリング技法を用いて敵又は目標物の確率粒子をクラスタリングする。K平均は、そのようなクラスタリング技法の単純な例であるが、よりインテリジェントで適応的なクラスタリング技法を用いてより高い性能を引き出すこともできる。各ロボットは、その現在位置に最も近い平均を有するクラスタをとる。事実上、ロボットは、粒子のロケーションによって表される一意の探索タスクの割り当てを選択している。
航空機等の輸送手段がエリアを探索する際、そのエリア内のあらゆる粒子がその内部マップから一時的に除去される。それらの粒子は、物体が見つからない限り、後に内部マップに戻される。本発明は、監視され続けるべき地理領域上の静的なクラスの粒子も用いる。この種の粒子は移動せず、除去されてから一定時間が経つと常に戻ってくる。
本発明の目的で、「ロボット」という用語は、移動性、センサ及び通信機能を備える状況依存型(situated)の自律エージェントを意味するものとする。ロボットは、任意のタイプの次元空間(例えばデータベース)に位置していてもよい。経路追従、障害物回避、及びセンサ管理は、本発明のアルゴリズムが依存する低レベルのプロセスによって管理される。本発明は、どこへ進むべきかに関して高レベルの決定を行うが、どのようにそこへ向かうべきかに関する詳細を提供するものではない。本発明の目的で、「物体(object)」という用語は、探索すべき関心物を意味するものとする。物体は、建物のような静止物であっても、又は、車両のような移動体であってもよい。それは既知のアイデンティティを有しても、又は有しなくてもよい。本明細書中に提供される例のほとんどは、アイデンティティが分からず、探索の1つの目的はその物体を識別することであると仮定する。物体が建物のような静止物体である場合、そのアイデンティティは二次的なものに過ぎない場合が多い。一番の関心事はその建物に出入りするエンティティである。
例示的な一実施形態において、本発明の方法は、図1〜図4に図示するステップから成る。図1〜図4に示す方法は、各ロボットにおいて並行して行われる挙動を表し、各挙動は、「状況マップ」と呼ばれるローカルデータ構造内にある「粒子メモリ」上で行われる。
図1は、本発明の教示による各ロボットの通信機能の挙動の例示的な実施態様を示すフロー図である。方法10は、無線を監視するステップ12を含む。メッセージを受信すると、本方法は、ステップ14においてメッセージ中に物体の更新があるかチェックする。各ロボットは、更新の合間のチームメイトの移動をモデル化しているため、更新を受信すると、そのチームメイトのロケーションを訂正しなければならない場合がある。ロボットはまた、探索したエリアを反映するためにチームメイトの移動に伴って粒子を除去しているため、チームメイトの更新がモデルと大幅に異なる場合、ロボットは、粒子分布も訂正する必要があるであろう。よって、物体の更新が受信されない場合、方法はステップ16において、チームメイトのロケーションに関する更新があるかチェックする。そのメッセージがチームメイトのロケーションの更新である場合、ステップ18において、チームメイトのロケーションを更新する。そうでない場合、システムは無線の監視を続ける。
一方、メッセージが物体の更新を含む場合、方法は、それが現在モデル化している物体であるかをチェックして確かめる。現在モデル化している物体である場合、ステップ20において、現在モデル化している物体に関連する粒子を必要に応じて移動させ、不確定性が低くなる結果として分散を減少させる。そうでない場合、ステップ22において、新たな仮説毎に粒子クラスタを作成する。これに関連して、「粒子の移動」とは、物体を表す確率分布を、物体のアイデンティティの各仮説が移動させるであろう方法の何らかのモデルに従って移動させるプロセスを指す。例えば、(レーダ追跡文献に記載されているような)マルチ(複数)仮説粒子フィルタはこれを実施する1つの方法である。粒子の分散は、新たな情報が受信されると、不確定性が低くなるため、減少する。
図2は、本発明の教示の例示的な一実施形態による、各ロボットによって実行されるセンサ管理機能を示すフロー図である。センサ管理機能及び通信機能はともに、確率粒子の集合に働きかける。図5に示し、且つ下記のアーキテクチャの項において説明するように、センサ管理機能及び通信機能は並行して働き、粒子メモリ上で個別に動作する。運動制御機能は、後述のように、これらの粒子の影響を受ける。図2では、ステップ32において、ロボットが自身のセンサをチェックする。ステップ34において物体が見つからない場合、ステップ36において、システムは、センサフットプリント下にある粒子を有効性の確率に従って除去することによって粒子を更新する。
一方で、ステップ34において物体が見つかった場合、ステップ38において、システムは、その物体を追跡すべきかどうかを決定する。システムが物体を追跡することに決定した場合、ステップ40において、全ての関連粒子が、見つかった物体のタイプに変換される。システムが物体を追跡しないことに決定した場合、全ての物体に関連する粒子を削除する。追跡するか、又は追跡しないかという決定は、最終的にユーザによって、明示的な通信により、又は暗黙的に、特定の物体タイプ又は環境条件に対して規定されるポリシとして行われる。本発明の教示によれば、運動及び感知は並行して実行される。これらのロボットサブシステムは、粒子メモリに働きかけることによって間接的に通信する。
粒子管理
本発明の教示によれば、チームメンバ間の通信の必要性が最小限にされ、通信が妨害されても探索性能の低下が目立たない。これは、各チームメンバが全ての他のチームメンバをモデル化し、ロケーションが視覚的に又は通信により確認される度にそのモデルを更新するという事実に起因する。一時的な通信途絶は、時間が経つにつれて、チームメイトモデルの予測がチームメイト機の実際の移動から逸れる可能性があることを意味する。この逸脱は、輸送手段(航空機)の速度及び操縦性、予期せぬ障害物に遭遇する尤度、及び所与の粒子クラスタをどのように探索するかという決定関数において使用されるランダム性の量の関数である。図3及び図4は、所与のクラスタの探索を編成するための1つの可能な方法を示す。
図3は、本発明の教示による各ロボットにより実行される例示的な運動制御方法のフロー図である。運動制御ループはステータスを常時チェックし、ロボットが正しい方向に移動していることを確認する。図3に示すように、ステップ52において、システムは、タイマをチェックして、粒子の再クラスタに適した時期であるかどうかを確認する。再クラスタのタイミングは、実際のタイマとして、又は動的負荷分散アルゴリズムのような粒子に対する何らかのメトリックの結果として実施することができる。再クラスタに適した時期である場合、ステップ54において粒子を再クラスタリングし、ステップ56においてウェイポイント(中間点)をクラスタの重心に設定する。タスクの割り当ては、クラスタを、探索を行うK個のロボットそれぞれにつき1つずつ、K個の別個のサブセットに分割することによって実施される。これを達成する1つの方法は、K平均等のクラスタリングアルゴリズムによって行うことである。
ステップ52において、ロボットが、再クラスタに適した時期でないと判断した場合、方法50は、ステップ56における運動制御ループを実行する。運動制御ループは、ステップ58において、ロボットが中間点に到達又は中間点を通過したかどうかをチェックする。到達又は通過した場合、ステップ60において、ループは次の中間点を選択し、ステップ62及び64において、そこへ向かうために必要に応じて方位を調節する。ステップ58において、ロボットが未だ中間点に到達していない場合、ループはステップ62に進み、ロボットは、現在の方位が中間点に向かうものであるかどうかをチェックする。方位が合っている場合、ループは再クラスタの時期かを確認するステップ(ステップ52)に戻る。そうでない場合、ステップ64において方位を更新してからステップ52に戻る。
この挙動は、輸送手段(航空機)のアクチュエータへ送られる最後の制御信号への入力を有する障害物回避等の他の挙動又は機能と並行して実行され得る。
ステップ60において中間点を選択するステップは、現在のクラスタ内の粒子を重要度(重み)、距離、及び他の要因によりソートし、向かうべき最良の粒子を選択することによって達成され得る。他の要因は、その粒子に向かうために必要な最大旋回半径等の、ロボットの移動性に関する考慮事項を含み得る。
粒子をクラスタリングするステップ(ステップ54)は、粒子をK個の一意のサブセットに分割し、どのロボットがどのサブセット又はクラスタを探索すべきかが全てのロボットに分かるようにすることを含む。このような1つの方法を、粒子のクラスタリングと題する項でいくらか詳細に後述する。
場合によっては、ロボットの選択したクラスタは断片的で、断片(パッチ)同士は大きく離間している場合がある。以下の図4に示すL2クラスタは、これらのサブパッチを見出す。各サブパッチが順番に探索される。サブパッチ毎に、ロボットは、進むべき粒子を1度に1つ選択し、進む途中で(図2のステップ36により)粒子を消去し、粒子の密度が十分に低下して、他のサブパッチの緊急度が高くなるまで行う。
図4は、本発明の教示による運動制御方法の代替的な実施態様である。図4の実施態様70において、システムは、第1のクラスタL1においてこの2回目の粒子クラスタリングを行う。第1のクラスタL1内の各サブクラスタL2を探索してから、次のサブクラスタに移る。したがって、図4は図3と同様であり、L2のクラスタリングステップが追加されている。
図4に示すように、レベル1のクラスタ(L1)を処理(do)してグローバルな探索空間をチームメンバ間で分割した後、各メンバはレベル2のクラスタ(L2)を処理する。L2はそのメンバのL1クラスタ内にサブクラスタを見出す。L2クラスタを処理する1つの方法はK平均アルゴリズムを用いることであり、ここでKは、密なサブクラスタを見つけるのに十分な大きさの或る小さな任意数に等しい。「K平均」は、「粒子のクラスタリング」という項で後述する。数Kは、ドメインの必要性に完全に依存する。本発明の教示範囲から逸脱することなく、よりインテリジェントなクラスタリングアルゴリズムをパラメータ化して、ドメインに依存しない方法で正しいサイズのクラスタを見出すこともできる。
したがって、図4では、ステップ72において、L1を再クラスタリングする時期であると判定された場合、ステップ74において、L1のK平均を行う。上記ステップ52と同様に、再クラスタのタイミングは、実際のタイマとして、又は動的負荷分散アルゴリズムのような粒子に対する何らかのメトリックの結果として実施することができる。次に、ステップ76において、上記ステップ56と同様に、中間点がL1クラスタの重心になるように設定する。ステップ78において、ロボットは、現在の中間点に到達又は現在の中間点を通過したかどうか判定する。到達又は通過していない場合、ロボットはステップ92においてをチェックし、中間点に向かっていることを確かめる。方位が合っている場合、ステップ72に戻る。そうでない場合、ステップ94において方位を更新してからステップ72に戻る。
ステップ78において、現在の中間点に到達したと判定された場合、方法70は、ステップ80において、L1粒子のL2クラスタリングが行われたかどうかをチェックする。行われていない場合、ステップ84においてL2クラスタリングを行い、ステップ86において中間点を選択されたL2サブクラスタの重心に設定する。どのサブクラスタを選択しても問題ではないか、又はそのサブクラスタにおける粒子の優先順位又は数等といった要因に基づいて選択を行ってもよい。中間点が選択されると、方法はステップ92に進み、上記のように方位をチェックする。ステップ80においてL2サブクラスタが作成されていると判断された場合、ステップ82において、ロボットが現在探索を行っているL2サブクラスタから別のL2サブクラスタへ移る時期であるかどうかをテストする。
この決定には多くの基準が存在し得る。いずれにせよ、システムは、他のエリアを無視することなく各エリアをくまなく探索しなければならない。ステップ82において、移る時期であると決定された場合、ステップ88において新たなサブクラスタが選択され、ステップ86において中間点が設定され、次にステップ92において方位がチェックされる。そうでない場合、ロボットは、図3のステップ60において説明したのと同様に、同じL2サブクラスタ内で新たな中間点を選択することによって、そのサブクラスタの探索を続ける。
最良の形態において、サブパッチを選択するための決定は、そのパッチ内にある粒子のタイプの優先順位、そのパッチ内の粒子数、及びパッチの密度の関数である。これを行う1つの単純な方法は、各パッチ内の粒子の和をそれらの優先順位により重み付けし、境界円の面積で割ることによるものである。最初に進むべき粒子を選択する1つの方法は、サブパッチ内の粒子をそれらの優先順位レベル及びロボットからの距離によりソートし、リストの1番目に進むことである。この方式は、敵対勢力に予測し難い不規則な経路を生じるが、他の方式よりも高い操縦性が必要とされ、且つエネルギー効率が低くなる場合がある。本発明の教示範囲から逸脱することなく、特定用途に対してはよりインテリジェントな方式を想定して、最も優先順位の高い粒子を最大限にスイープ(掃出)する軌跡を計算することができる。
1つのサブパッチを離れて別のサブパッチへ進むべき時期に関する決定は、ここでも、上の段落で説明したサブパッチ決定関数に基づくが、フリップフロップを防ぐために、現在のサブパッチの探索を、その決定関数の値(例えば上述の加重和)が次善のパッチのそれを或る閾値だけ下回るまで続けることが妥当であろう。
時間が経過するにつれて、各物体の移動をモデル化するために作成された粒子分布が挙動モデルによって移動される。粒子分布は多少ランダムに移動し、位置に関する不確定性の増加を反映するために移動するにつれて拡散する。
図1は、これらの物体のうちの1つについて情報が受信されると、その物体の分布が或る程度収束し、物体の位置の確定性の増加を反映するために分散が減少することを示す。メッセージが、物体が属し得る1つ又は複数のクラスを除外する可能性もある。これは、別の探索プラットフォームが物体を見つけ識別したときに起こる。ロボットが、仮説のいくつかを表すクラスタによって覆われたエリアを探索して何も見つからないときは、物体が検出を回避している可能性があるため、説得力が低い。その場合、それらの仮説は低減され得るが、排除されることはない。
操作画像(operational picture)のコヒーレンス
本発明の教示によれば、各ロボットに物体のロケーションが伝えられると、ロボットは、独自の粒子分布を作り出す。ここでもまた、擬似ガウス分布の作成にはランダムな要素が伴う。各ロボットは、移動するにつれて、そのセンサ範囲の粒子を或る確率で消去する。同様に、各ロボットは、そのチームメイトの移動(例えば、最後に報告された位置、測度、及び方位のまっすぐな延長)をモデル化し、自身のメモリ内の、チームメイトのセンサ範囲にある粒子を消去する。これは、各ロボットのメモリ内の同一物体に関する同一仮説の粒子分布間のいくらかの変形であり得る。これは、各ロボットが、同一の決定メトリックを実行しているにもかかわらず、いくらか異なるクラスタリングを行い、わずかに異なる時期に再クラスタリングを決定し得ることを意味する。
制御可能なパラメータは、ロボットのステータス報告の時間間隔、これらのステータス報告で共有される情報量、並びに粒子が配置、移動及び除去される確率及びランダム性である。ドメイン毎に、パラメータは多少異なるものとなり、最適パラメータを確認するための実験が必要とされ得る。
探索効率
或るエリアを移動物体について効率良く探索するために必要な機数は、探索エリアの地理的範囲、探索ロボットの速度及び探索対象物の可能な最高速度、並びに探索ロボットがそのセンサ範囲で物体を検出する尤度の関数である。
アーキテクチャ
図5は、本発明の教示を実施するようになっている例示的なロボット制御アーキテクチャのブロック図を示す。図5では、ハードウェアが矩形の枠で表され、ソフトウェアプロセスが丸みを帯びた枠又は楕円で表される。各ロボットは、無線トランシーバ102と、例としてレーザレーダ(LADAR)105、赤外線(IR)106及びカメラ107を含む内蔵センサ104とを備えるシステム100を有する。さらに、システム100は、信号及びデータプロセッサ110(破線で示す)を、全地球測位センサ108、運動制御サブシステム112及び運動アクチュエータ122とともに備える。
無線102は、他のロボット及び/又は中央制御局からメッセージを受信し、それらのメッセージを、メッセージ処理ソフトウェアルーチン10で処理するためにプロセッサ110へ送る。メッセージ処理ルーチン10は図1に関して上述した。内蔵センサ104からのデータは、図2のセンサ処理ルーチン30によって処理される。運動及び感知は、チームモデル44又は敵モデル46に従って粒子メモリ48に働きかけることによって並行して実行される。
チームモデル及び敵モデルは、ロボットに事前にロードされており、経験から学習しても、学習しなくてもよい。敵モデルは、ユーザ及び他の探索チームメイトから受信する報告を適切に表すために必要に応じて確率分布を作成し、維持し、且つ移動させる挙動モデルである。敵モデルは、関心物体の移動をモデル化する。チームモデルは、この共同探索に参加している他機の別個の挙動モデルであり、他のチームメイトからの状況報告によって更新される。チームモデルは、チームメイトの移動を推定し、他のチームメイトが探索するエリアを表すように粒子を移動させる。これらの分布は、図3及び図4に関して上述したようにL1クラスタ及びL2クラスタのクラスタリング及び選択を行う探索エリアセレクタ50に進む。L1クラスタの選択は、各チームメートの場所に関するチームモデル情報に依存する。
クラスタが探索のために選択されると、中間点選択関数70が、そのクラスタ内の目的地を選択する。この場合、本発明では、その選択を挙動アービトレーション(調停)ユニット112において、障害物の回避等といった他の考慮事項と混合する。決定は、David Paytonの引用特許により実施され得る運動アービタ120によって行われる。速度コマンド及び旋回率コマンドが運動アービタ120によって出力され、ロボットの方向及び運動速度を制御するために運動アクチュエータ122によって使用される。
動作
「電子インテリジェンス」データ(ELINT)は、現場の人員からの確認報告と、インテリジェンスアナリストの理論と、衛星、航空機、及び他の情報源からのセンサデータとの融合である。ELINTの更新は不確定情報を表し、何かが疑わしく見えたり振舞ったりしても、それが敵のタンクであるのか、民間車両であるのか、スクールバスであるのか等の詳細な確認を得る必要がある。本発明の教示によれば、このようなメッセージが受信されると、各ロボット又はUAVはそれを、状況マップと呼ばれるローカルな動的データ構造に、各仮説を表す粒子のクラスタの形態で記録する。異なるクラスの粒子は、物体のアイデンティティに関する異なる仮説を、関連する危険レベル又は優先順位とともに表す。
ELINT更新の合間に、各UAVは、そのタイプのエンティティの挙動モデルを実施する単純な複数仮説粒子フィルタを用いて粒子を移動させる。例えば、スクールバスを表す粒子は、スクールゾーンに向かって移動するかもしれず、敵のタンクを表す粒子は、疑わしい燃料ダンプ又は発電所等の考え得る目標物に誘引されるであろう。これを下記の図6に示す。
図6は、ELINT更新の数分後に本発明の教示によりシミュレートされるシナリオである。右上のUAVは考え得る目標物に関するELINT(電子インテリジェンス)報告を、そのアイデンティティ(乗用車、タンク、又はバス)の尤度とともに取得する。各UAVは、目標物を表す確率粒子をその粒子メモリに作成する。厳密な粒子のロケーションはUAV毎に異なるが、分布は統計的に等しい。図6において、幹線道路の南東の街及び数個の識別された建物が挙動モデルのアトラクタである。粒子の分布は他のUAVのローカル粒子メモリに統計的に等しいが、個々の粒子のロケーションは同じではない。
図7は、ELINT更新の10分後の時点で本発明の教示によりシミュレートされるシナリオである。各仮説の確率粒子分布は、適切な挙動モデルによって個別に移動される。粒子がこのように拡散するためには、物体位置に関する更新がしばらくの間なかったであろうことに留意されたい。
図8は、図6及び図7に示すシナリオのコンピュータシミュレーションのスクリーンショットである。PlayerStage(Gerkey et al 2003)と呼ばれるパブリックドメインのシミュレーションを用いた。現実的なフットプリントを有するセンサと、GPSと、マルチチャネル無線と、基準検出を用いる単純な物体認識とをそれぞれ有するUAVのチームを本発明の教示に従って構成した。図示の実施形態において、UAV制御システムは、3つの挙動(すなわち、ポイントへ進む、障害物を回避する、及び旋回を続ける)の間でアービトレーションを行う。アービトレーションの結果は、いくらか現実的な制約に従う移動アクチュエータへの速度コマンド及び旋回率コマンドである(Payton et al 1990)。PlayerStageでは、各エージェントは独自のメモリを有し、共有されるべき情報はメッセージで明示的に送られなければならない。
図8の右側の3つの暗いウインドウは、各UAVの状況マップを表す。これらのマップの粒子分布は同じでないことに留意されたい。左上象限のUAV(UAVはセンサの扇形領域を有する)はその状況マップ内の粒子クラスタによってそのエリアに誘引され、タンクを検出している。右下象限のUAVはスクールバスをちょうど識別し、その状況マップの粒子を一掃したところである(一番上)。他の2つのUAVは未だ、その車両を表す粒子をそのマップから消去していない。右下のUAVは今、道路に沿って、ELINTによって報告されたばかりのタンクを表す粒子群が現れたばかりの左下象限に向かっている。
目標物及びチームメイトのロケーションに関する定期的なELINT更新を受信するための通信が必要である。しかし、これらのドメインにおける通信は信頼性が低く、妨害、(操縦中の)アンテナ不整合、及び気象効果を受けやすい。この問題に対する本発明のアプローチは、各UAVに、通信事象の合間のチームメンバ及び目標物の移動を確率的にモデル化させることである。これにより、通信の瞬断時の低下が目立たない探索挙動がもたらされる。
上述のように、航空機は、探索を行う際、そのセンサフットプリント下のエリア内の粒子をその状況マップから、検出確率に応じて除去する。これらの粒子は、タイムアウト後にマップに戻される。粒子の消去は、各UAVがわずかに異なるセットを有するため、チームメイト間で通信されない。その代わりに、各UAVは、チームメイトの移動モデルを用いて自身のマップ内の粒子を消去する。チームメイトの位置を報告するメッセージを受信すると、その位置がモデルによって予測したものと大幅に異なる場合、粒子マップを修正することができる。物体が見つかった場合、そのアイデンティティが確認され、誤った仮説を表す全ての粒子が破壊される。物体情報は他機に通信され、それらの航空機は自身のプライベートな状況マップに対して同様の変更を行う。
静的な地理領域を監視下に保つために、特別なクラスの静的な粒子を使用してもよい。この種の粒子は移動せず、タイムアウト後には常に戻る。粒子が戻る速度を調節することによって、エリアの探索頻度に対して統計的制御を行うことができる。
粒子のクラスタリング
各UAVは、密な粒子エリアに誘引される。これは探索挙動を駆動する。特定の探索エリア又はタスクの割り当てについてチームメイトとネゴシエーションを行う必要性を回避するために、各UAVは、同一のクラスタリングアルゴリズムを用いて粒子を分割し、最も近いものを選択する。これは、単純な分散型タスク割り当て技法を実施する。UAVは、それらの位置に関する時折(数秒毎)のメッセージによって更新される互いの挙動をモデル化することによって探索を協調させる。
敵の確率粒子をクラスタリングするためにK平均アルゴリズム(Lloyd 1982)が用いられる。簡略して言えば、確率粒子がベクトル{p,...,p}(p∈IR)で表される場合、目標は、それぞれベクトルm∈IR(k={1...K})によって表されるK個のクラスタを見つけること、及び「小さな」クラスタが形成されるようにデータ点をクラスタに割り当てることである。本発明では、UAVの数にKを選択し、各UAVは、その現在位置に最も近い平均を有するクラスタをとる。クラスタリングは以下の目的関数Hを最小化する。
Figure 2008507049
ここで、cは粒子pを、mc(i)に位置するクラスタ上に写像し、Hは、各粒子を写像cにより表す際の歪みの測度である。アルゴリズムは、mc(i)がUAVのロケーションに設定されることにより初期化される。反復毎に、各確率粒子pは、最近傍のクラスタロケーションmc(i)に割り当てられ、次に、各mc(i)は、その割り当てられた粒子の重心に移動され、或る時点でそれ以上の改良がなくなり、写像cが変化を止めるまで歪みHが低減される。各UAVは一意のmc(i)に写像されるため、結果として、粒子がUAVに一意に割り当てられる。
本発明の教示範囲から逸脱することなく、他のクラスタリング技法を用いてもよい。標準的なK平均アルゴリズムは、各平均に特定数の点が割り当てられることを保証せず、点を含まないクラスタが生じ得る。また、特定タイプの粒子に付加される優先順位又は緊急度による重み等のパラメータを考慮することが有用であろう(すなわち、p∈IR(d>2))。
クラスタ内の探索
本発明の教示によれば、UAVは、自身に割り当てられたクラスタの重心に達すると、クラスタ内で向かうべき確率粒子を選択する。これは、単純に最も近い確率粒子へ進むこととすることもできるが、本発明では、操縦性の制約に応じて粒子の優先順位又は緊急度も考慮する。したがって、UAVは、バスの仮説をチェックする前にタンクの仮説粒子をチェックしなければならない。これは、クラスタ内の粒子を優先順位、距離、及び現在の速度ベクトルからのヨー(yaw)角によりソートすることによって実施される。優先順位が高く、距離が短く、必要なヨーが小さいものが最良である。いくらかのランダム性を加えるために、次の中間点は、上位20%の最良粒子からのランダムな選択であってもよい。
敵性勢力探索では、敵によって利用される可能性のある予測可能な探索パターンの実行を防ぐことが望ましい。上述の手順は、非常に予測し難い移動を生じる。当然、予測可能性と効率との間にはトレードオフがあり、様々な意味で、探索パターンが予測し難くなるほどエネルギー効率は低下する。このトレードオフは、上述の「次の粒子」のソートにおいてヨー基準に対する重みを調節すること、及び/又はランダムな選択における粒子数を変化させることによって制御することができる。
状況は動的である。新たな物体が報告され、古い物体は識別され、時には目標に設定される。全てのデータは、優先順位を有する粒子のこの共通の操作画像に融合されるため、探索決定を行うために必要な理由付けは極めて単純であり、挙動ベースのアプローチに適している。
粒子分布が、時折の情報更新に基づいて各UAVによって個別に生成され、移動され、消去される。再クラスタリングすべき時期である場合、各UAVが維持する状況画面間の差異がいくぶん異なるクラスタロケーション(mc(i))を生じる可能性があり、それが驚くべき挙動につながる可能性がある。再クラスタの決定は、探索が進行する粒子分布の変化に関するメトリックに基づくものであってもよい。別のアプローチは、より変化の遅いクラスタリング技法を使用すること、又は再クラスタリングの前により高い協調を要求することであろう。
情報のコヒーレンスの問題
ELINTメッセージが新たな目標物を知らせると、各UAVは、メッセージ情報に基づいて独自の擬似ランダムな粒子分布を作り出す。以後のELINTメッセージは、目標物のロケーション及び/又はアイデンティティを更新しても、更新しなくてもよい。各UAVは、移動するにつれて、そのセンサフットプリント下の粒子を或る確率で消去する。同様に、各UAVは、そのチームメイトの移動(ここでは最後に報告された位置、速度、及び方位からの単純な線形補間)をモデル化し、各チームメイトのセンサ範囲の粒子を消去する。
図8の右側には、3つのUAVのそれぞれに対して1つのウインドウがあり、それらの状況マップ上の粒子のロケーションを示している。3つの比較は、各チームメイトがモデル化する粒子分布間の小さくランダムな変化を示す。これは、航空機が再クラスタを決定するとき、それらのクラスタは或る程度異なることを意味する。
通常、UAV間のクラスタの差異はわずかであり、システムは良好な挙動を生じる。これは、目標物が数分毎にマップ上の主に3つのロケーションで出現し、ほぼ道路上を移動するとしても関係ない。これはしばしば、目標物が互いに接近することを意味するが、UAVが位置及び速度のみを含む状況報告を5秒毎に送信すれば良好な結果が得られ得る。時折、この差異は大きくなり、無用に見える探索パターンを生じる場合がある。状況のコヒーレンスという見出し下で、この問題に寄与する要因がいくつかある。制御可能なパラメータは、UAVステータス報告の時間間隔、これらのステータス報告で共有される情報量、並びに粒子が配置、移動及び除去される確率及びランダム性である。パラメータ値の最良の選択は、目標物の互いに対する近接度に依存すべきである。目標物同士が近いほど、UAV同士は近くなり、各UAVの状況画面はコヒーレントになり、適切に相互干渉を排除するはずである。
別のUAVの動作の正確な予測は、その他機が決定を行う際に用いる各変数の値の正確な知識を必要とする。それを行うために必要とされるような種類の、高帯域の信頼性の高い通信に対する依存を避けることが好ましい場合がある。より良い解決策は、各UAVがその現在のロケーション及び速度をより頻繁に通信することであり得る。ほとんどの場合に、物体に関するELINT更新が頻繁であるとき、各UAVの状況画面間で非常に高いコヒーレンスを達成するようにUAV報告速度を調節することができる。しかし、ELINT更新が妨害されるか、関心物体に関する新たな情報が単にない場合、UAVは、互いの再クラスタリングを協調させる必要がある。本発明の教示によれば、再クラスタ動作は、定期的に通知され、その時点で、全てのUAVはその過去のロケーションの短い履歴を通知する。これは、コヒーレントな粒子マップを常に維持するために必要なものよりも遥かに短く頻度の低いメッセージであるであろう。各UAVはその場合、自身の状況マップを正して再クラスタリングする。これは、非常に類似したタスクの割り当てを生じることになる。最悪の場合、再クラスタリングの後に確認ステップを加えて、結果として得られる、各UAVが計算するクラスタ中心が十分に類似することを保証することができる。
要約すれば、協調がコヒーレントでなくなってくる時期に通信帯域幅を増やすことができる。これらの時期は、UAV間の距離、及び位置更新が受信される速度を含むローカル情報に基づいて予測することができる。
本発明のエンドユーザは、より焦点及び的を絞った探索が必要であろう。現在用いられている組織的な探索機構又は他の強引な探索機構(エリアを地理的に分割して探索パターンを実行すること等)は、成功確率を上げるために速度及び/又は資源の増加に依存しなければならない。本発明は、探索プラットフォームの物理的能力をアップグレードしたり、プラットフォーム数を増やしたりすることなく、目標物体を発見する確率を高める。本発明はこの価値を高めた確率の上昇を、時間領域において探索エリアを狭める機構を探索プラットフォームに設けることによって達成する。必須ではないが、更新時間に基づく状況情報が、確率クラスタを再グループ化して新たな情報をより正確に表し、探索の焦点をさらに絞ることにより、この探索エリアをさらに縮小する。
本発明は、報告が特定の時間にわたって定期的に入力され、各報告が前出の物体に関する更新情報又は新たな物体に関するニュースを有し、各物体がそのアイデンティティに関していくつかの仮説を有する、複雑で動的に変化する状況に特に有用である。本発明のアプローチは、これらの報告を融合して共通の操作画像にするために非常に単純で明瞭な方法を用いる。マップ上に配置される確率粒子の集合を用いることによって、物体の位置及び考え得るアイデンティティは、探索を駆動する共通の表現に変換される。本発明は、複雑な融合エンジン及び任務管理に対する必要性を軽減し、融合は自然な確率の重複により生じる。したがって、この機能は、任務にかかる費用を増加させることなく探索が成功する確率を高めることによって、エンドユーザに価値をもたらすはずである。
本発明はまた、分散探索チームを多くの個人ユーザによって誘導する可能性を提供する。例えば、6機のUAVが軍の戦闘地帯を飛行している場合、戦場の至る所にいる司令官が疑わしい敵の活動の報告を供給することができる。UAVは、報告された敵がどこにいてもその敵を探索するように自動的に組織化する全般支援資産(アセット)となる。この組織化は自動的であり、オペレータ(operator)が要求を処理し最も良い対応方法を決定する中央制御施設は必要ない。軍務(service)は優先順位に基づいて行われ得る。例えば、攻撃の主な努力は、支援部隊よりも高い優先順位を有するかもしれず、これは、各部隊の要求がマップに配置させる粒子の優先順位に反映され得る。
最も協調的な制御技法は、頻繁で信頼度の高い通信をロボット間に必要とする。本発明はこの依存を、更新の合間に他のチームメイトの動作をモデル化することに依存することによって軽減するものである。これは、探索効率の低下を目立たなくする。
探索タスクの自動分割は、複数のロボットの間接的で高レベルの制御をユーザに与える。ユーザは、探索すべきエリア上の確率分布を指定することによって探索タスクを直接、直感的な方法で表現する。これは、ユーザが一組のロボットを明示的に指定し、それらにタスクを割り当てなければならない現行システムに対する進歩である。しかし、ユーザは、どのエリアをどの優先順位で探索すべきかを高精度で指定することができる。本発明はこれを、移動目標物を表す粒子を挙動モデルを用いて実際に移動させることによって別のレベルへ導く。
複数のモデルを目標物の各仮説アイデンティティに対して1つずつ組み込んでもよい。これらのモデルは、例としてロケーション、アイデンティティ、他の探索機(サーチャ)の現在の焦点、他の探索機の前の焦点、他の探索機の速度、他の探索機の将来の移動及び成功を含む様々なデータにより更新される。探索は、物理的な3次元(3D)空間、仮想データ構造又は他の用途において行われてもよい。
このように、本発明を本明細書中において、特定用途のための特定の実施形態に関して説明してきた。本発明の教示にアクセスできる当業者は、本発明の範囲内においてさらなる修正形態、応用形態及び実施形態を認識するであろう。
したがって、特許請求の範囲は、本発明の範囲内のあらゆる全てのそのような応用形態、修正形態及び実施形態を網羅することを意図している。
本発明の教示による各ロボットの通信機能の挙動の例示的な一実施態様を示すフロー図である。 本発明の教示の例示的な一実施形態による各ロボットにより実行されるセンサ管理機能を示すフロー図である。 本発明の教示による各ロボットにより実行される例示的な運動制御方法のフロー図である。 本発明の教示による運動制御方法の代替的な一実施態様である。 本発明の教示を実施するよう適応された例示的なロボット制御アーキテクチャのブロック図である。 情報更新の数分後に本発明の教示によりシミュレートされるシナリオである。 情報更新の10分後に本発明の教示によりシミュレートされるシナリオである。 図6及び図7に示すシナリオのシミュレーションのスクリーンショットである。

Claims (81)

  1. 関心物体を検出する第1の手段と、
    前記物体の挙動を予測する第2の手段と、
    前記挙動を予測する手段に応答して前記第1の手段を前記物体へ導く第3の手段と、
    を備える探索システム。
  2. 前記第1の手段、前記第2の手段及び前記第3の手段は移動プラットフォーム内に配設される、請求項1に記載の発明。
  3. 前記移動プラットフォームはロボットである、請求項2に記載の発明。
  4. 前記移動プラットフォームは無人機である、請求項3に記載の発明。
  5. 前記挙動を予測する手段は予測モデルを含む、請求項1に記載の発明。
  6. 前記モデルは一組の粒子の形態の確率分布を含む、請求項5に記載の発明。
  7. 前記第2の手段は、前記物体の前記挙動を反映するように前記粒子を移動させる手段を含む、請求項6に記載の発明。
  8. 前記第2の手段は、前記物体の各仮説アイデンティティ毎に1つずつの複数のモデルを含む、請求項7に記載の発明。
  9. 前記物体のロケーションに関する更新を受信する手段をさらに備える、請求項8に記載の発明。
  10. 前記物体のアイデンティティに関する更新を受信する手段をさらに備える、請求項9に記載の発明。
  11. 前記更新は前記物体に関する確率情報を含む、請求項10に記載の発明。
  12. 前記更新の頻度又は入手可能性は不確定である、請求項11に記載の発明。
  13. 前記第1の手段は探索エリア内で導かれる、請求項6に記載の発明。
  14. 前記第1の手段、前記第2の手段及び前記第3の手段は移動プラットフォーム内に配設される、請求項13に記載の発明。
  15. 前記移動プラットフォームはロボットである、請求項14に記載の発明。
  16. 前記システムは複数のロボットを含む、請求項15に記載の発明。
  17. 前記モデルは、各ロボットを前記探索空間の一意のエリアを探索するように導くようになっている、請求項16に記載の発明。
  18. 前記モデルは、粒子の形態の確率分布を用いて、各ロボットを前記探索空間の一意のエリアを探索するように導くようになっている、請求項17に記載の発明。
  19. 前記モデルは、前記粒子を各探索機につき1つの群に分けるクラスタリング技法を用いて、各ロボットを前記探索空間の一意のエリアを探索するように導くようになっている、請求項18に記載の発明。
  20. 前記モデルは、ロボットを粒子群に一意に割り当てるようになっている、請求項18に記載の発明。
  21. 前記モデルは、ロボットを粒子群に、該ロボットの所定の特性を用いて各ロボットによって計算される方法で割り当てるようになっている、請求項18に記載の発明。
  22. 前記クラスタリング技法はK平均である、請求項19に記載の発明。
  23. 前記粒子の前記確率分布はクラスタである、請求項19に記載の発明。
  24. 前記ロボットの各々は、前記モデルにより選択されたそれぞれのクラスタを探索するように導かれる、請求項23に記載の発明。
  25. 各ロボットの各第3の手段は、その前記第1の手段を前記粒子の確率分布の質量中心へ導くようになっている、請求項24に記載の発明。
  26. 前記モデルは、各ロボットの前記検出器を、該モデルにより選択された前記クラスタ内の前記粒子のうちの選択された1つへ導くようになっている、請求項24に記載の発明。
  27. 各ロボットは、そのセンサ及び他の探索機のセンサにより観測される前記探索空間の前記エリアを表す粒子を排除する、請求項26に記載の発明。
  28. 前記排除された粒子の各々は、所定時間後に再び現れる、請求項26に記載の発明。
  29. 前記モデルは、各ロボットが関心物体に関して追加情報を得ると、その関心物体に関連する粒子の分布又は密度が、該新たな情報をより正確に表すように変更されるようになっている、請求項26に記載の発明。
  30. 前記粒子を用いて前記物体を追跡する手段を備える、請求項18に記載の発明。
  31. 他のロボットに関する更新を受信する手段をさらに備える、請求項16に記載の発明。
  32. 他の探索機の活動に関する更新の時間間隔において該他の探索機の活動をモデル化する手段をさらに備える、請求項31に記載の発明。
  33. 前記更新は、他の探索機のロケーションに関する情報を含む、請求項32に記載の発明。
  34. 前記更新は、他の探索機の現在の注視焦点に関する情報を含む、請求項32に記載の発明。
  35. 前記現在の注視焦点は、探索機の物理センサの対象領域である、請求項34に記載の発明。
  36. 前記更新は、他の探索機の前の注視点に関する情報を含む、請求項32に記載の発明。
  37. 前記更新は、他の探索機の速度に関する情報を含む、請求項32に記載の発明。
  38. 前記更新は、他の探索機の将来の移動に関する情報を含む、請求項32に記載の発明。
  39. 前記更新は、他の探索機により確認された物体の特性に関する情報を含む、請求項32に記載の発明。
  40. 前記挙動は、3Dの物理的な空間における移動である、請求項1に記載の発明。
  41. 前記挙動は、変化する観測可能な特性を伴う、請求項1に記載の発明。
  42. 前記挙動は、非物理的なデータ空間における移動である、請求項1に記載の発明。
  43. 複数の移動プラットフォームと、
    各プラットフォームに搭載されて関心物体を検出する検出器と、
    各プラットフォームに搭載されて前記物体の挙動を予測するとともに、予測された挙動に応答してそれぞれのプラットフォームを前記物体へ導くプロセッサと、
    を備える探索システム。
  44. 前記プロセッサは、予測モデルを含むソフトウェアを実行する、請求項43に記載の発明。
  45. 前記モデルは一組の粒子の形態の確率分布を含む、請求項44に記載の発明。
  46. 前記モデルは、前記物体の前記挙動を反映するように前記粒子を移動させる、請求項45に記載の発明。
  47. 前記モデルは、複数のモデルを前記物体の各仮説アイデンティティ毎に1つずつ含む、請求項46に記載の発明。
  48. 前記モデルは、前記物体のロケーションに関する更新を受信するようになっている、請求項47に記載の発明。
  49. 前記モデルは、前記物体のアイデンティティに関する更新を受信するようになっている、請求項48に記載の発明。
  50. 前記更新は前記物体に関する確率情報を含む、請求項49に記載の発明。
  51. 前記更新の頻度又は入手可能性は不確定である、請求項50に記載の発明。
  52. 前記検出器は探索エリア内で導かれる、請求項43に記載の発明。
  53. 前記移動プラットフォームはロボットである、請求項52に記載の発明。
  54. 前記システムは複数のロボットを含む、請求項53に記載の発明。
  55. 前記モデルは、各ロボットを前記探索空間の一意のエリアを探索するように導くようになっている、請求項54に記載の発明。
  56. 前記モデルは、粒子の形態の確率分布を用いて、各ロボットを前記探索空間の一意のエリアを探索するように導くようになっている、請求項55に記載の発明。
  57. 前記モデルは、前記粒子を各探索機につき1つの群に分けるクラスタリング技法を用いて、各ロボットを前記探索空間の一意のエリアを探索するように導くようになっている、請求項56に記載の発明。
  58. 前記クラスタリング技法はK平均である、請求項57に記載の発明。
  59. 前記モデルは、ロボットを粒子群に一意に割り当てるようになっている、請求項57に記載の発明。
  60. 前記モデルは、ロボットを粒子群に、該ロボットの所定の特性を用いて各ロボットによって計算される方法で割り当てるようになっている、請求項57に記載の発明。
  61. 前記粒子の前記確率分布はクラスタである、請求項60に記載の発明。
  62. 前記ロボットの各々は、前記モデルにより選択されたそれぞれのクラスタを探索するように導かれる、請求項61に記載の発明。
  63. 各ロボットの各第3の手段は、その前記第1の手段を前記粒子の確率分布の質量中心へ導くようになっている、請求項62に記載の発明。
  64. 前記モデルは、各ロボットの前記検出器を、該モデルにより選択された前記クラスタ内の前記粒子のうちの選択された1つへ導くようになっている、請求項62に記載の発明。
  65. 各ロボットは、そのセンサ及び他の探索機のセンサにより観測される前記探索空間の前記エリアを表す粒子を除去する、請求項64に記載の発明。
  66. 前記除去された粒子の各々は、所定時間後に再び現れる、請求項64に記載の発明。
  67. 前記モデルは、各ロボットが関心物体に関して追加情報を得ると、その関心物体に関連する粒子の分布又は密度が、該新たな情報をより正確に表すように変更されるようになっている、請求項64に記載の発明。
  68. 前記粒子を用いて前記物体を追跡する手段を備える、請求項43に記載の発明。
  69. 他のロボットに関する更新を受信する手段をさらに備える、請求項53に記載の発明。
  70. 他の探索機の活動に関する更新の時間間隔において該他の探索機の活動をモデル化する手段をさらに備える、請求項69に記載の発明。
  71. 前記更新は、他の探索機のロケーションに関する情報を含む、請求項70に記載の発明。
  72. 前記更新は、他の探索機の現在の注視焦点に関する情報を含む、請求項70に記載の発明。
  73. 前記現在の注視点は、探索機の物理センサの対象領域である、請求項72に記載の発明。
  74. 前記更新は、他の探索機の前の注視点に関する情報を含む、請求項70に記載の発明。
  75. 前記更新は、他の探索機の速度に関する情報を含む、請求項74に記載の発明。
  76. 前記更新は、他の探索機の将来の移動に関する情報を含む、請求項75に記載の発明。
  77. 前記更新は、他の探索機により確認された物体の特性に関する情報を含む、請求項76に記載の発明。
  78. 前記挙動は、3Dの物理的な空間における移動である、請求項43に記載の発明。
  79. 前記挙動は、変化する観測可能な特性を伴う、請求項43に記載の発明。
  80. 前記挙動は、非物理的なデータ空間における移動である、請求項43に記載の発明。
  81. 関心物体を検出する検出器を設けるステップと、
    前記検出器からのデータを、前記物体の挙動を予測するためのモデルを用いて処理するステップと、
    前記モデルにより出力されるデータに応答して前記検出器を前記物体へ導くステップと、
    を含む探索方法。
JP2007521706A 2004-07-15 2005-07-15 複数の分散エレメントによる自動探索システム Expired - Fee Related JP4926958B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/892,747 US7908040B2 (en) 2004-07-15 2004-07-15 System and method for automated search by distributed elements
US10/892,747 2004-07-15
PCT/US2005/025332 WO2006020154A1 (en) 2004-07-15 2005-07-15 System and method for automated search by distributed elements

Publications (2)

Publication Number Publication Date
JP2008507049A true JP2008507049A (ja) 2008-03-06
JP4926958B2 JP4926958B2 (ja) 2012-05-09

Family

ID=35106917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007521706A Expired - Fee Related JP4926958B2 (ja) 2004-07-15 2005-07-15 複数の分散エレメントによる自動探索システム

Country Status (10)

Country Link
US (1) US7908040B2 (ja)
EP (1) EP1769297B1 (ja)
JP (1) JP4926958B2 (ja)
CN (1) CN100478819C (ja)
AU (1) AU2005274861B2 (ja)
BR (1) BRPI0513220B1 (ja)
CA (1) CA2569480C (ja)
IL (1) IL179502A (ja)
RU (1) RU2007105730A (ja)
WO (1) WO2006020154A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014059860A (ja) * 2012-07-18 2014-04-03 Boeing Co 複数ビークルに組織的なタスク割当を行うためのミッション再計画
KR101435729B1 (ko) 2009-09-28 2014-09-01 닛뽕소다 가부시키가이샤 함질소 헤테로 고리 화합물 및 그의 염, 그리고 농원예용 살균제
WO2021171374A1 (ja) * 2020-02-25 2021-09-02 日本電気株式会社 情報処理装置、情報処理方法、及びコンピュータ読み取り可能な記録媒体

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7908040B2 (en) * 2004-07-15 2011-03-15 Raytheon Company System and method for automated search by distributed elements
JP4812415B2 (ja) * 2005-11-30 2011-11-09 富士通株式会社 地図情報更新システム、中央装置、地図情報更新方法、及びコンピュータプログラム
US7912631B2 (en) * 2006-01-19 2011-03-22 Raytheon Company System and method for distributed engagement
US7668621B2 (en) * 2006-07-05 2010-02-23 The United States Of America As Represented By The United States Department Of Energy Robotic guarded motion system and method
US8073564B2 (en) 2006-07-05 2011-12-06 Battelle Energy Alliance, Llc Multi-robot control interface
US7974738B2 (en) 2006-07-05 2011-07-05 Battelle Energy Alliance, Llc Robotics virtual rail system and method
US8355818B2 (en) 2009-09-03 2013-01-15 Battelle Energy Alliance, Llc Robots, systems, and methods for hazard evaluation and visualization
US7587260B2 (en) * 2006-07-05 2009-09-08 Battelle Energy Alliance, Llc Autonomous navigation system and method
US7620477B2 (en) * 2006-07-05 2009-11-17 Battelle Energy Alliance, Llc Robotic intelligence kernel
US8965578B2 (en) 2006-07-05 2015-02-24 Battelle Energy Alliance, Llc Real time explosive hazard information sensing, processing, and communication for autonomous operation
US8271132B2 (en) 2008-03-13 2012-09-18 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots
US7211980B1 (en) 2006-07-05 2007-05-01 Battelle Energy Alliance, Llc Robotic follow system and method
US7801644B2 (en) * 2006-07-05 2010-09-21 Battelle Energy Alliance, Llc Generic robot architecture
US7584020B2 (en) * 2006-07-05 2009-09-01 Battelle Energy Alliance, Llc Occupancy change detection system and method
KR100855469B1 (ko) * 2006-09-13 2008-09-01 삼성전자주식회사 이동 로봇의 자세 추정 장치 및 방법
KR100809352B1 (ko) * 2006-11-16 2008-03-05 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
IL185124A0 (en) * 2007-08-08 2008-11-03 Wave Group Ltd A generic omni directional imaging system & method for vision, orientation and maneuver of robots
US8644225B2 (en) * 2007-11-19 2014-02-04 Telcordia Technologies, Inc. Method for determining transmission channels for a LPG based vehicle communication network
US9002642B2 (en) * 2008-06-04 2015-04-07 Raytheon Company Track prediction and identification via particle motion with intent
US8639396B1 (en) * 2008-10-08 2014-01-28 Raytheon Company Cooperative control of unmanned aerial vehicles for tracking targets
US20100155156A1 (en) * 2008-11-04 2010-06-24 Robotic Technology Inc. Energetically autonomous tactical robot and associated methodology of operation
US8199643B2 (en) * 2009-01-20 2012-06-12 Raytheon Company Optimization strategies for resource management and course of action analysis
US8265870B1 (en) * 2010-01-20 2012-09-11 Sandia Corporation Real-time method for establishing a detection map for a network of sensors
US8706298B2 (en) * 2010-03-17 2014-04-22 Raytheon Company Temporal tracking robot control system
TW201206244A (en) * 2010-07-21 2012-02-01 Hon Hai Prec Ind Co Ltd System and method for controlling searchlight
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US9043021B1 (en) 2011-01-03 2015-05-26 Brendan Edward Clark Swarm management
WO2013112907A1 (en) * 2012-01-25 2013-08-01 Adept Technology, Inc. Autonomous mobile robot for handling job assignments in a physical environment inhabited by stationary and non-stationary obstacles
ES2827192T3 (es) 2012-02-08 2021-05-20 Omron Tateisi Electronics Co Sistema de gestión de tareas para una flota de robots móviles autónomos
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
KR101748476B1 (ko) * 2012-04-11 2017-06-16 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 위협 평가 및 센서/무기 할당 알고리즘 테스트 및 분석 시스템
GB2505715B (en) * 2012-09-11 2015-12-30 Thales Holdings Uk Plc Sensor path optimisation method and system
US9633564B2 (en) 2012-09-27 2017-04-25 Google Inc. Determining changes in a driving environment based on vehicle behavior
US8949016B1 (en) 2012-09-28 2015-02-03 Google Inc. Systems and methods for determining whether a driving environment has changed
US9824596B2 (en) * 2013-08-30 2017-11-21 Insitu, Inc. Unmanned vehicle searches
US9933782B2 (en) * 2013-10-23 2018-04-03 Sikorsky Aircraft Corporation Locational and directional sensor control for search
CN103577602A (zh) * 2013-11-18 2014-02-12 浪潮(北京)电子信息产业有限公司 一种二次聚类方法及系统
US10363656B1 (en) * 2014-06-25 2019-07-30 Santa Clara University Multi-robot gradient based adaptive navigation system
US10754352B1 (en) * 2014-06-25 2020-08-25 Santa Clara University Multi-robot gradient based adaptive navigation system
US9321461B1 (en) 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9436187B2 (en) 2015-01-15 2016-09-06 The United States Of America As Represented By The Secretary Of The Navy System and method for decentralized, multi-agent unmanned vehicle navigation and formation control
US11188096B2 (en) * 2015-04-16 2021-11-30 Nec Corporation Control apparatus, control method, and storage medium
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
US9919427B1 (en) 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
KR101770265B1 (ko) * 2015-10-01 2017-09-05 한국과학기술원 고속 클러스터링 시스템 및 방법
US9858821B2 (en) * 2016-02-26 2018-01-02 Ford Global Technologies, Llc Autonomous vehicle passenger locator
US10365651B2 (en) * 2016-06-20 2019-07-30 Nutanix, Inc. Control system for autonomous locomotion devices
JP7044061B2 (ja) 2016-06-21 2022-03-30 日本電気株式会社 移動体、移動体制御システム、移動体制御方法、インターフェース装置、およびプログラム
WO2018075611A1 (en) 2016-10-18 2018-04-26 Apium Inc. Swarm communication method and device
CN106528752A (zh) * 2016-11-05 2017-03-22 刘剑豪 基于聚类数据挖掘的对抗行为搜索算法
JP7056580B2 (ja) 2016-12-07 2022-04-19 日本電気株式会社 制御装置、制御方法およびプログラム
JP2019059004A (ja) * 2017-09-28 2019-04-18 セイコーエプソン株式会社 ロボットシステム
JP7052305B2 (ja) * 2017-11-13 2022-04-12 トヨタ自動車株式会社 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム
JP7091723B2 (ja) * 2018-03-07 2022-06-28 株式会社豊田中央研究所 制御装置、移動体、自律分散制御プログラム
JP7070673B2 (ja) * 2018-05-09 2022-05-18 日本電気株式会社 自律動作機の制御装置、自律動作機の制御方法、及び、自律動作機の制御プログラム
WO2020136850A1 (ja) 2018-12-27 2020-07-02 日本電気株式会社 制御装置、フォーメーション決定装置、制御方法およびプログラム
CN111265874B (zh) * 2020-01-20 2023-04-14 网易(杭州)网络有限公司 游戏中目标物的建模方法、装置、设备及存储介质
US20210287556A1 (en) * 2020-03-13 2021-09-16 Electronics And Telecommunications Research Institute Method and apparatus for generating optimal path for an unmanned aerial vehicle
CN114089763B (zh) * 2021-11-19 2024-03-08 江苏科技大学 用于海底光缆铺设的多水下机器人编队与避碰控制方法
US20230280766A1 (en) * 2022-03-01 2023-09-07 Rockwell Collins, Inc. High fidelity teammate state estimation for coordinated autonomous operations in communications denied environments
CN114827138A (zh) * 2022-03-28 2022-07-29 中国电子科技集团公司第五十四研究所 一种基于全局信息的群体分布式协商方法
CN117250996B (zh) * 2023-11-20 2024-02-09 中国人民解放军海军工程大学 一种无人集群对可移动目标的搜索方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08204178A (ja) * 1995-01-23 1996-08-09 Toshiba Corp シミュレーション方法
JPH09245018A (ja) * 1996-03-13 1997-09-19 Toshiba Corp 粒子シミュレーション方法
JP2000122521A (ja) * 1998-10-14 2000-04-28 Makoto Morishita 拡散現象シミュレータ、拡散現象解析システム、拡散現象のシミュレーション方法および記憶媒体
JP2002286838A (ja) * 2001-03-28 2002-10-03 Mitsubishi Electric Corp 目標追尾装置及び目標追尾方法
JP2003515210A (ja) * 1999-11-18 2003-04-22 ザ プロクター アンド ギャンブル カンパニー 家庭用清掃ロボット
WO2003096054A2 (en) * 2002-05-10 2003-11-20 Honda Giken Kogyo Kabushiki Kaisha Real-time target tracking of an unpredictable target amid unknown obstacles
JP2004133882A (ja) * 2002-05-10 2004-04-30 Royal Appliance Mfg Co 自律性マルチプラットフォーム・ロボットシステム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4763276A (en) * 1986-03-21 1988-08-09 Actel Partnership Methods for refining original robot command signals
US5285380A (en) 1991-08-07 1994-02-08 Hughes Aircraft Company System and method for processing commands from a plurality of control sources
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
JPH05297947A (ja) 1992-04-21 1993-11-12 Mitsubishi Electric Corp 多目標追尾装置
US5323470A (en) 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
US5387993A (en) * 1993-06-25 1995-02-07 Precision Tracking Fm, Inc. Method for receiving and transmitting optical data and control information to and from remotely located receivers and transmitters in an optical locator system
EP0770967A3 (en) 1995-10-26 1998-12-30 Koninklijke Philips Electronics N.V. Decision support system for the management of an agile supply chain
US5801970A (en) * 1995-12-06 1998-09-01 Martin Marietta Corporation Model-based feature tracking system
US5940816A (en) 1997-01-29 1999-08-17 International Business Machines Corporation Multi-objective decision-support methodology
US6445308B1 (en) * 1999-01-12 2002-09-03 Toyota Jidosha Kabushiki Kaisha Positional data utilizing inter-vehicle communication method and traveling control apparatus
US6415274B1 (en) 1999-06-24 2002-07-02 Sandia Corporation Alpha-beta coordination method for collective search
AU2001264662A1 (en) * 2000-05-17 2001-11-26 Abraham E. Karem Intuitive vehicle and machine control
US6751661B1 (en) 2000-06-22 2004-06-15 Applied Systems Intelligence, Inc. Method and system for providing intelligent network management
US6507771B2 (en) * 2000-07-10 2003-01-14 Hrl Laboratories Method and apparatus for controlling the movement of a plurality of agents
US6799087B2 (en) * 2000-07-10 2004-09-28 Hrl Laboratories, Llc Method and apparatus for providing agent swarm dispersal and separation by directed movement
US6580979B2 (en) * 2000-07-10 2003-06-17 Hrl Laboratories, Llc Method and apparatus for terrain reasoning with distributed embedded processing elements
JP2004532475A (ja) * 2001-05-15 2004-10-21 サイコジェニックス・インコーポレーテッド 行動情報工学を監視するシステムおよび方法
US7085694B2 (en) * 2001-10-22 2006-08-01 Sandia Corporation Apparatus and method for interaction phenomena with world modules in data-flow-based simulation
JP3968501B2 (ja) * 2001-11-30 2007-08-29 ソニー株式会社 ロボットの自己位置同定システム及び自己位置同定方法
US7305467B2 (en) * 2002-01-02 2007-12-04 Borgia/Cummins, Llc Autonomous tracking wireless imaging sensor network including an articulating sensor and automatically organizing network nodes
US7379887B2 (en) 2002-01-31 2008-05-27 Accenture Global Services Gmbh Integrated decision support system for optimizing the training and transition of airline pilots
US6687606B1 (en) 2002-02-21 2004-02-03 Lockheed Martin Corporation Architecture for automatic evaluation of team reconnaissance and surveillance plans
US20040134337A1 (en) 2002-04-22 2004-07-15 Neal Solomon System, methods and apparatus for mobile software agents applied to mobile robotic vehicles
US20040006424A1 (en) * 2002-06-28 2004-01-08 Joyce Glenn J. Control system for tracking and targeting multiple autonomous objects
US7360201B2 (en) 2002-12-09 2008-04-15 International Business Machines Corporation Automated analysis and identification of options in project management
US7177737B2 (en) 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
US6952646B2 (en) * 2003-05-14 2005-10-04 Chang Industry, Inc. Tracking device and associated system and method
US6910657B2 (en) * 2003-05-30 2005-06-28 Raytheon Company System and method for locating a target and guiding a vehicle toward the target
US20060161405A1 (en) * 2004-06-04 2006-07-20 Munirajan Vignesh K Methods for locating targets and simmulating mine detection via a cognitive, swarm intelligence-based approach
US7908040B2 (en) * 2004-07-15 2011-03-15 Raytheon Company System and method for automated search by distributed elements
US7765062B2 (en) * 2006-04-25 2010-07-27 Honeywell International Inc. Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08204178A (ja) * 1995-01-23 1996-08-09 Toshiba Corp シミュレーション方法
JPH09245018A (ja) * 1996-03-13 1997-09-19 Toshiba Corp 粒子シミュレーション方法
JP2000122521A (ja) * 1998-10-14 2000-04-28 Makoto Morishita 拡散現象シミュレータ、拡散現象解析システム、拡散現象のシミュレーション方法および記憶媒体
JP2003515210A (ja) * 1999-11-18 2003-04-22 ザ プロクター アンド ギャンブル カンパニー 家庭用清掃ロボット
JP2002286838A (ja) * 2001-03-28 2002-10-03 Mitsubishi Electric Corp 目標追尾装置及び目標追尾方法
WO2003096054A2 (en) * 2002-05-10 2003-11-20 Honda Giken Kogyo Kabushiki Kaisha Real-time target tracking of an unpredictable target amid unknown obstacles
JP2004133882A (ja) * 2002-05-10 2004-04-30 Royal Appliance Mfg Co 自律性マルチプラットフォーム・ロボットシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435729B1 (ko) 2009-09-28 2014-09-01 닛뽕소다 가부시키가이샤 함질소 헤테로 고리 화합물 및 그의 염, 그리고 농원예용 살균제
JP2014059860A (ja) * 2012-07-18 2014-04-03 Boeing Co 複数ビークルに組織的なタスク割当を行うためのミッション再計画
WO2021171374A1 (ja) * 2020-02-25 2021-09-02 日本電気株式会社 情報処理装置、情報処理方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
WO2006020154A1 (en) 2006-02-23
EP1769297B1 (en) 2016-08-17
IL179502A (en) 2012-06-28
BRPI0513220A (pt) 2008-04-29
CN1985223A (zh) 2007-06-20
US7908040B2 (en) 2011-03-15
CA2569480C (en) 2012-02-21
BRPI0513220B1 (pt) 2018-02-14
CN100478819C (zh) 2009-04-15
US20060015215A1 (en) 2006-01-19
RU2007105730A (ru) 2008-08-20
JP4926958B2 (ja) 2012-05-09
AU2005274861B2 (en) 2010-12-23
CA2569480A1 (en) 2006-02-23
IL179502A0 (en) 2007-05-15
EP1769297A1 (en) 2007-04-04
AU2005274861A1 (en) 2006-02-23

Similar Documents

Publication Publication Date Title
JP4926958B2 (ja) 複数の分散エレメントによる自動探索システム
Khan et al. Cooperative robots to observe moving targets
Tang et al. Motion planning for multitarget surveillance with mobile sensor agents
Khaleghi et al. A DDDAMS-based planning and control framework for surveillance and crowd control via UAVs and UGVs
Zhao et al. Systemic design of distributed multi-UAV cooperative decision-making for multi-target tracking
Jung et al. Cooperative multi-robot target tracking
Huang et al. A human decision-making behavior model for human-robot interaction in multi-robot systems
Akagi et al. Gesture commands for controlling high-level UAV behavior
Frew et al. Target assignment for integrated search and tracking by active robot networks
Peterson et al. Simulation-based examination of the limits of performance for decentralized multi-agent surveillance and tracking of undersea targets
Pereira Optimal control problems in drone operations for disaster search and rescue
Tian et al. Multi-step look-ahead policy for autonomous cooperative surveillance by UAVs in hostile environments
Farid et al. Effective UAV patrolling for swarm of intruders with heterogeneous behavior
Collins et al. A UAV routing and sensor control optimization algorithm for target search
Mishra et al. Dynamic resource management and information integration for proactive decision support and planning
Berini et al. A new static path planning strategy for drones
Jin et al. Cooperative real-time task allocation among groups of UAVs
Khan Coordinated unmanned aerial vehicles for surveillance of targets
Ubaid et al. UAVs Path Planning Using Visual-SLAM Technique Based Hybrid Particle Swarm Optimization
Kimura et al. Prediction of moving obstacles utilizing edge-cloud cooperation based on probabilistic representation of space
Wang et al. Marine Trash Collection: A Multi-Agent, Multi-Target Search
Si et al. Distributed Cooperative Search Based on DRH-NSGA Under Communication Constraint
Sharma Mobility, Traffic Models, and Network Management for Internet of Unmanned Things by Using Artificial Intelligence
Farmani Optimal cooperative sensing using multiple sensor platforms
Yousuf et al. 3D exploration-based search for multiple targets using a UAV

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110112

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110210

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110310

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110721

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4926958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees