JP2018522302A - 個人用感覚ドローン - Google Patents

個人用感覚ドローン Download PDF

Info

Publication number
JP2018522302A
JP2018522302A JP2017553408A JP2017553408A JP2018522302A JP 2018522302 A JP2018522302 A JP 2018522302A JP 2017553408 A JP2017553408 A JP 2017553408A JP 2017553408 A JP2017553408 A JP 2017553408A JP 2018522302 A JP2018522302 A JP 2018522302A
Authority
JP
Japan
Prior art keywords
drone
drones
group
drone group
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017553408A
Other languages
English (en)
Other versions
JP6863555B2 (ja
Inventor
ラッファ、ジュゼッペ
ジェイ. アンダーソン、グレン
ジェイ. アンダーソン、グレン
エム. ダルハム、レニトラ
エム. ダルハム、レニトラ
ベックウィス、リチャード
ユェン、キャシー
エカンデム、ジョシュア
シェルマン、ジェイミー
モシュコヴィッツ、アリエル
ベン−シャロム、オマール
ヒーレイ、ジェニファー
ブラウン、スティーヴ
ガイダー、タマラ
ゴヴェゼンスキー、ヨシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2018522302A publication Critical patent/JP2018522302A/ja
Application granted granted Critical
Publication of JP6863555B2 publication Critical patent/JP6863555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0202Control of position or course in two dimensions specially adapted to aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0043Traffic management of multiple aircrafts from the ground
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

個人用感覚ドローンのための様々なシステムおよび方法が、本明細書で説明される。個人用感覚ドローンシステムは、少なくとも2つのドローンを含むドローン群が実行すべきタスクをドローン群に送信するタスクモジュールと、タスクに関連するドローン群からの情報を受信するトランシーバと、ドローン群から受信された情報に基づきユーザインタフェースを提示するユーザインタフェースモジュールとを有するドローンリモートコントロールシステムを含む。

Description

[優先権出願]
本願は、2015年6月25日に出願された米国出願第14/750,803号に対する優先権に基づく利益を主張し、その全体が参照により本明細書に組み込まれる。
本明細書で説明される実施形態は概して、感覚増大のデバイスに関し、特に個人用感覚ドローンに関する。
航空ドローンまたは無人航空機(UAV)は、近年コンポーネントコストの低減および関心の増加に起因してより普及してきている。量産および小型化がドローン技術を引き続き進化させ、より多くの能力を有するより小さく、軽量のドローンを作り出している。偵察、国境パトロール、作物調査、映画制作、捜索および救助活動、および小包配達を含む複数の軍事および民間の用途が開発されている。
必ずしも縮尺通りには描かれていない図面において、同様の参照番号は、類似のコンポーネントを異なる図で説明し得る。異なる添字が付いた同様の参照番号は、類似のコンポーネントの異なる例を表し得る。いくつかの実施形態は、添付図面の図において限定ではなく、例として示される。
一実施形態によるドローンおよびリモートコントロールシステムのコンポーネントを示す図である。
一実施形態による動作中の制御およびデータフローを示すフローチャートである。 一実施形態による動作中の制御およびデータフローを示すフローチャートである。 一実施形態による動作中の制御およびデータフローを示すフローチャートである。
一実施形態によるドローンの動作を示す図である。
一実施形態による個人用感覚ドローンシステムを示すブロック図である。
一実施形態による個人用感覚ドローンシステムを実装する方法を示すフローチャートである。
例示的な実施形態による、本明細書で述べられる技術(例えば、方法論)の任意の1または複数が実行し得る例示的な機械を示すブロック図である。
本明細書で説明されるシステムおよび方法は、個人用感覚ドローンのためのシステムを提供する。ドローンおよび他のロボットは、監視およびセキュリティから輸送、災害援助、ワークタスク、軍事用途などまでの多くの態様において、生活を妨害し得る新しい技術を構成する。多くの人々は、リモート検知能力を可能にするドローンから恩恵を受け得る。例えば、視覚障害、移動の課題または聴覚の問題を有する人々は、ドローンによって提供するリモート検知から恩恵を受ける場合がある。
本開示は、自律型無人機の動作の改善を述べる。ユーザに対して個人的であるドローンが、ユーザにコンテンツを提供すべく群にて、または個別に使用され得る。群において、ドローンは、ユーザに統合された感覚環境を提供すべく、同期され得る。例えば、複数のドローンは、まるでそれらが単一のフィードであったかのようにユーザがビデオフィードを眺め得るために映像を縫い合わせ得る。ユーザは、対象またはシーンの広角度のビュー(例えば、360度のビュー)を経験すべく、仮想現実ヘッドセットまたは他のパノラマビジョンシステムを有し得る。あるいは、複数のドローンが、異なるビューの間で切り替わり得、または集合ディスプレイにおいて並んだ複数のビューを経験し得るユーザに様々な視界(FOV)、視点またはビデオフィード(例えば、赤外線および可視光のビュー)を提供するために使用され得る。同様のメカニズムが、聴覚、触覚または臭覚などの他の感覚に対して提供され得る。ドローンはまた、ユーザがドローンにより持ち帰られた臭覚および触覚の表示を有し得るように、リモート検知の形態を可能にし得る。これはまた、関心対象までユーザが歩いていくのを妨げる移動の問題を有するユーザを支援し得る。事実上、個人用ドローンは、ユーザの感覚を増大し得る。
図1は、実施形態によるドローン100およびリモートコントロールシステム102のコンポーネントを示す図である。ドローン100はまた、地上配備、海上ビークル、無人航空機(UAV)等であり得る半自律的ビークルまたはロボットと呼ばれ得る。検討目的で、本明細書で述べられるドローン100は、無人航空機(UAV)である。リモートコントロールシステム102は、1または複数のユーザに1または複数のユーザインタフェース(UI)を提示し得、ドローン100を制御するために使用され得る。例えば、UIは、エリアのマップを表示し得、ユーザがドローン100がついて行くことができるウェイポイントを選択するのを可能にし得る。リモートコントロールシステム102とドローン100との間の通信は、双方向である。それにより、ドローン100により取り込まれた画像および他の情報は、ユーザへの表示のためにリモートコントロールシステム102に送信し戻され得、ユーザは次に、追加コマンドまたは他のパラメータ変更に応答し得る。
ドローン100は、飛行モジュール104、飛行ハードウェア106、飛行マップ108、センサアレイ110および通信サブシステム112を含む。ドローン100は、リモートコントロールシステム102から受信されたコマンドに基づき半自律的に動作し得る。例えば、ドローン100が目的地(例えば、GPS座標および所望の高度など)を含むナビゲーションコマンドを受信した場合、ドローン100はさらなるユーザ入力なしで目的地まで移動し得る。ドローン100はまた、例えば、ディスプレイまたはスピーカなどの出力デバイス124を含み得る。
飛行ハードウェア106は、ドローン100を推進、あるいは移動させるドローン100のコンポーネントを含む。例えば、クワッドロータ・ヘリコプタUAV(クワッドコプタとしても知られる)のための飛行ハードウェア106は、4つのプロペラを含み得る。飛行ハードウェア106は、ドローン100のタイプ(例えば、地上ベースユニットのための機構)に応じて変わり得る。飛行ハードウェア106はまた、GPS受信機を含み得る。GPS受信機は、ディファレンシャルGPS(DGPS)またはリアルタイムキネマティック(RTK)GPSが可能であり得る。飛行ハードウェア106はまた、少なくとも1つの処理装置(例えば、中央処理装置、グラフィカルプロセッサまたは特定用途向け集積回路)を含み得る。処理装置は、ドローン100の本明細書で説明される機能を実行すべく、ドローン100上に格納されるソフトウェアを実行し得る。
飛行マップ108は、そしてそのことは、道路、アリーナ席、観客スタンド、ステージ、フィールド、競技面等を含み得る地理的エリアを表すデータおよび、これらの地理的エリアの様々な特徴のGPS座標を含み得る。飛行マップ108は、地理的エリアの高度データを含む。データはまた、例えば、橋、セルタワーなどの人工物の位置データを含み得る。さらに、飛行マップ108は、これらに限定されないが、レストラン、会社、ガソリンスタンド、スタジアム、ゴルフ場などを含む関心地点(POI)位置のデータベースを含み得る。飛行マップ108は、ドローン100が半自律的または完全自律的な状態において動作するのを可能にする追加の地理的、構造的またはロジスティックな詳細を含み得ることが理解される。複数のドローン100がタスクを実行するために使用された場合、飛行マップ108は、各ドローン100がカバレッジを増加して衝突の可能性を低減するように、カバレッジが割り当てられる区域を含み得る。
センサアレイ110は、1または複数のセンサを含む。センサアレイ110により取り込まれたデータは、ナビゲーション中のドローン100により内部で、またはドローン100の操作者により外部で使用され得る。センサは、これに限定されないが、温度センサ、圧力センサ、電気光学センサ、赤外線センサ、深度カメラ、カメラアレイ、マイクロフォンアレイ、ジャイロスコープ、加速度計、近接センサ、マイクロフォンおよび磁力計を含み得る。
様々な例において、ドローン100の自律的な移動は、飛行モジュール104と、センサアレイ110、飛行ハードウェア106および飛行マップ108のうちの1または複数とを用いて達成される。一例において、飛行モジュール104は、衝突検出ロジックを含む。この目的に向けて、センサアレイ110の近接センサの測定値は、ドローン100が対象(例えば、壁または別のドローン)にどのくらい接近しているかの判断に使用され得る。一例において、(センサ測定値と組み合わせて)飛行マップ108に格納されるデータは、対象を避けるために使用される。例えば、ドローン100は、ある場所に向かう前に、背の高い建物(例えば、セルタワー、建物)の既知の位置の周りを航行し得、または十分な高さまで飛び得る。地上ベースのドローン100の場合は、ドローン100は、水、穴等を有する既知のエリアを避け得る。
飛行モジュール104はまた、対象との衝突を避けるべく、電気光学または赤外線センサを用いて取得される画像データを利用し得る。例えば、飛行モジュール104は、移動中にドローン100の経路にある対象を分類すべく、パターンマッチングアルゴリズムを用いて画像データを分析し得る。
飛行モジュール104はまた、位置決め、飛行パターン、カメラ角度、センサ構成およびドローン群として共に行動している複数のドローンの間でのドローン操作の他の態様を調整するために使用され得る。図1は、単一のドローン100を示すが、複数のドローン100が、ユーザにより割り当てられるタスクを完了すべく共に行動し得ることが理解される。群におけるドローンの間での調整は、群におけるドローンの組み合わせ(例えば、共同計算)により、または群のマスタードローン(例えば、中央計算)により自律的に実行され得る。
通信サブシステム112は、1または複数のネットワークを通じてリモートコントロールシステム102と通信すべく、1または複数の受信機、送信機またはトランシーバを含む。一例において、制御命令は、ネットワーク接続(例えば、ネットワーク114)を通じて通信サブシステム112により受信される。制御命令は、ドローン100のための次の行動方針が何であるかを示し得る。例えば、制御命令は、ナビゲーション命令、一般指示または他の構成設定であり得る。通信サブシステム112は、飛行モジュール104が命令を実装するポイントにて、飛行モジュール104に制御命令を中継し得る。
ネットワーク114は、ドローン100をリモートコントロールシステム102と通信可能に接続する。ネットワーク114は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、無線ネットワーク(例えば、802.11またはセルラネットワーク)、公衆交換電話網(PSTN)ネットワーク、アドホックネットワーク、セルラー、パーソナルエリアネットワークもしくはピアツーピア(例えば、ブルートゥース(登録商標)、Wi−Fi(登録商標)ダイレクト)、またはネットワークプロトコルおよびネットワークタイプの他の組み合わせまたは順列を含み得る。ネットワーク114は、例えば、インターネットなどの単一のローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、あるいはLANまたはWANの組み合わせを含み得る。ネットワーク114は、リモートコントロールシステム102とドローン100との間に安全な、暗号化された、または専有の接続を提供し得る。
リモートコントロールシステム102は、スタンドアロンデバイスまたは別のデバイスの一部であり得る。リモートコントロールシステム102は、リモートコントロールアプリケーション、タブレット、ウェアラブルデバイス(例えば、スマートグラス)、二重スティックレイアウトおよびディスプレイを有する送信機、ラップトップなどを実行するスマートフォンであり得る。リモートコントロールシステム102は、例えば、ユーザへの視覚フィードバックおよびドローン100へのカメラベースの制御を提供するためのスマートグラス、ドローン100からのユーザ触感フィードバックを提供するためのeテキスタイルグローブなどのデバイスの組み合わせであり得る。eテキスタイルグローブは、様々な実施形態において、可能性のある関心対象を指し示すために、または別のユーザ入力デバイスとして使用され得る。リモートコントロールシステム102はまた、1または複数のコアを含む少なくとも1つの処理装置(例えば、中央処理装置、グラフィカルプロセッサ、特定用途向け集積回路)を含み得る。少なくとも1つの処理装置は、本明細書に説明される機能を実行すべく、リモートコントロールシステム102上に格納されるソフトウェアを実行し得る。
リモートコントロールシステム102は、ディスプレイデバイス116、コントロールユーザインタフェース118、制御モジュール120および通信サブシステム122を含む。ディスプレイデバイス116は、コントロールユーザインタフェース118を提示するリモートコントロールシステム102上のディスプレイである。コントロールユーザインタフェース118は、ユーザがドローンの(ドローン群の)操作を構成するのを可能にすべく、様々な入力制御を含み得る。様々なパラメータまたは設定は、これに限定されないが、検索パラメータ、フィート(footage)特性および他の設定を含み、コントロールユーザインタフェース118を介してユーザにより構成され得る。
検索パラメータは、対象、人々または経路を見つけるためにドローン100により使用される。検索パラメータは、地理的位置(例えば、GPS座標)、ウェイポイント、経路、避けるべき危険のタイプ、見つけるべきビジネスのタイプなどを含み得る。検索パラメータは、特定のタスクまたはタスクのタイプに限定され得る。例えば、タスクは、木の茂ったトレイルをジョギングするために外出しているユーザのために前方の偵察を行うことであり得る。タスク中、ドローン100は、ユーザに任意の危険をアラートするためにユーザの先に立ってトレイルを偵察すべく、他のドローン100と共に使用され得る。このタイプのタスクに対する危険は、トレイルの倒木、ぬかるみまたは洪水エリア、およびトレイルの流されたエリアに限定され得る。
フィート特性は、画素の解像度、対象の視点の数、ストレージ選好(例えば、ファイルタイプ、ストレージ位置、保持ポリシーなど)、画像または映像の質(例えば、標準の解像度または高解像度)、画像/映像データを局所的に格納するか、またはそれをユニキャストもしくは放送するか、あるいは取り込まれている画像または映像の他の態様を含み得る。
ユーザ入力は、コントロールユーザインタフェース118上のタッチ入力、音声入力、リモートコントロールシステム102上方のハンドジェスチャ、または(例えば、二重ステックコントロールを用いた)リモートコントロールシステム102の物理移動または操作を含み得る。入力の検出は、例えば、加速度計、マイクロフォン、ジャイロスコープまたはカメラなどの、リモートコントロールシステム102(図示せず)の1または複数のセンサを用いて達成され得る。ユーザ入力が検出された場合、制御モジュール120は、ドローン100のための制御命令を取得し得、次に通信サブシステム122を用いてネットワーク接続114を通じてドローン100に制御命令を送信し得る。
動作中に、ドローン100は、様々なタスクのために構成され得る。タスクは、ユーザの感覚の1または複数を増大するように一般に設計される。タスクは、2つのタイプ、すなわちアシストされるナビゲーションおよび検査へと広くグループ化され得る。アシストされるナビゲーションタスクは、ユーザがあるメカニズムにより進行または移動している場合のタスクであり、ドローン100またはドローン群は、障害、危険、またはユーザの通行を遅延させ得る、または拒否し得る他の事態に備えてユーザの経路を偵察することによりナビゲーションでユーザをアシストするために使用される。都市事情において、物理環境は、様々な要素に起因して、天気、自動車事故、建築および他の事象に起因して絶えず変化する。これらの変化は、グローバルマップと比較して比較的小さいエリアにおいて発生し得る。ドローンは、細かい分解能(例えば、ストリートレベル、ブロックごとなど)にてローカライズされた、ライブデータを提供するために使用され得る。
様々な例において、ドローン100は、地理的領域が経時的にどのように変化しているかを判断すべく画像データベース内のデータを分析する。例えば、多くの事態が、地理的領域を変化させる場合がある。これらの変化は、環境変化、インフラストラクチャーの変化および交通危険度を含む複数の方法において分類され得るが、これらに限定されない。いくつかの場合には、変化は、複数のカテゴリを有し得る。環境変化は、例えば、泥流、地滑り、トルネード、洪水、雪崩、干ばつなどの天気に起因した変化を含み得る。インフラストラクチャの変化は、例えば、橋の劣化、家の火事、倒壊した建物などの人工建築物の変化を含み得る。交通危険度は、交通パターンの変化(例えば、多い交通量)、道路障害(例えば、道路上の残骸)または野生生物が道路上にいることに起因する通行可能な道路の変化に由来し得る。他のカテゴリも、本開示の範囲から逸脱することなく使用され得る。
一例として、ユーザは、でこぼこの舗道がある都市環境において、太陽が完全に昇る前の朝早くにランニングを始める場合がある。ドローン100は、ユーザの前方の可能性のあるつまずく危険性を検出し、例えば、ブルートゥース(登録商標)ヘッドセット、フィットネスウォッチ、スマートフォンなどのユーザのウェアラブルデバイスに聴覚または触覚アラートを送信するように構成され得る。ドローン100はまた、ユーザのルート上で障害物量が最も少ないのはどこかを検出すべく、様々なルート間で選択しているときに前方を偵察し得、そのことは、予め設定または動的に決定され得る。障害は、ペットを散歩に連れている人々、非常に混雑した通り、建設工事、一時的な閉鎖および他の一時的な力であり得る。
別の例として、接続が限定される屋外の状況において、ユーザは、トレイルランニングを始める前にナビゲーションを提供するドローン100にマップをダウンロードし得る。オフトレイル状況において、ドローン100は、例えば、ぐらぐらした岩または崖っぷちなどの可能性のある危険および通行不能な状態からユーザを遠ざけるように導くべく、ユーザの前方に移動するように構成され得る。ドローン100はまた、より頻繁に使用されるトレイルに戻るようにユーザに指図するために使用され得る。ドローン100は、困難な地形(例えば、峡谷またはクレバス)を越えて実行可能なルートを特定することにより状況において役立ち得る。登山者およびトレイルハイカーは多くの場合、取るべき最良のルートを知ることができないので、このタイプの偵察は現実の課題である。また、天気または時間に起因して、状況が警告なく急に変わり、既知のルートが突然通行不能になる場合がある。この場合に、リアルタイムの偵察は、非常に役立つ。
他のタイプの一般タスクは、検査タスクである。検査タスクは、人が、単一のドローン100またはドローン群を用いて、対象、人または物事を遠隔から検査するのを可能にするように設計される。視覚、聴覚、触覚または臭覚を含む様々なタイプの検査が、提供され得る。ユーザは、様々なユーザ制御を用いてドローン100またはドローン群を特定の対象、人または物に向け得る。一例において、ユーザは、コントロールユーザインタフェース118上でドローン100により検査されるべき対象/エリアをタッチすることにより視覚および/または音声記録のために、カバーすべき対象/エリアをドローン100に示すことが可能である。ユーザは、検査すべき場所または位置をユーザが示し得るマップを提示され得る。あるいは、ユーザは、カメラのビューア内の対象をフレーム化すべく、リモートコントロールシステム100上のカメラを使用し得、ドローン100は、関心対象を判定するために対象認識技術を使用し得、対象認識技術は、位置/方向センサまたはアイトラッキングにより支援され得る。一実施形態において、ドローン100からの出力の視点は、ユーザの視覚または聴覚による視点と相互に関連付けられ得る。これは、ユーザの注視の方向またはドローン100により記録中である環境の音に対する相対位置を判定すべく、例えば、アイトラッカー、ヘッドマウント型コンパスまたはヘッドマウント型マイクロフォンアレイの1または複数を着用したユーザにより可能とされ得る。ドローン100は、ドローン群の出力デバイス124を介して、環境における視覚または聴覚ソースに対するユーザの視点と相互に関連するプレゼンテーションを提供し得る。
一度関心対象が特定され、ドローン100またはドローン群に送信されると、ドローン100は、関心対象の画像データ、音声データ、触覚データ、臭覚データを取り込むべく、9自由度があるセンサ110(加速度計、ジャイロスコープおよび磁力計)、対象認識および他のイメージング技術を活用し得る。ドローン群は、航空ドローンにとって困難である場合があるカメラアングルを取得し得る地上(陸上)ロボットを含み得、逆もまた同様である。また、ドローン群におけるいくつかのドローンは、ドローン群の他のドローンが持たない別個のまたは特定のセンサを有し得る。これは、単一のドローン上のペイロード容量もしくはバッテリ制限、または他の動作上の制限に起因し得る。ドローン群、リモートコントロールシステム102または別のシステムは、ドローン群からの複数の入力ストリームを調整し得る。
図2〜図4は、一実施形態による動作中の制御およびデータフローを示すフローチャートである。状態202において、ユーザおよびドローン間のインタラクションが開始する。ユーザは、誘導のために移動経路を選択し、ドローンを起動する(操作204)。ユーザは、アラート選好、例えば、ドローンが、駐車場、でこぼこの舗道、ドーナツ店などのうち何をユーザにアラートすべきかを選択する(操作206)。ドローンは、配置につき(操作208)、エリアをスキャンし始める。決定ブロック210にて、より多くのドローンが必要とされるかどうかが判定される。これは、より細かいレベルの粒度を必要とすること、ほとんどリアルタイムで広大なエリアをスキャンする必要があること、または他のセンサ、カメラの視点、または動作モードをドローン群の機能へともたらす必要があることに起因し得る。追加のドローンが必要とされる場合、決定ブロック212にて、配備されるべき追加のドローンが存在するかどうかが判定される。ドローンは、共同体のプールまたは個人用のプールにより供給され得る。共同体は、例えば、住民にドローンを提供し得る。そうでない場合、一般市民は、種々の状況において使用されるドローン隊を所有および操作し得る。あるいは、個人用および公共のドローンが補充され、共に作業し得る。
利用可能な追加のドローンが存在する場合、操作214において、追加のドローンが配備され、ドローン群は飛行経路を調整する。この調整は、共同計画または分散計画を用いて実行され得る。共同計画は、ドローン群におけるドローンの間で、各々のドローンがその位置、飛行経路、残存するバッテリ寿命、現在のタスクまたはサブタスク、機能(例えば、利用可能センサ)、方向センサが向いていることなどを、群における他のドローンと共有することにより、実行され得る。互いの能力、位置および他の要素に基づき、各々のドローンは、ある行動または一連の行動を取るように知的に決定し得る。ドローンがある行動または一連の行動を取るように決定した場合、ドローンは、群における他のドローンに知らせ得、そのことは、他のドローンが実行し得る係属中または利用可能な行動に影響し得る。
あるいは、分散ドローン計画スキームにおいて、単一のドローン(または、ユーザ)は、群におけるドローンごとにタスクまたはサブタスクを特定し得る。分散ドローン計画および制御は、使用される通信および制御ルーチンの低減に起因して実装することがより容易であり得るが、別のタスク(例えば、トレイルランニング)に集中したいユーザのための制御は維持しにくい場合がある。従って、様々な設定モードが、様々なユーザベースに対して提供され得る。
共同か、分散のどちらかの計画スキームにおいて、1つのドローンの機能が停止した(例えば、低バッテリ、衝突に起因して破損したなどの)場合、別のドローンまたは複数のドローンが機能停止されたドローンの代理を務め得る。機能停止されたドローンの責任は、ドローン群における残りのドローンの間で分散され得、または、新しいドローンが、機能停止されたドローンと取り替えるべく呼び入れられ得る。センサデータ、画像、映像または他の情報は、情報を保持し、情報をユーザに通信すべく、機能停止されたドローンからドローン群における1または複数のドローンに伝達され得る。
操作216で、経路は、ユーザの経路のために十分なカバレッジが存在することを確実にすべく最適化される。単一のドローンに対して、カバレッジは、例えば、15度カバレッジの前方コーンなどの比較的狭いコーンであり得る。より多くのドローンに対して、より広い前方コーンがカバーされ得る。十分な数のドローンに対して、全360度のカバレッジがユーザの前方および後方の方向を偵察すべく提供され得、ユーザが接近している危険(例えば、前方のトレイルを閉鎖している落石)および後ろから接近している危険(例えば、後ろから接近しているトレイル上のバイカー)をユーザにアラートし得る。
周期的または定期的に、ドローンは、タスクが完了したどうかを判定する(決定ブロック218)。タスクが完了した場合、ドローンは、再充電する、またはユーザもしくは別のユーザに対する新たな配備に利用可能にすべく、基地に戻る(操作220)。タスクがまだ完了してない場合、ドローン(または、複数のドローン)はタスクをそのまま続け(操作222)、フローは206に戻る。そこで、パラメータが再チェックされ、タスクの新たな態様を定義するために使用され得、そのことはより多いまたはより少ないドローンの使用を含み得る。
図3および図4は、複数の実施形態によるドローン制御およびデータフローを示す。図3において、ユーザが、移動経路を選択した場合(操作204)、マップアプリケーションプログラミングインタフェース(API)が起動され、ドローンに情報を提供する(操作302)。ドローンは、ユーザ移動を予測し、予測されるユーザ移動に基づきドローン移動を開始すべく、ユーザおよびマップAPIにより提供される移動経路を使用する(操作304)。ドローンは、ドローン上の1または複数のカメラから取得されるビデオフィードを分析すべく、コンピュータビジョンおよび深度分析を使用する(操作306)。ドローンは、ユーザの経路を予測する(操作308)。これは、ユーザの選択された移動経路に主として基づき実行され得る。これはまた、所与のエリアにおいてユーザの以前に選択された経路を追跡することにより実行され得る。これはまた、ユーザの現在の方向、速度および能力を分析することにより実行され得る。例えば、車椅子のユーザが、岩の多い地形上を移動する、または急峻な勾配を昇ることは予想され得ない。従って、オフロードトレイルの比較的平坦な部分が、急峻な傾斜部分上の予測されるユーザ経路として特定され得る。
ユーザが移動経路を横切るとき、ドローンは、ルート沿いで可能性のある危険、障害または変化がないかスキャンする(操作310)。ドローンが可能性のある危険、障害または変化を特定した場合、ドローンはユーザにアラートを送信する(操作312)。アラートは、例えば、ブルートゥース(登録商標)ヘッドフォン、スマートウォッチ、スマートフォン介して等の1または複数のメカニズムを用いて、音声、触覚または視覚のアラートモード(またはそれらの組み合わせ)を用いて提供され得る。アラートは、ユーザデバイス(例えば、スマートウォッチまたはドローンリムーブ制御デバイス)上に提示され得、またはドローン群における1または複数のドローンから提示され得る。アラートは、通知選好としてユーザにより設定され得る。
新しいルートがユーザのために選択され得(操作314)、ユーザに通信され得る。1または複数のルートが、提示され得る。ユーザは、ルート選択を選ぶ、またはルート変更を確認すべくユーザインタフェースが提供され得る。ユーザのルートが完了した場合(決定ブロック316)、ユーザはルートを終了し(状態318)、インタラクションが終了する。ルートが終了されていない場合、ユーザはルート上を進み続け(状態320)、制御およびデータフローは操作302に進む。
図4は、図3の制御およびデータと同様のものを示すが、ルートに沿った危険、障害または変化が検出された場合(図3の操作310)、追加のドローンがマッピング粒度、地理的なカバレッジを改善するために、または追加のセンサを実装するために使用される(操作402)という相違がある。ドローンの追加は、ルートに沿った危険、障害または変化のタイプに基づき得る。例えば、木が倒れて、ハイカーの経路を閉鎖した場合、単一のドローンは、代わりの経路を偵察し、代わりのルートを提案することが可能である場合がある。対照的に、障害または危険が山火事など、より大きい場合、追加のドローンが火事区域の周囲を偵察し、代わりのルートを提案するために使用され得る。追加のドローンの使用はまた、移動の速い火事がかかわっている場合、再ルーティングを促進するのに必要であり得る。
操作310における危険、障害およびルート変更は、例えば、弱い光または影などの環境要因に基づき得る。例えば、光が弱まるにつれて、トレイルを移動しているユーザは、非常に暗いトレイル部分でつまづく、または転ぶという、より大きな危険にさらされ得る。複数のドローンが、ユーザにトレイルの暗い、危険なエリアを通知することを確実にするために使用され得る。陸上ドローンは、樹木および他の対象が飛行中のドローンが安全に偵察するのを困難にし得るエリアに対して使用され得る。別の例として、日光が弱まるにつれて、ドローンは、ユーザのハイキング速度、残っている明かり、照明条件、トレイルの位置、水の利用性(例えば、すぐ近くの小川)などに基づきユーザの周りの特定のエリア内にある好適なキャンプサイトのためにスキャンするように構成され得る。
図5は、一実施形態によるドローンの動作を示す図である。制御視点から、ユーザは、カバー、調査または監視すべき対象またはエリアをドローンに示すことが可能である。ユーザは、ユーザデバイス(例えば、スマートフォン、カムコーダーなど)へ統合され得るカメラ502を用いて対象500を眺め得る。カメラ502の視界(画像、位置、方向、視点など)に基づき、ドローン504が、対象500にフォーカスするように、または例えば、トラジェクトリなどの特定の行動を実行するように命令される。カメラ502のユーザは、ディスプレイ(例えば、スマートフォンスクリーン)とインタラクトし得、カメラ502により取り込まれた対象500の画像上の入力を提供し得、そしてそれは、ドローン504に動き制御命令または他の命令を提供すべく、ドローン504に変換され、入れ替えられる。
図6は、一実施形態による個人用感覚ドローンシステム600を示すブロック図である。個人用感覚ドローンシステム600は、ドローンリモートコントロールシステム602を含み、それはタスクモジュール604、トランシーバ606およびユーザインタフェースモジュール608を含む。タスクモジュール604は、少なくとも2つのドローンを含むドローン群が実行すべきタスクをドローン群に送信するように構成され得る。一実施形態において、ドローン群は、少なくとも1つの航空ドローンおよび少なくとも1つの陸上ドローンを含む。
ドローンリモートコントロールシステム602は、ドローン群から聴覚アラートを受信すべく、ドローン群およびブルートゥース(登録商標)ヘッドセットにマップを通信するためのスマートウォッチなどの複数の物理デバイスを含み得る。
トランシーバ606は、タスクに関連するドローン群から情報を受信するように構成され得る。一実施形態において、タスクは、アシストされるナビゲーションタスクを含み、トランシーバは、アシストされるナビゲーションタスクを構成するようにドローン群に一連のパラメータを送信する。さらなる実施形態において、一連のパラメータは、経路を横切っている間に避けるべき一連の危険を定義するユーザ選好を含み、ドローン群は、一連の危険からある危険を特定すべく経路を偵察する。さらなる実施形態において、一連の危険は、穴、崖またはつまずく危険を含む。
ユーザインタフェースモジュール608は、ドローン群から受信された情報に基づき、ユーザインタフェースを提示するように構成され得る。
一実施形態において、ドローンリモートコントロールシステム602は、代わりのルートを決定し、ユーザインタフェースを介してユーザに代わりのルートを提示するナビゲーションモジュールを含む。一実施形態において、ドローン群は、代わりのルートを決定し、ユーザインタフェースを介してユーザに代わりのルートを通信する。
一実施形態において、ドローンリモートコントロールシステム602は、ドローン群に地理的マップを送信するナビゲーションモジュールを含む。地理的マップは、ナビゲーションおよびルート分析のためにドローン群により使用され得る。ユーザは、地理的マップを任意にアップロードし得、そしてそのことはドローンがそれ自身のマップを取得すべく、ワイドエリアネットワークに接続することができない場合に有用であり得る。
一実施形態において、タスクは、検査タスクを含み、ユーザインタフェースモジュール608は、ドローン群に関心対象を送信し、そこで、ドローン群から受信された情報は、視覚データ、音声データ、触覚データまたは臭覚データを含む。関心対象は、構造物、建物、住民、地理的エリア、ビークル等を含む任意のタイプの対象であり得る。検査タスクは、ドローン群を静止した関心対象(例えば、建物の頂部にある彫像)に接近するように指示し得、または移動する関心対象(例えば、子供)を追跡するように指示し得る。
一実施形態において、ドローン群に関心対象を送信すべく、ユーザインタフェースモジュール608は、ドローン群に関心対象の画像を送信し、そこで、ドローン群は、ドローン群の少なくとも1つのドローンに取り付けられたカメラの視界において関心対象を特定するために画像分析を使用する。例えば、ユーザは、関心対象の写真を撮り得、ドローン群に写真を送信し得る。ドローン群は、画像内の対象に対して航行し、それを検査すべく、画像分析および対象認識を使用し得る。
一実施形態において、ドローン群に関心対象を送信すべく、ユーザインタフェースモジュール608は、ドローン群にジオロケーションを送信する。ジオロケーションは、3次元空間地点を提供すべく、高度と共に経度座標および緯度座標を含み得る。あるいは、ジオロケーションは、経度および緯度を含むに過ぎない場合がある。例えば、全地球測位システム(GPS)またはグローバルナビゲーション衛星システム(GLONASS)などの様々な地理的ナビゲーションシステムが、使用され得る。一実施形態において、ジオロケーションは、全地球測位システムの座標を含む。
一実施形態において、ドローン群から受信される情報は、ドローン群における複数のドローンからの視覚データを含み、ユーザインタフェースモジュール608は、合成視覚データを生成し、ユーザに合成視覚データを提示すべく、ドローン群における複数のドローンからの視覚データを合成する。複数の画像は、異なる画像取り込み技術を用いて、異なる視点に由来し得、または異なる視界を使用し得る。他のマルチ画像取り込み技術が、使用され得る。
一実施形態において、合成視覚データを提示すべく、ユーザインタフェースモジュール608は、ドローン群における複数のドローンのそれぞれから関心対象の複数のビューを提示する。これらは、アクティブビューを提示する1つのメインウィンドウを有する複数のカメラフィードのように提示され得、ユーザインタフェースは、ユーザが各々のアクティブドローンからのビューをアクティブビデオフィード間で取り替えるのを可能とするように制御する。上記に述べられたように、ドローン群により提供された相対的なカメラ視点は、ユーザの眺めている視点に相互に関連付けられ得る。
一実施形態において、合成視覚データを提示すべく、ユーザインタフェースモジュール608は、複数のドローンから画像データのオーバーレイを提示する。例えば、1つのドローンは赤外線画像を取り込み得、別のドローンは可視光画像を取り込み得る。ユーザは、複数のビューにおいて関心対象を眺めるべく、1または複数のレイヤ(可視、赤外線)を任意にアクティブ化および非アクティブ化し得る。
一実施形態において、合成視覚データを提示すべく、ユーザインタフェースモジュール608は、複数のドローンから提供される視覚データから関心対象の3次元モデルを構築する。十分な視覚情報に対して、関心対象は、3次元対象としてレンダリングされ得る。仮想現実システムを有するユーザは次に、仮想空間における3次元対象とインタラクトし得る。
一実施形態において、合成視覚データを提示すべく、ユーザインタフェースモジュール608は、ユーザの眺めている視点に対応する関心対象のビューを提示する。
一実施形態において、ドローン群から受信された情報は、ドローン群における複数のドローンからの音声データを含み、ユーザインタフェースモジュール608は、ドローン群における複数のドローンの1つから音声信号を選択し、音声信号は、ドローン群における複数のドローンから利用可能な音声信号の最も高い信号対雑音比を有する。
一実施形態において、ユーザインタフェースモジュール608は、ドローン群のドローンの1つからの音声信号をドローンコントローラにより提供されたビデオ信号と組み合わせて、視聴覚的プレゼンテーションを生成し、ユーザインタフェースに視聴覚的プレゼンテーションを提示する。例えば、ドローンコントローラは、ユーザがビデオグラファーの役割を果たし得るように、ワールドフェイシングカメラ(world−facing camera)を有し得る。しかしながら、例えば、鳥の長距離の監視などのいくつかの状況において、ユーザは、音が聞こえるほど十分に関心対象の近くにいることができない。ドローンは、そのような状況において長距離マイクロフォンとしての役割を果たし得る。
一実施形態において、ドローン群から受信された情報は、ドローン群における少なくとも1つのドローンからの触覚データを含み、ユーザインタフェースモジュール608は、関心対象の触感フィードを再現すべく、ユーザにより着用されているウェアラブルデバイスで触覚応答を調整する。触覚情報は、関心対象の表面をスィープするために使用される物理触角またはアンテナを用いて取得され得る。代替的に、または物理データ取得と組み合わせて、ドローンは、関心対象のテクスチャ、堅さまたは他の触覚情報を決定すべく、高分解能イメージングおよび他の分析を使用し得る。ユーザは、触感ユーザインタフェースを提供する機器を用いて、対象に離れて触れることが可能であり得る。そのような機器の1つは、運動感覚力および振動触覚フィードバックなどの触覚フィードバックメカニズムを有するグローブである。一実施形態において、ウェアラブルデバイスは、グローブを含む。
一実施形態において、ドローン群から受信された情報は、ドローン群における少なくとも1つのドローンからの臭覚データを含み、ドローン群から受信された情報に基づくユーザインタフェースを提示すべく、ユーザインタフェースモジュール608は、臭覚データと対応する臭いの表示を提示する。一実施形態において、臭いの表示は、化学的な名称、構造または指標である。表示は、同様のまたは同じ臭い(例えば、硫黄の場合は腐った卵)を生成する対象の写真であり得る。
例えば、小真空のキャニスター、および気密で滅菌されたキャニスターを用いて、ドローン群におけるドローンは、少量の周囲の空気を捕獲し得る。周囲大気は、様々なフィルタ、顕微鏡、化学物質等を用いて検査され得る。あるいは、ドローンは、検査、スメリング等のためにユーザに大気サンプルを配達し得る。一実施形態において、ドローン群から受信された情報は、ドローン群における少なくとも1つのドローンからの臭覚データを含み、臭覚データは、関心対象の周りの大気のサンプルである。
一実施形態において、ドローン群から受信された情報は、ドローン群における少なくとも1つのドローンからの臭覚データを含み、ドローンリモートコントロールシステム602は、ユーザが有するアレルギーを特定し、ユーザインタフェースモジュール608は、ユーザインタフェースを提示すべく関心対象がアレルゲンであり得るとの警告をユーザに提示する。ユーザは、ユーザ選好または制御セクションにおけるアレルゲンを示し得、そしてそのことは次に、大気サンプルを検査するときに参照され得る。アレルゲンの検査は、顕微鏡、化学検査などを使用することにより実行され得る。例えば、ドローンは、関心対象の周りの少量の周囲の空気を捕獲し得、周囲大気は、それぞれが粒子状物質を捕獲するためのより小さい通路を有する1または複数のフィルタを通じて、吸い込まれ得る。次に、顕微鏡(または他の光技術)および画像ライブラリを用いて、ドローンは画像ライブラリにおけるアレルゲンと一致する微粒子を特定し得る。花粉またはかびの微粒子カウントは、同様のメカニズムを用いる、または例えば、花粉およびかびを捕獲するための接着面などの他のメカニズムを用いることにより、カウントを見積もるための接着面の顕微鏡分析により決定され得る。
図7は、一実施形態による個人用感覚ドローンシステムを実装する方法700を示すフローチャートである。ブロック702にて、ドローン群が実行すべきタスクは、ドローンコントローラから、少なくとも2つのドローンを含むドローン群に送信される。一実施形態において、ドローン群は、少なくとも1つの航空ドローンと、少なくとも1つの陸上ドローンとを含む。
一実施形態において、タスクは、アシストされるナビゲーションタスクを含み、方法はさらに、アシストされるナビゲーションタスクを構成するようにドローン群に一連のパラメータを送信する工程を含む。さらなる実施形態において、一連のパラメータは、経路を横切っている間に避けるべき一連の危険を定義するユーザ選好を含み、ドローン群は、一連の危険からある危険を特定すべく経路を偵察する。さらなる実施形態において、一連の危険は、穴、崖またはつまずく危険を含む。
ブロック704にて、情報はタスクに関連するドローン群から受信される。ブロック706にて、ユーザインタフェースは、ドローン群から受信された情報に基づき提示される。
一実施形態において、方法700は、代わりのルートを決定する工程と、ユーザインタフェースにおいてユーザに代わりのルートを提示する工程とを含む。さらなる実施形態において、代わりのルートを決定する工程は、ドローン群により実行される。
一実施形態において、方法700は、ドローン群に地理的マップを送信する工程を含む。
一実施形態において、タスクは、検査タスクを含み、方法700はさらに、ドローン群に関心対象を送信する工程を含み、そこで、ドローン群から受信された情報は、視覚データ、音声データ、触覚データまたは臭覚データを含む。一実施形態において、ドローン群に関心対象を送信する工程は、ドローン群に関心対象の画像を送信する工程を含み、ドローン群は、ドローン群の少なくとも1つのドローンに取り付けられたカメラの視界において関心対象を特定するために画像分析を使用する。
一実施形態において、ドローン群に関心対象を送信する工程は、ドローン群にジオロケーションを送信する工程を含む。一実施形態において、ジオロケーションは、全地球測位システムの座標を含む。
一実施形態において、ドローン群から受信される情報がドローン群における複数のドローンからの視覚データを含み、方法700はさらに、合成視覚データを生成すべく、ドローン群における複数のドローンから視覚データを合成する工程と、ユーザに合成視覚データを提示する工程とを含む。さらなる実施形態において、合成視覚データを提示する工程は、ドローン群における複数のドローンのそれぞれから関心対象の複数のビューを提示する工程を含む。別の実施形態において、合成視覚データを提示する工程は、複数のドローンから画像データのオーバーレイを提示する工程を含む。別の実施形態において、合成視覚データを提示する工程は、複数のドローンから提供される視覚データから関心対象の3次元モデルを構築する工程を含む。
一実施形態において、合成視覚データを提示する工程は、ユーザの眺めている視点に対応する関心対象のビューを提示する工程を含む。
一実施形態において、ドローン群から受信された情報は、ドローン群における複数のドローンからの音声データを含み、方法700はさらに、ドローン群の複数のドローンから音声信号を選択する工程を含み、音声信号は、ドローン群における複数のドローンから利用可能な音声信号の最も高い信号対雑音比を有する。一実施形態において、方法700は、視聴覚的プレゼンテーションを生成すべく、ドローン群のドローンの1つからの音声信号をドローンコントローラにより提供されたビデオ信号と組み合わせる工程を含み、ドローン群から受信された情報に基づきユーザインタフェースを提示する工程は、ユーザインタフェースに視聴覚的プレゼンテーションを提示する工程を有する。
一実施形態において、ドローン群から受信された情報は、ドローン群における少なくとも1つのドローンからの触覚データを含み、方法700はさらに、関心対象の触感フィードを再現すべく、ユーザにより着用されたウェアラブルデバイスで触覚応答を調整する工程を含む。一実施形態において、ウェアラブルデバイスは、グローブを含む。
一実施形態において、ドローン群から受信された情報は、ドローン群における少なくとも1つのドローンからの臭覚データを含み、ドローン群から受信された情報に基づくユーザインタフェースを提示する工程は、臭覚データと対応する臭いの表示を提示する工程を含む。一実施形態において、臭いの表示は、化学的な名称、構造または指標である。
一実施形態において、ドローン群から受信された情報は、ドローン群における少なくとも1つのドローンからの臭覚データを含み、臭覚データは、関心対象の周りの大気のサンプルである。
一実施形態において、ドローン群から受信された情報は、ドローン群における少なくとも1つのドローンからの臭覚データを含み、方法はさらに、ユーザが有するアレルギーを特定する工程を含み、ユーザインタフェースを提示する工程は、関心対象がアレルゲンであり得るとの警告をユーザに提示する工程を含む。
実施形態は、ハードウェア、ファームウェア、およびソフトウェアの1つまたはそれらの組み合わせで実装されてよい。実施形態はまた、機械可読ストレージデバイス上に格納される命令として実装され得、そしてそのことは、本明細書で説明される動作を実行すべく少なくとも1つのプロセッサにより読み出され、実行され得る。機械可読ストレージデバイスは、機械(例えば、コンピュータ)により読み出し可能な形態において情報を格納するための任意の非一時的なメカニズムを含み得る。例えば、機械可読ストレージデバイスは、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスクストレージ媒体、光ストレージ媒体、フラッシュメモリデバイスならびに他のストレージデバイスおよび媒体を含み得る。
本明細書で説明されるような例は、ロジックもしくは複数のコンポーネント、モジュールまたはメカニズムを含んでよく、またはその上で動作してよい。モジュールは、本明細書で説明される動作を実行すべく、1または複数のプロセッサに通信可能に連結されるハードウェア、ソフトウェアまたはファームウェアであり得る。モジュールは、ハードウェアモジュールであり得、そのようなモジュールは規定の動作を実行することができる有体物と見なされ得、特定の手法で構成または配置され得る。一例において、回路は、モジュールとして規定の手法において、(例えば、内部にまたは他の回路などの外部のエンティティに対して)配置されてよい。一例において、1または複数のコンピュータシステム(例えば、スタンドアロン、クライアントまたはサーバコンピュータシステム)の全体または一部、あるいは1または複数のハードウェアプロセッサは、ファームウェアまたはソフトウェア(例えば、命令、アプリケーションの部分、またはアプリケーション)により規定の動作を実行するように動作するモジュールとして構成されてよい。一例において、ソフトウェアは、機械可読媒体上に存在してよい。一例において、ソフトウェアは、モジュールの基本的なハードウェアによって実行されたときに、ハードウェアに規定の動作を実行させる。従って、ハードウェアモジュールという用語は、有体物を包含し、規定の手法で動作するように、または、本明細書で説明される任意の動作の一部またはすべてを実行するように、物理的に構築され、具体的に構成され(例えば、配線で接続され)、または、一時的に(例えば過渡的に)構成され(例えばプログラムされ)たエンティティであると理解される。モジュールが一時的に構成される例を考慮して、モジュールのそれぞれは、どの時点でもインスタンス化されている必要はない。例えば、モジュールが、ソフトウェアを用いて構成された汎用ハードウェアプロセッサを備える場合、この汎用ハードウェアプロセッサは、異なる時間において、それぞれの異なるモジュールとして構成されてよい。従って、ソフトウェアは、例えば、1つの時間インスタンスにてある特定のモジュールを構成し、異なる時間インスタンスにてある異なるモジュールを構成するためのハードウェアプロセッサを構成し得る。モジュールはまた、本明細書で説明される方法論を実行するべく動作する、ソフトウェアまたはファームウェアモジュールであり得る。
図8は、コンピュータシステム800の例示的な形態における機械を示すブロック図であり、コンピュータシステム800の内部で、例示的な実施形態による本明細書で述べられる方法論のいずれか1つを機械に実行させるべく、一組のまたは一連の命令が実行され得る。代替の実施形態において、機械は、スタンドアロンデバイスとして動作し、または、他の機械に接続(例えば、ネットワーク化)されてもよい。ネットワーク化された配置において、機械は、サーバクライアントネットワーク環境におけるサーバ機械、またはクライアント機械のどちらかの立場で動作し得、あるいは、ピアツーピア(または分散型)ネットワーク環境におけるピアマシンとして作用し得る。機械は、オンボードビークルシステム、セットトップボックス、ウェアラブルデバイス、パーソナルコンピュータ(PC)、タブレットPC、ハイブリッドタブレット、携帯情報端末(PDA)、携帯電話またはその機械が取るべき行動を特定する(逐次的またはそうではない)命令を実行することができる任意の機械であり得る。さらに、単一の機械のみが図示されているが、「機械」という用語はまた、本明細書で述べられる方法論のうち任意の1または複数を実行する命令の1セット(または複数のセット)を個々に、または共同で実行する機械の任意の集合を含むと解釈されるものとする。同様に、「プロセッサベースシステム」という用語は、本明細書で述べられる方法論のうちの任意の1または複数を実行すべく、命令を個々にまたは共同で実行するプロセッサ(例えば、コンピュータ)により制御される、または動作される1または複数の機械の任意のセットを含むと解釈されるものとする。
例示的なコンピュータシステム800は、少なくとも1つのプロセッサ802(例えば、中央処理装置(CPU)、グラフィック処理装置(GPU)またはその両方、プロセッサコア、計算ノードなど)、メインメモリ804およびスタティックメモリ806を含み、それらは、リンク808(例えば、バス)を介して互いに通信する。コンピュータシステム800は、ビデオディスプレイユニット810、英数字入力デバイス812(例えば、キーボード)、およびユーザインタフェース(UI)ナビゲーションデバイス814(例えば、マウス)をさらに含み得る。1つの実施形態において、ビデオディスプレイユニット810、入力デバイス812およびUIナビゲーションデバイス814はタッチスクリーンディスプレイへと組み込まれている。コンピュータシステム800は、ストレージデバイス816(例えば、ドライブユニット)、信号生成デバイス818(例えば、スピーカ)、ネットワークインタフェースデバイス820、および、例えば、全地球測位システム(GPS)センサ、コンパス、加速度計、または他のセンサなどの1または複数のセンサ(図示せず)をさらに含み得る。
ストレージデバイス816は、本明細書において説明される方法論または機能のうちの任意の1または複数を実施し、またはこれにより使用されるデータ構造体および命令824(例えば、ソフトウェア)の1または複数のセットが格納される、機械可読媒体822を含む。命令824はまた、メインメモリ804、スタティックメモリ806およびプロセッサ802がまた機械可読媒体を構成した状態で、コンピュータシステム800によるそれらの実行中に、メインメモリ804、スタティックメモリ806内、および/またはプロセッサ802内に完全にまたは少なくとも部分的に存在し得る。
例示的な実施形態において、機械可読媒体822は単一の媒体であるように示されているものの、「機械可読媒体」という用語は、1または複数の命令824を格納する単一の媒体または複数の媒体(例えば集中または分散型データベース、および/または関連付けられたキャッシュおよびサーバ)を含むことができる。「機械可読媒体」という用語は、機械により実行するための命令を格納し、エンコードし、または搬送することができ、本開示の方法論のうちの任意の1または複数を機械に実行させ、またはそのような命令により使用され、またはこれらに関連付けられるデータ構造体を格納し、エンコードし、または搬送することができる任意の有形媒体を含むとも解釈されるものとする。従って、「機械可読媒体」という用語は、これらに限定されないが、固体メモリと、光および磁気媒体とを含むものと解釈されるものとする。機械可読媒体の具体的な例は、これらに限定されないが、一例として、半導体メモリデバイス(例えば、電気的プログラマブルリードオンリメモリ(EPROM)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM))およびフラッシュメモリデバイス、例えば、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、およびCD−ROMおよびDVD−ROMディスクを含む不揮発性メモリを含む。
命令824は、複数の周知の転送プロトコル(例えば、HTTP)の任意の1つを利用したネットワークインタフェースデバイス820を介して、伝送媒体を用いて通信ネットワーク826を通じて、さらに送信または受信され得る。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、モバイル電話網、シンプルな従来型電話(POTS)ネットワークおよび無線データネットワーク(例えば、Wi−Fi(登録商標)、3Gおよび4G LTE/LTE−AまたはWiMAXネットワーク)を含む。「伝送媒体」という用語は、機械が実行するための命令を格納し、エンコードし、または搬送することができ、デジタルまたはアナログ通信信号を含む任意の無形の媒体、または、そのようなソフトウェアの通信を容易にするその他の無形の媒体を含むものと解釈されるものとする。 [追加事項および例]
例1は、ドローンリモートコントロールシステムを備える(例えば、デバイス、装置または機械などの)個人用感覚ドローンの主題を含み、ドローンリモートコントロールシステムは、
少なくとも2つのドローンを含むドローン群が実行すべきタスクをドローン群に送信するタスクモジュールと、
タスクに関連するドローン群からの情報を受信するトランシーバと、
ドローン群から受信された情報に基づきユーザインタフェースを提示するユーザインタフェースモジュールとを有する。
例2において、例1の主題は、ドローン群が、少なくとも1つの航空ドローンと、少なくとも1つの陸上ドローンとを含むことを有し得る。
例3において、例1または例2のいずれか1つの主題は、タスクが、アシストされるナビゲーションタスクを含み、トランシーバが、アシストされるナビゲーションタスクを構成するようにドローン群に一連のパラメータを送信することを含み得る。
例4において、例1から例3のいずれか1つの主題は、一連のパラメータが、経路を横切っている間に避けるべき一連の危険を定義するユーザ選好を含み、ドローン群が、一連の危険からある危険を特定すべく経路を偵察することを含み得る。
例5において、例1から例4のいずれか1つの主題は、一連の危険が、穴、崖またはつまずく危険を含むことを有し得る。
例6において、例1から例5のいずれか1つの主題は、ドローンリモートコントロールシステムが、代わりのルートを決定し、ユーザインタフェースを介してユーザに代わりのルートを提示するナビゲーションモジュールを含むことを有し得る。
例7において、例1から例6のいずれか1つの主題は、ドローン群は、代わりのルートを決定し、ユーザインタフェースを介してユーザに代わりのルートを通信することを含み得る。
例8において、例1から例7のいずれか1つの主題は、ドローンリモートコントロールシステムが、ドローン群に地理的マップを送信するナビゲーションモジュールを含むことを有し得る。
例9において、例1から例8のいずれか1つの主題は、タスクが、検査タスクを含み、ユーザインタフェースモジュールが、ドローン群に関心対象を送信し、ドローン群から受信された情報が、視覚データ、音声データ、触覚データまたは臭覚データを含むことを有し得る。
例10において、例1から例9のいずれか1つの主題は、ドローン群に関心対象を送信すべく、ユーザインタフェースモジュールが、ドローン群に関心対象の画像を送信し、ドローン群が、ドローン群の少なくとも1つのドローンに取り付けられたカメラの視界において関心対象を特定するために画像分析を使用することを含み得る。
例11において、例1から例10のいずれか1つの主題は、ドローン群に関心対象を送信すべく、ユーザインタフェースモジュールが、ドローン群にジオロケーションを送信することを含み得る。
例12において、例1から例11のいずれか1つの主題は、ジオロケーションが、全地球測位システムの座標を含むことを有し得る。
例13において、例1から例12のいずれか1つの主題は、ドローン群から受信される情報がドローン群における複数のドローンからの視覚データを含み、ユーザインタフェースモジュールが、合成視覚データを生成し、ユーザに合成視覚データを提示すべく、ドローン群における複数のドローンからの視覚データを合成することを有し得る。
例14において、例1から例13のいずれか1つの主題は、合成視覚データを提示すべく、ユーザインタフェースモジュールが、ドローン群における複数のドローンのそれぞれから関心対象の複数のビューを提示することを含み得る。
例15において、例1から例14のいずれか1つの主題は、合成視覚データを提示すべく、ユーザインタフェースモジュールが、複数のドローンから画像データのオーバーレイを提示することを含み得る。
例16において、例1から例15のいずれか1つの主題は、合成視覚データを提示すべく、ユーザインタフェースモジュールが、複数のドローンから提供される視覚データから関心対象の3次元モデルを構築することを含み得る。
例17において、例1から例16のいずれか1つの主題は、合成視覚データを提示すべく、ユーザインタフェースモジュールが、ユーザの眺めている視点に対応する関心対象のビューを提示することを含み得る。
例18において、例1から例17のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における複数のドローンからの音声データを含み、ユーザインタフェースモジュールが、ドローン群における複数のドローンの1つから音声信号を選択し、音声信号は、ドローン群における複数のドローンから利用可能な音声信号の最も高い信号対雑音比を有することを含み得る。
例19において、例1から例18のいずれか1つの主題は、ユーザインタフェースモジュールが、ドローン群のドローンの1つからの音声信号をドローンコントローラにより提供されたビデオ信号と組み合わせて、視聴覚的プレゼンテーションを生成し、ユーザインタフェースに視聴覚的プレゼンテーションを提示することを含み得る。
例20において、例1から例19のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの触覚データを含み、ユーザインタフェースモジュールが、関心対象の触感フィードを再現すべく、ユーザにより着用されたウェアラブルデバイスで触覚応答を調整することを含み得る。
例21において、例1から例20のいずれか1つの主題は、ウェアラブルデバイスが、グローブを含むことを有し得る。
例22において、例1から例21のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの臭覚データを含み、ドローン群から受信された情報に基づくユーザインタフェースを提示すべく、ユーザインタフェースモジュールが、臭覚データと対応する臭いの表示を提示することを含み得る。
例23において、例1から例22のいずれか1つの主題は、臭いの表示が、化学的な名称、構造または指標であることを含み得る。
例24において、例1から例23のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの臭覚データを含み、臭覚データが、関心対象の周りの大気のサンプルであることを含み得る。
例25において、例1から例24のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの臭覚データを含み、ドローンリモートコントロールシステムが、ユーザが有するアレルギーを特定し、ユーザインタフェースを提示すべく、ユーザインタフェースモジュールは、関心対象がアレルゲンであり得るとの警告をユーザに提示することを含み得る。
例26は、ドローンコントローラからドローン群に、少なくとも2つのドローンを含むドローン群が実行すべきタスクをドローン群に送信することと、
タスクに関連するドローン群からの情報を受信することと、
ドローン群から受信された情報に基づきユーザインタフェースを提示することと、
を含む(例えば、方法、動作を実行するための手段、機械により実行された場合、動作を機械に実行させる命令を含む機械可読媒体、または実行する装置等の)個人用感覚ドローンの主題を含む。
例27において、例26の主題は、ドローン群が、少なくとも1つの航空ドローンと、少なくとも1つの陸上ドローンとを含むことを有し得る。
例28において、例26から例27のいずれか1つの主題は、タスクが、アシストされるナビゲーションタスクを含み、方法はさらに、アシストされるナビゲーションタスクを構成するようにドローン群に一連のパラメータを送信する工程を含むことを有し得る。
例29において、例26から例28のいずれか1つの主題は、一連のパラメータが、経路を横切っている間に避けるべき一連の危険を定義するユーザ選好を含み、ドローン群が、一連の危険からある危険を特定すべく経路を偵察することを含み得る。
例30において、例26から例29のいずれか1つの主題は、一連の危険が、穴、崖またはつまずく危険を含むことを有し得る。
例31において、例26から例30のいずれか1つの主題は、代わりのルートを決定する工程と、ユーザインタフェースにおいてユーザに代わりのルートを提示する工程とを含み得る。
例32において、例26から例31のいずれか1つの主題は、代わりのルートを決定する工程が、ドローン群により実行されることを含み得る。
例33において、例26から例32のいずれか1つの主題は、ドローン群に地理的マップを送信する工程を含み得る。
例34において、例26から例33のいずれか1つの主題は、タスクは、検査タスクを含み、方法がさらに、ドローン群に関心対象を送信する工程を含み、ドローン群から受信された情報が、視覚データ、音声データ、触覚データまたは臭覚データを含むことを有し得る。
例35において、例26から例34のいずれか1つの主題は、ドローン群に関心対象を送信する工程が、ドローン群に関心対象の画像を送信する工程を含み、ドローン群が、ドローン群の少なくとも1つのドローンに取り付けられたカメラの視界において関心対象を特定するために画像分析を使用することを含み得る。
例36において、例26から例35のいずれか1つの主題は、ドローン群に関心対象を送信する工程が、ドローン群にジオロケーションを送信する工程を含むことを有し得る。
例37において、例26から例36のいずれか1つの主題は、ジオロケーションが、全地球測位システムの座標を含むことを有し得る。
例38において、例26から例37のいずれか1つの主題は、ドローン群から受信される情報がドローン群における複数のドローンからの視覚データを含み、方法がさらに、合成視覚データを生成すべく、ドローン群における複数のドローンから視覚データを合成する工程と、ユーザに合成視覚データを提示する工程とを含むことを有し得る。
例39において、例26から例38のいずれか1つの主題は、合成視覚データを提示する工程が、ドローン群における複数のドローンのそれぞれから関心対象の複数のビューを提示する工程を含むことを有し得る。
例40において、例26から例39のいずれか1つの主題は、合成視覚データを提示する工程が、複数のドローンから画像データのオーバーレイを提示する工程を含むことを有し得る。
例41において、例26から例40のいずれか1つの主題は、合成視覚データを提示する工程が、複数のドローンから提供される視覚データから関心対象の3次元モデルを構築する工程を含むことを有し得る。
例42において、例26から例41のいずれか1つの主題は、合成視覚データを提示する工程が、ユーザの眺めている視点に対応する関心対象のビューを提示する工程を含むことを有し得る。
例43において、例26から例42のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群の複数のドローンからの音声データを含み、方法がさらに、ドローン群の複数のドローンから音声信号を選択する工程を含み、音声信号が、ドローン群における複数のドローンから利用可能な音声信号の最も高い信号対雑音比を有することを含み得る。
例44において、例26から例43のいずれか1つの主題は、視聴覚的プレゼンテーションを生成すべく、ドローン群のドローンの1つからの音声信号をドローンコントローラにより提供されたビデオ信号と組み合わせる工程を含み、ドローン群から受信された情報に基づきユーザインタフェースを提示する工程が、ユーザインタフェースに視聴覚的プレゼンテーションを提示する工程を有することを含み得る。
例45において、例26から例44のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの触覚データを含み、方法がさらに、関心対象の触感フィードを再現すべく、ユーザにより着用されたウェアラブルデバイスで触覚応答を調整する工程を含むことを有し得る。
例46において、例26から例45のいずれか1つの主題は、ウェアラブルデバイスが、グローブを含むことを有し得る。
例47において、例26から例46のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの臭覚データを含み、ドローン群から受信された情報に基づくユーザインタフェースを提示する工程が、臭覚データと対応する臭いの表示を提示する工程を含むことを有し得る。
例48において、例26から例47のいずれか1つの主題は、臭いの表示が、化学的な名称、構造または指標であることを有し得る。
例49において、例26から例48のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの臭覚データを含み、臭覚データが、関心対象の周りの大気のサンプルであることを含み得る。
例50において、例26から例49のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの臭覚データを含み、方法はさらに、ユーザが有するアレルギーを特定する工程を含み、ユーザインタフェースを提示する工程が、関心対象がアレルゲンであり得るとの警告をユーザに提示する工程を含むことを有し得る。
例51は、機械により実行された場合、例26から例50のいずれかの動作を機械に実行させる、命令を含む少なくとも1つの機械可読媒体主を含む。
例52は、例26から例50のいずれかを実行するための手段を含む装置を備える。
例53は、ドローンコントローラからドローン群に、少なくとも2つのドローンを含むドローン群が実行すべきタスクをドローン群に送信するための手段と、
タスクに関連するドローン群からの情報を受信するための手段と、
ドローン群から受信された情報に基づきユーザインタフェースを提示する手段と、
を含む(例えば、デバイス、装置または機械等の)個人用感覚ドローンの主題を含む。
例54において、例53の主題は、ドローン群は、少なくとも1つの航空ドローンと、少なくとも1つの陸上ドローンとを含むことを有し得る。
例55において、例53から例54のいずれか1つの主題は、ドローン群が、タスクは、アシストされるナビゲーションタスクを含み、装置がさらに、アシストされるナビゲーションタスクを構成するようにドローン群に一連のパラメータを送信するための手段を含むことを有し得る。
例56において、例53から例55のいずれか1つの主題は、一連のパラメータが、経路を横切っている間に避けるべき一連の危険を定義するユーザ選好を含み、ドローン群が、一連の危険からある危険を特定すべく経路を偵察することを含み得る。
例57において、例53から例56のいずれか1つの主題は、一連の危険が、穴、崖またはつまずく危険を含むことを有することを含み得る。
例58において、例53から例57のいずれか1つの主題は、代わりのルートを決定するための手段と、ユーザインタフェースにおいてユーザに代わりのルートを提示するための手段とを含み得る。
例59において、例53から例58のいずれか1つの主題は、代わりのルートを決定するための手段が、ドローン群により実行されることを含み得る。
例60において、例53から例59のいずれか1つの主題は、ドローン群に地理的マップを送信するための手段を含み得る。
例61において、例53から例60のいずれか1つの主題は、タスクが、検査タスクを含み、装置がさらに、ドローン群に関心対象を送信するための手段を含み、ドローン群から受信された情報は、視覚データ、音声データ、触覚データまたは臭覚データを含むことを有し得る。
例62において、例53から例61のいずれか1つの主題は、ドローン群に関心対象の画像を送信するための手段が、ドローン群に関心対象を送信するための手段を含み、ドローン群が、ドローン群の少なくとも1つのドローンに取り付けられたカメラの視界において関心対象を特定するために画像分析を使用することを含み得る。
例63において、例53から例62のいずれか1つの主題は、ドローン群に関心対象を送信するための手段が、ドローン群にジオロケーションを送信するための手段を含むことを有し得る。
例64において、例53から例63のいずれか1つの主題は、ジオロケーションが、全地球測位システムの座標を含むことを有し得る。
例65において、例53から例64のいずれか1つの主題は、ドローン群から受信される情報がドローン群における複数のドローンからの視覚データを含み、装置がさらに、合成視覚データを生成すべく、ドローン群における複数のドローンから視覚データを合成するための手段と、ユーザに合成視覚データを提示するための手段とを含むことを有し得る。
例66において、例53から例65のいずれか1つの主題は、合成視覚データを提示するための手段が、ドローン群における複数のドローンのそれぞれから関心対象の複数のビューを提示するための手段を含むことを有し得る。
例67において、例53から例66のいずれか1つの主題は、合成視覚データを提示するための手段が、複数のドローンから画像データのオーバーレイを提示するための手段を含むことを有し得る。
例68において、例53から例67のいずれか1つの主題は、合成視覚データを提示するための手段が、複数のドローンから提供される視覚データから関心対象の3次元モデルを構築するための手段を含むことを有し得る。
例69において、例53から例68のいずれか1つの主題は、合成視覚データを提示するための手段が、ユーザの眺めている視点に対応する関心対象のビューを提示するための手段を含むことを有し得る。
例70において、例53から例69のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群の複数のドローンからの音声データを含み、装置はさらに、ドローン群の複数のドローンから音声信号を選択するための手段を含み、音声信号が、ドローン群における複数のドローンから利用可能な音声信号の最も高い信号対雑音比を有することを含み得る。
例71において、例53から例70のいずれか1つの主題は、視聴覚的プレゼンテーションを生成すべく、ドローン群のドローンの1つからの音声信号をドローンコントローラにより提供されたビデオ信号と組み合わせるための手段を含み、ドローン群から受信された情報に基づきユーザインタフェースを提示するための手段が、ユーザインタフェースに視聴覚的プレゼンテーションを提示するための手段を有することを含み得る。
例72において、例53から例71のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの触覚データを含み、装置がさらに、関心対象の触感フィードを再現すべく、ユーザにより着用されたウェアラブルデバイスで触覚応答を調整するための手段を含むことを有し得る。
例73において、例53から例72のいずれか1つの主題は、ウェアラブルデバイスが、グローブを含むことを有し得る。
例74において、例53から例73のいずれか1つの主題は、ドローン群から受信された情報は、ドローン群における少なくとも1つのドローンからの臭覚データを含み、ドローン群から受信された情報に基づくユーザインタフェースを提示するための手段が、臭覚データと対応する臭いの表示を提示するための手段を含むことを有し得る。
例75において、例53から例74のいずれか1つの主題は、臭いの表示が、化学的な名称、構造または指標であることを有し得る。
例76において、例53から例75のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの臭覚データを含み、臭覚データは、関心対象の周りの大気のサンプルであることを含み得る。
例77において、例53から例76のいずれか1つの主題は、ドローン群から受信された情報が、ドローン群における少なくとも1つのドローンからの臭覚データを含み、装置はさらに、ユーザが有するアレルギーを特定するための手段を含み、ユーザインタフェースを提示するための手段が、関心対象がアレルゲンであり得るとの警告をユーザに提示するための手段を含むことを有し得る。
上記の詳細な説明は、詳細な説明の一部を形成する添付図面への参照を含む。図面は、実例として、実施され得る特定の実施形態を示す。これらの実施形態は、「例」として本明細書でも参照される。そのような例は、示されるまたは説明されるものに加えて、エレメントを含んでよい。しかしながら、示されるまたは説明されるエレメントを含む複数の例も考えられる。さらに、本明細書で示されるまたは説明される、特定の例(またはそれらの1または複数の態様)に対して、または他の複数の例(またはそれらの1または複数の態様)に対してのどちらかで、示されるまたは説明されるこれらのエレメントのいくつかの組み合わせまたは置き換えを用いる複数の例(またはそれらの1または複数の態様)も考えられる。
本明細書において参照されるの出版物、特許、および特許文献は、参照により個別に組み込まれるかのように、それらの全体においてここで参照により組み込まれる。本明細書と参照により組み込まれるこれらの文献との間に一貫性がない使用がある場合、組み込まれる参照における使用は、本明細書のものへの補足であり、矛盾する不一致については、本明細書における使用が支配する。
本明細書において、特許文献に共通するように、本文書において、「1つ(a)」または「1つ(an)」という用語は、任意の他の例とは関係なく、または、「少なくとも1つ」若しくは「1または複数」の使用とは関係なく、1または複数を含むように用いられる。本文書において、別段の示唆がない限り、「または」という用語は、「AまたはB」が「AであるがBではない」、「BであるがAではない」及び「AおよびB」を含むような非排他的な「または」を指すべく用いられる。添付の請求項において、用語「含む(including)」および「において(in which)」は、それぞれ用語「備える(comprising)」および「ここで(wherein)」の平易な言葉と同等のものとして用いられる。また、下記の請求項において、用語「含む(including)」および「備える(comprising)」は制約がない、つまり、請求項において、請求項におけるそのような用語の後に列挙されたものに加えて複数のエレメントを含むシステム、デバイス、物品、または処理もが、その請求項の範囲内に含まれるとみなされる。さらに、下記の請求項において、用語「第1」、「第2」、および「第3」などは、単にラベルとして用いられ、それらの対象の数字上の順序を示唆することが意図されない。
上記の説明は、例示することを意図されているのであって、限定するものではない。例えば、上述の複数の例(またはそれらの1または複数の態様)は、他との組み合わせで用いられてよい。他の実施形態は、例えば、上記の説明を検討する当業者によって用いられてよい。要約書は、読み手が技術的な開示の本質をすぐに確認するのを可能にする。要約書は、請求項の範囲または意味を解釈または限定するためには用いられないという理解のもと提出されている。また、上記の詳細な説明において、様々な特徴は、本開示を簡素化すべく、共にグループ化されてもよい。しかしながら、実施形態は本明細書で開示された上記の特徴のサブセットを含んでよいので、請求項は、それらのあらゆる特徴を説明しなくてよい。さらに、実施形態は、特定の例で開示されたものより少ない特徴を含んでよい。従って、下記の請求項は、これによって、別の実施形態として、それ自身に依存する請求項と共に詳細な説明へと組み込まれる。本明細書で開示された実施形態の範囲は、添付の請求項を参照して、権利を与えられるそのような請求項の均等物の全範囲と併せて決定されるべきである。

Claims (25)

  1. 少なくとも2つのドローンを含むドローン群が実行すべきタスクをドローン群に送信するタスクモジュールと、
    前記タスクに関連する前記ドローン群からの情報を受信するトランシーバと、
    前記ドローン群から受信された前記情報に基づきユーザインタフェースを提示するユーザインタフェースモジュールと
    を有するドローンリモートコントロールシステムを備える個人用感覚ドローンシステム。
  2. 前記ドローン群は、少なくとも1つの航空ドローンと、少なくとも1つの陸上ドローンとを含む、
    請求項1に記載のシステム。
  3. 前記タスクは、アシストされるナビゲーションタスクを含み、前記トランシーバは、前記アシストされるナビゲーションタスクを構成するように前記ドローン群に一連のパラメータを送信する、
    請求項1または2に記載のシステム。
  4. 前記一連のパラメータは、経路を横切っている間に避けるべき一連の危険を定義するユーザ選好を含み、前記ドローン群は、前記一連の危険からある危険を特定すべく経路を偵察する、
    請求項3に記載のシステム。
  5. 前記タスクは、検査タスクを含み、前記ユーザインタフェースモジュールは、前記ドローン群に関心対象を送信し、前記ドローン群から受信された前記情報は、視覚データ、音声データ、触覚データまたは臭覚データを含む、
    請求項1に記載のシステム。
  6. 前記ドローン群に前記関心対象を送信すべく、前記ユーザインタフェースモジュールは、前記ドローン群に前記関心対象の画像を送信し、前記ドローン群は、前記ドローン群の少なくとも1つのドローンに取り付けられたカメラの視界において前記関心対象を特定するために画像分析を使用する、
    請求項5に記載のシステム。
  7. 前記ドローン群から受信される前記情報は、前記ドローン群における複数のドローンからの視覚データを含み、前記ユーザインタフェースモジュールは、合成視覚データを生成すべく、前記ドローン群における前記複数のドローンからの前記視覚データを合成し、
    前記合成視覚データをユーザに提示する、
    請求項5に記載のシステム。
  8. 前記合成視覚データを提示すべく、前記ユーザインタフェースモジュールは、前記ドローン群における前記複数のドローンのそれぞれから前記関心対象の複数のビューを提示する、
    請求項7に記載のシステム。
  9. 前記合成視覚データを提示すべく、前記ユーザインタフェースモジュールは、前記複数のドローンから画像データのオーバーレイを提示する、
    請求項7に記載のシステム。
  10. 前記合成視覚データを提示すべく、前記ユーザインタフェースモジュールは、前記複数のドローンから提供される前記視覚データから前記関心対象の3次元モデルを構築する、
    請求項7に記載のシステム。
  11. 前記合成視覚データを提示すべく、前記ユーザインタフェースモジュールは、前記ユーザの眺めている視点に対応する前記関心対象のビューを提示する、
    請求項7に記載のシステム。
  12. 個人用感覚ドローンシステムを実装する方法であって、
    ドローンコントローラからドローン群に、少なくとも2つのドローンを含む前記ドローン群が実行すべきタスクを前記ドローン群に送信する段階と、
    前記タスクに関連する前記ドローン群からの情報を受信する段階と、
    前記ドローン群から受信された前記情報に基づきユーザインタフェースを提示する段階と
    を備える方法。
  13. 前記タスクは、アシストされるナビゲーションタスクを含み、前記方法はさらに、前記アシストされるナビゲーションタスクを構成するように前記ドローン群に一連のパラメータを送信する段階を有する、
    請求項12に記載の方法。
  14. 前記一連のパラメータは、経路を横切っている間に避けるべき一連の危険を定義するユーザ選好を含み、前記ドローン群は、前記一連の危険からある危険を特定すべく前記経路を偵察する、
    請求項13に記載の方法。
  15. 前記タスクは、検査タスクを含み、前記方法はさらに、前記ドローン群に関心対象を送信する段階であって、前記ドローン群から受信された前記情報は、視覚データ、音声データ、触覚データまたは臭覚データを含む、段階を含む、
    請求項12に記載の方法。
  16. 前記ドローン群に前記関心対象を送信する段階は、前記ドローン群に前記関心対象の画像を送信する段階を有し、前記ドローン群は、前記ドローン群の少なくとも1つのドローンに取り付けられたカメラの視界において前記関心対象を特定するために画像分析を使用する、
    請求項15に記載の方法。
  17. 前記ドローン群から受信される前記情報は、前記ドローン群における複数のドローンからの視覚データを含み、前記方法はさらに、合成視覚データを生成すべく、前記ドローン群における前記複数のドローンからの前記視覚データを合成する段階と、
    前記合成視覚データをユーザに提示する段階と
    を有する、請求項15に記載の方法。
  18. 前記合成視覚データを提示する段階は、前記ドローン群における前記複数のドローンのそれぞれから前記関心対象の複数のビューを提示する段階を含む、
    請求項17に記載の方法。
  19. 前記合成視覚データを提示する段階は、前記複数のドローンから画像データのオーバーレイを提示する段階を含む、
    請求項17に記載の方法。
  20. 前記合成視覚データを提示する段階は、前記複数のドローンから提供される前記視覚データから前記関心対象の3次元モデルを構築する段階を含む、
    請求項17に記載の方法。
  21. 前記合成視覚データを提示する段階は、前記ユーザの眺めている視点に対応する前記関心対象のビューを提示する段階を有する、
    請求項17に記載の方法。
  22. 前記ドローン群から受信された前記情報は、前記ドローン群における少なくとも1つのドローンからの触覚データを含み、前記方法はさらに、前記関心対象の触感フィードを再現すべく、ユーザにより着用されたウェアラブルデバイスで触覚応答を調整する段階を含む、
    請求項15に記載の方法。
  23. 前記ドローン群から受信された情報は、前記ドローン群における少なくとも1つのドローンからの臭覚データを含み、前記ドローン群から受信された情報に基づく前記ユーザインタフェースを提示する段階は、前記臭覚データと対応する臭いの表示を提示する段階を含む、
    請求項15に記載の方法。
  24. 機械により実行された場合、請求項12から23のいずれか1つに記載の方法の動作を機械に実行させる、命令を含む少なくとも1つの機械可読媒体。
  25. 請求項12から23のいずれか1つに記載の方法を実行するための手段を備える装置。
JP2017553408A 2015-06-25 2016-05-25 個人用感覚ドローン Active JP6863555B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/750,803 US10694155B2 (en) 2015-06-25 2015-06-25 Personal sensory drones
US14/750,803 2015-06-25
PCT/US2016/034119 WO2016209504A1 (en) 2015-06-25 2016-05-25 Personal sensory drones

Publications (2)

Publication Number Publication Date
JP2018522302A true JP2018522302A (ja) 2018-08-09
JP6863555B2 JP6863555B2 (ja) 2021-04-21

Family

ID=57586544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017553408A Active JP6863555B2 (ja) 2015-06-25 2016-05-25 個人用感覚ドローン

Country Status (7)

Country Link
US (2) US10694155B2 (ja)
EP (2) EP3314343B1 (ja)
JP (1) JP6863555B2 (ja)
KR (1) KR102424180B1 (ja)
CN (1) CN107667521B (ja)
PL (2) PL3786753T3 (ja)
WO (1) WO2016209504A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020001005A (ja) * 2018-06-29 2020-01-09 株式会社星光技研 液体放出装置
JP2020027574A (ja) * 2018-08-17 2020-02-20 株式会社東芝 自律移動装置、方法及び3次元モデリングシステム
US10694155B2 (en) 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
JP2021068244A (ja) * 2019-10-24 2021-04-30 横河電機株式会社 測定システムおよび測定方法
JP7459808B2 (ja) 2021-01-20 2024-04-02 トヨタ自動車株式会社 サーバ装置、システム、飛行体、及びシステムの動作方法

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10522026B2 (en) 2008-08-11 2019-12-31 Icontrol Networks, Inc. Automation system user interface with three-dimensional display
US9531593B2 (en) 2007-06-12 2016-12-27 Icontrol Networks, Inc. Takeover processes in security network integrated with premise security system
US11277465B2 (en) 2004-03-16 2022-03-15 Icontrol Networks, Inc. Generating risk profile using data of home monitoring and security system
US20170118037A1 (en) 2008-08-11 2017-04-27 Icontrol Networks, Inc. Integrated cloud system for premises automation
US11159484B2 (en) 2004-03-16 2021-10-26 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
US10200504B2 (en) 2007-06-12 2019-02-05 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11343380B2 (en) 2004-03-16 2022-05-24 Icontrol Networks, Inc. Premises system automation
US11201755B2 (en) 2004-03-16 2021-12-14 Icontrol Networks, Inc. Premises system management using status signal
US10339791B2 (en) 2007-06-12 2019-07-02 Icontrol Networks, Inc. Security network integrated with premise security system
US9729342B2 (en) 2010-12-20 2017-08-08 Icontrol Networks, Inc. Defining and implementing sensor triggered response rules
US11316958B2 (en) 2008-08-11 2022-04-26 Icontrol Networks, Inc. Virtual device systems and methods
US10721087B2 (en) 2005-03-16 2020-07-21 Icontrol Networks, Inc. Method for networked touchscreen with integrated interfaces
US9141276B2 (en) 2005-03-16 2015-09-22 Icontrol Networks, Inc. Integrated interface for mobile device
US11113950B2 (en) 2005-03-16 2021-09-07 Icontrol Networks, Inc. Gateway integrated with premises security system
US11916870B2 (en) 2004-03-16 2024-02-27 Icontrol Networks, Inc. Gateway registry methods and systems
US10142392B2 (en) 2007-01-24 2018-11-27 Icontrol Networks, Inc. Methods and systems for improved system performance
US11489812B2 (en) 2004-03-16 2022-11-01 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
WO2005091218A2 (en) 2004-03-16 2005-09-29 Icontrol Networks, Inc Premises management system
US10127802B2 (en) 2010-09-28 2018-11-13 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US7711796B2 (en) 2006-06-12 2010-05-04 Icontrol Networks, Inc. Gateway registry methods and systems
US10156959B2 (en) 2005-03-16 2018-12-18 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US11244545B2 (en) 2004-03-16 2022-02-08 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US11368429B2 (en) 2004-03-16 2022-06-21 Icontrol Networks, Inc. Premises management configuration and control
US11811845B2 (en) 2004-03-16 2023-11-07 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11582065B2 (en) 2007-06-12 2023-02-14 Icontrol Networks, Inc. Systems and methods for device communication
US10237237B2 (en) 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
US20090077623A1 (en) 2005-03-16 2009-03-19 Marc Baum Security Network Integrating Security System and Network Devices
US20160065414A1 (en) 2013-06-27 2016-03-03 Ken Sundermeyer Control system user interface
US11677577B2 (en) 2004-03-16 2023-06-13 Icontrol Networks, Inc. Premises system management using status signal
US11496568B2 (en) 2005-03-16 2022-11-08 Icontrol Networks, Inc. Security system with networked touchscreen
US20120324566A1 (en) 2005-03-16 2012-12-20 Marc Baum Takeover Processes In Security Network Integrated With Premise Security System
US11700142B2 (en) 2005-03-16 2023-07-11 Icontrol Networks, Inc. Security network integrating security system and network devices
US11615697B2 (en) 2005-03-16 2023-03-28 Icontrol Networks, Inc. Premise management systems and methods
US10999254B2 (en) 2005-03-16 2021-05-04 Icontrol Networks, Inc. System for data routing in networks
US20110128378A1 (en) 2005-03-16 2011-06-02 Reza Raji Modular Electronic Display Platform
US20170180198A1 (en) 2008-08-11 2017-06-22 Marc Baum Forming a security network including integrated security system components
US9306809B2 (en) 2007-06-12 2016-04-05 Icontrol Networks, Inc. Security system with networked touchscreen
US10079839B1 (en) 2007-06-12 2018-09-18 Icontrol Networks, Inc. Activation of gateway device
US11706279B2 (en) 2007-01-24 2023-07-18 Icontrol Networks, Inc. Methods and systems for data communication
US7633385B2 (en) 2007-02-28 2009-12-15 Ucontrol, Inc. Method and system for communicating with and controlling an alarm system from a remote server
US8451986B2 (en) 2007-04-23 2013-05-28 Icontrol Networks, Inc. Method and system for automatically providing alternate network access for telecommunications
US11316753B2 (en) 2007-06-12 2022-04-26 Icontrol Networks, Inc. Communication protocols in integrated systems
US11218878B2 (en) 2007-06-12 2022-01-04 Icontrol Networks, Inc. Communication protocols in integrated systems
US11646907B2 (en) 2007-06-12 2023-05-09 Icontrol Networks, Inc. Communication protocols in integrated systems
US11237714B2 (en) 2007-06-12 2022-02-01 Control Networks, Inc. Control system user interface
US11089122B2 (en) 2007-06-12 2021-08-10 Icontrol Networks, Inc. Controlling data routing among networks
US11423756B2 (en) 2007-06-12 2022-08-23 Icontrol Networks, Inc. Communication protocols in integrated systems
US10523689B2 (en) 2007-06-12 2019-12-31 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US12003387B2 (en) 2012-06-27 2024-06-04 Comcast Cable Communications, Llc Control system user interface
US11601810B2 (en) 2007-06-12 2023-03-07 Icontrol Networks, Inc. Communication protocols in integrated systems
US11212192B2 (en) 2007-06-12 2021-12-28 Icontrol Networks, Inc. Communication protocols in integrated systems
US11831462B2 (en) 2007-08-24 2023-11-28 Icontrol Networks, Inc. Controlling data routing in premises management systems
US11916928B2 (en) 2008-01-24 2024-02-27 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US20170185278A1 (en) 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
US11729255B2 (en) 2008-08-11 2023-08-15 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11758026B2 (en) 2008-08-11 2023-09-12 Icontrol Networks, Inc. Virtual device systems and methods
US11792036B2 (en) * 2008-08-11 2023-10-17 Icontrol Networks, Inc. Mobile premises automation platform
US10530839B2 (en) 2008-08-11 2020-01-07 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11258625B2 (en) * 2008-08-11 2022-02-22 Icontrol Networks, Inc. Mobile premises automation platform
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
US8836467B1 (en) 2010-09-28 2014-09-16 Icontrol Networks, Inc. Method, system and apparatus for automated reporting of account and sensor zone information to a central station
US11750414B2 (en) 2010-12-16 2023-09-05 Icontrol Networks, Inc. Bidirectional security sensor communication for a premises security system
US9147337B2 (en) 2010-12-17 2015-09-29 Icontrol Networks, Inc. Method and system for logging security event data
US11146637B2 (en) 2014-03-03 2021-10-12 Icontrol Networks, Inc. Media content management
US11405463B2 (en) 2014-03-03 2022-08-02 Icontrol Networks, Inc. Media content management
US10144527B2 (en) 2015-03-25 2018-12-04 Skyfront Corp. Flight controller with generator control
CN108141564B (zh) * 2015-09-25 2021-11-09 深圳市大疆创新科技有限公司 用于视频广播的系统和方法
US10933997B2 (en) 2015-10-02 2021-03-02 Insitu, Inc. Aerial launch and/or recovery for unmanned aircraft, and associated systems and methods
US11263461B2 (en) * 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
KR101815394B1 (ko) * 2015-10-27 2018-01-05 한국과학기술원 벽면 이동을 위한 비행로봇 메커니즘 및 제어방법
US10540901B2 (en) * 2015-11-23 2020-01-21 Kespry Inc. Autonomous mission action alteration
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US10262289B2 (en) 2016-02-02 2019-04-16 Mikko Vaananen Social drone
US10553122B1 (en) * 2016-03-22 2020-02-04 Amazon Technologies, Inc. Unmanned aerial vehicle data collection for routing
US20170322628A1 (en) * 2016-05-05 2017-11-09 Jamie Tan Airborne haptic feedback device
US10327424B2 (en) * 2016-05-23 2019-06-25 Ecolab Usa Inc. Device and method for managing bird populations
US10118698B2 (en) * 2016-07-06 2018-11-06 At&T Intellectual Property I, L.P. Remote forensic investigation
US10170011B2 (en) * 2016-07-26 2019-01-01 International Business Machines Corporation Guide drones for airplanes on the ground
US9987971B2 (en) 2016-07-29 2018-06-05 International Business Machines Corporation Drone-enhanced vehicle external lights
US10820574B2 (en) * 2016-07-29 2020-11-03 International Business Machines Corporation Specialized contextual drones for virtual fences
US10474144B2 (en) * 2016-08-01 2019-11-12 The United States Of America, As Represented By The Secretary Of The Navy Remote information collection, situational awareness, and adaptive response system for improving advance threat awareness and hazardous risk avoidance
KR101908435B1 (ko) * 2017-01-19 2018-10-16 금오공과대학교 산학협력단 생체 모방 알고리즘을 이용한 다수 드론의 수색 및 정찰 방법
US11112395B2 (en) * 2017-02-24 2021-09-07 Particles Plus, Inc. Networked air quality monitoring system
US10329017B2 (en) * 2017-03-13 2019-06-25 General Electric Company System and method for integrating flight path and site operating data
US10375289B2 (en) * 2017-03-31 2019-08-06 Hangzhou Zero Zero Technology Co., Ltd. System and method for providing autonomous photography and videography
US11495118B2 (en) * 2017-06-27 2022-11-08 Oneevent Technologies, Inc. Augmented reality of a building
CN107610212B (zh) * 2017-07-25 2020-05-12 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
US11460304B2 (en) 2017-07-27 2022-10-04 Westinghouse Electric Company Llc Method of locating a remotely operated vehicle within a workspace and remote inspection system employing such method
CN107291103A (zh) * 2017-08-07 2017-10-24 联想(北京)有限公司 一种控制方法和电子设备
US20190107845A1 (en) * 2017-10-09 2019-04-11 Intel Corporation Drone clouds for video capture and creation
US20190112049A1 (en) * 2017-10-17 2019-04-18 Top Flight Technologies, Inc. Portable launch system
CN109074097A (zh) * 2017-12-18 2018-12-21 深圳市大疆创新科技有限公司 用于控制无人机的方法和设备
RU2683993C1 (ru) * 2018-01-23 2019-04-03 Общество с ограниченной ответственностью "НЕОСФЕРА" Способ определения локальных координат и система для осуществления указанного способа
US10800039B2 (en) 2018-01-23 2020-10-13 General Electric Company Controlling and commanding an unmanned robot using natural interfaces
JP6988003B2 (ja) 2018-01-29 2022-01-05 イスラエル エアロスペース インダストリーズ リミテッド 無人車両の近接ナビゲーション
WO2019169105A1 (en) * 2018-02-28 2019-09-06 Walmart Apollo, Llc System and method for assisting unmanned vehicles in delivery transactions
WO2019190870A1 (en) * 2018-03-30 2019-10-03 Walmart Apollo, Llc Unmanned vehicle antennae contact sensor systems and methods
US10909712B2 (en) 2018-05-21 2021-02-02 Microsoft Technology Licensing, Llc Precision mapping using autonomous devices
JP7037436B2 (ja) * 2018-05-29 2022-03-16 京セラ株式会社 飛行装置、飛行装置の制御方法、飛行装置の制御プログラム、及び飛行装置の経路を成す構造物
WO2020014680A1 (en) 2018-07-12 2020-01-16 TerraClear Inc. Object identification and collection system and method
US11378975B1 (en) 2019-01-03 2022-07-05 The Johns Hopkins University Autonomous navigation technology
US11259195B1 (en) * 2019-03-15 2022-02-22 Alarm.Com Incorporated Security camera drone communication coupling to control and computing station
GB201906420D0 (en) * 2019-05-07 2019-06-19 Farley Adam Virtual augmented and mixed reality systems with physical feedback
US11401033B2 (en) * 2019-05-09 2022-08-02 Noa, Inc. Remote sensor data acquisition using autonomous drones
US10965914B2 (en) * 2019-07-08 2021-03-30 Andrae T. D'Acquisto Trail camera
DE102019211048A1 (de) 2019-07-25 2020-07-02 Thyssenkrupp Ag Verfahren und Einrichtung zur automatisierbaren Personenzugangskontrolle zu einem im Freien befindlichen Anlagengelände
GB2586996B (en) * 2019-09-11 2022-03-09 Canon Kk A method, apparatus and computer program for acquiring a training set of images
KR102366604B1 (ko) * 2020-02-04 2022-02-23 금오공과대학교 산학협력단 무인항공기를 이용한 동물 퇴치 방법
CN111452960A (zh) * 2020-04-17 2020-07-28 桂林理工大学 一种基于无人机注浆的危岩加固方法及装置
US11815914B2 (en) * 2020-05-20 2023-11-14 Jonathan Ralph Burdick Adaptive anti-laser system
US11809176B2 (en) 2020-12-16 2023-11-07 Rockwell Collins, Inc. Formation management and guidance system and method for automated formation flight
CN112666980B (zh) * 2020-12-30 2023-03-14 青海大学 一种无人机集群协作系统、协作方法及无人机集群
CN113031637B (zh) * 2021-03-05 2023-03-10 北京理工大学 一种多飞行机器人的集联操作平台
CN113225706A (zh) * 2021-05-06 2021-08-06 中国人民解放军空军军医大学 基于无人机集群的战场伤员搜索方法与系统
US20230058405A1 (en) * 2021-08-20 2023-02-23 Sony Group Corporation Unmanned aerial vehicle (uav) swarm control
CN113433977B (zh) * 2021-08-26 2021-11-16 汕头大学 基于无人机群的高层建筑火场探测方法及系统
TWI819569B (zh) * 2022-04-14 2023-10-21 實踐大學 架構於無人機群飛之零時差巨幅空照圖拍攝裝置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075705A (ja) * 1999-08-31 2001-03-23 Toshiba Corp 触覚を利用した方向提示装置及びその方法
JP2005517193A (ja) * 2002-02-05 2005-06-09 ハンドシェイク インタラクティブ テクノロジーズ インコーポレイテッド 軽クライアント型知的移送のための方法及びシステム
JP2006344075A (ja) * 2005-06-09 2006-12-21 Sony Corp ネットワーク・システム、移動体装置及びその制御方法、並びにコンピュータ・プログラム
JP2007093045A (ja) * 2005-09-27 2007-04-12 Mitsubishi Electric Corp 指令装置及び指令方法
JP2009540685A (ja) * 2006-06-09 2009-11-19 インサイチュー インコーポレイテッド 無人機の無線制御および関連する偵察データへのアクセス
US20100277588A1 (en) * 2009-05-01 2010-11-04 Aai Corporation Method apparatus system and computer program product for automated collection and correlation for tactical information
JP2011530692A (ja) * 2008-05-21 2011-12-22 ザ・ボーイング・カンパニー 遠隔無人輸送手段群による構造物および物体の検査用システムおよび方法
US20120083947A1 (en) * 2009-03-05 2012-04-05 Massachusetts Institute Of Technology Integrated framework for vehicle operator assistance based on a trajectory and threat assessment
US20130289858A1 (en) * 2012-04-25 2013-10-31 Alain Anthony Mangiat Method for controlling and communicating with a swarm of autonomous vehicles using one-touch or one-click gestures from a mobile platform
JP2014122019A (ja) * 2012-12-12 2014-07-03 Boeing Co 樹木計測システム
JP2014139538A (ja) * 2013-01-21 2014-07-31 Mitsubishi Heavy Ind Ltd 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
WO2012149225A2 (en) * 2011-04-26 2012-11-01 The Regents Of The University Of California Systems and devices for recording and reproducing senses
US8874360B2 (en) 2012-03-09 2014-10-28 Proxy Technologies Inc. Autonomous vehicle and method for coordinating the paths of multiple autonomous vehicles
CN102628690B (zh) * 2012-04-19 2015-06-24 清华大学 两架无人机任务协同可视导航方法
US9540102B2 (en) 2012-12-19 2017-01-10 Elwha Llc Base station multi-vehicle coordination
CN103686084A (zh) * 2013-12-10 2014-03-26 中国航天科工集团第四研究院 一种用于多无人机协同实时侦察的全景视频监控方法
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
US10694155B2 (en) 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
US9692498B2 (en) * 2015-10-16 2017-06-27 At&T Intellectual Property I, L.P. Extending wireless signal coverage with drones
US9836049B1 (en) * 2017-05-05 2017-12-05 Pinnacle Vista, LLC Relay drone system
US10600295B2 (en) * 2017-05-05 2020-03-24 Tg-17, Inc. System and method for threat monitoring, detection, and response
US10555152B2 (en) * 2017-09-28 2020-02-04 At&T Intellectual Property I, L.P. Drone-to-drone information exchange

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075705A (ja) * 1999-08-31 2001-03-23 Toshiba Corp 触覚を利用した方向提示装置及びその方法
JP2005517193A (ja) * 2002-02-05 2005-06-09 ハンドシェイク インタラクティブ テクノロジーズ インコーポレイテッド 軽クライアント型知的移送のための方法及びシステム
JP2006344075A (ja) * 2005-06-09 2006-12-21 Sony Corp ネットワーク・システム、移動体装置及びその制御方法、並びにコンピュータ・プログラム
JP2007093045A (ja) * 2005-09-27 2007-04-12 Mitsubishi Electric Corp 指令装置及び指令方法
JP2009540685A (ja) * 2006-06-09 2009-11-19 インサイチュー インコーポレイテッド 無人機の無線制御および関連する偵察データへのアクセス
JP2011530692A (ja) * 2008-05-21 2011-12-22 ザ・ボーイング・カンパニー 遠隔無人輸送手段群による構造物および物体の検査用システムおよび方法
US20120083947A1 (en) * 2009-03-05 2012-04-05 Massachusetts Institute Of Technology Integrated framework for vehicle operator assistance based on a trajectory and threat assessment
US20100277588A1 (en) * 2009-05-01 2010-11-04 Aai Corporation Method apparatus system and computer program product for automated collection and correlation for tactical information
US20130289858A1 (en) * 2012-04-25 2013-10-31 Alain Anthony Mangiat Method for controlling and communicating with a swarm of autonomous vehicles using one-touch or one-click gestures from a mobile platform
JP2014122019A (ja) * 2012-12-12 2014-07-03 Boeing Co 樹木計測システム
JP2014139538A (ja) * 2013-01-21 2014-07-31 Mitsubishi Heavy Ind Ltd 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694155B2 (en) 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
US11076134B2 (en) 2015-06-25 2021-07-27 Intel Corporation Personal sensory drones
JP2020001005A (ja) * 2018-06-29 2020-01-09 株式会社星光技研 液体放出装置
JP2020027574A (ja) * 2018-08-17 2020-02-20 株式会社東芝 自律移動装置、方法及び3次元モデリングシステム
JP2021068244A (ja) * 2019-10-24 2021-04-30 横河電機株式会社 測定システムおよび測定方法
JP7302431B2 (ja) 2019-10-24 2023-07-04 横河電機株式会社 測定システムおよび測定方法
JP7459808B2 (ja) 2021-01-20 2024-04-02 トヨタ自動車株式会社 サーバ装置、システム、飛行体、及びシステムの動作方法

Also Published As

Publication number Publication date
PL3786753T3 (pl) 2023-10-16
KR102424180B1 (ko) 2022-07-25
PL3314343T3 (pl) 2021-12-06
US11076134B2 (en) 2021-07-27
US20200322577A1 (en) 2020-10-08
EP3786753C0 (en) 2023-06-07
KR20180012876A (ko) 2018-02-06
JP6863555B2 (ja) 2021-04-21
EP3314343A1 (en) 2018-05-02
EP3314343B1 (en) 2021-06-23
CN107667521B (zh) 2021-09-21
EP3786753A1 (en) 2021-03-03
EP3314343A4 (en) 2019-01-30
EP3786753B1 (en) 2023-06-07
US20160378109A1 (en) 2016-12-29
CN107667521A (zh) 2018-02-06
US10694155B2 (en) 2020-06-23
WO2016209504A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
US11076134B2 (en) Personal sensory drones
US20210072745A1 (en) Systems and methods for uav flight control
JP7307259B2 (ja) 三次元情報処理方法及び三次元情報処理装置
US11386672B2 (en) Need-sensitive image and location capture system and method
Toth et al. Remote sensing platforms and sensors: A survey
US10955674B2 (en) Energy-harvesting beacon device
Kyrkou et al. Drones: Augmenting our quality of life
JP2023126813A (ja) 自動化された適応型三次元ロボット現地調査
US20200326199A1 (en) Route guidance and proximity awareness system
US11668577B1 (en) Methods and systems for response vehicle deployment
US20220221857A1 (en) Information processing apparatus, information processing method, program, and information processing system
JP2023059553A (ja) 体験装置、体験システム、及び、表示方法
JP7130409B2 (ja) 管制装置
US20240142978A1 (en) Systems and Methods for Fusing Sensor Data from Drones in a Virtual Environment
Morris et al. Map interface for geo-registering and monitoring distributed events

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210322

R150 Certificate of patent or registration of utility model

Ref document number: 6863555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250