JP2019516323A - 複数の無人航空ビークルを使用する画像化 - Google Patents
複数の無人航空ビークルを使用する画像化 Download PDFInfo
- Publication number
- JP2019516323A JP2019516323A JP2018557126A JP2018557126A JP2019516323A JP 2019516323 A JP2019516323 A JP 2019516323A JP 2018557126 A JP2018557126 A JP 2018557126A JP 2018557126 A JP2018557126 A JP 2018557126A JP 2019516323 A JP2019516323 A JP 2019516323A
- Authority
- JP
- Japan
- Prior art keywords
- uav
- camera
- imaging system
- target
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000005286 illumination Methods 0.000 claims description 54
- 230000003213 activating effect Effects 0.000 claims description 17
- 238000003032 molecular docking Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000002329 infrared spectrum Methods 0.000 claims description 5
- 238000001931 thermography Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 57
- 230000001413 cellular effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241001553178 Arachis glabrata Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 235000020232 peanut Nutrition 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/02—Arrangements or adaptations of signal or lighting devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
- G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U30/00—Means for producing lift; Empennages; Arrangements thereof
- B64U30/20—Rotors; Rotor supports
Abstract
Description
「ドローン」とも呼ばれる無人航空ビークル(UAV)は、航空撮影および/またはビデオ監視のために使用される。乏しい日光または周囲光の低い/ない条件において、UAVカメラは、一次光源として、組み込み型フラッシュまたは搭載されたライトに依存することが多い。しかしながら、このような照明によって提供される照光は、ターゲットと光源との間の距離により、減少する。シーンを照光するために固定遠隔光を使用してもよいが、このようなライトは、高度なセットアップを必要とし、容易に再構成または移動できない。
さまざまな実施形態のシステム、デバイス、および、方法は、第1の無人航空ビークル(UAV)と、第2のUAVとを含む航空画像化システムを含み、第1のUAVは、カメラを含み、オペレータから入力を受け取るように構成されていてもよい。第2のUAVは、ドッキングするように構成されていてもよく、カメラのための照光を提供するように構成されているライトを含んでいてもよい。
さまざまな実施形態において、第1のUAVは、第2のUAVが第1のUAV上にドッキングされながら、飛行するように構成されていてもよく、第2のUAVは、第1のUAVから展開され、独立して飛行するように構成されていてもよい。
第1のUAVは、第1の画像から第2のUAVのポジションを決定するように構成されているプロセッサを含んでいてもよい。プロセッサは、カメラ画像から第2のUAVのポジションを決定するようにさらに構成されていてもよい。プロセッサは、カメラ画像と第2のUAVから受け取った画像との比較に基づいて、第1のUAVから離れて飛行する第2のUAVの航空ポジションを決定するように構成されていてもよい。
さまざまな実施形態において、第2のUAVは、第1のUAVのオペレータからの入力なく、第1のUAVから離れて、第1のUAVに対する予め定められた航空ポジションに飛行するように構成されていてもよい。いくつかの実施形態において、第2のUAVは、音を記録するように構成されているマイクロフォンを含んでいてもよい。いくつかの実施形態において、第2のUAVは、近接センサから受け取った信号を使用して、カメラによる撮影のターゲットに対する第2のUAVの決定した航空ポジションを維持するように構成されていてもよい。
いくつかの実施形態において、第2のUAVは、第2のUAV上の画像捕捉デバイスから取得した画像中の、カメラによる撮影のターゲットを認識し、カメラによる撮影のターゲットに対するUAVの航空ポジションを維持するように構成されているプロセッサを含んでいてもよい。いくつかの実施形態において、第2のUAVは、撮影のターゲットの決定した照光の量を提供するために、カメラによる撮影のターゲットに対するポジションに飛行するように制御されてもよい。いくつかの実施形態において、第2のUAV上のライトによって提供される照光の量は、第2のUAVの航空ポジションを変更することによって、または、第2のUAVから放射されるライトのレベルを変更することによって、調節可能であってもよい。ライトは、赤外線スペクトル中で放射してもよく、カメラは、熱画像化のために構成されていてもよい。
いくつかの実施形態において、第3のUAVは、第1のUAVとドッキングし、第1のUAVから展開されるように構成されていてもよい。いくつかの実施形態において、第1のUAVは、第2のUAVと第3のUAVの両方をサポートしながら、飛行するように構成されていてもよい。いくつかの実施形態において、第1のUAV上のカメラと第1のUAVは、第2のUAVを制御するためにカメラ画像を使用するように構成されていてもよい。いくつかの実施形態において、カメラは、2つ以上の異なる画像を同時に捕捉するように構成されていてもよい。いくつかの実施形態において、カメラは、2つ以上の異なる画像がオーバーラップするように構成されていてもよい。
いくつかの実施形態は、カメラを含む第1の無人航空ビークル(UAV)から第2のUAVを展開させて、第1のUAVから離れて飛行させることと、第2のUAV上のライトをアクティブ化して、カメラによる撮影のターゲットを照光することと、カメラをアクティブ化して、ライトによって照光される撮影のターゲットを撮影することとを含んでいてもよい。いくつかの実施形態は、第1のUAVの遠隔で制御するオペレータからの入力なく、第1のUAVから離れて第2のUAVを飛行させることをさらに含んでいてもよい。いくつかの実施形態は、第2のUAVが第1のUAV上にドッキングされながら、第1のUAVを飛行させることを含んでいてもよい。いくつかの実施形態は、カメラをアクティブ化して、オーバーラップしていてもよい2つ以上の異なる画像を同時に捕捉するように撮影のターゲットを撮影することを含んでいてもよい。
いくつかの実施形態は、カメラをアクティブ化して、撮影のターゲットを撮影した後、第2のUAVを第1のUAVと再ドッキングすることを含んでいてもよい。いくつかの実施形態は、音記録のターゲットから出る音を記録するために、第2のUAV上のマイクロフォンをアクティブ化することを含んでいてもよい。
いくつかの実施形態は、第3のUAVを、第1のUAVから展開させることと、第2のUAVと第3のUAVの両方をサポートしながら、第1のUAVを飛行させることとを含んでいてもよい。いくつかの実施形態は、第2のUAVを制御するために、カメラからのカメラ画像を使用して、第2のUAVのポジションを決定することを含んでいてもよい。いくつかの実施形態は、第2のUAV上の別のカメラによって撮られた、遠隔で捕捉された視覚画像を第1のUAVによって受け取ることを含んでいてもよい。いくつかの実施形態は、第1のUAV上のカメラによって捕捉された搭載視覚画像と第2のUAV上の他のカメラによって撮られた遠隔に捕捉された視覚画像との比較に基づいて、第1のUAVから離れて飛行する第2のUAVの航空ポジションを決定することを含んでいてもよい。いくつかの実施形態は、第1のUAVから第2のUAVに、第2のUAVが第1のUAVに対する予め定められた航空ポジションを維持するためのコマンドを送信することを含んでいてもよい。いくつかの実施形態は、第1のUAVから第2のUAVに、第2のUAVがカメラによる撮影のターゲットに対する予め定められた航空ポジションを維持するためのコマンドを送信することを含んでいてもよい。いくつかの実施形態は、第1のUAVから遠隔に飛行する第2のUAVから、第2のUAVの航空ポジションを決定するためのロケーション情報を受け取ることを含んでいてもよい。いくつかの実施形態は、第1のUAVに対する第2のUAVの相対ポジションを決定することを含んでいてもよい。いくつかの実施形態は、第2のUAV上のライトによって提供される照光の量を決定することを含んでいてもよい。いくつかの実施形態は、第2のUAV上のライトによって提供される照光の量に対して必要とされる調節を決定することと、第2のUAV上のライトによって提供される照光の量に対して必要とされる調節を行うための命令を第2のUAVに送信することとを含んでいてもよい。
さらなる実施形態は、第1のUAVと第2のUAVとを含む、航空画像化システムを含んでいてもよく、第1および第2のUAVは、上記で要約した方法の機能を実行する手段を含む。さらなる実施形態は、プロセッサ実行可能な命令を記憶している非一時的なプロセッサ読取可能記憶媒体を含んでいてもよく、プロセッサ実行可能な命令は、第1のUAVのプロセッサに、上記で要約した方法の動作を実行させるように構成されている。
ここに組み込まれ、この明細書の一部を構成する添付の図面は、例示的な実施形態を図示し、上記で与えた一般的な説明と、以下で与える詳細な説明とともに、さまざまな実施形態の特徴を説明するのに役立つ。
添付の図面を参照して、さまざまな実施形態を詳細に説明する。可能な限り、同じ参照番号は、同じまたは類似の部分を指すように、図面全体を通して使用されるだろう。特定の例およびインプリメンテーションになされる参照は、実例となる目的のためものであり、特許請求の範囲を限定することを意図していない。
さまざまな実施形態は、少なくとも2つのUAVを含む航空画像化システムを含む。第1の無人航空ビークル(UAV)は、カメラを含み、オペレータから入力を受け取るように構成されている。第2のUAVは、第1のUAVとドッキングし、第1のUAVから展開するように構成されている。第2のUAVは、第1のUAV上のカメラによって第1の画像として捕捉されるターゲットを照光するためのライトを含む。第2のUAV上の照光源をポジショニングすることは、航空画像化システムが、照明の所望のまたは最小レベルを達成するように選択または制御されてもよい、物体またはシーンからの第2の距離における第2のUAVによって照光される物体またはシーンから第1の距離における第1のUAVによる画像を捕捉できるようにする。したがって、第1のUAVによって画像を集めるために選択される、物体またはシーンからの距離が、第2のUAV上の照光源からのライトを受け入れられないレベルに減衰させるとき、第2のUAVは、第1のUAVから離され、適切なまたは所望の照光を達成できる、物体またはシーンに近いポジションに飛行してもよい。複数の照光UAVが、航空画像化システムにおいて実現されてもよく、これは、異なる方向からの照明を可能にする。
ここで使用するような、用語「UAV」は、さまざまなタイプの無人航空ビークルのうちの1つを指す。UAVは、遠隔動作命令なく(すなわち、自律的に)、ならびに/あるいは、人間オペレータまたは遠隔コンピューティングデバイス(すなわち、半自律)からのような、メモリ中に記憶されている、いくつかの遠隔動作命令または命令への更新により、UAVを飛行および/または動作させるように構成されている搭載コンピューティングデバイスを含んでいてもよい。多数の既知の方法のうちの何れかで、飛行のために、UAVを推進してもよい。例えば、それぞれが1つ以上の回転翼を含む複数の推進ユニットが、UAVとUAVによって運ばれる任意のペイロードとに対する推進または揚力を提供してもよい。さらに、UAVは、ホイール、タンクトレッド、あるいは、地上のまたは水中の移動を可能にする他の非航空移動メカニズム、および、これらの組み合わせを含んでいてもよい。UAVは、電気、化学、電気化学、または、他のパワーリザーブのような、1つ以上のタイプの電源によって電力供給されてもよく、1つ以上のタイプの電源は、推進ユニット、搭載コンピューティングデバイス、および/または、他の搭載コンポーネントに電力供給してもよい。
用語「コンピューティングデバイス」は、少なくともプロセッサを装備した電子デバイスを指すようにここで使用される。コンピューティングデバイスの例は、UAVに搭載される、UAVフライト制御および/またはミッション管理コンピュータとともに、さまざまな実施形態の動作を実行するように構成され、UAVと通信する遠隔コンピューティングデバイスを含んでいてもよい。遠隔コンピューティングデバイスは、ワイヤレス通信デバイス(例えば、セルラ電話機、ウェアラブルデバイス、スマートフォン、ウェブパッド、タブレットコンピュータ、インターネット可能セルラ電話機、Wi−Fi(登録商標)可能電子デバイス、パーソナルデータアシスタント(PDA)、ラップトップコンピュータ等)、パーソナルコンピュータ、および、サーバを含んでいてもよい。さまざまな実施形態において、コンピューティングデバイスは、メモリおよび/または記憶装置とともに、ワイドエリアネットワーク(WAN)接続(例えば、セルラネットワーク接続等)をおよび/またはローカルエリアネットワーク(LAN)接続(例えば、Wi−Fi(登録商標)ルーター等を介したインターネットへのワイヤレス接続)を確立するように構成されているネットワークトランシーバおよびアンテナのような、ワイヤレス通信能力を有するように構成されていてもよい。
図1は、さまざまな実施形態にしたがった、第1のUAV101と第2のUAV102を有する航空画像化システム100の例を図示している。図1中に図示している例において、第1のUAV101は、カメラ110を含み、第1のUAV101は、オペレータ通信リンク130を介してワイヤレス通信デバイス800を使用して、オペレータ5から入力または命令を受け取るように構成されている。オペレータ5は、第1のUAV101の飛行を開始して、制御してもよく、ターゲット50を撮影する等のために、カメラ110を制御してもよい。第2のUAV102は、第1のUAV101によって撮影されるターゲット50を照光するためのライト120を含む。代替的に、第1のUAV101が、ライト120を含んでいてもよく、第2のUAV102が、カメラ110を含んでいてもよい。さらなる代替として、第1のUAV101と第2のUAV102の両方が、それぞれライト120とカメラ110を含んでいてもよい。
いくつかの実施形態において、第1のUAVが第2のUAV102を撮影ロケーションに運ぶように、第2のUAV102は、第1のUAV101とドッキングし、第1のUAV101から展開されるように構成されている。いくつかの実施形態において、第2のUAV102が第1のUAV101を撮影ロケーションに運ぶように、第1のUAV101は、第2のUAV102とドッキングし、第2のUAV102から展開するように構成されている。いくつかの実施形態において、第3のUAVが第1のUAV101と第2のUAV102を撮影ロケーションに運ぶように、第1のUAV101と第2のUAV102は、第3のUAV(例えば、図3A参照)とドッキングし、第3のUAVから展開するように構成されていてもよい。
ライト120から出力する照光を、カメラ110によって撮られる撮影により調整するために、第2のUAV102は、第1のUAV101と同期されてもよい。UAV間通信リンク135を使用して、第1のUAV101は、第2のUAV102のナビゲーションを制御して、第1のUAV101と第2のUAV102の同期を保ってもよい。
説明および実例をし易くするために、ワイヤリング、フレーム構造、電源、着陸コラム/ギア、または、当業者に既知である他の特徴のような、第1のUAV101と第2のUAV102のいくつかの詳細な態様は省略されている。さらに、さまざまな実施形態において、4つの回転翼を有するクワドコプターとしてUAVは図示されているが、UAVは、4つよりも多いまたは少ない回転翼を含んでいてもよい。また、第1のUAV101と第2のUAV102は、類似したまたは異なるコンフィギュレーション、回転翼の数、ならびに/あるいは、他の態様を有していてもよい。
カメラ110は、1つ以上の画像を捕捉するために、視界112内の事実上何でもから反射されるまたは放射されるライトを内部光感応表面上に焦点を合わせてもよい。このような方法で、カメラ110は、静止および/またはビデオ撮影のための画像を捕捉する。カメラ110は、第1のUAV101上にピボット回転可能に取り付けられてもよく、または、別の方法で、3軸ポインティング制御を提供するように調節可能であってもよい。視界112は、カメラ110によって見える観測可能な世界の範囲を含み、これは、カメラ110から無限遠に向かって外側に離れて広がる。カメラ110は、ターゲット50が視界112内であり、適用可能な場合、カメラ110の焦点の限界内のとき、ターゲット50に焦点を合わせてもよい。視界112は、隣接物体55と、および、第2のUAVのような、介在物体とを含んでいてもよい。ターゲット50は、図1中に示す3人の個人のような、撮影の焦点である1以上の生物および/または物体を含んでいてもよい。
さまざまな実施形態において、第2のUAV上のライト120は、撮影(すなわち、静止および/またはビデオ撮影)のための照光源がカメラ110よりもターゲット50の近くに位置付けられることができるように、および/または、カメラ110の遠近の角度とは異なる角度から照光を提供できるように、光源および/または補足的光源を提供する。ライト120とともに第2のUAV102は、第1のUAV101から離れて飛行してもよく、第1のUAV101のポジションから移動したポジションからライトを投影するように位置付けられていてもよい。
周囲光の条件が所望のものより低いまたは少ないとき、さまざまな実施形態は、第2のUAV102上のライト120を使用して、照らされる領域122を作り出してもよい。照らされる領域122は、カメラ110の視界112の一部分において、照光を強化してもよく、したがって、ターゲット50上に追加の照光を投影する。照らされる領域122が視界112よりもかなり小さいときに、視界112内の隣接物体55が、照らされる領域122の外側に配置される場合、このような物体は、ターゲット50と同じレベルの照光を受け取らないかもしれない。照らされる領域122は、第2のUAVから離れるように(すなわち、ターゲット50に向かって)投影することから、第2のUAV102自体またはその一部分は、照らされる領域112中に含まれない。
ターゲット50の相対ポジションは、第1の基準フレーム115、第2の基準フレーム117、および、第3の基準フレーム125を使用して、さらに図示されている。第1の基準フレーム115は、視界112によって境界される、カメラ110が面する方向に垂直な仮想的平面範囲に対応し、ターゲット50上の焦点を含む。第2の基準フレーム117も、視界112によって境界される、カメラ110が面する方向に垂直な仮想的平面範囲に対応するが、第2のUAV102のロケーションに対応し、ライト120が出るポイントを含む。第3の基準フレーム125は、照らされる領域112によって境界されることと、第1の基準フレーム115内であることとの、両方である、仮想平面範囲に対応する。
さまざまな実施形態において、第1のUAV101と第2のUAV102は、互いにドッキングするように構成されていてもよい。第2のUAV102は、2つのUAVのうちの何れか、または、UAV101、102の両方によって制御される結合を介して、第1のUAV101に結合してもよい。第1のUAV101が移動し、さまざまな航空操作を実行している間に、第2のUAV102を固定するための十分な構造的剛性を、このような結合は提供してもよい。ドッキングしたコンフィギュレーションにおいて、第2のUAV102は、第1のUAV101の上部領域上にピギーバックしてもよい。代替的に、第2のUAV102は、第1のUAV101の横または下側に取り付けられるような、第1のUAV101の別の部分にドッキングしてもよい。横および/または下側ドッキングアレンジメントは、第1のUAV101と第2のUAV102との間の空気力の相互作用をさらに考慮する必要があるかもしれない。第1のUAV101の回転翼によって発生する乱気流は、第2のUAV102の展開および/または再ドッキングと干渉するかもしれない。飛行中、第1のUAV101より上のエリアは、乱気流の低い領域になる傾向がある。したがって、第2のUAV102は、乱気流と制御の損失を回避するために、第1のUAV101の飛行経路より上の領域中のままにいようとしてもよい。さらなる代替として、第2のUAV102は、ドッキングされているコンフィギュレーションの間、第1のUAV101内に部分的にまたは完全に保持されてもよい。
第1のUAV101は、ドッキングしたコンフィギュレーションで動作するとき、第2のUAV102をサポートしながら飛行するように構成されていてもよい。したがって、航空画像化システム100は、第1のUAV101と第2のUAV102がドッキングしたコンフィギュレーションである間、または、2つのUAVが離れた後の何れかで、カメラ110とライト120を使用してもよい。例えば、ターゲット50がカメラ110の近くで撮影される、または、周囲光条件によりライト120が必要とされないとき、第1および第2のUAV101、102は、ドッキングしたコンフィギュレーションのままであってもよい。したがって、第2のUAV102が第1のUAV101とドッキングしたままで、ライト120を使用することなくカメラ110を使用することにより(例えば、周囲光が十分)、または、カメラ110とライト120をともに使用することにより、の何れかによって、第1のUAV101は、1枚以上の写真をとってもよい。第1および第2のUAV101、102がドッキングしているとき、ライト120が十分な照光を提供できない、カメラ110から十分遠くにいったんターゲット50が離れると、第2のUAV102は、第1のUAV101から展開し、照らされる領域122がターゲットの十分な照光を提供する、ターゲット50により近いロケーションに飛行してもよい。
いったん第1のUAV101から展開されると、第2のUAV102は、オペレータ5からのナビゲーション命令なく、第1のUAV101におよび/またはターゲット50に対して指定された航空ポジションに飛行してもよい。指定された航空ポジションは、撮影されるターゲット50に強化した照光を提供するように決定されてもよい。第1のUAV101、第2のUAV102、または、両方のUAVは、現在の照明条件と所望の撮影効果の下で、ターゲットを照光するための指定された航空ポジションを自動的に決定してもよい。代替的に、第1のUAV101に対する第2のUAV102のために指定された航空ポジションは、デフォルトの離れたポジション(例えば、設定角度および方向で第1のUAV101から5メートル離れた)のような、予め定められた相対ポジションであってもよい。指定された航空ポジションへの第2のUAV102のナビゲーションは、第1のUAV101によって完全に制御されてもよく、第2のUAV102から受け取った情報/フィードバックに基づいて第1のUAV101によって制御されてもよく、または、第2のUAV102によって独立して制御されてもよい。
図2A〜2Bは、さまざまな実施形態にしたがった航空画像化システム100の前面立面図である。図1〜2Aを参照すると、航空画像化システム100は、(例えば、図2A中に示しているような)その上にドッキングされている第2のUAV102をサポートする第1のUAV101を含んでいてもよい。第1のUAV101と第2のUAV102とのうちの1つまたは両方は、ドッキングされたコンフィギュレーションを維持するために、2つのUAV101、102をともにしっかりと保持するための自動ラッチメカニズムを含んでいてもよい。第2のUAV102を展開するためのような、2つのUAV101、102を離すために、自動ラッチメカニズムが解かれてもよい。
図1〜2Bを参照すると、(例えば、図2B中に示されているような)第2のUAV102は、第1のUAV101から展開され、第1のUAV101から離れて飛行してもよい。いくつかの実施形態において、2つのUAV101、102を迅速に分離する放出メカニズムが含まれていてもよい。
(示していない)代替実施形態において、第2のUAV102は、第1のUAV101の下側で運ばれてもよく、これは、第2のUAV102が第1のUAV101から解放されるとき、数秒の自由降下により、第1のUAV101から迅速に分離するために、第2のUAV102が、重力を使用することを可能にする。第1のUAV101の下降気流から発生した著しい乱気流により、飛行中に第1のUAV101の下側に再ドッキングすることは、実行不可能であるかもしれない。したがって、第2のUAV102を第1のUAV101の下側に再ドッキングするために、着陸後オペレータ5によって実行される手動再ドッキングのような、追加の手順が必要とされるかもしれない。
図3Aは、さまざまな実施形態にしたがった、航空画像化システム300の上面図である。図1〜3Aを参照すると、航空画像化システム300は、第1のUAV301に加えて、第1のUAV301に上にドッキングされている、第2のUAV302、第3のUAV303、第4のUAV304、第5のUAV305を含んでいてもよい。航空画像化システム300は、さまざまな実施形態において、より多いまたはより少ないUAVを含んでいてもよい。第1のUAV301は、カメラ(例えば、110)を含んでいてもよく、4つの回転翼315を有するクワドコプターコンフィギュレーションとして図示されているが、第1のUAV301は、より多くのまたはより少ない回転翼を含んでいてもよい。第2の、第3の、第4の、および、第5のUAV302、303、304、305のそれぞれは、第1のUAV301とドッキングし、第1のUAV301から展開されるように構成されていてもよい。第1のUAV301は、第2のUAV302、第3のUAV303、第4のUAV304、および/または、第5のUAV305のうちのいくつかあるいはすべてをサポートしながら飛行するように構成されていてもよい。代替的に、第2のUAV302、第3のUAV303、第4のUAV304、および/または、第5のUAV305のうちの1つ以上は、第1のUAV301に加えて、または、第1のUAV301の代わりに、カメラ110を含んでいてもよい。どのUAV(例えば、301、302、303、304、305)がカメラを含むかにかかわらず、第1のUAV301、第2のUAV302、第3のUAV303、第4のUAV304、および/または、第5のUAV305のうちの他のものは、カメラ110に対する照光を提供するためにライト(例えば、図1中の120)を含んでいてもよい。
図3Bは、図3A中の第2のUAV302の斜視レリーフ図である。図1〜3Bを参照すると、(第2のUAV102と類似していてもよい)第2のUAV302は、ライト120、および/または、マイクロフォンのような追加のセンサを含んでいてもよい。同様に、第3の、第4の、および、第5のUAV303、304、305のうちの1つ以上は、ライト(例えば、120)、および/または、追加のセンサ、および/または、マイクロフォンを含んでいてもよい。第2の、第3の、第4の、および、第5のUAV302、303、304、305は、4つの回転翼を備えるクワドコプターとして図示されているが、第2の、第3の、第4の、および、第5のUAV302、303、304、305のうちの何れかは、より多くのまたはより少ない回転翼を有するように構成されていてもよい。
図4Aは、さまざまな実施形態にしたがった、第1のUAV301、第2のUAV302、第3のUAV303、第4のUAV304、および、第5のUAV305を含む航空画像化システム300の上面概略図である。図1〜4Aを参照すると、第3のUAV303、第4のUAV304、および、第5のUAV305が、第1のUAV301上にピギーバックコンフィギュレーションでドッキングされたままで、第2のUAV302は、第1のUAV301から離れて飛行していることが示されている。第1のUAV301は、ワイヤレス制御ユニット6へのオペレータ通信リンク130を介してオペレータ5から入力を受け取るように構成されている。第1のUAV101の飛行を開始し、制御することに加えて、オペレータ5は、展開コマンドを送信すること等により、直接的または間接的に、第2のUAV302、第3のUAV303、第4のUAV304、および、第5のUAV305のうちの何れかの飛行を開始し、制御してもよい。展開コマンドは、第1のUAV101によって撮られる撮影に対して強化された照明が必要とされるとき、オペレータによって手動で、または、(例えば、第1のUAV101の)プロセッサによって自動的に、開始されてもよいプロセスの一部分であってもよい。UAV間通信リンク135は、第2のUAV302のナビゲーションを制御し、第1および第2のUAV301、302の同期を保ってもよい。さらに、プロセッサは、UAV間通信リンク135を介して、照らされる領域122を発生させる、第2のUAV302上のライト(例えば、120)のアクティブ化を制御してもよい。
第2のUAV302は、ターゲット50上のまたはその近くの焦点60に向かって展開されてもよい。しかしながら、第2のUAV302は、何らかの撮影の少なくとも一部分をブロックするであろうことから、カメラ(例えば、120)とターゲット50との間にある航空ポジションに第2のUAV302を飛行させることを回避することが望ましいかもしれない。したがって、第2のUAV302は、視界112の外縁上に、または、そのちょうど外側にとどまる、の何れかである、ターゲット50よりも高い高さに飛行するように指示されてもよい。代替的に、第2のUAV302は、視界112の外縁またはそのちょうど外側の何れかであってもよい、ターゲット50の前で、地上に着陸する、または、地上からちょっとホバリングするように指示されてもよい。第2のUAV302の指定された航空ポジションは、照らされる領域122を発生させる際、放射するためのライト(例えば、120)の所望の角度に基づいて、選択されてもよい。例えば、ターゲット50より上から放射されるライトは、より自然に日光を模倣するかもしれない。
図4Bは、さまざまな実施形態にしたがった、第1のUAV301、第2のUAV302、第3のUAV303、第4のUAV304、および、第5のUAV305を含む航空画像化システム300の上面概略図である。図1〜4Bを参照すると、第4のUAV304と第5のUAV305が第1のUAV301上にピギーバックコンフィギュレーションでドッキングされたままで、第2のUAV302と第3のUAV303が第1のUAV301から離れて飛行していることが示されている。第2の、第3の、第4の、および、第5のUAV302、303、304、305のうちの2つが展開されるとき、飛行安定性のために、第1のUAV301上の残りのUAVのピギーバックコンフィギュレーションにおける対称性を維持するために、展開のために2つの向かい合ってドッキングされているUAVを選択することが望ましいかもしれない。
別々のUAV間通信リンク135、136は、第2のUAV302と第3のUAV303のナビゲーションをそれぞれ制御してもよい。UAV間通信リンク135、136は、第2のUAV302と第3のUAV303のそれぞれと同期されるように第1のUAV301を保ってもよい。さらに、UAV間通信リンク135、136は、別々の照らされた領域422を発生させるために、第2のUAV302と第3のUAV303のそれぞれ上の別々のライト(例えば、120)のアクティブ化を制御してもよい。別々の照らされた領域422をオーバーラップさせるが、ターゲット50の向かい合った側から発させることは、ターゲット50上の影を回避できる。さまざまな実施形態において、第2の、第3の、第4の、および、第5のUAV302、303、304、305のうちの1つ以上の間の直接UAV間通信リンクがあってもよい。
図5は、さまざまな実施形態における、UAVの何れかに対して使用されてもよい、第1のUAV301のコンフィギュレーションを図示している。図1〜5を参照すると、第1のUAV301は、第1のUAV301によって制御される他の何らかのUAVとともに、第1のUAV301の動作に電力供給し、動作を制御するために使用されるさまざまな回路およびデバイスを収容していてもよい制御ユニット150を含んでいてもよい。制御ユニット150は、プロセッサ160と、電力モジュール170と、入力モジュール180と、カメラ181と、センサ182と、出力モジュール185と、アンテナ191に結合されている無線モジュール190とを含んでいてもよい。プロセッサ160は、メモリ161とナビゲーションユニット163とを含んでいてもよく、または、これらに結合されていてもよい。プロセッサ160は、さまざまな実施形態の動作を含む、第1のUAV301の飛行と他の動作を制御するためのプロセッサ実行可能命令を有するように構成されていてもよい。プロセッサ160は、1つ以上のカメラ181とセンサ182に結合されていてもよい。
カメラ181は、ターゲット(例えば、50)を撮影するための1つ以上の画像捕捉デバイスを含んでいてもよい。1つより多くの画像捕捉デバイスは、ターゲットを含む2つの異なる画像を同時に捕捉するように構成されていてもよい。例えば、第1の画像は、ターゲットと第2のUAV(例えば、102)の両方を含んでいてもよい一方で、第2の画像は、ターゲットを含むが第2のUAVを含んでいなくてもよい。代替的に、カメラ181は、熱画像化のために赤外線スペクトル中でライトを検出するように構成されていてもよい。第2のUAVから放射されるライトが赤外線スペクトルにまで広がる場合、このような熱画像化特徴は、強化されるかもしれない。
センサ182は、光学センサ(例えば、露出を制御し、追加の照光が必要とされるか否かを決定するための露出計)、無線センサ、回転エンコーダ、(風、揚力、抵抗、または、そこにおける変化、を検出するための)圧力センサ、または、他のセンサであってもよい。代替的にまたは追加的に、センサ182は、第1のUAV301が着陸したときを示す信号を提供してもよい、接触または圧力センサであってもよい。
電力モジュール170は、プロセッサ160、入力モジュール180、センサ182、出力モジュール185、および、無線モジュール190を含む、さまざまなコンポーネントに電力を提供してもよい1つ以上のバッテリーを含んでいてもよい。さらに、電力モジュール170は、再充電可能バッテリーのような、エネルギー貯蔵コンポーネントを含んでいてもよい。このような方法で、プロセッサ160は、充電制御回路を使用して充電制御アルゴリズムを実行すること等により、電力モジュール170の充電を制御するためのプロセッサ実行可能命令を有するように構成されていてもよい。代替的にまたは追加的に、電力モジュール170は、それ自体の充電を管理するように構成されていてもよい。プロセッサ160は、出力モジュール185に結合されていてもよく、出力モジュール185は、回転翼315および他のコンポーネントを駆動するモーターを管理する制御信号を出力してもよい。
回転翼315の個々のモーターの制御を通して、第1のUAV310は、飛行中に制御されてもよい。第1のUAV301の現在のポジションおよび方向とともにターゲット(例えば、50)に向けて適切なコースを決定するために、プロセッサ160は、ナビゲーションユニット163からデータを受け取り、このようなデータを使用してもよい。さまざまな実施形態において、ナビゲーションユニット163は、第1のUAV301がグローバルナビゲーション衛星システム(GNSS)信号を使用してナビゲートできるようにする、GNSS受信機システム(例えば、1つ以上のグローバルポジショニングシステム(GPS)受信機)を含んでいてもよい。代替的にまたは追加的に、ナビゲーションユニット163は、ナビゲーションビーコン(例えば、超短波(VHF)全方向式無線標識(VOR)ビーコン)、Wi−Fiアクセスポイント、セルラネットワークサイト、無線局、遠隔コンピューティングデバイス、他のUAV等のような、無線ノードからのナビゲーションビーコンまたは他の信号を受け取る無線ナビゲーション受信機を装備していてもよい。
プロセッサ160および/またはナビゲーションユニット163は、ワイヤレス接続(例えば、セルラデータネットワーク)を通してサーバと通信して、拡張された飛行プロトコルを使用し、または、使用することを停止するためのコマンドを受け取り、ナビゲーション中で有用なデータを受け取り、リアルタイムポジション高度レポートを提供し、データをアセスするように構成されていてもよい。プロセッサ160および/またはナビゲーションユニット163に結合されている航空電子モジュール167は、高度、姿勢、対気速度、機種方位、および、GNSSポジション更新間の推測航法のようなナビゲーション目的のためにナビゲーションユニット163が使用するかもしれない類似した情報のような、飛行関連情報を提供するように構成されていてもよい。航空電子モジュール167は、ナビゲーションおよびポジショニングの計算において使用されてもよい、第1のUAV301の方向および加速度に関するデータを提供するジャイロ/加速度計ユニット165からのデータを含むかまたは受け取ってもよい。
無線モジュール190は、第2のUAV(例えば、302)からのライト(例えば、120)の使用を開始し、継続し、または、休止するためのコマンド信号のような信号をアンテナ191を介して受け取り、航空ナビゲーション設備等からの信号を受け取り、このような信号をプロセッサ160および/またはナビゲーションユニット163に提供し、第1のUAV301の動作において支援するように構成されていてもよい。いくつかの実施形態において、第1のUAV301および/または第2のUAV302を、あるいは、これらのコンポーネントを制御するためのコマンドは、無線モジュール190を介して受け取られてもよい。いくつかの実施形態において、第1のUAV301は、ワイヤレス制御ユニット6から信号を受け取ってもよい。例えば、オペレータ通信リンク130は、現在の条件、第1のUAV301またはその要素の現在の方向、予測される将来の条件、特定のUAV操作またはミッションに対する要件、カメラの照準パラメータに関する知識ベースからの入力、あるいは、撮影のターゲットに関する情報ですら含んでいてもよい。
さまざまな実施形態において、無線モジュール190は、第1のUAV301のロケーションおよび高度に依存して、セルラ接続と、Wi−Fiまたは他の形態の無線接続との間で切り替えるように構成されていてもよい。例えば、UAVトラフィックに対して指定された高度で飛行中、無線モジュール190は、サーバとの通信を維持するために、セルラインフラストラクチャと通信してもよい。さらに、第1のUAV310がオペレータ5との見通し線から外れて飛行している間は、ワイヤレス制御ユニット6との通信は、セルラ電話機ネットワークを使用して確立されてもよい。無線モジュール190とオペレータ通信リンク130との間の通信は、第1のUAV301がワイヤレス制御ユニット6の近くに移動するとき、短距離通信リンク(例えば、Wi−Fiまたはブルートゥース(登録商標))に移行してもよい。同様に、第1のUAV301は、他のUAVとのメッシュ接続または他の情報ソース(例えば、天気または他のデータ収集情報を収集および/または分配するためのバルーンまたは他の局)への接続のような、他の形態の無線通信を含んでいて、用いてもよい。
さまざまな実施形態において、制御ユニット150は、入力モジュール180を装備してもよく、入力モジュール180は、さまざまな用途に使用してもよい。例えば、入力モジュール180は、搭載カメラ181またはセンサ182から画像またはデータを受け取り、事前処理してもよく、あるいは、他のコンポーネント(例えば、ペイロード)から電子信号を受け取ってもよい。入力モジュール180は、第1のUAV301上のアクチュエータに着陸クッションをまたは緊急着陸に影響を及ぼす類似のコンポーネントを展開させるアクティブ化信号を受け取ってもよい。さらに、出力モジュール185は、コンポーネント(例えば、エネルギーセル、アクチュエータ、インジケータ、回路要素、センサ、および/または、エネルギー収集要素)をアクティブ化するために使用してもよい。
制御ユニット150のさまざまなコンポーネントを別々のコンポーネントとして図5中に図示しているが、コンポーネント(例えば、プロセッサ160、出力モジュール185、無線モジュール190、および、他のユニット)のうちのいくつかまたはすべては、システムオンチップモジュールのような、単一のデバイスまたはモジュール中でともに統合してもよい。
図6は、さまざまな実施形態にしたがった、(例えば、一般的に図1〜5中の第1のUAV101、301に対応してもよい)第1のUAV601と(例えば、一般的に図1〜5中の第2または他のUAV102、302、303、304、305に対応してもよい)第2のUAV602とを有する航空画像化システム600を図示している。図1〜6を参照すると、第1のUAV601は、カメラ(例えば、110)を含み、タブレットコンピュータの形態のワイヤレス通信デバイス606へのオペレータ通信リンク130を介して、オペレータ5から入力を受け取るように構成されている。オペレータ5は、第1のUAV601の飛行を開始し、制御するだけでなく、ターゲット50を撮影する等のために、カメラ110の制御もしてもよい。
第2のUAV602は、第1のUAV601とドッキングし、第1のUAV601から展開されるように構成されていてもよい。また、第2のUAV602は、第1のUAV601によって撮影されるターゲット50を照光するためのライト(例えば、120)を含む。さらに、第2のUAV602は、ターゲットが位置付けられているエリアから音51を記録するように構成されているマイクロフォン630を含んでいてもよい。第2のUAV602は、オーディオをピックアップするように、撮影されるターゲット50の近くを飛行するように制御されてもよい。第2のUAV602は、その後、UAV間通信リンク135を使用して、第1のUAV601にオーディオをワイヤレスに送信してもよい。第1のUAV601は、受け取ったオーディオを、捕捉したビデオ画像と同期させてもよい。
さまざまな実施形態において、第1のUAV601は、第1のUAV601に搭載されているリソースからのフィードバックを使用して、閉ループ式で、第2のUAV602の航空ポジションを独立的におよび/または自動的に制御してもよい。例えば、UAV間通信リンク(例えば、図1、4A、4B、および6中の135、136)は、2つのUAV601、602間の距離と方向を提供してもよい。さらに、搭載コンパスおよび/またはGPSは、第1のUAV101および/または第2のUAV102の相対ロケーションを決定するための情報を提供してもよい。
さまざまな実施形態は、撮影するだけでなく、第2のUAV602のポジションを、監視、追跡、および/または、変更するためにカメラ(例えば、110)(および/またはセンサ)を使用してもよい。第1のUAV601中のプロセッサ(例えば、図5中の160)は、カメラからの視界112の第1の画像612のような、カメラからのデータに基づいて、第2のUAV602を制御してもよい。第2のUAV602が、視界112内に維持される場合、第1のUAV601中のプロセッサは、第1の画像612内の第2のUAV602のサイズとポジションに基づいて、第2のUAV602の航空ポジションを決定してもよい。その一方で、第2のUAV602をカットアウトしてしまう第2の画像625は、より従来の画像捕捉のために使用してもよい。オプション的に、第1のおよび第2の画像612、625は、カメラによって捕捉される単一の静止画像からレンダリングされてもよく、または、カメラによって捕捉されるビデオ画像の同じストリームからレンダリングされてもよい。追加的に、第1の画像612中のターゲット50上の焦点領域650に基づいて、カメラ(すなわち、第1のUAV601)とターゲット50との間の焦点距離を決定してもよい。焦点距離を使用して、第1のUAV601中のプロセッサは、2つのUAV601、602間の第1の距離を計算してもよい。この計算された第1の距離を使用して、プロセッサは、第2のUAV602とターゲット50との間の第2の距離を決定してもよい。
さまざまな実施形態は、カメラを使用して、移動するターゲット上に照光を保持することを含む、照光を最適化してもよい。ターゲット50から受け取ったライトの量がだいたい所望のものである限り、第2のUAV602は、第1のUAV601から予め定められた距離をホバリングしてもよい。予め定められた距離は、デフォルト距離および/または相対航空ポジションであってもよい。代替的に、予め定められたポジションは、現在の条件(例えば、周囲光)に基づいて、プロセッサによって決定されてもよい。例えば、第1のUAV601と第2のUAV602のうちの1つまたは両方は、ライトセンサ(例えば、図5中のセンサ182)を含んでいてもよい。ライトの量が所望のものより多いまたは少ないことを第1のUAV601のプロセッサが決定することに応答して、第2のUAV602は、ターゲット50からより遠くに、または、ターゲット50のより近くに、それぞれ移動するようにコマンドされてもよい。代替的に、ライトの量が所望のものより多いまたは少ないことを第1のUAV601のプロセッサが決定することに応答して、第2のUAV602は、それに応じて、ライトによって放射される輝度を変更するようにコマンドされてもよい。
さまざまな実施形態において、第2のUAV602は、第1のUAV601および/またはターゲット50に対するそれ自体の航空ポジションを、独立しておよび/または自動的に制御してもよい。例えば、第2のUAV602は、第1のUAV601および/またはターゲット50に対して決定した航空ポジションを維持するために、搭載近接センサを使用してもよい。代替的に、第2のUAV602は、第1のUAV601および/またはターゲット50の画像を捕捉し、分析するために、それ自体のカメラとプロセッサを含んでいてもよい。第1のUAV601からターゲット50についての情報を受け取った後、第2のUAV602に搭載されているプロセッサは、ターゲット50を認識するように構成されていてもよい。ターゲット認識を使用して、第2のUAV602は、ターゲット50に対して固定されたポジションを維持してもよい。
さまざまな実施形態において、第1および第2のUAV601、602は、協働して情報を交換し、第2のUAV602の航空ポジションを自動的に制御してもよい。例えば、第2のUAV602は、通信リンク、GPS、コンパス、および/または、第2のUAV602に搭載されているカメラからの画像を使用して、その航空ポジションについての情報を収集してもよい。収集した情報を処理し、第2のUAV602をさらに制御するために、第2のUAV602は、収集した情報を第1のUAV601に送信してもよい。
さまざまな実施形態において、第1のUAV(例えば、101、301、601)は、一般的に、第2のUAV(例えば、102、302、602)および/または追加のUAV(例えば、第3の、第4の、および、第5のUAV303、304、305)と同じコンポーネントを有していてもよい。代替的に、第1のUAVは、第2のおよび/または追加のUAVとは異なるコンポーネントを有していてもよい。例えば、第2のUAVは、この情報が必要ないかもしれない、および/または、(例えば、UAV間通信リンク135を介して)第1のUAVからこのような情報を取得するかもしれないことから、第2のUAVは、GPS受信機および/またはWAN接続を確立するための送信機が不足していてもよい。さらに、さまざまな実施形態は、追加のUAV(例えば、第3のUAV303、第4のUAV304、第5のUAV305)を含んでいてもよく、第2のUAVと追加のUAVのうちの1つ以上が互いに異なっていてもよく、および/または、互いに異なるコンポーネントを有していてもよい。
図7は、さまざまな実施形態にしたがった、航空画像化の方法700を図示している。図1〜7を参照すると、UAV制御ユニット(例えば、図5中の150)、または、第1のUAV(例えば、図1〜6中の101、301、601)と通信する)別のコンピューティングデバイス(例えば、図1、4A、4B、5中のワイヤレス制御ユニット6、および/または、図6中のワイヤレス通信デバイス606)によって、方法700の動作を実行してもよい。
ブロック710において、第1のUAVのプロセッサ(例えば、制御ユニット150中のプロセッサ160、または、ワイヤレス通信デバイス606のような遠隔デバイス中のプロセッサ)は、第2のUAVおよび/または少なくとも1つの追加のUAV(例えば、第3の、第4の、および/または、第5のUAV303、304、305)を展開すべきことを示す入力を受け取ってもよい。入力は、オペレータ(例えば、図1中の6)からの手動入力、別のプロセス(例えば、照明が調節を必要とすることを決定する画像処理分析、(例えば、搭載されているおよび/または遠隔データベース中の)知識ベース、あるいは、第1のUAVの動作を制御するシステム)からの入力であってもよい。
ブロック720において、第1のUAVのプロセッサは、第2のUAVおよび/または少なくとも1つの追加のUAVを展開してもよく、これらは、確実に、第2のおよび/または追加のUAVが迅速に第1のUAVから離れて移動するように、ラッチメカニズムを解放することおよび/または放出メカニズムを使用することを伴ってもよい。第2のおよび/または追加のUAVを展開するより前に、プロセッサは、飛行のために第2のおよび/または追加のUAVを準備するように、第2のおよび/または追加のUAV上のプロペラをアクティブ化してもよく、またはそうでなければアクティブ化させてもよい。いったん展開されると、第2のおよび/または追加のUAVは、第1のUAVに対して指定された航空ポジションに自動的に進んでもよく、複数のUAVが展開される場合、これは、1つより多くの航空ポジションを含んでいてもよい。指定された航空ポジションは、(デフォルトまたは予めプログラムされたポジションのように)予め定められてもよく、または、周囲または他の条件に基づいて決定されてもよい。代替的に、プロセスは、第2のおよび/または追加のUAVに、第2のおよび/または追加のUAVが指定された航空ポジションに達するような命令を提供してもよい。
ブロック730において、第1のUAVのプロセッサは、(まだ照光されていない場合)第2のおよび/または追加のUAV上のライトをアクティブ化して、ターゲットを照光してもよい。プロセッサは、UAV間通信リンク(例えば、図4Aおよび4B中の135および/または136)を介して、ライトをアクティブ化するためのアクティブ化信号を送信してもよい。
決定ブロック740において、プロセッサは、1つ以上の画像(またはビデオ)を撮るための照明を変更する必要があるか否かを決定してもよい。例えば、プロセッサは、カメラによって撮られる1つ以上の画像中の照明を変更する必要があるか否かを決定してもよい。プロセッサは、カメラによって捕捉された一時画像をアセスして、現在の照明が低すぎる、高すぎる、または適しているかを決定してもよい。
照明を変更する必要があるという決定(すなわち、決定ブロック740=「Yes」)に応答して、742において、プロセッサは、1つ以上の命令を第2のおよび/または追加のUAVに送信してもよい。命令は、第2のおよび/または追加のUAVが、その航空ポジション、ライトの方向、および/または、第2のUAV上のライトの照明パラメータ(例えば、輝度)を変更すべきであることを示していてもよい。したがって、第2のおよび/または追加のUAVは、命令のうちの1つ以上に基づいて、調節を行ってもよい。
オプション的に、照明を変更する必要があるという決定(すなわち、決定ブロック740=「Yes」)に応答して、プロセッサは、ブロック720において、1つ以上の追加のUAVも展開してもよい。例えば、補足的および/または異なる照明が必要とされ、1つ以上の追加のUAVが利用可能である場合、1つ以上の追加のUAVは、必要とされる照明の変更を実現するために展開されてもよい。
ブロック744において、プロセッサは、決定ブロック740において照明を変更する必要があるか否かを再度決定する前に、送信されたメッセージが実現されたことを示すメッセージを受信するまで待ってもよい。メッセージは、第2のおよび/または追加のUAVから受信されてもよい。代替的に、決定ブロック740において、さらに照明を変更する必要があるか否かを決定する前に、プロセッサは、指定された待ち時間が経過することを許容して、ブロック742中で送信された命令からの変更が実現されることを可能にしてもよい。さらに、指定された待ち時間は、第2のおよび/または追加のUAVからメッセージが受信されないケースでは、タイムアウト期間として機能してもよい。
照明を変更する必要がないという決定(すなわち、決定ブロック740=「No」)に応答して、プロセッサは、ブロック750において、カメラをアクティブ化して、ターゲットを撮影してもよい。
決定ブロック760において、プロセッサは、第1のUAVがターゲットを撮影することを継続するか否かを決定してもよい。継続するか否かの決定は、オペレータからの入力またはデフォルト設定に基づいていてもよい。撮影を継続するという決定(すなわち、決定ブロック760=「Yes」)に応答して、ライトがまだ照光されていない場合、プロセッサは、ブロック730において、第2のおよび/または追加のUAV上のライトをさらにアクティブ化してもよい。撮影を継続しないという決定(すなわち、決定ブロック760=「No」)に応答して、プロセッサは、ブロック765において、第1および第2のUAVのドッキングを開始してもよい。いったん第1および第2のUAVがドッキングされると、プロセスは、ブロック710において、第2のUAVを展開すべきことを示すさらなる入力の受け取りを待ってもよい。
第1のUAV(例えば、図1〜6中の101、301、601)との通信は、さまざまなワイヤレス通信デバイス(例えば、スマートフォン、タブレット、スマートウォッチ等)のうちの何れか使用して実現してもよく、この例は、図8中に図示されている。ワイヤレス通信デバイス800は、ワイヤレス通信デバイスのさまざまなシステムと通信しその制御のために、ワイヤレス通信デバイス800のさまざまなシステムと結合しているプロセッサ802を含んでいてもよい。例えば、プロセッサ802は、タッチスクリーン制御装置804、無線通信要素、スピーカーおよびマイクロフォン、ならびに、内部メモリ806に結合されていてもよい。プロセッサ802は、一般または特定の処理タスクのために設計された1つ以上のマルチコア集積回路であってもよい。内部メモリ806は、揮発性または不揮発性メモリであってもよく、安全なおよび/または暗号化されたメモリ、あるいは、安全にされていないおよび/または非暗号化メモリ、あるいは、これらの任意の組み合わせであってもよい。(示していない)別の実施形態において、ワイヤレス通信デバイス800は、外部ハードドライブのような外部メモリに結合されていてもよい。
タッチスクリーン制御装置804とプロセッサ802は、抵抗感知タッチスクリーン、容量感知タッチスクリーン、赤外線感知タッチスクリーン等のようなタッチスクリーンパネル812にも結合されていてもよい。さらに、ワイヤレス通信デバイス800のディスプレイは、タッチスクリーン能力を有する必要はない。ワイヤレス通信デバイス800は、互いにおよび/またはプロセッサ802に結合された、通信を送り、受け取るための、1つ以上の無線信号トランシーバ808(例えば、ピーナッツ、ブルートゥース、ブルートゥースLE、ジグビー、Wi−Fi(登録商標)、無線周波数(RF)無線等)、アンテナ、ワイヤレス通信デバイスアンテナ810を有していてもよい。無線信号トランシーバ808とワイヤレス通信デバイスアンテナ810は、さまざまなワイヤレス送信プロトコルスタックおよびインターフェースを実現するために、上記で言及した回路とともに使用してもよい。ワイヤレス通信デバイス800は、セルラネットワークを介して通信を可能にするプロセッサに結合されているセルラネットワークワイヤレスモデムチップ186を含んでいてもよい。
ワイヤレス通信デバイス800は、プロセッサ802に結合されている周辺デバイス接続インターフェース818を含んでいてもよい。周辺デバイス接続インターフェース818は、接続のあるタイプを受け入れるように単独で構成されていてもよく、あるいは、USB、ファイアワイア、サンダーボルト、または、PCIeのような、共通または独占の、さまざまなタイプの物理的および通信接続を受け入れるように構成されていてもよい。周辺デバイス接続インターフェース818はまた、(示していない)類似して構成されている周辺デバイス接続ポートに結合されていてもよい。
さまざまな実施形態において、ワイヤレス通信デバイス800は、1つ以上のマイクロフォン815を含んでいてもよい。例えば、ワイヤレス通信デバイスは、通話の間、ユーザから、音声または他のオーディオ周波数エネルギーを受け取る従来のマイクロフォン815を有していてもよい。
ワイヤレス通信デバイス800は、オーディオ出力を提供するためのスピーカー814も含んでいてもよい。ワイヤレス通信デバイス800は、プラスチック、金属、または、素材の組み合わせで構築され、ここで議論したコンポーネントのうちのすべてまたはいくつかを含むためのハウジング820も含んでいてもよい。ワイヤレス通信デバイス800は、使い捨てまたは再充電可能バッテリーのような、プロセッサ802に結合されている電源822を含んでいてもよい。再充電可能バッテリーはまた、ワイヤレス通信デバイス800の外部のソースから充電電流を受け取るための周辺デバイス接続ポートに結合されていてもよい。ワイヤレス通信デバイス800は、ユーザ入力を受け取る物理ボタン824も含んでいてもよい。ワイヤレス通信デバイス800は、ワイヤレス通信デバイス800をオンオフするための電力ボタン826も含んでいてもよい。
さまざまな実施形態において、ワイヤレス通信デバイス800は、加速度計828をさらに含んでいてもよく、これは、加速度の多方向の値と加速度における変化とを検出する能力を通して、移動、振動、および、デバイスの他の態様を感知する。さまざまな実施形態において、加速度計828は、ワイヤレス通信デバイス800のx、y、およびzポジションを決定するために使用してもよい。加速度計からの情報を使用して、ワイヤレス通信デバイス800のポイント方向を検出してもよい。
図示し、説明したさまざまな実施形態は、特許請求の範囲のさまざまな特徴を図解するための単なる例として提供した。しかしながら、任意の所定の実施形態に関する、示し、説明した特徴は、関係付けられている実施形態に必ずしも限定されず、示し、説明した他の実施形態とともに使用してもよく、または、これらと組み合わせてもよい。UAVの役割が逆にされてもよく、2つ(またはそれ以上のUAV)が、説明したように撮影場所にすべてのUAVを運ぶ第3のUAVとドッキングしてもよいことから、1つのUAVが両方のビークルを撮影ロケーションに飛行させることを可能にするように、カメラを運ぶUAVとドッキングする照明UAVとに関するさまざまな実施形態の説明は、単なる例として提供した。さらに、特許請求の範囲は、任意の1つの例示的な実施形態によって限定されることを意図していない。
前述の方法の説明およびプロセスフローダイヤグラムは、単に、例示的な例として提供されており、さまざまな実施形態のステップが提示された順序で実行されなければならないことを必要とするまたは暗示することを意図したものではない。当業者によって理解されるように、前述の実施形態における動作の順序は、任意の順序で実行してもよい。「その後」、「次いで」「次に」のようなワードは、動作の順序を限定することを意図したものではなく、これらの用語は、方法の説明を通じて読者を導くために使用されている。さらに、単数の請求項の要素に対する任意の参照、例えば、冠詞「a」、「an」または「the」を使用することは、要素を単数に限定するものとして解釈すべきでない。
ここで開示された実施形態に関連して説明したさまざまな例示的な論理ブロック、モジュール、回路、およびアルゴリズム動作は、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実現してもよい。ハードウェアとソフトウェアとのこの互換性を明確に示すために、さまざまな例示的なコンポーネント、ブロック、モジュール、回路、および、動作を、一般的にそれらの機能性に関して上記で説明した。このような機能性をハードウェアとして実現するか、または、ソフトウェアとして実現するかは、特定のアプリケーションと全体的なシステムに課せられている設計制約とに依存する。熟練者は、各特定のアプリケーションに対してさまざまな方法で、説明した機能性を実現するかもしれないが、このようなインプリメンテーションの決定は、特許請求の範囲から逸脱をもたらすと解釈すべきでない。
ここに開示された態様に関連して説明されたさまざまな例示的論理、論理ブロック、モジュール、および回路を実現するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいはここで説明された機能を実行するように設計されたこれらの任意の組み合わせで実現または実行してもよい。汎用プロセッサはマイクロプロセッサであってもよいが、代替実施形態では、プロセッサは、任意の従来のプロセッサ、制御装置、マイクロ制御装置、または、状態機械であってもよい。プロセッサはまた、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアに関連する1つ以上のマイクロプロセッサ、または、他の何らかのこのようなコンフィギュレーションのような、受信機スマートオブジェクトの組み合わせとして実現してもよい。代替として、いくつかの動作または方法は、所定の機能に特有である回路により実行してもよい。
1つ以上の態様では、説明した機能を、ハードウェア、ソフトウェア、ファームウェア、または、これらの任意の組み合わせで実現してもよい。ソフトウェアで実現される場合、機能は、非一時的コンピュータ読取可能記憶媒体または非一時的プロセッサ読取可能記憶媒体上で、1つ以上の命令またはコードとして記憶されてもよい。ここで開示される方法またはアルゴリズムの動作は、非一時的コンピュータ読取可能記憶媒体またはプロセッサ読取可能記憶媒体上に存在してもよい、プロセッサ実行可能なソフトウェアモジュールまたはプロセッサ実行可能命令で具現化してもよい。非一時的なコンピュータ読取可能記憶媒体またはプロセッサ読取可能記憶媒体は、コンピュータまたはプロセッサによってアクセスされてもよい任意の記憶媒体であってもよい。限定ではなく例として、このような非一時的なコンピュータ読取可能媒体またはプロセッサ読取可能記憶媒体は、RAM、ROM、EEPROM(登録商標)、フラッシュメモリ、CD−ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶スマートオブジェクト、あるいは、命令またはデータ構造の形式で所望のプログラムコードを記憶するために使用されてもよく、コンピュータによってアクセスされてもよい他の何らかの媒体を含んでいてもよい。ここで使用したようなディスク(diskおよびdisc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル汎用ディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイ(登録商標)ディスクを含むが、通常、ディスク(disk)はデータを磁気的に再生する一方で、ディスク(disc)はデータをレーザにより光学的に再生する。上記の組み合わせもまた、非一時的コンピュータ読取可能媒体およびプロセッサ読取可能媒体の範囲内に含まれる。加えて、方法またはアルゴリズムの動作は、コンピュータプログラム製品に組み込まれてもよい、非一時的プロセッサ読取可能記憶媒体および/またはコンピュータ読取可能記憶媒体上で、1つまたは任意の組み合わせの、あるいはセットのコードおよび/または命令として存在してもよい。
開示された実施形態の上記説明は、いかなる当業者であっても、特許請求の範囲の製造または使用を可能にするように提供される。これらの実施形態へのさまざまな修正は当業者に容易に明らかであり、ここで規定した一般的な原理は、開示の範囲から逸脱することなく、他の実施形態に適用することができる。したがって、本開示は、ここに示された実施形態に限定されるようには意図されず、以下の特許請求の範囲およびここに開示された原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
開示された実施形態の上記説明は、いかなる当業者であっても、特許請求の範囲の製造または使用を可能にするように提供される。これらの実施形態へのさまざまな修正は当業者に容易に明らかであり、ここで規定した一般的な原理は、開示の範囲から逸脱することなく、他の実施形態に適用することができる。したがって、本開示は、ここに示された実施形態に限定されるようには意図されず、以下の特許請求の範囲およびここに開示された原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1] 航空画像化システムにおいて、
カメラを含み、オペレータからの入力を受け取るように構成されている第1の無人航空ビークル(UAV)と、
前記第1のUAVとドッキングし、前記第1のUAVから展開されるように構成されている第2のUAVとを具備し、
前記第2のUAVは、前記カメラのための照光を提供するように構成されているライトを備える航空画像化システム。
[2] 前記第2のUAVは、前記オペレータからの入力なく、前記第1のUAVから離れて飛行するように構成されている[1]記載の航空画像化システム。
[3] 前記第1のUAVは、前記第2のUAVが前記第1のUAV上にドッキングされながら、飛行するように構成されている[1]記載の航空画像化システム。
[4] 前記第2のUAVは、音を記録するように構成されているマイクロフォンを含む[1]記載の航空画像化システム。
[5] 前記第1のUAVとドッキングし、前記第1のUAVから展開されるように構成されている第3のUAVをさらに具備し、
前記第1のUAVは、前記第2のUAVと前記第3のUAVの両方をサポートしながら、飛行するように構成されている[1]記載の航空画像化システム。
[6] 前記カメラと前記第1のUAVは、前記第2のUAVを制御するためにカメラ画像を使用するように構成されている[1]記載の航空画像化システム。
[7] 前記カメラは、2つ以上の異なる画像を同時に捕捉するように構成されている[1]記載の航空画像化システム。
[8] 前記カメラは、前記2つ以上の異なる画像がオーバーラップするように構成されている[7]記載の航空画像化システム。
[9] 前記第1のUAVは、前記カメラからの第1の画像から前記第2のUAVのポジションを決定するように構成されているプロセッサを含む[1]記載の航空画像化システム。
[10] 前記プロセッサは、カメラ画像から前記第2のUAVのポジションを決定するようにさらに構成されている[9]記載の航空画像化システム。
[11] 前記第1のUAVは、カメラ画像と前記第2のUAVから受け取った画像との比較に基づいて、前記第1のUAVから離れて飛行する前記第2のUAVの航空ポジションを決定するように構成されているプロセッサを含む[1]記載の航空画像化システム。
[12] 前記第2のUAVは、前記第1のUAVから離れて、前記第1のUAVに対する予め定められた航空ポジションに飛行するように構成されている[1]記載の航空画像化システム。
[13] 前記第2のUAVは、近接センサから受け取った信号を使用して、前記カメラによる撮影のターゲットに対する前記第2のUAVの決定した航空ポジションを維持するように構成されている[1]記載の航空画像化システム。
[14] 前記第2のUAVは、前記第2のUAV上の画像捕捉デバイスから取得した画像中の、前記カメラによる撮影のターゲットを認識するように構成されているプロセッサを含む[1]記載の航空画像化システム。
[15] 前記第2のUAVは、前記第1のUAVから離れた前記第2のUAVの飛行を独立して制御し、前記カメラによる撮影のターゲットに対する前記第2のUAVの航空ポジションを維持するように構成されているプロセッサを含む[1]記載の航空画像化システム。
[16] 前記第2のUAVは、前記カメラによる撮影のターゲットの決定した照光の量を提供するために、前記カメラによる撮影のターゲットに対するポジションに飛行するように制御される[1]記載の航空画像化システム。
[17] 前記第2のUAV上のライトによって提供される照光の量は調節可能である[1]記載の航空画像化システム。
[18] 前記ライトは赤外線スペクトル中で放射し、前記カメラは、熱画像化のために構成されている[1]記載の航空画像化システム。
[19] 前記第1のUAVは、
前記第2のUAV上の前記ライトによって提供される照光の量を決定し、
前記第2のUAV上の前記ライトによって提供される照光に対する調節を決定し、
前記第2のUAV上の前記ライトによって提供される前記照光に対して必要とされる調節を行うための命令を、前記第2のUAVに送信するように構成されているプロセッサを含む[1]記載の航空画像化システム。
[20] 視覚画像を捕捉する方法において、
カメラを含む第1の無人航空ビークル(UAV)から第2のUAVを展開させて、前記第1のUAVから離れて飛行させることと、
前記第2のUAV上のライトをアクティブ化して、前記カメラによる撮影のターゲットを照光することと、
前記カメラをアクティブ化して、前記ライトによって照光される、前記カメラによる撮影のターゲットを撮影することとを含む方法。
[21] 前記カメラをアクティブ化して、前記撮影のターゲットを撮影した後、前記第2のUAVを前記第1のUAVと再ドッキングすることをさらに含む[20]記載の方法。
[22] 前記第1のUAVの遠隔で制御するオペレータからの入力なく、前記第1のUAVから離れて前記第2のUAVを飛行させることをさらに含む[20]記載の方法。
[23] 前記第2のUAVが前記第1のUAV上にドッキングされながら、前記第1のUAVを飛行させることをさらに含む[20]記載の方法。
[24] 音記録のターゲットから出る音を記録するために、前記第2のUAV上のマイクロフォンをアクティブ化することをさらに含む[20]記載の方法。
[25] 前記第1のUAVとドッキングし、前記第1のUAVから展開されるように構成されている第3のUAVを、前記第1のUAVから展開させることと、
前記第2のUAVと前記第3のUAVの両方をサポートしながら、前記第1のUAVを飛行させることとをさらに含む[20]記載の方法。
[26] 前記第2のUAVを制御するために、前記カメラからのカメラ画像を使用して、前記第2のUAVのポジションを決定することをさらに含む[20]記載の方法。
[27] 前記第2のUAV上の前記ライトによって提供される照光の量を決定することと、
前記第2のUAV上の前記ライトによって提供される前記照光に対して必要とされる調節を決定することと、
前記第2のUAV上の前記ライトによって提供される前記照光に対して必要とされる調節を行うための命令を、前記第2のUAVに送信することとをさらに含む[20]記載の方法。
[28] 航空画像化システムにおいて、
第1の無人航空ビークル(UAV)と第2のUAVとを具備し、
前記第1のUAVは、
視覚画像を捕捉する手段と、
前記第1のUAVを飛行させるためにオペレータから入力を受け取り、前記視覚画像を捕捉する手段をアクティブ化する手段とを備え、
前記第2のUAVは、
前記視覚画像を捕捉する手段のために照光を提供するようにライトを放射する手段と、
前記第1のUAVとドッキングし、前記第1のUAVから展開させる手段とを備える航空画像化システム。
[29] 第1の無人航空ビークル(UAV)のプロセッサに動作を実行させるように構成されているプロセッサ実行可能命令を記憶している非一時的プロセッサ読取可能記憶媒体において、
前記動作は、
前記第1のUAVから第2のUAVを展開させて、前記第1のUAVから離れて前記第2のUAVを飛行させることと、
前記第2のUAV上のライトをアクティブ化して、前記第1のUAV上のカメラによる撮影のターゲットを照光することと、
前記第1のUAV上の前記カメラをアクティブ化して、前記ライトによって照光される、前記撮影のターゲットを撮影することとを含む非一時的プロセッサ読取可能記憶媒体。
Claims (29)
- 航空画像化システムにおいて、
カメラを含み、オペレータからの入力を受け取るように構成されている第1の無人航空ビークル(UAV)と、
前記第1のUAVとドッキングし、前記第1のUAVから展開されるように構成されている第2のUAVとを具備し、
前記第2のUAVは、前記カメラのための照光を提供するように構成されているライトを備える航空画像化システム。 - 前記第2のUAVは、前記オペレータからの入力なく、前記第1のUAVから離れて飛行するように構成されている請求項1記載の航空画像化システム。
- 前記第1のUAVは、前記第2のUAVが前記第1のUAV上にドッキングされながら、飛行するように構成されている請求項1記載の航空画像化システム。
- 前記第2のUAVは、音を記録するように構成されているマイクロフォンを含む請求項1記載の航空画像化システム。
- 前記第1のUAVとドッキングし、前記第1のUAVから展開されるように構成されている第3のUAVをさらに具備し、
前記第1のUAVは、前記第2のUAVと前記第3のUAVの両方をサポートしながら、飛行するように構成されている請求項1記載の航空画像化システム。 - 前記カメラと前記第1のUAVは、前記第2のUAVを制御するためにカメラ画像を使用するように構成されている請求項1記載の航空画像化システム。
- 前記カメラは、2つ以上の異なる画像を同時に捕捉するように構成されている請求項1記載の航空画像化システム。
- 前記カメラは、前記2つ以上の異なる画像がオーバーラップするように構成されている請求項7記載の航空画像化システム。
- 前記第1のUAVは、前記カメラからの第1の画像から前記第2のUAVのポジションを決定するように構成されているプロセッサを含む請求項1記載の航空画像化システム。
- 前記プロセッサは、カメラ画像から前記第2のUAVのポジションを決定するようにさらに構成されている請求項9記載の航空画像化システム。
- 前記第1のUAVは、カメラ画像と前記第2のUAVから受け取った画像との比較に基づいて、前記第1のUAVから離れて飛行する前記第2のUAVの航空ポジションを決定するように構成されているプロセッサを含む請求項1記載の航空画像化システム。
- 前記第2のUAVは、前記第1のUAVから離れて、前記第1のUAVに対する予め定められた航空ポジションに飛行するように構成されている請求項1記載の航空画像化システム。
- 前記第2のUAVは、近接センサから受け取った信号を使用して、前記カメラによる撮影のターゲットに対する前記第2のUAVの決定した航空ポジションを維持するように構成されている請求項1記載の航空画像化システム。
- 前記第2のUAVは、前記第2のUAV上の画像捕捉デバイスから取得した画像中の、前記カメラによる撮影のターゲットを認識するように構成されているプロセッサを含む請求項1記載の航空画像化システム。
- 前記第2のUAVは、前記第1のUAVから離れた前記第2のUAVの飛行を独立して制御し、前記カメラによる撮影のターゲットに対する前記第2のUAVの航空ポジションを維持するように構成されているプロセッサを含む請求項1記載の航空画像化システム。
- 前記第2のUAVは、前記カメラによる撮影のターゲットの決定した照光の量を提供するために、前記カメラによる撮影のターゲットに対するポジションに飛行するように制御される請求項1記載の航空画像化システム。
- 前記第2のUAV上のライトによって提供される照光の量は調節可能である請求項1記載の航空画像化システム。
- 前記ライトは赤外線スペクトル中で放射し、前記カメラは、熱画像化のために構成されている請求項1記載の航空画像化システム。
- 前記第1のUAVは、
前記第2のUAV上の前記ライトによって提供される照光の量を決定し、
前記第2のUAV上の前記ライトによって提供される照光に対する調節を決定し、
前記第2のUAV上の前記ライトによって提供される前記照光に対して必要とされる調節を行うための命令を、前記第2のUAVに送信するように構成されているプロセッサを含む請求項1記載の航空画像化システム。 - 視覚画像を捕捉する方法において、
カメラを含む第1の無人航空ビークル(UAV)から第2のUAVを展開させて、前記第1のUAVから離れて飛行させることと、
前記第2のUAV上のライトをアクティブ化して、前記カメラによる撮影のターゲットを照光することと、
前記カメラをアクティブ化して、前記ライトによって照光される、前記カメラによる撮影のターゲットを撮影することとを含む方法。 - 前記カメラをアクティブ化して、前記撮影のターゲットを撮影した後、前記第2のUAVを前記第1のUAVと再ドッキングすることをさらに含む請求項20記載の方法。
- 前記第1のUAVの遠隔で制御するオペレータからの入力なく、前記第1のUAVから離れて前記第2のUAVを飛行させることをさらに含む請求項20記載の方法。
- 前記第2のUAVが前記第1のUAV上にドッキングされながら、前記第1のUAVを飛行させることをさらに含む請求項20記載の方法。
- 音記録のターゲットから出る音を記録するために、前記第2のUAV上のマイクロフォンをアクティブ化することをさらに含む請求項20記載の方法。
- 前記第1のUAVとドッキングし、前記第1のUAVから展開されるように構成されている第3のUAVを、前記第1のUAVから展開させることと、
前記第2のUAVと前記第3のUAVの両方をサポートしながら、前記第1のUAVを飛行させることとをさらに含む請求項20記載の方法。 - 前記第2のUAVを制御するために、前記カメラからのカメラ画像を使用して、前記第2のUAVのポジションを決定することをさらに含む請求項20記載の方法。
- 前記第2のUAV上の前記ライトによって提供される照光の量を決定することと、
前記第2のUAV上の前記ライトによって提供される前記照光に対して必要とされる調節を決定することと、
前記第2のUAV上の前記ライトによって提供される前記照光に対して必要とされる調節を行うための命令を、前記第2のUAVに送信することとをさらに含む請求項20記載の方法。 - 航空画像化システムにおいて、
第1の無人航空ビークル(UAV)と第2のUAVとを具備し、
前記第1のUAVは、
視覚画像を捕捉する手段と、
前記第1のUAVを飛行させるためにオペレータから入力を受け取り、前記視覚画像を捕捉する手段をアクティブ化する手段とを備え、
前記第2のUAVは、
前記視覚画像を捕捉する手段のために照光を提供するようにライトを放射する手段と、
前記第1のUAVとドッキングし、前記第1のUAVから展開させる手段とを備える航空画像化システム。 - 第1の無人航空ビークル(UAV)のプロセッサに動作を実行させるように構成されているプロセッサ実行可能命令を記憶している非一時的プロセッサ読取可能記憶媒体において、
前記動作は、
前記第1のUAVから第2のUAVを展開させて、前記第1のUAVから離れて前記第2のUAVを飛行させることと、
前記第2のUAV上のライトをアクティブ化して、前記第1のUAV上のカメラによる撮影のターゲットを照光することと、
前記第1のUAV上の前記カメラをアクティブ化して、前記ライトによって照光される、前記撮影のターゲットを撮影することとを含む非一時的プロセッサ読取可能記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/144,105 US10005555B2 (en) | 2016-05-02 | 2016-05-02 | Imaging using multiple unmanned aerial vehicles |
US15/144,105 | 2016-05-02 | ||
PCT/US2017/018387 WO2017192198A1 (en) | 2016-05-02 | 2017-02-17 | Imaging using multiple unmanned aerial vehicles |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019516323A true JP2019516323A (ja) | 2019-06-13 |
JP2019516323A5 JP2019516323A5 (ja) | 2020-05-21 |
JP6755966B2 JP6755966B2 (ja) | 2020-09-16 |
Family
ID=58277316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018557126A Active JP6755966B2 (ja) | 2016-05-02 | 2017-02-17 | 複数の無人航空ビークルを使用する画像化 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10005555B2 (ja) |
EP (1) | EP3452881B1 (ja) |
JP (1) | JP6755966B2 (ja) |
KR (1) | KR102251203B1 (ja) |
CN (1) | CN109074101B (ja) |
BR (1) | BR112018072581B1 (ja) |
TW (1) | TW201740237A (ja) |
WO (1) | WO2017192198A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9798322B2 (en) | 2014-06-19 | 2017-10-24 | Skydio, Inc. | Virtual camera interface and other user interaction paradigms for a flying digital assistant |
US9678506B2 (en) | 2014-06-19 | 2017-06-13 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
US11137776B2 (en) * | 2016-05-16 | 2021-10-05 | SZ DJI Technology Co., Ltd. | Systems and methods for coordinating device actions |
US10435176B2 (en) | 2016-05-25 | 2019-10-08 | Skydio, Inc. | Perimeter structure for unmanned aerial vehicle |
US10520943B2 (en) | 2016-08-12 | 2019-12-31 | Skydio, Inc. | Unmanned aerial image capture platform |
WO2018052323A1 (en) * | 2016-09-16 | 2018-03-22 | Motorola Solutions, Inc. | System and method for fixed camera and unmanned mobile device collaboration to improve identification certainty of an object |
DE112016007236T5 (de) * | 2016-09-16 | 2019-07-04 | Motorola Solutions, Inc. | System und Verfahren für die Zusammenarbeit einer feststehenden Kamera und einer unbemannten mobilenVorrichtung zur Verbesserung der Identifikationssicherheit eines Objektes |
US11295458B2 (en) | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
KR20180080892A (ko) * | 2017-01-05 | 2018-07-13 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
USD816546S1 (en) * | 2017-04-24 | 2018-05-01 | Alex Wang | Drone |
AT16628U1 (de) * | 2017-05-23 | 2020-03-15 | Ars Electronica Linz Gmbh & Co Kg | System zum Steuern von unbemannten Luftfahrzeugen in einem Schwarm, um ein bewegtes Objekt mit mehreren Kameras zu filmen |
WO2019032091A1 (en) * | 2017-08-07 | 2019-02-14 | Ford Global Technologies, Llc | LOCATING A VEHICLE USING A DRONE |
US10852723B2 (en) * | 2017-11-14 | 2020-12-01 | Intel IP Corporation | Unmanned aerial vehicle swarm photography |
WO2019095300A1 (en) * | 2017-11-17 | 2019-05-23 | SZ DJI Technology Co., Ltd. | Systems and methods for synchronizing multiple control devices with a movable object |
CN111527463B (zh) * | 2018-01-22 | 2024-02-23 | 深圳市大疆创新科技有限公司 | 用于多目标跟踪的方法和系统 |
CN207976680U (zh) * | 2018-03-27 | 2018-10-16 | 深圳市大疆创新科技有限公司 | 补光灯、云台以及无人机 |
CN108513080A (zh) * | 2018-04-19 | 2018-09-07 | 深圳臻迪信息技术有限公司 | 一种补光的控制方法及装置 |
JP6974247B2 (ja) * | 2018-04-27 | 2021-12-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd | 情報処理装置、情報提示指示方法、プログラム、及び記録媒体 |
CN108924473B (zh) * | 2018-04-28 | 2023-07-25 | 广州亿航智能技术有限公司 | 基于无人机巡航模式的预订航拍方法及系统 |
US10884415B2 (en) * | 2018-12-28 | 2021-01-05 | Intel Corporation | Unmanned aerial vehicle light flash synchronization |
JP7274726B2 (ja) * | 2019-01-31 | 2023-05-17 | 株式会社RedDotDroneJapan | 撮影方法 |
US11373397B2 (en) * | 2019-04-16 | 2022-06-28 | LGS Innovations LLC | Methods and systems for operating a moving platform to determine data associated with a target person or object |
EP3742248A1 (en) * | 2019-05-20 | 2020-11-25 | Sony Corporation | Controlling a group of drones for image capture |
US20220242559A1 (en) * | 2019-06-27 | 2022-08-04 | Ntt Docomo, Inc. | Information processing apparatus |
US11631241B2 (en) * | 2020-04-08 | 2023-04-18 | Micron Technology, Inc. | Paired or grouped drones |
EP3896548B1 (en) * | 2020-04-17 | 2024-02-14 | Goodrich Lighting Systems GmbH & Co. KG | Helicopter lighting system, helicopter comprising the same, and method of illuminating an environment of a helicopter |
US20220081125A1 (en) * | 2020-09-17 | 2022-03-17 | Laura Leigh Donovan | Personal paparazzo drones |
CN113002776A (zh) * | 2021-03-29 | 2021-06-22 | 万航星空科技发展有限公司 | 一种无人机通讯装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005024971A (ja) * | 2003-07-03 | 2005-01-27 | Nikon Corp | 撮影システム、照明システム、及び照明条件設定方法 |
US9056676B1 (en) * | 2014-05-30 | 2015-06-16 | SZ DJI Technology Co., Ltd | Systems and methods for UAV docking |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2055835A1 (en) | 2007-10-30 | 2009-05-06 | Saab Ab | Method and arrangement for determining position of vehicles relative each other |
AU2010239639B2 (en) * | 2009-02-02 | 2015-01-15 | Aerovironment | Multimode unmanned aerial vehicle |
US8788119B2 (en) * | 2010-12-09 | 2014-07-22 | The Boeing Company | Unmanned vehicle and system |
FR2978425B1 (fr) * | 2011-07-29 | 2015-12-04 | Eurocopter France | Giravion dote d'un equipement d'eclairage a plusieurs projecteurs exploites pour l'atterrissage, le treuillage et la recherche |
US9384668B2 (en) * | 2012-05-09 | 2016-07-05 | Singularity University | Transportation using network of unmanned aerial vehicles |
US9609284B2 (en) | 2012-05-22 | 2017-03-28 | Otoy, Inc. | Portable mobile light stage |
US9696430B2 (en) * | 2013-08-27 | 2017-07-04 | Massachusetts Institute Of Technology | Method and apparatus for locating a target using an autonomous unmanned aerial vehicle |
US8825226B1 (en) | 2013-12-17 | 2014-09-02 | Amazon Technologies, Inc. | Deployment of mobile automated vehicles |
WO2015107558A1 (en) | 2014-01-14 | 2015-07-23 | Aero Sekur S.P.A. | Landing and/or docking system for aerial vehicles |
CN103941746B (zh) * | 2014-03-29 | 2016-06-01 | 国家电网公司 | 无人机巡检图像处理系统及方法 |
WO2014106814A2 (en) * | 2014-04-14 | 2014-07-10 | Wasfi Alshdaifat | A reporter drone |
US9678506B2 (en) * | 2014-06-19 | 2017-06-13 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
GB201411293D0 (en) * | 2014-06-25 | 2014-08-06 | Pearson Eng Ltd | Improvements in or relating to inspection systems |
WO2016015311A1 (en) * | 2014-07-31 | 2016-02-04 | SZ DJI Technology Co., Ltd. | System and method for enabling virtual sightseeing using unmanned aerial vehicles |
US10068506B2 (en) | 2014-08-01 | 2018-09-04 | Philips Lighting Holding B.V. | System, device for creating an aerial image |
US9573701B2 (en) | 2014-08-06 | 2017-02-21 | Disney Enterprises, Inc. | Robust and autonomous docking and recharging of quadrotors |
CN104129502B (zh) | 2014-08-25 | 2016-03-09 | 无锡同春新能源科技有限公司 | 后置式拖拉纳米二氧化钛光催化网消除雾霾的双架无人机 |
US10370122B2 (en) * | 2015-01-18 | 2019-08-06 | Foundation Productions, Llc | Apparatus, systems and methods for unmanned aerial vehicles |
US9471059B1 (en) * | 2015-02-17 | 2016-10-18 | Amazon Technologies, Inc. | Unmanned aerial vehicle assistant |
CN204527663U (zh) * | 2015-04-20 | 2015-08-05 | 刘亚敏 | 一种无人驾驶飞行器 |
CN204904034U (zh) * | 2015-09-02 | 2015-12-23 | 杨珊珊 | 一种紧急医疗救助系统及其急救中心和急救无人机 |
CN105242685B (zh) * | 2015-10-15 | 2018-08-07 | 杨珊珊 | 一种伴飞无人机航拍系统及方法 |
US9589448B1 (en) * | 2015-12-08 | 2017-03-07 | Micro Apps Group Inventions, LLC | Autonomous safety and security device on an unmanned platform under command and control of a cellular phone |
CN105469579B (zh) * | 2015-12-31 | 2020-05-29 | 北京臻迪机器人有限公司 | 体感遥控器、体感遥控飞行系统和方法 |
US20170253330A1 (en) * | 2016-03-04 | 2017-09-07 | Michael Saigh | Uav policing, enforcement and deployment system |
-
2016
- 2016-05-02 US US15/144,105 patent/US10005555B2/en active Active
-
2017
- 2017-02-17 CN CN201780027077.XA patent/CN109074101B/zh active Active
- 2017-02-17 EP EP17710806.5A patent/EP3452881B1/en active Active
- 2017-02-17 WO PCT/US2017/018387 patent/WO2017192198A1/en unknown
- 2017-02-17 KR KR1020187031535A patent/KR102251203B1/ko active IP Right Grant
- 2017-02-17 BR BR112018072581-1A patent/BR112018072581B1/pt active IP Right Grant
- 2017-02-17 JP JP2018557126A patent/JP6755966B2/ja active Active
- 2017-02-21 TW TW106105688A patent/TW201740237A/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005024971A (ja) * | 2003-07-03 | 2005-01-27 | Nikon Corp | 撮影システム、照明システム、及び照明条件設定方法 |
US9056676B1 (en) * | 2014-05-30 | 2015-06-16 | SZ DJI Technology Co., Ltd | Systems and methods for UAV docking |
JP2016535879A (ja) * | 2014-05-30 | 2016-11-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Uavドッキングのためのシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
US10005555B2 (en) | 2018-06-26 |
US20170313416A1 (en) | 2017-11-02 |
BR112018072581B1 (pt) | 2023-02-28 |
TW201740237A (zh) | 2017-11-16 |
CN109074101B (zh) | 2022-04-26 |
EP3452881B1 (en) | 2020-04-22 |
JP6755966B2 (ja) | 2020-09-16 |
KR20190004276A (ko) | 2019-01-11 |
KR102251203B1 (ko) | 2021-05-11 |
CN109074101A (zh) | 2018-12-21 |
BR112018072581A2 (pt) | 2019-02-19 |
WO2017192198A1 (en) | 2017-11-09 |
EP3452881A1 (en) | 2019-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6755966B2 (ja) | 複数の無人航空ビークルを使用する画像化 | |
US11233943B2 (en) | Multi-gimbal assembly | |
CN110494360B (zh) | 用于提供自主摄影及摄像的系统和方法 | |
US20190291864A1 (en) | Transformable apparatus | |
CN105242685B (zh) | 一种伴飞无人机航拍系统及方法 | |
US20190144114A1 (en) | Systems and methods for controlling movable object behavior | |
JP6393918B2 (ja) | 音声伝達システム | |
CN106444843B (zh) | 无人机相对方位控制方法及装置 | |
US11531340B2 (en) | Flying body, living body detection system, living body detection method, program and recording medium | |
JP6835871B2 (ja) | 飛行制御方法、無人航空機、飛行システム、プログラム、及び記録媒体 | |
TW201838875A (zh) | 具有起落架的雙折疊無人機臂 | |
CN205353774U (zh) | 一种伴随拍摄飞行器的无人机航拍系统 | |
WO2018076895A1 (zh) | 基于主无人机的从无人机飞行控制方法、装置及系统 | |
WO2018214071A1 (zh) | 用于控制无人机的方法和装置及无人机系统 | |
WO2019041633A1 (zh) | 通信中继方法、中继飞行体、程序以及记录介质 | |
JP2018070011A (ja) | 無人航空機制御システム、その制御方法、及びプログラム | |
JP6671078B2 (ja) | 移動体 | |
KR101723066B1 (ko) | 구난 구조용 드론유닛 및 드론유닛을 이용한 구난정보 제공방법 | |
JP2018070013A (ja) | 無人航空機制御システム、その制御方法、及びプログラム | |
WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
CN110891149B (zh) | 高动态范围图像自动曝光方法及无人飞行器 | |
KR101599149B1 (ko) | 피사체를 자동으로 추적하는 촬영장치 | |
GB2559185A (en) | Surveillance apparatus | |
JP6856670B2 (ja) | 飛行体、動作制御方法、動作制御システム、プログラム及び記録媒体 | |
KR102009637B1 (ko) | 재난 및 비상상황 시 구호활동을 하는 드론 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200408 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200715 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6755966 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |