JP2018537335A - 無人航空機の飛行を制御する方法及びシステム - Google Patents
無人航空機の飛行を制御する方法及びシステム Download PDFInfo
- Publication number
- JP2018537335A JP2018537335A JP2018524396A JP2018524396A JP2018537335A JP 2018537335 A JP2018537335 A JP 2018537335A JP 2018524396 A JP2018524396 A JP 2018524396A JP 2018524396 A JP2018524396 A JP 2018524396A JP 2018537335 A JP2018537335 A JP 2018537335A
- Authority
- JP
- Japan
- Prior art keywords
- uav
- feature point
- imaging devices
- images
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 201
- 238000003384 imaging method Methods 0.000 claims description 144
- 230000033001 locomotion Effects 0.000 claims description 56
- 230000004044 response Effects 0.000 claims description 17
- 230000002441 reversible effect Effects 0.000 claims description 16
- 230000003068 static effect Effects 0.000 claims description 8
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000004438 eyesight Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 87
- 230000007246 mechanism Effects 0.000 description 59
- 230000006854 communication Effects 0.000 description 38
- 238000004891 communication Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 28
- 230000000875 corresponding effect Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 17
- 230000001276 controlling effect Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 12
- 239000003550 marker Substances 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000010187 selection method Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000005672 electromagnetic field Effects 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241001125840 Coryphaenidae Species 0.000 description 1
- 241001061257 Emmelichthyidae Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012882 sequential analysis Methods 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3852—Data derived from aerial or satellite images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G05D1/43—
-
- G05D1/46—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Abstract
Description
[項目1]
無人航空機(UAV)の飛行を制御する方法であって、
飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、UAVの周辺環境における異なる視野に対応する第1の画像集合を収集するステップと、
飛行経路を巡航する間に収集された第1の画像集合から第1の特徴点集合を抽出するステップと、
帰還経路を巡航する間に、複数の撮像装置を用いて異なる視野に対応する第2の画像集合を収集するステップと、
飛行経路の途上で抽出された第1の特徴点集合を、第2の画像集合から抽出された第2の特徴点集合と比較することにより、帰還経路を巡航するステップとを含む方法。
[項目2]
複数の撮像装置が互いに異なる方位に向けて配置される、項目1に記載の方法。
[項目3]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目1に記載の方法。
[項目4]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目1に記載の方法。
[項目5]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目1に記載の方法。
[項目6]
異なる視野の少なくとも一部が互いに重なり合う、項目1に記載の方法。
[項目7]
複数の撮像装置が、UAVの中央本体に搭載される、項目1に記載の方法。
[項目8]
帰還経路が飛行経路を逆向きに辿る、項目1に記載の方法。
[項目9]
帰還経路が飛行経路とは異なる、項目1に記載の方法。
[項目10]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目1に記載の方法。
[項目11]
第1の画像集合を航行支援用に保存することなく、第1の特徴点集合を航行支援用に抽出して保存する、項目1に記載の方法。
[項目12]
第1の特徴点集合が静止特徴点であると判定された場合は第1の特徴点集合が航行支援用に保存され、第1の特徴点集合が移動特徴点であると判定された場合は航行支援用に保存されない、項目1に記載の方法。
[項目13]
第1の特徴点集合を用いて、環境内の第1の特徴点集合から三次元マップを構築する、項目1に記載の方法。
[項目14]
UAVに帰還経路を巡航させる命令を受信するステップを更に含む、項目1に記載の方法。
[項目15]
命令がUAVの外部のリモートコントローラから受信される、項目14に記載の方法。
[項目16]
UAVの動作モードを帰還経路に変更することにより、第1の特徴点集合と第2の特徴点集合との比較を開始するステップを更に含む、項目14に記載の方法。
[項目17]
第1の特徴点集合又は第2の特徴点集合が、UAVの動作パラメータに応じて可変間隔で収集される、項目1に記載の方法。
[項目18]
動作パラメータがUAVの速度である、項目17に記載の方法。
[項目19]
第1の特徴点集合を第2の特徴点集合と比較するステップが、特徴点により指示される認識可能な地上目標を発見するステップを含む、項目1に記載の方法。
[項目20]
UAVの帰還経路が飛行経路と異なる場合、特徴点により指示される地上目標が認識可能である、項目19に記載の方法。
[項目21]
UAVが帰還経路の途上で飛行経路と異なる方位を向いた場合、特徴点により指示される地上目標が認識可能である、項目19に記載の方法。
[項目22]
帰還経路が、UAVと地上目標との間で計算された相対測位に基づいて決定される、項目19に記載の方法。
[項目23]
第1の特徴点集合と第2の特徴点集合との比較を利用して、ランダムサンプルコンセンサス(RANSAC)法を用いて帰還経路を決定する、項目1に記載の方法。
[項目24]
第1の特徴点集合と第2の特徴点集合との比較を利用して、透視n点(PnP)運動推定を用いて帰還経路を決定する、項目1に記載の方法。
[項目25]
無人航空機(UAV)の飛行を制御する装置であって、
各々異なる視野を有する複数の撮像装置、すなわち(1)飛行経路を巡航する間に、UAVの周辺環境における異なる視野に対応する第1の画像集合を収集し、(2)帰還経路を巡航する間に、異なる視野に対応する第2の画像集合を収集すべく構成された複数の撮像装置と、
(1)飛行経路を巡航する間に収集された第1の画像集合から第1の特徴点集合を抽出し、(2)飛行経路の途上で抽出された第1の特徴点集合を、第2の画像集合から抽出された第2の特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成すべく、個別又は集合的に構成された1個以上のプロセッサとを含む装置。
[項目26]
複数の撮像装置が互いに異なる方位に向けて配置される、項目25に記載の装置。
[項目27]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目25に記載の装置。
[項目28]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目25に記載の装置。
[項目29]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目25に記載の装置。
[項目30]
異なる視野の少なくとも一部が互いに重なり合う、項目25に記載の装置。
[項目31]
複数の撮像装置が、UAVの中央本体に搭載される、項目25に記載の装置。
[項目32]
帰還経路が飛行経路を逆向きに辿る、項目25に記載の装置。
[項目33]
帰還経路が飛行経路とは異なる、項目25に記載の装置。
[項目34]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目25に記載の装置。
[項目35]
第1の画像集合を航行支援用に保存することなく、第1の特徴点集合を航行支援用に抽出して保存する、項目25に記載の装置。
[項目36]
第1の特徴点集合が静止特徴点であると判定された場合は第1の特徴点集合が航行支援用に保存され、第1の特徴点集合が移動特徴点であると判定された場合は航行支援用に保存されない、項目25に記載の装置。
[項目37]
第1の特徴点集合を用いて、環境内の第1の特徴点集合から三次元マップを構築する、項目25に記載の装置。
[項目38]
1個以上のプロセッサが更に、UAVに帰還経路を巡航させる命令を受信すべく構成される、項目25に記載の装置。
[項目39]
命令がUAV外部のリモートコントローラから受信される、項目38に記載の装置。
[項目40]
1個以上のプロセッサが更に、UAVの動作モードを帰還経路に変更することにより、第1の特徴点集合と第2の特徴点集合との比較を開始すべく構成される、項目38に記載の装置。
[項目41]
第1の特徴点集合又は第2の特徴点集合が、UAVの動作パラメータに応じて可変間隔で収集される、項目25に記載の装置。
[項目42]
動作パラメータがUAVの速度である、項目41に記載の装置。
[項目43]
第1の特徴点集合を第2の特徴点集合と比較するステップが、特徴点により指示される認識可能な地上目標を発見するステップを含む、項目25に記載の装置。
[項目44]
UAVの帰還経路が飛行経路と異なる場合、特徴点により指示される地上目標が認識可能である、項目43に記載の装置。
[項目45]
UAVが帰還経路の途上で飛行経路と異なる方位を向いた場合、特徴点により指示される地上目標が認識可能である、項目43に記載の装置。
[項目46]
帰還経路が、UAVと地上目標との間で計算された相対測位に基づいて決定される、項目43に記載の装置。
[項目47]
第1の特徴点集合と第2の特徴点集合との比較を利用して、ランダムサンプルコンセンサス(RANSAC)法を用いて帰還経路を決定する、項目25に記載の装置。
[項目48]
第1の特徴点集合と第2の特徴点集合との比較を利用して、透視n点(PnP)運動推定を用いて帰還経路を決定する、項目25に記載の装置。
[項目49]
無人航空機(UAV)の飛行を制御する方法であって、
飛行経路を巡航する間に画像集合を収集するステップと、
飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出するステップと、
(1)UAVの移動、(2)画像集合内での画像同士の重なりの程度、(3)特徴点集合内での特徴点同士の重なりの程度、又は(4)特徴点が静止しているか否かの判定に基づいて、特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含む方法。
[項目50]
UAVの移動がUAVの速度を含む、項目49に記載の方法。
[項目51]
UAVの速度がUAVの直線速度又は角速度を含む、項目50に記載の方法。
[項目52]
速度がより低い速度よりも高速である場合に、特徴点のより大きな部分集合が航行支援用に保存すべく選択される、項目50に記載の方法。
[項目53]
画像集合内での画像同士の重なりの程度が閾値を下回る場合に、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目49に記載の方法。
[項目54]
画像同士の重なりが、異なる時点で撮像された複数の画像の比較に基づいている、項目53に記載の方法。
[項目55]
閾値が静的な閾値である、項目53に記載の方法。
[項目56]
閾値が可変である、項目53に記載の方法。
[項目57]
閾値がユーザー入力に応答して可変である、項目56に記載の方法。
[項目58]
特徴点集合内での特徴点同士の重なりの程度が閾値を下回る場合、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目49に記載の方法。
[項目59]
特徴点同士の重なりが異なる時点で取得された特徴点の複数の画像の比較に基づいている、項目58に記載の方法。
[項目60]
閾値が静的な閾値である、項目58に記載の方法。
[項目61]
閾値が可変である、項目58に記載の方法。
[項目62]
閾値がユーザー入力に応答して可変である、項目61に記載の方法。
[項目63]
特徴点が静止特徴点であると判定された場合は特徴点の部分集合内の1個の特徴点が航行支援用に保存され、特徴点が移動特徴点であると判定された場合は航行支援用に保存されない、項目49に記載の方法。
[項目64]
異なる時点で取得された特徴点の複数の画像との比較に基づいて、特徴点が静止しているか否かの判定が行われる、項目63に記載の方法。
[項目65]
複数の画像が同一撮像装置により撮像される、項目64に記載の方法。
[項目66]
帰還経路を巡航する間に追加的な画像集合を収集するステップを更に含む、項目49に記載の方法。
[項目67]
帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出するステップを更に含む、項目66に記載の方法。
[項目68]
航行支援用に保存された特徴点の部分集合を、追加的な画像集合から抽出された追加的な特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成するステップを更に含む、項目67に記載の方法。
[項目69]
帰還経路が飛行経路を逆向きに辿る、項目66に記載の方法。
[項目70]
帰還経路が飛行経路とは異なる、項目66に記載の方法。
[項目71]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目66に記載の方法。
[項目72]
画像集合が、UAVに搭載された1個以上の撮像装置の支援により収集される、項目49に記載の方法。
[項目73]
画像集合が、UAVに搭載された複数の撮像装置の支援により収集され、複数の撮像装置が、UAVの周囲の環境の異なる視野を有する、項目49に記載の方法。
[項目74]
複数の撮像装置が互いに異なる方位に向けて配置される、項目73に記載の方法。
[項目75]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目73に記載の方法。
[項目76]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目73に記載の方法。
[項目77]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目73に記載の方法。
[項目78]
異なる視野の少なくとも一部が互いに重なり合う、項目73に記載の方法。
[項目79]
複数の撮像装置が、UAVの中央本体に搭載される、項目73に記載の方法。
[項目80]
画像集合を航行支援用に保存することなく、特徴点の部分集合を航行支援用に保存する、項目49に記載の方法。
[項目81]
特徴点の部分集合を用いて、環境内の特徴点の部分集合から三次元マップを構築する、項目49に記載の方法。
[項目82]
無人航空機(UAV)の飛行を制御する装置であって、
飛行経路を巡航する間にUAVにより収集された画像集合を受信し、
飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出し、
(1)UAVの移動、(2)画像集合内での画像同士の重なりの程度、(3)特徴点集合内での特徴点同士の重なりの程度、又は(4)特徴点が静止しているか否かの判定に基づいて、特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含む装置。
[項目83]
UAVの移動がUAVの速度を含む、項目82に記載の装置。
[項目84]
UAVの速度がUAVの直線速度又は角速度を含む、項目83に記載の装置。
[項目85]
速度がより低い速度よりも高速である場合に、特徴点のより大きな部分集合が航行支援用に保存すべく選択される、項目83に記載の装置。
[項目86]
画像集合内での画像同士の重なりの程度が閾値を下回る場合に、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目82に記載の装置。
[項目87]
画像同士の重なりが、異なる時点で撮像された複数の画像の比較に基づいている、項目86に記載の装置。
[項目88]
閾値が静的な閾値である、項目86に記載の装置。
[項目89]
閾値が可変である、項目86に記載の装置。
[項目90]
閾値がユーザー入力に応答して可変である、項目89に記載の装置。
[項目91]
特徴点集合内での特徴点同士の重なりの程度が閾値を下回る場合、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目82に記載の装置。
[項目92]
特徴点同士の重なりが異なる時点で取得された特徴点の複数の画像との比較に基づいている、項目91に記載の装置。
[項目93]
閾値が静的な閾値である、項目91に記載の装置。
[項目94]
閾値が可変である、項目91に記載の装置。
[項目95]
閾値がユーザー入力に応答して可変である、項目94に記載の装置。
[項目96]
特徴点が静止特徴点であると判定された場合は特徴点の部分集合内の1個の特徴点が航行支援用に保存され、特徴点が移動特徴点であると判定された場合は航行支援用に保存されない、項目82に記載の装置。
[項目97]
異なる時点で取得された特徴点の複数の画像との比較に基づいて、特徴点が静止しているか否かの判定が行われる、項目96に記載の装置。
[項目98]
複数の画像が同一撮像装置により撮像される、項目97に記載の装置。
[項目99]
1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合を受信すべく構成される、項目82に記載の装置。
[項目100]
1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出すべく構成される、項目99に記載の装置。
[項目101]
1個以上のプロセッサが更に、航行支援用に保存された特徴点の部分集合を、追加的な画像集合から抽出された追加的な特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成すべく構成される、項目100に記載の装置。
[項目102]
帰還経路が飛行経路を逆向きに辿る、項目99に記載の装置。
[項目103]
帰還経路が飛行経路とは異なる、項目99に記載の装置。
[項目104]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目99に記載の装置。
[項目105]
画像集合が、UAVに搭載された1個以上の撮像装置の支援により収集される、項目82に記載の装置。
[項目106]
画像集合が、UAVに搭載された複数の撮像装置の支援により収集され、複数の撮像装置が、UAVの周囲の環境の異なる視野を有する、項目82に記載の装置。
[項目107]
複数の撮像装置が互いに異なる方位に向けて配置される、項目106に記載の装置。
[項目108]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目106に記載の装置。
[項目109]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目106に記載の装置。
[項目110]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目106に記載の装置。
[項目111]
異なる視野の少なくとも一部が互いに重なり合う、項目106に記載の装置。
[項目112]
複数の撮像装置が、UAVの中央本体に搭載される、項目106に記載の装置。
[項目113]
画像集合を航行支援用に保存することなく、特徴点の部分集合を航行支援用に保存する、項目82に記載の装置。
[項目114]
特徴点の部分集合を用いて、環境内の特徴点の部分集合から三次元マップを構築する、項目82に記載の装置。
[項目115]
無人航空機(UAV)の飛行を制御する方法であって、
飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、UAVの周辺環境における異なる視野に対応する画像集合を収集するステップと、
飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出するステップと、
特徴点を含む画像を収集する撮像装置の個数に基づいて、特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含む方法。
[項目116]
特徴点を含む画像を収集する撮像装置の個数が撮像装置の個数の閾値を上回った場合に、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目115に記載の方法。
[項目117]
撮像装置の個数の閾値が3以上である、項目115に記載の方法。
[項目118]
撮像装置の個数が、画像を同時に収集する撮像装置の個数を含む、項目115に記載の方法。
[項目119]
撮像装置の個数が、ある時間範囲内で画像を収集する撮像装置の個数を含む、項目115に記載の方法。
[項目120]
時間範囲が15秒以下である、項目119に記載の方法。
[項目121]
帰還経路を巡航する間に追加的な画像集合を収集するステップを更に含む、項目115に記載の方法。
[項目122]
帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出するステップを更に含む、項目121に記載の方法。
[項目123]
航行支援用に保存された特徴点の部分集合を、追加的な画像集合から抽出された追加的な特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成するステップを更に含む、項目122に記載の方法。
[項目124]
帰還経路が飛行経路を逆向きに辿る、項目121に記載の方法。
[項目125]
帰還経路が飛行経路とは異なる、項目121に記載の方法。
[項目126]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目121に記載の方法。
[項目127]
複数の撮像装置が互いに異なる方位に向けて配置される、項目115に記載の方法。
[項目128]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目115に記載の方法。
[項目129]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目115に記載の方法。
[項目130]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目115に記載の方法。
[項目131]
異なる視野の少なくとも一部が互いに重なり合う、項目115に記載の方法。
[項目132]
複数の撮像装置が、UAVの中央本体に搭載される、項目115に記載の方法。
[項目133]
画像集合を航行支援用に保存することなく、特徴点の部分集合を航行支援用に保存する、項目115に記載の方法。
[項目134]
特徴点の部分集合を用いて、環境内の特徴点の部分集合から三次元マップを構築する、項目115に記載の方法。
[項目135]
無人航空機(UAV)の飛行を制御する装置であって、
飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて収集されたUAVの周辺環境における異なる視野に対応する画像集合を受信し、
飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出し、
特徴点を含む画像を収集する撮像装置の個数に基づいて、特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含む装置。
[項目136]
特徴点を含む画像を収集する撮像装置の個数が撮像装置の個数の閾値を上回った場合に、特徴点の部分集合内の1個の特徴点を航行支援用に保存する、項目135に記載の装置。
[項目137]
撮像装置の個数の閾値が3以上である、項目136に記載の装置。
[項目138]
撮像装置の個数が、画像を同時に収集する撮像装置の個数を含む、項目136に記載の装置。
[項目139]
撮像装置の個数が、ある時間範囲内で画像を収集する撮像装置の個数を含む、項目136に記載の装置。
[項目140]
時間範囲が15秒以下である、項目139に記載の装置。
[項目141]
1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合を受信すべく構成される、項目135に記載の装置。
[項目142]
1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出すべく構成される、項目141に記載の装置。
[項目143]
1個以上のプロセッサが更に、航行支援用に保存された特徴点の部分集合を、追加的な画像集合から抽出された追加的な特徴点集合と比較することにより、UAVに帰還経路を巡航させる信号を生成すべく構成される、項目142に記載の装置。
[項目144]
帰還経路が飛行経路を逆向きに辿る、項目141に記載の装置。
[項目145]
帰還経路が飛行経路とは異なる、項目141に記載の装置。
[項目146]
UAVが、飛行経路を巡航する場合と比較して帰還経路を巡航する場合に異なる方位を向くことができる、項目141に記載の装置。
[項目147]
複数の撮像装置が互いに異なる方位に向けて配置される、項目135に記載の装置。
[項目148]
複数の撮像装置が、UAVの周囲360度の全方位視をカバーする異なる視野を有する、項目135に記載の装置。
[項目149]
複数の撮像装置が、UAVの周囲360度の垂直視をカバーする異なる視野を有する、項目135に記載の装置。
[項目150]
複数の撮像装置が、UAVの周囲の球面空間をカバーする異なる視野を有する、項目135に記載の装置。
[項目151]
異なる視野の少なくとも一部が互いに重なり合う、項目135に記載の装置。
[項目152]
複数の撮像装置が、UAVの中央本体に搭載される、項目135に記載の装置。
[項目153]
画像集合を航行支援用に保存することなく、特徴点の部分集合を航行支援用に保存する、項目135に記載の装置。
[項目154]
特徴点の部分集合を用いて、環境内の特徴点の部分集合から三次元マップを構築する、項目135に記載の装置。
Claims (154)
- 無人航空機(UAV)の飛行を制御する方法であって、
飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、前記UAVの周辺環境における前記異なる視野に対応する第1の画像集合を収集するステップと、
前記飛行経路を巡航する間に収集された前記第1の画像集合から第1の特徴点集合を抽出するステップと、
帰還経路を巡航する間に、前記複数の撮像装置を用いて異なる視野に対応する第2の画像集合を収集するステップと、
飛行経路の途上で抽出された第1の特徴点集合を、前記第2の画像集合から抽出された第2の特徴点集合と比較することにより、前記帰還経路を巡航するステップとを含む方法。 - 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項1に記載の方法。
- 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項1に記載の方法。
- 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項1に記載の方法。
- 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項1に記載の方法。
- 前記異なる視野の少なくとも一部が互いに重なり合う、請求項1に記載の方法。
- 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項1に記載の方法。
- 前記帰還経路が前記飛行経路を逆向きに辿る、請求項1に記載の方法。
- 前記帰還経路が前記飛行経路とは異なる、請求項1に記載の方法。
- 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項1に記載の方法。
- 前記第1の画像集合を航行支援用に保存することなく、前記第1の特徴点集合を航行支援用に抽出して保存する、請求項1に記載の方法。
- 前記第1の特徴点集合が静止特徴点であると判定された場合は前記第1の特徴点集合が航行支援用に保存され、前記第1の特徴点集合が移動特徴点であると判定された場合は航行支援用に保存されない、請求項1に記載の方法。
- 前記第1の特徴点集合を用いて、前記環境内の前記第1の特徴点集合から三次元マップを構築する、請求項1に記載の方法。
- 前記UAVに前記帰還経路を巡航させる命令を受信するステップを更に含む、請求項1に記載の方法。
- 前記命令がUAVの外部のリモートコントローラから受信される、請求項14に記載の方法。
- 前記UAVの動作モードを前記帰還経路に変更することにより、前記第1の特徴点集合と前記第2の特徴点集合との比較を開始するステップを更に含む、請求項14に記載の方法。
- 前記第1の特徴点集合又は前記第2の特徴点集合が、前記UAVの動作パラメータに応じて可変間隔で収集される、請求項1に記載の方法。
- 前記動作パラメータが前記UAVの速度である、請求項17に記載の方法。
- 前記第1の特徴点集合を前記第2の特徴点集合と比較するステップが、前記特徴点により指示される認識可能な地上目標を発見するステップを含む、請求項1に記載の方法。
- 前記UAVの前記帰還経路が前記飛行経路と異なる場合、前記特徴点により指示される前記地上目標が認識可能である、請求項19に記載の方法。
- 前記UAVが前記帰還経路の途上で前記飛行経路と異なる方位を向いた場合、前記特徴点により指示される前記地上目標が認識可能である、請求項19に記載の方法。
- 前記帰還経路が、前記UAVと前記地上目標との間で計算された相対測位に基づいて決定される、請求項19に記載の方法。
- 前記第1の特徴点集合と前記第2の特徴点集合との比較を利用して、ランダムサンプルコンセンサス(RANSAC)法を用いて帰還経路を決定する、請求項1に記載の方法。
- 前記第1の特徴点集合と前記第2の特徴点集合との比較を利用して、透視n点(PnP)運動推定を用いて前記帰還経路を決定する、請求項1に記載の方法。
- 無人航空機(UAV)の飛行を制御する装置であって、
各々異なる視野を有する複数の撮像装置、すなわち(1)飛行経路を巡航する間に、前記UAVの周辺環境における前記異なる視野に対応する第1の画像集合を収集し、(2)帰還経路を巡航する間に、前記異なる視野に対応する第2の画像集合を収集すべく構成された複数の撮像装置と、
(1)前記飛行経路を巡航する間に収集された前記第1の画像集合から第1の特徴点集合を抽出し、(2)前記飛行経路の途上で抽出された前記第1の特徴点集合を、前記第2の画像集合から抽出された第2の特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成すべく、個別又は集合的に構成された1個以上のプロセッサとを含む装置。 - 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項25に記載の装置。
- 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項25に記載の装置。
- 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項25に記載の装置。
- 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項25に記載の装置。
- 前記異なる視野の少なくとも一部が互いに重なり合う、請求項25に記載の装置。
- 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項25に記載の装置。
- 前記帰還経路が前記飛行経路を逆向きに辿る、請求項25に記載の装置。
- 前記帰還経路が前記飛行経路とは異なる、請求項25に記載の装置。
- 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項25に記載の装置。
- 前記第1の画像集合を航行支援用に保存することなく、前記第1の特徴点集合を航行支援用に抽出して保存する、請求項25に記載の装置。
- 前記第1の特徴点集合が静止特徴点であると判定された場合は前記第1の特徴点集合が航行支援用に保存され、前記第1の特徴点集合が移動特徴点であると判定された場合は航行支援用に保存されない、請求項25に記載の装置。
- 前記第1の特徴点集合を用いて、前記環境内の前記第1の特徴点集合から三次元マップを構築する、請求項25に記載の装置。
- 前記1個以上のプロセッサが更に、前記UAVに前記帰還経路を巡航させる命令を受信すべく構成される、請求項25に記載の装置。
- 前記命令が前記UAV外部のリモートコントローラから受信される、請求項38に記載の装置。
- 前記1個以上のプロセッサが更に、前記UAVの動作モードを前記帰還経路に変更することにより、前記第1の特徴点集合と前記第2の特徴点集合との比較を開始すべく構成される、請求項38に記載の装置。
- 前記第1の特徴点集合又は前記第2の特徴点集合が、前記UAVの動作パラメータに応じて可変間隔で収集される、請求項25に記載の装置。
- 前記動作パラメータが前記UAVの速度である、請求項41に記載の装置。
- 前記第1の特徴点集合を前記第2の特徴点集合と比較するステップが、前記特徴点により指示される認識可能な地上目標を発見するステップを含む、請求項25に記載の装置。
- 前記UAVの前記帰還経路が前記飛行経路と異なる場合、前記特徴点により指示される前記地上目標が認識可能である、請求項43に記載の装置。
- 前記UAVが前記帰還経路の途上で前記飛行経路と異なる方位を向いた場合、前記特徴点により指示される前記地上目標が認識可能である、請求項43に記載の装置。
- 前記帰還経路が、前記UAVと前記地上目標との間で計算された相対測位に基づいて決定される、請求項43に記載の装置。
- 前記第1の特徴点集合と前記第2の特徴点集合との比較を利用して、ランダムサンプルコンセンサス(RANSAC)法を用いて帰還経路を決定する、請求項25に記載の装置。
- 前記第1の特徴点集合と前記第2の特徴点集合との比較を利用して、透視n点(PnP)運動推定を用いて前記帰還経路を決定する、請求項25に記載の装置。
- 無人航空機(UAV)の飛行を制御する方法であって、
飛行経路を巡航する間に画像集合を収集するステップと、
前記飛行経路を巡航する間に収集された前記画像集合から特徴点集合を抽出するステップと、
(1)前記UAVの移動、(2)前記画像集合内での画像同士の重なりの程度、(3)前記特徴点集合内での特徴点同士の重なりの程度、又は(4)前記特徴点が静止しているか否かの判定に基づいて、前記特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含む方法。 - 前記UAVの移動が前記UAVの速度を含む、請求項49に記載の方法。
- 前記UAVの速度が前記UAVの直線速度又は角速度を含む、請求項50に記載の方法。
- 前記速度がより低い速度よりも高速である場合に、前記特徴点のより大きな部分集合が航行支援用に保存すべく選択される、請求項50に記載の方法。
- 前記画像集合内での画像同士の重なりの程度が閾値を下回る場合に、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項49に記載の方法。
- 前記画像同士の重なりが、異なる時点で撮像された複数の画像の比較に基づいている、請求項53に記載の方法。
- 前記閾値が静的な閾値である、請求項53に記載の方法。
- 前記閾値が可変である、請求項53に記載の方法。
- 前記閾値がユーザー入力に応答して可変である、請求項56に記載の方法。
- 前記特徴点集合内での特徴点同士の重なりの程度が閾値を下回る場合、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項49に記載の方法。
- 前記特徴点同士の重なりが異なる時点で取得された特徴点の複数の画像の比較に基づいている、請求項58に記載の方法。
- 前記閾値が静的な閾値である、請求項58に記載の方法。
- 前記閾値が可変である、請求項58に記載の方法。
- 前記閾値がユーザー入力に応答して可変である、請求項61に記載の方法。
- 前記特徴点が静止特徴点であると判定された場合は前記特徴点の部分集合内の1個の特徴点が航行支援用に保存され、前記特徴点が移動特徴点であると判定された場合は航行支援用に保存されない、請求項49に記載の方法。
- 異なる時点で取得された特徴点の複数の画像との比較に基づいて、前記特徴点が静止しているか否かの判定が行われる、請求項63に記載の方法。
- 前記複数の画像が同一撮像装置により撮像される、請求項64に記載の方法。
- 前記帰還経路を巡航する間に追加的な画像集合を収集するステップを更に含む、請求項49に記載の方法。
- 前記帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出するステップを更に含む、請求項66に記載の方法。
- 航行支援用に保存された前記特徴点の部分集合を、前記追加的な画像集合から抽出された前記追加的な特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成するステップを更に含む、請求項67に記載の方法。
- 前記帰還経路が前記飛行経路を逆向きに辿る、請求項66に記載の方法。
- 前記帰還経路が前記飛行経路とは異なる、請求項66に記載の方法。
- 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項66に記載の方法。
- 前記画像集合が、前記UAVに搭載された1個以上の撮像装置の支援により収集される、請求項49に記載の方法。
- 前記画像集合が、前記UAVに搭載された複数の撮像装置の支援により収集され、前記複数の撮像装置が、前記UAVの周囲の環境の異なる視野を有する、請求項49に記載の方法。
- 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項73に記載の方法。
- 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項73に記載の方法。
- 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項73に記載の方法。
- 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項73に記載の方法。
- 前記異なる視野の少なくとも一部が互いに重なり合う、請求項73に記載の方法。
- 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項73に記載の方法。
- 前記画像集合を航行支援用に保存することなく、前記特徴点の部分集合を航行支援用に保存する、請求項49に記載の方法。
- 前記特徴点の部分集合を用いて、前記環境内の前記特徴点の部分集合から三次元マップを構築する、請求項49に記載の方法。
- 無人航空機(UAV)の飛行を制御する装置であって、
飛行経路を巡航する間に前記UAVにより収集された画像集合を受信し、
前記飛行経路を巡航する間に収集された前記画像集合から特徴点集合を抽出し、
(1)前記UAVの移動、(2)前記画像集合内での画像同士の重なりの程度、(3)前記特徴点集合内での特徴点同士の重なりの程度、又は(4)前記特徴点が静止しているか否かの判定に基づいて、前記特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含む装置。 - 前記UAVの移動が前記UAVの速度を含む、請求項82に記載の装置。
- 前記UAVの速度が前記UAVの直線速度又は角速度を含む、請求項83に記載の装置。
- 前記速度がより低い速度よりも高速である場合に、前記特徴点のより大きな部分集合が航行支援用に保存すべく選択される、請求項83に記載の装置。
- 前記画像集合内での画像同士の重なりの程度が閾値を下回る場合に、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項82に記載の装置。
- 前記画像同士の重なりが、異なる時点で撮像された複数の画像の比較に基づいている、請求項86に記載の装置。
- 前記閾値が静的な閾値である、請求項86に記載の装置。
- 前記閾値が可変である、請求項86に記載の装置。
- 前記閾値がユーザー入力に応答して可変である、請求項89に記載の装置。
- 前記特徴点集合内での特徴点同士の重なりの程度が閾値を下回る場合、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項82に記載の装置。
- 前記特徴点同士の重なりが異なる時点で取得された特徴点の複数の画像との比較に基づいている、請求項91に記載の装置。
- 前記閾値が静的な閾値である、請求項91に記載の装置。
- 前記閾値が可変である、請求項91に記載の装置。
- 前記閾値がユーザー入力に応答して可変である、請求項94に記載の装置。
- 前記特徴点が静止特徴点であると判定された場合は前記特徴点の部分集合内の1個の特徴点が航行支援用に保存され、前記特徴点が移動特徴点であると判定された場合は航行支援用に保存されない、請求項82に記載の装置。
- 異なる時点で取得された特徴点の複数の画像との比較に基づいて、前記特徴点が静止しているか否かの判定が行われる、請求項96に記載の装置。
- 前記複数の画像が同一撮像装置により撮像される、請求項97に記載の装置。
- 前記1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合を受信すべく構成される、請求項82に記載の装置。
- 前記1個以上のプロセッサが更に、帰還経路を巡航する間に前記追加的な画像集合から追加的な特徴点集合を抽出すべく構成される、請求項99に記載の装置。
- 前記1個以上のプロセッサが更に、航行支援用に保存された前記特徴点の部分集合を、前記追加的な画像集合から抽出された前記追加的な特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成すべく構成される、請求項100に記載の装置。
- 前記帰還経路が前記飛行経路を逆向きに辿る、請求項99に記載の装置。
- 前記帰還経路が前記飛行経路とは異なる、請求項99に記載の装置。
- 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項99に記載の装置。
- 前記画像集合が、前記UAVに搭載された1個以上の撮像装置の支援により収集される、請求項82に記載の装置。
- 前記画像集合が、前記UAVに搭載された複数の撮像装置の支援により収集され、前記複数の撮像装置が、前記UAVの周囲の環境の異なる視野を有する、請求項82に記載の装置。
- 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項106に記載の装置。
- 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項106に記載の装置。
- 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項106に記載の装置。
- 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項106に記載の装置。
- 前記異なる視野の少なくとも一部が互いに重なり合う、請求項106に記載の装置。
- 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項106に記載の装置。
- 前記画像集合を航行支援用に保存することなく、前記特徴点の部分集合を航行支援用に保存する、請求項82に記載の装置。
- 前記特徴点の部分集合を用いて、前記環境内の前記特徴点の部分集合から三次元マップを構築する、請求項82に記載の装置。
- 無人航空機(UAV)の飛行を制御する方法であって、
飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて、前記UAVの周辺環境における前記異なる視野に対応する画像集合を収集するステップと、
前記飛行経路を巡航する間に収集された前記画像集合から特徴点集合を抽出するステップと、
前記特徴点を含む画像を収集する撮像装置の個数に基づいて、前記特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択するステップとを含む方法。 - 前記特徴点を含む画像を収集する撮像装置の個数が撮像装置の個数の閾値を上回った場合に、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項115に記載の方法。
- 撮像装置の個数の閾値が3以上である、請求項115に記載の方法。
- 撮像装置の個数が、画像を同時に収集する撮像装置の個数を含む、請求項115に記載の方法。
- 撮像装置の個数が、ある時間範囲内で画像を収集する撮像装置の個数を含む、請求項115に記載の方法。
- 前記時間範囲が15秒以下である、請求項119に記載の方法。
- 帰還経路を巡航する間に追加的な画像集合を収集するステップを更に含む、請求項115に記載の方法。
- 帰還経路を巡航する間に追加的な画像集合から追加的な特徴点集合を抽出するステップを更に含む、請求項121に記載の方法。
- 航行支援用に保存された前記特徴点の部分集合を、前記追加的な画像集合から抽出された前記追加的な特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成するステップを更に含む、請求項122に記載の方法。
- 前記帰還経路が前記飛行経路を逆向きに辿る、請求項121に記載の方法。
- 前記帰還経路が前記飛行経路とは異なる、請求項121に記載の方法。
- 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項121に記載の方法。
- 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項115に記載の方法。
- 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項115に記載の方法。
- 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項115に記載の方法。
- 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項115に記載の方法。
- 前記異なる視野の少なくとも一部が互いに重なり合う、請求項115に記載の方法。
- 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項115に記載の方法。
- 前記画像集合を航行支援用に保存することなく、前記特徴点の部分集合を航行支援用に保存する、請求項115に記載の方法。
- 前記特徴点の部分集合を用いて、前記環境内の前記特徴点の部分集合から三次元マップを構築する、請求項115に記載の方法。
- 無人航空機(UAV)の飛行を制御する装置であって、
飛行経路を巡航する間は各々異なる視野を有する複数の撮像装置を用いて収集されたUAVの周辺環境における異なる視野に対応する画像集合を受信し、
前記飛行経路を巡航する間に収集された画像集合から特徴点集合を抽出し、
前記特徴点を含む画像を収集する撮像装置の個数に基づいて、前記特徴点集合から航行支援用に保存すべき特徴点の部分集合を選択すべく個別又は集合的に構成された1個以上のプロセッサを含む装置。 - 前記特徴点を含む画像を収集する撮像装置の個数が撮像装置の個数の閾値を上回った場合に、前記特徴点の部分集合内の1個の特徴点を航行支援用に保存する、請求項135に記載の装置。
- 撮像装置の個数の閾値が3以上である、請求項136に記載の装置。
- 撮像装置の個数が、画像を同時に収集する撮像装置の個数を含む、請求項136に記載の装置。
- 撮像装置の個数が、ある時間範囲内で画像を収集する撮像装置の個数を含む、請求項136に記載の装置。
- 前記時間範囲が15秒以下である、請求項139に記載の装置。
- 前記1個以上のプロセッサが更に、帰還経路を巡航する間に追加的な画像集合を受信すべく構成される、請求項135に記載の装置。
- 前記1個以上のプロセッサが更に、帰還経路を巡航する間に前記追加的な画像集合から追加的な特徴点集合を抽出すべく構成される、請求項141に記載の装置。
- 前記1個以上のプロセッサが更に、航行支援用に保存された前記特徴点の部分集合を、前記追加的な画像集合から抽出された前記追加的な特徴点集合と比較することにより、前記UAVに前記帰還経路を巡航させる信号を生成すべく構成される、請求項142に記載の装置。
- 前記帰還経路が前記飛行経路を逆向きに辿る、請求項141に記載の装置。
- 前記帰還経路が前記飛行経路とは異なる、請求項141に記載の装置。
- 前記UAVが、前記飛行経路を巡航する場合と比較して前記帰還経路を巡航する場合に異なる方位を向くことができる、請求項141に記載の装置。
- 前記複数の撮像装置が互いに異なる方位に向けて配置される、請求項135に記載の装置。
- 前記複数の撮像装置が、前記UAVの周囲360度の全方位視をカバーする異なる視野を有する、請求項135に記載の装置。
- 前記複数の撮像装置が、前記UAVの周囲360度の垂直視をカバーする異なる視野を有する、請求項135に記載の装置。
- 前記複数の撮像装置が、前記UAVの周囲の球面空間をカバーする異なる視野を有する、請求項135に記載の装置。
- 前記異なる視野の少なくとも一部が互いに重なり合う、請求項135に記載の装置。
- 前記複数の撮像装置が、前記UAVの中央本体に搭載される、請求項135に記載の装置。
- 前記画像集合を航行支援用に保存することなく、前記特徴点の部分集合を航行支援用に保存する、請求項135に記載の装置。
- 前記特徴点の部分集合を用いて、前記環境内の前記特徴点の部分集合から三次元マップを構築する、請求項135に記載の装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/096746 WO2017096548A1 (en) | 2015-12-09 | 2015-12-09 | Systems and methods for auto-return |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018537335A true JP2018537335A (ja) | 2018-12-20 |
JP6609833B2 JP6609833B2 (ja) | 2019-11-27 |
Family
ID=59012430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018524396A Active JP6609833B2 (ja) | 2015-12-09 | 2015-12-09 | 無人航空機の飛行を制御する方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (3) | US10670407B2 (ja) |
EP (2) | EP3387506B1 (ja) |
JP (1) | JP6609833B2 (ja) |
CN (2) | CN108292140B (ja) |
WO (1) | WO2017096548A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020209167A1 (ja) * | 2019-04-08 | 2020-10-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JPWO2019167205A1 (ja) * | 2018-02-28 | 2020-10-22 | 本田技研工業株式会社 | 管理装置、管理システム、移動体及びプログラム |
KR102192635B1 (ko) * | 2019-11-29 | 2020-12-18 | 박상원 | 방제용 드론 및 이를 이용한 방제 시스템 |
US10908622B2 (en) * | 2017-09-13 | 2021-02-02 | Wing Aviation Llc | Backup navigation system for unmanned aerial vehicles |
JPWO2021144874A1 (ja) * | 2020-01-15 | 2021-07-22 | ||
KR102300799B1 (ko) * | 2020-07-09 | 2021-09-10 | 주식회사 이노드 | 작물 상태 판단 장치 및 이를 포함하는 작물 재배 정보 서비스 플랫폼 |
KR102662332B1 (ko) | 2022-01-14 | 2024-05-08 | 한국전력공사 | 문제수목 확인드론 및 방법 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9146558B2 (en) * | 2010-11-30 | 2015-09-29 | Irobot Corporation | Mobile robot and method of operating thereof |
WO2017096548A1 (en) * | 2015-12-09 | 2017-06-15 | SZ DJI Technology Co., Ltd. | Systems and methods for auto-return |
US9721451B1 (en) | 2015-12-11 | 2017-08-01 | Massachusetts Mutual Life Insurance Company | Location-based warning notification using wireless devices |
US9949091B1 (en) * | 2015-12-11 | 2018-04-17 | Massachusetts Mutual Life Insurance Company | Path storage and recovery using wireless devices |
US10054445B2 (en) * | 2016-05-16 | 2018-08-21 | Northrop Grumman Systems Corporation | Vision-aided aerial navigation |
CN106454069B (zh) * | 2016-08-31 | 2019-11-08 | 歌尔股份有限公司 | 一种控制无人机拍摄的方法、装置和可穿戴设备 |
EP4009128B1 (en) * | 2016-11-14 | 2023-10-25 | SZ DJI Technology Co., Ltd. | Flight path determination |
US11068837B2 (en) * | 2016-11-21 | 2021-07-20 | International Business Machines Corporation | System and method of securely sending and receiving packages via drones |
CN107291099A (zh) * | 2017-07-06 | 2017-10-24 | 杨顺伟 | 无人机返航方法及装置 |
KR20190009103A (ko) | 2017-07-18 | 2019-01-28 | 삼성전자주식회사 | 외부 객체와의 거리에 기반하여 이동 되는 전자 장치 및 그 제어 방법 |
DE102017216267B4 (de) * | 2017-09-14 | 2020-02-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems |
CN111164958A (zh) * | 2017-09-29 | 2020-05-15 | 深圳市大疆创新科技有限公司 | 用于基于姿态信息处理和显示图像数据的系统及方法 |
KR102354229B1 (ko) * | 2017-12-27 | 2022-01-21 | 해성옵틱스(주) | 무인 비행체의 비행 제어장치 및 그 방법 |
JP6833296B2 (ja) * | 2018-02-26 | 2021-02-24 | 東芝三菱電機産業システム株式会社 | 無人飛行体、無人飛行体の飛行経路作成方法およびプラント制御システム |
US20190266898A1 (en) * | 2018-02-28 | 2019-08-29 | Walmart Apollo, Llc | System and method for managing traffic flow of one or more unmanned aerial vehicles |
JP2020003428A (ja) * | 2018-06-29 | 2020-01-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体 |
WO2020010620A1 (zh) * | 2018-07-13 | 2020-01-16 | 深圳市大疆创新科技有限公司 | 波浪识别方法、装置、计算机可读存储介质和无人飞行器 |
CN108961155B (zh) * | 2018-07-13 | 2023-06-27 | 惠州市德赛西威汽车电子股份有限公司 | 一种高保真的鱼眼镜头畸变校正方法 |
US11097796B2 (en) | 2018-11-29 | 2021-08-24 | Saudi Arabian Oil Company | Articulated magnet-bearing legs for UAV landing on curved surfaces |
US10902634B2 (en) * | 2018-12-04 | 2021-01-26 | Here Global B.V. | Method and apparatus for providing feature triangulation |
US11320821B2 (en) * | 2018-12-11 | 2022-05-03 | Airbus Helicopters | Drone for industrial activities |
EP3908850B1 (en) | 2019-01-09 | 2023-06-28 | Signify Holding B.V. | Systems, methods, and devices for drone detection using an outdoor lighting network |
CN109521780B (zh) * | 2019-01-28 | 2023-07-07 | 徐工集团工程机械股份有限公司 | 遥控作业车辆的控制系统及控制方法 |
US11521160B2 (en) * | 2019-06-13 | 2022-12-06 | International Business Machines Corporation | Intelligent vehicle delivery |
WO2021056144A1 (zh) * | 2019-09-23 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 可移动平台的返航控制方法、装置及可移动平台 |
US11900820B2 (en) * | 2019-11-20 | 2024-02-13 | Wing Aviation Llc | Map including data for routing aerial vehicles during GNSS failure |
EP4006875A1 (en) * | 2020-11-25 | 2022-06-01 | THALES DIS AIS Deutschland GmbH | Method, devic, chip and system for controlling a device |
CN112987797B (zh) * | 2021-05-12 | 2021-08-24 | 北京三快在线科技有限公司 | 无人机控制方法、装置、存储介质及无人机 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090285450A1 (en) * | 2006-08-21 | 2009-11-19 | University Of Florida Research Foundation, Inc | Image-based system and methods for vehicle guidance and navigation |
JP2012140101A (ja) * | 2011-01-04 | 2012-07-26 | Topcon Corp | 飛行体の飛行制御システム |
JP2014051213A (ja) * | 2012-09-07 | 2014-03-20 | Ihi Corp | 移動体検出方法 |
JP2014139538A (ja) * | 2013-01-21 | 2014-07-31 | Mitsubishi Heavy Ind Ltd | 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム |
JP2015048025A (ja) * | 2013-09-04 | 2015-03-16 | 佐古 曜一郎 | 防御装置及び防御システム |
US20150260526A1 (en) * | 2014-03-15 | 2015-09-17 | Aurora Flight Sciences Corporation | Autonomous vehicle navigation system and method |
WO2015143615A1 (zh) * | 2014-03-24 | 2015-10-01 | 深圳市大疆创新科技有限公司 | 飞行器状态实时修正的方法和装置 |
JP2015201183A (ja) * | 2014-04-08 | 2015-11-12 | ザ・ボーイング・カンパニーTheBoeing Company | 走行路メタデータを用いた空中写真/映像におけるコンテキスト・アウェア物体検出 |
JP2015210677A (ja) * | 2014-04-25 | 2015-11-24 | 国立大学法人 東京大学 | 情報処理装置および情報処理方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6875019B2 (en) * | 2002-02-11 | 2005-04-05 | United Defense, Lp | Naval virtual target range system |
US7912633B1 (en) * | 2005-12-01 | 2011-03-22 | Adept Mobilerobots Llc | Mobile autonomous updating of GIS maps |
US8666661B2 (en) * | 2006-03-31 | 2014-03-04 | The Boeing Company | Video navigation |
US7725257B2 (en) * | 2006-09-05 | 2010-05-25 | Honeywell International Inc. | Method and system for navigation of an ummanned aerial vehicle in an urban environment |
CN100567898C (zh) * | 2007-01-16 | 2009-12-09 | 北京航空航天大学 | 无人直升机着陆引导方法及其装置 |
KR100877071B1 (ko) * | 2007-07-18 | 2009-01-07 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
CN100547603C (zh) * | 2007-08-08 | 2009-10-07 | 华中科技大学 | 一种地面建筑物识别定位方法 |
KR100955483B1 (ko) * | 2008-08-12 | 2010-04-30 | 삼성전자주식회사 | 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법 |
CN102201115B (zh) * | 2011-04-07 | 2013-12-11 | 湖南天幕智能科技有限公司 | 无人机航拍视频实时全景图拼接方法 |
JP5882693B2 (ja) * | 2011-11-24 | 2016-03-09 | 株式会社トプコン | 航空写真撮像方法及び航空写真撮像装置 |
US9051043B1 (en) * | 2012-12-28 | 2015-06-09 | Google Inc. | Providing emergency medical services using unmanned aerial vehicles |
CN103822635B (zh) * | 2014-03-05 | 2016-12-07 | 北京航空航天大学 | 基于视觉信息的无人机飞行中空间位置实时计算方法 |
CN103941746B (zh) * | 2014-03-29 | 2016-06-01 | 国家电网公司 | 无人机巡检图像处理系统及方法 |
CN103916632B (zh) * | 2014-04-03 | 2017-01-25 | 北京工业大学 | 一种飞机跑道实时全景视频远程监控系统 |
US9457901B2 (en) * | 2014-04-22 | 2016-10-04 | Fatdoor, Inc. | Quadcopter with a printable payload extension system and method |
CN103941748B (zh) * | 2014-04-29 | 2016-05-25 | 百度在线网络技术(北京)有限公司 | 自主导航方法及系统和地图建模方法及系统 |
CN104102218B (zh) * | 2014-06-30 | 2017-04-05 | 西北工业大学 | 基于视觉伺服的感知与规避方法及系统 |
CN104781781B (zh) * | 2014-11-14 | 2018-06-05 | 深圳市大疆创新科技有限公司 | 一种移动物体的控制方法、装置及移动设备 |
CN105182995B (zh) * | 2015-03-10 | 2016-09-07 | 海安索菲亚生态环境新材料科技有限公司 | 无人机自动着陆系统 |
CN104932515B (zh) * | 2015-04-24 | 2019-10-11 | 深圳市大疆创新科技有限公司 | 一种自主巡航方法以及巡航设备 |
CN104807456B (zh) * | 2015-04-29 | 2018-04-17 | 深圳市保千里电子有限公司 | 一种gps无信号时自动返航的方法 |
WO2017096548A1 (en) * | 2015-12-09 | 2017-06-15 | SZ DJI Technology Co., Ltd. | Systems and methods for auto-return |
-
2015
- 2015-12-09 WO PCT/CN2015/096746 patent/WO2017096548A1/en active Application Filing
- 2015-12-09 CN CN201580084785.8A patent/CN108292140B/zh active Active
- 2015-12-09 EP EP15910023.9A patent/EP3387506B1/en active Active
- 2015-12-09 JP JP2018524396A patent/JP6609833B2/ja active Active
- 2015-12-09 CN CN202210163218.3A patent/CN114510080A/zh active Pending
- 2015-12-09 EP EP20209521.2A patent/EP3835912A1/en active Pending
-
2018
- 2018-06-06 US US16/001,926 patent/US10670407B2/en active Active
-
2020
- 2020-05-28 US US16/885,841 patent/US11300413B2/en active Active
-
2022
- 2022-04-11 US US17/718,301 patent/US11879737B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090285450A1 (en) * | 2006-08-21 | 2009-11-19 | University Of Florida Research Foundation, Inc | Image-based system and methods for vehicle guidance and navigation |
JP2012140101A (ja) * | 2011-01-04 | 2012-07-26 | Topcon Corp | 飛行体の飛行制御システム |
JP2014051213A (ja) * | 2012-09-07 | 2014-03-20 | Ihi Corp | 移動体検出方法 |
JP2014139538A (ja) * | 2013-01-21 | 2014-07-31 | Mitsubishi Heavy Ind Ltd | 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム |
JP2015048025A (ja) * | 2013-09-04 | 2015-03-16 | 佐古 曜一郎 | 防御装置及び防御システム |
US20150260526A1 (en) * | 2014-03-15 | 2015-09-17 | Aurora Flight Sciences Corporation | Autonomous vehicle navigation system and method |
WO2015143615A1 (zh) * | 2014-03-24 | 2015-10-01 | 深圳市大疆创新科技有限公司 | 飞行器状态实时修正的方法和装置 |
JP2015201183A (ja) * | 2014-04-08 | 2015-11-12 | ザ・ボーイング・カンパニーTheBoeing Company | 走行路メタデータを用いた空中写真/映像におけるコンテキスト・アウェア物体検出 |
JP2015210677A (ja) * | 2014-04-25 | 2015-11-24 | 国立大学法人 東京大学 | 情報処理装置および情報処理方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10908622B2 (en) * | 2017-09-13 | 2021-02-02 | Wing Aviation Llc | Backup navigation system for unmanned aerial vehicles |
JPWO2019167205A1 (ja) * | 2018-02-28 | 2020-10-22 | 本田技研工業株式会社 | 管理装置、管理システム、移動体及びプログラム |
WO2020209167A1 (ja) * | 2019-04-08 | 2020-10-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7435599B2 (ja) | 2019-04-08 | 2024-02-21 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102192635B1 (ko) * | 2019-11-29 | 2020-12-18 | 박상원 | 방제용 드론 및 이를 이용한 방제 시스템 |
JPWO2021144874A1 (ja) * | 2020-01-15 | 2021-07-22 | ||
WO2021144874A1 (ja) * | 2020-01-15 | 2021-07-22 | 日本電信電話株式会社 | 撮影範囲推定装置、撮影範囲推定方法およびプログラム |
JP7243867B2 (ja) | 2020-01-15 | 2023-03-22 | 日本電信電話株式会社 | 撮影範囲推定装置、撮影範囲推定方法およびプログラム |
KR102300799B1 (ko) * | 2020-07-09 | 2021-09-10 | 주식회사 이노드 | 작물 상태 판단 장치 및 이를 포함하는 작물 재배 정보 서비스 플랫폼 |
KR102662332B1 (ko) | 2022-01-14 | 2024-05-08 | 한국전력공사 | 문제수목 확인드론 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP6609833B2 (ja) | 2019-11-27 |
CN108292140A (zh) | 2018-07-17 |
US20180292214A1 (en) | 2018-10-11 |
EP3387506B1 (en) | 2021-01-13 |
US11879737B2 (en) | 2024-01-23 |
EP3387506A1 (en) | 2018-10-17 |
CN108292140B (zh) | 2022-03-15 |
WO2017096548A1 (en) | 2017-06-15 |
EP3387506A4 (en) | 2019-01-30 |
US10670407B2 (en) | 2020-06-02 |
US11300413B2 (en) | 2022-04-12 |
US20220244054A1 (en) | 2022-08-04 |
CN114510080A (zh) | 2022-05-17 |
US20200292317A1 (en) | 2020-09-17 |
EP3835912A1 (en) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6609833B2 (ja) | 無人航空機の飛行を制御する方法及びシステム | |
US11604479B2 (en) | Methods and system for vision-based landing | |
US20210065400A1 (en) | Selective processing of sensor data | |
US10599149B2 (en) | Salient feature based vehicle positioning | |
US11697411B2 (en) | Apparatus and methods for obstacle detection | |
US20220206515A1 (en) | Uav hardware architecture | |
CN107850902B (zh) | 可移动物体上的相机配置 | |
CN108351649B (zh) | 用于控制可移动物体的方法和设备 | |
CN109219785B (zh) | 一种多传感器校准方法与系统 | |
CN107850899B (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
JP2017520811A (ja) | 慣性および画像センサを用いたセンサ融合 | |
JP2019050007A (ja) | 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6609833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |