JP2020071154A - 位置推定装置、位置推定方法、プログラム、及び記録媒体 - Google Patents
位置推定装置、位置推定方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP2020071154A JP2020071154A JP2018206007A JP2018206007A JP2020071154A JP 2020071154 A JP2020071154 A JP 2020071154A JP 2018206007 A JP2018206007 A JP 2018206007A JP 2018206007 A JP2018206007 A JP 2018206007A JP 2020071154 A JP2020071154 A JP 2020071154A
- Authority
- JP
- Japan
- Prior art keywords
- unmanned aerial
- aerial vehicle
- error score
- imaging
- assumed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000012545 processing Methods 0.000 claims abstract description 159
- 238000003384 imaging method Methods 0.000 claims abstract description 133
- 238000005259 measurement Methods 0.000 claims abstract description 57
- 230000001133 acceleration Effects 0.000 claims description 43
- 238000004891 communication Methods 0.000 description 64
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 37
- 230000006870 function Effects 0.000 description 29
- 230000015654 memory Effects 0.000 description 20
- 230000036544 posture Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000009795 derivation Methods 0.000 description 5
- 230000003936 working memory Effects 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Navigation (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
図1は、実施形態1における無人飛行体システム5の概要の一例を示す図である。無人飛行体システム5は、無人航空機100がGPS信号を受信できない場所や受信し難い場所、例えば橋梁の下や室内で無人航空機100が自律飛行する状況でも使用される。また、無人飛行体システム5は、無人航空機100がGPS受信機を備えない場合に無人航空機100が自律飛行する状況でも使用される。無人航空機100は、飛行体の一例である。無人飛行体システム5は、複数のカメラ300と、飛行制御装置800と、無人航空機100とを含む構成を有する。カメラ300は、撮像装置の一例である。飛行制御装置800は、位置推定装置の一例である。
実施形態2では、実施形態1に対し、更に、無人航空機100が検出したGPS位置情報を考慮して、無人航空機100の推定位置を最適化する場合を示す。
λG = Ca×(Cn−N) ……(4)
実施形態3では、実施形態2に対し、更に、ダイナミックファクタや無人航空機100の加速度に基づく無人航空機100の推定位置を考慮して、無人航空機100の推定位置を最適化する場合を示す。ダイナミクスファクタは、物理的な現象を加味したファクタである。
100 無人航空機
102 UAV本体
110 UAV制御部
150 通信インタフェース
160 メモリ
170 ストレージ
200 ジンバル
210 回転翼機構
220,230 撮像部
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器
300 カメラ
400 追跡フロントエンド
405,505,505A,505B,605,705 通信部
410,510,510A,510B,610,710 処理部
420,520,520B,620,720 記憶部
500,500A,500B 処理バックエンド
600 IMUフロントエンド
700 PID制御装置
800,800A,800B 飛行制御装置
GM1,GM2 フレーム
STV0 移動方向
Claims (18)
- 飛行体の存在位置を推定する位置推定装置であって、
前記飛行体の存在位置の推定に関する処理を行う処理部を備え、
前記処理部は、
複数の撮像装置により前記飛行体が撮像された複数の撮像画像を取得し、
各撮像装置の配置位置及び各撮像装置の撮像向きの情報を取得し、
各撮像装置の配置位置と、各撮像装置の撮像向きと、実空間において前記飛行体が存在すると仮定された各仮定位置と、各撮像画像における前記飛行体が存在する画像位置と、に基づいて、各仮定位置と前記飛行体の存在位置との誤差を示す誤差スコアを算出し、
前記誤差スコアに基づいて、実空間における前記飛行体の存在位置を推定する、
位置推定装置。 - 前記処理部は、
前記複数の撮像装置により複数の時刻に前記飛行体が撮像された前記複数の撮像画像を取得し、
前記複数の時刻において前記誤差スコアを算出し、
前記誤差スコアに基づいて、実空間における前記飛行体の存在位置を推定する、
請求項1に記載の位置推定装置。 - 前記処理部は、
前記撮像装置と前記飛行体との距離を取得し、
前記距離に基づいて、前記撮像画像についての前記誤差スコアの信頼度を導出し、
前記信頼度に基づいて前記誤差スコアを算出する、
請求項2に記載の位置推定装置。 - 前記処理部は、
各撮像装置の配置位置及び各撮像装置の撮像向きで撮像された各撮像画像に、実空間において前記飛行体が存在すると仮定された各仮定位置が投影された各投影仮定位置と、各撮像装置の配置位置及び各撮像装置の撮像向きで撮像された各撮像画像における前記飛行体が存在する各画像位置と、の差分に基づいて、前記誤差スコアを算出し、
前記誤差スコアが最小となる前記飛行体の仮定位置を、前記飛行体の存在位置として推定する、
請求項3に記載の位置推定装置。 - 前記処理部は、
前記飛行体が備える位置計測部により計測された前記飛行体の第1の計測位置を取得し、
前記第1の計測位置に基づいて、前記誤差スコアを算出する、
請求項1〜4のいずれか1項に記載の位置推定装置。 - 前記位置計測部は、複数のGPS(Global Positioning System)衛星からGPS信号を受信して前記第1の計測位置を取得し、
前記処理部は、前記位置計測部が受信不可能な前記GPS衛星の数が多い程、前記誤差スコアに対する前記第1の計測位置の影響が大きくなるように、前記誤差スコアを算出する、
請求項5に記載の位置推定装置。 - 前記処理部は、前記飛行体が物理的に移動可能な位置に基づいて、前記誤差スコアを算出する、
請求項1〜6のいずれか1項に記載の位置推定装置。 - 前記処理部は、
前記飛行体が備える加速度計測器により計測された加速度に基づいて、前記飛行体の第2の計測位置を導出し、
前記第2の計測位置に基づいて、前記誤差スコアを算出する、
請求項1〜6のいずれか1項に記載の位置推定装置。 - 飛行体の存在位置を推定する位置推定方法であって、
複数の撮像装置により前記飛行体が撮像された複数の撮像画像を取得するステップと、
各撮像装置の配置位置及び各撮像装置の撮像向きの情報を取得するステップと、
各撮像装置の配置位置と、各撮像装置の撮像向きと、実空間において前記飛行体が存在すると仮定された各仮定位置と、各撮像画像における前記飛行体が存在する画像位置と、に基づいて、各仮定位置と前記飛行体の存在位置との誤差を示す誤差スコアを算出するステップと、
前記誤差スコアに基づいて、実空間における前記飛行体の存在位置を推定するステップと、
を有する位置推定方法。 - 前記複数の撮像画像を取得するステップは、前記複数の撮像装置により複数の時刻に前記飛行体が撮像された前記複数の撮像画像を取得するステップを含み、
前記誤差スコアを算出するステップは、前記複数の時刻において前記誤差スコアを算出するステップを含み、
前記飛行体の存在位置を推定するステップは、前記誤差スコアに基づいて、実空間における前記飛行体の存在位置を推定するステップを含む、
請求項9に記載の位置推定方法。 - 前記誤差スコアを算出するステップは、
前記撮像装置と前記飛行体との距離を取得するステップと、
前記距離に基づいて、前記撮像画像についての前記誤差スコアの信頼度を導出するステップと、
前記信頼度に基づいて前記誤差スコアを算出するステップと、を含む、
請求項10に記載の位置推定方法。 - 前記誤差スコアを算出するステップは、各撮像装置の配置位置及び各撮像装置の撮像向きで撮像された各撮像画像に、実空間において前記飛行体が存在すると仮定された各仮定位置が投影された各投影仮定位置と、各撮像装置の配置位置及び各撮像装置の撮像向きで撮像された各撮像画像における前記飛行体が存在する各画像位置と、の差分に基づいて、前記誤差スコアを算出するステップを含み、
前記飛行体の存在位置を推定するステップは、前記誤差スコアが最小となる前記飛行体の仮定位置を、前記飛行体の存在位置として推定するステップを含む、
請求項11に記載の位置推定方法。 - 前記誤差スコアを算出するステップは、
前記飛行体が備える位置計測部により計測された前記飛行体の第1の計測位置を取得するステップと、
前記第1の計測位置に基づいて、前記誤差スコアを算出するステップと、を含む、
請求項9〜12のいずれか1項に記載の位置推定方法。 - 前記第1の計測位置を取得するステップは、複数のGPS衛星からGPS信号を受信して前記第1の計測位置を取得するステップを含み、
前記誤差スコアを算出するステップは、前記位置計測部が受信不可能な前記GPS衛星の数が多い程、前記誤差スコアに対する前記第1の計測位置の影響が大きくなるように、前記誤差スコアを算出するステップを含む、
請求項13に記載の位置推定方法。 - 前記誤差スコアを算出するステップは、前記飛行体が物理的に移動可能な位置に基づいて、前記誤差スコアを算出するステップを含む、
請求項9〜14のいずれか1項に記載の位置推定方法。 - 前記誤差スコアを算出するステップは、
前記飛行体が備える加速度計測器により計測された加速度に基づいて、前記飛行体の第2の計測位置を導出するステップと、
前記第2の計測位置に基づいて、前記誤差スコアを算出するステップと、を含む、
請求項9〜14のいずれか1項に記載の位置推定方法。 - 飛行体の存在位置を推定する位置推定装置に、
複数の撮像装置により前記飛行体が撮像された複数の撮像画像を取得するステップと、
各撮像装置の配置位置及び各撮像装置の撮像向きの情報を取得するステップと、
各撮像装置の配置位置と、各撮像装置の撮像向きと、実空間において前記飛行体が存在すると仮定された各仮定位置と、各撮像画像における前記飛行体が存在する画像位置と、に基づいて、各仮定位置と前記飛行体の存在位置との誤差を示す誤差スコアを算出するステップと、
前記誤差スコアに基づいて、実空間における前記飛行体の存在位置を推定するステップと、
を実行させるためのプログラム。 - 飛行体の存在位置を推定する位置推定装置に、
複数の撮像装置により前記飛行体が撮像された複数の撮像画像を取得するステップと、
各撮像装置の配置位置及び各撮像装置の撮像向きの情報を取得するステップと、
各撮像装置の配置位置と、各撮像装置の撮像向きと、実空間において前記飛行体が存在すると仮定された各仮定位置と、各撮像画像における前記飛行体が存在する画像位置と、に基づいて、各仮定位置に前記飛行体の存在位置との誤差を示す誤差スコアを算出するステップと、
前記誤差スコアに基づいて、実空間における前記飛行体の存在位置を推定するステップと、
を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018206007A JP6974290B2 (ja) | 2018-10-31 | 2018-10-31 | 位置推定装置、位置推定方法、プログラム、及び記録媒体 |
CN201980009074.2A CN111615616A (zh) | 2018-10-31 | 2019-10-28 | 位置推定装置、位置推定方法、程序以及记录介质 |
PCT/CN2019/113651 WO2020088397A1 (zh) | 2018-10-31 | 2019-10-28 | 位置推定装置、位置推定方法、程序以及记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018206007A JP6974290B2 (ja) | 2018-10-31 | 2018-10-31 | 位置推定装置、位置推定方法、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020071154A true JP2020071154A (ja) | 2020-05-07 |
JP6974290B2 JP6974290B2 (ja) | 2021-12-01 |
Family
ID=70462059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018206007A Active JP6974290B2 (ja) | 2018-10-31 | 2018-10-31 | 位置推定装置、位置推定方法、プログラム、及び記録媒体 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6974290B2 (ja) |
CN (1) | CN111615616A (ja) |
WO (1) | WO2020088397A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080192263A1 (en) * | 2004-02-03 | 2008-08-14 | Stephan Wienand | Method for Determining the Position of an Object in Space |
JP2008281553A (ja) * | 2007-04-09 | 2008-11-20 | Seiko Epson Corp | 現在位置測位方法、プログラム、記憶媒体、測位装置及び電子機器 |
JP2009020014A (ja) * | 2007-07-12 | 2009-01-29 | Toyota Motor Corp | 自己位置推定装置 |
JP2014186004A (ja) * | 2013-03-25 | 2014-10-02 | Toshiba Corp | 計測装置、方法及びプログラム |
WO2016059930A1 (ja) * | 2014-10-17 | 2016-04-21 | ソニー株式会社 | 装置、方法及びプログラム |
JP2018503194A (ja) * | 2015-01-13 | 2018-02-01 | ▲広▼州▲極飛▼科技有限公司Guangzhou Xaircraft Technology Co., Ltd. | 無人航空機をスケジューリングする方法及びシステム、無人航空機 |
WO2018142496A1 (ja) * | 2017-02-01 | 2018-08-09 | 株式会社日立製作所 | 三次元計測装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007058302A1 (ja) * | 2005-11-21 | 2007-05-24 | Nec Corporation | 位置推定システム、位置推定方法および位置推定用プログラム |
US20100188280A1 (en) * | 2009-01-23 | 2010-07-29 | Honeywell International Inc. | Systems and methods for determining location of an airborne vehicle using radar images |
EP2933790B1 (en) * | 2012-12-12 | 2017-09-27 | Nissan Motor Co., Ltd | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method |
JP6862477B2 (ja) * | 2017-02-10 | 2021-04-21 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体 |
-
2018
- 2018-10-31 JP JP2018206007A patent/JP6974290B2/ja active Active
-
2019
- 2019-10-28 WO PCT/CN2019/113651 patent/WO2020088397A1/zh active Application Filing
- 2019-10-28 CN CN201980009074.2A patent/CN111615616A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080192263A1 (en) * | 2004-02-03 | 2008-08-14 | Stephan Wienand | Method for Determining the Position of an Object in Space |
JP2008281553A (ja) * | 2007-04-09 | 2008-11-20 | Seiko Epson Corp | 現在位置測位方法、プログラム、記憶媒体、測位装置及び電子機器 |
JP2009020014A (ja) * | 2007-07-12 | 2009-01-29 | Toyota Motor Corp | 自己位置推定装置 |
JP2014186004A (ja) * | 2013-03-25 | 2014-10-02 | Toshiba Corp | 計測装置、方法及びプログラム |
WO2016059930A1 (ja) * | 2014-10-17 | 2016-04-21 | ソニー株式会社 | 装置、方法及びプログラム |
JP2018503194A (ja) * | 2015-01-13 | 2018-02-01 | ▲広▼州▲極飛▼科技有限公司Guangzhou Xaircraft Technology Co., Ltd. | 無人航空機をスケジューリングする方法及びシステム、無人航空機 |
WO2018142496A1 (ja) * | 2017-02-01 | 2018-08-09 | 株式会社日立製作所 | 三次元計測装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2020088397A1 (zh) | 2020-05-07 |
JP6974290B2 (ja) | 2021-12-01 |
CN111615616A (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10565732B2 (en) | Sensor fusion using inertial and image sensors | |
US10191486B2 (en) | Unmanned surveyor | |
US11906983B2 (en) | System and method for tracking targets | |
WO2016187759A1 (en) | Sensor fusion using inertial and image sensors | |
WO2016187757A1 (en) | Sensor fusion using inertial and image sensors | |
JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
JP6765512B2 (ja) | 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体 | |
EP3734394A1 (en) | Sensor fusion using inertial and image sensors | |
JP2014119828A (ja) | 自律飛行ロボット | |
JP6962775B2 (ja) | 情報処理装置、空撮経路生成方法、プログラム、及び記録媒体 | |
KR102239562B1 (ko) | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 | |
US20180239368A1 (en) | Control device, optical device, and control method for tracking unmanned aerial vehicle, and system and program therefor | |
US20200217665A1 (en) | Mobile platform, image capture path generation method, program, and recording medium | |
CN111344650B (zh) | 信息处理装置、飞行路径生成方法、程序以及记录介质 | |
US20210229810A1 (en) | Information processing device, flight control method, and flight control system | |
JP2020191523A (ja) | 無人移動体 | |
CN111213107B (zh) | 信息处理装置、拍摄控制方法、程序以及记录介质 | |
JP2019191888A (ja) | 無人飛行体、無人飛行方法及び無人飛行プログラム | |
JP2022015978A (ja) | 無人航空機の制御方法、無人航空機、および、無人航空機の制御プログラム | |
JP6974290B2 (ja) | 位置推定装置、位置推定方法、プログラム、及び記録媒体 | |
JP2020095519A (ja) | 形状推定装置、形状推定方法、プログラム、及び記録媒体 | |
JP2007240435A (ja) | 目標対象物の位置検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6974290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |