JP2017159750A - Unmanned aircraft position estimation method and system - Google Patents
Unmanned aircraft position estimation method and system Download PDFInfo
- Publication number
- JP2017159750A JP2017159750A JP2016044819A JP2016044819A JP2017159750A JP 2017159750 A JP2017159750 A JP 2017159750A JP 2016044819 A JP2016044819 A JP 2016044819A JP 2016044819 A JP2016044819 A JP 2016044819A JP 2017159750 A JP2017159750 A JP 2017159750A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- learning
- unmanned aircraft
- aerial vehicle
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000011156 evaluation Methods 0.000 claims description 16
- 239000003990 capacitor Substances 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 13
- 238000012549 training Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Abstract
Description
本発明は、蓄電器を電源とする無人航空機の位置を推定する無人航空機位置推定方法及びシステムに関するものである。 The present invention relates to an unmanned aerial vehicle position estimation method and system for estimating the position of an unmanned aerial vehicle powered by a capacitor.
ドローンは、蓄電器を電源とする無人航空機として広く知られている。しかしながら衝突を回避するために自動運転中のドローンは、物体を発見すると、速度を低下あるいは停止して回避する。しかし、ホバリング中や低速移動中でもドローンはプロペラの回転を続けているため、回避を行えば行うほどエネルギーを消費することになる。そこで各ドローンの位置を把握し管制するシステムを構築してドローンのエネルギー効率を向上させることが望まれる。従来のドローンでは、GPS（グローバル・ポジショニング・システム）による位置検出が行われていたが、ビルの谷間や山の沢や谷では、衛星からのGPS信号が遮蔽や反射を起こし、正確な位置が求まらない場合があった。また、GPS信号は微弱であるため、妨害により受信困難となる場合もあった[非特許文献１]。 A drone is widely known as an unmanned aerial vehicle powered by a battery. However, in order to avoid a collision, a drone that is driving automatically avoids by reducing or stopping the speed when an object is found. However, since the drone continues to rotate the propeller during hovering and moving at low speed, the more you avoid it, the more energy is consumed. Therefore, it is desirable to improve the energy efficiency of the drone by building a system that grasps and controls the position of each drone. Conventional drones used GPS (Global Positioning System) to detect the position, but GPS signals from satellites block and reflect in the valleys of the buildings, mountains, and valleys, and the exact position is There was a case where it was not found. Further, since the GPS signal is weak, it may be difficult to receive due to interference [Non-Patent Document 1].
また特開2014-122019号公報（特許文献１）には、ドローンの位置を推定するために全地球測位システム受信機からの位置情報を利用する位置推定技術が開示されている。この技術では、同時場所特定地図作成により、全地球測位システム受信機からの位置情報を、同時場所特定地図作成システムからの場所情報と結合されている。そしてこの同時場所特定地図作成システムでは、可視光線カメラ、ステレオグラフィックカメラ、光検出及び測距システム、及び／又は無人航空機の他のセンサからのセンサ情報を結合して、位置推定を行っている。 Japanese Patent Laying-Open No. 2014-122019 (Patent Document 1) discloses a position estimation technique that uses position information from a global positioning system receiver to estimate the position of a drone. In this technique, the location information from the global positioning system receiver is combined with the location information from the simultaneous location specific map creation system by simultaneous location specific map creation. In this simultaneous location specifying map creating system, position information is estimated by combining sensor information from a visible light camera, a stereographic camera, a light detection and ranging system, and / or other sensors of the unmanned aircraft.
さらに自車両の絶対位置を精度良く検出する場合には、レーザレーダを利用している（特許文献２）。 Furthermore, when detecting the absolute position of the own vehicle with high accuracy, a laser radar is used (Patent Document 2).
特許文献１に示されるような複数のセンサ情報を利用してドローン（無人航空機）の位置を推定することは、ドローンに搭載する各種のセンサが多くなって、ドローンの重量を増大させるとともに、消費電力を増加させることになるために、ドローンの飛行距離を伸ばすことの障害になる。そこで発明者は、特許文献２に記載の技術で採用されているような３Ｄレーザレーダをドローンに搭載し、３Ｄレーザレーダの出力と一般に入手できる３Ｄ地図データとのマッチングを行って、位置の推定をすることを考えたが、３Ｄレーザレーダの重量は非常に重く、特許文献１に記載の技術と同様に、ドローンの重量を増大させるとともに、消費電力を増加させることになるために、ドローンの飛行距離を伸ばすことの障害になる問題がある。 Estimating the position of a drone (unmanned aerial vehicle) using a plurality of sensor information as shown in Patent Document 1 increases the weight of the drone and increases the consumption of various sensors mounted on the drone. Because it increases power, it becomes an obstacle to extending the flight distance of the drone. Therefore, the inventor mounts a 3D laser radar as adopted in the technique described in Patent Document 2 on the drone, matches the output of the 3D laser radar and generally available 3D map data, and estimates the position. However, since the weight of the 3D laser radar is very heavy and, like the technique described in Patent Document 1, the weight of the drone is increased and the power consumption is increased. There is a problem that becomes an obstacle to extending the flight distance.
本発明の目的は、無人航空機の重量を大幅に増加させることなく、GPS信号が受信できない場合でも無人航空機が飛行している位置を推定することを可能とする無人航空機位置推定方法及びシステムを提供することにある。 An object of the present invention is to provide an unmanned aircraft position estimation method and system capable of estimating a position where an unmanned aircraft is flying even when GPS signals cannot be received without significantly increasing the weight of the unmanned aircraft. There is to do.
本発明は、蓄電器を電源とする無人航空機の位置を推定する無人航空機位置推定方法である、本発明の方法では、学習データ収集ステップと、学習ステップと、測定データ取得ステップと、位置推定ステップとから無人航空機の位置を推定する。まず学習データ収集ステップでは、飛行エリアの３次元地形図を複数の仮想直方体セルによって構成される３次元格子によって所定の間隔で分割して複数の３次元格子エリアを仮定する。そして１つの３次元格子エリア内の所定位置に無人航空機が存在していると仮定して所定位置が含まれる分割された１つの仮想直方体セルを評価データとし、この所定位置から地表を２次元レーザレーダからのレーザで走査したと仮定したときに得られる２次元データを３次元地形図のデータから得て学習用２次元データとする学習データ取得ステップを、複数の３次元格子エリアの全てについて実施する。そして学習ステップでは、学習データ収集ステップで得た複数の学習データ及び複数の評価データをニューラルネットワークの入力層の複数のユニット及び出力層の複数のユニットに入力し、ニューラルネットワーク内の複数の中間層内の複数のユニット間の枝の重みおよびユニットのバイアスを調整する学習を実行して学習済みニューラルネットワークを構築する。測定データ取得ステップでは、無人航空機に２次元レーザレーダを搭載し、飛行エリア内にある無人航空機から２次元レーザレーダで地表にレーザ走査を実際に行って、２次元測定データを取得する。そして位置推定ステップでは、２次元測定データを学習済みニューラルネットワークの入力層に入力して出力層から無人航空機の推定位置情報を得る。 The present invention is an unmanned aerial vehicle position estimation method for estimating the position of an unmanned aerial vehicle powered by a capacitor. In the method of the present invention, a learning data collection step, a learning step, a measurement data acquisition step, a position estimation step, To estimate the position of the unmanned aircraft. First, in the learning data collection step, a three-dimensional topographic map of the flight area is divided at a predetermined interval by a three-dimensional grid composed of a plurality of virtual rectangular parallelepiped cells to assume a plurality of three-dimensional grid areas. Then, assuming that an unmanned aircraft exists at a predetermined position in one three-dimensional lattice area, one divided virtual rectangular parallelepiped cell including the predetermined position is used as evaluation data, and the ground surface is converted into a two-dimensional laser from the predetermined position. A learning data acquisition step is performed for all of a plurality of three-dimensional lattice areas by obtaining two-dimensional data obtained from the data of the three-dimensional topographic map by assuming that the laser from the radar is scanned. To do. In the learning step, the plurality of learning data and the plurality of evaluation data obtained in the learning data collection step are input to a plurality of units in the input layer and a plurality of units in the output layer of the neural network, and a plurality of intermediate layers in the neural network are input. A learned neural network is constructed by performing learning to adjust branch weights and unit biases among a plurality of units. In the measurement data acquisition step, a two-dimensional laser radar is mounted on the unmanned aircraft, and laser scanning is actually performed on the ground surface by the two-dimensional laser radar from the unmanned aircraft in the flight area to acquire two-dimensional measurement data. In the position estimation step, the two-dimensional measurement data is input to the input layer of the learned neural network, and the estimated position information of the unmanned aircraft is obtained from the output layer.
本発明によれば、無人航空機には３Ｄレーザデータと比べて軽量で、且つ消費電力が少ない２次元レーザレーダを搭載し、無人航空機が飛行している地表から２次元測定データを取得して、２次元測定データを予め準備してある学習済みニューラルネットワークに入力することにより、３次元格子エリアのどこにいるかを迅速に調べることができるため、求まったエリア内で２次元測定データとのパターンマッチングを行うことで位置をピンポイントで迅速に特定することが可能である。なおニューラルネットワークによって求まったエリアを用いずに、３次元地形図の全域と２次元測定データとのパターンマッチングを行った場合には、データ量が非常に大きいために、時間が掛かかって位置推定をリアルタイムで行うことが難しいだけでなく、位置推定の精度を高めることができない。 According to the present invention, the unmanned aerial vehicle is equipped with a two-dimensional laser radar that is lighter and consumes less power than the 3D laser data, and acquires the two-dimensional measurement data from the ground surface where the unmanned aircraft is flying, By inputting 2D measurement data to a learned neural network that has been prepared in advance, it is possible to quickly find where in the 3D grid area, so pattern matching with 2D measurement data can be performed within the determined area. By doing so, it is possible to pinpoint the position quickly. If pattern matching is performed between the whole area of the 3D topographic map and the 2D measurement data without using the area obtained by the neural network, the amount of data is very large, so it takes time to estimate the position. Is not only difficult to perform in real time, but also the accuracy of position estimation cannot be increased.
学習ステップでは、３次元格子エリアを構成する複数の仮想直方体セルのそれぞれについて仮想直方体セル内の外周領域に所定のマージンを設定し、マージン内に無人航空機がある場合の学習データを除外して学習を実行する。仮想直方体セル間の境界付近での学習は、信頼度が低いため、このようにすると位置の推定精度を高めることができる。なおこのようなマージンを設けても、巨視的に見れば、無人航空機は常時位置を変位させているため位置推定に大きな障害は生じない。 In the learning step, for each of a plurality of virtual rectangular parallelepiped cells constituting the three-dimensional lattice area, a predetermined margin is set in the outer peripheral area in the virtual rectangular parallelepiped cell, and learning is performed by excluding learning data when there is an unmanned aircraft in the margin. Execute. Since learning in the vicinity of the boundary between the virtual rectangular parallelepiped cells has low reliability, the position estimation accuracy can be increased in this way. Even if such a margin is provided, if viewed macroscopically, the position of the unmanned aerial vehicle is constantly displaced, so that there is no significant obstacle to position estimation.
位置推定ステップは、無人航空機を操作するための操作用コントローラ内で実施されるのが好ましい。このようにすれば、無人航空機内の蓄電器を利用せずに、しかも高速の演算装置を用いて短い時間で位置の推定を行える。 The position estimation step is preferably performed in an operating controller for operating an unmanned aerial vehicle. In this way, the position can be estimated in a short time without using a battery in an unmanned aerial vehicle and using a high-speed arithmetic device.
無人航空機は、ドローンであっても、その他の種類のものであってもよい。 The unmanned aerial vehicle may be a drone or any other type.
本発明は、蓄電器を電源とする無人航空機の位置を推定する無人航空機位置推定システムとしても特定できる。この無人航空機位置推定システムは、学習済みニューラルネットワークと、無人航空機に搭載された２次元レーザレーダと、測定データ取得部と、位置推定部とから構成される。学習済みニューラルネットワークは、飛行エリアを複数の仮想直方体セルによって構成される３次元格子によって所定の間隔で分割して複数の３次元格子エリアを仮定し、１つの３次元格子エリア内の所定位置に無人航空機が存在していると仮定して所定位置が含まれる１つの仮想直方体セルを評価データとし前記所定位置を中心から地表を２次元レーザレーダのレーザで走査したと仮定したときに得られる２次元データを３次元地形図のデータから得て学習用２次元データとする学習データ取得ステップを、複数の３次元格子エリアの全てについて実施して得た複数の前記学習データ及び複数の前記評価データをニューラルネットワークの入力層の複数のユニット及び出力層の複数のユニットに入力して、前記ニューラルネットワーク内の複数の中間層内の複数のユニット間の枝の重みおよびユニットのバイアスを調整する学習を実行して得る。測定データ取得部は、飛行エリア内にある無人航空機から２次元レーザレーダで地表にレーザ走査を実際に行って、２次元測定データを取得する。そして位置推定部は、２次元測定データを学習済みニューラルネットワークの入力層に入力して出力層から無人航空機の推定位置情報を得る。 The present invention can also be specified as an unmanned aerial vehicle position estimation system that estimates the position of an unmanned aerial vehicle powered by a capacitor. This unmanned aerial vehicle position estimation system includes a learned neural network, a two-dimensional laser radar mounted on the unmanned aircraft, a measurement data acquisition unit, and a position estimation unit. A learned neural network assumes a plurality of three-dimensional lattice areas by dividing a flight area at a predetermined interval by a three-dimensional lattice composed of a plurality of virtual rectangular parallelepiped cells, and assumes a predetermined position in one three-dimensional lattice area. 2 obtained when it is assumed that an unmanned aircraft exists and one virtual rectangular parallelepiped cell including a predetermined position is used as evaluation data and the ground surface is scanned from the predetermined position with the laser of a two-dimensional laser radar. A plurality of the learning data and a plurality of the evaluation data obtained by performing a learning data acquisition step for obtaining the two-dimensional data for learning by obtaining the three-dimensional topographic map data from the three-dimensional topographic map data. Are input to a plurality of units in the input layer and a plurality of units in the output layer of the neural network. Obtained by executing a learning for adjusting the bias of the weight and unit branch among a plurality of units of the number of intermediate layers. The measurement data acquisition unit acquires the two-dimensional measurement data by actually performing laser scanning on the ground surface with a two-dimensional laser radar from an unmanned aircraft in the flight area. The position estimating unit inputs the two-dimensional measurement data to the input layer of the learned neural network and obtains estimated position information of the unmanned aircraft from the output layer.
以下図面を参照して、蓄電器を電源とする無人航空機の位置を推定する本発明の無人航空機位置推定方法を実施する無人航空機位置推定ステムの実施の形態を詳細に説明する。図１は、本発明の無人航空機位置推定ステムの実施の形態の一例の構成を示すブロック図である。衝突を回避するために自動運転中の無人航空機は、物体を発見すると、速度を低下あるいは停止して回避する。しかし、ドローンのようにホバリングできる無人航空機の場合には、ホバリング中や低速移動中でもプロペラの回転を続けているため、回避を行えば行うほどエネルギーを消費することになる。そこで本実施の形態では、無人航空機が飛行している位置を推定することを可能にして、無人航空機の管制を容易にする無人航空機の推定位置情報を推定するシステムを構築してドローンのエネルギー効率を向上させる。 An embodiment of an unmanned aerial vehicle position estimation system that performs the unmanned aerial vehicle position estimation method of the present invention for estimating the position of an unmanned aerial vehicle powered by a capacitor will be described in detail below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an example of an embodiment of an unmanned aerial vehicle position estimation system according to the present invention. In order to avoid a collision, an unmanned aerial vehicle that is operating automatically avoids an object by reducing or stopping the speed when an object is found. However, in the case of an unmanned aerial vehicle that can be hovered like a drone, the propeller continues to rotate even during hovering or low-speed movement, so the more you avoid, the more energy is consumed. Therefore, in the present embodiment, it is possible to estimate the position where the unmanned aircraft is flying, and to construct a system for estimating the estimated position information of the unmanned aircraft that facilitates the control of the unmanned aircraft, so that the energy efficiency of the drone To improve.
図１において、符号１は、ドローンのように蓄電器を電源とする無人航空機を示しており、この無人航空機には２次元レーザレーダ２が搭載されている。この無人航空機位置推定システムは、学習済みニューラルネットワーク３と、測定データ取得部４と、位置推定部５とを備えている。 In FIG. 1, reference numeral 1 denotes an unmanned aerial vehicle that uses a battery as a power source, such as a drone, and a two-dimensional laser radar 2 is mounted on the unmanned aerial vehicle. The unmanned aircraft position estimation system includes a learned neural network 3, a measurement data acquisition unit 4, and a position estimation unit 5.
本実施の形態では、無人航空機１であるドローンの飛行エリアの推定を２つのステップから実行する。まず、無人航空機１に２次元レーザレーダ２を搭載し、地表面の断面形状を取得する（図２参照）。次に、取得した断面形状と人工衛星あるいは航空測量された３次元地形図データとのパターンマッチングをしてエリアを推定する。２次元レーザレーダ２は、角度分解能が０．１２５度であるSICK 社のLD-MRS（商標）をドローンの鉛直下向きに搭載した場合、上空１００メートルを飛行中であれば約２０センチ間隔の地表の高度変化を測定することが可能である。そこで、２０センチおきに左右に５０点ずつ、合計１００点の計測点を用意し、その１００点とドローンとの高度差を１００次元の地表形状ベクトルとして取得する。 In the present embodiment, estimation of the flight area of the drone that is the unmanned aerial vehicle 1 is executed from two steps. First, the two-dimensional laser radar 2 is mounted on the unmanned aerial vehicle 1, and the cross-sectional shape of the ground surface is acquired (see FIG. 2). Next, an area is estimated by pattern matching between the acquired cross-sectional shape and artificial satellite or aerial surveyed three-dimensional topographic map data. The two-dimensional laser radar 2 is equipped with a SICK LD-MRS (trademark) with an angular resolution of 0.125 degrees. When the drone is mounted vertically downward, the surface of the earth is approximately 20 centimeters in height when flying 100 meters above the surface. It is possible to measure altitude changes. Therefore, a total of 100 measurement points are prepared with 50 points on the left and right every 20 centimeters, and the altitude difference between the 100 points and the drone is acquired as a 100-dimensional ground surface shape vector.
学習済みニューラルネットワーク３を準備するためには、まず図４（Ａ）に示すように３次元地図のデータ上で飛行エリアＦＡを複数の仮想直方体セルＣによって構成される３次元格子Ｇ（図３）によって所定の間隔で分割して複数の３次元格子エリアＧＡを仮定する。そして図４（Ｂ）に示すように１つの３次元格子エリア（ＧＡ）内の所定位置Ｐに無人航空機であるドローンが存在していると仮定してこの所定位置が含まれる分割された１つの仮想直方体セルを評価データとし、この所定位置から地表を２次元レーザレーダのレーザＬＳで走査したと仮定したときに得られる２次元データを３次元地形図のデータから得て学習用２次元データとする（学習データ取得ステップ）。複数の３次元格子エリアＧＡの全てについて複数回実施して得た複数の学習データ及び複数の評価データを図５に示すニューラルネットワークＮＮＷの入力層の複数のユニットｕ01〜ｕom及び出力層の複数のユニットＵ1〜Ｕxに入力して、ニューラルネットワークＮＮＷ内の複数の中間層１〜中間層ｎ内の複数のユニット（ｕ11〜ｕnm）間の枝ｂの重み及びユニット（ｕ11〜ｕnm）のバイアス（感度）を調整する学習を実行して、学習済みニューラルネットワーク３を得る。なお実際には、３次元格子Ｇを構成する直方体のセルＣにはそれぞれ異なるラベルを付与する。次に、１つの３次元格子エリアＧＡ内のドローンの位置をランダムに決定し、その時の地表形状ベクトルを３Ｄ地形図のデータから算出したものと、ドローンがいるセルＣのラベルの組を学習データとする。セルＣの縦横高さごとの分解能は２０センチとする。 In order to prepare the learned neural network 3, first, as shown in FIG. 4A, a three-dimensional lattice G (FIG. 3) in which a flight area FA is composed of a plurality of virtual rectangular parallelepiped cells C on the data of a three-dimensional map. A plurality of three-dimensional lattice areas GA are assumed by being divided at a predetermined interval. As shown in FIG. 4B, it is assumed that a drone that is an unmanned aircraft exists at a predetermined position P in one three-dimensional lattice area (GA). Two-dimensional data obtained when the virtual rectangular parallelepiped cell is used as evaluation data and the ground surface is scanned from the predetermined position with the laser LS of the two-dimensional laser radar is obtained from the three-dimensional topographic map data, (Learning data acquisition step). A plurality of learning data and a plurality of evaluation data obtained by performing a plurality of times for all of the plurality of three-dimensional lattice areas GA are a plurality of units u01 to uom of the input layer and a plurality of output layers of the neural network NNW shown in FIG. The weights of the branches b between the plurality of units (u11 to unm) in the plurality of intermediate layers 1 to n in the neural network NNW and the bias (sensitivity) of the units (u11 to unm) are input to the units U1 to Ux. ) Is executed to obtain a learned neural network 3. Actually, different labels are given to the rectangular parallelepiped cells C constituting the three-dimensional lattice G. Next, the position of the drone in one 3D lattice area GA is determined at random, and the ground surface shape vector at that time is calculated from the data of the 3D topographic map and the set of the label of the cell C where the drone is learned data And The resolution for each vertical and horizontal height of the cell C is 20 cm.
図１の測定データ取得部４は、飛行エリアＦＡ内にある無人航空機（ドローン）１から２次元レーザレーダ２で地表にレーザ走査を実際に行って、２次元測定データを取得する。そして位置推定部５は、２次元測定データを学習済みニューラルネットワーク３の入力層に入力して出力層から無人航空機の推定位置情報を得る。本実施の形態によれば、無人航空機１には３Ｄレーザデータと比べて軽量で、且つ消費電力が少ない２次元レーザレーダ２を搭載し、無人航空機１が飛行している地表から２次元測定データを取得して、２次元測定データを予め準備してある学習済みニューラルネットワーク３に入力することにより、２次元測定データと３次元地形図とのパターンマッチングを行ったことと同様の結果を迅速に行って、位置の推定を行うことができる。なおニューラルネットワークを用いずに、パターンマッチングを行った場合には、データ量が非常に大きいために、時間が掛かかって位置推定をリアルタイムで行うことが難しいだけでなく、位置推定の精度を高めることができない。 1 obtains two-dimensional measurement data by actually performing laser scanning on the ground surface with a two-dimensional laser radar 2 from an unmanned aerial vehicle (drone) 1 in the flight area FA. The position estimation unit 5 inputs the two-dimensional measurement data to the input layer of the learned neural network 3 and obtains estimated position information of the unmanned aircraft from the output layer. According to the present embodiment, the unmanned aerial vehicle 1 is equipped with the two-dimensional laser radar 2 that is lighter and consumes less power than the 3D laser data, and the two-dimensional measurement data from the ground surface where the unmanned aircraft 1 is flying. And 2D measurement data is input to the learned neural network 3 that has been prepared in advance, and the same result as that obtained by pattern matching between the 2D measurement data and the 3D topographic map can be quickly obtained. And the position can be estimated. When pattern matching is performed without using a neural network, the amount of data is very large, so it is not only difficult to take time to estimate the position in real time, but also increases the accuracy of position estimation. I can't.
学習の際には、図６に示すように、３次元格子エリアを構成する複数の仮想直方体セルＣのそれぞれについて仮想直方体セルＣ内の外周領域に所定のマージンを設定し、マージン内に無人航空機１がある場合の学習データを除外して学習を実行する。仮想直方体セルＣ間の境界付近での学習は、信頼度が低いため、このようにすると位置の推定精度を高めることができる。なおこのようなマージンを設けても、巨視的に見れば、無人航空機は常時位置を変位させているため位置推定に大きな障害は生じない。 At the time of learning, as shown in FIG. 6, a predetermined margin is set in the outer peripheral area in the virtual rectangular parallelepiped cell C for each of the plurality of virtual rectangular parallelepiped cells C constituting the three-dimensional lattice area, and the unmanned aircraft is within the margin. The learning is executed by excluding the learning data when there is one. Since learning in the vicinity of the boundary between the virtual rectangular parallelepiped cells C has low reliability, the position estimation accuracy can be increased in this way. Even if such a margin is provided, if viewed macroscopically, the position of the unmanned aerial vehicle is constantly displaced, so that there is no significant obstacle to position estimation.
位置推定部５は、無人航空機１内に搭載してもよいが、無人航空機１を操作するための操作用コントローラ内で配置されるのが好ましい。このようにすれば、無人航空機１内の蓄電器を利用せずに、しかも高速の演算装置を用いて短い時間で位置の推定を行える。 The position estimation unit 5 may be mounted in the unmanned aerial vehicle 1, but is preferably arranged in an operation controller for operating the unmanned aircraft 1. In this way, the position can be estimated in a short time without using the battery in the unmanned aerial vehicle 1 and using a high-speed arithmetic device.
（より具体的なニューラネットワークの学習）
具体的なニューラルネットワークの学習は、Restricted Boltzmann Machine (RBM)を用いたプレトレーニング(Pre Training)とファインチューニングという２つの段階からなる。なお、プレトレーニングはRBMの代わりにAuto Encoderを使うこともできる。
(Learning more specific neural networks)
The learning of a specific neural network consists of two stages of pre-training (Pre Training) using the Restricted Boltzmann Machine (RBM) and fine tuning. Pre-training can use Auto Encoder instead of RBM.
（RBMを用いた学習）
図７に示すように、RBMは、可視層（Visible Layer）と隠れ層（Hidden Layer）からなる２層構造のネットワークで、可視層にデータを入れて学習させると、隠れ層に入力データの特徴を反映させたパラメータが学習される。可視層と隠れ層は、それぞれ複数の可視ユニットあるいは隠れユニットを持ち、可視ユニットviには０または１あるいは０から１の範囲の実数が入力され、隠れユニットhjは０または１の値を出力する。
(Learning using RBM)
As shown in Fig. 7, RBM is a two-layer network consisting of a visible layer and a hidden layer. When learning is performed by putting data in the visible layer, the features of the input data in the hidden layer A parameter reflecting the above is learned. The visible layer and the hidden layer each have a plurality of visible units or hidden units, and a real number in the range of 0 or 1 or 0 to 1 is input to the visible unit vi, and the hidden unit hj outputs a value of 0 or 1. .
RBMのパラメータには、可視ユニットに付随するバイアスbi、隠れユニットに付随するバイアスcjと可視ユニットと隠れユニットの結合重みwi, jがある。可視ユニットの活性化（値）が与えられた場合、隠れユニットの活性化確率は次式の通りになる。 RBM parameters include a bias bi associated with a visible unit, a bias cj associated with a hidden unit, and a combined weight wi, j between the visible unit and the hidden unit. When the activation (value) of the visible unit is given, the activation probability of the hidden unit is as follows.
１．可視ユニットに入力されるデータセットから一部を訓練用サンプルvを取り出し、サンプルを使って隠れユニットの確率を計算し、この確率分布から隠れユニットの活性化ベクトルhを得る。 1. A training sample v is partially extracted from the data set input to the visible unit, the probability of the hidden unit is calculated using the sample, and the activation vector h of the hidden unit is obtained from the probability distribution.
２．vと hの外積を計算し勾配１とする。 2. The outer product of v and h is calculated and the gradient is 1.
３．hから再度、可視ユニットの確率を計算し、この確率分布から可視ユニットの活性化ベクトルv’を得る。 3. The probability of the visible unit is calculated again from h, and the activation vector v 'of the visible unit is obtained from this probability distribution.
４．さらに１と同じ手順で、v’からh’を得る。 4). Further, h ′ is obtained from v ′ by the same procedure as 1.
５．v’と h’の外積を計算し勾配２とする。 5. The outer product of v ′ and h ′ is calculated and the gradient is 2.
６．勾配１と勾配２の差分と学習率との積を用いて重みwi, jを更新する。eは学習率である。学習率は大きくするほど、一回で更新する値が大きくなるが、大きくしすぎると学習結果が収束しづらくなるため、適切な値を設定する。実験では、０．１とした。 6). The weights wi, j are updated using the product of the difference between gradient 1 and gradient 2 and the learning rate. e is the learning rate. As the learning rate is increased, the value to be updated at one time is increased. However, if the learning rate is increased too much, it becomes difficult to converge the learning result. Therefore, an appropriate value is set. In the experiment, it was set to 0.1.
（プレトレーニング）
RBMの学習には、可視層の入力データ（教師なしデータ）が必要になるため、n層の中間層を持つDBNにおけるプレトレーニングでは、入力層から順に学習していき、学習したネットワークを用いて次の層の可視層の入力データを作成していく。すなわちまず、入力層と中間層１との間にRBMを構成して学習を行う。次に、中間層１と中間層２との間にRBMを構成して学習を行う。この中間層間の学習を、中間層ｎ−１と中間層ｎまで行う。ｎは、任意の整数で値が大きいほどネットワークが複雑となり学習能力が高くなり性能が高くなるが、あまりに大きくするとその学習に多くのデータが必要となり、データの不足により逆に性能が低くなる。評価実験では、中間層数は７とした。
(Pre-training)
Since RBM learning requires input data in the visible layer (unsupervised data), pre-training in a DBN with n intermediate layers starts learning from the input layer and uses the learned network. Create input data for the visible layer of the next layer. That is, first, learning is performed by configuring an RBM between the input layer and the intermediate layer 1. Next, learning is performed by configuring an RBM between the intermediate layer 1 and the intermediate layer 2. The learning between the intermediate layers is performed up to the intermediate layer n-1 and the intermediate layer n. As n is an arbitrary integer, the larger the value is, the more complex the network becomes and the higher the learning ability and the higher the performance. However, when the value is too large, a large amount of data is required for learning, and the performance is lowered due to the lack of data. In the evaluation experiment, the number of intermediate layers was set to 7.
（ファインチューニング）
RBMを用いたプレトレーニングが終了すると、出力層を加える。中間層の最終段と出力層との接続は、ロジスティック回帰（Logistic Regression）を用いるが、サポートベクターマシン（SVM）などを用いることもできる。ファインチューニングでは、ネットワークをニューラルネットとして扱い、入力データと出力データの両方を持つデータ（教師ありデータ）を使って、誤差逆伝搬学習（BP：Back Propagation）を用いてネットワーク全体の尤度を最大化するように微調節を行う。誤差逆伝搬学習は以下の４ステップを収束するまで繰り返す。
１．教師ありデータから、データを１件とり、入力層から順伝搬を計算し全ての出力を計算する。すべての層の出力と入力を保存しておく。
(Fine tuning)
When pre-training using RBM ends, an output layer is added. The connection between the final stage of the intermediate layer and the output layer uses logistic regression, but a support vector machine (SVM) or the like can also be used. In fine tuning, the network is treated as a neural network, and the data with both input data and output data (supervised data) is used to maximize the likelihood of the entire network using back propagation learning (BP: Back Propagation). Make fine adjustments. The back propagation learning is repeated until the following four steps are converged.
1. Take one piece of data from supervised data, calculate forward propagation from the input layer, and calculate all outputs. Save all layer outputs and inputs.
事前準備
（１）ドローンの離陸地，着陸地から飛行予定の経路を設定する。飛行経路は、離陸地の上空と着陸地の上空を直線で結んだものでも良いし、山や高い建物を避けて燃費が向上するように曲線・直線を組み合わせたものでもよい。また、複数の離着陸地を設定してそれらをネットワーク状にした経路網でも良い。
Advance preparation (1) Set the route of the planned flight from the take-off and landing sites of the drone. The flight route may be a straight line connecting the sky above the takeoff and the sky above the landing, or may be a combination of curves and straight lines so as to improve fuel efficiency while avoiding mountains and tall buildings. Alternatively, a route network in which a plurality of takeoff and landing areas are set and networked may be used.
（２）データベースから経路あるいは経路網周辺の三次元地形図のデータを計算サーバ上にダウンロードし、ドローンが飛行すると想定されるエリアに上下左右に等間隔（たとえば１メートルおき）に点をうち、その点が図３に示した５×５×５の３次元格子エリアの中心となるようにして３次元格子エリアの分割を行い、２次元レーザレーダで取得した２次元測定データ（地表形状ベクトル）から３次元格子エリア内の仮想直方体セルが推定できるように学習を行う。学習はドローンとは独立の計算サーバで行う。学習の結果、エリアの中心ごとに学習済みのネットワークが取得される。 (2) Download the 3D topographic map data around the route or route network from the database to the calculation server, and place points at regular intervals (for example, every 1 meter) vertically and horizontally in the area where the drone is supposed to fly. Two-dimensional measurement data (ground surface shape vector) obtained by two-dimensional laser radar by dividing the three-dimensional lattice area so that the point becomes the center of the 5 × 5 × 5 three-dimensional lattice area shown in FIG. Learning is performed so that a virtual rectangular parallelepiped cell in the three-dimensional lattice area can be estimated. Learning is performed by a calculation server independent of the drone. As a result of learning, a learned network is acquired for each center of the area.
飛行開始前の準備
（３）ドローンに離陸地、着陸地、およびこれから飛行を行う経路を入力する。
Preparations before the start of flight (3) Enter the take-off point, landing point, and route for the flight from now on the drone.
（４）経路付近の衛星３次元地形図のデータをドローンの搭載するコンピュータにダウンロードする。 (4) Download the satellite 3D topographic map data near the route to the computer on which the drone is mounted.
（５）計算サーバからこれから飛行を行う経路周辺の学習済みネットワークをドローンの搭載するコンピュータにダウンロードする。 (5) Download the learned network around the route on which the flight will be performed from the calculation server to the computer on which the drone is mounted.
飛行中の処理
（６）２次元レーザレーダ２で現在の地表断面ベクトル（２次元測定データ）を一定の間隔（たとえば０．１秒おき）に取得する。
Processing during flight (6) The current surface section vector (two-dimensional measurement data) is acquired by the two-dimensional laser radar 2 at regular intervals (for example, every 0.1 second).
（７）ドローンが直前にいた位置および、ドローンの直前の移動方向・移動速度から、移動方向、移動速度の変化がなかった場合に現在いる位置を算出する（ドローンの速度は最大でも毎秒５０メートルであるため、０．１秒での移動は５メートル以内）。 (7) From the position where the drone was immediately before and the moving direction / speed immediately before the drone, calculate the current position when there is no change in the moving direction or moving speed (the drone speed is 50 meters per second at the maximum) Therefore, the movement in 0.1 seconds is within 5 meters).
（８）５×５×５に分割した仮想直方体セルの中心が、７で算出した位置に最も近い学習済みネットワークに、（５）で取得した地表断面ベクトル（２次元測定データ）を入力して、ドローンが現在いるエリアを予測する。 (8) The ground plane vector (two-dimensional measurement data) acquired in (5) is input to the learned network whose center of the virtual rectangular parallelepiped cell divided into 5 × 5 × 5 is closest to the position calculated in 7 Predict the area where the drone is currently located.
（９）予測されたエリアが５×５×５の中心の仮想直方体セルであった場合は、（１２）へ。 (9) If the predicted area is a 5 × 5 × 5 center virtual rectangular parallelepiped cell, go to (12).
（１０）予測された仮想直方体セルが５×５×５の中心のセルから隣接されるセルであった場合には、予測されたセルの中心が５×５×５の中心となるようなネットワークを使って再度予測を行い、予測されたセルが正しいことを確認する。正しいことが確認できた場合には（１１）へ。再度違ったセルとなった場合には、（１２）へ。 (10) If the predicted virtual rectangular parallelepiped cell is a cell adjacent to the center cell of 5 × 5 × 5, the network in which the center of the predicted cell is the center of 5 × 5 × 5 Make a prediction again using to confirm that the predicted cell is correct. If it is confirmed that it is correct, go to (11). If it becomes a different cell again, go to (12).
（１１）推定されたセルの３次元地形図と地表断面ベクトル（２次元測定データ）のマッチングを取り、マッチした点を現在位置とする。マッチングは、ドローンの取得してきた地表断面ベクトル（２次元測定データ）と、三次元地形図上に上下左右等間隔（たとえば２０センチ間隔）に点を打ち、その点にドローンがいた場合の地表断面ベクトル（２次元測定データ）を計算し、両者が一致したものを求める。現在位置がわかったら、その前にいた位置との差分により、移動方向、移動速度を算出する。そして、（６）に戻り同じ処理を繰り返す。 (11) The estimated three-dimensional topographic map of the cell and the ground surface cross section vector (two-dimensional measurement data) are matched, and the matched point is set as the current position. Matching is done by placing a point on the ground cross-section vector (two-dimensional measurement data) obtained by the drone and a three-dimensional topographic map at regular intervals (for example, 20-centimeter intervals), and the surface cross-section when the drone is at that point. A vector (two-dimensional measurement data) is calculated, and the two are matched. If the current position is known, the moving direction and moving speed are calculated from the difference from the previous position. Then, returning to (6), the same processing is repeated.
（１２）５×５×５の分割前の仮想直方体セルの全域の３次元地形図データと地表断面ベクトル（２次元測定データ）のマッチングを取り、マッチした位置を現在位置とする。GPSから精度が低くても位置情報が取れている場合には、GPSの示す位置に近い、エリアを先にマッチングを取ることで計算時間を短縮しても良い。現在位置がわかったら、その前にいた位置との差分により、移動方向、移動速度を算出する。そして、（６）に戻り同じ処理を繰り返す。 (12) Match the 3D topographic map data and the ground surface cross section vector (2D measurement data) of the entire virtual rectangular parallelepiped cell before 5 × 5 × 5 division, and set the matched position as the current position. If the position information is obtained even if the accuracy is low from the GPS, the calculation time may be shortened by first matching an area close to the position indicated by the GPS. If the current position is known, the moving direction and moving speed are calculated from the difference from the previous position. Then, returning to (6), the same processing is repeated.
（評価実験）
本実施の形態の評価をする実験を行った。この実験は、基本性能を確認するのが目的であるため、評価データも学習データと同様に、位置をランダムに決定して３Ｄ地形図データから作成する。その際、同じデータが重複しないように、ドローンの位置が同じものは除外した。仮想直方体セルの境界付近では、類似した地形情報でラベルが異なる場合が生じるため識別が難しい。そこで学習データについては、仮想直方体セルの幅に対して１０％の幅のマージンを周囲に設け、マージン内にドローンがある場合を学習データから除外することで、性能向上を試みた。各仮想直方体セルは、マージンとマージン以外に分かれている。
(Evaluation experiment)
An experiment for evaluating the present embodiment was conducted. Since the purpose of this experiment is to confirm the basic performance, the evaluation data is also created from 3D topographic map data by randomly determining the position in the same manner as the learning data. In doing so, we excluded those with the same drone position so that the same data would not be duplicated. In the vicinity of the boundary of the virtual rectangular parallelepiped cell, the label may be different due to similar terrain information, so that identification is difficult. Therefore, for the learning data, a margin of 10% of the width of the virtual rectangular parallelepiped cell was provided in the periphery, and an attempt was made to improve performance by excluding the case where there is a drone within the margin from the learning data. Each virtual rectangular parallelepiped cell is divided into a margin and a portion other than the margin.
３Ｄ地形図データとして陸域観測技術衛星「だいち」のものを用いた。１０ｃｍ程度の高分解能の航空地形図もあるが、「だいち」は分解能が３０ｍであるため、１／１５０にすることで、疑似的に分解能２０ｃｍの地形図として使用する。３次元格子エリアは、一辺３０ｍの立方体で、各方向にそれぞれ５個重ねて、１２５個のセルを生成した（図３）。実験では、東経 135°40’00”から 135°52’29”、北緯 35°00’00” から 35°12’29”の衛星３Ｄ地図データを用い、高さは地上１００ｍから２５０ｍの範囲とした。２．４DBNを用いた飛行エリアの推定３Ｄ地形図データと２次元レーザで取得する地表面形状（２次元測定データ）とのパターンマッチは、マッチング回数が非常に多くなるため、通常の方法ではリアルタイムで行うことが難しい。そこでディープラーニング（ニューラルネットワーク）の一手法であるDBN（Deep Belief Networks）[ Hinton、 G. E.、 Osindero、 S. & Teh、 Y.-W. A fast learning algorithm for deep belief nets. Neural Comp. 18、 pp. 1527-1554、 2006]を用いてリアルタイムで地表面形状から飛行エリアを推定した。 The land observation satellite "Daichi" was used as 3D topographic map data. There is an aerial topographic map with a high resolution of about 10 cm, but “Daichi” has a resolution of 30 m, so it is used as a topographic map with a resolution of 20 cm by setting it to 1/150. The three-dimensional lattice area was a cube with a side of 30 m, and five cells were overlapped in each direction to generate 125 cells (FIG. 3). In the experiment, satellite 3D map data from 135 ° 40'00 ”to 135 ° 52'29” east longitude and 35 ° 00'00 ”to 35 ° 12'29” north latitude is used, and the height ranges from 100 m to 250 m above the ground. did. 2.4 Estimated flight area using DBN Pattern matching between the 3D topographic map data and the ground surface shape (two-dimensional measurement data) acquired by the two-dimensional laser has a very large number of matching. Difficult to do in Therefore, DBN (Deep Belief Networks), a method of deep learning (neural network) [Hinton, GE, Osindero, S. & Teh, Y.-W. A fast learning algorithm for deep belief nets. Neural Comp. 18, pp 1527-1554, 2006] was used to estimate the flight area from the surface shape in real time.
入力は１００次元の地表形状ベクトル、出力は各セルエリアを表すラベルである（図３）。 The input is a 100-dimensional ground surface shape vector, and the output is a label representing each cell area (FIG. 3).
（実験結果）
図８に示す条件で、図９に示すように、学習／評価データにマージン内のデータを含む場合と含まない場合のデータを作成し評価した。学習データは１６万件、評価データは４万件である。DBNの中間層数は７、ユニット数は各６０、学習Epoch数は３０００とした。その結果、(a)に比べ(b)が高いことから、マージンのデータで検出誤りが多いことが確認できた。(d)が最も高いことから、GPSなどで位置を把握していて、その確認のためのエリア推定であれば、学習データにマージを含まないほうが良いことが確認された。一方、(c）の場合に非常に性能が低くなったことから、無人航空機（ドローン）の位置を本実施の形態のみで求める場合には、学習データにマージンを含んで学習したネットワークを用いるのが良いことが確認された。また３０ｍ立方のエリアを１２５個生成し実験した結果、１０％のマージンを設定することで性能が向上することを確認した。
(Experimental result)
Under the conditions shown in FIG. 8, as shown in FIG. 9, data was created and evaluated when the learning / evaluation data included and not included data within the margin. There are 160,000 learning data and 40,000 evaluation data. The number of intermediate layers of DBN was 7, the number of units was 60, and the number of learning Epochs was 3000. As a result, since (b) was higher than (a), it was confirmed that there were many detection errors in the margin data. Since (d) is the highest, it was confirmed that it is better not to include the merge in the learning data if the position is grasped by GPS or the like and the area is estimated for the confirmation. On the other hand, in the case of (c), since the performance is very low, when the position of the unmanned aerial vehicle (drone) is obtained only by this embodiment, a network learned with a margin in the learning data is used. Was confirmed to be good. In addition, as a result of generating and experimenting with 125 30 m cubic areas, it was confirmed that the performance was improved by setting a margin of 10%.
本発明によれば、無人航空機には３Ｄレーザデータと比べて軽量で、且つ消費電力が少ない２次元レーザレーダを搭載し、無人航空機が飛行している地表から２次元測定データを取得して、２次元測定データを予め準備してある学習済みニューラルネットワークに入力することにより、２次元測定データと３次元地形図とのパターンマッチングを行ったことと同様の結果を迅速に行って、位置の推定を行うことができる。 According to the present invention, the unmanned aerial vehicle is equipped with a two-dimensional laser radar that is lighter and consumes less power than the 3D laser data, and acquires the two-dimensional measurement data from the ground surface where the unmanned aircraft is flying, By inputting the 2D measurement data to the learned neural network that has been prepared in advance, the result similar to the pattern matching between the 2D measurement data and the 3D topographic map can be performed quickly to estimate the position. It can be performed.
１ 無人航空機
２ ２次元レーザレーダ
３ 学習済みニューラルネットワーク
４ 測定データ取得部
５ 位置推定部
1 Unmanned Aircraft 2 2D Laser Radar 3 Learned Neural Network 4 Measurement Data Acquisition Unit 5 Position Estimation Unit
Claims (8)
飛行エリアの３次元地形図を複数の仮想直方体セルによって構成される３次元格子によって所定の間隔で分割して複数の３次元格子エリアを仮定し、１つの前記３次元格子エリア内の所定位置に前記無人航空機が存在していると仮定して前記所定位置が含まれる分割された１つの仮想直方体セルを評価データとし、前記所定位置から地表を２次元レーザレーダからのレーザで走査したと仮定したときに得られる２次元測定データを前記３次元地形図のデータから得て学習データとする学習データ取得ステップを、前記複数の３次元格子エリアの全てについて実施する学習データ収集ステップと、
前記学習データ収集ステップで得た複数の前記学習データ及び複数の前記評価データをニューラルネットワークの入力層の複数のユニット及び出力層の複数のユニットに入力し、前記ニューラルネットワーク内の複数の中間層内の複数のユニット間の枝の重みおよびユニットのバイアスを調整する学習を実行して学習済みニューラルネットワークを構築する学習ステップと、
前記無人航空機に２次元レーザレーダを搭載し、前記飛行エリア内にある前記無人航空機から前記２次元レーザレーダで地表にレーザ走査を実際に行って、２次元測定データを取得する測定データ取得ステップと、
前記２次元測定データを前記学習済みニューラルネットワークの前記入力層に入力して前記出力層から前記無人航空機の推定位置情報を得る位置推定ステップとからなる無人航空機の位置推定方法。 An unmanned aerial vehicle position estimation method for estimating the position of an unmanned aerial vehicle powered by a capacitor,
A three-dimensional topographic map of a flight area is divided at a predetermined interval by a three-dimensional grid composed of a plurality of virtual rectangular parallelepiped cells, and a plurality of three-dimensional grid areas are assumed, and a predetermined position in one of the three-dimensional grid areas is assumed. Assuming that the unmanned aircraft exists, one divided virtual rectangular parallelepiped cell including the predetermined position is used as evaluation data, and the ground surface is scanned from the predetermined position with a laser from a two-dimensional laser radar. A learning data acquisition step of performing a learning data acquisition step of obtaining the two-dimensional measurement data obtained from the data of the three-dimensional topographic map as learning data for all of the plurality of three-dimensional grid areas;
The plurality of learning data and the plurality of evaluation data obtained in the learning data collection step are input to a plurality of units in an input layer and a plurality of units in an output layer of the neural network, and in a plurality of intermediate layers in the neural network. A learning step of constructing a learned neural network by performing learning to adjust branch weights and unit biases between a plurality of units;
A measurement data acquisition step of mounting a two-dimensional laser radar on the unmanned aerial vehicle, and actually performing laser scanning on the ground surface with the two-dimensional laser radar from the unmanned aircraft in the flight area; ,
A position estimation method for an unmanned aerial vehicle comprising: a position estimation step of inputting the two-dimensional measurement data to the input layer of the learned neural network and obtaining estimated position information of the unmanned aircraft from the output layer.
飛行エリアの３次元地形図を複数の仮想直方体セルによって構成される３次元格子によって所定の間隔で分割して複数の３次元格子エリアを仮定し、１つの前記３次元格子エリア内の所定位置に前記無人航空機が存在していると仮定して前記所定位置が含まれる分割された１つの仮想直方体セルを評価データとし、前記所定位置から地表を２次元レーザレーダからのレーザで走査したと仮定したときに得られる２次元測定データを前記３次元地形図のデータから得て学習データとする学習データ取得ステップを、前記複数の３次元格子エリアの全てについて実施して得た複数の前記学習データ及び複数の前記評価データをニューラルネットワークの入力層の複数のユニット及び出力層の複数のユニットに入力して、前記ニューラルネットワーク内の複数の中間層内の複数のユニット間の枝の重み及びユニットのバイアスを調整する学習を実行して得た学習済みニューラルネットワークと、
前記無人航空機に搭載された２次元レーザレーダと、
前記飛行エリア内にある前記無人航空機から前記２次元レーザレーダで地表にレーザ走査を実際に行って、２次元測定データを取得する測定データ取得部と、
前記２次元測定データを前記学習済みニューラルネットワークの前記入力層に入力して前記出力層から前記無人航空機の推定位置情報を得る位置推定部とからなる無人航空機の位置推定システム。 An unmanned aerial vehicle position estimation system that estimates the position of an unmanned aerial vehicle powered by a capacitor,
A three-dimensional topographic map of a flight area is divided at a predetermined interval by a three-dimensional grid composed of a plurality of virtual rectangular parallelepiped cells, and a plurality of three-dimensional grid areas are assumed, and a predetermined position in one of the three-dimensional grid areas is assumed. Assuming that the unmanned aircraft exists, one divided virtual rectangular parallelepiped cell including the predetermined position is used as evaluation data, and the ground surface is scanned from the predetermined position with a laser from a two-dimensional laser radar. A plurality of learning data obtained by performing a learning data acquisition step for obtaining the two-dimensional measurement data obtained from the data of the three-dimensional topographic map as learning data for all of the plurality of three-dimensional grid areas, and A plurality of the evaluation data are input to a plurality of units in the input layer and a plurality of units in the output layer of the neural network, and the neural network A learned neural network obtained by executing the learning of adjusting the bias of the weight and unit branch among a plurality of units of the plurality of intermediate layers of the inner,
A two-dimensional laser radar mounted on the unmanned aerial vehicle;
A measurement data acquisition unit that actually performs laser scanning on the ground surface from the unmanned aerial vehicle in the flight area with the two-dimensional laser radar, and acquires two-dimensional measurement data;
A position estimation system for an unmanned aerial vehicle including a position estimation unit that inputs the two-dimensional measurement data to the input layer of the learned neural network and obtains estimated position information of the unmanned aircraft from the output layer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016044819A JP6663606B2 (en) | 2016-03-08 | 2016-03-08 | Unmanned aerial vehicle position estimation method and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016044819A JP6663606B2 (en) | 2016-03-08 | 2016-03-08 | Unmanned aerial vehicle position estimation method and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017159750A true JP2017159750A (en) | 2017-09-14 |
| JP6663606B2 JP6663606B2 (en) | 2020-03-13 |
Family
ID=59854742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016044819A Active JP6663606B2 (en) | 2016-03-08 | 2016-03-08 | Unmanned aerial vehicle position estimation method and system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6663606B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108181635A (en) * | 2017-12-11 | 2018-06-19 | 中国南方电网有限责任公司超高压输电公司广州局 | A kind of laser point cloud sorting technique for transmission line of electricity scissors crossing analysis |
| CN110956132A (en) * | 2019-11-29 | 2020-04-03 | 苏州经贸职业技术学院 | Method for intelligently constructing weed control model based on unmanned aerial vehicle cooperation |
| CN111679257A (en) * | 2019-12-30 | 2020-09-18 | 中国船舶集团有限公司 | Light and small unmanned aerial vehicle target identification method and device based on radar detection data |
| CN115435776A (en) * | 2022-11-03 | 2022-12-06 | 成都沃飞天驭科技有限公司 | Method and device for displaying three-dimensional airway route, aircraft and storage medium |
| WO2022259829A1 (en) * | 2021-06-11 | 2022-12-15 | 国立研究開発法人理化学研究所 | Estimation device, estimation method, program, and information recording medium |
| CN115560757A (en) * | 2022-09-01 | 2023-01-03 | 中国人民解放军战略支援部队信息工程大学 | Neural network-based unmanned aerial vehicle direct positioning correction method under random attitude error condition |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4939663A (en) * | 1988-04-04 | 1990-07-03 | Harris Corporation | Elevation map-referenced mechanism for updating vehicle navigation system estimates |
| JPH04274710A (en) * | 1991-03-01 | 1992-09-30 | Mitsubishi Electric Corp | Self-position locating system |
| US6466888B1 (en) * | 1999-08-26 | 2002-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Neural network system for estimation of aircraft flight data |
| US6853332B1 (en) * | 2001-07-19 | 2005-02-08 | Bae Systems Plc | Automatic registration of images in digital terrain elevation data |
| JP2007322138A (en) * | 2006-05-30 | 2007-12-13 | Toyota Motor Corp | Moving device, and own position estimation method for moving device |
| JP2014149621A (en) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | Autonomous flying robot |
| WO2015105597A2 (en) * | 2013-11-27 | 2015-07-16 | The Trustees Of The University Of Pennsylvania | Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav) |
-
2016
- 2016-03-08 JP JP2016044819A patent/JP6663606B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4939663A (en) * | 1988-04-04 | 1990-07-03 | Harris Corporation | Elevation map-referenced mechanism for updating vehicle navigation system estimates |
| JPH04274710A (en) * | 1991-03-01 | 1992-09-30 | Mitsubishi Electric Corp | Self-position locating system |
| US6466888B1 (en) * | 1999-08-26 | 2002-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Neural network system for estimation of aircraft flight data |
| US6853332B1 (en) * | 2001-07-19 | 2005-02-08 | Bae Systems Plc | Automatic registration of images in digital terrain elevation data |
| JP2007322138A (en) * | 2006-05-30 | 2007-12-13 | Toyota Motor Corp | Moving device, and own position estimation method for moving device |
| JP2014149621A (en) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | Autonomous flying robot |
| WO2015105597A2 (en) * | 2013-11-27 | 2015-07-16 | The Trustees Of The University Of Pennsylvania | Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108181635A (en) * | 2017-12-11 | 2018-06-19 | 中国南方电网有限责任公司超高压输电公司广州局 | A kind of laser point cloud sorting technique for transmission line of electricity scissors crossing analysis |
| CN110956132A (en) * | 2019-11-29 | 2020-04-03 | 苏州经贸职业技术学院 | Method for intelligently constructing weed control model based on unmanned aerial vehicle cooperation |
| CN110956132B (en) * | 2019-11-29 | 2023-12-29 | 苏州经贸职业技术学院 | Method for constructing weed control model based on unmanned aerial vehicle cooperation intelligence |
| CN111679257A (en) * | 2019-12-30 | 2020-09-18 | 中国船舶集团有限公司 | Light and small unmanned aerial vehicle target identification method and device based on radar detection data |
| CN111679257B (en) * | 2019-12-30 | 2023-05-23 | 中国船舶集团有限公司 | Target recognition method and device for light unmanned aerial vehicle based on radar detection data |
| WO2022259829A1 (en) * | 2021-06-11 | 2022-12-15 | 国立研究開発法人理化学研究所 | Estimation device, estimation method, program, and information recording medium |
| CN115560757A (en) * | 2022-09-01 | 2023-01-03 | 中国人民解放军战略支援部队信息工程大学 | Neural network-based unmanned aerial vehicle direct positioning correction method under random attitude error condition |
| CN115560757B (en) * | 2022-09-01 | 2023-08-22 | 中国人民解放军战略支援部队信息工程大学 | Unmanned aerial vehicle direct positioning correction method based on neural network under random attitude error condition |
| CN115435776A (en) * | 2022-11-03 | 2022-12-06 | 成都沃飞天驭科技有限公司 | Method and device for displaying three-dimensional airway route, aircraft and storage medium |
| CN115435776B (en) * | 2022-11-03 | 2023-03-14 | 成都沃飞天驭科技有限公司 | Method and device for displaying three-dimensional airway route, aircraft and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6663606B2 (en) | 2020-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6663606B2 (en) | Unmanned aerial vehicle position estimation method and system | |
| KR102072863B1 (en) | Aerial forest inventory system | |
| US20220398806A1 (en) | Systems and methods for generating 3d models from drone imaging | |
| Greenwood et al. | Applications of UAVs in civil infrastructure | |
| KR102181283B1 (en) | Tree metrology system | |
| Nuske et al. | Autonomous exploration and motion planning for an unmanned aerial vehicle navigating rivers | |
| Bi et al. | Using an unmanned aerial vehicle for topography mapping of the fault zone based on structure from motion photogrammetry | |
| CN109801512A (en) | Consider the system and planning flight plan method of the breeze conditions in region | |
| Leedekerken et al. | Mapping complex marine environments with autonomous surface craft | |
| CN107478233A (en) | A kind of geological prospecting path planning method and system | |
| EP3916356A1 (en) | Global positioning denied navigation | |
| KR20220086479A (en) | Aircraft sensor system synchronization | |
| Battulwar et al. | High-resolution modeling of open-pit slopes using UAV and photogrammetry | |
| CN112146627B (en) | Aircraft imaging system using projection patterns on featureless surfaces | |
| Verdu et al. | Experimental flights of adaptive patterns for cloud exploration with UAVs | |
| Leedekerken et al. | Mapping complex marine environments with autonomous surface craft | |
| Dyachenko et al. | On the methods of recognition and classification of laser reflection points based on the Terrasolid software module on the Bentley Microstation platform | |
| y Alvarado et al. | A coastal distributed autonomous sensor network | |
| Ren et al. | Search path planning algorithm based on the probability of containment model | |
| Crispin et al. | An intelligent, heuristic path planner for multiple agent unmanned air systems | |
| Rainer | In-situ observation of undisturbed surface layer scaler profiles for characterizing evaporative duct properties | |
| CA3072419A1 (en) | Method and a system for estimating the geographic position of a target | |
| RU2777985C2 (en) | Method for measurement of maximum density of energy flow of electromagnetic field at points in vicinity of axis of main emission of cellular communication antenna, using unmanned aerial vehicle of helicopter type | |
| Davis | Improving electrical power grid resiliency and optimizing post-storm recovery using LiDAR and machine learning | |
| Cheng et al. | Design of UAV distributed aided navigation simulation system based on scene/terrain matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6663606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |