JP2020535545A - ナビゲーションチャート構成方法、障害物回避方法及び装置、端末、無人航空機 - Google Patents
ナビゲーションチャート構成方法、障害物回避方法及び装置、端末、無人航空機 Download PDFInfo
- Publication number
- JP2020535545A JP2020535545A JP2020517902A JP2020517902A JP2020535545A JP 2020535545 A JP2020535545 A JP 2020535545A JP 2020517902 A JP2020517902 A JP 2020517902A JP 2020517902 A JP2020517902 A JP 2020517902A JP 2020535545 A JP2020535545 A JP 2020535545A
- Authority
- JP
- Japan
- Prior art keywords
- point
- aircraft
- navigation chart
- depth image
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000013507 mapping Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 description 18
- 238000013016 damping Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 15
- 238000005259 measurement Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000575 pesticide Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009347 mechanical transmission Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0004—Transmission of traffic-related information to or from an aircraft
- G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
- G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/40—UAVs specially adapted for particular uses or applications for agriculture or forestry operations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
Description
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得するステップと、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するステップと、を含むナビゲーションチャート構成方法を提供する。
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得するステップと、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影するステップと、
サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示するステップと、
ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための3次元位置情報とを取得するステップと、
予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示するステップと、を含む障害物回避方法をさらに提供する。
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成された情報取得モジュールと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得するように構成された3次元位置情報取得モジュールと、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するように構成された投影モジュールと、を含む航空機のナビゲーションチャート構成装置をさらに提供する。
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成された第1の情報取得モジュールと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得するように構成された3次元位置情報取得モジュールと、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影するように構成された投影モジュールと、
サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示するように構成された第1の領域設定モジュールと、
ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための3次元位置情報とを取得するように構成された第2の情報取得モジュールと、
予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示するように構成された第2の領域設定モジュールと、を含む障害物回避装置をさらに提供する。
通信モジュールと、センサと、コントローラと、記憶媒体とを含み、
前記センサは、イメージセンサ、GPS受信機、RTK測位センサ及び慣性センサを含み、
前記通信モジュールは、地上制御装置と通信するように構成され、
前記GPS受信機及び測位センサは、無人航空機の現在の飛行位置を決定するように構成され、
前記慣性センサは、無人航空機の姿勢情報を決定するように構成され、
前記イメージセンサは、現在の飛行位置で深度画像を検出するように構成され、
前記コントローラは、前記記憶媒体に接続され、前記記憶媒体は、実行されると、上記第1の態様に記載の方法のステップが実行されるためのプログラムを記憶するように構成された無人航空機をさらに提供する。
通信モジュールと、センサと、コントローラと、記憶媒体とを含み、
前記センサは、イメージセンサ、GPS受信機、RTK測位センサ及び慣性センサを含み、
前記通信モジュールは、地上制御装置と通信するように構成され、
前記GPS受信機及び測位センサは、無人航空機の現在の飛行位置を決定するように構成され、
前記慣性センサは、無人航空機の姿勢情報を決定するように構成され、
前記イメージセンサは、現在の飛行位置で深度画像を検出するように構成され、
前記コントローラは、前記記憶媒体に接続され、前記記憶媒体は、実行されると、上記第2の態様に記載の方法のステップが実行されるためのプログラムを記憶するように構成された無人航空機をさらに提供する。
本願をより良く理解するために、まず本願に係る全体的な技術的思想について簡単に紹介する。
まず、本願を、ローカルナビゲーションチャート計画に基づく観点から詳細に説明する。
図1に示すように、一実施例では、ナビゲーションチャート構成方法は、以下のステップS110〜S130を含む。
point_weight=point_weight_com*distance_factor
map_value+=point_weight。
ここで、map_valueは、1つのサブ領域の重み値を示す。
If(map_value>1)then map_value=1。
for(i=0;i<img_height;i+=i_step);
i_step=fabs(i−img_height/2)/height_step+1
for(j=0;j<img_width;j+=j_step);
j_step=fabs(j−img_width/2)/width_step+1
Handlelmage()
end
end
ここで、img_heightとimg_widthは、それぞれ画像の幅と長さであり、
i_stepとj_stepは、画像をトラバースするステップサイズであり、初期値はいずれも1であり、
height_stepとwidth_stepは、それぞれ画像の縦方向と横方向のスパース因子であり、
Handlelmage()は、深度画像に対する後続処理を示す。
map_value*=damping_factor。
ここで、map_valueは、プリセット領域内の1つのサブ領域の総重み値を示し、damping_factorは、減衰係数を示す。
図3に示すように、一実施例では、航空機のナビゲーションチャート構成装置は、以下のモジュール110〜130を含む。
情報取得モジュール110は、前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成される。
point_weight=point_weight_com*distance_factor
map_value+=point_weight。
ここで、map_valueは、1つのサブ領域の重み値を示す。
If(map_value>1)then map_value=1。
for(i=0;i<img_height;i+=i_step);
i_step=fabs(i−img_height/2)/height_step+1
for(j=0;j<img_width;j+=j_step);
j_step=fabs(j−img_width/2)/width_step+1
Handlelmage()
end
end
ここで、img_heightとimg_widthは、それぞれ画像の幅と長さであり、
i_stepとj_stepは、画像をトラバースするステップサイズであり、初期値はいずれも1であり、
height_stepとwidth_stepは、それぞれ画像の縦方向と横方向のスパース因子であり、
Handlelmage()は、深度画像に対する後続処理を示す。
map_value*=damping_factor。
ここで、map_valueは、プリセット領域内の1つのサブ領域の総重み値を示し、damping_factorは、減衰係数を示す。
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得し、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得し、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するように構成される。
任意選択で、コントローラ810は、さらに、
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得し、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得し、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影し、
サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記航空機に前記障害物領域の回避を指示するように、前記サブ領域を障害物領域として設定し、
ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための3次元位置情報とを取得し、
前記航空機に前記障害物領域及び前記作業境界の回避を指示するように、予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定するように構成される。
Claims (34)
- 航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得するステップと、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するステップと、を含むナビゲーションチャート構成方法。 - 前記ローカルナビゲーションチャートは、複数のサブ領域を含み、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影した後、
サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域とし、前記航空機に障害物の回避を指示することをさらに含む、請求項1に記載のナビゲーションチャート構成方法。 - 各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影した後、
サブ領域内の全ての点の重み値の和が予め設定された閾値以下であれば、前記サブ領域を通行領域とし、前記航空機の通過を許可することをさらに含む、請求項2に記載のナビゲーションチャート構成方法。 - 前記深度画像は、各点と前記現在の飛行位置との距離情報を含み、
各点の前記重み値は、予め設定された重み値と距離係数との積から求められ、
前記距離係数は、前記距離情報と正比例関係にある、請求項1に記載のナビゲーションチャート構成方法。 - 各点の3次元位置情報を、それぞれに設定された重み値で、ローカルナビゲーションチャートに投影した後、
前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることと、
減衰後の各サブ領域における全ての点の重み値の和を取得することと、をさらに含む、請求項2に記載のナビゲーションチャート構成方法。 - 前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることは、
前記プリセット領域内の各点の重み値を予め設定された減衰係数と乗算することを含む、請求項5に記載のナビゲーションチャート構成方法。 - 前記プリセット領域は、前記ローカルナビゲーションチャートの中心と、前記航空機における深度画像を取得するための双眼システムの水平画角と、設定減衰距離とに基づいて決定される、請求項5に記載のナビゲーションチャート構成方法。
- 前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得することは、
前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することと、
ナビゲーション座標系における各点、前記現在の飛行位置及び前記姿勢情報に基づいて、各点の3次元位置情報を取得することとを含む、請求項1に記載のナビゲーションチャート構成方法。 - 前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することは、
カメラの内部リファレンス行列に基づいて、前記深度画像の各点をカメラ座標系における各点に変換することと、
カメラ座標系から機体座標系への変換行列に基づいて、カメラ座標系における各点を機体座標系の各点に変換することと、
機体座標系からナビゲーション座標系への変換行列に基づいて、機体座標系における各点をナビゲーション座標系の各点に変換することと、を含む、請求項8に記載のナビゲーションチャート構成方法。 - 前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得した後、且つ、各点の3次元位置情報を取得する前に、
前記深度画像に対してスパース処理を行うことをさらに含む、請求項1に記載のナビゲーションチャート構成方法。 - 前記深度画像に対してスパース処理を行うことは、
深度画像における画素点がエッジから中心に向かって徐々に増加するように制御するための可変ステップサイズを用いて前記深度画像に対してスパース処理を行うことを含む、請求項10に記載のナビゲーションチャート構成方法。 - 前記ローカルナビゲーションチャートは、格子地図であり、
各格子は、1つのサブ領域である、請求項2〜11のいずれか一項に記載のナビゲーションチャート構成方法。 - 前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得するステップと、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影するステップと、
サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示するステップと、
ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための3次元位置情報とを取得するステップと、
予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示するステップと、を含む障害物回避方法。 - 予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定することは、
取得された前記測量・マッピングデータ及び3次元位置情報に基づいて、第1の障害物領域及び第1の作業境界領域を取得することと、
前記第1の障害物領域及び前記第1の作業境界領域を膨張させて、第2の障害物領域及び第2の作業境界領域を取得することと、
前記第2の障害物領域及び前記第2の作業境界領域を、航空機に障害物の回避を指示するための領域として設定することと、を含む、請求項13に記載の障害物回避方法。 - 前記予め設定されたグローバルナビゲーションチャートの中心及びサイズは、前記航空機の離陸前の位置及び前記測量・マッピングデータから取得される、請求項13に記載の障害物回避方法。
- 前記グローバルナビゲーションチャートの水平境界は、前記位置及び前記測量・マッピングデータのY軸上での最大値と最小値が膨張して決定され、
前記グローバルナビゲーションチャートの鉛直境界は、前記位置及び前記測量・マッピングデータのX軸上での最大値と最小値が膨張して決定される、請求項15に記載の障害物回避方法。 - 各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影した後、
サブ領域内の全ての点の重み値の和が予め設定された閾値以下であれば、前記サブ領域を通行領域とし、前記航空機の通過を許可することをさらに含む、請求項13に記載の障害物回避方法。 - 前記深度画像は、各点と前記現在の飛行位置との距離情報を含み、
各点の前記重み値は、予め設定された重み値と距離係数との積から求められ、
前記距離係数は、前記距離情報と正比例関係にある、請求項13に記載の障害物回避方法。 - 各点の3次元位置情報を、それぞれに設定された重み値で、ローカルナビゲーションチャートに投影した後、
前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることと、
減衰後の各サブ領域における全ての点の重み値の和を取得することと、をさらに含む、請求項13に記載の障害物回避方法。 - 前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることは、
前記プリセット領域内の各点の重み値を予め設定された減衰係数と乗算することを含む、請求項19に記載の障害物回避方法。 - 前記プリセット領域は、前記ローカルナビゲーションチャートの中心と、前記航空機における深度画像を取得するための双眼システムの水平画角と、設定減衰距離とに基づいて決定される、請求項19に記載の障害物回避方法。
- 前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得することは、
前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することと、
ナビゲーション座標系における各点、前記現在の飛行位置及び前記姿勢情報に基づいて、各点の3次元位置情報を取得することと、を含む、請求項13に記載の障害物回避方法。 - 前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することは、
カメラの内部リファレンス行列に基づいて、前記深度画像の各点をカメラ座標系における各点に変換することと、
カメラ座標系から機体座標系への変換行列に基づいて、カメラ座標系における各点を機体座標系の各点に変換することと、
機体座標系からナビゲーション座標系への変換行列に基づいて、機体座標系における各点をナビゲーション座標系の各点に変換することと、を含む、請求項22に記載の障害物回避方法。 - 前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得した後、且つ、各点の3次元位置情報を取得する前に、
前記深度画像に対してスパース処理を行うことをさらに含む、請求項13に記載の障害物回避方法。 - 前記深度画像に対してスパース処理を行うことは、
深度画像における画素点がエッジから中心に向かって徐々に増加するように制御するための可変ステップサイズを用いて前記深度画像に対してスパース処理を行うことを含む、請求項24に記載の障害物回避方法。 - 前記ローカルナビゲーションチャート及び前記グローバルナビゲーションチャートは、格子地図であり、
各格子は、1つのサブ領域である、請求項13〜25のいずれか一項に記載の障害物回避方法。 - 航空機のナビゲーションチャート構成装置であって、
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成された情報取得モジュールと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得するように構成された3次元位置情報取得モジュールと、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するように構成された投影モジュールと、を含む航空機のナビゲーションチャート構成装置。 - 前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成された第1の情報取得モジュールと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の3次元位置情報を取得するように構成された3次元位置情報取得モジュールと、
各点の3次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影するように構成された投影モジュールと、
サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示するように構成された第1の領域設定モジュールと、
ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための3次元位置情報とを取得するように構成された第2の情報取得モジュールと、
予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示するように構成された第2の領域設定モジュールと、を含む障害物回避装置。 - メモリと、プロセッサと、メモリに記憶されプロセッサ上で実行可能なコンピュータプログラムとを含み、前記プログラムが前記プロセッサによって実行されると、請求項1〜12のいずれか一項に記載の方法のステップが実現される、端末。
- メモリと、プロセッサと、メモリに記憶されプロセッサ上で実行可能なコンピュータプログラムとを含み、前記プログラムが前記プロセッサによって実行されると、請求項13〜26のいずれか一項に記載の方法のステップが実現される、端末。
- 記憶されたプログラムを含み、前記プログラムが実行されると、所在する装置を制御して請求項1〜12のいずれか一項に記載のナビゲーションチャート構成方法を実行する、記憶媒体。
- 記憶されたプログラムを含み、前記プログラムが実行されると、所在する装置を制御して請求項13〜26のいずれか一項に記載の障害物回避方法を実行する、記憶媒体。
- 通信モジュールと、センサと、コントローラと、記憶媒体とを含み、
前記センサは、イメージセンサ、GPS受信機、RTK測位センサ及び慣性センサを含み、
前記通信モジュールは、地上制御装置と通信するように構成され、
前記GPS受信機及び測位センサは、無人航空機の現在の飛行位置を決定するように構成され、
前記慣性センサは、無人航空機の姿勢情報を決定するように構成され、
前記イメージセンサは、現在の飛行位置で深度画像を検出するように構成され、
前記コントローラは、前記記憶媒体に接続され、
前記記憶媒体は、実行されると、請求項1〜12のいずれか一項に記載の方法のステップが実行されるためのプログラムを記憶するように構成された無人航空機。 - 通信モジュールと、センサと、コントローラと、記憶媒体とを含み、
前記センサは、イメージセンサ、GPS受信機、RTK測位センサ及び慣性センサを含み、
前記通信モジュールは、地上制御装置と通信するように構成され、
前記GPS受信機及び測位センサは、無人航空機の現在の飛行位置を決定するように構成され、
前記慣性センサは、無人航空機の姿勢情報を決定するように構成され、
前記イメージセンサは、現在の飛行位置で深度画像を検出するように構成され、
前記コントローラは、前記記憶媒体に接続され、
前記記憶媒体は、実行されると、請求項13〜26のいずれか一項に記載の方法のステップが実行されるためのプログラムを記憶するように構成された無人航空機。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711021920.1A CN109708636B (zh) | 2017-10-26 | 2017-10-26 | 导航图配置方法、避障方法以及装置、终端、无人飞行器 |
CN201711021920.1 | 2017-10-26 | ||
PCT/CN2018/112077 WO2019080924A1 (zh) | 2017-10-26 | 2018-10-26 | 导航图配置方法、避障方法以及装置、终端、无人飞行器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020535545A true JP2020535545A (ja) | 2020-12-03 |
Family
ID=66247759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517902A Pending JP2020535545A (ja) | 2017-10-26 | 2018-10-26 | ナビゲーションチャート構成方法、障害物回避方法及び装置、端末、無人航空機 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20200394924A1 (ja) |
EP (1) | EP3702731A4 (ja) |
JP (1) | JP2020535545A (ja) |
KR (1) | KR102385820B1 (ja) |
CN (1) | CN109708636B (ja) |
AU (1) | AU2018355491B2 (ja) |
WO (1) | WO2019080924A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024195211A1 (ja) * | 2023-03-17 | 2024-09-26 | 日本電気株式会社 | 制御装置、制御方法およびプログラム |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110262556A (zh) * | 2019-07-12 | 2019-09-20 | 黑梭智慧技术(北京)有限公司 | 快递物流无人飞行器航线设计方法和装置 |
CN110471421B (zh) * | 2019-08-27 | 2022-03-18 | 广州小鹏汽车科技有限公司 | 一种车辆安全行驶的路径规划方法及路径规划系统 |
WO2021087750A1 (zh) * | 2019-11-05 | 2021-05-14 | 深圳市大疆创新科技有限公司 | 无人飞行器的航线规划方法和装置 |
JP7412037B2 (ja) * | 2020-02-20 | 2024-01-12 | 株式会社ナイルワークス | ドローンシステム、操作器および作業エリアの定義方法 |
US20210300551A1 (en) * | 2020-03-25 | 2021-09-30 | Tencent America LLC | Systems and methods for unmanned aerial system communication |
CN113448326B (zh) * | 2020-03-25 | 2024-09-24 | 北京京东乾石科技有限公司 | 机器人定位方法及装置、计算机存储介质、电子设备 |
CN113465614B (zh) * | 2020-03-31 | 2023-04-18 | 北京三快在线科技有限公司 | 无人机及其导航地图的生成方法和装置 |
CN111854754B (zh) * | 2020-06-19 | 2023-01-24 | 北京三快在线科技有限公司 | 无人机航线规划方法、装置、无人机及存储介质 |
CN111950524B (zh) * | 2020-08-28 | 2024-03-29 | 广东省现代农业装备研究所 | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 |
CN112066976B (zh) * | 2020-09-07 | 2023-06-16 | 北京信息科技大学 | 一种自适应膨胀处理方法、系统、机器人及存储介质 |
CN112033413B (zh) * | 2020-09-07 | 2023-06-16 | 北京信息科技大学 | 一种基于结合环境信息的改进a*算法的路径规划方法 |
CN112116643A (zh) * | 2020-09-14 | 2020-12-22 | 哈工大机器人(合肥)国际创新研究院 | 一种基于tof相机深度图和点云图的避障处理方法及系统 |
CN112416018B (zh) * | 2020-11-24 | 2021-07-09 | 广东技术师范大学 | 基于多信号采集与路径规划模型的无人机避障方法和装置 |
CN112859893B (zh) * | 2021-01-08 | 2024-07-26 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种飞行器避障方法、装置 |
CN113012479B (zh) * | 2021-02-23 | 2022-07-22 | 欧阳嘉兰 | 一种基于障碍物分析的飞行限重测量方法、装置及系统 |
CN113086227A (zh) * | 2021-03-30 | 2021-07-09 | 武汉学院 | 矢量共轴手持云台一体无人机及其智能系统 |
CN113077551A (zh) * | 2021-03-30 | 2021-07-06 | 苏州臻迪智能科技有限公司 | 占据栅格地图构建方法、装置、电子设备和存储介质 |
CN113310493B (zh) * | 2021-05-28 | 2022-08-05 | 广东工业大学 | 一种基于事件触发机制的无人机实时导航方法 |
CN115222808B (zh) * | 2021-06-30 | 2023-10-20 | 达闼机器人股份有限公司 | 基于无人机的定位方法、装置、存储介质和电子设备 |
CN113465606A (zh) * | 2021-06-30 | 2021-10-01 | 三一机器人科技有限公司 | 末端工位定位方法、装置及电子设备 |
CN113532471B (zh) * | 2021-07-15 | 2024-07-19 | 浙江东进航科信息技术有限公司 | 一种多源飞行轨迹数据融合的处理方法、设备及介质 |
CN113485359A (zh) * | 2021-07-29 | 2021-10-08 | 北京超维世纪科技有限公司 | 一种工业类巡检机器人多传感器融合避障系统 |
CN114088094A (zh) * | 2021-09-27 | 2022-02-25 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 一种无人艇的智能航路规划方法及系统 |
CN113867349B (zh) * | 2021-09-28 | 2024-04-09 | 浙江大华技术股份有限公司 | 一种机器人的避障方法、系统及智能机器人 |
CN113642092B (zh) * | 2021-10-18 | 2022-01-04 | 西南交通大学 | 一种建筑空间路径捕获方法 |
WO2023070667A1 (zh) * | 2021-11-01 | 2023-05-04 | 深圳市大疆创新科技有限公司 | 可移动平台及用于处理其数据的方法和装置、终端设备 |
CN114313243B (zh) * | 2021-12-19 | 2023-06-02 | 四川省天域航通科技有限公司 | 一种植保用避障无人机 |
KR102622623B1 (ko) * | 2022-05-12 | 2024-01-10 | 한국광기술원 | 3차원 영상 정보를 제공하기 위한 이동형 영상 촬영 장치, 이에 대한 방법 및 이를 포함하는 시스템 |
CN114879704B (zh) * | 2022-07-11 | 2022-11-25 | 山东大学 | 一种机器人绕障控制方法及系统 |
CN115150784B (zh) * | 2022-09-02 | 2022-12-06 | 汕头大学 | 基于基因调控网络的无人机集群区域覆盖方法及设备 |
CN116757582B (zh) * | 2023-08-18 | 2023-11-17 | 山西汇能科技有限公司 | 基于无人机的物流配送系统及方法 |
CN116907511B (zh) * | 2023-09-12 | 2023-12-05 | 北京宝隆泓瑞科技有限公司 | 一种将管道坐标转换为图像坐标的方法 |
CN118470237B (zh) * | 2024-07-12 | 2024-09-17 | 中航材导航技术(北京)有限公司 | 自动生成飞行程序标准仪表图的方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005332204A (ja) * | 2004-05-20 | 2005-12-02 | Univ Waseda | 移動制御装置、環境認識装置及び移動体制御用プログラム |
JP2009301400A (ja) * | 2008-06-16 | 2009-12-24 | Aisin Aw Co Ltd | 運転支援システム、運転支援方法及び運転支援プログラム |
JP2010071805A (ja) * | 2008-09-18 | 2010-04-02 | Toyota Motor Corp | レーダ装置 |
JP2016082441A (ja) * | 2014-10-17 | 2016-05-16 | ソニー株式会社 | 制御装置、制御方法及びコンピュータプログラム |
JP2017501475A (ja) * | 2014-09-05 | 2017-01-12 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 状況に基づく飛行モード選択 |
JP2017503226A (ja) * | 2014-07-30 | 2017-01-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 目標追跡システム、デバイスおよび方法 |
WO2017071143A1 (en) * | 2015-10-30 | 2017-05-04 | SZ DJI Technology Co., Ltd. | Systems and methods for uav path planning and control |
WO2017143588A1 (en) * | 2016-02-26 | 2017-08-31 | SZ DJI Technology Co., Ltd. | Systems and methods for adjusting uav trajectory |
JP2017187956A (ja) * | 2016-04-06 | 2017-10-12 | トヨタ自動車株式会社 | 車両用情報提供装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7463340B2 (en) * | 2007-03-28 | 2008-12-09 | Honeywell International Inc. | Ladar-based motion estimation for navigation |
CN102359784B (zh) * | 2011-08-01 | 2013-07-24 | 东北大学 | 一种室内移动机器人自主导航避障系统及方法 |
CN103576686B (zh) * | 2013-11-21 | 2017-01-18 | 中国科学技术大学 | 一种机器人自主导引及避障的方法 |
WO2015138327A1 (en) * | 2014-03-11 | 2015-09-17 | Cessna Aircraft Company | Touch screen instrument panel |
CN104236548B (zh) * | 2014-09-12 | 2017-04-05 | 清华大学 | 一种微型无人机室内自主导航方法 |
US9399524B2 (en) * | 2014-10-21 | 2016-07-26 | Honeywell International Inc. | System and method for displaying runway landing information |
KR101736089B1 (ko) * | 2015-01-08 | 2017-05-30 | 서울대학교산학협력단 | 깊이 지도를 이용한 사물 형상 맵핑 및 실시간 유도를 위한 무인기 비행 제어 장치 및 방법 |
US9470528B1 (en) * | 2015-03-26 | 2016-10-18 | Honeywell International Inc. | Aircraft synthetic vision systems utilizing data from local area augmentation systems, and methods for operating such aircraft synthetic vision systems |
CN105678754B (zh) * | 2015-12-31 | 2018-08-07 | 西北工业大学 | 一种无人机实时地图重建方法 |
CN105761265A (zh) * | 2016-02-23 | 2016-07-13 | 英华达(上海)科技有限公司 | 利用影像深度信息提供避障的方法及无人飞行载具 |
CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技(北京)有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
CN105955258B (zh) * | 2016-04-01 | 2018-10-30 | 沈阳工业大学 | 基于Kinect传感器信息融合的机器人全局栅格地图构建方法 |
CN105910604A (zh) * | 2016-05-25 | 2016-08-31 | 武汉卓拔科技有限公司 | 一种基于多传感器的自主避障导航系统 |
CN106780592B (zh) * | 2016-06-30 | 2020-05-22 | 华南理工大学 | 基于相机运动和图像明暗的Kinect深度重建方法 |
CN106127788B (zh) * | 2016-07-04 | 2019-10-25 | 触景无限科技(北京)有限公司 | 一种视觉避障方法和装置 |
CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
CN106931961B (zh) * | 2017-03-20 | 2020-06-23 | 成都通甲优博科技有限责任公司 | 一种自动导航方法及装置 |
-
2017
- 2017-10-26 CN CN201711021920.1A patent/CN109708636B/zh active Active
-
2018
- 2018-10-26 US US16/641,763 patent/US20200394924A1/en not_active Abandoned
- 2018-10-26 AU AU2018355491A patent/AU2018355491B2/en not_active Ceased
- 2018-10-26 JP JP2020517902A patent/JP2020535545A/ja active Pending
- 2018-10-26 EP EP18871786.2A patent/EP3702731A4/en not_active Withdrawn
- 2018-10-26 KR KR1020207005722A patent/KR102385820B1/ko active IP Right Grant
- 2018-10-26 WO PCT/CN2018/112077 patent/WO2019080924A1/zh unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005332204A (ja) * | 2004-05-20 | 2005-12-02 | Univ Waseda | 移動制御装置、環境認識装置及び移動体制御用プログラム |
JP2009301400A (ja) * | 2008-06-16 | 2009-12-24 | Aisin Aw Co Ltd | 運転支援システム、運転支援方法及び運転支援プログラム |
JP2010071805A (ja) * | 2008-09-18 | 2010-04-02 | Toyota Motor Corp | レーダ装置 |
JP2017503226A (ja) * | 2014-07-30 | 2017-01-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 目標追跡システム、デバイスおよび方法 |
JP2017501475A (ja) * | 2014-09-05 | 2017-01-12 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 状況に基づく飛行モード選択 |
JP2016082441A (ja) * | 2014-10-17 | 2016-05-16 | ソニー株式会社 | 制御装置、制御方法及びコンピュータプログラム |
WO2017071143A1 (en) * | 2015-10-30 | 2017-05-04 | SZ DJI Technology Co., Ltd. | Systems and methods for uav path planning and control |
WO2017143588A1 (en) * | 2016-02-26 | 2017-08-31 | SZ DJI Technology Co., Ltd. | Systems and methods for adjusting uav trajectory |
JP2017187956A (ja) * | 2016-04-06 | 2017-10-12 | トヨタ自動車株式会社 | 車両用情報提供装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024195211A1 (ja) * | 2023-03-17 | 2024-09-26 | 日本電気株式会社 | 制御装置、制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN109708636B (zh) | 2021-05-14 |
WO2019080924A1 (zh) | 2019-05-02 |
EP3702731A4 (en) | 2021-07-28 |
EP3702731A1 (en) | 2020-09-02 |
US20200394924A1 (en) | 2020-12-17 |
AU2018355491A1 (en) | 2020-06-11 |
KR102385820B1 (ko) | 2022-04-12 |
AU2018355491B2 (en) | 2022-03-17 |
KR20200031165A (ko) | 2020-03-23 |
CN109708636A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020535545A (ja) | ナビゲーションチャート構成方法、障害物回避方法及び装置、端末、無人航空機 | |
US11914369B2 (en) | Multi-sensor environmental mapping | |
US10914590B2 (en) | Methods and systems for determining a state of an unmanned aerial vehicle | |
US11218689B2 (en) | Methods and systems for selective sensor fusion | |
US11822353B2 (en) | Simple multi-sensor calibration | |
US11015956B2 (en) | System and method for automatic sensor calibration | |
US10599149B2 (en) | Salient feature based vehicle positioning | |
US20200007746A1 (en) | Systems, methods, and devices for setting camera parameters | |
EP3123260B1 (en) | Selective processing of sensor data | |
JP6329642B2 (ja) | センサ融合 | |
EP3164774B1 (en) | Vehicle altitude restrictions and control | |
WO2021237462A1 (zh) | 无人飞行器的限高方法、装置、无人飞行器及存储介质 | |
WO2023000192A1 (zh) | 遥控器以及定位装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200327 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20201222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230307 |