JP2017206072A - Flight control device and flight control method - Google Patents
Flight control device and flight control method Download PDFInfo
- Publication number
- JP2017206072A JP2017206072A JP2016098411A JP2016098411A JP2017206072A JP 2017206072 A JP2017206072 A JP 2017206072A JP 2016098411 A JP2016098411 A JP 2016098411A JP 2016098411 A JP2016098411 A JP 2016098411A JP 2017206072 A JP2017206072 A JP 2017206072A
- Authority
- JP
- Japan
- Prior art keywords
- flight control
- image
- safety level
- unit
- aircraft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、飛行制御装置及び飛行制御方法に関する。 The present invention relates to a flight control device and a flight control method.
従来、指定された着陸点へ精度よく着陸するための技術が提案されている（特許文献１）。 Conventionally, a technique for accurately landing at a designated landing point has been proposed (Patent Document 1).
しかし、指定された着陸点の近傍に、人間や動物などが位置する場合に、精度良く着陸点へ降下すると、それらに危害を加える場合がある。 However, when a human or animal is located near the designated landing point, if it descends to the landing point with high accuracy, they may be harmed.
本発明はかかる問題の解決を試みたものであり、降下の際に、人間や動物に危害を加えることを回避することができる飛行制御装置の提供を目的とする。 An object of the present invention is to provide a flight control device capable of avoiding harm to humans and animals during a descent.
第一の発明は、降下目標領域の画像を取得する画像取得手段と、前記画像に含まれる物体を認知する物体認知手段と、前記物体認知手段によって認知した物体に基づいて、降下位置としての適性を示す安全度を判断する安全度判断手段と、前記安全度に基づいて、機体を降下させる機体制御手段と、を有する飛行制御装置である。 According to a first aspect of the present invention, there is provided an image acquisition means for acquiring an image of a descent target area, an object recognition means for recognizing an object included in the image, and suitability as a descent position based on the object recognized by the object recognition means. Is a flight control device having safety level determination means for determining safety level and aircraft control means for lowering the aircraft based on the safety level.
第一の発明の構成によれば、必ずしも、指定された着陸点に精度良く降下するのではなく、所定の領域において、安全度に基づいて降下する点において、従来の技術とは根本的に異なる。これにより、降下の際に、人間や動物に危害を加えることを回避することができる。 According to the configuration of the first invention, it does not necessarily descend accurately to the designated landing point, but is fundamentally different from the conventional technology in that it descends based on the safety level in a predetermined area. . Thereby, it is possible to avoid harming humans and animals during the descent.
第二の発明は、第一の発明の構成において、前記物体認知手段は、深層学習（ディープラーニング）によって生成された物体識別プログラムを含むことを特徴とする飛行制御装置である。 According to a second aspect of the present invention, in the configuration of the first aspect of the invention, the object recognition unit includes an object identification program generated by deep learning.
第三の発明は、第一または第二のいずれかの発明の構成において、前記飛行制御装置は、前記機体を降下させつつ、複数回にわたって、前記画像取得手段、前記物体認知手段、前記安全度判断手段及び前記機体制御手段を作動させることを特徴とする飛行制御装置である。 According to a third aspect of the present invention, in the configuration of the first or second aspect of the invention, the flight control device lowers the aircraft, and the image acquisition unit, the object recognition unit, and the safety degree are repeated a plurality of times. A flight control device that operates a determination unit and the airframe control unit.
第四の発明は、第一乃至第三のいずれかの発明の構成において、前記物体認知手段は、前記画像に含まれる物体の移動状態を判断する移動状態判断手段を有し、前記安全度判断手段は、前記物体の移動状態に基づいて、前記安全度を判断することを特徴とする飛行制御装置である。 According to a fourth aspect of the present invention, in the configuration of any one of the first to third aspects, the object recognition unit includes a movement state determination unit that determines a movement state of an object included in the image, and the safety degree determination The means is a flight control device that determines the safety degree based on a moving state of the object.
第五の発明は、第一乃至第四のいずれかの発明の構成において、前記画像取得手段、前記物体認知手段、前記安全度判断手段及び前記機体制御手段のうち、少なくとも一つを、前記機体とは異なる場所に位置し、前記機体を管理する管理装置が有する飛行制御装置である。 According to a fifth aspect of the present invention, in the configuration of any one of the first to fourth aspects, at least one of the image acquisition unit, the object recognition unit, the safety degree determination unit, and the body control unit is the aircraft body. The flight control device is located in a different location and has a management device that manages the aircraft.
第六の発明は、降下目標領域の画像を取得する画像取得ステップと、前記画像に含まれる物体を認知する物体認知ステップと、前記物体認知手段によって認知した物体に基づいて、降下位置としての適性を示す安全度を判断する安全度判断ステップと、前記安全度に基づいて、機体を降下させる機体制御ステップと、を有する飛行制御方法である。 According to a sixth aspect of the present invention, there is provided an image acquisition step for acquiring an image of a descent target region, an object recognition step for recognizing an object included in the image, and suitability as a descent position based on the object recognized by the object recognition means. This is a flight control method comprising a safety level determination step for determining a safety level indicating a safety level and a body control step for lowering the body based on the safety level.
以上のように、本発明によれば、降下の際に、人間や動物に危害を加えることを回避することができる。 As described above, according to the present invention, it is possible to avoid harming humans and animals when descending.
本発明の実施形態を、図面を参照して説明する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。 Embodiments of the present invention will be described with reference to the drawings. Note that descriptions of configurations that can be appropriately implemented by those skilled in the art are omitted, and only the basic configuration of the present invention is described.
＜第一の実施形態＞
無人飛行体１は、いわゆる、マルチコプター、あるいは、ドローンであり、複数の回転翼を有する。図１の例では、無人飛行体１は、本体３及び４つの回転翼５を有する。各回転翼５は、それぞれ、モーターに連結されている。本体３には、通信装置、自律飛行制御装置、ＧＰＳ装置、加速度センサーやジャイロセンサーなどの慣性センサーや気圧計、電池等が配置されている。また、本体３には、カメラ７が接続されている。カメラ７は、デジタル画像を撮像するデジタルカメラ、あるいは、ビデオカメラ等である。無人飛行体１は、通信装置によって、基地局５０（図２参照）と通信可能になっている。無人飛行体１は機体の一例である。
<First embodiment>
The unmanned aerial vehicle 1 is a so-called multicopter or drone, and has a plurality of rotor blades. In the example of FIG. 1, the unmanned air vehicle 1 includes a main body 3 and four rotary wings 5. Each rotary blade 5 is connected to a motor. The main body 3 includes a communication device, an autonomous flight control device, a GPS device, an inertial sensor such as an acceleration sensor and a gyro sensor, a barometer, a battery, and the like. A camera 7 is connected to the main body 3. The camera 7 is a digital camera that captures a digital image, a video camera, or the like. The unmanned air vehicle 1 can communicate with the base station 50 (see FIG. 2) by a communication device. The unmanned air vehicle 1 is an example of an airframe.
無人飛行体１は、建物１００の前方の目標地点Ｘを目標に飛行する。ただし、必ずしも、目標地点Ｘに精度良く降下するものではない。目標地点Ｘを含む所定範囲の領域Ａが目標領域である。領域Ａには、犬１０２、自動車１０４、子供１０６及び大人１０８が位置するものとする。無人飛行体１は、これらの物体、特に、人間と動物を回避しつつ、領域Ａ内におけるいずれかの位置を目指して降下するようになっている。 The unmanned air vehicle 1 flies with a target point X in front of the building 100 as a target. However, it does not necessarily descend to the target point X with high accuracy. A predetermined range of area A including the target point X is the target area. In the area A, a dog 102, a car 104, a child 106, and an adult 108 are located. The unmanned air vehicle 1 descends while aiming at any position in the area A while avoiding these objects, particularly humans and animals.
図２に示すように、無人飛行体１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、記憶部１２、無線通信部１４、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）部１６、慣性センサー部１８、画像処理部２０、駆動制御部２２、電源部２４を有する。無人飛行体１のこれらの構成が、飛行制御装置の一例である。 As shown in FIG. 2, the unmanned air vehicle 1 includes a CPU (Central Processing Unit) 10, a storage unit 12, a wireless communication unit 14, a GPS (Global Positioning System) unit 16, an inertial sensor unit 18, an image processing unit 20, and a drive. A control unit 22 and a power supply unit 24 are included. These configurations of the unmanned air vehicle 1 are an example of a flight control device.
無線通信部１４によって、無人飛行体１は基地局５０と通信可能になっている。基地局５０は、無人飛行体の離陸及び着陸を監視及び管理する管理装置の一例であり、適宜、飛行に関する指示を与えるようになっている。 The unmanned air vehicle 1 can communicate with the base station 50 by the wireless communication unit 14. The base station 50 is an example of a management device that monitors and manages take-off and landing of an unmanned air vehicle, and appropriately gives instructions regarding flight.
ＧＰＳ部１６と慣性センサー部１８によって、無人飛行体１は機体の位置を測定することができる。ＧＰＳ部１６は、３つ以上のＧＰＳ衛星からの電波を受信して無人飛行体１の位置を計測する。慣性センサー部１８は、例えば、加速度センサー及びジャイロセンサーによって、出発点からの無人飛行体１の移動を積算して、無人飛行体１の位置を計測する。 The GPS unit 16 and the inertial sensor unit 18 allow the unmanned air vehicle 1 to measure the position of the aircraft. The GPS unit 16 receives radio waves from three or more GPS satellites and measures the position of the unmanned air vehicle 1. The inertial sensor unit 18 measures the position of the unmanned air vehicle 1 by accumulating the movement of the unmanned air vehicle 1 from the starting point by using, for example, an acceleration sensor and a gyro sensor.
画像処理部２０によって、無人飛行体１は、カメラ７を作動させて画像を取得することができる。 With the image processing unit 20, the unmanned air vehicle 1 can operate the camera 7 to acquire an image.
駆動制御部２２によって、無人飛行体１は、各回転翼５の作動を制御するようになっている。 The unmanned air vehicle 1 controls the operation of each rotor 5 by the drive control unit 22.
電源部２４は、例えば、交換可能な可充電電池であり、無人飛行体１の各部に電力を供給するようになっている。 The power supply unit 24 is, for example, a replaceable rechargeable battery, and supplies power to each unit of the unmanned air vehicle 1.
記憶部１２には、出発点から目的位置まで自律飛行するための飛行計画を示すデータ等の無人飛行に必要な各種データ及びプログラムや、以下の各プログラムが格納されている。 The storage unit 12 stores various data and programs necessary for unmanned flight such as data indicating a flight plan for autonomous flight from a starting point to a target position, and the following programs.
記憶部１２には、画像取得プログラム、物体認知プログラム、安全度判断プログラム、航路決定プログラム及び降下制御プログラムが格納されている。 The storage unit 12 stores an image acquisition program, an object recognition program, a safety degree determination program, a route determination program, and a descent control program.
ＣＰＵ１０及び画像取得プログラムは、画像処理部１８を作動させて、画像を取得するための画像取得手段の一例である。無人飛行体１は、目標地点Ｘの近傍に至ったと判断した場合に、継続的に画像を取得するようになっている。例えば、無人飛行体１は、目標地点Ｘから水平面における距離が１００ｍ（メートル）以内に入った場合に、降下予定地点である目標地点Ｘの近傍に至ったと判断し、目標領域Ａの画像取得を開始する。 The CPU 10 and the image acquisition program are examples of image acquisition means for operating the image processing unit 18 to acquire an image. When it is determined that the unmanned air vehicle 1 has reached the vicinity of the target point X, the unmanned air vehicle 1 continuously acquires images. For example, when the unmanned air vehicle 1 is within a distance of 100 m (meters) from the target point X in the horizontal plane, the unmanned air vehicle 1 determines that it has reached the vicinity of the target point X that is the planned descent point, and acquires an image of the target region A. Start.
ＣＰＵ１０及び物体認知プログラムは、物体認知手段の一例である。物体認知プログラムは、深層学習（ディープラーニング）によって生成されており、取得した画像に含まれる物体の特徴を識別して、物体を認知できるようになっている。なお、深層学習とは、多層構造のニューラルネットワークの機械学習であり、画像認識の分野が有力な活用分野の一つである。 The CPU 10 and the object recognition program are examples of object recognition means. The object recognition program is generated by deep learning, and can recognize the object by identifying the feature of the object included in the acquired image. Deep learning is machine learning of a neural network having a multi-layer structure, and the field of image recognition is one of the most useful fields.
図１に示すように、領域Ａの部分領域を、例えば、領域ａ１，領域ａ２，領域ａ３，領域ａ４及び領域ａ５とする。そして、領域ａ２には犬１０２が位置し、領域ａ４には自動車１０４が位置し、領域ａ５には子供１０６及び大人１０８が位置するものとする。 As shown in FIG. 1, the partial regions of the region A are, for example, a region a1, a region a2, a region a3, a region a4, and a region a5. Assume that the dog 102 is located in the area a2, the automobile 104 is located in the area a4, and the child 106 and the adult 108 are located in the area a5.
無人飛行体１は、領域ａ１及び領域ａ３には地面以外の物体は位置せず、領域ａ２には犬１０２が位置し、領域ａ４には自動車１０４が位置し、領域ａ５には子供１０６及び大人１０８が位置することを認知する。具体的には、無人飛行体１は、犬１０２に対応する物体について、特徴を抽出し、それが犬である可能性が高いことを認知する。無人飛行体１は、各物体について、同様の処理を行う。無人飛行体１は、ＧＰＳ部１６と慣性センサー部１８によって機体の絶対位置や姿勢を示す情報を継続的に生成し、保持している。目標地点Ｘの絶対位置は既知であり、カメラ７によって領域Ａの画像を継続的に取得し、同一の物体について複数の画像を取得しており、犬１０２等について、目標地点Ｘに対する位置や、無人飛行体１に対する位置を計測することができる。なお、位置計測についての詳細な説明は、省略する。 In the unmanned aerial vehicle 1, no object other than the ground is located in the area a1 and the area a3, the dog 102 is located in the area a2, the automobile 104 is located in the area a4, and the child 106 and the adult are located in the area a5. Recognize that 108 is located. Specifically, the unmanned aerial vehicle 1 extracts features of an object corresponding to the dog 102 and recognizes that there is a high possibility that it is a dog. The unmanned air vehicle 1 performs the same processing on each object. The unmanned air vehicle 1 continuously generates and holds information indicating the absolute position and attitude of the aircraft by the GPS unit 16 and the inertial sensor unit 18. The absolute position of the target point X is known, the image of the area A is continuously acquired by the camera 7, a plurality of images are acquired for the same object, the position of the dog 102 and the like with respect to the target point X, The position relative to the unmanned air vehicle 1 can be measured. Detailed description of position measurement is omitted.
記憶部１２には、また、物体認知プログラムによって認知した物体に基づいて、降下する位置の適性を示す安全度を判断する安全度判断プログラムを格納している。ＣＰＵ１０と安全度判断プログラムは安全度判断手段の一例である。安全度判断プログラムは、安全度定義データを有する。安全度定義データは、降下した場合に人間や動物に危害を加える可能性が低い順に、安全度を規定している。危害を加える可能性が低い場合には安全度が高く、危害を加える可能性が高い場合には安全度が低い。安全度は、例えば、低い方から高い方へ、５段階で評価するものとする。最も安全度が低い場合には安全度１であり、最も安全度が高い場合には安全度５である。安全度定義データは、例えば、人間は安全度１（正確には、人間が位置する領域の安全度）、動物は安全度２、乗物は安全度２、地面以外の物体がない場合には安全度５というように、物体の種類と安全度を関連付けたデータである。無人飛行体１は、安全度判断プログラムの安全度定義データを参照して、降下する位置の安全度を判断するようになっている。 The storage unit 12 also stores a safety level determination program for determining a safety level indicating the suitability of the descending position based on the object recognized by the object recognition program. The CPU 10 and the safety degree determination program are examples of safety degree determination means. The safety level judgment program has safety level definition data. The safety level definition data defines safety levels in descending order of the possibility of harm to humans and animals when descending. The degree of safety is high when the risk of harm is low, and the degree of safety is low when the risk of harm is high. For example, the safety level is evaluated in five stages from low to high. The safety level is 1 when the safety level is the lowest, and the safety level is 5 when the safety level is the highest. Safety level definition data is, for example, safety level 1 for humans (more precisely, safety level of the area where humans are located), safety level 2 for animals, safety level 2 for vehicles, and safety when there are no objects other than the ground. The degree 5 is data in which the type of object is associated with the safety level. The unmanned air vehicle 1 is configured to determine the safety level of the position to be lowered with reference to the safety level definition data of the safety level determination program.
領域ａ１及び領域ａ３は、地面以外の物体は位置しないから、無人飛行体１が降下しても危害を加える対象は存在せず、危害を加える可能性は低いから、安全度が最も高く、安全度は５である。領域ａ２には犬１０２が位置するから、安全度がやや低く、安全度は２である。領域ａ３には、自動車１０４が位置するから、安全度がやや低く、安全度は２である。領域１０６には子供１０６及び大人１０８が位置するから、安全度は最も低く、安全度は１である。 In areas a1 and a3, no object other than the ground is located. Therefore, even if the unmanned air vehicle 1 descends, there is no object to be harmed, and the possibility of harm is low. The degree is 5. Since the dog 102 is located in the area a2, the safety level is slightly low and the safety level is 2. Since the automobile 104 is located in the area a3, the safety level is slightly low and the safety level is 2. Since the child 106 and the adult 108 are located in the area 106, the safety level is the lowest and the safety level is 1.
記憶部１２には、また、安全度に基づいて、機体を降下させる機体降下プログラムを格納している。ＣＰＵ１０と機体降下プログラムは機体制御手段の一例である。無人飛行体１は、領域ａ１及びａ３が安全度５であり、領域ａ２及び領域ａ４が安全度２であり、領域ａ５が安全度１であることに基づいて、安全度が高い領域ａ１または領域ａ３に向かう航路を決定し、降下する。領域ａ１と領域ａ３は安全度が同一であるから、目標地点Ｘに近い領域ａ１を選択して降下する。 The storage unit 12 also stores an aircraft lowering program for lowering the aircraft based on the safety level. The CPU 10 and the aircraft lowering program are examples of aircraft control means. The unmanned air vehicle 1 has a region a1 or a region having a high safety level based on the fact that the regions a1 and a3 have a safety degree 5, the regions a2 and a4 have a safety degree 2, and the region a5 has a safety degree 1. Determine the route to a3 and descend. Since the area a1 and the area a3 have the same safety level, the area a1 close to the target point X is selected and lowered.
以下、無人飛行体１の動作をフローチャートで説明する。図３に示すように、無人飛行体１は、予定地点（目標地点）近傍に到達したか否かを判断し（ステップＳＴ１）、予定地点近傍に到達した場合には、カメラ３を作動させて画像を取得し、物体を認知する（ステップＳＴ２）。ステップ２においては、物体の種類を認知し、さらに、物体と関連づけてその位置を計測する。続いて、無人飛行体１は、安全度を判断し（ステップＳＴ３）、安全度に基づいて航路を決定し（ステップＳＴ４）、降下し（ステップＳＴ５）、業務を実施する（ステップＳＴ６）。業務は、例えば、荷物の配達等のサービスである。 Hereinafter, the operation of the unmanned air vehicle 1 will be described with reference to flowcharts. As shown in FIG. 3, the unmanned aerial vehicle 1 determines whether or not the vicinity of the planned point (target point) has been reached (step ST1). An image is acquired and an object is recognized (step ST2). In step 2, the type of the object is recognized, and the position is measured in association with the object. Subsequently, the unmanned air vehicle 1 determines the safety level (step ST3), determines the route based on the safety level (step ST4), descends (step ST5), and performs the task (step ST6). The business is, for example, a service such as package delivery.
＜第二の実施形態＞
第二の実施形態においては、無人飛行体１は、機体を降下させつつ、複数回にわたって、画像取得プログラム、物体認知プログラム、安全度判断プログラム及び機体制御プログラムに基づく処理を行う。
<Second Embodiment>
In the second embodiment, the unmanned aerial vehicle 1 performs a process based on an image acquisition program, an object recognition program, a safety determination program, and an aircraft control program a plurality of times while lowering the aircraft.
最初に安全度を判断した時刻ｔ１から所定の時間が経過した時刻ｔ２において、物体の数や位置が変化している場合があり、第二の実施形態においては、そのような変化も踏まえて、降下を制御するようになっている。また、無人飛行体１が物体に近づくほど、画像は鮮明になる。このため、降下しつつ複数回にわたって、物体認知を行うことによって、より鮮明な画像に基づく精度が高い認知を行い、安全度の判断の精度を向上させることができる。 The number and position of objects may have changed at time t2 when a predetermined time has elapsed from time t1 at which safety was initially determined. In the second embodiment, based on such changes, The descent is controlled. Further, the closer the unmanned air vehicle 1 is to the object, the clearer the image. For this reason, by recognizing the object multiple times while descending, it is possible to perform recognition with high accuracy based on a clearer image and improve the accuracy of the determination of the safety level.
例えば、時刻ｔ１においては、図１に示すように、領域ａ１と領域ａ３の安全度は５であったが、時刻ｔ２においては、図４に示すように、犬１０２が領域ａ１に移動したため、領域ａ１の安全度は２となり、領域ａ２の安全度は５に変化している。また、時刻ｔ１には存在しなかった新たな物体として、子供１１０が領域ａ３に位置しており、領域ａ３の安全度は１に変化した。 For example, at time t1, as shown in FIG. 1, the safety level of the area a1 and the area a3 was 5, but at time t2, the dog 102 moved to the area a1 as shown in FIG. The safety level of the area a1 is 2, and the safety level of the area a2 is changed to 5. In addition, as a new object that did not exist at time t1, the child 110 is located in the area a3, and the safety level of the area a3 has changed to 1.
この場合、無人飛行体１は、安全度が５の領域ａ２を選択して降下する。 In this case, the unmanned air vehicle 1 descends by selecting a region a2 having a safety level of 5.
図５に示すように、無人飛行体１は、降下しつつ、ステップＳＴ２〜ステップＳＴ５を繰り返す。 As shown in FIG. 5, the unmanned aerial vehicle 1 repeats Step ST2 to Step ST5 while descending.
＜第三の実施形態＞
第三の実施形態においては、無人飛行体１の記憶部１２には、移動ベクトル算出プログラムが格納されており、物体認知と共に、物体の移動方向及び移動速度を計算する。
<Third embodiment>
In the third embodiment, the storage unit 12 of the unmanned aerial vehicle 1 stores a movement vector calculation program, and calculates the moving direction and moving speed of the object along with the object recognition.
最初に安全度を判断した時刻ｔ１において、物体が移動している場合がある。第三の実施形態においては、そのような移動状態も踏まえて、降下航路を決定するようになっている。すなわち、時刻ｔ１において予想した時刻ｔ２の状態を踏まえて、時刻ｔ１における降下航路を決定する。移動ベクトルは、時刻ｔ１における画像と、時刻ｔ１からわずかに時間が経過した時刻ｔ１＋αにおいて取得した画像とを参照して算出することができる。なお、移動ベクトル測定中には、無人飛行体１はホバリングして、機体位置を固定するようにすれば、物体の移動を簡易に測定できる。あるいは、無人飛行体１が移動している場合には、物体の見かけの移動から無人飛行体１の移動を相殺することによって、物体の真の移動を計測することができる。 The object may be moving at the time t1 when the safety degree is first determined. In the third embodiment, the descent route is determined based on such a moving state. That is, the descent route at time t1 is determined based on the state at time t2 predicted at time t1. The movement vector can be calculated with reference to the image at time t1 and the image acquired at time t1 + α when a little time has elapsed from time t1. In addition, during the movement vector measurement, if the unmanned aerial vehicle 1 is hovered and the body position is fixed, the movement of the object can be measured easily. Alternatively, when the unmanned air vehicle 1 is moving, the true movement of the object can be measured by offsetting the movement of the unmanned air vehicle 1 from the apparent movement of the object.
例えば、図６に示すように、時刻ｔ１において、領域ａ２に位置する犬１０２がベクトルｖ１で示す移動方向及び移動速度で移動し、時刻ｔ２においては領域ａ１に位置すると予想され、領域ａ５の子供１０６がベクトルｖ２で示す移動方向及び移動速度で移動し、時刻ｔ２においては領域ａ２に位置すると予想される場合には、時刻ｔ２において、領域ａ３だけが安全度５である。この場合、無人飛行体１は、領域ａ３を選択して、降下するようになっている。 For example, as shown in FIG. 6, at time t1, the dog 102 located in the region a2 moves with the moving direction and moving speed indicated by the vector v1, and is expected to be located in the region a1 at time t2, and the child in the region a5. When 106 moves in the moving direction and moving speed indicated by the vector v2 and is expected to be located in the area a2 at time t2, only the area a3 has a safety degree 5 at time t2. In this case, the unmanned air vehicle 1 selects the region a3 and descends.
図７に示すように、無人飛行体１は、ステップＳＴ２において、物体認知とともに、認知した物体の移動ベクトルを算出し、移動予測を行う。しかも、無人飛行体は、機体を降下させつつ、複数回にわたって、画像取得プログラム、物体認知プログラム、及び安全度判断プログラムに基づく処理を行う。これにより、物体の移動状態も踏まえつつ、降下にするに連れて、より精度の高い画像及び移動ベクトルに基づいて処理を行い、航路を修正し、人間や動物に危害を加えることを回避しつつ、降下することができる。 As shown in FIG. 7, in step ST2, the unmanned air vehicle 1 calculates a movement vector of the recognized object together with object recognition, and performs movement prediction. Moreover, the unmanned aerial vehicle performs processing based on the image acquisition program, the object recognition program, and the safety degree determination program a plurality of times while lowering the aircraft. As a result, while taking into consideration the moving state of the object, as it descends, it performs processing based on more accurate images and movement vectors, corrects the navigation route, and avoids harming humans and animals. Can descend.
上述の実施形態１乃至実施形態３においては、無人飛行体１の記憶部１２に、画像取得プログラム、物体認知プログラム、安全度判断プログラム、航路決定プログラム及び降下制御プログラムが格納されているものとして説明したが、一部又はすべての上記プログラムを基地局５０のサーバ内の記憶部に格納し、基地局５０で処理した結果を無人飛行体１に送信することによって、無人飛行体１を制御するように構成してもよい。この場合、無人飛行体１の記憶部１２は、基地局５０からの指示を処理する処理プログラムを格納すれば足りる。 In the first to third embodiments described above, it is assumed that the storage unit 12 of the unmanned air vehicle 1 stores an image acquisition program, an object recognition program, a safety degree determination program, a route determination program, and a descent control program. However, the unmanned aerial vehicle 1 is controlled by storing a part or all of the programs in the storage unit in the server of the base station 50 and transmitting the result processed by the base station 50 to the unmanned air vehicle 1. You may comprise. In this case, it is sufficient that the storage unit 12 of the unmanned air vehicle 1 stores a processing program for processing an instruction from the base station 50.
なお、本発明の飛行制御装置及び飛行制御方法は、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。 Note that the flight control device and the flight control method of the present invention are not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the present invention.
１ 無人飛行体
１０ ＣＰＵ
１４ 無線通信部
１６ ＧＰＳ部
１８ 慣性センサー部
２０ 画像処理部
２２ 駆動制御部
２４ 電源部
1 unmanned air vehicle 10 CPU
14 Wireless communication unit 16 GPS unit 18 Inertial sensor unit 20 Image processing unit 22 Drive control unit 24 Power supply unit
Claims (6)
前記画像に含まれる物体を認知する物体認知手段と、
前記物体認知手段によって認知した物体に基づいて、降下位置としての適性を示す安全度を判断する安全度判断手段と、
前記安全度に基づいて、機体を降下させる機体制御手段と、
を有する飛行制御装置。 Image acquisition means for acquiring an image of the descent target area;
An object recognition means for recognizing an object included in the image;
Safety degree judging means for judging a safety degree indicating suitability as a lowered position based on the object recognized by the object recognizing means;
Airframe control means for lowering the airframe based on the safety degree;
A flight control device.
前記安全度判断手段は、前記物体の移動状態に基づいて、前記安全度を判断する請求項１乃至請求項３のいずれかに記載の飛行制御装置。 The object recognition means includes a movement state determination means for determining a movement state of an object included in the image;
The flight control apparatus according to any one of claims 1 to 3, wherein the safety level determination unit determines the safety level based on a movement state of the object.
前記画像に含まれる物体を認知する物体認知ステップと、
前記物体認知手段によって認知した物体に基づいて、降下位置としての適性を示す安全度を判断する安全度判断ステップと、
前記安全度に基づいて、機体を降下させる機体制御ステップと、
を有する飛行制御方法。
An image acquisition step of acquiring an image of the descent target area;
An object recognition step for recognizing an object included in the image;
A safety level determination step of determining a safety level indicating suitability as a lowered position based on the object recognized by the object recognition means;
An aircraft control step for lowering the aircraft based on the safety degree;
A flight control method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016098411A JP2017206072A (en) | 2016-05-17 | 2016-05-17 | Flight control device and flight control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016098411A JP2017206072A (en) | 2016-05-17 | 2016-05-17 | Flight control device and flight control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017206072A true JP2017206072A (en) | 2017-11-24 |
Family
ID=60416241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016098411A Pending JP2017206072A (en) | 2016-05-17 | 2016-05-17 | Flight control device and flight control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017206072A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019196150A (en) * | 2018-05-11 | 2019-11-14 | 株式会社自律制御システム研究所 | System, method, and program for identifying safe landing area, and storage medium for storing the program |
| JP2020090392A (en) * | 2019-05-08 | 2020-06-11 | 楽天株式会社 | Control method, article hand-over system, landing system, and information processor |
| US11432534B2 (en) | 2018-05-23 | 2022-09-06 | Ntt Docomo, Inc. | Monitoring apparatus and program |
| US11656633B2 (en) | 2018-12-07 | 2023-05-23 | Rakuten Group, Inc. | Determining method of article transfer place, determining method of landing place, article transfer system, and information processing device |
| KR102598066B1 (en) * | 2023-05-03 | 2023-11-03 | (주)올포랜드 | Flightable area information provision method, information provision system, computer program therefor |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006082775A (en) * | 2004-09-17 | 2006-03-30 | Hiroboo Kk | Unmanned flying object controlling system and method |
| WO2010137596A1 (en) * | 2009-05-26 | 2010-12-02 | 国立大学法人 千葉大学 | Mobile body control device and mobile body in which mobile body control device is mounted |
| JP2014113148A (en) * | 2012-12-07 | 2014-06-26 | Boeing Co | Forest sensor deployment and monitoring system |
| US20150367956A1 (en) * | 2014-06-24 | 2015-12-24 | Sikorsky Aircraft Corporation | Aircraft landing monitor |
| WO2016025341A1 (en) * | 2014-08-11 | 2016-02-18 | Amazon Technologies, Inc. | Propeller safety for automated aerial vehicles |
| WO2016039882A1 (en) * | 2014-09-08 | 2016-03-17 | Qualcomm Incorporated | Methods, systems and devices for delivery drone security |
| US20160114905A1 (en) * | 2014-06-24 | 2016-04-28 | Sikorsky Aircraft Corporation | Probabilistic safe landing area determination |
| CN105905310A (en) * | 2016-04-19 | 2016-08-31 | 清远市巨劲科技有限公司 | Unmanned aerial vehicle safe landing system and unmanned aerial vehicle with landing system |
-
2016
- 2016-05-17 JP JP2016098411A patent/JP2017206072A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006082775A (en) * | 2004-09-17 | 2006-03-30 | Hiroboo Kk | Unmanned flying object controlling system and method |
| WO2010137596A1 (en) * | 2009-05-26 | 2010-12-02 | 国立大学法人 千葉大学 | Mobile body control device and mobile body in which mobile body control device is mounted |
| JP2014113148A (en) * | 2012-12-07 | 2014-06-26 | Boeing Co | Forest sensor deployment and monitoring system |
| US20150367956A1 (en) * | 2014-06-24 | 2015-12-24 | Sikorsky Aircraft Corporation | Aircraft landing monitor |
| US20160114905A1 (en) * | 2014-06-24 | 2016-04-28 | Sikorsky Aircraft Corporation | Probabilistic safe landing area determination |
| WO2016025341A1 (en) * | 2014-08-11 | 2016-02-18 | Amazon Technologies, Inc. | Propeller safety for automated aerial vehicles |
| WO2016039882A1 (en) * | 2014-09-08 | 2016-03-17 | Qualcomm Incorporated | Methods, systems and devices for delivery drone security |
| CN105905310A (en) * | 2016-04-19 | 2016-08-31 | 清远市巨劲科技有限公司 | Unmanned aerial vehicle safe landing system and unmanned aerial vehicle with landing system |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019196150A (en) * | 2018-05-11 | 2019-11-14 | 株式会社自律制御システム研究所 | System, method, and program for identifying safe landing area, and storage medium for storing the program |
| US11432534B2 (en) | 2018-05-23 | 2022-09-06 | Ntt Docomo, Inc. | Monitoring apparatus and program |
| US11656633B2 (en) | 2018-12-07 | 2023-05-23 | Rakuten Group, Inc. | Determining method of article transfer place, determining method of landing place, article transfer system, and information processing device |
| JP2020090392A (en) * | 2019-05-08 | 2020-06-11 | 楽天株式会社 | Control method, article hand-over system, landing system, and information processor |
| KR102598066B1 (en) * | 2023-05-03 | 2023-11-03 | (주)올포랜드 | Flightable area information provision method, information provision system, computer program therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3735622B1 (en) | Adjustable object avoidance proximity threshold of a robotic vehicle based on presence of detected payload(s) | |
| EP3901728B1 (en) | Methods and system for autonomous landing | |
| US11604479B2 (en) | Methods and system for vision-based landing | |
| JP2017206072A (en) | Flight control device and flight control method | |
| US10717435B2 (en) | Adjustable object avoidance proximity threshold based on classification of detected objects | |
| US10636314B2 (en) | Adjusting flight parameters of an aerial robotic vehicle based on presence of propeller guard(s) | |
| US10803759B2 (en) | Adjustable object avoidance proximity threshold based on presence of propeller guard(s) | |
| CN110687928A (en) | Landing control method, system, unmanned aerial vehicle and storage medium | |
| CN106598063B (en) | Unmanned aerial vehicle and flight control method | |
| JP2019073056A (en) | Unmanned aircraft control device, unmanned aircraft, data processing device, unmanned aircraft control method and program for control of unmanned aircraft | |
| US11869370B2 (en) | Control method for unmanned aerial vehicle, management method, control device, management device, and unmanned aerial vehicle system | |
| CN111542479A (en) | Method for determining article transfer location, method for determining landing location, article transfer system, and information processing device | |
| JP2019196150A (en) | System, method, and program for identifying safe landing area, and storage medium for storing the program | |
| CN111465556A (en) | Information processing system, information processing method, and program | |
| JP2020149640A (en) | Flight system and landing control method | |
| CN117693779A (en) | Unmanned aerial vehicle scheduling method, server, tarmac equipment, system and storage medium | |
| US20230316739A1 (en) | Semantic Abort of Unmanned Aerial Vehicle Deliveries | |
| JP7078601B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP2018069969A (en) | Unmanned work device, method for the same, and program | |
| KR102280753B1 (en) | Technique for marker-based landing of unmanned aerial vehicle | |
| JP2020108981A (en) | Automatic takeoff/landing charging system | |
| US20230316741A1 (en) | Method for Semantic Localization of an Unmanned Aerial Vehicle | |
| WO2021245836A1 (en) | Power supply information determination device, power supply information determination system, power supply information determination method, and computer-readable medium | |
| JP2018069961A (en) | Device arrangement device, device arrangement method, and device arrangement program | |
| JP2023070120A (en) | Autonomous flight control method, autonomous flight control apparatus and autonomous flight control system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200318 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201224 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210210 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210629 |