JP2020162438A - Monitoring system and flying robot - Google Patents

Monitoring system and flying robot Download PDF

Info

Publication number
JP2020162438A
JP2020162438A JP2019064232A JP2019064232A JP2020162438A JP 2020162438 A JP2020162438 A JP 2020162438A JP 2019064232 A JP2019064232 A JP 2019064232A JP 2019064232 A JP2019064232 A JP 2019064232A JP 2020162438 A JP2020162438 A JP 2020162438A
Authority
JP
Japan
Prior art keywords
captured
flight
target animal
image
animal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019064232A
Other languages
Japanese (ja)
Other versions
JP7155062B2 (en
Inventor
侑大 岩永
Yudai Iwanaga
侑大 岩永
尾坐 幸一
Koichi Oza
幸一 尾坐
神山 憲
Ken Kamiyama
憲 神山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2019064232A priority Critical patent/JP7155062B2/en
Publication of JP2020162438A publication Critical patent/JP2020162438A/en
Application granted granted Critical
Publication of JP7155062B2 publication Critical patent/JP7155062B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Catching Or Destruction (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

To enable tracking of an invading object to be continued by estimating a moving direction of the invading object based on a photographed image before the failure of tracking even if tracking fails when capturing and tracking an invading object by sequentially acquired photographed images.SOLUTION: A monitoring system includes a flying robot having an image acquisition part for sequentially acquiring photographed images, which autonomously flies when a detection sensor detects an invading object. The flying robot determines whether or not an object animal is captured in the photographed images acquired while flying in the vicinity of an invasion position. Upon determination that the object animal is not captured in the photographed images after the object animal is captured in the photographed images, the flying robot estimates a moving direction of the object animal based on the object image showing the object animal in the photographed image immediately before the photographed image ceases to capture the object animal, and changes the direction of the flying robot so that the photographing direction of the image acquisition part is changed to the estimated moving direction.SELECTED DRAWING: Figure 1

Description

監視区域に侵入した侵入物体を監視する監視システム及び飛行ロボットに関する。 The present invention relates to a surveillance system and a flying robot that monitor an intruding object that has invaded the surveillance area.

近年、野生の鹿又は熊等の野生動物が、圃場に侵入し、当該圃場で栽培されている農作物を荒らすといった農作物被害が増加している。このような農作物被害の対策のため、野生動物が圃場に侵入しないような囲いを設置したり、圃場に侵入した野生動物を圃場の外に追い出すような装置を設置したりする対策が行われている。 In recent years, crop damage such as wild animals such as wild deer or bears invading a field and damaging the crops cultivated in the field has been increasing. As a countermeasure against such crop damage, measures have been taken such as installing an enclosure to prevent wild animals from invading the field and installing a device to expel wild animals that have invaded the field to the outside of the field. There is.

例えば、特許文献1には、ドローン等の無人飛行ロボットが、予め定められた航路を自動飛行しながら忌避剤を散布することによって、野生動物を圃場から特定の場所に追い込み捕獲する技術が記載されている。 For example, Patent Document 1 describes a technique in which an unmanned aerial vehicle such as a drone drives a wild animal from a field to a specific place and captures it by spraying a repellent while automatically flying on a predetermined route. ing.

また、特許文献2には、無人飛行ロボットが光学カメラ等の撮像装置を搭載して、駐車場内の物体を示す画像を含む撮像画像を順次取得することで、駐車場内を監視する技術が記載されている。 Further, Patent Document 2 describes a technique for monitoring the inside of a parking lot by mounting an imaging device such as an optical camera on an unmanned flying robot and sequentially acquiring captured images including an image showing an object in the parking lot. ing.

特開2018−99044号公報JP-A-2018-99044 特開2014−119827号公報Japanese Unexamined Patent Publication No. 2014-1198227

飛行ロボットが野生動物を圃場等の監視区域の外へ追い出す従来のシステムでは、野生動物が飛行ロボットに馴れた場合、野生動物の方に飛行ロボットを以前よりも接近させなければ、野生動物は飛行ロボットから逃げずに監視区域に留まってしまう場合があった。 In the conventional system in which the flying robot drives the wild animal out of the surveillance area such as the field, when the wild animal becomes accustomed to the flying robot, the wild animal will fly unless the flying robot is brought closer to the wild animal than before. In some cases, they stayed in the surveillance area without escaping from the robot.

野生動物による農作物被害の対策のため、撮像画像を順次取得しながら飛行する飛行ロボットが用いられる場合、飛行ロボットが野生動物に接近すると、野生動物の急な動きによって、野生動物が撮像画像に含まれない位置に逃げてしまうことがあった。人や自動車等の追跡においては、速度変化等により撮影画像に含まれなくなっても直前の移動方向等から予測して継続して追跡が可能な場合がある。しかし、野生動物は一見規則性がないと思われる特有の動きをする場合があり、飛行ロボットは、野生動物の動きを予測できず、野生動物の姿を捉えられなくなってしまうという問題が発生していた。また、上述のように野生動物の動きが不規則であることが多いため、飛行ロボットは、一旦、野生動物を捉えておくことに失敗すると、その後、野生動物の追跡が困難になってしまい、野生動物を見失ってしまうこともあった。 When a flying robot that flies while acquiring captured images in sequence is used as a countermeasure against crop damage caused by wild animals, when the flying robot approaches the wild animal, the wild animal is included in the captured image due to the sudden movement of the wild animal. I sometimes escaped to a position where I couldn't. In tracking a person, a car, or the like, even if it is not included in the captured image due to a change in speed or the like, it may be possible to predict from the immediately preceding movement direction or the like and continuously track the person. However, wild animals may make peculiar movements that seem to be irregular, and flying robots cannot predict the movements of wild animals, causing the problem that they cannot capture the appearance of wild animals. Was there. In addition, since the movement of wild animals is often irregular as described above, once the flying robot fails to catch the wild animals, it becomes difficult to track the wild animals thereafter. Sometimes I lost sight of wild animals.

本発明は、このような課題を解決すべくなされたものであり、順次取得された撮像画像によって野生動物等の侵入物体を捉えて追跡している場合において、追跡に失敗しても、追跡失敗前の撮像画像に基づいて侵入物体の移動方向を推定することで侵入物体の追跡の継続を可能とする監視システム及び飛行ロボットを提供することを目的とする。 The present invention has been made to solve such a problem, and in the case where an invading object such as a wild animal is captured and tracked by sequentially acquired captured images, even if the tracking fails, the tracking fails. It is an object of the present invention to provide a monitoring system and a flying robot that enable continuous tracking of an intruding object by estimating the moving direction of the invading object based on a previously captured image.

また、本発明の監視システム及び飛行ロボットは、上述のように推定した移動方向と実際に侵入物体が移動した方向とに基づいて、侵入物体の移動方向の推定精度を向上させ、侵入物体特有の動きに対応して、侵入物体を追跡することを可能にする。 Further, the monitoring system and the flying robot of the present invention improve the estimation accuracy of the moving direction of the invading object based on the moving direction estimated as described above and the direction in which the invading object actually moved, and are peculiar to the invading object. Allows tracking of intruding objects in response to movement.

本発明に係る監視システムは、監視区域に侵入した侵入物体を検知する検知センサと、撮像画像を順次取得する画像取得部を有し、検知センサが侵入物体を検知すると自律的に飛行する飛行ロボットと、を備えた監視システムであって、検知センサは、侵入物体の検知に応じて、侵入物体の侵入位置を示す侵入位置情報を出力し、飛行ロボットは、飛行ロボットの飛行を制御する飛行制御部と、侵入位置情報を取得する位置取得部と、侵入位置情報によって示される侵入位置付近を飛行中に取得された撮像画像において対象動物を捉えたか否かを判定する画像認識部と、撮像画像に対象動物を捉えたと判定した場合、以降において取得された撮像画像に対象動物を捉えられる位置に飛行するように飛行制御部に指示するメイン制御部、とを有し、画像認識部は、撮像画像に対象動物を捉えた後に、撮像画像に対象動物を捉えていないと判定すると、対象動物を捉えられなくなる直前の撮像画像における対象動物を示す対象画像に基づいて、対象動物の移動方向を推定し、メイン制御部は、画像取得部の撮像方向が推定された移動方向に変更されるように、飛行ロボットの向きを変更することを飛行制御部に指示する。 The monitoring system according to the present invention has a detection sensor that detects an intruding object that has invaded the monitoring area and an image acquisition unit that sequentially acquires captured images, and a flying robot that autonomously flies when the detection sensor detects an intruding object. The detection sensor outputs intrusion position information indicating the intrusion position of the intruding object in response to the detection of the intruding object, and the flight robot controls the flight of the flying robot. The unit, the position acquisition unit that acquires the intrusion position information, the image recognition unit that determines whether or not the target animal has been captured in the captured image acquired during flight near the intrusion position indicated by the intrusion position information, and the captured image. When it is determined that the target animal has been captured, the captured image acquired thereafter has a main control unit that instructs the flight control unit to fly to a position where the target animal can be captured, and the image recognition unit captures the image. If it is determined that the target animal is not captured in the captured image after capturing the target animal in the image, the movement direction of the target animal is estimated based on the target image showing the target animal in the captured image immediately before the target animal cannot be captured. Then, the main control unit instructs the flight control unit to change the direction of the flight robot so that the imaging direction of the image acquisition unit is changed to the estimated movement direction.

また、本発明に係る監視システムにおいて、画像認識部は、動物を示す動物画像と当該動物の種別及び向きを示す情報とを教師データとして用いた機械学習によって生成された学習モデルによって、撮像画像に対象動物が捉えられなくなる直前の撮像画像に捉えられている対象動物を示す対象画像から推定される対象動物の種別及び向きを推定し、推定した向きを、対象動物の移動方向とすることが好ましい。 Further, in the monitoring system according to the present invention, the image recognition unit uses an animal image indicating an animal and a learning model generated by machine learning using information indicating the type and orientation of the animal as teacher data to generate an captured image. It is preferable to estimate the type and orientation of the target animal estimated from the target image showing the target animal captured in the captured image immediately before the target animal becomes uncaptured, and use the estimated orientation as the movement direction of the target animal. ..

また、本発明に係る監視システムにおいて、飛行ロボットは、記憶部を更に有し、画像認識部は、メイン制御部による指示によって撮像方向が変更された後の撮像画像に対象動物を捉えたか否かを判定した結果を検知確率情報として記憶部に記憶し、メイン制御部は、撮像方向が変更された後の撮像画像に対象動物を捉えていないと判定された場合、撮像方向が他の方向に変更されるように、飛行ロボットの向きを変更することを飛行制御部に再指示し、検知確率情報に基づいて、対象動物の移動方向を推定し、撮像方向を決定することが好ましい。 Further, in the monitoring system according to the present invention, the flying robot further has a storage unit, and the image recognition unit captures the target animal in the captured image after the imaging direction is changed by the instruction from the main control unit. The result of the determination is stored in the storage unit as detection probability information, and when the main control unit determines that the target animal is not captured in the captured image after the imaging direction is changed, the imaging direction is changed to another direction. It is preferable to re-instruct the flight control unit to change the direction of the flying robot so as to be changed, estimate the moving direction of the target animal based on the detection probability information, and determine the imaging direction.

また、本発明に係る監視システムにおいて、飛行ロボットは、監視区域に侵入物体を監視区域の外に追い出すための出口位置に向かって自律的に飛行可能であり、画像認識部は、監視区域に侵入した対象動物が複数である場合、複数の対象動物のうち、出口位置との距離が最長である対象動物を追い出し対象として特定することが好ましい。 Further, in the monitoring system according to the present invention, the flying robot can autonomously fly toward the exit position for expelling the invading object into the monitoring area from the monitoring area, and the image recognition unit invades the monitoring area. When there are a plurality of target animals, it is preferable to specify the target animal having the longest distance from the exit position as the target to be expelled.

また、本発明に係る監視システムにおいて、飛行ロボットは、監視区域に侵入物体を監視区域の外に追い出すための出口位置に向かって自律的に飛行可能であり、画像認識部は、監視区域に侵入した対象動物が複数である場合、複数の対象動物のそれぞれの移動方向を推定し、推定された各対象動物の移動方向のうち、出口位置への方向となす角度が最大である対象動物を追い出し対象として特定することが好ましい。 Further, in the monitoring system according to the present invention, the flying robot can autonomously fly toward the exit position for expelling the invading object into the monitoring area from the monitoring area, and the image recognition unit invades the monitoring area. When there are a plurality of target animals, the movement directions of the plurality of target animals are estimated, and among the estimated movement directions of the target animals, the target animal having the maximum angle with the direction to the exit position is expelled. It is preferable to specify it as a target.

また、本発明に係る監視システムにおいて、画像認識部は、推定された移動方向を状態とし、撮像方向の特定方向を行動とした場合における、行動に対する価値を定めた行動価値関数に基づいて、対象動物の移動方向を推定し、飛行ロボットは、推定された移動方向において、飛行ロボットの向きを変更することにより撮像画像に対象動物が捉えられるようになった撮像方向を変更した方向に基づいて各行動に報酬を設定して、行動価値関数を更新する更新部を更に有することが好ましい。 Further, in the monitoring system according to the present invention, the image recognition unit is an object based on an action value function that defines a value for an action when the estimated moving direction is set as a state and a specific direction of an imaging direction is set as an action. Estimating the moving direction of the animal, the flying robot can capture the target animal in the captured image by changing the direction of the flying robot in the estimated moving direction. It is preferable to further have an update unit that sets a reward for the action and updates the action value function.

本発明に係る飛行ロボットは、撮像画像を順次取得する画像取得部を有し、自律的に飛行可能な飛行ロボットであって、飛行ロボットの飛行を制御する飛行制御部と、飛行中に取得された撮像画像において対象動物を捉えたか否かを判定する画像認識部と、撮像画像に対象動物を捉えたと判定された場合、以降において取得された撮像画像に対象動物を捉えられる位置に向かう飛行を飛行制御部に指示するメイン制御部と、を有し、画像認識部は、撮像画像に対象動物を捉えた後に、撮像画像に対象動物を捉えていないと判定すると、対象動物を捉えられなくなる直前の撮像画像における対象動物を示す対象画像に基づいて、対象動物の移動方向を推定し、メイン制御部は、画像取得部の撮像方向が推定された移動方向に変更されるように、飛行ロボットの向きを変更することを飛行制御部に指示する。 The flight robot according to the present invention is a flight robot that has an image acquisition unit that sequentially acquires captured images and can fly autonomously, and has a flight control unit that controls the flight of the flight robot and is acquired during flight. An image recognition unit that determines whether or not the target animal has been captured in the captured image, and if it is determined that the target animal has been captured in the captured image, the flight to a position where the target animal can be captured in the captured image acquired thereafter is performed. It has a main control unit that instructs the flight control unit, and if the image recognition unit determines that the target animal is not captured in the captured image after capturing the target animal in the captured image, it is immediately before the target animal cannot be captured. The moving direction of the target animal is estimated based on the target image showing the target animal in the captured image of the flying robot, and the main control unit changes the imaging direction of the image acquisition unit to the estimated moving direction. Instruct the flight control unit to change the direction.

本発明に係る監視システム及び飛行ロボットは、順次取得された撮像画像によって侵入物体を捉えて追跡している場合において、追跡に失敗しても、追跡失敗前の撮像画像に基づいて侵入物体の移動方向を推定することで侵入物体の追跡の継続を可能とする。 In the case where the surveillance system and the flying robot according to the present invention capture and track an intruding object by sequentially acquired captured images, even if the tracking fails, the invading object moves based on the captured image before the tracking failure. By estimating the direction, it is possible to continue tracking the intruding object.

監視システムの概略構成の一例を示す図である。It is a figure which shows an example of the schematic structure of a monitoring system. 飛行ロボットの斜視図の一例を示す図である。It is a figure which shows an example of the perspective view of a flying robot. メイン処理のフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart of the main process. 追い出し飛行の一例を説明するための模式図である。It is a schematic diagram for demonstrating an example of a eviction flight. 分類クラスの一例を説明するための模式図である。It is a schematic diagram for demonstrating an example of a classification class. 向きの変更の動作の一例を示す模式図である。It is a schematic diagram which shows an example of the operation of changing the orientation.

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。 Hereinafter, various embodiments of the present invention will be described with reference to the drawings. However, it should be noted that the technical scope of the present invention is not limited to those embodiments, but extends to the inventions described in the claims and their equivalents.

(監視システム1)
図1は、監視システム1の概略構成の一例を示す図である。監視システム1は、検知センサ2、コントローラ3、及び飛行ロボット4を備える。コントローラ3は、所定の通信ネットワーク5(5a,5b)を介して検知センサ2及び飛行ロボット4と接続する。所定の通信ネットワーク5(5a,5b)は、IP(Internet Protocol)網、一般公衆回線網、移動通信電話網等である。
(Monitoring system 1)
FIG. 1 is a diagram showing an example of a schematic configuration of the monitoring system 1. The monitoring system 1 includes a detection sensor 2, a controller 3, and a flight robot 4. The controller 3 connects to the detection sensor 2 and the flight robot 4 via a predetermined communication network 5 (5a, 5b). The predetermined communication network 5 (5a, 5b) is an IP (Internet Protocol) network, a general public line network, a mobile communication telephone network, or the like.

(検知センサ2)
検知センサ2は、監視区域内又は監視区域周辺に配置される。検知センサ2は、例えば、レーザセンサである。検知センサ2は、マイクロ波センサ、超音波センサ、又は画像センサ等でもよい。監視システム1は、複数の検知センサ2を備えてもよい。例えば、複数の検知センサ2は、監視区域内及び監視区域周辺のそれぞれに配置されてもよい。また、複数の検知センサ2は、監視区域内及び監視区域周辺の少なくとも一方に配置されてもよい。さらに、検知センサ2は、飛行ロボット4に搭載されていてもよく、飛行ロボット4が監視区域を巡回飛行中に、飛行ロボット4に搭載された画像センサ等の検知センサ2で監視区域内に侵入物体が侵入したか否かを判定するようにしてもよい。
(Detection sensor 2)
The detection sensor 2 is arranged in or around the monitoring area. The detection sensor 2 is, for example, a laser sensor. The detection sensor 2 may be a microwave sensor, an ultrasonic sensor, an image sensor, or the like. The monitoring system 1 may include a plurality of detection sensors 2. For example, the plurality of detection sensors 2 may be arranged in the monitoring area and in the vicinity of the monitoring area, respectively. Further, the plurality of detection sensors 2 may be arranged in at least one of the monitoring area and the periphery of the monitoring area. Further, the detection sensor 2 may be mounted on the flying robot 4, and the detection sensor 2 such as an image sensor mounted on the flying robot 4 invades the monitoring area while the flying robot 4 is patrolling the monitoring area. It may be determined whether or not an object has invaded.

検知センサ2は、監視区域に侵入した侵入物体が対象動物の可能性があると判定した場合、所定の通信ネットワーク5aを介して、検知信号をコントローラ3に送信する。対象動物は、監視システム1が監視する対象の動物であり、例えば、野生の鹿、猪、及び熊等である。対象動物の判定に、侵入物体の大きさ及び速度の少なくとも一方が用いられる。対象動物の判定に、大きさ及び速度以外の指標(例えば、移動パターン等)が用いられてもよい。検知信号は、侵入物体の侵入位置データを含む。侵入物体の侵入位置データは、侵入物体が対象動物と判定された際の侵入物体が位置する3次元座標又は平面2次元座標を示すデータである。 When the detection sensor 2 determines that the invading object invading the monitoring area may be a target animal, the detection sensor 2 transmits a detection signal to the controller 3 via a predetermined communication network 5a. The target animal is a target animal monitored by the monitoring system 1, and is, for example, a wild deer, a wild boar, a bear, or the like. At least one of the size and velocity of the invading object is used to determine the target animal. An index other than size and speed (for example, movement pattern, etc.) may be used to determine the target animal. The detection signal includes intrusion position data of an intruding object. The invasion position data of the invading object is data indicating the three-dimensional coordinates or the plane two-dimensional coordinates in which the invading object is located when the invading object is determined to be the target animal.

例えば、検知センサ2がレーザセンサである場合、検知センサ2のレーザ照射部分は、監視区域内の予め設定された検知範囲に対して、探査信号(レーザ光)を所定周期で放射状に送信し、検知範囲内の侵入物体等に反射して戻ってきた探査信号を受信する。レーザ照射部分は、接地面と平行面上において検知角度の範囲内で回転するレーザ送受信センサを備える。検知角度は、180度でも、360度でもよい。レーザ照射部分は、垂直視野角の所定範囲を測定できるように複数個のレーザ送受信センサを備えてもよい。例えば、レーザ照射部分が垂直視野角約15度の範囲内において12個のレーザ送受信センサを備える場合、レーザ照射部分が検知角度だけ回転することにより、12本の探査信号(レーザ光)が同時に照射され、検知範囲且つ垂直視野角約15度の範囲内の物体から反射された探査信号が受信される。 For example, when the detection sensor 2 is a laser sensor, the laser irradiation portion of the detection sensor 2 radially transmits a search signal (laser light) to a preset detection range in the monitoring area at a predetermined cycle. Receives the exploration signal that is reflected back by the intruding object within the detection range. The laser irradiation portion includes a laser transmission / reception sensor that rotates within a detection angle on a plane parallel to the ground plane. The detection angle may be 180 degrees or 360 degrees. The laser irradiation portion may include a plurality of laser transmission / reception sensors so that a predetermined range of the vertical viewing angle can be measured. For example, when the laser irradiation portion includes 12 laser transmission / reception sensors within a vertical viewing angle of about 15 degrees, the laser irradiation portion rotates by the detection angle, so that 12 exploration signals (laser light) are simultaneously irradiated. Then, the search signal reflected from the object within the detection range and the vertical viewing angle of about 15 degrees is received.

検知センサ2は、探査信号の送信及び受信の時間差に基づいて、物体までの距離を算出する。検知センサ2は、検知センサ2の位置、探査信号を送信した方向及び算出した距離に基づいて、各探査信号に対応する反射位置の3次元座標を算出する。そして、検知センサ2は、算出した3次元座標が地表面等の固定地物の三次元座標と異なる場合、当該三次元座標のうち互いに特定の距離範囲内である座標を同一の侵入物体によるものと推定し、侵入物体の大きさ(例えば、侵入物体の長さ等)を算出する。また、検知センサ2は、算出した各三次元座標及び各三次元座標に対応する探査信号の送信時刻に基づいて、侵入物体が移動していると推定される場合、その移動速度を算出する。 The detection sensor 2 calculates the distance to the object based on the time difference between the transmission and reception of the search signal. The detection sensor 2 calculates the three-dimensional coordinates of the reflection position corresponding to each search signal based on the position of the detection sensor 2, the direction in which the search signal is transmitted, and the calculated distance. Then, when the calculated three-dimensional coordinates are different from the three-dimensional coordinates of a fixed object such as the ground surface, the detection sensor 2 uses the same invading object to set the coordinates within the specific distance range of the three-dimensional coordinates. Is estimated, and the size of the invading object (for example, the length of the invading object) is calculated. Further, the detection sensor 2 calculates the moving speed when it is estimated that the invading object is moving based on the calculated three-dimensional coordinates and the transmission time of the search signal corresponding to each three-dimensional coordinate.

検知センサ2は、算出した侵入物体の大きさ及び移動速度の少なくとも一方に基づいて、侵入物体が対象動物の可能性があると判定した場合、所定の通信ネットワーク5aを介してコントローラ3に検知信号を送信する。検知信号に含まれる侵入物体の侵入位置データは、例えば、侵入物体であると推定された三次元座標を示すデータである。侵入物体の大きさ及び移動速度の算出処理は、後述するコントローラ3によって実行されてもよい。この場合、検知センサ2は、算出した3次元座標を送信時刻に対応付けて、所定のネットワークを介してコントローラ3に送信する。また、検知センサ2は、飛行ロボット4によって備えられてもよい。この場合、飛行ロボット4が監視区域内において予め設定された飛行経路を自動飛行している間、飛行ロボット4に備えられた検知センサ2は、探査信号を照射して侵入物体を検知する。 When the detection sensor 2 determines that the invading object may be a target animal based on at least one of the calculated size and moving speed of the invading object, the detection sensor 2 sends a detection signal to the controller 3 via a predetermined communication network 5a. To send. The intrusion position data of the intruding object included in the detection signal is, for example, data indicating three-dimensional coordinates estimated to be the intruding object. The process of calculating the size and moving speed of the invading object may be executed by the controller 3 described later. In this case, the detection sensor 2 associates the calculated three-dimensional coordinates with the transmission time and transmits the calculated three-dimensional coordinates to the controller 3 via a predetermined network. Further, the detection sensor 2 may be provided by the flight robot 4. In this case, the detection sensor 2 provided in the flight robot 4 irradiates the search signal to detect the invading object while the flight robot 4 automatically flies in the preset flight path in the monitoring area.

(コントローラ3)
コントローラ3は、監視区域内又は監視区域周辺に設置された監視センタ等に設けられる情報処理装置である。コントローラ3は、飛行ロボット4の格納場所の近辺に設置されてもよく、また、監視区域の遠方に設置されてもよい。コントローラ3は、検知センサ2と、有線又は無線による通信を行う通信回路(図示しない)を備えるとともに、飛行ロボット4と無線による通信を行う通信回路(図示しない)を備える。
(Controller 3)
The controller 3 is an information processing device provided in a monitoring center or the like installed in or around the monitoring area. The controller 3 may be installed near the storage location of the flight robot 4 or may be installed far away from the monitoring area. The controller 3 includes a detection sensor 2 and a communication circuit (not shown) that communicates by wire or wirelessly, and also includes a communication circuit (not shown) that communicates wirelessly with the flight robot 4.

コントローラ3は、図示しない制御記憶部を備える。制御記憶部は、飛行ロボット4の待機位置を示す待機位置データ、侵入物体を監視区域の外に追い出すための出口位置を示す出口位置データ、監視区域の境界を規定する境界ベクトルデータ等を記憶する。出口位置は、例えば、市街地側の出入り口ではなく、山側の出入り口を示す位置等である。境界ベクトルデータは、監視区域の境界上の複数の緯度及び経度を含む地点データ群である。地点データ群に含まれる複数の緯度及び経度によって示される各地点が順に線分で結ばれ、最後の地点と最初の地点とが線分で結ばれることで、監視区域を示す閉領域が規定される。地点データ群として、緯度及び経度と対応する標高値とが記憶されてもよい。飛行記憶部46は、飛行ロボット4の飛行可能空間データ又は障害物データを記憶してもよい。また、出口位置は、単に、侵入物体を監視区域の外に追い出す方向を示す情報であってもよい。例えば、方向を示す情報は、磁北からの角度情報等である。この場合、緯度及び経度情報により特定の方向の範囲が出口位置として記憶される。 The controller 3 includes a control storage unit (not shown). The control storage unit stores standby position data indicating the standby position of the flying robot 4, exit position data indicating the exit position for expelling an intruding object out of the monitoring area, boundary vector data indicating the boundary of the monitoring area, and the like. .. The exit position is, for example, a position indicating an entrance / exit on the mountain side, not an entrance / exit on the urban side. The boundary vector data is a group of point data including a plurality of latitudes and longitudes on the boundary of the monitored area. Each point indicated by multiple latitudes and longitudes included in the point data group is connected by a line segment in order, and the last point and the first point are connected by a line segment, thereby defining a closed area indicating the monitoring area. To. As the point data group, the latitude and longitude and the corresponding elevation value may be stored. The flight storage unit 46 may store flight space data or obstacle data of the flight robot 4. Further, the exit position may be simply information indicating the direction in which the intruding object is expelled from the monitored area. For example, the information indicating the direction is angle information from magnetic north or the like. In this case, the range in a specific direction is stored as the exit position based on the latitude and longitude information.

コントローラ3は、検知センサ2から検知信号を受信すると、検知信号に含まれる侵入物体の侵入位置データを取得し、取得した位置データ及び飛行記憶部46から読み出した待機位置データに基づいて、飛行ロボット4の待機位置から侵入物体の侵入位置までの飛行経路を、公知の算出方法(例えば、特開2016−181177号公報を参照。)を用いて算出する。コントローラ3は、飛行指示を、所定の通信ネットワーク5bを介して飛行ロボット4に送信するとともに、侵入物体の侵入位置データ、出口位置データ、及び飛行経路を示す経路データを、所定の通信ネットワーク5bを介して飛行ロボット4に送信する。 When the controller 3 receives the detection signal from the detection sensor 2, the controller 3 acquires the intrusion position data of the intruding object included in the detection signal, and the flight robot is based on the acquired position data and the standby position data read from the flight storage unit 46. The flight path from the standby position of No. 4 to the intrusion position of the intruding object is calculated using a known calculation method (see, for example, Japanese Patent Application Laid-Open No. 2016-181177). The controller 3 transmits a flight instruction to the flight robot 4 via a predetermined communication network 5b, and transmits the intrusion position data, the exit position data, and the route data indicating the flight path of the intruding object to the predetermined communication network 5b. It is transmitted to the flying robot 4 via.

コントローラ3による飛行指示の作成処理は、飛行ロボット4によって実行されてもよい。この場合、飛行ロボット4の飛行記憶部46は、制御記憶部によって記憶された各種情報を記憶し、コントローラ3は、検知信号に含まれる侵入物体の侵入位置データを、飛行指示と共に飛行ロボット4に送信する。そして、飛行ロボット4のメイン制御部43は、飛行ロボット4の待機位置から侵入物体の侵入位置までの飛行経路を算出し、飛行記憶部46から読み出した出口位置データ、受信した侵入物体の侵入位置データ、及び算出した飛行経路を示す経路データに基づいて、飛行制御部44を制御する。 The flight instruction creation process by the controller 3 may be executed by the flight robot 4. In this case, the flight storage unit 46 of the flight robot 4 stores various information stored by the control storage unit, and the controller 3 sends the intrusion position data of the intruding object included in the detection signal to the flight robot 4 together with the flight instruction. Send. Then, the main control unit 43 of the flight robot 4 calculates the flight path from the standby position of the flight robot 4 to the intrusion position of the intruding object, and the exit position data read from the flight storage unit 46 and the intrusion position of the received intruding object. The flight control unit 44 is controlled based on the data and the route data indicating the calculated flight route.

コントローラ3よる飛行指示の作成処理は、検知センサ2によって実行されてもよい。この場合、検知センサ2は、飛行記憶部46によって記憶された各種情報を記憶する。検知センサ2は、飛行ロボット4の待機位置から侵入物体の侵入位置までの飛行経路を算出し、侵入物体の侵入位置データ、出口位置データ、及び飛行経路を示す経路データを含む飛行指示を作成し、作成した飛行指示を、コントローラ3を介して又は直接無線通信によって飛行ロボット4に送信する。 The flight instruction creation process by the controller 3 may be executed by the detection sensor 2. In this case, the detection sensor 2 stores various information stored by the flight storage unit 46. The detection sensor 2 calculates the flight path from the standby position of the flying robot 4 to the intrusion position of the intruding object, and creates a flight instruction including the intrusion position data of the intruding object, the exit position data, and the route data indicating the flight path. , The created flight instruction is transmitted to the flight robot 4 via the controller 3 or directly by wireless communication.

(飛行ロボット4)
飛行ロボット4は、自律的に飛行可能な無人の小型飛行体である。飛行ロボット4は、自律的に飛行可能であり且つユーザの無線コントローラ装置等による操作によって制御可能な準自律的飛行可能な小型飛行体でもよい。飛行ロボット4は、飛行手段として、複数の回転翼(ロータ)等を備えており、例えば、ドローン、マルチコプタ、UAV(Unmanned Aerial Vehicle)等である。
(Flying robot 4)
The flight robot 4 is an unmanned small flying object capable of autonomously flying. The flight robot 4 may be a small aircraft capable of autonomously flying and quasi-autonomously capable of being controlled by operation by a user's wireless controller device or the like. The flight robot 4 is provided with a plurality of rotary wings (rotors) and the like as flight means, and is, for example, a drone, a multicopter, a UAV (Unmanned Aerial Vehicle), and the like.

飛行ロボット4は、図2に示すように、4枚のロータ(プロペラ)401(401a〜401d)を一平面上に有する。各ロータ401は、バッテリ(二次電池:図示しない)により駆動されるモータ402(402a〜402d)の回転に応じて回転する。一般的に、シングルロータ型のヘリコプタでは、メインロータによって発生する反トルクをテールロータが生み出すモーメントで相殺することによって方位角を保っている。一方、飛行ロボット4のようなクアッドロータ型のヘリコプタでは、本体403を中心として右前及び左後で異なる方向に回転するロータ401を用い且つ左前及び右後で異なる方向に回転するロータ401を用いることで反トルクの相殺を行っている。そして、各ロータ401の回転数(fa〜fd)を制御することにより、様々な機体の移動や姿勢の調節を行うことができる。 As shown in FIG. 2, the flying robot 4 has four rotors (propellers) 401 (401a to 401d) on one plane. Each rotor 401 rotates according to the rotation of the motors 402 (402a to 402d) driven by a battery (secondary battery: not shown). Generally, in a single rotor type helicopter, the azimuth is maintained by canceling the anti-torque generated by the main rotor with the moment generated by the tail rotor. On the other hand, in a quad rotor type helicopter such as the flight robot 4, a rotor 401 that rotates in different directions in the front right and the rear left is used around the main body 403, and a rotor 401 that rotates in different directions in the front left and the rear right is used. The anti-torque is offset by. Then, by controlling the rotation speeds (fa to fd) of each rotor 401, it is possible to move various aircraft and adjust their postures.

飛行ロボット4は、画像取得部41、画像認識部42、メイン制御部43、飛行制御部44、位置取得部45、飛行記憶部46、更新部47等を備え、これらは、本体403内に格納される。 The flight robot 4 includes an image acquisition unit 41, an image recognition unit 42, a main control unit 43, a flight control unit 44, a position acquisition unit 45, a flight storage unit 46, an update unit 47, and the like, and these are stored in the main body 403. Will be done.

画像取得部41は、熱画像を取得する熱画像カメラを備えた撮像装置である。熱画像カメラは、例えば、物体からの電磁放射の2種類の波長の放射エネルギーを検出し、2種類の放射エネルギー比によって求められた温度値に基づいて作成された撮像画像を出力する。画像取得部41は、可視光に基づく撮像画像を出力する可視光カメラ又は赤外線サーモグラフィカメラを備えた撮像装置でもよい。画像取得部41は、所定のフレーム周期で撮影された撮像画像を順次取得し、画像認識部42に撮像画像を渡す。画像取得部41の撮像方向は、飛行ロボット4の正面から前方を撮影する方向である。すなわち、画像取得部41の撮像方向は、飛行ロボット4の前進方向と略同一である。画像取得部41の撮像方向は、前進方向から鉛直下方に所定角だけ傾いた方向でもよい。 The image acquisition unit 41 is an imaging device provided with a thermal image camera that acquires a thermal image. The thermal image camera detects, for example, the radiant energy of two kinds of wavelengths of electromagnetic radiation from an object, and outputs an captured image created based on the temperature value obtained by the two kinds of radiant energy ratios. The image acquisition unit 41 may be an imaging device including a visible light camera or an infrared thermography camera that outputs an captured image based on visible light. The image acquisition unit 41 sequentially acquires captured images taken at a predetermined frame cycle, and passes the captured images to the image recognition unit 42. The imaging direction of the image acquisition unit 41 is a direction of photographing the front of the flight robot 4 from the front. That is, the image pickup direction of the image acquisition unit 41 is substantially the same as the forward direction of the flight robot 4. The image pickup direction of the image acquisition unit 41 may be a direction tilted vertically downward by a predetermined angle from the forward direction.

画像認識部42は、画像取得部41からの撮像画像を取得するたびに、当該撮像画像において対象動物を捉えているか否かを判定する。例えば、画像認識部42は、撮像画像に侵入物体を示す物体画像が含まれるか否かを判定する。そして、画像認識部42は、後述する学習モデル461を用いて、物体画像が対象動物を示す対象画像であるか否かを判定する。画像認識部42は、判定結果をメイン制御部43に渡す。学習モデル461は、後述の機械学習を用いて学習された学習モデルである。 Each time the image recognition unit 42 acquires the captured image from the image acquisition unit 41, the image recognition unit 42 determines whether or not the target animal is captured in the captured image. For example, the image recognition unit 42 determines whether or not the captured image includes an object image indicating an intruding object. Then, the image recognition unit 42 determines whether or not the object image is a target image showing the target animal by using the learning model 461 described later. The image recognition unit 42 passes the determination result to the main control unit 43. The learning model 461 is a learning model learned by using machine learning described later.

メイン制御部43は、飛行ロボット4の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。メイン制御部43は、コントローラ3から送信された検知信号を取得し、対象動物を示す画像が撮像画像内に捉えられるよう飛行制御しつつ、対象動物(侵入物体)を監視区域の外に追い出すための出口位置へ飛行ロボット4を進行させるように、後述する飛行制御部44を制御する。 The main control unit 43 controls the overall operation of the flight robot 4 in an integrated manner, and is, for example, a CPU (Central Processing Unit). The main control unit 43 acquires the detection signal transmitted from the controller 3 and controls the flight so that the image showing the target animal is captured in the captured image, and expels the target animal (invading object) out of the monitoring area. The flight control unit 44, which will be described later, is controlled so as to advance the flight robot 4 to the exit position of.

メイン制御部43は、コントローラ3から飛行指示を受信すると、飛行記憶部46に記憶された、飛行制御のためのアプリケーションプログラム及び各種データを読み出す。 Upon receiving the flight instruction from the controller 3, the main control unit 43 reads out the application program for flight control and various data stored in the flight storage unit 46.

飛行制御部44は、メイン制御部43からの指示に従って、飛行ロボット4が、上昇、下降、方向転換(回転)、及び、前進等の飛行を行うように、4枚のロータ401(401a〜401d)を駆動制御するための回路装置であり、例えば、FPGA(Field-Programmable Gate Array)をベースとして構成されたものである。飛行制御部44は、メイン制御部43と同一の回路装置で構成されてもよい。本体403は、図示しない方位センサ、加速度センサ、及びジャイロセンサ等の各種センサを格納しており、飛行制御部44は、方位センサから出力された飛行ロボットの正面の方位、加速度センサから出力された飛行ロボット4に掛かる加速度(例えば、3軸方向の各加速度)、ジャイロセンサから出力された回転角速度(例えば、3軸のそれぞれを中心とした回転角速度)に基づいて、飛行ロボット4の向きを制御する。 The flight control unit 44 has four rotors 401 (401a to 401d) so that the flight robot 4 makes flights such as ascending, descending, changing direction (rotation), and advancing in accordance with the instruction from the main control unit 43. ) Is a circuit device for driving and controlling, and is configured based on, for example, an FPGA (Field-Programmable Gate Array). The flight control unit 44 may be configured by the same circuit device as the main control unit 43. The main body 403 stores various sensors such as an orientation sensor, an acceleration sensor, and a gyro sensor (not shown), and the flight control unit 44 is output from the orientation sensor in front of the flying robot and the acceleration sensor output from the orientation sensor. The orientation of the flying robot 4 is controlled based on the acceleration applied to the flying robot 4 (for example, each acceleration in the three-axis directions) and the rotational angular velocity output from the gyro sensor (for example, the rotational angular velocity centered on each of the three axes). To do.

位置取得部45は、図示しないGPS(Global Positioning System)衛星又は準天頂衛星からの信号を受信する。位置取得部45は、その信号をデコードし、時刻情報等を取得する。次に、位置取得部45は、その時刻情報等に基づいて各衛星から飛行ロボット4までの擬似距離を計算し、その擬似距離を代入して得られる連立方程式を解くことにより、飛行ロボット4の自己位置(緯度、経度及び高度)を検出する。そして、位置取得部45は、検出した位置を示す位置情報と取得した位置時刻情報とを関連付けて、周期的にメイン制御部43に出力する。 The position acquisition unit 45 receives a signal from a GPS (Global Positioning System) satellite or a quasi-zenith satellite (not shown). The position acquisition unit 45 decodes the signal and acquires time information and the like. Next, the position acquisition unit 45 calculates the pseudo distance from each satellite to the flying robot 4 based on the time information and the like, and solves the simultaneous equations obtained by substituting the pseudo distance to obtain the flying robot 4. Detects self-position (latitude, longitude and altitude). Then, the position acquisition unit 45 associates the position information indicating the detected position with the acquired position time information and periodically outputs the information to the main control unit 43.

飛行記憶部46は、例えば、半導体メモリを有する。飛行記憶部46は、端末処理部29での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。飛行記憶部46は、データとして、学習モデル461を示すデータを記憶する。 The flight storage unit 46 has, for example, a semiconductor memory. The flight storage unit 46 stores a driver program, an operating system program, an application program, data, and the like used for processing in the terminal processing unit 29. The flight storage unit 46 stores data indicating the learning model 461 as data.

更新部47は、飛行記憶部46に記憶された学習モデル461を読み出して、学習モデル461を更新する更新処理を実行する。なお、更新処理の詳細は後述する。 The update unit 47 reads the learning model 461 stored in the flight storage unit 46 and executes an update process for updating the learning model 461. The details of the update process will be described later.

(メイン処理)
図3は、飛行ロボット4の画像認識部42及びメイン制御部43によって実行されるメイン処理のフローチャートの一例を示す図である。
(Main processing)
FIG. 3 is a diagram showing an example of a flowchart of the main process executed by the image recognition unit 42 and the main control unit 43 of the flight robot 4.

メイン制御部43は、コントローラ3から飛行指示を受信すると、飛行動作モードに移行する(ステップS101)。飛行動作モードは、待機位置において待機している待機モードにある飛行ロボット4を侵入物体の侵入位置まで飛行させ、侵入位置付近を飛行中に撮像画像内に対象動物が捉えられた場合は、飛行ロボット4に、出口位置まで対象動物を追い出す動作を行わせるモードである。飛行指示は、対象動物を検知した検知センサ2からの検知信号を受信したコントローラ3によって送信される。 Upon receiving the flight instruction from the controller 3, the main control unit 43 shifts to the flight operation mode (step S101). In the flight operation mode, the flying robot 4 in the standby mode waiting at the standby position is made to fly to the invasion position of the invading object, and when the target animal is captured in the captured image during the flight near the invasion position, the flight is performed. This mode causes the robot 4 to perform an operation of expelling the target animal to the exit position. The flight instruction is transmitted by the controller 3 that has received the detection signal from the detection sensor 2 that has detected the target animal.

メイン制御部43は、コントローラ3から飛行指示とともに、侵入物体の侵入位置データ、出口位置データ、及び飛行経路を示す経路データを受信する(ステップS102)。メイン制御部43は、飛行モードに移行した飛行ロボット4を離陸させるように飛行制御部44に指示する。そして、メイン制御部43は、経路データによって示される飛行経路を飛行ロボット4が飛行するように、位置取得部45によって出力された位置情報を参照しつつ飛行制御部44に飛行を指示する。飛行制御部44は、メイン制御部43の指示に応じた飛行を飛行ロボット4が行うように、モータ402を駆動させてローラ401を回転させる。 The main control unit 43 receives the flight instruction from the controller 3, the entry position data of the intruding object, the exit position data, and the route data indicating the flight path (step S102). The main control unit 43 instructs the flight control unit 44 to take off the flight robot 4 that has entered the flight mode. Then, the main control unit 43 instructs the flight control unit 44 to fly while referring to the position information output by the position acquisition unit 45 so that the flight robot 4 flies on the flight path indicated by the route data. The flight control unit 44 drives the motor 402 to rotate the roller 401 so that the flight robot 4 performs the flight in response to the instruction of the main control unit 43.

メイン制御部43は、位置取得部45によって出力された位置情報に基づいて、ステップS102で受信した侵入物体の侵入位置データによって示される侵入位置に、飛行ロボット4が到着したか否か判定する(ステップS103)。メイン制御部43は、飛行ロボット4が侵入位置に到着していないと判定した場合(ステップS103−No)、飛行ロボット4が侵入位置に到着するまで、飛行を継続するように飛行制御部44に指示する。 Based on the position information output by the position acquisition unit 45, the main control unit 43 determines whether or not the flight robot 4 has arrived at the intrusion position indicated by the intrusion position data of the intruding object received in step S102 ( Step S103). When the main control unit 43 determines that the flight robot 4 has not arrived at the intrusion position (step S103-No), the main control unit 43 tells the flight control unit 44 to continue the flight until the flight robot 4 arrives at the intrusion position. Instruct.

画像認識部42は、メイン制御部43によって飛行ロボット4が侵入位置に到着したと判定された場合(ステップS103−Yes)、侵入位置を含む周辺領域で、画像取得部41から順次取得した撮像画像において対象動物を捉えているか否かを、後述する学習モデル461を用いて判定する(ステップS104)。学習モデル461を用いた判定処理の詳細は後述する。 When the main control unit 43 determines that the flight robot 4 has arrived at the intrusion position (step S103-Yes), the image recognition unit 42 sequentially acquires the captured images from the image acquisition unit 41 in the peripheral region including the intrusion position. Whether or not the target animal is captured is determined by using the learning model 461 described later (step S104). Details of the determination process using the learning model 461 will be described later.

メイン制御部43は、画像認識部42によって、順次取得された撮像画像に検知センサ2が検知した侵入物体が対象動物ではない、又は侵入物体が捉えられない場合、対象動物が捉えられていないと判定して(ステップS104−No)、ステップS113に処理を進める。また、メイン制御部43は、画像認識部42によって順次取得された撮像画像に対象動物が捉えられたと判定した場合(ステップS104−Yes)、当該対象動物を追い出し対象の動物として決定し、追い出し飛行を開始する(ステップS105)。以降、追い出し対象の動物を追跡対象動物と称する場合がある。メイン制御部43は、追跡対象動物を決定すると、図4に示すように、出口位置及び追跡対象動物の位置に基づいて、飛行ロボット4が、追跡対象動物を、出口位置から監視区域の外へ追い出すための追い出し飛行を開始する。 When the invading object detected by the detection sensor 2 in the captured images sequentially acquired by the image recognition unit 42 is not the target animal, or the invading object is not captured, the main control unit 43 means that the target animal is not captured. After making a determination (step S104-No), the process proceeds to step S113. Further, when the main control unit 43 determines that the target animal is captured in the captured images sequentially acquired by the image recognition unit 42 (step S104-Yes), the main control unit 43 determines the target animal as the target animal to be expelled, and expels the target animal. Is started (step S105). Hereinafter, the animal to be expelled may be referred to as a tracked animal. When the main control unit 43 determines the tracking target animal, as shown in FIG. 4, the flying robot 4 moves the tracking target animal out of the monitoring area from the exit position based on the exit position and the position of the tracking target animal. Start a eviction flight to evict.

例えば、メイン制御部43は、画像認識部42によって、撮像画像に複数の対象動物が捉えられていると判定された場合、当該撮像画像内における出口位置の方向を判定し、出口位置との距離が最長である対象動物を追跡対象動物として決定してもよい。また、画像認識部42は、撮像画像に複数の対象動物が捉えられていると判定された場合、複数の動物のうち、複数の対象動物のそれぞれの移動方向を推定し、推定された各対象動物の移動方向のうち、出口位置への方向となす角度が最大である対象動物を追跡対象動物として特定してもよい。なお、対象動物の移動方向は、後述する移動方向推定処理によって推定される。 For example, when the image recognition unit 42 determines that a plurality of target animals are captured in the captured image, the main control unit 43 determines the direction of the exit position in the captured image and the distance from the exit position. The target animal having the longest is may be determined as the track target animal. Further, when it is determined that a plurality of target animals are captured in the captured image, the image recognition unit 42 estimates the movement direction of each of the plurality of target animals among the plurality of animals, and each estimated target. Of the moving directions of the animals, the target animal having the largest angle with the direction to the exit position may be specified as the tracking target animal. The movement direction of the target animal is estimated by the movement direction estimation process described later.

追い出し飛行が開始されると、画像認識部42は、ステップS104において撮像画像内に捉えた追跡対象動物を示す対象画像に対して、ラベリング処理を実行する。ラベリング処理は、撮像画像内において高温度又は高輝度の画素(例えば、画像内の画素値の平均値と比較して所定値以上の画素)について、隣接する画素の集合が一定の大きさ以上となる領域を変化領域として抽出し、各変化領域に対して、撮像画像内でユニークなラベルを割り当てる処理である。ラベリング処理は周知の手法であるため、詳細な説明を省略する。以降、順次取得された撮像画像において画像認識部42はラベリング処理を実行し、メイン制御部43は、ラベルが割り当てられた追跡対象動物を含む変化領域を追跡する。 When the eviction flight is started, the image recognition unit 42 executes a labeling process on the target image indicating the tracking target animal captured in the captured image in step S104. In the labeling process, for pixels with high temperature or high brightness in the captured image (for example, pixels having a predetermined value or more compared to the average value of the pixel values in the image), a set of adjacent pixels has a certain size or more. This is a process of extracting a region to be changed as a change region and assigning a unique label in the captured image to each change region. Since the labeling process is a well-known method, detailed description thereof will be omitted. After that, the image recognition unit 42 executes the labeling process on the sequentially acquired captured images, and the main control unit 43 tracks the change region including the tracked animal to which the label is assigned.

図4は、追い出し飛行の一例を説明するための模式図である。飛行ロボット4aは、撮像画像に追跡対象動物が捉えられたと判定した場合(ステップS104−Yes)における飛行ロボット4である。追い出し飛行中、メイン制御部43は、順次取得された撮像画像に、ラベルが割り当てられた追跡対象動物を示す変化領域が含まれる(捉えられる)位置であって、撮像方向が出口位置の方向になる位置に向かう飛行を飛行制御部44に指示する。取得された撮像画像に、ラベルが割り当てられた追跡対象動物を示す変化領域が含まれる(捉えられる)位置は、例えば、ラベルが割り当てられた追跡対象動物が、略中心に位置するような撮像画像が取得される飛行ロボット4の位置である。 FIG. 4 is a schematic diagram for explaining an example of the eviction flight. The flying robot 4a is the flying robot 4 when it is determined that the tracked animal is captured in the captured image (step S104-Yes). During the eviction flight, the main control unit 43 is at a position where the sequentially acquired captured images include (capture) a change region indicating the tracked animal to which the label is assigned, and the imaging direction is in the direction of the exit position. The flight control unit 44 is instructed to fly toward the position. The position where the acquired captured image includes (captures) a change region indicating the tracked animal to which the label is assigned is, for example, an captured image in which the tracked animal to which the label is assigned is located substantially in the center. Is the position of the flying robot 4 to be acquired.

図4に示すように、飛行ロボット4aは、飛行ロボット4aの位置において取得された撮像画像に、ラベルが割り当てられた追跡対象動物が含まれる位置にいる。しかしながら、飛行ロボット4aにおける撮像方向は、出口位置の方向を向いていない。このため、メイン制御部43は、位置取得部45によって出力された位置情報と出口位置データによって示される出口位置を参照し、飛行ロボット4aを左側に移動させるように飛行制御部44に指示する。 As shown in FIG. 4, the flying robot 4a is in a position where the tracked animal to which the label is assigned is included in the captured image acquired at the position of the flying robot 4a. However, the imaging direction of the flying robot 4a does not face the direction of the exit position. Therefore, the main control unit 43 refers to the exit position indicated by the position information and the exit position data output by the position acquisition unit 45, and instructs the flight control unit 44 to move the flight robot 4a to the left side.

図4に示すように、飛行ロボット4bは、飛行ロボット4aの位置よりも左側に移動した位置における飛行ロボット4である。飛行ロボット4bは、取得された撮像画像に、ラベルが割り当てられた追跡対象動物が含まれる位置にいる。しかしながら、飛行ロボット4bにおける撮像方向は、未だ出口位置の方向を向いていない。このため、メイン制御部43は、位置取得部45によって出力された位置情報と出口位置データによって示される出口位置を参照し、飛行ロボット4bを更に左側に移動させるように飛行制御部44に指示する。 As shown in FIG. 4, the flight robot 4b is a flight robot 4 at a position moved to the left side of the position of the flight robot 4a. The flying robot 4b is in a position where the captured image includes the tracked animal to which the label is assigned. However, the imaging direction of the flight robot 4b has not yet been directed to the exit position. Therefore, the main control unit 43 refers to the exit position indicated by the position information and the exit position data output by the position acquisition unit 45, and instructs the flight control unit 44 to move the flight robot 4b further to the left. ..

図4に示すように、飛行ロボット4cは、飛行ロボット4bの位置よりも左側に移動した位置における飛行ロボット4である。飛行ロボット4cは、取得された撮像画像に、ラベルが割り当てられた追跡対象動物が含まれる位置にいる。さらに、飛行ロボット4bにおける撮像方向は、出口位置の方向を向いている。このように、撮像画像に追跡対象動物が捉えられたと判定した場合(ステップS104−Yes)における飛行ロボット4は、メイン制御部43からの指示に応じて、4aに示す位置から4cに示す位置に飛行する。 As shown in FIG. 4, the flight robot 4c is a flight robot 4 at a position moved to the left side of the position of the flight robot 4b. The flying robot 4c is in a position where the captured image includes the tracked animal to which the label is assigned. Further, the imaging direction of the flight robot 4b is the direction of the exit position. In this way, when it is determined that the tracked animal is captured in the captured image (step S104-Yes), the flight robot 4 moves from the position shown in 4a to the position shown in 4c in response to the instruction from the main control unit 43. To fly.

次に、メイン制御部43は、飛行ロボット4cは、追跡対象動物から所定距離範囲内となる位置に更に移動するように飛行制御部44に指示する。このように、飛行ロボット4cを追跡対象動物に接近させることにより、飛行ロボット4cを嫌がる追跡対象動物を、出口位置の方向に移動させることが可能になる。 Next, the main control unit 43 instructs the flight control unit 44 to further move the flight robot 4c to a position within a predetermined distance range from the tracked animal. By bringing the flying robot 4c closer to the tracking target animal in this way, the tracking target animal that dislikes the flying robot 4c can be moved in the direction of the exit position.

野生動物の移動に応じて、ラベルが割り当てられた追跡対象動物の撮像画像内の位置が移動すると、上述のように、メイン制御部43は、順次取得された撮像画像に、ラベルが割り当てられた追跡対象動物を示す変化領域が含まれる(捉えられる)位置であって、撮像方向が出口位置の方向になる位置に向かう飛行を飛行制御部44に指示する。 When the position in the captured image of the tracked animal to which the label was assigned moves according to the movement of the wild animal, the main control unit 43 assigns the label to the captured images sequentially acquired as described above. The flight control unit 44 is instructed to fly toward a position in which the change region indicating the tracked animal is included (captured) and the imaging direction is the direction of the exit position.

このように、追い出し飛行では、ラベルが割り当てられた追跡対象動物を示す変化領域が含まれる(捉えられる)位置であって、撮像方向が出口位置の方向になる位置に向かう飛行と、追跡対象動物から所定距離範囲内となる位置に更に移動する飛行とが繰り返し実施される。 In this way, in the eviction flight, the flight toward the position where the change area indicating the tracked animal to which the label is assigned is included (captured) and the imaging direction is the direction of the exit position, and the tracked animal. The flight to move further to a position within a predetermined distance range is repeatedly carried out.

画像認識部42は、追い出し飛行中において、画像取得部41から順次取得した撮像画像に、追跡対象動物を捉えているか(ラベルが割り当てられた追跡対象動物を示す変化領域を追跡できているか)否かを判定する(ステップS106)。 Whether or not the image recognition unit 42 captures the tracking target animal in the captured images sequentially acquired from the image acquisition unit 41 during the eviction flight (whether or not the change region indicating the tracking target animal to which the label is assigned can be tracked). (Step S106).

メイン制御部43は、画像認識部42によって、画像取得部41から順次取得した撮像画像に、追跡対象動物が捉えられていると判定された場合(ステップS106−Yes)、追い出し飛行を継続する(ステップS107)。 When the image recognition unit 42 determines that the tracked animal is captured in the captured images sequentially acquired from the image acquisition unit 41 (step S106-Yes), the main control unit 43 continues the expelling flight (step S106-Yes). Step S107).

画像認識部42は、画像取得部41から順次取得した撮像画像に、一度捉えた追跡対象動物を捉えていないと判定した場合(ステップS106−No)、追跡対象動物の移動方向を推定する(ステップS108)。移動方向の推定では、画像認識部42は、撮像画像に追跡対象動物が捉えられなくなる直前の撮像画像において捉えた追跡対象動物の向きに基づいて、移動方向推定処理を実行する。移動方向推定処理の詳細は後述する。 When the image recognition unit 42 determines that the tracked animal once captured is not captured in the captured images sequentially acquired from the image acquisition unit 41 (step S106-No), the image recognition unit 42 estimates the moving direction of the tracked animal (step S106-No). S108). In estimating the movement direction, the image recognition unit 42 executes the movement direction estimation process based on the orientation of the tracking target animal captured in the captured image immediately before the tracking target animal cannot be captured in the captured image. The details of the movement direction estimation process will be described later.

メイン制御部43は、移動方向推定処理によって推定された移動方向の撮像画像が画像取得部41によって取得できるように、飛行ロボット4の向き及び/又は位置を変更する指示を飛行制御部44に行う(ステップS109)。メイン制御部43は、移動方向推定処理によって推定された移動方向が「右」である場合、飛行ロボット4の撮像方向を所定角度(例えば、30度)だけ右方向に回転させるよう飛行制御部44に指示する。なお、飛行ロボット4の向きの変更は、移動方向推定処理によって推定された移動方向に対応する向きの変更に限らず、推定された移動方向に対応する向きの変更後に、予め定められた複数の向きの変更が行われてもよい(例えば、飛行ロボット4の撮像方向を30度だけ右方向に回転させた後、左方向に60度回転させる等)。 The main control unit 43 gives an instruction to the flight control unit 44 to change the direction and / or position of the flight robot 4 so that the image acquisition unit 41 can acquire the captured image of the movement direction estimated by the movement direction estimation process. (Step S109). When the movement direction estimated by the movement direction estimation process is "right", the main control unit 43 rotates the image pickup direction of the flight robot 4 to the right by a predetermined angle (for example, 30 degrees). Instruct. The change of the direction of the flight robot 4 is not limited to the change of the direction corresponding to the movement direction estimated by the movement direction estimation process, and a plurality of predetermined changes after the change of the direction corresponding to the estimated movement direction. The orientation may be changed (for example, the imaging direction of the flying robot 4 is rotated 30 degrees to the right and then 60 degrees to the left).

画像認識部42は、飛行ロボット4の向きが変更された後に、追跡対象動物の追跡が可能か否かを判定する(ステップS110)。例えば、画像認識部42は、飛行ロボット4の向きが変更された後に画像取得部41によって取得された撮像画像に、追跡対象動物を捉えた場合、追跡対象動物の追跡が可能であると判定する。なお、撮像画像に、追跡対象動物が捉えられたか否かの判定に、移動方向推定処理が用いてもよい。また、画像認識部42は、飛行ロボット4の向きが変更された後に画像取得部41によって取得された撮像画像に、追跡対象動物を捉えられなかった場合、追跡対象動物の追跡が可能でないと判定する。 The image recognition unit 42 determines whether or not the tracking target animal can be tracked after the direction of the flying robot 4 is changed (step S110). For example, the image recognition unit 42 determines that the tracking target animal can be tracked when the tracking target animal is captured in the captured image acquired by the image acquisition unit 41 after the direction of the flight robot 4 is changed. .. The moving direction estimation process may be used to determine whether or not the tracked animal has been captured in the captured image. Further, the image recognition unit 42 determines that the tracking target animal cannot be tracked if the tracking target animal cannot be captured in the captured image acquired by the image acquisition unit 41 after the direction of the flight robot 4 is changed. To do.

メイン制御部43は、追跡対象動物の追跡が可能であると判定した場合(ステップS110−Yes)、当該追跡対象動物に対する追い出し飛行を再開し、ステップS106に処理を戻す。メイン制御部43は、追跡対象動物の追跡が可能でないと判定した場合(ステップS110−No)、ステップS112に処理を進める。 When the main control unit 43 determines that the tracking target animal can be tracked (step S110-Yes), the main control unit 43 resumes the expulsion flight to the tracking target animal and returns the process to step S106. When the main control unit 43 determines that the tracking target animal cannot be tracked (step S110-No), the process proceeds to step S112.

追い出し飛行中において(ステップS107)、メイン制御部43は、追跡対象動物を監視区域の外に追い出すことが成功したか否かを周期的に判定する(ステップS111)。例えば、メイン制御部43は、追い出し飛行の継続中において、位置取得部45によって出力された位置情報と出口位置データによって示される出口位置とに基づいて、飛行ロボット4が出口位置に到達したと判定した場合、追い出しに成功したと判定する。 During the eviction flight (step S107), the main control unit 43 periodically determines whether or not the tracked animal has been successfully evacuated out of the surveillance area (step S111). For example, the main control unit 43 determines that the flight robot 4 has reached the exit position based on the position information output by the position acquisition unit 45 and the exit position indicated by the exit position data while the expelling flight is continuing. If so, it is determined that the eviction was successful.

メイン制御部43は、追い出しに成功したと判定した場合(ステップS111−Yes)、領域区域内に他の対象動物がいないか否かを判定する(ステップS112)。例えば、メイン制御部43は、画像認識部42によって、追い出しに成功した後の撮像画像おいて追跡対象動物が捉えられたと判定された場合、他の対象動物がいると判定する。なお、他の対象動物の存否の判定は、上述の判定方法に限らない。例えば、追い出し飛行中又は追い出し成功後に、ステップS101及びS102と同様に、コントローラ3から飛行指示とともに、侵入物体の侵入位置データ、出口位置データ、及び飛行経路を示す経路データを受信した場合、メイン制御部43は、飛行ロボット4を侵入位置に飛行させるよう飛行制御部44を制御し、画像認識部42によって、順次取得された撮像画像に対象動物が捉えられたと判定された場合に、領域区域内に他の対象動物がいると判定してもよい。 When the main control unit 43 determines that the evacuation is successful (step S111-Yes), the main control unit 43 determines whether or not there is another target animal in the area (step S112). For example, when the image recognition unit 42 determines that the tracking target animal has been captured in the captured image after the successful removal, the main control unit 43 determines that there is another target animal. The determination of the presence or absence of other target animals is not limited to the above-mentioned determination method. For example, when the intruder's intrusion position data, exit position data, and route data indicating the flight route are received from the controller 3 together with the flight instruction, as in steps S101 and S102, during the eviction flight or after the eviction is successful, the main control The unit 43 controls the flight control unit 44 so as to fly the flight robot 4 to the intrusion position, and when the image recognition unit 42 determines that the target animal is captured in the captured images sequentially acquired, the unit 43 is within the area. It may be determined that there are other target animals in.

メイン制御部43は、追出しに成功していないと判定した場合(ステップS111−No)、ステップS106に処理を戻す。 When the main control unit 43 determines that the eviction has not been successful (step S111-No), the process returns to step S106.

メイン制御部43は、領域区域内に他の対象動物がいると判定した場合(ステップS112−No)、ステップS105に処理を戻す。 When the main control unit 43 determines that there is another target animal in the area (step S112-No), the process returns to step S105.

メイン制御部43は、領域区域内に他の対象動物がいないと判定した場合(ステップS112−Yes)、帰還動作へ移行し(ステップS113)、飛行ロボット4が待機位置に到着すると、待機モードに変更してメイン処理を終了する。 When the main control unit 43 determines that there are no other target animals in the area (step S112-Yes), the main control unit 43 shifts to the return operation (step S113), and when the flight robot 4 arrives at the standby position, it enters the standby mode. Change and end the main process.

(移動方向推定処理)
画像認識部42は、画像取得部41から撮像画像を順次取得し、取得した撮像画像に対して移動方向推定処理を実行する。画像認識部42は、例えば、YOLO(You Only Look Once)及びSSD(Single Shot MultiBox Detector)等のCNN(Convolutional Neural Network)をベースとした機械学習によって生成された学習モデル461を用いて移動方向推定処理を実行する。移動方向推定処理は、図3に示すメイン処理のステップS104及びステップS108において実行される。なお、SSDによる物体認識手法は、W.Liu,D.Anguelov,D.Erhan,C.Szegedy, and S.E.Reed,“SSD:Single Shot Multibox Detector”,December 29,2016,[online],<https://arxiv.org./pdf/1512.02325.pdf>等を参照されたい。
(Movement direction estimation process)
The image recognition unit 42 sequentially acquires captured images from the image acquisition unit 41, and executes a moving direction estimation process on the acquired captured images. The image recognition unit 42 estimates the moving direction using, for example, a learning model 461 generated by machine learning based on CNN (Convolutional Neural Network) such as YOLO (You Only Look Once) and SSD (Single Shot MultiBox Detector). Execute the process. The moving direction estimation process is executed in steps S104 and S108 of the main process shown in FIG. In addition, the object recognition method by SSD is described in W.I. Liu, D. Anguelov, D.I. Erhan, C.I. Szegedy, and S. E. Reed, "SSD: Single Shot Multibox Detector", December 29, 2016, [online], <https: // arxiv. org. / Pdf / 1512.02325. Please refer to pdf> etc.

YOLOは、リアルタイムで画像認識を行うアルゴリズムを用いた物体認識手法の一つであり、例えば、DarkNET等の機械学習フレームワーク上に実装される。以下、ステップS108におけるYOLOに基づく物体認識手法を実現する画像認識部42の処理の一例について説明する。画像認識部42は、まず、画像取得部41から取得した直前の撮像画像を複数のグリッド(例えば、一つのグリッドは、撮像画像を縦7且つ横7の領域に分割したもの)に分割し、対象動物が存在するグリッドに、対象動物の外形形状に外接するバウンディングボックスを設定する。バウンディングボックスは、対象動物を示す矩形領域である。画像認識部42は、各バウンディングボックス内の対象動物のクラス確率を算出する。クラス確率は、動物の種別及びその動物の向きの両者の確度を示す指標である。 YOLO is one of the object recognition methods using an algorithm that performs image recognition in real time, and is implemented on a machine learning framework such as DarkNET, for example. Hereinafter, an example of the processing of the image recognition unit 42 that realizes the object recognition method based on YOLO in step S108 will be described. First, the image recognition unit 42 divides the captured image immediately before the image acquired from the image acquisition unit 41 into a plurality of grids (for example, one grid divides the captured image into 7 vertical and 7 horizontal regions). A bounding box circumscribing the outer shape of the target animal is set on the grid on which the target animal exists. The bounding box is a rectangular area showing the target animal. The image recognition unit 42 calculates the class probability of the target animal in each bounding box. The class probability is an index showing the probability of both the type of animal and the orientation of the animal.

画像認識部42は、動物を示す動物画像と当該動物画像に対応するクラスを示す情報とを教師データとして用いた機械学習によって生成された学習モデルを用いる。学習モデルは、図示しないモデル学習装置が、動物を示す動物画像と当該動物画像に対応するクラスを示す情報とを教師データとして取得して、公知のディープラーニング学習を実行することにより、多層構造のニューラルネットワークにおける各ニューロンの重みが学習されて生成された学習モデルである。なお、学習モデルの生成処理は、飛行ロボット4の更新部47によって実行されてもよい。 The image recognition unit 42 uses a learning model generated by machine learning using an animal image showing an animal and information indicating a class corresponding to the animal image as teacher data. The learning model has a multi-layered structure in which a model learning device (not shown) acquires an animal image showing an animal and information indicating a class corresponding to the animal image as teacher data and executes known deep learning learning. It is a learning model generated by learning the weight of each neuron in the neural network. The learning model generation process may be executed by the update unit 47 of the flight robot 4.

図5(a)に示すように、クラスは、例えば、「前方を向く鹿」、「右前方を向く鹿」、「左前方を向く鹿」、「右方を向く鹿」、「左方を向く鹿」、「右後方を向く鹿」、「左後方を向く鹿」及び「後方を向く鹿」である。対象動物に人間が含まれてもよく、この場合、クラスは、「前方を向く人間」等である。複数の対象動物に関するクラスが設けられてもよく、この場合、クラスは、「右方を向く鹿群」等である。クラスは、対象動物の姿勢(立位、伏位等)が含まれてもよく、この場合、クラスは、「前方を向いて伏せている鹿」、「前方を向いて立っている鹿」等である。図5(b)は、図5(a)に示す各クラスに対応する動物画像の一例である。 As shown in FIG. 5 (a), the classes are, for example, "deer facing forward", "deer facing right front", "deer facing left front", "deer facing right", "deer facing left". They are "deer facing", "deer facing right rear", "deer facing left rear" and "deer facing rear". The target animal may include a human, in which case the class is "human facing forward" or the like. Classes for a plurality of target animals may be provided, in which case the class may be a "right-facing deer herd" or the like. The class may include the posture of the target animal (standing, prone, etc.), in which case the class may be "deer facing forward", "deer standing facing forward", etc. Is. FIG. 5B is an example of an animal image corresponding to each class shown in FIG. 5A.

画像認識部42は、学習モデルを用いて、直前の撮像画像において設定されたバウンディングボックス内の対象動物の画像を入力情報として推定されるクラス確率を算出する。例えば、画像認識部42は、クラス確率として「前方を向く鹿」が8%、「右前方を向く鹿」が23%、「左前方を向く鹿」が0.3%、「右方を向く鹿」が67%、「左方を向く鹿」が2%・・・を出力した場合、最大のクラス確率に対応するクラス「右方を向く鹿」を出力し、移動方向が「右」であると判断する。 The image recognition unit 42 uses the learning model to calculate the class probability estimated using the image of the target animal in the bounding box set in the immediately preceding captured image as input information. For example, the image recognition unit 42 has a class probability of 8% for "deer facing forward", 23% for "deer facing right front", 0.3% for "deer facing left front", and "facing right". When "deer" outputs 67%, "deer facing left" outputs 2%, etc., the class "deer facing right" corresponding to the maximum class probability is output, and the movement direction is "right". Judge that there is.

なお、ステップS104及びS110においても、移動方向推定処理が用いられる。例えば、画像認識部42は、学習済みの学習モデル461を用いることによって、順次取得した撮像画像において設定されたバウンディングボックス内の対象動物の画像を入力情報として推定されるクラス確率を算出する。そして、画像認識部42は、最も高い値のクラス確率に対応するクラスを出力する。例えば、画像認識部42は、クラス「左方を向く鹿」を出力した場合、撮像画像に、「左方を向く鹿」を捉えることになる。そして、種別「鹿」が対象動物である場合、ステップS104において、画像認識部42は、取得された撮像画像に対象動物を捉えたと判定する。なお、クラスに含まれる動物の種別が、対象動物でない場合、ステップS104において、画像認識部42は、取得された撮像画像に対象動物を捉えていないと判定する。 The movement direction estimation process is also used in steps S104 and S110. For example, the image recognition unit 42 calculates the class probability estimated by using the image of the target animal in the bounding box set in the sequentially acquired captured images as input information by using the learned learning model 461. Then, the image recognition unit 42 outputs the class corresponding to the class probability of the highest value. For example, when the image recognition unit 42 outputs the class "deer facing left", the image recognition unit 42 captures the "deer facing left" in the captured image. Then, when the type "deer" is the target animal, in step S104, the image recognition unit 42 determines that the target animal has been captured in the acquired captured image. If the type of animal included in the class is not the target animal, in step S104, the image recognition unit 42 determines that the target animal is not captured in the acquired captured image.

(移動方向推定処理の変形例1)
また、移動方向推定処理は、上述の処理に限らない。例えば、ステップS109において、移動方向推定処理によって推定された移動方向の撮像画像が画像取得部41によって取得できるように、飛行ロボット4の向きを変更しても、移動方向の撮像画像に追跡対象動物が捉えられない場合、メイン制御部43は、対象動物を捉えることができるまで、飛行ロボット4を一定方向(左周り、右周り)に回転させるよう、飛行制御部44に指示する。
(Modification example 1 of moving direction estimation processing)
Further, the moving direction estimation process is not limited to the above-mentioned process. For example, in step S109, even if the direction of the flight robot 4 is changed so that the captured image of the moving direction estimated by the moving direction estimation process can be acquired by the image acquisition unit 41, the captured image of the moving direction is the tracked animal. If is not captured, the main control unit 43 instructs the flight control unit 44 to rotate the flight robot 4 in a certain direction (counterclockwise, clockwise) until the target animal can be captured.

更新部47は、実際に対象動物を捉えることができた結果方向を記憶し、推定されたクラスと向きと結果方向を関連づけて飛行記憶部46に記憶する。そして、更新部47は、クラスごとに、結果方向の検知確率を算出し、算出した検知確率を示す情報を飛行記憶部46に記憶する。例えば、追跡対象動物が撮影画像に捉えられなくなる直前のクラスが「左前方を向く鹿」である場合、関連付けられた結果方向として、「左前方」が5回、「右前方」が3回、「後方」が2回である場合、図6に示すように、クラス「左前方を向く鹿」又は移動方向「左前方」に関連付けて、「左前方」の検知確率「0.5」、「右前方」の検知確率「0.3」及び「後方」の検知確率「0.2」が算出される。検知確率を示す情報は、検知確率情報の一例である。 The update unit 47 stores the result direction in which the target animal can be actually captured, and stores the estimated class, the direction, and the result direction in the flight storage unit 46 in association with each other. Then, the update unit 47 calculates the detection probability in the result direction for each class, and stores the information indicating the calculated detection probability in the flight storage unit 46. For example, if the class immediately before the tracked animal is no longer captured in the captured image is "deer facing left front", the associated result directions are "left front" 5 times, "right front" 3 times, and so on. When "rear" is twice, as shown in FIG. 6, the detection probabilities of "left front" are "0.5" and "rear" in association with the class "deer facing left front" or the movement direction "left front". The detection probability "0.3" for "right front" and the detection probability "0.2" for "rear" are calculated. The information indicating the detection probability is an example of the detection probability information.

このような検知確率を用いることにより、画像認識部42が、クラス「左前方を向く鹿」を出力し、移動方向が「左前方」であると判断した場合、初期の段階(結果方向が記憶されていない時期)では、メイン制御部43は、必ず、左前方の撮像画像が取得できるように、飛行制御部44に指示する。そして、更新部47による学習が進み、図6に示されるような結果方向が記憶された場合、画像認識部42が、クラス「左前方を向く鹿」を出力し、移動方向が「左前方」であると判断すると、メイン制御部43は、まず、検知確率が一番高い「左前方」の撮像画像が取得できるように、飛行制御部44に指示し、追跡対象動物を捉えることができなければ、検知確率が次に高い「右前方」の撮像画像が取得できるように、飛行制御部44に再指示し、さらに、追跡対象動物を捉えることができなければ、検知確率がその次に高い「後方」の撮像画像が取得できるように、飛行制御部44に再指示する。 By using such a detection probability, when the image recognition unit 42 outputs the class "deer facing left front" and determines that the moving direction is "left front", the initial stage (result direction is stored). In the period when it is not done), the main control unit 43 always instructs the flight control unit 44 so that the captured image on the left front side can be acquired. Then, when learning by the update unit 47 proceeds and the result direction as shown in FIG. 6 is stored, the image recognition unit 42 outputs the class "deer facing left front" and the movement direction is "left front". If this is determined, the main control unit 43 must first instruct the flight control unit 44 to acquire the captured image of the "left front" having the highest detection probability, and must be able to capture the tracked animal. For example, if the flight control unit 44 is re-instructed so that the captured image of the "right front" having the next highest detection probability can be acquired, and if the tracked animal cannot be captured, the detection probability is the next highest. The flight control unit 44 is re-instructed so that the captured image of "rear" can be acquired.

図6の例では、追跡対象動物が捉えられなくなる直前の方向と同じ移動方向の撮影画像を取得することで追跡対象動物を検知できる確率が最も高いが、その次に検知確率が高いのは、むしろ逆方向の例である。野生動物の動きは、一見不規則であり且つ予測しにくいものの、当該動きには、特有の法則性がある場合ある。上述のような検知確率を用いることによって、野生動物に特有の法則性を学習して予測ロジックに反映させることが可能となる。 In the example of FIG. 6, the probability that the tracked animal can be detected by acquiring the captured image in the same movement direction as the direction immediately before the tracked animal cannot be captured is the highest, but the detection probability is the next highest. Rather, it is an example in the opposite direction. Although wildlife movements are seemingly irregular and difficult to predict, they may have their own rules. By using the detection probability as described above, it is possible to learn the rules peculiar to wild animals and reflect them in the prediction logic.

なお、メイン制御部43による制御指示に、例外ルールが設定されてもよい。例えば、検知確率が一定未満の場合(例えば、「0.2」未満)、或いは検知可能性のある方向が所定数以上(例えば、3方向以上)の場合、メイン制御部43は、一度、飛行ロボット4が上昇するように飛行制御部44に指示する。そして、画像取得部41の視野範囲が広がることにより、画像認識部42が追跡対象動物を捉えた場合、メイン制御部43は、飛行ロボット4が下降するように飛行制御部44に指示する。一般に、野生動物の移動方向がランダムの場合、上述のような例外ルールによって飛行した方が追跡対象動物をより早く捉える可能性が高まる。なお、例外ルールによって飛行ロボット4を上昇させたことにより画像認識部42が追跡対象動物を捉えた場合、結果方向「上昇」と推定されたクラス(移動方向)とを関連付けて学習し、以降の移動方向推定処理に反映させてもよい。 An exception rule may be set in the control instruction by the main control unit 43. For example, when the detection probability is less than a certain value (for example, less than "0.2"), or when the number of possible directions is more than a predetermined number (for example, three or more directions), the main control unit 43 flies once. Instruct the flight control unit 44 to raise the robot 4. Then, when the image recognition unit 42 catches the tracking target animal by expanding the field of view of the image acquisition unit 41, the main control unit 43 instructs the flight control unit 44 to lower the flight robot 4. In general, when the wild animals move in random directions, it is more likely that the tracked animals will be caught faster if they fly according to the exception rules described above. When the image recognition unit 42 catches the tracking target animal by raising the flying robot 4 according to the exception rule, the learning is performed in association with the class (movement direction) estimated to be the result direction "rise", and thereafter. It may be reflected in the movement direction estimation process.

(移動方向推定処理の変形例2)
また、移動方向推定処理において、強化学習によって学習済みの学習モデル461が用いられてもよい。例えば、ステップS109において、移動方向推定処理によって推定された移動方向の撮像画像が画像取得部41によって取得できるように、飛行ロボット4の向きを変更しても、移動方向の撮像画像に追跡対象動物が捉えられない場合において、以降の移動方向推定処理において、画像認識部42は、強化学習によって学習済みの学習モデル461を用いる。
(Modification 2 of movement direction estimation processing)
Further, in the movement direction estimation process, the learning model 461 that has been learned by reinforcement learning may be used. For example, in step S109, even if the direction of the flying robot 4 is changed so that the captured image of the moving direction estimated by the moving direction estimation process can be acquired by the image acquisition unit 41, the captured image of the moving direction is the tracking target animal. In the subsequent movement direction estimation process, the image recognition unit 42 uses the learning model 461 that has been learned by reinforcement learning.

強化学習は、例えば、公知のQ学習である。学習モデル461として行動価値関数Qを使用する。Q学習では、環境の状態sと、その状態sで選択される行動aとを独立変数として、状態sで行動aを選択した場合の行動の価値を表す行動価値関数Q(s,a)が学習される。Q学習では、状態sと行動aとの相関性が未知の状態で学習が開始され、任意の状態sで種々の行動aを選択する試行錯誤を繰り返すことにより、行動価値関数Qが反復して更新される。また、Q学習では、ある状態sである行動aが選択された場合に、報酬rが得られるように構成され、より高い報酬rが得られる行動aが選択されるように、行動価値関数Qが学習される。 Reinforcement learning is, for example, known Q-learning. The action value function Q is used as the learning model 461. In Q-learning, the action value function Q (s, a) representing the value of the action when the action a is selected in the state s is set with the state s of the environment and the action a selected in the state s as independent variables. Be learned. In Q-learning, learning is started in a state where the correlation between the state s and the action a is unknown, and the action value function Q is repeated by repeating trial and error of selecting various actions a in an arbitrary state s. Will be updated. Further, in Q-learning, the action value function Q is configured so that the reward r is obtained when the action a in a certain state s is selected, and the action a in which a higher reward r is obtained is selected. Is learned.

行動価値関数Qの更新式は、以下の式(1)のように表される。 The update formula of the action value function Q is expressed as the following formula (1).

式(1)において、st及びatはそれぞれ時刻tにおける状態及び行動であり、行動atにより状態はstからst+1に変化する。rt+1は、状態がstからst+1に変化したことで得られる報酬である。maxQの項は、時刻t+1で最大の価値Qになる(と時刻tで考えられている)行動aを行ったときのQを意味する。α及びγはそれぞれ学習係数及び割引率であり、0<α≦1、0<γ≦1で任意に設定される。 In the formula (1), s t and a t is a state and behavior at each time t, the state by action a t changes from s t in s t + 1. r t + 1 is a reward obtained by the state changes from s t in s t + 1. The term of maxQ means the Q when the action a which becomes the maximum value Q at the time t + 1 (which is considered at the time t) is performed. α and γ are learning coefficients and discount rates, respectively, and are arbitrarily set with 0 <α ≦ 1 and 0 <γ ≦ 1.

学習モデル461は、移動方向の撮像画像に追跡対象動物が捉えられない場合における探索方向としての価値を定める行動価値関数Qである。行動価値関数Qの初期状態は、飛行ロボット4が事前に飛行しながら取得した映像データ等を用いて事前に学習される。更新部47は、過去に、移動方向の撮像画像に追跡対象動物が捉えられないことになった時に、その直前の撮像画像における対象動物の向きを状態stとして特定する。更新部47は、時刻tの対象動物の向きに対し、特定方向への移動を行動atとする。更新部47は、特定方向への移動状況に基づいて報酬rを設定する。なお、対象動物の向きは、例えば、ユーザが映像データを視認することによって入力される。 The learning model 461 is a behavioral value function Q that determines the value as the search direction when the tracked animal is not captured in the captured image in the moving direction. The initial state of the action value function Q is learned in advance using video data or the like acquired while the flight robot 4 is flying in advance. Updating unit 47, in the past, when the tracked animals became not captured in the moving direction of the captured image, to identify the orientation of the target animals in the immediately preceding captured image as a state s t. Updating unit 47, with respect to the orientation of the target animal of time t, the movement in a specific direction and action a t. The update unit 47 sets the reward r based on the movement status in a specific direction. The orientation of the target animal is input, for example, by the user visually recognizing the video data.

更新部47は、時刻tの対象動物の向きに対し、飛行ロボット4の撮像方向を特定方向に変更した場合、この変更によって対象動物が捉えられた場合は、行動atの報酬rとして0より大きい値を設定し、この変更によって対象動物が捉えられなかった場合は、行動atの報酬rとして0を設定する。なお、更新部47は、時刻tでの対象動物の向きに対し、飛行ロボット4の撮像方向の変更により、対象動物を捉えることができるまでの変更回数、又は、対象動物を捉えることができるまでの時間が少ないほど、報酬rを大きい値に設定してもよい。また、更新部47は、特定方向として、飛行ロボット4の上昇又は下降を、行動atとして含めてもよい。この場合、飛行ロボット4の上昇により視野範囲が広がり、対象動物を見つけ易いが、対象動物への威嚇効果は減少するため、上昇を伴わないで検知した場合より報酬rを、少ない値に設定してもよい。 Updating unit 47, with respect to the orientation of the subject animal at time t, if you change the imaging direction of flying robots 4 in a specific direction, if the subject animal were captured by this change, from 0 as compensation r action a t set a large value, the target animal by this change in the case that has not been captured, 0 is set as a reward r of the action a t. It should be noted that the update unit 47 changes the direction of the target animal at time t until the target animal can be captured by changing the imaging direction of the flying robot 4, or until the target animal can be captured. The smaller the time, the larger the reward r may be set. The updating unit 47, a specific direction, the raising or lowering of the flying robots 4, may be included as an action a t. In this case, the ascending of the flying robot 4 widens the field of view and makes it easier to find the target animal, but the threatening effect on the target animal is reduced. You may.

これにより、ステップS108において、画像認識部42は、学習された行動価値関数Qを使用した学習モデル461を用いて、撮像画像に追跡対象動物が捉えられなくなる直前の撮像画像から、高い報酬が得られる変更方向(飛行ロボット4の回転方向及び/又は位置)を出力することが可能となる。 As a result, in step S108, the image recognition unit 42 obtains a high reward from the captured image immediately before the tracked animal cannot be captured in the captured image by using the learning model 461 using the learned behavioral value function Q. It is possible to output the change direction (rotation direction and / or position of the flying robot 4).

以上、詳述したように、本発明に係る監視システム及び飛行ロボットは、順次取得された撮像画像によって侵入物体を追跡している場合において、追跡を失敗しても、追跡失敗前の撮像画像に基づいて侵入物体の移動方向を推定することで侵入物体の追跡の継続を可能とする。 As described in detail above, in the case where the surveillance system and the flying robot according to the present invention are tracking an intruding object by sequentially acquired captured images, even if the tracking fails, the captured image before the tracking failure is obtained. By estimating the moving direction of the invading object based on the above, it is possible to continue tracking the invading object.

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 It will be appreciated by those skilled in the art that various changes, substitutions and modifications can be made to this without departing from the spirit and scope of the invention.

1:監視システム、2:検知センサ、3:コントローラ、4:飛行ロボット、41:画像取得部、42:画像認識部、43:メイン制御部、44:飛行制御部、45:位置取得部、46:飛行記憶部、461:学習モデル、47:更新部 1: Monitoring system, 2: Detection sensor, 3: Controller, 4: Flight robot, 41: Image acquisition unit, 42: Image recognition unit, 43: Main control unit, 44: Flight control unit, 45: Position acquisition unit, 46 : Flight memory, 461: Learning model, 47: Update

Claims (7)

監視区域に侵入した侵入物体を検知する検知センサと、撮像画像を順次取得する画像取得部を有し、前記検知センサが前記侵入物体を検知すると自律的に飛行する飛行ロボットと、を備えた監視システムであって、
前記検知センサは、前記侵入物体の検知に応じて、前記侵入物体の侵入位置を示す侵入位置情報を出力し、
前記飛行ロボットは、
前記飛行ロボットの飛行を制御する飛行制御部と、
前記侵入位置情報を取得する位置取得部と、
前記侵入位置情報によって示される前記侵入位置付近を飛行中に取得された前記撮像画像において対象動物を捉えたか否かを判定する画像認識部と、
前記撮像画像に前記対象動物を捉えたと判定した場合、以降において取得された撮像画像に前記対象動物を捉えられる位置に飛行するように前記飛行制御部に指示するメイン制御部、とを有し、
前記画像認識部は、前記撮像画像に前記対象動物を捉えた後に、前記撮像画像に前記対象動物を捉えていないと判定すると、前記対象動物を捉えられなくなる直前の撮像画像における対象動物を示す対象画像に基づいて、前記対象動物の移動方向を推定し、
前記メイン制御部は、前記画像取得部の撮像方向が前記推定された移動方向に変更されるように、前記飛行ロボットの向きを変更することを前記飛行制御部に指示する、
ことを特徴とする監視システム。
Surveillance equipped with a detection sensor that detects an intruding object that has invaded the surveillance area, and a flying robot that has an image acquisition unit that sequentially acquires captured images and autonomously flies when the detection sensor detects the invading object. It ’s a system
The detection sensor outputs intrusion position information indicating the intrusion position of the intruding object in response to the detection of the intruding object.
The flying robot
A flight control unit that controls the flight of the flight robot,
The position acquisition unit that acquires the intrusion position information and
An image recognition unit that determines whether or not the target animal has been captured in the captured image acquired during flight near the intrusion position indicated by the intrusion position information.
When it is determined that the target animal has been captured in the captured image, the captured image acquired thereafter has a main control unit that instructs the flight control unit to fly to a position where the target animal can be captured.
When the image recognition unit determines that the target animal is not captured in the captured image after capturing the target animal in the captured image, the target indicating the target animal in the captured image immediately before the target animal cannot be captured. Based on the image, the moving direction of the target animal is estimated, and
The main control unit instructs the flight control unit to change the direction of the flight robot so that the imaging direction of the image acquisition unit is changed to the estimated movement direction.
A monitoring system characterized by that.
前記画像認識部は、動物を示す動物画像と当該動物の種別及び向きを示す情報とを教師データとして用いた機械学習によって生成された学習モデルによって、前記撮像画像に前記対象動物が捉えられなくなる直前の撮像画像に捉えられている対象動物を示す前記対象画像から推定される前記対象動物の種別及び向きを推定し、推定した前記向きを、前記対象動物の移動方向とする、請求項1に記載の監視システム。 Immediately before the target animal cannot be captured in the captured image by the learning model generated by machine learning using the animal image showing the animal and the information indicating the type and orientation of the animal as teacher data. The method according to claim 1, wherein the type and orientation of the target animal estimated from the target image showing the target animal captured in the captured image of the above are estimated, and the estimated orientation is set as the movement direction of the target animal. Surveillance system. 前記飛行ロボットは、記憶部を更に有し、
前記画像認識部は、前記メイン制御部による指示によって前記撮像方向が変更された後の撮像画像に前記対象動物を捉えたか否かを判定した結果を検知確率情報として前記記憶部に記憶し、
前記メイン制御部は、前記撮像方向が変更された後の前記撮像画像に前記対象動物を捉えていないと判定された場合、前記撮像方向が他の方向に変更されるように、前記飛行ロボットの向きを変更することを前記飛行制御部に再指示し、
前記検知確率情報に基づいて、前記対象動物の移動方向を推定し、前記撮像方向を決定する、請求項1又は2に記載の監視システム。
The flying robot further has a storage unit and has a storage unit.
The image recognition unit stores in the storage unit as detection probability information the result of determining whether or not the target animal has been captured in the captured image after the imaging direction has been changed by the instruction from the main control unit.
When the main control unit determines that the target animal is not captured in the captured image after the imaging direction is changed, the flight robot can change the imaging direction to another direction. Re-instruct the flight control unit to change the direction,
The monitoring system according to claim 1 or 2, wherein the moving direction of the target animal is estimated based on the detection probability information, and the imaging direction is determined.
前記飛行ロボットは、前記監視区域に侵入物体を前記監視区域の外に追い出すための出口位置に向かって自律的に飛行可能であり、前記画像認識部は、前記監視区域に侵入した前記対象動物が複数である場合、前記複数の対象動物のうち、前記出口位置との距離が最長である対象動物を追い出し対象として特定する、請求項1〜3のいずれか一項に記載の監視システム。 The flying robot can autonomously fly toward an exit position for expelling an object invading the surveillance area out of the surveillance area, and the image recognition unit allows the target animal invading the surveillance area to fly. The monitoring system according to any one of claims 1 to 3, wherein in the case of a plurality of target animals, the target animal having the longest distance from the exit position is specified as the target to be expelled. 前記飛行ロボットは、前記監視区域に侵入物体を前記監視区域の外に追い出すための出口位置に向かって自律的に飛行可能であり、
前記画像認識部は、
前記監視区域に侵入した前記対象動物が複数である場合、前記複数の対象動物のそれぞれの前記移動方向を推定し、
推定された各対象動物の前記移動方向のうち、前記出口位置への方向となす角度が最大である対象動物を追い出し対象として特定する、請求項1〜3のいずれか一項に記載の監視システム。
The flying robot can autonomously fly toward an exit position for expelling an intruding object into the surveillance area out of the surveillance area.
The image recognition unit
When there are a plurality of the target animals that have invaded the monitoring area, the movement directions of the plurality of target animals are estimated.
The monitoring system according to any one of claims 1 to 3, wherein among the estimated movement directions of each target animal, the target animal having the maximum angle with the direction to the exit position is specified as an expulsion target. ..
前記画像認識部は、前記推定された移動方向を状態とし、前記撮像方向の特定方向を行動とした場合における、前記行動に対する価値を定めた行動価値関数に基づいて、前記対象動物の移動方向を推定し、
前記飛行ロボットは、前記推定された移動方向において、前記飛行ロボットの向きを変更することにより撮像画像に前記対象動物が捉えられるようになった前記撮像方向を変更した方向に基づいて各行動に報酬を設定して、前記行動価値関数を更新する更新部を更に有する、請求項1に記載の監視システム。
The image recognition unit determines the moving direction of the target animal based on the behavioral value function that determines the value for the behavior when the estimated moving direction is set as the state and the specific direction of the imaging direction is set as the action. Estimate and
The flying robot rewards each action based on the direction in which the imaging direction is changed so that the target animal can be captured in the captured image by changing the direction of the flying robot in the estimated movement direction. The monitoring system according to claim 1, further comprising an update unit for updating the action value function.
撮像画像を順次取得する画像取得部を有し、自律的に飛行可能な飛行ロボットであって、
前記飛行ロボットの飛行を制御する飛行制御部と、
飛行中に取得された前記撮像画像において対象動物を捉えたか否かを判定する画像認識部と、
前記撮像画像に前記対象動物を捉えたと判定された場合、以降において取得された撮像画像に前記対象動物を捉えられる位置に向かう飛行を前記飛行制御部に指示するメイン制御部と、を有し、
前記画像認識部は、前記撮像画像に前記対象動物を捉えた後に、前記撮像画像に前記対象動物を捉えていないと判定すると、前記対象動物を捉えられなくなる直前の撮像画像における対象動物を示す対象画像に基づいて、前記対象動物の移動方向を推定し、
前記メイン制御部は、前記画像取得部の撮像方向が前記推定された移動方向に変更されるように、前記飛行ロボットの向きを変更することを前記飛行制御部に指示する、
ことを特徴とする飛行ロボット。
A flying robot that has an image acquisition unit that sequentially acquires captured images and can fly autonomously.
A flight control unit that controls the flight of the flight robot,
An image recognition unit that determines whether or not the target animal has been captured in the captured image acquired during flight.
When it is determined that the target animal has been captured in the captured image, the captured image acquired thereafter includes a main control unit that instructs the flight control unit to fly toward a position where the target animal can be captured.
When the image recognition unit determines that the target animal is not captured in the captured image after capturing the target animal in the captured image, the target indicating the target animal in the captured image immediately before the target animal cannot be captured. Based on the image, the moving direction of the target animal is estimated, and
The main control unit instructs the flight control unit to change the direction of the flight robot so that the imaging direction of the image acquisition unit is changed to the estimated movement direction.
A flying robot characterized by that.
JP2019064232A 2019-03-28 2019-03-28 Surveillance system and flying robot Active JP7155062B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019064232A JP7155062B2 (en) 2019-03-28 2019-03-28 Surveillance system and flying robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019064232A JP7155062B2 (en) 2019-03-28 2019-03-28 Surveillance system and flying robot

Publications (2)

Publication Number Publication Date
JP2020162438A true JP2020162438A (en) 2020-10-08
JP7155062B2 JP7155062B2 (en) 2022-10-18

Family

ID=72714587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019064232A Active JP7155062B2 (en) 2019-03-28 2019-03-28 Surveillance system and flying robot

Country Status (1)

Country Link
JP (1) JP7155062B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102392822B1 (en) * 2021-06-10 2022-05-02 주식회사 에이투마인드 Device of object detecting and tracking using day type camera and night type camera and method of detecting and tracking object

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101999A (en) * 2001-09-20 2003-04-04 Toshiba Lighting & Technology Corp Monitoring camera system
JP2014119827A (en) * 2012-12-13 2014-06-30 Secom Co Ltd Imaging system
JP2016119625A (en) * 2014-12-22 2016-06-30 セコム株式会社 Monitoring system
JP2017102824A (en) * 2015-12-04 2017-06-08 クラリオン株式会社 Tracker
KR20170137664A (en) * 2017-11-24 2017-12-13 노인철 A method of how to eliminate birds using speakers and spreader installed on the drones
JP2018050503A (en) * 2016-09-27 2018-04-05 正秀 小林 System and method for repelling or exterminating harmful animal
JP2018068221A (en) * 2016-10-31 2018-05-10 株式会社エンルートM’s Unmanned device for harmful animal extermination, harmful animal extermination method, and program
JP2018099044A (en) * 2016-12-19 2018-06-28 福岡金網工業株式会社 Capturing method of wild deer, and capturing installation
JP2019047755A (en) * 2017-09-11 2019-03-28 Kddi株式会社 Management device, program, management method, and flight device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101999A (en) * 2001-09-20 2003-04-04 Toshiba Lighting & Technology Corp Monitoring camera system
JP2014119827A (en) * 2012-12-13 2014-06-30 Secom Co Ltd Imaging system
JP2016119625A (en) * 2014-12-22 2016-06-30 セコム株式会社 Monitoring system
JP2017102824A (en) * 2015-12-04 2017-06-08 クラリオン株式会社 Tracker
JP2018050503A (en) * 2016-09-27 2018-04-05 正秀 小林 System and method for repelling or exterminating harmful animal
JP2018068221A (en) * 2016-10-31 2018-05-10 株式会社エンルートM’s Unmanned device for harmful animal extermination, harmful animal extermination method, and program
JP2018099044A (en) * 2016-12-19 2018-06-28 福岡金網工業株式会社 Capturing method of wild deer, and capturing installation
JP2019047755A (en) * 2017-09-11 2019-03-28 Kddi株式会社 Management device, program, management method, and flight device
KR20170137664A (en) * 2017-11-24 2017-12-13 노인철 A method of how to eliminate birds using speakers and spreader installed on the drones

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102392822B1 (en) * 2021-06-10 2022-05-02 주식회사 에이투마인드 Device of object detecting and tracking using day type camera and night type camera and method of detecting and tracking object

Also Published As

Publication number Publication date
JP7155062B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
US11460844B2 (en) Unmanned aerial image capture platform
JP7465615B2 (en) Smart aircraft landing
US20210250490A1 (en) Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
US20210065400A1 (en) Selective processing of sensor data
US20190250640A1 (en) Aerial vehicle touchdown detection
CN107850902A (en) Camera configuration in loose impediment
CN107637064A (en) Method and apparatus for image procossing
JP2014119828A (en) Autonomous aviation flight robot
JP6140458B2 (en) Autonomous mobile robot
CN114200471B (en) Forest fire source detection system and method based on unmanned aerial vehicle, storage medium and equipment
US11865978B2 (en) Object tracking system including stereo camera assembly and methods of use
CN112740226A (en) Operating system and method of movable object based on human body indication
US20200366815A1 (en) Environment acquisition system
JP6014484B2 (en) Autonomous mobile robot
JP2019050007A (en) Method and device for determining position of mobile body and computer readable medium
JP6530212B2 (en) Autonomous mobile robot
JP6469492B2 (en) Autonomous mobile robot
Lee et al. Air-to-air micro air vehicle interceptor with an embedded mechanism and deep learning
JP7155062B2 (en) Surveillance system and flying robot
Ngo et al. UAV Platforms for Autonomous Navigation in GPS-Denied Environments for Search and Rescue Missions
JP6595284B2 (en) Autonomous mobile robot
Çetin et al. Counter a drone and the performance analysis of deep reinforcement learning method and human pilot
JP6775981B2 (en) Surveillance system and object detection device
JP6726043B2 (en) Object detection sensor and monitoring system
JP6775980B2 (en) Surveillance system and object detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221005

R150 Certificate of patent or registration of utility model

Ref document number: 7155062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150