CN107406142A - 具有自动跟踪功能的无人机及其控制方法 - Google Patents

具有自动跟踪功能的无人机及其控制方法 Download PDF

Info

Publication number
CN107406142A
CN107406142A CN201680014180.6A CN201680014180A CN107406142A CN 107406142 A CN107406142 A CN 107406142A CN 201680014180 A CN201680014180 A CN 201680014180A CN 107406142 A CN107406142 A CN 107406142A
Authority
CN
China
Prior art keywords
image
unmanned plane
tracking
target object
tracking target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680014180.6A
Other languages
English (en)
Inventor
黄珍碧
朴住烘
任章东
朴孝镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Edii Kk
Original Assignee
Edii Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Edii Kk filed Critical Edii Kk
Publication of CN107406142A publication Critical patent/CN107406142A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种具有自动跟踪功能的无人机及其控制方法，包括：影像输入部，获取所述拍摄对象周边影像的图像；物体识别部，通过所述影像输入部利用获取的图像而提取关注领域，检测位于所述关注领域内的特定领域，测定出坐标后，将所述特定领域识别成跟踪对象物体；物体跟踪部，在所述物体识别部识别的所述跟踪对象物体用TLD(Tracking Learning Detection)学习算法方式算出其位置而跟踪的同时，生成与此相对应的用于使无人机驱动的驱动命令；运转识别部，识别所述跟踪对象物体的运转而生成与图像拍摄模式、视频拍摄模式及回位模式相对应的驱动命令；以及驱动控制部，根据所述物体跟踪部及运转识别部的驱动命令而驱动无人机。通过识别跟踪对象物体而自动跟踪，使无人机具有能够进行自动飞行的效果。

Description

具有自动跟踪功能的无人机及其控制方法
技术领域
本发明是作为涉及一种具有自动跟踪功能的无人机及其控制方法的发明，更具体而言，涉及一种具有自动跟踪功能的无人机及其控制方法，其利用由搭载用摄像机输入的外部影像信息，可以实现跟踪对象物体的识别及自动跟踪。
背景技术
最近摄像机搭载的遥控飞机、四轴飞行器、及无人机拍摄机等的无人机(UAV，Unmanned aerial vehicle)正在商业化，在摄像机拍摄等的多种领域也都有广泛使用。
这样的无人机作为超越了之前的主要运用于放送和军事领域的娱乐用，一般使用者利用拍摄用无人机，作为拍摄目的而使用的时代正在渐渐来临。
但是，现有技术的无人机通过RC(Remote Controller)及智能使用者终端，可以无线的形式控制，因此从使用者必须持有的观点来看是非效率性的，并且，从无人机特性上来看，使用者在地上手动控制的话，因使用者无法熟练操作而导致的事故频繁发生，因此昂贵的机器受损或者诱发事故的问题一直存在。
因此，即使使用者没有在地面上进行控制也能使无人机自发地识别摄像机拍摄对象后，可以使其自动跟踪，从而可以防止安全事故及昂贵无人机破损，这在现实上可以适用的涉及无人机的技术。
发明内容
(要解决的问题)
本发明为了解决上述问题而创作。本发明提供一种具有自动跟踪功能的无人机及其制造方法，其利用被无人机搭载用摄像机输入的外部影像信息而识别跟踪对象物体，通过自动跟踪使无人机可以自动飞行，因此就不需要昂贵的跟踪引导装置，可以大幅减少无人机的制造成本。
(解决问题的手段)
本发明实施例中的具有自动跟踪功能的无人机，基于一种自动跟踪拍摄对象的无人机，可包括：影像输入部，获取所述拍摄对象周边影像的图像；物体识别部，通过所述影像输入部利用获取的图像而提取关注领域，检测位于所述关注领域内的特定领域，测定出坐标后，将所述特定领域识别成跟踪对象物体；物体跟踪部，在所述物体识别部识别的所述跟踪对象物体TLD(Tracking Learning Detection)学习算法方式算出位置而跟踪的同时，生成与此相对应的用于使无人机驱动的驱动命令；运转识别部，识别所述跟踪对象物体的运转而生成与图像拍摄模式、视频拍摄模式及回位模式相对应的驱动命令；以及驱动控制部，根据所述物体跟踪部及运转识别部的驱动命令而驱动无人机。
本发明实施例中的具有自动跟踪功能的无人机，将无人机向所述跟踪对象物体移动的方向旋转，获取所述跟踪对象物体的周边影像的图像。在没能从所述图像中找到所述跟踪对象物体的情形下，将无人机在原地位置旋转的同时，可利用获取的单一全景图像而识别跟踪对象物体。
所述物体识别部利用类哈尔特征(Haar-like feature)从通过所述影像输入部获取的图像检测出特定领域，利用Adaboost(Adaboost)学习算法，提高检测出的特定领域的判断率，并且可以设定与检测的特定领域相对应的窗口坐标，将其识别成跟踪对象物体。
这时，所述跟踪对象物体如果是人，所述特定领域可以是对应于脸和上半身的领域。
所述物体追踪部可具备：跟踪器，利用扩张卡尔曼滤波器可以提高追踪对象物体的追踪性能；检测器，生成输入影像全部的多个搜索窗口，在各个搜索窗口中利用各个步骤分类算法的方式决定追踪对象物体是否存在；学习器，在连续输入的影像中利用半监督学习学习算法方式，改善所述检测器的性能；以及统合器，统合所述跟踪器和检测器的结果而对跟踪对象物体的位置进行最终判断，将相应坐标传达至所述驱动控制部。
适用于所述检测器的步骤别分类算法方式，其利用包含分散分类器、配套分类器及最近物距临近分类器的分类结构的分类算法方式，使实时处理变得可能。
本发明实施例中的具有自动跟踪功能的无人机还可以具有距离测定部，将在所述物体识别部识别的跟踪对象物体的图像数据的规模值存储，通过比较跟踪对象物体大小的变化量，使跟踪对象物体和无人机之间的一定距离得到维持。
本发明实施例中的具有自动跟踪功能的无人机还可具备影像存储部，对应于在所述运转识别部识别的运转模式，将在图像拍摄模式中拍摄的图像文件和视频拍摄模式中拍摄的视频文件存储。
本发明实施例中的具有自动跟踪功能的无人机的控制方法，其基于自动跟踪拍摄对象的无人机的控制方法，可以包括：拍摄步骤，拍摄所述拍摄对象的周围；特定领域检测步骤，从所述拍摄步骤中获得的图像中检测出脸部领域和上半身领域；物体识别步骤，测定对应于由所述特定领域检测的脸部领域和上半身领域的窗口坐标，从而识别成跟踪对象物体；物体跟踪步骤，控制无人机使其在所述物体识别步骤中识别的跟踪对象物体以维持一定距离的方式跟踪；运转识别步骤，识别所述跟踪对象物体的运转，并判断为图像拍摄模式、视频拍摄模式以及回位模式；无人机驱动步骤，在所述运转识别步骤中与识别的运转模式相对应地驱动无人机。
拍摄所述拍摄对象周围的拍摄步骤可包括：将无人机向所述跟踪对象物体移动的方向旋转，同时获取所述跟踪对象物体的周围影像图像的步骤；以及在所述图像中未能找到所述跟踪对象物体的情形下，将无人机在原地旋转的同时进行拍摄。
所述特定领域检测步骤，利用类哈尔特征从所述拍摄步骤中获取的图像中检测出对应于脸部领域和上半身领域的特定领域，利用Adaboost(Adaboost)学习算法，提高检测出特定领域的判断率。
所述物体跟踪步骤利用扩张卡尔曼滤波器提高跟踪对象物体的跟踪性能，生成输入影像全部的多个搜索窗口，并利用包含分散分类器、配套分类器及最近物距临近分类器的分类结构的分类算法方式，决定在所述各个搜索窗口中是否存在跟踪对象物体，在连续输入的影像中利用半监督学习算法方式，从而改善性能。
所述物体跟踪步骤可包括：将跟踪对象物体的图像数据的规模值存储的步骤；利用所述规模值而感知跟踪对象物体大小的变化量并存储的步骤；利用所述跟踪对象物体大小的变化量而计算无人机的移动坐标的步骤；以及利用所述无人机的移动坐标将和跟踪对象物体以一定的距离维持并跟踪的步骤。
(发明的效果)
正如上述说明所述，本发明利用无人机搭载用摄像机输入的外部影像信息，通过让特定物体的识别及自动跟踪可以进行，使无人机的自动飞行成为可能，因此就不再额外地需要昂贵的跟踪诱导装置，从而具有削减无人机的制造成本的效果。
并且，本发明通过使无人机自身能进行自动飞行，因此就不再额外地需要一般使用者手动操作的使用者用终端机，基于使用者的操作不熟练而导致的安全事故及机器破损就可以防患于未然，具有这样的效果。
并且，本发明提供的无人机，其在旋转时利用拍摄的多个图像连续地粘贴而制成的单一的全景图像而使用寻找跟踪对象的方法，因此具有提高盐酸速度和识别率的效果。
并且，本发明提供的无人机具有如下效果：当识别到人体的脸部和上半身的情形，自动测定坐标并可使用指定跟踪对象物体的方法，即使没有使用者的控制也可以自动跟踪特定的对象。
并且，本发明即使不增加其他的结构也能单纯地利用安置于无人机的摄像机所输入的图像，指定物体后不仅可以自动跟踪，也可以传达控制命令，可以实现向使用者和无人机提供方便的界面的效果。
附图说明
图1是图示本发明实施例中安装于无人机的摄像机的概略图。
图2是图示本发明实施例中无人机的结构的框图。
图3是图示本发明实施例的无人机的控制方法的流程图。
图4是用于说明图3所示流程图中的拍摄步骤的顺序图。
图5是图示用于说明图像接合技术的概略性附图。
图6是图示用于说明如图3所示流程图的特定领域检测步骤和物体识别步骤的顺序图。
图7是图示用于说明本发明实施例的物体识别部中所适用的类哈尔特征技法的顺序图。
图8是图示用于说明图3所示流程图的物体跟踪步骤的顺序图。
图9是图示用于说明图8所示检测器适用的步骤别分类算法方式的顺序图。
图10是图示用于说明图2所示的距离测定部的运转的顺序图。
图11是图示用于说明图3所示的运转识别步骤的顺序图。
具体实施方式
就本发明中涉及的说明不过是用于说明结构和功能的实施例，因此本发明的权利保护范围不能认为仅仅是局限于说明的实施例。也就是说，实施例具有多种多样的变形，可具有多种形态，因此本发明的权利保护范围应该理解为包含能够实现技术思想的均等物。
另外，本发明中所叙述用语的意思应该按照如下的方式理解。
“第1”、“第2”等的用语是用于将一个构成要素区别于另一个要素，不能因为这样的用语而限定权利要求的范围。例如，第1构成要素可以命名成第2构成要素，相类似地第2构成要素也可以命名成第1构成要素。
当言及“某个构成要素连接于另一个构成要素”时，应该理解为，它可以直接连接到其他构成要素上，但在中间也可由其他构成要素存在。相反，“某个构成要素直接连接到另一个构成要素”这样记载时，应该理解为在中间不存在其他构成要素。说明构成要素之间关系的其他描述，即“在之间”、“相邻于”、“直接相邻于”等，也应该采用相类似的方式去理解。
单个的表现理解为包含了未明确另行定义的多个表现，“包含”、“具有”等用语是为了指定被设置的特征、数字、步骤、动作、构成要素、部品或者组合以上要素的存在，应理解为未预先排除一个或一个以上的其他特征或者数字、步骤、动作、构成要素、部品或者其组合的存在或者附加功能。
在各个步骤中的识别符号(例如a,b,c等)是为了说明的方便而使用的，识别符号并不是说明各个步骤的顺序。各个步骤在文脉上既然不明确地记载特定顺序，也可与铭记的顺序相不同。即，各个步骤也可以与铭记的顺序相同，实质上也可同时执行，也可按照相反的顺序而执行。
这里所使用的所有用语可以另行定义，本发明所述的领域中，由具有通常知识的人所进行一般的理解相比是具有同样的意义。一般意义上在事前使用的定义的用语应该理解为与相关技术的文脉上具有相同的意义。在本发明中没有明确定义的情况下，不能理想地或是夸张地理解其形式上的意思。
以下参照附图对本发明的实施例进行说明。
图1是图示用于说明本发明实施例中安装与无人机的摄像机的概略图。
本发明实施例中具有自动跟踪功能的无人机如图1所示，涉及一种能自动跟踪拍摄对象的无人机，在无人机1的前方及下方设置的无人机搭载用摄像机10对拍摄对象进行拍摄，并利用拍摄获得的影像信息识别特定物体，从而可以自动跟踪。
这里，在附图中显示为所述摄像机10虽然设置在无人机1的前方及下方，但并不局限于此，根据跟踪对象及环境的变化也可以设置在无人机1的后方及上方。
图2是图示本发明实施例中的无人机结构的框图。
下方将参照图2对本发明实施例中的无人机的结构进行详细地说明。
本发明实施例的无人机1如图2所示，可以包括：影像输入部100，物体识别部200，物体跟踪部300，运转识别部400，驱动控制部500，距离测定部600以及影像存储部700.
具体而言，所述影像输入部100作为获取拍摄对象周边影像的图像的工具，可以指的是如图1所示的无人机搭载用摄像机10，并且可以根据无人机1的种类而具备获取拍摄对象周边影像的多种影像获取工具。
另外，本发明实施例中，将无人机向所述拍摄对象对应的跟踪对象物体移动的方向旋转，同时获取所述跟踪对象物体的周边影像的图像，如果在所述图像中未能找到所述跟踪对象时，便会将无人机在原地旋转，同时可以利用获取的单一全景图像，识别跟踪对象物体。
并且，所述物体识别部200可利用通过所述影像输入部100获取的图像，检测关注领域(Region Of Interest)，检测出位于所述关注领域内的特定领域并测定其坐标，之后将所述特定领域识别成跟踪对象物体。
这时，所述物体识别部200可利用类哈尔特征(Haar-like feature)从通过所述影像输入部获取的图像将特定领域检测出，并利用Adaboost(Adaboost)学习算法提高检测出的特定领域的判断率，设定与检测出的特定领域相对应的窗口坐标识别为跟踪对象。
如本发明实施例所示，所述跟踪物体如果是人，所述特定领域可以是对应脸部和上半身的领域，所述类哈尔特征和Adaboost学习算法是本发明实施例中适用的脸部检测算法的一种。
这里，所述类哈尔特征是在检测脸部时主要适用的方法，存在多种原型，这样的原型通过Adaboost学习算法而被用于表现出脸部，使脸部的检测能够更加高效。
并且所述物体跟踪部300，可以用TLD(Tracking Learning Detection)学习算法方式，算出所述物体识别部200中识别的所述跟踪对象物体的位置并进行跟踪的同时，与此相对应地生成用于使所述无人机驱动的驱动命令。
这时，所述物体跟踪部300可以具备有：跟踪器310，利用扩张卡尔曼滤波器提高对跟踪对象物体的跟踪性能；检测器320，生成输入影像全体的对个检测窗口，使用步骤别分类算法的方式，决定在各个检测窗口中是否存在跟踪对象物体；学习器330，在连续输入的影像中，利用半监督学习方式可将所述检测器的性能改善；统合器340，统合所述跟踪器310和检测器320的结果而对跟踪对象物体的位置进行最终判断，将相应坐标传达至所述驱动控制部500。
并且，适用于所述检测器320的步骤别分类算法方式，其利用包括分散分类器321、配套分类器322及最近物距临近分类器323的分类结构的分类算法方式，使实时处理变得可能。
并且，所述运转识别部400，可识别所述跟踪对象物体的运转而生成对应于照片拍摄模式、视频拍摄模式以及回位模式的驱动命令。所述驱动控制部500可根据所述物体跟踪部300及运转识别部400中生成的驱动命令，驱动无人机。
这时，所述驱动命令包括：无人机的移动方向，移动距离，旋转，高度的上升及下降，着陆，起飞，利用摄像机的图像拍摄及视频拍摄。
并且，所述距离测定部600将在所述物体识别部200识别的跟踪对象物体的图像数据的规模值存储，通过比较跟踪对象物体大小的变化量，使跟踪对象物体和无人机之间的一定距离得到维持。
并且所述影像存储部700可对应于所述运转识别部400所识别的运转模式，将在图像拍摄模式中拍摄的图像文件和视频拍摄模式中拍摄的视频文件存储。
图3是图示本发明实施例中无人机控制方法的流程图。
如图所示，本发明的实施例中具有自动跟踪功能的无人机的控制方法可包括：拍摄步骤S10；特定领域检测步骤S20；物体识别步骤S30；物体跟踪步骤S40；运转识别步骤S50，以及无人机驱动步骤S60。
首先，所述拍摄步骤S10作为对拍摄对象周围拍摄的步骤，可包括：将无人机沿着对应于所述拍摄对象的跟踪对象物体移动的方向而旋转，同时将所述跟踪对象物体的周围影像图像获取的步骤；以及在未能从所述图像中找到所述跟踪对象物体的情形下，将无人机在原地位置旋转，同时进行拍摄的步骤。
然后，所述特定领域检测步骤S20可以是从在所述拍摄步骤中获取的图像中检测脸部领域和上半身领域。
这里，所述特定领域检测步骤S20可利用类哈尔特征(Haar-like feature)检测与脸部领域和上半身领域对应的特定领域，利用adaboost(Adaboost)学习算法提高检测出的特定领域判断率
之后，所述物体识别步骤S30可测定由与所述特定领域检测的脸部领域和上半身领域相对应的窗口坐标，并将其识别成跟踪对象物体的步骤。
然后，所述物体跟踪步骤S40是控制无人机的步骤，使无人机与所述物体识别步骤S30中识别的跟踪对象物体保持一定的距离而跟踪。
然后，所述运转识别步骤S50是识别所述跟踪对象物体的运转，判断照片拍摄模式、视频拍摄模式及回位模式的步骤。
然后，所述无人机驱动步骤S60是与在所述运转识别步骤中识别的运转模式相对应地驱动无人机的步骤。
图4是用于说明图3所示流程图中的拍摄步骤的顺序图。图5是图示用于说明图4所示的图像合成中所使用的图像接合技术的概略性附图。
下面将参照图4至图5，对如图3所示的拍摄步骤S10进行说明。
如图2的内容所示，本发明实施例的无人机获取相当于拍摄对象的跟踪物体对象的周围影像的图像，在所述图像中未能找到所述跟踪对象物体的情形下，将无人机在原地旋转的同时可识别跟踪对象物体。
即，一般来说，大部分的摄像机由于事业(Field of View)的局限在跟踪的过程中，将拍摄对象漏掉的情形会经常发生。
为了减少这样的情况发生，一般而言将无人机沿着相当于拍摄对象的跟踪对象物体移动的方向旋转的同时，可以进行跟踪。
另外，如附图所示，利用影像输入部100所输入的图像识别跟踪对象物体的物体识别部200在未能检测出与所述跟踪对象物体相对应的特定领域的情形下，可利用螺旋传感器信息S11，将无人机在原地旋转S12的同时，进行拍摄并识别跟踪对象物体。
这时，要想利用一边旋转一边拍摄的连续图像，检测出跟踪对象物体对应的特定领域，就需要利用拍摄的所有图像判断各个图像内是否存在跟踪对象物体所对应的特定领域的过程。
这里，如果图像数增加得越多，那么计算量也会增加，因此为了防止此种情形，相比于利用一边旋转一边拍摄的所有图像识别跟踪对象物体，可以将一边旋转一边拍摄的连续图像用图像接合技术(参考论文1)连续粘贴而生成单一的全景图像(参考论文2)。
即，相比于利用许多张的连续图像，使用在一张全景图像中检测对应跟踪对象物体的特定领域的方法，可以提高计算速度和基于此的识别率。
图5是用于说明上述图像结合技术的概略图，根据本发明的实施例，首先无人机在原地旋转的期间，可利用螺旋传感器以一定旋转角度作为间隔，用摄像机10连续拍摄图像，然后存储于影像输入部100的内存(未图示)中。
这时，利用被连续拍摄的所有图像而用于生成全景图像，主要可以利用图像结合技术而进行图像的合成。(S13)
所谓的上述图像结合技术就是针对连续拍摄而获得的所有图像，对其中的特征点和所述特征点的特定技术子进行计算之后，连续图像之间的特征技术子之间的汉明距离(Hamming distance)最近的特征点，设定成配对替补，利用配对替补的正规化相关匹配法(NCC，Normalized cross correlation)和螺旋仪传感器数据，将配对替补的外扩边界线去除，并利用随机抽样一致(RANSAC，RANdom SAmple Consensus)对配对替补之间的关系，计算单应性矩阵(Homography Matrix)(参考论文3)，适用在生成全景图像中所使用的阿尔法混合算法，可以将图像合成。
图6是用于说明图3所示的流程图的特定领域检测步骤和物体识别步骤的顺序图。图7是用于说明本发明实施例中适用于物体识别部的类哈尔特征方法的概略图。
如图6所示，图3的特定领域检测步骤(S20)从影像输入部100获取的图像中首先提取(S21)关注领域(ROI)，之后利用(S23)类哈尔特征(Haar-like feature)(S23)检测(S24)对应面部以及上半身领域的窗口。
这里，所述类哈尔特征是由具有单纯特征的两个以上相邻的四角形领域构成，其值可以用各领域之间的亮度差来定义。
并且，图3的物体识别步骤S30可以是设定所述检测的窗口的坐标并识别为跟踪对象物体的过程，如图6所示，为了进行物体识别，可以将adaboost学习算法适用于用脸部及上半身模型学习器制作的模型的过程。
这时，图2的物体识别部200中，为了分类客体和背景可以利用分类器(Classfier)。所述分类器可以通过使用客体样本(positive)和背景样本(negative)而学习，也可利用上述的Adaboost学习算法。
所述adaboost学习算法是将性能低的弱分类器(Weak Classifier)组合二构成强分类器(Strong Classifier)的算法，可以将被弱分类器正确判定的样本加重值降低而错误判定的样本加重值提高的过程反复进行而构成强分类器。这样的过程可以一直反复进行，直到强分类器的性能达到目标。经过这样的过程，识别的脸部和上半身领域，测定对应这两者的窗口坐标后，可以将某个窗口指定为跟踪对象物体。
图8是用于说明图3流程图中的物体跟踪步骤的顺序图。图9是用于说明图8所示适用于检测器的步骤别分类算法方式的顺序图。
如附图内容所示，本发明实施例中的物体跟踪步骤S40，利用扩张卡尔曼滤波器对跟踪对象物体的跟踪性能进行提高(S41)，生成全部输入影像的多个检测窗口，并利用包含分散分类器、配套分类器及最近物距临近分类器的分类结构的分类算法方式，决定在所述各个搜索窗口中是否存在跟踪对象物体(S42)，在连续输入的影像中利用半监督学习算法方式而改善性能(S43)。
下面将参照附图，对本发明实施例的物体跟踪步骤S40进行详细的说明。
本发明的实施例中，所述物体跟踪步骤S40可以使用TLD(Tld LearningDetection)学习算法方式(参考论文5，参考论文6)。
利用之前叙述的物体识别部200的结果，如果检测到跟踪对象物体，则可以利用TLD(Tld Learning Detection)学习算法的方式对跟踪对象物体进行跟踪。
另外，跟踪对象物体如果移动，或是无人机移动的话，对应跟踪对象物体的拍摄对象的大小(规模)变化和旋转角度变化以及位置变化都会发生。并且，根据对拍摄对象的拍摄方向，拍摄对象的墨阳和特征也可能发生变化。因此，使用TLD(Tld LearningDetection)学习算法的方式，TLD算法方式最基本地包括：跟踪器310，检测器320，学习器330以及统合器340。
这时，本发明的实施例中所述跟踪器310虽然可以使用中值滤波器，为了提高跟踪性能，可以利用卡尔曼滤波器而进行跟踪。
并且，所述检测器320可以由步骤别检测器而构成。
所述检测器320通过输入图像的全体而生成检测窗口，并决定在各个检测窗口是否存在拍摄对象。根据初期边界框的大小而决定用于检测输入图像的所有领域窗口数量。
另外，本发明的实施例中，为了让所述检测器320在检测窗口中能试试判断拍摄对象是否存在，可以使用具有串联结构的分类器。
即，可以使用包括分散分类器321、配套分类器322及最近物距临近分类器323的三个步骤的步骤分类器。如附图所示，如果检测到拍摄对象的存在，可以得知数据传送至统合器340。
并且所述学习器330可以是用于在输入的连续影像中对检测器320的性能进行在线改善。
这可以利用半监督学习算法的方式，其利用之前贴标签的数据和未被贴标签的输入数据进行学习。
如附图所示的P-N学习器，通过两种样式的补丁程序对误差进行独立地推定，可以将错误分类的例题作为学习资料而使用并对训练分类器再次训练。
积极学习补丁包可以灵活运用连续视频影像中的时间结构，可以嘉定拍摄对象沿着路径而移动。在以前的框架中，可通过记忆客体的位置并利用框架件的跟踪器310而对位置进行跟踪。
通过跟踪器310的补丁包的可信度较高时，可以判断为有效的路径。在有效的移动路径上检测器320识别为否定的情形时，可以生成积极学习补丁，在检测出积极错误的情形时，可以生成否定学习补丁。并且拍摄对象的位置在有效的移动路径上时，可以将周围变成否定学习补丁。
所述统合器340统合跟踪器310和检测器320的结果，在最终输出拍摄对象位置后，将相应坐标传送至驱动控制部500。
图10作为用于说明图2距离测定部运转的顺序图，可以用于说明在之前叙述的物体跟踪步骤S40中与跟踪对象物体保持一定距离而跟踪的过程。
所述物体跟踪步骤S40可以包括：利用图2的距离测定部600，将跟踪对象物体图像数据的规模值存储的步骤；以及利用规模值，感知跟踪对象物体大小的变化量并存储的步骤；以及利用所述跟踪物体大小的变化量将无人机的移动坐标计算的步骤；以及利用所述无人机的移动坐标，与跟踪对象物体维持一定的距离并跟踪的步骤。
更具体而言，在物体识别部200中检测出的特定领域的图像A如果变成了图像B，由于远近变化，生成图像B’后，可以计算图像A的远近变化的图像A’规模值以及图像B’规模值的比率(坐标)。
这里，基准点变成最初坐标图像A’无人机可以经常维持在基准点。
如附图内容所示，如果图像A’大于图像B’，则在误差范围内将无人机向图像A’移动接近(S44)，图像A’小于图像B’时，在误差范围内将无人机向图像B’移动接近(S45)，如果图像A’等于图像B’时，在误差的范围内将无人机维持在现在的位置(S46)。
这时，就误差范围而言，无人机的横向和竖向的长度，以及高度两倍的坐标判断为同一位置。
图11是用于说明图3图示的运转识别步骤的顺序图。
如附图内容所示，与跟踪对象物体相对应的跟踪对象(使用者)如果执行图像拍摄模式、视频拍摄模式以及回位模式等既定的运转，运转识别部400可以判断各个模式。
这里，所述运转识别部400的判别方式，使用与在物体跟踪步骤S40中使用的相同的方式，对此部分的详细说明可以参照之前叙述的图8和图9的说明。
另外，本发明的实施例中，如果识别为图像拍摄模式，在时间管理工具410中设定的时间经过后，驱动控制部500控制影像存储部700，可将在影像输入部100输入的影像以JPEG形式压缩并存储。
并且，如果识别为视频拍摄模式，按照在时间管理工具410所设定的时间拍摄视频，驱动控制部500控制影像存储部700，可将在影像输入部100输入的视频压缩并存储。
另外，如果识别为回位模式，首先检测视频是否在拍摄中，之后将无人机回位至拍摄对象(使用者)所在的地方。
如上所示，本发明利用无人机搭载用摄像机输入的外部影像信息使特定物体的识别和自动跟踪成为可能，从而使无人机的自动费用成为可能。因此不再需要昂贵跟踪引导装置，可以减少无人机制造的成本，具有这样的效果。
并且，无人机通过使无人机能够自己自动飞行，因此就不再需要一般使用者手动操作的使用者用终端，这样就可以防止由于使用者操作不熟练而导致的安全事故和及其破损，具有防患于未然的效果。
并且，本发明提供一种无人机，其在识别人体的脸部及上半身时，自动测定坐标而指定跟踪对象物体，通过使用这样的方法，即使没有使用者进行控制，也能自动跟踪特定对象。
并且，本发明即使不增加其他的结构，也能单纯地利用安置于无人机的摄像机所输入的图像，指定物体后不仅可以自动跟踪，也可以传达控制命令，可以实现向使用者和无人机提供方便的界面的效果。
以上内容对本发明进行了详细的说明，但在这过程中所言及的实施例只是示例性部分，这绝不是局限于此的。本发明在不超出一下权利要求书所提供的本发明技术思想和领域的范围之内，对构成要素进行均等地替换程度的变形，是属于本发明范围内的。
工业上的实用性
本发明可以适用于具有自动跟踪功能的无人机以及其制造方法领域。

Claims (13)

1.一种具有自动跟踪功能并对拍摄对象自动跟踪的无人机，其特征在于，包括：
影像输入部，获取所述拍摄对象周边影像的图像；
物体识别部，利用通过所述影像输入部获取的图像而提取关注领域，检测位于所述关注领域内的特定领域，测定出坐标后，将所述特定领域识别成跟踪对象物体；
物体跟踪部，将在所述物体识别部识别的所述跟踪对象物体用TLD学习算法方式算出其位置而跟踪的同时，生成与此相对应的用于使无人机驱动的驱动命令；
运转识别部，识别所述跟踪对象物体的运转而生成与图像拍摄模式、视频拍摄模式及回位模式相对应的驱动命令；以及
驱动控制部，根据所述物体跟踪部及运转识别部的各个驱动命令而驱动无人机。
2.根据权利要求1所述的无人机，其特征在于，
将无人机向所述跟踪对象物体移动的方向旋转，获取所述跟踪对象物体的周边影像的图像，在未能从所述图像中找到所述跟踪对象物体的情形下，将无人机在原地位置旋转的同时，可利用获取的单一全景图像而识别跟踪对象物体。
3.根据权利要求1所述的无人机，其特征在于，
所述物体识别部利用类哈尔特征从通过所述影像输入部获取的图像检测特定领域，利用Adaboost学习算法，提高检测出的特定领域的判断率，并且可以设定与检测的特定领域相对应的窗口坐标，将其识别成跟踪对象物体。
4.根据权利要求3所述的无人机，其特征在于，
所述跟踪对象物体如果是人的情形，所述特定领域是对应于脸和上半身的领域。
5.根据权利要求1所述的无人机，其特征在于，
所述物体追踪部具备：
跟踪器，利用扩张卡尔曼滤波器可以提高追踪对象物体的追踪性能；
检测器，生成输入影像全部的多个搜索窗口，在各个所述搜索窗口中利用各个步骤分类算法的方式决定追踪对象物体是否存在；
学习器，在连续输入的影像中利用半监督学习算法方式，改善所述检测器的性能；以及
统合器，统合所述跟踪器和所述检测器的结果而对跟踪对象物体的位置进行最终判断，将相应坐标传达至所述驱动控制部。
6.根据权利要求5所述的无人机，其特征在于，
适用于所述检测器的步骤别分类算法方式，其利用包含分散分类器、配套分类器及最近物距临近分类器的分类结构的分类算法方式，使实时处理变得可能。
7.根据权利要求1所述的无人机，其特征在于，还包括：
距离测定部，将在所述物体识别部识别的跟踪对象物体的图像数据的规模值存储，通过比较跟踪对象物体大小的变化量，使跟踪对象物体和无人机之间维持一定的距离。
8.根据权利要求1所述的无人机，其特征在于，还包括：
影像存储部，对应于在所述运转识别部识别的运转模式，将在图像拍摄模式中拍摄的图像文件和视频拍摄模式中拍摄的视频文件存储。
9.一种具有自动跟踪功能并对拍摄对象能自动跟踪的无人机控制方法，其特征在于，包括：
拍摄步骤，拍摄所述拍摄对象的周围；
特定领域检测步骤，从所述拍摄步骤中获得的图像中检测脸部领域和上半身领域；
物体识别步骤，测定对应于由所述特定领域检测的脸部领域和上半身领域的窗口坐标，从而识别成跟踪对象物体；
物体跟踪步骤，控制无人机使其与在所述物体识别步骤中识别的跟踪对象物体维持一定距离进行跟踪；
运转识别步骤，识别所述跟踪对象物体的运转，并判断为图像拍摄模式、视频拍摄模式以及回位模式；以及
无人机驱动步骤，在所述运转识别步骤中与识别的运转模式相对应地驱动无人机。
10.根据权利要求9所述的无人机控制方法，其特征在于，
拍摄所述拍摄对象周围的拍摄步骤包括：
将无人机向所述跟踪对象物体移动的方向旋转，同时获取所述跟踪对象物体的周围影像图像的步骤；以及
在所述图像中未能找到所述跟踪对象物体的情形下，将无人机在原地旋转的同时进行拍摄的步骤。
11.根据权利要求9所述的无人机控制方法，其特征在于，
所述特定领域检测步骤，利用类哈尔特征从所述拍摄步骤中获取的图像中检测出对应于脸部领域和上半身领域的特定领域，利用Adaboost学习算法，提高检测出特定领域的判断率。
12.根据权利要求9所述的无人机控制方法，其特征在于，
所述物体跟踪步骤利用扩张卡尔曼滤波器提高跟踪对象物体的跟踪性能，生成输入影像全部的多个搜索窗口，并利用包含分散分类器、配套分类器及最近物距临近分类器的分类结构的分类算法方式，决定在所述各个搜索窗口中是否存在跟踪对象物体，在连续输入的影像中利用半监督学习算法方式，从而改善性能。
13.根据权利要求12所述的无人机控制方法，其特征在于，
所述物体跟踪步骤包括：
将跟踪对象物体的图像数据的规模值存储的步骤；
利用所述规模值而感知跟踪对象物体大小的变化量并存储的步骤；
利用所述跟踪对象物体大小的变化量而计算无人机的移动坐标的步骤；以及
利用所述无人机的移动坐标，和跟踪对象物体保持一定的距离并跟踪的步骤。
CN201680014180.6A 2015-08-19 2016-02-27 具有自动跟踪功能的无人机及其控制方法 Pending CN107406142A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150116709A KR101645722B1 (ko) 2015-08-19 2015-08-19 자동추적 기능을 갖는 무인항공기 및 그 제어방법
KR10-2015-0116709 2015-08-19
PCT/KR2016/001970 WO2017030259A1 (ko) 2015-08-19 2016-02-27 자동추적 기능을 갖는 무인항공기 및 그 제어방법

Publications (1)

Publication Number Publication Date
CN107406142A true CN107406142A (zh) 2017-11-28

Family

ID=56711391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680014180.6A Pending CN107406142A (zh) 2015-08-19 2016-02-27 具有自动跟踪功能的无人机及其控制方法

Country Status (4)

Country Link
US (1) US10303172B2 (zh)
KR (1) KR101645722B1 (zh)
CN (1) CN107406142A (zh)
WO (1) WO2017030259A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3054336A1 (fr) * 2016-07-22 2018-01-26 Parrot Drones Systeme autonome de prise de vues animees par un drone avec poursuite de cible et localisation amelioree de la cible.
JP2018037886A (ja) * 2016-08-31 2018-03-08 株式会社東芝 画像配信装置、画像配信システム、および画像配信方法
CN108886572B (zh) * 2016-11-29 2021-08-06 深圳市大疆创新科技有限公司 调整图像焦点的方法和系统
JP6794284B2 (ja) * 2017-01-31 2020-12-02 キヤノン株式会社 カメラ機能を有する携帯可能な情報処理装置、その表示制御方法、及びプログラム
US10375289B2 (en) * 2017-03-31 2019-08-06 Hangzhou Zero Zero Technology Co., Ltd. System and method for providing autonomous photography and videography
CN108965689A (zh) * 2017-05-27 2018-12-07 昊翔电能运动科技(昆山)有限公司 无人机拍摄方法及装置、无人机和地面控制装置
CN107024725B (zh) * 2017-05-31 2023-09-22 湖南傲英创视信息科技有限公司 一种大视场微光低空无人机探测装置
US11064184B2 (en) 2017-08-25 2021-07-13 Aurora Flight Sciences Corporation Aerial vehicle imaging and targeting system
US10495421B2 (en) 2017-08-25 2019-12-03 Aurora Flight Sciences Corporation Aerial vehicle interception system
CN107426548A (zh) * 2017-09-07 2017-12-01 四川智慧鹰航空科技有限公司 一种超小型低功耗图像传输设备
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
WO2019102498A1 (en) * 2017-11-27 2019-05-31 Nagarajan Bharath System and method for tracking performance of physical activity of a user
CN108427960B (zh) * 2018-02-10 2020-04-21 南京航空航天大学 基于改进Online Boosting和卡尔曼滤波器改进的TLD跟踪方法
KR102045667B1 (ko) * 2018-02-14 2019-12-03 동국대학교 산학협력단 드론의 제어 신호 생성 방법 및 제어 장치
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
EP3821313A4 (en) 2018-07-12 2022-07-27 Terraclear Inc. SYSTEM AND METHOD FOR IDENTIFICATION AND COLLECTION OF OBJECTS
CN110832495A (zh) * 2018-07-13 2020-02-21 深圳市大疆创新科技有限公司 波浪识别方法、装置、计算机可读存储介质和无人飞行器
KR102177655B1 (ko) 2018-11-14 2020-11-11 이병섭 Mvs 기반의 무인항공기를 갖춘 객체 추적 시스템
CN109636834A (zh) * 2018-11-22 2019-04-16 北京工业大学 基于tld改进算法的视频车辆目标跟踪算法
CN109857128B (zh) * 2018-12-18 2022-07-15 丰翼科技(深圳)有限公司 无人机视觉定点降落方法、系统、设备及存储介质
US10891490B2 (en) 2019-01-18 2021-01-12 International Business Machines Corporation Passive approaching object recognition for enhancing security systems
CN110008919A (zh) * 2019-04-09 2019-07-12 南京工业大学 基于视觉的四旋翼无人机人脸识别系统
WO2020219692A1 (en) * 2019-04-25 2020-10-29 Nec Laboratories America, Inc. Tracking indoor objects with inertial sensor measurements
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN110852146B (zh) * 2019-09-23 2023-05-16 合肥赛为智能有限公司 一种无人机图像特征点检测方法
WO2021231219A1 (en) * 2020-05-11 2021-11-18 Canon U.S.A., Inc. An unmanned autonomous vehicle and method for controlling the same
CN111812096B (zh) * 2020-06-02 2023-07-07 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
US11792517B2 (en) * 2020-09-30 2023-10-17 Snap Inc. Pose tracking for rolling shutter camera
CN112966149B (zh) * 2020-10-20 2022-02-18 圣凯诺服饰有限公司 海量数据实时搜索系统
CN112414224A (zh) * 2020-12-10 2021-02-26 成都微精控科技有限公司 一种针对特定目标的空域安防方法及系统
US11445121B2 (en) * 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method
CN113721449A (zh) * 2021-01-05 2021-11-30 北京理工大学 一种多旋翼机控制系统及方法
CN112866579B (zh) * 2021-02-08 2022-07-01 上海巡智科技有限公司 数据采集方法、装置及可读存储介质
TWI779850B (zh) 2021-06-24 2022-10-01 仁寶電腦工業股份有限公司 無人機遊戲之渲染方法
CN113837097B (zh) * 2021-09-26 2024-05-07 南京航空航天大学 一种面向视觉目标识别的无人机边缘计算验证系统和方法
CN114066936B (zh) * 2021-11-06 2023-09-12 中国电子科技集团公司第五十四研究所 一种小目标捕获过程中目标可靠性跟踪方法
KR20230085331A (ko) * 2021-12-07 2023-06-14 한국전자기술연구원 영상정보 기반의 벼 도복 자동 판독 장치 및 방법
CN114389623B (zh) * 2022-03-23 2022-07-26 湖南华诺星空电子技术有限公司 一种穿越机识别驱离方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103394199A (zh) * 2012-01-05 2013-11-20 鹦鹉股份有限公司 一种用于通过具有最小化干扰移动的机载摄像机来曝光的领航旋转翼无人机的方法
US20150134143A1 (en) * 2013-10-04 2015-05-14 Jim Willenborg Novel tracking system using unmanned aerial vehicles
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003264929A1 (en) 2002-09-23 2004-04-08 Stefan Reich Measuring and stabilising system for machine-controllable vehicles
US7789341B2 (en) 2004-04-14 2010-09-07 Arlton Paul E Rotary wing aircraft having a non-rotating structural backbone and a rotor blade pitch controller
KR100842101B1 (ko) 2007-06-15 2008-06-30 주식회사 대한항공 영상정보를 이용한 무인항공기 자동회수 방법
US9026272B2 (en) 2007-12-14 2015-05-05 The Boeing Company Methods for autonomous tracking and surveillance
JP4848382B2 (ja) * 2008-02-27 2011-12-28 三菱重工業株式会社 無人航空機及び無人航空機システム
KR100947990B1 (ko) 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
JP4896115B2 (ja) * 2008-11-21 2012-03-14 三菱電機株式会社 空中移動体からの自動追尾撮影装置
KR20100129143A (ko) 2010-04-12 2010-12-08 서이환 낙하산에 의한 무선조종항공기의 착륙장치
KR101157484B1 (ko) 2010-12-14 2012-06-20 주식회사 대한항공 무인항공기 자동회수 방법
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
JP2013119328A (ja) * 2011-12-08 2013-06-17 Canon Inc 自動追尾カメラシステム
KR20130067847A (ko) 2011-12-14 2013-06-25 한국전자통신연구원 무인 항공기를 이용한 공중 정찰 시스템 및 방법
JP6029446B2 (ja) 2012-12-13 2016-11-24 セコム株式会社 自律飛行ロボット
KR20130009895A (ko) 2013-01-05 2013-01-23 이상윤 공간정보기술을 이용한 무인항공기 통합네트워크시스템
US9141866B2 (en) 2013-01-30 2015-09-22 International Business Machines Corporation Summarizing salient events in unmanned aerial videos
KR101313908B1 (ko) 2013-05-10 2013-10-01 위아코퍼레이션 주식회사 레이저 레인지 게이트 방식을 이용한 영상 보안 시스템
KR20130086192A (ko) 2013-06-18 2013-07-31 이상윤 스마트안경을 이용한 무인항공기 제어와 조종시스템
JP6574938B2 (ja) * 2014-05-19 2019-09-18 ソニー株式会社 飛行装置および撮像装置
US9536320B1 (en) * 2014-12-23 2017-01-03 John H. Prince Multiple coordinated detectors for examination and ranging
CN104796611A (zh) * 2015-04-20 2015-07-22 零度智控（北京）智能科技有限公司 移动终端遥控无人机实现智能飞行拍摄的方法及系统
JP6100868B1 (ja) * 2015-11-09 2017-03-22 株式会社プロドローン 無人移動体の操縦方法および無人移動体監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103394199A (zh) * 2012-01-05 2013-11-20 鹦鹉股份有限公司 一种用于通过具有最小化干扰移动的机载摄像机来曝光的领航旋转翼无人机的方法
US20150134143A1 (en) * 2013-10-04 2015-05-14 Jim Willenborg Novel tracking system using unmanned aerial vehicles
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统

Also Published As

Publication number Publication date
US20180046188A1 (en) 2018-02-15
US10303172B2 (en) 2019-05-28
KR101645722B1 (ko) 2016-08-05
WO2017030259A1 (ko) 2017-02-23

Similar Documents

Publication Publication Date Title
CN107406142A (zh) 具有自动跟踪功能的无人机及其控制方法
KR101769601B1 (ko) 자동추적 기능을 갖는 무인항공기
Manduchi et al. Obstacle detection and terrain classification for autonomous off-road navigation
Keller et al. The benefits of dense stereo for pedestrian detection
Nicosevici et al. Automatic visual bag-of-words for online robot navigation and mapping
Mozos et al. Multi-part people detection using 2d range data
CN104899590B (zh) 一种无人机视觉目标跟随方法及系统
Leira et al. Object detection, recognition, and tracking from UAVs using a thermal camera
CN108447091A (zh) 目标定位方法、装置、电子设备及存储介质
US11508157B2 (en) Device and method of objective identification and driving assistance device
BR102013020974A2 (pt) Método de identificação de um objeto rastreado
CN103208008A (zh) 基于机器视觉的交通视频监控目标检测快速适应方法
CN106778712A (zh) 一种多目标检测与跟踪方法
JP5931662B2 (ja) 道路状況監視装置、及び道路状況監視方法
Hayet et al. Visual landmarks detection and recognition for mobile robot navigation
Le Saux et al. Rapid semantic mapping: Learn environment classifiers on the fly
Yang et al. Vehicle detection from low quality aerial LIDAR data
KR101656519B1 (ko) 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기
Stokkeland A computer vision approach for autonomous wind turbine inspection using a multicopter
Morita et al. View-based localization in outdoor environments based on support vector learning
Wang et al. Extraction of main urban roads from high resolution satellite images by machine learning
Lookingbill et al. Learning activity-based ground models from a moving helicopter platform
Khanloo et al. Max-margin offline pedestrian tracking with multiple cues
Chen Computer vision and machine learning for autonomous vehicles
Gualdi et al. Covariance descriptors on moving regions for human detection in very complex outdoor scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20201106