CN109409354A - 无人机智能跟随目标确定方法、无人机和遥控器 - Google Patents

无人机智能跟随目标确定方法、无人机和遥控器 Download PDF

Info

Publication number
CN109409354A
CN109409354A CN201710714275.5A CN201710714275A CN109409354A CN 109409354 A CN109409354 A CN 109409354A CN 201710714275 A CN201710714275 A CN 201710714275A CN 109409354 A CN109409354 A CN 109409354A
Authority
CN
China
Prior art keywords
target
candidate
external frame
image
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710714275.5A
Other languages
English (en)
Other versions
CN109409354B (zh
Inventor
梅江元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autel Robotics Co Ltd
Original Assignee
Autel Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autel Robotics Co Ltd filed Critical Autel Robotics Co Ltd
Priority to CN202110960187.XA priority Critical patent/CN113762252B/zh
Priority to CN201710714275.5A priority patent/CN109409354B/zh
Priority to PCT/CN2018/078582 priority patent/WO2019033747A1/zh
Priority to EP18717495.8A priority patent/EP3471021B1/en
Priority to US15/980,051 priority patent/US10740607B2/en
Publication of CN109409354A publication Critical patent/CN109409354A/zh
Application granted granted Critical
Publication of CN109409354B publication Critical patent/CN109409354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种无人机智能跟随目标确定方法、无人机和电子设备。所述方法包括：获取无人机传回的图像；根据用户对所述无人机传回的图像的点击获得感兴趣的区域图片；加载深度学习网络模型并将获取的所述区域图片输入所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；依据所述候选外接框及所述候选外接框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图像。本发明实施例通过获取用户感兴趣的图像，从而可以将该用户感兴趣的图像作为基于深度学习算法网络模型的输入，进行目标预测，计算量小、运算时间短、对硬件设备要求低。

Description

无人机智能跟随目标确定方法、无人机和遥控器
技术领域
本发明实施例涉及计算机视觉领域，特别涉及一种无人机智能跟随 目标确定方法、无人机和遥控器。
背景技术
随着无人机技术的发展，无人机在军事及民用领域都得到了广泛的 应用。随着应用的日趋广泛，对无人机的性能也不断提出新的要求，尤 其是在智能化上的要求。基于视觉的无人机智能跟随是智能化无人机的 关键功能之一，在行业中也有着重要的应用。在消费级无人机领域，智 能跟随功能是高端无人机的重要标志之一，为用户带来很多乐趣；在行 业级无人机领域，智能跟随可以用于逃犯追踪、异常目标行为分析等， 对国家安全以及治安维稳有着重要的意义。
在智能跟随技术中，如何对无人机拍摄的目标进行初始化一直是智 能跟随的难题之一，如果目标无法准确框选，接下来的跟踪过程很容易 出现目标丢失的情况。目前，动态目标的框选和识别一般是通过基于深 度学习的目标检测算法来完成，基于深度学习的目标检测算法，可以将 目标识别与定位过程在一个统一的深度学习框架中完成，且定位准确、 可识别种类很多。
实现本发明过程中，发明人发现相关技术中至少存在如下问题：基 于深度学习的目标检测算法计算量大，一次图片预测过程要达到十亿甚 至百亿次浮点运算，如果采用一般的处理器，则会导致运算时间非常长， 很难达到实时性要求，因此，对处理器的要求较高。
发明内容
本发明实施例的目的是提供一种算法计算量小、运算时间短、对硬 件设备要求低的无人机智能跟随目标确定方法、无人机和遥控器。
第一方面，本发明实施例提供了一种无人机智能跟随目标确定方法， 所述方法包括：
所述电子设备获取无人机传回的图像；
所述电子设备根据用户对所述无人机传回的图像的点击获得感兴 趣的区域图片；
所述电子设备加载深度学习网络模型并将获取的所述区域图片输 入所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所 述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设 类别的概率；
依据所述候选外接框及所述候选外接框内的目标属于预设类别的 概率判断所述区域图片内是否存在目标图像；
如果存在目标图像，则发送目标跟随命令给所述无人机。
可选的，所述方法还包括：如果不存在目标图像，所述电子设备提 示用户所述图像内无感兴趣的目标。
可选的，所述方法还包括：如果不存在目标图像，所述电子设备提 示用户重新点击所述图像以重新选择感兴趣目标。
可选的，所述依据所述候选外接框及所述候选外接框内的目标属于 预设类别的概率判断所述区域图片内是否存在目标图像，包括：
S1：针对每一个所述预设类别，获取属于该预设类别概率最大的目 标对应的候选外接框，分别计算其他各个候选外接框与该候选外接框的 重合率，将重合率大于第一预设阀值的候选外接框内的目标属于该预设 类别的概率置为零；
S2：针对其他各个预设类别，重复步骤S1；
S3：针对执行完步骤S2后剩下的每个候选外接框，获取该候选外 接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该 候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目 标作为可能目标图像；
S4：计算所述可能目标图像与所述用户点击位置的距离系数，则所 述距离系数δ表示为：
其中，可能目标图像的坐标为(xo，yo)，点击位置坐标为(xp，yp)；
S5、获取各个可能目标图像的距离系数与其所属的类别的概率的乘 积并找出所述乘积的最大值，如果该最大值大于第三预设阀值，则将该 乘积的最大值对应的可能目标图像作为所述目标图像，记录所述目标图 像所属的类别。
可选的，所述深度学习网络模型包括至少2个卷积层和至少2个采 样层。
可选的，所述深度学习网络模型依次包括：
第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷 积层、第三下采样层、第四卷积层、第四下采样层、第五卷积层、第五 下采样层、第六卷积层、第六下采样层、第七卷积层、第八卷积层和区 域层。
可选的，所述第一卷积层、所述第二卷积层、所述第三卷积层、所 述第四卷积层、所述第五卷积层和所述第六卷积层中，后一个卷积层的 滤波器数量是前一个卷积层滤波器数量的2倍，所述第六卷积层和所述 第七卷积层的滤波器数量相等；
所述第一下采样层、所述第二下采样层、所述第三下采样层、所述 第四下采样层和所述第五下采样层的窗口尺寸为2*2像素，跳跃间隔为 2，所述第六下采样层的窗口尺寸为2*2像素，跳跃间隔为1。
可选的，所述第一卷积层的滤波器数量为4，所述第一下采样层、 所述第二下采样层、所述第三下采样层、所述第四下采样层、所述第五 下采样层和所述第六下采样层均采用最大值下采样法。
可选的，各个所述卷积层均使用3*3像素的滤波器。
可选的，所述区域图片大小为288*288像素，利用所述深度学习网 络模型共获得9*9*5个所述候选外接框。
第二方面，本发明实施例提供了一种无人机智能跟随目标确定方法， 所述方法包括：
所述无人机获取图像；
所述无人机根据用户的点击操作获取感兴趣的区域图片；
所述无人机加载深度学习网络模型并将获取的所述区域图片输入 所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所述 区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类 别的概率；
依据所述候选外接框及所述候选外接框内的目标属于预设类别的 概率判断所述区域图片内是否存在目标图像；
如果存在目标图像，则跟随所述目标。
可选的，所述方法还包括：如果不存在目标图像，所述无人机发送 指令至电子设备，所述指令用于提示所述用户所述图像内无感兴趣目标。
可选的，所述指令还用于提示所述用户重新点击所述图像以重新选 择感兴趣目标。
可选的，所述依据所述候选外接框及所述候选外接框内的目标属于 预设类别的概率判断所述区域图片内是否存在目标图像，包括：
S1：针对每一个所述预设类别，获取属于该预设类别概率最大的目 标对应的候选外接框，分别计算其他各个候选外接框与该候选外接框的 重合率，将重合率大于第一预设阀值的候选外接框内的目标属于该预设 类别的概率置为零；
S2：针对其他各个预设类别，重复步骤S1；
S3：针对执行完步骤S2后剩下的每个候选外接框，获取该候选外 接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该 候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目 标作为可能目标图像；
S4：计算所述可能目标图像与所述用户点击位置的距离系数，则所 述距离系数δ表示为：
其中，可能目标图像的坐标为(xo，yo)，点击位置坐标为(xp，yp)；
S5、获取各个可能目标图像的距离系数与其所属的类别的概率的乘 积并找出所述乘积的最大值，如果该最大值大于第三预设阀值，则将该 乘积的最大值对应的可能目标图像作为所述目标图像，记录所述目标图 像所属的类别。
可选的，所述深度学习网络模型包括至少2个卷积层和至少2个采 样层。
可选的，所述深度学习网络模型依次包括：
第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷 积层、第三下采样层、第四卷积层、第四下采样层、第五卷积层、第五 下采样层、第六卷积层、第六下采样层、第七卷积层、第八卷积层和区 域层。
可选的，所述第一卷积层、所述第二卷积层、所述第三卷积层、所 述第四卷积层、所述第五卷积层和所述第六卷积层中，后一个卷积层的 滤波器数量是前一个卷积层滤波器数量的2倍，所述第六卷积层和所述 第七卷积层的滤波器数量相等；
所述第一下采样层、所述第二下采样层、所述第三下采样层、所述 第四下采样层和所述第五下采样层的窗口尺寸为2*2像素，跳跃间隔为 2，所述第六下采样层的窗口尺寸为2*2像素，跳跃间隔为1。
可选的，所述第一卷积层的滤波器数量为4，所述第一下采样层、 所述第二下采样层、所述第三下采样层、所述第四下采样层、所述第五 下采样层和所述第六下采样层均采用最大值下采样法。
可选的，各个所述卷积层均使用3*3像素的滤波器。
可选的，所述区域图片大小为288*288像素，利用所述深度学习网 络模型共获得9*9*5个所述候选外接框。
第三方面，本发明实施例提供了一种遥控器，包括：
操作杆；
信号接收器，用于接收无人机传回的图像；
信号发送器，用于发送指令给所述无人机；
显示屏；以及
处理器；
其中，处理器用于：
根据用户对所述无人机传回的图像的点击获得感兴趣的区域图片；
加载深度学习网络模型并将获取的所述区域图片输入所述深度学 习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中 目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；
依据所述候选外接框及所述候选外接框内的目标属于预设类别的 概率判断所述区域图片内是否存在目标图像；
如果存在目标图像，则通过所述信号发送器发送目标跟随命令给所 述无人机。
可选的，如果不存在目标图像，所述显示屏显示所述图像内无感兴 趣的目标的提示。
可选的，如果不存在目标图像，所述显示屏显示重新点击所述图像 以重新选择感兴趣目标的提示。
可选的，所述处理器还用于执行第一方面中任一所述的方法。
第四方面，本发明实施例提供了一种无人机，包括机身、与所述机 身相连的机臂、设于所述机臂的动力装置、用于获取图像的图像传感器、 设于所述机身内的处理器和信号发送器，所述处理器用于：
根据用户的点击操作获取感兴趣的区域图片；
加载深度学习网络模型并将获取的所述区域图片输入所述深度学 习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中 目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；
依据所述候选外接框及所述候选外接框内的目标属于预设类别的 概率判断所述区域图片内是否存在目标图像，如果存在目标图像，则控 制所述无人机跟随所述目标。
可选的，所述方法还包括：如果不存在目标图像，所述无人机通过 所述信号发送器发送指令至电子设备，所述指令用于提示所述用户所述 图像内无感兴趣目标。
可选的，所述指令还用于提示所述用户重新点击所述图像以重新选 择感兴趣目标。
可选的，所述处理器还用于执行第二方面中任一项所述的方法。
第五方面，本发明实施例提供了一种非易失性计算机可读存储介质， 所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执 行指令被电子设备执行时，使所述电子设备第一方面的任一项所述的方 法。
第六方面，本发明实施例提供了一种非易失性计算机可读存储介质， 所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执 行指令被无人机执行时，使所述无人机执行第二方面任一项所述的方法。
第七方面，本发明实施例提供了一种计算机程序产品，所述计算机 程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所 述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所 述电子设备执行第一方面所述的方法。
第八方面，本发明实施例提供了一种计算机程序产品，所述计算机 程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所 述计算机程序包括程序指令，当所述程序指令被无人机执行时，使所述 无人机执行第二方面所述的方法。
本发明实施例的有益效果是：本发明实施例根据用户的点击位置在 原始图像上获取感兴趣的区域图片，并将所述感兴趣的区域图片输入深 度学习网络模型进行目标预测，计算量小、运算时间短、对硬件设备要 求低。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明， 这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标 号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例 限制。
图1是本发明实施例提供的目标确定方法和装置的应用场景示意图；
图2是电子设备执行的本发明目标确定方法的一个实施例的流程示 意图；
图3是本发明目标确定方法的一个实施例的过程示意图；
图4是本发明目标确定方法的一个实施例中对候选外接框进行去重 处理步骤的示意图；
图5是本发明实施例中基于深度学习算法的网络结构的示意图；
图6是无人机执行的本发明目标确定方法的一个实施例的流程示意 图；
图7是本发明目标确定装置的一个实施例的结构示意图；
图8是本发明目标确定装置的一个实施例的结构示意图；
图9是本发明实施例提供的无人机的硬件结构示意图；
图10是本发明实施例提供的电子设备的硬件结构示意图；
图11是本发明实施例提供的遥控器的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合 本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的 实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的无人机智能跟随目标确定方法和装置适用于 如图1所示的应用场景。所述应用场景包括无人机10、电子设备20和 用户30。所述无人机10可以是任何合适类型的高空或者低空飞行器， 包括典型的四轴飞行器、可悬停的遥控直升机或者具有一定移动速度的 固定翼飞行器等。电子设备20可以是例如遥控器、智能手机、平板电 脑、个人电脑、手提电脑等。用户30可以通过任何合适类型的、一种 或者多种用户交互设备与电子设备20交互，这些用户交互设备可以是 鼠标、按键、触摸屏等。无人机10和电子设备20可以通过分别设置在 其内部的无线通信模块建立通信连接，上传或者下发数据/指令。
无人机10可以实现对目标的跟踪，所述目标例如是特定的人、车、 船或者动物等，为了跟踪目标，所述无人机10需要首先确定目标。无 人机10上设置有至少一个图像采集装置，例如高清摄像头或者运动摄 像机等，用以完成图像的拍摄。无人机10将所述图像通过无线网络回 传到电子设备20上，电子设备20将所述图像在电子设备20的屏幕上 显示。用户30可以对所述图像进行操作，例如点击所述图像上的某一 感兴趣的目标，电子设备20依据用户30的点击操作以确定所述图像中 感兴趣目标的位置。
可以基于深度学习网络模型对拍摄图像中的目标进行识别和确认， 如果对整个原始图像进行图像识别，计算量较大。而根据用户30的点 击位置在原始图像上获取用户30感兴趣的区域图片，然后针对该用户 30感兴趣的区域图片进行图像识别，相对计算量小，识别速度快。可以 由电子设备20从原始图像中根据用户30的点击位置获得用户30感兴 趣的区域图片，然后再针对该用户30感兴趣的区域图片基于深度学习 算法进行目标识别，获得目标图像。本实施例中，将深度学习网络模型 加载在电子设备20端，在电子设备20上完成目标识别和确认，不会占 用无人机10的计算资源，在无人机10未增加任何硬件成本的条件下， 为无人机10增加了新的功能。在其他可能的实施例中，深度学习网络 模型也可以加载在无人机10端，电子设备20将用户30感兴趣的区域 图片和用户30的点击位置发送给无人机10，由无人机10对该用户30 感兴趣的区域图片基于深度学习算法进行目标识别，获得目标图像。电 子设备20也可以仅将用户30的点击位置发送给无人机10，由无人机 10根据该点击位置在原始图像上获得感兴趣的区域图片，并基于该感兴 趣的区域图片进行识别。
图2为本发明实施例提供的一种无人机智能跟随目标确定方法的流 程示意图，所述方法可以由图1中的电子设备20执行，如图2所示， 所述方法包括：
101：电子设备20获取无人机10传回的图像；
无人机10拍摄图像后会将所述图像发送给电子设备20，电子设备20接收到无人机10回传的图像后，可以在电子设备20的屏幕上显示所 述图像。
102：电子设备20根据用户30对所述无人机10传回的图像的点击 操作获得感兴趣的区域图片。
用户30可以点击电子设备20屏幕上无人机10传回的图像，以确 定需要跟踪的目标，电子设备20可以根据用户30的点击位置获取用户 30感兴趣的区域图片。例如，根据用户30在屏幕上点击的位置坐标 (xm,ym)，确定所述点击位置在所述图像上对应的坐标(xp,yp)，并根据 该坐标(xp,yp)对原图像进行裁剪获得感兴趣的区域图片。一般情况下， 无人机10传回图片为1280*720像素，感兴趣的区域图片可以是以坐标 (xp,yp)为中心的288*288像素的区域。请参照图3，步骤(1)-(2)示 出了感兴趣的区域图片的获取过程，其中，图中“+”标记表示用户30 的点击位置，虚线框框住的部分为获得的感兴趣的区域图片。
103：电子设备20加载深度学习网络模型并将获取的所述区域图片 输入深度学习网络模型，利用所述深度学习网络模型输出多个框选所述 区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类 别的概率。
在进行目标预测之前，可以预先获取基于深度学习的网络模型，具 体包括：
将多个图片以及所述图片对应的预设类别作为输入，基于深度学习 算法进行模型训练，获得基于深度学习的网络模型以及网络模型中的各 权重参数。其中，所述预设类别例如：人；微型、小型、中型汽车等； 公交车、卡车等；农用车、三轮车、拖拉机等；自行车、摩托车等骑行 目标；船等水上目标；无人机等飞行目标；猫、狗等常见宠物；其他动 物；其他显著目标等。预设类别的个数可以为任意数量，例如10个。
请参照图3，图3中的(3)-(4)步骤示出了将感兴趣的区域图片 基于深度学习网络模型进行预测的过程。
将所述区域图片输入深度学习网络模型，将获得框选该区域图片中 所有目标的多个候选外接框，每个候选外接框内的目标具有对应各个预 设类别的概率。例如，将288*288像素的感兴趣的区域图片输入如图5 所示的基于深度学习的网络模型进行预测，将输出9*9*5*15个预测结 果。其中，9*9*5表示候选外接框的个数，“5”由训练样本均值聚类获得，“15”代表每个候选外接框的参数，分别为4个位置参数(包括坐 标和长宽)、10个所属预设类别的概率和1个是否是目标的概率参数。 405个侯选外接框提供了足够的数量供从中选出最优的目标图像的最小 外接框。将输入图像设定为288x288的分辨率在保证识别精度的基础上 提高了识别速度。
可选的，在所述方法的某些实施例中，所述基于深度学习的网络模 型至少包括2个卷积层和至少2个采样层。具体的，可以采用图5中所 示的深度学习网络模型300，包括15层网络结构，15层的网络结构既 避免层数过高过度拟合，又避免了层数过低精度不够，优化了深度学习 网络结构。所述深度学习网络模型依次包括：
第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷 积层、第三下采样层、第四卷积层、第四下采样层、第五卷积层、第五 下采样层、第六卷积层、第六下采样层、第七卷积层、第八卷积层和区 域层。
其中，可选的，除第八卷积层外，后一个卷积层的滤波器数量是前 一个卷积层滤波器数量的2倍，第七卷积层和第八卷积层滤波器数量相 等。请参照图5所示，如果第一个卷积层的滤波器数量为4，则后面的 卷积层的滤波器数量依次为8、16、32、64、128、256、256。
第一下采样层、第二下采样层、第三下采样层、第四下采样层和第 五下采样层的窗口尺寸为2*2像素，跳跃间隔为2，所述第六下采样层 的窗口尺寸为2*2像素，跳跃间隔为1。
其中，可选的，各个卷积层可以采用3*3像素的滤波器，3*3像素 的滤波器计算量较小。
其中，可选的，所述第一下采样层、第二下采样层、第三下采样层、 第四下采样层、第五下采样层和第六下采样层可以采用最大值下采样法。
从第一个卷积层的4个滤波器开始，后一个卷积层滤波器的数量是 前一个卷积层滤波器数量的2倍(最后一个卷积层除外)，每经过一次 卷积层，特征数量翻倍。下采样层的窗口尺寸是2x2，跳跃间隔为2(最 后一个下采样层除外)，每经过一次下采样层，特征分辨率减半。这样 设置可以将分辨率和特征数量的变化结合起来，分辨率的减少对应了特 征数量的增加。
104：依据所述候选外接框及所述候选外接框属于预设类别的概率 判断所述区域图片内是否存在目标图像；如果存在目标图像，则发送目 标跟随命令给所述无人机10。
可选的，在所述方法的其他实施例中，如果不存在目标图像，电子 设备20提示用户30所述图像内无感兴趣的目标。电子设备20还可以 进一步提示用户重新点击所述图像以重新选择感兴趣目标。
请参照图3，图3的(5)-(6)-(7)步骤示出了确认目标图像的 过程。确认所述区域图片内是否存在目标图像，具体包括以下步骤：
步骤1：针对每一个所述预设类别，获取属于该预设类别概率最大 的目标对应的候选外接框，分别计算其他各个候选外接框与该概率最大 的候选外接框的重合率，将重合率大于第一预设阀值的候选外接框内的 目标属于该预设类别的概率置为零。
例如，如果具有i个候选外接框，预设类别的数量为j个，假设第 i个候选外接框属于第j个预设类别的概率是Pij。那么针对每一个预设类 别j，根据Pij进行排序，将Pij大的候选外接框排在前面，Pij小的候选外接 框排在后面。请参照图4所示，对于同一个预设类别j，依次计算Pij最大 的候选外接框后面的其他候选外接框与Pij最大的候选外接框的重合率IOU，如果重合率IOU大于第一预设阈值θ1，则将后面的候选外接框属 于该预设类别j的概率置为0。其中，重合率IOU表征两个候选外接框 重合的程度，重合率越大，说明两个候选外接框越相似，当两个候选外 接框的重合率大于第一预设阀值θ1时，说明两个候选外接框相似度较高。 为了简化计算，去掉概率较小的候选外接框，第一预设阀值θ1可以根据 实际应用情况设置。重合率IOU可以采用公式(1)。
其中，S1和S2分别代表两个候选外接框的面积，S12为两者重合部分 的面积。
步骤2：针对其他各个预设类别，重复步骤1。
即针对其余各个预设类别均进行上述步骤1的去重处理。
步骤3：针对执行完步骤2后剩下的每个候选外接框，获取该候选 外接框内的目标属于各个预设类别的概率中概率最大的预设类别作为 该候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值θ2的目标作为可能目标图像。
对经过步骤1和步骤2去重处理之后剩下的各个候选外接框，依次 计算每一个候选外接框内的目标属于各个预设类别的概率的最大值 Pi＝max(Pij)，并记录对应的预设类别j。选取Pi值大于第二预设阀值θ2的目标作为可能目标图像，并记录其对应的预设类别j作为所述可能目 标图像所属的类别。
其中，概率值Pi表征目标属于其所属类别的可能性，Pi值越大，则其 属于该类别的可能性越大，如果Pi值大于第二预设阀值θ2，说明候选外 接框属于其所属类别的可能性较大，为了进一步简化计算，去除Pi小于 第二预设阀值θ2的目标对应的候选外接框，第二预设阀值θ2的值可以根 据实际应用情况设置。
步骤4：计算所述可能目标图像与所述用户30点击位置的距离系数， 则所述距离系数δ表示为：
其中，可能目标图像的坐标为(xo，yo)，点击位置坐标为(xp，yp)。
距离系数δ表征候选外接框距离用户30点击位置的远近，δ越大， 候选外接框离用户30点击位置越近，δ越小，候选外接框离用户30点 击位置越远。
该距离系数计算公式可以将各个同类目标区分开来，即使用户30 的点击位置发生在目标图像外，仍然可以将目标准确框出。
步骤5：获取各个可能目标图像的距离系数与其所属的类别的概率 的乘积εi并找出所述乘积的最大值max(εi)，如果该最大值max(εi)大于第 三预设阀值θ3，则将该乘积的最大值max(εi)对应的可能目标图像作为目 标图像，记录所述目标图像所属的类别。
即计算各个可能目标图像的判定值εi＝Piδi，并获取各个可能目标 图像中判定值的最大值ε＝max(εi)，如果ε大于第三预设阀值θ3，则将ε 对应的可能目标图像作为目标图像，记录所述目标图像所属的类别。如 果ε不大于第三预设阀值θ3，则说明用户30点击的位置附近没有用户30 需要跟踪的目标，可以通过电子设备20端发送提示，请用户30重新选择目标。
其中，判定值ε表征可能目标图像距离用户30点击位置的远近和属 于其所属类别的可能性，ε值越大，则其距离用户30点击位置越近，属 于其所属类别的可能性越大，如果ε值大于第三预设阀值θ3，说明该可能 目标图像距离用户30点击位置比较近，属于其所属类别的可能性较大， 可以将该可能目标图像作为目标图像，第三预设阀值θ3的值可以根据实际应用情况设置。
可选的，在所述方法的其他实施例中，确认出目标图像及目标图像 所属的类别后，可以根据目标图像的类别调整飞行策略。例如目标是车 辆这类的快速移动的大目标，无人机10需要提高自身飞行高度和飞行 速度，以获得更大的视野以及跟踪速度；而如果目标是人这样的小目标， 无人机10需要降低高度减小速度，保证目标在视野中不因过小而丢失。
本发明实施例根据用户30的点击位置在原始图像上获取感兴趣的 区域图片，并将所述感兴趣的区域图片作为输入，基于深度学习的网络 模型进行目标预测，计算量小、运算时间短、对硬件设备要求低。
本发明实施例还提供了另一无人机智能跟随目标确定方法，可以由 图1中的无人机10执行。如图6所示，所述方法包括：
201：无人机10获取图像。
无人机10通过图像采集装置采集图像。
202：无人机10根据用户30的点击操作获取感兴趣的区域图片。
无人机10将采集的原始图像通过无线网络传回到电子设备20，根 据用户30对原始图像的点击操作可以获得用户30感兴趣的区域图片。 可以由电子设备20根据用户30的点击操作获取用户30感兴趣的区域 图片，再将用户30感兴趣的区域图片传回给无人机10。或者，电子设 备20仅将用户30的点击位置发送给无人机10，由无人机10根据用户 30的点击位置，从原始图像中获得用户30感兴趣的区域图片。
203：无人机10加载深度学习网络模型并将获取的所述区域图片输 入深度学习网络模型，利用所述深度学习网络模型输出多个框选所述区 域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别 的概率。
204：依据所述候选外接框及所述候选外接框内的目标属于预设类 别的概率判断所述区域图片内是否存在目标图像；如果存在目标图像， 则跟随所述目标。
可选的，在所述方法的其他实施例中，如果不存在目标图像，无人 机10发送指令至电子设备20，该指令用于提示用户30所述图像内无感 兴趣的目标。所述指令还可以进一步用于提示用户重新点击所述图像以 重新选择感兴趣目标。
其中，关于步骤203和步骤204的技术细节请分别参照步骤103和 步骤104的描述，在此不再赘述。可选的，在上述方法的某些实施例中， 所述基于深度学习的网络模型包括至少2个卷积层和至少2个采样层。 具体的，可以采用图5中所示的深度学习网络模型300，该深度学习网 络模型的具体结构和技术细节请参照上述关于基于深度学习的网络模 型的介绍，在此亦不再赘述。
本发明实施例通过获取用户30感兴趣的区域图片，并将该感兴趣 的区域图片作为基于深度学习的网络模型的输入，进行目标预测，计算 量小、运算时间短、对硬件设备要求低。
相应的，如图7所示，本发明实施例还提供了一种无人机智能跟随 目标确定装置，用于电子设备20，所述装置300包括：
图像获取模块301，用于获取无人机10传回的图像；
图像处理模块302，用于根据用户30对所述无人机10传回的图像 的点击获得感兴趣的区域图片；
图像预测模块303，用于加载深度学习网络模型并将获取的所述区 域图片输入深度学习网络模型，利用所述深度学习网络模型输出多个框 选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于 预设类别的概率；
目标图像确认模块304，用于依据所述候选外接框及所述候选外接 框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图 像；如果存在目标图像，则发送目标跟随命令给所述无人机。
可选的，在所述装置的其他实施例中，目标图像确认模块304还用 于如果不存在目标图像，提示用户所述图像内无感兴趣的目标。目标图 像确认模块304还可以进一步提示用户重新点击所述图像以重新选择感 兴趣目标。
本发明实施例根据用户30的点击位置在原始图像上获取感兴趣的 区域图片，并将所述感兴趣的区域图片作为输入，基于深度学习的网络 模型进行目标预测，计算量小、运算时间短、对硬件设备要求低。
可选的，在所述装置的某些实施例中，所述目标图像确认模块304 具体用于：
S1：针对每一个所述预设类别，获取属于该预设类别概率最大的目 标对应的候选外接框，分别计算其他各个候选外接框与该候选外接框的 重合率，将重合率大于第一预设阀值的候选外接框内的目标属于该预设 类别的概率置为零；
S2：针对其他各个预设类别，重复步骤S1；
S3：针对执行完步骤S2后剩下的每个候选外接框，获取该候选外 接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该 候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值θ2的 目标作为可能目标图像；
S4：计算所述可能目标图像与所述用户30点击位置的距离系数， 则所述距离系数δ表示为：
其中，可能目标图像的坐标为(xo，yo)，点击位置坐标为(xp，yp)；
S5、获取各个可能目标图像的距离系数与其所属的类别的概率的乘 积εi并找出所述乘积的最大值max(εi)，如果该最大值max(εi)大于第三预 设阀值θ3，则将该乘积的最大值max(εi)对应的可能目标图像作为所述目 标图像，记录所述目标图像所属的类别。
可选的，在所述装置的某些实施例中，所述深度学习网络模型至少 包括2个卷积层和至少2个采样层。具体的，所述深度学习网络模型包 括：
第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷 积层、第三下采样层、第四卷积层、第四下采样层、第五卷积层、第五 下采样层、第六卷积层、第六下采样层、第七卷积层、第八卷积层和区 域层。
其中，可选的，第一卷积层、第二卷积层、第三卷积层、第四卷积 层、第五卷积层和第六卷积层中，后一个卷积层的滤波器数量是前一个 卷积层滤波器数量的2倍，第六卷积层和第七卷积层的滤波器数量相等；
第一下采样层、第二下采样层、第三下采样层、第四下采样层和第 五下采样层的窗口尺寸为2*2像素，跳跃间隔为2，所述第六下采样层 的窗口尺寸为2*2像素，跳跃间隔为1。
其中，可选的，所述第一卷积层的滤波器数量为4，所述第一下采 样层、第二下采样层、第三下采样层、第四下采样层、第五下采样层和 第六下采样层均采用最大值下采样法。
可选的，各个所述卷积层均使用3*3像素的滤波器。
可选的，在所述装置的某些实施例中，所述区域图片大小为288*288 像素，利用所述深度学习网络模型共获得9*9*5个候选外接框。
相应的，如图8所示，本发明实施例还提供了一种无人机智能跟随 目标确定装置，用于无人机10，所述装置400包括:
图像采集模块401，用于获取图像；
第二图像处理模块402，用于根据用户30的点击操作获取感兴趣的 区域图片；
图像预测模块303，用于加载深度学习网络模型并将获取的所述区 域图片输入所述深度学习网络模型，利用所述深度学习网络模型输出多 个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标 属于预设类别的概率；
目标图像确认模块304，用于依据所述候选外接框及所述候选外接 框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图 像；如果存在目标图像，则跟随所述目标。
可选的，在所述装置的其他实施例中，如果不存在目标图像，无人 机10发送指令至电子设备20，该指令用于提示用户30所述图像内无感 兴趣的目标。所述指令还可以进一步用于提示用户重新点击所述图像以 重新选择感兴趣目标。
其中，关于图像预测模块303和目标图像确认模块304的技术细节 请分别参照无人机智能跟随目标确定装置300中的图像预测模块303和 目标图像确认模块304，在此不再赘述。可选的，在上述装置的某些实 施例中，所述基于深度学习的网络模型包括至少2个卷积层和至少2个 采样层。具体的，可以采用图5中所示的深度学习网络模型300，该深 度学习网络模型的具体结构和技术细节请参照上述关于基于深度学习 的网络模型的介绍，在此亦不再赘述。
本发明实施例通过获取用户30感兴趣的区域图片，并将该感兴趣 的区域图片作为基于深度学习的网络模型的输入，进行目标预测，计算 量小、运算时间短、对硬件设备要求低。
需要说明的是，上述装置可执行本申请实施例所提供的方法，具备 执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技 术细节，可参见本申请实施例所提供的方法。
图9是本发明实施例提供的无人机10的硬件结构示意图，如图9 所示，无人机10包括：机身14、与所述机身14相连的机臂15、设于 所述机臂的动力装置17、用于获取图像的图像传感器16、设于机身14 内的处理器11、信号发送器13和内置或者外置于无人机10的存储器 12(图9中以存储器12内置于无人机10中为例)。
其中，处理器11和存储器12可以通过总线或者其他方式连接。
存储器12作为一种非易失性计算机可读存储介质，可用于存储非 易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施 例中的目标确定方法对应的程序指令/单元(例如，附图8所示的图像 采集模块401、第二图像处理模块402、图像预测模块303和目标图像 确认模块304)。处理器11通过运行存储在存储器12中的非易失性软件 程序、指令以及单元，从而执行无人机10的各种功能应用以及数据处 理，即实现上述方法实施例的目标确定方法。
存储器12可以包括存储程序区和存储数据区，其中，存储程序区 可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储 根据用户终端设备使用所创建的数据等。此外，存储器12可以包括高 速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存 储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中， 存储器12可选包括相对于处理器11远程设置的存储器，这些远程存储 器可以通过网络连接至无人机10。
所述一个或者多个模块存储在所述存储器12中，当被所述一个或 者多个处理器11执行时，执行上述任意方法实施例中的目标确定方法， 例如，执行以上描述的图6中的方法步骤201至步骤204，实现图8中 的图像采集模块401、第二图像处理模块402、图像预测模块303和目 标图像确认模块304的功能。
其中，如果无人机10利用所述目标确定方法判断存在目标图像， 则跟随所述目标。可选的，如果不存在目标图像，无人机10发送指令 至电子设备20，所述指令用于提示所述用户所述图像内无感兴趣目标。 所述指令还可以进一步用于提示所述用户重新点击所述图像以重新选 择感兴趣目标。
上述无人机10可执行本发明实施例所提供的目标确定方法，具备 执行方法相应的功能模块和有益效果。未在无人机10实施例中详尽描 述的技术细节，可参见本发明实施例所提供的目标确定方法。
本发明实施例提供了一种非易失性计算机可读存储介质，所述计算 机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个 或多个处理器执行，例如，执行以上描述的图6中的方法步骤201至步 骤204，实现图8中的图像采集模块401、第二图像处理模块402、图像 预测模块303和目标图像确认模块304的功能。
图10是本发明实施例提供的电子设备20的硬件结构示意图，如图 10所示，该电子设备20包括：
一个或多个处理器21以及存储器22，图10中以一个处理器21为 例。
处理器21和存储器22可以通过总线或者其他方式连接，图10中以通过总 线连接为例。
存储器22作为一种非易失性计算机可读存储介质，可用于存储非 易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施 例中的目标确定方法对应的程序指令/单元(例如，附图7所示的图像 获取模块301、图像处理模块302、图像预测模块303和目标图像确认 模块304)。处理器21通过运行存储在存储器22中的非易失性软件程序、 指令以及单元，从而执行电子设备20的各种功能应用以及数据处理， 即实现上述方法实施例的目标确定方法。
存储器22可以包括存储程序区和存储数据区，其中，存储程序区 可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储 根据电子设备20使用所创建的数据等。此外，存储器22可以包括高速 随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储 器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存 储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器 可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、 企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器22中，当被所述一个或 者多个处理器21执行时，执行上述任意方法实施例中的目标确定方法， 例如，执行以上描述的图2中的方法步骤101-104，实现图7所示的图 像获取模块301、图像处理模块302、图像预测模块303和目标图像确 认模块304的功能。
上述电子设备20可执行本发明实施例所提供的目标确定方法，具 备执行方法相应的功能模块和有益效果。未在电子设备20实施例中详 尽描述的技术细节，可参见本发明实施例所提供的目标确定方法。
本申请实施例的电子设备20以多种形式存在，包括但不限于:
(1)遥控器。
(2)移动通信设备:这类设备的特点是具备移动通信功能，并且以提 供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、 多媒体手机、功能性手机，以及低端手机等。
(3)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计 算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和 UMPC设备等，例如iPad。
(4)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设 备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智 能玩具和便携式车载导航设备。
(5)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、 内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提 供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展 性、可管理性等方面要求较高。
其中，电子设备20可以为图11所示的遥控器，所述遥控器除包括 上述的处理器21和存储器22外，还包括操作杆25、信号接收器26、 信号发送器23和显示屏24，其中，信号接收器26用于接收无人机10 传回的图像，信号发送器23用于发送指令给所述无人机10。
其中，如果遥控器利用所述目标确定方法判断存在目标图像，则通 过信号发送器23发送目标跟随命令给无人机10。可选的，如果不存在 目标图像，显示屏24显示所述图像内无感兴趣的目标的提示，显示屏 24还可以进一步显示重新点击所述图像以重新选择感兴趣目标的提示。
本发明实施例还提供了一种非易失性计算机可读存储介质，所述计 算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一 个或多个处理器执行，例如，执行以上描述的图2中的方法步骤101-104， 实现图7所示的图像获取模块301、图像处理模块302、图像预测模块 303和目标图像确认模块304的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件 说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件 可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分 布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模 块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到 各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬 件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分 流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存 储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方 法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储 记忆体(Read-Only Memory,ROM)或随机存储记忆体 (RandomAccessMemory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非 对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特 征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的 本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人 员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使 相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (30)

1.一种无人机智能跟随目标确定方法，用于电子设备端，其特征在于，所述方法包括：
所述电子设备获取无人机传回的图像；
所述电子设备根据用户对所述无人机传回的图像的点击获得感兴趣的区域图片；
所述电子设备加载深度学习网络模型并将获取的所述区域图片输入所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；
依据所述候选外接框及所述候选外接框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图像；
如果存在目标图像，则发送目标跟随命令给所述无人机。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果不存在目标图像，所述电子设备提示用户所述图像内无感兴趣的目标。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
如果不存在目标图像，所述电子设备提示用户重新点击所述图像以重新选择感兴趣目标。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述依据所述候选外接框及所述候选外接框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图像，包括：
S1：针对每一个所述预设类别，获取属于该预设类别概率最大的目标对应的候选外接框，分别计算其他各个候选外接框与该候选外接框的重合率，将重合率大于第一预设阀值的候选外接框内的目标属于该预设类别的概率置为零；
S2：针对其他各个预设类别，重复步骤S1；
S3：针对执行完步骤S2后剩下的每个候选外接框，获取该候选外接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目标作为可能目标图像；
S4：计算所述可能目标图像与所述用户点击位置的距离系数，则所述距离系数δ表示为：
其中，可能目标图像的坐标为(xo，yo)，点击位置坐标为(xp，yp)；
S5、获取各个可能目标图像的距离系数与其所属的类别的概率的乘积并找出所述乘积的最大值，如果该最大值大于第三预设阀值，则将该乘积的最大值对应的可能目标图像作为所述目标图像，记录所述目标图像所属的类别。
5.根据权利要求1-4中任一所述的方法，其特征在于，所述深度学习网络模型包括至少2个卷积层和至少2个采样层。
6.根据权利要求1-5中任一所述的方法，其特征在于，所述深度学习网络模型依次包括：
第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷积层、第三下采样层、第四卷积层、第四下采样层、第五卷积层、第五下采样层、第六卷积层、第六下采样层、第七卷积层、第八卷积层和区域层。
7.根据权利要求6所述的方法，其特征在于，所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层、所述第五卷积层和所述第六卷积层中，后一个卷积层的滤波器数量是前一个卷积层滤波器数量的2倍，所述第六卷积层和所述第七卷积层的滤波器数量相等；
所述第一下采样层、所述第二下采样层、所述第三下采样层、所述第四下采样层和所述第五下采样层的窗口尺寸为2*2像素，跳跃间隔为2，所述第六下采样层的窗口尺寸为2*2像素，跳跃间隔为1。
8.根据权利要求6或7所述的方法，其特征在于，所述第一卷积层的滤波器数量为4，所述第一下采样层、所述第二下采样层、所述第三下采样层、所述第四下采样层、所述第五下采样层和所述第六下采样层均采用最大值下采样法。
9.根据权利要求5-8中任一所述的方法，其特征在于，各个所述卷积层均使用3*3像素的滤波器。
10.根据权利要求1-9中任一所述的方法，其特征在于，所述区域图片大小为288*288像素，利用所述深度学习网络模型共获得9*9*5个所述候选外接框。
11.一种无人机智能跟随目标确定方法，应用于无人机，其特征在于，所述方法包括：
所述无人机获取图像；
所述无人机根据用户的点击操作获取感兴趣的区域图片；
所述无人机加载深度学习网络模型并将获取的所述区域图片输入所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；
依据所述候选外接框及所述候选外接框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图像；
如果存在目标图像，则跟随所述目标。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
如果不存在目标图像，所述无人机发送指令至电子设备，所述指令用于提示所述用户所述图像内无感兴趣目标。
13.根据权利要求11或12所述的方法，其特征在于，所述指令还用于提示所述用户重新点击所述图像以重新选择感兴趣目标。
14.根据权利要求11-13中任一所述的方法，其特征在于，所述依据所述候选外接框及所述候选外接框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图像，包括：
S1：针对每一个所述预设类别，获取属于该预设类别概率最大的目标对应的候选外接框，分别计算其他各个候选外接框与该候选外接框的重合率，将重合率大于第一预设阀值的候选外接框内的目标属于该预设类别的概率置为零；
S2：针对其他各个预设类别，重复步骤S1；
S3：针对执行完步骤S2后剩下的每个候选外接框，获取该候选外接框内的目标属于各个预设类别的概率中概率最大的预设类别作为该候选外接框内的目标所属的类别，并将最大概率大于第二预设阈值的目标作为可能目标图像；
S4：计算所述可能目标图像与所述用户点击位置的距离系数，则所述距离系数δ表示为：
其中，可能目标图像的坐标为(xo，yo)，点击位置坐标为(xp，yp)；
S5、获取各个可能目标图像的距离系数与其所属的类别的概率的乘积并找出所述乘积的最大值，如果该最大值大于第三预设阀值，则将该乘积的最大值对应的可能目标图像作为所述目标图像，记录所述目标图像所属的类别。
15.根据权利要求11-14中任一所述的方法，其特征在于，所述深度学习网络模型包括至少2个卷积层和至少2个采样层。
16.根据权利要求15所述的方法，其特征在于，所述深度学习网络模型依次包括：
第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷积层、第三下采样层、第四卷积层、第四下采样层、第五卷积层、第五下采样层、第六卷积层、第六下采样层、第七卷积层、第八卷积层和区域层。
17.根据权利要求16所述的方法，其特征在于，所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层、所述第五卷积层和所述第六卷积层中，后一个卷积层的滤波器数量是前一个卷积层滤波器数量的2倍，所述第六卷积层和所述第七卷积层的滤波器数量相等；
所述第一下采样层、所述第二下采样层、所述第三下采样层、所述第四下采样层和所述第五下采样层的窗口尺寸为2*2像素，跳跃间隔为2，所述第六下采样层的窗口尺寸为2*2像素，跳跃间隔为1。
18.根据权利要求16或17所述的方法，其特征在于，所述第一卷积层的滤波器数量为4，所述第一下采样层、所述第二下采样层、所述第三下采样层、所述第四下采样层、所述第五下采样层和所述第六下采样层均采用最大值下采样法。
19.根据权利要求15-18中任一所述的方法，其特征在于，各个所述卷积层均使用3*3像素的滤波器。
20.根据权利要求11-19中任一所述的方法，其特征在于，所述区域图片大小为288*288像素，利用所述深度学习网络模型共获得9*9*5个所述候选外接框。
21.一种遥控器，其特征在于，包括：
操作杆；
信号接收器，用于接收无人机传回的图像；
信号发送器，用于发送指令给所述无人机；
显示屏；以及
处理器；
其中，处理器用于：
根据用户对所述无人机传回的图像的点击获得感兴趣的区域图片；
加载深度学习网络模型并将获取的所述区域图片输入所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；
依据所述候选外接框及所述候选外接框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图像；
如果存在目标图像，则通过所述信号发送器发送目标跟随命令给所述无人机。
22.根据权利要求21所述的遥控器，其特征在于，如果不存在目标图像，所述显示屏显示所述图像内无感兴趣的目标的提示。
23.根据权利要求21或22所述的遥控器，其特征在于，如果不存在目标图像，所述显示屏显示重新点击所述图像以重新选择感兴趣目标的提示。
24.根据权利要求21-23任一所述的遥控器，其特征在于，所述处理器还用于执行权利要求4-10中任一项所述的方法。
25.一种无人机，包括机身、与所述机身相连的机臂、设于所述机臂的动力装置、用于获取图像的图像传感器、设于所述机身内的处理器和信号发送器，其特征在于，所述处理器用于：
根据用户的点击操作获取感兴趣的区域图片；
加载深度学习网络模型并将获取的所述区域图片输入所述深度学习网络模型，利用所述深度学习网络模型输出多个框选所述区域图片中目标的候选外接框及所述候选外接框内的目标属于预设类别的概率；
依据所述候选外接框及所述候选外接框内的目标属于预设类别的概率判断所述区域图片内是否存在目标图像，如果存在目标图像，则控制所述无人机跟随所述目标。
26.根据权利要求25所述的无人机，其特征在于，所述方法还包括：
如果不存在目标图像，所述无人机通过所述信号发送器发送指令至电子设备，所述指令用于提示所述用户所述图像内无感兴趣目标。
27.根据权利要求25或26所述的无人机，其特征在于，所述指令还用于提示所述用户重新点击所述图像以重新选择感兴趣目标。
28.根据权利要求25-27任一所述的无人机，其特征在于，所述处理器还用于执行权利要求14-20中任一项所述的方法。
29.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行权利要求1-10的任一项所述的方法。
30.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人机执行时，使所述无人机执行权利要求11-20任一项所述的方法。
CN201710714275.5A 2017-08-18 2017-08-18 无人机智能跟随目标确定方法、无人机和遥控器 Active CN109409354B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110960187.XA CN113762252B (zh) 2017-08-18 2017-08-18 无人机智能跟随目标确定方法、无人机和遥控器
CN201710714275.5A CN109409354B (zh) 2017-08-18 2017-08-18 无人机智能跟随目标确定方法、无人机和遥控器
PCT/CN2018/078582 WO2019033747A1 (zh) 2017-08-18 2018-03-09 无人机智能跟随目标确定方法、无人机和遥控器
EP18717495.8A EP3471021B1 (en) 2017-08-18 2018-03-09 Method for determining target intelligently followed by unmanned aerial vehicle, unmanned aerial vehicle and remote controller
US15/980,051 US10740607B2 (en) 2017-08-18 2018-05-15 Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710714275.5A CN109409354B (zh) 2017-08-18 2017-08-18 无人机智能跟随目标确定方法、无人机和遥控器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110960187.XA Division CN113762252B (zh) 2017-08-18 2017-08-18 无人机智能跟随目标确定方法、无人机和遥控器

Publications (2)

Publication Number Publication Date
CN109409354A true CN109409354A (zh) 2019-03-01
CN109409354B CN109409354B (zh) 2021-09-21

Family

ID=63490384

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710714275.5A Active CN109409354B (zh) 2017-08-18 2017-08-18 无人机智能跟随目标确定方法、无人机和遥控器
CN202110960187.XA Active CN113762252B (zh) 2017-08-18 2017-08-18 无人机智能跟随目标确定方法、无人机和遥控器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110960187.XA Active CN113762252B (zh) 2017-08-18 2017-08-18 无人机智能跟随目标确定方法、无人机和遥控器

Country Status (3)

Country Link
EP (1) EP3471021B1 (zh)
CN (2) CN109409354B (zh)
WO (1) WO2019033747A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390261A (zh) * 2019-06-13 2019-10-29 北京汽车集团有限公司 目标检测方法、装置、计算机可读存储介质及电子设备
CN110879602A (zh) * 2019-12-06 2020-03-13 安阳全丰航空植保科技股份有限公司 基于深度学习的无人机控制律参数调节方法及系统
CN111401301A (zh) * 2020-04-07 2020-07-10 上海东普信息科技有限公司 人员着装监控方法、装置、设备及存储介质
WO2020187095A1 (zh) * 2019-03-20 2020-09-24 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
CN111737604A (zh) * 2020-06-24 2020-10-02 中国银行股份有限公司 一种目标对象的搜索方法及装置
CN112784815A (zh) * 2021-02-19 2021-05-11 苏州市大智无疆智能科技有限公司 一种无人机巡航目标识别方法、装置及云服务器
CN114355960A (zh) * 2021-10-25 2022-04-15 中国船舶重工集团公司第七0九研究所 一种无人机防御智能决策方法及系统、服务器及介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949381B (zh) * 2019-03-15 2023-10-24 深圳市道通智能航空技术股份有限公司 图像处理方法、装置、图像处理芯片、摄像组件及飞行器
KR20210009458A (ko) * 2019-07-16 2021-01-27 삼성전자주식회사 객체 검출 방법 및 객체 검출 장치
CN111241905A (zh) * 2019-11-21 2020-06-05 南京工程学院 基于改进ssd算法的输电线路鸟窝检测方法
CN110956157A (zh) * 2019-12-14 2020-04-03 深圳先进技术研究院 基于候选框选择的深度学习遥感影像目标检测方法及装置
CN111461202B (zh) * 2020-03-30 2023-12-05 上海深至信息科技有限公司 甲状腺结节超声图像实时识别方法及装置
CN111476840B (zh) * 2020-05-14 2023-08-22 阿丘机器人科技(苏州)有限公司 目标定位方法、装置、设备及计算机可读存储介质
CN112683916A (zh) * 2020-12-17 2021-04-20 华能新能源股份有限公司云南分公司 集电线路杆塔小金具缺失或安装错误的识别方法及装置
CN112488066A (zh) * 2020-12-18 2021-03-12 航天时代飞鸿技术有限公司 一种无人机多机协同侦察下的目标实时检测方法
CN113591748A (zh) * 2021-08-06 2021-11-02 广东电网有限责任公司 一种航拍绝缘子目标检测方法及装置
CN113949826A (zh) * 2021-09-28 2022-01-18 航天时代飞鸿技术有限公司 一种通信带宽有限条件下无人机集群协同侦察方法及系统
CN113850209B (zh) * 2021-09-29 2024-05-28 广州文远知行科技有限公司 一种动态物体检测方法、装置、交通工具及存储介质
CN114034882B (zh) * 2021-10-28 2023-09-26 广州大学 一种洋流智能检测方法、装置、设备及存储介质
CN114567888B (zh) * 2022-03-04 2023-12-26 国网浙江省电力有限公司台州市黄岩区供电公司 一种多无人机动态部署方法
CN115035425B (zh) * 2022-06-07 2024-02-09 北京庚图科技有限公司 一种基于深度学习的目标识别方法、系统、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN106228158A (zh) * 2016-07-25 2016-12-14 北京小米移动软件有限公司 图片检测的方法和装置
US9609288B1 (en) * 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
US9934453B2 (en) * 2014-06-19 2018-04-03 Bae Systems Information And Electronic Systems Integration Inc. Multi-source multi-modal activity recognition in aerial video surveillance
JP6784434B2 (ja) * 2014-07-30 2020-11-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 方法、ｕａｖ制御プログラム、無人航空機、及び制御システム
US10127448B2 (en) * 2014-08-27 2018-11-13 Bae Systems Information And Electronic Systems Integration Inc. Method and system for dismount detection in low-resolution UAV imagery
CN104457704B (zh) * 2014-12-05 2016-05-25 北京大学 基于增强地理信息的无人机地面目标定位系统及方法
US20170102699A1 (en) * 2014-12-22 2017-04-13 Intel Corporation Drone control through imagery
CN106156807B (zh) * 2015-04-02 2020-06-02 华中科技大学 卷积神经网络模型的训练方法及装置
CN105957077B (zh) * 2015-04-29 2019-01-15 国网河南省电力公司电力科学研究院 基于视觉显著性分析的输电线路异物检测方法
CN105701810B (zh) * 2016-01-12 2019-05-17 湖南中航天目测控技术有限公司 一种基于点击式图像分割的无人机航拍图像电子勾绘方法
WO2017127711A1 (en) * 2016-01-20 2017-07-27 Ez3D, Llc System and method for structural inspection and construction estimation using an unmanned aerial vehicle
CN106709456B (zh) * 2016-12-27 2020-03-31 成都通甲优博科技有限责任公司 基于计算机视觉的无人机目标跟踪框初始化方法
CN106780612B (zh) * 2016-12-29 2019-09-17 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106981073B (zh) * 2017-03-31 2019-08-06 中南大学 一种基于无人机的地面运动目标实时跟踪方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609288B1 (en) * 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN106228158A (zh) * 2016-07-25 2016-12-14 北京小米移动软件有限公司 图片检测的方法和装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187095A1 (zh) * 2019-03-20 2020-09-24 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
CN110390261A (zh) * 2019-06-13 2019-10-29 北京汽车集团有限公司 目标检测方法、装置、计算机可读存储介质及电子设备
CN110879602A (zh) * 2019-12-06 2020-03-13 安阳全丰航空植保科技股份有限公司 基于深度学习的无人机控制律参数调节方法及系统
CN111401301A (zh) * 2020-04-07 2020-07-10 上海东普信息科技有限公司 人员着装监控方法、装置、设备及存储介质
CN111401301B (zh) * 2020-04-07 2023-04-18 上海东普信息科技有限公司 人员着装监控方法、装置、设备及存储介质
CN111737604A (zh) * 2020-06-24 2020-10-02 中国银行股份有限公司 一种目标对象的搜索方法及装置
CN111737604B (zh) * 2020-06-24 2023-07-21 中国银行股份有限公司 一种目标对象的搜索方法及装置
CN112784815A (zh) * 2021-02-19 2021-05-11 苏州市大智无疆智能科技有限公司 一种无人机巡航目标识别方法、装置及云服务器
CN112784815B (zh) * 2021-02-19 2024-05-03 苏州科知律信息科技有限公司 一种无人机巡航目标识别方法、装置及云服务器
CN114355960A (zh) * 2021-10-25 2022-04-15 中国船舶重工集团公司第七0九研究所 一种无人机防御智能决策方法及系统、服务器及介质
CN114355960B (zh) * 2021-10-25 2023-08-15 中国船舶重工集团公司第七0九研究所 一种无人机防御智能决策方法及系统、服务器及介质

Also Published As

Publication number Publication date
EP3471021A1 (en) 2019-04-17
EP3471021A4 (en) 2019-04-17
CN113762252B (zh) 2023-10-24
CN109409354B (zh) 2021-09-21
CN113762252A (zh) 2021-12-07
EP3471021B1 (en) 2020-05-27
WO2019033747A1 (zh) 2019-02-21

Similar Documents

Publication Publication Date Title
CN109409354A (zh) 无人机智能跟随目标确定方法、无人机和遥控器
US10740607B2 (en) Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control
CN111860155B (zh) 一种车道线的检测方法及相关设备
CN110909630B (zh) 一种异常游戏视频检测方法和装置
US20230037777A1 (en) Vehicle-searching guidance method and apparatus, terminal device, electronic device, and computer-readable storage medium
US10131052B1 (en) Persistent predictor apparatus and methods for task switching
CN111044045B (zh) 基于神经网络的导航方法、装置及终端设备
CN107341442A (zh) 运动控制方法、装置、计算机设备和服务机器人
CN106165386A (zh) 用于照片上传和选择的自动化技术
CN114494158A (zh) 一种图像处理方法、一种车道线检测方法及相关设备
CN116187398B (zh) 一种无人机海洋图像检测用轻量神经网络搭建方法及设备
CN112540739A (zh) 一种投屏方法及系统
CN114723781B (zh) 基于相机阵列的目标追踪方法及系统
CN110544287A (zh) 一种配图处理方法及电子设备
US20210174226A1 (en) Artificial intelligence device for providing search service and method thereof
WO2023051398A1 (zh) 安全补偿方法、装置、存储介质及电子设备
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN113592003B (zh) 一种图片传输方法、装置、设备及存储介质
US20210150668A1 (en) Mobile terminal
CN113837977A (zh) 对象跟踪方法、多目标跟踪模型训练方法及相关设备
CN107992193A (zh) 手势确认方法、装置及电子设备
CN109270925A (zh) 人车交互方法、装置、设备及存储介质
CN111797863A (zh) 模型训练方法、数据处理方法、装置、存储介质及设备
CN111797655A (zh) 用户活动识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant