CN114863267B - 一种基于多轨迹智能预测的航拍树木数量精准统计方法 - Google Patents

一种基于多轨迹智能预测的航拍树木数量精准统计方法 Download PDF

Info

Publication number
CN114863267B
CN114863267B CN202210330769.4A CN202210330769A CN114863267B CN 114863267 B CN114863267 B CN 114863267B CN 202210330769 A CN202210330769 A CN 202210330769A CN 114863267 B CN114863267 B CN 114863267B
Authority
CN
China
Prior art keywords
aerial
frame
tree
track
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210330769.4A
Other languages
English (en)
Other versions
CN114863267A (zh
Inventor
张晖
马博文
赵海涛
朱洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210330769.4A priority Critical patent/CN114863267B/zh
Publication of CN114863267A publication Critical patent/CN114863267A/zh
Application granted granted Critical
Publication of CN114863267B publication Critical patent/CN114863267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多轨迹智能预测的航拍树木数量精准统计方法，通过构建所提出双路特征融合的金字塔结构，实现了各层级的特征信息进行有效的融合，解决了对低、矮、小树木的漏检问题，并进一步在搭建的轻量化飞行器巡检网络中加入动态调控算法，使得网络各个参数与飞行器边端设备更加匹配，从而最大化利用设备算力获得较好的识别效果，最后利用所提出的结合轨迹分类统计方法进行准确统计；与传统目标统计算法相比，本发明具有更好抗形变能力，降低了无人机由于形变变化对统一目标的重复统计问题，实现了更加精准的统计效果。

Description

一种基于多轨迹智能预测的航拍树木数量精准统计方法
技术领域
本发明涉及一种基于多轨迹智能预测的航拍树木数量精准统计方法，属于目标检测和计算机视觉处理技术领域。
背景技术
目前，园林中树木的数量统计基本上还是依靠传统人力方式，此方式存在劳动成本大、效率低、人力及资源浪费严重，且不能保证准确率，因此不能智能的对园林树木进行巡检和有效统计。随着深度学习在计算机视觉领域的飞速发展，目标检测技术和目标追踪技术作为计算机视觉领域的一部分，也得到了突破性的发展，现今大部分智慧城市都采用无人机对园林树中的情况进行动态的监控，然后利用目标检测算法对监控信息进行智能分析。然而当前市面上所采用目标检测和目标追踪等深度学习方法，对于无人机航拍过程中由于高度变化引起的树木形变，以及低、矮、小的树木，均不能进行有效的识别与统计，这些直接导致树木数目的统计的准确率偏低，无法准确的对园林资产进行准确评估。
发明内容
本发明所要解决的技术问题是提供一种基于多轨迹智能预测的航拍树木数量精准统计方法，通过对航拍识别模型进行改进，能够有效提取出泛化的树木特征表示，突出特征之间的可区分度，解决航拍图像分辨率较高所导致检测较慢，以及对、矮、小的树木的漏检问题，并且降低飞行器高度变化时出现的重复统计问题，实现了更加精准的统计效果。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于多轨迹智能预测的航拍树木数量精准统计方法，按如下步骤A至步骤C，获得轻量化飞行器巡检网络；然后应用轻量化飞行器巡检网络，执行步骤i至步骤ii，针对飞行器飞行轨迹下实时所获各航拍图像中树木数量的统计；
步骤A.基于航拍图像依次经过尺度由大至小顺序排列的至少四个下采样处理层，针对其中连续四个下采样处理层分别处理所输出的特征图F1、F2、F3、F4，构建双路特征融合的金字塔结构处理流程如下，用于实现各层级特征图的融合处理，然后进入步骤B；
对应处理输出特征图F4的下采样处理层的输出端依次串联尺度由小至大顺序排列的第一上采样处理层、第二上采样处理层、第三上采样处理层、第四上采样处理层，按如下公式：
Figure GDA0004165103010000021
第一上采样处理层针对特征图F4处理输出特征图F4'，同时，第二上采样处理层的输入端对接对应处理输出特征图F3的下采样处理层的输出端，第二上采样处理层针对特征图F4'、以及特征图F3处理输出特征图F3'；第三上采样处理层的输入端对接对应处理输出特征图F2的下采样处理层的输出端，第三上采样处理层针对特征图F3'、以及特征图F2处理输出特征图F2'；第四上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出端，第四上采样处理层针对特征图F2'、以及特征图F1处理输出特征图F1'；其中，convk×k表示卷积操作，k表示相应卷积操作中卷积核的大小，
Figure GDA0004165103010000022
表示为特征融合过程，ups(·)表示上采样操作；
同时，对应处理输出特征图F3的下采样处理层的输出端依次串联尺度由小至大顺序排列的第五上采样处理层、第六上采样处理层、第七上采样处理层，按如下公式：
Figure GDA0004165103010000023
第五上采样处理层的输入端对接第六上采样处理层的输出端，第五上采样处理层针对特征图F3、以及第六上采样处理层的输出进行处理输出F3”；第六上采样处理层的输入端对接对应处理输出特征图F2的下采样处理层的输出端、第七上采样处理层的输出端，第六上采样处理层针对特征图F3”、特征图F2、以及第七上采样处理层的输出进行处理输出F2”；第七上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出端，第七上采样处理层针对特征图F2”、以及特征图F1处理输出特征图F1”；其中，ω1、ω2、ω3表示预设横向通道相加操作时的权重；
最后，针对特征图F1'、特征图F2'、特征图F4'，按如下公式：
Figure GDA0004165103010000024
获得特征图F4”'，其中，downs1/2表示将特征图缩放到原来的
Figure GDA0004165103010000031
的下采样操作，Maxpoolstride＝2(·)表示步长为2的最大池化操作，α、β、γ∈(0,1)为自适应特征融合权重因子，并按如下公式计算获得；
Figure GDA0004165103010000032
Figure GDA0004165103010000033
γ＝1-α-β
其中，λm，m∈{α,β,γ}，λm表示当前特征层到目标特征层中下采样缩放的尺度，e表示自然常数；
以及按如下公式：
Figure GDA0004165103010000034
获得特征图F1”'、特征图F2”'、特征图F3”'；
即构成以特征图F1、F2、F3、F4为输入，以特征图F1”'、F2”'、F3”'、F4”'为输出的金字塔结构处理流程；
步骤B.以预设骨干网络的输出对接金字塔结构处理流程的输入，金字塔结构处理流程的输出对接预设分类网络的输入，构建以航拍图像为输入，以航拍图像中各树木目标检测框分别所对应预设类型参数信息为输出，构建待训练轻量化飞行器巡检网络，然后进入步骤C；
步骤C.基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像，以航拍样本图像为输入，以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出，针对待训练轻量化飞行器巡检网络进行训练，获得轻量化飞行器巡检网络；
步骤i.分别针对飞行器飞行轨迹下实时所获各航拍图像，应用轻量化飞行器巡检网络，获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息，并结合飞行器所对应各飞行信息，针对各航拍图像，按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类，然后进入步骤ii；
步骤ii.分别针对飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹，针对轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息进行分析，完成对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
作为本发明的一种优选技术方案：所述步骤B中，按如下方式，构建待训练轻量化飞行器巡检网络，然后进入步骤C；
首先基于MobileNet网络的前六层下采样处理层，由其中第一层下采样处理层的输入端接收航拍图像，第三层下采样处理层、第四层下采样处理层、第五层下采样处理层、第六层下采样处理层分别针对所输入特征图X3、X4、X5、X6，依次获得特征图Y3、Y4、Y5、Y6，即构建预设骨干网络；
然后以特征图Y3、Y4、Y5、Y6依次对应所述特征图F1、F2、F3、F4，输入金字塔结构处理流程，获得对应特征图F1'、F2'、F3'、F4'的特征图P3、P4、P5、P6，对应特征图F1”、F2”、F3”的特征图R3、R4、R5，进而获得金字塔结构处理流程的输出特征图O3、O4、O5、O6；
最后特征图O3、O4、O5、O6输入预设分类网络，由预设分类网络用于检测输出航拍图像中各树木目标检测框分别所对应预设类型参数信息，并标注在相应航拍图像中，构成包含树木目标检测框所对应预设类型参数信息的该航拍样本图像，进而完成待训练轻量化飞行器巡检网络的构建。
作为本发明的一种优选技术方案：所述步骤C中，基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像，以航拍样本图像为输入，以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出，结合如下目标函数，针对待训练轻量化飞行器巡检网络进行训练，获得轻量化飞行器巡检网络；
Figure GDA0004165103010000041
s.t.Accuray(O(r·H,r·W,w·C))≥accuray
Memory(χ)≤memory
FPS(χ)≥fps
式中，w、r分别表示轻量化飞行器巡检网络的通道宽度和特征图的分辨率，H、W、C分别表示特征图的高、宽以及通道数，χ(w,r)表示为经过骨干网络和特征融合后网络后总的计算参数，⊙表示参数统计符，l表示巡预设骨干网络的输出层数，Yl(r·Hl,r·Wl,w·Cl)表示对应层数的骨干网络输出特征图，Accuary(·)表示待训练轻量化飞行器巡检网络对输出特征图O(r·H,r·W,w·C)中目标识别的准确度，即输出特征图O3、O4、O5、O6中目标识别的准确度，accuray表示树木目标检测框会被标注的阈值，Memory(χ)表示待训练轻量化飞行器巡检网络所需的内存空间，memory表示获取航拍图像的飞行器的边端嵌入设备的内存，FPS(χ)表示训练待训练轻量化飞行器巡检网络中参数所需要的处理时间，fps表示获取航拍图像的飞行器检测过程中的预设最低检测要求时间。
作为本发明的一种优选技术方案：所述步骤i中，分别针对飞行器飞行轨迹下实时所获各航拍图像，应用轻量化飞行器巡检网络，获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息，并分别针对飞行器飞行轨迹下实时所获各航拍图像，执行如下处理，实现对各航拍图像，按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类，然后进入步骤ii；
定义航拍图像中树木目标检测框坐标中的速度vx,vy：
Figure GDA0004165103010000051
Figure GDA0004165103010000052
式中，v表示飞行器的速度，w'表示航拍图像的宽度值，h'表示航拍图像的高度值，L表示飞行器航拍镜头感受野的直径，
Figure GDA0004165103010000053
表示缩放参数，且
Figure GDA0004165103010000054
ΔL表示飞行器在上升或者下降过程中感受野放大或者缩小的距离，Δh表示飞行器在上升或下降过程的高度差，Δth表示飞行器上升和下降过程所花费的时间；
定义航拍图像中各树木目标检测信息分别对应预设类型参数信息
Figure GDA0004165103010000055
表示第t帧航拍图像中第j个树木目标检测框所对应的预设类型参数信息，且预设类型参数信息包括树木目标检测框的左上角坐标
Figure GDA0004165103010000056
树木目标检测框的宽度
Figure GDA0004165103010000057
树木目标检测框的高度
Figure GDA0004165103010000058
进一步由第t帧航拍图像中各树木目标检测框所对应的预设类型参数信息
Figure GDA0004165103010000059
构成第t帧航拍图像所对应树木目标检测框参数信息集
Figure GDA00041651030100000510
J表示第t帧航拍图像中树木目标检测框的数量；
将飞行器处理第1帧航拍图像所对应树木目标检测框参数信息集D1作为飞行巡航轨迹航拍集Τoriginal的初始帧，并设置此帧中的树木数量赋值给全局树木统计变量count，以及按如下方式，应用vx、vy进行下一帧的轨迹判断；
假设1：当飞行器航拍高度与轨迹均没有改变时，下一帧与当前帧的位置关系应该满足如下：
Figure GDA0004165103010000061
vy＝0
式中，
Figure GDA0004165103010000062
表示当前第t帧中第j个树木目标检测框的左上角坐标的x轴坐标，
Figure GDA0004165103010000063
表示前一帧中相对应树木目标检测框的左上角坐标的x轴坐标，tall表示飞行器航拍时间和轻量化飞行器巡检网络处理时间总和，ε表示预设一个大于0的极小阈值；
假设2：当飞行器在航拍过程中处于上升或者下降阶段时，下一帧与当前帧之间的位置关系应该满足如下：
Figure GDA0004165103010000064
Figure GDA0004165103010000065
Δh＞0orΔh＜0
式中，
Figure GDA0004165103010000066
表示当前第t帧中第j个树木目标检测框的左上角坐标的y轴坐标，
Figure GDA0004165103010000067
表示前一帧中相对应树木目标检测框的y轴坐标，且Δh＞0时，表示飞行器处于上升过程中，Δh＜0时，表示飞行器处于下降过程中；
基于上述轨迹的判断后，将满足假设1的包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行巡航轨迹航拍集Τoriginal中；
将满足假设2中上升过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行上升轨迹航拍集Τup的初始帧，并将后续满足此关系式的包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行上升轨迹航拍集Τup中；
将满足假设2中下降过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行下降轨迹航拍集Τdown的初始帧，并将后续满足此关系式的包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行下降轨迹航拍集Τdown中。
作为本发明的一种优选技术方案：所述步骤ii中，按如下方法执行；
1)针对飞行巡航轨迹航拍集Τoriginal中各帧航拍图像对应树木目标检测框参数信息，若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件；
Figure GDA0004165103010000071
Figure GDA0004165103010000072
Figure GDA0004165103010000073
则判定该相邻两帧航拍图像为重复帧，若不满足上述条件，则判定该相邻两帧航拍图像为非重复帧；式中，IoU(·)表示交并比函数，
Figure GDA0004165103010000074
表示前一帧航拍图像中第j个树木目标检测框根据vx预测当前帧航拍图像中相同目标的预设类型参数信息，具体为预测树木目标检测框的左上角坐标
Figure GDA0004165103010000075
预测树木目标检测框宽度
Figure GDA0004165103010000076
预测树木目标检测框高度
Figure GDA0004165103010000077
η1和η2均为预设阈值参数，其中，η1至少要大于0.8，η2最大不能超过0.1；
2)针对飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown，关于轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息，按如下公式：
Figure GDA0004165103010000078
Figure GDA0004165103010000079
Figure GDA00041651030100000710
针对预测树木目标检测框的宽、高、以及预测树木目标检测框的左上角的y轴坐标进行重构更新，获得
Figure GDA00041651030100000711
其中，使用+号时表示飞行器下降过程，使用-号时表示飞行器上升过程；同时，使用隔帧对比修正法，按如下补偿公式：
Figure GDA00041651030100000712
Figure GDA00041651030100000714
Figure GDA00041651030100000715
针对阈值η1、η2进行阈值补偿更新，式中，
Figure GDA00041651030100000713
分别表示下一帧航拍图像、下两帧航拍图像、下三帧航拍图像中第j个树木目标检测框的预设类型参数信息，Δt表示两帧航拍图像之间的航拍间隔时长，
Figure GDA00041651030100000716
表示阈值补偿参数，min(·)表示最小值函数，阈值η1、η2进行阈值补偿更新公式中，飞行器下降过程时使用-号，飞行器上升过程中使用+号；
进一步针对飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown，若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件；
Figure GDA0004165103010000081
Figure GDA0004165103010000082
Figure GDA0004165103010000083
则判定该相邻两帧航拍图像为重复帧，若不满足上述条件，则判定该相邻两帧航拍图像为非重复帧；
基于上述分别针对飞行巡航轨迹航拍集Τoriginal、飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown中重复帧航拍图像的判断后，伴随航拍图像时序，若当前帧航拍图像与上一帧航拍图像为重复帧，则全局树木统计变量count保持不变；若当前帧航拍图像与上一帧航拍图像为非重复帧，则全局树木统计变量count增加基于重复帧剔除公式所识别新树木目标检测框数量进行更新，如此完成对全部航拍图像的统计，实现对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
作为本发明的一种优选技术方案：还包括步骤iii如下，执行完步骤ii之后，进入步骤iii；
步骤iii.针对随航拍图像时序，将实时所更新的全局树木统计变量count依次显示于对应的航拍图像上。
本发明所述一种基于多轨迹智能预测的航拍树木数量精准统计方法，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计基于多轨迹智能预测的航拍树木数量精准统计方法，通过对航拍识别模型进行改进，能够有效提取出泛化的树木特征表示，突出特征之间的可区分度，解决了航拍图像分辨率较高所导致检测较慢，结合所提出双路特征融合的金字塔结构，实现了各层级的特征信息进行有效的融合，解决了对低、矮、小树木的漏检问题，并有效解决了飞行器航拍过程中由于高度变化所引起的形变问题，实现更好的统计效果，极大的降低了重复统计问题，与传统目标识别算法相比，本发明进一步设计在骨干网部分加入动态调控算法，使得网络各个参数与飞行器边端设备更加匹配，从而最大化利用设备算力获得较好的识别效果。
附图说明
图1是本发明设计基于多轨迹智能预测的航拍树木数量精准统计方法的流程示意图；
图2是本发明设计中双路特征融合的金字塔结构示意图；
图3是本发明设计中轻量化飞行器巡检网络结构示意图；
图4是本发明设计中结合轨迹预测的树木数量统计算法示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明所设计一种基于多轨迹智能预测的航拍树木数量精准统计方法，实际应用当中，如图1所示，按如下步骤A至步骤C，获得轻量化飞行器巡检网络。
步骤A.构建双路特征融合的金字塔结构处理流程，用于实现各层级特征图的融合处理，然后进入步骤B。
实际应用当中，上述步骤A基于航拍图像依次经过尺度由大至小顺序排列的至少四个下采样处理层，针对其中连续四个下采样处理层分别处理所输出的特征图F1、F2、F3、F4，如图2所示，构建双路特征融合的金字塔结构处理流程如下，用于实现各层级特征图的融合处理，然后进入步骤B。
对应处理输出特征图F4的下采样处理层的输出端依次串联尺度由小至大顺序排列的第一上采样处理层、第二上采样处理层、第三上采样处理层、第四上采样处理层，按如下公式：
Figure GDA0004165103010000091
第一上采样处理层针对特征图F4处理输出特征图F4'，同时，第二上采样处理层的输入端对接对应处理输出特征图F3的下采样处理层的输出端，第二上采样处理层针对特征图F4'、以及特征图F3处理输出特征图F3'；第三上采样处理层的输入端对接对应处理输出特征图F2的下采样处理层的输出端，第三上采样处理层针对特征图F3'、以及特征图F2处理输出特征图F2'；第四上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出端，第四上采样处理层针对特征图F2'、以及特征图F1处理输出特征图F1'；其中，convk×k表示卷积操作，k表示相应卷积操作中卷积核的大小，
Figure GDA0004165103010000101
表示为特征融合过程，ups(·)表示上采样操作。
同时，对应处理输出特征图F3的下采样处理层的输出端依次串联尺度由小至大顺序排列的第五上采样处理层、第六上采样处理层、第七上采样处理层，按如下公式：
Figure GDA0004165103010000102
第五上采样处理层的输入端对接第六上采样处理层的输出端，第五上采样处理层针对特征图F3、以及第六上采样处理层的输出进行处理输出F3”；第六上采样处理层的输入端对接对应处理输出特征图F2的下采样处理层的输出端、第七上采样处理层的输出端，第六上采样处理层针对特征图F3”、特征图F2、以及第七上采样处理层的输出进行处理输出F2”；第七上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出端，第七上采样处理层针对特征图F2”、以及特征图F1处理输出特征图F1”；其中，ω1、ω2、ω3表示预设横向通道相加操作时的权重。
最后，针对特征图F1'、特征图F2'、特征图F4'，按如下公式：
Figure GDA0004165103010000103
获得特征图F4”'，其中，downs1/2表示将特征图缩放到原来的
Figure GDA0004165103010000104
的下采样操作，Maxpoolstride＝2(·)表示步长为2的最大池化操作，α、β、γ∈(0,1)为自适应特征融合权重因子，并按如下公式计算获得。
Figure GDA0004165103010000105
Figure GDA0004165103010000106
γ＝1-α-β
其中，λm，m∈{α,β,γ}，λm表示当前特征层到目标特征层中下采样缩放的尺度，e表示自然常数。
以及按如下公式：
Figure GDA0004165103010000111
获得特征图F1”'、特征图F2”'、特征图F3”'。
即构成以特征图F1、F2、F3、F4为输入，以特征图F1”'、F2”'、F3”'、F4”'为输出的金字塔结构处理流程，此结构通过不同层级和原图之间的有效融合，解决原有特征金字塔在面临大小目标同时存在时出现的特征冲突问题，实现更好特征提取效果，加强对小目标的提取能力。
步骤B.以预设骨干网络的输出对接金字塔结构处理流程的输入，金字塔结构处理流程的输出对接预设分类网络的输入，构建以航拍图像为输入，以航拍图像中各树木目标检测框分别所对应预设类型参数信息为输出，构建待训练轻量化飞行器巡检网络，然后进入步骤C。
上述步骤B在实际应用当中，按如下方式，如图3所示，构建待训练轻量化飞行器巡检网络，然后进入步骤C。
首先基于MobileNet网络的前六层下采样处理层，由其中第一层下采样处理层的输入端接收航拍图像，第三层下采样处理层、第四层下采样处理层、第五层下采样处理层、第六层下采样处理层分别针对所输入特征图X3、X4、X5、X6，依次获得特征图Y3、Y4、Y5、Y6，即构建预设骨干网络。
然后以特征图Y3、Y4、Y5、Y6依次对应所述特征图F1、F2、F3、F4，输入金字塔结构处理流程，获得对应特征图F1'、F2'、F3'、F4'的特征图P3、P4、P5、P6，对应特征图F1”、F2”、F3”的特征图R3、R4、R5，进而获得金字塔结构处理流程的输出特征图O3、O4、O5、O6。
最后特征图O3、O4、O5、O6输入预设分类网络，由预设分类网络用于检测输出航拍图像中各树木目标检测框分别所对应预设类型参数信息，并标注在相应航拍图像中，构成包含树木目标检测框所对应预设类型参数信息的该航拍样本图像，进而完成待训练轻量化飞行器巡检网络的构建。
上述待训练轻量化飞行器巡检网络的构建，对航拍小目标语义信息特征实现充分提取的同时，又保证不会出现多次下采样后小目标的弥散和消失情况，再通过双路特征融合的金字塔结构对各层级之间的特征信息实现有效融合，最后将输出的特征进行通道拼接和卷积操作，并输入到分类网络中和回归网络中得到最终的分类结果。
步骤C.基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像，以航拍样本图像为输入，以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出，针对待训练轻量化飞行器巡检网络进行训练，获得轻量化飞行器巡检网络。
上述步骤C在实际应用当中，基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像，以航拍样本图像为输入，以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出，结合如下目标函数，针对待训练轻量化飞行器巡检网络进行训练，获得轻量化飞行器巡检网络。
Figure GDA0004165103010000121
s.t.Accuray(O(r·H,r·W,w·C))≥accuray
Memory(χ)≤memory
FPS(χ)≥fps
式中，w、r分别表示轻量化飞行器巡检网络的通道宽度和特征图的分辨率，H、W、C分别表示特征图的高、宽以及通道数，χ(w,r)表示为经过骨干网络和特征融合后网络后总的计算参数，⊙表示参数统计符，l表示巡预设骨干网络的输出层数，Yl(r·Hl,r·Wl,w·Cl)表示对应层数的骨干网络输出特征图，Accuary(·)表示待训练轻量化飞行器巡检网络对输出特征图O(r·H,r·W,w·C)中目标识别的准确度，即输出特征图O3、O4、O5、O6中目标识别的准确度，accuray表示树木目标检测框会被标注的阈值，Memory(χ)表示待训练轻量化飞行器巡检网络所需的内存空间，memory表示获取航拍图像的飞行器的边端嵌入设备的内存，FPS(χ)表示训练待训练轻量化飞行器巡检网络中参数所需要的处理时间，fps表示获取航拍图像的飞行器检测过程中的预设最低检测要求时间。
基于上述轻量化飞行器巡检网络的获得，如图1所示，继续应用轻量化飞行器巡检网络，执行如下步骤i至步骤ii，针对飞行器飞行轨迹下实时所获各航拍图像中树木数量的统计。
步骤i.分别针对飞行器飞行轨迹下实时所获各航拍图像，应用轻量化飞行器巡检网络，获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息，并结合飞行器所对应各飞行信息，针对各航拍图像，按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类，然后进入步骤ii。
上述步骤i在实际应用当中，分别针对飞行器飞行轨迹下实时所获各航拍图像，应用轻量化飞行器巡检网络，获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息，并分别针对飞行器飞行轨迹下实时所获各航拍图像，如图4所示，执行如下处理，实现对各航拍图像，按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类，然后进入步骤ii。
定义航拍图像中树木目标检测框坐标中的速度vx,vy：
Figure GDA0004165103010000131
Figure GDA0004165103010000132
式中，v表示飞行器的速度，w'表示航拍图像的宽度值，h'表示航拍图像的高度值，L表示飞行器航拍镜头感受野的直径，
Figure GDA0004165103010000133
表示缩放参数，且
Figure GDA0004165103010000134
ΔL表示飞行器在上升或者下降过程中感受野放大或者缩小的距离，Δh表示飞行器在上升或下降过程的高度差，Δth表示飞行器上升和下降过程所花费的时间。
定义航拍图像中各树木目标检测信息分别对应预设类型参数信息
Figure GDA0004165103010000135
表示第t帧航拍图像中第j个树木目标检测框所对应的预设类型参数信息，且预设类型参数信息包括树木目标检测框的左上角坐标
Figure GDA0004165103010000136
树木目标检测框的宽度
Figure GDA0004165103010000137
树木目标检测框的高度
Figure GDA0004165103010000138
进一步由第t帧航拍图像中各树木目标检测框所对应的预设类型参数信息
Figure GDA0004165103010000139
构成第t帧航拍图像所对应树木目标检测框参数信息集
Figure GDA00041651030100001310
J表示第t帧航拍图像中树木目标检测框的数量。
将飞行器处理第1帧航拍图像所对应树木目标检测框参数信息集D1作为飞行巡航轨迹航拍集Τoriginal的初始帧，并设置此帧中的树木数量赋值给全局树木统计变量count，以及按如下方式，应用vx、vy进行下一帧的轨迹判断。
假设1：当飞行器航拍高度与轨迹均没有改变时，下一帧与当前帧的位置关系应该满足如下：
Figure GDA0004165103010000141
vy＝0
式中，
Figure GDA0004165103010000142
表示当前第t帧中第j个树木目标检测框的左上角坐标的x轴坐标，
Figure GDA0004165103010000143
表示前一帧中相对应树木目标检测框的左上角坐标的x轴坐标，tall表示飞行器航拍时间和轻量化飞行器巡检网络处理时间总和，ε表示预设一个大于0的极小阈值。
假设2：当飞行器在航拍过程中处于上升或者下降阶段时，下一帧与当前帧之间的位置关系应该满足如下：
Figure GDA0004165103010000144
Figure GDA0004165103010000145
Δh＞0orΔh＜0
式中，
Figure GDA0004165103010000146
表示当前第t帧中第j个树木目标检测框的左上角坐标的y轴坐标，
Figure GDA0004165103010000147
表示前一帧中相对应树木目标检测框的y轴坐标，且Δh＞0时，表示飞行器处于上升过程中，Δh＜0时，表示飞行器处于下降过程中。
基于上述轨迹的判断后，将满足假设1的包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行巡航轨迹航拍集Τoriginal中。
将满足假设2中上升过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行上升轨迹航拍集Τup的初始帧，并将后续满足此关系式的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行上升轨迹航拍集Τup中。
将满足假设2中下降过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行下降轨迹航拍集Τdown的初始帧，并将后续满足此关系式的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行下降轨迹航拍集Τdown中。
步骤ii.分别针对飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹，针对轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息进行分析，完成对全部飞行轨迹下实时所获各航拍图像中树木数量的统计，然后进入步骤iii。
实际应用当中，上述步骤ii中，按如下方法执行。
1)针对飞行巡航轨迹航拍集Τoriginal中各帧航拍图像对应树木目标检测框参数信息，若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件。
Figure GDA0004165103010000151
Figure GDA0004165103010000152
Figure GDA0004165103010000153
则判定该相邻两帧航拍图像为重复帧，若不满足上述条件，则判定该相邻两帧航拍图像为非重复帧；式中，IoU(·)表示交并比函数，
Figure GDA0004165103010000154
表示前一帧航拍图像中第j个树木目标检测框根据vx预测当前帧航拍图像中相同目标的预设类型参数信息，具体为预测树木目标检测框的左上角坐标
Figure GDA0004165103010000155
预测树木目标检测框宽度
Figure GDA0004165103010000156
预测树木目标检测框高度
Figure GDA0004165103010000157
η1和η2均为预设阈值参数，其中，η1至少要大于0.8，η2最大不能超过0.1。
2)针对飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown，关于轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息，按如下公式：
Figure GDA0004165103010000158
Figure GDA0004165103010000159
Figure GDA00041651030100001510
针对预测树木目标检测框的宽、高、以及预测树木目标检测框的左上角的y轴坐标进行重构更新，获得
Figure GDA00041651030100001511
其中，使用+号时表示飞行器下降过程，使用-号时表示飞行器上升过程；同时，使用隔帧对比修正法，按如下补偿公式：
Figure GDA00041651030100001512
Figure GDA00041651030100001514
Figure GDA00041651030100001515
针对阈值η1、η2进行阈值补偿更新，式中，
Figure GDA00041651030100001513
分别表示下一帧航拍图像、下两帧航拍图像、下三帧航拍图像中第j个树木目标检测框的预设类型参数信息，Δt表示两帧航拍图像之间的航拍间隔时长，
Figure GDA00041651030100001516
表示阈值补偿参数，min(·)表示最小值函数，阈值η1、η2进行阈值补偿更新公式中，飞行器下降过程时使用-号，飞行器上升过程中使用+号。
进一步针对飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown，若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件；
Figure GDA0004165103010000161
Figure GDA0004165103010000162
Figure GDA0004165103010000163
则判定该相邻两帧航拍图像为重复帧，若不满足上述条件，则判定该相邻两帧航拍图像为非重复帧。
基于上述分别针对飞行巡航轨迹航拍集Τoriginal、飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown中重复帧航拍图像的判断后，伴随航拍图像时序，若当前帧航拍图像与上一帧航拍图像为重复帧，则全局树木统计变量count保持不变；若当前帧航拍图像与上一帧航拍图像为非重复帧，则全局树木统计变量count增加基于重复帧剔除公式所识别新树木目标检测框数量进行更新，如此完成对全部航拍图像的统计，实现对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
步骤iii.针对随航拍图像时序，将实时所更新的全局树木统计变量count依次显示于对应的航拍图像上。
上述技术方案所设计基于多轨迹智能预测的航拍树木数量精准统计方法，通过对航拍识别模型进行改进，能够有效提取出泛化的树木特征表示，突出特征之间的可区分度，解决了航拍图像分辨率较高所导致检测较慢，结合所提出双路特征融合的金字塔结构，实现了各层级的特征信息进行有效的融合，解决了对低、矮、小树木的漏检问题，并有效解决了飞行器航拍过程中由于高度变化所引起的形变问题，实现更好的统计效果，极大的降低了重复统计问题，与传统目标识别算法相比，本发明进一步设计在骨干网部分加入动态调控算法，使得网络各个参数与飞行器边端设备更加匹配，从而最大化利用设备算力获得较好的识别效果。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于多轨迹智能预测的航拍树木数量精准统计方法，其特征在于：按如下步骤A至步骤C，获得轻量化飞行器巡检网络；然后应用轻量化飞行器巡检网络，执行步骤i至步骤ii，针对飞行器飞行轨迹下实时所获各航拍图像中树木数量的统计；
步骤A.基于航拍图像依次经过尺度由大至小顺序排列的至少四个下采样处理层，针对其中连续四个下采样处理层分别处理所输出的特征图F1、F2、F3、F4，构建双路特征融合的金字塔结构处理流程如下，用于实现各层级特征图的融合处理，然后进入步骤B；
对应处理输出特征图F4的下采样处理层的输出端依次串联尺度由小至大顺序排列的第一上采样处理层、第二上采样处理层、第三上采样处理层、第四上采样处理层，按如下公式：
Figure FDA0004165103000000011
第一上采样处理层针对特征图F4处理输出特征图F4'，同时，第二上采样处理层的输入端对接对应处理输出特征图F3的下采样处理层的输出端，第二上采样处理层针对特征图F4'、以及特征图F3处理输出特征图F3'；第三上采样处理层的输入端对接对应处理输出特征图F2的下采样处理层的输出端，第三上采样处理层针对特征图F3'、以及特征图F2处理输出特征图F2'；第四上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出端，第四上采样处理层针对特征图F2'、以及特征图F1处理输出特征图F1'；其中，convk×k表示卷积操作，k表示相应卷积操作中卷积核的大小，
Figure FDA0004165103000000012
表示为特征融合过程，ups(·)表示上采样操作；
同时，对应处理输出特征图F3的下采样处理层的输出端依次串联尺度由小至大顺序排列的第五上采样处理层、第六上采样处理层、第七上采样处理层，按如下公式：
Figure FDA0004165103000000013
第五上采样处理层的输入端对接第六上采样处理层的输出端，第五上采样处理层针对特征图F3、以及第六上采样处理层的输出进行处理输出F3”；第六上采样处理层的输入端对接对应处理输出特征图F2的下采样处理层的输出端、第七上采样处理层的输出端，第六上采样处理层针对特征图F3”、特征图F2、以及第七上采样处理层的输出进行处理输出F2”；第七上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出端，第七上采样处理层针对特征图F2”、以及特征图F1处理输出特征图F1”；其中，ω1、ω2、ω3表示预设横向通道相加操作时的权重；
最后，针对特征图F1'、特征图F2'、特征图F4'，按如下公式：
Figure FDA0004165103000000021
获得特征图F4”'，其中，downs1/2表示将特征图缩放到原来的
Figure FDA0004165103000000022
的下采样操作，Maxpoolstride＝2(·)表示步长为2的最大池化操作，α、β、γ∈(0,1)为自适应特征融合权重因子，并按如下公式计算获得；
Figure FDA0004165103000000023
Figure FDA0004165103000000024
γ＝1-α-β
其中，λm，m∈{α,β,γ}，λm表示当前特征层到目标特征层中下采样缩放的尺度，e表示自然常数；
以及按如下公式：
Figure FDA0004165103000000025
获得特征图F1”'、特征图F2”'、特征图F3”'；
即构成以特征图F1、F2、F3、F4为输入，以特征图F1”'、F2”'、F3”'、F4”'为输出的金字塔结构处理流程；
步骤B.以预设骨干网络的输出对接金字塔结构处理流程的输入，金字塔结构处理流程的输出对接预设分类网络的输入，构建以航拍图像为输入，以航拍图像中各树木目标检测框分别所对应预设类型参数信息为输出，构建待训练轻量化飞行器巡检网络，然后进入步骤C；
步骤C.基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像，以航拍样本图像为输入，以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出，针对待训练轻量化飞行器巡检网络进行训练，获得轻量化飞行器巡检网络；
步骤i.分别针对飞行器飞行轨迹下实时所获各航拍图像，应用轻量化飞行器巡检网络，获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息，并结合飞行器所对应各飞行信息，针对各航拍图像，按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类，然后进入步骤ii；
步骤ii.分别针对飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹，针对轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息进行分析，完成对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
2.根据权利要求1所述一种基于多轨迹智能预测的航拍树木数量精准统计方法，其特征在于：所述步骤B中，按如下方式，构建待训练轻量化飞行器巡检网络，然后进入步骤C；首先基于MobileNet网络的前六层下采样处理层，由其中第一层下采样处理层的输入端接收航拍图像，第三层下采样处理层、第四层下采样处理层、第五层下采样处理层、第六层下采样处理层分别针对所输入特征图X3、X4、X5、X6，依次获得特征图Y3、Y4、Y5、Y6，即构建预设骨干网络；
然后以特征图Y3、Y4、Y5、Y6依次对应所述特征图F1、F2、F3、F4，输入金字塔结构处理流程，获得对应特征图F1'、F2'、F3'、F4'的特征图P3、P4、P5、P6，对应特征图F1”、F2”、F3”的特征图R3、R4、R5，进而获得金字塔结构处理流程的输出特征图O3、O4、O5、O6；
最后特征图O3、O4、O5、O6输入预设分类网络，由预设分类网络用于检测输出航拍图像中各树木目标检测框分别所对应预设类型参数信息，并标注在相应航拍图像中，构成包含树木目标检测框所对应预设类型参数信息的该航拍样本图像，进而完成待训练轻量化飞行器巡检网络的构建。
3.根据权利要求2所述一种基于多轨迹智能预测的航拍树木数量精准统计方法，其特征在于：所述步骤C中，基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像，以航拍样本图像为输入，以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出，结合如下目标函数，针对待训练轻量化飞行器巡检网络进行训练，获得轻量化飞行器巡检网络；
Figure FDA0004165103000000041
s.t.Accuray(O(r·H,r·W,w·C))≥accuray
Memory(χ)≤memory
FPS(χ)≥fps
式中，w、r分别表示轻量化飞行器巡检网络的通道宽度和特征图的分辨率，H、W、C分别表示特征图的高、宽以及通道数，χ(w,r)表示为经过骨干网络和特征融合后网络后总的计算参数，⊙表示参数统计符，l表示预设骨干网络的输出层数，Yl(r·Hl,r·Wl,w·Cl)表示对应层数的骨干网络输出特征图，Accuary(·)表示待训练轻量化飞行器巡检网络对输出特征图O(r·H,r·W,w·C)中目标识别的准确度，即输出特征图O3、O4、O5、O6中目标识别的准确度，accuray表示树木目标检测框会被标注的阈值，Memory(χ)表示待训练轻量化飞行器巡检网络所需的内存空间，memory表示获取航拍图像的飞行器的边端嵌入设备的内存，FPS(χ)表示训练待训练轻量化飞行器巡检网络中参数所需要的处理时间，fps表示获取航拍图像的飞行器检测过程中的预设最低检测要求时间。
4.根据权利要求3所述一种基于多轨迹智能预测的航拍树木数量精准统计方法，其特征在于：所述步骤i中，分别针对飞行器飞行轨迹下实时所获各航拍图像，应用轻量化飞行器巡检网络，获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息，并分别针对飞行器飞行轨迹下实时所获各航拍图像，执行如下处理，实现对各航拍图像，按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类，然后进入步骤ii；
定义航拍图像中树木目标检测框坐标中的速度vx,vy：
Figure FDA0004165103000000042
Figure FDA0004165103000000043
式中，v表示飞行器的速度，w'表示航拍图像的宽度值，h'表示航拍图像的高度值，L表示飞行器航拍镜头感受野的直径，
Figure FDA0004165103000000044
表示缩放参数，且
Figure FDA0004165103000000045
ΔL表示飞行器在上升或者下降过程中感受野放大或者缩小的距离，Δh表示飞行器在上升或下降过程的高度差，Δth表示飞行器上升和下降过程所花费的时间；
定义航拍图像中各树木目标检测信息分别对应预设类型参数信息
Figure FDA0004165103000000051
表示第t帧航拍图像中第j个树木目标检测框所对应的预设类型参数信息，且预设类型参数信息包括树木目标检测框的左上角坐标
Figure FDA0004165103000000052
树木目标检测框的宽度
Figure FDA0004165103000000053
树木目标检测框的高度
Figure FDA0004165103000000054
进一步由第t帧航拍图像中各树木目标检测框所对应的预设类型参数信息
Figure FDA0004165103000000055
构成第t帧航拍图像所对应树木目标检测框参数信息集
Figure FDA0004165103000000056
J表示第t帧航拍图像中树木目标检测框的数量；
将飞行器处理第1帧航拍图像所对应树木目标检测框参数信息集D1作为飞行巡航轨迹航拍集Τoriginal的初始帧，并设置此帧中的树木数量赋值给全局树木统计变量count，以及按如下方式，应用vx、vy进行下一帧的轨迹判断；
假设1：当飞行器航拍高度与轨迹均没有改变时，下一帧与当前帧的位置关系应该满足如下：
Figure FDA0004165103000000057
vy＝0
式中，
Figure FDA0004165103000000058
表示当前第t帧中第j个树木目标检测框的左上角坐标的x轴坐标，
Figure FDA0004165103000000059
表示前一帧中相对应树木目标检测框的左上角坐标的x轴坐标，tall表示飞行器航拍时间和轻量化飞行器巡检网络处理时间总和，ε表示预设一个大于0的极小阈值；
假设2：当飞行器在航拍过程中处于上升或者下降阶段时，下一帧与当前帧之间的位置关系应该满足如下：
Figure FDA00041651030000000510
Figure FDA00041651030000000511
Δh＞0 or Δh＜0
式中，
Figure FDA00041651030000000512
表示当前第t帧中第j个树木目标检测框的左上角坐标的y轴坐标，
Figure FDA00041651030000000513
表示前一帧中相对应树木目标检测框的y轴坐标，且Δh＞0时，表示飞行器处于上升过程中，Δh＜0时，表示飞行器处于下降过程中；
基于上述轨迹的判断后，将满足假设1的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行巡航轨迹航拍集Τoriginal中；
将满足假设2中上升过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行上升轨迹航拍集Τup的初始帧，并将后续满足此关系式的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行上升轨迹航拍集Τup中；
将满足假设2中下降过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行下降轨迹航拍集Τdown的初始帧，并将后续满足此关系式的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行下降轨迹航拍集Τdown中。
5.根据权利要求4所述一种基于多轨迹智能预测的航拍树木数量精准统计方法，其特征在于：所述步骤ii中，按如下方法执行；
1)针对飞行巡航轨迹航拍集Τoriginal中各帧航拍图像对应树木目标检测框参数信息，若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件；
Figure FDA0004165103000000061
Figure FDA0004165103000000062
Figure FDA0004165103000000063
则判定该相邻两帧航拍图像为重复帧，若不满足上述条件，则判定该相邻两帧航拍图像为非重复帧；式中，IoU(·)表示交并比函数，
Figure FDA0004165103000000064
表示前一帧航拍图像中第j个树木目标检测框根据vx预测当前帧航拍图像中相同目标的预设类型参数信息，具体为预测树木目标检测框的左上角坐标
Figure FDA0004165103000000065
预测树木目标检测框宽度
Figure FDA0004165103000000066
预测树木目标检测框高度
Figure FDA0004165103000000067
η1和η2均为预设阈值参数，其中，η1至少要大于0.8，η2最大不能超过0.1；
2)针对飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown，关于轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息，按如下公式：
Figure FDA0004165103000000068
Figure FDA0004165103000000069
Figure FDA00041651030000000610
针对预测树木目标检测框的宽、高、以及预测树木目标检测框的左上角的y轴坐标进行重构更新，获得
Figure FDA0004165103000000071
其中，使用+号时表示飞行器下降过程，使用-号时表示飞行器上升过程；同时，使用隔帧对比修正法，按如下补偿公式：
Figure FDA0004165103000000072
η1＝η1±Δl
η2＝η2±Δl
针对阈值η1、η2进行阈值补偿更新，式中，
Figure FDA0004165103000000073
分别表示下一帧航拍图像、下两帧航拍图像、下三帧航拍图像中第j个树木目标检测框的预设类型参数信息，Δt表示两帧航拍图像之间的航拍间隔时长，Δl表示阈值补偿参数，min(·)表示最小值函数，阈值η1、η2进行阈值补偿更新公式中，飞行器下降过程时使用-号，飞行器上升过程中使用+号；进一步针对飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown，若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件；
Figure FDA0004165103000000074
Figure FDA0004165103000000075
Figure FDA0004165103000000076
则判定该相邻两帧航拍图像为重复帧，若不满足上述条件，则判定该相邻两帧航拍图像为非重复帧；
基于上述分别针对飞行巡航轨迹航拍集Τoriginal、飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown中重复帧航拍图像的判断后，伴随航拍图像时序，若当前帧航拍图像与上一帧航拍图像为重复帧，则全局树木统计变量count保持不变；若当前帧航拍图像与上一帧航拍图像为非重复帧，则全局树木统计变量count增加基于重复帧剔除公式所识别新树木目标检测框数量进行更新，如此完成对全部航拍图像的统计，实现对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
6.根据权利要求1至5中任意一项所述一种基于多轨迹智能预测的航拍树木数量精准统计方法，其特征在于：还包括步骤iii如下，执行完步骤ii之后，进入步骤iii；
步骤iii.针对随航拍图像时序，将实时所更新的全局树木统计变量count依次显示于对应的航拍图像上。
CN202210330769.4A 2022-03-30 2022-03-30 一种基于多轨迹智能预测的航拍树木数量精准统计方法 Active CN114863267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210330769.4A CN114863267B (zh) 2022-03-30 2022-03-30 一种基于多轨迹智能预测的航拍树木数量精准统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210330769.4A CN114863267B (zh) 2022-03-30 2022-03-30 一种基于多轨迹智能预测的航拍树木数量精准统计方法

Publications (2)

Publication Number Publication Date
CN114863267A CN114863267A (zh) 2022-08-05
CN114863267B true CN114863267B (zh) 2023-05-23

Family

ID=82629705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210330769.4A Active CN114863267B (zh) 2022-03-30 2022-03-30 一种基于多轨迹智能预测的航拍树木数量精准统计方法

Country Status (1)

Country Link
CN (1) CN114863267B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242026A (zh) * 2020-01-13 2020-06-05 中国矿业大学 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN114067225A (zh) * 2021-11-19 2022-02-18 洛阳师范学院 一种无人机小目标检测方法、系统及可存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN110992378B (zh) * 2019-12-03 2023-05-16 湖南大学 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN112418165B (zh) * 2020-12-07 2023-04-07 武汉工程大学 基于改进型级联神经网络的小尺寸目标检测方法与装置
CN113807187B (zh) * 2021-08-20 2024-04-02 北京工业大学 基于注意力特征融合的无人机视频多目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242026A (zh) * 2020-01-13 2020-06-05 中国矿业大学 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN114067225A (zh) * 2021-11-19 2022-02-18 洛阳师范学院 一种无人机小目标检测方法、系统及可存储介质

Also Published As

Publication number Publication date
CN114863267A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN107679491B (zh) 一种融合多模态数据的3d卷积神经网络手语识别方法
CN110363140B (zh) 一种基于红外图像的人体动作实时识别方法
CN107609485B (zh) 交通标志的识别方法、存储介质、处理设备
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN107316001A (zh) 一种自动驾驶场景中小且密集的交通标志检测方法
CN108681718B (zh) 一种无人机低空目标精准检测识别方法
CN106897681A (zh) 一种遥感图像对比分析方法及系统
CN112991487B (zh) 一种多线程实时构建正射影像语义地图的系统
CN114581831B (zh) 基于图像和点云的无人机障碍物检测和避障方法及系统
CN109377511B (zh) 基于样本组合和深度检测网络的运动目标跟踪方法
CN108133235A (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN110929746A (zh) 一种基于深度神经网络的电子卷宗标题定位提取与分类方法
CN111126303B (zh) 一种面向智能停车的多车位检测方法
CN114492634B (zh) 一种细粒度装备图片分类识别方法及系统
CN117197676A (zh) 一种基于特征融合的目标检测识别方法
CN110008834B (zh) 一种基于视觉的方向盘干预检测与统计方法
CN109840498B (zh) 一种实时行人检测方法及神经网络、目标检测层
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN112132839B (zh) 一种基于深度卷积级联网络的多尺度快速人脸分割方法
CN116229286B (zh) 一种知识驱动的空间目标态势感知方法及系统
CN114863267B (zh) 一种基于多轨迹智能预测的航拍树木数量精准统计方法
CN112132137A (zh) 一种基于FCN-SPP-Focal Net的抽象画图像正确方向的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant