CN112013820B - 一种面向无人机机载平台部署的实时目标检测方法及装置 - Google Patents

一种面向无人机机载平台部署的实时目标检测方法及装置 Download PDF

Info

Publication number
CN112013820B
CN112013820B CN202010925793.3A CN202010925793A CN112013820B CN 112013820 B CN112013820 B CN 112013820B CN 202010925793 A CN202010925793 A CN 202010925793A CN 112013820 B CN112013820 B CN 112013820B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
litedensehg
image
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010925793.3A
Other languages
English (en)
Other versions
CN112013820A (zh
Inventor
胡天江
李铭慧
王法魁
郑勋臣
朱波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010925793.3A priority Critical patent/CN112013820B/zh
Publication of CN112013820A publication Critical patent/CN112013820A/zh
Application granted granted Critical
Publication of CN112013820B publication Critical patent/CN112013820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种面向无人机机载平台部署的实时目标检测方法及装置，所述方法包括：将预先搭建的LiteDenseHG‑Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像；对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库；将经过图像预处理后的图像输入至所述LiteDenseHG‑Net网络模型进行前向计算，得到对应的目标检测结果；将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制。本发明通过在无人机机载平台上搭载LiteDenseHG‑Net网络模型，实现在计算资源受限平台上对目标进行实时检测的目的，提高检测精度，并在完成检测后实时对无人机进行精准的实时控制。

Description

一种面向无人机机载平台部署的实时目标检测方法及装置
技术领域
本发明涉及计算机视觉和神经网络优化技术领域，尤其是涉及一种面向无人机机载平台部署的实时目标检测方法及装置。
背景技术
低成本小型无人机由于其具有地勤保障要求低、机动性强和安全风险系数小等优点，在各行各业都有了广泛发展。而在航拍领域，通过无人机携带摄像机来执行对地目标检测任务就是其中一个热点和难点。由于无人机本身载荷有限，往往无法在无人机的机载平台放置功能强大的GPU计算单元，目前常用的无人机对地目标检测方法一般是离线处理，即无人机只执行拍摄任务，而目标检测部分则在后期在地面计算单元上进行处理，该方法要求对所执行任务没有实时性要求，从通用性和高效性角度来说需要一种同时具有优秀的精度性能和更小的模型尺寸的目标检测算法。
但是，在对现有技术的研究与实践过程中，本发明的发明人发现，虽然现有技术已经提出了各种基于深度学习的目标检测算法，并且在复杂场景下比传统物体检测算法也有着更优秀的表现。但是现有的基于深度学习的目标检测算法还存在如下缺陷：例如RCNN系列的Fast-cnn算法即使在地面强大的GPU计算资源下也无法达到实时性要求，而在速度上占据优越性的YOLO系列则由于其需要庞大的网络规模，无法在嵌入式机载平台设备上进行部署。因此，亟需一种能够面向计算资源受限的无人机平台的实时目标检测方法。
发明内容
本发明实施例所要解决的技术问题在于，提供一种面向无人机机载平台部署的实时目标检测方法及装置，通过在无人机机载平台上搭载LiteDenseHG-Net网络模型，实现在计算资源受限平台上对目标进行实时检测的目的，提高检测精度，并在完成检测后实时对无人机进行精准的实时控制。
为解决上述问题，本发明的一个实施例提供了一种面向无人机机载平台部署的实时目标检测方法，至少包括如下步骤：
将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像；
对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库；
将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果；
将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制。
作为优选方案，所述将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，具体为：
搭建初步的LiteDenseHG-Net网络模型；
通过采集无人机的历史对地目标图像构建样本数据集；
通过所述样本数据集对所述初步的LiteDenseHG-Net网络模型进行训练优化，得到最优的LiteDenseHG-Net网络模型后部署至无人机的机载平台。
作为优选方案，所述通过采集无人机的历史对地目标图像构建样本数据集，还包括：
对采集的所述历史对地目标图像进行二次编辑处理，得到新的无人机图像，组成扩充数据集；其中，所述二次编辑处理包括翻转、剪裁和平移；
对所述扩充数据集中的每一张图像进行标注，得到对应的标签数据；其中，所述标签数据包括无人机待检测目标的中心坐标值、宽值、高值和类别信息。
作为优选方案，所述通过所述样本数据集对所述初步的LiteDenseHG-Net网络模型进行训练优化，具体为：
将所述样本数据集中的图像分批次输入至所述初步的LiteDenseHG-Net网络模型中进行卷积和池化处理，得到预设尺度下对应的输出预测结果；
在所述初步的LiteDenseHG-Net网络模型的检测层对所述输出预测结果进行损失值计算，并构建损失函数；
在所述损失函数构建完成后，采用反向梯度传播算法对所述初步的LiteDenseHG-Net网络模型的卷积核参数进行迭代更新；
在判定所述损失值低于预设阈值时，停止训练，得到最优的DenseHR-Net目标检测网络模型。
作为优选方案，所述损失值包括边框坐标损失值、目标置信度损失值和类别置信度损失值。
作为优选方案，所述图像预处理，具体为：
通过双线性差值法对所述机载摄像机拍摄的RGB三通道图像进行放缩，将图像统一放缩至预设尺寸大小。
作为优选方案，所述将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果，具体为：
将经过图像预处理后的图像进行尺寸转换后，输入至优化后的LiteDenseHG-Net网络模型进行前向预算，得到对应的预测张量；
根据所述预测张量确定该图像对应的预测矩形框；其中，所述预测张量包括无人机目标区域的中心坐标值、宽值、高值、置信度和类别信息；
采用非极大值抑制算法对若干个所述预测矩形框进行计算，得到每个目标区域的置信度最高的目标矩形框，并对所述目标矩形框转换后得到原图像上该目标的类别和位置。
本发明的一个实施例提供了一种面向无人机机载平台部署的实时目标检测装置，包括：
部署模块，用于将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像；
图像预处理模块，用于对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库；
目标检测模块，用于将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果；
控制模块，用于将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制。
本发明的一个实施例提供了一种面向无人机机载平台部署的实时目标检测的终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的面向无人机机载平台部署的实时目标检测方法。
本发明的一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的面向无人机机载平台部署的实时目标检测方法。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的一种面向无人机机载平台部署的实时目标检测方法及装置，所述方法包括：将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像；对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库；将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果；将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制。本发明通过在无人机机载平台上搭载LiteDenseHG-Net网络模型，实现在计算资源受限平台上对目标进行实时检测的目的，提高检测精度，并在完成检测后实时对无人机进行精准的实时控制。
与现有技术相比，本发明实施例中采用的LiteDenseHG-Net网络模型，其模型尺寸相较于现有的深度学习检测算法大幅减小，因此能够部署在无人机机载平台上，实现在计算资源受限平台上对目标进行实时对地目标检测的目的，提高实时检测的精度，并在完成检测后对无人机进行精准的实时控制，解决了现有技术无法在计算资源局限平台上进行部署检测的问题。
附图说明
图1为本发明第一实施例提供的一种面向无人机机载平台部署的实时目标检测方法的流程示意图；
图2为本发明第一实施例提供的搭建LiteDenseHG-Net网络模型的流程示意图；
图3为本发明第一实施例提供的训练优化LiteDenseHG-Net网络模型的流程示意图；
图4为本发明第一实施例提供的LiteDenseHG-Net网络模型进行目标检测的流程示意图；
图5为本发明第二实施例提供的一种面向无人机机载平台部署的实时目标检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
首先介绍本发明可以提供的应用场景，如提供一种面向无人机机载平台部署的实时目标检测方法，能够在无人机机载平台上部署检测。
本发明第一实施例：
请参阅图1-4。
如图1所示，本实施例提供了一种面向无人机机载平台部署的实时目标检测方法，至少包括如下步骤：
S1、将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像。
具体的，对于步骤S1，首先在机载GPU平台部署LiteDenseHG-Net网络模型，并通过机载摄像机拍摄采集对地画面。
其中，本实施例采用的LiteDenseHG-Net网络模型是一种面向于计算资源受限平台的超轻量级网络结构，LiteDenseHG-Net网络很小，在输入部分，为了在层与层之间加强信息流的复用，充分利用浅层信息，本实施例参考DenseNet引入了从某一层到后续所有层的变形dense连接，在五次卷积之间形成一个非常密集的信息流连接，通过特征复用来充分开发网络潜力，在输出部分设计了一个沙漏形状的网络：当前层特征图上采样，拉取前层网络对应层特征图进行对应元素相加，再上采样，再拉取相加，对全尺度下的特征进行再次捕捉。整个网络设计为一个连接紧密，层数很少但特征提取能力很强的网络，且输出部分只有“sum”和“上采样”操作，不会带来额外的计算开销。其网络具体构成为：前五层使用“1卷积层+1池化层”的搭配方式交替运算，下采样16倍，同时在此五层特征图间进行dense连接，实现特征图间信息充分复用，其后经过第六，第七层卷积层增加网络表征能力的同时保持特征图尺寸不变，之后的特征图经过上采样层放大图像得到特征图为20*15的沙漏层A，拉取前层对应尺寸特征图作为沙漏层B，进行特征图对应元素相加，完成一次沙漏连接，重复上采样和相加操作，对所有尺寸上的特征图进行沙漏连接；最后经过两个卷积层后在检测层对目标在20*15尺度的特征图上进行预测。
在优选的实施例中，如图2所示，所述将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，具体为：
S11、搭建初步的LiteDenseHG-Net网络模型；
S12、通过采集无人机的历史对地目标图像构建样本数据集；
S13、通过所述样本数据集对所述初步的LiteDenseHG-Net网络模型进行训练优化，得到最优的LiteDenseHG-Net网络模型后部署至无人机的机载平台。
在优选的实施例中，所述步骤S12，还包括：
对采集的所述历史对地目标图像进行二次编辑处理，得到新的无人机图像，组成扩充数据集；其中，所述二次编辑处理包括翻转、剪裁和平移；
对所述扩充数据集中的每一张图像进行标注，得到对应的标签数据；其中，所述标签数据包括无人机待检测目标的中心坐标值、宽值、高值和类别信息。
具体的，首先采集无人机对地目标图像，构建样本数据集；其次，采集无人机对地目标图像，并通过翻转、剪裁、平移得到新的无人机图像，组成扩充数据集；通过人工标注得到每一张图片的标签数据，所述标签数据包括：无人机待检测对象的中心点坐标值bx、by，宽高值bw、bh和类别。并将获得的标签数据代入以下公式进行转换：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002667235040000071
Figure BDA0002667235040000072
其中cx，cy为预测网格所在坐标(x,y)值，pw，ph为预先确定的anchor宽高值。
在优选的实施例中，如图3所示，所述步骤S13，具体为：
S131、将所述样本数据集中的图像分批次输入至所述初步的LiteDenseHG-Net网络模型中进行卷积和池化处理，得到预设尺度下对应的输出预测结果；
S132、在所述初步的LiteDenseHG-Net网络模型的检测层对所述输出预测结果进行损失值计算，并构建损失函数；
S133、在所述损失函数构建完成后，采用反向梯度传播算法对所述初步的LiteDenseHG-Net网络模型的卷积核参数进行迭代更新；
S134、在判定所述损失值低于预设阈值时，停止训练，得到最优的DenseHR-Net目标检测网络模型。
在优选的实施例中，所述损失值包括边框坐标损失值、目标置信度损失值和类别置信度损失值。
具体的，利用样本数据集对LiteDenseHG-Net网络进行训练，得到最优网络模型。所述训练过程如下：将数据集中照片分批次输入LiteDenseHG-Net网络进行卷积、池化操作，得到20*15尺度下的单尺度输出预测；并在检测层对检测结果进行损失值计算。通过损失函数的构建，以损失值最小化为目的，通过反向梯度传播算法对卷积核参数进行迭代更新。损失值低于一定阈值时，停止训练得到最终的网络模型。
S2、对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库。
在优选的实施例中，所述图像预处理，具体为：
通过双线性差值法对所述机载摄像机拍摄的RGB三通道图像进行放缩，将图像统一放缩至预设尺寸大小。
具体的，对于步骤S2，将采集图像全部resize到320*240统一尺寸；对于地面相机拍摄的一幅无人机RGB三通道图像，本实施例中采用双线性插值算法来进行放缩。
双线性插值是象素填充法的一种具体实现。首先对于输入图像先对横坐标进行插值：
E.ImageInfo＝(1-a)*A.ImageInfo+a*C.ImageInfo
F.ImageInfo＝(1-a)*B.ImageInfo+a*D.ImageInfo
再对纵坐标进行插值：
pSource.ImageInfo＝(1-b)*E.ImageInfo+b*F.ImageInfo
最后对目标处对应点进行赋值：
pDes.ImageInfo＝pSource.ImageInfo
其中，ImageInfo表示得到某一像素点的图像信息，并且A，B，C，D是离虚拟的pSource点最近的四个像素点。本算法较好地解决了图像放大时的失真问题，若对图像放大效果有更高的要求，则可采用二次或更高次插值算法来实现。在本实施例中为了权衡运算复杂度和插值效果，对图像进行双线性插值，将图像resize到416*416尺寸。
S3、将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果。
在优选的实施例中，如图4所示，所述步骤S3，具体包括：
S31、将经过图像预处理后的图像进行尺寸转换后，输入至优化后的LiteDenseHG-Net网络模型进行前向预算，得到对应的预测张量；
S32、根据所述预测张量确定该图像对应的预测矩形框；其中，所述预测张量包括无人机目标区域的中心坐标值、宽值、高值、置信度和类别信息；
S33、采用非极大值抑制算法对若干个所述预测矩形框进行计算，得到每个目标区域的置信度最高的目标矩形框，并对所述目标矩形框转换后得到原图像上该目标的类别和位置。
具体的，对于步骤S3，对训练好的网络模型输入待检测图像即可进行无人机对地目标检测。将待测图像转换成(320*240)大小后，输入LiteDenseHG-Net网络模型经过前向计算得到预测张量，预测张量中即包含无人机目标区域的中心坐标值(tx,ty)，宽高值(tw,th)以及置信度；其中置信度是判断此网格是否有物体object的分数，通过此分数的高低来判断，该网格内是否存在物体，具体的计算公式为：
Figure BDA0002667235040000101
其中
Figure BDA0002667235040000102
表示第i个网格的第j个anchor box的置信度。Pr(Object)表示该anchor box有物体的概率，
Figure BDA0002667235040000103
表示这个anchor box里预测的边框和真实边框的IOU值和类别。
将得到的中心坐标(tx,ty)和宽高值(tw,th)代入以下公式进行解算即可得到预测矩形框的中心坐标值(bx,by)，宽高值(bw,bh)；所述转换公式为：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002667235040000104
Figure BDA0002667235040000105
其中(cx,cy)为预测网格坐标，(pw,ph)为基准框宽高；
最后将得到的多个预测矩形框通过非极大值抑制算法进行处理，得到置信度最高的目标矩形框，并根据上述转换公式将非极大值抑制后的矩形框，转换到原图的像素坐标上，得到原图像上该目标的类别和位置。
其中，本实施例中采用的非极大值抑制算法的具体原理为：对于Bounding Box的列表B及其对应的置信度S。选择具有最大score的检测框M，将其从B集合中移除并加入到最终的检测结果D中。通常将B中剩余检测框中与M的IoU大于阈值Nt的框从B中移除，重复这个过程，直到B为空。
S4、将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制。
具体的，对于步骤S4，通过Jetson TX2将物体检测的结果信息实时输入到无人机总控单元，形成目标检测结果对无人机控制的一种反馈机制，以使总控单元在接收目标检测结果后，根据目标检测结果中的位置信息对无人机进行后续的控制。
本实施例提供的一种面向无人机机载平台部署的实时目标检测方法，至少包括如下步骤：将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像；对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库；将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果；将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制。
本实施例中采用的LiteDenseHG-Net网络模型，其模型尺寸相较于现有的深度学习检测算法大幅减小，因此能够部署在无人机机载平台上，实现在计算资源受限平台上对目标进行实时对地目标检测的目的，提高实时检测的精度，并在完成检测后对无人机进行精准的实时控制，解决了现有技术无法在计算资源局限平台上进行部署检测的问题。
本发明第二实施例：
请参阅图5。
如图5所示，本实施例提供了一种面向无人机机载平台部署的实时目标检测装置，包括：
部署模块100，用于将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像。
具体的，对于部署模块100，用于在机载GPU平台部署LiteDenseHG-Net网络模型，并通过机载摄像机拍摄采集对地画面。
图像预处理模块200，用于对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库。
具体的，对于图像预处理模块200，用于将采集图像全部resize到320*240统一尺寸；对于地面相机拍摄的一幅无人机RGB三通道图像，本实施例中采用双线性插值算法来进行放缩。
目标检测模块300，用于将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果。
具体的，对于目标检测模块300，对训练好的网络模型输入待检测图像即可进行无人机对地目标检测。将待测图像转换成(320*240)大小后，输入LiteDenseHG-Net网络模型经过前向计算得到预测张量，预测张量中即包含无人机目标区域的中心坐标值(tx,ty)，宽高值(tw,th)以及置信度；将得到的中心坐标(tx,ty)和宽高值(tw,th)代入以下公式进行解算即可得到预测矩形框的中心坐标值(bx,by)，宽高值(bw,bh)；最后将得到的多个预测矩形框通过非极大值抑制算法进行处理，得到置信度最高的目标矩形框，并将非极大值抑制后的矩形框转换到原图的像素坐标上，得到原图像上该目标的类别和位置。
控制模块400，用于将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制。
具体的，对于控制模块400，通过Jetson TX2将物体检测的结果信息实时输入到无人机总控单元，形成目标检测结果对无人机控制的一种反馈机制，以使总控单元在接收目标检测结果后，根据目标检测结果中的位置信息对无人机进行后续的控制。
本实施例提供的一种面向无人机机载平台部署的实时目标检测装置，包括：部署模块，用于将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像；图像预处理模块，用于对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库；目标检测模块，用于将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果；控制模块，用于将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制。
本实施例通过在无人机机载平台上搭载LiteDenseHG-Net网络模型，实现在计算资源受限平台上对目标进行实时检测的目的，提高检测精度，并在完成检测后实时对无人机进行精准的实时控制。
本发明的一个实施例还提供了一种面向无人机机载平台部署的实时目标检测的终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的面向无人机机载平台部署的实时目标检测方法。
本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的面向无人机机载平台部署的实时目标检测方法。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (9)

1.一种面向无人机机载平台部署的实时目标检测方法，其特征在于，至少包括如下步骤：
将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像；
对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库；
将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果；
将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制；
所述将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果，具体为：
将经过图像预处理后的图像进行尺寸转换后，输入至优化后的LiteDenseHG-Net网络模型进行前向预算，得到对应的预测张量；
根据所述预测张量确定该图像对应的预测矩形框；其中，所述预测张量包括无人机目标区域的中心坐标值、宽值、高值、置信度和类别信息；
采用非极大值抑制算法对若干个所述预测矩形框进行计算，得到每个目标区域的置信度最高的目。
2.根据权利要求1所述的面向无人机机载平台部署的实时目标检测方法，其特征在于，所述将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，具体为：
搭建初步的LiteDenseHG-Net网络模型；
通过采集无人机的历史对地目标图像构建样本数据集；
通过所述样本数据集对所述初步的LiteDenseHG-Net网络模型进行训练优化，得到最优的LiteDenseHG-Net网络模型后部署至无人机的机载平台。
3.根据权利要求2所述的面向无人机机载平台部署的实时目标检测方法，其特征在于，所述通过采集无人机的历史对地目标图像构建样本数据集，还包括：
对采集的所述历史对地目标图像进行二次编辑处理，得到新的无人机图像，组成扩充数据集；其中，所述二次编辑处理包括翻转、剪裁和平移；
对所述扩充数据集中的每一张图像进行标注，得到对应的标签数据；其中，所述标签数据包括无人机待检测目标的中心坐标值、宽值、高值和类别信息。
4.根据权利要求2所述的面向无人机机载平台部署的实时目标检测方法，其特征在于，所述通过所述样本数据集对所述初步的LiteDenseHG-Net网络模型进行训练优化，具体为：
将所述样本数据集中的图像分批次输入至所述初步的LiteDenseHG-Net网络模型中进行卷积和池化处理，得到预设尺度下对应的输出预测结果；
在所述初步的LiteDenseHG-Net网络模型的检测层对所述输出预测结果进行损失值计算，并构建损失函数；
在所述损失函数构建完成后，采用反向梯度传播算法对所述初步的LiteDenseHG-Net网络模型的卷积核参数进行迭代更新；
在判定所述损失值低于预设阈值时，停止训练，得到最优的DenseHR-Net目标检测网络模型。
5.根据权利要求4所述的面向无人机机载平台部署的实时目标检测方法，其特征在于，所述损失值包括边框坐标损失值、目标置信度损失值和类别置信度损失值。
6.根据权利要求1所述的面向无人机机载平台部署的实时目标检测方法，其特征在于，所述图像预处理，具体为：
通过双线性差值法对所述机载摄像机拍摄的RGB三通道图像进行放缩，将图像统一放缩至预设尺寸大小。
7.一种面向无人机机载平台部署的实时目标检测装置，其特征在于，包括：
部署模块，用于将预先搭建的LiteDenseHG-Net网络模型部署至无人机的机载平台，并通过无人机的机载摄像机实时采集对地画面图像；
图像预处理模块，用于对所述机载摄像机实时采集的对地画面图像进行图像预处理后，存储至机载平台的数据库；
目标检测模块，用于将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果；
控制模块，用于将所述目标检测结果实时发送至所述无人机的控制单元，以使所述控制单元根据所述目标检测结果对无人机进行实时控制；
所述将经过图像预处理后的图像输入至所述LiteDenseHG-Net网络模型进行前向计算，得到对应的目标检测结果，具体为：
将经过图像预处理后的图像进行尺寸转换后，输入至优化后的LiteDenseHG-Net网络模型进行前向预算，得到对应的预测张量；
根据所述预测张量确定该图像对应的预测矩形框；其中，所述预测张量包括无人机目标区域的中心坐标值、宽值、高值、置信度和类别信息；
采用非极大值抑制算法对若干个所述预测矩形框进行计算，得到每个目标区域的置信度最高的目。
8.一种面向无人机机载平台部署的实时目标检测的终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的面向无人机机载平台部署的实时目标检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的面向无人机机载平台部署的实时目标检测方法。
CN202010925793.3A 2020-09-04 2020-09-04 一种面向无人机机载平台部署的实时目标检测方法及装置 Active CN112013820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010925793.3A CN112013820B (zh) 2020-09-04 2020-09-04 一种面向无人机机载平台部署的实时目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010925793.3A CN112013820B (zh) 2020-09-04 2020-09-04 一种面向无人机机载平台部署的实时目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN112013820A CN112013820A (zh) 2020-12-01
CN112013820B true CN112013820B (zh) 2022-03-08

Family

ID=73516939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010925793.3A Active CN112013820B (zh) 2020-09-04 2020-09-04 一种面向无人机机载平台部署的实时目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN112013820B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255671B (zh) * 2021-07-05 2022-04-22 浙江智慧视频安防创新中心有限公司 针对长宽比大物体的目标检测方法、系统、设备及介质
CN115761552B (zh) * 2023-01-08 2023-05-26 石家庄铁道大学 面向无人机机载平台的目标检测方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108318008A (zh) * 2017-12-14 2018-07-24 深圳大学 一种地质灾害的探测方法、装置和系统
CN111272148A (zh) * 2020-01-20 2020-06-12 江苏方天电力技术有限公司 输电线路无人机自主巡检自适应成像质量优化方法
CN111275760A (zh) * 2020-01-16 2020-06-12 上海工程技术大学 一种基于5g与深度图像信息的无人机目标跟踪系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108318008A (zh) * 2017-12-14 2018-07-24 深圳大学 一种地质灾害的探测方法、装置和系统
CN111275760A (zh) * 2020-01-16 2020-06-12 上海工程技术大学 一种基于5g与深度图像信息的无人机目标跟踪系统及方法
CN111272148A (zh) * 2020-01-20 2020-06-12 江苏方天电力技术有限公司 输电线路无人机自主巡检自适应成像质量优化方法

Also Published As

Publication number Publication date
CN112013820A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
JP6902611B2 (ja) 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器
JP2020507850A (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN113689578B (zh) 一种人体数据集生成方法及装置
CN109272060B (zh) 一种基于改进的darknet神经网络进行目标检测的方法和系统
CN112013820B (zh) 一种面向无人机机载平台部署的实时目标检测方法及装置
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110544294B (zh) 一种基于全景视频的稠密三维重构方法
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN114359289A (zh) 一种图像处理方法及相关装置
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN113536896B (zh) 基于改进Faster RCNN的绝缘子缺陷检测方法、装置及存储介质
CN112132753B (zh) 多尺度结构引导图像的红外图像超分辨率方法及系统
CN113281780A (zh) 对图像数据进行标注的方法、装置及电子设备
CN113052907A (zh) 一种动态环境移动机器人的定位方法
CN112734747A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN109977965B (zh) 一种在遥感机场图像中确定检测目标的方法及装置
CN113853559A (zh) 可移动平台的控制方法、装置、设备及存储介质
CN113658274B (zh) 用于灵长类动物种群行为分析的个体间距自动计算方法
CN115359170A (zh) 场景数据的生成方法、装置、电子设备和存储介质
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN113034675A (zh) 一种场景模型构建方法、智能终端及计算机可读存储介质
CN114640785A (zh) 站点模型更新方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant