CN115393743A - 基于双分支编解码网络的车辆检测方法、无人机、介质 - Google Patents

基于双分支编解码网络的车辆检测方法、无人机、介质 Download PDF

Info

Publication number
CN115393743A
CN115393743A CN202210959127.0A CN202210959127A CN115393743A CN 115393743 A CN115393743 A CN 115393743A CN 202210959127 A CN202210959127 A CN 202210959127A CN 115393743 A CN115393743 A CN 115393743A
Authority
CN
China
Prior art keywords
image
branch
network
vehicle detection
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210959127.0A
Other languages
English (en)
Inventor
王文琪
邓佩华
翟懿奎
江子义
廖锦锐
梁雅淇
滕佳琳
李昱祺
李文霸
李青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202210959127.0A priority Critical patent/CN115393743A/zh
Publication of CN115393743A publication Critical patent/CN115393743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种基于双分支编解码网络的车辆检测方法、无人机、介质，其中，方法包括：确定目标巡检区域，所述目标巡检区域包括多个巡检节点；根据多个所述巡检节点确定目标巡检路径；根据所述目标巡检路径进行巡检并拍摄待检测图像；将所述待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像；根据所述分割图像确定车辆检测结果。根据本申请实施例提供的方案，能够结合无人机以及双分支编解码网络模型对目标巡检区域进行车辆检测，从而有效提高车辆检测的效率。

Description

基于双分支编解码网络的车辆检测方法、无人机、介质
技术领域
本申请涉及但不限于图像处理技术领域，尤其涉及一种基于双分支编解码网络的车辆检测方法、无人机、介质。
背景技术
高速公路上的车辆如果行驶不规范，会引发交通拥堵、交通事故等交通安全问题，为了减少交通安全问题的发生，需要加强对高速公路上行驶的车辆进行检测。传统的车辆检测方法是依靠固定视频监控设备对公路上行驶的车辆进行监控，存在时效性差、应变能力不足的问题，车辆检测效率较低。
发明内容
本申请实施例提供了一种基于图像分割的海上溢油检测方法、无人机、存储介质，能够有效提高车辆检测的效率。
第一方面，本申请实施例提供了一种基于双分支编解码网络的车辆检测方法，应用于无人机，所述方法包括：
确定目标巡检区域，所述目标巡检区域包括多个巡检节点；
根据多个所述巡检节点确定目标巡检路径；
根据所述目标巡检路径进行巡检并拍摄待检测图像；
将所述待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像，所述分割图像对应有图像分类信息；
根据所述图像分类信息和所述分割图像确定车辆检测结果。
在一些实施例中，所述双分支编解码网络模型包括低帧分支网络、高帧分支网络和分类器，所述将所述待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像，包括：
对所述待检测图像进行低帧率采样，得到第一图像；
对所述待检测图像进行高帧率采样，得到第二图像；
对所述第一图像输入至所述低帧分支网络进行特征提取，得到第一特征图；
对所述第二图像输入至所述高帧分支网络进行特征提取，得到第二特征图；
对所述第一特征图进行全局平均池化处理，得到新的第一特征图；
对所述第二特征图进行全局平均池化处理，得到新的第二特征图；
对所述新的第一特征图和所述新的第二特征图进行融合处理，得到目标特征图；
将所述目标特征图输入至所述分类器进行图像分割处理，得到所述分割图像。
在一些实施例中，所述低帧分支网络包括第一编码器和第一解码器；所述第一编码器包括第一多头自注意力机制层和第一前馈网络；所述对所述第一图像输入至所述低帧分支网络进行特征提取，得到第一特征图，包括：
将所述第一图像输入至所述第一多头自注意力机制层，得到第一权重矩阵；
对所述第一权重矩阵进行归一化处理，得到第一中间数据；
将所述第一中间数据输入至所述第一前馈网络进行激活处理，得到第一编码结果；
将所述第一编码结果输入至所述第一解码器进行图像重建处理，得到所述第一特征图。
在一些实施例中，所述高帧分支网络包括第二编码器和第二解码器；所述第二编码器包括第二多头自注意力机制层和第二前馈网络；所述对所述第二图像输入至所述低帧分支网络进行特征提取，得到第二特征图，包括：
将所述第二图像输入至所述第二多头自注意力机制层，得到第二权重矩阵；
对所述第二权重矩阵进行归一化处理，得到第二中间数据；
将所述第二中间数据输入至所述第二前馈网络进行激活处理，得到第二编码结果；
将所述第二编码结果输入至所述第二解码器进行图像重建处理，得到所述第二特征图。
在一些实施例中，所述双分支编解码网络模型根据随机方向梯度直方图HOG掩码进行预训练得到。
在一些实施例中，所述根据所述图像分类信息和所述分割图像确定车辆检测结果，包括：
当所述图像分类信息满足预设的异常条件，根据所述分割图像和预设的车辆异常检测规则得到所述分割图像的异常评分值；
当所述异常评分值大于或等于预设的评分阈值，确定所述车辆检测结果为检测不通过；
或者，
当所述异常评分值小于所述评分阈值，确定所述车辆检测结果为检测通过。
在一些实施例中，在所述将所述待检测图像输入至预设的双分支编解码网络模型进行图像分割处理，得到分割图像之前，所述方法还包括：
根据预设的预处理规则对所述待检测图像进行图像预处理。
第二方面，本申请实施例提供了一种无人机，包括：
目标巡检区域确定模块，所述目标巡检区域确定模块用于确定目标巡检区域，所述目标巡检区域包括多个巡检节点；
目标巡检路径确定模块，所述目标巡检路径确定模块根据多个所述巡检节点确定目标巡检路径；
图像获取模块，所述图像获取模块用于根据所述目标巡检路径进行巡检并拍摄待检测图像；
分割图像获取模块，所述分割图像获取模块用于将所述待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像，所述分割图像对应有图像分类信息；
车辆检测结果获取模块，所述车辆检测结果获取模块用于根据所述图像分类信息和所述分割图像确定车辆检测结果。
第三方面，本申请实施例提供了一种无人机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于双分支编解码网络的车辆检测方法。
第三方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于双分支编解码网络的车辆检测方法。
本申请实施例提供了一种基于双分支编解码网络的车辆检测方法、无人机、介质，其中，方法包括：确定目标巡检区域，所述目标巡检区域包括多个巡检节点；根据多个所述巡检节点确定目标巡检路径；根据所述目标巡检路径进行巡检并拍摄待检测图像；将所述待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像；根据所述分割图像确定车辆检测结果。根据本申请实施例提供的方案，能够结合无人机以及双分支编解码网络模型对目标巡检区域进行车辆检测，从而有效提高车辆检测的效率。
附图说明
图1是本申请一个实施例提供的基于双分支编解码网络的车辆检测方法的步骤流程图；
图2是本申请另一个实施例提供的得到分割图像的步骤流程图；
图3是本申请另一个实施例提供的得到第一特征图的步骤流程图；
图4是本申请另一个实施例提供的得到第二特征图的步骤流程图；
图5是本申请另一个实施例提供的确定车辆检测结果的步骤流程图；
图6是本申请另一个实施例提供的对待检测图像进行图像预处理的步骤流程图；
图7是本申请另一个实施例提供的无人机的模块示意图；
图8是本申请另一个实施例提供的无人机结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
可以理解的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例提供了一种基于双分支编解码网络的车辆检测方法、无人机、介质，其中，方法包括：确定目标巡检区域，所述目标巡检区域包括多个巡检节点；根据多个所述巡检节点确定目标巡检路径；根据所述目标巡检路径进行巡检并拍摄待检测图像；将所述待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像；根据所述分割图像确定车辆检测结果。根据本申请实施例提供的方案，能够结合无人机以及双分支编解码网络模型对目标巡检区域进行车辆检测，从而有效提高车辆检测的效率。
下面结合附图，对本申请实施例作进一步阐述。
如图1所示，图1是本申请一个实施例提供的基于双分支编解码网络的车辆检测方法的步骤流程图，本申请实施例提供了一种基于双分支编解码网络的车辆检测方法，该方法包括但不限于有以下步骤：
步骤S110，确定目标巡检区域，目标巡检区域包括多个巡检节点；
步骤S120，根据多个巡检节点确定目标巡检路径；
步骤S130，根据目标巡检路径进行巡检并拍摄待检测图像；
步骤S140，将待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像，分割图像对应有图像分类信息；
步骤S150，根据图像分类信息和分割图像确定车辆检测结果。
需要说明的是，本实施例的无人机可以采用任意类型的无人机，能够确保续航能力足够完成巡检即可，并且为了获取待检测图像，可以在无人机中搭载遥感设备，通过遥感设备获取待检测图像，本实施例对具体的硬件结构不做改进，能够实现功能即可；目标巡检区域可以根据实际需求设定，在目标巡检区域内包括一个起点和多个巡检节点即可。在无人机根据目标巡检路径进行巡检过程中，无人机从起点出发，途径该区域内所有巡检节点，最终再返回起点，在路过每个巡检节点时采集待检测图像。
需要说明的是，本申请实施例并不限制待检测图像的具体形式，可以是图片或视频片段，本领域技术人员可以根据实际需求进行获取。
需要说明的是，本申请实施例并不限制确定目标巡检路径的具体方法，可以是通过遗传算法针对目标巡检区域的多个巡检节点进行路径规划得到，或者是通过蚁群算法计算得到。
可以理解的是，在无人机确定目标巡检路径之后，可以根据目标巡检路径在目标巡检区域内进行多次巡检，并拍摄待检测图像，通过将待检测图像输入至无人机预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像，分割图像对应有图像分类信息，根据图像分类信息和分割图像确定车辆检测结果；无人机体积小，灵活性强且视角广，能够实时对目标巡检区域内的车辆进行行驶行为检测，相较于传统依靠固定视频监控设备对公路上行驶的车辆进行监控的检测方法，本申请实施例结合无人机以及双分支编解码网络模型对目标巡检区域进行车辆检测，从而有效提高车辆检测的效率。
另外，参照图2，在一实施例中，双分支编解码网络模型包括低帧分支网络、高帧分支网络和分类器，图1所示实施例中的步骤S140还包括但不限于有以下步骤：
步骤S210，对待检测图像进行低帧率采样，得到第一图像；
步骤S220，对待检测图像进行高帧率采样，得到第二图像；
步骤S230，对第一图像输入至低帧分支网络进行特征提取，得到第一特征图；
步骤S240，对第二图像输入至高帧分支网络进行特征提取，得到第二特征图；
步骤S250，对第一特征图进行全局平均池化处理，得到新的第一特征图；
步骤S260，对第二特征图进行全局平均池化处理，得到新的第二特征图；
步骤S270，对新的第一特征图和新的第二特征图进行融合处理，得到目标特征图；
步骤S280，将目标特征图输入至分类器进行图像分割处理，得到分割图像。
另外，参照图3，在一实施例中低帧分支网络包括第一编码器和第一解码器；第一编码器包括第一多头自注意力机制层和第一前馈网络，图2所示实施例中的步骤S250还包括但不限于有以下步骤：
步骤S310，将第一图像输入至多头自注意力机制层，得到第一权重矩阵；
步骤S320，对第一权重矩阵进行归一化处理，得到第一中间数据；
步骤S330，将第一中间数据输入至第一前馈网络进行激活处理，得到第一编码结果；
步骤S340，将第一编码结果输入至第一解码器进行图像重建处理，得到第一特征图。
另外，参照图4，在一实施例中高帧分支网络包括第二编码器和第二解码器；第二编码器包括第二多头自注意力机制层和第二前馈网络，图2所示实施例中的步骤S250还包括但不限于有以下步骤：
步骤S410，将第二图像输入至多头自注意力机制层，得到第二权重矩阵；
步骤S420，对第二权重矩阵进行归一化处理，得到第二中间数据；
步骤S440，将第二中间数据输入至第二前馈网络进行激活处理，得到第二编码结果；
步骤S440，将第二编码结果输入至第二解码器进行图像重建处理，得到第二特征图。
可以理解的是，当待检测图像的具体形式为视频，由于一般的深度学习卷积神经网络对于海量的数据适配能力不足，计算两个位置之间的关联所需的操作次数随着距离而增长，给视频理解任务带来了很大的计算量。因此，本申请采用双分支编解码网络模型代替卷积神经网络，使得对待检测图像中两个特征信息之间进行关联时所需的操作次数不会随距离而增长，从而降低了模型的计算量。在双分支编解码网络模型中，由于多头自注意力机制层的引入，使网络能够捕捉到更丰富的特征和信息，产生更具可解释性的模型，从而提高双分支编解码网络模型获取分割图像的准确性。
需要说明的是，多头自注意力机制层的表达式如下：
Attention(Q,K,V)＝softmax(QKT)V；
Q＝Xinput*WQ；
K＝Xinput*WK；
V＝Xinput*WV；
其中，WQ、WK和WV是变换矩阵，Xinput的具体公式为：
Xinput＝Xinput+Xpos；
其中，Xpos根据以下公式进行位置编码得到：
Figure BDA0003791071340000051
其中，pos表示第一图像或第二图像的特征位置，i表示向量的维度；dmodel是模型的维度；可以理解的是，Xpos为编码数组，由第一图像或第二图像中的特征根据上式进行位置编码得到，Xpos的维度与Xinput的维度一致。
需要说明的是，将第一图像输入至第一多头自注意力机制层后得到第一权重矩阵，对第一权重矩阵进行归一化处理，得到第一中间数据，将第一中间数据输入至第一前馈网络进行激活处理，得到第一编码结果；同时，将位置编码和第一编码结果通过残差连接后，将经过残差连接后的第一编码结果输入至第一解码器进行图像重建处理，得到第一特征图，从而使得低帧分支网络的训练更加容易，并能够将卷积的局部处理转换为全局处理，得到第一图像的图像块间关系的编码XG∈R^(P×N×d)，从而能够使得模型用更少的参数和更简单的训练方法，从不同的角度学到更好的全局表示。对XG∈R^(P×N×d)进行折叠处理得到XF∈R^(H×W×d)，并通过卷积核为1×1的卷积层将映射到低维空间；同样地，将第二图像输入至第二多头自注意力机制层，得到第二权重矩阵(其中，第二多头自注意力机制层与第一多头自注意力机制层结构相同)；对第二权重矩阵进行归一化处理，得到第二中间数据；将第二中间数据输入至第二前馈网络进行激活处理，得到第二编码结果；将位置编码和第二编码结果通过残差连接后，将经过残差连接后的第二编码结果输入至第二解码器(第二解码器与第一解码器的结构相同)进行图像重建处理，得到第二特征图；对第一特征图进行全局平均池化处理，得到新的第一特征图；对第二特征图进行全局平均池化处理，得到新的第二特征图；对新的第一特征图和新的第二特征图进行融合处理，得到目标特征图；将目标特征图输入至分类器进行图像分割处理，得到分割图像。通过这种方法能够保留第一图像以及第二图像的图像块顺序，也保留了每个图像块内像素的空间顺序，降低了模型的计算量，减轻了模型部署所占用的内存资源，提高了模型的优化能力。
需要说明的是，当待检测图像的数据形式为视频数据，本申请实施例不限制对待检测图像进行低帧率采样或高帧率采样的具体方法以及具体参数数值，可以是对待检测图像进行高帧分支采样得到的αW帧作为高帧分支网络的输入，例如通过使用一个较小的时序跨度τ/α对输入至高帧分支网络的原始视频数据进行采样，使高帧分支网络的训练数据帧率较高，第一图像的图像帧数比输入至低帧分支网络的第二图像的图像帧数密集α倍的同时，高帧分支网络的特征通道数比低帧分支网络的特征通道少，即高帧分支的特征通道数为低帧分支的β倍，本申请实施例不限制α和β的具体数值，本领域技术人员根据实际情况确定即可。
需要说明的是，由于两路分支输出的特征大小不同，需要对两路分支的特征进行相应的转换以实现两路分支的成功匹配以及融合，本申请实施例通过预设的卷积层对两路分支输出的特征图(包括第一特征图和第二特征图)进行卷积，取时序维度的步长为α，输出通道为2βC，使空间维度扩张2倍。使用单向连接，将低帧分支网络输出的第一特征图进行全局平均池化之后，得到新的第一特征图，将高帧分支网络输出的第二特征图进行全局平均池化之后，得到新的第二特征图，将新的第一特征图通过求和或连接与第二特征图进行融合处理，得到目标特征图，将目标特征图作为全连接层和多分类器层的输入，从而得到分割图像。
需要说明的是，本申请实施例并不限制多分类器的具体类型，可以是softmax多分类器、线性分类器或支持向量机等。
另外，在一实施例中，参考图5，图1所示实施例中的步骤S150还包括但不限于有以下步骤：
步骤S510，当图像分类信息满足预设的异常条件，根据分割图像和预设的车辆异常检测规则得到分割图像的异常评分值；
步骤S520，当异常评分值大于或等于预设的评分阈值，确定车辆检测结果为检测不通过；
或者，
步骤S530，当异常评分值小于评分阈值，确定车辆检测结果为检测通过。
需要说明的是，当检测到图像分类信息满足预设的异常条件，表示分割图像对应的目标车辆存在行驶不规范的可能性，此时，根据分割图像和预设的车辆异常检测规则得到分割图像的异常评分值，将预设的评分阈值与异常评分值进行比较处理，当异常评分值大于或等于预设的评分阈值，表征该目标车辆行驶不规范，确定车辆检测结果为检测不通过；当异常评分值小于评分阈值，确定车辆检测结果为检测通过，从而提高车辆检测的效率。
另外，无人机可以与客户端通信连接，本申请实施例提供的基于双分支编解码网络的车辆检测方法还包括但不限于有以下步骤：在异常评分值大于或等于预设的评分阈值的情况下，确定分割图像对应的目标车辆信息，目标车辆信息包括车牌号信息以及车主信息；将目标车辆信息和图像分类信息发送至客户端，以使相关管理人员根据客户端显示的信息对目标车辆进行监控处理。
另外，参照图6，在一实施例中，在执行图1所示实施例中的步骤S140之前，本申请实施例提供的基于双分支编解码网络的车辆检测方法还包括但不限于有以下步骤：
步骤S610，根据预设的预处理规则对待检测图像进行图像预处理。
可以理解的是，对待检测图像进行图像预处理主要目的是消除待检测图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而提高后续待检测图像应用的可靠性。
需要说明的是，本申请实施例并不限制对待检测图像进行图像预处理的具体方法，可以是对待检测图像进行图像随机数旋转处理、归一化处理或图像二值化处理等等，本领域技术人员可以根据实际情况进行选用图像预处理的具体方式。
需要说明的是，本申请实施例提供的双分支编解码网络模型根据随机方向梯度直方图HOG掩码进行预训练得到，具体的预训练过程为：对低帧分支的采样图像进行随机的图像块掩码并重建该采样图像，预训练采用损失函数对双分支编解码网络模型的车辆检测任务进行微调，损失函数的具体公式为：
Figure BDA0003791071340000071
其中，其中n是样本数量，x是预测向量的维度，y是经过独热编码之后的真实值所对应的x维度上的标签，a是以独热编码形式输出的预测标签。
另外，考虑到无人机拍摄的待检测图像会产生高低不同的质量，根据样本的图像质量对不同的困难样本赋予不同的权重，有利于双分支编解码网络模型的训练，本申请实施例采用自适应的边缘函数，通过结合图像质量，避免强调难以识别的图像，专注于困难但可识别的样本，具体实现公式如下：
Figure BDA0003791071340000072
其中，gangle和gadd为自适应的函数，通过角边缘和附加边缘实现角边缘尺度的学习梯度；其中，gangle的表达式为：
Figure BDA0003791071340000073
gadd的表达式为：
Figure BDA0003791071340000074
其中，gangle和gadd是
Figure BDA0003791071340000075
的函数。
另外，由于图像质量会受到许多客观性因素，比如：噪声、亮度、对比度、分辨率等的影响，而在高速公路上行驶的车辆存在着速度快的特点，同时由于高速公路周围环境的影响，容易导致无人机所捕获到的待检测图像数据的质量较低，因此，本申请实施例提供一种引入特征范数的损失函数，在提升低质量图像识别精度的同时，不会损失高质量图像的精度，该引入特征范数的损失函数的具体公式为：
Figure BDA0003791071340000076
其中，zi∈Rd是xi的特征嵌入，xi属于第yi类；Wj为最后一个FC层权值矩阵的第j列，W∈Rd×C，bj为对应的偏置项，C表示类的数量。
对于任意一对待检测图像xp和xq，使用余弦相似度度量
Figure BDA0003791071340000081
来寻找最接近的匹配恒等式，将偏差项设置为零，特征通过归一化和缩放参数进行转换，通过归一化的softmax直接优化双分支编解码网络模型训练目标的余弦距离公式如下：
Figure BDA0003791071340000082
其中，θj为zi和Wj之间的夹角。
另外，由于在使用基于边缘的softmax损失函数进行模型训练过程中，特征范数会表现出与图像质量相关的趋势。因此，本申请实施例在引入边缘函数强调样本不同困难程度，减少类内变化的同时，提出特征范数来寻找低质量的图像，以适应所引入的边缘函数，特征范数的具体公式如下：
Figure BDA0003791071340000083
其中，μz和σz为一个批次内所有||zi||的平均值和标准差，引入项h，h取0.33，来控制图像样本的关注程度，使大多数的
Figure BDA0003791071340000084
值落在-1和1之间。
设μz和σz是||zi||的第k步批统计，使用μz和σz跨多个步骤的指数移动平均数(EMA)来稳定批次的统计数据，μz和σz的表达式如下：
Figure BDA0003791071340000085
Figure BDA0003791071340000086
其中，α的动量设定为0.99。
另外，参照图7，图7是本申请另一个实施例提供的无人机的模块示意图，在一实施例中，本申请实施例提供了一种无人机700，该无人机700包括：
目标巡检区域确定模块710，目标巡检区域确定模块710用于确定目标巡检区域，目标巡检区域包括多个巡检节点；
目标巡检路径确定模块720，目标巡检路径确定模块720根据多个巡检节点确定目标巡检路径；
图像获取模块730，图像获取模块730用于根据目标巡检路径进行巡检并拍摄待检测图像；
分割图像获取模块740，分割图像获取模块740用于将待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像，分割图像对应有图像分类信息；
车辆检测结果获取模块750，车辆检测结果获取模块750用于根据图像分类信息和分割图像确定车辆检测结果。
另外，参考图8，图8是本申请另一个实施例提供的无人机结构图，本申请的一个实施例还提供了一种无人机800，该无人机800包括：存储器810、处理器820及存储在存储器810上并可在处理器820上运行的计算机程序。
处理器820和存储器810可以通过总线或者其他方式连接。
实现上述实施例的基于双分支编解码网络的车辆检测方法所需的非暂态软件程序以及指令存储在存储器810中，当被处理器820执行时，执行上述实施例中的应用于无人机800的基于双分支编解码网络的车辆检测方法，例如，执行以上描述的图1中的方法步骤S110至步骤S160、图2中的方法步骤S210至步骤S250、图3中的方法步骤S310至步骤S360、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510至步骤S520、图6中的方法步骤S610。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述无人机800实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的应用于无人机的基于双分支编解码网络的车辆检测方法，例如，执行以上描述的图1中的方法步骤S110至步骤S160、图2中的方法步骤S210至步骤S250、图3中的方法步骤S310至步骤S360、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510至步骤S520、图6中的方法步骤S610。本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种基于双分支编解码网络的车辆检测方法，应用于无人机，其特征在于，包括：
确定目标巡检区域，所述目标巡检区域包括多个巡检节点；
根据多个所述巡检节点确定目标巡检路径；
根据所述目标巡检路径进行巡检并拍摄待检测图像；
将所述待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像，所述分割图像对应有图像分类信息；
根据所述图像分类信息和所述分割图像确定车辆检测结果。
2.根据权利要求1所述的基于双分支编解码网络的车辆检测方法，其特征在于，所述双分支编解码网络模型包括低帧分支网络、高帧分支网络和分类器，所述将所述待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像，包括：
对所述待检测图像进行低帧率采样，得到第一图像；
对所述待检测图像进行高帧率采样，得到第二图像；
对所述第一图像输入至所述低帧分支网络进行特征提取，得到第一特征图；
对所述第二图像输入至所述高帧分支网络进行特征提取，得到第二特征图；
对所述第一特征图进行全局平均池化处理，得到新的第一特征图；
对所述第二特征图进行全局平均池化处理，得到新的第二特征图；
对所述新的第一特征图和所述新的第二特征图进行融合处理，得到目标特征图；
将所述目标特征图输入至所述分类器进行图像分割处理，得到所述分割图像。
3.根据权利要求2所述的基于双分支编解码网络的车辆检测方法，其特征在于，所述低帧分支网络包括第一编码器和第一解码器；所述第一编码器包括第一多头自注意力机制层和第一前馈网络；所述对所述第一图像输入至所述低帧分支网络进行特征提取，得到第一特征图，包括：
将所述第一图像输入至所述第一多头自注意力机制层，得到第一权重矩阵；
对所述第一权重矩阵进行归一化处理，得到第一中间数据；
将所述第一中间数据输入至所述第一前馈网络进行激活处理，得到第一编码结果；
将所述第一编码结果输入至所述第一解码器进行图像重建处理，得到所述第一特征图。
4.根据权利要求2所述的基于双分支编解码网络的车辆检测方法，其特征在于，所述高帧分支网络包括第二编码器和第二解码器；所述第二编码器包括第二多头自注意力机制层和第二前馈网络；所述对所述第二图像输入至所述低帧分支网络进行特征提取，得到第二特征图，包括：
将所述第二图像输入至所述第二多头自注意力机制层，得到第二权重矩阵；
对所述第二权重矩阵进行归一化处理，得到第二中间数据；
将所述第二中间数据输入至所述第二前馈网络进行激活处理，得到第二编码结果；
将所述第二编码结果输入至所述第二解码器进行图像重建处理，得到所述第二特征图。
5.根据权利要求1所述的基于双分支编解码网络的车辆检测方法，其特征在于，所述双分支编解码网络模型根据随机方向梯度直方图HOG掩码进行预训练得到。
6.根据权利要求1所述的基于双分支编解码网络的车辆检测方法，其特征在于，所述根据所述图像分类信息和所述分割图像确定车辆检测结果，包括：
当所述图像分类信息满足预设的异常条件，根据所述分割图像和预设的车辆异常检测规则得到所述分割图像的异常评分值；
当所述异常评分值大于或等于预设的评分阈值，确定所述车辆检测结果为检测不通过；
或者，
当所述异常评分值小于所述评分阈值，确定所述车辆检测结果为检测通过。
7.根据权利要求1所述的基于双分支编解码网络的车辆检测方法，其特征在于，在所述将所述待检测图像输入至预设的双分支编解码网络模型进行图像分割处理，得到分割图像之前，所述方法还包括：
根据预设的预处理规则对所述待检测图像进行图像预处理。
8.一种无人机，其特征在于，包括：
目标巡检区域确定模块，所述目标巡检区域确定模块用于确定目标巡检区域，所述目标巡检区域包括多个巡检节点；
目标巡检路径确定模块，所述目标巡检路径确定模块根据多个所述巡检节点确定目标巡检路径；
图像获取模块，所述图像获取模块用于根据所述目标巡检路径进行巡检并拍摄待检测图像；
分割图像获取模块，所述分割图像获取模块用于将所述待检测图像输入至预先训练好的双分支编解码网络模型进行图像分割处理，得到分割图像，所述分割图像对应有图像分类信息；
车辆检测结果获取模块，所述车辆检测结果获取模块用于根据所述图像分类信息和所述分割图像确定车辆检测结果。
9.一种无人机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于双分支编解码网络的车辆检测方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任意一项所述的基于双分支编解码网络的车辆检测方法。
CN202210959127.0A 2022-08-10 2022-08-10 基于双分支编解码网络的车辆检测方法、无人机、介质 Pending CN115393743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210959127.0A CN115393743A (zh) 2022-08-10 2022-08-10 基于双分支编解码网络的车辆检测方法、无人机、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210959127.0A CN115393743A (zh) 2022-08-10 2022-08-10 基于双分支编解码网络的车辆检测方法、无人机、介质

Publications (1)

Publication Number Publication Date
CN115393743A true CN115393743A (zh) 2022-11-25

Family

ID=84118725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210959127.0A Pending CN115393743A (zh) 2022-08-10 2022-08-10 基于双分支编解码网络的车辆检测方法、无人机、介质

Country Status (1)

Country Link
CN (1) CN115393743A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115955296A (zh) * 2023-03-14 2023-04-11 北京城市轨道交通咨询有限公司 一种基于无人巡检的轨道交通运维数据传输方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115955296A (zh) * 2023-03-14 2023-04-11 北京城市轨道交通咨询有限公司 一种基于无人巡检的轨道交通运维数据传输方法及装置

Similar Documents

Publication Publication Date Title
CN113688723B (zh) 一种基于改进YOLOv5的红外图像行人目标检测方法
Bautista et al. Convolutional neural network for vehicle detection in low resolution traffic videos
CN112183788B (zh) 一种域自适应设备运检系统和方法
US10607098B2 (en) System of a video frame detector for video content identification and method thereof
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN111951212A (zh) 对铁路的接触网图像进行缺陷识别的方法
CN104809443A (zh) 基于卷积神经网络的车牌检测方法及系统
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
KR102320985B1 (ko) 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及系统
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN111753732A (zh) 一种基于目标中心点的车辆多目标跟踪方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN115393743A (zh) 基于双分支编解码网络的车辆检测方法、无人机、介质
Meduri et al. A haar-cascade classifier based smart parking system
CN117274967A (zh) 一种基于卷积神经网络多模态融合车牌识别算法
Arai Maximum likelihood classification based on classified result of boundary mixed pixels for high spatial resolution of satellite images
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN116994161A (zh) 一种基于改进YOLOv5的绝缘子缺陷检测方法
US20240221426A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN115761552A (zh) 面向无人机机载平台的目标检测方法、系统、设备及介质
CN115393802A (zh) 一种基于小样本学习的铁路场景不常见入侵目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination