CN117076983A - 传输外线资源识别检测方法、装置、设备及存储介质 - Google Patents

传输外线资源识别检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117076983A
CN117076983A CN202311010858.1A CN202311010858A CN117076983A CN 117076983 A CN117076983 A CN 117076983A CN 202311010858 A CN202311010858 A CN 202311010858A CN 117076983 A CN117076983 A CN 117076983A
Authority
CN
China
Prior art keywords
result
data set
detection
output
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311010858.1A
Other languages
English (en)
Inventor
张乐民
刘杰明
胡广峰
莫亮亮
姚诗亮
史森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Guangdong Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Guangdong Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202311010858.1A priority Critical patent/CN117076983A/zh
Publication of CN117076983A publication Critical patent/CN117076983A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了传输外线资源识别检测方法、装置、设备及存储介质，其中，该方法包括：将传输外线资源图片标注为训练数据集和测试数据集，并利用训练数据集训练得到目标检测模型；将测试数据集输入至目标检测模型中，以利用骨干网络对测试数据集进行图像特征提取得到第一图像特征；将第一图像特征和位置编码矩阵输入至编码器进行编码以输出编码向量，并将对象查询集和编码向量输入至解码器模块进行解码操作得到解码输出结果；将解码输出结果输入至检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果。本发明将本场景的目标检测问题转化为集合预测问题使得模型在不依赖非极大值抑制的情况下进行有效的端到端训练。

Description

传输外线资源识别检测方法、装置、设备及存储介质
技术领域
本发明涉及传输与IT应用技术领域，尤其涉及传输外线资源识别检测方法、装置、设备及存储介质。
背景技术
传输外线资源属于运营商网络中重要的传输资源，而随着通信用户的增加，传输外线资源管理的压力也越来越大。传输外线资源识别检测可视为目标检测的具体应用之一，目前业界在目标检测方法已经进行了多个方向探索，其技术方向基本可以分为四大类：基于多阶段Anchor-Based的目标检测模型算法，基于单阶段Anchor-Based的目标检测模型算法,基于Anchor-Free的目标检测模型算以及基于Object query算法的目标检测模型：(1)一篇申请号为“CN115063664A”，名为“用于工业视觉检测的模型学习方法、训练方法及系统”的专利包含的技术属于第一类，其主要流程包含：1)进行候选区域的生成。2)利用卷积神经网络等模型对候选区域类别进行分类。3)使用非极大值抑制算法确保每个目标只检测一次；(2)一篇申请号为“CN113139437B”，名为“一种基于YOLOv3算法的安全帽佩戴检查方法”的专利采用了单阶段Anchor-Based的目标检测模型算法的技术方向，该类方法通过YOLOv3模型直接生成物体的类别概率和位置坐标值。在该方法中，图片的每个网格都会生成3个不同尺度的Anchor，最后同样通过使用非极大值抑制算法确保每个目标只对应一个检测边界框。(3)一篇申请号为“CN115082432A”，名为“基于细粒度图像分类的小目标螺栓缺陷检测方法及装置”的专利采取了基于Anchor-Free的目标检测模型算法，通过在骨干网络提取的特征图上直接去预测特征点的类别，以及该特征点到边界框四边的距离，此类方法把目标检测任务转变为回归任务，较前两种方法省去了Anchor设计的环节。(4)一篇申请号为“CN112036555A”，名为“目标检测框架的优化方法及装置、存储介质、电子设备”使用了基于Object query的DETR模型进行目标检测,较前面几种模型而言，该模型可以进行端到端的训练。
业界现有目标识别检测方案主要分为四个方向：基于多阶段Anchor-Based的目标检测模型算法，多阶段的目标检测模型因为需要分成候选区域生成和物体检测分类两个阶段进行训练。因此，该类方案的模型结构都较为复杂，而且时效性较差。基于单阶段Anchor-Based的目标检测模型，基于Anchor-Based的模型的检测性能对于Anchor的大小、数量、长宽比等设置都较为敏感，而如何设计好Anchor-Based需要一定的先验知识。同时，在训练过程中，计算所有Anchor和真实框的IOU值，也会消耗大量的内存和计算资源。基于Anchor-Free的目标检测模型算法，该模型算法并非严谨意义上的端到端模型算法。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出基一种传输外线资源识别检测方法，利用概率稀疏的注意力机制来让模型主要关注注意力权重较大的地方，降低注意力机制计算过程的空间和时间复杂度。
本发明的第二个目的在于提出一种输外线资源识别检测装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出一种输外线资源识别检测方法，包括：
将传输外线资源图片标注为训练数据集和测试数据集，并利用所述训练数据集训练得到目标检测模型；其中，所述目标检测模型，包括骨干网络、编码器模块、解码器模块和检测头；
将所述测试数据集输入至目标检测模型中，以利用所述骨干网络对所述测试数据集进行图像特征提取得到第一图像特征；
将所述第一图像特征和位置编码矩阵输入至所述编码器模块进行编码以输出编码向量，并将对象查询集和所述编码向量输入至所述解码器模块进行解码操作得到解码输出结果；
将所述解码输出结果输入至所述检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果。
根据本发明实施例的传输外线资源识别检测方法还可以具有以下附加技术特征：
在本发明的一个实施例中，在输出模型的识别检测结果之后，所述方法，还包括：
对传输外线资源图片进行标记得到基于真实类别和真实目标框的图片标注结果；
对所述识别检测结果与所述图片标注结果进行数据对比得到数据对比结果；
基于所述数据对比结果计算目标检测模型的损失，并根据计算的损失以通过反向传播算法更新目标检测模型的模型参数。
在本发明的一个实施例中，所述骨干网络，包括多个Swin Transformer块；利用所述骨干网络对所述测试数据集进行图像特征提取得到第一图像特征，包括：
将所述测试数据集输入至Swin Transformer块进行基于窗口的自注意力机制计算得到第一注意力计算结果；
基于所述第一窗口计算结果进行基于滑动窗口的自注意力机制计算以根据第二注意力计算结果输出得到第一图像特征。
在本发明的一个实施例中，在输出得到第一图像特征之后，所述方法，还包括：
利用卷积核大小为1的卷积对输出的第一图像特征进行下采样。
在本发明的一个实施例中，所述编码器模块，包括多层编码器；将所述第一图像特征和位置编码矩阵输入至所述编码器进行编码以输出编码向量，包括：
在每一层编码器中，基于多头的自注意力机制和位置编码向量对第一图像特征进行处理，以提取第一图像特征中不同位置的不同物体之间的第二图像特征；
将所述第一图像特征和所述第二图像特征进行残差连接以及标准化操作后得到第三图像特征；
将所述第三图像特征输入至第一前馈神经网络进行网络计算，并将网络输出的第四图像特征和所述第三图像特征进行残差连接标准化处理后得到第五图像特征。
在本发明的一个实施例中，在所述编码器模块和所述解码器模块中使用的自注意力机制为经过概率稀疏处理的自注意力机制。
在本发明的一个实施例中，将对象查询集和编码向量输入至所述解码器模块进行解码操作得到解码输出结果，包括：
在所述解码器模块的每层解码器中，利用经过概率稀疏的自注意力机制对所述对象查询集进行处理得到第三注意力计算结果；
根据所述编码向量和所述第三注意力计算结果进行自注意力机制运算得到第四注意力计算结果；
将所述第四注意力计算结果输入至第二前馈神经网络，以根据网络计算结果输出得到对应的解码输出结果。
在本发明的一个实施例中，所述对象查询集为一组可学习的变量，利用均匀分布操作将对象查询集进行初始化。
在本发明的一个实施例中，所述检测头，包括第三前馈神经网络和第四前馈神经网络；将所述解码输出结果发送至所述检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果，包括：
所述第三前馈神经网络用于对所述对象查询集中的查询对象进行测试数据集的图片中目标类别检测以得到目标分类结果；
所述第四前馈神经网络用于对所述对象查询集中的查询对象进行测试数据集的图片中边界框的预测以得到边界框预测结果；
基于所述目标分类结果和所述边界框预测结果得到目标检测模型的识别检测结果。
在本发明的一个实施例中，利用所述训练数据集训练得到目标检测模型，包括：
获取所述训练数据集中的训练图片；
利用预设的背景标签进行每个训练图片的标签值和所述查询对象的数量对齐以得到对齐结果；
基于所述对齐结果得到查询对象和背景标签的对应关系，并根据所述对应关系求解损失函数的损失最小的关系对以训练得到目标检测模型；其中，所述损失，包括基于交叉熵损失函数的预测类别损失和基于GIOU损失函数的边界框损失。
为达上述目的，本发明第二方面实施例提出一种传输外线资源识别检测装置，包括：
检测模型训练模块，用于将传输外线资源图片标注为训练数据集和测试数据集，并利用所述训练数据集训练得到目标检测模型；其中，所述目标检测模型，包括骨干网络、编码器模块、解码器模块和检测头；
图像特征提取模块，用于将所述测试数据集输入至目标检测模型中，以利用所述骨干网络对所述测试数据集进行图像特征提取得到第一图像特征；
特征编码解码模块，用于将所述第一图像特征和位置编码矩阵输入至所述编码器模块进行编码以输出编码向量，并将对象查询集和所述编码向量输入至所述解码器模块进行解码操作得到解码输出结果；
检测识别输出模块，用于将所述解码输出结果输入至所述检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果。
本发明实施例的传输外线资源识别检测方法和装置，使用Swin Transformer结构可以让模型在外线传输资源检测时候，通过滑动窗口注意力机制，可以更有效让骨干网络识别出图片中哪些才是值得聚焦的外线检测资源区域，并且使用概率稀疏注意力机制，该注意力机制能让模型更关注外线传输资源检测场景中的前景信息资源。突出资源前景信息。
为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的传输外线资源识别检测方法。
为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的传输外线资源识别检测方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的一种传输外线资源识别检测方法的流程图；
图2为根据本发明实施例的又一种传输外线资源识别检测方法的流程图；
图3为根据本发明实施例的目标检测模型的网络框架图；
图4为根据本发明实施例的骨干网络结构图；
图5为根据本发明实施例的基于窗口的自注意力机制示意图；
图6为根据本发明实施例的滑动窗口的自注意力机制示意图；
图7为根据本发明实施例的IOU函数效果示意图；
图8为根据本发明实施例的传输外线资源识别检测装置的结构图；
图9为根据本发明实施例的计算机设备的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的传输外线资源识别检测方法、装置、计算机设备和存储介质。
图1是本发明实施例的传输外线资源识别检测方法的流程图。
如图1所示，该方法包括但不限于以下步骤：
S1，将传输外线资源图片标注为训练数据集和测试数据集，并利用训练数据集训练得到目标检测模型；其中，目标检测模型，包括骨干网络、编码器模块、解码器模块和检测头；
S2，将测试数据集输入至目标检测模型中，以利用骨干网络对测试数据集进行图像特征提取得到第一图像特征；
S3，将第一图像特征和位置编码矩阵输入至编码器模块进行编码以输出编码向量，并将对象查询集和编码向量输入至解码器模块进行解码操作得到解码输出结果；
S4，将解码输出结果输入至检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果。
图2为本发明实施例的另一种传输外线资源识别检测方法的流程图，如图2所示：
步骤1：第一步通过人工标注代维系统的传输外线资源图片，其中标注训练数据集3680张，测试数据集720张。
步骤2：通过预训练好的Swin Transform骨干网络进行图像特征提取，使用Transform结构，在该步骤中使用Transformer结构有利用图像的全局特征提取。
步骤3：以步骤2的输出作为Transformer编码器的输入，利用自注意力机制，残差连接、前馈神经网络等结构，对图像特征进行编码，从而得到编码器的编码向量。
步骤4：以Transformer编码器的编码向量和对象查询集作为输入，进行解码操作。
步骤5：把解码器对对象查询集中每个对象的输出传递给检测头进行图像中的目标类别检测以及边界框预测。从而输出模型的检测结果。
步骤6：利用步骤5的输出与以及标注好的图片结果进行比对，计算模型的损失，并且通过反向传播算法进行模型变量的更新，从而使得模型预测结果能否逼近人工标注好的结果。
图3为本发明实施例的目标检测模型的网络框架图，本发明基于Object query的目标检测模型，如图3所示：
在本发明的一个实施例中，模块1为骨干网络模型：用于对样本照片进行标记得到真实类别以及真实的目标框，并且通过Swin Transformer骨干网络模型提取图像特征。本发明的骨干网络模型结构如图4所示。
具体地，将测试数据集输入至Swin Transformer块进行基于窗口的自注意力机制计算得到第一注意力计算结果；基于第一窗口计算结果进行基于滑动窗口的自注意力机制计算以根据第二注意力计算结果输出得到第一图像特征。
示例性地，在本发明骨干网络的Swin Transformer块中，首先进行的是基于窗口的自注意力机制。如图5所示，为一个高*宽分别8*8的图像，则按照线条划分进行窗口内的自注意力机制的测试数据集地计算。
示例性地，在Swin Transformer块中，基于窗口的自注意力机制由于图5的分窗口方式，不同窗口间信息不共享，导致缺失了图片的全局信息。因此，在进行完成基于窗口的自注意力机制后，会再次使用基于滑动窗口的自注意力方式，如图6所示。可以看出，重新划分窗口后，可以让上一层不关联的窗口之间，产生了关联关系的模块。
进一步地，本发明使用预训练好的Swin Transformer的第四个stage的输出作为图像特征。
feature map＝Swin Transformerstage 4(X)X∈R3*H*W
上式中，X为输入图片，在经上述特征提取后，输出的图像特征的维度为其中C为特征维度。在输出图像特征后，为了方便输入Transformer进行处理，本发明中会把骨干网络的输出使用卷积核大小为1的卷积操作进行下采样，同时把输出进行flatten操作。
在本发明的一个实施例中，模块2为编码器模块，Transformer编码器模块基于模块1输出的图像特征，以及位置编码矩阵作为输入，利用Transformer模型的编码器结果对输入进行编码。
示例性地，在每一层编码器中，基于多头的自注意力机制和位置编码向量对第一图像特征进行处理，以提取第一图像特征中不同位置的不同物体之间的第二图像特征；将第一图像特征和第二图像特征进行残差连接以及标准化操作后得到第三图像特征；将第三图像特征输入至第一前馈神经网络进行网络计算，并将网络输出的第四图像特征和第三图像特征进行残差连接标准化处理后得到第五图像特征。
具体地，在编码器模块中，由5层编码器堆叠而成。在每一层编码器中，首先经过多头的自注意力机制进行处理，以便于网络提取不同位置的不同物体之间的关联关系。然后再进行残差连接以及标准化操作，最后再经过一个前馈神经网络(FFN)并且把对应的输出和FFN的输入进行残差连接，以及进行标准化。
可以理解的是，在本发明实施例的编码器使用的注意力机制中，不同于普通Transformer模型使用的注意力机制，这里使用经过概率稀疏处理的注意力机制。
在注意权重中，通常来说都是主要的部分重要的权重系数(如需要检测的物体对象对应的权重)起作用，其它的权重参数(如背景)都具有一定的稀疏性(趋近于均匀分布)。因此，在本发明中采用如下公式来评价第i个query的稀疏性，下式值越少，说明该query起的作用越少：
本发明模型在更新注意力权重的时候，只更新M(Q,K)下top-k个query，其它的均用算数平均向量更新即可。本发明中k值的设定在本发明中取编码器输入长度的1/3。
因此，在编码器模块中，对于第i个query的注意力权重可用如下公式计算：
在本发明的一个实施例中，模块3为解码器模块，解码器模块基于输入的对象查询集以及编码器输出的编码向量使用Transformer解码器结果进行解码。在每层的解码器结构中，首先经过的是概率稀疏的自注意力机制。然后，根据编码器输出的编码向量以及自注意力机制的输出，进行注意力机制的运算。最后，再通过前馈神经网络得的对应的解码输出。
示例性地，在解码器模块的每层解码器中，利用经过概率稀疏的自注意力机制对对象查询集进行处理得到第三注意力计算结果；根据编码向量和第三注意力计算结果进行自注意力机制运算得到第四注意力计算结果；将第四注意力计算结果输入至第二前馈神经网络，以根据网络计算结果输出得到对应的解码输出结果。
可以理解的是，对象查询集属于一组可学习的变量，在本发明中，对象查询集使用均匀分布进行初始化。对象查询集的长度是一个固定的常数，在本发明中设定为50，其作用为对象查询集中每个object query进行一个边界框的预测。解码器的层数为5。使用的注意力机制的模式同编码器模块)中一样。
在本发明的一个实施例中，模块4为检测头模块，检测头，包括两个前馈神经网络和前馈神经网络，(第三前馈神经网络和第四前馈神经网络)，如图3所示：
具体地，第三前馈神经网络用于对对象查询集中的查询对象进行测试数据集的图片中目标类别检测以得到目标分类结果；第四前馈神经网络用于对对象查询集中的查询对象进行测试数据集的图片中边界框的预测以得到边界框预测结果；基于目标分类结果和边界框预测结果得到目标检测模型的识别检测结果。
可以理解的是，解码器的输出经过两个FFN(前馈神经网络，作用类似于检测头)分别针对每一个object query作目标的预测以及边界框的预测。值得注意的是，预测的类别除了本场景中的传输外线资源以外，还有背景类别。
由此，通过上述各个模块的数据处理完成本发明模型框架的前向传播的过程。
进一步地，在利用训练好的基于Object query的目标检测模型进行图像检测识别之前，阐述本发明的网络结构的训练策略。由于在解码器中，首先是使用概率稀疏的自注意力机制，每个object query需要预测一个目标，这比实际的图片的真实值要多。因此，在训练过程中，本发明使用特殊的背景标签使得每个训练图片的标签值能和object query的数量对齐。至于哪个一个object query对应哪个标签，在本发明中通过使用匈牙利算法来解决二分图匹配问题的方式来处理该问题，即对object query和标签一一对应，来求出损失最小的关系对。具体求解公式如下：
上式中，第一项为预测类别损失，使用的是交叉熵损失函数。当标签类别为背景的时候，该项需除10。第二项为边界框损失，对应的计算方式如下：
本发明中虽然使用了DETR的训练方式，但是在损失函数上使用的是GIOU损失函数，对比于DETR模型使用的IOU损失函数来说，优势在于GIOU损失函数会在训练过程考虑预测框和真实框之间重合部分的差异。如图7所示，使用IOU函数时候，3者的值均是一样的。
在本发明中，使用的GIOU函数使用的公式如下：
其中，A和B分别为预测框和真实框。C为两者重合部分。
可以知道的是，针对该场景目标检测任务所使用的训练策略，利用GIOU损失函数优化了使用基于Object query的目标检测模型训练过程，从而让模型在训练过程中可以考虑到目标框和真实框的重合部分不同的差异情况。
可以知道的是，本发明中整个模型训练起来，并无需使用极大抑制算法，即可针对本场景中的图片中的每个预测对象进行预测。因此可见，本发明的网络框架整体上可完全的端到端训练起来，并且是属于纯Transformer结构的模型。由此，利用纯Transformer结构构建了可完全端到端训练的传输外线资源识别检测模型，同时考虑了在注意力机制中重点考虑那些对检测有用的权重参数，提出了使用概率稀疏的注意力机制来优化检测模型。
本发明实施例的传输外线资源识别检测方法，利用概率稀疏的注意力机制来让模型主要关注注意力权重较大的地方，降低注意力机制计算过程的空间和时间复杂度，不仅有利于传输外线资源的验收和日常维护管理，还可以有效地提升传输外线资源的管理效率。
为了实现上述实施例，如图8所示，本实施例中还提供了传输外线资源识别检测装置10，该装置10包括：检测模型训练模块100、图像特征提取模块200、特征编码解码模块300和检测识别输出模块400；
检测模型训练模块100，用于将传输外线资源图片标注为训练数据集和测试数据集，并利用训练数据集训练得到目标检测模型；其中，目标检测模型，包括骨干网络、编码器模块、解码器模块和检测头；
图像特征提取模块200，用于将测试数据集输入至目标检测模型中，以利用骨干网络对测试数据集进行图像特征提取得到第一图像特征；
特征编码解码模块300，用于将第一图像特征和位置编码矩阵输入至编码器模块进行编码以输出编码向量，并将对象查询集和编码向量输入至所述解码器模块进行解码操作得到解码输出结果；
检测识别输出模块400，用于将解码输出结果输入至检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果。
本发明实施例的传输外线资源识别检测装置，利用概率稀疏的注意力机制来让模型主要关注注意力权重较大的地方，降低注意力机制计算过程的空间和时间复杂度，不仅有利于传输外线资源的验收和日常维护管理，还可以有效地提升传输外线资源的管理效率。
为了实现上述实施例的方法，本发明还提供了一种计算机设备，如图9所示，该计算机设备600包括存储器601、处理器602；其中，所述处理器602通过读取所述存储器601中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现上文所述方法的各个步骤。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述实施例所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

Claims (13)

1.一种传输外线资源识别检测方法，其特征在于，所述方法包括：
将传输外线资源图片标注为训练数据集和测试数据集，并利用所述训练数据集训练得到目标检测模型；其中，所述目标检测模型，包括骨干网络、编码器模块、解码器模块和检测头；
将所述测试数据集输入至目标检测模型中，以利用所述骨干网络对所述测试数据集进行图像特征提取得到第一图像特征；
将所述第一图像特征和位置编码矩阵输入至所述编码器模块进行编码以输出编码向量，并将对象查询集和所述编码向量输入至所述解码器模块进行解码操作得到解码输出结果；
将所述解码输出结果输入至所述检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果。
2.根据权利要求1所述的方法，其特征在于，在输出模型的识别检测结果之后，所述方法，还包括：
对传输外线资源图片进行标记得到基于真实类别和真实目标框的图片标注结果；
对所述识别检测结果与所述图片标注结果进行数据对比得到数据对比结果；
基于所述数据对比结果计算目标检测模型的损失，并根据计算的损失以通过反向传播算法更新目标检测模型的模型参数。
3.根据权利要求1所述的方法，其特征在于，所述骨干网络，包括多个SwinTransformer块；利用所述骨干网络对所述测试数据集进行图像特征提取得到第一图像特征，包括：
将所述测试数据集输入至Swin Transformer块进行基于窗口的自注意力机制计算得到第一注意力计算结果；
基于所述第一窗口计算结果进行基于滑动窗口的自注意力机制计算以根据第二注意力计算结果输出得到第一图像特征。
4.根据权利要求3所述的方法，其特征在于，在输出得到第一图像特征之后，所述方法，还包括：
利用卷积核大小为1的卷积对输出的第一图像特征进行下采样。
5.根据权利要求3所述的方法，其特征在于，所述编码器模块，包括多层编码器；将所述第一图像特征和位置编码矩阵输入至所述编码器进行编码以输出编码向量，包括：
在每一层编码器中，基于多头的自注意力机制和位置编码向量对第一图像特征进行处理，以提取第一图像特征中不同位置的不同物体之间的第二图像特征；
将所述第一图像特征和所述第二图像特征进行残差连接以及标准化操作后得到第三图像特征；
将所述第三图像特征输入至第一前馈神经网络进行网络计算，并将网络输出的第四图像特征和所述第三图像特征进行残差连接标准化处理后得到第五图像特征。
6.根据权利要求5所述的方法，其特征在于，在所述编码器模块和所述解码器模块中使用的自注意力机制为经过概率稀疏处理的自注意力机制。
7.根据权利要求6所述的方法，其特征在于，将对象查询集和编码向量输入至所述解码器模块进行解码操作得到解码输出结果，包括：
在所述解码器模块的每层解码器中，利用经过概率稀疏的自注意力机制对所述对象查询集进行处理得到第三注意力计算结果；
根据所述编码向量和所述第三注意力计算结果进行自注意力机制运算得到第四注意力计算结果；
将所述第四注意力计算结果输入至第二前馈神经网络，以根据网络计算结果输出得到对应的解码输出结果。
8.根据权利要求7所述的方法，其特征在于，所述对象查询集为一组可学习的变量，利用均匀分布操作将对象查询集进行初始化。
9.根据权利要求8所述的方法，其特征在于，所述检测头，包括第三前馈神经网络和第四前馈神经网络；将所述解码输出结果发送至所述检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果，包括：
所述第三前馈神经网络用于对所述对象查询集中的查询对象进行测试数据集的图片中目标类别检测以得到目标分类结果；
所述第四前馈神经网络用于对所述对象查询集中的查询对象进行测试数据集的图片中边界框的预测以得到边界框预测结果；
基于所述目标分类结果和所述边界框预测结果得到目标检测模型的识别检测结果。
10.根据权利要求9所述的方法，其特征在于，利用所述训练数据集训练得到目标检测模型，包括：
获取所述训练数据集中的训练图片；
利用预设的背景标签进行每个训练图片的标签值和所述查询对象的数量对齐以得到对齐结果；
基于所述对齐结果得到查询对象和背景标签的对应关系，并根据所述对应关系求解损失函数的损失最小的关系对以训练得到目标检测模型；其中，所述损失，包括基于交叉熵损失函数的预测类别损失和基于GIOU损失函数的边界框损失。
11.一种传输外线资源识别检测装置，其特征在于，包括：
检测模型训练模块，用于将传输外线资源图片标注为训练数据集和测试数据集，并利用所述训练数据集训练得到目标检测模型；其中，所述目标检测模型，包括骨干网络、编码器模块、解码器模块和检测头；
图像特征提取模块，用于将所述测试数据集输入至目标检测模型中，以利用所述骨干网络对所述测试数据集进行图像特征提取得到第一图像特征；
特征编码解码模块，用于将所述第一图像特征和位置编码矩阵输入至所述编码器模块进行编码以输出编码向量，并将对象查询集和所述编码向量输入至所述解码器模块进行解码操作得到解码输出结果；
检测识别输出模块，用于将所述解码输出结果输入至所述检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果。
12.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-10中任一项所述的传输外线资源识别检测方法。
13.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一项所述的传输外线资源识别检测方法。
CN202311010858.1A 2023-08-10 2023-08-10 传输外线资源识别检测方法、装置、设备及存储介质 Pending CN117076983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311010858.1A CN117076983A (zh) 2023-08-10 2023-08-10 传输外线资源识别检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311010858.1A CN117076983A (zh) 2023-08-10 2023-08-10 传输外线资源识别检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117076983A true CN117076983A (zh) 2023-11-17

Family

ID=88705464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311010858.1A Pending CN117076983A (zh) 2023-08-10 2023-08-10 传输外线资源识别检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117076983A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496131A (zh) * 2023-12-29 2024-02-02 国网山东省电力公司济南供电公司 一种电力作业现场安全行为识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496131A (zh) * 2023-12-29 2024-02-02 国网山东省电力公司济南供电公司 一种电力作业现场安全行为识别方法及系统
CN117496131B (zh) * 2023-12-29 2024-05-10 国网山东省电力公司济南供电公司 一种电力作业现场安全行为识别方法及系统

Similar Documents

Publication Publication Date Title
Eldesokey et al. Propagating confidences through cnns for sparse data regression
CN113673594B (zh) 一种基于深度学习网络的瑕疵点识别方法
CN115834433B (zh) 基于物联网技术的数据处理方法及系统
CN117058622A (zh) 污水处理设备的智能监测系统及其方法
CN117076983A (zh) 传输外线资源识别检测方法、装置、设备及存储介质
CN116089648B (zh) 基于人工智能的档案管理系统及方法
CN116486323A (zh) 基于人工智能的输煤廊道监控管理系统及其方法
Xu et al. Vision-based multi-level synthetical evaluation of seismic damage for RC structural components: a multi-task learning approach
CN115744084A (zh) 基于多传感器数据融合的皮带张紧控制系统及其方法
CN116308754A (zh) 一种银行信贷风险预警系统及其方法
CN117392604A (zh) 物联网实时信息监控管理系统及方法
CN116797533A (zh) 电源适配器的外观缺陷检测方法及其系统
CN117676099B (zh) 基于物联网的安全预警方法及系统
CN115205233A (zh) 一种基于端对端架构的光伏表面缺陷识别方法及系统
CN116467485B (zh) 一种视频图像检索构建系统及其方法
CN116216234A (zh) 基于视频的输煤系统智能监控系统及其方法
CN116796248A (zh) 森林康养环境评估系统及其方法
CN116704208A (zh) 基于特征关系的局部可解释方法
CN116502899A (zh) 基于人工智能的风险评级模型生成方法、装置及存储介质
CN116503314A (zh) 用于门制造的质量检测系统及方法
CN116385962A (zh) 基于机器视觉的廊道内人员监控系统及其方法
CN115063831A (zh) 一种高性能行人检索与重识别方法及装置
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN114462490A (zh) 图像目标的检索方法、检索设备、电子设备和存储介质
Li et al. A self-adjusting transformer network for detecting transmission line defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination