CN113420664B - 基于图像的安全隐患检测方法及装置、设备及存储介质 - Google Patents
基于图像的安全隐患检测方法及装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113420664B CN113420664B CN202110698762.3A CN202110698762A CN113420664B CN 113420664 B CN113420664 B CN 113420664B CN 202110698762 A CN202110698762 A CN 202110698762A CN 113420664 B CN113420664 B CN 113420664B
- Authority
- CN
- China
- Prior art keywords
- feature map
- image
- detected
- semantic
- characteristic diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于图像的安全隐患检测方法及装置、设备及存储介质，包括：接收待检测图像，获取待检测图像的不同尺度的语义增强特征图，依据语义增强特征图与卷积结果特征图得到第一特征图，获取与第一特征图对应的第二特征图，将第一特征图与第二特征图进行拼接，生成用于对待检测图像进行检测的第三特征图，基于所述第三特征图输出安全隐患的检测结果。因为第一特征图依据语义增强特征图与卷积结果特征图得到，第二特征图依据对待检测图像的局部特征进行增强处理得到，所以将第一特征图与第二特征图进行拼接得到的第三特征图具有增强的语义信息和局部特征信息，所以利用第三特征图对待检测图像进行安全隐患检测可以提高检测的精度。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种基于图像的安全隐患检测方法及装置、设备及存储介质。
背景技术
随着物联网技术的快速发展，物联网设备的智能化管理得到广泛的应用。例如在工业管理中，经常会因环境干扰(光照破损)、线路老化、异物或周边线路干扰等原因使设备不能正常运转，导致对于生产进度产生巨大的影响。
为了可以掌握设备的安全隐患性，目前通常是通过控制摄像设备拍摄得到工业设备的图像，再通过对图像获取检测结果，从而确定设备的安全可靠性。现有技术中，通常是采用卷积神经网络对工业设备的图像进行计算识别，由于在计算过程中图像的特征信息利用程度较低，或在计算过程中图像的部分特征信息被减弱，导致识别得到图像的特征不够精确，特别是对物联网设备的小零件的识别和定位精度较低，继而影响物联网设备安全隐患性检测的准确度。
发明内容
本申请提供了一种基于图像的安全隐患检测方法及装置、设备及存储介质，目的在于解决如何基于设备的图像，提高设备安全隐患的检测结果问题。
为了实现上述目的，本申请提供了以下技术方案：
一种基于图像的安全隐患检测方法，包括：
接收待检测图像；
获取所述待检测图像的不同尺度的语义增强特征图；
针对每一张所述语义增强特征图，依据所述语义增强特征图与卷积结果特征图得到第一特征图；所述卷积结果特征图为对所述待检测图像进行卷积运算得到的特征图；
获取与所述第一特征图对应的第二特征图；所述第二特征图依据对所述待检测图像的局部特征进行增强处理得到；所述第一特征图与所述第二特征图对应为：所述第二特征图的长度和宽度与所述第一特征图相同；
将所述第一特征图与第二特征图进行拼接，生成用于对所述待检测图像进行检测的第三特征图；
基于所述第三特征图输出安全隐患的检测结果。
上述的方法，可选的，所述获取所述待检测图像的不同尺度的语义增强特征图，包括：
将所述待检测图像输入预先训练的第一模型，使所述第一模型将YOLOv3模型对所述待检测图像计算的得到卷积结果按照降采样增强路径进行语义增强处理，得到不同尺度的所述语义增强特征图；其中，所述第一模型为增降采样增强路径的YOLOv3模型。
上述的方法，可选的，所述第一模型的训练样本包括第一样本图像和第二样本图像，所述第二样本图像为按照预设的像素混合比例，对所述第一样本图像进行融合处理得到的混合图像；
其中，所述第二样本图像的中标注的置信度依据两张所述第一样本图像中预先标注的置信度得到。
上述的方法，可选的，所述针对每张所述第一特征图，获取与所述第一特征图对应的第二特征图，包括：
将所述待检测图像输入预先训练的SPP模型，得到输出的特征图；所述SPP模型用于增强输出的所述特征图的局部特征；
在输出的所述特征图的长度和宽度与所述第一特征图相同的情况下，将输出的所述特征图作为所述第二特征图；
在输出的所述特征图的长度和宽度与所述第一特征图不相同的情况下，改变所述输出的所述特征图的尺寸大小，得到所述第二特征图。
一种基于图像的安全隐患检测装置，包括：
接收单元，用于接收待检测图像；
第一获取单元，用于获取所述待检测图像的不同尺度的语义增强特征图；
第二获取单元，用于针对每一张所述语义增强特征图，依据所述语义增强特征图与卷积结果特征图得到第一特征图；所述卷积结果特征图为对所述待检测图像进行卷积运算得到的特征图；
第三获取单元，用于获取与所述第一特征图对应的第二特征图；所述第二特征图依据对所述待检测图像的局部特征进行增强处理得到；所述第一特征图与所述第二特征图对应为：所述第二特征图的长度和宽度与所述第一特征图相同；
拼接单元，用于将所述第一特征图与第二特征图进行拼接，生成用于对所述待检测图像进行检测的第三特征图；
输出单元，用于基于所述第三特征图输出安全隐患的检测结果。
上述的装置，可选的，所述第一获取单元，用于获取所述待检测图像的不同尺度的语义增强特征图，包括所述第一获取单元具体用于：
将所述待检测图像输入预先训练的第一模型，使所述第一模型将YOLOv3模型对所述待检测图像计算的得到卷积结果按照降采样增强路径进行语义增强处理，得到不同尺度的所述语义增强特征图；其中，所述第一模型为增降采样增强路径的YOLOv3模型。
上述的装置，可选的，所述第一模型的训练样本包括第一样本图像和第二样本图像，所述第二样本图像为按照预设的像素混合比例，对所述第一样本图像进行融合处理得到的混合图像；
其中，所述第二样本图像的中标注的置信度依据两张所述第一样本图像中预先标注的置信度得到。
上述的装置，可选的，所述第二获取单元用于针对每张所述第一特征图，获取与所述第一特征图对应的第二特征图，包括所述第二获取单元具体用于：
将所述待检测图像输入预先训练的SPP模型，得到输出的特征图；所述SPP模型用于增强输出的所述特征图的局部特征；
在输出的所述特征图的长度和宽度与所述第一特征图相同的情况下，将输出的所述特征图作为所述第二特征图；
在输出的所述特征图的长度和宽度与所述第一特征图不相同的情况下，改变所述输出的所述特征图的尺寸大小，得到所述第二特征图。
一种电子设备，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现上述的图像处理的方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的图像处理的方法。
本申请所述的方法及装置，包括：接收待检测图像，获取待检测图像的不同尺度的语义增强特征图，针对每一张语义增强特征图，依据语义增强特征图与卷积结果特征图得到第一特征图；卷积结果特征图为对所述待检测图像进行卷积运算得到的特征图；获取与第一特征图对应的第二特征图，将第一特征图与第二特征图进行拼接，生成用于对待检测图像进行检测的第三特征图，基于所述第三特征图输出安全隐患的检测结果。本实施例中，因为第一特征图依据语义增强特征图与卷积结果特征图得到，第二特征图依据对待检测图像的局部特征进行增强处理得到，所以最后将第一特征图与第二特征图进行拼接得到的第三特征图具有增强的语义信息和局部特征信息，所以利用第三特征图对待检测图像进行安全隐患检测可以提高检测的精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图片处理的方法的流程图；
图2为本实施例提供的一种计算模型的架构示意图；
图3为本申请实施例提供的一种图片处理的装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种图片处理的方法的流程图，可以包括以下步骤：
S101、接收待检测图像。
待检测图像可以是通过摄像机拍摄设备得到的设备图像。
S102、获取待检测图像的不同尺度的语义增强特征图。
本步骤的一种实施例方式可以是：将待检测图像输入预先训练的第一模型，使第一模型将YOLOv3模型对待检测图像计算的得到卷积结果按照降采样增强路径进行语义增强处理，得到不同尺度的语义增强特征图。
其中，第一模型为增加降采样增强路径的YOLOv3模型。降采样增强路径指的是一种自底向上依次对两个特征图进行拼接后进行降采样处理得到新的特征图算法。
YOLOv3通过多次卷积运算可以输出不同尺度的卷积结果，将卷积结果按照降采样增强路径进行语义增强处理，并对最后一次语义增强处理得到的特征图进行多尺度卷积运算，得到不同尺度的语义增强特征图。
本实施例中，利用对特征图进行自底向上的降采样处理可以增强特征图的语义信息的原理，所以在YOLOv3模型中增加降采样增强路径，可以使得到的语义增强特征图具有丰富的语义信息，从而可以增加对特征图识别分类的准确度。
S103、针对每一张语义增强特征图，依据语义增强特征图与卷积结果特征图得到第一特征图。
本实施例中，卷积结果特征图为对待检测图像进行卷积运算得到的特征图。具体的卷积结果特征图为YOLOv3模型为对待检测图像进行卷积运算得到的特征图。
本步骤中，依据语义增强特征图与卷积结果特征图得到第一特征图的具体实施方式可以是，在语义增强特征图与卷积结果特征图的长度和宽度一致的情况下，将语义增强特征图与卷积结果特征图进行拼接得到第一特征图。在语义增强特征图与卷积结果特征图的长度和宽度一致的情况下，改变语义增强特征图的尺寸，使语义增强特征图与卷积结果特征图的长度和宽度一致后，再将将语义增强特征图与卷积结果特征图进行拼接得到第一特征图。
S104、针对每张第一特征图，获取与第一特征图对应的第二特征图。
本实施例中，第一特征图与第二特征图对应为：第二特征图的长度尺寸和宽度尺寸与第一特征图相同。
考虑到第一特征图包含的主要是不同卷积层的全局特征，局部特征不够明显，往往会导致对待检测图像中包括的局部小目标无法进行精确的定位。所以本实施例中获取对待检测图像的局部特征进行增强处理会得到的第二特征图。
本步骤的实施方式为：将接收待检测图像输入预先训练的SPP模型，得到输出的特征图，在输出的特征图的长度尺寸和宽度尺寸与第一特征图相同的情况下，将输出的特征图作为第二特征图，在输出的特征图的长度尺寸和宽度尺寸与第一特征图不相同的情况下，对输出的特征图进行卷积计算处理，得到第二特征图。
本实施例中，SPP模型由池化层组成，池化窗口的大小可以以及公式(1)计算得到：
sizep＝[sizef/ni] (1)
其中，sizep表示池窗口的大小，sizef表示特性映射的大小，ni＝123……。
SPP模型更详细的模型结构可以参照现有技术，其中，SPP模型中包括的卷积核的尺寸大小可以结合需求预先设定。
本实施中，SPP模型输出的特征图的长度尺寸和宽度尺寸可能分别与第一特征图长度尺寸和宽度尺寸相同，也可能不相同，在相同的情况下，将将输出的特征图作为第二特征图。在不相同的情况下，对输出的特征图进行卷积计算处理，得到第二特征图。
S105、将第一特征图与第二特征图进行拼接，生成用于对待检测图像进行检测的第三特征图。
本实施例中，第一特征图具有丰富的语义信息，有利于对特征图的识别分类，第二特征图具有明显的局部特征，可以实现对特征图中大目标和局部小目标进行精确的定位，所以最后将第一特征图与第二特征图进行拼接得到的特征图具有增强后的语义信息和局部特征信息，使可以依据第三特征图可以对待检测图像的图像内容进行精准的识别和定位。
S106、基于第三特征图输出安全隐患的检测结果。
根据第三特征图中包括的语义信息、局部特征信息以及全局特征信息，确定并输出待检测图像的安全隐患的检测结果。
本实施例提供的方法，包括：接收待检测图像，获取待检测图像的不同尺度的语义增强特征图，针对每一张语义增强特征图，依据语义增强特征图与卷积结果特征图得到第一特征图；卷积结果特征图为对待检测图像进行卷积运算得到的特征图；获取与第一特征图对应的第二特征图，将第一特征图与第二特征图进行拼接，生成用于对待检测图像进行检测的第三特征图，基于第三特征图输出安全隐患的检测结果。本实施例中，因为第一特征图依据语义增强特征图与卷积结果特征图得到，第二特征图依据对待检测图像的局部特征进行增强处理得到，所以最后将第一特征图与第二特征图进行拼接得到的第三特征图具有增强的语义信息和局部特征信息，所以利用第三特征图对待检测图像进行安全隐患检测可以提高检测的精度。
需要说明的是，本申请中，第一模型的训练样本为包括第一样本图像和第二样本图像。其中，第二样本图像为按照预设的像素融合比例，对第一样本图像进行融合处理得到的图像。融合得到的第二样本图像中包括的各个物体的位置与在第一样本图像中位置相同，即相当于将多张(至少俩张)第一样本图像按照预设的像素缩小或放大后进行叠加，得到第二样本图像。
其中，第二样本图像的中标注的置信度依据两张第一样本图像中预先标注的置信度得到。
例如，第二样本图像和第一样本图像的关系如公式(2)所示：
image_C＝λimage_A+(1-λ)image_B
image_C为第二样本图像，image_A和image_B为第一样本图像，λ是混合比，λ由β分布的B值决定。
样本图像的置信度有助于模型对样本的特征识别和定位。本实施中，第二样本图像的中标注的置信度和第一样本图像中预先标注的置信度的关系，可以如公式(3)所示：
Cimage_C＝λCimage_A∪(1-λ)Cimage_B
Cimage_C表示图像C中标注数据的置信度，同理Cimage_B表示图像B中标注数据的置信度，Cimage_A表示图像A中标注数据的置信度；同样的，λ是混合比，λ由β分布的B值决定。
通过获取第二样本图像，使可以在原有训练样本的基础上进行样本数据的扩充，即经过图片像素的混合生成新的图片，增加了训练的数据集，且第二样本图像包括的置信度可用于后续的训练，使可以提供第一模型的泛化能力，也就是可以使第一模型在样本的干扰因素多或较复杂的应用场景下更好的识别样本。
本申请提供的方法可以通过图2提供的计算模型实现，参见图2，本实施提供的计算模型可分为两部分，一部分是前述实施例所述的第一模型和SPP模型，其中第一模型为增加自底向上的降采样增强路径的YOLOv3模型。
图2中，P为待检测图像。M1-M4构成的路径为增加到YOLOv3模型的自底向上的降采样增强路径。N1-N11为YOLOv3模型的卷积层，K1、K2表示YOLOv3模型的残差层，L1-L4表示YOLOv3模型的上采样卷积层。Q1-Q3为待检测图像通过SPP模型(SPP模型的具体结构可以参见现有技术)处理后得到的卷积层。图2中各个立方体标识的数字为该卷积层的尺寸，例如标识为M1的立方体对应的数字136×136×384，表示M1卷积层的尺寸为136×136×384；标识为N1的立方体对应的数字conv272×272×64，表示N1卷积层的尺寸为272×272×64。需要说明的是，图2中所提供的卷积层的尺寸仅仅是一个示例，卷积层的具体尺寸的可以结合需求设定。
由于YOLOv3模型计算得到特征图包含的语义信息较弱，导致对象定位精确度低。因此，本实施例中在YOLOv3模型中增加自底向上的降采样增强路径，如图2所示，图2中YOLOv3模型计算得到待检测图像的卷积结果N1进行降采样后和N2进行拼接得到M1，M1进行降采样后与N3拼接得到M2，以此类推，得到M4。对M4进行多尺度处理，得到不同尺度的语义增强特征图(即图2中的N9、N10和N11)。
考虑到YOLOv3在融合计算中由于特征映射的只是不同卷积层的全局特征，没有有效利用卷积层的局部区域特征，导致识别待检测图像的小目标不准确。因为SPP模型可以增强特征图的局部特征，所以将语义增强特征图N9、N10和N11分别与YOLOv3模型的卷积层N6、N7和N8拼接得到的特征图(即前述实施例所述的第一特征图)再分别与采用SPP模型对待检测图像进行处理后得到Q1-Q3卷积层进行拼接，得到用于检测的特征图D1、D2和D3(即前述实施例所述的第三特征图)。
所以本实施例中，特征图D1、D2和D3具有增强语义信息和增强局部特征信息，使根据特征图D1、D2和D3可以对待检测图像的图像内容进行精准的识别和定位，可以检测出设备图像中小零件的安全隐患性，即提高安全隐患的检测结果的准确度。
本实施提供的方法，通过结合SPP，使模型不仅可以获取图像的全局特征，更加可以采集到局部特征，将局部特征与全局特征相结合，可以提高检测精度。进一步的，在YOLOv3模型中设计一种自下而上的增强路径，增强特征图的语音信息，提高了小目标的定位精度。另外本申请提供的模型结构简单，，运算快，所以具有较强的实时性。所以本申请可以实时且精确的检测物联网设备中的安全隐患，满足安全威胁的精准识别。
图3为本申请提供的一种基于图像的安全隐患检测装置的结构示意图，包括：
接收单元301，用于接收待检测图像；
第一获取单元302，用于获取待检测图像的不同尺度的语义增强特征图；
第二获取单元303，用于针对每张语义增强特征图，依据语义增强特征图与卷积结果特征图得到第一特征图；卷积结果特征图为对待检测图像进行卷积运算得到的特征图；
第三获取单元304，用于获取与第一特征图对应的第二特征图；第二特征图依据对所述待检测图像的局部特征进行增强处理得到；第一特征图与第二特征图对应为：第二特征图的长度和宽度与第一特征图相同；
拼接单元305，用于将第一特征图与第二特征图进行拼接，生成用于对待检测图像进行检测的第三特征图；
输出单元306，用于基于第三特征图输出安全隐患的检测结果。
上述的装置，可选的，第一获取单元302获取待检测图像的不同尺度的语义增强特征图的具体实现方式为：
将所述待检测图像输入预先训练的第一模型，使所述第一模型将YOLOv3模型对所述待检测图像计算的得到卷积结果按照降采样增强路径进行语义增强处理，得到不同尺度的所述语义增强特征图；其中，所述第一模型为增降采样增强路径的YOLOv3模型。
上述的装置，可选的，第一模型的训练样本包括第一样本图像和第二样本图像，所述第二样本图像为按照预设的像素混合比例，对所述第一样本图像进行融合处理得到的混合图像；
其中，所述第二样本图像的中标注的置信度依据两张所述第一样本图像中预先标注的置信度得到。
上述的装置，可选的，第二获取单元303用于针对每张第一特征图，获取与第一特征图对应的第二特征图的具体实现方式为：
将待检测图像输入预先训练的SPP模型，得到输出的特征图；SPP模型用于增强输出的所述特征图的局部特征；
在输出的特征图的长度和宽度与第一特征图相同的情况下，将输出的所述特征图作为所述第二特征图；
在输出的特征图的长度和宽度与第一特征图不相同的情况下，改变输出的所述特征图的尺寸大小，得到第二特征图。
本实施例提供的装置，包括：接收待检测图像，获取待检测图像的不同尺度的语义增强特征图，针对每一张语义增强特征图，依据语义增强特征图与卷积结果特征图得到第一特征图；卷积结果特征图为对待检测图像进行卷积运算得到的特征图；获取与第一特征图对应的第二特征图，将第一特征图与第二特征图进行拼接，生成用于对待检测图像进行检测的第三特征图，基于第三特征图输出安全隐患的检测结果。本实施例中，因为第一特征图依据语义增强特征图与卷积结果特征图得到，第二特征图依据对待检测图像的局部特征进行增强处理得到，所以最后将第一特征图与第二特征图进行拼接得到的第三特征图具有增强的语义信息和局部特征信息，所以利用第三特征图对待检测图像进行安全隐患检测可以提高检测的精度。
本申请还提供了一种设备400，其结构示意图如图4所示，包括：处理器401和存储器402，存储器402用于存储应用程序，处理器401用于执行应用程序，以实现本申请的基于图像的安全检测方法，即执行以下步骤：
接收待检测图像；
获取待检测图像的不同尺度的语义增强特征图；
针对每张语义增强特征图，依据语义增强特征图与卷积结果特征图得到第一特征图；卷积结果特征图为对待检测图像进行卷积运算得到的特征图；
获取与第一特征图对应的第二特征图；第二特征图依据对所述待检测图像的局部特征进行增强处理得到；第一特征图与第二特征图对应为：第二特征图的长度和宽度与第一特征图相同；
将第一特征图与第二特征图进行拼接，生成用于对待检测图像进行检测的第三特征图；
基于第三特征图输出安全隐患的检测结果。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执本申请的基于图像的安全检测方法，即执行以下步骤：
接收待检测图像；
获取待检测图像的不同尺度的语义增强特征图；
针对每张语义增强特征图，依据语义增强特征图与卷积结果特征图得到第一特征图；卷积结果特征图为对待检测图像进行卷积运算得到的特征图；
获取与第一特征图对应的第二特征图；第二特征图依据对所述待检测图像的局部特征进行增强处理得到；第一特征图与第二特征图对应为：第二特征图的长度和宽度与第一特征图相同；
将第一特征图与第二特征图进行拼接，生成用于对待检测图像进行检测的第三特征图；
基于第三特征图输出安全隐患的检测结果。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于图像的安全隐患检测方法，其特征在于，包括：
接收待检测图像；
获取所述待检测图像的不同尺度的语义增强特征图；所述语义增强特征图是对所述待检测图像计算得到的卷积结果按照降采样增强路径进行语义增强处理得到的特征图；
针对每一张所述语义增强特征图，依据所述语义增强特征图与卷积结果特征图得到第一特征图；所述卷积结果特征图为对所述待检测图像进行卷积运算得到的特征图；
获取与所述第一特征图对应的第二特征图；所述第二特征图依据对所述待检测图像的局部特征进行增强处理得到；所述第一特征图与所述第二特征图对应为：所述第二特征图的长度和宽度与所述第一特征图相同；
将所述第一特征图与第二特征图进行拼接，生成用于对所述待检测图像进行检测的第三特征图；
基于所述第三特征图输出安全隐患的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述获取所述待检测图像的不同尺度的语义增强特征图，包括：
将所述待检测图像输入预先训练的第一模型，使所述第一模型将YOLOv3模型对所述待检测图像计算的得到卷积结果按照降采样增强路径进行语义增强处理，得到不同尺度的所述语义增强特征图；其中，所述第一模型为增加降采样增强路径的YOLOv3模型。
3.根据权利要求2所述的方法，其特征在于，所述第一模型的训练样本包括第一样本图像和第二样本图像，所述第二样本图像为按照预设的像素混合比例，对所述第一样本图像进行融合处理得到的混合图像；
其中，所述第二样本图像的中标注的置信度依据两张所述第一样本图像中预先标注的置信度得到。
4.根据权利要求1所述的方法，其特征在于，所述针对每张所述第一特征图，获取与所述第一特征图对应的第二特征图，包括：
将所述待检测图像输入预先训练的SPP模型，得到输出的特征图；所述SPP模型用于增强输出的所述特征图的局部特征；
在输出的所述特征图的长度和宽度与所述第一特征图相同的情况下，将输出的所述特征图作为所述第二特征图；
在输出的所述特征图的长度和宽度与所述第一特征图不相同的情况下，改变所述输出的所述特征图的尺寸大小，得到所述第二特征图。
5.一种基于图像的安全隐患检测装置，其特征在于，包括：
接收单元，用于接收待检测图像；
第一获取单元，用于获取所述待检测图像的不同尺度的语义增强特征图；所述语义增强特征图是对所述待检测图像计算得到的卷积结果按照降采样增强路径进行语义增强处理得到的特征图；
第二获取单元，用于针对每一张所述语义增强特征图，依据所述语义增强特征图与卷积结果特征图得到第一特征图；所述卷积结果特征图为对所述待检测图像进行卷积运算得到的特征图；
第三获取单元，用于获取与所述第一特征图对应的第二特征图；所述第二特征图依据对所述待检测图像的局部特征进行增强处理得到；所述第一特征图与所述第二特征图对应为：所述第二特征图的长度和宽度与所述第一特征图相同；
拼接单元，用于将所述第一特征图与第二特征图进行拼接，生成用于对所述待检测图像进行检测的第三特征图；
输出单元，用于基于所述第三特征图输出安全隐患的检测结果。
6.根据权利要求5所述的装置，其特征在于，所述第一获取单元用于获取所述待检测图像的不同尺度的语义增强特征图，包括所述第一获取单元具体用于：
将所述待检测图像输入预先训练的第一模型，使所述第一模型将YOLOv3模型对所述待检测图像计算的得到卷积结果按照降采样增强路径进行语义增强处理，得到不同尺度的所述语义增强特征图；其中，所述第一模型为增降采样增强路径的YOLOv3模型。
7.根据权利要求6所述的装置，其特征在于，所述第一模型的训练样本包括第一样本图像和第二样本图像，所述第二样本图像为按照预设的像素混合比例，对所述第一样本图像进行融合处理得到的混合图像；
其中，所述第二样本图像的中标注的置信度依据两张所述第一样本图像中预先标注的置信度得到。
8.根据权利要求5所述的装置，其特征在于，所述第二获取单元用于针对每张所述第一特征图，获取与所述第一特征图对应的第二特征图，包括所述第二获取单元具体用于：
将所述待检测图像输入预先训练的SPP模型，得到输出的特征图；所述SPP模型用于增强输出的所述特征图的局部特征；
在输出的所述特征图的长度和宽度与所述第一特征图相同的情况下，将输出的所述特征图作为所述第二特征图；
在输出的所述特征图的长度和宽度与所述第一特征图不相同的情况下，改变所述输出的所述特征图的尺寸大小，得到所述第二特征图。
9.一种设备，其特征在于，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现权利要求1-4任一项所述的图像处理的方法。
10.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-4任一项所述的图像处理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110698762.3A CN113420664B (zh) | 2021-06-23 | 2021-06-23 | 基于图像的安全隐患检测方法及装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110698762.3A CN113420664B (zh) | 2021-06-23 | 2021-06-23 | 基于图像的安全隐患检测方法及装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113420664A CN113420664A (zh) | 2021-09-21 |
| CN113420664B true CN113420664B (zh) | 2022-03-01 |
Family
ID=77716380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110698762.3A Active CN113420664B (zh) | 2021-06-23 | 2021-06-23 | 基于图像的安全隐患检测方法及装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113420664B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969620A (zh) * | 2019-12-19 | 2020-04-07 | 中国农业大学 | 一种磁瓦波纹类缺陷的检测方法及装置 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
| CN112861998A (zh) * | 2021-03-16 | 2021-05-28 | 上海东普信息科技有限公司 | 神经网络模型构建方法、安全通道异常监测方法及系统 |
-
2021
- 2021-06-23 CN CN202110698762.3A patent/CN113420664B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113420664A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101896357B1 (ko) | 객체를 검출하는 방법, 디바이스 및 프로그램 | |
| US8019164B2 (en) | Apparatus, method and program product for matching with a template | |
| CN112016475B (zh) | 一种人体检测识别方法和装置 | |
| CN110516514B (zh) | 一种目标检测模型的建模方法和装置 | |
| CN115797706B (zh) | 目标检测方法、目标检测模型训练方法及相关装置 | |
| CN111553298B (zh) | 一种基于区块链的火灾识别方法及系统 | |
| US20170018106A1 (en) | Method and device for processing a picture | |
| CN112784750B (zh) | 基于像素和区域特征匹配的快速视频物体分割方法和装置 | |
| CN112232368A (zh) | 目标识别模型训练方法、目标识别方法及其相关装置 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| Zhu et al. | HMFCA-Net: Hierarchical multi-frequency based Channel attention net for mobile phone surface defect detection | |
| CN112560584A (zh) | 一种人脸检测方法及装置、存储介质、终端 | |
| CN113837257B (zh) | 一种目标检测方法及装置 | |
| CN111325265A (zh) | 一种针对篡改图像的检测方法及装置 | |
| CN114255493A (zh) | 图像检测方法、人脸检测方法及装置、设备及存储介质 | |
| CN113420664B (zh) | 基于图像的安全隐患检测方法及装置、设备及存储介质 | |
| Mu et al. | Finding autofocus region in low contrast surveillance images using CNN-based saliency algorithm | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| Pototzky et al. | Self-supervised learning for object detection in autonomous driving | |
| CN110782439B (zh) | 一种辅助检测图像标注质量的方法及装置 | |
| Jokela | Person counter using real-time object detection and a small neural network | |
| Zhu et al. | SEINet: semantic-edge interaction network for image manipulation localization | |
| CN116563769B (zh) | 一种视频目标识别追踪方法、系统、计算机及存储介质 | |
| CN112528900B (zh) | 基于极致下采样的图像显著性物体检测方法及系统 | |
| Sun et al. | Multi-head Fusion Attention Mechanism based on Strip Pooling for Road Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 100032 room 8018, 8 / F, building 7, Guangyi street, Xicheng District, Beijing Patentee after: State Grid Digital Technology Holdings Co.,Ltd. Patentee after: State Grid blockchain Technology (Beijing) Co.,Ltd. Patentee after: Guowang Xiongan Finance Technology Group Co.,Ltd. Address before: 100053 room 8018, 8 / F, building 7, Guangyi street, Xicheng District, Beijing Patentee before: STATE GRID ELECTRONIC COMMERCE Co.,Ltd. Patentee before: State Grid blockchain Technology (Beijing) Co.,Ltd. Patentee before: Guowang Xiongan Finance Technology Group Co.,Ltd. |
|
| CP03 | Change of name, title or address |