CN113159001A - 一种图像检测方法、系统、存储介质及电子设备 - Google Patents

一种图像检测方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN113159001A
CN113159001A CN202110579035.5A CN202110579035A CN113159001A CN 113159001 A CN113159001 A CN 113159001A CN 202110579035 A CN202110579035 A CN 202110579035A CN 113159001 A CN113159001 A CN 113159001A
Authority
CN
China
Prior art keywords
image
layer
video stream
feature
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110579035.5A
Other languages
English (en)
Inventor
张晓航
廖逍
谢可
刘迪
邱镇
王兴涛
白景坡
卢大玮
李文璞
靳敏
徐凡
李小宁
黄晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
Original Assignee
State Grid Information and Telecommunication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Information and Telecommunication Co Ltd filed Critical State Grid Information and Telecommunication Co Ltd
Priority to CN202110579035.5A priority Critical patent/CN113159001A/zh
Publication of CN113159001A publication Critical patent/CN113159001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像检测方法、系统、存储介质及电子设备。其中，方法包括：利用二值化后差分图像的像素值变化确定视频流中是否存在发生变化的图像，对于检测到发生变化的图像，提取发生变化时刻之前的第一预设时长的视频流；对于未检测到发生变化的图像，提取第一时间段的视频流中的第二时间段的视频流；将提取的视频流作为待检测视频流，将待检测视频流中的待检测图像输入训练好的目标检测模型，得到待检测图像异常信息。本发明相较于对视频流的全部图像进行检测，大大减少了图像检测时的计算量，节约了因算力消耗带来的成本。

Description

一种图像检测方法、系统、存储介质及电子设备
技术领域
本发明涉及智能监控技术领域，特别是涉及一种图像检测方法、系统、存储介质及电子设备。
背景技术
随着监控设备的大量布置，实现了监控区域的全范围监控。目前，采用智能检测方法对监控信息进行识别、分类、分析等处理，实现了智能化图像监控。然而，大量的监控设备产生了海量的监控信息，要实现图像检测需要大量的智能计算装置支撑，这对于算力的消耗存在巨额的浪费。因此，针对海量监控信息的图像检测，降低算力消耗是十分必要的。
发明内容
本发明实施例的目的在于提供一种图像检测方法、系统、存储介质及电子设备，能够减少图像检测时的计算量，节约了因算力消耗带来的成本。具体技术方案如下：
本发明提供一种图像检测方法，包括：
将视频流中的相邻帧采用像素相减的方法，得到差分图像；
对所述差分图像进行二值化处理，得到二值化后的差分图像；
判断所述二值化后的差分图像的像素值是否小于预设像素阈值，若是，则确定所述视频流中的图像未发生变化，若否，则确定所述视频流中的图像发生了变化；
在确定所述视频流中的图像发生了变化时，提取发生变化时刻之前的第一预设时长的视频流，和/或在未监测到第一时间段的所述视频流中的图像变化时，提取所述第一时间段的所述视频流中的第二时间段的视频流，所述第一时间段的时长为第二预设时长，所述第二时间段的时长小于所述第一时间段的时长，且所述第二时间段的最晚时刻与所述第一时间段的最晚时刻相同；
将提取的视频流作为待检测视频流，将所述待检测视频流中的待检测图像输入训练好的目标检测模型，得到待检测图像异常信息；所述待检测图像异常信息为所述待检测图像表征存在异常情况的概率。
可选地，所述目标检测模型是采用标记的图像样本对改进的Faster R-CNN模型进行训练得到的，所述改进的Faster R-CNN模型包括骨干网络、特征金字塔网络、卷积层和全连接层，所述骨干网络为去除全连接层的ResNet卷积神经网络；
所述目标检测模型的训练方法，具体包括：
获取图像样本，对所述图像样本进行标记，得到所述标记的图像样本；
将所述标记的图像样本输入所述骨干网络进行特征提取，得到特征图；
将所述特征图与所述特征金字塔网络进行融合，得到特征层；
将所述特征层输入所述卷积层，得到卷积输出结果，将所述卷积输出结果输入所述全连接层，得到预测的图像异常概率；
对所述改进的Faster R-CNN模型的权重进行调整，直至所述预测的图像异常概率与实际的图像异常概率的偏差在容许范围内时，训练完成，得到训练好的目标检测模型。
可选地，所述将所述标记的图像样本输入所述骨干网络进行特征提取，得到特征图，具体包括：
将所述标记的图像样本输入所述骨干网络，采用所述骨干网络的各阶段卷积模块进行特征提取后，得到多个阶段的特征图；其中，后一阶段特征图的尺寸小于前一阶段特征图的尺寸，后一阶段特征图的语义特征个数大于前一阶段特征图的语义特征个数，后一阶段特征图的分辨率小于前一阶段特征图的分辨率。
可选地，所述将所述特征图与所述特征金字塔网络进行融合，得到特征层，具体包括：
按照最后一个阶段的特征图对应所述特征金字塔网络的顶层，第二阶段的特征图对应所述特征金字塔网络的底层的顺序，将各个阶段的特征图与所述特征金字塔网络的层进行对应；
将最后一个阶段的特征图输入所述特征金字塔的顶层进行特征融合，得到所述特征金字塔顶层的输出结果；
将所述特征金字塔网络的第二层作为当前层，将所述当前层的上一层输出结果与所述当前层对应的特征图一起输入所述当前层中进行处理，得到当前层的输出结果；
若所述当前层存在下一层，则将下一层作为当前层，返回步骤“将所述当前层的上一层输出结果与所述当前层对应的特征图一起输入所述当前层中进行处理，得到当前层的输出结果”；若所述当前层不存在下一层，则输出所述特征金字塔网络各层的输出结果，然后执行步骤“将所述特征层输入所述卷积层，得到卷积输出结果，将所述卷积输出结果输入所述全连接层，得到预测的图像异常概率”；其中，所述特征金字塔网络各层的输出结果为所述特征层。
可选地，所述将所述特征层输入所述卷积层，得到卷积输出结果，将所述卷积输出结果输入所述全连接层，得到预测的图像异常概率，具体包括：
使用所述卷积层对所述特征层进行处理，得到候选框的置信度；所述候选框的置信度为所述候选框含有目标的概率；
在所述候选框的置信度大于预设置信度阈值时，使用所述全连接层对所述候选框对应的特征图区域进行处理，得到预测的图像异常概率。
可选地，在得到所述待检测图像异常信息之后，所述方法还包括：
将符合概率要求的图像确定为异常图像；
确定所述异常图像中的异常目标；所述异常目标是将所述异常图像输入所述训练好的目标检测模型后，在使用所述全连接层进行特征提取后得到的。
可选地，在得到所述待检测视频流之后，所述方法还包括：
对所述待检测视频流进行抽帧处理，得到多帧待检测图像；
对所述待检测图像进行封装处理，得到封装后的待检测图像。
本发明还提供一种图像检测系统，包括：
差分图像生成模块，用于将视频流中的相邻帧采用像素相减的方法，得到差分图像；
二值化处理模块，用于对所述差分图像进行二值化处理，得到二值化后的差分图像；
图像变化检测模块，用于判断所述二值化后的差分图像的像素值是否小于预设像素阈值，若是，则确定所述视频流中的图像未发生变化，若否，则确定所述视频流中的图像发生了变化；
视频流提取模块，用于在确定所述视频流中的图像发生了变化时，提取发生变化时刻之前的第一预设时长的视频流，和/或在未监测到第一时间段的所述视频流中的图像变化时，提取所述第一时间段的所述视频流中的第二时间段的视频流，所述第一时间段的时长为第二预设时长，所述第二时间段的时长小于所述第一时间段的时长，且所述第二时间段的最晚时刻与所述第一时间段的最晚时刻相同；
图像检测模块，用于将提取的视频流作为待检测视频流，将所述待检测视频流中的待检测图像输入训练好的目标检测模型，得到待检测图像异常信息；所述待检测图像异常信息为所述待检测图像表征存在异常情况的概率。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时实现上述的图像检测方法。
本发明还提供一种电子设备，包括：
至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述的图像检测方法。
本发明实施例提供的一种图像检测方法、系统、存储介质及电子设备，图像检测方法利用二值化后差分图像的像素值变化确定视频流中是否存在发生变化的图像，对于检测到发生变化的图像，提取发生变化时刻之前的第一预设时长的视频流，能够减少图像检测时图像的数量；对于在未检测到第一时间段的视频流中的图像变化时，提取第一时间段的视频流中的第二时间段的视频流，在能够减少图像检测时图像的数量的同时，还能够防止遗漏变化缓慢或发生变化时间间隔较长的图像；此外，由于只保留一段时间内的发生图像变化和未发生图像变化的视频流，相较于对视频流的全部图像进行检测，大大减少了图像检测时的计算量，节约了因算力消耗带来的成本。
此外，对待检测视频流进行抽帧处理，能够进一步减少图像检测的计算量；并且采用改进的Faster R-CNN模型能够提高图像检测准确率。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像检测方法流程图；
图2为本发明实施例提供的多路视频流处理过程示意图；
图3为本发明实施例提供的图像检测过程示意图；
图4为本发明实施例提供的骨干网络结构示意图；
图5为本发明实施例提供的特征图与特征金字塔网络融合过程示意图；
图6为本发明实施例提供的一种图像检测系统的结构图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种图像检测方法，如图1所示，该方法包括：
步骤101：将视频流中的相邻帧采用像素相减的方法，得到差分图像。
相邻帧的像素相减后得到差分图像，差分图像中像素为0的区域表明图像未发生变化，差分图像中像素不为0的区域表明图像发生了变化。通过差分图像能够清楚反应出图像是否发生变化，以及发生变化的图像中变化区域的位置。可选的，将视频流中的图像序列中的相邻两帧或三帧通过对应像素相减的方式得到差分图像。
步骤102：对差分图像进行二值化处理，得到二值化后的差分图像。
在一可选实施方式中，本发明可以对差分图像通过预先设定的阈值进行二值化处理，得到二值化后的差分图像。对差分图像进行二值化处理后，二值化后的差分图像呈现明显的黑白效果，使图像简单化并且能够凸显发生变化区域，便于对图像进行后续处理。
步骤103：判断二值化后的差分图像的像素值是否小于预设像素阈值，若是，则确定视频流中的图像未发生变化，若否，则确定视频流中的图像发生了变化。
在一可选实施方式中，二值化处理后的差分图像的像素值为0或255，如果二值化后的差分图像中的所有像素点的灰度值全部为0(0小于预设像素阈值)，则确定视频流中的图像未发生变化，如果二值化后的差分图像中存在像素值为255的像素点(255超过了预设像素阈值)，则确定视频流中的图像发生了变化。
在另一可选实施方式中，将二值化处理后的差分图像的像素值为255对应的像素点变为1，将二值化处理后的差分图像的像素值为0的像素点变为0，即发生变化的区域为1，未发生变化的区域为0；然后计算1的个数，如果1的个数超过预设个数，则确定视频流中的图像发生了变化；如果1的个数未超过预设个数，则确定视频流中的图像未发生变化。
步骤104：在确定视频流中的图像发生了变化时，提取发生变化时刻之前的第一预设时长的视频流，和/或在未监测到第一时间段的视频流中的图像变化时，提取第一时间段的视频流中的第二时间段的视频流，第一时间段的时长为第二预设时长，第二时间段的时长小于第一时间段的时长，且第二时间段的最晚时刻与第一时间段的最晚时刻相同。
在确定图像变化前，可能存在图像已经开始发生变化的情况，因此需要对图像发生变化前的一段时间内拍摄的图像进行提取。在经过一段时间未监测到图像变化时，可能存在图像发生缓慢变化或者发生变化的间隔时间较长的情况，因此也需要对未检测到图像变化的这一时段内的部分图像进行提取，提取时，越是接近这一时段内的最晚时刻，提取到发生变化的图像的可能性越大。
例如，第一预设时长为1s，第一时间段的时长为10min，第二时间段的时长为1s，那么，在确定视频流中的图像发生了变化时，若提取发生变化时刻之前的1s的视频流会得到60帧图像。在未监测到第一时间段的视频流中的图像变化时，提取第9分59秒至第10分钟这一时间段的视频流会得到60帧图像。
本发明考虑了图像发生变化和图像长时间未发生变化的情况，对于未发生变化的图像也存在后续进行图像检测的必要，是因为利用相邻帧的差分图像进行二值化处理时，会遗漏发生变化时间间隔较长的图像，或者变化缓慢的图像。
例如，仪表的表针会存在发生快速变化的情况，也会存在发生缓慢变化的情况；当表针快速移动时，通过二值化后的差分图像的像素值不小于预设像素阈值的方法即可确定图像发生了变化；但是，当表针缓慢移动时，由于像素改变不大，通过阈值的设置会导致检测不出图像发生变化，但这种情况也存在需要进行图像检测的必要。又如，硅胶在一定条件下，颜色会由蓝色变化为透明色，但是这种变化为缓慢变化，也存在需要进行图像检测的必要。
步骤105：将提取的视频流作为待检测视频流，将待检测视频流中的待检测图像输入训练好的目标检测模型，得到待检测图像异常信息；待检测图像异常信息为待检测图像表征存在异常情况的概率。
在得到待检测图像异常信息之后，该方法还包括：将符合概率要求的图像确定为异常图像；确定异常图像中的异常目标；异常目标是将异常图像输入训练好的目标检测模型后，在使用全连接层进行特征提取后得到的。其中，符合概率要求的图像是指待检测图像表征存在异常情况的概率大于预设概率对应的图像。
为了进一步减少了图像检测时的计算量，本发明对待检测视频流进行抽帧处理，得到多帧待检测图像；然后对待检测图像进行封装处理，得到封装后的待检测图像。具体地，如图2所示，一个摄像头拍摄的视频为一路视频流(摄像头1拍摄的视频为视频流1，……，摄像头N拍摄的视频为视频流A)，对每一路视频流，采用步骤101-104的方法提取视频流，得到多路待检测视频流(视频流1至视频流B)；对待检测视频流，根据每N帧抽取1帧的方式进行采样，对抽取的视频帧，结合计算卡存储和图像大小每M帧封装成一个批处理；对批处理分配有计算能力的计算卡进行图像检测处理。本发明采用海思Hi3516AV300视频处理器与摄像头相连接。
目标检测模型是采用标记的图像样本对改进的Faster R-CNN模型进行训练得到的，改进的Faster R-CNN模型包括骨干网络、特征金字塔网络、卷积层和全连接层，骨干网络为去除全连接层的ResNet卷积神经网络。
如图3所示，目标检测模型的训练方法，具体包括：
(1)获取图像样本，对图像样本进行标记，得到标记的图像样本。
采用labelImg标注软件对图像样本进行人工标注，逐张标定图像中包含所有目标的最小内接矩形框，并给定目标类别标签。例如，在对变电站与数据中心之类的封闭厂区进行拍摄得到的图像中，待检测对象为仪表时，在对图像样本进行标记时，标定图像中仪表指针超出规定范围的仪表的最小内接矩形框，并给出目标类别标签为仪表。又如，待检测对象为硅胶时，标定图像中变透明色的硅胶的最小内接矩形框，并给出目标类别标签为硅胶。
(2)将标记的图像样本输入骨干网络进行特征提取，得到特征图。
在将标记的图像样本输入骨干网络前，需要首先调整图像尺寸。优选地，由1920×1080分辨率的图像样本调整为608×608分辨率的图像。
将标记的图像样本输入骨干网络，采用骨干网络的各阶段卷积模块进行特征提取后，得到多个阶段的特征图；其中，后一阶段特征图的语义特征个数大于前一阶段特征图的语义特征个数，后一阶段特征图的分辨率小于前一阶段特征图的分辨率。后一阶段特征图的尺寸小于前一阶段特征图的尺寸，优选地，骨干网络后一阶段特征图的长和宽减小为前一阶段特征图的1/2。
其中，本发明使用的骨干网络为去除全连接层的ResNet卷积神经网络。如图4所示，骨干网络包括5个阶段卷积模块，第一阶段卷积模块包括1个7×7的卷积层，第二阶段卷积模块包括6个1×1的卷积层和3个3×3的卷积层，第三阶段卷积模块包括8个1×1的卷积层和4个3×3的卷积层，第四阶段卷积模块包括46个1×1的卷积层和23个3×3的卷积层，第五阶段卷积模块包括6个1×1的卷积层和3个3×3的卷积层。骨干网络共有100层卷积层，同时在每个卷积层后还设置有用于防止梯度消失的批归一化层和和增加非线性的RELU激活层。骨干网络在第一阶段将特征图通道数从3提升至64，并在接下来的每个阶段将通道数扩展为上一阶段的4倍。
在骨干网络包括5个阶段卷积模块的情况下，将标记的图像样本输入骨干网络，采用骨干网络的第二阶段卷积模块进行特征提取后，得到第二阶段的特征图，采用骨干网络的第三阶段卷积模块进行特征提取后，得到第三阶段的特征图，采用骨干网络的第四阶段卷积模块进行特征提取后，得到第四阶段的特征图，采用骨干网络的第五阶段卷积模块进行特征提取后，得到第五阶段的特征图。
(3)将特征图与特征金字塔网络进行融合，得到特征层。
具体地，如图5所示，按照最后一个阶段的特征图对应特征金字塔网络的顶层，第二阶段的特征图对应特征金字塔网络的底层的顺序，将各个阶段的特征图与特征金字塔网络的层进行对应。
将最后一个阶段的特征图输入特征金字塔的顶层进行特征融合，得到特征金字塔顶层的输出结果。其中，最后一个阶段的特征图即为第五阶段的特征图。
将特征金字塔网络的第二层作为当前层，将当前层的上一层输出结果与当前层对应的特征图一起输入当前层中进行处理，得到当前层的输出结果。
若当前层存在下一层，则将下一层作为当前层，返回步骤“将当前层的上一层输出结果与当前层对应的特征图一起输入当前层中进行处理，得到当前层的输出结果”；若当前层不存在下一层，则输出特征金字塔网络各层的输出结果，然后执行步骤“将特征层输入卷积层，得到卷积输出结果，将卷积输出结果输入全连接层，得到预测的图像异常概率”；其中，特征金字塔网络各层的输出结果为特征层。
即，对于特征金字塔的第二层，将特征金字塔顶层的输出结果尺寸放大到与特征金字塔第二层的尺寸一致时，将放大后的特征金字塔顶层的输出结果和第四阶段的特征图输入特征金字塔的第二层进行特征融合，得到特征金字塔第二层的输出结果；
对于特征金字塔的第三层，将特征金字塔第二层的输出结果尺寸放大到与特征金字塔第三层的尺寸一致时，将放大后的特征金字塔第二层的输出结果和第三阶段的特征图输入特征金字塔的第三层进行特征融合，得到特征金字塔第三层的输出结果；
对于特征金字塔的第四层，将特征金字塔第三层的输出结果尺寸放大到与特征金字塔第四层的尺寸一致时，将放大后的特征金字塔第三层的输出结果和第二阶段的特征图输入特征金字塔的第四层进行特征融合，得到特征金字塔第四层的输出结果。
基于此，特征金字塔网络融合顶层语义特征和底层高分辨率特征，特征金字塔网络输出不同分辨率的特征图。
(4)将特征层输入卷积层，得到卷积输出结果，将卷积输出结果输入全连接层，得到预测的图像异常概率。
使用卷积层对特征层进行处理，得到候选框的置信度；候选框的置信度为候选框含有目标的概率。
本发明基于RPN(Region Proposal Network，区域生成网络)确定是否存在目标。对于检测对象为仪表来说，经过卷积层处理后，得到特征层对应的图像中是否存在仪表，候选框的置信度表征在候选框内有仪表的概率值，置信度越大，候选框中含有仪表的可能性越高。此外，使用卷积层对特征层进行处理后，除了能够得到候选框的置信度，还能够生成候选框的位置信息，候选框的位置信息反映仪表的坐标。
在候选框的置信度大于预设置信度阈值时，使用全连接层对候选框对应的特征图区域进行处理，得到预测的图像异常概率。
可选地，在候选框的置信度大于预设置信度阈值时，通过ROI Align算法将其对应的特征图区域转换成固定大小的特征图。然后，通过两个全连接层对固定大小的特征图进行进一步提取与抽象，并将提取抽象结果输入两个不同的全连接层中进行处理，其中一个全连接层输出目标框坐标信息，另一个全连接层输出目标框包含检测目标的置信度。若检测目标为仪表，最后输出的是仪表异常的概率以及异常仪表所在位置；若检测目标为硅胶，最后输出的是硅胶变色的概率以及变色硅胶所在位置。
(5)对改进的Faster R-CNN模型的权重进行调整，直至预测的图像异常概率与实际的图像异常概率的偏差在容许范围内时，训练完成，得到训练好的目标检测模型。
在训练过程中，训练总迭代次数为60000次，初始学习率为0.01，衰减系数为0.0005。利用采用步骤(4)得到的目标框坐标信息与标定的目标最小内接矩形框的位置的差值，以及采用步骤(4)得到的检测目标的置信度与预设置信度的差值，计算得到损失值，对损失值求偏导后计算梯度值，利用梯度值采用小批量梯度下降法更新目标检测模型的权重。
在得到训练好的目标检测模型后，将待检测视频流中的待检测图像输入训练好的目标检测模型，得到待检测图像异常信息；待检测图像异常信息为待检测图像表征存在异常情况的概率。其中，待检测图像异常信息例如仪表表针超出规定范围或者硅胶变为透明色。在检测到发生异常后，能够对异常情况进行及时预警。
本发明利用二值化后差分图像的像素值变化确定视频流中是否存在发生变化的图像，对于检测到发生变化的图像，提取发生变化时刻之前的一段时间内的视频流，能够减少图像检测时图像的数量；对于未检测到发生变化的图像，提取在预设时长的末端时间段内的视频流，在能够减少图像检测时图像的数量的同时，还能够防止遗漏变化缓慢或发生变化时间间隔较长的图像；此外，由于只保留预设时间段内的发生图像变化和未发生图像变化的视频流，相较于对视频流的全部图像进行检测，大大减少了图像检测时的计算量，节约了因算力消耗带来的成本。此外，对待检测视频流进行抽帧处理，能够进一步减少图像检测的计算量；并且采用改进的Faster R-CNN模型能够提高图像检测准确率。
如图6所示，本发明还提供一种图像检测系统，包括：
差分图像生成模块601，用于将视频流中的相邻帧采用像素相减的方法，得到差分图像。
二值化处理模块602，用于对差分图像进行二值化处理，得到二值化后的差分图像。
图像变化检测模块603，用于判断二值化后的差分图像的像素值是否小于预设像素阈值，若是，则确定视频流中的图像未发生变化，若否，则确定视频流中的图像发生了变化。
视频流提取模块604，用于在确定视频流中的图像发生了变化时，提取发生变化时刻之前的第一预设时长的视频流，和/或在未监测到第一时间段的视频流中的图像变化时，提取第一时间段的视频流中的第二时间段的视频流，第一时间段的时长为第二预设时长，第二时间段的时长小于第一时间段的时长，且第二时间段的最晚时刻与第一时间段的最晚时刻相同。
图像检测模块605，用于将提取的视频流作为待检测视频流，将待检测视频流中的待检测图像输入训练好的目标检测模型，得到待检测图像异常信息；待检测图像异常信息为待检测图像表征存在异常情况的概率。
其中，目标检测模型是采用标记的图像样本对改进的Faster R-CNN模型进行训练得到的，改进的Faster R-CNN模型包括骨干网络、特征金字塔网络、卷积层和全连接层，骨干网络为去除全连接层的ResNet卷积神经网络。
图像检测模块605，具体包括：
目标检测模型训练子模块，用于对目标检测模型进行训练。目标检测模型训练子模块，具体包括：
标记单元，用于获取图像样本，对图像样本进行标记，得到标记的图像样本。
特征提取单元，用于将标记的图像样本输入骨干网络进行特征提取，得到特征图。
特征融合单元，用于将特征图与特征金字塔网络进行融合，得到特征层。
图像异常概率生成单元，用于将特征层输入卷积层，得到卷积输出结果，将卷积输出结果输入全连接层，得到预测的图像异常概率。
模型生成单元，用于对改进的Faster R-CNN模型的权重进行调整，直至预测的图像异常概率与实际的图像异常概率的偏差在容许范围内时，训练完成，得到训练好的目标检测模型。
其中，
特征提取单元，具体包括：
特征提取子单元，用于将标记的图像样本输入骨干网络，采用骨干网络的各阶段卷积模块进行特征提取后，得到多个阶段的特征图；其中，后一阶段特征图的尺寸小于前一阶段特征图的尺寸，后一阶段特征图的语义特征个数大于前一阶段特征图的语义特征个数，后一阶段特征图的分辨率小于前一阶段特征图的分辨率。
特征融合单元，具体包括：
层对应子单元，用于按照最后一个阶段的特征图对应特征金字塔网络的顶层，第二阶段的特征图对应特征金字塔网络的底层的顺序，将各个阶段的特征图与特征金字塔网络的层进行对应；
顶层处理子单元，用于将最后一个阶段的特征图输入特征金字塔的顶层进行特征融合，得到特征金字塔顶层的输出结果；
当前层处理子单元，用于将特征金字塔网络的第二层作为当前层，将当前层的上一层输出结果与当前层对应的特征图一起输入当前层中进行处理，得到当前层的输出结果；
结果输出单元，用于若当前层存在下一层，则将下一层作为当前层，执行当前层处理子单元；若当前层不存在下一层，则输出特征金字塔网络各层的输出结果，然后执行图像异常概率生成单元；其中，特征金字塔网络各层的输出结果为特征层。
图像异常概率生成单元，具体包括：
卷积层处理子单元，用于使用卷积层对特征层进行处理，得到候选框的置信度；候选框的置信度为候选框含有目标的概率；
图像异常概率生成子单元，用于在候选框的置信度大于预设置信度阈值时，使用全连接层对候选框对应的特征图区域进行处理，得到预测的图像异常概率。
图像检测系统，还包括：
异常图像确定模块，用于在得到待检测图像异常信息之后，将符合概率要求的图像确定为异常图像。
异常目标确定模块，用于确定异常图像中的异常目标；异常目标是将异常图像输入训练好的目标检测模型后，在使用全连接层进行特征提取后得到的。
图像检测系统，还包括：
抽帧模块，用于对待检测视频流进行抽帧处理，得到多帧待检测图像。
封装模块，用于对待检测图像进行封装处理，得到封装后的待检测图像。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述图像检测方法。
本发明实施例提供了一种电子设备，如图7所示，电子设备70包括至少一个处理器701、以及与处理器701连接的至少一个存储器702、总线703；其中，处理器701、存储器702通过总线703完成相互间的通信；处理器701用于调用存储器702中的程序指令，以执行上述的图像检测方法。本文中的电子设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述的图像检测方法包括的步骤的程序。
本申请是参照根据本申请实施例的方法、系统和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像检测方法，其特征在于，包括：
将视频流中的相邻帧采用像素相减的方法，得到差分图像；
对所述差分图像进行二值化处理，得到二值化后的差分图像；
判断所述二值化后的差分图像的像素值是否小于预设像素阈值，若是，则确定所述视频流中的图像未发生变化，若否，则确定所述视频流中的图像发生了变化；
在确定所述视频流中的图像发生了变化时，提取发生变化时刻之前的第一预设时长的视频流，和/或在未监测到第一时间段的所述视频流中的图像变化时，提取所述第一时间段的所述视频流中的第二时间段的视频流，所述第一时间段的时长为第二预设时长，所述第二时间段的时长小于所述第一时间段的时长，且所述第二时间段的最晚时刻与所述第一时间段的最晚时刻相同；
将提取的视频流作为待检测视频流，将所述待检测视频流中的待检测图像输入训练好的目标检测模型，得到待检测图像异常信息；所述待检测图像异常信息为所述待检测图像表征存在异常情况的概率。
2.根据权利要求1所述的图像检测方法，其特征在于，所述目标检测模型是采用标记的图像样本对改进的Faster R-CNN模型进行训练得到的，所述改进的Faster R-CNN模型包括骨干网络、特征金字塔网络、卷积层和全连接层，所述骨干网络为去除全连接层的ResNet卷积神经网络；
所述目标检测模型的训练方法，具体包括：
获取图像样本，对所述图像样本进行标记，得到所述标记的图像样本；
将所述标记的图像样本输入所述骨干网络进行特征提取，得到特征图；
将所述特征图与所述特征金字塔网络进行融合，得到特征层；
将所述特征层输入所述卷积层，得到卷积输出结果，将所述卷积输出结果输入所述全连接层，得到预测的图像异常概率；
对所述改进的Faster R-CNN模型的权重进行调整，直至所述预测的图像异常概率与实际的图像异常概率的偏差在容许范围内时，训练完成，得到训练好的目标检测模型。
3.根据权利要求2所述的图像检测方法，其特征在于，所述将所述标记的图像样本输入所述骨干网络进行特征提取，得到特征图，具体包括：
将所述标记的图像样本输入所述骨干网络，采用所述骨干网络的各阶段卷积模块进行特征提取后，得到多个阶段的特征图；其中，后一阶段特征图的尺寸小于前一阶段特征图的尺寸，后一阶段特征图的语义特征个数大于前一阶段特征图的语义特征个数，后一阶段特征图的分辨率小于前一阶段特征图的分辨率。
4.根据权利要求3所述的图像检测方法，其特征在于，所述将所述特征图与所述特征金字塔网络进行融合，得到特征层，具体包括：
按照最后一个阶段的特征图对应所述特征金字塔网络的顶层，第二阶段的特征图对应所述特征金字塔网络的底层的顺序，将各个阶段的特征图与所述特征金字塔网络的层进行对应；
将最后一个阶段的特征图输入所述特征金字塔的顶层进行特征融合，得到所述特征金字塔顶层的输出结果；
将所述特征金字塔网络的第二层作为当前层，将所述当前层的上一层输出结果与所述当前层对应的特征图一起输入所述当前层中进行处理，得到当前层的输出结果；
若所述当前层存在下一层，则将下一层作为当前层，返回步骤“将所述当前层的上一层输出结果与所述当前层对应的特征图一起输入所述当前层中进行处理，得到当前层的输出结果”；若所述当前层不存在下一层，则输出所述特征金字塔网络各层的输出结果，然后执行步骤“将所述特征层输入所述卷积层，得到卷积输出结果，将所述卷积输出结果输入所述全连接层，得到预测的图像异常概率”；其中，所述特征金字塔网络各层的输出结果为所述特征层。
5.根据权利要求2所述的图像检测方法，其特征在于，所述将所述特征层输入所述卷积层，得到卷积输出结果，将所述卷积输出结果输入所述全连接层，得到预测的图像异常概率，具体包括：
使用所述卷积层对所述特征层进行处理，得到候选框的置信度；所述候选框的置信度为所述候选框含有目标的概率；
在所述候选框的置信度大于预设置信度阈值时，使用所述全连接层对所述候选框对应的特征图区域进行处理，得到预测的图像异常概率。
6.根据权利要求2所述的图像检测方法，其特征在于，在得到所述待检测图像异常信息之后，所述方法还包括：
将符合概率要求的图像确定为异常图像；
确定所述异常图像中的异常目标；所述异常目标是将所述异常图像输入所述训练好的目标检测模型后，在使用所述全连接层进行特征提取后得到的。
7.根据权利要求1-6任一项所述的图像检测方法，其特征在于，在得到所述待检测视频流之后，所述方法还包括：
对所述待检测视频流进行抽帧处理，得到多帧待检测图像；
对所述待检测图像进行封装处理，得到封装后的待检测图像。
8.一种图像检测系统，其特征在于，包括：
差分图像生成模块，用于将视频流中的相邻帧采用像素相减的方法，得到差分图像；
二值化处理模块，用于对所述差分图像进行二值化处理，得到二值化后的差分图像；
图像变化检测模块，用于判断所述二值化后的差分图像的像素值是否小于预设像素阈值，若是，则确定所述视频流中的图像未发生变化，若否，则确定所述视频流中的图像发生了变化；
视频流提取模块，用于在确定所述视频流中的图像发生了变化时，提取发生变化时刻之前的第一预设时长的视频流，和/或在未监测到第一时间段的所述视频流中的图像变化时，提取所述第一时间段的所述视频流中的第二时间段的视频流，所述第一时间段的时长为第二预设时长，所述第二时间段的时长小于所述第一时间段的时长，且所述第二时间段的最晚时刻与所述第一时间段的最晚时刻相同；
图像检测模块，用于将提取的视频流作为待检测视频流，将所述待检测视频流中的待检测图像输入训练好的目标检测模型，得到待检测图像异常信息；所述待检测图像异常信息为所述待检测图像表征存在异常情况的概率。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时实现权利要求1-7任一项所述的图像检测方法。
10.一种电子设备，其特征在于，包括：
至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行权利要求1-7任一项所述的图像检测方法。
CN202110579035.5A 2021-05-26 2021-05-26 一种图像检测方法、系统、存储介质及电子设备 Pending CN113159001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110579035.5A CN113159001A (zh) 2021-05-26 2021-05-26 一种图像检测方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110579035.5A CN113159001A (zh) 2021-05-26 2021-05-26 一种图像检测方法、系统、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113159001A true CN113159001A (zh) 2021-07-23

Family

ID=76877621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110579035.5A Pending CN113159001A (zh) 2021-05-26 2021-05-26 一种图像检测方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113159001A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648198A (zh) * 2018-05-10 2018-10-12 南京邮电大学 一种视频内多目标运动人体区域的分割方法
CN110298231A (zh) * 2019-05-10 2019-10-01 新华智云科技有限公司 一种用于篮球比赛视频进球判定的方法及系统
CN110298297A (zh) * 2019-06-26 2019-10-01 湖北九感科技有限公司 火焰识别方法和装置
US20200210773A1 (en) * 2019-01-02 2020-07-02 Boe Technology Group Co., Ltd. Neural network for image multi-label identification, related method, medium and device
CN111523510A (zh) * 2020-05-08 2020-08-11 国家邮政局邮政业安全中心 行为识别方法、装置、系统、电子设备及存储介质
CN111731962A (zh) * 2020-06-29 2020-10-02 浙江新再灵科技股份有限公司 一种用于门的开合故障检测方法及检测预警系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648198A (zh) * 2018-05-10 2018-10-12 南京邮电大学 一种视频内多目标运动人体区域的分割方法
US20200210773A1 (en) * 2019-01-02 2020-07-02 Boe Technology Group Co., Ltd. Neural network for image multi-label identification, related method, medium and device
CN110298231A (zh) * 2019-05-10 2019-10-01 新华智云科技有限公司 一种用于篮球比赛视频进球判定的方法及系统
CN110298297A (zh) * 2019-06-26 2019-10-01 湖北九感科技有限公司 火焰识别方法和装置
CN111523510A (zh) * 2020-05-08 2020-08-11 国家邮政局邮政业安全中心 行为识别方法、装置、系统、电子设备及存储介质
CN111731962A (zh) * 2020-06-29 2020-10-02 浙江新再灵科技股份有限公司 一种用于门的开合故障检测方法及检测预警系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孔英会;王维维;张珂;戚银城;: "基于改进Mask R-CNN模型的电力场景目标检测方法", 科学技术与工程, no. 08 *

Similar Documents

Publication Publication Date Title
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
CN114283357A (zh) 一种车辆检测方法、装置、存储介质及电子设备
CN110688883A (zh) 车辆和行人检测方法及装置
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN110111311B (zh) 一种图像质量评价方法和装置
CN115035347A (zh) 图片识别方法、装置及电子设备
CN113129298B (zh) 文本图像的清晰度识别方法
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN113159001A (zh) 一种图像检测方法、系统、存储介质及电子设备
CN114550129B (zh) 一种基于数据集的机器学习模型处理方法和系统
CN111551499B (zh) 果实糖分含量的测量方法、装置、计算机设备及存储介质
CN115205619A (zh) 检测模型的训练方法、检测方法、装置和存储介质
CN113762017B (zh) 一种动作识别方法、装置、设备及存储介质
CN114882206A (zh) 图像生成方法、模型训练方法、检测方法、装置及系统
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置
CN114240928A (zh) 板卡质量的分区检测方法、装置、设备及可读存储介质
CN114241401A (zh) 异常判定方法、装置、设备、介质及产品
CN111105590A (zh) 一种报警方法及装置
CN111753766A (zh) 一种图像处理方法、装置、设备及介质
CN112801960A (zh) 图像处理方法及装置、存储介质、电子设备
CN109376739B (zh) 一种编组方式确定方法及装置
CN113420844B (zh) 物体缺陷检测方法、装置、电子设备和存储介质
CN114445711B (zh) 图像检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination