CN115171218A - 一种基于图像识别技术的物资送样异常行为识别系统 - Google Patents
一种基于图像识别技术的物资送样异常行为识别系统 Download PDFInfo
- Publication number
- CN115171218A CN115171218A CN202210908286.8A CN202210908286A CN115171218A CN 115171218 A CN115171218 A CN 115171218A CN 202210908286 A CN202210908286 A CN 202210908286A CN 115171218 A CN115171218 A CN 115171218A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- calculating
- texture
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 18
- 239000000463 material Substances 0.000 title claims abstract description 14
- 238000005516 engineering process Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 13
- 230000007547 defect Effects 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011087 paperboard Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Abstract
本发明涉及监控识别技术领域，具体地说是一种基于图像识别技术的物资送样异常行为识别系统，由目标检测模块、摄像头遮挡检测模块和摄像头监控角度调整报警模块组成，解决了现有技术中检测样品送样过程中监控视频中出现人体换样搬运、人为非人为因素的遮挡，以及摄像头角度造成的画面不全的问题，通过改进目标检测模块算法、摄像头遮挡检测模块和摄像头监控角度调整报警模块三大功能模块组合而成的基于图像识别技术构建视频异常行为监测系统，监控检测样品送样过程中采集的视频信息，及时发现送样过程的异常行为，有效保证送样的正确性和公正性，从而确保入网设备质量检测的科学性，提升电网运行的安全性。
Description
技术领域
本发明涉及监控识别技术领域，具体地说是一种基于图像识别技术的物资送样异常行为识别系统。
背景技术
电网设备质量是大电网安全的物质基础，确保入网设备质量是物资基础工作的核心任务，入网设备质量对电网安全运行具有重要影响。其中抽检是国网公司对电网设备质量管理的一种重要方式，确保检测样品送到检测机构时不被人为换样对于电网设备质量显得尤为关键。
鉴于上述原因，本领域一般都通过分析检测样品送样过程中的监控视频信息，但这样会存在三类异常行为：
1)送样途中卡车车斗中出现人体进行换样搬运；
2)由于人为(纸板或布等)或非人为(灰尘、泥巴或污渍等)因素导致设置的摄像头监控区域画面上有大面积的遮挡，所传递的录像不完整；
3)摄像头被调整角度造成设置的监控区域画面不全，无法监控所有卡车车斗中的场景。
针对送样过程中三类不同异常行为，需要在视频监控过程中需要对视频中的人或物体进行目标检测，判断其类别及位置，这是一个包含目标定位和目标分类的多任务学习问题。
现有技术中的目标检测的方法有两大类，传统的目标检测方法和基于深度学习的目标检测方法，区别在于进行特征提取的时候是手动的还是采用卷积神经网络以及候选框的选取。其中基于深度学习方法卷积神经网络的目标检测算法促进了目标检测的发展，提高了检测的准确率和效率。
但是由于卡车中物资设备等障碍物的遮挡，只能在摄像头中观察到部分人体，这种情况下，很多基于整个人体的识别算法因为特征提取不全而产生漏报，因此遮挡情况下的人体识别仍存在很多困难。
处理遮挡问题的困难主要表现在：
1、由于数据集和遮挡复杂性的影响，分类器无法学习所有的遮挡情
2、遮挡干扰了人体轮廓特征的提取，导致检测器无法准确进行预测；
3、遮挡时由于预测框之间可能会严重重叠，因此不同目标的预测框可能被非极大值抑制(non-maximum suppression，NMS)算法看作一个目标的预测而错误地抑制，造成漏报的发生。
基于以上原因，本发明设计了一种基于图像识别技术的物资送样异常行为识别系统，通过改进目标检测算法，并且发明了摄像头遮挡检测与摄像头角度调整报警模块，通过将三大模块的结合，及时发现送样过程的异常行为，有效保证送样的正确性和公正性，从而确保入网设备质量检测的科学性，提升电网运行的安全性。
发明内容
本发明的目的是克服现有技术的不足，提供一种基于图像识别技术的物资送样异常行为识别系统，通过改进目标检测算法，并且发明了摄像头遮挡检测与摄像头角度调整报警模块，通过将三大模块的结合，及时发现送样过程的异常行为，有效保证送样的正确性和公正性，从而确保入网设备质量检测的科学性，提升电网运行的安全性。
为了达到上述目的，本发明提供一种基于图像识别技术的物资送样异常行为识别系统，由目标检测模块、摄像头遮挡检测模块和摄像头监控角度调整报警模块组成；
目标检测模块的具体步骤如下：
S1，特征提取：用VGG16卷积神经网络作为特征提取器，对输入图片直接进行特征提取，生成整张图片的特征图；
S2，生成候选框：将S1提取到的特征图输入到RPN中，生成正负样本候选框的坐标以及对应的置信度；
S3，候选区域映射：将S2中的RPN生成的候选框通过RoI池化层映射回S1生成的特征图上并按比例缩放成相同的大小；
S4，部位检测网络：针对遮挡问题，增加人体部位检测网络，对人体部位按照可见度进行低、中、高三个层次的划分，设计三个部位检测卷积神经网络，并输出各个部位的置信度得分，通过交叉验证的方式估计每个部位的可见性，综合所有部位的可见性情况输出检测结果；
S5，改进的非极大值抑制算法NMS筛选：基于边界框的中心距离和形状差异的改进的NMS算法：
Si为预测框Pi的置信度，M为置信度最高的预测框，Nt为预先设置的置信度阈值，Pi为除M外的其他预测框，(xM，yM)和(xp，yp)分别表示M与Pi的中心坐标，W和H分别表示同时包含M和Pi的最小矩形框的宽度和长度；
摄像头遮挡检测模块采用将图像划为4个区域分别计算清晰度的方法来判断摄像头是否被遮挡，具体的算法步骤如下：
S10，图像预处理：读取摄像头拍摄的一帧彩色RGB图像，将图像缩放到目标尺寸并矫正去畸变；
S20，色度空间转换和滤波处理：将RGB图像转换为灰度图像，接着对灰度图像进行高斯平滑滤波，降低图片中的高频噪声；
灰度图像的灰度化处理公式为：
Gray＝0.299×R+0.587×G+0.114×B
R为红色，G为绿色，B为蓝色；
高斯平滑滤波处理公式为：
其中，x和y为高斯卷积模板扫描窗口的x和y的坐标值，σ为高斯函数的参数，即高斯核标准差；
S30，计算清晰度值：将灰度图像平均划分为4个区域，即左上、右上、左下和右下，使用拉普拉斯算子分别计算每个区域的清晰度值；
S40，摄像头遮挡预警：若S30中的4个区域中有任一个区域的清晰度值小于预设的清晰度阈值，则判断摄像头被遮挡；若S30中的4个区域中所有区域的清晰度值都大于预设的阈值，则判断摄像头未被遮挡；为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都判断未摄像头被遮挡，则发出摄像头被调整的预警；
S50，清晰度阈值确定：
取不同天气和道路状况下摄像头未遮挡的视频，使用随机抽样的方法采集未遮挡图像帧样本集，对样本集中每一帧图像，依次执行S10到S30，得到每一帧对应的灰度图像中4个区域的清晰度值，基于箱型图分析法计算所有清晰度值组成的序列的上下四分位数Q3和Q1值，并计算四分位间距IQR＝Q3-Q1，清晰度阈值＝Q1-1.5×IQR；
摄像头监控角度调整报警模块采用权重系数综合考虑图像纹理结构和色彩来判断两幅图像的相似度，具体的算法步骤如下：
S101，提取摄像头正常监控范围图像：由于换样一般都是在中途发生的，因此取从始发地开车后1到2分钟的监控视频作为正常摄像头监控角度，并从视频中提取出图像，将连续帧图像进行叠加和融合，作为参照图像；
S102，提取待检测图像：对于后续的监控视频，每隔一秒从中提取一帧作为待检测图像；
S103，提取图像的特征向量：对参照图像和待检测图形，从颜色构成和纹理结构两个角度分别提取特征向量；
S104，计算相似性：采用皮尔逊相关系数计算参照图像和待检测图像的颜色构成和纹理结果两个相似度，根据权重系数计算两张图像的相似度，皮尔逊相关系数的计算公式为：
其中，X为参照图像的颜色构成或者纹理结构特征向量，Y为待检测图像的颜色构成或者纹理结构特征向量，
为特征向量X的平均值，
为特征向量Y的平均值。
由最终的分类效果确定颜色和纹理两部分的权重为：
W纹理＝0.42，W颜色＝0.58
权重的计算方法为：
给定摄像头不同角度调整的视频作为测试集，按照颜色构成角度计算参照图像和测试图像的相似度，然后根据相似度将测试图像分类为摄像头角度被调整和未调整两类，最后根据预测结果计算正确率。同理，可以计算按纹理角度的正确率。根据颜色和纹理的分类正确率，使用归一化方法，计算出权重值。
根据权重系数计算两张图像的相似度公式为：
Corr＝0.42Corr纹理+0.58Corr颜色
S105，摄像头角度调整预警：当相似度小于0.5时，则认为摄像头角度被调整，为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都与参照图像不相似时，则发出摄像头被调整的预警。
同现有技术相比，本发明具备以下有益效果：
目标检测模块针对人体遮挡的情况提出了在Faster R-CNN算法的基础上增加了人体部位检测网络，获得更具有代表性的特征，用于提高人体在有遮挡情况下的准确率，减少漏检率和误检率。
摄像头遮挡检测模块基于划分图像区域分别计算图像清晰度的方法，可以很好地适应动态场景、全遮挡和部分遮挡，克服了基于缓存区检测法依赖于预存储信息的缺点，实现单帧图像即可实现检测的效果，适用于对实时性要求较高的应用场景，具有速度快，准确率高，不依赖预存储的优点。
摄像头监控角度调整报警模块通过融合颜色构成和纹理结构两个维度特征，克服灰度直方图方法的缺点，提高判断两幅图像相似度比较的正确率，进而发出摄像头监控角度被调整的预报。
通过三个模块的相互配合，可以有效识别并及时预警送样过程中的三种主要异常行为，防止送检样品被换样，有力地保证送样的正确性和公正性，从而确保入网设备质量检测的科学性，提升设备入网运行的安全性。
附图说明
图1为本发明基于图像识别技术的送样异常行为识别系统流程图。
图2为本发明部位检测网络示意图。
图3为本发明物资送样监控视频人体目标检测结果示意图。
附图标记说明：
无
具体实施方式
现结合附图对本发明做进一步描述。
参见图1～3，本发明提供了一种基于图像识别技术的物资送样异常行为识别系统，如图1所示，由三个子模块组成，分别是目标检测模块、摄像头遮挡检测模块和摄像头监控角度调整报警模块；
目标检测是一种与计算机视觉和图像处理相关的计算机技术，用于检测数字图像和视频中某一目标(如人类、建筑物或汽车)的类别以及位置，它是一个包含目标定位和目标分类的多任务学习问题。在本发明中的目标检测主要是人体识别。
一、目标检测模块的具体实施方式如下：
1、特征提取：用VGG16卷积神经网络作为特征提取器，对输入图片直接进行特征提取，生成整张图片的特征图；
2、生成候选框：将上一步提取到的特征图输入到RPN中，生成正负样本候选框的坐标以及对应的置信度；
3、候选区域映射：将第二步RPN生成的候选框通过RoI池化层映射回第一步生成的特征图上并按比例缩放成相同的大小；
如图2所示，部位检测网络：
a)将第3步得到的RoIs特征图按人体部位遮挡程度划分为三个层级的检测部位。低层部位包含人体小部分可见区域，如左部分头、左胳膊和左腿等，高层部位由多个低层部位组成，如头部、躯干和腿等。层级越高人体的可见区域面积越大；
b)针对各层级中不同大小的可见区域以及网络深层特征图感受野的原理，采用尺度不同的卷积神经网络进行部位特征提取，低层部位的可见区域最小，选用1×1的卷积核进行特征提取，中层和高层部位分别选用3×3和5×5的卷积核。每一层再分别进行一个1×1的卷积操作，以便获得更深层次的各部位特征,使用最大池化操作输出各个部位的置信度得分；
c)对部位检测网络输出的不同部位的置信度进行后处理，估计各个层级的部位可见性。每层部位的可见性估计由该层的部位置信度以及上一层的可见性估计结果综合输出，最终根据最高层部位的可见性估计结果输出模型的检测结果。
改进的非极大值抑制算法(NMS)筛选：传统NMS算法对IoU大于某硬阈值的边界框进行统一抑制，而实际上IoU相同的两个边界框有不同的重叠方式，位置关系也可能不同，传统NMS算法并不能有效的区分这些情况。针对传统NMS的不能区分不同重叠模式的缺陷，本发明提出了基于边界框的中心距离和形状差异的改进的NMS算法，解决传统NMS算法对IoU相同情况下区分能力不足的问题，减少了在目标间出现遮挡时的漏报。公式如下：
其中,Nt为预先设置的置信度阈值，M为置信度最高的预测框，Pi为除M外的其他预测框，Si为预测框Pi的置信度,(xM，yM)和(xp，yp)分别表示预测框M与预测框Pi的中心坐标，W和H表示同时包含M和Pi的最小矩形框的宽度和长度。
中心距离小的两个检测框通常更可能对应着同一个真实目标，所以应该被抑制，由公式可知，在IoU相同时，当Pi与M的中心距离越小，检测制度Si对应的Dist(M,Pi)越大，此时Pi被抑制的可能性增大，更符合实际情况。
二、摄像头遮挡检测模块，具体实施方式如下：
图像预处理：读取摄像头拍摄的一帧彩色RGB图像，将图像缩放到目标尺寸，并矫正去畸变。
色度空间转换和滤波处理：将RGB图像转换为灰度图像，灰度化处理公式为：
Gray＝0.299×R+0.587×G+0.114×B
接着，对灰度图像进行高斯平滑滤波，它可以降低图片中的高频噪声。二维的高斯平滑卷积核函数可以表示为：
其中，x和y为高斯卷积模板扫描窗口的x和y的坐标值，σ为高斯函数的参数，即高斯核标准差。
计算清晰度值：将灰度图像平均划分为4个区域，即左上、右上、左下和右下，使用拉普拉斯算子分别计算每个区域的清晰度值。
摄像头遮挡预警：若上述的4个区域中有任一个区域的清晰度值小于预设的清晰度阈值，则判断摄像头被遮挡；若4个区域中所有区域的清晰度值都大于预设的阈值，则判断摄像头未被遮挡。为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都判断未摄像头被遮挡，则发出摄像头被调整的预警。
清晰度阈值确定：取不同天气和道路状况下摄像头未遮挡的视频，使用随机抽样的方法采集未遮挡图像帧样本集，对样本集中每一帧图像，依次执行步骤1)到3)，得到每一帧对应的灰度图像中4个区域的清晰度值。基于箱型图分析法计算所有清晰度值组成的序列的上下四分位数Q3和Q1值，并计算四分位间距IQR＝Q3-Q1，清晰度阈值＝Q1-1.5×IQR。
三、摄像头监控角度调整报警模块，采用图像相似度的方法来判断，使用灰度直方图的方法计算两幅图像相似度会存在较多的误判问题，误判的原因有：
直方图自身局限性：直方图仅反映图像像素各灰度值的数量，不能反映图像纹理结构；
图像颜色信息损失：对于彩色图像，将其转为灰度图像计算其灰度直方图，再参与运算比较，在彩色转灰度的转换过程中将损失图像颜色信息，所以会存在大量误判。
而本发明的该模块将采用权重系数综合考虑图像纹理结构和色彩来判断两幅图像的相似度，具体的算法步骤如下：
提取摄像头正常监控范围图像：由于换样一般都是在中途发生的，因此取从始发地开车后1到2分钟的监控视频作为正常摄像头监控角度，并从视频中提取出图像，将连续帧图像进行叠加和融合，作为参照图像。
提取待检测图像：对于后续的监控视频，每隔一秒从中提取一帧作为待检测图像。
提取图像的特征向量：对参照图像和待检测图形，从颜色构成和纹理结构两个角度分别提取特征向量。
计算相似性：采用皮尔逊相关系数计算参照图像和待检测图像的颜色构成和纹理结果两个相似度，相关系数的计算公式为：
其中，X为参照图像的颜色构成或者纹理结构特征向量，Y为待检测图像的颜色构成或者纹理结构特征向量，
为特征向量X的平均值，
为特征向量Y的平均值。
由最终的分类效果确定两部分的权重为：
W纹理＝0.42，W颜色＝0.58
所述权重的计算方法为：
给定摄像头不同角度调整的视频作为测试集，按照颜色构成角度计算参照图像和测试图像的相似度，然后根据相似度将测试图像分类为摄像头角度被调整和未调整两类，最后根据预测结果计算正确率。同理，可以计算按纹理角度的正确率。根据颜色和纹理的分类正确率，使用归一化方法，计算出权重值。
根据权重系数计算两张图像的相似度公式为：
Corr＝042Corr纹理+0.58Corr颜色
摄像头角度调整预警：当相似度小于0.5时，则认为摄像头角度被调整。为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都与参照图像不相似时，则发出摄像头被调整的预警。
如图3所示，本申请对送样过程中采集的视频数据进行验证，对监控视频中出现的遮挡一半身体，以及被物资设备和卡车铁杆遮挡了脸部和大部分身体图这两类情况均有较好的检测效果，并能匹配出较好的边界框。
以上仅是本发明的优选实施方式，只是用于帮助理解本申请的方法及其核心思想，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
本发明从整体上解决了现有技术中检测样品送样过程中监控视频中出现人体换样搬运、人为非人为因素的遮挡，以及摄像头角度造成的画面不全的问题，通过改进目标检测模块算法、摄像头遮挡检测模块和摄像头监控角度调整报警模块三大功能模块组合而成的基于图像识别技术构建视频异常行为监测系统，监控检测样品送样过程中采集的视频信息，及时发现送样过程的异常行为，有效保证送样的正确性和公正性，从而确保入网设备质量检测的科学性，提升电网运行的安全性。
Claims (1)
1.一种基于图像识别技术的物资送样异常行为识别系统，其特征在于，由目标检测模块、摄像头遮挡检测模块和摄像头监控角度调整报警模块组成；
所述目标检测模块的具体步骤如下：
S1，特征提取：用VGG16卷积神经网络作为特征提取器，对输入图片直接进行特征提取，生成整张图片的特征图；
S2，生成候选框：将所述S1中提取到的特征图输入到RPN中，生成正负样本候选框的坐标以及对应的置信度；
S3，候选区域映射：将所述S2中的RPN生成的候选框通过RoI池化层映射回所述S1中生成的特征图上并按比例缩放成相同的大小；
S4，部位检测网络：针对遮挡问题，增加人体部位检测网络，对人体部位按照可见度进行低、中、高三个层次的划分，设计三个部位检测卷积神经网络，并输出各个部位的置信度得分，通过交叉验证的方式估计每个部位的可见性，综合所有部位的可见性情况输出检测结果；
S5，改进的非极大值抑制算法NMS筛选：基于边界框的中心距离和形状差异的改进的NMS算法：
所述Si为预测框Pi的置信度，M为置信度最高的预测框，Nt为预先设置的置信度阈值，Pi为除M外的其他预测框，(xM，yM)和(xp，yp)分别表示M与Pi的中心坐标，W和H分别表示同时包含M和Pi的最小矩形框的宽度和长度；
所述摄像头遮挡检测模块采用将图像划为4个区域分别计算清晰度的方法来判断摄像头是否被遮挡，具体的算法步骤如下：
S10，图像预处理：读取摄像头拍摄的一帧彩色RGB图像，将图像缩放到目标尺寸并矫正去畸变；
S20，色度空间转换和滤波处理：将RGB图像转换为灰度图像，接着对灰度图像进行高斯平滑滤波，降低图片中的高频噪声；
所述灰度图像的灰度化处理公式为：
Gray＝0.299×R+0.587×G+0.114×B
所述R为红色，G为绿色，B为蓝色；
所述二维高斯平滑滤波处理公式为：
其中，x和y为高斯卷积模板扫描窗口的x和y的坐标值，σ为高斯函数的参数，即高斯核标准差；
S30，计算清晰度值：将灰度图像平均划分为4个区域，即左上、右上、左下和右下，使用拉普拉斯算子分别计算每个区域的清晰度值；
S40，摄像头遮挡预警：若所述S30中的4个区域中有任一个区域的清晰度值小于预设的清晰度阈值，则判断摄像头被遮挡；若所述S30中的4个区域中所有区域的清晰度值都大于预设的阈值，则判断摄像头未被遮挡；为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都判断未摄像头被遮挡，则发出摄像头被调整的预警；
S50，清晰度阈值确定：
取不同天气和道路状况下摄像头未遮挡的视频，使用随机抽样的方法采集未遮挡图像帧样本集，对样本集中每一帧图像，依次执行所述S10到S30，得到每一帧对应的灰度图像中4个区域的清晰度值，基于箱型图分析法计算所有清晰度值组成的序列的上下四分位数Q3和Q1值，并计算四分位间距IQR＝Q3-Q1，清晰度阈值＝Q1-1.5×IQR；
所述摄像头监控角度调整报警模块采用权重系数综合考虑图像纹理结构和色彩来判断两幅图像的相似度，具体的算法步骤如下：
S101，提取摄像头正常监控范围图像：由于换样一般都是在中途发生的，因此取从始发地开车后1到2分钟的监控视频作为正常摄像头监控角度，并从视频中提取出图像，将连续帧图像进行叠加和融合，作为参照图像；
S102，提取待检测图像：对于后续的监控视频，每隔一秒从中提取一帧作为待检测图像；
S103，提取图像的特征向量：对参照图像和待检测图形，从颜色构成和纹理结构两个角度分别提取特征向量；
S104，计算相似性：采用皮尔逊相关系数计算参照图像和待检测图像的颜色构成和纹理结构两个相似度，根据权重系数计算两张图像的相似度，所述皮尔逊相关系数的计算公式为：
其中，X为参照图像的颜色构成或者纹理结构特征向量，Y为待检测图像的颜色构成或者纹理结构特征向量，
为特征向量X的平均值，
为特征向量Y的平均值；
由最终的分类效果确定所述颜色和纹理两部分的权重为：
W纹理＝0.42，W颜色＝0.58
所述权重的计算方法为：
给定摄像头不同角度调整的视频作为测试集，按照颜色构成角度计算参照图像和测试图像的相似度，然后根据相似度将测试图像分类为摄像头角度被调整和未调整两类，最后根据预测结果计算正确率；同理，计算按纹理角度的正确率；根据颜色和纹理的分类正确率，使用归一化方法，计算出权重值；
根据权重系数计算两张图像的相似度公式为：
Corr＝0.42Corr纹理+0.58Corr颜色
S105，摄像头角度调整预警：当所述相似度小于0.5时，则认为摄像头角度被调整，为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都与参照图像不相似时，则发出摄像头被调整的预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210908286.8A CN115171218A (zh) | 2022-07-29 | 2022-07-29 | 一种基于图像识别技术的物资送样异常行为识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210908286.8A CN115171218A (zh) | 2022-07-29 | 2022-07-29 | 一种基于图像识别技术的物资送样异常行为识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115171218A true CN115171218A (zh) | 2022-10-11 |
Family
ID=83478207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210908286.8A Pending CN115171218A (zh) | 2022-07-29 | 2022-07-29 | 一种基于图像识别技术的物资送样异常行为识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115171218A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631449A (zh) * | 2022-12-19 | 2023-01-20 | 南京和电科技有限公司 | 一种视频智能识别管理方法及系统 |
| CN115908774A (zh) * | 2023-01-10 | 2023-04-04 | 佰聆数据股份有限公司 | 一种基于机器视觉的变形物资的品质检测方法和装置 |
-
2022
- 2022-07-29 CN CN202210908286.8A patent/CN115171218A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631449A (zh) * | 2022-12-19 | 2023-01-20 | 南京和电科技有限公司 | 一种视频智能识别管理方法及系统 |
| CN115908774A (zh) * | 2023-01-10 | 2023-04-04 | 佰聆数据股份有限公司 | 一种基于机器视觉的变形物资的品质检测方法和装置 |
| CN115908774B (zh) * | 2023-01-10 | 2023-05-09 | 佰聆数据股份有限公司 | 一种基于机器视觉的变形物资的品质检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107833220B (zh) | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 | |
| JP6719457B2 (ja) | 画像の主要被写体を抽出する方法とシステム | |
| JP4528309B2 (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
| CN106780486B (zh) | 一种钢板表面缺陷图像提取方法 | |
| CN113436168B (zh) | 一种用于工业焊缝x光图中的裂纹缺陷检测方法 | |
| CN115171218A (zh) | 一种基于图像识别技术的物资送样异常行为识别系统 | |
| CN115239704B (zh) | 一种木材表面缺陷的精准检测修复方法 | |
| CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
| CN111738342B (zh) | 一种受电弓异物检测方法、存储介质及计算机设备 | |
| CN111723644A (zh) | 一种监控视频遮挡检测方法及系统 | |
| WO2021109697A1 (zh) | 字符分割方法、装置以及计算机可读存储介质 | |
| CN109255326B (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
| CN110415208A (zh) | 一种自适应目标检测方法及其装置、设备、存储介质 | |
| CN102202227A (zh) | 一种无参考视频质量客观评估方法 | |
| CN110415260B (zh) | 基于字典与bp神经网络的烟雾图像分割与识别方法 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN103455994A (zh) | 图像模糊度的确定方法和设备 | |
| CN111753794B (zh) | 水果品质分类方法、装置、电子设备及可读存储介质 | |
| CN114782330B (zh) | 基于人工智能的炉排异常检测方法及系统 | |
| CN114897908B (zh) | 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统 | |
| CN110880175A (zh) | 一种焊点缺陷检测方法、系统以及设备 | |
| US20220128358A1 (en) | Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction | |
| CN115841633A (zh) | 一种电力塔和电力线关联矫正的电力塔和电力线检测方法 | |
| CN115018785A (zh) | 基于视觉振频识别的提升钢丝绳张力检测方法 | |
| CN117152161B (zh) | 一种基于图像识别的刨花板质量检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231013 Address after: North Office Building, No. 12, Nanxiaoqiang, Xinghualing District, Taiyuan City, Shanxi Province, 030000 Applicant after: MATERIAL BRANCH OF STATE GRID SHANXI ELECTRIC POWER Co. Applicant after: STATE GRID ELECTRIC POWER Research Institute OF SEPC Address before: North Office Building, No. 12, Nanxiaoqiang, Xinghualing District, Taiyuan City, Shanxi Province, 030000 Applicant before: MATERIAL BRANCH OF STATE GRID SHANXI ELECTRIC POWER Co. |
|
| TA01 | Transfer of patent application right |