CN113420716B - 基于改进Yolov3算法的违规行为识别预警的方法 - Google Patents

基于改进Yolov3算法的违规行为识别预警的方法 Download PDF

Info

Publication number
CN113420716B
CN113420716B CN202110808206.7A CN202110808206A CN113420716B CN 113420716 B CN113420716 B CN 113420716B CN 202110808206 A CN202110808206 A CN 202110808206A CN 113420716 B CN113420716 B CN 113420716B
Authority
CN
China
Prior art keywords
image
pixel
matrix
channel
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110808206.7A
Other languages
English (en)
Other versions
CN113420716A (zh
Inventor
吴志雄
李晓琼
陈昭
黄鼎
甘建武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linewell Software Co Ltd
Original Assignee
Linewell Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linewell Software Co Ltd filed Critical Linewell Software Co Ltd
Priority to CN202110808206.7A priority Critical patent/CN113420716B/zh
Publication of CN113420716A publication Critical patent/CN113420716A/zh
Application granted granted Critical
Publication of CN113420716B publication Critical patent/CN113420716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Lining And Supports For Tunnels (AREA)

Abstract

本发明涉及一种基于全断面变形数据的隧道结构安全性评估方法，包括以下步骤:步骤S1:获取隧道支护结构全断面的未变形的数据点位坐标值，和变形后不同时刻隧道支护结构的内轮廓全断面数据点位坐标值；步骤S2:计算结构变形后的单元长度变化值；步骤S3:定义结构内轮廓表观伸长率，进一步获取各单元的内轮廓表观伸长率；步骤S4:根据结构内轮廓表观伸长率，判别结构内轮廓各部位的拉压情况;步骤S5:根据结构内轮廓表观伸长率，判别结构截面是否将形成塑性铰;步骤S6:根据步骤S4和S5的判别结果，并基于预设的预警标准，得到预警结果。本发明可以通过隧道结构内轮廓表观伸长率直接评估结构当前受力状况，并消除结构刚体位移的影响。

Description

基于改进Yolov3算法的违规行为识别预警的方法
技术领域
本发明涉及，具体涉及一种基于改进Yolov3算法的违规行为识别预警的方法。
背景技术
在过去进行常规检查中，需要调用视频监管记录，用人眼搜索才能确定是否存在违规行为，监管过程不仅耗时耗力，效率也非常低下，并且在检查过程中无法第一时间排查食品安全隐患。针对这一问题，可通过于安装摄像头，并根据目标检测算法对视频图像信息进行分析，检测餐饮存在的违规行为，并进行相应的预警。
发明内容
有鉴于此，本发明的目的在于提供一种基于改进Yolov3算法的违规行为识别预警的方法，有效提高检测预警的速度、稳定性。
为实现上述目的，本发明采用如下技术方案：
一种基于改进Yolov3算法的违规行为识别预警的方法，包括以下步骤:
步骤S1:获取所需检测识别违规行为的图像，并标注后构建数据集；
步骤S2:采用改进的色彩均衡Retinex算法进行图像光照均衡提升数据集图像的质量，并对提升后的数据集进行预处理；
步骤S3:将预处理后的图像数据集输入tensorflow框架下构建的基于改进Yolov3算法进行模型训练；
步骤S4:将训练后的模型设置于视频终端，根据视频源，进行违规行为实时监测。
进一步的，所述步骤S1具体为：获取所需检测识别违规行为的图像，使用labelImg工具进行图像数据框选、标注，生成图像对应的标注、标签信息和位置信息文件“xxx.xml”，其中xxx为图像名称，.xml为文件后缀名。
进一步的，所述采用改进的色彩均衡Retinex算法进行图像光照均衡提升数据集图像的质量，具体为：
(1)通过opencv获取的图像数据彩色图R/G/B各通道数据矩阵；
其中，AR表示图像R通道色彩数据矩阵，为图像R通道色彩数据矩阵位置(i,j)的像素值；AG表示图像G通道色彩数据矩阵，/>为图像G通道色彩数据矩阵位置(i,j)的像素值；AB表示图像B通道色彩数据矩阵，/>为图像B通道色彩数据矩阵位置(i,j)的像素值；
(2)计算原始图像各通道像素级频率并计算图像R/G/B通道的像素级的累积分布/>
k＝1,2,…,r(r＝256)t＝R,G,B
其中，表示图像t通道第k种像素级，/>表示/>在图像t通道像素矩阵出现的频率，/>表示图像t通道第k种像素级的像素点个数，Nt为图像t通道像素点总个数，r表示总像素级数256；
(3)得到均衡化函数即原图像像素级/>均衡化后的像素值，通过均衡化函数/>得到原图像数据彩色图R/G/B各通道数据矩阵均衡化后矩阵T(AR)、T(AG)、T(AB)；
其中，表示图像t通道第k种像素级，r表示总像素级数256，/>表示原图像t通道像素级/>的累积分布，int(x)表示根据四舍五入规则对x进行取整函数。
(4)分别计算原图像数据彩色图R/G/B各通道数据矩阵的Log_Gauss信号矩阵LGt，得到原图像数据彩色图R/G/B各通道数据矩阵Log_Gauss信号转化后的像素矩阵LG(AR)、LG(AG)、LG(AB)；
t＝R,G,B
其中，表示原图像t通道色彩数据矩阵位置(i,j)的像素值，Gauss(i,j)表示二维高斯函数，LGt(i,j)表示原图像t通道色彩数据矩阵的Log_Gauss信号矩阵LGt位置(i,j)值；
(5)结合原图像数据彩色图R/G/B各通道数据矩阵均衡化矩阵、Log_Gauss信号矩阵，设计如下公式计算得到改进的色彩均衡Retinex算法处理后的R/G/B通道像素矩阵A′R、A′G、A′B；
exce(A′t(i,j))＝μ·T(At(i,j))+(1-μ)·LG(At(i,j))
其中，A′t(i,j)表示原图像t通道色彩数据矩阵通过改进的色彩均衡Retinex算法处理光照不均匀问题后的t通道矩阵位置(i,j)的像素值；T(At(i,j))原图像t通道色彩数据矩阵均衡化后矩阵位置(i,j)的像素值；LG(At(i,j))原图像t通道色彩数据矩阵Log_Gauss信号转化后的像素矩阵位置(i,j)的像素值；μ为超参数。
进一步的，所述预处理包括灰度变换、随机水平翻转、随机剪裁、随机角度旋转、改变对比度和饱和度。
进一步的，所述tensorflow框架下构建的基于改进Yolov3算法，具体为：Yolov3算法在通过分类预测，将得到多个预测框(tix,tiy,tiw,tih)及其预测类别ci、置信度pi，通过对每个类别的候选预测框进行非极大抑制处理，即计算边界框之间的重叠率，去除掉那些重叠率高于预设并且评分低于预设值的边界框获得模型最终预测框；并通过洛格置信抑制法对候选预测框进行筛选。
进一步的，所述洛格置信抑制法，具体为：设通过Yolov3算法的DarkNet-53网络获得候选预测框集合H＝{hi},hi＝(tix,tiy,tiw,tih)、预测类别ci以及置信度pi，其中tix为预测候选框的左上角x坐标、tiy为预测候选框的左上角y坐标、tiw为预测候选框的宽度、tih为预测候选框的高度；设置存放最终预测框集合M，初始化为空集；
(1)：设置置信度阈值p，去除候选框集合H中框hi置信度pi小于p的候选预测框；
(2)：对候选预测框集合H根据置信度进行排序，选出置信度最大的候选预测框hmax移至终预测框集合M中；
(3)：遍历集合H中的框hi，分别与框hmax计算改进后的重叠度公式LOG2_IOU，设定重叠度阈值q，如果得到的值高于q，则认为此框与hmax重叠，将此框从集合H中去除；
其中，pi为候选框hi的置信度；pmax为框hmax的置信度；IOU(i,max)为候选框hi与框hmax的重叠区域面积比例；area(hi∩hmax)为候选框hi与框hmax的交面积；area(hi∪hmax)为候选框hi与框hmax的并面积；η为超参数，且满足η∈[0,1]，默认值为0.5。
(4)：重复步骤(2)、(3)，直至集合H为空，集合M就是最终检测框。
进一步的，还设置有识别结果的置信度阈值，从违规行为识别结果的中选择出最优识别结果，并根据最优识别结果，在图像中标记其存在违规行为识别，并将检测结果相关数据保存至mysql数据库中。
进一步的，还设置有风险预警单元，根据近一个月餐饮后厨的违规行为识别检测结果，以餐饮企业为单位预警其风险等级、输出风险线索，并展示于风险预警系统的模型线索中，其展示内容包括餐饮企业信息、风险等级、违规行为识别标记图像、预警时间；
根据近一个月被检测到违规行为识别次数count进行风险等级的划分，当count＞100时为高风险；当75＜count≤100时为中高风险；当45＜count≤75时为中风险；当10＜count≤45时为低风险；当count≤10时判定为无风险。
进一步的，还设置有误判检测，具体如下：基于像素转移的哈希灰度颜色直方图算法进行相似度判定，仅保留每个小时段内极大相似图片组中最早和最晚检测到的图像信息。
进一步的，所述相似度判定包括以下步骤：
(1)将获取的图像数据通过opencv的cvtColor将彩色图转换为灰度图；
其中，Ap表示第p张图片的灰度图像素矩阵，为第p张图片灰度图位置(i,j)的像素值；
(2)计算灰度图像Ap的像素平均值，记为遍历Ap中的每一个像素/>比较/>与/>若/>则记1，否则记0，由此得到n×m个比特的二进制串即为图片哈希值，即为HAp；
(3)计算两张图片的哈希值的海明距离，记为D1(HA1,HA2)；距离越小图片越相似，距离越大图片差异性越大；
(4)对于灰度图像Ap，计算每一种像素在图像中出现的频次，以像素出现的频次作为颜色直方图的纵坐标、以颜色值作为横坐标，通过这种方式描绘出该图像的颜色直方图，并由此得到各像素在该图像中出现的频率向量Fp；
Fp＝(fp(c1),fp(c2),…,fp(cr))
其中，fp(ck),k＝1,2,…,256表示第p张图像第k种像素在图像中出现的频率，ck表示第k种像素值，Ip(i,j)表示第p张图像位置(i,j)的像素值，n为图像的高，m为图像的宽。
(5)计算两张图片像素频率向量F1、F2的皮尔逊相关系数D2(F1,F2)：
其中，f1(ck),k＝1,2,…,256表示第1张图像第k种像素在图像中出现的频率；f2(ck),k＝1,2,…,256表示第2张图像第k种像素在图像中出现的频率；ck表示第k种像素值；
(6)将图像二维像素矩阵Ap转换为n×m维向量Bp：
其中，为第p张图片二维像素矩阵位置(i,j)的像素值，为了方便描述，记
(7)根据图像的n×m维向量Bp计算其k步像素转移矩阵
其中，为图像的n×m维向量Bp从像素值/>的k步转移概率，/>为像素值ci经过k步转移到像素值cj的次数,Ri为像素值ci出现的次数；令k取上述4个值，符号[x]表示不大于x的最大整数；
(8)计算k步像素转移矩阵的熵/>二阶距/>对比度/>逆差距/>并组合成一个大小为16的综合向量Gp；
其中，为图像的n×m维向量Bp从像素值/>的k步转移概率。
(9)计算两张图片的像素转移矩阵生成的综合向量G1、G2的皮尔逊相关系数D3(G1,G2)：
其中，gi1为第1张图像像素转移矩阵生成的综合向量G1第i个元素；gi2为第2张图像像素转移矩阵生成的综合向量G2第i个元素；
(10)结合两张图片的哈希值的海明距离D1(HA1,HA2)、像素频率向量皮尔逊相关系数D2(F1,F2)、像素转移矩阵生成的综合向量皮尔逊相关系数D3(G1,G2)，计算得到图片最终的相似度D：
其中，α、β为超参数。
本发明与现有技术相比具有以下有益效果：
1.本发明通过结合Yolov3目标检测算法与MindStudio软件、边缘设备的应用，提高检测预警的速度、稳定性；
2.本发明采用改进的色彩均衡Retinex算法预处理消除环境光照变化对目标识别效果的影响；
3.本发明使用洛格置信抑制法(LOGCS)对候选分类预测框进行筛选，减少漏检、标注重写问题从而提高模型检测的精准度；
4.本发明基于像素转移的哈希灰度颜色直方图算法进行图像相似度判定，考虑图像低频成分、图像颜色特征、像素转移，并结合统计学计算图像相似度，过滤极大相似图片，降低违规行为过度预警风险。
附图说明
图1是本发明方法流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本实施例将预警方案应用于餐饮后厨违规行为识别，具体如下：
步骤S1:使用普通摄相机以及网络图片素材以1:1比例采集餐饮后厨场景、其他公共场合下所需检测识别违规行为的图像。每种违规行为至少5000张作为样本、餐饮后厨与其他公众场合图像来源作为训练图像，保证训练数据集的多样性、模型训练结果的泛化能力，使用labelImg工具进行图像数据框选、标注，生成图像对应的标注、标签信息和位置信息文件“xxx.xml”，其中xxx为图像名称，.xml为文件后缀名，将图像数据集按预设比例随机分为训练数据集和测试集
步骤S2:对训练图像数据集进行预处理。通过现有技术对样本数据集进行灰度变换、随机水平翻转、随机剪裁、随机角度旋转、改变对比度、饱和度达到扩充数据的目的，使训练出的模型具有高鲁棒性；
其中，考虑到餐饮后厨受到时间变化、室内室外光照的影响，使得图像存在光照不均匀问题，而这种现象会严重影响物体的识别效果，所以，在图像进行相关预处理操作前应用改进的色彩均衡Retinex算法进行图像光照均衡提升图像的质量，解决后厨环境中的背景干扰问题，从而提升模型检测的精准度。
改进的色彩均衡Retinex算法步骤如下：
(1)通过opencv获取的图像数据彩色图R/G/B各通道数据矩阵；
其中，AR表示图像R通道色彩数据矩阵，为图像R通道色彩数据矩阵位置(i,j)的像素值；AG表示图像G通道色彩数据矩阵，/>为图像G通道色彩数据矩阵位置(i,j)的像素值；AB表示图像B通道色彩数据矩阵，/>为图像B通道色彩数据矩阵位置(i,j)的像素值。
(2)计算原始图像各通道像素级频率并计算图像R/G/B通道的像素级的累积分布/>
k＝1,2,…,r(r＝256)t＝R,G,B
其中，表示图像t通道第k种像素级，/>表示/>在图像t通道像素矩阵出现的频率，/>表示图像t通道第k种像素级的像素点个数，Nt为图像t通道像素点总个数，r表示总像素级数256。
(3)由此可得到均衡化函数即原图像像素级/>均衡化后的像素值，通过均衡化函数/>得到原图像数据彩色图R/G/B各通道数据矩阵均衡化后矩阵T(AR)、T(AG)、T(AB)；
其中，表示图像t通道第k种像素级，r表示总像素级数256，/>表示原图像t通道像素级/>的累积分布，int(x)表示根据四舍五入规则对x进行取整函数。
(4)分别计算原图像数据彩色图R/G/B各通道数据矩阵的Log_Gauss信号矩阵LGt，得到原图像数据彩色图R/G/B各通道数据矩阵Log_Gauss信号转化后的像素矩阵LG(AR)、LG(AG)、LG(AB)；
t＝R,G,B
其中，表示原图像t通道色彩数据矩阵位置(i,j)的像素值，Gauss(i,j)表示二维高斯函数，LGt(i,j)表示原图像t通道色彩数据矩阵的Log_Gauss信号矩阵LGt位置(i,j)值。
(5)结合原图像数据彩色图R/G/B各通道数据矩阵均衡化矩阵、Log_Gauss信号矩阵，设计如下公式计算得到改进的色彩均衡Retinex算法处理后的R/G/B通道像素矩阵A′R、A′G、A′B；
exce(A′t(i,j))＝μ·T(At(i,j))+(1-μ)·LG(At(i,j))
其中，A′t(i,j)表示原图像t通道色彩数据矩阵通过改进的色彩均衡Retinex算法处理光照不均匀问题后的t通道矩阵位置(i,j)的像素值；T(At(i,j))原图像t通道色彩数据矩阵均衡化后矩阵位置(i,j)的像素值；LG(At(i,j))原图像t通道色彩数据矩阵Log_Gauss信号转化后的像素矩阵位置(i,j)的像素值；μ为超参数，且满足μ∈[0,1]，默认值为0.5。
步骤S3:将预处理后的图像数据集输入tensorflow框架下构建基于改进的Yolov3算法(简称LOGCS-Yolov3)进行模型训练，通过DarkNet-53网络经过一系列的卷积、上采样以及合并等操作后最终得到了三个尺寸不一的要素图(featuremap)，并经过特征提取、分类训练、非极大抑制筛选检测识别后厨违规行为。
其中，通过Yolov3算法在通过分类预测，将得到多个预测框(tix,tiy,tiw,tih)及其预测类别ci、置信度pi，需通过对每个类别的候选预测框进行非极大抑制(NMS)处理，即计算边界框之间的重叠率(重叠区域面积比例IOU)，去除掉那些重叠率较高并且评分较低的边界框获得模型最终预测框。但是，由于两个检测目标距离相近时，通过NMS会将具有较低置信度的候选框去除，造成漏检问题，但若保留置信度、重叠率高的两个候选框，则存在图片同类标注重写现象。通过洛格置信抑制法(LOGCS)对候选预测框进行筛选，减少漏检、标注重写问题从而提高模型检测的精准度。
以下为洛格置信抑制法(LOGCS)步骤：
假设通过Yolov3算法的DarkNet-53网络获得候选预测框集合H＝{hi},hi＝(tix,tiy,tiw,tih)、预测类别ci以及置信度pi，其中tix为预测候选框的左上角x坐标、tiy为预测候选框的左上角y坐标、tiw为预测候选框的宽度、tih为预测候选框的高度；设置存放最终预测框集合M，初始化为空集。
1.设置置信度阈值p(该场景中p＝0.5)，去除候选框集合H中框hi置信度pi小于p的候选预测框；
2.对候选预测框集合H根据置信度进行排序，选出置信度最大的候选预测框hmax移至终预测框集合M中；
3.遍历集合H中的框hi，分别与框hmax计算改进后的重叠度公式LOG2_IOU，设定重叠度阈值q该场景中q＝0.5，如果得到的值高于q，则认为此框与hmax重叠，将此框从集合H中去除；
其中，pi为候选框hi的置信度；pmax为框hmax的置信度；IOU(i,max)为候选框hi与框hmax的重叠区域面积比例；area(hi∩hmax)为候选框hi与框hmax的交面积；area(hi∪hmax)为候选框hi与框hmax的并面积；η为超参数，且满足η∈[0,1]，默认值为0.5。
4.重复步骤2、3，直至集合H为空。集合M就是最终检测框。
步骤S4:模型训练完成后，将最优模型结果通过华为昇腾开发的MindStudio软件将其转换om模型文件，并将后厨违规行为识别预警python工程部署至边缘设备中，根据餐饮后厨视频源，通过python脚本程序解析图像信息，借助边缘设备强大的算力进行餐饮后厨违规行为检测，并通过洛格置信抑制法(LOGCS)输出后厨工作人员违规行为的检测结果，其结果包括多个预测框(tix,tiy,tiw,tih)、预测类别ci以及置信度pi。
优选的，在本实施例中，还设置有识别结果的置信度阈值，从违规行为识别结果的中选择出最优识别结果(识别置信度大于置信度阈值)，并根据最优识别结果，在图像中标记其存在违规行为识别，并将检测结果相关数据保存至mysql数据库中，包含检测标记图像、检测时间、餐饮企业信息等；
优选的，在本实施例中，还设置有风险预警单元，根据近一个月餐饮后厨的违规行为识别检测结果，以餐饮企业为单位预警其风险等级、输出风险线索，并展示于风险预警系统的模型线索中，其展示内容包括餐饮企业信息、风险等级、违规行为识别标记图像、预警时间；
根据近一个月被检测到违规行为识别次数count进行风险等级的划分，当count＞100时为高风险；当75＜count≤100时为中高风险；当45＜count≤75时为中风险；当10＜count≤45时为低风险；当count≤10时判定为无风险。
设置有误判检测，具体如下：基于像素转移的哈希灰度颜色直方图算法进行相似度判定，仅保留每个小时段内极大相似图片组中最早和最晚检测到的图像信息。
优选的，相似度判定包括以下步骤：
(1)将获取的图像数据通过opencv的cvtColor将彩色图转换为灰度图；
其中，Ap表示第p张图片的灰度图像素矩阵，为第p张图片灰度图位置(i,j)的像素值；
(2)计算灰度图像Ap的像素平均值，记为遍历Ap中的每一个像素/>比较/>与/>若/>则记1，否则记0，由此得到n×m个比特的二进制串即为图片哈希值，即为HAp；
(3)计算两张图片的哈希值的海明距离，记为D1(HA1,HA2)；距离越小图片越相似，距离越大图片差异性越大；
(4)对于灰度图像Ap，计算每一种像素在图像中出现的频次，以像素出现的频次作为颜色直方图的纵坐标、以颜色值作为横坐标，通过这种方式描绘出该图像的颜色直方图，并由此得到各像素在该图像中出现的频率向量Fp；
Fp＝(fp(c1),fp(c2),…,fp(cr))
其中，fp(ck),k＝1,2,…,256表示第p张图像第k种像素在图像中出现的频率，ck表示第k种像素值，Ip(i,j)表示第p张图像位置(i,j)的像素值，n为图像的高，m为图像的宽。
(5)计算两张图片像素频率向量F1、F2的皮尔逊相关系数D2(F1,F2)：
其中，f1(ck),k＝1,2,…,256表示第1张图像第k种像素在图像中出现的频率；f2(ck),k＝1,2,…,256表示第2张图像第k种像素在图像中出现的频率；ck表示第k种像素值；
(6)将图像二维像素矩阵Ap转换为n×m维向量Bp：
其中，为第p张图片二维像素矩阵位置(i,j)的像素值，为了方便描述，记
(7)根据图像的n×m维向量Bp计算其k步像素转移矩阵
其中，为图像的n×m维向量Bp从像素值/>的k步转移概率，/>为像素值ci经过k步转移到像素值cj的次数,Ri为像素值ci出现的次数；令k取上述4个值，符号[x]表示不大于x的最大整数；
(8)计算k步像素转移矩阵的熵/>二阶距/>对比度/>逆差距/>并组合成一个大小为16的综合向量Gp；
其中，为图像的n×m维向量Bp从像素值/>的k步转移概率。
(9)计算两张图片的像素转移矩阵生成的综合向量G1、G2的皮尔逊相关系数D3(G1,G2)：
其中，gi1为第1张图像像素转移矩阵生成的综合向量G1第i个元素；gi2为第2张图像像素转移矩阵生成的综合向量G2第i个元素；
(10)结合两张图片的哈希值的海明距离D1(HA1,HA2)、像素频率向量皮尔逊相关系数D2(F1,F2)、像素转移矩阵生成的综合向量皮尔逊相关系数D3(G1,G2)，计算得到图片最终的相似度D：
其中，α、β为超参数。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种基于改进Yolov3算法的违规行为识别预警的方法，其特征在于，包括以下步骤:
步骤S1:获取所需检测识别违规行为的图像，并标注后构建数据集；
步骤S2:采用改进的色彩均衡Retinex算法进行图像光照均衡提升数据集图像的质量，并对提升后的数据集进行预处理；
步骤S3:将预处理后的图像数据集输入tensorflow框架下构建的基于改进Yolov3算法进行模型训练；
步骤S4:将训练后的模型设置于视频终端，根据视频源，进行违规行为实时监测；
所述采用改进的色彩均衡Retinex算法进行图像光照均衡提升数据集图像的质量，具体为：
(1)通过opencv获取的图像数据彩色图R/G/B各通道数据矩阵；
其中，AR表示图像R通道色彩数据矩阵，为图像R通道色彩数据矩阵位置(i,j)的像素值；AG表示图像G通道色彩数据矩阵，/>为图像G通道色彩数据矩阵位置(i,j)的像素值；AB表示图像B通道色彩数据矩阵，/>为图像B通道色彩数据矩阵位置(i,j)的像素值；
(2)计算原始图像各通道像素级频率并计算图像R/G/B通道的像素级的累积分布
r＝256，t＝R,G,B
其中，表示图像t通道第k种像素级，/>表示/>在图像t通道像素矩阵出现的频率，表示图像t通道第k种像素级的像素点个数，Nt为图像t通道像素点总个数，r表示总像素级数256；
(3)得到均衡化函数即原图像像素级/>均衡化后的像素值，通过均衡化函数得到原图像数据彩色图R/G/B各通道数据矩阵均衡化后矩阵T(AR)、T(AG)、T(AB)；
其中，表示图像t通道第k种像素级，r表示总像素级数256，/>表示原图像t通道像素级/>的累积分布，int(x)表示根据四舍五入规则对x进行取整函数；
(4)分别计算原图像数据彩色图R/G/B各通道数据矩阵的Log_Gauss信号矩阵LGt，得到原图像数据彩色图R/G/B各通道数据矩阵Log_Gauss信号转化后的像素矩阵LG(AR)、LG(AG)、LG(AB)；
t＝R,G,B
其中，表示原图像t通道色彩数据矩阵位置(i,j)的像素值，Gauss(i,j)表示二维高斯函数，LGt(i,j)表示原图像t通道色彩数据矩阵的Log_Gauss信号矩阵LGt位置(i,j)值；
(5)结合原图像数据彩色图R/G/B各通道数据矩阵均衡化矩阵、Log_Gauss信号矩阵，设计如下公式计算得到改进的色彩均衡Retinex算法处理后的R/G/B通道像素矩阵A′R、A′G、A′B；
exce(A′t(i,j))＝μ·T(At(i,j))+(1-μ)·LG(At(i,j))
其中，A′t(i,j)表示原图像t通道色彩数据矩阵通过改进的色彩均衡Retinex算法处理光照不均匀问题后的t通道矩阵位置(i,j)的像素值；T(At(i,j))原图像t通道色彩数据矩阵均衡化后矩阵位置(i,j)的像素值；LG(At(i,j))原图像t通道色彩数据矩阵Log_Gauss信号转化后的像素矩阵位置(i,j)的像素值；μ为超参数；
tensorflow框架下构建的基于改进Yolov3算法，具体为：Yolov3算法在通过分类预测，将得到多个预测框(tix,tiy,tiw,tih)及其预测类别ci、置信度pi，通过对每个类别的候选预测框进行非极大抑制处理，即计算边界框之间的重叠率，去除掉那些重叠率高于预设并且评分低于预设值的边界框获得模型最终预测框；并通过洛格置信抑制法对候选预测框进行筛选；
所述洛格置信抑制法，具体为：设通过Yolov3算法的DarkNet-53网络获得候选预测框集合H＝{hi},hi＝(tix,tiy,tiw,tih)、预测类别ci以及置信度pi，其中tix为预测候选框的左上角x坐标、tiy为预测候选框的左上角y坐标、tiw为预测候选框的宽度、tih为预测候选框的高度；设置存放最终预测框集合M，初始化为空集；
(1)：设置置信度阈值p，去除候选框集合H中框hi置信度pi小于p的候选预测框；
(2)：对候选预测框集合H根据置信度进行排序，选出置信度最大的候选预测框hmax移至终预测框集合M中；
(3)：遍历集合H中的框hi，分别与框hmax计算改进后的重叠度公式LOG2_IOU，设定重叠度阈值q，如果得到的值高于q，则认为此框与hmax重叠，将此框从集合H中去除；
其中，pi为候选框hi的置信度；pmax为框hmax的置信度；IOU(i,max)为候选框hi与框hmax的重叠区域面积比例；area(hi∩hmax)为候选框hi与框hmax的交面积；area(hi∪hmax)为候选框hi与框hmax的并面积；η为超参数，且满足η∈[0,1]，默认值为0.5；
(4)：重复步骤(2)、(3)，直至集合H为空，集合M就是最终检测框。
2.根据权利要求1所述的基于改进Yolov3算法的违规行为识别预警的方法，其特征在于，所述步骤S1具体为：获取所需检测识别违规行为的图像，使用labelImg工具进行图像数据框选、标注，生成图像对应的标注、标签信息和位置信息文件“xxx.xml”，其中xxx为图像名称，.xml为文件后缀名。
3.根据权利要求1所述的基于改进Yolov3算法的违规行为识别预警的方法，其特征在于，所述预处理包括灰度变换、随机水平翻转、随机剪裁、随机角度旋转、改变对比度和饱和度。
4.根据权利要求1所述的基于改进Yolov3算法的违规行为识别预警的方法，其特征在于，还设置有识别结果的置信度阈值，从违规行为识别结果的中选择出最优识别结果，并根据最优识别结果，在图像中标记其存在违规行为识别，并将检测结果相关数据保存至mysql数据库中。
5.根据权利要求1所述的基于改进Yolov3算法的违规行为识别预警的方法，其特征在于，还设置有风险预警单元，根据近一个月餐饮后厨的违规行为识别检测结果，以餐饮企业为单位预警其风险等级、输出风险线索，并展示于风险预警系统的模型线索中，其展示内容包括餐饮企业信息、风险等级、违规行为识别标记图像、预警时间；
根据近一个月被检测到违规行为识别次数count进行风险等级的划分，当count＞100时为高风险；当75＜count≤100时为中高风险；当45＜count≤75时为中风险；当10＜count≤45时为低风险；当count≤10时判定为无风险。
6.根据权利要求1所述的基于改进Yolov3算法的违规行为识别预警的方法，其特征在于，还设置有误判检测，具体如下：基于像素转移的哈希灰度颜色直方图算法进行相似度判定，仅保留每个小时段内极大相似图片组中最早和最晚检测到的图像信息。
7.根据权利要求6所述的基于改进Yolov3算法的违规行为识别预警的方法，其特征在于，所述相似度判定包括以下步骤：
(1)将获取的图像数据通过opencv的cvtColor将彩色图转换为灰度图；
其中，Ap表示第p张图片的灰度图像素矩阵，为第p张图片灰度图位置(i,j)的像素值；
(2)计算灰度图像Ap的像素平均值，记为遍历Ap中的每一个像素/>比较/>与/>若/>则记1，否则记0，由此得到n×m个比特的二进制串即为图片哈希值，即为HAp；
(3)计算两张图片的哈希值的海明距离，记为D1(HA1,HA2)；距离越小图片越相似，距离越大图片差异性越大；
(4)对于灰度图像Ap，计算每一种像素在图像中出现的频次，以像素出现的频次作为颜色直方图的纵坐标、以颜色值作为横坐标，通过这种方式描绘出该图像的颜色直方图，并由此得到各像素在该图像中出现的频率向量Fp；
Fp＝(fp(c1),fp(c2),…,fp(cr))
其中，fp(ck),k＝1,2,…,256表示第p张图像第k种像素在图像中出现的频率，ck表示第k种像素值，Ip(i,j)表示第p张图像位置(i,j)的像素值，n为图像的高，m为图像的宽；
(5)计算两张图片像素频率向量F1、F2的皮尔逊相关系数D2(F1,F2)：
其中，f1(ck),k＝1,2,…,256表示第1张图像第k种像素在图像中出现的频率；f2(ck),k＝1,2,…,256表示第2张图像第k种像素在图像中出现的频率；ck表示第k种像素值；
(6)将图像二维像素矩阵Ap转换为n×m维向量Bp：
其中，为第p张图片二维像素矩阵位置(i,j)的像素值，为了方便描述，记
(7)根据图像的n×m维向量Bp计算其k步像素转移矩阵
其中，为图像的n×m维向量Bp从像素值/>的k步转移概率，/>为像素值ci经过k步转移到像素值cj的次数,Ri为像素值ci出现的次数；令k取上述4个值，符号[x]表示不大于x的最大整数；
(8)计算k步像素转移矩阵的熵/>二阶距/>对比度/>逆差距/>并组合成一个大小为16的综合向量Gp；
其中，为图像的n×m维向量Bp从像素值/>的k步转移概率；
(9)计算两张图片的像素转移矩阵生成的综合向量G1、G2的皮尔逊相关系数D3(G1,G2)：
其中，gi1为第1张图像像素转移矩阵生成的综合向量G1第i个元素；gi2为第2张图像像素转移矩阵生成的综合向量G2第i个元素；
(10)结合两张图片的哈希值的海明距离D1(HA1,HA2)、像素频率向量皮尔逊相关系数D2(F1,F2)、像素转移矩阵生成的综合向量皮尔逊相关系数D3(G1,G2)，计算得到图片最终的相似度D：
其中，α、β为超参数。
CN202110808206.7A 2021-07-16 2021-07-16 基于改进Yolov3算法的违规行为识别预警的方法 Active CN113420716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110808206.7A CN113420716B (zh) 2021-07-16 2021-07-16 基于改进Yolov3算法的违规行为识别预警的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110808206.7A CN113420716B (zh) 2021-07-16 2021-07-16 基于改进Yolov3算法的违规行为识别预警的方法

Publications (2)

Publication Number Publication Date
CN113420716A CN113420716A (zh) 2021-09-21
CN113420716B true CN113420716B (zh) 2023-07-28

Family

ID=77721219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110808206.7A Active CN113420716B (zh) 2021-07-16 2021-07-16 基于改进Yolov3算法的违规行为识别预警的方法

Country Status (1)

Country Link
CN (1) CN113420716B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN110852164A (zh) * 2019-10-10 2020-02-28 安徽磐众信息科技有限公司 一种基于YOLOv3的自动检测违章建筑方法及系统
AU2020102091A4 (en) * 2019-10-17 2020-10-08 Wuhan University Of Science And Technology Intelligent steel slag detection method and system based on convolutional neural network
CN112115767A (zh) * 2020-08-02 2020-12-22 南京理工大学 基于Retinex和YOLOv3模型的隧道异物检测方法
CN112598054A (zh) * 2020-12-21 2021-04-02 福建京力信息科技有限公司 基于深度学习的输变电工程质量通病防治检测方法
CN112668535A (zh) * 2021-01-05 2021-04-16 太原科技大学 基于YOLOv3模型的煤矿猴车违规检测与预警方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN110852164A (zh) * 2019-10-10 2020-02-28 安徽磐众信息科技有限公司 一种基于YOLOv3的自动检测违章建筑方法及系统
AU2020102091A4 (en) * 2019-10-17 2020-10-08 Wuhan University Of Science And Technology Intelligent steel slag detection method and system based on convolutional neural network
CN112115767A (zh) * 2020-08-02 2020-12-22 南京理工大学 基于Retinex和YOLOv3模型的隧道异物检测方法
CN112598054A (zh) * 2020-12-21 2021-04-02 福建京力信息科技有限公司 基于深度学习的输变电工程质量通病防治检测方法
CN112668535A (zh) * 2021-01-05 2021-04-16 太原科技大学 基于YOLOv3模型的煤矿猴车违规检测与预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进YOLO和迁移学习的水下鱼类目标实时检测;李庆忠;李宜兵;牛炯;;模式识别与人工智能(第03期);全文 *

Also Published As

Publication number Publication date
CN113420716A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
EP3655923B1 (en) Weakly supervised anomaly detection and segmentation in images
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN110033471B (zh) 一种基于连通域分析和形态学操作的框线检测方法
JP6240199B2 (ja) 画像における対象物の識別方法及び装置
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
WO2023123924A1 (zh) 目标识别方法、装置、电子设备及存储介质
CN115601682A (zh) 井下皮带运输机异物检测方法和装置
CN113743378B (zh) 一种基于视频的火情监测方法和装置
JP2011165170A (ja) 対象物検出装置及びプログラム
CN114429577A (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN115083008A (zh) 运动目标检测方法、装置、设备及存储介质
CN113420716B (zh) 基于改进Yolov3算法的违规行为识别预警的方法
CN111754491A (zh) 一种图片清晰度判定方法及装置
CN111652080A (zh) 基于rgb-d图像的目标跟踪方法和装置
CN111667419A (zh) 一种基于Vibe算法的移动目标鬼影消除方法及系统
CN107704864A (zh) 基于图像对象性语义检测的显著目标检测方法
CN105913427A (zh) 一种基于机器学习的噪声图像显著性检测方法
CN111402185A (zh) 一种图像检测方法及装置
CN112990350B (zh) 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN112532938B (zh) 一种基于大数据技术的视频监控系统
CN111985423A (zh) 活体检测方法、装置、设备及可读存储介质
CN114445751A (zh) 视频关键帧图像轮廓特征的提取方法和装置
CN112150434A (zh) 一种轮胎缺陷的检测方法、装置、设备及存储介质
CN111985473A (zh) 一种店外经营识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant