CN114882242A - 基于计算机视觉的违规图像识别方法及系统 - Google Patents
基于计算机视觉的违规图像识别方法及系统 Download PDFInfo
- Publication number
- CN114882242A CN114882242A CN202210642233.6A CN202210642233A CN114882242A CN 114882242 A CN114882242 A CN 114882242A CN 202210642233 A CN202210642233 A CN 202210642233A CN 114882242 A CN114882242 A CN 114882242A
- Authority
- CN
- China
- Prior art keywords
- violation
- target detection
- data set
- picture
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 118
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 208000012260 Accidental injury Diseases 0.000 claims abstract description 20
- 239000000463 material Substances 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 208000014674 injury Diseases 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims 1
- 238000012550 audit Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
基于计算机视觉的违规图像识别方法和系统，该方法通过搜集违规图片素材，对违规图片的违规类别进行分类，标注违规图片的违规区域以形成训练数据集，并标注线上历史数据以形成测试数据集；构建进行目标检测的神经网络，得到目标检测模型；利用训练数据集对构建的目标检测模型进行初步训练；通过目标检测模型对测试数据集进行目标检测，以分析误伤和漏检；根据误伤和漏检，针对性的搜集违规图片扩充训练数据集，利用扩充后的训练数据集对目标检测模型进行迭代更新；利用迭代更新后的目标检测模型对待检测图片进行目标检测，得到待检测图片的违规类别及违规区域。本发明实现采用机器代替人工进行图片审核，统一审核标准，提高审核效率。
Description
技术领域
本发明涉及互联网审核技术领域，具体涉及一种基于计算机视觉的违规图像识别方法及系统。
背景技术
计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务是对采集的图片或视频进行处理，以获得相应场景的三维信息，是一门研究如何使机器“看”的科学。
互联网的诞生让信息的获取变得十分便利，随着数据传输能力的提升，互联网每天都有大量的图片产生，其中充斥着许多的违规内容，对网络环境造成污染，特别是影响未成年人的身心健康发展。
现阶段，需要安排相关审核人员，每天对互联网上的图片进行内容审核，以发现违规图片，进而对违规的图片进行相关处理比如删除操作。由于互联网中图片数量巨大，人工审核不仅耗时耗力，且因为不同的审核人员存在不同的审核观点，审核的主观性较强，存在审核标准难以统一的弊端。综上所述，亟需一种替代人工的违规图像识别技术方案。
发明内容
为此，本发明提供一种基于计算机视觉的违规图像识别方法及系统，以解决图片传统人工审核效率低及审核标准难以统一的问题。
为了实现上述目的，本发明提供如下技术方案：基于计算机视觉的违规图像识别方法，包括：
搜集违规图片素材，对所述违规图片的违规类别进行分类，标注所述违规图片的违规区域以形成训练数据集，并标注线上历史数据以形成测试数据集；
构建进行目标检测的神经网络，得到目标检测模型；
利用所述训练数据集对构建的所述目标检测模型进行初步训练；
通过所述目标检测模型对所述测试数据集进行目标检测，以分析误伤和漏检；
根据误伤和漏检，针对性的搜集违规图片扩充所述训练数据集，利用扩充后的所述训练数据集对所述目标检测模型进行迭代更新；
获取待检测图片，利用迭代更新后的所述目标检测模型对所述待检测图片进行目标检测，得到所述待检测图片的违规类别及违规区域。
作为基于计算机视觉的违规图像识别方法优选方案，所述违规图片的标注信息包括违规区域在图像中位置信息和违规类别信息；违规区域为一个矩形框，每个所述违规图片的违规区域为零个或多个。
作为基于计算机视觉的违规图像识别方法优选方案，所述目标检测模型的神经网络为Yolov5l，Yolov5l的backbone采用CSP网络架构，Yolov5l的Neck采用FPN+PAN的结构；
所述目标检测模型的每个特征图单元格上的输出维度为nc+5，nc为违规类别数，前五个输出分别为(objectness,tx,ty,tw,th)，objectness表示该单元格存在违规区域的概率值，(tx,ty,tw,th)表示预测框的中心点、宽度和高度相对于anchor的编码值；后nc个输出表征的是预测框属于预设违规类别的概率值。
作为基于计算机视觉的违规图像识别方法优选方案，对误伤的所述违规图片进行正确标注，并作为负样本添加至所述训练数据集；
对漏检的所述违规图片，搜集与漏检图片相似的图片素材进行标注并添加至所述训练数据集。
作为基于计算机视觉的违规图像识别方法优选方案，对所述待检测图片进行目标检测时，将参数objectness与每个违规类别的概率相乘，判别指定单元格是否属于预设违规类别，如果大于给定阈值，则判定属于指定的违规类别。
本发明还提供一种基于计算机视觉的违规图像识别系统，包括：
数据处理模块，用于搜集违规图片素材，对所述违规图片的违规类别进行分类，标注所述违规图片的违规区域以形成训练数据集，并标注线上历史数据以形成测试数据集；
模型构建模块，用于构建进行目标检测的神经网络，得到目标检测模型；
模型训练模块，用于利用所述训练数据集对构建的所述目标检测模型进行初步训练；
模型测试模块，用于通过所述目标检测模型对所述测试数据集进行目标检测，以分析误伤和漏检；
模型更新模块，用于根据误伤和漏检，针对性的搜集违规图片扩充所述训练数据集，利用扩充后的所述训练数据集对所述目标检测模型进行迭代更新；
违规检测模块，用于获取待检测图片，利用迭代更新后的所述目标检测模型对所述待检测图片进行目标检测，得到所述待检测图片的违规类别及违规区域。
作为基于计算机视觉的违规图像识别系统优选方案，所述数据处理模块中，所述违规图片的标注信息包括违规区域在图像中位置信息和违规类别信息；违规区域为一个矩形框，每个所述违规图片的违规区域为零个或多个。
作为基于计算机视觉的违规图像识别系统优选方案，所述模型构建模块中，目标检测模型的神经网络为Yolov5l，Yolov5l的backbone采用CSP网络架构，Yolov5l的Neck采用FPN+PAN的结构；
所述目标检测模型的每个特征图单元格上的输出维度为nc+5，nc为违规类别数，前五个输出分别为(objectness,tx,ty,tw,th)，objectness表示该单元格存在违规区域的概率值，(tx,ty,tw,th)表示预测框的中心点、宽度和高度相对于anchor的编码值；后nc个输出表征的是预测框属于预设违规类别的概率值。
作为基于计算机视觉的违规图像识别系统优选方案，所述模型更新模块中，对误伤的所述违规图片进行正确标注，并作为负样本添加至所述训练数据集；
对漏检的所述违规图片，搜集与漏检图片相似的图片素材进行标注并添加至所述训练数据集。
作为基于计算机视觉的违规图像识别系统优选方案，所述违规检测模块中，对所述待检测图片进行目标检测时，将参数objectness与每个违规类别的概率相乘，判别指定单元格是否属于预设违规类别，如果大于给定阈值，则判定属于指定的违规类别。
本发明具有如下优点：通过搜集违规图片素材，对违规图片的违规类别进行分类，标注违规图片的违规区域以形成训练数据集，并标注线上历史数据以形成测试数据集；构建进行目标检测的神经网络，得到目标检测模型；利用训练数据集对构建的目标检测模型进行初步训练；通过目标检测模型对测试数据集进行目标检测，以分析误伤和漏检；根据误伤和漏检，针对性的搜集违规图片扩充训练数据集，利用扩充后的训练数据集对目标检测模型进行迭代更新；获取待检测图片，利用迭代更新后的目标检测模型对待检测图片进行目标检测，得到待检测图片的违规类别及违规区域。本发明实现采用机器代替人工进行图片审核，能够统一审核标准，提高审核效率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其他的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例1提供的基于计算机视觉的违规图像识别方法流程示意图；
图2为本发明实施例1提供的基于计算机视觉的违规图像识别过程中违规图片标注示意图；
图3为本发明实施例1提供的基于计算机视觉的违规图像识别方法中目标检测模型的神经网络结构示意图；
图4为本发明实施例2提供的基于计算机视觉的违规图像识别系统示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1、图2和图3，本发明实施例1提供一种基于计算机视觉的违规图像识别方法，包括以下步骤：
S1、搜集违规图片素材，对所述违规图片的违规类别进行分类，标注所述违规图片的违规区域以形成训练数据集，并标注线上历史数据以形成测试数据集；
S2、构建进行目标检测的神经网络，得到目标检测模型；
S3、利用所述训练数据集对构建的所述目标检测模型进行初步训练；
S4、通过所述目标检测模型对所述测试数据集进行目标检测，以分析误伤和漏检；
S5、根据误伤和漏检，针对性的搜集违规图片扩充所述训练数据集，利用扩充后的所述训练数据集对所述目标检测模型进行迭代更新；
S6、获取待检测图片，利用迭代更新后的所述目标检测模型对所述待检测图片进行目标检测，得到所述待检测图片的违规类别及违规区域。
本实施例中，所述违规图片的标注信息包括违规区域在图像中位置信息和违规类别信息；违规区域为一个矩形框，每个所述违规图片的违规区域为零个或多个。
具体的，在步骤S1中，通过搜集互联网上和线上的违规图片素材，对违规类别进行分类，并对违规图片素材的违规区域进行标注，制作训练数据集和测试数据集。标注的信息包括：违规区域在图像中位置信息和类别信息。违规区域是一个矩形框，用(class,x,y,w,h)表示。其中，class是违规类别；x,y表示矩形框中心点在图像上的坐标，w,h表示矩形框的宽度和高度。每张图像包含零个或多个违规区域。
本实施例中，所述目标检测模型的神经网络为Yolov5l，Yolov5l的backbone采用CSP网络架构，Yolov5l的Neck采用FPN+PAN的结构；所述目标检测模型的每个特征图单元格上的输出维度为nc+5，nc为违规类别数，前五个输出分别为(objectness,tx,ty,tw,th)，objectness表示该单元格存在违规区域的概率值，(tx,ty,tw,th)表示预测框的中心点、宽度和高度相对于anchor的编码值；后nc个输出表征的是预测框属于预设违规类别的概率值。
具体的，在步骤S2中，构建的目标检测模型的神经网络为Yolov5l，Yolov5l的backbone使用CSP网络架构，Yolov5l的Neck使用FPN+PAN的结构，输出层的移动步长为8、16和32的金字塔特征图。每个特征图单元格上设置三种大小不同的anchor，每个anchor用(px,py,pw,ph)表示。在步骤S3中，利用训练数据集对构建的目标检测模型进行初步训练，得到目标检测模型。
本实施例中，对误伤的所述违规图片进行正确标注，并作为负样本添加至所述训练数据集；对漏检的所述违规图片，搜集与漏检图片相似的图片素材进行标注并添加至所述训练数据集。对所述待检测图片进行目标检测时，将参数objectness与每个违规类别的概率相乘，判别指定单元格是否属于预设违规类别，如果大于给定阈值，则判定属于指定的违规类别。
具体的，Yolov5l每个特征图单元格上的输出维度为nc+5，nc为违规类别数。前五个输出分别为(objectness,tx,ty,tw,th)，objectness表示该单元格存在违规区域的概率值，概率值越大表示存在违规区域的可能性越大。(tx,ty,tw,th)表示预测框的中心点、宽度和高度相对于anchor的编码值。后nc个输出表征的是预测框属于各个违规类别的概率值。
使用Yolov5l目标检测模型对待检测图片进行目标检测时，将参数objectness与每个类别的概率相乘来判别该单元格是否属于某个违规类别，如果大于给定的某个阈值，则判定为对应的违规分类。
为了得到违规区域预测框在待检测图片上的位置(bx,by,bw,bh)，需对(tx,ty,tw,th)进行解码，解码公式如下：
bx＝2σ(tx)-0.5+px
by＝2σ(ty)-0.5+py
bw＝pw(2σ(tw))2
bh＝ph(2σ(th))2
其中，σ(x)为sigmoid激活函数，公式如下：
其中，bx,by,bw,bh代表的是违规区域预测框在待检测图片上的位置，tx,ty,tw,th表示预测框的中心点、宽度和高度相对于anchor的编码值；px,py,pw,ph表示每个特征图单元格上设置的anchor。
综上所述，本发明通过搜集违规图片素材，对违规图片的违规类别进行分类，标注违规图片的违规区域以形成训练数据集，并标注线上历史数据以形成测试数据集；构建进行目标检测的神经网络，得到目标检测模型；利用训练数据集对构建的目标检测模型进行初步训练；通过目标检测模型对测试数据集进行目标检测，以分析误伤和漏检；根据误伤和漏检，针对性的搜集违规图片扩充训练数据集，利用扩充后的训练数据集对目标检测模型进行迭代更新；获取待检测图片，利用迭代更新后的目标检测模型对待检测图片进行目标检测，得到待检测图片的违规类别及违规区域。本发明实现采用机器代替人工进行图片审核，能够统一审核标准，提高审核效率。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
实施例2
参见图4，本发明实施例2提供一种基于计算机视觉的违规图像识别系统，包括：
数据处理模块1，用于搜集违规图片素材，对所述违规图片的违规类别进行分类，标注所述违规图片的违规区域以形成训练数据集，并标注线上历史数据以形成测试数据集；
模型构建模块2，用于构建进行目标检测的神经网络，得到目标检测模型；
模型训练模块3，用于利用所述训练数据集对构建的所述目标检测模型进行初步训练；
模型测试模块4，用于通过所述目标检测模型对所述测试数据集进行目标检测，以分析误伤和漏检；
模型更新模块5，用于根据误伤和漏检，针对性的搜集违规图片扩充所述训练数据集，利用扩充后的所述训练数据集对所述目标检测模型进行迭代更新；
违规检测模块6，用于获取待检测图片，利用迭代更新后的所述目标检测模型对所述待检测图片进行目标检测，得到所述待检测图片的违规类别及违规区域。
本实施例中，所述数据处理模块1中，所述违规图片的标注信息包括违规区域在图像中位置信息和违规类别信息；违规区域为一个矩形框，每个所述违规图片的违规区域为零个或多个。
本实施例中，所述模型构建模块2中，目标检测模型的神经网络为Yolov5l，Yolov5l的backbone采用CSP网络架构，Yolov5l的Neck采用FPN+PAN的结构；
所述目标检测模型的每个特征图单元格上的输出维度为nc+5，nc为违规类别数，前五个输出分别为(objectness,tx,ty,tw,th)，objectness表示该单元格存在违规区域的概率值，(tx,ty,tw,th)表示预测框的中心点、宽度和高度相对于anchor的编码值；后nc个输出表征的是预测框属于预设违规类别的概率值。
本实施例中，所述模型更新模块5中，对误伤的所述违规图片进行正确标注，并作为负样本添加至所述训练数据集；
对漏检的所述违规图片，搜集与漏检图片相似的图片素材进行标注并添加至所述训练数据集。
本实施例中，所述违规检测模块6中，对所述待检测图片进行目标检测时，将参数objectness与每个违规类别的概率相乘，判别指定单元格是否属于预设违规类别，如果大于给定阈值，则判定属于指定的违规类别。
需要说明的是，上述系统各模块/单元之间的信息交互、执行过程等内容，由于与本申请实施例1中的方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质，所述计算机可读存储介质中存储有基于计算机视觉的违规图像识别方法的程序代码，所述程序代码包括用于执行实施例1或其任意可能实现方式的基于计算机视觉的违规图像识别方法的指令。
计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(SolidState Disk、SSD))等。
实施例4
本发明实施例4提供一种电子设备，包括：存储器和处理器；
所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行实施例1或其任意可能实现方式的基于计算机视觉的违规图像识别方法。
具体的，处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于所述处理器之外，独立存在。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.基于计算机视觉的违规图像识别方法，其特征在于，包括：
搜集违规图片素材，对所述违规图片的违规类别进行分类，标注所述违规图片的违规区域以形成训练数据集，并标注线上历史数据以形成测试数据集；
构建进行目标检测的神经网络，得到目标检测模型；
利用所述训练数据集对构建的所述目标检测模型进行初步训练；
通过所述目标检测模型对所述测试数据集进行目标检测，以分析误伤和漏检；
根据误伤和漏检，针对性的搜集违规图片扩充所述训练数据集，利用扩充后的所述训练数据集对所述目标检测模型进行迭代更新；
获取待检测图片，利用迭代更新后的所述目标检测模型对所述待检测图片进行目标检测，得到所述待检测图片的违规类别及违规区域。
2.根据权利要求1所述的基于计算机视觉的违规图像识别方法，其特征在于，所述违规图片的标注信息包括违规区域在图像中位置信息和违规类别信息；违规区域为一个矩形框，每个所述违规图片的违规区域为零个或多个。
3.根据权利要求2所述的基于计算机视觉的违规图像识别方法，其特征在于，所述目标检测模型的神经网络为Yolov5l，Yolov5l的backbone采用CSP网络架构，Yolov5l的Neck采用FPN+PAN的结构；
所述目标检测模型的每个特征图单元格上的输出维度为nc+5，nc为违规类别数，前五个输出分别为(objectness,tx,ty,tw,th)，objectness表示该单元格存在违规区域的概率值，(tx,ty,tw,th)表示预测框的中心点、宽度和高度相对于anchor的编码值；后nc个输出表征的是预测框属于预设违规类别的概率值。
4.根据权利要求3所述的基于计算机视觉的违规图像识别方法，其特征在于，对误伤的所述违规图片进行正确标注，并作为负样本添加至所述训练数据集；
对漏检的所述违规图片，搜集与漏检图片相似的图片素材进行标注并添加至所述训练数据集。
5.根据权利要求4所述的基于计算机视觉的违规图像识别方法，其特征在于，对所述待检测图片进行目标检测时，将参数objectness与每个违规类别的概率相乘，判别指定单元格是否属于预设违规类别，如果大于给定阈值，则判定属于指定的违规类别。
6.基于计算机视觉的违规图像识别系统，其特征在于，包括：
数据处理模块，用于搜集违规图片素材，对所述违规图片的违规类别进行分类，标注所述违规图片的违规区域以形成训练数据集，并标注线上历史数据以形成测试数据集；
模型构建模块，用于构建进行目标检测的神经网络，得到目标检测模型；
模型训练模块，用于利用所述训练数据集对构建的所述目标检测模型进行初步训练；
模型测试模块，用于通过所述目标检测模型对所述测试数据集进行目标检测，以分析误伤和漏检；
模型更新模块，用于根据误伤和漏检，针对性的搜集违规图片扩充所述训练数据集，利用扩充后的所述训练数据集对所述目标检测模型进行迭代更新；
违规检测模块，用于获取待检测图片，利用迭代更新后的所述目标检测模型对所述待检测图片进行目标检测，得到所述待检测图片的违规类别及违规区域。
7.根据权利要求6所述的基于计算机视觉的违规图像识别系统，其特征在于，所述数据处理模块中，所述违规图片的标注信息包括违规区域在图像中位置信息和违规类别信息；违规区域为一个矩形框，每个所述违规图片的违规区域为零个或多个。
8.根据权利要求7所述的基于计算机视觉的违规图像识别系统，其特征在于，所述模型构建模块中，目标检测模型的神经网络为Yolov5l，Yolov5l的backbone采用CSP网络架构，Yolov5l的Neck采用FPN+PAN的结构；
所述目标检测模型的每个特征图单元格上的输出维度为nc+5，nc为违规类别数，前五个输出分别为(objectness,tx,ty,tw,th)，objectness表示该单元格存在违规区域的概率值，(tx,ty,tw,th)表示预测框的中心点、宽度和高度相对于anchor的编码值；后nc个输出表征的是预测框属于预设违规类别的概率值。
9.根据权利要求8所述的基于计算机视觉的违规图像识别系统，其特征在于，所述模型更新模块中，对误伤的所述违规图片进行正确标注，并作为负样本添加至所述训练数据集；
对漏检的所述违规图片，搜集与漏检图片相似的图片素材进行标注并添加至所述训练数据集。
10.根据权利要求9所述的基于计算机视觉的违规图像识别系统，其特征在于，所述违规检测模块中，对所述待检测图片进行目标检测时，将参数objectness与每个违规类别的概率相乘，判别指定单元格是否属于预设违规类别，如果大于给定阈值，则判定属于指定的违规类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210642233.6A CN114882242A (zh) | 2022-06-08 | 2022-06-08 | 基于计算机视觉的违规图像识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210642233.6A CN114882242A (zh) | 2022-06-08 | 2022-06-08 | 基于计算机视觉的违规图像识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114882242A true CN114882242A (zh) | 2022-08-09 |
Family
ID=82679606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210642233.6A Pending CN114882242A (zh) | 2022-06-08 | 2022-06-08 | 基于计算机视觉的违规图像识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114882242A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117057981A (zh) * | 2023-10-10 | 2023-11-14 | 广州方图科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190102605A1 (en) * | 2017-09-29 | 2019-04-04 | Baidu Online Network Technology (Beijing) Co.,Ltd. | Method and apparatus for generating information |
| CN111091098A (zh) * | 2019-12-20 | 2020-05-01 | 浙江大华技术股份有限公司 | 检测模型的训练方法、检测方法及相关装置 |
| CN111507320A (zh) * | 2020-07-01 | 2020-08-07 | 平安国际智慧城市科技股份有限公司 | 后厨违规行为检测方法、装置、设备和存储介质 |
| CN112686595A (zh) * | 2020-12-15 | 2021-04-20 | 上海东普信息科技有限公司 | 物流操作违规行为的检测方法、装置、设备和存储介质 |
| CN113537106A (zh) * | 2021-07-23 | 2021-10-22 | 仲恺农业工程学院 | 一种基于YOLOv5的鱼类摄食行为识别方法 |
| CN113946703A (zh) * | 2021-10-20 | 2022-01-18 | 天翼数字生活科技有限公司 | 一种图片漏检处理方法及其相关装置 |
-
2022
- 2022-06-08 CN CN202210642233.6A patent/CN114882242A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190102605A1 (en) * | 2017-09-29 | 2019-04-04 | Baidu Online Network Technology (Beijing) Co.,Ltd. | Method and apparatus for generating information |
| CN111091098A (zh) * | 2019-12-20 | 2020-05-01 | 浙江大华技术股份有限公司 | 检测模型的训练方法、检测方法及相关装置 |
| CN111507320A (zh) * | 2020-07-01 | 2020-08-07 | 平安国际智慧城市科技股份有限公司 | 后厨违规行为检测方法、装置、设备和存储介质 |
| CN112686595A (zh) * | 2020-12-15 | 2021-04-20 | 上海东普信息科技有限公司 | 物流操作违规行为的检测方法、装置、设备和存储介质 |
| CN113537106A (zh) * | 2021-07-23 | 2021-10-22 | 仲恺农业工程学院 | 一种基于YOLOv5的鱼类摄食行为识别方法 |
| CN113946703A (zh) * | 2021-10-20 | 2022-01-18 | 天翼数字生活科技有限公司 | 一种图片漏检处理方法及其相关装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117057981A (zh) * | 2023-10-10 | 2023-11-14 | 广州方图科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN117057981B (zh) * | 2023-10-10 | 2024-04-26 | 广州方图科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116188821B (zh) | 版权检测方法、系统、电子设备和存储介质 | |
| CN111160469B (zh) | 一种目标检测系统的主动学习方法 | |
| CN112070135B (zh) | 电力设备图像检测方法、装置、电力设备及存储介质 | |
| CN112137591B (zh) | 基于视频流的目标物位置检测方法、装置、设备及介质 | |
| CN114414935A (zh) | 基于大数据的配电网馈线故障区域自动化定位方法和系统 | |
| CN116823793A (zh) | 设备缺陷检测方法、装置、电子设备和可读存储介质 | |
| CN112395430A (zh) | 一种基于知识图谱的电力设备缺陷检索方法及系统 | |
| CN114882242A (zh) | 基于计算机视觉的违规图像识别方法及系统 | |
| CN108830302B (zh) | 一种图像分类方法、训练方法、分类预测方法及相关装置 | |
| CN111950517A (zh) | 一种目标检测方法、模型训练方法，电子设备及存储介质 | |
| CN111339367B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| CN114896134A (zh) | 面向目标检测模型的蜕变测试方法、装置及设备 | |
| CN114596435A (zh) | 语义分割标签的生成方法、装置、设备及存储介质 | |
| CN114119953A (zh) | 快速车牌定位和矫正方法、存储介质及设备 | |
| CN113419951A (zh) | 人工智能模型优化方法、装置、电子设备及存储介质 | |
| CN111143626A (zh) | 团伙识别方法、装置、设备及计算机可读存储介质 | |
| CN113762292A (zh) | 一种训练数据获取方法、装置及模型训练方法、装置 | |
| Pan et al. | Efficient and Precise Detection of Surface Defects on PCBs: A YOLO Based Approach | |
| Shamsollahi et al. | Automated Detection and Segmentation of Mechanical, Electrical, and Plumbing Components in Indoor Environments by Using the YOLACT++ Architecture | |
| CN113191455B (zh) | 边缘计算盒子选举方法、装置、电子设备及介质 | |
| CN117523345B (zh) | 一种目标检测数据平衡方法及装置 | |
| CN118014599B (zh) | 基于区块链的数据溯源及追踪方法、系统、设备及介质 | |
| CN114898163A (zh) | 一种图像敏感信息识别方法及系统 | |
| CN112783986B (zh) | 基于标签的对象分组编制方法及装置、存储介质、终端 | |
| Nadar et al. | Leveraging CNN and IoT for Effective E-Waste Management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |