CN117893952B - 基于深度学习的视频马赛克缺陷检测方法 - Google Patents

基于深度学习的视频马赛克缺陷检测方法 Download PDF

Info

Publication number
CN117893952B
CN117893952B CN202410294626.1A CN202410294626A CN117893952B CN 117893952 B CN117893952 B CN 117893952B CN 202410294626 A CN202410294626 A CN 202410294626A CN 117893952 B CN117893952 B CN 117893952B
Authority
CN
China
Prior art keywords
defect
mosaic
video
frame
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410294626.1A
Other languages
English (en)
Other versions
CN117893952A (zh
Inventor
单书畅
别晓辉
王开开
别伟成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shirui Hangzhou Information Technology Co ltd
Original Assignee
Shirui Hangzhou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shirui Hangzhou Information Technology Co ltd filed Critical Shirui Hangzhou Information Technology Co ltd
Priority to CN202410294626.1A priority Critical patent/CN117893952B/zh
Publication of CN117893952A publication Critical patent/CN117893952A/zh
Application granted granted Critical
Publication of CN117893952B publication Critical patent/CN117893952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的视频马赛克缺陷检测方法包括步骤：获取视频流数据，并将视频流数据解码为视频帧序列；检测视频帧的马赛克缺陷，并对视频帧剪裁得到多个马赛克缺陷图，并标注马赛克缺陷信息；利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据马赛克缺陷信息生成标注文件；将包含马赛克缺陷的视频帧和虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。本申请能够降低海量马赛克缺陷图像标注的成本，提升马赛克缺陷检测的效果。

Description

基于深度学习的视频马赛克缺陷检测方法
技术领域
本发明涉及视频处理技术领域，尤其是涉及基于深度学习的视频马赛克缺陷检测方法。
背景技术
视频或者图像中的马赛克，通常表现为出现区域不固定，马赛克区域背景颜色受图片对应区域背景色影响严重。马赛克可能因为设备不良，线路接触不好等硬件原因导致，或者是因为视频传输过程受到干扰，编码解码过程出现故障导致。无论是哪种原因导致的马赛克缺陷的出现都会对产品的品控和出厂带来压力，传统的依靠人眼辨别产品表面是否有缺陷的方法已经不能满足越来越严格的检测精度要求，而且人工目检存在诸多隐患，检测人员的专业程度，效率问题和成本问题已经成为各个电子设备制造企业的心病。
传统的机器视觉算法在简单的缺陷检测问题上能够取得较好的效果，但是面对场景复杂多样的缺陷，需要先进行大量根据经验的特征工程，对图像进行复杂的检测流程，并且检测效果并不理想。
近年来，深度学习的发展给工业外观缺陷检测提供了新的方向。基于CNN的目标检测算法，源于其强大的特征提取能力，能够拟合一些传统方法无法挖掘的图像特征。深度学习算法的成功依赖于海量的标注数据，通过神经网络对包含标签的数据进行学习从而获得良好的特征表达。深度学习的适用性很强，可以相对容易地部署到各个工业缺陷检测的场景中，算法的鲁棒性较传统算法更优，面对复杂环境变化时，依然能够保证缺陷的检出率。
人工质检主要依靠人的肉眼进行缺陷分类，且在检测过程中存在一定的主观因素，不同的个体对缺陷的标准不一致。在视觉疲劳的情况下，也无法保证缺陷的检出准确率。
传统机器视觉算法需要从图像中抽取特征，随着缺陷类别数的增加，特征提取也会变得越发困难，计算的开销也会相应地增加。针对不同的缺陷类别需要设计不同的特征提取算法，无疑增加了算法的开发及部署成本。在马赛克缺陷检测的场景中，即使是相同的终端设备在不同的视频场景上也存在对应不同的背景颜色，位置偏移等变化。
而传统机器视觉算法面对这些变化时超参极其敏感，从而导致缺陷检出率无法保证。另一方面，传统机器视觉算法面对不规则缺陷时也存在定位困难的问题。
目标检测算法基于CNN的强大的特征拟合能力，不再需要进行手动的特征工程。面对复杂环境及图像本身的一些形变时仍然能够保证缺陷的检出率，且可以利用迁移学习等策略快速从一种场景部署至另一场景。但深度学习相关算法是建立在海量的已标注图像上的，而获得这些标注数据的成本又是一些企业难以接受的。
发明内容
本发明的目的在于克服上述技术不足，提出基于深度学习的视频马赛克缺陷检测方法，解决现有技术中获取海量的马赛克缺陷图像的标注数据的成本巨大的技术问题。
为达到上述技术目的，第一方面，本发明的技术方案提供一种基于深度学习的视频马赛克缺陷检测方法，包括以下步骤：
获取视频流数据，并将所述视频流数据解码为视频帧序列；
检测所述视频帧的马赛克缺陷，并对所述视频帧剪裁得到多个马赛克缺陷图，并标注所述马赛克缺陷信息；
利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据所述马赛克缺陷信息生成标注文件；
将包含所述马赛克缺陷的所述视频帧和所述虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；
使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
与现有技术相比，本发明提供的基于深度学习的视频马赛克缺陷检测方法的有益效果包括：
本发明提供的基于深度学习的视频马赛克缺陷检测方法，针对视频因为各种原因出现的马赛克缺陷，通过使用基于深度学习的目标检测的方法，代替了传统的人眼视觉进行产品的品控，能够有效的增加马赛克缺陷的检测准确率和效率。同时提出的利用泊松融合的方式构造生成对应的缺陷数据，能够很好的减少数据标注成本，能够根据裁剪出的缺陷图片，使用泊松融合的方式融入无缺陷视频帧中，能够生成包含多种多样马赛克缺陷的虚假视频帧，可以无限制地生成海量的图片数据，减少了数据标注成本，提升了目标检测模型的训练效果，提升了马赛克检测的效率和准确率。
根据本发明的一些实施例，利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，包括步骤：
标注所述马赛克缺陷图的中心点，根据所述中心点指定所述马赛克缺陷图在所述无缺陷视频帧中放置位置；
计算所述马赛克缺陷图和所述无缺陷视频帧的梯度场，使用马赛克缺陷图的梯度场替换无缺陷视频帧中放置位置的梯度场得到虚假缺陷帧的梯度场；
根据虚假缺陷帧的梯度场计算所述虚假缺陷帧的散度场，根据所述虚假缺陷帧的散度场和所述马赛克缺陷图求解泊松等式。
根据本发明的一些实施例，根据所述马赛克缺陷信息生成标注文件，所述标注文件包括：马赛克缺陷数量、马赛克缺陷长度、马赛克缺陷宽度、马赛克缺陷类型、模糊点数量，马赛克缺陷方向和马赛克缺陷坐标。
根据本发明的一些实施例，目标检测模型包括：
依次连接的C3模块、CBS模块、ResUnit模块、连接层和CBS模块，所述C3模块与所述连接层的另一条连接路径连接有CBS模块。
根据本发明的一些实施例，将所述视频流数据解码为视频帧序列之后，包括步骤：
采用概率mosaic数据增强方式增强子区域的检测效果：在训练数据中随机采样四张视频帧，对四张视频帧随机缩放、随机裁剪和随机排布处理。
根据本发明的一些实施例，检测所述视频帧的马赛克缺陷，包括步骤：
使用基于anchor的两阶段目标检测算法：Faster-RCNN系列算法检测所述视频帧的马赛克缺陷；
或使用基于anchor的单阶段目标检测方法：YOLO系列算法检测所述视频帧的马赛克缺陷。
第二方面，本发明的技术方案提供一种基于深度学习的视频马赛克缺陷检测系统，包括：
视频帧解码模块，用于获取视频流数据，并将所述视频流数据解码为视频帧序列；
缺陷标注模块，用于检测所述视频帧的马赛克缺陷，并对所述视频帧剪裁得到多个马赛克缺陷图，并标注所述马赛克缺陷信息；
泊松融合模块，利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据所述马赛克缺陷信息生成标注文件；
模型训练模块，将包含所述马赛克缺陷的所述视频帧和所述虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；
缺陷检测模块，使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
第三方面，本发明的技术方案提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的基于深度学习的视频马赛克缺陷检测方法。
第四方面，本发明的技术方案提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面中任意一项所述的基于深度学习的视频马赛克缺陷检测方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中摘要附图要与说明书附图的其中一幅完全一致：
图1为本发明一个实施例提供的基于深度学习的视频马赛克缺陷检测方法的流程图；
图2为本发明一个实施例提供的基于深度学习的视频马赛克缺陷检测方法的流程图；
图3为本发明一个实施例提供的基于深度学习的视频马赛克缺陷检测方法的马赛克缺陷图；
图4为本发明一个实施例提供的基于深度学习的视频马赛克缺陷检测方法的虚假缺陷帧；
图5为本发明一个实施例提供的基于深度学习的视频马赛克缺陷检测方法的检测效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
下面结合附图，对本发明实施例做进一步阐述。
参照图1，图1为本发明一个实施例提供的基于深度学习的视频马赛克缺陷检测方法的流程图；基于深度学习的视频马赛克缺陷检测方法包括但不仅限于步骤S110至步骤S150。
步骤S110，获取视频流数据，并将视频流数据解码为视频帧序列；
步骤S120，检测视频帧的马赛克缺陷，并对视频帧剪裁得到多个马赛克缺陷图，并标注马赛克缺陷信息；
步骤S130，利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据马赛克缺陷信息生成标注文件；
步骤S140，将包含马赛克缺陷的视频帧和虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；
步骤S150，使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
基于步骤S120中对视频帧剪裁得到如图3所示的多个马赛克缺陷图，基于步骤S130中利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到如图4所示的虚假缺陷帧，基于步骤S150使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测的如图5所示的检测效果图。
在一实施例中，基于深度学习的视频马赛克缺陷检测方法包括步骤：获取视频流数据，并将视频流数据解码为视频帧序列；检测视频帧的马赛克缺陷，并对视频帧剪裁得到多个马赛克缺陷图，并标注马赛克缺陷信息；利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据马赛克缺陷信息生成标注文件；将包含马赛克缺陷的视频帧和虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型，其中目标检测模型可以是基于yolo算法的目标检测模型；使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
首先，获取视频流数据，并将视频流数据解码为视频帧序列，由于设备不良，线路接触不好等硬件原因，或者是因为视频传输过程受到干扰，编码解码过程出现故障，在视频帧的显示画面中会存在各式各样的马赛克缺陷，但是常规的通过人工检测马赛克的方式极为消耗人力及时间；检测视频帧的马赛克缺陷，并对视频帧剪裁得到多个马赛克缺陷图，并标注马赛克缺陷信息，其中检测视频帧的马赛克缺陷的方式可以使用一些常见的目标检测算法，此过程中主要目的是数据标注，剪裁出包含马赛克缺陷的局部图片，标注出马赛克信息，马赛克的类型可以有局部小点的马赛克、区域连续的马赛克、错误显示区域的图像、条状发光物等缺陷，在标注过程中通常应当标注出马赛克的类型、大小、长宽度、坐标等信息，此时则得到了已经标注信息的多幅马赛克缺陷图像。需要说明的是，若当前视频的马赛克类型不是很多，也可以使用人工标注的方式，在此步骤使用人工标注的方式也应当在本申请的保护范围内。
在得到已经标注信息的多幅马赛克缺陷图像后，则需要在视频帧序列提取一些无缺陷视频帧，即画面内没有马赛克缺陷的视频帧，由于一个视频流数据中通常不会存在大量的马赛克缺陷，但是深度学习相关算法是需要海量的已标注图像上的，所以本申请中利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，泊松融合可以解决原图像中的部分区域复制到目标图像的区域中，边界过渡不自然的问题。主要思想是：融合需要保证使前景部分区域与背景而言，尽量平滑并且保持边界一致。首先将该部分区域的梯度场覆盖到目标图像的梯度场上，得到融合图像的梯度场，对其求偏导得到散度b，然后通过非边界点与拉普拉斯卷积核进行卷积，并且通过边界点的约束条件，得到稀疏矩阵A，最后通过求解
A f = b的方程得到f ,f就是融合图像的每个像素点RGB值。
所以将马赛克缺陷图合成到无缺陷视频帧中就得到虚假缺陷帧，本申请利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，能够使虚假缺陷帧中的马赛克缺陷图尽可能地自然，贴近真实的缺陷视频帧，并且基于已标注马赛克缺陷信息的马赛克缺陷图生成的虚假缺陷帧能够直接生成虚假缺陷帧的标注文件，由于本申请的虚假缺陷帧是通过泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中生成的，那么虚假缺陷帧生成的数量也就不受到人力标注的数量限制，可以根据训练模型的需求无限制生成，对于模型训练的海量标注数据的需求也可以得到满足，并且可以轻松地生成虚假缺陷帧的标注文件，整体方法可以极大地减少需要人工标注数据的成本。
将包含马赛克缺陷的视频帧和虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；目标检测模型能够使用真实的包含马赛克缺陷的视频帧以及虚假缺陷帧进行训练，可以对尽可能多的马赛克缺陷出现的场景进行学习，有利于提升对于马赛克特征的提取效果，基于本申请中目标检测模型对海量已标注数据的学习，目标检测模型能够在复杂场景下有不错的马赛克缺陷检测性能。使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测，能够很好地识别视频流中的马赛克缺陷。
参照图2，图2为本发明一个实施例提供的基于深度学习的视频马赛克缺陷检测方法的流程图；基于深度学习的视频马赛克缺陷检测方法包括但不仅限于步骤S210至步骤S150。
步骤S210，标注马赛克缺陷图的中心点，根据中心点指定马赛克缺陷图在无缺陷视频帧中放置位置；
步骤S220，计算马赛克缺陷图和无缺陷视频帧的梯度场，使用马赛克缺陷图的梯度场替换无缺陷视频帧中放置位置的梯度场得到虚假缺陷帧的梯度场；
步骤S230，根据虚假缺陷帧的梯度场计算虚假缺陷帧的散度场，根据虚假缺陷帧的散度场和马赛克缺陷图求解泊松等式。
在一实施例中，基于深度学习的视频马赛克缺陷检测方法包括步骤：获取视频流数据，并将视频流数据解码为视频帧序列；检测视频帧的马赛克缺陷，并对视频帧剪裁得到多个马赛克缺陷图，并标注马赛克缺陷信息；利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据马赛克缺陷信息生成标注文件；将包含马赛克缺陷的视频帧和虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，包括步骤：标注马赛克缺陷图的中心点，根据中心点指定马赛克缺陷图在无缺陷视频帧中放置位置；计算马赛克缺陷图和无缺陷视频帧的梯度场，使用马赛克缺陷图的梯度场替换无缺陷视频帧中放置位置的梯度场得到虚假缺陷帧的梯度场；根据虚假缺陷帧的梯度场计算虚假缺陷帧的散度场，根据虚假缺陷帧的散度场和马赛克缺陷图求解泊松等式。
在一实施例中，基于深度学习的视频马赛克缺陷检测方法包括步骤：获取视频流数据，并将视频流数据解码为视频帧序列；检测视频帧的马赛克缺陷，并对视频帧剪裁得到多个马赛克缺陷图，并标注马赛克缺陷信息；利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据马赛克缺陷信息生成标注文件；将包含马赛克缺陷的视频帧和虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
根据马赛克缺陷信息生成标注文件，标注文件包括：马赛克缺陷数量、马赛克缺陷长度、马赛克缺陷宽度、马赛克缺陷类型、模糊点数量，马赛克缺陷方向和马赛克缺陷坐标。
进一步的，目标检测模型包括：依次连接的C3模块、CBS模块、ResUnit模块、连接层和CBS模块，C3模块与连接层的另一条连接路径连接有CBS模块。
在一实施例中，基于深度学习的视频马赛克缺陷检测方法包括步骤：获取视频流数据，并将视频流数据解码为视频帧序列；采用概率mosaic数据增强方式增强子区域的检测效果：在训练数据中随机采样四张视频帧，对四张视频帧随机缩放、随机裁剪和随机排布处理；检测视频帧的马赛克缺陷，并对视频帧剪裁得到多个马赛克缺陷图，并标注马赛克缺陷信息；利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据马赛克缺陷信息生成标注文件；将包含马赛克缺陷的视频帧和虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
在一实施例中，基于深度学习的视频马赛克缺陷检测方法包括步骤：获取视频流数据，并将视频流数据解码为视频帧序列；检测视频帧的马赛克缺陷，并对视频帧剪裁得到多个马赛克缺陷图，并标注马赛克缺陷信息；利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据马赛克缺陷信息生成标注文件；将包含马赛克缺陷的视频帧和虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。检测视频帧的马赛克缺陷，包括步骤：使用基于anchor的两阶段目标检测算法：Faster-RCNN系列算法检测视频帧的马赛克缺陷；或使用基于anchor的单阶段目标检测方法：YOLO系列算法检测视频帧的马赛克缺陷。
在一实施例中，基于深度学习的视频马赛克缺陷检测系统，包括：视频帧解码模块，用于获取视频流数据，并将视频流数据解码为视频帧序列；缺陷标注模块，用于检测视频帧的马赛克缺陷，并对视频帧剪裁得到多个马赛克缺陷图，并标注马赛克缺陷信息；泊松融合模块，利用泊松融合的方式将马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据马赛克缺陷信息生成标注文件；模型训练模块，将包含马赛克缺陷的视频帧和虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；缺陷检测模块，使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
在一实施例中，电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的基于深度学习的视频马赛克缺陷检测方法。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件，或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述终端实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的基于深度学习的视频马赛克缺陷检测方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置，或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (7)

1.一种基于深度学习的视频马赛克缺陷检测方法，其特征在于，包括以下步骤：
获取视频流数据，并将所述视频流数据解码为视频帧序列；
检测所述视频帧的马赛克缺陷，并对所述视频帧剪裁得到多个马赛克缺陷图，并标注所述马赛克缺陷信息；
利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据所述马赛克缺陷信息生成标注文件；
将包含所述马赛克缺陷的所述视频帧和所述虚假缺陷帧输入到基于yolo算法的目标检测模型进行训练，得到训练完成的目标检测模型；
目标检测模型包括：
依次通信连接的C3模块、CBS模块、ResUnit模块、连接层和CBS模块，所述C3模块与所述连接层的另一条连接路径连接有CBS模块；
使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测；
利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，包括步骤：
标注所述马赛克缺陷图的中心点，根据所述中心点指定所述马赛克缺陷图在所述无缺陷视频帧中放置位置；
计算所述马赛克缺陷图和所述无缺陷视频帧的梯度场，使用马赛克缺陷图的梯度场替换无缺陷视频帧中放置位置的梯度场得到虚假缺陷帧的梯度场；
根据所述虚假缺陷帧的梯度场计算所述虚假缺陷帧的散度场，根据所述虚假缺陷帧的散度场和所述马赛克缺陷图求解泊松等式。
2.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，根据所述马赛克缺陷信息生成标注文件，所述标注文件包括：马赛克缺陷数量、马赛克缺陷长度、马赛克缺陷宽度、马赛克缺陷类型、模糊点数量，马赛克缺陷方向和马赛克缺陷坐标。
3.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，将所述视频流数据解码为视频帧序列之后，包括步骤：
采用概率mosaic数据增强方式增强子区域的检测效果：在训练数据中随机采样四张视频帧，对四张视频帧随机缩放、随机裁剪和随机排布处理。
4.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，检测所述视频帧的马赛克缺陷，包括步骤：
使用基于anchor的两阶段目标检测算法：Faster-RCNN系列算法检测所述视频帧的马赛克缺陷；
或使用基于anchor的单阶段目标检测方法：YOLO系列算法检测所述视频帧的马赛克缺陷。
5.一种基于深度学习的视频马赛克缺陷检测系统，其特征在于，包括：视频帧解码模块，用于获取视频流数据，并将所述视频流数据解码为视频帧序列；
缺陷标注模块，用于检测所述视频帧的马赛克缺陷，并对所述视频帧剪裁得到多个马赛克缺陷图，并标注所述马赛克缺陷信息；
泊松融合模块，利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据所述马赛克缺陷信息生成标注文件；
泊松融合模块包括：
标注单元，用于标注所述马赛克缺陷图的中心点，根据所述中心点指定所述马赛克缺陷图在所述无缺陷视频帧中放置位置；
梯度场替换单元，用于计算所述马赛克缺陷图和所述无缺陷视频帧的梯度场，使用马赛克缺陷图的梯度场替换无缺陷视频帧中放置位置的梯度场得到虚假缺陷帧的梯度场；
泊松等式求解单元，用于根据所述虚假缺陷帧的梯度场计算所述虚假缺陷帧的散度场，根据所述虚假缺陷帧的散度场和所述马赛克缺陷图求解泊松等式；
模型训练模块，将包含所述马赛克缺陷的所述视频帧和所述虚假缺陷帧输入到基于yolo算法的目标检测模型进行训练，得到训练完成的目标检测模型；
目标检测模型包括：
依次通信连接的C3模块、CBS模块、ResUnit模块、连接层和CBS模块，所述C3模块与所述连接层的另一条连接路径连接有CBS模块；
缺陷检测模块，使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
6.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的基于深度学习的视频马赛克缺陷检测方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至4任意一项所述的基于深度学习的视频马赛克缺陷检测方法。
CN202410294626.1A 2024-03-15 2024-03-15 基于深度学习的视频马赛克缺陷检测方法 Active CN117893952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410294626.1A CN117893952B (zh) 2024-03-15 2024-03-15 基于深度学习的视频马赛克缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410294626.1A CN117893952B (zh) 2024-03-15 2024-03-15 基于深度学习的视频马赛克缺陷检测方法

Publications (2)

Publication Number Publication Date
CN117893952A CN117893952A (zh) 2024-04-16
CN117893952B true CN117893952B (zh) 2024-06-28

Family

ID=90651048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410294626.1A Active CN117893952B (zh) 2024-03-15 2024-03-15 基于深度学习的视频马赛克缺陷检测方法

Country Status (1)

Country Link
CN (1) CN117893952B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564031A (zh) * 2022-10-24 2023-01-03 苏州鼎纳自动化技术有限公司 一种用于玻璃缺陷检测的检测网络

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7884899B2 (en) * 2007-02-02 2011-02-08 Tpo Displays Corp. System for displaying images and method with a peripheral region having a mosaic color filter pattern thereon that has pillars and channels and an opening along its boundary
MY168193A (en) * 2011-12-09 2018-10-15 Ericsson Telefon Ab L M Method and apparatus for detecting quality defects in a video bitstream
CN107818568A (zh) * 2017-09-29 2018-03-20 昆明理工大学 一种视频马赛克检测方法
CN108805884A (zh) * 2018-06-13 2018-11-13 北京搜狐新媒体信息技术有限公司 一种马赛克区域检测方法、装置及设备
CN110298819A (zh) * 2019-05-23 2019-10-01 网宿科技股份有限公司 一种目标对象的质检方法及边缘计算设备
CN110322405B (zh) * 2019-07-16 2023-07-25 广东工业大学 一种基于自编码器的视频去马赛克方法及相关装置
CN110728669B (zh) * 2019-10-11 2022-05-06 首都师范大学 一种视频马赛克检测方法
CN111199531B (zh) * 2019-12-27 2023-05-12 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN111738769B (zh) * 2020-06-24 2024-02-20 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置
US20220076021A1 (en) * 2020-09-09 2022-03-10 Rajesh Krishnaswamy Iyengar System and method for automatic visual inspection with deep learning
CN112258496A (zh) * 2020-11-02 2021-01-22 郑州大学 一种基于全卷积神经网络的地下排水管道病害分割方法
CN113313684B (zh) * 2021-05-28 2022-11-25 北京航空航天大学 一种暗光条件下基于视频的工业缺陷检测系统
JP2023003764A (ja) * 2021-06-24 2023-01-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2023003763A (ja) * 2021-06-24 2023-01-17 キヤノン株式会社 学習装置、画像処理装置、学習処理方法、及びプログラム
CN116091976A (zh) * 2023-01-31 2023-05-09 江苏方天电力技术有限公司 一种站房缺陷识别检测方法、系统、装置及存储介质
CN116091500B (zh) * 2023-04-07 2023-07-04 成都数之联科技股份有限公司 扩散板缺陷检测方法、模型训练方法、装置、设备和介质
CN116579990A (zh) * 2023-04-23 2023-08-11 银河互联网电视有限公司 视频马赛克检测方法、系统、设备及介质
CN116682035A (zh) * 2023-04-28 2023-09-01 北京优酷科技有限公司 一种高帧率视频缺陷的检测方法、装置、设备和程序产品
CN117456319A (zh) * 2023-09-18 2024-01-26 视睿（杭州）信息科技有限公司 一种结合旋转目标检测和缺陷分类的工业缺陷检测方法
CN117437186A (zh) * 2023-09-28 2024-01-23 中日龙(襄阳)机电技术开发有限公司 一种基于深度学习算法的透明件表面缺陷检测方法及系统
CN117649621A (zh) * 2023-10-13 2024-03-05 中国人民解放军国防科技大学 一种伪造视频检测方法、装置及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564031A (zh) * 2022-10-24 2023-01-03 苏州鼎纳自动化技术有限公司 一种用于玻璃缺陷检测的检测网络

Also Published As

Publication number Publication date
CN117893952A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN110517246B (zh) 一种图像处理方法、装置、电子设备及存储介质
US20190335155A1 (en) Image Processing Method and Apparatus
Johnston et al. A review of digital video tampering: From simple editing to full synthesis
CN116503414B (zh) 屏幕缺陷检测方法、装置、计算机设备和存储介质
de Oliveira et al. A hierarchical superpixel-based approach for DIBR view synthesis
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN112766028B (zh) 人脸模糊处理方法、装置、电子设备及存储介质
CN114419102B (zh) 一种基于帧差时序运动信息的多目标跟踪检测方法
CN114037087B (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
Wang et al. Archive film defect detection and removal: an automatic restoration framework
CN112784745B (zh) 基于置信度自适应和差分增强的视频显著物体检测方法
CN112752110B (zh) 视频呈现方法及装置、计算设备、存储介质
CN117893952B (zh) 基于深度学习的视频马赛克缺陷检测方法
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN117011658A (zh) 图像处理方法、装置、设备、存储介质和计算机程序产品
CN114022928B (zh) 一种基于双流的Deepfakes视频检测方法及系统
CN108470326B (zh) 图像补全方法及装置
CN115239551A (zh) 视频增强方法和装置
CN112581365B (zh) 一种跨尺度自适应信息映射成像方法及装置、介质
CN113139910B (zh) 一种视频补全方法
CN108717684B (zh) 基于阵列相机的高速水平运动物体图像序列拼接方法及系统
CN114202651A (zh) 一种增强感兴趣区域的图像超分方法、系统及介质
CN113516674A (zh) 一种图像数据检测方法、装置、计算机设备和存储介质
Voronin et al. Spatio-temporal image inpainting for video applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant