CN113743332B - 基于通用视觉预训练模型的图像质量评价方法及系统 - Google Patents

基于通用视觉预训练模型的图像质量评价方法及系统 Download PDF

Info

Publication number
CN113743332B
CN113743332B CN202111050476.2A CN202111050476A CN113743332B CN 113743332 B CN113743332 B CN 113743332B CN 202111050476 A CN202111050476 A CN 202111050476A CN 113743332 B CN113743332 B CN 113743332B
Authority
CN
China
Prior art keywords
model
training
image quality
image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111050476.2A
Other languages
English (en)
Other versions
CN113743332A (zh
Inventor
王金桥
葛国敬
朱贵波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111050476.2A priority Critical patent/CN113743332B/zh
Publication of CN113743332A publication Critical patent/CN113743332A/zh
Application granted granted Critical
Publication of CN113743332B publication Critical patent/CN113743332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器学习和数据质量评价领域，具体涉及了一种基于通用视觉预训练模型的图像质量评价方法及系统，旨在解决现有技术在缺乏大量人工筛查的情况下，视频监控的图像和视频质量评价的效率和精度低的问题。本发明包括：获取存在设定类别异常的图像样本集，进行异常筛查和标注；通过筛查和标注后的第一训练样本集进行样本收集模型训练；设定训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；通过第二训练样本集进行图像质量异常分类模型训练；通过训练好的图像质量异常分类模型在线进行视频帧图像和/或单帧图像的质量异常分类。本发明人工介入少，视频监控的图像和视频质量评价的效率、准确性和精度高。

Description

基于通用视觉预训练模型的图像质量评价方法及系统
技术领域
本发明属于机器学习和数据质量评价领域，具体涉及了一种基于通用视觉预训练模型的图像质量评价方法及系统。
背景技术
视频监控是安全防范系统的重要组成部分，以其直观、准确、及时和内容丰富而广泛应用于许多领域，如安防、金融、交通、校园安全和智能家居。计算机技术、大数据和人工智能的飞速发展为视频监控的应用提供了更大的展示舞台，同时，在安防监控领域，摄像机数量以每年20％快速增长，为我们的管理工作提出了更高的要求。
最早期的图像和视频质量评价通常是通过人员查看正在使用的摄像头是否出现异常，但是，随着摄像头数量的增多，意味着需要越来越多的人手保证视频监控系统的正常运行。较早期的视频质量评价主要使用传统的模式识别方法，识别精度不高，易受外部环境的影响，需要比较多的人工审核校验工作。近年来，随着大数据、人工智能技术的突破性进展，视频分析技术迎来了更智能化的发展。视频质量判断技术利用深度学习算法，对摄像头是否异常做出判断，显示具体的异常种类，并作出报警提示，从而使摄像机不但成为人的眼睛，也使摄像机成为人的大脑。图像和视频质量判断是最前沿的应用之一，体现着未来视频监控系统全面走向数字化、智能化、多元化的必然发展趋势。
深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉、自然语言处理等领域获得了巨大的成功。但是，因为监控摄像头数据集目前没有比较大的开源数据集，导致视频监控的图像和视频质量评价模型的训练样本不足，训练后的模型性能达不到实际使用要求，因而图像和视频质量评价的效率、准确性和精度都达不到实际使用要求。
发明内容
为了解决现有技术中的上述问题，即现有技术在缺乏大量人工筛查的情况下，视频监控的图像和视频质量评价的效率和精度低的问题，本发明提供了一种基于通用视觉预训练模型的图像质量评价方法，该方法包括：
步骤S10，通过模式识别方法获取存在设定类别异常的图像样本集；
步骤S20，进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集；
步骤S30，构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型；
步骤S40，设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；
步骤S50，构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型；
步骤S60，通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。
在一些优选的实施例中，步骤S20和步骤S30之间还设置有第一训练样本集增强步骤，其方法为：
步骤S20B，对所述第一训练样本集，通过部分区域擦除、左右翻转以及Mixup数据增强方法进行样本扩增，获得第一扩增训练样本集。
在一些优选的实施例中，步骤S40和步骤S50之间还设置有第二训练样本集增强步骤，其方法为：
步骤S40B，对所述第二训练样本集，通过部分区域擦除、左右翻转以及Mixup的方法进行样本扩增，获得第二扩增训练样本集。
在一些优选的实施例中，步骤S10包括：
通过信号丢失判断、模糊遮挡判断、偏色判断、亮度异常判断、丢帧判断、面向天空判断、面向地面判断中的一种或多种方法进行视频帧图像的模式识别，获得存在设定类别异常的图像样本集。
在一些优选的实施例中，所述基于深度学习的样本收集模型为resnet101模型，RepVGG模型，resnext101模型和EfficientNet模型中的一种或多种。
在一些优选的实施例中，所述基于深度学习的样本收集模型，其训练方法为：
步骤A10，构建所述基于深度学习的样本收集模型的训练过程的第一损失函数；所述第一损失函数为交叉熵损失函数和Focal Loss损失函数，或者EQL Loss损失函数；
步骤A20，将所述第一训练样本集中的第一样本序列输入构建的基于深度学习的样本收集模型中，获得第一样本序列对应的预测图像分类结果；
步骤A30，通过所述第一损失函数计算所述第一样本序列对应的预测图像分类结果与对应的标签之间的损失值；
步骤A40，若所述损失值大于设定第一阈值，则通过梯度反传进行模型参数更新，并跳转步骤A20，直至所述损失值不大于设定第一阈值或达到设定训练次数，获得训练好的样本收集模型。
在一些优选的实施例中，所述轻量化的基于视频的图像质量异常分类模型为Resnet18+TSM模型、MobileNet+TSM模型和Shufflenet+TSM模型中的一种。
在一些优选的实施例中，所述时移模块为沿着时间维度向前和向后移动的通道，移动后，前后帧图像的信息与当前帧图像信息融合。
在一些优选的实施例中，所述轻量化的基于视频的图像质量异常分类模型，其训练方法为：
步骤B10，构建所述轻量化的基于视频的图像质量异常分类模型的训练过程的第二损失函数；所述第二损失函数为交叉熵函数和Focal Loss损失函数；
步骤B20，将所述第二训练样本集中的第二样本序列输入构建的轻量化的基于视频的图像质量异常分类模型中，获得第二样本序列对应的预测图像分类结果；
步骤B30，通过所述第二损失函数计算所述第二样本序列对应的预测图像分类结果与对应的标签之间的损失值；
步骤B40，若所述损失值大于设定第二阈值，则通过梯度反传进行模型参数更新，并跳转步骤B20，直至所述损失值不大于设定第二阈值或达到设定训练次数，获得训练好的图像质量异常分类模型。
本发明的另一方面，提出了一种基于通用视觉预训练模型的图像质量评价系统，该系统包括以下模块：
小样本获取模块，配置为通过模式识别方法获取存在设定类别异常的图像样本集；
小样本筛查和标注模块，配置为进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集；
样本收集模块训练模块，配置为构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型；
大样本收集模块，配置为设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；
图像质量异常分类模型训练模块，配置为构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型；
图像质量评价模块，配置为通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。
本发明的有益效果：
(1)本发明基于通用视觉预训练模型的图像质量评价方法，通过基于深度学习的样本收集模型，在大大降低对于人工标注样本的依赖的同时，提升图像质量异常分类模型的训练效果，从而进一步提升了最终的图像和视频质量评价的效率、准确性和精度。
(2)本发明基于通用视觉预训练模型的图像质量评价方法，最终获取的图像质量异常分类模型，图像和视频质量评价的准确率高达95％，并可实现在线的7×24小时的实时连续运行。
(3)本发明基于通用视觉预训练模型的图像质量评价方法，可以快速捕获场长范围依赖，减少了通过单帧图像判断不准确的问题，使得系统能更好的学到辨识度信息，提高了判别能力。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于通用视觉预训练模型的图像质量评价方法的流程示意图；
图2是本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的模式识别过程示意图；
图3是本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的第一训练样本集收集示意图；
图4是本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的ConvBlock结构示意图；
图5是本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的Identity Block结构示意图；
图6是本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的图像质量异常分类示意图；
图7是本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的时移模块工作示意图；
图8是本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的无视频信号、模糊图像、偏色图像、亮度异常图像、面向地面异常图像、丢帧异常图像示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于通用视觉预训练模型的图像质量评价方法，本方法在使用尽可能少的人工的前提下，快速获取一批高质量的标注样本，然后根据获取的一批高质量的标注样本，得到一个高召回率和业务准确率可在线使用的图像质量异常分类模型，解决了现有技术中监控摄像头数据集没有比较大的开源数据集，导致的视频监控的图像和视频质量评价模型的训练样本不足，从而训练后的模型性能达不到要求，最终图像和视频质量评价的效率、准确性和精度都达不到要求的问题。
本发明的一种基于通用视觉预训练模型的图像质量评价方法，该方法包括：
步骤S10，通过模式识别方法获取存在设定类别异常的图像样本集；
步骤S20，进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集；
步骤S30，构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型；
步骤S40，设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；
步骤S50，构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型；
步骤S60，通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。
为了更清晰地对本发明基于通用视觉预训练模型的图像质量评价方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于通用视觉预训练模型的图像质量评价方法，包括步骤S10-步骤S60，各步骤详细描述如下：
步骤S10，通过模式识别方法获取存在设定类别异常的图像样本集。
通过信号丢失判断、模糊遮挡判断、偏色判断、亮度异常判断、丢帧判断、面向天空判断、面向地面判断中的一种或多种方法进行视频帧图像的模式识别，获得存在设定类别异常的图像样本集，如图2所示，为本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的模式识别过程示意图，具体过程包括：
步骤S11，将视频图像的每一帧送到信号丢失质量判断模块，判断当前帧是否有信号丢失；
步骤S12，将视频图像的每一帧送到模糊质量评测模块，判断当前帧是否是模糊图像；
步骤S13，将视频图像送到偏色质量判断模块，判断当前帧是否是偏色图像；
步骤S14，将视频图像送到亮度异常质量评测模块，判断是否是亮度异常图片；
步骤S15，将视频图像送入丢帧判断模块，判断当前视频图像是否有丢帧的情况；
步骤S16，将视频图像送入面向天空质量模块，判断当前帧是否2/3以上的区域是天空区域；
步骤S17，将视频图像送入面向地面质量模块，判断当前帧的视角是否低于设定阈值，只能找到较小的一块区域；
步骤S18，将视频图像送入遮挡模块，判断当前帧图片是否被树木或者其他的遮挡物遮挡。
步骤S20，进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集。
步骤S20和步骤S30之间还设置有第一训练样本集增强步骤，其方法为：
步骤S20B，对所述第一训练样本集，通过部分区域擦除、左右翻转以及Mixup数据增强(Auto Augment)方法进行样本扩增，获得第一扩增训练样本集。
步骤S30，构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型。
基于深度学习的样本收集模型可以为resnet101模型，RepVGG模型，resnext101模型和EfficientNet模型中的一种，还可以使用其中多种模型组合，使用投票机制对结果进行分类，具体的组合方式可以根据实际应用场景进行调整，本发明在此不一一详述。
基于深度学习的样本收集模型，其训练方法为：
步骤A10，构建所述基于深度学习的样本收集模型的训练过程的第一损失函数；所述第一损失函数为交叉熵损失函数和Focal Loss损失函数，或者EQL Loss损失函数；
步骤A20，将所述第一训练样本集中的第一样本序列输入构建的基于深度学习的样本收集模型中，获得第一样本序列对应的预测图像分类结果；
步骤A30，通过所述第一损失函数计算所述第一样本序列对应的预测图像分类结果与对应的标签之间的损失值；
步骤A40，若所述损失值大于设定第一阈值，则通过梯度反传进行模型参数更新，并跳转步骤A20，直至所述损失值不大于设定第一阈值或达到设定训练次数，获得训练好的样本收集模型。
如图3所示，为本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的第一训练样本集收集示意图，在该实施例中，基于深度学习的样本收集模型为Renset101模型，其结构包括顺次连接的1阶特征提取模块、2阶特征提取模块、3阶特征提取模块和4阶特征提取模块(四个stage)，数据在送入第一个stage之前，首先进行预处理：预处理包含：卷积、归一化、激活函数层和最大池化层；
1阶特征提取模块的输入通道为2l，输出通道为2l+2，2阶特征提取模块的输入通道为2l+1，输出通道为2l+3，3阶特征提取模块的输入通道为2l+2，输出通道为2l+4，4阶特征提取模块的输入通道为2l+3，输出通道为2l+5；其中，l＝k-2，l、k为正整数。
上述的特征提取模块由特征子模块构成，特征子模块有两种结构：一种是ConvBlock(输入和输出的维度是不一样的)，另一种是Identity Block(输入和输出的维度是一样的)。1阶特征提取模块的3个一阶特征子模块分别为1个Conv Block模块和2个IdentityBlock模块，2阶特征提取模块的4个二阶特征子模块分别为1个Conv Block模块和3个Identity Block模块，3阶特征提取模块的23个三阶特征子模块分别为1个Conv Block模块和22个Identity Block模块，4阶特征提取模块的3个四阶特征子模块分别为1个ConvBlock和2个Identity Block模块。
如图4所示，为本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的Conv Block结构示意图，Conv Block有两个分支：第一分支将输入依次通过1×1卷积层、归一化层、激活函数层、3×3卷积层、归一化层、激活函数层、1×1卷积层、归一化层、激活函数层，第二分支将输入依次通过卷积层、归一化层，最后将第一分支与第二分支的输出进行叠加后送入激活函数层。
如图5所示，为本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的Identity Block结构示意图，Identity Block也有两个分支：第一分支将输入依次通过1×1卷积层、归一化层、激活函数层、3×3卷积层、归一化层、激活函数层、1×1卷积层、归一化层、激活函数层，第二分支与第一分支的输出进行叠加后送入激活函数层。
样本收集模型，因为要线上部署，因而最好要在GPU上达到实时，所以本发明的一个实施例中，使用Resnet50作为基础结构(在其他场景中，也可以根据实际需要选择其他基础结构模型，本发明对此不作限定)。在样本收集模型中，对ImageNet预训练模型进行微调，因为最初的版本数据量比较少，并且得到的样本极不均衡(比如：因为传统方法有些精度比较高，丢帧和是否黑屏精度较高，收集来的样本就比较多，面向地面等精度相对较低，收集的样本就偏少)，本发明采用固定前面几层的网络参数，并且采样样本权重加权的方法获得一个较好的、可用的模型，同时，在损失函数方面，本发明使用均衡损失(EQL Loss)与交叉熵损失联合优化来努力消除不均衡样本的影响。
步骤S40，设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集。
步骤S40和步骤S50之间还设置有第二训练样本集增强步骤，其方法为：
步骤S40B，对所述第二训练样本集，通过部分区域擦除、左右翻转以及Mixup的方法进行样本扩增，获得第二扩增训练样本集。
步骤S50，构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型。
基于深度学习的样本收集模型为Resnet18+TSM模型、MobileNet+TSM模型和Shufflenet+TSM模型中的一种，其中TSM是为了处理视频帧序列过程中的多帧融合的问题。
轻量化的基于视频的图像质量异常分类模型，其训练方法为：
步骤B10，构建所述轻量化的基于视频的图像质量异常分类模型的训练过程的第二损失函数；所述第二损失函数为交叉熵函数和Focal Loss损失函数；
步骤B20，将所述第二训练样本集中的第二样本序列输入构建的轻量化的基于视频的图像质量异常分类模型中，获得第二样本序列对应的预测图像分类结果；
步骤B30，通过所述第二损失函数计算所述第二样本序列对应的预测图像分类结果与对应的标签之间的损失值；
步骤B40，若所述损失值大于设定第二阈值，则通过梯度反传进行模型参数更新，并跳转步骤B20，直至所述损失值不大于设定第二阈值或达到设定训练次数，获得训练好的图像质量异常分类模型。
如图6所示，为本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的图像质量异常分类示意图，在该实施例中，轻量化的基于视频的图像质量异常分类模型为Resnet18+TSM模型，其结构包括顺次连接的1阶特征提取模块、2阶特征提取模块、3阶特征提取模块和4阶特征提取模块；
1阶特征提取模块包括2个基础模块，1阶特征提取模块的输入通道为64，输出通道为64；2阶特征提取模块包括2个基础模块，2阶特征提取模块的输入通道为64，输出通道为128；3阶特征提取模块包括2个基础模块，3阶特征提取模块的输入通道为128，输出通道为256；4阶特征提取模块包括2个基础模块，4阶特征提取模块的输入通道为256，输出通道为512；
其中，基础模块，其奇数层为残差结构，偶数层为残差与时移模块组合结构。
如图7所示，为本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的时移模块工作示意图，时移模块为沿着时间维度向前和向后移动的通道，移动后，前后帧图像的信息与当前帧图像信息融合。
步骤S60，通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。
如图8所示，为本发明基于通用视觉预训练模型的图像质量评价方法一种实施例的无视频信号、模糊图像、偏色图像、亮度异常图像、面向地面异常图像、丢帧异常图像示例图，第一行左图为检测到的无视频信号图，右图为检测到的模糊图像，第二行左图为检测到的偏色图像，右图为检测到的亮度异常图像，第三行左图为检测到的面向地面异常图像，右图为检测到的丢帧异常图像。
实际使用过程中，传统方法精度低，泛化性能差，采用传统方法进行实验，其精度只有20％，这意味着需要大量的人工来做后期的筛查过程，而本发明提供了一套尽可能减少人工干预的可操作的图像和视频质量评测方法及系统，最后通过端到端的方式，输入一段时间内的视频图像序列，就可以得到这段测试视频是否存在异常，以及是哪种类型的异常。在实际使用中，能够在大大减少人工干预的情况下达到比较高的精度，并且后续不断的迭代优化，最终能达到判断出视频是否存在异常，以及哪种异常类型的准确率高达98％。本发明提高了图像和视频质量评价检测方法的鲁棒性和泛化能力、尽可能的减少了人工，提高了实验准确度。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于通用视觉预训练模型的图像质量评价系统，该系统包括以下模块：
小样本获取模块，配置为通过模式识别方法获取存在设定类别异常的图像样本集；
小样本筛查和标注模块，配置为进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集；
样本收集模块训练模块，配置为构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型；
大样本收集模块，配置为设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；
图像质量异常分类模型训练模块，配置为构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型；
图像质量评价模块，配置为通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于通用视觉预训练模型的图像质量评价系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于通用视觉预训练模型的图像质量评价方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于通用视觉预训练模型的图像质量评价方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于通用视觉预训练模型的图像质量评价方法，其特征在于，该方法包括：
步骤S10，通过模式识别方法获取存在设定类别异常的图像样本集；
步骤S20，进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集；
步骤S30，构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型；
步骤S40，设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；
步骤S50，构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型；
步骤S60，通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。
2.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，步骤S20和步骤S30之间还设置有第一训练样本集增强步骤，其方法为：
步骤S20B，对所述第一训练样本集，通过部分区域擦除、左右翻转以及Mixup数据增强方法进行样本扩增，获得第一扩增训练样本集。
3.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，步骤S40和步骤S50之间还设置有第二训练样本集增强步骤，其方法为：
步骤S40B，对所述第二训练样本集，通过部分区域擦除、左右翻转以及Mixup的方法进行样本扩增，获得第二扩增训练样本集。
4.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，步骤S10包括：
通过信号丢失判断、模糊遮挡判断、偏色判断、亮度异常判断、丢帧判断、面向天空判断、面向地面判断中的一种或多种方法进行视频帧图像的模式识别，获得存在设定类别异常的图像样本集。
5.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述基于深度学习的样本收集模型为resnet101模型，RepVGG模型，resnext101模型和EfficientNet模型中的一种或多种。
6.根据权利要求5所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述基于深度学习的样本收集模型，其训练方法为：
步骤A10，构建所述基于深度学习的样本收集模型的训练过程的第一损失函数；所述第一损失函数为交叉熵损失函数和FocalLoss损失函数，或者EQL Loss损失函数；
步骤A20，将所述第一训练样本集中的第一样本序列输入构建的基于深度学习的样本收集模型中，获得第一样本序列对应的预测图像分类结果；
步骤A30，通过所述第一损失函数计算所述第一样本序列对应的预测图像分类结果与对应的标签之间的损失值；
步骤A40，若所述损失值大于设定第一阈值，则通过梯度反传进行模型参数更新，并跳转步骤A20，直至所述损失值不大于设定第一阈值或达到设定训练次数，获得训练好的样本收集模型。
7.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述轻量化的基于视频的图像质量异常分类模型为Resnet18+TSM模型、MobileNet+TSM模型和Shufflenet+TSM模型中的一种。
8.根据权利要求7所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述Resnet18+TSM模型包括顺次连接的1阶特征提取模块、2阶特征提取模块、3阶特征提取模块和4阶特征提取模块；
所述1阶特征提取模块、2阶特征提取模块、3阶特征提取模块和4阶特征提取模块分别包括2个基础模块；
所述基础模块，其奇数层为残差结构，偶数层为残差与时移模块组合结构；
所述时移模块为沿着时间维度向前和向后移动的通道，移动后，前后帧图像的信息与当前帧图像信息融合。
9.根据权利要求8所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述轻量化的基于视频的图像质量异常分类模型，其训练方法为：
步骤B10，构建所述轻量化的基于视频的图像质量异常分类模型的训练过程的第二损失函数；所述第二损失函数为交叉熵函数和FocalLoss损失函数；
步骤B20，将所述第二训练样本集中的第二样本序列输入构建的轻量化的基于视频的图像质量异常分类模型中，获得第二样本序列对应的预测图像分类结果；
步骤B30，通过所述第二损失函数计算所述第二样本序列对应的预测图像分类结果与对应的标签之间的损失值；
步骤B40，若所述损失值大于设定第二阈值，则通过梯度反传进行模型参数更新，并跳转步骤B20，直至所述损失值不大于设定第二阈值或达到设定训练次数，获得训练好的图像质量异常分类模型。
10.一种基于通用视觉预训练模型的图像质量评价系统，其特征在于，该系统包括以下模块：
小样本获取模块，配置为通过模式识别方法获取存在设定类别异常的图像样本集；
小样本筛查和标注模块，配置为进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集；
样本收集模块训练模块，配置为构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型；
大样本收集模块，配置为设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；
图像质量异常分类模型训练模块，配置为构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型；
图像质量评价模块，配置为通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。
CN202111050476.2A 2021-09-08 2021-09-08 基于通用视觉预训练模型的图像质量评价方法及系统 Active CN113743332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111050476.2A CN113743332B (zh) 2021-09-08 2021-09-08 基于通用视觉预训练模型的图像质量评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111050476.2A CN113743332B (zh) 2021-09-08 2021-09-08 基于通用视觉预训练模型的图像质量评价方法及系统

Publications (2)

Publication Number Publication Date
CN113743332A CN113743332A (zh) 2021-12-03
CN113743332B true CN113743332B (zh) 2022-03-25

Family

ID=78737088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111050476.2A Active CN113743332B (zh) 2021-09-08 2021-09-08 基于通用视觉预训练模型的图像质量评价方法及系统

Country Status (1)

Country Link
CN (1) CN113743332B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648672A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 构建样本图像集的方法、装置、电子设备及可读存储介质
CN114882334B (zh) * 2022-04-29 2023-04-28 北京百度网讯科技有限公司 用于生成预训练模型的方法、模型训练方法及装置
CN114937288B (zh) * 2022-06-21 2023-05-26 四川大学 一种非典型类数据集平衡方法、装置、介质
CN114782291B (zh) * 2022-06-23 2022-09-06 中国科学院自动化研究所 图像生成器的训练方法、装置、电子设备和可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738132A (zh) * 2019-09-23 2020-01-31 中国海洋大学 一种具备判别性感知能力的目标检测质量盲评价方法
CN111369555A (zh) * 2020-03-19 2020-07-03 昆明理工大学 一种基于深度学习的视频质量诊断方法
CN111815681A (zh) * 2020-09-04 2020-10-23 中国科学院自动化研究所 基于深度学习和判别式模型训练的目标跟踪方法及存储器
CN112434730A (zh) * 2020-11-10 2021-03-02 广东电力信息科技有限公司 一种基于GoogleNet的视频图像质量异常分类方法
CN112990335A (zh) * 2021-03-31 2021-06-18 江苏方天电力技术有限公司 一种电网无人机巡检影像缺陷智能识别自学习训练方法、系统
CN113313683A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于元迁移学习的无参考视频质量评价方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9325985B2 (en) * 2013-05-28 2016-04-26 Apple Inc. Reference and non-reference video quality evaluation
CN113312957A (zh) * 2021-03-11 2021-08-27 上海东普信息科技有限公司 基于视频图像的脱岗识别方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738132A (zh) * 2019-09-23 2020-01-31 中国海洋大学 一种具备判别性感知能力的目标检测质量盲评价方法
CN111369555A (zh) * 2020-03-19 2020-07-03 昆明理工大学 一种基于深度学习的视频质量诊断方法
CN111815681A (zh) * 2020-09-04 2020-10-23 中国科学院自动化研究所 基于深度学习和判别式模型训练的目标跟踪方法及存储器
CN112434730A (zh) * 2020-11-10 2021-03-02 广东电力信息科技有限公司 一种基于GoogleNet的视频图像质量异常分类方法
CN112990335A (zh) * 2021-03-31 2021-06-18 江苏方天电力技术有限公司 一种电网无人机巡检影像缺陷智能识别自学习训练方法、系统
CN113313683A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于元迁移学习的无参考视频质量评价方法

Also Published As

Publication number Publication date
CN113743332A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN113743332B (zh) 基于通用视觉预训练模型的图像质量评价方法及系统
CN111369545B (zh) 边缘缺陷检测方法、装置、模型、设备及可读存储介质
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN110309033B (zh) 故障监控方法、装置和系统
CN108764372A (zh) 数据集的构建方法和装置、移动终端、可读存储介质
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN112183289A (zh) 一种花屏检测方法、装置、设备及介质
CN110826522A (zh) 人体异常行为监控方法、系统、存储介质及监控设备
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN114358204A (zh) 基于自监督的无参考图像质量评估方法及系统
CN113128522B (zh) 目标识别方法、装置、计算机设备和存储介质
CN113792600A (zh) 一种基于深度学习的视频抽帧方法和系统
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN108154199A (zh) 一种基于深度学习的高精度快速单类目标检测方法
CN116664694A (zh) 图像亮度获取模型的训练方法、图像获取方法及移动终端
CN116977907A (zh) 基于图像识别的电力巡检故障诊断方法及系统
CN116580232A (zh) 一种图像自动标注方法、系统及电子设备
CN116311211A (zh) 一种气体检测仪检测识别方法、系统及存储介质
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN115439446A (zh) 一种外观缺陷检测方法、装置、存储介质及电子设备
CN114241363A (zh) 工序识别方法、装置、电子设备和存储介质
CN112070164A (zh) 干湿污泥分类方法和装置
KR20220167827A (ko) 인공지능 기반의 불량 검출이 가능한 스마트 팩토리 시스템
CN113034432A (zh) 一种产品缺陷检测方法、系统、装置及存储介质
Singh et al. StreetOCRCorrect: An interactive framework for OCR corrections in chaotic Indian street videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant