CN114219803B - 一种三阶段图像质量评估的检测方法与系统 - Google Patents

一种三阶段图像质量评估的检测方法与系统 Download PDF

Info

Publication number
CN114219803B
CN114219803B CN202210156902.9A CN202210156902A CN114219803B CN 114219803 B CN114219803 B CN 114219803B CN 202210156902 A CN202210156902 A CN 202210156902A CN 114219803 B CN114219803 B CN 114219803B
Authority
CN
China
Prior art keywords
component
image
image quality
quality evaluation
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210156902.9A
Other languages
English (en)
Other versions
CN114219803A (zh
Inventor
卢朝晖
齐国栋
于慧敏
王润发
顾建波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lijia Electronic Technology Co ltd
Zhejiang University ZJU
Original Assignee
Zhejiang Lijia Electronic Technology Co ltd
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lijia Electronic Technology Co ltd, Zhejiang University ZJU filed Critical Zhejiang Lijia Electronic Technology Co ltd
Priority to CN202210156902.9A priority Critical patent/CN114219803B/zh
Publication of CN114219803A publication Critical patent/CN114219803A/zh
Application granted granted Critical
Publication of CN114219803B publication Critical patent/CN114219803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种三阶段图像质量评估的检测方法与系统。该方法对道路监控图片或视频建模，输出所关注目标的类别，位置信息和对应的图像质量。具体而言，在第一阶段中，将图像或视频帧作为输入，通过目标检测器输出所关注的目标特征及其位置信息；在第二阶段中，将第一阶段输出的目标特征及其位置信息通过部件检测器选择匹配输出目标部件特征和位置信息。在第三阶段中，将第二阶段输出的目标部件特征和位置信息通过图像质量评估分类器输出图像所关注区域质量等级。该方法在快速检测关注的目标基础上，结合部件信息，能够准确输出对应的图像区域质量等级。

Description

一种三阶段图像质量评估的检测方法与系统
技术领域
本发明属于智能识别技术领域，特别地涉及到一种三阶段图像质量评估的检测方法与系统。
背景技术
图像质量评估在工业界上有着广泛的应用，比如在道路交通监控视频中针对违法违规行为证据的筛选。图像质量评估的任务可以分为三个阶段：定义目标、收集人工标签和训练数据的客观质量指标。给定图像或者视频帧，传统的图像质量评估方法选择需要关注的图像区域，并且需要很高的技术门槛。随着深度卷积神经网路的飞速发展，基于深度卷积神经网络的图像质量评估的方法也逐渐增多，与此同时，数据量更大、场景更一般的图像质量评估数据集的最新发展也加速了客观图像质量指标的发展。
目前基于深度卷积神经网络的图像质量评估方法首先提取图像空间特征或者图像变换域特征，再输入到一个神经网络回归器中预测图像质量，或者从测试图像和参考图像的特征空间中的距离获得质量分数。该类方法在一定程度上证实了有效性，但该种设计流程目前均考虑了全图的图像质量，而实际应用中，存在所关注的区域图像质量好，然而其他部分区域图像质量差，导致因为整体图像质量偏差而被错误丢弃。
因此，亟需提出一种图像质量评估的检测方法以解决只对所关注的图像区域进行质量评估的问题。
发明内容
为解决上述问题，本发明的目的在于提供了一种三阶段图像质量评估的检测方法与系统，逐步检测筛选所关注的图像区域并对其质量评估。在建模部分，涉及到了深度卷积神经骨干网络、目标检测器、特征投影模块和图像质量评估器；在识别部分，涉及到属性的相似度匹配计算，目标类别分类选择和质量评估等级分数的计算。
为实现上述目标，本发明采用如下技术方案：本发明实施例的第一方面提供了一种三阶段图像质量评估的检测方法，具体包括如下步骤：
（1）采集图像或视频帧，并提取其图像或视频帧的特征；
（2）对当前图像或视频帧的特征进行目标检测，得到关注目标的置信度分数、分类类别和目标坐标，并进行筛选；
（3）根据步骤（2）筛选得到的分类类别、目标坐标，对步骤（1）得到的图像或视频帧的特征进行部件检测，得到部件的置信度分数、相似度分数、部件坐标和部件特征，并进行筛选；
（4）根据步骤（3）筛选得到的部件的置信度分数、相似度分数、部件坐标，对步骤（1）得到的图像或视频帧的特征和步骤（3）得到的部件特征进行图像质量评估，得到对应部件区域的图像质量等级。
进一步地，所述步骤（3）具体为：对步骤（1）得到的图像或视频帧的特征进行裁剪和特征投影得到部件特征，根据步骤（2）筛选得到的目标坐标进行部件识别定位，得到部件的属性、置信度分数和部件坐标；将输出的部件属性与指定属性相比较，计算二者的相似度，并依此对部件进行筛选。
进一步地，所述相似度的计算方法为：
Figure 715153DEST_PATH_IMAGE001
其中，
Figure 858689DEST_PATH_IMAGE002
为指定属性，
Figure 647654DEST_PATH_IMAGE003
为部件识别检测得到的部件属性，
Figure 749602DEST_PATH_IMAGE004
为集合的长度，
Figure 256806DEST_PATH_IMAGE005
为平 衡超参数。
进一步地，所述步骤（4）具体为：根据步骤（3）筛选得到的部件的置信度分数、相似度分数、部件坐标，进行图像质量评估，对步骤（1）得到的图像或视频帧的特征和步骤（3）得到的部件特征分别进行裁剪和投影，完成图像质量评估，获得质量评估特征；对质量评估特征进行质量评估回归，得到对应部件区域的图像质量等级。
进一步地，所述投影的过程具体为将低层的图像语义和细节特征投影至高层的图像宏观信息，公式如下：
Figure 204034DEST_PATH_IMAGE006
其中，
Figure 378663DEST_PATH_IMAGE007
为投影函数，
Figure 854775DEST_PATH_IMAGE008
为L2范数，
Figure 114855DEST_PATH_IMAGE009
和
Figure 600194DEST_PATH_IMAGE010
分别为步骤（1）得到的图像或视 频帧的特征与步骤（3）得到的部件特征。
进一步地，所述质量评估回归具体为梯度提升决策树，通过多次迭代，每次迭代产生一图像质量评估回归器，每个回归器在上一次迭代得到的回归器的残差基础上进行训练，最后对每次迭代得到的弱分类器加权求和得到最终图像质量评估等级。
本发明实施例的第二方面提供了一种三阶段图像质量评估的检测系统，所述系统包括深度卷积神经骨干网络，目标检测器网络，部件检测器网络，属性指令输入端，图像质量评估器网络；所述深度卷积神经骨干网络用于提取图像或视频帧的特征；所述目标检测器网络用于检测图像或视频帧的特征中的关注目标；所述部件检测器网络用于计算得到部件的置信度分数、相似度分数、部件坐标和部件特征；所述属性指令输入端用于输出指定属性；所述图像质量评估器网络评估图像或视频帧的特征和部件特征的图像质量。
进一步地，所述部件检测器网络包括部件特征投影网络，部件识别定位模块和相似度计算模块；所述部件特征投影网络用于裁剪和特征投影得到部件特征；所述部件识别定位模块用于部件属性、置信度分数和部件坐标；所述相似度计算模块计算部件的属性和指定属性的相似度；所述图像质量评估检测器包括质量评估投影网络和质量评估回归器；所述质量评估投影网络用于对图像或视频帧的特征和部件特征分别进行裁剪和投影，得到质量评估特征；所述质量评估回归器用于对质量评估特征进行质量评估回归，得到对应部件区域的图像质量等级。
本发明实施例的第三方面提供了一种电子设备，包括存储器和处理器，其中，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的三阶段图像质量评估的检测方法。
本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述的三阶段图像质量评估的检测方法。
与现有技术相比，本发明的有益效果为：本发明提出的一种三阶段图像质量评估方法中第一阶段的目标检测方法采用先进的单阶段目标检测方法，为第二阶段的部件检测网络提供了较为准确的预测结果；第二阶段的部件检测方法中，采用混合式的相似度匹配算法能有效的选择相近的部件字符串属性以及对应的坐标值；第三阶段使用多层感知器构建相应投影函数，关注指定字符串区域的图像质量的同时，并使低层图像特征转化为高层质量评估特征，同时，使用梯度提升决策树，能够发现高层质量评估特征之间的关系，具有较强的可解释性，较强的泛化能力和表达能力。通过将整个任务解耦成三个子任务，设计对应的三个阶段，使得本发明更加容易训练和使用。同时，本发明仅仅关注目标区域的图像质量，避免了环境因素等其他因素的干扰，使得评估结果更加可靠，准确率更高，有着极大的实用价值。
附图说明
图1为本发明基于三阶段图像质量评估的检测方法流程图；
图2为本发明实施例的流程图；
图3为本发明装置的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述可以完全理解本发明。
本发明提供了一种三阶段图像质量评估的检测系统，所述系统包括：深度卷积神经骨干网络、目标检测器网络、部件检测器网络、属性指令输入端和图像质量评估器网络。所述深度卷积神经网络的输出端与目标检测器网络的输入端连接，所述属性指令输入端和目标检测器网络的输出端与部件检测器网络的输入端连接，所述部件检测器网络的输出端与图像质量评估器网络的输入端连接。所述深度卷积神经骨干网络用于提取图像或视频帧的特征。所述目标检测器网络用于检测图像或视频帧的特征中的关注目标。所述部件检测器网络用于计算得到部件的置信度分数、相似度分数、部件坐标和部件特征，由部件特征投影网络，部件识别定位模块和相似度计算模块组成；所述部件特征投影网络用于裁剪和特征投影得到部件特征；所述部件识别定位模块用于部件的字符串属性、置信度分数和部件坐标；所述相似度计算模块用于计算部件的属性和指定属性的相似度。所述属性指令输入端用于输出指定属性。所述图像质量评估器网络用于评估图像或视频帧的特征和部件特征的图像质量，由质量评估投影网络和质量评估回归器组成；所述质量评估投影网络用于对图像或视频帧的特征和部件特征分别进行裁剪和投影，得到质量评估特征；所述质量评估回归器用于对质量评估特征进行质量评估回归，得到对应部件区域的图像质量等级。
参考图1，为本发明所述基于三阶段图像质量评估的检测方法流程图，具体包括如下步骤：
（1）通过云台摄像头获得视频，对视频进行帧图像抽样，得到当前的视频帧
Figure 629330DEST_PATH_IMAGE011
：将 图像或视频帧
Figure 666556DEST_PATH_IMAGE012
输入至深度卷积神经网络
Figure 23719DEST_PATH_IMAGE013
中，得到当前图像或视频帧的特征
Figure 437383DEST_PATH_IMAGE014
；本发明实施例采用ResNet-50作为深度卷积神经网络
Figure 193462DEST_PATH_IMAGE015
。
（2）第一阶段中，将当前图像或视频帧特征
Figure 667169DEST_PATH_IMAGE016
输入到目标检测器网络
Figure 511628DEST_PATH_IMAGE017
中，通过逻 辑回归的方式，输出关注目标置信度分数
Figure 197824DEST_PATH_IMAGE018
，分类类别
Figure 76919DEST_PATH_IMAGE019
和目标的左上角和右下角坐标
Figure 721527DEST_PATH_IMAGE020
，即
Figure 53282DEST_PATH_IMAGE021
。自定义设定置信度分数阈值
Figure 808748DEST_PATH_IMAGE022
，筛选置信度分数
Figure 135824DEST_PATH_IMAGE018
大于阈值
Figure 92279DEST_PATH_IMAGE023
的分类类别
Figure 770385DEST_PATH_IMAGE024
和目标的左上角和右下角坐标
Figure 204909DEST_PATH_IMAGE025
。其中定义类别种类为
Figure 917650DEST_PATH_IMAGE026
。在训练时，损失函数包含预测的目标类别和真值之间的差异， 以及预测目标坐标和真值之间的差异，公式如下：
Figure 248268DEST_PATH_IMAGE027
其中，
Figure 679249DEST_PATH_IMAGE028
分别为真值目标的中心点坐标，宽，高，和类别分数。在本 发明实施例中，设置超参数
Figure 651885DEST_PATH_IMAGE029
。
（3）第二阶段中将筛选后的分类类别
Figure 219132DEST_PATH_IMAGE024
和目标的左上角和右下角坐标
Figure 110865DEST_PATH_IMAGE030
，属性指 令输入端中输入的指定属性
Figure 907438DEST_PATH_IMAGE031
，以及步骤（1）采集的图像特征
Figure 808398DEST_PATH_IMAGE032
输入到部件检测器网络
Figure 105518DEST_PATH_IMAGE033
中，输出部件的置信度分数
Figure 168152DEST_PATH_IMAGE034
，部件相似度分数
Figure 183513DEST_PATH_IMAGE035
和部件的左上角和右下角坐标
Figure 888164DEST_PATH_IMAGE036
，即
Figure 305370DEST_PATH_IMAGE037
。自定义设定置信度分数阈值
Figure 804484DEST_PATH_IMAGE038
和相似 度分数阈值
Figure 166195DEST_PATH_IMAGE039
，筛选置信度分数
Figure 284324DEST_PATH_IMAGE040
大于阈值
Figure 87195DEST_PATH_IMAGE041
，并且部件相似度分数
Figure 757211DEST_PATH_IMAGE042
大于阈值
Figure 481584DEST_PATH_IMAGE043
的目 标的左上角和右下角坐标
Figure 262458DEST_PATH_IMAGE044
；具体而言：
（3.1）将图像特征
Figure 654257DEST_PATH_IMAGE045
通过特征投影网络
Figure 229594DEST_PATH_IMAGE046
获得部件特征
Figure 831477DEST_PATH_IMAGE047
。其中
Figure 288479DEST_PATH_IMAGE046
为两 层的全连接层
Figure 659417DEST_PATH_IMAGE048
，
Figure 546602DEST_PATH_IMAGE049
为全连接层权重，ReLU为激活函数。
（3.2）根据目标类别
Figure 370201DEST_PATH_IMAGE050
和对应的左上角和右下角坐标
Figure 368244DEST_PATH_IMAGE051
裁剪图像特征
Figure 593689DEST_PATH_IMAGE052
，通过部 件识别定位模块
Figure 651775DEST_PATH_IMAGE053
，获得部件的属性
Figure 228250DEST_PATH_IMAGE054
，置信度分数
Figure 889038DEST_PATH_IMAGE055
，左上角和右下角坐标
Figure 844356DEST_PATH_IMAGE056
，即
Figure 463556DEST_PATH_IMAGE057
。
（3.3）计算预测得到的部件属性
Figure 137114DEST_PATH_IMAGE054
与属性指令输入端中输入的指定属性
Figure 867173DEST_PATH_IMAGE058
之间的 相似度S:
Figure 676997DEST_PATH_IMAGE059
其中，
Figure 467098DEST_PATH_IMAGE031
为属性指令输入端中输入的指定属性，
Figure 362373DEST_PATH_IMAGE054
为部件识别检测模块的部件属 性输出，
Figure 630543DEST_PATH_IMAGE004
为集合的长度，
Figure 551664DEST_PATH_IMAGE060
为平衡超参数。在本发明实施例中，设置
Figure 247088DEST_PATH_IMAGE061
。所述部件属 性包括字符串属性，类别属性，颜色属性，形状属性等。
（3.4）设定置信度分数阈值
Figure 754293DEST_PATH_IMAGE062
和相似度分数阈值
Figure 701520DEST_PATH_IMAGE063
，筛选置信度 分数
Figure 876149DEST_PATH_IMAGE064
大于阈值
Figure 617840DEST_PATH_IMAGE041
，并且部件相似度分数
Figure 612341DEST_PATH_IMAGE065
大于阈值
Figure 97680DEST_PATH_IMAGE066
的目标的左上角和右下角坐标
Figure 126816DEST_PATH_IMAGE067
。
（3.5）在训练时，损失函数包含预测的部件类别和真值之间的差异，以及预测部件坐标和真值之间的差异，损失函数公式如下：
Figure 898463DEST_PATH_IMAGE068
其中，
Figure 786785DEST_PATH_IMAGE069
分别为真值部件的中心点坐标，宽，高，和相似度分数。在本 发明实施例中，超参数
Figure 934869DEST_PATH_IMAGE070
。
（5）将筛选后的部件目标的左上角和右下角坐标
Figure 959457DEST_PATH_IMAGE071
和特征
Figure 167585DEST_PATH_IMAGE072
输入到图像质量评 估检测器
Figure 12044DEST_PATH_IMAGE073
中输出关注区域的图像质量等级
Figure 963819DEST_PATH_IMAGE074
；具体而言：
（5.1）根据左上角右下角坐标
Figure 842914DEST_PATH_IMAGE075
，将图像特征
Figure 221942DEST_PATH_IMAGE076
和部件特征
Figure 550768DEST_PATH_IMAGE077
分别裁剪，然后 输入到投影函数
Figure 40655DEST_PATH_IMAGE078
中，与自身相加后再分别经过投影函数
Figure 774256DEST_PATH_IMAGE079
，最后相加特征，输入至 质量评估特征投影网络
Figure 589765DEST_PATH_IMAGE080
获得质量评估特征
Figure 408817DEST_PATH_IMAGE081
：
Figure 702395DEST_PATH_IMAGE082
本实例中，
Figure 149557DEST_PATH_IMAGE083
均为两层的多层感知器，即
Figure 11333DEST_PATH_IMAGE084
，
Figure 442315DEST_PATH_IMAGE085
为 全连接层权重,
Figure 149371DEST_PATH_IMAGE086
。ReLU为激活函数。
Figure 716618DEST_PATH_IMAGE087
为单位函数。
（5.2）将质量评估特征H输入到质量图像质量评估检测器
Figure 749296DEST_PATH_IMAGE088
中输出关注区域的图 像质量等级
Figure 667574DEST_PATH_IMAGE089
。其中
Figure 178321DEST_PATH_IMAGE090
为梯度提升决策树，通过
Figure 865654DEST_PATH_IMAGE091
次迭代，每次迭代产生一个弱图 像质量评估回归器
Figure 69233DEST_PATH_IMAGE092
，最后对每次迭代得到的弱回归器加权求和得到最终图像质量评估 等级：
Figure 943648DEST_PATH_IMAGE093
在本发明实施例中，弱回归器采用深度为6的分类回归树，迭代次数
Figure 648299DEST_PATH_IMAGE094
。
（5.3）每个回归器
Figure 68435DEST_PATH_IMAGE095
在上一次迭代得到的回归器的残差基础上进行训练，其损失 函数：
Figure 567549DEST_PATH_IMAGE096
其中，
Figure 804627DEST_PATH_IMAGE097
为质量评估等级真值。
实施例1
参见图2，从监控视频帧中采集解放牌货车的图像，进行三阶段图像质量评估的检测。对解放牌货车视频帧的特征进行目标检测，将解放牌货车作为关注目标，得到其置信度分数、分类类别和目标坐标，并进行筛选。根据筛选得到的分类类别、目标坐标，对解放牌货车视频帧的特征进行部件检测，将“解放”商标、挡风玻璃和货车车牌号码作为部件，得到部件的置信度分数、相似度分数、部件坐标和部件特征，将车牌作为字符串属性，将挡风玻璃作为类别属性，分别计算与指定属性的相似度，根据相似度进行筛选。根据筛选得到的部件的置信度分数、相似度分数、部件坐标，对图像或视频帧的特征和部件特征进行图像质量评估，得到对应部件区域的图像质量等级为高。
与前述三阶段图像质量评估的检测方法的实施例相对应，本发明还提供了三阶段图像质量评估的检测装置的实施例。
参见图3，本发明实施例提供的一种三阶段图像质量评估的检测装置，包括一个或多个处理器，用于实现上述实施例中的三阶段图像质量评估的检测方法。
本发明三阶段图像质量评估的检测装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明三阶段图像质量评估的检测装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的三阶段图像质量评估的检测方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种三阶段图像质量评估的检测方法，其特征在于，具体包括如下步骤：
（1）采集图像或视频帧，并提取其图像或视频帧的特征；
（2）对当前图像或视频帧的特征进行目标检测，得到关注目标的置信度分数、分类类别和目标坐标，并进行筛选；
（3）根据步骤（2）筛选得到的分类类别、目标坐标，对步骤（1）得到的图像或视频帧的特征进行部件检测，得到部件的置信度分数、相似度分数、部件坐标和部件特征，并进行筛选；
所述步骤（3）具体为：对步骤（1）得到的图像或视频帧的特征进行裁剪和特征投影得到部件特征，根据步骤（2）筛选得到的目标坐标进行部件识别定位，得到部件的属性、置信度分数和部件坐标；将输出的部件属性与指定属性相比较，计算二者的相似度，并依此对部件进行筛选；
（4）根据步骤（3）筛选得到的部件的置信度分数、相似度分数、部件坐标，对步骤（1）得到的图像或视频帧的特征和步骤（3）得到的部件特征进行图像质量评估，得到对应部件区域的图像质量等级。
2.根据权利要求1所述的三阶段图像质量评估的检测方法，其特征在于，所述相似度的计算方法为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为指定属性，
Figure DEST_PATH_IMAGE006
为部件识别检测得到的部件属性，
Figure DEST_PATH_IMAGE008
为集合的长度，
Figure DEST_PATH_IMAGE010
为平衡超参数。
3.根据权利要求1所述的三阶段图像质量评估的检测方法，其特征在于，所述步骤（4）具体为：根据步骤（3）筛选得到的部件的置信度分数、相似度分数、部件坐标，进行图像质量评估，对步骤（1）得到的图像或视频帧的特征和步骤（3）得到的部件特征分别进行裁剪和投影，完成图像质量评估，获得质量评估特征；对质量评估特征进行质量评估回归，得到对应部件区域的图像质量等级；
所述投影的过程具体为将低层的图像语义和细节特征投影至高层的图像宏观信息，公式如下：
Figure DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE014
为投影函数，
Figure DEST_PATH_IMAGE016
为L2范数，
Figure DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE020
分别为步骤（1）得到的图像或视频帧的特征与步骤（3）得到的部件特征。
4.根据权利要求3所述的三阶段图像质量评估的检测方法，其特征在于，所述质量评估回归具体为梯度提升决策树，通过多次迭代，每次迭代产生一图像质量评估回归器，每个回归器在上一次迭代得到的回归器的残差基础上进行训练，最后对每次迭代得到的弱分类器加权求和得到最终图像质量评估等级。
5.一种三阶段图像质量评估的检测系统，其特征在于，所述系统包括深度卷积神经骨干网络，目标检测器网络，部件检测器网络，属性指令输入端，图像质量评估器网络；所述深度卷积神经骨干网络用于提取图像或视频帧的特征；所述目标检测器网络用于检测图像或视频帧的特征中的关注目标；所述部件检测器网络用于计算得到部件的置信度分数、相似度分数、部件坐标和部件特征，具体为：对图像或视频帧的特征进行裁剪和特征投影得到部件特征，根据筛选得到的目标坐标进行部件识别定位，得到部件的属性、置信度分数和部件坐标；将输出的部件属性与指定属性相比较，计算二者的相似度，并依此对部件进行筛选；所述属性指令输入端用于输出指定属性；所述图像质量评估器网络评估图像或视频帧的特征和部件特征的图像质量。
6.根据权利要求5所述的三阶段图像质量评估的检测系统，其特征在于，所述部件检测器网络包括部件特征投影网络，部件识别定位模块和相似度计算模块；所述部件特征投影网络用于裁剪和特征投影得到部件特征；所述部件识别定位模块用于获取部件属性、置信度分数和部件坐标；所述相似度计算模块计算部件的属性和指定属性的相似度；所述图像质量评估器网络包括质量评估投影网络和质量评估回归器；所述质量评估投影网络用于对图像或视频帧的特征和部件特征分别进行裁剪和投影，得到质量评估特征；所述质量评估回归器用于对质量评估特征进行质量评估回归，得到对应部件区域的图像质量等级。
7.一种电子设备，包括存储器和处理器，其中，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-4任一项所述的三阶段图像质量评估的检测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-4中任一所述的三阶段图像质量评估的检测方法。
CN202210156902.9A 2022-02-21 2022-02-21 一种三阶段图像质量评估的检测方法与系统 Active CN114219803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210156902.9A CN114219803B (zh) 2022-02-21 2022-02-21 一种三阶段图像质量评估的检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210156902.9A CN114219803B (zh) 2022-02-21 2022-02-21 一种三阶段图像质量评估的检测方法与系统

Publications (2)

Publication Number Publication Date
CN114219803A CN114219803A (zh) 2022-03-22
CN114219803B true CN114219803B (zh) 2022-07-15

Family

ID=80709027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210156902.9A Active CN114219803B (zh) 2022-02-21 2022-02-21 一种三阶段图像质量评估的检测方法与系统

Country Status (1)

Country Link
CN (1) CN114219803B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664873B (zh) * 2023-07-27 2024-04-26 腾讯科技（深圳）有限公司 图像信息处理方法、装置及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203990A (zh) * 2017-04-02 2017-09-26 南京汇川图像视觉技术有限公司 一种基于模板匹配与图像质量评估的标贴破损检测方法
CN107481238A (zh) * 2017-09-20 2017-12-15 众安信息技术服务有限公司 图像质量评估方法及装置
CN109377465A (zh) * 2018-10-26 2019-02-22 北京布本智能科技有限公司 一种基于图像信息熵的图像质量鉴定方法
CN110807759A (zh) * 2019-09-16 2020-02-18 幻想动力(上海)文化传播有限公司 照片质量的评价方法及装置、电子设备、可读存储介质
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技（深圳）有限公司 人体目标检测方法、装置、计算机设备及存储介质
CN111210399A (zh) * 2018-11-22 2020-05-29 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备
CN111462069A (zh) * 2020-03-30 2020-07-28 北京金山云网络技术有限公司 目标对象检测模型训练方法、装置、电子设备及存储介质
CN112070119A (zh) * 2020-08-11 2020-12-11 长沙大端信息科技有限公司 超声切面图像质量控制方法、装置和计算机设备
CN112200010A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下的人脸采集质量评估策略
CN112750121A (zh) * 2021-01-20 2021-05-04 赛维森(广州)医疗科技服务有限公司 用于病理玻片数字图像质量检测的系统及其方法
CN112801132A (zh) * 2020-12-28 2021-05-14 泰康保险集团股份有限公司 一种图像处理方法和装置
CN112950581A (zh) * 2021-02-25 2021-06-11 北京金山云网络技术有限公司 质量评估方法、装置和电子设备
CN113112463A (zh) * 2021-03-31 2021-07-13 上海联影智能医疗科技有限公司 医学图像质量评估方法、电子设备及存储介质
CN113436174A (zh) * 2021-06-30 2021-09-24 华中科技大学 一种人脸质量评估模型的构建方法及应用

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2007102021A (ru) * 2007-01-19 2008-07-27 Корпораци "Самсунг Электроникс Ко., Лтд." (KR) Способ и система распознавания личности
CN111401324A (zh) * 2020-04-20 2020-07-10 Oppo广东移动通信有限公司 图像质量评估方法、装置、存储介质及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203990A (zh) * 2017-04-02 2017-09-26 南京汇川图像视觉技术有限公司 一种基于模板匹配与图像质量评估的标贴破损检测方法
CN107481238A (zh) * 2017-09-20 2017-12-15 众安信息技术服务有限公司 图像质量评估方法及装置
CN109377465A (zh) * 2018-10-26 2019-02-22 北京布本智能科技有限公司 一种基于图像信息熵的图像质量鉴定方法
CN111210399A (zh) * 2018-11-22 2020-05-29 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备
CN110807759A (zh) * 2019-09-16 2020-02-18 幻想动力(上海)文化传播有限公司 照片质量的评价方法及装置、电子设备、可读存储介质
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技（深圳）有限公司 人体目标检测方法、装置、计算机设备及存储介质
CN111462069A (zh) * 2020-03-30 2020-07-28 北京金山云网络技术有限公司 目标对象检测模型训练方法、装置、电子设备及存储介质
CN112070119A (zh) * 2020-08-11 2020-12-11 长沙大端信息科技有限公司 超声切面图像质量控制方法、装置和计算机设备
CN112200010A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下的人脸采集质量评估策略
CN112801132A (zh) * 2020-12-28 2021-05-14 泰康保险集团股份有限公司 一种图像处理方法和装置
CN112750121A (zh) * 2021-01-20 2021-05-04 赛维森(广州)医疗科技服务有限公司 用于病理玻片数字图像质量检测的系统及其方法
CN112950581A (zh) * 2021-02-25 2021-06-11 北京金山云网络技术有限公司 质量评估方法、装置和电子设备
CN113112463A (zh) * 2021-03-31 2021-07-13 上海联影智能医疗科技有限公司 医学图像质量评估方法、电子设备及存储介质
CN113436174A (zh) * 2021-06-30 2021-09-24 华中科技大学 一种人脸质量评估模型的构建方法及应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《On the Impact of COVID-19 on Subjective Digital Media Quality Assessment》;Hans-Jürgen Zepernick等;《2021 IEEE 23rd International Workshop on Multimedia Signal Processing》;20211231;第1-6页 *
《SAR图像质量评价综述》;王哲远等;《遥感信息》;20161031;第31卷(第5期);第1-10页 *

Also Published As

Publication number Publication date
CN114219803A (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN112990432B (zh) 目标识别模型训练方法、装置及电子设备
CN111401201B (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN105550701B (zh) 实时图像提取识别方法及装置
CN104424466B (zh) 对象检测方法、对象检测设备及图像拾取设备
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频系统
CN109800682B (zh) 驾驶员属性识别方法及相关产品
CN111738090A (zh) 行人重识别模型训练方法、装置及行人重识别方法、装置
CN112738470B (zh) 一种高速公路隧道内停车检测的方法
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN113313037A (zh) 一种基于自注意力机制的生成对抗网络视频异常检测方法
CN114627437B (zh) 一种交通目标识别方法及系统
CN115546705B (zh) 目标识别方法、终端设备及存储介质
Rahman et al. Enhancement of background subtraction techniques using a second derivative in gradient direction filter
CN114219803B (zh) 一种三阶段图像质量评估的检测方法与系统
CN105205807B (zh) 基于稀疏自动编码机的遥感图像变化检测方法
CN110321867B (zh) 基于部件约束网络的遮挡目标检测方法
CN115439654A (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
Liu et al. Visual object tracking with partition loss schemes
Kheder et al. Improved traffic sign recognition system (itsrs) for autonomous vehicle based on deep convolutional neural network
CN111428567B (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
CN113112479A (zh) 基于关键区块提取的渐进式目标检测方法和装置
CN110532904B (zh) 一种车辆识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant