CN114596287A - 图像质量确定方法、装置、设备和存储介质 - Google Patents

图像质量确定方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114596287A
CN114596287A CN202210238500.3A CN202210238500A CN114596287A CN 114596287 A CN114596287 A CN 114596287A CN 202210238500 A CN202210238500 A CN 202210238500A CN 114596287 A CN114596287 A CN 114596287A
Authority
CN
China
Prior art keywords
information
weight
semantic
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210238500.3A
Other languages
English (en)
Inventor
王帅
石雅南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202210238500.3A priority Critical patent/CN114596287A/zh
Publication of CN114596287A publication Critical patent/CN114596287A/zh
Priority to PCT/CN2023/079505 priority patent/WO2023169318A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像质量确定方法、装置、设备和存储介质，该方法包括：获取失真图像以及对应的原始图像，对所述原始图像进行信息提取得到语义信息和显著度信息，根据所述语义信息和所述显著度信息确定每个像素点的像素权重，基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。本方案最终确定出的图像质量评价结果在满足客观性要求的前提下，更加符合人眼主观感受。

Description

图像质量确定方法、装置、设备和存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像质量确定方法、装置、设备和存储介质。
背景技术
图像质量评价指通过主客观的方式对两个主体内容相似的图像之间的失真程度进行定量化描述。它在图像/视频处理领域中对于算法分析比较、系统性能评估等方面有着非常重要的作用。
图像质量评价从方法上可分为主观评估和客观评估。主观评估是指通过人的主观感受来评价图像质量，即给出原始参考图像和失真图像，让观察者对失真图像进行评价，一般采用平均主观意见分或平均主观意见分差异来描述。主观评估需要大量的人力物力,且评估的结果容易受到测试者的主观因素和外界条件的影响，评估过程的复杂性严重影响了其准确性和通用性,因此将其应用到实际视频处理系统中是极其困难的。相比之下，客观评估则使用数学模型直接给出失真的量化值，操作简单，被广泛用于各种领域中。如通过业界常用的一系列客观评估指标进行图像质量的客观评估。虽然客观评估指标操作简单且易于实施，但是不同的客观指标与人眼主观感受的符合程度并不一样，由此导致图像质量评价结果并不理想。
发明内容
本申请实施例提供了一种图像质量确定方法、装置、设备和存储介质，解决了相关技术中图像质量评价结果不能很好的反应主观图像质量感受的问题，使得最终给出的图像质量评价结果更加符合人眼主观感受。
第一方面，本申请实施例提供了一种图像质量确定方法，该方法包括：
获取失真图像以及对应的原始图像，对所述原始图像进行信息提取得到语义信息和显著度信息；
根据所述语义信息和所述显著度信息确定每个像素点的像素权重；
基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。
第二方面，本申请实施例还提供了一种图像质量确定装置，包括：
图像获取模块，配置为获取失真图像以及对应的原始图像；
信息提取模块，配置为对所述原始图像进行信息提取得到语义信息和显著度信息；
权重计算模块，配置为根据所述语义信息和所述显著度信息确定每个像素点的像素权重；
图像质量计算模块，配置为基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。
第三方面，本申请实施例还提供了一种图像质量确定设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的图像质量确定方法。
第四方面，本申请实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请实施例所述的图像质量确定方法。
第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的图像质量确定方法。
本申请实施例中，通过获取失真图像以及对应的原始图像，对原始图像进行信息提取得到语义信息和显著度信息，根据语义信息和显著度信息确定每个像素点的像素权重，基于像素权重以及原始图像和失真图像对应像素点的像素值计算得到图像质量信息，提高了图像质量评价的准确度，使得最终确定出的图像质量评价结果在满足客观性要求的前提下，更加符合人眼主观感受。
附图说明
图1为本申请实施例提供的一种图像质量确定方法的流程图；
图2为本申请实施例提供的一种确定像素点的像素权重的方法的流程图；
图3为本申请实施例提供的另一种图像质量确定方法的流程图；
图4为本申请实施例提供的一种信息提取得到语义信息的图示示意图；
图5为本申请实施例提供的一种信息提取得到显著度信息的图示示意图；
图6为本申请实施例提供的另一种图像质量确定方法的流程图；
图7为本申请实施例提供的另一种图像质量确定方法的流程图；
图8为本申请实施例提供的一种图像质量确定装置的结构框图；
图9为本申请实施例提供的一种图像质量确定设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请实施例，而非对本申请实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请实施例相关的部分而非全部结构。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本申请实施例提供的一种图像质量确定方法的流程图，可用于对图像、视频质量进行评估，该方法可以由计算设备如服务器、智能终端、笔记本、平板电脑等来执行，具体包括如下步骤：
步骤S101、获取失真图像以及对应的原始图像，对所述原始图像进行信息提取得到语义信息和显著度信息。
在一个实施例中，通过进行失真图像和原始图像之间的比对计算以得到失真图像的量化值进而得到相应的图像质量评价。其中，原始图像可以是清晰的未失真的图像，也即失真图像的参考图像。失真图像为相对于原始图像存在的不同失真情况的图像，也即噪声图像。本申请实施例基于客观图像质量评价方法，引入注意力机制以实现最终的更为合理的图像质量的评价。
在一个实施例中，该获取的原始图像可以是一幅图像也可以是多个图像帧组成的视频帧序列，如直播视频中的连续多帧直播画面图像。通过对原始图像进行信息提取以得到语义信息和显著度信息。可选的，信息提取的方式可以通过训练的神经网络模型对原始图像进行信息提取，也可以采用图像特征提取算法进行信息提取。其中，该语义信息表征图像中每个像素点的类别，具体的像素点的类别可以是预先设置的多个物体类别中的其中一个，物体类别示例性的可以是人脸、麦克风、椅子、头发、键盘等。显著度信息表征图像中每个像素点的灰度，其表示每个像素对人眼视觉的关注程度，可以是归一化的灰度图。可选的，该语义信息和显著度信息通过图像掩膜的方式呈现。
步骤S102、根据所述语义信息和所述显著度信息确定每个像素点的像素权重。
在一个实施例中，通过信息提取得到包含每个像素点的语义信息和显著度信息后，基于该语义信息和显著度信息计算得到每个像素点的像素权重。可选的，如图2所示，图2为本申请实施例提供的一种确定像素点的像素权重的方法的流程图，具体包括：
步骤S1021、根据语义信息和对应的基本权重确定每个像素点的语义权重。
在一个实施例中，语义信息包括信息提取得到的每个像素点的语义索引值，其中，不同的语义索引值对应不同的物体类别。示例性的，以直播场景为例设置有13个类别，分别对应索引值0至12，即语义索引值0对应类别1、语义索引值1对应类别2、语义索引值2对应类别3，以此类推。不同的物体类别设置有对应的基本权重，如类别1对应基本权重1、类别2对应基本权重2，以此类推。相应的，根据语义信息和对应的基本权重确定每个像素点的语义权重的方式可以是：确定每个像素点的语义索引值，将每个像素点的语义索引值对应的基本权重确定为语义权重。示例性的，基本权重记为ω0,ω1,...,ωN，其依次对应语义索引值0到语义索引值N对应的基本权重值，位置(i,j)的像素点的语义权重记为Wse(i,j)，则语义权重Wse(i,j)＝ωpse(i,j)，其中pse(i,j)表示图像掩膜在(i,j)位置的语义索引值。其中，该基本权重的具体大小可凭主观经验设定或者通过统计学方法测量得到。
步骤S1022、根据显著度信息和对应的预定义权重计算得到每个像素点的显著度权重。
在一个实施例中，显著度信息包括信息提取得到的每个像素点的灰度值，可选的，该灰度值可以是归一化后的数值，取值范围为0至1，可选的取值0代表“最容易忽略”，取值1代表“最感兴趣”。预定义权重包括预定义最小权重值和预定义最大权重值，示例性的预定义最小权重值记为ωmin，预定义最大权重值记为ωmax。可选的，根据显著度信息和对应的预定义权重计算得到每个像素点的显著度权重，包括：基于预定义最小权重值和预定义最大权重值计算每个像素点的灰度值的线性差值得到每个像素点的显著度权重。示例性的，显著度权重记为Wsa(i,j)，则Wsa(i,j)＝(ωmax-ωmin)psa(i,j)+ωmin，其中，psa(i,j)表示图像掩膜在(i,j)位置的灰度值。其中，该预定义最大权重值和预定义最小权重值的具体大小可凭主观经验设定或者通过统计学方法测量得到。
步骤S1023、根据每个像素点的语义权重以及对应的显著度权重计算得到每个像素点的像素权重。
在一个实施例中，确定每个像素点的语义权重以及对应的显著度权重后，计算得到最终的像素权重的方式可以是：将每个像素点的语义权重与对应的显著度权重的乘积确定为像素点的像素权重。示例性的，语义权重记为Wse(i,j)，显著度权重记为Wsa(i,j)，在(i,j)位置的像素点的像素权重也即总权重记为W(i,j)，则W(i,j)＝Wse(i,j)*Wsa(i,j)。
步骤S103、基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。
在一个实施例中，在基于语义信息和显著度信息确定出像素权重后，将该像素权重与客观图像质量评价方法结合以计算得到最终的图像质量信息。可选的，该客观图像质量评价方法可以是PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)算法、SSIM(Structural SIMilarity，结构相似性)算法或VMAF(Video Multime Assessment Fusion，视频多媒体评估融合)算法等。
在一个实施例中，基于像素权重以及原始图像和失真图像对应像素点的像素值计算得到图像质量信息，即在进行相对于原始图像的失真图像的失真程度进行定量化计算是，结合像素权重进行计算得到图像质量信息，使得最终结算结果在满足客观性要求的前提下，更加符合人眼主观感受。
由上述方案可知，通过获取失真图像以及对应的原始图像，对原始图像进行信息提取得到语义信息和显著度信息，根据语义信息和显著度信息确定每个像素点的像素权重，基于像素权重以及原始图像和失真图像对应像素点的像素值计算得到图像质量信息，提高了图像质量评价的准确度，在进行图像质量评价时，引入注意力机制使得最终确定出的图像质量评价结果在满足客观性要求的前提下，更加符合人眼主观感受。
图3为本申请实施例提供的另一种图像质量确定方法的流程图，给出了一种具体的对原始图像进行信息提取得到语义信息和显著度信息的方法，如图3所示，包括：
步骤S201、获取失真图像以及对应的原始图像，通过训练的双分支结构的卷积神经网络对原始图像进行信息提取得到语义信息和显著度信息。
在一个实施例中，通过神经网络模型对原始图像进行信息提取得到语义信息和显著度信息。其中，具体使用双分支结构的卷积神经网络，其中通过一个分支提取得到语义信息，另一个分支提取得到显著度信息。其中，对原始图像进行信息提取得到语义信息的示意图如图4所示，图4为本申请实施例提供的一种信息提取得到语义信息的图示示意图；对原始图像进行信息提取得到显著度信息的示意图如图5所示，图5为本申请实施例提供的一种信息提取得到显著度信息的图示示意图。
步骤S202、根据所述语义信息和所述显著度信息确定每个像素点的像素权重。
步骤S203、基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。
由上述可知，在进行图像质量确定时，通过训练的双分支结构的卷积神经网络对原始图像进行信息提取得到语义信息和显著度信息，使得得到的语义信息和显著度信息的精确度更高，合理性更强，使得最终得到的图像质量信息，在满足客观性要求的前提下，可以明显的更加符合人眼主观感受。
图6为本申请实施例提供的另一种图像质量确定方法的流程图，给出了一种具体的双分支网络架构实现语义信息和显著性信息提取的过程，如图6所示，包括：
步骤S301、获取失真图像以及对应的原始图像。
步骤S302、通过卷积神经网络的语义分支对所述原始图像进行语义信息提取得到语义信息，所述语义分支使用全局池化作为特征权重因子，每一层网络的通道数小于预设通道数。
在一个实施例中，该语义分支具有较少的特征通道数和较深的层数，利于提取图像的语义上下文信息。其中，由于语义分支只需要大的感受野就能够捕获图像的语义上下文特征，因此语义分支采用轻量级的结构设计，每一层的通道数很少，随着层级深入，特征图进行快速的下采样。此外，为了进一步扩大感受野，其使用了全局池化作为特征权重因子。其中，该预设通道数可以是1或2。
步骤S303、通过卷积神经网络的细节分支对所述原始图像进行显著度信息提取得到显著度信息，所述细节分支的网络层级数小于预设层级数。
其中，该细节分支具有较多的特征通道数和较浅的层数，用以捕获图像的空域细节信息，例如纹理、边缘等。细节分支的主要用于提取图像空域细节信息，采用较浅的层级数，较丰富的特征数和大分辨率。具体的，其包含有3个阶段，每个阶段由若干个卷积层、批量归一化、激活函数的级联构成。每个阶段的第一层卷积的步长为2，其它层具有相同的卷积核数量。该细节分支的输出特征图尺寸为源尺寸的1/8。示例性的，该预设层级数可以是4层、5层或6层。
步骤S304、通过卷积神经网络的融合层对所述语义信息和所述显著度信息进行融合得到包含更新后的语义信息和显著度信息的语义信息图。
在一个实施例中，在得到语义分支和细节分支分别输出的语义信息和显著度信息后，进一步的通过融合层进行融合处理。细节分支和语义分支输出的特征为互补的特征，经过融合层得到更加复杂、精确的特征表达，以使得更新后的语义信息和显著度信息准确度更高。示例性的，在显著度区域中也即用户人眼感兴趣的区域，语义信息表征的不同物体类别的权重为：人脸的基本权重1、头发的基本权重0.9、麦克风的基本权重0.7、椅子的基本权重0.6；在非显著度区域中也即用户人眼不感兴趣的区域，人脸的基本权重0.5、头发的基本权重0.4、麦克风的基本权重0.3、椅子的基本权重0.3。
步骤S305、根据更新后的语义信息和显著度信息确定每个像素点的像素权重。
其中，具体的基于更新后的语义信息和显著度信息确定每个像素点的像素权重的方式参见前述基于语义信息和显著度信息确定每个像素点的像素权重的方式，此处不再赘述。
步骤S306、基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。
由上述可知，在进行图像质量确定时，通过分别特殊设置的分支结构，即通过卷积神经网络的语义分支对原始图像进行语义信息提取得到语义信息，通过卷积神经网络的细节分支对原始图像进行显著度信息提取得到显著度信息，实现了更加精确的有针对性的信息提取，同时经过融合层得到更加复杂准确的特征表达，使得最终得到的图像质量信息在满足客观性要求的前提下，更加符合人眼主观感受。
在上述技术方案的基础上，使用的卷积神经网络进一步包括辅助分割头结点以提升训练时的收敛速度。具体的，通过将辅助分割头插入到各个分支的不同位置，以通过调整辅助分割头的计算复杂度以及对应的主分割头来进行不同维度的通道控制，实现训练时的快速收敛。
图7为本申请实施例提供的另一种图像质量确定方法的流程图，给出了一种具体的计算得到图像质量信息的过程，如图7所示，包括：
步骤S401、获取失真图像以及对应的原始图像，对所述原始图像进行信息提取得到语义信息和显著度信息。
步骤S402、根据所述语义信息和所述显著度信息确定每个像素点的像素权重。
步骤S403、基于所述像素权重计算所述失真图像和所述原始图像的均方误差，将所述均方误差代入峰值信噪比公式计算得到图像质量信息。
在一个实施例中，以将得到的像素权重与PSNR算法结合计算为例进行说明。示例性的，以原始图像和对应的失真图像尺寸大小为(m,n)为例，I为原始图像，K为失真图像，i、j表示图像某像素的坐标位置，首先计算得到基于权重的均方误差WMSE，再归一化计算得到的基于权重的图像质量信息WPSNR，计算方式为：
Figure BDA0003543292950000091
Figure BDA0003543292950000092
由上述可知，相比于传统的PSNR对各个像素的误差采用平等的权重(即上述公式中W(i,j)取值为1)，WPSNR通过挖掘图像的语义和显著度特征，采用自适应的权重策略，引入了注意力机制，因此更加符合人眼主观感受。通过实验数据进行对比发现，使用本方案计算得到的WPSNR作为图像评价指标的方式相较于其它客观图像质量评价算法PSNR、SSIM、VMAF更优，具体参见下表：
WPSNR PSNR SSIM VMAF
Pearson系数 55％ 10％ 15％ 20％
Spearman系数 70％ 5％ 15％ 10％
上表中的百分比表示在一批普通直播场景视频中，当前评价方法与MOS数据的相关系数(Pearson系数或Spearman系数)最高的情况所占的比例。可以看出WPSNR明显优于其它评价方法。
图8为本申请实施例提供的一种图像质量确定装置的结构框图，该装置用于执行上述实施例提供的图像质量确定方法，具备执行方法相应的功能模块和有益效果。如图8所示，该装置具体包括：图像获取模块101、信息提取模块102、权重计算模块103和图像质量计算模块104，其中，
图像获取模块101，配置为获取失真图像以及对应的原始图像；
信息提取模块102，配置为对所述原始图像进行信息提取得到语义信息和显著度信息；
权重计算模块103，配置为根据所述语义信息和所述显著度信息确定每个像素点的像素权重；
图像质量计算模块104，配置为基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。
由上述方案可知，通过获取失真图像以及对应的原始图像，对原始图像进行信息提取得到语义信息和显著度信息，根据语义信息和显著度信息确定每个像素点的像素权重，基于像素权重以及原始图像和失真图像对应像素点的像素值计算得到图像质量信息，提高了图像质量评价的准确度，使得最终确定出的图像质量评价结果在满足客观性要求的前提下，更加符合人眼主观感受。
在一个可能的实施例中，所述权重计算模块103配置为：
根据所述语义信息和对应的基本权重确定每个像素点的语义权重；
根据所述显著度信息和对应的预定义权重计算得到每个像素点的显著度权重；
根据每个像素点的语义权重以及对应的显著度权重计算得到每个像素点的像素权重。
在一个可能的实施例中，所述语义信息包括信息提取得到的每个像素点的语义索引值，不同的语义索引值对应不同的物体类别，所述权重计算模块103配置为：
确定每个像素点的语义索引值；
将每个像素点的语义索引值对应的基本权重确定为语义权重。
在一个可能的实施例中，所述显著度信息包括信息提取得到的每个像素点的灰度值，所述预定义权重包括预定义最小权重值和预定义最大权重值，所述权重计算模块103配置为：
基于所述预定义最小权重值和所述预定义最大权重值计算每个像素点的灰度值的线性差值得到每个像素点的显著度权重。
在一个可能的实施例中，所述权重计算模块103配置为：
将每个像素点的语义权重与对应的显著度权重的乘积确定为像素点的像素权重。
在一个可能的实施例中，所述信息提取模块102配置为：
通过训练的双分支结构的卷积神经网络对所述原始图像进行信息提取得到语义信息和显著度信息。
在一个可能的实施例中，所述信息提取模块102配置为：
通过卷积神经网络的语义分支对所述原始图像进行语义信息提取得到语义信息，所述语义分支使用全局池化作为特征权重因子，每一层网络的通道数小于预设通道数；
通过卷积神经网络的细节分支对所述原始图像进行显著度信息提取得到显著度信息，所述细节分支的网络层级数小于预设层级数；
通过卷积神经网络的融合层对所述语义信息和所述显著度信息进行融合得到包含更新后的语义信息和显著度信息的语义信息图。
在一个可能的实施例中，所述图像质量计算模块104配置为：
基于所述像素权重计算所述失真图像和所述原始图像的均方误差；
将所述均方误差代入峰值信噪比公式计算得到图像质量信息。
图9为本申请实施例提供的一种图像质量确定设备的结构示意图，如图9所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图9中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图9中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的图像质量确定方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像质量确定方法。输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种上述实施例描述的图像质量确定方法，其中，包括：
获取失真图像以及对应的原始图像，对所述原始图像进行信息提取得到语义信息和显著度信息；
根据所述语义信息和所述显著度信息确定每个像素点的像素权重；
基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。
值得注意的是，上述图像质量确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请实施例的保护范围。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的图像质量确定方法。所述程序产品可以采用一个或多个可读介质的任意组合实现。

Claims (12)

1.图像质量确定方法，其特征在于，包括：
获取失真图像以及对应的原始图像，对所述原始图像进行信息提取得到语义信息和显著度信息；
根据所述语义信息和所述显著度信息确定每个像素点的像素权重；
基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。
2.根据权利要求1所述的图像质量确定方法，其特征在于，所述根据所述语义信息和所述显著度信息确定每个像素点的像素权重，包括：
根据所述语义信息和对应的基本权重确定每个像素点的语义权重；
根据所述显著度信息和对应的预定义权重计算得到每个像素点的显著度权重；
根据每个像素点的语义权重以及对应的显著度权重计算得到每个像素点的像素权重。
3.根据权利要求2所述的图像质量确定方法，其特征在于，所述语义信息包括信息提取得到的每个像素点的语义索引值，不同的语义索引值对应不同的物体类别，所述根据所述语义信息和对应的基本权重确定每个像素点的语义权重，包括：
确定每个像素点的语义索引值；
将每个像素点的语义索引值对应的基本权重确定为语义权重。
4.根据权利要求2所述的图像质量确定方法，其特征在于，所述显著度信息包括信息提取得到的每个像素点的灰度值，所述预定义权重包括预定义最小权重值和预定义最大权重值，所述根据所述显著度信息和对应的预定义权重计算得到每个像素点的显著度权重，包括：
基于所述预定义最小权重值和所述预定义最大权重值计算每个像素点的灰度值的线性差值得到每个像素点的显著度权重。
5.根据权利要求2所述的图像质量确定方法，其特征在于，所述根据每个像素点的语义权重以及对应的显著度权重计算得到每个像素点的像素权重，包括：
将每个像素点的语义权重与对应的显著度权重的乘积确定为像素点的像素权重。
6.根据权利要求1-5中任一项所述的图像质量确定方法，其特征在于，所述对所述原始图像进行信息提取得到语义信息和显著度信息，包括：
通过训练的双分支结构的卷积神经网络对所述原始图像进行信息提取得到语义信息和显著度信息。
7.根据权利要求6所述的图像质量确定方法，其特征在于，所述通过训练的双分支结构的卷积神经网络对所述原始图像进行信息提取得到语义信息和显著度信息，包括：
通过卷积神经网络的语义分支对所述原始图像进行语义信息提取得到语义信息，所述语义分支使用全局池化作为特征权重因子，每一层网络的通道数小于预设通道数；
通过卷积神经网络的细节分支对所述原始图像进行显著度信息提取得到显著度信息，所述细节分支的网络层级数小于预设层级数；
通过卷积神经网络的融合层对所述语义信息和所述显著度信息进行融合得到包含更新后的语义信息和显著度信息的语义信息图。
8.根据权利要求1-5中任一项所述的图像质量确定方法，其特征在于，所述基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息，包括：
基于所述像素权重计算所述失真图像和所述原始图像的均方误差；
将所述均方误差代入峰值信噪比公式计算得到图像质量信息。
9.图像质量确定装置，其特征在于，包括：
图像获取模块，配置为获取失真图像以及对应的原始图像；
信息提取模块，配置为对所述原始图像进行信息提取得到语义信息和显著度信息；
权重计算模块，配置为根据所述语义信息和所述显著度信息确定每个像素点的像素权重；
图像质量计算模块，配置为基于所述像素权重以及所述原始图像和所述失真图像对应像素点的像素值计算得到图像质量信息。
10.一种图像质量确定设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-8中任一项所述的图像质量确定方法。
11.一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行权利要求1-8中任一项所述的图像质量确定方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的图像质量确定方法。
CN202210238500.3A 2022-03-11 2022-03-11 图像质量确定方法、装置、设备和存储介质 Pending CN114596287A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210238500.3A CN114596287A (zh) 2022-03-11 2022-03-11 图像质量确定方法、装置、设备和存储介质
PCT/CN2023/079505 WO2023169318A1 (zh) 2022-03-11 2023-03-03 图像质量确定方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210238500.3A CN114596287A (zh) 2022-03-11 2022-03-11 图像质量确定方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114596287A true CN114596287A (zh) 2022-06-07

Family

ID=81808691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210238500.3A Pending CN114596287A (zh) 2022-03-11 2022-03-11 图像质量确定方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN114596287A (zh)
WO (1) WO2023169318A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169318A1 (zh) * 2022-03-11 2023-09-14 百果园技术(新加坡)有限公司 图像质量确定方法、装置、设备和存储介质
CN117726571A (zh) * 2023-04-27 2024-03-19 书行科技(北京)有限公司 无参考质量评分方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923703B (zh) * 2010-08-27 2012-09-05 北京工业大学 基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法
CN104574381B (zh) * 2014-12-25 2017-09-29 南京邮电大学 一种基于局部二值模式的全参考图像质量评价方法
US9779492B1 (en) * 2016-03-15 2017-10-03 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN107967480B (zh) * 2016-10-19 2020-06-30 北京联合大学 一种基于标签语义的显著对象提取方法
CN114596287A (zh) * 2022-03-11 2022-06-07 百果园技术(新加坡)有限公司 图像质量确定方法、装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169318A1 (zh) * 2022-03-11 2023-09-14 百果园技术(新加坡)有限公司 图像质量确定方法、装置、设备和存储介质
CN117726571A (zh) * 2023-04-27 2024-03-19 书行科技(北京)有限公司 无参考质量评分方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023169318A1 (zh) 2023-09-14

Similar Documents

Publication Publication Date Title
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN108090902B (zh) 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
WO2023169318A1 (zh) 图像质量确定方法、装置、设备和存储介质
Yue et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry
CN112818969B (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN110751612A (zh) 多通道多尺度卷积神经网络的单幅图像去雨方法
CN109872305A (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN114612714B (zh) 基于课程学习的无参考图像质量评价方法
CN109859166A (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN109685772A (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
CN114125495A (zh) 视频质量评估模型训练方法、视频质量评价方法和装置
Wang et al. Distortion recognition for image quality assessment with convolutional neural network
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN113222902B (zh) 一种无参考图像质量评价方法及系统
CN108492275B (zh) 基于深度神经网络的无参考立体图像质量评价方法
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images
CN106022362A (zh) 针对jpeg2000压缩失真的无参考图像质量客观评价方法
CN106210710A (zh) 一种基于多尺度字典的立体图像视觉舒适度评价方法
Yang et al. No-reference image quality assessment focusing on human facial region
Yan et al. Blind image quality assessment based on natural redundancy statistics
CN110136098B (zh) 一种基于深度学习的线缆顺序检测方法
CN114785978A (zh) 一种面向视频会议的视频图像质量确定方法
CN114821146A (zh) 一种基于增强的弱监督细粒度阿尔兹海默症分类方法
Xiang et al. Quality-distinguishing and patch-comparing no-reference image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination