CN114926459A - 图像质量评价方法、系统及计算机可读介质 - Google Patents

图像质量评价方法、系统及计算机可读介质 Download PDF

Info

Publication number
CN114926459A
CN114926459A CN202210706575.XA CN202210706575A CN114926459A CN 114926459 A CN114926459 A CN 114926459A CN 202210706575 A CN202210706575 A CN 202210706575A CN 114926459 A CN114926459 A CN 114926459A
Authority
CN
China
Prior art keywords
image
quality evaluation
input image
map
evaluation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210706575.XA
Other languages
English (en)
Other versions
CN114926459B (zh
Inventor
孙荣荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Measurement and Testing Technology
Original Assignee
Shanghai Institute of Measurement and Testing Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Measurement and Testing Technology filed Critical Shanghai Institute of Measurement and Testing Technology
Priority to CN202210706575.XA priority Critical patent/CN114926459B/zh
Publication of CN114926459A publication Critical patent/CN114926459A/zh
Application granted granted Critical
Publication of CN114926459B publication Critical patent/CN114926459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像质量评价方法、系统及计算机可读介质。该图像质量评价方法包括：构建基于稀疏表示的机器学习模型，机器学习模型接收输入图像，输入图像被分割为多个图像块，机器学习模型输出每个图像块的图像块质量分数；构建相位一致性注意力模块，相位一致性注意力模块根据输入图像生成相位一致性注意力地图；根据人眼视觉掩盖特性构建恰可识别失真阈值模块，恰可识别失真阈值模块根据输入图像生成JND阈值权重地图；融合相位一致性注意力地图和JND阈值权重地图，获得人眼综合视觉权重地图；根据人眼综合视觉权重地图与图像块质量分数获得输入图像的质量评价分值。本发明基于稀疏表示和人眼综合注意力机制对COVID‑19低剂量CT图像进行质量评价。

Description

图像质量评价方法、系统及计算机可读介质
技术领域
本发明主要涉及图像处理领域，具体地涉及一种图像质量评价方法、系统及计算机可读介质。
背景技术
新型冠状病毒肺炎(COVID-19)肺部CT图像在COVID-19的诊断治疗中发挥着重要作用，官方出台的几版诊疗方案中都把肺部CT影像学检查作为诊断标准之一，COVID-19的治疗计划制订与疗效评估也离不开肺部CT图像。
过量的X射线照射会增加癌症、遗传病以及白血病的发病率，且辐射的剂量会在病人体内累积，所以控制辐射剂量以获得低剂量CT(Low-Dose CT，LDCT)图像具有重要意义。为了降低病人CT扫描时的辐射剂量，采用了低剂量CT的扫描方法，但采用此方法必然伴随着CT图像质量的下降，LDCT图像易产生斑点噪声、条形伪影和环状伪影等，会显著影响医生对COVID-19的诊断结果，有可能造成医生诊疗失误。如因图像质量问题发生漏诊将延误病人治疗，危及病人生命，若发生误诊，如将没病的病人诊断为有病或对病灶类型错判，将增加病人经济和心理负担甚者延误治疗。因此以临床诊断治疗需求为导向，评价 COVID-19的LDCT图像质量至关重要，基于此，可以筛选出质量不合格的LDCT 图像，并在保证CT图像质量的前提下合理地降低扫描剂量，保障COVID-19临床诊疗质量。CT图像质量评价(ImageQuality Assessment，IQA)还可指导优化扫描序列和参数、图像重建、传输、压缩、获取、增强、硬件设计等方面，提高图像质量。
IQA方法分为主观评价和客观评价两大类，主观质量评价耗时长、成本高、影响因素多、重复性差而无法大规模推广。目前，对LDCT图像质量的评价仍需医生通过目测完成，十分依赖医生的水平和经验，主观性强、重复性差且工作量大。为解决此问题，需要基于人眼视觉系统(Human Visual System，HVS)特性研究 LDCT图像质量客观评价方法，但医学图像复杂多样、对HVS的认识模拟不深入、缺少参考图像等问题成为巨大挑战。因此利用数学模型和计算机理论模拟HVS主观评价的客观IQA应运而生，其通过计算机技术建立合理的数学模型，对图像的逼真度、失真程度或可懂度进行自动且准确的评价，有利于提高IQA的客观性、重复性与一致性。客观IQA根据参考图像信息的可利用率分为全参考 (Full-Reference，FR)、半参考(Reduced-Reference，RR)和无参考图像质量评价 (No-Reference，NR)方法。NR的IQA分为针对特定失真类型的模型和通用型的模型，临床实际上CT图像通常没有参考图像，且往往面临非特定类型的多重失真，因此研究通用型的无参考IQA模型具有理论和实用价值，但其所获得的质量评价结果与预期目标还有一定距离，因此仍有较大的改进空间。
人眼是图像的最终接受者，探究HVS的感知特性并模拟其感知过程在图像处理领域具有重要理论和实用价值。HVS不仅仅是简单的光学成像处理系统，同时还涉及到生物学、解剖学、心理物理学、神经生理学等多方面知识，是高度复杂的智能信息处理系统，然而目前对HVS的认识还处于非常初级的阶段，如何模仿 HVS的特性去设计有效的客观IQA方法，使其尽可能与人类质量主观评价结果一致成为研究的难点。
基于机器学习的方法在IQA领域有一定应用，但仍然存在无法很好地模拟人眼视觉特性的问题，在无参考图像信息的情况下，IQA效果不佳。
发明内容
本申请所要解决的技术问题是提供一种图像质量评价方法、系统及计算机可读介质，基于稀疏表示和人眼综合注意力机制对低剂量CT图像进行图像质量评价。
本申请为解决上述技术问题而采用的技术方案是一种图像质量评价方法，包括：构建基于稀疏表示的机器学习模型，机器学习模型用于接收输入图像，输入图像被分割为多个图像块，机器学习模型还用于输出每个图像块的图像块质量分数；构建相位一致性注意力模块，相位一致性注意力模块用于根据输入图像生成相位一致性注意力地图；根据人眼视觉掩盖特性构建恰可识别失真阈值模块，恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图；融合相位一致性注意力地图和JND阈值权重地图，获得人眼综合视觉权重地图；根据人眼综合视觉权重地图与图像块质量分数获得输入图像的质量评价分值。
在本申请的一实施例中，机器学习模型用于接收输入图像，输入图像被分割为多个图像块，机器学习模型还用于输出每个图像块的图像块质量分数的步骤包括：机器学习模型接收输入图像；将输入图像分割为不重叠的大小相同的多个图像块；根据多个图像块计算超完备字典；将图像块输入超完备字典得到图像块特征，图像块特征包括图像块的稀疏表示；用支持向量回归算法处理图像块特征，得到图像块质量分数。
在本申请的一实施例中，根据多个图像块计算超完备字典的步骤包括：采用下面的公式计算超完备字典C：C＝argmin||X–SC||+λ||S||1，其中，X为图像块的向量化表示，S为图像块的稀疏表示，||.||1为l1范数，λ表示稀疏惩罚项。
在本申请的一实施例中，图像块特征还包括标准差、偏度、峰度和熵；标准差用于表示图像块的稀疏表示的分散程度；偏度用于表示稀疏表示的取值分布的对称性；峰度用于表示稀疏表示的取值分布的形态陡缓程度；熵用于表示稀疏表示的不规则性和复杂性。
在本申请的一实施例中，相位一致性注意力模块用于根据输入图像生成相位一致性注意力地图的步骤包括：采用下面的公式计算相位一致性注意力地图PC2：
Figure BDA0003705621170000031
Figure BDA0003705621170000032
其中，x为输入图像的坐标，W(x)为度量频率的延展范围，An为输入图像的第n个傅里叶分量的幅值，T为噪声水平的评估，ε为非零常数，
Figure BDA0003705621170000033
为对相位变化敏感的度量，
Figure BDA0003705621170000034
为输入图像的坐标x的第n个傅里叶分量的相位，
Figure BDA0003705621170000035
为输入图像的坐标x的平均相位。
在本申请的一实施例中，恰可识别失真阈值模块用于根据输入图像生成JND 阈值权重地图的步骤包括：将输入图像分解为结构图像和纹理图像；分别计算结构图像的结构图像对比度掩盖和纹理图像的纹理图像对比度掩盖；采用下面的公式计算对比度掩盖：CM＝pSM+qTM，其中，CM表示对比度掩盖，SM表示结构图像对比度掩盖，TM表示纹理图像对比度掩盖，0≤q≤1，0≤p≤1,q+p＝1,设置q 大于p。
在本申请的一实施例中，图像质量评价方法采用下面的公式计算纹理图像对比度掩盖：
Figure BDA0003705621170000041
其中，TM表示纹理图像对比度掩盖，(i,j)表示纹理图像对比度掩盖的坐标，TI表示纹理图像，(x，y) 表示纹理图像的像素坐标。
在本申请的一实施例中，将输入图像分解为结构图像和纹理图像的步骤包括：将输入图像和卷积掩膜算子进行卷积操作得到纹理图像；用输入图像减去纹理图像得到结构图像。
在本申请的一实施例中，卷积掩膜算子包括方向算子、条状伪影算子、斑点噪声算子和环状伪影算子；条状伪影算子、斑点噪声算子和环状伪影算子分别对应于低剂量CT图像中的条状伪影、斑点噪声和环状伪影。
在本申请的一实施例中，恰可识别失真阈值模块用于根据输入图像生成JND 阈值权重地图的步骤还包括：计算输入图像的二维对比度敏感函数，包括：采用快速傅里叶变换将输入图像变换到空间频率域；采用一维对比度敏感函数给空间频率系数分配不同的权重，得到基于一维对比度敏感函数权重的空间频率系数；以及采用快速反傅里叶变换将基于对比度敏感函数权重的空间频率系数变换回空间域，获得二维对比度敏感函数。
在本申请的一实施例中，恰可识别失真阈值模块用于根据输入图像生成JND 阈值权重地图的步骤还包括：计算输入图像的亮度适应性；将对比度掩盖、二维对比度敏感函数和亮度适应性组合后，得到JND阈值地图。
在本申请的一实施例中，图像质量评价方法采用下面的公式计算JND阈值地图：JND＝LA+CM+CSF-p×min(LA，CM，CSF)，其中，JND表示JND阈值地图，LA表示亮度适应性，CM表示对比度掩盖，CSF表示二维对比度敏感函数，p为增益衰减因子用于补偿各掩盖之间的重叠，p为小于1的非零正数。
在本申请的一实施例中，图像质量评价方法还包括采用1-sigmoid函数对JND 阈值地图进行计算，获得JND阈值权重地图，以使JND阈值地图中JND小的区域对应大的权重，JND大的区域对应小的权重。
在本申请的一实施例中，根据人眼综合视觉权重地图与图像块质量分数获得输入图像的质量评价分值的步骤包括：获取输入图像的每个图像块对应位置的人眼综合视觉权重地图的平均值；将每个图像块的平均值作为每个图像块的人眼综合视觉权重，对每个图像块的人眼综合视觉权重进行归一化，得到归一化后的每个图像块的人眼综合视觉权重；将归一化后的每个图像块的人眼综合视觉权重分别与对应的图像块质量分数相乘求和，得到输入图像的质量评价分值。
本发明为解决上述技术问题还提出一种图像质量评价系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现如上的图像质量评价方法。
本发明为解决上述技术问题还提出一种存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现如上的图像质量评价方法。
本申请的技术方案通过构建基于稀疏表示的机器学习模型，模拟人眼初级视觉皮层简单细胞感受野的空间局部性、方向性和带通性等特性，无监督地提取图像质量特征，并且模拟后续人眼视觉系统复杂细胞处理视觉信息的复杂机制，将生物建模和数学建模联系起来，挖掘图像质量特征和图像质量分数的内在规律；构建相位一致性注意力模块提取图像的点、角、线、边缘和纹理等特征，同时很好地克服了光线明暗所带来的纹理结构影响；构建恰可识别失真阈值模块较全面地考虑了亮度适应性、对比度掩盖和对比度敏感函数等的影响因素，更完善并接近人眼视觉特性；融合相位一致性注意力地图和JND阈值权重地图更好地模拟了人眼视觉系统特性；机器学习模型根据人眼综合视觉权重地图与图像块质量分数输出输入图像的质量评价分值，实现了能全面有效模拟人眼感知过程的通用型无参考图像质量评价模型，得到了与人类主观评价更一致的客观的图像质量评价分值。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
图1是本申请一实施例的图像质量评价方法的示例性流程图；
图2是本申请一实施例的图像质量评价方法的另一示例性流程图；
图3是本申请一实施例的图像质量评价方法中的恰可识别失真阈值模块内部执行步骤的示例性流程图；
图4是采用主观图像质量评价验证本申请一实施例的图像质量评价方法的示例性流程图；
图5是本申请一实施例的图像质量评价系统的系统框图。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本申请提出一种图像质量评价方法，可以用于对医学图像进行客观的定量分析。医学图像可以是低剂量CT(Low-Dose CT，LDCT)图像，尤其是肺部LDCT图像，医学图像还可以是其他组织器官(如肝脏、乳腺)和其他模态(如超声、 MRI)等的医学图像。本申请的图像质量评价方法基于稀疏表示和人眼综合注意力机制，通过模拟人眼视觉系统(HumanVisual System，HVS)特性并结合机器学习模型来进行COVID-19低剂量CT图像质量评价，为通用型无参考医学图像质量评价(Image Quality Assessment，IQA)提供新思路和新方法，可减轻医生工作量，保障新冠肺炎临床诊疗质量。本申请的理论和定量分析方法也可推广至更多应用领域，如优化扫描序列和参数、图像重建、传输、压缩、增强、硬件设计等，具有可延伸价值。
图1是本申请一实施例的图像质量评价方法的示例性流程图，参考图1所示，该实施例的图像质量评价方法包括以下步骤：
步骤S110：构建基于稀疏表示的机器学习模型，机器学习模型用于接收输入图像，输入图像被分割为多个图像块，机器学习模型还用于输出每个图像块的图像块质量分数。
步骤S120：构建相位一致性注意力模块，相位一致性注意力模块用于根据输入图像生成相位一致性注意力地图。
步骤S130：根据人眼视觉掩盖特性构建恰可识别失真阈值模块，恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图。
步骤S140：融合相位一致性注意力地图和JND阈值权重地图，获得人眼综合视觉权重地图。
步骤S150：根据人眼综合视觉权重地图与图像块质量分数获得输入图像的质量评价分值。
下面详细说明上述的步骤S110至步骤S150：
在步骤S110中，构建基于稀疏表示的机器学习模型，机器学习模型用于接收输入图像，输入图像被分割为多个图像块，机器学习模型还用于输出每个图像块的图像块质量分数。
稀疏表示也叫作稀疏编码，稀疏表示的目的在于利用给定的超完备字典，用超完备字典中元素的线性组合去表示样本，可以获得样本更为简洁的表示方式，从而更容易地获取样本中所蕴含的信息，方便进一步对样本进行加工处理，如压缩、编码等。机器学习用数据或以往的经验对计算机算法进行研究，机器学习模拟人类学习方式，将现有内容进行知识结构划分来有效提高学习效率。
示例性地，本申请采集COVID-19患者的LDCT图像，将图像分为训练图像和测试图像。训练图像用于生成超完备字典，本申请的方法最终根据测试图像输出测试图像的质量评价分值。本申请对输入图像的类型、格式、大小不做限制。需要注意的是，本申请的输入图像指的是原始的LDCT图像，在不特别指明输入图像的情况下，本说明书中所提到的一些图像指经机器学习模型处理后产生的中间过程的图像。图像质量评价分值为1—5分，分值越高表示图像质量越好。本申请对质量评价分值的数值和数值对应的意义，或是质量评价分值的表示方式不作限制。
图2是本申请一实施例的图像质量评价方法的另一示例性流程图。
示例性地，参考图2所示，在步骤S210获得训练图像，训练图像例如是肺部 LDCT图像。在步骤S211将每个训练图像分割为多个图像块。在步骤S212将每个图像块转换为一个一维向量，并将多个一维向量组合成训练图像的图像块矩阵。在步骤S213求解训练图像的图像块矩阵的字典表示，也即获得超完备字典。在步骤 S214所获得的是将每个训练图像的图像块输入到超完备字典中所求得的稀疏表示系数。
在步骤S220获得测试图像，测试图像例如是肺部LDCT图像。在步骤S221 将每个测试图像分割为多个图像块。在步骤S222将每个图像块转换为一个一维向量，并将多个一维向量组合成测试图像的图像块矩阵。在步骤S213还包括将测试图像的图像块矩阵输入到超完备字典中，并在步骤S214获得测试图像的图像块的稀疏表示系数。
在步骤S215，首先采用训练图像的稀疏表示系数训练支持向量机的参数，得到训练好的支持向量机，再将测试图像的稀疏表示系数输入到该训练好的支持向量机中，在步骤S216获得测试图像中每个图像块的质量分值。
继续参考图2所示，在步骤S223计算测试图像的相位一致性注意力地图；在步骤S224计算测试图像的JND阈值权重地图；在步骤S225融合相位一致性注意力地图和JND阈值权重地图获得人眼综合视觉权重地图；之后，将人眼综合视觉权重地图与步骤S216中对应于测试图像的每个图像块的质量分值进行融合，即为每个图像块分配一个权重，从而在步骤S230获得该测试图像的质量分值。
下面详细说明生成超完备字典、获得图像的稀疏表示以及获得图像的图像块质量分数，对于图2中的其他步骤将在后文进行说明。
在一些实施例中，该步骤S110中的机器学习模型用于接收输入图像，输入图像被分割为多个图像块，机器学习模型还用于输出每个图像块的图像块质量分数的步骤包括：
步骤S111：机器学习模型接收输入图像。该步骤S111对应图2的步骤S210，或者图2的步骤S220。
步骤S112：将输入图像分割为不重叠的大小相同的多个图像块。该步骤S112 对应图2的步骤S211，或者图2的步骤S221。
步骤S113：根据多个图像块计算超完备字典。该步骤S113依次对应图2的步骤S212、步骤S213。
步骤S114：将图像块输入超完备字典得到图像块特征，图像块特征包括图像块的稀疏表示。该步骤S114依次对应图2的步骤S222、步骤S213、步骤S214。
步骤S115：用支持向量回归算法处理图像块特征，得到图像块质量分数。该步骤S115依次对应图2的步骤S215、步骤S216。
在步骤S111中，示例性地，机器学习模型接收的输入图像包括低剂量CT 图像。
在步骤S112中，参考图2所示，示例性地，输入图像包括训练图像和测试图像，对低剂量CT训练图像I,考虑到人眼视觉细胞感受野的空间局部性，首先将训练图像分割成不重叠的w×h大小的图像块，统一且随机地从每张训练图像I采样N个不同的w×h大小的图像块，每个图像块代表图像的局部结构，对 M张训练图像，共采样N×M个图像块，然后将训练图像的每个图像块向量化并作为矩阵XTrain的行向量，XTrain＝[x1,x2,...,xN×M]，其中xk∈RD,D＝w×h。对 XTrain的每个行向量进行归一化和ZCA(Zero Components Analysis)白化去相关之后，XTrain作为本申请求解超完备字典的学习矩阵。
采用下面的公式(1)来学习字典C：
C＝argmin||XTrain–SC||2+λ||S||0 (1)
其中，字典C＝[c1,c2,…,cK]T∈RK×D,K为字典中基向量的数目，在超完备字典中，K比信号的维数即D要大。S为XTrain在字典C上的稀疏表示。其中S 的每一个行向量表示第n个图像块的稀疏表示。此外,||.||0为l0范数，即向量中非零元素的数量，||S||0为S的l0范数，度量编码的稀疏程度，λ为稀疏惩罚函数，用于作为图像重建误差和稀疏度之间的平衡。求解公式(1)为NP题，但如果稀疏表示足够稀疏，可将l0范数转换为l1范数的凸最优化评价。由此，公式(1)可写为：
C＝argmin||X–SC||+λ||S||1 (2)
将此问题转换为非约束的最优化问题,通过公式(2)来学习超完备字典C。采用K-SVD算法来训练字典C，此算法可以找到能更好表达信号信息的基向量，同时满足稀疏约束。
在步骤S114中，参考图2所示，示例性地，由上述公式(2)获得超完备字典后，对COVID-19低剂量CT图像的测试图像，随机地从单张测试图像中采样N个不同的w×h大小的图像块(该步骤对应图2中的步骤S221)，然后将每个图像块向量化并作为矩阵XTest的行向量(该步骤对应图2中的步骤S222)， XTest∈RN×D,D＝w×h，XTest表示测试图像矩阵，在步骤S213将XTest输入已经学习好的超完备字典。在此，采用OMP(Orthogonal MatchingPursuit)算法，由公式(2)得到稀疏表示系数矩阵S′，S′＝[s1′,s2′,…,sN′]T∈RN×K，S′中的每个行向量sn′为第n个图像块的稀疏表示，即图像块特征。
在步骤S115中，用支持向量回归(Support Vector Regression,SVR)算法处理图像块特征，该步骤S115对应图2的步骤S215。
从神经信息的处理过程来看，视觉信息处理是极为复杂的，不是简单的线性组合。因此，采用机器学习中的支持向量回归来模拟HVS的复杂视觉过程。本申请将生物建模和数学建模相关联，即将神经元编码和稀疏表达联系起来, 输入SVR中的稀疏表示系数特征值对应于神经元细胞的“激发率”或激活强度，而支持向量回归SVR算法本身可以模拟视觉工作记忆检索提取、后续视皮层复杂细胞的信息处理过程，进而挖掘图像质量特征和图像质量分数的内在规律。
示例性地，COVID-19低剂量CT图像的测试图像中，对每张测试图像采样N个图像块，sn′为第n个图像块的稀疏表示，提取图像块特征后将图像块特征输入至预先训练好的SVR模型，得到N个图像块的质量分数。本申请对 N个图像块的质量分数取平均作为单张测试图像最终的质量分数。但是将每个图像块平等对待，忽视了人眼的注意力特性和视觉敏感性，而人眼对图像不同区域的关注度是不同的，可识别的失真也是有区别的，因此本申请引入人眼综合注意力机制，生成人眼综合视觉权重地图，为每个图像块赋予不同的权重，最终得到整幅测试图像的质量分值。关于生成人眼综合视觉权重地图的内容将在后文详细描述。
在一些实施例中，上述步骤S114和步骤S115中的图像块特征还包括标准差、偏度、峰度和熵；标准差用于表示图像块的稀疏表示的分散程度；偏度用于表示稀疏表示的取值分布的对称性；峰度用于表示稀疏表示的取值分布的形态陡缓程度；熵用于表示稀疏表示的不规则性和复杂性。
示例性地，在机器学习中，经常会碰到池化操作，通常用于降低输出的特征向量维数，池化操作具有一定的平移不变性，即使对图像进行了平移操作，最后输出的池化结果也不会有太大偏差。根据池化操作的平移不变性和可以降低特征维数的特点，在图像质量评价模型中，池化操作用于直接处理图像系数，并从中提取描述图像质量的特征。常见的池化操作有最大池化，最大池化以池化区域的最大值作为池化输出值，最大池化基于最坏的图像区域会影响人眼视觉对图像质量判断。
除最大池化外，本申请还挖掘了每个图像块的图像特征，包括上述的稀疏表示S′的稀疏表示系数的其他统计特性，如标准差、偏度、峰度、熵等特征，用稀疏表示系数的其他统计特性形成固定长度的特征向量，综合不同的统计特性来作为机器学习的输入。示例性地，标准差用来描述图像块在不同字典原子的稀疏表示的稀疏表示系数的分散程度；偏度用来描述稀疏表示的稀疏表示系数取值分布的对称性；峰度用来描述稀疏表示的稀疏表示系数取值分布形态陡缓的程度；根据熵的定义，随机变量取各个值的概率相等(均匀分布)时有极大值，在取某一个值的概率为1，取其他所有值的概率为0时有极小值，此时随机变量退化成某一必然事件或者说确定的变量，在此，熵用来描述稀疏表示的稀疏表示系数的不规则性和复杂性。
示例性地，可以利用池化操作和稀疏表示系数的其他统计特性，如标准差、偏度、峰度、熵等，来处理图像特征，对于这些方法可以择一使用，也可以根据需要组合使用，本申请不作限制。对于用统计特性获得的稀疏表示系数的固定长度的特征向量，特征向量的长度本申请不作限制。
在步骤S120中，构建相位一致性注意力模块，相位一致性注意力模块用于根据输入图像生成相位一致性注意力地图。该步骤S120对应图2中的步骤S223。
一些方法是基于灰度来实现注意力，与基于灰度实现注意力的方法不同，本申请通过计算图像的相位一致性来实现注意力机制，其检测到图像中的特征点能包含点、角、线、边缘、纹理等信息。利用相位一致性对图像进行检测具有如下优点：首先，相位一致性能检测出图像各个方向的阶跃、线、角等特征，这些特征和人眼注意力有高度重合性，同时相位一致性还能检测出大范围的特征，能很好地提取图像的纹理特征，而不仅仅只是图像的边缘部分；再者，相位一致性对图像的亮度、对比度不敏感，可以很好地克服光线明暗所带来的对纹理结构的影响，尤其在图像边缘对比度比较低时可以保留边缘信息，因此相位一致性的方法很适合用来处理COVID-19LDCT图像。
在一些实施例中，该步骤S120中的相位一致性注意力模块用于根据输入图像生成相位一致性注意力地图的步骤包括：
步骤S122：采用下面的公式(3)和公式(4)计算相位一致性注意力地图 PC2：
Figure BDA0003705621170000121
Figure BDA0003705621170000122
其中，x为输入图像的坐标，W(x)为度量频率的延展范围，An为输入图像的第n个傅里叶分量的幅值，T为噪声水平的评估，ε为非零常数，
Figure BDA0003705621170000123
为对相位变化敏感的度量，
Figure BDA0003705621170000124
为输入图像的坐标x的第n个傅里叶分量的相位，
Figure BDA0003705621170000125
为输入图像的坐标x的平均相位。
在步骤S122中，采用公式(3)和公式(4)来计算相位一致性注意力地图很好地考虑到了噪声补偿。在得到测试图像的相位一致性注意力地图PC2后，将该相位一致性注意力地图视为人眼注意力权重地图。
结合图2，前述步骤S120中的相位一致性注意力模块用于在图2的步骤S223 中得到测试图像的相位一致性注意力地图。
在步骤S130中，根据人眼视觉掩盖特性构建恰可识别失真阈值模块，恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图。结合图2，该恰可识别失真阈值模块用于在图2的步骤S224中计算JND阈值权重地图。
图3是本申请一实施例的图像质量评价方法中的恰可识别失真阈值模块内部执行步骤的示例性流程图。
需要说明，图3示出的恰可识别失真阈值模块内部执行步骤的示例性流程图，与图2中的步骤S224相对应，可以理解，图2中的步骤S224的内部执行步骤在图3中详细示出。
示例性地，参考图3所示，根据人眼视觉掩盖特性，恰可识别失真阈值模块综合考虑亮度适应性(Luminance Adaption，LA)、对比度掩盖(Contrast Masking， CM)和对比度敏感函数(Contrast Sensitivity Function，CSF)的影响。在图3 中，恰可识别失真阈值模块为计算JND阈值包括三个分支路径，第一个分支路径是：从步骤S301到步骤S310，根据输入图像获得LA；第二个分支路径是：从步骤S301到步骤S325：根据输入图像获得CM；第三个分支路径是：从步骤S301 到步骤S333：根据输入图像获得二维CSF；恰可识别失真阈值模块在步骤S302将 LA、CM和二维CSF组合后，最终获得综合的JND阈值，即JND阈值地图。下文将对图3中，LA、CM和二维CSF获得的过程进行详细说明。
在一些实施例中，该步骤S130中的恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图的步骤包括：
步骤S1312：将输入图像分解为结构图像和纹理图像。该步骤可以对应于图3 中的步骤S320。
步骤S1314：分别计算结构图像的结构图像对比度掩盖和纹理图像的纹理图像对比度掩盖。
步骤S1316：采用下面的公式(5)计算对比度掩盖：
CM＝pSM+qTM (5)
其中，CM表示对比度掩盖，SM表示结构图像对比度掩盖，TM表示纹理图像对比度掩盖，0≤q≤1，0≤p≤1,q+p＝1,设置q大于p。
示例性地，参考图3所示，图3中的第二个分支路径中，从步骤S301到步骤S325，即根据输入图像获得CM，图3中的输入图像为COVID-19 LDCT图像的测试图像。首先在步骤S320将输入图像分解，分别在步骤S321得到结构图像和在步骤S322得到纹理图像，接着在步骤S323针对结构图像计算结构掩盖效应评价(Structure Masking，SM)，在步骤S324针对纹理图像计算纹理掩盖效应评价(Texture Masking，TM)，最后在步骤S325将SM与TM相加后获得CM，即对比度掩盖CM同时考虑了结构图像和纹理图像。图像中结构部分分段光滑并包含沿轮廓的尖锐边缘，纹理部分包括细微尺度的细节，通常有周期性和震荡性。边缘和纹理区域空间变化较大，和边缘区域相比纹理结构更复杂和难以预测。
在一些实施例中，步骤S1312包括：
步骤S13122：将输入图像和卷积掩膜算子进行卷积操作得到纹理图像。该步骤S13122对应于图3中的步骤S322。
步骤S13124：用输入图像减去纹理图像得到结构图像。该步骤S13124对应于图3中的步骤S321。
每个一维卷积掩膜算子对应LDCT图像潜在的纹理结构，可以提取图像潜在的纹理，因此将图像和卷积掩膜算子进行卷积操作来获得纹理图像(Texture Image，TI)。
在一些实施例中，步骤S13122中的卷积掩膜算子包括方向算子、条状伪影算子、斑点噪声算子和环状伪影算子；条状伪影算子、斑点噪声算子和环状伪影算子分别对应于低剂量CT图像中的条状伪影、斑点噪声和环状伪影。
示例性地，参考图3所示，为了更有效地测量对比掩盖效应，针对LDCT 图像易出现条状伪影、斑点噪声和环状伪影的特点，设计相应的卷积掩膜算子 (以下简称算子)将输入图像分解为结构图像和纹理图像来计算CM，而不是简单地用Sobel或Candy算子。采用卷积掩膜算子来检测多类纹理特征。根据新冠LDCT图像特点来构造纹理掩盖TM，示例性地，TM由下列的一维算子卷积操作后产生：
方向算子：Level L5＝[1 4 6 4 1]；
条状伪影算子：Edge E5＝[-1 -2 0 2 1]；
斑点噪声算子：Spot S5＝[-1 0 2 0 -1]；
环状伪影算子：Ripple R5＝[1 -4 6 -4 1]。
以上算子数组内的数值及算子的数量均根据经验设置，本申请不作限制。每个一维算子对应LDCT图像潜在的纹理结构，可以提取图像潜在的纹理，利用前文提到的算子进行卷积。由两个方向算子分别和另外三个一维数组(E5,S5, R5)卷积可以得到6个卷积掩膜算子，例如，纹理图像TI(L5E5)为由方向算子L5和条状伪影算子E5相乘得到的二维卷积掩盖，该二维卷积掩盖用来检测水平方向的条状伪影纹理。
将LDCT图像和卷积掩膜算子卷积得到对应纹理的纹理图像，如纹理图像 TIL5E5由下式(6)得到：
TIL5E5＝I(i，j)*L5 E5 (6)
其中，I(i，j)表示LDCT图像。
将6个卷积掩膜算子与LDCT图像分别卷积后，得到的所有纹理图像取平均得到总的纹理图像TI。
在步骤S13124中，从原始的LDCT图像中减去总的纹理图像TI后即得到结构图像。
在一些实施例中，步骤S1314中的纹理图像对比度掩盖采用下面的公式(7) 计算：
Figure BDA0003705621170000151
其中，TM表示纹理图像对比度掩盖，(i,j)表示纹理图像对比度掩盖的坐标， TI表示纹理图像，(x，y)表示纹理图像的像素坐标。该步骤对应图3中的步骤 S324。
示例性地，参考图3所示，HVS对结构规则区域非常敏感，容易觉察出该区域的失真，即规则区域的JND阈值比较低，而对不规则和太细腻的纹理区域不是很敏感。高密度随机纹理区域，例如草地的熵较大并可以掩盖更多的噪声。熵为随机性的统计度量，熵可以用来描述图像的纹理特性，与结构化区域相比，随机纹理区域的熵较大。因此，图3中步骤S324获得的纹理图像的纹理掩盖 TM，即纹理图像对比度掩盖，可以通过计算纹理图像的熵能量得到，计算过程参见前文步骤S1314中纹理图像对比度掩盖的公式(7)。同理，图3中步骤S323 获得的结构图像的结构掩盖SM，即结构图像对比度掩盖，可以通过计算结构图像的熵能量得到。
在步骤S1316中，该步骤S1316对应图3中步骤S325，获得的最终的CM 由SM和TM相加得到，前述公式(5)中的q表示纹理区域掩盖的噪声的权重， p表示结构区域掩盖的噪声的权重，p和q用来区分SM和TM。研究表明，纹理区域掩盖的噪声可能是结构区域掩盖的噪声的3倍，纹理区域掩盖的噪声大于结构区域掩盖的噪声，所以设置q大于p用来给TM更高的权重，纹理区域的随机性由熵来量化使CM更加有效。
在一些实施例中，该步骤S130中的恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图的步骤还包括：计算输入图像的二维对比度敏感函数，包括：
步骤S1322：采用快速傅里叶变换将输入图像变换到空间频率域。该步骤对应图3的步骤S330。
步骤S1324：采用一维对比度敏感函数给空间频率系数分配不同的权重，得到基于一维对比度敏感函数权重的空间频率系数。该步骤对应图3的步骤 S331。
步骤S1326：采用快速反傅里叶变换将基于对比度敏感函数权重的空间频率系数变换回空间域，获得二维对比度敏感函数。该步骤S1326对应图3的步骤S332到步骤S333。
传统的对比度掩盖直接计算图像亮度的标准差，忽略了对比感知机制，例如对比度敏感函数CSF。CSF考虑到图像亮度有差异，亮度的差异会对图像噪声进行掩盖，进一步对图像产生影响。因此基于CSF提出改进的对比度掩盖评价方法。示例性地，参考图3所示，图3中的第三个分支路径，从步骤S301到步骤S333，即根据输入图像获得二维CSF，首先在步骤S330将输入图像进行快速傅里叶变换(Fast Fourier Transform，FFT)，然后在步骤S331计算一维CSF，接着在步骤S332进行快速反傅里叶变换(Inverse Fast Fourier Transform，IFFT)，最终在步骤S333得到二维CSF。
在步骤S1324中，用一维对比度敏感函数给空间频率系数分配不同的权重根据公式(8)、(9)计算：
Figure BDA0003705621170000171
Figure BDA0003705621170000172
其中，CSF表示是一维信号的CSF模型，a0，a1和a2为常数，r是以cpd(circle perdegree)为单位的空间频率，u和v分别表示二维图像的正交频率成分，r为正数。一维的CSF曲线类似带通滤波器，中心频率在11.3cpd，在此处CSF响应最大，基于此，a0取值为11.3，a1取值为1，a2取值为1。
在步骤S1326中，二维对比度敏感函数的计算公式(10)为：
Figure BDA0003705621170000173
其中，(x,y)表示像素点的位置，CSF(r)即前文的一维信号的CSF，×表示 FFT的系数和在相应空间频率的CSF相乘，I(x,y)为灰度图像，
Figure BDA0003705621170000174
为IFFT 的输出，即二维CSF，最后将
Figure BDA0003705621170000175
归一化至0到1之间。
在一些实施例中，该步骤S130中的恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图的步骤还包括：
步骤S1332：计算输入图像的亮度适应性。该步骤对应图3的步骤S310。
步骤S1334：将对比度掩盖、二维对比度敏感函数和亮度适应性组合后，得到JND阈值地图。该步骤对应图3的步骤S302。
参考图3所示，在步骤S310计算LA(亮度适应性)，LA为重要的感知特性之一，HVS对极暗或极亮区域的噪声较不敏感，Weber-Fechner定律指出最小可识别亮度变化随背景亮度的增强而增加，图像的LA用下面的公式(11) 计算：
Figure BDA0003705621170000176
其中，Iavg表示图像区块的平均亮度值，(x,y)表示像素点的位置。
在一些实施例中，步骤S1334中的JND阈值地图采用下面的公式(12)计算：
JND＝LA+CM+CSF-p×min(LA，CM，CSF) (12)
其中，JND表示JND阈值地图，LA表示亮度适应性，CM表示对比度掩盖，CSF表示二维对比度敏感函数，p为增益衰减因子用于补偿各掩盖之间的重叠，p为小于1的非零正数。
综合考虑影响JND阈值地图的三个主要因素：LA、CM和CSF，建立基于像素的JND模型，使其更完善并接近人眼视觉特性。最终的JND由LA、CM 和CSF在像素域的影响组合而成，并考虑三种掩盖因素之间的重叠。示例性地，通常p值取0.3。
和其他模型比较，本申请的JND模型较全面考虑了各种影响因素，可以克服某些模型的缺点，如TM的有效测量、基于像素的CSF计算等。最终得到JND 阈值地图。
在一些实施例中，图像质量评价方法还包括采用1-sigmoid函数对JND阈值地图进行计算，获得JND阈值权重地图，以使JND阈值地图中JND小的区域对应大的权重，JND大的区域对应小的权重。
在JND越小的区域，人眼对失真越敏感，对最终图像质量评价的影响越大， JND越大的区域，可容忍越大的失真，即对失真越不敏感，对最终图像质量评价的影响越小，基于此，采用1-sigmoid函数对JND阈值地图进行计算。sigmoid 函数是一种函数值在0-1之间的S型曲线，自变量越小，函数值越接近0，自变量越大，函数值越接近1。采用1-sigmoid函数计算JND阈值权重地图，可以加强JND 阈值地图中JND小的区域的影响，同时削弱JND阈值地图中JND大的区域的影响，获得基于JND思想的JND阈值权重地图。
在步骤S140中，融合相位一致性注意力地图和JND阈值权重地图，获得人眼综合视觉权重地图。该步骤S140对应图2的步骤S225。
示例性地，参考图2所示，人眼首先对不同区域有不同关注权重，而对不同内容的图像有不同的JND阈值，这两方面对最终的图像质量评价都有影响，综合考虑视觉关注、视觉掩盖特性和敏感度，在图2的步骤S225，融合相位一致性注意力地图和JND阈值权重地图，最终生成本申请的人眼综合视觉权重地图，即CVW。
将相位一致性注意力地图与JND阈值权重地图的每个像素进行点乘，得到人眼综合视觉权重地图CVW。CVW地图中的每一个像素值相当于对原始特征地图上每一个像素值的权重，它会增强有意义的特征，而抑制无意义的信息。
在步骤S150中，根据人眼综合视觉权重地图与图像块质量分数获得输入图像的质量评价分值。该步骤S150依次对应图2中的步骤S216、S230。
需要说明，参考图2所示，该步骤S150中的输入图像是COVID-19低剂量 CT图像的测试图像。
在一些实施例中，该步骤S150包括：
步骤S152：获取输入图像的每个图像块对应位置的人眼综合视觉权重地图的平均值。
步骤S154：将每个图像块的平均值作为每个图像块的人眼综合视觉权重，对每个图像块的人眼综合视觉权重进行归一化，得到归一化后的每个图像块的人眼综合视觉权重。
步骤S156：将归一化后的每个图像块的人眼综合视觉权重分别与对应的图像块质量分数相乘求和，得到输入图像的质量评价分值。
在步骤S152中，对每张测试图像的N个图像块求每个图像块对应位置的 CVW地图像素的平均值，将每个图像块的平均值作为每个图像块最终的人眼综合视觉权重。
在步骤S156中，将归一化后的每个图像块的人眼综合视觉权重分别与对应的图像块质量分数相乘求和，作为整张测试图像最终的质量分值，即由此得到了输入图像的质量评价分值。示例性地，该质量评价分值可以是一个数值，例如分为1分，2分，3分，4分，5分，共设定5个等级，本申请对质量评价分值不作限制。
图4是采用主观图像质量评价验证本申请一实施例的图像质量评价方法的示例性流程图。
本申请实施例采集COVID-19患者的LDCT图像，将图像分为训练图像和测试图像，用训练图像学习超完备字典，将测试图像输入学习好的超完备字典，在机器学习模型的处理下得到LDCT图像的客观质量评价分值。参考图4所示，图4中包括两个分支路径。第一个分支路径是步骤S401到步骤S411，对LDCT 图像进行图像质量主观评价。第二个分支路径是步骤S401到步骤S425，对 LDCT图像进行图像质量客观评价。最后将两个分支路径的结果在步骤S402 进行客观评价与主观评价一致性验证，即验证客观评价的结果与主观评价的结果是否相同。
图4中，步骤S411对LDCT图像进行图像质量主观评价的工作需要医生通过目测完成，依赖医生的水平和经验，主观性强。步骤S410中，医生设计主观评价方法标准，在步骤S411中医生进行图像质量主观评价，给出主观评价的结果。主观评价方法标准中，CT图像最终以诊断为目的，以此为导向，研究主观评价的观测环境、观测者的选择、测试序列的选择、评价过程和分析方法等。医学图像的主观评价没有专门的标准，通常是参考普通图像的主观评价标准。官方提出了若干种主观评价方法的标准。因COVID-19的LDCT图像无参考图像，本申请基于单刺激连续质量分级法(Single Stimulus Continuous Quality Evaluation，SSCQ)，由有经验的两名胸部放射学医生对LDCT图像质量进行主观评分，充分考虑医学图像为临床诊断服务的应用实际，分值分为 1—5分，分值越高表示影像质量越好。最终LDCT图像的得分为两名医生评分的平均值。
图4中，从步骤S401到步骤S425，对LDCT图像进行图像质量客观评价的工作由本申请的图像质量评价方法完成。针对COVID-19LDCT图像数据的特点，探索能更全面准确有效模拟人眼视觉感知过程的机器学习模型，示例性地，在步骤S420，进行基于稀疏表示的无监督图像质量特征挖掘。在步骤S4201，基于机器学习求得图像块的质量分数。重点针对HVS的注意力特性，在步骤 S421研究相位一致性注意力获得相位一致性注意力地图，在步骤S422研究JND 阈值获得JND阈值权重地图。在步骤S423将相位一致性注意力地图和JND阈值权重地图结合形成综合视觉权重地图。在步骤S424把注意力模块引入至IQA 模型，从而建立COVID-19LDCT图像的客观图像质量评价模型。在步骤S425 进行图像质量客观评价，得到LDCT图像的客观质量分值，即客观评价的结果。
在步骤S402进行客观评价与主观评价一致性验证。对本申请构建的基于稀疏表示的机器学习模型输出的LDCT图像客观质量评价分值，分别用斯皮尔曼等级次序相关系数(Spearman Rank Order Correlation Coefficient，ROCC)、皮尔逊线性相关系数(LinearCorrelation Coefficient，LCC)、均方误差来衡量客观评价与主观评价之间的一致性。
本申请的特色与创新之处在于：
1.基于人眼初级视觉皮层简单细胞感受野的空间局部性、方向性和带通性等特性，构建具有相应感知特点的稀疏表示图像质量特征提取方法；建立模型将稀疏表示和人眼神经元编码联系起来，模拟人眼视觉信息处理复杂行为。
2.通过相位一致性地图实现人眼注意力机制，使IQA方法能不受对比度、光照变化影响，准确找到人眼注意力所在区域。
3.基于像素的JND模型通常仅考虑LA、CM而忽略了CSF；评估CM的方法中，因为边缘和纹理区域较难区分，纹理区域对CM的影响一直被低估。本申请综合考虑影响JND的三个主要因素，使JND模型更完善并接近人眼视觉特性如视觉掩盖特性和敏感度；在计算CM时，针对LDCT图像易出现斑点噪声、条状伪影和环状伪影的特点，设计对应的卷积算子将图像分解为结构和纹理图像，并分别考虑其视觉掩盖效应对CM的影响，实现JND阈值的综合评估。该工作有望更准确有效地评估JND阈值，发挥其在IQA领域的作用。
4.传统的注意力地图仅仅考虑了人眼关注的区域，没有考虑人眼在此区域的视觉掩盖特性和敏感度，即可感受到的失真，而视觉掩盖特性和敏感度对最终的IQA至关重要。针对肺部LDCT图像，本申请融合注意力地图和JND阈值权重地图，生成人眼综合视觉权重地图，综合评价视觉关注和视觉敏感度对最终IQA的影响，并将综合注意力机制引入至IQA模型中。该工作理论上有一定突破，有望更好地模拟HVS特性，为IQA开辟新的思路。
本申请还包括一种图像质量评价系统，包括存储器和处理器。其中，该存储器用于存储可由处理器执行的指令；处理器用于执行该指令以实现前文所述的图像质量评价方法。
图5是本申请一实施例的图像质量评价系统的系统框图。参考图5所示，该图像质量评价系统500可包括内部通信总线501、处理器502、只读存储器 (ROM)503、随机存取存储器(RAM)504以及通信端口505。当应用在个人计算机上时，该图像质量评价系统500还可以包括硬盘506。内部通信总线 501可以实现该图像质量评价系统500组件间的数据通信。处理器502可以进行判断和发出提示。在一些实施例中，处理器502可以由一个或多个处理器组成。通信端口505可以实现该图像质量评价系统500与外部的数据通信。在一些实施例中，该图像质量评价系统500可以通过通信端口505从网络发送和接受信息及数据。该图像质量评价系统500还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘506，只读存储器(ROM)503和随机存取存储器(RAM)504，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器502所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。
上述的图像质量评价方法可以实施为计算机程序，保存在硬盘506中，并可加载到处理器502中执行，以实施本申请的图像质量评价方法。
本申请还包括一种存储有计算机程序代码的计算机可读介质，该计算机程序代码在由处理器执行时实现前文所述的图像质量评价方法。
图像质量评价方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/ 或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。
应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理器可以在一个或者多个特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或设计为执行本文所述功能的其它电子单元或者其结合内实现。
本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。
计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

Claims (16)

1.一种图像质量评价方法，其特征在于，包括：
构建基于稀疏表示的机器学习模型，所述机器学习模型用于接收输入图像，所述输入图像被分割为多个图像块，所述机器学习模型还用于输出每个所述图像块的图像块质量分数；
构建相位一致性注意力模块，所述相位一致性注意力模块用于根据所述输入图像生成相位一致性注意力地图；
根据人眼视觉掩盖特性构建恰可识别失真阈值模块，所述恰可识别失真阈值模块用于根据所述输入图像生成JND阈值权重地图；
融合所述相位一致性注意力地图和所述JND阈值权重地图，获得人眼综合视觉权重地图；
根据所述人眼综合视觉权重地图与所述图像块质量分数获得所述输入图像的质量评价分值。
2.如权利要求1所述的图像质量评价方法，其特征在于，所述机器学习模型用于接收输入图像，所述输入图像被分割为多个图像块，所述机器学习模型还用于输出每个所述图像块的图像块质量分数的步骤包括：
所述机器学习模型接收所述输入图像；
将所述输入图像分割为不重叠的大小相同的多个图像块；
根据所述多个图像块计算超完备字典；
将所述图像块输入所述超完备字典得到图像块特征，所述图像块特征包括所述图像块的稀疏表示；
用支持向量回归算法处理所述图像块特征，得到所述图像块质量分数。
3.如权利要求2所述的图像质量评价方法，其特征在于，根据所述多个图像块计算超完备字典的步骤包括：采用下面的公式计算所述超完备字典C：
C＝argmin||X–SC||+λ||S||1
其中，X为所述图像块的向量化表示，S为所述图像块的稀疏表示，||.||1为l1范数，λ表示稀疏惩罚项。
4.如权利要求2所述的图像质量评价方法，其特征在于，所述图像块特征还包括标准差、偏度、峰度和熵；所述标准差用于表示所述图像块的稀疏表示的分散程度；所述偏度用于表示所述稀疏表示的取值分布的对称性；所述峰度用于表示所述稀疏表示的取值分布的形态陡缓程度；所述熵用于表示所述稀疏表示的不规则性和复杂性。
5.如权利要求1所述的图像质量评价方法，其特征在于，所述相位一致性注意力模块用于根据所述输入图像生成相位一致性注意力地图的步骤包括：采用下面的公式计算所述相位一致性注意力地图PC2：
Figure FDA0003705621160000021
Figure FDA0003705621160000022
其中，x为所述输入图像的坐标，W(x)为度量频率的延展范围，An为所述输入图像的第n个傅里叶分量的幅值，T为噪声水平的评估，ε为非零常数，
Figure FDA0003705621160000023
为对相位变化敏感的度量，
Figure FDA0003705621160000024
为所述输入图像的坐标x的第n个傅里叶分量的相位，
Figure FDA0003705621160000025
为所述输入图像的坐标x的平均相位。
6.如权利要求1所述的图像质量评价方法，其特征在于，所述恰可识别失真阈值模块用于根据所述输入图像生成JND阈值权重地图的步骤包括：将所述输入图像分解为结构图像和纹理图像；分别计算所述结构图像的结构图像对比度掩盖和所述纹理图像的纹理图像对比度掩盖；采用下面的公式计算对比度掩盖：
CM＝pSM+qTM
其中，CM表示所述对比度掩盖，SM表示所述结构图像对比度掩盖，TM表示所述纹理图像对比度掩盖，0≤q≤1，0≤p≤1,q+p＝1,设置q大于p。
7.如权利要求6所述的图像质量评价方法，其特征在于，采用下面的公式计算所述纹理图像对比度掩盖：
Figure FDA0003705621160000026
其中，TM表示所述纹理图像对比度掩盖，(i,j)表示所述纹理图像对比度掩盖的坐标，TI表示所述纹理图像，(x，y)表示所述纹理图像的像素坐标。
8.如权利要求6所述的图像质量评价方法，其特征在于，将所述输入图像分解为结构图像和纹理图像的步骤包括：
将所述输入图像和卷积掩膜算子进行卷积操作得到所述纹理图像；
用所述输入图像减去所述纹理图像得到所述结构图像。
9.如权利要求8所述的图像质量评价方法，其特征在于，所述卷积掩膜算子包括方向算子、条状伪影算子、斑点噪声算子和环状伪影算子；所述条状伪影算子、所述斑点噪声算子和所述环状伪影算子分别对应于低剂量CT图像中的条状伪影、斑点噪声和环状伪影。
10.如权利要求6所述的图像质量评价方法，其特征在于，所述恰可识别失真阈值模块用于根据所述输入图像生成JND阈值权重地图的步骤还包括：计算所述输入图像的二维对比度敏感函数，包括：
采用快速傅里叶变换将所述输入图像变换到空间频率域；
采用一维对比度敏感函数给空间频率系数分配不同的权重，得到基于所述一维对比度敏感函数权重的空间频率系数；以及
采用快速反傅里叶变换将基于对比度敏感函数权重的空间频率系数变换回空间域，获得所述二维对比度敏感函数。
11.如权利要求10所述的图像质量评价方法，其特征在于，所述恰可识别失真阈值模块用于根据所述输入图像生成JND阈值权重地图的步骤还包括：计算所述输入图像的亮度适应性；将所述对比度掩盖、所述二维对比度敏感函数和所述亮度适应性组合后，得到JND阈值地图。
12.如权利要求11所述的图像质量评价方法，其特征在于，采用下面的公式计算所述JND阈值地图：
JND＝LA+CM+CSF-p×min(LA，CM，CSF)
其中，JND表示所述JND阈值地图，LA表示所述亮度适应性，CM表示所述对比度掩盖，CSF表示所述二维对比度敏感函数，p为增益衰减因子用于补偿各掩盖之间的重叠，p为小于1的非零正数。
13.如权利要求12所述的图像质量评价方法，其特征在于，还包括采用1-sigmoid函数对所述JND阈值地图进行计算，获得所述JND阈值权重地图，以使所述JND阈值地图中JND小的区域对应大的权重，JND大的区域对应小的权重。
14.如权利要求1所述的图像质量评价方法，其特征在于，根据所述人眼综合视觉权重地图与所述图像块质量分数获得所述输入图像的质量评价分值的步骤包括：
获取所述输入图像的每个所述图像块对应位置的所述人眼综合视觉权重地图的平均值；
将每个所述图像块的所述平均值作为每个所述图像块的人眼综合视觉权重，对每个所述图像块的人眼综合视觉权重进行归一化，得到归一化后的每个所述图像块的人眼综合视觉权重；
将归一化后的每个所述图像块的人眼综合视觉权重分别与对应的所述图像块质量分数相乘求和，得到所述输入图像的质量评价分值。
15.一种图像质量评价系统，其特征在于，包括：
存储器，用于存储可由处理器执行的指令；
处理器，用于执行所述指令以实现如权利要求1-14任一项所述的图像质量评价方法。
16.一种存储有计算机程序代码的计算机可读介质，其特征在于，所述计算机程序代码在由处理器执行时实现如权利要求1-14任一项所述的图像质量评价方法。
CN202210706575.XA 2022-06-21 2022-06-21 图像质量评价方法、系统及计算机可读介质 Active CN114926459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210706575.XA CN114926459B (zh) 2022-06-21 2022-06-21 图像质量评价方法、系统及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210706575.XA CN114926459B (zh) 2022-06-21 2022-06-21 图像质量评价方法、系统及计算机可读介质

Publications (2)

Publication Number Publication Date
CN114926459A true CN114926459A (zh) 2022-08-19
CN114926459B CN114926459B (zh) 2023-03-28

Family

ID=82814585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210706575.XA Active CN114926459B (zh) 2022-06-21 2022-06-21 图像质量评价方法、系统及计算机可读介质

Country Status (1)

Country Link
CN (1) CN114926459B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205835A (zh) * 2022-09-08 2022-10-18 山东特联信息科技有限公司 液化石油气标签图形识别系统
CN116310806A (zh) * 2023-02-28 2023-06-23 北京理工大学珠海学院 一种基于图像识别的智慧农业一体化管理系统及方法
CN116421187A (zh) * 2023-03-30 2023-07-14 之江实验室 一种基于言语层级序列的注意力缺陷多动障碍的分析系统
CN117290809A (zh) * 2023-11-22 2023-12-26 小舟科技有限公司 多源异构生理信号融合方法及装置、设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003125427A (ja) * 2001-10-19 2003-04-25 Couei Corp 画像品質評価方法及び画像品質評価システム、画像品質評価装置
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
CN103996192A (zh) * 2014-05-12 2014-08-20 同济大学 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN105761234A (zh) * 2016-01-28 2016-07-13 华南农业大学 一种基于结构稀疏表示的遥感影像融合方法
CN107481221A (zh) * 2017-07-19 2017-12-15 天津大学 基于纹理与卡通稀疏表示的全参考混合失真图像质量评价方法
CN111311595A (zh) * 2020-03-16 2020-06-19 清华大学深圳国际研究生院 一种图像质量的无参考质量评价方法及计算机可读存储介质
CN111612741A (zh) * 2020-04-22 2020-09-01 杭州电子科技大学 一种基于失真识别的精确无参考图像质量评价方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003125427A (ja) * 2001-10-19 2003-04-25 Couei Corp 画像品質評価方法及び画像品質評価システム、画像品質評価装置
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
CN103996192A (zh) * 2014-05-12 2014-08-20 同济大学 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN105761234A (zh) * 2016-01-28 2016-07-13 华南农业大学 一种基于结构稀疏表示的遥感影像融合方法
CN107481221A (zh) * 2017-07-19 2017-12-15 天津大学 基于纹理与卡通稀疏表示的全参考混合失真图像质量评价方法
CN111311595A (zh) * 2020-03-16 2020-06-19 清华大学深圳国际研究生院 一种图像质量的无参考质量评价方法及计算机可读存储介质
CN111612741A (zh) * 2020-04-22 2020-09-01 杭州电子科技大学 一种基于失真识别的精确无参考图像质量评价方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205835A (zh) * 2022-09-08 2022-10-18 山东特联信息科技有限公司 液化石油气标签图形识别系统
CN116310806A (zh) * 2023-02-28 2023-06-23 北京理工大学珠海学院 一种基于图像识别的智慧农业一体化管理系统及方法
CN116310806B (zh) * 2023-02-28 2023-08-29 北京理工大学珠海学院 一种基于图像识别的智慧农业一体化管理系统及方法
CN116421187A (zh) * 2023-03-30 2023-07-14 之江实验室 一种基于言语层级序列的注意力缺陷多动障碍的分析系统
CN116421187B (zh) * 2023-03-30 2023-10-13 之江实验室 一种基于言语层级序列的注意力缺陷多动障碍的分析系统
CN117290809A (zh) * 2023-11-22 2023-12-26 小舟科技有限公司 多源异构生理信号融合方法及装置、设备、存储介质
CN117290809B (zh) * 2023-11-22 2024-03-12 小舟科技有限公司 多源异构生理信号融合方法及装置、设备、存储介质

Also Published As

Publication number Publication date
CN114926459B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN114926459B (zh) 图像质量评价方法、系统及计算机可读介质
Gu et al. Learning a no-reference quality assessment model of enhanced images with big data
Ayala et al. Image thresholding segmentation based on a novel beta differential evolution approach
Yeganeh et al. Objective quality assessment of tone-mapped images
Yang et al. A biological vision inspired framework for image enhancement in poor visibility conditions
Appina et al. No-reference stereoscopic image quality assessment using natural scene statistics
Zhou et al. Utilizing dictionary learning and machine learning for blind quality assessment of 3-D images
Wan et al. Reduced reference stereoscopic image quality assessment using sparse representation and natural scene statistics
AbuNaser et al. Underwater image enhancement using particle swarm optimization
Liu et al. Blind stereoscopic image quality assessment based on hierarchical learning
Zhai et al. Free-energy principle inspired visual quality assessment: An overview
Jabbar et al. Using convolutional neural network for edge detection in musculoskeletal ultrasound images
CN105813572A (zh) 基于图像信息的图像复合
Zhou et al. Utilizing binocular vision to facilitate completely blind 3D image quality measurement
CN114450716A (zh) 用于卒中表征的图像处理
Wu et al. Blind quality assessment for screen content images by combining local and global features
Madrid-Herrera et al. Human image complexity analysis using a fuzzy inference system
CN115187519B (zh) 图像质量评价方法、系统及计算机可读介质
Hernández-Cámara et al. Neural networks with divisive normalization for image segmentation
Zhang et al. Linking visual saliency deviation to image quality degradation: A saliency deviation-based image quality index
CN117078642A (zh) 一种基于深度学习的黑色素瘤辅助诊断方法
Yang et al. A study of sine–cosine oscillation heterogeneous PCNN for image quantization
Liang et al. Refining a region based attention model using eye tracking data
Collin Spatial-frequency thresholds for object categorisation at basic and subordinate levels
CN104820988B (zh) 一种无参考立体图像质量客观评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant