CN115187519A - 图像质量评价方法、系统及计算机可读介质 - Google Patents

Abstract

本发明涉及一种图像质量评价方法、系统及计算机可读介质。该图像质量评价方法包括：构建基于注意的特征整合理论的深度学习模型，深度学习模型用于接收输入图像，并输出输入图像的质量评价分值；构建混合域注意力模块，混合域注意力模块包括空间域注意力模块和通道域注意力模块，混合域注意力模块用于根据输入图像生成混合域注意力地图；根据人眼视觉掩盖特性构建恰可识别失真阈值模块，恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图；融合混合域注意力地图和JND阈值权重地图，获得综合视觉权重地图；将综合视觉权重地图引入深度学习模型。本发明基于人眼视觉系统特性和深度学习对COVID‑19低剂量CT图像进行质量评价。

Description

图像质量评价方法、系统及计算机可读介质

技术领域

本发明主要涉及图像处理领域，具体地涉及一种图像质量评价方法、系统及计算机可读介质。

背景技术

新型冠状病毒肺炎(COVID-19)肺部CT图像在COVID-19的诊断治疗中发挥着重要作用，官方出台的几版诊疗方案中都把肺部CT影像学检查作为诊断标准之一，COVID-19的治疗计划制订与疗效评估也离不开肺部CT图像。

过量的X射线照射会增加癌症、遗传病以及白血病的发病率，且辐射的剂量会在病人体内累积，所以控制辐射剂量以获得低剂量CT(Low-Dose CT，LDCT)图像具有重要意义。为了降低病人CT扫描时的辐射剂量，采用了低剂量CT的扫描方法，但采用此方法必然伴随着CT图像质量的下降，LDCT图像易产生斑点噪声、条形伪影和环状伪影等，会显著影响医生对COVID-19的诊断结果，有可能造成医生诊疗失误。如因图像质量问题发生漏诊将延误病人治疗，危及病人生命；若发生误诊，如将没病的病人诊断为有病或对病灶类型错判，将增加病人经济和心理负担甚者延误治疗。因此以临床诊断治疗需求为导向，评价 COVID-19的LDCT图像质量至关重要，基于此，可以筛选出质量不合格的LDCT 图像，并在保证CT图像质量的前提下合理地降低扫描剂量，保障COVID-19临床诊疗质量。CT图像质量评价(ImageQuality Assessment，IQA)还可指导优化扫描序列和参数、图像重建、传输、压缩、获取、增强、硬件设计等方面，提高图像质量。

IQA方法分为主观评价和客观评价两大类，主观质量评价耗时长、成本高、影响因素多、重复性差而无法大规模推广。目前，对LDCT图像质量的评价仍需医生通过目测完成，十分依赖医生的水平和经验，主观性强、重复性差且工作量大。为解决此问题，需要基于人眼视觉系统(Human Visual System，HVS)特性研究LDCT图像质量客观评价方法，但医学图像复杂多样、对HVS的认识模拟不深入、缺少参考图像等问题成为巨大挑战。因此利用数学模型和计算机理论模拟HVS主观评价的客观IQA应运而生，其通过计算机技术建立合理的数学模型，对图像的逼真度、失真程度或可懂度进行自动且准确的评价，有利于提高IQA的客观性、重复性与一致性。客观IQA根据参考图像信息的可利用率分为全参考 (Full-Reference，FR)、半参考(Reduced-Reference，RR)和无参考图像质量评价 (No-Reference，NR)方法。NR的IQA分为针对特定失真类型的模型和通用型的模型，临床实际上CT图像通常没有参考图像，且往往面临非特定类型的多重失真，因此研究通用型的无参考IQA模型具有理论和实用价值，但其所获得的质量评价结果与预期目标还有一定距离，因此仍有较大的改进空间。

人眼是图像的最终接受者，探究HVS的感知特性并模拟其感知过程在图像处理领域具有重要理论和实用价值。HVS不仅仅是简单的光学成像处理系统，同时还涉及到生物学、解剖学、心理物理学、神经生理学等多方面知识，是高度复杂的智能信息处理系统，然而目前对HVS的认识还处于非常初级的阶段，如何模仿 HVS的特性去设计有效的客观IQA方法，使其尽可能与人类质量主观评价结果一致成为研究的难点。

随着深度学习的迅猛发展，除在图像分类检测等领域，其在IQA领域也有了广泛应用，但是随着网络层数的增加会引入过拟合、梯度消失、梯度爆炸、计算量巨大等新的问题。

发明内容

本申请所要解决的技术问题是提供一种图像质量评价方法、系统及计算机可读介质，基于人眼视觉系统特性和深度学习对低剂量CT图像进行图像质量评价。

本申请为解决上述技术问题而采用的技术方案是一种图像质量评价方法，包括：构建基于注意的特征整合理论的深度学习模型，深度学习模型用于接收输入图像，并输出输入图像的质量评价分值；构建混合域注意力模块，混合域注意力模块包括空间域注意力模块和通道域注意力模块，混合域注意力模块用于根据输入图像生成混合域注意力地图；根据人眼视觉掩盖特性构建恰可识别失真阈值模块，恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图；融合混合域注意力地图和JND阈值权重地图，获得综合视觉权重地图；将综合视觉权重地图引入深度学习模型。

在本申请的一实施例中，深度学习模型包括卷积神经网络GoogLeNet， GoogLeNet包括Inception模块，GoogLeNet用于模拟基于注意的特征整合理论，并行提取深度学习模型不同深度层的特征，以及整合各层的特征。

在本申请的一实施例中，深度学习模型采用可变形卷积核模拟人眼对所述输入图像的感受野，所述感受野根据所述输入图像的不同具有多尺度和多形态的特性，可变形卷积核的大小对应于多尺度感受野的大小，可变形卷积核的形状对应于多形态感受野的形状。

在本申请的一实施例中，将综合视觉权重地图引入深度学习模型的步骤包括：通过残差网络将综合视觉权重地图引入Inception模块。

在本申请的一实施例中，构建混合域注意力模块的步骤包括：采用自下至上 -自上而下机制对输入图像进行下采样和上采样，获得空间域注意力地图。

在本申请的一实施例中，构建混合域注意力模块的步骤还包括：通道域注意力模块根据输入图像生成通道域注意力地图，将通道域注意力地图与空间域注意力地图进行点乘，获得混合域注意力地图。

在本申请的一实施例中，恰可识别失真阈值模块根据输入图像生成JND阈值权重地图的步骤包括：将输入图像分解为结构图像和纹理图像；分别计算结构图像的结构图像对比度掩盖和纹理图像的纹理图像对比度掩盖；采用下面的公式计算对比度掩盖：CM＝pSM+qTM，其中，CM表示对比度掩盖，SM表示结构图像对比度掩盖，TM表示纹理图像对比度掩盖，0≤q≤1，0≤p≤1,q+p＝1,设置q大于 p。

在本申请的一实施例中，图像质量评价方法采用下面的公式计算纹理图像对比度掩盖：

其中，TM表示纹理图像对比度掩盖，(i,j)表示纹理图像对比度掩盖的坐标，TI表示纹理图像，(x，y) 表示纹理图像的像素坐标。

在本申请的一实施例中，将输入图像分解为结构图像和纹理图像的步骤包括：将输入图像和卷积掩膜算子进行卷积操作得到纹理图像；用输入图像减去纹理图像得到结构图像。

在本申请的一实施例中，卷积掩膜算子包括方向算子、条状伪影算子、斑点噪声算子和环状伪影算子；条状伪影算子、斑点噪声算子和环状伪影算子分别对应于低剂量CT图像中的条状伪影、斑点噪声和环状伪影。

在本申请的一实施例中，恰可识别失真阈值模块根据输入图像生成JND阈值权重地图的步骤还包括：计算输入图像的二维对比度敏感函数，包括：采用快速傅里叶变换将输入图像变换到空间频率域；采用一维对比度敏感函数给空间频率系数分配不同的权重，得到基于一维对比度敏感函数权重的空间频率系数；以及采用快速反傅里叶变换将基于对比度敏感函数权重的空间频率系数变换回空间域，获得二维对比度敏感函数。

在本申请的一实施例中，恰可识别失真阈值模块根据输入图像生成JND阈值权重地图的步骤还包括：计算输入图像的亮度适应性；将对比度掩盖、二维对比度敏感函数和亮度适应性组合后，得到JND阈值地图。

在本申请的一实施例中，图像质量评价方法采用下面的公式计算JND阈值地图：JND＝LA+CM+CSF-p×min(LA，CM，CSF)，其中，JND表示JND阈值地图，LA表示亮度适应性，CM表示对比度掩盖，CSF表示二维对比度敏感函数，p为增益衰减因子用于补偿各掩盖之间的重叠，p为小于1的非零正数。

在本申请的一实施例中，图像质量评价方法还包括采用1-sigmoid函数对JND 阈值地图进行计算，获得JND阈值权重地图，以使所述JND阈值地图中JND小的区域对应大的权重，JND大的区域对应小的权重。

在本申请的一实施例中，融合混合域注意力地图和JND阈值权重地图的步骤包括：将混合域注意力地图与JND阈值权重地图的每个像素进行点乘，得到综合视觉权重地图。

本发明为解决上述技术问题还提出一种图像质量评价系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现如上的图像质量评价方法。

本发明为解决上述技术问题还提出一种存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现如上的图像质量评价方法。

本申请的技术方案通过构建基于注意的特征整合理论的深度学习模型，充分利用不同层次特征的细节信息和抽象信息，模拟了人眼视觉系统中的低层、中层和高层感知特性；构建混合域注意力模块同时对空间域和通道域两个维度进行注意力分配增强了注意力机制对深度学习模型性能的提升效果；构建恰可识别失真阈值模块较全面地考虑了亮度适应性、对比度掩盖和对比度敏感函数等的影响因素，更完善并接近人眼视觉特性；融合混合域注意力地图和JND阈值权重地图更好地模拟了人眼视觉系统特性；将综合视觉权重地图引入深度学习模型，深度学习模型输出输入图像的质量评价分值，实现了能全面有效模拟人眼感知过程的通用型无参考图像质量评价模型，得到了客观的图像质量评价分值。

附图说明

为让本申请的上述目的、特征和优点能更明显易懂，以下结合附图对本申请的具体实施方式作详细说明，其中：

图1是本申请一实施例的图像质量评价方法的示例性流程图；

图2是本申请一实施例的图像质量评价方法中的注意的特征整合理论的示意图；

图3是本申请一实施例的图像质量评价方法中的Inception模块的示意图；

图4是本申请一实施例的图像质量评价方法中的可变形卷积的示意图；

图5是本申请一实施例的图像质量评价方法中的深度学习模型的总体框架示意图；

图6是图5中的注意力模块的示意图；

图7是本申请一实施例的图像质量评价方法中的空间域注意力模块的示意图；

图8是本申请一实施例的图像质量评价方法中的恰可识别失真阈值模块内部执行步骤的示例性流程图；

图9是本申请一实施例的图像质量评价方法中的残差网络的示意图；

图10是采用主观图像质量评价验证本申请一实施例的图像质量评价方法的示例性流程图；

图11是本申请一实施例的图像质量评价系统的系统框图。

具体实施方式

为让本申请的上述目的、特征和优点能更明显易懂，以下结合附图对本申请的具体实施方式作详细说明。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，因此本申请不受下面公开的具体实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本申请提出一种图像质量评价方法，可以用于对医学图像进行客观的定量分析。医学图像可以是低剂量CT(Low-Dose CT，LDCT)图像，尤其是肺部LDCT图像，医学图像还可以是其他组织器官(如肝脏、乳腺)和其他模态(如超声、 MRI)等的医学图像。本申请的图像质量评价方法通过模拟人眼视觉系统(Human Visual System，HVS)特性并结合深度学习模型来进行COVID-19低剂量CT图像质量评价，为通用型无参考医学图像质量评价(ImageQuality Assessment，IQA) 提供新思路和新方法，可减轻医生工作量，保障新冠肺炎临床诊疗质量。本申请的理论和定量分析方法也可推广至更多应用领域，如优化扫描序列和参数、图像重建、传输、压缩、增强、硬件设计等，具有可延伸价值。

图1是本申请一实施例的图像质量评价方法的示例性流程图，参考图1所示，该实施例的图像质量评价方法包括以下步骤：

步骤S110：构建基于注意的特征整合理论的深度学习模型，深度学习模型用于接收输入图像，并输出输入图像的质量评价分值。

步骤S120：构建混合域注意力模块，混合域注意力模块包括空间域注意力模块和通道域注意力模块，混合域注意力模块用于根据输入图像生成混合域注意力地图。

步骤S130：根据人眼视觉掩盖特性构建恰可识别失真阈值模块，恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图。

步骤S140：融合混合域注意力地图和JND阈值权重地图，获得综合视觉权重地图。

步骤S150：将综合视觉权重地图引入深度学习模型。

下面详细说明上述的步骤S110至步骤S150：

在步骤S110中，构建基于注意的特征整合理论的深度学习模型，深度学习模型用于接收输入图像，并输出输入图像的质量评价分值。

图2是本申请一实施例的图像质量评价方法中的注意的特征整合理论的示意图。

基于注意的特征整合理论(Feature Integration Theory of attention，FITA)主要探讨视觉早期加工的问题，为一种知觉和模式识别的理论，由Treisman和 Gelade提出。参考图2所示，对图像201进行视觉加工过程分为两个阶段，第一个阶段是前期注意阶段210，也被称为特征登记阶段，第二个阶段是后期注意阶段220，也被称为物体知觉阶段或特征整合阶段。前期注意阶段210只能检测图像201独立的个别特征，包括颜色、方向、尺寸、距离等，这些个别特征的心理表征叫特征地图，前期注意阶段210对特征进行自动的平行加工，前期注意阶段210不能检测特征之间的关系。后期注意阶段220发生在视觉处理的后期阶段，知觉系统把彼此分开的特征正确联系起来，形成对某一物体的表征，此阶段要求对特征进行定位，确定特征的位置地图，处理特征的位置信息需要集中性注意，进行细节分析。后期注意阶段220通过集中注意将各特征整合为客体，即集中性注意把原始的、彼此分开的特征整合为一个单一的物体。

在本申请的图像质量评价方法中，在步骤S110中采用卷积神经网络用于构建深度学习模型。在视觉加工的过程中，从视网膜传来的信号分层到达视觉皮层，即V1皮层、V2皮层、V4皮层和颞下(Inferior Temporal，IT)皮层。对应的，卷积神经网络首先理解的是颜色和亮度，然后是边缘、角点、直线等局部细节特征，接下来是纹理、几何形状等更复杂的信息和结构，最后形成整个物体的概念。根据FITA多层感知的特性，设计基于FITA的卷积神经网络来并行提取卷积神经网络中浅层特征和深层特征互为补充表征图像的视觉质量，而不仅仅像传统的卷积神经网络一样，只提取卷积神经网络中的深层特征。示例性地，在卷积神经网络中，将层数较低的层称为浅层，将层数较高的层称为深层，若卷积神经网络的层数为10层，对卷积神经网络的每一层特征都并行提取，之后整合浅层特征与深层特征。根据FITA的特征整合阶段，即后期注意阶段220，通过浅层特征与深层特征进行特征串联模拟特征整合过程。示例性地，特征串联是通过将浅层特征对应的数组与深层特征对应的数组进行组合而实现。

卷积神经网络浅层特征含有很多图像的细节信息，深层特征含有更多抽象特征，通过这种并行提取浅层特征和深层特征的方式可以充分利用卷积神经网络中不同层次特征的细节信息和抽象信息，模拟HVS中的低层、中层和高层感知特性。示例性地，卷积神经网络中，层数较低的层对应HVS中的低层，层数中等的层对应HVS中的中层，层数较高的层对应HVS中的高层。

在步骤S110中，深度学习模型接收输入图像，最终输出输入图像的质量评价分值。本申请对输入图像的类型、格式、大小不做限制。需要注意的是，本申请的输入图像指的是原始的LDCT图像，说明书中在不特别指明输入图像的情况下，本说明书中所提到的一些图像指经深度学习模型处理后产生的中间过程的图像。质量评价分值为0—4分，分值越高表示图像质量越好。本申请对质量评价分值的数值和数值对应的意义，或是质量评价分值的表示方式不作限制。

在实际应用过程中，本申请对步骤S110中所采用的深度学习模型的类型不作限制，可根据实际情况自主选择。

在一些实施例中，深度学习模型包括卷积神经网络GoogLeNet，GoogLeNet 包括Inception模块，GoogLeNet用于模拟基于注意的特征整合理论，并行提取深度学习模型不同深度层的特征，以及整合各层的特征。

图3是本申请一实施例的图像质量评价方法中的Inception模块的示意图。

GoogLeNet的Inception模块能很好地与FITA的多尺度、多层次、特征整合三个特点契合，从而本申请的深度学习模型使用包括Inception模块的卷积神经网络GoogLeNet。示例性地，参考图3所示，GoogLeNet中的Inception模块 300对每个输入301(该输入可以是卷积神经网络上一层的结果)做了四个分支处理，分别是图4中的1×1卷积311；1×1卷积321、3×3卷积322；1×1卷积331、5×5卷积332；3×3最大池化341、1×1卷积342。每个分支最终一起进行特征整合302。其中，卷积操作相当于把图像每个像素周边的,甚至是整个图像的像素都考虑进来,对当前像素进行加权处理；最大池化操相当于取图像的局部接受域中值最大的点，最大池化可以降维、减少参数量、去除冗余信息、对特征进行压缩。

参考图3所示，Inception模块300在3×3卷积322前、5×5卷积332前、 3×3最大池化341后分别加上了1×1的卷积核。Inception模块300的作用主要有两个：一是使用1×1的卷积核来进行升降维，即在每一个卷积操作前先使用 1×1的卷积核将输入图像的特征维度降低，进行信息压缩，再使用3×3卷积核或5×5卷积核进行特征提取运算，使得Inception模块300的计算量大大降低。二是在多个尺寸(不同大小的卷积核)上同时进行卷积再聚合1×1的卷积，起到了降低特征图像厚度的作用。

Inception模块300通过采用不同大小的卷积核，既可以获得图像的局部特征，又可以获得图像的全局特征。卷积神经网络GoogLeNet能提取不同层次的特征，网络层数越深，特征越抽象，而且每个特征所涉及的感受野(即特征图上的一个点对应输入图像上的区域)也更大。GoogLeNet通过输出不同深度的网络层的特征可以模拟HVS中的低层、中层和高层感知特性，示例性地， GoogLeNet中，层数较低的层对应HVS中的低层，层数中等的层对应HVS中的中层，层数较高的层对应HVS中的高层；GoogLeNet通过串联不同深度的网络层的特征可以模拟FITA的特征整合过程。

在一些实施例中，深度学习模型采用可变形卷积核模拟人眼对输入图像的感受野，该感受野根据输入图像的不同具有多尺度和多形态的特性，可变形卷积核的大小对应于多尺度感受野的大小，可变形卷积核的形状对应于多形态感受野的形状。

图4是本申请一实施例的图像质量评价方法中的可变形卷积的示意图。

针对FITA的多尺度、多形态特性，采用具有不同大小的卷积核和可变形卷积核的卷积神经网络模拟肺部多尺度、多形状感受野。在卷积神经网络中，感受野的定义是卷积神经网络中每一层输出的特征图上的像素点在输入图像上映射的区域大小，即特征图上的一个点对应输入图像上的区域，采用不同大小的卷积核意味着不同大小的多尺度感受野，采用可变形卷积核意味着不同形状的多形态感受野。

肺部的形状是复杂的，每位COVID-19患者的LDCT图像中肺部的形态都不相同，针对多形态特性，采用可变形卷积核来实现不同肺部形态的感受野，进一步捕获肺部图像质量的基本特征。可变形卷积核是在传统卷积核的基础上，增加了调整卷积核的方向向量，使卷积核的形态更贴近特征物。

参考图4所示，图4展示了可变形卷积的框架，首先在输入特征地图模块 410输入特征地图，通过卷积模块411进行常规的卷积操作，得到偏移特征图 412，进一步由偏移特征图412的输出得到可变形卷积核所需要的偏移量413，然后将偏移量413与常规的卷积核结合，从而得到可变形卷积核，使用可变形卷积核进行可变形卷积操作，如图4中的虚线所示，最终在输出特征地图模块 420得到输出特征地图。

常规的卷积核加上偏移量的学习之后，形成的可变形卷积核的大小和位置可以根据需要处理的图像内容进行动态调整，从而适应肺部的不同形态。在 GoogLeNet的训练过程中，同时学习用于生成输出特征的卷积核和偏移量，为了学习偏移量，梯度通过双线性插值运算进行反向传播。示例性地，参考图3 所示，对Inception模块300中的3×3卷积核322和5×5卷积核332进行可变形卷积操作，从而可以感受肺部的不同形态，最终在Inception模块300的特征整合302阶段通过补0实现特征串联。

采用GoogLeNet作为深度学习的基本框架，针对多形态特性，引入可变形卷积核，并将注意力模块通过残差网络引入至GoogLeNet的Inception模块，能更有效地模拟FITA，有关注意力模块和残差网络的内容将在后文详细描述。示例性地，将可变形卷积核引入Inception模块，可以在Inception模块中加入新的可变形卷积核，或者，将Inception模块中的卷积核全部换为可变形卷积核，或者，将Inception模块中的卷积核部分换为可变形卷积核，本申请不作限制。可变形卷积核，例如可以是三角形，圆形等用来模拟肺部病灶的不同形状。

图5是本申请一实施例的图像质量评价方法中的深度学习模型的总体框架示意图。参考图5所示，本申请的深度学习模型层数较深，示例性地，图5中的Input511 表示深度学习模型原始的输入图像，之后，深度学习模型依次经过：卷积层512 (Conv 7×7+2(s))、最大池化层513(Maxpool3×3+2(s))、局部响应归一化层514 (LocalRespNorm)、卷积层515(Conv1×1+1(v))、卷积层516(Conv3×3+1(s))、局部响应归一化层517(LocalRespNorm)、最大池化层518(Maxpool3×3+2(s))、注意力层519(Attention)、注意力层520(Attention)、最大池化层521 (Maxpool3×3+2(s))、注意力层522(Attention)、注意力层523(Attention)、注意力层524(Attention)、注意力层525(Attention)、注意力层526(Attention)、最大池化层527(Maxpool3×3+2(s))、注意力层528(Attention)、注意力层529 (Attention)、平均池化层530(Averagepool7×7+1(v))、全连接层531(FC)、 Softmax激活层532(Softmax Activation)、最终分类器层533(Softmax2)。

其中，局部响应归一化(Local Response Normalization，LRN)用于对局部神经元的活动创建竞争机制，对局部的值进行归一化操作，使其中比较大的值变得相对更大，增强了局部的对比度，并抑制其他反馈较小的神经元，增强了模型的泛化能力。平均池化(Averagepool)用于对局部接受域中的所有值求均值，平均池化保留了整体的数据特征。最大池化(Maxpool)的概念与前文所记载的内容相同，在此不再赘述。全连接层(FullyConnected Layers，FC)用于将深度学习模型的每一个结点都与上一层的所有结点相连，用于把前边提取到的特征整合起来。Softmax 是激活函数，Softmax把一些输入映射为0-1之间的实数，并且归一化保证实数的和为1，进而实现分类输出。

示例性地，图5中的卷积层512中的7×7+2(s)表示卷积核大小为7×7，步长为2，步长表示卷积核在图像中每次卷积的步进长度；最大池化层518中的3×3+2(s) 表示卷积核大小为3×3，步长为2；卷积层515中的1×1+1(v)表示卷积核大小为1×1，步长为1；卷积层516中的3×3+1(s)表示卷积核大小为3×3，步长为1；平均池化层530中的7×7+1(v)表示卷积核大小为7×7，步长为1。

在图5中，注意力层中包括注意力模块。图6是图5中的注意力模块的示意图。需要说明，图6中的注意力模块600是由图1中所示的步骤S140中的综合视觉权重地图640和Inception模块610组合后得到。

参考图6所示，

表示点乘操作；

表示点加操作；

表示Sigmoid函数， Sigmoid函数是深度学习模型中的激活函数，将变量值映射到0-1之间,Sigmoid 激活函数用于增强深度学习模型的拟合能力。在注意力模块600中，其输入包括深度学习模型上一层的结果，输入结果进入注意力模块600之后具有三个分支，第一个分支是：输入经过Inception模块610处理后获得深度学习模型不同深度层的特征；第二个分支是：输入经过混合域注意力模块620处理后生成混合域注意力地图；第三个分支是：输入经过恰可识别失真阈值模块630处理后生成JND阈值权重地图。将混合域注意力地图与JND阈值权重地图进行点乘操作后得到综合视觉权重地图640。综合视觉权重地图640经过Sigmoid函数激活操作后与Inception模块610进行点乘操作，得到中间结果，最后将中间结果与Inception模块610进行点加操作，得到注意力模块600的输出。关于前述第一个分支、第二个分支、第三个分支的细节描述将在后文展开。

需要说明，图6中的Inception模块610即图3中所示的Inception模块300。

在步骤S120中，构建混合域注意力模块，混合域注意力模块包括空间域注意力模块和通道域注意力模块，混合域注意力模块用于根据输入图像生成混合域注意力地图。

示例性地，参考图6所示，混合域注意力模块620根据输入最终生成混合域注意力地图，下面将详细说明获得混合域注意力地图的过程。

在一些实施例中，该步骤S120中的构建混合域注意力模块620包括：

步骤S122：采用自下至上-自上而下机制对输入图像进行下采样和上采样，获得空间域注意力地图。该步骤S122在图6中的空间域注意力模块621中进行。

步骤S124：通道域注意力模块根据输入图像生成通道域注意力地图。该步骤 S124在图6中的通道域注意力模块622中进行。

步骤S126：将通道域注意力地图与空间域注意力地图进行点乘，获得混合域注意力地图。

图7是本申请一实施例的图像质量评价方法中的空间域注意力模块的示意图。

在步骤S122中，采用自下至上-自上而下机制相结合实现空间域注意力机制。注意力网络学习被高层特征激活的区域，模拟人眼视觉系统关注特性，不需要另外单独设计注意力网络。传统的利用注意力的网络，往往需要在原有网络的基础上新增一个分支来提取注意力，并进行单独的训练。而本申请的空间域注意力模块能够在深度学习模型前向传播的过程中就提取空间域的注意力，模型训练更简单。

示例性地，参考图7所示，首先对输入图像通过一系列的卷积和下采样操作，逐渐提取深度学习模型的低层至高层特征，即“自下至上”，并增大深度学习模型的感受野，高层特征中所激活的像素能够反映注意力所在的区域。经过下采样操作后，关注的区域越来越小。接着进行与下采样操作相同数量的上采样操作，即“自上而下”，将中间过程的注意力地图的尺寸放大到与原始输入一样大。其中，上采样操作通过双线性差值实现，这样就将注意力地图的区域对应到输入图像的每一个像素上。最终得到空间域注意力地图。上采样操作是使图像由小分辨率映射到大分辨率的操作，方便深度学习模型进行进一步计算，经过上采样操作后，非关注区域越来越大。

在步骤S124中：基于人眼的多通道感知特性，实现通道域的注意力机制。对图像的每个通道，通过权重自适应的方式，加大有物体区域的权重，而减小非物体区域的权重，权重越大，则表示相关度越高。

TF-IDF(Term Frequency–Inverse Document Frequency)权重常用于信息检索与文本挖掘中，作为评估某个词对文档集合或者语料库中某个文档的重要程度的统计度量，这种重要程度与词在文档中的出现次数成正比，但是被语料库中词的出现频率所抵消。示例性地，参考图6所示，通道域注意力模块622 借鉴TF-IDF权重的思想，考虑如果图像某个通道的特征地图的非零像素点越多且像素值越大，则该通道所包含物体位置信息就越少权重越小，反之权重则越大，这一现象跟TF-IDF的思想特别吻合。

示例性地，采用下面的公式(1)和(2)计算图像通道的权重：

其中，B_k表示第k个通道的权重，M_l表示深度学习模型第l层的非零元素的总和；ε表示正常量，维护分式稳定性，保证分母不为零。在一些实施例中，ε＝1；M_k表示第k个通道的特征平面的非零元素个数。

采用上述公式(1)和(2)计算图像通道的权重后，获得通道域注意力地图。

在步骤S126中，将通道域注意力地图与空间域注意力地图进行点乘，即在空间域注意力地图的基础上，对每通道的特征地图乘以相应的权重，生成混合域注意力地图。混合域注意力地图为与原图像大小相同的矩阵。

通过空间域注意力和通道域注意力两个分析维度，实现从通道到空间的顺序注意力结构。空间域注意力可以使深度学习模型更加关注图像中起决定作用的像素区域而忽略无关紧要的区域；通道域注意力则用于处理特征图通道的分配关系。同时对空间域和通道域两个维度进行注意力分配增强了注意力机制对深度学习模型性能的提升效果。

在步骤S130中，根据人眼视觉掩盖特性构建恰可识别失真阈值模块，恰可识别失真阈值模块用于根据输入图像生成JND阈值权重地图。

图8是本申请一实施例的图像质量评价方法中的恰可识别失真阈值模块内部执行步骤的示例性流程图。

需要说明，图8示出的恰可识别失真阈值模块内部执行步骤的示例性流程图，其中，恰可识别失真阈值模块对应图6中示出的恰可识别失真阈值模块630。示例性地，参考图8所示，根据人眼视觉掩盖特性，恰可识别失真阈值模块630综合考虑亮度适应性(Luminance Adaption，LA)、对比度掩盖(Contrast Masking， CM)和对比度敏感函数(Contrast Sensitivity Function，CSF)的影响。在图8 中，恰可识别失真阈值模块630为计算JND阈值包括三个分支路径，第一个分支路径是：从步骤S6301到步骤S6310，根据输入图像获得LA；第二个分支路径是：从步骤S6301到步骤S6325：根据输入图像获得CM；第三个分支路径是：从步骤 S6301到步骤S6333：根据输入图像获得二维CSF；恰可识别失真阈值模块630在步骤S6302将LA、CM和二维CSF组合后，最终获得综合的JND阈值，即JND 阈值地图。下文将对图8中，LA、CM和二维CSF获得的过程进行详细说明。

在一些实施例中，该步骤S130中的恰可识别失真阈值模块根据输入图像生成JND阈值权重地图包括：

步骤S1312：将输入图像分解为结构图像和纹理图像。该步骤对应于图8中的步骤S6320。

步骤S1314：分别计算结构图像的结构图像对比度掩盖和纹理图像的纹理图像对比度掩盖。

步骤S1316：采用下面的公式(3)计算对比度掩盖：

CM＝pSM+qTM (3)

其中，CM表示对比度掩盖，SM表示结构图像对比度掩盖，TM表示纹理图像对比度掩盖，0≤q≤1，0≤p≤1,q+p＝1,设置q大于p。

示例性地，参考图8所示，图8中的第二个分支路径中，从步骤S6301到步骤S6325，即根据输入图像获得CM，首先在步骤S6320将输入图像分解，分别在步骤S6321得到结构图像和在步骤S6322得到纹理图像，接着在步骤S6323针对结构图像计算结构掩盖效应评价(Structure Masking，SM)，在步骤S6324针对纹理图像计算纹理掩盖效应评价(TextureMasking，TM)，最后在步骤S6325将 SM与TM相加后获得CM，即对比度掩盖CM同时考虑了结构图像和纹理图像。图像中结构部分分段光滑并包含沿轮廓的尖锐边缘，纹理部分包括细微尺度的细节，通常有周期性和震荡性。边缘和纹理区域空间变化较大，和边缘区域相比纹理结构更复杂和难以预测。

在一些实施例中，步骤S1312包括：

步骤S13122：将输入图像和卷积掩膜算子进行卷积操作得到纹理图像。该步骤S13122对应于图8中的步骤S6322。

步骤S13124：用输入图像减去纹理图像得到结构图像。该步骤S13124对应于图8中的步骤S6321。

每个一维卷积掩膜算子对应LDCT图像潜在的纹理结构，可以提取图像潜在的纹理，因此将图像和卷积掩膜算子进行卷积操作来获得纹理图像(Texture Image，TI)。

在一些实施例中，步骤S13122中的卷积掩膜算子包括方向算子、条状伪影算子、斑点噪声算子和环状伪影算子；条状伪影算子、斑点噪声算子和环状伪影算子分别对应于低剂量CT图像中的条状伪影、斑点噪声和环状伪影。

示例性地，参考图8所示，为了更有效地测量对比掩盖效应，针对LDCT 图像易出现条状伪影、斑点噪声和环状伪影的特点，设计相应的卷积掩膜算子 (以下简称算子)将输入图像分解为结构图像和纹理图像来计算CM，而不是简单地用Sobel或Candy算子。采用卷积掩膜算子来检测多类纹理特征。根据新冠LDCT图像特点来构造纹理掩盖TM，示例性地，TM由下列的一维算子卷积操作后产生：

方向算子：Level L5＝[1 4 6 4 1]；

条状伪影算子：Edge E5＝[-1 -2 0 2 1]；

斑点噪声算子：Spot S5＝[-1 0 2 0 -1]；

环状伪影算子：Ripple R5＝[1 -4 6 -4 1]。

以上算子数组内的数值及算子的数量均根据经验设置，本申请不作限制。每个一维算子对应LDCT图像潜在的纹理结构，可以提取图像潜在的纹理，利用前文提到的算子进行卷积。由两个方向算子分别和另外三个一维数组(E5,S5, R5)卷积可以得到6个卷积掩膜算子，例如，纹理图像TI(L5E5)为由方向算子L5和条状伪影算子E5相乘得到的二维卷积掩盖，该二维卷积掩盖用来检测水平方向的条状伪影纹理。

将LDCT图像和卷积掩膜算子卷积得到对应纹理的纹理图像，如纹理图像 TI_L5E5由下式(4)得到：

TI_L5E5＝I(i，j)*L5E5 (4)

其中，I(i，j)表示LDCT图像。

将6个卷积掩膜算子与LDCT图像分别卷积后，得到的所有纹理图像取平均得到总的纹理图像TI。

在步骤S13124中，从原始的LDCT图像中减去总的纹理图像TI后即得到结构图像。

在一些实施例中，步骤S1314中的纹理图像对比度掩盖采用下面的公式(5) 计算：

其中，TM表示纹理图像对比度掩盖，(i,j)表示纹理图像对比度掩盖的坐标， TI表示纹理图像，(x，y)表示纹理图像的像素坐标。该步骤对应于图8中的步骤 S6324。

示例性地，参考图8所示，HVS对结构规则区域非常敏感，容易觉察出该区域的失真，即规则区域的JND阈值比较低，而对不规则和太细腻的纹理区域不是很敏感。高密度随机纹理区域，例如草地的熵较大并可以掩盖更多的噪声。熵为随机性的统计度量，熵可以用来描述图像的纹理特性，与结构化区域相比，随机纹理区域的熵较大。因此，图8中步骤S6324获得的纹理图像的纹理掩盖 TM，即纹理图像对比度掩盖，可以通过计算纹理图像的熵能量得到，计算过程参见前文步骤S1314中纹理图像对比度掩盖的公式(5)。同理，图8中步骤S6323 获得的结构图像的结构掩盖SM，即结构图像对比度掩盖，可以通过计算结构图像的熵能量得到。

在步骤S1316中，对应图8中步骤S6325获得的最终的CM由SM和TM 相加得到，上述公式(3)中，q表示纹理区域掩盖的噪声的权重，p表示结构区域掩盖的噪声的权重，p和q用来区分SM和TM。研究表明，纹理区域掩盖的噪声可能是结构区域掩盖的噪声的3倍，纹理区域掩盖的噪声大于结构区域掩盖的噪声，所以设置q大于p用来给TM更高的权重，纹理区域的随机性由熵来量化使CM更加有效。

在一些实施例中，该步骤S130中的恰可识别失真阈值模块根据输入图像生成JND阈值权重地图还包括：计算输入图像的二维对比度敏感函数，包括：

步骤S1322：采用快速傅里叶变换将输入图像变换到空间频率域。该步骤 S1322对应图8的步骤S6330。

步骤S1324：采用一维对比度敏感函数给空间频率系数分配不同的权重，得到基于一维对比度敏感函数权重的空间频率系数。该步骤S1324对应图8的步骤S6331。

步骤S1326：采用快速反傅里叶变换将基于对比度敏感函数权重的空间频率系数变换回空间域，获得二维对比度敏感函数。该步骤S1326对应图8的步骤S6332到步骤S6333。

传统的对比度掩盖直接计算图像亮度的标准差，忽略了对比感知机制，例如对比度敏感函数CSF。CFS考虑到图像亮度有差异，亮度的差异会对图像噪声进行掩盖，进一步对图像产生影响。因此基于CSF提出改进的对比度掩盖评价方法。示例性地，参考图8所示，图8中的第三个分支路径，从步骤S6301 到步骤S6333，即根据输入图像获得二维CSF，首先在步骤S6330将输入图像进行快速傅里叶变换(Fast Fourier Transform，FFT)，然后在步骤S6331计算一维 CSF，接着在步骤S6332进行快速反傅里叶变换(Inverse Fast FourierTransform， IFFT)，最终在步骤S6333得到二维CSF。

在步骤S1324中，用一维对比度敏感函数给空间频率系数分配不同的权重根据公式(6)、(7)计算：

其中，CSF表示是一维信号的CSF模型，a₀，a₁和a₂为常数，r是以cpd(circle perdegree)为单位的空间频率，u和v分别表示二维图像的正交频率成分，r为正数。一维的CSF曲线类似带通滤波器，中心频率在11.3cpd，在此处CSF响应最大，基于此，a₀取值为11.3，a₁取值为1，a₂取值为1。

在步骤S1326中，二维对比度敏感函数的计算公式(8)为：

其中，(x,y)表示像素点的位置，CSF(r)即前文的一维信号的CSF，×表示 FFT的系数和在相应空间频率的CSF相乘，I(x,y)为灰度图像，

为IFFT 的输出，即二维CSF，最后将

归一化至0到1之间。

在一些实施例中，该步骤S130中的恰可识别失真阈值模块根据输入图像生成JND阈值权重地图还包括：

步骤S1332：计算输入图像的亮度适应性。该步骤S1332对应图8的步骤 S6310。

步骤S1334：将对比度掩盖、二维对比度敏感函数和亮度适应性组合后，得到JND阈值地图。该步骤S1334对应图8的步骤S6302。

参考图8所示，在步骤S6310计算LA(亮度适应性)，LA为重要的感知特性之一，HVS对极暗或极亮区域的噪声较不敏感，Weber-Fechner定律指出最小可识别亮度变化随背景亮度的增强而增加，图像的LA用下面的公式(9) 计算：

其中，I_avg表示图像区块的平均亮度值，(x,y)表示像素点的位置。

在一些实施例中，步骤S1334中的JND阈值地图采用下面的公式(10)计算：

JND＝LA+CM+CSF-p×min(LA，CM，CSF) (10)

其中，JND表示JND阈值地图，LA表示亮度适应性，CM表示对比度掩盖，CSF表示二维对比度敏感函数，p为增益衰减因子用于补偿各掩盖之间的重叠，p为小于1的非零正数。

综合考虑影响JND阈值地图的三个主要因素：LA、CM和CSF，建立基于像素的JND模型，使其更完善并接近人眼视觉特性。最终的JND由LA、CM 和CSF在像素域的影响组合而成，并考虑三种掩盖因素之间的重叠。示例性地，通常p其值取0.3。

和其他模型比较，此JND模型较全面考虑了各种影响因素，可以克服某些模型的缺点，如TM的有效测量、基于像素的CSF计算等。最终得到JND阈值地图。

在一些实施例中，图像质量评价方法还包括采用1-sigmoid函数对JND阈值地图进行计算，获得JND阈值权重地图，以使JND阈值地图中JND小的区域对应大的权重，JND大的区域对应小的权重。

在JND越小的区域，人眼对失真越敏感，对最终图像质量评价的影响越大， JND越大的区域，可容忍越大的失真，即对失真越不敏感，对最终图像质量评价的影响越小，基于此，采用1-sigmoid函数对JND阈值地图进行计算。sigmoid 函数是一种函数值在0-1之间的S型曲线，自变量越小，函数值越接近0，自变量越大，函数值越接近1。采用1-sigmoid函数计算JND阈值权重地图，可以加强JND 阈值地图中JND小的区域的影响，同时削弱JND阈值地图中JND大的区域的影响，获得基于JND思想的JND阈值权重地图。

在步骤S140中，融合混合域注意力地图和JND阈值权重地图，获得综合视觉权重地图。

示例性地，参考图6所示，人眼首先对不同区域有不同关注权重，而对不同内容的图像有不同的JND阈值，这两方面对最终的图像质量评价都有影响，综合考虑视觉关注、视觉掩盖特性和敏感度，融合混合域注意力模块620的混合域注意力地图和恰可识别失真阈值模块630的JND阈值权重地图，最终生成本申请的综合视觉权重地图640，即CVW。

在一些实施例中，该步骤S140中的融合混合域注意力地图和JND阈值权重地图包括：

步骤S142：将混合域注意力地图与JND阈值权重地图的每个像素进行点乘，得到综合视觉权重地图。

参考图6所示，将混合域注意力地图与JND阈值权重地图的每个像素进行点乘，得到最终的综合视觉权重地图640CVW。CVW地图中的每一个像素值相当于对原始特征地图上每一个像素值的权重，它会增强有意义的特征，而抑制无意义的信息，因此，将CVW地图与Inception模块610输出的特征地图像素进行点乘，就得到了一个视觉权重特征地图。

在步骤S150中，将综合视觉权重地图引入深度学习模型。

针对前述的FITA中的特征整合阶段需要集中性注意，将注意力机制，即综合视觉权重地图640引入深度学习模型。

在一些实施例中，该步骤S150包括：

步骤S152：通过残差网络将综合视觉权重地图引入Inception模块。

图9是本申请一实施例的图像质量评价方法中的残差网络的示意图。

由于得到视觉权重特征地图后，无法直接将视觉权重特征地图输入到深度学习模型的下一层中，因为激活函数使用Sigmoid，Sigmoid将特征地图的输出值映射在(0，1)之间，因此通过一系列的乘法，将会导致特征地图的值越来越小，当深度学习模型的层次极深时，会出现过拟合、梯度消失、计算量巨大等新的问题，给深度学习模型的训练带来了很大的困难。

因此引入残差网络，通过残差网络将综合视觉权重地图640引入Inception模块610。借鉴ResNet中恒等映射的思想，示例性地，参考图6和图9所示，即在步骤S920得到综合视觉权重地图640CVW之后又与原来的主干分支 (Inception模块610)的图像特征地图进行了所有像素的点加操作。参考图9 所示，步骤S910的输入可以为深度学习模型上一层的结果，输入经过第一个分支路径，即步骤S910到步骤S920操作后得到CVW地图M(x)640；输入经过第二个分支路径，即步骤S910到步骤S930的卷积操作后得到T(x)940， T(x)940表示与CVW地图M(x)640相对应的特征图像。之后将两个分支路径的结果在步骤S950进行计算：(1+M(x))·T(x)。其中，1+M(x)就是残差网络的核心思想，将CVW地图M(x)640中的权值变为大于1，再与T(x)940相乘，最终将综合视觉权重地图640引入了Inception模块610。

残差网络的结构可以进行堆叠，对注意力通过残差学习的方式，可使深度学习模型能够很容易的达到很深的层次同时显著降低计算量，不同深度的注意力模块可以提取不同层次特征的注意力，同时解决优化和性能问题

图10是采用主观图像质量评价验证本申请一实施例的图像质量评价方法的示例性流程图。

本申请实施例采集COVID-19患者的LDCT图像，将图像分为训练图像和测试图像，用训练图像训练深度学习模型，将测试图像输入训练好的深度学习模型，得到LDCT图像的客观质量评价分值。参考图10所示，图10中包括两个分支路径。第一个分支路径是步骤S1001到步骤S1011，对LDCT图像进行图像质量主观评价。第二个分支路径是步骤S1001到步骤S1025，对LDCT图像进行图像质量客观评价。最后将两个分支路径的结果在步骤S1002进行客观评价与主观评价一致性验证，即验证客观评价的结果与主观评价的结果是否相同。

图10中，步骤S1011对LDCT图像进行图像质量主观评价的工作需要医生通过目测完成，依赖医生的水平和经验，主观性强。步骤S1010中，医生设计主观评价方法标准，在步骤S1011中医生进行图像质量主观评价，给出主观评价的结果。主观评价方法标准，CT图像最终以诊断为目的，以此为导向，研究主观评价的观测环境、观测者的选择、测试序列的选择、评价过程和分析方法等。医学图像的主观评价没有专门的标准，通常是参考普通图像的主观评价标准。官方提出了若干种主观评价方法的标准。因COVID-19的LDCT图像无参考图像，基于单刺激连续质量分级法(Single Stimulus Continuous Quality Evaluation，SSCQ)，由有经验的两名胸部放射学医生对LDCT图像质量进行主观评分，充分考虑医学图像为临床诊断服务的应用实际，分值分为0—4分，分值越高表示影像质量越好。最终LDCT图像的得分为两名医生评分的平均值。

图10中，从步骤S1001到步骤S1025，对LDCT图像进行图像质量客观评价的工作由本申请的图像质量评价方法完成。针对COVID-19LDCT图像数据的特点，探索能更全面准确有效模拟人眼视觉感知过程的深度学习模型，示例性地，在步骤S1020，进行基于FITA的深度学习总体框架设计。重点针对 HVS注意力特性，考虑视觉掩盖性，在步骤S1021研究混合域注意力，在步骤 S1022研究JND阈值。在步骤S1023将混合域注意力地图、JND阈值权重地图结合形成综合视觉权重地图。在步骤S1024把注意力模块引入至深度学习模型，从而建立COVID-19LDCT图像的客观图像质量评价模型。在步骤S1025进行图像质量客观评价，得到LDCT图像的客观质量分值，即客观评价的结果。

在步骤S1002进行客观评价与主观评价一致性验证。对本申请构建的深度学习模型输出的LDCT图像客观质量评价分值，分别用斯皮尔曼等级次序相关系数(Spearman RankOrder Correlation Coefficient，ROCC)、皮尔逊线性相关系数(Linear CorrelationCoefficient，LCC)、均方误差来衡量客观评价与主观评价之间的一致性。

本申请的特色与创新之处在于：

基于FITA的深度学习模型构建：基于FITA从认知心理学的角度探讨视觉早期加工问题，还未有能系统地模拟此理论的深度学习模型。本申请以此理论为总体框架，凝练出其多尺度、多形态、多层次、特征整合、注意力等要点，基于这些要点构建深度学习模型，使模型能更好模拟人眼视觉特性。如针对不同COVID-19患者肺部图像形态和影像特征差异大的问题，不同于常规卷积核正方形的感受野，采用可变形卷积来实现不同肺部形状的感受野，更好捕获肺部图像质量的基本特征。该新方法无需先验知识，可以无参考、无监督地自动学习图像质量特征，通用性好，有望为解决医学IQA面临的图像复杂多样、对人眼视觉特性的认识模拟不深入、无参考图像等问题开辟新的思路和技术，有重要理论意义和应用前景，可推广至其他组织器官(如肝脏)、其他模态医学图像(如MRI)，也可推广至更多应用领域，如优化扫描序列和参数、图像重建、传输等，具有可延伸价值。

混合域注意力的实现：以往研究一般在原有网络上新增一个分支来提取注意力，并进行单独的训练，且仅形成空间域或通道域的注意力。本申请通过由下而上，自上而下的结构自动学习提取人眼注意力所在区域，并结合人眼视觉多通道特性，引入TF-IDF权重的思想，综合考虑空间域和通道域注意力形成混合域注意力，该工作有望为在IQA领域实现混合域注意力的深度学习方法提供新方法。

JND阈值的综合评估：基于像素的JND模型通常仅考虑LA、CM而忽略了CSF；评估CM的方法中，因为边缘和纹理区域较难区分，纹理区域对CM 的影响一直被低估。本申请综合考虑影响的JND三个主要因素，使JND模型更完善并接近人眼视觉特性如视觉掩盖特性和敏感度；在计算CM时，针对 LDCT图像易出现斑点噪声、条状伪影和环状伪影的特点，设计对应的卷积算子将图像分解为结构和纹理图像，并分别考虑其视觉掩盖效应对CM的影响。该工作有望更准确有效地评估JND阈值，发挥其在IQA领域的作用。

综合视觉权重地图：注意力地图仅仅考虑了人眼关注的区域，没有考虑人眼在此区域的视觉掩盖特性和敏感度，即可感受到的失真，而视觉掩盖特性和敏感度对最终的IQA至关重要。针对肺部LDCT图像，本申请融合混合域注意力地图和JND阈值权重地图，生成CVW地图。针对网络深度增加面临的性能和优化问题，通过残差网络将综合注意力引入深度学习模型，堆叠注意力模块，不同深度的注意力模块可提取不同层次特征的注意力。该工作理论上有一定突破，为后续视觉掩盖特性、敏感度等更多人眼视觉特性融入打下基础，有望更好地模拟HVS特性，为IQA开辟新的思路。

本申请还包括一种图像质量评价系统，包括存储器和处理器。其中，该存储器用于存储可由处理器执行的指令；处理器用于执行该指令以实现前文所述的图像质量评价方法。

图11是本申请一实施例的图像质量评价系统的系统框图。参考图11所示，该图像质量评价系统1100可包括内部通信总线1101、处理器1102、只读存储器 (ROM)1103、随机存取存储器(RAM)1104以及通信端口1105。当应用在个人计算机上时，该图像质量评价系统1100还可以包括硬盘1106。内部通信总线1101可以实现该图像质量评价系统1100组件间的数据通信。处理器1102 可以进行判断和发出提示。在一些实施例中，处理器1102可以由一个或多个处理器组成。通信端口1105可以实现该图像质量评价系统1100与外部的数据通信。在一些实施例中，该图像质量评价系统1100可以通过通信端口1105从网络发送和接受信息及数据。该图像质量评价系统1100还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘1106，只读存储器(ROM)1103 和随机存取存储器(RAM)1104，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器1102所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。

上述的图像质量评价方法可以实施为计算机程序，保存在硬盘1106中，并可加载到处理器1102中执行，以实施本申请的图像质量评价方法。

本申请还包括一种存储有计算机程序代码的计算机可读介质，该计算机程序代码在由处理器执行时实现前文所述的图像质量评价方法。

图像质量评价方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/ 或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。

应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理器可以在一个或者多个特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或设计为执行本文所述功能的其它电子单元或者其结合内实现。

本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。

计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

Claims (17)

1.一种图像质量评价方法，其特征在于，包括：

构建基于注意的特征整合理论的深度学习模型，所述深度学习模型用于接收输入图像，并输出所述输入图像的质量评价分值；

构建混合域注意力模块，所述混合域注意力模块包括空间域注意力模块和通道域注意力模块，所述混合域注意力模块用于根据所述输入图像生成混合域注意力地图；

根据人眼视觉掩盖特性构建恰可识别失真阈值模块，所述恰可识别失真阈值模块用于根据所述输入图像生成JND阈值权重地图；

融合所述混合域注意力地图和所述JND阈值权重地图，获得综合视觉权重地图；

将所述综合视觉权重地图引入所述深度学习模型。

2.如权利要求1所述的图像质量评价方法，其特征在于，所述深度学习模型包括卷积神经网络GoogLeNet，所述GoogLeNet包括Inception模块，所述GoogLeNet用于模拟所述基于注意的特征整合理论，并行提取所述深度学习模型不同深度层的特征，以及整合各层的所述特征。

3.如权利要求2所述的图像质量评价方法，其特征在于，所述深度学习模型采用可变形卷积核模拟人眼对所述输入图像的感受野，所述感受野根据所述输入图像的不同具有多尺度和多形态的特性，所述可变形卷积核的大小对应于多尺度感受野的大小，所述可变形卷积核的形状对应于多形态感受野的形状。

4.如权利要求2或3所述的图像质量评价方法，其特征在于，将所述综合视觉权重地图引入所述深度学习模型的步骤包括：通过残差网络将所述综合视觉权重地图引入所述Inception模块。

5.如权利要求1所述的图像质量评价方法，其特征在于，构建混合域注意力模块的步骤包括：采用自下至上-自上而下机制对所述输入图像进行下采样和上采样，获得空间域注意力地图。

6.如权利要求5所述的图像质量评价方法，其特征在于，构建混合域注意力模块的步骤还包括：所述通道域注意力模块根据所述输入图像生成通道域注意力地图，将所述通道域注意力地图与所述空间域注意力地图进行点乘，获得所述混合域注意力地图。

7.如权利要求1所述的图像质量评价方法，其特征在于，所述恰可识别失真阈值模块根据所述输入图像生成JND阈值权重地图的步骤包括：将所述输入图像分解为结构图像和纹理图像；分别计算所述结构图像的结构图像对比度掩盖和所述纹理图像的纹理图像对比度掩盖；采用下面的公式计算对比度掩盖：

CM＝pSM+qTM

其中，CM表示所述对比度掩盖，SM表示所述结构图像对比度掩盖，TM表示所述纹理图像对比度掩盖，0≤q≤1，0≤p≤1,q+p＝1,设置q大于p。

8.如权利要求7所述的图像质量评价方法，其特征在于，采用下面的公式计算所述纹理图像对比度掩盖：

其中，TM表示所述纹理图像对比度掩盖，(i,j)表示所述纹理图像对比度掩盖的坐标，TI表示所述纹理图像，(x，y)表示所述纹理图像的像素坐标。

9.如权利要求7所述的图像质量评价方法，其特征在于，将所述输入图像分解为结构图像和纹理图像的步骤包括：

将所述输入图像和卷积掩膜算子进行卷积操作得到所述纹理图像；

用所述输入图像减去所述纹理图像得到所述结构图像。

10.如权利要求9所述的图像质量评价方法，其特征在于，所述卷积掩膜算子包括方向算子、条状伪影算子、斑点噪声算子和环状伪影算子；所述条状伪影算子、所述斑点噪声算子和所述环状伪影算子分别对应于低剂量CT图像中的条状伪影、斑点噪声和环状伪影。

11.如权利要求7所述的图像质量评价方法，其特征在于，所述恰可识别失真阈值模块根据所述输入图像生成JND阈值权重地图的步骤还包括：计算所述输入图像的二维对比度敏感函数，包括：

采用快速傅里叶变换将所述输入图像变换到空间频率域；

采用一维对比度敏感函数给空间频率系数分配不同的权重，得到基于所述一维对比度敏感函数权重的空间频率系数；以及

采用快速反傅里叶变换将基于对比度敏感函数权重的空间频率系数变换回空间域，获得所述二维对比度敏感函数。

12.如权利要求11所述的图像质量评价方法，其特征在于，所述恰可识别失真阈值模块根据所述输入图像生成JND阈值权重地图的步骤还包括：计算所述输入图像的亮度适应性；将所述对比度掩盖、所述二维对比度敏感函数和所述亮度适应性组合后，得到JND阈值地图。

13.如权利要求12所述的图像质量评价方法，其特征在于，采用下面的公式计算所述JND阈值地图：

JND＝LA+CM+CSF-p×min(LA，CM，CSF)

其中，JND表示所述JND阈值地图，LA表示所述亮度适应性，CM表示所述对比度掩盖，CSF表示所述二维对比度敏感函数，p为增益衰减因子用于补偿各掩盖之间的重叠，p为小于1的非零正数。

14.如权利要求13所述的图像质量评价方法，其特征在于，还包括采用1-sigmoid函数对所述JND阈值地图进行计算，获得所述JND阈值权重地图，以使所述JND阈值地图中JND小的区域对应大的权重，JND大的区域对应小的权重。

15.如权利要求14所述的图像质量评价方法，其特征在于，融合所述混合域注意力地图和所述JND阈值权重地图的步骤包括：将所述混合域注意力地图与所述JND阈值权重地图的每个像素进行点乘，得到所述综合视觉权重地图。

16.一种图像质量评价系统，其特征在于，包括：

存储器，用于存储可由处理器执行的指令；

处理器，用于执行所述指令以实现如权利要求1-15任一项所述的图像质量评价方法。

17.一种存储有计算机程序代码的计算机可读介质，其特征在于，所述计算机程序代码在由处理器执行时实现如权利要求1-15任一项所述的图像质量评价方法。

Images