CN116843690B - 图像质量评估方法、设备及系统 - Google Patents
图像质量评估方法、设备及系统 Download PDFInfo
- Publication number
- CN116843690B CN116843690B CN202311121378.2A CN202311121378A CN116843690B CN 116843690 B CN116843690 B CN 116843690B CN 202311121378 A CN202311121378 A CN 202311121378A CN 116843690 B CN116843690 B CN 116843690B
- Authority
- CN
- China
- Prior art keywords
- image
- evaluated
- scales
- image quality
- quality evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 216
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000011156 evaluation Methods 0.000 claims abstract description 51
- 238000001303 quality assessment method Methods 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 60
- 238000010606 normalization Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 18
- 238000004590 computer program Methods 0.000 description 11
- 238000002372 labelling Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请提供一种图像质量评估方法、设备及系统。该方法中，获取待评估图像和参考图像在多个尺度的特征数据，待评估图像和参考图像是具有相同图像内容的一组图像；基于待评估图像和参考图像在多个尺度的特征数据，得到待评估图像与参考图像在多个尺度下的特征数据差值；对待评估图像与参考图像在多个尺度下的特征数据差值做归一化处理，得到多个归一化后的特征数据差值；基于归一化后的多个特征数据差值，获取对待评估图像的图像评估结果，图像评估结果用于指示待评估图像在多个尺度下的图像质量。上述方法考虑多个维度的图像评估参数，即多个归一化后的特征数据插值，而非单一维度的图像评估参数，得到的图像评估结果更加全面和准确。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像质量评估方法、设备及系统。
背景技术
近年来，随着终端技术的发展，手机摄影正逐步取代中低端数码相机，成为人们生活中不可缺少的一部分。与传统单反相机相比，手机探测器阵面小、光学镜头质量低，这使得手机在一些拍摄场景下拍摄的图像质量较差，例如，在夜景成像、室内成像等曝光不足的场景下，手机拍摄的图像清晰度较差。可靠的图像质量评估方法，有利于指导相关研发人员优化手机成像能力，如何高效、准确、全面对手机拍摄的图像进行质量评估是亟待解决的问题。
发明内容
本申请实施例提供一种图像质量评估方法、设备及系统，更加全面、准确地评估图像。
第一方面，本申请实施例提出一种图像质量评估方法，应用于图像质量评估装置，该方法，包括：获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据；待评估图像和参考图像是具有相同图像内容的一组图像；基于待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，得到待评估图像与参考图像在多个尺度下的特征数据差值；对待评估图像与参考图像在多个尺度下的特征数据差值做归一化处理，得到归一化后的多个特征数据差值；基于归一化后的多个特征数据差值，获取对待评估图像的图像评估结果，图像评估结果用于指示待评估图像在多个尺度下的图像质量。
上述方案中，图像质量评估装置以参考图像为基准，通过获取待评估图像相较于参考图像在多个尺度下的特征差异（即特征数据差值），分析获得待评估图像的图像质量，由于考虑了多个尺度的特征差异，得到的图像评估结果更加全面和准确。
第一方面的一个可选实施例中，图像质量评估装置包括预训练的图像质量评估模型；获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，包括：依次将待评估图像和参考图像输入图像质量评估模型，分别获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据。
上述方案中，图像质量评估装置预置一个图像质量评估模型，基于该模型分别获取待评估图像和参考图像在多个尺度的特征数据。
第一方面的一个可选实施例中，图像质量评估模型包括依次连接的多层网络；依次将待评估图像和参考图像输入图像质量评估模型，分别获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，包括：将待评估图像输入图像质量评估模型，经多层网络处理，获取多层网络中每一层网络输出的待评估图像的特征数据，作为待评估图像在多个尺度的特征数据；将参考图像输入图像质量评估模型，经多层网络处理，获取多层网络中每一层网络输出的参考图像的特征数据，作为参考图像在多个尺度的特征数据。
上述方案中，图像质量评估模型中不同层网络输出的图像特征数据，表征不同尺度下的图像特征数据，通过将待评估图像和参考图像分别输入该模型，从该模型的每一层网络获取对应层的图像特征数据。
第一方面的一个可选实施例中，图像质量评估装置包括预训练的第一图像质量评估模型和第二图像质量评估模型，第一图像质量评估模型和第二图像质量评估模型的模型参数相同；获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，包括：将待评估图像输入第一图像质量评估模型，获取待评估图像在多个尺度的特征数据；以及，将参考图像输入第二图像质量评估模型，获取待评估图像在多个尺度的特征数据。
上述方案中，图像质量评估装置预置两个图像质量评估模型，两个图像质量评估模型可以并行处理，以分别获取待评估图像在多个尺度的图像特征数据，以及参考图像在多个尺度的图像特征数据，并行处理可提升图像评估的速度。
第一方面的一个可选实施例中，获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，包括：从云端服务器获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据；云端服务器包括预训练的至少一个图像质量评估模型。
上述方案中，图像质量评估装置需要与云端服务器交互，通过云端服务器获取待评估图像和参考图像在多个尺度的特征数据，云端服务器可以在获取待评估图像和参考图像在多个尺度的特征数据后，将这些数据返回图像质量评估装置，以便图像质量评估值装置进行后续数据处理和分析，这样可以释放图像质量评估装置的部分存储空间，提升处理速度，但同时要求图像处理装置处于在线状态。
第一方面的一个可选实施例中，对待评估图像与参考图像在多个尺度下的特征数据差值做归一化处理，得到归一化后的多个特征数据差值，包括：经图像质量评估装置中的处理模块对待评估图像与参考图像在多个尺度下的特征数据差值进行L2范数归一化处理，得到归一化后的多个特征数据差值。
上述方案中，图像质量评估装置通过L2范数对特征数据差值做归一化处理，得到的归一化后的特征数据差值用于分析待评估图像在不同维度的图像质量。
第一方面的一个可选实施例中，该方法还包括：控制拍摄装置在第一环境光亮度下连续拍摄多帧第一图像；基于多帧第一图像，获取参考图像。
上述方案中，通过采集多帧第一图像，以获取图像质量良好的参考图像。
第一方面的一个可选实施例中，该方法还包括：检测多帧第一图像的图像相关性；基于多帧第一图像，获取参考图像，包括：若多帧第一图像的图像相关性大于或等于第一阈值，基于多帧第一图像，获取参考图像。
上述方案中，通过检测多帧第一图像的图像相关性，以获取图像质量良好的参考图像。多帧第一图像的图像相关性能够表征拍摄多帧第一图像时是否发生抖动。若多帧第一图像的图像相关性小于第一阈值，则表征拍摄时发生抖动，基于该多帧第一图像得到的参考图像的图像质量不佳，会影响后续对待评估图像的评估结果，使得评估结果不准确。
第一方面的一个可选实施例中，基于多帧第一图像，获取参考图像，包括：对多帧第一图像进行图像融合，得到参考图像；或者，从多帧第一图像中随机选取其中一帧作为参考图像。
上述方案中，通过对多帧第一图像做图像融合，以获取图像质量良好的参考图像。或者，通过随机选取的方式，快速获取参考图像。
第一方面的一个可选实施例中，该方法还包括：控制拍摄装置在第二环境光亮度下拍摄一帧第二图像；第二环境光亮度小于第一环境光亮度；将第二图像作为待评估图像。
第一方面的一个可选实施例中，该方法还包括：检测待评估图像与参考图像的图像相关性；获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，包括：若待评估图像与参考图像的图像相关性大于或等于第二阈值，获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据。
上述方案中，通过检测待评估图像和参考图像的图像相关性，以获取符合图像质量评估要求的待评估图像和参考图像。若待评估图像和参考图像的图像相关性小于第二阈值（即相关性不高），基于该参考图像对待评估图像进行图像评估，其图像评估结果不准确，因此，需要重新采集该组图像，以满足图像质量评估要求。
第二方面，本申请实施例提供一种图像质量评估装置，包括：获取模块，用于获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据；待评估图像和参考图像是具有相同图像内容的一组图像；处理模块，用于基于待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，得到待评估图像与参考图像在多个尺度下的特征数据差值；对待评估图像与参考图像在多个尺度下的特征数据差值做归一化处理，得到归一化后的多个特征数据差值；基于归一化后的多个特征数据差值，获取对待评估图像的图像评估结果，图像评估结果用于指示待评估图像在多个尺度下的图像质量。
第三方面，本申请实施例提供一种电子设备，包括：处理器和存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，使得电子设备执行如第一方面任一项的方法。
第四方面，本申请实施例提供一种图像质量评估系统，包括：相互连接的拍摄装置以及图像质量评估装置；拍摄装置用于拍摄不同环境光亮度下的具有相同图像内容的多张图像，图像质量评估装置用于执行如第一方面任一项的方法。
第四方面的一个可选实施例中，图像质量评估系统，还包括：至少一个照明装置，至少一个照明装置与图像质量评估装置连接；图像质量评估装置还用于发送控制指令，以调节至少一个照明装置的角度和/或亮度。
第五方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项的方法。
第六方面，本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得电子设备执行如第一方面任一项的方法。
第七方面，本申请实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面任一项的方法。
应当理解的是，本申请的第二方面至第七方面与本申请的第一方面的技术方案相对应，各方面及对应的可选实施例所取得的有益效果相似，不再赘述。
附图说明
图1为本申请实施例提供的一种图像质量评估系统的示意图；
图2为本申请实施例提供的一种图像质量评估系统的示意图；
图3为本申请实施例提供的拍摄装置采集图像的流程示意图；
图4为本申请实施例提供的一种图像质量评估方法的流程示意图；
图5为本申请实施例提供的一组待评估图像和参考图像的示意图；
图6为本申请实施例提供的一种图像质量评估装置中模型的数据处理示意图；
图7为本申请实施例提供的一种图像质量评估装置中模型的数据处理示意图；
图8为本申请实施例提供的一种图像质量评估模型的结构示意图；
图9为本申请实施例提供的一种图像质量评估装置的结构示意图；
图10为本申请实施例提供的一种图像质量评估装置的数据处理示意图；
图11为本申请实施例示出的几种典型图像质量问题的示意图；
图12为本申请实施例提供的一种图像质量评估装置的结构示意图；
图13为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了便于理解，下面首先对本申请实施例涉及的专业术语及概念进行介绍：
第一，AlexNet，一种经典的卷积神经网络模型，该模型包括五个卷积层、三个池化层和三个全连接层。
第二，VGG，全称是Visual Geometry Group，一种框架更加规整的神经网络模型，该模型中设计了更多的全连接层和卷积层，并且将一部分的卷积层组合成块。
第三，图像畸变，是指图像中原本应该是直线的地方发生了不自然的变形或扭曲。
第四，伪影（artifacts），是指原本被拍摄物体并不存在而在图像上却出现各种形态的影像。在图像处理后，尤其在合成的图像中，表现为不自然的、能让人看出是经图像处理过的痕迹、区域、瑕疵等。在一些实施例中，伪影也可称为伪纹理。
第五，感受野（receptive field），指的是卷积神经网络每一层输出的特征图（feature map）上的像素单元在输入图像上映射的区域大小，也可以理解为特征图上的一个像素单元对应输入图像上的区域。本申请实施例中，像素单元可以为像素点，或者由多个像素点组成的像素单元。
第六，L2范数，是向量的一种度量方式，定位为向量所有元素的平方和的开平方。对于两个向量，L2范数可以认为是空间中两个点之间的距离。本申请实施例中，L2范数是针对待评估图像和参数图像的特征图中对应像素单元的像素值的差值。
随着终端技术的发展，用户对电子设备拍摄的图像质量的要求越来越高，准确评估电子设备拍摄的图像质量，有利于指导相关研发人员提升电子设备的成像能力。
在一些实施例中，使用图像质量评估模型对图像进行图像质量评估。图像质量评估模型可以是人工智能（artificial intelligence，AI）模型。在对图像进行图像质量评估之前，需要先对图像质量评估模型进行预训练，使用预训练好的图像质量评估模型对图像进行图像质量评估。其中，图像质量评估模型的训练过程包括：
步骤1，获取样本图像以及样本图像的标注结果。其中样本图像的标注结果通常是经人工标注得到的，即人工为样本图像标注图像的质量分数。
步骤2，创建初始的图像质量评估模型。其中初始的图像质量评估模型可采用任意神经网络模型，如AlexNet、VGG等。
步骤3，基于初始的图像质量评估模型、样本图像以及样本图像的标注结果，对图像质量评估模型进行训练，以优化图像质量评估模型的模型参数，在图像质量评估模型的损失函数收敛时，停止模型训练，得到预训练好的图像质量评估模型。
在模型的训练过程中，如果图像质量评估模型的预测结果与标注结果不一致，例如预测的图像质量分数与人工标注的质量分数的差值大于或等于预设值，则需要调整图像质量评估模型的模型参数，直至图像质量评估模型的预测结果与标注结果一致，结束模型训练。其中，预测结果与标注结果一致可以理解为预测的图像质量分数与人工标注的质量分数的差值小于预设值。
本实施例中，由于模型训练过程依赖于人工的标注结果，而人工标注结果因人而异，不同的标注人员针对同一张图像，可能给出不同的图像质量分数，因此，使用该方案的图像质量评估模型得到的图像质量评估结果可能并不客观。此外，使用该方案的图像质量评估模型得到的图像质量评估结果，仅能给出图像整体的评估结果，比如图像质量的整体得分，并不能评估图像上存在哪些图像问题，因此，图像质量评估结果并不准确。
在一些实施例中，人工识别电子设备拍摄的图像，给出图像存在的质量问题。例如，人工评估图像清晰度、图像是否有畸变、图像是否有伪影等。人工识别效率较低，且评估结果存在个体差异，此外，对于较难识别的图像问题，如炫光、反光、伪影、固定模型图案等，需要较强专业能力的人员才能够识别。
对于上述存在的问题，本申请实施例提出一种图像质量评估方法，该方法适用于能够进行图像处理的电子设备或者装置，该电子设备或装置中预置有改进的图像质量评估模型，改进的图像质量评估模型具备分析图像中多种图像质量问题的能力，而不仅仅是给出图像整体的质量分数。也就是说，改进的图像质量评估模型输出的图像质量评估结果可指示图像上存在的多种图像问题，例如图像清晰度、图像是否有畸变、图像是否有伪影等，其评估结果更加全面、准确。具体实现中，图像质量评估模型的输入包括待评估图像和参考图像，待评估图像和参考图像是同一空间位置、不同光照条件下同一设备拍摄的相同内容的两张图像，图像质量评估模型通过分析待评估图像和参考图像在模型不同层的特征数据，以得出待评估图像的图像质量评估结果，可以更加全面、准确的评估图像质量。
在一些实施例中，上述电子设备可以是具有拍摄功能的任意电子设备，电子设备可以是单反相机、卡片机等各种摄像装置、手机、平板电脑、可穿戴设备、车载设备、虚拟现实（virtual reality，VR）设备、增强现实（argmented reality，AR）设备、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）、移动互联网设备（mobile internet device，MID）、云端服务器等，对于电子设备的具体类型，本申请实施例不作任何限定。
为了更好地理解本申请提供的图像质量评估方法，下面先对图像质量评估系统进行介绍。
示例性的，图1为本申请实施例提供的一种图像质量评估系统的示意图。参照图1，该系统100可以包括：至少一个照明装置101、拍摄装置102以及图像质量评估装置103，其中，照明装置101和拍摄装置102分别与图像质量评估装置103连接，连接方式可以是有线或无线，无线连接方式包括但不限于蓝牙连接，图1示出的是有线的连接方式。
图1中以两个照明装置101为例，两个照明装置101分别位于被摄物体104的左右两侧，两个照明装置101为被摄物体104提供环境光。在一些实施例中，被摄物体104可以为图卡，图卡可以包括至少一种图形，例如包括不同尺度的圆，矩形，三角形等，图卡可以是黑白图卡，也可以是彩色图卡，对此本申请实施例不作具体限定。使用标准图像库中的图卡采集待评估图像和参考图像，有利于检测图像中多种类别的问题，对拍摄装置如手机的拍摄参考价值更高。
在一些实施例中，照明装置101用于提供拍摄的环境光，照明装置101可基于图像质量评估装置103发送的控制指令，调节灯光的角度和/或亮度，从而提供不同的环境光亮度。照明装置101也可称为照明系统或灯光控制系统。
在一些实施例中，拍摄装置102用于采集图像，拍摄装置102可基于图像质量评估装置103发送的拍摄指令，开启摄像头以采集图像。示例性的，以手机为拍摄装置102为例，参照图1，在拍摄装置102与被摄物体104的空间位置不变、环境光亮度不同的拍摄条件下，拍摄装置102基于图像质量评估装置103发送的拍摄指令，分别获取待评估图像和参考图像。其中，待评估图像和参考图像的拍摄内容相同，即两幅图像都是拍摄同一被摄物体。拍摄装置102也可称为拍照系统。
在一些实施例中，图像质量评估装置103用于控制照明装置101和拍摄装置102，例如，图像质量评估装置103可向照明装置101发送控制指令，以调节照明装置101中的灯光亮度，实现调节拍摄的环境光。又例如，图像质量评估装置103可向拍摄装置102发送拍摄指令，以便拍摄装置102在一定的环境光亮度下采集图像，例如在高光强下采集参考图像，在低光强下采集待评估图像。示例性的，图像质量评估装置103可以为图1所示的计算机。图像质量评估装置103也可称为图像数据分析系统。
在一些实施例中，图像质量评估装置103预置有改进的图像质量评估模型，可将待评估图像和参考图像输入改进的图像质量评估模型，经改进的图像质量评估模型处理后，得到待评估图像的图像质量评估结果，该图像质量评估结果指示待评估图像上存在的多种图像问题。
在一些实施例中，可以将图像质量评估装置103和拍摄装置102集成在同一电子设备，示例性的，图2为本申请实施例提供的一种图像质量评估系统的示意图，参照图2，本实施例的图像质量评估系统200可以包括至少一个照明装置201以及电子设备202，图2以两个照明装置201为例，电子设备202以手机为例。本实施例中，电子设备202可用于控制照明装置201调节环境光亮度，并在调节环境光亮度后，控制电子设备202中的摄像头采集图像，从而获取待评估图像和参考图像。电子设备202预置有改进的图像质量评估装置，电子设备202利用改进的图像质量评估装置，可获取待评估图像的图像质量评估结果，该图像质量评估结果可指示待评估图像上存在的多种图像问题。
本申请实施例对图像质量评估系统的架构不作具体限定，基于上述任意系统，采集两张图像，即上述的待评估图像和参考图像，这两张图像是同一拍摄装置在同一空间位置，基于不同的环境光亮度拍摄的图像内容相同的图像。其中，拍摄待评估图像的环境光亮度小于拍摄参考图像的环境光亮度。在一些实施例中，待评估图像也可称为低质量图像，参考图像也可称为高质量图像，图像质量的高低是相对的。可以理解的是，环境光亮度较高时拍摄的参考图像的图像质量优于环境光亮度较低时拍摄的待评估图像的图像质量，这里的图像质量包括例如图像清晰度、图像是否畸变、图像是否有伪影等。
在一些实施例中，上述图像质量评估系统也可以没有照明装置，测试人员可在不同时段（例如，早上或傍晚）通过图像质量评估装置控制拍摄装置，或者直接控制拍摄装置采集不同环境光亮度下的同一图卡的图像。
下面基于图1所示的图像质量评估系统，对系统中拍摄装置采集待评估图像和参考图像的过程进行详细说明。示例性的，图3为本申请实施例提供的拍摄装置采集图像的流程示意图。参照图3，本实施例的图像采集流程可以包括：
S301. 图像质量评估装置控制照明装置调节光强度至第一光强度。
在一些实施例中，参照图1，在执行图像采集流程之前，需要做如下准备工作：将拍摄装置102固定在图1所示的支架105上，将图卡104作为被摄物体放置在成像样板106上。
S302. 图像质量评估装置控制拍摄装置连续拍摄多帧第一图像。
S303. 拍摄装置向图像质量评估装置传输多帧第一图像。
S304. 图像质量评估装置检测多帧第一图像的图像相关性。
一种示例中，若图像质量评估装置确定多帧第一图像的图像相关性大于或等于第一阈值，执行S305；另一种示例中，若图像质量评估装置确定多帧第一图像的图像相关性小于第一阈值，跳回S302。
在一些实施例中，采集多帧第一图像以生成后文S305中的第三图像。一种示例中，对多帧第一图像进行图像融合，得到第三图像。
可以理解的是，若多帧第一图像的图像相关性大于或等于第一阈值，则认为多帧第一图像的图像相关性较高，第三图像的图像质量良好。若多帧第一图像的图像相关性小于第一阈值，则认为多帧第一图像的图像相关性较低，第三图像的图像质量较差。
本实施例通过图像质量评估装置检测多帧第一图像的图像相关性，从而确定是否需要重新采集多帧第一图像。由于第三图像是作为评估后文S307中的第二图像（即待评估图像）的参考图像，因此需保证第三图像的图像质量良好。若多帧第一图像的图像相关性小于第一阈值，其可能的原因之一是拍摄过程中发生抖动，因此需要重新采集多帧第一图像。
在一些实施例中，图像质量评估装置分别获取多帧第一图像中的第一帧图像与第一帧图像之后的n-1帧图像的图像相关性，基于第一帧图像与第一帧图像之后的n-1帧图像的图像相关性，确定多帧第一图像的图像相关性，其中，n为大于1的正整数。
一种示例中，可通过计算第一帧图像与第一帧图像之后的n-1帧图像的相关性的均值，将该均值作为多帧第一图像的图像相关性。例如，多帧第一图像包括依次采集的图像1至图像5，图像质量评估装置分别获取图像1与图像2的图像相关性，图像1与图像3的图像相关性，图像1与图像4的图像相关性，图像1与图像5的图像相关性，对前述几个图像相关性做均值，得到多帧第一图像的图像相关性。
在一些实施例中，图像质量评估装置基于频域互相关算法，确定多帧第一图像的图像相关性。示例性的，以n帧第一图像为例，图像质量评估装置可通过如下步骤，确定n帧第一图像的图像相关性：
步骤1，图像质量评估装置基于公式(1)，获取n帧第一图像中的第1帧图像与第i+1帧图像的相关系数：
(1)
式中，表示多帧图像中的第1帧图像的二维频谱变换数据，/>表示多帧图像中的第i+1帧图像的二维频谱变换数据的共轭数据，/>表示第1帧图像与第i+1帧图像的相关系数，i取[1, n-1]。
步骤2，图像质量评估装置基于n帧第一图像中的第1帧图像与第1帧图像之后的n-1帧图像的相关系数，确定n帧第一图像的图像相关性。
一种示例中，可通过计算n帧第一图像中第1帧图像与第1帧图像之后的n-1帧图像的相关系数的均值，将该均值作为n帧第一图像的图像相关性。
需要说明的是，图像相关性可以理解为两张图像在像素级别上的匹配度。图像相关性计算不限于使用上述频域互相关算法，图像质量评估装置也可以使用其他图像相关性算法来评估多帧第一图像的图像相关性，对此本申请实施例不作任何限定。
S305. 图像质量评估装置基于多帧第一图像，生成第三图像。
在一些实施例中，第三图像可以是图像质量评估装置对多帧第一图像进行图像融合得到的一张图像。示例性的，图像质量评估装置可通过计算多帧第一图像中对应像素单元的均值，生成一帧高质量图像，该图像可看作是基于多帧第一图像进行图像融合得到的图像。
在一些实施例中，第三图像可以是图像质量评估装置从多帧第一图像中随机选取的一张图像。
在一些实施例中，若多帧第一图像中同一像素单元存在水平和/或竖直方向漂移，图像质量评估装置可以在对多帧第一图像进行图像融合之前，对多帧第一图像进行二维漂移校正。本实施例中，二维漂移校正主要是指水平方向的漂移校正。一种示例中，图像质量评估装置可以以多帧第一图像中的第一张图像为基准，对多帧第一图像中的后几帧第一图像进行水平方向漂移校正，可提升多帧第一图像的图像融合效果。
S306. 图像质量评估装置控制照明装置调节光强度至第二光强度。
其中，第二光强度小于第一光强度。
S307. 图像质量评估装置控制拍摄装置拍摄一帧第二图像。
由于第二光强度小于第一光强度，相较于在第一光强度下拍摄的多帧第一图像，在第二光强度下拍摄的第二图像的图像质量低于第一图像的图像质量。一种示例中，第三图像是多帧第一图像的融合图像，第二图像的图像质量低于第三图像的图像质量。
本实施例中，第二图像可看作是待评估图像，第三图像可看作是参考图像，图像质量评估装置可基于第三图像来评估第二图像的图像质量，具体过程看参见后文实施例。
S308. 拍摄装置向图像质量评估装置传输第二图像。
S309. 图像质量评估装置检测第二图像与第三图像的图像相关性。
一种示例中，若图像质量评估装置确定第二图像与第三图像的图像相关性大于或等于第二阈值，执行S310；或者，若图像质量评估装置确定第二图像与第三图像的图像相关性小于第二阈值，跳回S301。
需要指出的是，多帧第一图像是在同一光强度下连续拍摄的多帧图像，其图像相关性更高；第一图像和第二图像是在不同光强度下拍摄的图像，且第三图像是根据多帧第一图像生成的，因此，相较于多帧第一图像的图像相关性，第三图像和第二图像的图像相关性较低。基于此，在设置第一阈值和第二阈值时，通常会设置为第二阈值小于第一阈值。
若第二图像与第三图像的图像相关性大于或等于第二阈值，则认为第二图像与第三图像的图像相关性较高，即第二图像与第三图像在像素级别上的匹配度较高。若第二图像与第三图像的图像相关性小于第二阈值，则认为第二图像与第三图像的图像相关性较低，即第二图像与第三图像在像素级别上的匹配度较低。可以理解的是，若第二图像与第三图像在像素级别上的匹配度较低，表明前述步骤获取的第二图像（待评估图像）和第三图像（参考图像）不符合图像质量评估要求，需要重新采集。
在一些实施例中，图像质量评估装置基于频域互相关算法，确定第二图像与第三图像的图像相关性。示例性的，图像质量评估装置可通过公式(2)，确定第二图像与第三图像的图像相关性：
(2)
式中，表示第三图像的二维频谱变换数据，/>表示第二图像的二维频谱变换数据的共轭数据，/>表示第二图像与第三图像的相关系数。
S310. 图像质量评估装置基于第三图像评估第二图像的图像质量。
本步骤的具体实现参见后文实施例。
上述实施例示出了图像评估系统采集一组待评估图像（即前文的第二图像）和参考图像（即前文的第三图像）的流程，只有在待评估图像和参考图像满足图像质量评估要求（例如，待评估图像和参考图像的图像相关性大于或等于第二阈值时）的情况下，图像评估系统中的图像质量评估装置才会执行图像质量评估流程。通过执行上述流程，图像评估装置可自动获取满足图像质量评估要求的一组图像，无需测试人员手动控制拍摄装置，节省了人力成本，提高了图像采集效率。
需要说明的是，图2所示的图像质量评估系统中电子设备采集图像的流程可参照图3实施例，图3所示实施例中关于图像质量评估装置的执行步骤由图2所示的电子设备执行，也即图3所示的图像质量评估装置的功能集成在图2所示的电子设备中，其实现原理和效果类似，此处不再展开。
下面基于图1所示的图像质量评估系统，对系统中图像质量评估装置的图像评估流程进行详细说明。示例性的，图4为本申请实施例提供的一种图像质量评估方法的流程示意图。参照图4，该图像质量评估方法可应用于图像质量评估装置，包括：
S401. 获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据。
示例性的，图5为本申请实施例提供的一组待评估图像和参考图像的示意图，如图5所示，待评估图像和参考图像中显示图卡的信息，图卡中包括不同尺度的圆等。
在一些实施例中，图像质量评估装置可通过图像质量评估模型，获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据。
一种示例中，图像质量评估模型可以是预置在图像质量评估装置中的预训练好的模型，图像质量评估装置可以在离线状态下使用该图像质量评估模型，以获取待评估图像和参考图像在多个尺度的特征数据。
另一种示例中，图像质量评估模型可以是预置在云端服务器中的预训练好的模型，图像质量评估装置可以通过与云端服务器交互，以获取待评估图像和参考图像在多个尺度的特征数据。示例性的，图像质量评估装置在获取待评估图像和参考图像后，向云端服务器发送数据请求，该数据请求用于请求获取图像在不同尺度的特征数据，数据请求包括待评估图像和参考图像，经云端服务器处理后，云端服务器向图像质量评估装置发送数据响应，该数据响应包括待评估图像和参考图像在多个尺度的特征数据。
在一些实施例中，参照图6，图像质量评估装置中可以预置一个图像质量评估模型。图像质量评估装置在获取待评估图像和参考图像后，依次将待评估图像和参考图像输入该图像质量评估模型，以获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据。该实施例中，图像质量评估装置中仅预置一个图像质量评估模型，基于该模型依次获取待评估图像和参考图像在多个尺度的特征数据。
在一些实施例中，参照图7，图像质量评估装置中可以预置两个图像质量评估模型，记为第一图像质量评估模型和第二质量评估模型，这两个图像质量评估模型的模型参数相同。图像质量评估装置在获取待评估图像和参考图像后，将待评估图像输入第一图像质量评估模型，以获取待评估图像在多个尺度的特征数据，与此同时，将参考图像输入第二图像质量评估模型，以获取参考图像在多个尺度的特征数据。该实施例中，图像质量评估装置中的两个图像质量评估模型可以并行执行，可提升图像质量评估装置的图像处理速度。
基于前述两个实施例，在一些实施例中，云端服务器可以预置一个图像质量评估模型，也可以预置两个图像质量评估模型，其实现原理和技术效果与前述两个实施例类似，此处不再赘述。
上述的图像质量评估模型可以采用任意神经网络模型结构进行训练得到，例如采用AlexNet、VGG等模型结构进行训练得到，对此本申请实施例不作具体限定。
示例性的，图8为本申请实施例提供的一种图像质量评估模型的结构示意图，如图8所示，图像质量评估模型包括依次连接的多层网络，示例性的，图像质量评估模型采用VGG16，该模型包括依次连接的16层网络。随着层数的增加，网络感受野范围增大。
为了便于描述，图8以N为4举例，图像依次经过第一层网络、第二层网络、第三层网络和第四层网络，第一层网络的感受野最小，第四层网络的感受野最大。该示例中，可以将第一层网络称为低层网络，第二层网络和第三层网络称为中间层网络，第四层网络称为高层网络。低层网络输出的特征数据可用于判断图像像素之间的变化，例如图像明暗边界是否出现伪影，或者明暗边界是否变得模糊（即明暗边界的图像清晰度是否小于预设值）；中间层网络输出的特征数据可用于判断图像中局部区域的差异，例如图像局部区域是否有弯曲状线条等；高层网络输出的特征数据可用于判断图像整体的信息，例如图像整体上是否有畸变等。
每层网络可以包括多个隐藏单元，每层网络的隐藏单元的数量可以是相同，也可以是不同的，例如每层网络的隐藏单元的数量为64。以某一层网络为例，该层网络的多个隐藏单元对不同图像信息的敏感程度不同，例如该层网络的第一隐藏单元对图像中的圆形图案敏感，该层网络的第二隐藏单元对图像中的矩形图像敏感，该层网络的第三隐藏单元对图像中的明暗边缘敏感（例如，明暗边界是否出现伪影，明暗边界是否模糊），该层网络的第四隐藏单元对图像中的直线敏感，该层网络的第五隐藏单元对图像中的曲线敏感等等。
在一些实施例中，上述特征数据也可描述为特征图，不同尺度的特征数据也可描述为不同尺度的特征图。以图8为例，第一层网络至第四层网络依次输出的特征图的尺度（尺寸）是逐渐减小，即第一层网络输出的特征图的尺度大于第二层网络输出的特征图的尺度，第二层网络输出的特征图的尺度大于第三层网络输出的特征图的尺度，第三层网络输出的特征图的尺度大于第四层网络输出的特征图的尺度。
S402. 基于待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，获取待评估图像和参考图像在多个尺度下的特征数据差值。
S403. 对待评估图像和参考图像在多个尺度下的特征数据差值做归一化处理，得到多个图像评估参数。其中，多个图像评估参数即多个归一化后的特征数据差值。
S404. 基于多个图像评估参数，获取对待评估图像的图像评估结果。
图像质量评估装置通过至少一个图像质量评估模型（参见图6或图7），获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据之后，图像质量评估装置通过处理模块，获取待评估图像和参考图像在多个尺度下的特征数据差值。
一种示例中，图9的a所示，图像质量评估装置包括一个图像质量评估模型和处理模块，该图像质量评估模型和处理模块统称为改进的图像质量评估模型。
另一种示例中，图9的b所示，图像质量评估装置包括两个图像质量评估模型和处理模块，两个图像质量评估模型的模型参数相同，该两个图像质量评估模型和处理模块统称为改进的图像质量评估模型。
在一些实施例中，可以将图9的a或b所示的改进的图像质量评估模型预置在云端服务器中，以使云端服务器执行对待评估图像的图像评估。
在一些实施例中，可以将图9的a或b所示的处理模块预置在图像质量评估装置，图像质量评估模型预置在云端服务器。图像质量评估装置可基于云端服务器返回的待评估图像和参考图像在多个尺度下的特征数据，执行后续的数据分析。
为了便于理解，下面以图9的b所示的改进的图像质量评估模型为例，对S402-S404进行详细说明。图9的a所示的改进的图像质量评估模型的处理过程与其类似。
示例性的，图10为本申请实施例提供的改进的图像质量评估模型的数据处理示意图。如图10所示，改进的图像质量评估模型包括第一图像质量评估模型、第二图像质量评估模型和处理模块，其中第一图像质量评估模型和第二图像质量评估模型的网络层数相同，且各层网络参数相同，例如以4层为例。数据处理过程如下：
(1) 将待评估图像输入第一图像质量评估模型的第一层网络，依次经过第一图像质量评估模型的第一层网络至第四层网络处理，可获取待评估图像在每一层网络输出的特征数据，即待评估图像在多个尺度的特征数据。
同样的，将参考图像输入第二图像质量评估模型的第一层网络，依次经过第二图像质量评估模型的第一层网络至第四层网络处理，可获取参考图像在每一层网络输出的特征数据，即参考图像在多个尺度的特征数据。
(2) 处理模块可基于待评估图像在多个尺度的特征数据以及参考图像在多个尺度的特征数据，得到待评估图像和参考图像在多个尺度下的特征数据差值，例如图10所示的d1至d4，d1表示第一图像质量评估模型和第二图像质量评估模型（后文简称为两个模型）中第一层网络输出的特征数据差值，d2表示两个模型中第二层网络输出的特征数据差值，d3表示两个模型中第三层网络输出的特征数据差值，d4表示两个模型中第四层网络输出的特征数据差值。
(3) 处理模块再对待评估图像和参考图像在多个尺度下的特征数据差值做归一化处理，得到多个图像评估参数。多个图像评估参数即多个归一化后的特征数据差值，例如图10所示的d1＇至d4＇。
(4) 处理模块基于多个图像评估参数，得到对待评估图像的图像评估结果。
需要指出的是，上述d1至d4为矩阵数据，矩阵数据中的某一数值可以看作是对应特征图中某一像素单元的灰度值。
在一些实施例中，对待评估图像和参考图像在多个尺度下的特征数据差值进行L2范数归一化处理，得到多个图像评估参数。图像评估参数即归一化后的特征数据差值，在一些实施例中，图像评估参数也可描述为归一化后的特征差异。
具体的，可通过公式(3)计算多个图像评估参数：
(3)
式中，表示待评估图像（ImgG，简写为G）在第一图像质量评估模型中第m层第k个隐藏单元的特征数据；/>表示参考图像（Imgl，简写为l）在第二图像质量评估模型中第m层第k个隐藏单元的特征数据；/>表示待评估图像和参考图像在两个模型中对应的第m层第k个隐藏单元的特征数据差值。其中m为正整数，例如m取4，k为正整数，若某一层网络包括64个隐藏单元，则m取值在[1,64]。/>表示第m层第k个隐藏单元的权重参数，通常/>默认值为1。/>分别表示第m层网络特征图的高度、宽度、卷积核个数。/>表示待评估图像和参考图像在两个模型中对应的第m层的图像评估参数（归一化后的特征差异），/>为L2范数的表示符号。需要指出的是，/>和/>均为矩阵数据，/>为单个数值。
本实施例中，第一图像质量评估模型和第二图像质量评估模型的模型参数相同，因此这两个模型中的相同。
需要指出的是，在实际应用中，可根据实际需求调整图像质量评估模型（如第一图像质量评估模型和第二图像质量评估模型）中每一层网络中部分隐藏单元的权重参数。一种示例中，图像质量评估模型用于检测图像中是否出现纹理变形为曲线，可通过增大对曲线结构敏感的隐藏单元对应的权重参数，例如第m层网络中第k个隐藏单元对曲线结构敏感，可增大权重参数。基于该示例，若图像质量评估模型还用于检测图像中是否出现畸变、伪影，图像清晰度低等，可对应增大这些特征对应隐藏单元的权重参数，以使得图像质量评估模型能够更加全面的评估图像中可能存在的多种图像质量问题。示例性的，图11为本申请实施例示出的几种典型图像质量问题的示意图，图11的a所示的图像为较高质量图像，图11的b所示的图像为明暗边界出现伪影的图像，图11的c所示的图像为图像清晰度小于预设值的图像，图11的d所示的图像为局部区域纹理变形为曲线的图像。
需要说明的是，除了采用上述L2范数做归一化处理外，还可以采用其他归一化处理方式，对于归一化处理的方式，本申请实施例不作具体限定。
在一些实施例中，处理模块基于多个图像评估参数，确定不同维度的图像质量，包括：
对于图像质量评估模型中的较低层网络对应的图像评估参数，如图10中第一层网络对应的归一化后的特征数据差值d1＇，d1＇指示待评估图像与参考图像的细节差距，处理模块可根据d1＇确定例如图像明暗边界（较小范围）是否出现伪影，或者明暗边界图像清晰度是否大于预设值。
对于图像质量评估模型中的中间层网络对应的图像评估参数，如图10中第二层和第三层网络对应的归一化后的特征数据差值d2＇和d3＇，d2＇和d3＇指示较大范围（某区域）内待评估图像与参考图像的差值，处理模块可结合d2＇和d3＇确定例如图像原本的平面区域是否出现变形的弯曲状线条。
本实施例中，对于较低层网络、中间层网络和较高层网络的划分仅作为示例，在实际应用中，图像质量评估模型包括更多数量的层网络，不限于图10所示的4层网络，因此较低层网络、中间层网络和较高层网络可能均包括多层网络，例如图像质量评估模型有12层网络，较低层网络包括第1和第2层网络，中间层网络包括第3层网络至第10层网络，较高层网络包括第11和第12层网络。对此本申请实施例不作任何限定。
对于图像质量评估模型中的较高层网络对应的图像评估参数，如图10中第四层网络对应的归一化后的特征数据差值d4＇, d4＇指示完整的待评估图像与参考图像的差值，处理模块可根据d4＇确定图像整体上是否有场曲或畸变等问题。
本实施例中，处理模块基于图像质量评估模型中不同层网络对应的归一化后的特征数据差值（如上述示例的d1＇至d4＇），进行综合分析，从不同维度评价图像中存在的问题，可以更加全面的评估图像质量。此外，相邻层的归一化后的特征数据差值（如上述示例的d2＇和d3＇）反映出的图像问题接近，通过联合对比相邻层的归一化后的特征数据差值，可以获得一个更加准确的图像评估结果。
上述实施例示出的图像质量评估方法，首先获取待评估图像和参考图像在多个尺度的特征数据，基于待评估图像和参考图像在多个尺度的特征数据，获取待评估图像和参考图像在多个尺度的特征数据差值（即多个维度的图像评估参数），对该多个尺度的特征数据差值做归一化处理后，基于归一化后的多个尺度的特征数据差值，获取待评估图像的图像评估结果，图像评估结果指示了图像在多个维度的图像质量。上述方法中，由于考虑了多个维度的图像评估参数，而非单一维度的图像评估参数，得到的图像评估结果更加全面和准确。
图12为本申请实施例提供的一种图像质量评估装置的结构示意图。如图12所示，该图像质量评估装置1200，包括：获取模块1201和处理模块1202。
获取模块1201，用于获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据；待评估图像和参考图像是具有相同图像内容的一组图像；
处理模块1202，用于基于待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，得到待评估图像与参考图像在多个尺度下的特征数据差值；对待评估图像与参考图像在多个尺度下的特征数据差值做归一化处理，得到归一化后的多个特征数据差值；基于归一化后的多个特征数据差值，获取对待评估图像的图像评估结果，图像评估结果用于指示待评估图像在多个尺度下的图像质量。
一种可选的实施例中，获取模块1201，用于依次将待评估图像和参考图像输入图像质量评估模型，分别获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据。
一种可选的实施例中，图像质量评估模型包括依次连接的多层网络；获取模块1201，用于将待评估图像输入图像质量评估模型，经多层网络处理，获取多层网络中每一层网络输出的待评估图像的特征数据，作为待评估图像在多个尺度的特征数据；将参考图像输入图像质量评估模型，经多层网络处理，获取多层网络中每一层网络输出的参考图像的特征数据，作为参考图像在多个尺度的特征数据。
一种可选的实施例中，图像质量评估装置包括预训练的第一图像质量评估模型和第二图像质量评估模型，第一图像质量评估模型和第二图像质量评估模型的模型参数相同；获取模块1201，用于将待评估图像输入第一图像质量评估模型，获取待评估图像在多个尺度的特征数据；以及，将参考图像输入第二图像质量评估模型，获取待评估图像在多个尺度的特征数据。
一种可选的实施例中，获取模块1201，用于从云端服务器获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据；云端服务器包括预训练的至少一个图像质量评估模型。
一种可选的实施例中，处理模块1202，用于对待评估图像与参考图像在多个尺度下的特征数据差值进行L2范数归一化处理，得到归一化后的多个特征数据差值。
一种可选的实施例中，图像质量评估装置1200，还包括：控制模块1203。
控制模块1203，用于控制拍摄装置在第一环境光亮度下连续拍摄多帧第一图像；
获取模块1201，用于基于多帧第一图像，获取参考图像。
一种可选的实施例中，处理模块1202，用于检测多帧第一图像的图像相关性；
若处理模块1202检测到多帧第一图像的图像相关性大于或等于第一阈值，获取模块1201基于多帧第一图像，获取参考图像。
一种可选的实施例中，获取模块1201，用于对多帧第一图像进行图像融合，得到参考图像；或者，从多帧第一图像中随机选取其中一帧作为参考图像。
一种可选的实施例中，控制模块1203，用于控制拍摄装置在第二环境光亮度下拍摄一帧第二图像；第二环境光亮度小于第一环境光亮度；
获取模块1201，用于将第二图像作为待评估图像。
一种可选的实施例中，处理模块1202，用于检测待评估图像与参考图像的图像相关性；
若处理模块1202检测到待评估图像与参考图像的图像相关性大于或等于第二阈值，获取模块1201，用于获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据。
本申请实施例的图像质量评估装置可集成在电子设备中，其实现原理和技术效果与上述方法实施例类似，此处不再赘述。
需要说明的是，本申请实施例并未特别限定一种图像质量评估方法的执行主体的具体结构，只要可以通过运行存储有本申请实施例的一种图像质量评估方法的代码，以根据本申请实施例提供的一种图像质量评估方法进行处理即可。例如，本申请实施例提供的一种图像质量评估方法的执行主体可以是电子设备中能够调用程序并执行程序的功能模块，或者为应用于电子设备中的处理装置，例如，该处理装置为芯片。
上述实施例中，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。硬件电路可能包括应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其他支持所描述的功能的合适组件。
因此，在本申请实施例中描述的各示例的模块，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
图13为本申请实施例提供的一种电子设备的结构示意图。如图13所示，该电子设备1300包括：处理器1301和存储器1302；所述处理器1301用于执行所述存储器1302存储的计算机执行指令，使得所述电子设备执行上述方法实施例的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
存储器可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electricallyerasable programmable read-only memory，EEPROM）、只读光盘（compact disc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
处理器可以是通用中央处理器（central processing unit，CPU），微处理器，特定应用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本申请方案程序执行的集成电路。
本申请实施例还提供一种图像质量评估系统，包括相互连接的拍摄装置以及图像质量评估装置；拍摄装置用于拍摄不同环境光亮度下的具有相同图像内容的多张图像，图像质量评估装置用于执行上述方法实施例的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。图像质量评估系统可参照图1或图2。
一种可选的实施例中，图像质量评估系统还包括：至少一个照明装置，至少一个照明装置与图像质量评估装置连接；图像质量评估装置还用于发送控制指令，以调节至少一个照明装置的角度和/或亮度。
本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行以实现上述方法实施例的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得电子设备执行上述方法实施例的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
本申请实施例提供一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述方法实施例的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (14)
1.一种图像质量评估方法，其特征在于，应用于图像质量评估装置，所述方法包括：
获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据；所述待评估图像和所述参考图像是具有相同图像内容的一组图像；其中，所述待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据是根据预训练的至少一个图像质量评估模型得到的；所述图像质量评估模型包括依次连接的多层网络；所述多层网络包括低层网络、中间层网络和高层网络，所述低层网络、中间层网络和高层网络均包括至少一层网络；所述低层网络输出的特征数据用于判断图像像素之间的变化；所述中间层网络输出的特征数据用于判断图像中局部区域的差异；所述高层网络输出的特征数据用于判断图像整体的信息；
基于所述待评估图像在多个尺度的特征数据，以及所述参考图像在多个尺度的特征数据，得到所述待评估图像与所述参考图像在多个尺度下的特征数据差值；
对所述待评估图像与所述参考图像在多个尺度下的特征数据差值做归一化处理，得到归一化后的多个特征数据差值；
基于所述归一化后的多个特征数据差值，获取对所述待评估图像的图像评估结果，所述图像评估结果用于指示所述待评估图像在多个尺度下的图像质量。
2.根据权利要求1所述的方法，其特征在于，所述图像质量评估装置包括预训练的图像质量评估模型；获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，包括：
依次将所述待评估图像和所述参考图像输入所述图像质量评估模型，分别获取所述待评估图像在多个尺度的特征数据，以及所述参考图像在多个尺度的特征数据。
3.根据权利要求2所述的方法，其特征在于，所述图像质量评估模型包括依次连接的多层网络；所述依次将所述待评估图像和所述参考图像输入所述图像质量评估模型，分别获取所述待评估图像在多个尺度的特征数据，以及所述参考图像在多个尺度的特征数据，包括：
将所述待评估图像输入所述图像质量评估模型，经所述多层网络处理，获取所述多层网络中每一层网络输出的所述待评估图像的特征数据，作为所述待评估图像在多个尺度的特征数据；
将所述参考图像输入所述图像质量评估模型，经所述多层网络处理，获取所述多层网络中每一层网络输出的所述参考图像的特征数据，作为所述参考图像在多个尺度的特征数据。
4.根据权利要求1所述的方法，其特征在于，所述图像质量评估装置包括预训练的第一图像质量评估模型和第二图像质量评估模型，所述第一图像质量评估模型和所述第二图像质量评估模型的模型参数相同；获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，包括：
将所述待评估图像输入所述第一图像质量评估模型，获取所述待评估图像在多个尺度的特征数据；以及，将所述参考图像输入所述第二图像质量评估模型，获取所述待评估图像在多个尺度的特征数据。
5.根据权利要求1所述的方法，其特征在于，所述获取待评估图像在多个尺度的特征数据，以及参考图像在多个尺度的特征数据，包括：
从云端服务器获取所述待评估图像在多个尺度的特征数据，以及所述参考图像在多个尺度的特征数据；所述云端服务器包括预训练的至少一个图像质量评估模型。
6.根据权利要求1所述的方法，其特征在于，对所述待评估图像与所述参考图像在多个尺度下的特征数据差值做归一化处理，得到归一化后的多个特征数据差值，包括：
经所述图像质量评估装置中的处理模块对所述待评估图像与所述参考图像在多个尺度下的特征数据差值进行L2范数归一化处理，得到所述归一化后的多个特征数据差值。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
控制拍摄装置在第一环境光亮度下连续拍摄多帧第一图像；
基于所述多帧第一图像，获取所述参考图像。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
检测所述多帧第一图像的图像相关性；
基于所述多帧第一图像，获取所述参考图像，包括：
若所述多帧第一图像的图像相关性大于或等于第一阈值，基于所述多帧第一图像，获取所述参考图像。
9. 根据权利要求7所述的方法，其特征在于，所述基于所述多帧第一图像，获取所述参考图像，包括：
对所述多帧第一图像进行图像融合，得到所述参考图像；或者
从所述多帧第一图像中随机选取其中一帧作为所述参考图像。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
控制拍摄装置在第二环境光亮度下拍摄一帧第二图像；所述第二环境光亮度小于第一环境光亮度；
将所述第二图像作为所述待评估图像。
11.根据权利要求2所述的方法，其特征在于，所述方法还包括：
检测所述待评估图像与所述参考图像的图像相关性；
所述获取所述待评估图像在多个尺度的特征数据，以及所述参考图像在多个尺度的特征数据，包括：
若所述待评估图像与所述参考图像的图像相关性大于或等于第二阈值，获取所述待评估图像在多个尺度的特征数据，以及所述参考图像在多个尺度的特征数据。
12.一种电子设备，其特征在于，包括：处理器和存储器；所述处理器用于执行所述存储器存储的计算机执行指令，使得所述电子设备执行如权利要求1至11任一项所述的方法。
13.一种图像质量评估系统，其特征在于，包括：相互连接的拍摄装置以及图像质量评估装置；所述拍摄装置用于拍摄不同环境光亮度下的具有相同图像内容的多张图像，所述图像质量评估装置用于执行如权利要求1至11任一项所述的方法。
14.根据权利要求13所述的图像质量评估系统，其特征在于，还包括：至少一个照明装置，所述至少一个照明装置与所述图像质量评估装置连接；所述图像质量评估装置还用于发送控制指令，以调节所述至少一个照明装置的角度和/或亮度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311121378.2A CN116843690B (zh) | 2023-09-01 | 2023-09-01 | 图像质量评估方法、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311121378.2A CN116843690B (zh) | 2023-09-01 | 2023-09-01 | 图像质量评估方法、设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116843690A CN116843690A (zh) | 2023-10-03 |
| CN116843690B true CN116843690B (zh) | 2024-03-01 |
Family
ID=88174724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311121378.2A Active CN116843690B (zh) | 2023-09-01 | 2023-09-01 | 图像质量评估方法、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843690B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308815A (zh) * | 2019-07-31 | 2021-02-02 | 北京金山云网络技术有限公司 | 图像显示方法、装置、服务器、客户端及可读存储介质 |
| CN112529846A (zh) * | 2020-11-25 | 2021-03-19 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113784118A (zh) * | 2021-09-14 | 2021-12-10 | 广州博冠信息科技有限公司 | 视频质量评估方法及装置、电子设备和存储介质 |
| CN115423809A (zh) * | 2022-11-04 | 2022-12-02 | 江西电信信息产业有限公司 | 图像质量评价方法、装置、可读存储介质及电子设备 |
| CN115631497A (zh) * | 2022-11-03 | 2023-01-20 | 山东经贸职业学院 | 一种工商管理系统及其方法 |
| CN116452904A (zh) * | 2023-02-10 | 2023-07-18 | 北京航空航天大学 | 图像美学质量确定方法 |
| WO2023155032A1 (zh) * | 2022-02-15 | 2023-08-24 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
-
2023
- 2023-09-01 CN CN202311121378.2A patent/CN116843690B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308815A (zh) * | 2019-07-31 | 2021-02-02 | 北京金山云网络技术有限公司 | 图像显示方法、装置、服务器、客户端及可读存储介质 |
| CN112529846A (zh) * | 2020-11-25 | 2021-03-19 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113784118A (zh) * | 2021-09-14 | 2021-12-10 | 广州博冠信息科技有限公司 | 视频质量评估方法及装置、电子设备和存储介质 |
| WO2023155032A1 (zh) * | 2022-02-15 | 2023-08-24 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
| CN115631497A (zh) * | 2022-11-03 | 2023-01-20 | 山东经贸职业学院 | 一种工商管理系统及其方法 |
| CN115423809A (zh) * | 2022-11-04 | 2022-12-02 | 江西电信信息产业有限公司 | 图像质量评价方法、装置、可读存储介质及电子设备 |
| CN116452904A (zh) * | 2023-02-10 | 2023-07-18 | 北京航空航天大学 | 图像美学质量确定方法 |
Non-Patent Citations (2)
| Title |
|---|
| IQMA Network: Image Quality Multi-scale Assessment Network;Haiyang Guo et al.;proceedings of the IEEE/CVF conference on computer vision and pattern recognition(CVPR) workshops;第443-452页 * |
| 联合梯度强度与方向信息的图像质量评价;崔子冠 等;仪器仪表学报;第36卷(第12期);第2738-2746页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116843690A (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111741211B (zh) | 图像显示方法和设备 | |
| JP4234195B2 (ja) | 画像分割方法および画像分割システム | |
| JP6159298B2 (ja) | 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法 | |
| EP3598736B1 (en) | Method and apparatus for processing image | |
| US8971628B2 (en) | Face detection using division-generated haar-like features for illumination invariance | |
| US8605955B2 (en) | Methods and apparatuses for half-face detection | |
| WO2022021999A1 (zh) | 一种图像处理方法及图像处理装置 | |
| EP1782618A1 (en) | Method and apparatus for detecting and correcting red-eye effect | |
| CN108616700B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN114174783A (zh) | 用于创建具有改进的图像捕获的局部制剂的系统和方法 | |
| CN112419420B (zh) | 一种相机标定方法、装置、电子设备及存储介质 | |
| CN115063331B (zh) | 基于多尺度块lbp算子无鬼影多曝光图像融合方法 | |
| CN113643214A (zh) | 一种基于人工智能的图像曝光校正方法及系统 | |
| CN110658918B (zh) | 用于视频眼镜的眼球追踪相机的定位方法、设备及介质 | |
| CN115883755A (zh) | 一种多类型场景下多曝光图像融合方法 | |
| JP7387261B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP4771797B2 (ja) | 距離計測装置及び距離計測方法 | |
| CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN111666869B (zh) | 一种基于宽动态处理的人脸识别方法、装置及电子设备 | |
| US20220061659A1 (en) | System and method for finding an area of an eye from a facial image | |
| CN113362221A (zh) | 用于门禁的人脸识别系统与人脸识别方法 | |
| CN116843690B (zh) | 图像质量评估方法、设备及系统 | |
| CN112561813A (zh) | 人脸图像增强方法、装置、电子设备及存储介质 | |
| CN111696090A (zh) | 一种无约束环境下人脸图像质量评估方法 | |
| CN116342519A (zh) | 一种基于机器学习的图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |