CN110428412A - 图像质量的评价及模型生成方法、装置、设备和存储介质 - Google Patents
图像质量的评价及模型生成方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110428412A CN110428412A CN201910704347.7A CN201910704347A CN110428412A CN 110428412 A CN110428412 A CN 110428412A CN 201910704347 A CN201910704347 A CN 201910704347A CN 110428412 A CN110428412 A CN 110428412A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- fusion
- model
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
本发明实施例提供的一种图像质量的评价及模型生成方法、装置、设备和存储介质，通过分别提取待评价图像的基础特征和深度特征；其中，基础特征为用于反映图像的展示效果、且具备可解释性的特征；深度特征为用于反映图像内容的特征；将基础特征和深度特征输入预设的融合模型，得到融合特征；将融合特征输入图像评价模型，得到待评价图像的质量评价结果；其中，图像评价模型为预先利用多个样本图像的融合特征和多个样本图像的评价结果标签训练得到的模型。通过本方案，可以提高对图像质量的评价的准确性。
Description
技术领域
本发明涉及图像技术领域，特别是涉及一种图像质量的评价及模型生成方法、装置、设备和存储介质。
背景技术
随着图像技术的发展，图像被广泛用于内容呈现。举例而言，图像可以作为视频封面、电子相册封面以及电影海报等等。对此，为了更好地呈现内容，需要针对图像反映的内容进行图像质量的评价，以选择评价结果合适的图像用于内容呈现。
相关技术中，可以将待评价图像输入预设的模型，得到针对图像内容的图像质量评价。其中，预设的模型为预先利用样本图像和样本图像的评价结果标签训练得到的神经网络模型。但是，样本图像的评价结果标签往往是由人工针对样本图像的内容，进行评价得到的，往往具有较高的主观性，容易导致对图像的质量评价不够准确的问题。
发明内容
本发明实施例的目的在于提供一种图像质量的评价及模型生成方法、装置、设备和存储介质，以实现提高对图像质量的评价的准确性的效果。具体技术方案如下：
第一方面，本发明实施例提供了一种模型生成方法，该方法包括：
针对多个样本图像，分别提取各样本图像的基础特征和深度特征，并将各基础特征和各深度特征输入预设的融合模型，得到各融合特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
将多个样本图像的所述融合特征，输入评价模型进行训练，得到针对每个样本图像的融合特征的预测评价结果；
基于所述预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛；
如果收敛，将处于当前训练阶段的评价模型作为图像评价模型。
第二方面，本发明实施例提供了一种图像质量的评价方法，该方法包括：
分别提取待评价图像的基础特征和深度特征；其中，所述基础特征为能够反映图像的展示效果、且具备可解释性的特征；所述深度特征为能够反映图像内容的特征；
将所述基础特征和所述深度特征输入预设的融合模型，得到融合特征；
将所述融合特征输入图像评价模型，得到所述待评价图像的质量评价结果；其中，所述图像评价模型为利用上述第一方面提供的模型生成方法生成的。
第三方面，本发明实施例提供了一种模型生成装置，该装置包括：
特征融合模块，用于针对多个样本图像，分别提取各样本图像的基础特征和深度特征，并将各基础特征和各深度特征输入预设的融合模型，得到各融合特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
模型训练模块，用于将多个样本图像的所述融合特征，输入评价模型进行训练，得到针对每个样本图像的融合特征的预测评价结果；
模型确定模块，用于基于所述预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛；如果收敛，将处于当前训练阶段的评价模型作为图像评价模型。
第四方面，本发明实施例提供了一种图像质量的评价装置，该装置包括：
特征提取模块，用于分别提取待评价图像的基础特征和深度特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
特征融合模块，用于将所述基础特征和所述深度特征输入预设的融合模型，得到融合特征；
图像质量评价模块，用于将所述融合特征输入图像评价模型，得到所述待评价图像的质量评价结果；其中，所述图像评价模型为利用权利要求1至3中任一项所述的装置生成的。
第五方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的模型生成方法的步骤。
第六方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述第二方面提供的图像质量的评价方法的步骤。
第七方面，本发明实施例提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时，实现上述第一方面提供的模型生成方法的步骤。
第八方面，本发明实施例提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时，实现上述第二方面提供的图像质量的评价方法的步骤。
本发明实施例提供的方案中，通过分别提取待评价图像的基础特征和深度特征，进而将基础特征和深度特征输入预设的融合模型，得到融合特征；从而将融合特征输入图像评价模型，得到待评价图像的质量评价结果。其中，基础特征为用于反映图像的展示效果且具备可解释性的特征，深度特征为用于反映图像内容的特征；因此，融合特征不仅能够反映图像内容，还能够反映可解释性的基础特征对应的图像的展示效果，与仅反映图像内容的深度特征相比，相对而言可以提高客观性和准确度。在此基础上，图像评价模型为利用多个样本图像的融合特征和评价结果标签训练得到的，因此，将待评价图像的融合特征输入图像评价模型，可以得到待评价图像的质量评价结果，与利用仅反映图像内容的深度特征得到的待评价图像的质量评价结果相比，本方案得到的质量评价结果相对而言更加客观，可以减少主观评价造成的不准确问题，提高评价的准确度。可见，通过本方案，可以提高对图像质量的评价的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明一实施例提供的模型生成方法的流程示意图；
图2为本发明另一实施例提供的模型生成方法中，相关数据和模型之间关系的示例图；
图3为本发明一实施例提供的图像质量的评价方法的流程示意图；
图4为本发明一实施例提供的模型生成装置的结构示意图；
图5为本发明另一实施例提供的模型生成装置的结构示意图；
图6为本发明一实施例提供的图像质量的评价装置的结构示意图；
图7为本发明另一实施例提供的图像质量的评价装置的结构示意图；
图8为本发明一实施例提供的电子设备的结构示意图；
图9为本发明另一实施例提供的电子设备的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面首先对本发明一实施例的模型生成方法进行介绍。
本发明实施例提供的模型生成方法，可以应用于电子设备，该电子设备具体可以包括台式计算机、便携式计算机、互联网电视、智能移动终端以及可穿戴式智能终端等，在此不作限定，任何可以实现本发明实施例的电子设备，均属于本发明实施例的保护范围。
如图1所示，本发明一实施例的模型生成方法的流程，该方法可以包括如下步骤：
S101，针对多个样本图像，分别提取各样本图像的基础特征和深度特征，并将各基础特征和各深度特征输入预设的融合模型，得到各融合特征；其中，基础特征为用于反映图像的展示效果且具备可解释性的特征；深度特征为用于反映图像内容的特征。
为了利用融合特征提高图像质量评价的准确度，可以对多个样本图像分别进行融合特征的获取，从而通过后续步骤S102至S104训练得到能够针对融合特征进行图像质量评价的图像评价模型。在具体应用中，图像的展示效果可以包括图像的亮度、对比度、饱和度以及边缘分布等等多种效果，相应的，能够反映图像的展示效果、且具备可解释性的基础特征，可以是多种的。对此，可选的，上述待评价图像为RGB图像；上述待评价图像的基础特征，可以包括：第一基础特征、第二基础特征以及第三基础特征中的至少一种。
其中，第一基础特征为待评价图像的基础特征中，在像素层面反映待评价图像展示效果的特征；第二基础特征为待评价图像的基础特征中，在待评价图像的统计层面反映展示效果的特征；第三基础特征为所述待评价图像的基础特征中，在待评价图像的变换域层面反映展示效果的特征。为了便于理解和合理布局，后续在本发明图3实施例和可选实施例中，具体说明基础特征的提取方式。
并且，图像内容为图像呈现的内容，例如，图像呈现的内容为大海以及某个明星等等。因此，能够反映图像内容的深度特征，可以是用于图像中目标识别的特征，或者，用于进行与图像内容相关的分类的特征。为了便于理解和合理布局，后续在本发明图3实施例和可选实施例中，具体说明深度特征的提取方式。
在具体应用中，预设的融合模型为用于组合基础特征和深度特征的模型，并且，基础特征和深度特征的组合可以是多种的，相应的，预设的融合模型可以是多种的。示例性的，预设的融合模型可以是用于获得第一融合子特征和第二融合子特征中，至少一个融合子特征的模型。其中，第一融合子特征包括：对基础特征和深度特征进行组合后，得到的全部组合形式的特征；第二融合子特征包括：对基础特征和深度特征进行组合后，得到的拼接形式的特征。为了便于理解和合理布局，后续在本发明图3可选实施例中对融合特征的获取方式进行具体说明。
S102，将多个样本图像的融合特征，输入评价模型进行训练，得到针对每个样本图像的融合特征的预测评价结果。
在具体应用中，评价模型可以是多种的。示例性的，评价模型可以是深度学习模型。或者，示例性的，图像评价模型可以是Wide and Deep模型，该模型用于分类和回归，模型结构的左侧命名为Wide，为LR(Linear Regression，线性回归)模型，右侧命名为Deep，为DNN(深度学习)模型。任何能够利用融合特征获得待评价图像的评价结果的图像评价模型，均可用于本发明，本实施例对此不作限制。
S103，基于预测评价结果、多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛；如果收敛，执行步骤S104。
S104，将处于当前训练阶段的评价模型作为图像评价模型。
为了生成对图像质量的评价结果相对而言准确的图像评价模型，可以在对评价模型进行训练的过程中，通过步骤S103基于预测评价结果、多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛。如果收敛，表明各预测评价结果与相应的评价结果标签之间的误差，均达到期望值，例如，预设的损失函数的输出小于预设阈值。此时的评价模型对图像质量的评价结果相对而言准确，因此，可以执行步骤S104将处于当前训练阶段的评价模型确定为图像评价模型。
并且，在具体应用中，基于预测评价结果、多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛的方式，可以是多种的。示例性的，当融合特征包括第一融合子特征和第二融合特征中的任一种特征时，可以将任一种融合子特征的预测评价结果和多个样本图像的评价结果标签输入预设的损失函数，得到该种融合子特征的预测评价结果和评价结果标签之间的误差，该误差即为预设的损失函数的输出。因此，当所得到的误差达到期望值，例如所得到的误差小于预设阈值时，处于当前训练阶段的评价模型收敛。或者，示例性的，当融合特征包括第一融合子特征和第二融合特征两种特征时，可以分别获取两种融合子特征的预测评价结果和评价结果标签之间的误差，用于判断处于当前训练阶段的评价模型是否收敛。为了便于理解和合理布局，后续在本发明图2实施例中对融合特征包括第一融合子特征和第二融合特征两种特征时，评价模型是否收敛的判断方式进行具体说明。
并且，多个样本图像的评价结果标签是针对多个样本图像的内容，进行评价得到的。举例而言，样本图像为视频封面时，由于好的视频封面可以吸引用户点击视频，因此，可以为点击次数相对而言较多的视频封面标注“质量好”的评价结果标签，为点击次数相对而言较少的视频封面标注“质量差”的评价结果标签。或者，针对样本图像的内容，人工评价并标注样本图像的评价结果标签。
本发明实施例提供的方案中，基础特征为用于反映图像的展示效果且具备可解释性的特征，深度特征为用于反映图像内容的特征；因此，融合特征不仅能够反映图像内容，还能够反映可解释性的基础特征对应的图像的展示效果，与仅反映图像内容的深度特征相比，相对而言可以提高客观性和准确度。在此基础上，图像评价模型为利用多个样本图像的融合特征和评价结果标签训练得到的，因此，将待评价图像的融合特征输入图像评价模型，可以得到待评价图像的质量评价结果，与利用仅反映图像内容的深度特征得到的待评价图像的质量评价结果相比，本方案得到的质量评价结果相对而言更加客观，可以减少主观评价造成的不准确问题，提高评价的准确度。可见，通过本方案，可以提高对图像质量的评价的准确性。
可选的，在上述判断处于当前训练阶段的评价模型是否收敛之后，本发明实施例提供的模型生成方法还可以包括：
如果不收敛，调整处于当前训练阶段的评价模型的模型参数，得到调整后的评价模型；分别将多个样本图像输入调整后的评价模型，并重复上述进行训练和调整模型参数的步骤，直至所调整后的评价模型收敛。
当评价模型不收敛时，表明预测评价结果与相应的评价结果标签之间的误差，还没有达到期望大小，当前训练阶段的评价模型的评价准确度未达到期望水平，需要继续调整模型的参数，可以继续进行训练。因此，可以分别将多个样本图像输入调整后的评价模型，并重复上述进行训练和调整所述模型参数的步骤，直至调整后的评价模型收敛。
在具体应用中，可以使用预设的优化模型，调整处于当前训练阶段的评分模型的模型参数，实现模型参数的优化。预设的优化模型可以是多种的。示例性的，预设的优化模型可以是SGD(Stochastic Gradient Descent，随机梯度下降)算法，或者，Adam(Adaptivemoment estimation，自适应矩估计)算法。其中，SGD算法采用单一的学习率更新评价模型的所有参数，Adam算法可以通过计算梯度的一阶矩估计和二阶矩估计，为评价模型的不同参数设计独立的自适应性学习率，相对而言可以提高训练准确度。
可选的，上述融合特征可以包括：第一融合子特征和第二融合子特征；
相应的，上述将多个样本图像的所述融合特征，输入评价模型进行训练，得到针对每个样本图像的融合特征的预测评价结果，包括：
将多个样本图像的第一融合子特征和第二融合子特征，分别输入评价模型进行训练，得到第一融合子特征的第一预测评价结果，以及第二融合子特征的第二预测评价结果；
上述基于预测评价结果、多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛，包括：
基于第一预测评价结果、第二预测评价结果、多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛。
在具体应用中，由于融合特征包括第一融合子特征和第二融合子特征，因此，评价模型可以是Wide and Deep模型，以便将第二融合子特征输入Wide and Deep模型的右侧Wide的LR模型，将第一融合子特征输入Wide and Deep左侧Deep的DNN模型中。从而得到针对每个样本图像的第一融合子特征的第一预测评价结果，以及第二融合子特征的第二预测评价结果。并且，预设的损失函数具体可以为平方误差损失函数，或者均方根误差损失函数等等。为了保证优化后的模型参数可以适用于第一融合子特征的第一预测评价结果，以及第二融合子特征的第二预测评价结果，可以基于第一预测评价结果、第二预测评价结果、多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛。可选的，上述基于第一预测评价结果、第二预测评价结果、多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛，包括：
将第一预测评价结果、第二预测评价结果和多个样本图像的评价结果标签，输入预设的损失函数，获得第一误差和第二误差之和；其中，第一误差为第一预测评价结果与所述样本图像的评价结果标签之间的误差；所述第二误差为所述第二预测评价结果与所述样本图像的评价结果标签之间的误差；
根据第一误差和第二误差之和，判断处于当前训练阶段的评价模型是否收敛。
其中，预设的损失函数的输出为第一误差和第二误差之和。因此，根据第一误差和第二误差之和，判断处于当前训练阶段的评价模型是否收敛，具体可以包括：判断第一误差和第二误差之和的大小是否达到期望值，例如，第一误差和第二误差之和是否小于预设阈值，如果达到，判断结果为处于当前训练阶段的评价模型收敛。
下面以图2为例，进行具体说明。为了生成图像评价模型，可以提取样本图像的深度特征和基础特征，以得到融合特征。当融合特征包括第一融合子特征和第二融合子特征时，可以获取深度特征和基础特征的全部组合形式的第一融合子特征，以及深度特征和基础特征的拼接形式的第二融合子特征。并且，为了保证对评价模型参数的优化是针对第一融合子特征和第二融合子特征进行的，评价模型可以是Wide and Deep模型，以便将第二融合子特征输入Wide and Deep模型的右侧Wide的LR模型中，将第一融合子特征输入Wideand Deep左侧Deep的DNN模型中。在此基础上，第一融合子特征经过左侧Deep输入预设的损失函数，得到第一误差，可以命名为Deep Loss，第二融合子特征经过右侧Wide输入预设的损失函数，得到第二误差，可以命名为Wide Loss。并且，计算第一误差Deep Loss和第二误差Wide Loss之和，可以命名为Sum Loss，作为预设的损失函数的输出，可以命名为TotalLoss，用于判断处于当前训练阶段的评价模型是否收敛。如果不收敛，利用预设的优化模型Adam Optimizer(自适应矩阵优化器)，也就是Adam算法，调整评价模型的参数，并将第一融合子特征和第二融合子特征输入调整后的评价模型，重复上述训练和调整的步骤，直到处于当前训练阶段的评价模型收敛。
在具体应用中，利用上述本发明图1实施例和可选实施例中的任一方法生成的图像评价模型，均可用于进行图像质量的评价。下面对本发明实施例提供的图像质量评价方法进行介绍。
本发明实施例提供的图像质量评价方法，可以应用于电子设备，该电子设备具体可以包括台式计算机、便携式计算机、互联网电视、智能移动终端以及可穿戴式智能终端等，在此不作限定，任何可以实现本发明实施例的电子设备，均属于本发明实施例的保护范围。
如图3所示，本发明一实施例的图像质量的评价方法的流程，该方法可以包括如下步骤：
S301，分别提取待评价图像的基础特征和深度特征；其中，基础特征为用于反映图像的展示效果且具备可解释性的特征；深度特征为用于反映图像内容的特征。
在具体应用中，图像的展示效果可以包括图像的亮度、对比度、饱和度以及边缘分布等等多种效果，相应的，能够反映图像的展示效果、且具备可解释性的基础特征，可以是多种的。对此，可选的，上述待评价图像为RGB图像；上述待评价图像的基础特征，可以包括：第一基础特征、第二基础特征以及第三基础特征中的至少一种。
其中，第一基础特征为待评价图像的基础特征中，在像素层面反映待评价图像展示效果的特征；第二基础特征为待评价图像的基础特征中，在待评价图像的统计层面反映展示效果的特征；第三基础特征为所述待评价图像的基础特征中，在待评价图像的变换域层面反映展示效果的特征。并且，由于可解释性为能够以人类可理解的内容进行描述的特性，因此，具备可解释性的基础特征与仅反映图像内容的深度特征相比，可以在后续步骤S302和S303中，提高对待评价图像的质量客观性，减少主观性造成的质量评价不准确的问题。为了便于理解和合理布局，后续以可选实施例的形式，具体说明基础特征的提取方式。
并且，图像内容为图像呈现的内容，例如，图像呈现的内容为大海以及某个明星等等。因此，能够反映图像内容的深度特征，可以是用于图像中目标识别的特征，或者，用于进行与图像内容相关的分类的特征。由此，可选的，所述深度特征，可以采用如下步骤提取：
将待评价图像输入预设的特征提取模型，获得待评价图像的深度特征；预设的特征提取模型为预先利用多个样本图像训练得到的模型。在具体应用中，预设的特征提取模型可以是多种的。示例性的，预设的特征提取模型可以是深度神经网络模型和YOLO模型等等能够对图像进行目标识别的模型。或者，示例性的，预设的特征提取模型可以是能够对图像进行与图像内容相关的分类的模型。举例而言，预设的特征提取模型可以是在ImageNet上，预先训练好的Resnet-50(50个weight(权重)层的残差网络)模型的中间层block3。该中间层block3提取维度为7*7*2048的特征，并通过Average Pooling(平均池化)后得到的，维度为2048维的特征，作为待评价图像的深度特征。其中，ImageNet是一个用于视觉对象识别软件研究的大型可视化数据库，该数据库中的图像已标注图像内容的识别结果标签。并且，Resnet50的特征提取效果相对而言较好，中间层block3特征表示在数值上比较平滑，且更倾向于反应图像内容本身，与图像分类的相关性相对而言较小，能够较好的适用于提取本实施例所需的深度特征。
任何可以提取待评价图像深度特征的模型，均可用于本发明，本实施例对此不作限制。
S302，将基础特征和深度特征输入预设的融合模型，得到融合特征。
在具体应用中，预设的融合模型为用于组合基础特征和深度特征的模型，并且基础特征和深度特征的组合可以是多种的，相应的，预设的融合模型可以是多种的。下面以可选实施例的形式进行说明。可选的，上述融合特征，可以包括：第一融合子特征和第二融合子特征中的至少一种。举例而言，融合特征可以是第一融合子特征，或者，第二融合子特征，或者，将第一融合子特征和第二融合子特征共同作为融合特征。其中，第一融合子特征包括：对基础特征和深度特征进行组合后，得到的全部组合形式的特征；第二融合子特征包括：对基础特征和深度特征进行组合后，得到的拼接形式的特征。
为了便于理解和合理布局，后续以可选实施例的形式对融合特征的获取方式进行具体说明。
S303，将融合特征输入图像评价模型，得到待评价图像的质量评价结果。其中，图像评价模型为利用本发明上述实施例中任一种模型生成方法生成的。
在具体应用中，利用本发明上述实施例中任一种模型生成方法生成的图像评价模型可以是多种的。示例性的，图像评价模型可以是深度学习模型。或者，示例性的，图像评价模型可以是Wide and Deep模型，该模型结构的左侧Wide为LR(Linear Regression，线性回归)模型，右侧Deep为DNN(深度学习)模型。任何能够利用融合特征获得待评价图像的评价结果的图像评价模型，均可用于本发明，本实施例对此不作限制。
本发明实施例提供的方案中，基础特征为用于反映图像的展示效果且具备可解释性的特征，深度特征为用于反映图像内容的特征；因此，融合特征不仅能够反映图像内容，还能够反映可解释性的基础特征对应的图像的展示效果，与仅反映图像内容的深度特征相比，相对而言可以提高客观性和准确度。在此基础上，图像评价模型为利用多个样本图像的融合特征和评价结果标签训练得到的，因此，将待评价图像的融合特征输入图像评价模型，可以得到待评价图像的质量评价结果，与利用仅反映图像内容的深度特征得到的待评价图像的质量评价结果相比，本方案得到的质量评价结果相对而言更加客观，可以减少主观评价造成的不准确问题，提高评价的准确度。可见，通过本方案，可以提高对图像质量的评价的准确性。
可选的，当融合特征包括第一融合子特征时，上述步骤S302，具体可以包括：
计算基础特征和深度特征之间的外积。
对外积进行降维处理，得到第一融合子特征；
和/或，
当融合特征包括第二融合子特征时，上述步骤S302，具体可以包括：对深度特征进行降维处理，得到降维后的深度特征；拼接基础特征与降维后的深度特征，得到第二融合子特征。
在具体应用中，可以将基础特征和深度特征输入CBP(Compact BilinearPooling，紧凑双线性池)模型，得到基础特征和深度特征之间的外积。利用CBP模型得到的基础特征和深度特征之间的外积，可以反映基础特征和深度特征之间完整的组合，包含相对而言更加全面的影响待评价图像的质量的信息。并且，外积可以表示两两对象之间的全部组合形式，例如，基础特征和深度特征之间的全部组合形式，因此，具有相对而言维度较大、且计算复杂度高的特点。对此，为了降低利用外积计算的复杂度，可以对外积进行保证组合完整性的降维，得到第一融合子特征，作为融合特征。
示例性的，可以将外积输入预设的Count Sketch(草图计算)模型，实现对外积进行保证组合完整性的降维，得到第一融合子特征。举例而言，将118维图像基础特征与2048维图像深度特征通过CBP算法，计算特征之间的外积并通过count sketch方式降到10240维特征作为基础特征和深度特征的融合的深度特征表示
其中，对深度特征进行降维可以包括：将深度特征输入PCA(PrincipalComponents Analysis，主成分分析)模型，得到降维后的深度特征。其中，PCA模型为能够利用降维的思想，把多指标转化为少数几个综合指标的模型。并且，对降维后的深度特征与基础特征的拼接，可以是将深度特征和基础特征作为一个特征集合。
示例性的，将提取的2048维的深度特征，输入PCA模型，得到64维的降维后的深度特征。拼接64维的降维后的深度特征与118维的基础特征，即64+118＝182，得到182维的特征，作为第二融合子特征。
在本可选实施例中，第一融合子特征包括对基础特征和深度特征进行组合后，得到的全部组合形式的特征，包含相对而言更加全面的影响待评价图像的质量的信息，并且融合了具有可解释性的基础特征。因此，当融合特征包括第一融合子特征时，可以通过相对而言更加全面的影响待评价图像的质量的信息，以及具有可解释性的基础特征的信息，提高融合特征用于图像质量评价时，融合特征的适用性和可解释性。另外，第二融合子特征是对基础特征和深度特征进行组合后，得到的拼接形式的特征，可以在提高融合特征用于图像质量评价的适用性和可解释性的同时，提高基础特征与待评价图像本身的相关性，提高基础特征对待评价图像质量影响的准确度，从而在后续利用融合特征获取待评价图像的质量评价结果时，提高质量评价结果的准确度。
可选的，上述基础特征中，第一基础特征采用如下步骤提取：
将待评价图像转换到六角锥体模型HSV颜色空间，得到HSV颜色空间的待评价图像；
根据HSV颜色空间的待评价图像，获取第一基础特征。
其中，HSV颜色空间(Hue,Saturation,Value，色调，饱和度，色调计数)，是根据颜色的直观特性创建的一种颜色空间,也称六角锥体模型。因此，根据HSV颜色空间的待评价图像，获取的第一基础特征，可以是4维的特征，包括图像的亮度、对比度、饱和度以及色调计数，每个特征的维度是1，总共为4维特征。
并且，亮度、对比度和饱和度的获取可以从HSV颜色空间的待评价图像中直接提取，色调计数的获取可以包括：HSV颜色空间的待评价图像H通道表示色调，色调范围为0到180，将每间隔20作为一个间隔，将H落到这个间隔之类的值进行统计计数，计数最多的一个范围作为H通道的色调计数。第一基础特征直接提取待评价图像自身的特征得到的，没有参考其他图像已标注的质量评价结果，因此，可以将第一基础特征看作无参考特征。
可选的，上述基础特征中，第二基础特征采用如下步骤提取：
分别计算已标注评价结果标签的多个图像的边缘空间分布和RGB颜色直方图分布，得到评价结果标签为第一标签的图像的第一分布信息，以及评价结果标签为第二标签的图像的第二分布信息；其中，第一标签对应的图像的质量高于第二标签对应的图像的质量；
计算待评价图像与第一分布信息之间的距离，以及待评价图像与第二分布信息之间的距离，并将所得到距离作为待评价图像的第二基础特征。
其中，第二基础特征包括待评价图像与第一分布信息的距离，以及待评价图像与第二分布信息之间的距离，共2维特征。在具体应用中，可以计算待评价图像与第一分布信息的L1距离(曼哈顿距离)，计算待评价图像与第二分布信息之间的KNN(k-NearestNeighbor，K最近邻)距离。第二基础特征是利用已标注评价结果标签的多个图像得到的，因此，可以将第二基础特征看作有参考特征。
可选的，上述基础特征中，第三基础特征采用如下步骤提取：
将待评价图像转换为灰度图像；
将灰度图像平均划分为四个子区域，得到四个子图像；
获取灰度图像的变换域特征，以及每个子图像的变换域特征；针对任一图像，变换域特征包括：图像的高频系数与低频系数的比值，以及对图像进行拉普拉斯滤波，得到滤波图像后，计算得到的滤波图像的均值、方差、梯度的均值和梯度的方差；
基于所获取的多个变换域特征，获取第三基础特征。
在具体应用中，将待评价图像转换为灰度图像后，获取灰度图像的变换域特征可以包括：计算灰度图像整体的高频系数与低频系数的第一比值；对灰度图像进行拉普拉斯滤波，得到X方向的滤波图像和Y方向的滤波图像，并针对每个方向的所述滤波图像，分别计算该滤波图像的第一均值、第一方差、梯度的第一均值以及梯度的第一方差；X方向和Y方向分别为灰度图像的二维坐标系中，X轴和Y轴的方向；将第一比值、所述第一均值、第一方差、梯度的第一均值以及梯度的第一方差，作为第一子特征。第一子特征即为灰度图像的变换域特征。
将灰度图像平均划分为四个子区域，得到四个子图像后，每个子图像的变换域特征的获取，可以包括：针对每个子图像，计算该子图像的高频系数与低频系数的第二比值，并对该子图像进行拉普拉斯滤波，得到X方向的滤波子图像和Y方向的滤波子图像，并针对每个方向的滤波子图像，分别计算该滤波子图像的第二均值、第二方差、梯度的第二均值以及梯度的第二方差。此时，针对每个方向的滤波子图像，该滤波子图像的第二均值、第二方差、梯度的第二均值以及梯度的第二方差，即为子图像的变换域特征。
在此基础上，基于所获取的多个变换域特征，获取所述第三基础特征，具体可以包括：将每个子图像的所述第二比值、第二均值、第二方差、梯度的第二均值以及梯度的第二方差，作为该子图像的第二子特征；计算四个子图像的第二比值的平均值、第二均值的平均值、第二方差的平均值、梯度的第二均值的平均值以及梯度的第二方差的平均值，作为第三子特征；将四个子图像的第二比值中的最大值、第二均值中的最大值、第二方差中的最大值、梯度的第二均值中的最大值以及梯度的第二方差中的最大值，作为第四子特征；将四个子图像的第二比值中的最小值、第二均值中的最小值、第二方差中的最小值、梯度的第二均值中的最小值以及梯度的第二方差中的最小值，作为第五子特征。第二子特征、每个子图像的第三子特征、第四子特征以及第五子特征，即为子图像的变换域特征。从而将第一子特征、第二子特征、每个子图像的第三子特征、第四子特征以及第五子特征，作为第三基础特征。
其中，可以对灰度图像进行小波分解，从而得到平均划分灰度图像的四个子图像。可以理解的是，图像的区域是二维的，因此，灰度图像的四个子图像具体可以包括：左上角的子图像，左下角的子图像，右上角的子图像以及右下角的子图像。并且，具体的，灰度图像的高频系数，以及灰度图像的子图像的高频系数，均为相应图像区域中的细节和边缘数据。灰度图像的低频系数以及灰度图像的子图像的低频系数，均为相应图像区域中的亮度。针对每个方向的滤波图像，分别计算该滤波图像的第一均值和第一方差，是对该滤波图像本身的计算，具体可以是计算该滤波图像中像素值的第一均值和第一方差。
并且，上述第二子特征与子图像对应，因此，对于上述任一特征，可以将该特征看作8维：第1维：图像整体的该特征，第2维至第5维：每个子图像对应的该特征，第6维：四个子图像的该特征的平均值，第7维：四个子图像的该特征中的最大值，以及第8维：四个子图像的该特征中的最小值。
在本可选实施例中，将灰度图像划分为四个子图像，与仅将灰度图像整体提取第三基础特征而言，相对而言可以更加有效地捕捉局部的特征，利用局部的特征更全面的反映全局的特征。
可以理解的是，与上述本发明图3实施例及可选实施例中，针对待评价图像描述深度特征和基础特征的具体提取方式类似的，可以采用同样的方式对本发明图1实施例及可选实施例中的样本图像，提取深度特征和基础特征。二者的区别在于，所针对的图像不同。
相应于上述方法实施例，本发明一实施例还提供了模型生成装置和图像质量的评价装置。
如图4所示，本发明一实施例提供的模型生成装置，该装置可以包括：
特征融合模块401，用于针对多个样本图像，分别提取各样本图像的基础特征和深度特征，并将各基础特征和各深度特征输入预设的融合模型，得到各融合特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
模型训练模块402，用于将多个样本图像的所述融合特征，输入评价模型进行训练，得到针对每个样本图像的融合特征的预测评价结果；
模型确定模块403，用于基于所述预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛；如果收敛，将处于当前训练阶段的评价模型作为图像评价模型。
本发明实施例提供的方案中，基础特征为用于反映图像的展示效果且具备可解释性的特征，深度特征为用于反映图像内容的特征；因此，融合特征不仅能够反映图像内容，还能够反映可解释性的基础特征对应的图像的展示效果，与仅反映图像内容的深度特征相比，相对而言可以提高客观性和准确度。在此基础上，图像评价模型为利用多个样本图像的融合特征和评价结果标签训练得到的，因此，将待评价图像的融合特征输入图像评价模型，可以得到待评价图像的质量评价结果，与利用仅反映图像内容的深度特征得到的待评价图像的质量评价结果相比，本方案得到的质量评价结果相对而言更加客观，可以减少主观评价造成的不准确问题，提高评价的准确度。可见，通过本方案，可以提高对图像质量的评价的准确性。
可选的，上述融合特征包括：第一融合子特征和第二融合子特征；
所述模型训练模块402，具体用于：
将多个样本图像的所述第一融合子特征和所述第二融合子特征，分别输入评价模型进行训练，得到所述第一融合子特征的第一预测评价结果，以及所述第二融合子特征的第二预测评价结果；
所述模型确定模块403，具体用于：
基于所述第一预测评价结果、所述第二预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛。
可选的，上述模型确定模块，具体用于：
将所述第一预测评价结果、所述第二预测评价结果和所述多个样本图像的评价结果标签，输入所述预设的损失函数，获得第一误差和第二误差之和；其中，所述第一误差为所述第一预测评价结果与所述样本图像的评价结果标签之间的误差；所述第二误差为所述第二预测评价结果与所述样本图像的评价结果标签之间的误差；根据所述第一误差和第二误差之和，判断处于当前训练阶段的评价模型是否收敛。
如图5所示，本发明另一实施例提供的模型生成装置，该装置可以包括：
特征融合模块501，用于针对多个样本图像，分别提取各样本图像的基础特征和深度特征，并将各基础特征和各深度特征输入预设的融合模型，得到各融合特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
模型训练模块502，用于将多个样本图像的所述融合特征，输入评价模型进行训练，得到针对每个样本图像的融合特征的预测评价结果；
模型确定模块503，用于基于所述预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛；如果收敛，将处于当前训练阶段的评价模型作为图像评价模型。
模型调整模块504，用于在所述模型确定模块503判断处于当前训练阶段的评价模型是否收敛之后，如果判断结果为不收敛，所述模型调整模块504调整处于当前训练阶段的评价模型的模型参数，得到调整后的评价模型；分别将所述多个样本图像输入所述调整后的评价模型，并触发所述模型训练模块502和所述模型调整模块504重复上述进行训练和调整所述模型参数的步骤，直至所调整后的评价模型收敛。
如图6所示，本发明一实施例提供的图像质量的评价装置，该装置可以包括：
特征提取模块601，用于分别提取待评价图像的基础特征和深度特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
特征融合模块602，用于将所述基础特征和所述深度特征输入预设的融合模型，得到融合特征；
图像质量评价模块603，用于将所述融合特征输入图像评价模型，得到所述待评价图像的质量评价结果；其中，所述图像评价模型为利用权利要求1至3中任一项所述的装置生成的。
本发明实施例提供的方案中，基础特征为用于反映图像的展示效果且具备可解释性的特征，深度特征为用于反映图像内容的特征；因此，融合特征不仅能够反映图像内容，还能够反映可解释性的基础特征对应的图像的展示效果，与仅反映图像内容的深度特征相比，相对而言可以提高客观性和准确度。在此基础上，图像评价模型为利用多个样本图像的融合特征和评价结果标签训练得到的，因此，将待评价图像的融合特征输入图像评价模型，可以得到待评价图像的质量评价结果，与利用仅反映图像内容的深度特征得到的待评价图像的质量评价结果相比，本方案得到的质量评价结果相对而言更加客观，可以减少主观评价造成的不准确问题，提高评价的准确度。可见，通过本方案，可以提高对图像质量的评价的准确性。
可选的，所述融合特征，包括：第一融合子特征和第二融合子特征中的至少一种；
其中，所述第一融合子特征包括：对所述基础特征和所述深度特征进行组合后，得到的全部组合形式的特征；所述第二融合子特征包括：对所述基础特征和所述深度特征进行组合后，得到的拼接形式的特征。
可选的，所述特征融合模块602，具体用于
当所述融合特征包括所述第一融合子特征时，计算所述基础特征和所述深度特征之间的外积；对所述外积进行降维处理，得到所述第一融合子特征；
和/或，
当所述融合特征包括所述第二融合子特征时，对所述深度特征进行降维处理，得到降维后的深度特征；拼接所述基础特征与所述降维后的深度特征，得到所述第二融合子特征。
可选的，所述待评价图像为RGB图像；所述待评价图像的基础特征，包括：第一基础特征、第二基础特征以及第三基础特征中的至少一种；
其中，所述第一基础特征为所述待评价图像的基础特征中，在像素层面反映待评价图像展示效果的特征；所述第二基础特征为所述待评价图像的基础特征中，在待评价图像的统计层面反映展示效果的特征；所述第三基础特征为所述待评价图像的基础特征中，在待评价图像的变换域层面反映展示效果的特征。
如图7所示，本发明另一实施例提供的图像质量的评价装置，该装置可以包括：
特征提取模块701，包括：深度特征提取子模块7011，第一基础特征提取子模块7012，第二基础特征提取子模块7013以及第三基础特征提取子模块7014；
其中，深度特征提取子模块7011用于提取待评价图像的深度特征；
第一基础特征提取子模块7012，用于将所述待评价图像转换到六角锥体模型HSV颜色空间，得到所述颜色空间的待评价图像；基于所述HSV颜色空间的待评价图像，获取所述第一基础特征；
第二基础特征提取子模块7013，用于分别计算已标注评价结果标签的多个图像的边缘空间分布和RGB颜色直方图分布，得到评价结果标签为第一标签的图像的第一分布信息，以及评价结果标签为第二标签的图像的第二分布信息；所述第一标签对应的图像的质量高于所述第二标签对应的图像的质量；计算所述待评价图像与所述第一分布信息之间的距离，以及所述待评价图像与所述第二分布信息之间的距离，并将所得到距离作为所述待评价图像的第二基础特征；
第三基础特征提取子模块7014，用于将所述待评价图像转换为灰度图像；将所述灰度图像平均划分为四个子区域，得到四个子图像；获取所述灰度图像的变换域特征，以及每个所述子图像的变换域特征；针对任一图像，所述变换域特征包括：图像的高频系数与低频系数的比值，以及对图像进行拉普拉斯滤波，得到滤波图像后，计算得到的所述滤波图像的均值、方差、梯度的均值和梯度的方差；基于所获取的多个变换域特征，获取所述第三基础特征；
特征融合模块702，用于将所述基础特征和所述深度特征输入预设的融合模型，得到融合特征；
图像质量评价模块703，用于将所述融合特征输入图像评价模型，得到所述待评价图像的质量评价结果；其中，所述图像评价模型为利用权利要求1至3中任一项所述的装置生成的。
如图8所示，本发明一实施例提供的电子设备的结构，该设备可以包括：
处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器通803过通信总线804完成相互间的通信；
存储器803，用于存放计算机程序；
处理器801，用于执行上述存储器803上所存放的计算机程序时，实现上述实施例中任一模型生成方法的步骤。
本发明实施例提供的方案中，基础特征为用于反映图像的展示效果且具备可解释性的特征，深度特征为用于反映图像内容的特征；因此，融合特征不仅能够反映图像内容，还能够反映可解释性的基础特征对应的图像的展示效果，与仅反映图像内容的深度特征相比，相对而言可以提高客观性和准确度。在此基础上，图像评价模型为利用多个样本图像的融合特征和评价结果标签训练得到的，因此，将待评价图像的融合特征输入图像评价模型，可以得到待评价图像的质量评价结果，与利用仅反映图像内容的深度特征得到的待评价图像的质量评价结果相比，本方案得到的质量评价结果相对而言更加客观，可以减少主观评价造成的不准确问题，提高评价的准确度。可见，通过本方案，可以提高对图像质量的评价的准确性。
如图9所示，本发明另一实施例提供的电子设备的结构，该设备可以包括：
处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器通903过通信总线904完成相互间的通信；
存储器903，用于存放计算机程序；
处理器901，用于执行上述存储器903上所存放的计算机程序时，实现上述实施例中任一图像质量的评价方法的步骤。
本发明实施例提供的方案中，基础特征为用于反映图像的展示效果且具备可解释性的特征，深度特征为用于反映图像内容的特征；因此，融合特征不仅能够反映图像内容，还能够反映可解释性的基础特征对应的图像的展示效果，与仅反映图像内容的深度特征相比，相对而言可以提高客观性和准确度。在此基础上，图像评价模型为利用多个样本图像的融合特征和评价结果标签训练得到的，因此，将待评价图像的融合特征输入图像评价模型，可以得到待评价图像的质量评价结果，与利用仅反映图像内容的深度特征得到的待评价图像的质量评价结果相比，本方案得到的质量评价结果相对而言更加客观，可以减少主观评价造成的不准确问题，提高评价的准确度。可见，通过本方案，可以提高对图像质量的评价的准确性。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明一实施例提供的计算机可读存储介质，包含于电子设备，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时，实现上述实施例中任一模型生成方法的步骤。
本发明一实施例提供的计算机可读存储介质，包含于电子设备，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时，实现上述实施例中任一图像质量的评价方法的步骤。
本发明实施例提供的方案中，基础特征为用于反映图像的展示效果且具备可解释性的特征，深度特征为用于反映图像内容的特征；因此，融合特征不仅能够反映图像内容，还能够反映可解释性的基础特征对应的图像的展示效果，与仅反映图像内容的深度特征相比，相对而言可以提高客观性和准确度。在此基础上，图像评价模型为利用多个样本图像的融合特征和评价结果标签训练得到的，因此，将待评价图像的融合特征输入图像评价模型，可以得到待评价图像的质量评价结果，与利用仅反映图像内容的深度特征得到的待评价图像的质量评价结果相比，本方案得到的质量评价结果相对而言更加客观，可以减少主观评价造成的不准确问题，提高评价的准确度。可见，通过本方案，可以提高对图像质量的评价的准确性。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的模型生成方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像质量的评价方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字运维人员线)或无线(例如：红外线、无线电、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如：DVD(Digital Versatile Disc，数字通用光盘))、或者半导体介质(例如：SSD(Solid StateDisk，固态硬盘))等。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (26)
1.一种模型生成方法，其特征在于，所述方法包括：
针对多个样本图像，分别提取各样本图像的基础特征和深度特征，并将各基础特征和各深度特征输入预设的融合模型，得到各融合特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
将多个样本图像的所述融合特征，输入评价模型进行训练，得到针对每个样本图像的融合特征的预测评价结果；
基于所述预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛；
如果收敛，将处于当前训练阶段的评价模型作为图像评价模型。
2.根据权利要求1所述的方法，其特征在于，所述融合特征包括：第一融合子特征和第二融合子特征；
所述将多个样本图像的所述融合特征，输入评价模型进行训练，得到针对每个样本图像的融合特征的预测评价结果，包括：
将多个样本图像的所述第一融合子特征和所述第二融合子特征，分别输入评价模型进行训练，得到所述第一融合子特征的第一预测评价结果，以及所述第二融合子特征的第二预测评价结果；
所述基于所述预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛，包括：
基于所述第一预测评价结果、所述第二预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一预测评价结果、所述第二预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛，包括：
将所述第一预测评价结果、所述第二预测评价结果和所述多个样本图像的评价结果标签，输入所述预设的损失函数，获得第一误差和第二误差之和；其中，所述第一误差为所述第一预测评价结果与所述样本图像的评价结果标签之间的误差；所述第二误差为所述第二预测评价结果与所述样本图像的评价结果标签之间的误差；
根据所述第一误差和第二误差之和，判断处于当前训练阶段的评价模型是否收敛。
4.根据权利要求1至3任一项所述的方法，其特征在于，在所述判断处于当前训练阶段的评价模型是否收敛之后，所述方法还包括：
如果不收敛，调整处于当前训练阶段的评价模型的模型参数，得到调整后的评价模型；分别将所述多个样本图像输入所述调整后的评价模型，并重复上述进行训练和调整所述模型参数的步骤，直至所调整后的评价模型收敛。
5.一种图像质量的评价方法，其特征在于，所述方法包括：
分别提取待评价图像的基础特征和深度特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
将所述基础特征和所述深度特征输入预设的融合模型，得到融合特征；
将所述融合特征输入图像评价模型，得到所述待评价图像的质量评价结果；其中，所述图像评价模型为利用权利要求1至3中任一项所述的方法生成的。
6.根据权利要求5所述的方法，其特征在于，所述融合特征，包括：第一融合子特征和第二融合子特征中的至少一种；
其中，所述第一融合子特征包括：对所述基础特征和所述深度特征进行组合后，得到的全部组合形式的特征；所述第二融合子特征包括：对所述基础特征和所述深度特征进行组合后，得到的拼接形式的特征。
7.根据权利要求6所述的方法，其特征在于，
当所述融合特征包括所述第一融合子特征时，所述将所述基础特征和所述深度特征输入预设的融合模型，得到融合特征，包括：计算所述基础特征和所述深度特征之间的外积；对所述外积进行降维处理，得到所述第一融合子特征；
和/或，
当所述融合特征包括所述第二融合子特征时，所述将所述基础特征和所述深度特征输入预设的融合模型，得到融合特征，包括：对所述深度特征进行降维处理，得到降维后的深度特征；拼接所述基础特征与所述降维后的深度特征，得到所述第二融合子特征。
8.根据权利要求5至7任一项所述的方法，其特征在于，所述待评价图像为RGB图像；所述待评价图像的基础特征，包括：第一基础特征、第二基础特征以及第三基础特征中的至少一种；
其中，所述第一基础特征为所述待评价图像的基础特征中，在像素层面反映待评价图像展示效果的特征；所述第二基础特征为所述待评价图像的基础特征中，在待评价图像的统计层面反映展示效果的特征；所述第三基础特征为所述待评价图像的基础特征中，在待评价图像的变换域层面反映展示效果的特征。
9.根据权利要求8所述的方法，其特征在于，所述第一基础特征采用如下步骤提取：
将所述待评价图像转换到六角锥体模型HSV颜色空间，得到所述颜色空间的待评价图像；
基于所述HSV颜色空间的待评价图像，获取所述第一基础特征。
10.根据权利要求8所述的方法，其特征在于，所述第二基础特征采用如下步骤提取：
分别计算已标注评价结果标签的多个图像的边缘空间分布和RGB颜色直方图分布，得到评价结果标签为第一标签的图像的第一分布信息，以及评价结果标签为第二标签的图像的第二分布信息；所述第一标签对应的图像的质量高于所述第二标签对应的图像的质量；
计算所述待评价图像与所述第一分布信息之间的距离，以及所述待评价图像与所述第二分布信息之间的距离，并将所得到距离作为所述待评价图像的第二基础特征。
11.根据权利要求8所述的方法，其特征在于，所述第三基础特征采用如下步骤提取：
将所述待评价图像转换为灰度图像；
将所述灰度图像平均划分为四个子区域，得到四个子图像；
获取所述灰度图像的变换域特征，以及每个所述子图像的变换域特征；针对任一图像，所述变换域特征包括：图像的高频系数与低频系数的比值，以及对图像进行拉普拉斯滤波，得到滤波图像后，计算得到的所述滤波图像的均值、方差、梯度的均值和梯度的方差；
基于所获取的多个变换域特征，获取所述第三基础特征。
12.一种模型生成装置，其特征在于，所述装置包括：
特征融合模块，用于针对多个样本图像，分别提取各样本图像的基础特征和深度特征，并将各基础特征和各深度特征输入预设的融合模型，得到各融合特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
模型训练模块，用于将多个样本图像的所述融合特征，输入评价模型进行训练，得到针对每个样本图像的融合特征的预测评价结果；
模型确定模块，用于基于所述预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛；如果收敛，将处于当前训练阶段的评价模型作为图像评价模型。
13.根据权利要求12所述的装置，其特征在于，所述融合特征包括：第一融合子特征和第二融合子特征；
所述模型训练模块，具体用于：
将多个样本图像的所述第一融合子特征和所述第二融合子特征，分别输入评价模型进行训练，得到所述第一融合子特征的第一预测评价结果，以及所述第二融合子特征的第二预测评价结果；
所述模型确定模块，具体用于：
基于所述第一预测评价结果、所述第二预测评价结果、所述多个样本图像的评价结果标签以及预设的损失函数，判断处于当前训练阶段的评价模型是否收敛。
14.根据权利要求13所述的装置，其特征在于，所述模型确定模块，具体用于：
将所述第一预测评价结果、所述第二预测评价结果和所述多个样本图像的评价结果标签，输入所述预设的损失函数，获得第一误差和第二误差之和；其中，所述第一误差为所述第一预测评价结果与所述样本图像的评价结果标签之间的误差；所述第二误差为所述第二预测评价结果与所述样本图像的评价结果标签之间的误差；根据所述第一误差和第二误差之和，判断处于当前训练阶段的评价模型是否收敛。
15.根据权利要求12至14任一项所述的装置，其特征在于，所述装置还包括：模型调整模块，用于：
在所述模型确定模块判断处于当前训练阶段的评价模型是否收敛之后，如果判断结果为不收敛，所述模型调整模块调整处于当前训练阶段的评价模型的模型参数，得到调整后的评价模型；分别将所述多个样本图像输入所述调整后的评价模型，并触发所述模型训练模块和所述模型调整模块重复上述进行训练和调整所述模型参数的步骤，直至所调整后的评价模型收敛。
16.一种图像质量的评价装置，其特征在于，所述装置包括：
特征提取模块，用于分别提取待评价图像的基础特征和深度特征；其中，所述基础特征为用于反映图像的展示效果且具备可解释性的特征；所述深度特征为用于反映图像内容的特征；
特征融合模块，用于将所述基础特征和所述深度特征输入预设的融合模型，得到融合特征；
图像质量评价模块，用于将所述融合特征输入图像评价模型，得到所述待评价图像的质量评价结果；其中，所述图像评价模型为利用权利要求1至3中任一项所述的装置生成的。
17.根据权利要求16所述的装置，其特征在于，所述融合特征，包括：第一融合子特征和第二融合子特征中的至少一种；
其中，所述第一融合子特征包括：对所述基础特征和所述深度特征进行组合后，得到的全部组合形式的特征；所述第二融合子特征包括：对所述基础特征和所述深度特征进行组合后，得到的拼接形式的特征。
18.根据权利要求17所述的装置，其特征在于，所述特征融合模块，具体用于
当所述融合特征包括所述第一融合子特征时，计算所述基础特征和所述深度特征之间的外积；对所述外积进行降维处理，得到所述第一融合子特征；
和/或，
当所述融合特征包括所述第二融合子特征时，对所述深度特征进行降维处理，得到降维后的深度特征；拼接所述基础特征与所述降维后的深度特征，得到所述第二融合子特征。
19.根据权利要求16至18任一项所述的装置，其特征在于，所述待评价图像为RGB图像；所述待评价图像的基础特征，包括：第一基础特征、第二基础特征以及第三基础特征中的至少一种；
其中，所述第一基础特征为所述待评价图像的基础特征中，在像素层面反映待评价图像展示效果的特征；所述第二基础特征为所述待评价图像的基础特征中，在待评价图像的统计层面反映展示效果的特征；所述第三基础特征为所述待评价图像的基础特征中，在待评价图像的变换域层面反映展示效果的特征。
20.根据权利要求19所述的装置，其特征在于，所述特征提取模块具体包括：第一基础特征提取子模块，用于：
将所述待评价图像转换到六角锥体模型HSV颜色空间，得到所述颜色空间的待评价图像；基于所述HSV颜色空间的待评价图像，获取所述第一基础特征。
21.根据权利要求19所述的装置，其特征在于，所述特征提取模块具体包括：第二基础特征提取子模块，用于：
分别计算已标注评价结果标签的多个图像的边缘空间分布和RGB颜色直方图分布，得到评价结果标签为第一标签的图像的第一分布信息，以及评价结果标签为第二标签的图像的第二分布信息；所述第一标签对应的图像的质量高于所述第二标签对应的图像的质量；
计算所述待评价图像与所述第一分布信息之间的距离，以及所述待评价图像与所述第二分布信息之间的距离，并将所得到距离作为所述待评价图像的第二基础特征。
22.根据权利要求19所述的装置，其特征在于，所述特征提取模块具体包括：第三基础特征提取子模块，用于：
将所述待评价图像转换为灰度图像；
将所述灰度图像平均划分为四个子区域，得到四个子图像；
获取所述灰度图像的变换域特征，以及每个所述子图像的变换域特征；针对任一图像，所述变换域特征包括：图像的高频系数与低频系数的比值，以及对图像进行拉普拉斯滤波，得到滤波图像后，计算得到的所述滤波图像的均值、方差、梯度的均值和梯度的方差；
基于所获取的多个变换域特征，获取所述第三基础特征。
23.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如权利要求1-4任一项所述的方法步骤。
24.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；处理器，用于执行所述存储器上所存放的程序，实现如权利要求5-11任一项所述的方法步骤。
25.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的方法步骤。
26.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求5-11任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704347.7A CN110428412B (zh) | 2019-07-31 | 2019-07-31 | 图像质量的评价及模型生成方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704347.7A CN110428412B (zh) | 2019-07-31 | 2019-07-31 | 图像质量的评价及模型生成方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110428412A true CN110428412A (zh) | 2019-11-08 |
| CN110428412B CN110428412B (zh) | 2022-06-03 |
Family
ID=68413587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910704347.7A Active CN110428412B (zh) | 2019-07-31 | 2019-07-31 | 图像质量的评价及模型生成方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110428412B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838119A (zh) * | 2019-11-15 | 2020-02-25 | 珠海全志科技股份有限公司 | 人脸图像质量评估方法、计算机装置及计算机可读存储介质 |
| CN111161198A (zh) * | 2019-12-11 | 2020-05-15 | 国网北京市电力公司 | 成像设备的控制方法、装置、存储介质以及处理器 |
| CN111862061A (zh) * | 2020-07-27 | 2020-10-30 | 携程旅游网络技术（上海）有限公司 | 图片美学质量的评估方法、系统、设备和介质 |
| CN112102309A (zh) * | 2020-09-27 | 2020-12-18 | 中国建设银行股份有限公司 | 一种确定图像质量评估结果的方法、装置及设备 |
| CN113592812A (zh) * | 2021-07-29 | 2021-11-02 | 华南师范大学 | 一种素描图片评价方法及装置 |
| CN113705587A (zh) * | 2021-09-30 | 2021-11-26 | 北京金山云网络技术有限公司 | 图像质量评分方法、装置、存储介质以及电子设备 |
| CN114399495A (zh) * | 2022-01-14 | 2022-04-26 | 平安普惠企业管理有限公司 | 图像清晰度的计算方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160300349A1 (en) * | 2013-03-15 | 2016-10-13 | Heartflow, Inc. | Methods and systems for assessing image quality in modeling of patient anatomic or blood flow characteristics |
| CN108629771A (zh) * | 2018-05-08 | 2018-10-09 | 重庆瑞景信息科技有限公司 | 一种具有尺度鲁棒性的图像质量盲评价方法 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及系统 |
| CN109308696A (zh) * | 2018-09-14 | 2019-02-05 | 西安电子科技大学 | 基于层级特征融合网络的无参考图像质量评价方法 |
| CN109448037A (zh) * | 2018-11-14 | 2019-03-08 | 北京奇艺世纪科技有限公司 | 一种图像质量评价方法及装置 |
| CN109584203A (zh) * | 2018-09-29 | 2019-04-05 | 天津大学 | 基于深度学习与语义信息的重定位图像质量评价方法 |
| CN109784358A (zh) * | 2018-11-23 | 2019-05-21 | 南京航空航天大学 | 一种融合人工特征和深度特征的无参考图像质量评价方法 |
| CN109919920A (zh) * | 2019-02-25 | 2019-06-21 | 厦门大学 | 统一结构的全参考和无参考图像质量评价方法 |
| CN109961434A (zh) * | 2019-03-30 | 2019-07-02 | 西安电子科技大学 | 面向层级语义衰减的无参考图像质量评价方法 |
-
2019
- 2019-07-31 CN CN201910704347.7A patent/CN110428412B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160300349A1 (en) * | 2013-03-15 | 2016-10-13 | Heartflow, Inc. | Methods and systems for assessing image quality in modeling of patient anatomic or blood flow characteristics |
| CN108629771A (zh) * | 2018-05-08 | 2018-10-09 | 重庆瑞景信息科技有限公司 | 一种具有尺度鲁棒性的图像质量盲评价方法 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及系统 |
| CN109308696A (zh) * | 2018-09-14 | 2019-02-05 | 西安电子科技大学 | 基于层级特征融合网络的无参考图像质量评价方法 |
| CN109584203A (zh) * | 2018-09-29 | 2019-04-05 | 天津大学 | 基于深度学习与语义信息的重定位图像质量评价方法 |
| CN109448037A (zh) * | 2018-11-14 | 2019-03-08 | 北京奇艺世纪科技有限公司 | 一种图像质量评价方法及装置 |
| CN109784358A (zh) * | 2018-11-23 | 2019-05-21 | 南京航空航天大学 | 一种融合人工特征和深度特征的无参考图像质量评价方法 |
| CN109919920A (zh) * | 2019-02-25 | 2019-06-21 | 厦门大学 | 统一结构的全参考和无参考图像质量评价方法 |
| CN109961434A (zh) * | 2019-03-30 | 2019-07-02 | 西安电子科技大学 | 面向层级语义衰减的无参考图像质量评价方法 |
Non-Patent Citations (4)
| Title |
|---|
| HENG-TZE CHENG 等: "Wide & Deep Learning for Recommender Systems", 《DLRS 2016: PROCEEDINGS OF THE 1ST WORKSHOP ON DEEP LEARNING FOR RECOMMENDER SYSTEMS》 * |
| QINGBO WU ET AL.: "Blind Image Quality Assessment Based on Multichannel Feature Fusion and Label Transfer", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
| 张维夏 等: "基于多通道特征聚合的盲图像质量评价", 《华中科技大学学报(自然科学版)》 * |
| 张维夏: "基于特征聚合和数据驱动的盲图像质量评价", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838119A (zh) * | 2019-11-15 | 2020-02-25 | 珠海全志科技股份有限公司 | 人脸图像质量评估方法、计算机装置及计算机可读存储介质 |
| CN110838119B (zh) * | 2019-11-15 | 2022-03-04 | 珠海全志科技股份有限公司 | 人脸图像质量评估方法、计算机装置及计算机可读存储介质 |
| CN111161198A (zh) * | 2019-12-11 | 2020-05-15 | 国网北京市电力公司 | 成像设备的控制方法、装置、存储介质以及处理器 |
| CN111862061A (zh) * | 2020-07-27 | 2020-10-30 | 携程旅游网络技术（上海）有限公司 | 图片美学质量的评估方法、系统、设备和介质 |
| CN112102309A (zh) * | 2020-09-27 | 2020-12-18 | 中国建设银行股份有限公司 | 一种确定图像质量评估结果的方法、装置及设备 |
| CN113592812A (zh) * | 2021-07-29 | 2021-11-02 | 华南师范大学 | 一种素描图片评价方法及装置 |
| CN113705587A (zh) * | 2021-09-30 | 2021-11-26 | 北京金山云网络技术有限公司 | 图像质量评分方法、装置、存储介质以及电子设备 |
| CN114399495A (zh) * | 2022-01-14 | 2022-04-26 | 平安普惠企业管理有限公司 | 图像清晰度的计算方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110428412B (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428412A (zh) | 图像质量的评价及模型生成方法、装置、设备和存储介质 | |
| CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
| CN104572804B (zh) | 一种视频物体检索的方法及其系统 | |
| Fang et al. | Bottom-up saliency detection model based on human visual sensitivity and amplitude spectrum | |
| EP2356631B1 (en) | Systems and methods for evaluating robustness | |
| CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
| CN110222611A (zh) | 基于图卷积网络的人体骨架行为识别方法、系统、装置 | |
| CN109447169A (zh) | 图像处理方法及其模型的训练方法、装置和电子系统 | |
| DE112020005360T5 (de) | Fein differenzierte optische erkennung in erweiterter realität | |
| CN103988232B (zh) | 使用运动流形来改进图像匹配 | |
| CN109583449A (zh) | 字符识别方法及相关产品 | |
| CN108780508A (zh) | 用于归一化图像的系统和方法 | |
| CN108052881A (zh) | 一种实时检测施工现场图像中多类实体对象的方法及设备 | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| CN110163076A (zh) | 一种图像数据处理方法和相关装置 | |
| CN113762138B (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
| CN110163111A (zh) | 基于人脸识别的叫号方法、装置、电子设备及存储介质 | |
| CN110232404A (zh) | 一种基于机器学习的工业产品表面瑕疵识别方法及装置 | |
| CN109345553A (zh) | 一种手掌及其关键点检测方法、装置和终端设备 | |
| CN107563978A (zh) | 人脸去模糊方法及装置 | |
| CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN110147833A (zh) | 人像处理方法、装置、系统和可读存储介质 | |
| KR20140035273A (ko) | 화상 처리장치, 화상 처리프로그램을 기록한 컴퓨터-리더블 기록매체, 및 화상 처리방법 | |
| CN112561846A (zh) | 训练图像融合模型的方法、装置和电子设备 | |
| CN108206941A (zh) | 目标跟踪方法、系统、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |