CN110807769B - 图像显示控制方法及装置 - Google Patents

Abstract

本申请公开了一种图像显示控制方法及装置，属于图像技术领域。方法包括：获取图像集合中的m个图像，m≥1；将m个图像输入图像质量评价模型，由图像质量评价模型提取m个图像中每个图像的第一特征，对每个图像的第一特征进行n种池化处理得到每个图像的第二特征，基于m个图像的第二特征输出图像集合的质量参数，n≥2；基于图像集合的质量参数，控制显示装置对图像集合进行显示。本申请解决了人工对视频的质量的高低进行评价的效率较低，并且人力成本较高的问题，本申请用于图像的显示控制。

Description

图像显示控制方法及装置

技术领域

本申请涉及图像技术领域，特别涉及一种图像显示控制方法及装置。

背景技术

随着图像技术的发展，短视频逐渐成为人们不可或缺的日常娱乐和社交媒介。短视频通常是由用户自行通过终端上传至服务器，进而由服务器将该短视频推广至其他用户的终端，以控制这些终端显示该短视频。

但是，用户上传的视频存在质量良莠不齐的问题，因此需要筛选出质量较高的视频，并加大该质量较高的视频的推广力度。目前通常是通过工作人员根据经验，逐一对用户上传的视频的质量的高低进行评价。

但是，人工对视频的质量的高低进行评价的效率较低，并且人力成本较高。

发明内容

本申请提供了一种图像显示控制方法及装置，可以解决人工对视频的质量的高低进行评价的效率较低，并且人力成本较高的问题，所述技术方案如下：

一方面，提供了一种图像显示控制方法，所述方法包括：

获取图像集合中的m个图像，m≥1；

将所述m个图像输入图像质量评价模型，由所述图像质量评价模型提取所述m个图像中每个图像的第一特征，对所述每个图像的第一特征进行n种池化处理得到所述每个图像的第二特征，基于所述m个图像的第二特征输出所述图像集合的质量参数，n≥2；

基于所述图像集合的质量参数，控制显示装置对所述图像集合进行显示。

另一方面，提供了一种图像显示控制装置，所述图像显示控制装置包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现本申请提供的图像显示控制方法。

又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现本申请提供的图像显示控制方法。

本申请提供的技术方案带来的有益效果至少包括：

本申请实施例提供的图像显示控制方法中，在将m个图像输入图像质量评价模型后，该图像质量评价模型能够对每个图像的第一特征进行多种池化处理，以得到与图像的多维度特征相关的第二特征。之后，再基于m个图像的第二特征输出的图像集合的质量参数的准确度较高，基于该质量参数能够有效地控制显示装置显示m个图像。并且，该图像显示控制方法能够自动对图像的质量进行评判，因此，无需人工对图像质量进行评判，使得对图像质量的评价效率较高，且人力成本较低。

附图说明

图1为本申请实施例提供的一种图像显示控制方法的流程图；

图2为本申请实施例提供的另一种图像显示控制方法的流程图；

图3为本申请实施例提供的一种图像质量评价模型对图像进行处理的方法流程图；

图4为本申请实施例提供的一种图像质量评价模型的结构示意图；

图5为本申请实施例提供的一种第一模块的结构示意图；

图6为本申请实施例提供的一种图像显示控制装置的结构示意图；

图7为本申请实施例提供的另一种图像质量评价模型的结构示意图；

图8为本申请一个示例性实施例提供的图像显示控制装置的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请用于对图像集合的质量进行评价，得到图像集合的质量参数，进而基于图像集合的质量参数控制显示装置对图像集合进行显示。目前也存在一些对图像集合的质量进行评价的方法，但这些方法均存在一定的问题。以下将以目前的几种对图像集合(如视频)的质量进行评价的方法，及其存在的问题进行简单介绍。

第一种方法：通过人工对视频的质量的高低进行评价。但是，人工对视频的质量的高低进行评价的效率较低，并且人力成本较高。

第二种方法：将待评价的视频中的图像帧序列按照结构相似性划分为子序列，分别从每一个子序列中抽取图像帧，并采用清晰度模型评价抽取的每一个图像帧的清晰度，依据每一个图像帧的清晰度，确定该视频的清晰度。

但是，该清晰度模型在对图像帧的清晰度进行评价时，需要对图像帧进行裁剪、缩放和拼接，该裁剪缩放过程会损失大量的有效图像信息，使得模型的清晰度估计存在一定的偏差，降低了预测的准确度。并且，裁剪后的图像存在重叠的区域，导致对该重叠的区域进行了冗余的计算。另外，该方案也没有考虑到视频的时域特征，因此清晰度模型输出的清晰度的准确度较低。

可见，目前对图像的质量进行评价的方法均存在一定的问题，本申请实施例提供了一种图像显示控制方法，且该方法能够对图像集合的质量进行评价并避免上述这些问题。并且，本申请实施例提供的方法还能够基于图像集合的质量的评价结果，控制显示装置对图像集合进行显示。

示例地，图1为本申请实施例提供的一种图像显示控制方法的流程图，本申请实施例可以用于图像显示控制装置，如图1所示，该图像显示控制方法可以包括：

步骤101、获取图像集合中的m个图像，m≥1。

m可以为1，也可以是大于1的整数。其中，当m＝1时，步骤101中图像显示控制装置获取到的图像可以是任一图片，此时图像显示控制装置用于对该图片的质量进行评价；当m＞1时，步骤101中图像显示控制装置获取到的m个图像可以是来自图像集合(如同一视频)中的m个图像，此时图像显示控制装置用于对该视频的质量进行评价。

步骤102、将m个图像输入图像质量评价模型，由图像质量评价模型提取m个图像中每个图像的第一特征，对每个图像的第一特征进行n种池化处理得到每个图像的第二特征，基于m个图像的第二特征输出图像集合的质量参数，n≥2。

图像显示控制装置在获取到m个图像后，可以将该m个图像输入该图像显示控制装置中预存的图像质量评价模型，并得到该图像质量评价模型输出的图像集合的质量参数(如清晰度、分辨率等)。该质量参数用于体现该m个图像所在的图像集合的质量。

其中，在m个图像输入图像质量评价模型后，该图像质量评价模型可以对该m个图像中的每个图像进行特征提取，以得到该每个图像的第一特征。之后，图像质量评价模型可以进而对每个图像的第一特征进行多种池化处理，也即对每个图像的第一特征进行该多种池化处理中的每种池化处理。在得到每个图像的第一特征在n种池化处理后的特征后，便可以基于该n种池化处理后的特征得到该每个图像的第二特征。之后，图像质量评价模型可以基于m个图像的第二特征，得到图像集合的质量参数，并将该质量参数输出。

需要说明的是，由于图像质量评价模型对每个图像的第一特征进行了多种池化处理，因此，该图像质量评价模型得到的每个图像的第二特征能够反映该图像多维度的特征。之后，图像质量评价模型基于m个图像的第二特征输出的质量参数与该多维度的特征相关，因此，该质量参数的准确度较高。

示例地，该n种池化处理可以包括：最大值池化处理、均值池化处理、最小值池化处理或中位数池化处理等，本申请实施例对此不作限定。

步骤103、基于图像集合的质量参数，控制显示装置对图像集合进行显示。

在得到图像集合的质量参数后，图像显示控制装置便可以基于该质量参数确定图像集合的质量，进而基于图像集合的质量的高低，控制显示装置对图像集合的显示方式。比如，当图像集合的质量较低时，图像显示控制装置便可以控制显示装置降低显示图像集合的频率；当图像集合的质量较高时，图像显示控制装置便可以控制显示装置提高显示该图像集合的频率。

需要说明的是，图像显示控制装置可以直接对显示装置的显示进行控制，也可以是通过其他设备对显示装置的显示进行控制，本申请实施例对此不作限定。

综上所述，本申请实施例提供的图像显示控制方法中，在将m个图像输入图像质量评价模型后，该图像质量评价模型能够对每个图像的第一特征进行多种池化处理，以得到与图像的多维度特征相关的第二特征。之后，再基于m个图像的第二特征输出的图像集合的质量参数的准确度较高，基于该质量参数能够有效地控制显示装置显示m个图像。并且，该图像显示控制方法能够自动对图像的质量进行评判，因此，无需人工对图像质量进行评判，使得对图像质量的评价效率较高，且人力成本较低。

示例地，图2为本申请实施例提供的另一种图像显示控制方法的流程图，本申请实施例可以用于图像显示控制装置。需要说明的是，图2中将以图像集合为视频，且该图像显示控制方法用于对视频的显示控制为例进行讲解。如图2所示，该图像显示控制方法可以包括：

步骤201、对图像集合进行预处理。

示例地，图像集合可以为视频。该视频可以是直播视频也可以不是直播视频(如非直播的短视频)。并且，当该视频为直播视频时，步骤201中的视频可以是直播视频中的一小段视频，也可以是全部的直播视频，本申请实施例对此不作限定。

在对图像集合进行预处理时，图像显示控制装置可以首先利用open cv(一种开源计算机视觉库)包对图像集合进行解码，以得到YUV(一种颜色编码方法)格式的图像集合。或者，图像显示控制装置对该图像集合进行解码，以得到YUV格式的图像集合，并提取其中Y通道的图像集合。或者，图像显示控制装置对该图像集合进行解码，以得到RGB(另一种颜色编码方法)格式的图像集合。

步骤202、从预处理后的图像集合中采集m个图像，m≥2。

在步骤201中该图像显示控制装置还可以对预处理后的图像集合进行抽帧采样(如等间隔的抽帧采样)，以得到该图像集合中的m个图像。例如，设置采样率为10帧/秒，从而得到100个图像(m＝100，m个图像也可以称为100帧图像)。

可选地，该图像显示控制装置还可以对m个图像中的每个图像进行标准化处理。其中，对图像进行标准化处理是指：将图像中的数据通过去均值实现中心化(或归一化)的处理。并且，中心化处理后的图像中的数据符合数据分布规律，更便于后续的图像质量评价过程。

示例地，图像显示控制装置可以首先在步骤201中对该图像集合进行解码，以得到YUV格式的图像集合，并提取其中Y通道的图像集合。之后，图像显示控制装置在步骤202中对该Y通道的图像集合进行抽帧采样，得到m个图像。最后，图像显示控制装置将m个图像中的每个图像进行标准化处理。假设每个图像中像素的Y通道的均值为127.5，则图像显示装置可以将该每个图像中的每个像素的值(仅包括Y通道的值)减去均值127.5，以得到标准化处理后的该图像。

需要说明的是，本申请实施例中以该图像显示控制方法用于对视频的显示控制为例，当该图像显示控制方法用于对图片的显示控制时，在获取该图片(m个图像)之前，也可以对该图片进行预处理，并在获取到该图片后，也可以对该图像进行标准化处理。

步骤203、将m个图像输入图像质量评价模型，由图像质量评价模型提取m个图像中每个图像的第一特征，对每个图像的第一特征进行n种池化处理得到每个图像的第二特征，基于m个图像的第二特征输出图像集合的质量参数，n≥2。

步骤204、基于图像集合的质量参数，控制显示装置对m个图像所在的图像集合进行显示。

步骤203可以参考图1所示实施例中的步骤102，步骤204可以参考图1所示实施例中的步骤103，本申请实施例在此不做赘述。

上述实施例中对图像质量评价模型基于输入的图像输出图像集合的质量参数的过程进行了大致讲解，以下将对该过程进行详细的解释说明。示例地，图3为本申请实施例提供的一种图像质量评价模型对图像进行处理的方法流程图，如图3所示，该方法可以包括：

步骤301、采用包括深度可分离卷积层的全卷积网络对输入的每个图像进行特征提取，以得到该每个图像的初始特征。

该图像质量评价模型可以包括全卷积网络，且该全卷积网络包括深度可分离卷积(depth-wise separable convolution)层。深度可分离卷积层的一个优势是降低计算量以提升计算速度，另一个优势是参数量较少。因此，采用包括该深度可分离卷积层的全卷积网络对图像进行特征提取的效率较高，且所需的参数较少。

示例地，该全卷积网络可以包括十七个反向残差线性瓶颈(inverted residualand linear bottleneck)层和一个卷积核为1x1的卷积层(可以是任一种卷积层)，每个反向残差线性瓶颈层均可以包括深度可分离卷积层。在采用该全卷积网络对每个图像进行特征提取的过程中，该图像可以依次被全卷积网络中的处理层(如上述反向残差线性瓶颈层和卷积层)依次处理。在采用全卷积网络对每个图像进行特征提取后，便可以得到该图像的初始特征。

可选地，上述全卷积网络可以为视觉几何组(visual geometry group network，VGG)16、残差神经网络(residual neural network，ResNet)、密集连接神经网络(denselyconnected neural network，DenseNet)或移动神经网络(mobile neural network，MobileNet)等中的卷积部分。若考虑特征提取的效率和精确度，本申请实施例中的全卷积网络可以采用轻量化的网络MobileNet-v2(一种轻量化卷积神经网络)中的卷积部分。MobileNet-v2运用了深度可分离卷积层代替了普通的卷积层。

假设上述m个图像中每个图像的尺寸为(W，H)，W和H均可以为大于或等于1的整数，采用全卷积网络提取得到的该图像的初始特征的尺寸可以为[W/32，H/32，512](其中的两个32和一个512均可以由工作人员设置，也可以换成其他值)。示例地，W表示图像的宽(可以看做是图像中像素的列数)，H表示图像的高(可以看做是图像中像素的行数)。可以看出，本申请中并未对m个图像的尺寸进行限制，也并未对图像进行裁剪、缩放以及拼接，所以减少了特征的遗失，并避免了冗余计算。

步骤302、对每个图像的初始特征分别进行p种压缩比例的压缩处理，得到与p种压缩比例一一对应的每个图像的p个压缩特征，压缩特征的特征数量小于或等于初始特征的特征数量，p≥2。

在得到m个图像中每个图像的初始特征后，图像质量评价模型可以对每个图像的初始特征分别进行p种压缩比例的压缩处理，得到该图像的p个压缩特征。其中，图像质量评价模型在对初始特征进行一种压缩比例的压缩处理后，该初始特征的尺寸中的第三个维度会被压缩。比如，假设对尺寸为[W/32，H/32，512]的初始特征进行压缩比例为1/1的压缩处理，得到的压缩特征的尺寸为[W/32，H/32，512/1]＝[W/32，H/32，512]。假设对尺寸为[W/32，H/32，512]的初始特征进行压缩比例为1/4的压缩处理，得到的压缩特征的尺寸为[W/32，H/32，512/4]＝[W/32，H/32，128]。假设对尺寸为[W/32，H/32，512]的初始特征进行压缩比例为1/16的压缩处理，得到的压缩特征的尺寸为[W/32，H/32，512/16]＝[W/32，H/32，32]。本申请实施例中以该p种压缩比例分别为1/1、1/4以及1/16为例。

示例地，图像质量评价模型可以包括与p种压缩比例一一对应的p个压缩模块，每个压缩模块用于对上述每个图像的初始特征进行该压缩模块对应的压缩比例的压缩处理。

需要说明的是，步骤301到步骤302可以看做是：提取m个图像中每个图像的第一特征，其中，每个图像的第一特征包括步骤302中得到的该每个图像的p个压缩特征。

步骤303、对每个图像的p个压缩特征分别进行n种池化处理，得到每个图像的n组池化特征，其中，n组池化特征中每组池化特征包括：采用压缩特征对应的压缩比例所对应的卷积核，对每个图像的每个压缩特征进行一种池化处理后得到的池化特征，p种压缩比例与对应的卷积核的尺寸比例负相关。

在得到每个图像的p个压缩特征后，图像质量评价模型可以采用第i种压缩比例对应的卷积核，对每个图像的该第i种压缩比例对应的压缩特征分别进行n种池化处理，得到第i种压缩比例对应的压缩特征在每种池化处理后得到的池化特征。1≤i≤p。

p种压缩比例与对应的卷积核的尺寸比例负相关。比如，压缩比例越大，则压缩比例对应的卷积核越小。示例地，压缩比例对应的卷积核的尺寸可以等于压缩比例的倒数的正二次方根*该正二次方根。比如，当压缩比例为1/1时，压缩比例对应的卷积核的尺寸为1*1；当压缩比例为1/4时，压缩比例对应的卷积核的尺寸为2*2；当压缩比例为1/16时，压缩比例对应的卷积核的尺寸为4*4。

在对每个图像的池化特征的尺寸可以与该图像的初始特征的尺寸的第三维值相同。比如，本申请实施例中若每个图像的初始特征为[W/32，H/32，512]，则该图像的每个池化特征的尺寸均为512(该池化特征为一维特征)。

对于上述m个图像中的每个图像，图像质量评价模型在对该图像的p个压缩特征分别进行n种池化处理后，能够得到n组池化特征，每组池化特征包括：采用压缩特征对应的压缩比例所对应的卷积核，对该图像的每个压缩特征进行一种池化处理后得到的池化特征。示例地，图像质量评价模型可以包括与n种池化处理一一对应的n个池化模块，每个池化模块用于对每个图像的p个压缩特征进行该池化模块对应的池化处理，以得到上述n组池化特征中的一组池化特征。其中，每个池化模块可以包括与p个压缩特征一一对应的p个池化子模块，每个池化子模块用于对对应的压缩特征进行池化处理，以得到一个池化特征。

步骤304、采用第一全连接层对每个图像的每个池化特征进行处理，得到该每个池化特征的相关特征；其中，每个池化特征的特征数量小于每个池化特征的相关特征的特征数量。

在得到每个图像的每个池化特征后，还可以采用第一全连接层对每个图像的每个池化特征进行处理，得到该每个图像的每个池化特征的相关特征。

每个池化特征的尺寸可以大于该池化特征的相关特征的尺寸，这样一来，在经过步骤304后，就实现了将池化特征简化，以便于降低后续计算的复杂度。示例地，假设上述池化特征为尺寸为512的一维特征，则该池化特征的相关特征可以为尺寸为64(或者其他数值如78等)的一维特征。当然，每个池化特征的尺寸也可以小于或等于该池化特征的相关特征的尺寸，本申请实施例对此不作限定。

步骤305、基于每个图像的每组池化特征的相关特征，得到每个图像的每组池化特征的组合特征。

在得到每个图像的每个池化特征的相关特征后，图像质量评价模型可以基于每个图像的每组池化特征的相关特征(共p个)，得到该图像的每组池化特征的组合特征。在步骤305之后，图像质量评价模型能够得到每个图像的n组池化特征的n个组合特征。

示例地，图像质量评价模块可以将每组池化特征的相关特征进行拼接，以得到该组池化特征的组合特征。例如，假设一组池化特征的相关特征包括：三个尺寸为64的一维特征，则该一组池化特征的组合特征的尺寸可以为64*3＝192，且该组合特征也可以为一维特征。当然，图像质量评价模块也可以采用其他的方式对该每组池化特征的相关特征进行处理，得到上述组合特征，本申请实施例对此不作限定。

图像质量评价模块可以包括与上述n个池化模块一一对应的n个组合模块，每个组合模块用于对对应的池化模块输出的一组池化特征的相关特征进行组合，得到该组池化特征的相关特征。

步骤306、对每个图像的n组池化特征的n个组合特征进行线性池化处理，得到每个图像的第二特征。

在得到每个图像的n个组合特征后，图像质量评价模型可以采用线性池化处理方式，得到该图像的第二特征。示例地，该图像的第二特征Fx＝F1*W*F2，其中，F1和F2表示每个图像的两个组合特征，W表示常数。示例地，W可以为三维特征，且W的一维尺寸和三维尺寸均等于F1或F2的尺寸，W的二维尺寸等于任意常数(如也等于上述F1或F2的尺寸)。假设n等于2，每个图像的两个组合特征均为尺寸为192的一维特征，若W的二维尺寸等于上述F1或F2的尺寸，则Fx也为一维特征，且尺寸与上述组合特征的尺寸相同。

通过该线性池化处理，能够将每个图像的n个组合特征简化为一维的第二特征，便于后续的计算。并且，在步骤306后，图像质量评价模型共能够得到m个图像的第二特征。图像质量评价模块可以包括一个线性处理模块，该线性处理模块用于对各个组合模块输出的相关特征进行处理，以得到m个图像中每个图像的第二特征。

在得到m个图像的第二特征后，便可以基于该m个图像的第二特征，采用以下步骤307至步骤309的方法，对m个图像进行进一步的处理，以得到图像集合(如上述视频)的质量参数。

步骤307、采用q种采集频率分别在m个图像中采集图像，得到q种采集频率一一对应的q组图像，q≥2。

示例地，采用q种采集频率中的最快采集频率对m个图像进行采集后，得到的图像可以为该m个图像的全部或部分。本申请实施例以采用q种采集频率中的最快采集频率对m个图像进行采集后，得到的图像可以为该m个图像的全部为例。

另外，本申请实施例中以q＝3，且q组图像中图像的个数分别为8、4和2为例。可选地，q也可以不等于3，且q组图像中图像的个数也可以为其他数值(如16、64或128等)，本申请实施例对此不作限定。

假设m个图像属于的视频的帧率为30fps(每秒传输帧数)，则上述q种采集频率可以包括：6fps(相当于一秒采集6帧)、3fps(相当于一秒采集3帧)和1.5fps(相当于一秒采集1.5帧)。显然，该q种采集频率也可以为其他数值，本申请实施例对此不做限定。

需要说明的是，上述q组图像中的任意两组图像不同，但该任意两组图像可以存在交集，比如，其中一组图像包括另一组图像的全部或部分。该图像质量评价模型可以包括用于执行步骤307的采集模块。

步骤308、采用循环卷积层对q组图像中每组图像的第二特征进行处理，得到每组图像的时域特征。

在得到m个图像的第二特征，并在m个图像中采集到q组图像后，图像质量评价模型可以采用循环卷积层分别对q组图像的第二特征进行处理，得到每组图像的时域特征。

示例地，该图像质量评价模型可以包括q个循环卷积模块，且q个循环卷积模块与q组图像一一对应，每个循环卷积模块用于对对应的一组图像进行循环卷积处理，以得到该组图像的时域特征。该循环卷积模块可以为任一种循环卷积模块，本申请实施例中以该循环卷积模块为门控循环单元(gated recurrent unit，GRU)为例，该循环卷积模块也可以为长短期记忆人工神经网络(long short-term memory，LSTM)等。

本申请实施例中，在对每组图像的第二特征进行循环卷积处理后，能够得到该组图像的时域特征，在对多组图像的第二特征进行循环卷积处理后，能够得到多组图像的时域特征。并且，该多组图像的时域特征能够体现m个图像在时域上的特征，之后，基于这些时域特征，更能够准确的对m个图像的质量进行评价。

步骤309、基于q组图像的时域特征，输出图像集合的质量参数。

在得到q组图像的时域特征后，图像质量评价模型可以采用第二全连接层对每组图像的时域特征进行处理，以得到每组图像的时域特征的相关特征。之后，图像质量评价模型可以基于q组图像的时域特征的相关特征，输出图像集合的质量参数(如采用逻辑回归激化函数对q组图像的时域特征的相关特征进行处理，以得到图像集合的质量参数)。示例地，图像集合的质量参数可以等于q组图像的时域特征的相关特征的平均值、加权平均值或方差等，本申请实施例对此不作限定。

示例地，该图像质量评价模型可以包括上述第二全连接层，以及用于对每组图像的时域特征进行处理，以得到每组图像的时域特征的相关特征的输出模块。

需要说明的是，视频与图片的不同之处在于视频内容中存在时域信息。例如，速度较慢的运动物体由于运动使得该物体变得更加吸引注意力，导致物体区域在整个视频质量评估中占据更大的权重；对于高速运动的区域，由于运动模糊的掩盖效应，人眼可能对该区域的失真感受变得更加不明显，那么该区域在质量评估中的权重占比反而会变得更低。相关技术中对视频的质量评价通常没有考虑到时域信息的影响。为了能够有效地融合时域信息，本申请实施例采用多个循环卷积模块分别对多组图像的第二特征进行处理，以输出与时域信息相关的质量参数，从而提高了图像质量评价的准确度。

以下将结合图4，对图3所示的实施例进行简单讲解。

如图4所示，图像质量评价模型在被输入m个图像后，图像质量评价模型中的第一模块可以采用步骤301至步骤306的方法对每个图像进行处理，以得到每个图像的第二特征。需要说明的是，图像质量评价模型可以包括一个或多个第一模块，且该一个或多个第一模块可以对该m个图像进行处理，以得到m个图像的第二特征，本申请实施例中以图像质量评价模型包括一个第一模块为例，且该一个第一模块需要对每个图像进行处理以得到每个图像的第二特征。其中，如图5所示，图4中的第一模块可以包括上述全卷积网络、p个压缩模块、n个池化模块、第一全连接层、n个组合模块以及线性处理模块。每个池化模块可以包括与p个压缩特征一一对应的p个池化子模块。图5中以n＝2，且p＝3为例。

请继续参考图4，该图像质量评价模型在得到m个图像的第二特征后，图像质量评价模型中的第二模块采用上述步骤307至步骤309中的方法，基于m个图像的第二特征，输出上述质量参数。示例地，该第二模块可以包括：上述采集模块、q个循环卷积模块、第二全连接层以及输出模块。

示例地，在通过图像质量评价模型对图像质量进行评价之前，需要对初始模型进行训练，以得到上述图像质量评价模型。可选地，为了简化训练的难度，本申请实施例中采用逐级训练的方式对初始模型进行训练。其中，逐级训练是指：对该初始模型进行多阶段的训练，以逐步将初始模型训练成上述图像质量评价模型。比如，先将初始模型分成多组模块，然后，可以有针对性地依次对该多组模块进行训练，在每对一组模块进行训练后，该组模块可以变成待训练得到的图像质量评价模型中的一组模块。在对多组模块均训练完毕后，便可以得到该图像质量评价模型。又比如，先将初始模型中的参数分成多组参数，然后，可以有针对性地依次对该多组参数进行训练，在对多组参数均训练完毕后，便可以得到该图像质量评价模型。

示例地，对图像质量评价模型进行训练的过程可以包括以下三步：

第一步、使用公开数据集对初始模型进行第一步训练，该公开数据集可以为LIVE(一种数据集)、TID2013(一种数据集)和CSIQ(一种数据集)。示例地，该公开数据集可以包括：多个图像，以及每个图像预先标注的质量参数。在对初始模型进行训练的过程中，初始模型可以基于该多个图像中的每个图像，输出该图像在[0,1]区间内的质量参数，之后基于该质量参数以及该图像预先标注的质量参数，对初始模型中的参数进行训练调整。这样我们可以得到对图像质量比较敏感的上述第一模块。其中，第一步训练的损失函数为L＝sum|mos-y|，其中，mos表示图像预先标注的质量参数，y表示初始模型输出的该图像的质量参数，sum|mos-y|表示所有输入的图像的|mos-y|之和。在对初始模型进行训练的过程中，可以使用适应性矩估计(adaptive moment estimation，Adam)训练方法进行训练。

第二步、从训练视频中随机抽取一段视频帧数为64或128的截取片段作为训练输入。该训练视频可以为约1000组经过人工标注其质量参数的短视频，并且标注的质量参数可以包括位于[0,1]的区间内的四种不同的质量参数。采用该训练输入对上述初始模型进行进一步训练后，可以得到在短视频的应用场景下，对上述第一模块中的各个模块进行了调优。

第三步、采用与第二步相同的训练输入，对初始模块进行进一步训练，以得到上述第二模块。需要说明的是，在第三步中，需要将第一模块的参数固定(也即在第三步中对第一模块不做进一步调优)，从而降低第二模块的训练难度。

综上所述，本申请实施例提供的图像显示控制方法中，在将m个图像输入图像质量评价模型后，该图像质量评价模型能够对每个图像的第一特征进行多种池化处理，以得到与图像的多维度特征相关的第二特征。之后，再基于m个图像的第二特征输出的图像集合的质量参数的准确度较高，基于该质量参数能够有效地控制显示装置显示m个图像。并且，该图像显示控制方法能够自动对图像的质量进行评判，因此，无需人工对图像质量进行评判，使得对图像质量的评价效率较高，且人力成本较低。

并且，图像质量评价模型能够直接对图像进行分析以输出质量参数，而无需借助参考图像，因此，图像质量评价模型是一种无参考的图像质量评价模型。

另外，上述实施例中以步骤301至步骤309均需要执行为例，可选地，也可以不执行上述步骤307至步骤309。并且，当m＝1时，在步骤306之后，可以采用第二全连接层对图像的第二特征进行处理，以得到图像的第二特征的相关特征；之后，再基于图像的第二特征的相关特征，输出图像的质量参数(如采用逻辑回归激化函数对图像的第二特征的相关特征进行处理，以得到图像的质量参数)。当m大于1时，在步骤306之后，可以采用同样的方法得到m个图像中每个图像的质量参数，之后，再基于m个图像中每个图像的质量参数，输出图像集合的质量参数。

以上介绍了本申请实施例提供的图像显示控制方法，以下将对该方法对应的装置进行简单介绍。图6为本申请实施例提供的一种图像显示控制装置的结构示意图，如图6所示，该图像显示控制装置包括：

获取模块601，用于获取图像集合中的m个图像，m≥1；

输入模块602，用于将m个图像输入图像质量评价模型，由图像质量评价模型提取m个图像中每个图像的第一特征，对每个图像的第一特征进行n种池化处理得到每个图像的第二特征，基于m个图像的第二特征输出图像集合的质量参数，n≥2；

控制模块603，用于基于图像集合的质量参数，控制显示装置对图像集合进行显示。

综上所述，本申请实施例提供的图像显示控制装置中，在输入模块将m个图像输入图像质量评价模型后，该图像质量评价模型能够对每个图像的第一特征进行多种池化处理，以得到与图像的多维度特征相关的第二特征。之后，控制模块再基于m个图像的第二特征输出的图像集合的质量参数的准确度较高，基于该质量参数能够有效地控制显示装置显示m个图像。并且，该图像显示控制方法能够自动对图像的质量进行评判，因此，无需人工对图像质量进行评判，使得对图像质量的评价效率较高，且人力成本较低。

以下将基于图像质量评价模型中的各种功能将图像质量评价模型划分为多个模块，该多个模块与上述方法实施例中提到的模块可以相同也可以不同，本申请实施例对此不作限定。

示例地，如图7所示，图像质量评价模型可以包括：

提取模块701，用于提取m个图像中每个图像的第一特征；

池化模块702，用于对每个图像的第一特征进行n种池化处理得到每个图像的第二特征；

输出模块703，用于基于m个图像的第二特征输出图像集合的质量参数。

可选地，提取模块701用于：

提取每个图像的初始特征；

对每个图像的初始特征分别进行p种压缩比例的压缩处理，得到与p种压缩比例一一对应的每个图像的p个压缩特征，压缩特征的特征数量小于或等于初始特征的特征数量，每个图像的第一特征包括每个图像的p个压缩特征，p≥2；

池化模块702用于：对每个图像的p个压缩特征分别进行n种池化处理，得到每个图像的n组池化特征，其中，n组池化特征中每组池化特征包括：采用压缩特征对应的压缩比例所对应的卷积核，对每个图像的每个压缩特征进行一种池化处理后得到的池化特征，p种压缩比例与对应的卷积核的尺寸比例负相关；

基于每个图像的n组池化特征，得到每个图像的第二特征。

可选地，池化模块702用于：

基于每个图像的n组池化特征中的每组池化特征，得到每组池化特征的组合特征；

对每个图像的n组池化特征的n个组合特征进行线性池化处理，得到每个图像的第二特征。

可选地，池化模块702用于：

采用第一全连接层对每个图像的每个池化特征进行处理，得到每个池化特征的相关特征；

基于每个图像的每组池化特征的相关特征，得到每个图像的每组池化特征的组合特征；

其中，每个池化特征的特征数量小于每个池化特征的相关特征的特征数量。

可选地，提取模块701用于：

采用包括深度可分离卷积层的全卷积网络对每个图像进行特征提取，得到每个图像的初始特征。

可选地，m≥2，输出模块703用于：

采用q种采集频率分别在m个图像中采集图像，得到q种采集频率一一对应的q组图像，q≥2；

采用循环卷积层对q组图像中每组图像的第二特征进行处理，得到每组图像的时域特征；

基于q组图像的时域特征，输出图像集合的质量参数。

可选地，请继续参考图6，该图像显示控制装置还包括：

训练模块604，用于对初始模型进行训练，得到图像质量评价模型。

可选地，训练模块604用于采用逐级训练的方式对初始模型进行训练。

综上所述，本申请实施例提供的图像显示控制装置中，在输入模块将m个图像输入图像质量评价模型后，该图像质量评价模型能够对每个图像的第一特征进行多种池化处理，以得到与图像的多维度特征相关的第二特征。之后，控制模块再基于m个图像的第二特征输出的图像集合的质量参数的准确度较高，基于该质量参数能够有效地控制显示装置显示m个图像。并且，该图像显示控制方法能够自动对图像的质量进行评判，因此，无需人工对图像质量进行评判，使得对图像质量的评价效率较高，且人力成本较低。

图8为本申请一个示例性实施例提供的图像显示控制装置900的结构框图。该图像显示控制装置900可以是：智能手机、平板电脑、MP3播放器(moving picture expertsgroup audio layer III，动态影像专家压缩标准音频层面3)、MP4(moving pictureexperts group audio layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。图像显示控制装置900还可能被称为用户设备、便携式图像显示控制装置、膝上型图像显示控制装置、台式图像显示控制装置等其他名称。

通常，图像显示控制装置900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(digital signal processing，数字信号处理)、FPGA(field－programmable gate array，现场可编程门阵列)、PLA(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(central processingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(graphics processing unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(artificial intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的图像显示控制方法。

在一些实施例中，图像显示控制装置900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。

外围设备接口903可被用于将I/O(input/output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(radio frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它图像显示控制装置进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(near field communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(user interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置图像显示控制装置900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在图像显示控制装置900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在图像显示控制装置900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(liquid crystal display，液晶显示屏)、OLED(organiclight-emitting diode,有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在图像显示控制装置的前面板，后置摄像头设置在图像显示控制装置的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在图像显示控制装置900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位图像显示控制装置900的当前地理位置，以实现导航或LBS(location based service，基于位置的服务)。定位组件908可以是基于美国的GPS(globalpositioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源909用于为图像显示控制装置900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，图像显示控制装置900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。

加速度传感器911可以检测以图像显示控制装置900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测图像显示控制装置900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对图像显示控制装置900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在图像显示控制装置900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在图像显示控制装置900的侧边框时，可以检测用户对图像显示控制装置900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置图像显示控制装置900的正面、背面或侧面。当图像显示控制装置900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在图像显示控制装置900的前面板。接近传感器916用于采集用户与图像显示控制装置900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与图像显示控制装置900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与图像显示控制装置900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图8中示出的结构并不构成对图像显示控制装置900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由处理器加载并执行以实现本申请实施例提供的图像显示控制方法。

本申请中，“至少一个”指的是一个或多个，“多个”指的是两个或两个以上。在本公开中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

需要说明的是，本发明实施例提供的方法实施例能够与相应的装置实施例相互参考，本发明实施例对此不做限定。本发明实施例提供的方法实施例步骤的先后顺序能够进行适当调整，步骤也能够根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种图像显示控制方法，其特征在于，所述方法包括：

获取图像集合中的m个图像，m≥1；

将所述m个图像输入图像质量评价模型，由所述图像质量评价模型提取所述m个图像中每个图像的第一特征，对所述每个图像的第一特征进行n种池化处理得到所述每个图像的第二特征，基于所述m个图像的第二特征输出所述图像集合的质量参数，n≥2；

基于所述图像集合的质量参数，控制显示装置对所述图像集合进行显示；

所述提取所述m个图像中每个图像的第一特征，包括：

提取所述每个图像的初始特征；

对所述每个图像的初始特征分别进行p种压缩比例的压缩处理，得到与所述p种压缩比例一一对应的所述每个图像的p个压缩特征，所述压缩特征的特征数量小于或等于所述初始特征的特征数量，所述每个图像的第一特征包括所述每个图像的p个压缩特征，p≥2；

所述对所述每个图像的第一特征进行n种池化处理得到所述每个图像的第二特征，包括：

对所述每个图像的p个压缩特征分别进行n种池化处理，得到所述每个图像的n组池化特征，其中，所述n组池化特征中每组池化特征包括：采用压缩特征对应的压缩比例所对应的卷积核，对所述每个图像的每个所述压缩特征进行一种池化处理后得到的池化特征，所述p种压缩比例与对应的卷积核的尺寸比例负相关；

基于所述每个图像的所述n组池化特征，得到所述每个图像的第二特征。

2.根据权利要求1所述的方法，其特征在于，所述基于所述每个图像的所述n组池化特征，得到所述每个图像的第二特征，包括：

基于所述每个图像的所述n组池化特征中的每组池化特征，得到所述每组池化特征的组合特征；

对所述每个图像的n组池化特征的n个组合特征进行线性池化处理，得到所述每个图像的第二特征。

3.根据权利要求2所述的方法，其特征在于，基于所述每个图像的所述n组池化特征中的每组池化特征，得到所述每组池化特征的组合特征，包括：

采用第一全连接层对所述每个图像的每个池化特征进行处理，得到所述每个池化特征的相关特征；

基于所述每个图像的所述每组池化特征的相关特征，得到所述每个图像的所述每组池化特征的组合特征；

其中，所述每个池化特征的特征数量小于所述每个池化特征的相关特征的特征数量。

4.根据权利要求3所述的方法，其特征在于，所述提取所述每个图像的初始特征，包括：

采用包括深度可分离卷积层的全卷积网络对所述每个图像进行特征提取，得到所述每个图像的所述初始特征。

5.根据权利要求1至4任一所述的方法，其特征在于，m≥2，所述基于所述m个图像的第二特征输出所述图像集合的质量参数，包括：

采用q种采集频率分别在所述m个图像中采集图像，得到所述q种采集频率一一对应的q组图像，q≥2；

采用循环卷积层对所述q组图像中每组图像的第二特征进行处理，得到所述每组图像的时域特征；

基于所述q组图像的时域特征，输出所述图像集合的质量参数。

6.根据权利要求1至4任一所述的方法，其特征在于，在所述获取图像集合中的m个图像之前，所述方法还包括：

对初始模型进行训练，得到所述图像质量评价模型。

7.根据权利要求6所述的方法，其特征在于，所述对初始模型进行训练，包括：

采用逐级训练的方式对所述初始模型进行训练。

8.一种图像显示控制装置，其特征在于，所述图像显示控制装置包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的图像显示控制方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至7任一所述的图像显示控制方法。

Images