CN111768377A - 图像色彩评估方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了图像色彩美观度评估方法、装置、电子设备及存储介质，涉及人工智能、深度学习、图像处理领域。具体实现方案为：获取视频流数据；对所述视频流数据进行视频帧采样操作，得到至少一帧采样图像；对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果；将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果。采用本申请实施例，可以提高色彩美观度评估结果的准确性。

Description

图像色彩评估方法、装置、电子设备及存储介质

技术领域

本申请涉及信息处理领域。本申请尤其涉及人工智能、深度学习、图像处理领域、可应用于与视频信息相关的视频采集、视频搜索、视频推荐、视频显示等领域。

背景技术

用户感知外界信息的方式有多种多样，用户之间传播信息的方式也有多种多样，比如，可以感知或传播图文信息、视频信息等。便携设备、手机终端等电子设备相比以往更加智能化，芯片的解析能力更强，尤其对视频信息的解析、画面渲染等比以往更快、更清晰，使得用户感知或彼此传播信息的用户习惯已经从图文信息向视频信息转移。

视频色彩美观度是视频质量评估的重要因素之一，视频色彩美观度的好坏，直接影响视频质量的好坏，然而，相关技术中，对视频色彩美观度，更多依赖人工评估，从而影响到最终色彩美观度评估结果的准确性。

发明内容

本申请提供了一种图像色彩美观度评估方法、装置、电子设备及存储介质。

根据本申请的一方面，提供了一种图像色彩美观度评估方法，包括：

获取视频流数据；

对所述视频流数据进行视频帧采样操作，得到至少一帧采样图像；

对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果；

将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果。

根据本申请的另一方面，提供了一种图像色彩美观度评估装置，包括：

数据获取模块，用于获取视频流数据；

采样模块，用于对所述视频流数据进行视频帧采样操作，得到至少一帧采样图像；

统计模块，用于对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果；

评估模块，用于将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任意一实施例所提供的方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。

采用本申请实施例，可以获取视频流数据，对所述视频流数据进行视频帧采样操作，以得到至少一帧采样图像。对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果，将所述统计结果输入预先训练得到的图像处理网络，相比依赖于人工评估所得到的针对所述视频流数据的色彩美观度评估结果更为准确，从而提高了色彩美观度评估结果的准确性。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是应用于本申请实施例的一视频信息交互的硬件实体示意图；

图2是根据本申请实施例的图像色彩美观度评估方法的流程示意图；

图3是根据本申请实施例的图像色彩美观度评估方法的流程示意图；

图4-图6是根据本申请实施例的不同视频的视频对数色彩频率统计图；

图7是根据本申请实施例的图像色彩美观度评估装置的组成结构示意图；

图8是用来实现本申请实施例的图像色彩美观度评估方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

图1是应用于本申请实施例的一视频信息交互的硬件实体示意图，图1中包括：流媒体服务器11(如由多个服务器构成的服务器集群)、各终端(终端21-终端26)，比如台式机，PC机，手机，一体机等类型，及各硬件实体之间彼此分享的视频信息31-视频信息33。其中，各终端可以通过有线网络或者无线网络与流媒体服务器11进行视频信息交互。视频信息31-视频信息33可以通过各终端进行视频采集得到，也可以通过网络从流媒体服务器11的视频数据库得到，视频信息31-视频信息33还可以提供给视频搜索、视频推荐、视频显示等场景使用。

上述图1的例子只是实现本申请实施例的一个系统架构实例，本申请实施例并不限于上述图1所述的系统结构，基于该系统架构，提出本申请各个实施例。

针对视频信息而言，视频色彩美观度指的是人类对于观看视频感受到主观色彩好看程度。评估视频色彩美观度是精细化评估视频清晰度和视频美观度的基础，对于终端厂商(如手机终端厂商)、设置于终端侧的视频采集软件、视频搜索、视频推荐、视频显示等各个方面，针对视频色彩美观度进行评估的方法具有重要意义，可以基于视频色彩美观度的评估，使得上述各个方面在实际应用可以满足用户主观感觉层面上对高质量、高清晰度视频数据流的设计要求，从而吸引用户眼球，有助于视频信息的交互传播，提高了传播转化率。

针对视频色彩美观度进行评估的方法，更多依赖人工评估，比如，采用取值范围内的得分进行视频色彩美观度的评估，该取值范围可以为0-10分的取值，其中，0分为色彩不好看的视频或者没有色彩的黑白视频，10分为色彩自然丰富生动的视频，对于任意视频打分落在0-10分之前，数值越大，代表视频的色彩度越好。可这种依赖人工评估的主观打分，并不精确，从而影响到最终视频色彩美观度评估结果的准确性。而且，视频的色彩美观度也不能简单地用所有视频帧的图像色彩美观度这种相关算法进行平均，要考虑到整个视频带给人的整体感受，而相关技术采用算法平均，并不能反映人类对于整个视频的主观感受。

根据本申请的实施例，提供了一种图像色彩美观度评估方法，图2是根据本申请实施例的图像色彩美观度评估方法的流程示意图，该方法可以应用于图像色彩美观度评估装置，例如，该装置可以部署于终端或服务器或其它处理设备执行的情况下，可以执行视频帧提取、曝光质量统计、曝光质量评估等等。其中，终端可以为用户设备(UE，UserEquipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA，Personal DigitalAssistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

如图2所示，包括：

S101、获取视频流数据。

一示例中，视频流数据可以为用户自制的各短视频，各视频播放平台提供的电影、电视剧、综艺节目等。

S102、对所述视频流数据进行视频帧采样操作，得到至少一帧采样图像。

一示例中，可以基于等时间间隔的采样方式对视频流数据进行视频帧采样操作，得到所述至少一帧采样图像。比如，可以固定采样N帧(N为帧数，至少为一帧)，N可以固定取32，则对应N帧，可以固定取32个采样图像。

S103、对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果。

一示例中，色彩美观度指标可以是对应颜色参数的频率指标，其中，颜色参数可以为颜色分量，频率指标可以为对应颜色分量的色彩频率值。

一示例中，统计结果可以为对上述频率指标进行对数运算后拼接至少一帧图像得到的视频对数色彩频率统计图。

S104、将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果。

一示例中，图像处理网络的网络类型可以为回归神经网络，本申请实施例不限于该网络类型，只要能实现本申请实施例图像质量评估的神经网络都在本申请实施例的保护范围之内。

一示例中，在预先训练该图像处理网络的训练过程中，可以采用评估色彩美观度的数据标注及统计结果(如上述视频对数色彩频率统计图)作为样本数据来训练该图像处理网络，训练后图像处理网络输出曝光质量评估结果。应用该训练后图像处理网络的情况下，输入统计结果(如上述视频对数色彩频率统计图)至训练后图像处理网络，可直接得到所需的色彩美观度评估结果(如色彩美观度的评分)。

采用本申请实施例，可以获取视频流数据，对所述视频流数据进行视频帧采样操作，以得到至少一帧采样图像。对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果，将所述统计结果输入预先训练得到的图像处理网络，相比依赖于人工评估所得到的针对所述视频流数据的色彩美观度评估结果更为准确，从而提高了色彩美观度评估结果的准确性。

在一种实施方式中，所述图像处理网络包括：图像特征提取网络、和/或视频特征提取网络。一示例中，图像处理网络包括图像特征提取网络和视频特征提取网络的情况下，将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果，包括如下内容：

一、将所述统计结果输入所述图像特征提取网络，得到对应所述统计结果的图像特征。

二、将所述至少一帧采样图像输入所述视频特征提取网络，得到对应所述至少一帧采样图像的视频特征。

三、将对应所述统计结果的图像特征、及对应所述至少一帧采样图像的视频特征进行拼接处理，得到拼接结果，该拼接结果为结合图像特征及视频特征的拼接处理结果。其中，图像特征为二维的，用于表征图像本身的特征；视频特征为三维的，除了用于表征采样图像本身的特征，还携带了时序特征，即哪个时间位置对应于该采样图像。

四、根据所述拼接结果，得到针对所述视频流数据的色彩美观度评估结果。

采用本实施方式，通过图像特征提取网络及视频特征提取网络可以分别得到图像特征及视频特征，可以结合图像特征及视频特征，以得到结合图像特征及视频特征的拼接处理结果，图像特征是静态的，视频特征还包括了时序特征，是动态的，这样一来，不仅可以分析每帧采样图像之间自身特征的相关性，还可以分析每帧采样图像之间在时序上的相关性，从而，根据该拼接结果，相比单一采用图像特征进行分析，可以得到针对视频流数据更为准确的色彩美观度评估结果。

在一种实施方式中，对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果，包括：对所述至少一帧采样图像中的每帧图像分别进行颜色特征提取，得到颜色参数(包括但不限于限定是颜色分量)，根据颜色参数，统计得到对应颜色参数的频率指标(包括但不限于色彩频率)，将所述频率指标作为所述色彩美观度指标。根据所述频率指标，得到所述统计结果。

采用本申请实施例，考虑到色彩美观度与颜色有关，可以通过对所述至少一帧采样图像中的每帧图像分别进行颜色特征提取，以得到颜色参数，可以将由颜色参数得到的颜色出现在每帧图像中的频率指标作为色彩美观度指标，从而根据该频率指标得到更为精确的统计结果。

根据本申请的实施例，提供了一种图像色彩美观度评估方法，图3是根据本申请实施例的图像色彩美观度评估方法的流程示意图，如图3所示，包括：

S201、获取视频流数据。

一示例中，视频流数据可以为用户自制的各短视频，各视频播放平台提供的电影、电视剧、综艺节目等。

S202、对所述视频流数据进行视频帧采样操作，得到至少一帧采样图像。

一示例中，可以基于等时间间隔的采样方式对视频流数据进行视频帧采样操作，得到所述至少一帧采样图像。比如，可以固定采样N帧(N为帧数，至少为一帧)，N可以固定取32，则对应N帧，可以固定取32个采样图像。

S203、对所述至少一帧采样图像中的每帧图像分别进行颜色分量提取，得到针对每帧图像的各颜色分量。

S204、统计所述每帧图像的各颜色分量对应像素数量在该帧图像总像素数量的占比，得到对应各颜色分量的色彩频率值，将所述对应各颜色分量的色彩频率值作为所述色彩美观度指标。

S205、根据所述对应各颜色分量的色彩频率值进行所述至少一帧采样图像的拼接处理，得到色彩频率统计图。

可以将所述色彩频率统计图作为所述统计结果，通过上述S203-S205，可以对至少一帧图像进行色彩美观度指标的统计，从而得到该统计结果。

一示例中，针对S203而言，可以将每一帧采样图像在RGB模式下，分别提取出各个颜色的颜色分量，即RGB模式中对红(R)、绿(G)、蓝(B)的取值，RGB指一种标准的颜色模式，是通过对R、G、B三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。

一示例中，针对S204而言，统计所述每帧图像的各颜色分量对应像素数量在该帧图像总像素数量的占比，得到对应各颜色分量的色彩频率值，还可以进行对数运算，以得到对数频率值(如对数色彩频率向量)。具体的，对每个颜色的颜色分量，将颜色分量的取值范围0-255分为32个区间，可以分别统计每一帧各个区间内的像素的数量，并除以该帧的总像素数，作为该颜色分量值的频率f。然后进行对数运算，以得到对应的对数频率值：(ln(f+e)+b)/b，其中，f为颜色分量值的频率；参数e＝0.00001，参数b＝-ln(0.00001)，b可以为对数运算的最小值。32个区间可以分别得到32个对数频率值，之后进行拼接，以得到一个长度为32的对数色彩频率向量。3个颜色可得到3个向量，将3个向量拼接为一个32x3的对数色彩频率矩阵。

一示例中，针对S205而言，可以根据所述对应各颜色分量的色彩频率值进行所述至少一帧图像的拼接处理，得到色彩频率统计图。该过程可以包括：1)根据每帧图像对应各颜色分量的色彩频率值进行对应该帧图像的拼接处理(即，针对每帧图像的该色彩频率值进行该帧多个色彩频率值的拼接处理)，拼接得到针对每帧图像的对数色彩频率向量，根据对数色彩频率向量可以得到对数色彩频率矩阵；2)将针对每帧图像的对数色彩频率矩阵按顺序(比如时序顺序)进行拼接处理(即，针对每帧图像的该对数色彩频率矩阵进行多帧拼接)并拼接在一起，得到色彩频率统计图。也就是说，将对上述视频流数据(整个视频)执行视频帧采样操作后得到的多帧图像，针对每帧图像分别处理，得到针对每帧图像的对数色彩频率矩阵后再进行多帧图像按顺序拼接在一起，从而得到上述视频流数据的色彩频率统计图。

一示例中，图4-图6是根据本申请实施例的不同视频的视频对数色彩频率统计图，可以直观看出：如图4-图6所示的这三个视频，对比其视频对数色彩频率统计图，不同视频的色彩倾向完全不同，也就是说，通过视频对数色彩频率统计图可以反映视频的整体色彩倾向，从而，采用该视频对数色彩频率统计图为统计结果，有利于后续应用图像处理网络进行色彩美观度的评估，考虑到整个视频带给人的整体感受，更能反映人类对于整个视频的主观感受。

S206、将色彩频率统计图输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果。

采用本申请实施例，可以获取视频流数据，对所述视频流数据进行视频帧采样操作，以得到至少一帧采样图像。对所述至少一帧采样图像进行色彩美观度指标的统计，统计过程中，可以根据所述对应各颜色分量的色彩频率值，以及可以根据对数色彩频率向量得到对数色彩频率矩阵后，针对每帧图像的对数色彩频率矩阵进行所述至少一帧图像的拼接处理(即针对每帧的该对数色彩频率矩阵进行多帧拼接)，得到色彩频率统计图，并将所述色彩频率统计图输入预先训练得到的图像处理网络，相比依赖于人工评估，所得到的针对所述视频流数据的色彩美观度评估结果更为准确，从而提高了色彩美观度评估结果的准确性。

一实施方式中，还包括网络训练过程，针对该网络训练过程，可以将所述统计结果(如色彩频率统计图)作为第一样本数据，将所述至少一帧采样图像作为第二样本数据，分别或者共同训练第一图像处理网络，得到所述第一图像处理网络输出的用于色彩美观度评估的预测值。其中，为了区分训练前后的图像处理网络，本实施方式中，将第一图像处理网络指代“训练前的图像处理网络”，将图像处理网络自身指代“训练后的图像处理网络”

其中，第一样本数据和第二样本数据中还包括：用于色彩美观度评估的标注数据，可以根据所述标注数据及所述预测值得到损失函数，如平均绝对误差损失函数(L1-Loss)。根据所述损失函数的反向传播，对所述第一图像处理网络进行训练，直至网络收敛，从而网络训练结束，训练后得到所述图像处理网络。

应用示例：

应用本申请实施例一处理流程包括如下内容，且如下描述中的N指帧数，至少为一帧，N可以固定取32：

一、收集一批目标场景的视频数据，让标注人员进行标注，每个标注人员根据自己的主观判断给视频的色彩美观度进行打分。每个视频需要多个标注人员同时打分，每个视频的最终标注得分为多个标注人员的平均值，将其作为用于曝光质量评估的标注数据。

二、对整个视频等时间间隔采样N帧。

三、用采样的N帧提取视频对数色彩频率统计图，尺寸为Nx32x3。

四、将视频对数色彩频率统计图输入一个图像特征提取网络(网络类型可以是回归神经网络)，该图像特征提取网络用于图像特征提取，以得到图像特征。

五、将N帧图片一起输入一个视频特征提取网络(网络类型可以是回归神经网络)，该视频特征提取网络用于视频特征提取，以得到视频特征。

六、将图像特征和视频特征进行拼接，经过多个全连接层和激活层，得到最终的色彩美观度评估结果(如色彩美观度评分)。

七、可以将图像特征提取网络和视频特征提取网络整合部署为一个图像处理网络，根据图像处理网络输出的色彩美观度评估结果、及标注数据，优化图像处理网络的权重，直至网络收敛，结束网络训练。

其中，第一步和第七步仅用于训练，在应用该图像处理网络时仅需应用第二步-第六步。接下来具体描述第三步、第四步、第五步、第七步。

其中，图像特征提取网络一设计可以包括：设计图像特征提取网络的输入为：针对视频流数据的视频对数色彩频率统计图，输入视频帧(即采样图像)的尺寸可以为固定的Nx32x3。图像特征提取网络可以采用用于特征提取的主干(backbone)网络，则输入该视频帧到backbone网络以提取图像特征。

一示例中，backbone网络可以为任何一个图像分类网络，比如ResNet-50，视觉几何群网络(VGG，Visual Geometry Group Network)等。由于图像分类网络一般有多个输出，比如，有几个分类，就对应几个输出，而本示例只是为了提取特征，不涉及分类，因此，需要将backbone网络最后的分类全连接层去掉，则可以得到backbone网络的特例，只有一个输出的图像特征提取网络，之后，在该图像特征提取网络的后面，或者图像特征提取网络中还可以增加多个全连接层(用于对所提取的多个图像特征进行向量整合)和激活层(用于对整合得到的向量进行非线性处理)，最终得到维度为1的输出，并作为该视频流数据的色彩美观度评估结果。

进一步，为了得到更为准确的色彩美观度评估结果，除了图像特征提取网络，还可以加入视频特征提取网络，即可以将图像特征提取网络和视频特征提取网络整合部署为一个图像处理网络，根据图像处理网络输出的色彩美观度评估结果，并作为该视频流数据的色彩美观度评估结果。

其中，视频特征提取网络一设计可以包括：预处理过程，以得到固定尺寸的视频帧(即采样图像)，如若视频帧尺寸不统一，会增加网络训练的复杂度，降低网络训练的运算速度。预处理过程中，可以设计视频特征提取网络的输入为：视频帧，先将视频帧进行图像缩放(resize)并resize至视频帧的短边256，然后从视频帧的中间进行裁剪(crop)并crop出256x256大小的区域。由于视频帧总共有N帧，因此，预处理后可以得到输入视频特征提取网络的张量(tensor)，且tensor为Nx256x256x3。视频特征提取网络也可以采用用于特征提取的backbone网络，则输入该视频帧到backbone网络以提取视频特征。

一示例中，backbone网络可以为任何一个视频分类网络，比如I3D网络，I3D网络可以通过时间位移模拟的三维建模来达到效果和性能的平衡，以提高视频理解能力，多维度的解析视频帧。I3D网络之所以会有如此好的表现，是因为I3D网络具有很高的时间分辨率，可以捕获细粒度的时间动作，从而可以分析视频帧之间除了图像自身特性，还可以分析出视频帧之间时序上的相关性。

由于视频分类网络一般有多个输出，比如，有几个分类，就对应几个输出，而本示例只是为了提取特征，不涉及分类，因此，需要将backbone网络最后的分类全连接层去掉，则可以得到backbone网络的特例，只有一个输出的图像特征提取网络，之后，在该视频特征提取网络的后面，或者视频特征提取网络中还可以增加多个全连接层(用于对所提取的多个视频特征进行向量整合)和激活层(用于对整合得到的向量进行非线性处理)，最终得到维度为1的输出，并结合之前图像特征提取网络维度为1的输出，得到更为准确的色彩美观度评估结果。

对于图像特征提取网络、视频特征提取网络的训练，可以采用ImageNet图像分类的权重(即已有的用于图像分类的数据权重)对图像特征提取网络进行初始化，以及采用Kinetics视频分类的权重(即已有的用于视频分类的数据权重)对视频特征提取网络进行初始化。然后，对于图像特征提取网络、视频特征提取网络，皆可以采用L1-Loss进行训练以调整网络的权重。采用L1-Loss进行训练的训练方法可以采用任意的神经网络优化方法，比如自适应矩估计(Adam，adaptive moment estimation)等，只要是用于梯度优化的方法都在本申请的保护范围之内。

采用本应用示例，通过应用上述训练得到基于图像特征提取网络、视频特征提取网络变形的各网络类型或结构，可以直接得到色彩美观度评估结果，能准确且快速的得到所需的色彩美观度评估结果。需要指出的是：利用人类对视频数据的真实数据标注作为样本进行训练，使得基于图像特征提取网络、视频特征提取网络变形的各网络类型或结构输出结果更加接近人类的主观评价标准，更符合用户需求。

根据本申请的实施例，提供了一种图像色彩美观度评估装置，图7是根据本申请实施例的色彩美观度评估装置的组成结构示意图，如图7所示，包括：数据获取模块41，用于获取视频流数据；采样模块42，用于对所述视频流数据进行视频帧采样操作，得到至少一帧采样图像；统计模块43，用于对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果；评估模块44，用于将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果。

一实施方式中，采样模块42，还用于：基于等时间间隔的采样方式对所述视频流数据进行所述视频帧采样操作，得到所述至少一帧采样图像。

一实施方式中，所述图像处理网络包括：图像特征提取网络、和/或视频特征提取网络。

一实施方式中，评估模块43，包括：第一特征提取子模块，用于将所述统计结果输入所述图像特征提取网络，得到对应所述统计结果的图像特征；第二特征提取子模块，用于将所述至少一帧采样图像输入所述视频特征提取网络，得到对应所述至少一帧采样图像的视频特征；拼接子模块，用于将对应所述统计结果的图像特征、及对应所述至少一帧采样图像的视频特征进行拼接处理，得到拼接结果；评估处理子模块，用于根据所述拼接结果，得到针对所述视频流数据的色彩美观度评估结果。

一实施方式中，统计模块43，包括：第一提取子模块，用于对所述至少一帧采样图像中的每帧图像分别进行颜色特征提取，得到颜色参数；第一指标统计子模块，用于根据所述颜色参数，统计得到对应颜色参数的频率指标，将所述频率指标作为所述色彩美观度指标；第一指标处理子模块，用于根据所述色彩美观度指标，得到所述统计结果。

一实施方式中，统计模块43，包括：第二提取子模块，用于对所述至少一帧采样图像中的每帧图像分别进行颜色分量提取，得到针对每帧图像的各颜色分量；第二指标统计子模块，用于统计所述每帧图像的各颜色分量对应像素数量在该帧图像总像素数量的占比，得到对应各颜色分量的色彩频率值，将所述对应各颜色分量的色彩频率值作为所述色彩美观度指标；第二指标处理子模块，用于根据所述对应各颜色分量的色彩频率值进行所述至少一帧采样图像的拼接处理，得到色彩频率统计图，将所述色彩频率统计图作为所述统计结果。

一实施方式中，所述装置还包括训练模块，用于：将所述统计结果作为第一样本数据，将所述至少一帧采样图像作为第二样本数据，分别或者共同训练第一图像处理网络，得到所述第一图像处理网络输出的用于色彩美观度评估的预测值；所述第一样本数据和第二样本数据中还包括：用于色彩美观度评估的标注数据；根据所述标注数据及所述预测值得到损失函数；根据所述损失函数的反向传播，对所述第一图像处理网络进行训练，直至网络训练结束，训练后得到所述图像处理网络。

本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图8所示，是用来实现本申请实施例的图像色彩美观度评估方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像色彩美观度评估方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像色彩美观度评估方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像色彩美观度评估方法对应的程序指令/模块(例如，附图5所示的数据获取模块、采样模块42、统计模块43、评估模块44等模块)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像色彩美观度评估方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像色彩美观度评估方法的电子设备，还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

采用本申请实施例，可以获取视频流数据，对所述视频流数据进行视频帧采样操作，以得到至少一帧采样图像。对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果，将所述统计结果输入预先训练得到的图像处理网络，相比依赖于人工评估所得到的针对所述视频流数据的色彩美观度评估结果更为准确，从而提高了色彩美观度评估结果的准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种图像色彩美观度评估处理方法，所述方法包括：

获取视频流数据；

对所述视频流数据进行视频帧采样操作，得到至少一帧采样图像；

对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果；

将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果。

2.根据权利要求1所述的方法，其中，所述对所述视频流数据进行视频帧采样操作，得到至少一帧采样图像，包括：

基于等时间间隔的采样方式对所述视频流数据进行所述视频帧采样操作，得到所述至少一帧采样图像。

3.根据权利要求1或2所述的方法，其中，所述图像处理网络包括：图像特征提取网络、和/或视频特征提取网络。

4.根据权利要求3所述的方法，其中，所述将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果，包括：

将所述统计结果输入所述图像特征提取网络，得到对应所述统计结果的图像特征；

所述方法还包括：

将所述至少一帧采样图像输入所述视频特征提取网络，得到对应所述至少一帧采样图像的视频特征；

将对应所述统计结果的图像特征、及对应所述至少一帧采样图像的视频特征进行拼接处理，得到拼接结果；

根据所述拼接结果，得到针对所述视频流数据的色彩美观度评估结果。

5.根据权利要求1或2所述的方法，其中，所述对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果，包括：

对所述至少一帧采样图像中的每帧图像分别进行颜色特征提取，得到颜色参数；

根据所述颜色参数，统计得到对应颜色参数的频率指标，将所述频率指标作为所述色彩美观度指标；

根据所述色彩美观度指标，得到所述统计结果。

6.根据权利要求1或2所述的方法，其中，所述对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果，包括：

对所述至少一帧采样图像中的每帧图像分别进行颜色分量提取，得到针对每帧图像的各颜色分量；

统计所述每帧图像的各颜色分量对应像素数量在该帧图像总像素数量的占比，得到对应各颜色分量的色彩频率值，将所述对应各颜色分量的色彩频率值作为所述色彩美观度指标；

根据所述对应各颜色分量的色彩频率值进行所述至少一帧采样图像的拼接处理，得到色彩频率统计图，将所述色彩频率统计图作为所述统计结果。

7.根据权利要求1或2所述的方法，所述方法还包括：

将所述统计结果作为第一样本数据，将所述至少一帧采样图像作为第二样本数据，分别或者共同训练第一图像处理网络，得到所述第一图像处理网络输出的用于色彩美观度评估的预测值；

所述第一样本数据和第二样本数据中还包括：用于色彩美观度评估的标注数据；

根据所述标注数据及所述预测值得到损失函数；

根据所述损失函数的反向传播，对所述第一图像处理网络进行训练，直至网络训练结束，训练后得到所述图像处理网络。

8.一种图像色彩美观度评估装置，所述装置包括：

数据获取模块，用于获取视频流数据；

采样模块，用于对所述视频流数据进行视频帧采样操作，得到至少一帧采样图像；

统计模块，用于对所述至少一帧采样图像进行色彩美观度指标的统计，得到统计结果；

评估模块，用于将所述统计结果输入预先训练得到的图像处理网络，得到针对所述视频流数据的色彩美观度评估结果。

9.根据权利要求8所述的装置，其中，所述采样模块，还用于：

基于等时间间隔的采样方式对所述视频流数据进行所述视频帧采样操作，得到所述至少一帧采样图像。

10.根据权利要求8或9所述的装置，其中，所述图像处理网络包括：图像特征提取网络、和/或视频特征提取网络。

11.根据权利要求10所述的装置，其中，所述评估模块，包括：第一特征提取子模块，用于将所述统计结果输入所述图像特征提取网络，得到对应所述统计结果的图像特征；

所述评估模块还包括：

第二特征提取子模块，用于将所述至少一帧采样图像输入所述视频特征提取网络，得到对应所述至少一帧采样图像的视频特征；

拼接子模块，用于将对应所述统计结果的图像特征、及对应所述至少一帧采样图像的视频特征进行拼接处理，得到拼接结果；

评估处理子模块，用于根据所述拼接结果，得到针对所述视频流数据的色彩美观度评估结果。

12.根据权利要求8或9所述的装置，其中，所述统计模块，包括：

第一提取子模块，用于对所述至少一帧采样图像中的每帧图像分别进行颜色特征提取，得到颜色参数；

第一指标统计子模块，用于根据所述颜色参数，统计得到对应颜色参数的频率指标，将所述频率指标作为所述色彩美观度指标；

第一指标处理子模块，用于根据所述色彩美观度指标，得到所述统计结果。

13.根据权利要求8或9所述的装置，其中，所述统计模块，包括：

第二提取子模块，用于对所述至少一帧采样图像中的每帧图像分别进行颜色分量提取，得到针对每帧图像的各颜色分量；

第二指标统计子模块，用于统计所述每帧图像的各颜色分量对应像素数量在该帧图像总像素数量的占比，得到对应各颜色分量的色彩频率值，将所述对应各颜色分量的色彩频率值作为所述色彩美观度指标；

第二指标处理子模块，用于根据所述对应各颜色分量的色彩频率值进行所述至少一帧采样图像的拼接处理，得到色彩频率统计图，将所述色彩频率统计图作为所述统计结果。

14.根据权利要求8或9所述的装置，所述装置还包括训练模块，用于：

将所述统计结果作为第一样本数据，将所述至少一帧采样图像作为第二样本数据，分别或者共同训练第一图像处理网络，得到所述第一图像处理网络输出的用于色彩美观度评估的预测值；

所述第一样本数据和第二样本数据中还包括：用于色彩美观度评估的标注数据；

根据所述标注数据及所述预测值得到损失函数；

根据所述损失函数的反向传播，对所述第一图像处理网络进行训练，直至网络训练结束，训练后得到所述图像处理网络。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

Images