CN109660807A - 一种视频图像转码方法及装置 - Google Patents

Abstract

本申请实施方式公开了一种视频图像转码方法及装置，其中，所述方法包括：获取目标视频，并识别所述目标视频的当前帧画面中包含的视觉特征；确定与所述视觉特征相关联的处理方式；通过确定的所述处理方式对所述视觉特征进行处理；对经过处理的目标视频进行转码。本申请提供的技术方案，能够降低网络带宽的消耗成本。

Description

一种视频图像转码方法及装置

技术领域

本申请涉及互联网技术领域，特别涉及一种视频图像转码方法及装置。

背景技术

随着互联网技术的不断发展，涌现出越来越多的视频播放平台。为了向用户提供不同画质的视频，视频播放平台通常需要对源视频进行转码，从而生成具备不同分辨率和不同码率的多份视频。

当前，在对源视频进行转码时，通常会对源视频中的各帧画面进行统一处理。例如，可以统一提升每帧画面中像素点的个数，或者统一对每帧画面进行锐化或者平滑滤波处理。

发明内容

现有技术中的视频处理方法，在提升或者降低视频的画质时，通常会对整帧画面进行统一的处理。这样处理的缺陷在于：在提升视频的画质时，用户不太关注的区域的画面也会同步提升，会增加整个视频的传输码率，从而会浪费用户的网络带宽。由此可见，现有技术中的视频处理方法，会提高网络带宽的消耗成本。

本申请实施方式的目的是提供一种视频图像转码方法及装置，能够降低网络带宽的消耗成本。

为实现上述目的，本申请实施方式提供一种视频图像转码方法，所述方法包括：获取目标视频，并识别所述目标视频的当前帧画面中包含的视觉特征；确定与所述视觉特征相关联的处理方式；通过确定的所述处理方式对所述视觉特征进行处理；对经过处理的目标视频进行转码。

为实现上述目的，本申请实施方式还提供一种视频图像转码装置，所述装置包括：特征识别单元，用于获取目标视频，并识别所述目标视频的当前帧画面中包含的视觉特征；处理方法确定单元，用于确定与所述视觉特征相关联的处理方式；特征处理单元，用于通过确定的所述处理方式对所述视觉特征进行处理；转码单元，用于对经过处理的目标视频进行转码。

由上可见，本申请提供的技术方案，在对目标视频的当前帧画面进行处理时，可以识别所述当前帧画面中包含的视觉特征。所述视觉特征可以是基于用户在观看视频时所关注的区域来确定的。具体地，所述视觉特征可以包括聚焦特征，该聚焦特征可以是当前帧画面中比较清晰并且与当前帧画面所展示的内容具备紧密联系的特征。例如，所述聚焦特征可以是当前帧画面中正在交谈的两个人物。此外，所述视觉特征还可以包括脱焦特征，该脱焦特征可以是当前帧画面中不太清晰的背景特征。例如，所述脱焦特征可以是当前帧画面中经过虚化处理的环境特征。这样，根据识别得到的视觉特征，可以采用不同的处理方式进行处理。例如，对于聚焦特征，可以进一步地提高聚焦特征的清晰度；而针对脱焦特征，可以进一步提高脱焦特征的模糊度。针对同一帧画面，可以采用多种不同的处理方式处理其中的各个视觉特征，从而让用户关注的区域更加清晰，并且让用户本来就不太关注的区域更加模糊。在同一帧画面中，有些区域可以通过增加像素点的数量来提高画质，而有些区域则可以通过降低像素点的数量来降低画质。这样，尽管从视觉效果上来看，用户关注的区域的画质得到了提升，但实际上整帧画面的像素点的数量可能与处理之前相差不多，这就在提高视频画质的同时，还能够保证视频传输码率不会大幅增长，从而降低了网络带宽的消耗成本。

附图说明

为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施方式中视频图像转码方法示意图；

图2为本申请实施方式中聚焦特征与脱焦特征的第一示意图；

图3为本申请实施方式中聚焦特征与脱焦特征的第二示意图；

图4为本申请实施方式中视频图像转码装置的结构示意图；

图5为本申请实施方式中画面区域的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。

本申请提供一种视频图像转码方法，所述方法可以应用于具备图像处理功能的终端设备中。所述终端设备例如可以是台式电脑、笔记本电脑、平板电脑、工作站等。此外，所述方法还可以应用于视频播放网站的业务服务器中，所述业务服务器可以是独立的服务器，也可以是由多个服务器构成的服务器集群。

请参阅图1，本申请提供的视频图像转码方法包括以下步骤。

S1：获取目标视频，并识别所述目标视频的当前帧画面中包含的视觉特征。

在本实施方式中，所述目标视频可以是待处理的源视频，获取所述目标视频的方式可以包括根据提供的存储路径，从所述存储路径下读取所述目标视频或者接收其它终端设备发来的所述目标视频。

在本实施方式中，根据视觉效果的不同，可以将视频所展示的内容划分为不同的视觉特征。所述视觉特征可以是基于用户在观看视频时所关注的区域来确定的。具体地，所述视觉特征可以包括聚焦特征。所述聚焦特征可以是当前帧画面中比较清晰并且与当前帧画面所展示的内容具备紧密联系的特征。例如，所述聚焦特征可以是当前帧画面中正在交谈的两个人物。又例如，所述聚焦特征可以是当前帧画面中某个物体的特写。通常而言，所述聚焦特征可以是视频制作者想要重点让用户关注的特征，因此，所述聚焦特征在当前画面帧中的清晰度通常较高。此外，所述视觉特征还可以包括脱焦特征，所述脱焦特征可以是当前帧画面中不太清晰的背景特征。例如，所述脱焦特征可以是当前帧画面中经过虚化处理的环境特征或者人脸特征。具体地，请参阅图2和图3，在图2和图3中，实线框内的特征可以是上述的聚焦特征，虚线框内的特征可以是上述的脱焦特征。

在本实施方式中，所述视觉特征还可以包括规则纹理特征。所述规则纹理特征可以是具备清晰轮廓，并且可以与画面中其它元素进行区分的特征。例如，所述规则纹理特征可以是电子设备的电源线、衣服上的清晰纹路、茶壶手柄等。此外，所述视觉特征还可以包括毛刺特征。所述毛刺特征可以是源视频画面中的噪音，所述毛刺特征通常会使得画面变得模糊，还会使得画面中出现锯齿。另外，所述视觉特征还可以包括闪动特征。所述闪动特征可以指画面中出现的亮度或者颜色的跳变。其中，一部分闪动特征是由于噪声引起的，这部分闪动特征通常会使得画面中展示的内容的颜色或者亮度失真。另一部分闪动特征是由于画面中展示的内容或者画面进行场景切换引起的。例如，视频中展示了一个正在工作的聚光灯，那么该聚光灯照射的过程中，势必会引起亮度或者颜色的跳变。又例如，视频中前后两帧的场景分别展示了白天和黑夜，那么这两帧画面在播放时也会出现亮度或者颜色的跳变。这部分由于画面中展示的内容或者画面进行场景切换引起的闪动特征则属于正常的特征，并非由噪声引起。

在本实施方式中，上述列举的视觉特征并非是穷举的，只是为了便于理解视觉特征而进行的有限示例的罗列，在实际应用场景中，还可以包含更多的视觉特征。

在本实施方式中，可以从所述目标视频的当前帧画面中识别包含的视觉特征。具体地，由于每一类视觉特征通常会具备自身的特点，因此，在实际应用过程中，可以采用深度学习的方法，构建用于识别视觉特征的特征识别模型。例如，可以通过支持向量机(support vector machine，SVM)对当前帧画面中是否包含某个视觉特征进行识别。具体地，在构建所述特征识别模型时，可以预先获取训练样本集，所述训练样本集可以用于对所述特征识别模型进行训练，以使得所述特征识别模型能够判断输入的图像中是否包含某个视觉特征。所述训练样本集中可以包括展示所述视觉特征的样本图像以及不展示所述视觉特征的样本图像。例如，所述训练样本集中可以包括展示聚焦特征的样本图像，还可以包括不展示聚焦特征的样本图像。这样，在训练过程中，可以依次将所述训练样本集中的样本图像输入特征识别模型。该特征识别模型中可以构建初始的神经网络，神经网络中可以预先设置初始预测参数。通过所述初始预测参数对输入的所述样本图像进行处理后，可以得到所述样本图像的预测结果，所述预测结果可以用于表征所述样本图像中是否展示所述视觉特征。具体地，所述特征识别模型在对样本图像进行处理时，首先可以提取所述样本图像的特征向量。所述特征向量中的元素可以是所述样本图像中各个像素点的像素值。例如，所述样本图像为200*200像素值的图像，那么在该样本图像中可以包括40000个像素点，每个像素点可以具备各自的像素值。这样，所述特征识别模型可以读取所述样本图像中每个像素点的像素值，并按照读取的顺序，将像素值构成所述样本图像的特征向量。在实际应用中，由于像素点的个数通常较多，会导致提取的特征向量的维数也相当大，这样，会耗费较多的资源来对特征向量进行处理。鉴于此，在本实施方式中还可以采用卷积神经网络(Convolutional Neural Network，CNN)对样本图像进行处理，从而得到维数较小的特征向量，以便于后续的识别处理。

在本实施方式中，经过所述神经网络对输入的样本图像的数据进行处理之后，可以得到该样本图像的概率值向量。在所述概率值向量中可以包括针对所述视觉特征的概率值。所述概率值向量中可以包括两个概率值，这两个概率值分别表示包含所述视觉特征的概率以及不包含所述视觉特征的概率。例如，在输入一幅包含聚焦特征的样本图像之后，经过所述特征识别模型可以得到(0.4，0.8)这样的概率值向量，其中，0.4表示包含聚焦特征的概率，0.8表示不包含聚焦特征的概率。由于特征识别模型中的初始预测参数可能设置得不够准确，因此经过特征识别模型预测得到的概率结果可能是实际情况不符。例如，上述输入的是包含聚焦特征的图片，但是得到的概率值向量中，表示包含聚焦特征的概率值仅为0.4，而表示不包含聚焦特征的概率值为0.8。在这种情况下，表明预测结果不正确。此时，可以根据所述预测结果与正确结果之间的差异值，对所述特征识别模型中的初始预测参数进行调整。具体地，所述样本图像可以具备理论的概率值结果。例如，包含聚焦特征的理论的概率值结果可以为(1，0)，其中1表示包含聚焦特征的概率值。此时，可以将预测得到的概率值结果与理论的概率值结果进行相减，从而得到两者的差值，然后可以利用得到的差值对神经网络的初始预测参数进行调整，最终使得通过调整后的预测参数再次对所述样本图像进行处理后，得到的预测结果与正确结果相符。这样，通过对大量的训练样本进行训练之后，该特征识别模型便可以区分样本图像中是否包含所述视觉特征。

在本实施方式中，后续可以利用其它视觉特征的样本图像对所述特征识别模型继续进行训练，从而使得所述特征识别模型也能够对其它视觉特征均进行识别。这样，所述特征识别模型最终输出的预测结果可以是包含多个概率值的概率值向量。其中，每个概率值可以表征对应的视觉特征的概率。例如，所述特征识别模型针对输入的样本图像，输出的概率值向量为(0.1，0.6，0.2，0.1)，这四个概率值分别表示聚焦特征、脱焦特征、规则纹理特征以及闪动特征的概率。其中，数值最大的概率值所对应的视觉特征便可以是所述样本图像中包含的视觉特征。

在本实施方式中，在对所述特征识别模型进行训练之后，便可以对输入的目标视频中各帧画面进行预测。由于当前帧画面中包含的视觉特征可能较多，为了有效地区分不同视觉特征所处的区域，可以将所述当前帧画面划分为多个区域画面，并识别所述区域画面中包含的视觉特征。其中，所述区域画面的数量可以灵活调整，以使得划分后的区域画面中，大部分的内容所呈现的是同一个视觉特征。然后，在识别得到各个区域画面中包含的视觉特征后，可以分别确定与所述区域画面中包含的视觉特征相关联的处理方式，并可以根据确定的与所述区域画面中包含的视觉特征相关联的处理方式，分别对相应的区域画面进行处理。

在本实施方式中，在对区域画面中包含的视觉特征进行识别时，可以采用多种识别方法。例如，针对聚焦特征和脱焦特征，可以计算所述区域画面中像素点的像素值对应的方差或者全变分(total variation)。然后可以将计算出的方差或者全变分与指定阈值进行对比，并基于对比结果判定所述区域画面中包含的是聚焦特征还是脱焦特征。此外，在本实施方式中，还可以将所述区域画面输入特征识别模型中，以通过所述特征识别模型提取所述区域画面的特征向量，并通过所述特征识别模型确定所述特征向量对应的预测值。该预测值可以是预测得到的概率值向量中数值最大的概率值。这样，可以将所述特征值表征的视觉特征作为所述区域画面中包含的视觉特征。在识别出各个区域画面中包含的视觉特征后，可以将所述区域画面中包含的视觉特征整合为所述当前帧画面中包含的视觉特征。具体地，整合得到的视觉特征可以与各自的区域画面进行关联。所述区域画面可以通过坐标的方式进行表示。例如，所述当前帧画面被划分为两行三列的6个区域画面，那么根据区域画面在当前帧画面中所处的位置，可以得到类似(1，1)、(3，2)这样的坐标，在这些坐标中，第一个坐标值可以表示区域画面的行号，第二个坐标值可以表示区域画面的列号。这样，最终可以确定当前帧画面中包含的视觉特征以及各个视觉特征在当前帧画面中对应的区域。

S3：确定与所述视觉特征相关联的处理方式。

在本实施方式中，由于不同的视觉特征在视觉效果上也存在差别，因此可以针对不同的视觉特征采用不同的处理方式。具体地，用户在观看视频时，对于聚焦特征和规则纹理特征通常比较关注，因此可以提升聚焦特征和规则纹理特征的呈现效果。而对于脱焦特征和一些零散的小细节，用户在观看视频时可能不太关注，为了降低视频的传输码率，可以将这部分视觉特征进行模糊化处理。所述零散的小细节，例如可以是扬起的沙尘、落下的雨点、溅起的泥点等。针对这些零散的小细节，可以对其进行模糊处理，从而适当地减少这些小细节的数量。而对于毛刺特征以及由于噪声引起的闪动特征，会严重影响用户的观看体验，需要进行过滤处理。

在本实施方式中，各个视觉特征对应的处理方式的执行代码可以预先在本地进行存储，并且在本地可以存储视觉特征的标识与处理方式的标识的关联关系表。其中，所述视觉特征的标识可以是预先设置的唯一的字符串，所述处理方式的标识则可以是处理方式的代码对应的存储路径或者用于表征存储路径的字符串。这样，在识别得到视觉特征之后，可以根据该视觉特征的标识，从所述关联关系表中确定出对应的处理方式的标识。然后，可以通过确定的处理方式的标识，从本地调用对应的代码，并执行调用的代码，从而可以对该视觉特征的区域画面进行处理。

在本实施方式中，若所述视觉特征为聚焦特征，那么为了提高视频的画质，与所述聚焦特征相关联的处理方法便可以包括锐化处理方式。锐化处理可以调整聚焦特征边缘的对比度，从而使得聚焦特征整体更加清晰。此外，锐化处理还可以增加聚焦特征中相邻像素点之间的差值，使得聚焦特征的色彩更加鲜明、更加清晰。

在本实施方式中，若所述视觉特征为脱焦特征，那么为了降低视频的传输码率，与所述脱焦特征相关联的处理方法可以包括平滑滤波处理方式。其中，在实际应用时，所述平滑滤波处理方式可以包括邻域平均滤波、中值滤波、高斯滤波、频域滤波等多种方式。在进行平滑滤波时，可以将脱焦特征中小范围内像素点的像素值用相同的像素值代替，或者减少像素点的显示数量，从而可以使得脱焦特征变得更加模糊，以降低脱焦特征所对应的传输码率。

在本实施方式中，若所述视觉特征为规则纹理特征，那么在对视频进行处理时，需要保证该规则纹理特征的画质不会受到影响。因此，与所述规则纹理特征相关联的处理方式可以包括为所述规则纹理特征设置指定级别的质量参数。在本实施方式中，在对当前帧画面中的各个视觉特征进行处理时，可以通过设置质量参数，来保证视觉特征处理后的效果。所述质量参数通常可以设置多个级别，级别从低到高，处理后的视觉特征的效果也会从坏到好，相应地，处理后的视觉特征所对应的传输码率也会由低到高。在本实施方式中，所述规则纹理特征可能存在于聚焦特征中，也可能存在于脱焦特征中。而针对聚焦特征和脱焦特征的处理方式差别较大。例如，在对脱焦特征进行模糊化处理时，可能会一并将其中的规则纹理特征进行模糊化处理。而规则纹理特征很容易被人眼识别，如果规则纹理特征比之前变得模糊，那么用户在观看视频时，很可能会觉得当前的画质不太高。因此，为所述规则纹理特征设置指定级别的质量参数，从而可以使得在所述当前帧画面被处理的过程中，所述规则纹理特征的质量参数始终不低于所述指定级别的质量参数。这样，在所述当前帧画面处理后，该规则纹理特征的画质不会降低，用户从而可以查看到清晰的规则纹理特征。

在本实施方式中，若所述视觉特征为毛刺特征，那么该毛刺特征需要从当前帧画面中滤除，因此，与所述毛刺特征相关联的处理方式可以包括滤波处理方式。具体地，由于毛刺特征属于画面中的噪声，因此从频率域来看，毛刺特征对应的频率会高于画面中正常特征的频率。这样，可以通过频率域的低通滤波的方式，将处于较高频的毛刺特征从当前帧画面中滤除。

在本实施方式中，若所述视觉特征为闪动特征，由于闪动特征可能是噪声引起的，也可能是画面中展示的内容或者画面进行场景切换引起的。由噪声引起的闪动特征需要被去除，而由画面中展示的内容或者画面进行场景切换引起的闪动特征则可以不作处理。因此，与所述闪动特征相关联的处理方式可以包括：判断所述闪动特征是否为异常特征，若是，对所述闪动特征进行平滑滤波处理。其中，所述异常特征可以是上述的由噪声引起的闪动特征。

在本实施方式中，若所述视觉特征为零散的小细节，可以采用平滑滤波的处理方式，将展示的小细节的数量减少，从而可以减少这些小细节对应的传输码率。

S5：通过确定的所述处理方式对所述视觉特征进行处理。

在本实施方式中，在确定了视觉特征对应的处理方式之后，便可以通过确定的所述处理方式对所述视觉特征进行处理。在同一帧画面中，可以同时存在多个视觉特征。在对当前帧画面进行处理时，可以针对不同的视觉特征，采用不同的处理方式。其中，某些视觉特征可以进行模糊化或者过滤的处理方式，以去除这些视觉特征或者降低这些视觉特征对应的传输码率。具体地，进行模糊化的处理方式的视觉特征可以是人眼不关注的视觉特征，进行过滤的处理方式的视觉特征可以是由噪声引起的视觉特征。另外，人眼关注的那些视觉特征则可以通过画质增强的处理方式，以从视觉效果来看能够提升视频的画质。这样，在同一帧画面中，部分区域的传输码率被降低了，而部分区域的传输码率被提升了，这样会使得最终经过处理的视频的平均传输码率不会产生太大变动。而由于对人眼关注的区域进行了画质增强处理，从而可以维持传输码率不发生较大变动的情况下，提升视频的画质。

在一个实施方式中，当视觉特征为脱焦特征时，可以采用平滑滤波处理的方式进行处理。具体地，可以将所述脱焦特征划分为多个特征子区域。所述特征子区域的大小可以根据模糊化的程度来决定。区域越大，最终的效果会越模糊。在划分了多个特征子区域之后，可以计算所述特征子区域的像素平均值或者像素中值，然后可以将计算得到的所述像素平均值或者像素中值分配给所述特征子区域中的像素点。这样，所述特征子区域中的像素点可以具备相同的像素值。对划分后的特征子区域都采取上述的处理之后，便可以得到经过模糊化处理的脱焦特征，从而可以降低脱焦特征的传输码率。此外，将所述脱焦特征划分为多个特征子区域后，还可以将所述特征子区域中像素点的像素值与指定高斯函数进行卷积，并将得到的卷积和作为像素值分配给所述特征子区域中的像素点。其中，所述指定高斯函数的维数可以与所述特征子区域中像素点的个数相一致。

在本说明书中，上述像素点的像素值可以是像素点的灰度值。这样，在计算所述像素平均值或者像素中值时，可以计算所述特征其区域中像素点的灰度值的平均值或者灰度值的中值。此外，所述像素点的像素值还可以是颜色模式中颜色通道的数值。所述颜色模式可以是RGB(Red、Green、Blue，红、绿、蓝)颜色模式、CMYK(Cyan、Magenta、Yellow、Black，青、洋红、黄、黑)颜色模式、HSB(Hue、Saturation、Brightness，色泽、饱和度、亮度)颜色模式、Lab(Luminace，发光率)颜色模式等。每个颜色模式中可以具备多个颜色通道。例如，对于RGB颜色模式而言，可以具备红、绿、蓝三种颜色通道。每个颜色通道均可以对应各自的数值。这样，在计算所述特征子区域的像素平均值或者像素中值时，可以分别计算各个颜色通道的平均值或者中值，然后可以将各个颜色通道的平均值或者中值作为所述特征子区域的像素平均值或者像素中值。

此外，在将所述特征子区域中像素点的像素值与指定高斯函数进行卷积时，可以将像素点的灰度值与所述指定高斯函数进行卷积，然后可以将得到的卷积和作为灰度值分配给所述特征子区域中的像素点。当所述像素点的像素值为各个颜色通道的数值时，则可以将所述特征子区域中各个像素点的同一个颜色通道的数值与所述指定高斯函数进行卷积，然后可以将得到的卷积和作为该颜色通道的数值分配给所述特征子区域中各个像素点的该颜色通道。最终，每个颜色通道的数值均可以经过高斯卷积处理，从而得到平滑滤波处理后各个颜色通道的数值。

S7：对经过处理的目标视频进行转码。

在本实施方式中，在对目标视频中的视觉特征进行上述处理之后，目标视频中用户关注的区域的画质会得到提升。后续可以将经过处理的目标视频作为转码过程中的源视频，从而可以基于所述源视频转码得到不同格式的视频。由于所述源视频经过了步骤S1至S5中的处理，因此该源视频的画质会得到提升，同时该源视频的视频传输码率还不会明显发生变化。相对于未处理之前的目标视频而言，根据当前处理得到的源视频进行转码，可以保证转码后的视频也具备较高的画质。

在本实施方式中，在对上述的源视频进行转码时，可以为该源视频设置一系列的转码参数。所述转码参数例如可以包括保真度、分辨率、传输码率等。在设置了这些转码参数后，便可以对所述源视频进行转码，从而得到符合这些转码参数的转码后的视频。

在一个实施方式中，在对毛刺特征进行处理时，由于在频率域所述毛刺特征处于较高的频率处，因此可以将所述当前帧画面的数据从时间域转换至频率域，并将频率域的数据进行低通滤波处理，从而可以将低频的数据保留，滤除高频的毛刺特征。在得到滤波后的频率域数据后，可以将所述滤波后的频率域数据从频率域转换至时间域，从而得到去除毛刺特征的当前帧画面的数据。

在一个实施方式中，在判断所述闪动特征是否为异常特征时，可以将所述当前帧画面与下一帧画面中处于相同位置处的像素点的像素值相减，得到第一像素差值。例如，当前帧画面和下一帧画面中各包括1024个像素点，那么可以将这1024个像素点的像素值对应相减，从而得到1024个第一像素差值。然后可以统计绝对值大于或者等于指定判断阈值的第一像素差值的第一数量，所述第一数量越多，表示当前帧画面与下一帧画面的差异越大，存在闪动特征的可能性越高。其中，所述指定判断阈值可以是预先设置的固定值，也可以是基于当前帧画面的平均像素值确定的。这样，当统计的所述第一数量大于或者等于指定数量阈值时，表示当前帧画面中存在闪动特征。此时，为了区分该闪动特征是异常特征还是正常特征，可以分别对所述当前帧画面以及所述下一帧画面进行平滑滤波处理。如果是异常特征，那么经过平滑滤波处理之后，噪声会被滤除或者减弱，那么经过平滑滤波处理后的两帧画面的差异就会不太明显。而如果是由于场景切换或者展示内容本身引起的正常闪动特征，那么就算经过平滑滤波处理，这两帧画面的差异应该还是比较大。鉴于此，可以将经过平滑滤波处理后的当前帧画面与下一帧画面中处于相同位置处的像素点的像素值相减，得到第二像素差值。然后可以统计绝对值大于或者等于所述指定判断阈值的第二像素差值的第二数量。若统计的所述第二数量小于所述指定数量阈值时，表明此时两帧画面的差异减弱了，因此可以确定所述当前帧画面中的闪动特征为异常特征。

在一个实施方式中，考虑到不同的视觉特征之间的处理方式可能存在较大差别，而不同的视觉特征可能会相距较近，那么会导致相邻的两个区域采用的处理方式完全不同，从而导致画质的跳变。为了减缓这种画质跳变的情况，当所述当前帧画面中包含至少两种相邻的视觉特征时，可以确定用于处理第一视觉特征的第一参数以及用于处理第二视觉特征的第二参数。其中，在对视觉特征进行处理时，可以通过设置表征画质清晰度的参数来对视觉特征进行处理。例如，若需要进行模糊化处理，设置的所述参数可以偏小，而如果需要进行画质增强处理，设置的所述参数可以偏大。那么，当所述第一参数和所述第二参数之间的差值大于或者等于指定阈值时，表明相邻两个视觉特征的处理方式也相差较大，可能存在画质突变的情况。此时，可以根据所述第一参数和所述第二参数确定平滑参数，并可以基于所述平滑参数处理包含所述第一视觉特征的第一区域以及包含所述第二视觉特征的第二区域，以使得从第一视觉特征变换至第二视觉特征时，画质可以逐渐变化，而不会出现画质突变。具体地，在确定所述平滑参数时，可以计算所述第一参数和所述第二参数的平均值，并将所述平均值作为所述平滑参数，此外，还可以将所述第一参数和所述第二参数与指定高斯函数进行卷积，并将得到的卷积和作为所述平滑参数。具体地，可以将所述第一参数和所述第二参数构成参数向量，然后将该参数向量与指定高斯函数进行卷积，从而得到卷积和。其中，所述指定高斯函数的维度与由所述第一参数和所述第二参数构成的参数向量的维度可以相同。

此外，在本实施方式中，除了利用平滑参数对所述第一区域和所述第二区域进行整体处理之外，还可以仅针对所述第一区域和所述第二区域之间的画面区域通过平滑参数进行处理。其中，所述第一区域和所述第二区域之间的画面区域可以是按照预先设置的区域尺寸，在所述第一区域和所述第二区域之间划定的一块区域。所述区域尺寸例如可以是所述画面区域的中心与所述第一区域的中心以及所述第二区域的中心之间的距离，所述区域尺寸例如还可以是所述画面区域的长度和宽度。这样，基于所述区域尺寸，便可以在所述第一区域和所述第二区域之间划定出所述画面区域。

在一个实施方式中，所述第一区域与所述第二区域之间的画面区域可以包括位于所述第一区域中的第一边缘区域以及位于所述第二区域中的第二边缘区域。请参阅图5，第一区域和第二区域可以是相邻的两个区域，这两个区域可以采用相差较大的方式进行处理，为了使得第一区域和第二区域相邻的部分画面不出现画质的跳变，可以分别在第一区域和第二区域中划分出第一边缘区域和第二边缘区域，这样，所述第一边缘区域和第二边缘区域便可以构成图5中阴影部分所示的画面区域。针对该画面区域，可以采用平滑参数进行处理。

在本实施方式中，可以将所述画面区域划分为指定数量的子区域，这些子区域可以分别设置各自的平滑参数，从而使得第一视觉特征和第二视觉特征之间的画面区域能够呈现渐变的画质。在划分了子区域后，可以为所述子区域分配权重系数。不同的子区域，对应的权重系数可以不同。这样，可以计算所述第一参数和所述第二参数之间的差值，并将所述差值与所述权重系数的乘积作为所述子区域的增量参数。例如，所述第一参数和第二参数之间的差值为10，而在所述第一视觉特征和所述第二视觉特征之间划分了4个子区域，这4个子区域的权重系数可以分别为0.2、0.4、0.6、0.8，那么这4个子区域对应的增量参数可以分别为2、4、6、8。然后，可以将所述第一参数和所述第二参数之间的较小者与所述增量参数之和作为所述子区域的平滑参数。例如，所述第一参数为2，所述第二参数为12，那么可以在2的基础上，加上对应子区域的增量参数，从而可以分别得到4个子区域的平滑参数为4、6、8、10。后续在对所述第一视觉特征和所述第二视觉特征之间的画面区域进行处理时，可以基于所述子区域的平滑参数对所述子区域进行处理。由于各个子区域的平滑参数可以逐渐递增，那么各个子区域呈现的画质效果也可以递增，从而使得第一视觉特征变换至第二视觉特征时比较平滑，不会出现画质跳变。

请参阅图4，本申请还提供一种视频图像转码装置，所述装置包括：

特征识别单元100，用于获取目标视频，并识别所述目标视频的当前帧画面中包含的视觉特征；

处理方法确定单元200，用于确定与所述视觉特征相关联的处理方式；

特征处理单元300，用于通过确定的所述处理方式对所述视觉特征进行处理；

转码单元400，用于对经过处理的目标视频进行转码。

在一个实施方式中，所述特征识别单元包括：

区域划分模块，用于将所述当前帧画面划分为多个区域画面，并识别所述区域画面中包含的视觉特征；

相应地，所述处理方法确定单元包括：

区域确定模块，用于分别确定与所述区域画面中包含的视觉特征相关联的处理方式；

所述特征处理单元包括：

区域处理模块，用于根据确定的与所述区域画面中包含的视觉特征相关联的处理方式，分别对相应的区域画面进行处理。

在一个实施方式中，所述特征识别单元包括：焦点特征识别模块，用于识别所述当前帧画面中包含的聚焦特征以及脱焦特征；

相应地，所述处理方法确定单元包括：画质调整模块，用于确定与所述聚焦特征相关联的处理方式包括锐化处理方式，并且确定与所述脱焦特征相关联的处理方式包括平滑滤波处理方式。

在一个实施方式中，所述特征识别单元包括规则纹理识别模块，用于识别所述当前帧画面中包含的规则纹理特征；

相应地，所述处理方法确定单元包括：质量参数限定模块，用于为所述规则纹理特征设置指定级别的质量参数，以使得在所述当前帧画面被处理的过程中，所述规则纹理特征的质量参数不低于所述指定级别的质量参数。

在一个实施方式中，所述视觉特征包括毛刺特征；相应地，所述处理方法确定单元包括：

低通滤波模块，用于将所述当前帧画面的数据从时间域转换至频率域，并将频率域的数据进行低通滤波处理，得到滤波后的频率域数据；

转换模块，用于将所述滤波后的频率域数据从频率域转换至时间域，得到去除毛刺特征的当前帧画面的数据。

在一个实施方式中，所述视觉特征包括闪动特征；

相应地，所述处理方法确定单元包括：判断模块，所述判断模块用于判断所述闪动特征是否为异常特征，若是，对所述闪动特征进行平滑滤波处理。

在一个实施方式中，所述判断模块包括：

第一像素差值计算模块，用于将所述当前帧画面与下一帧画面中处于相同位置处的像素点的像素值相减，得到第一像素差值；

平滑滤波处理模块，用于统计绝对值大于或者等于指定判断阈值的第一像素差值的第一数量，并当统计的所述第一数量大于或者等于指定数量阈值时，分别对所述当前帧画面以及所述下一帧画面进行平滑滤波处理；

第二像素差值计算模块，用于将经过平滑滤波处理后的当前帧画面与下一帧画面中处于相同位置处的像素点的像素值相减，得到第二像素差值；

闪动特征确定模块，用于统计绝对值大于或者等于所述指定判断阈值的第二像素差值的第二数量，并当统计的所述第二数量小于所述指定数量阈值时，确定所述当前帧画面中的闪动特征为异常特征。

本说明书实施方式提供的视频图像转码装置，其中各个单元模块的具体功能，可以与本说明书中的前述方法实施方式相对照解释，并能够达到前述方法实施方式的技术效果，这里便不再赘述。

由上可见，本申请提供的技术方案，在对目标视频的当前帧画面进行处理时，可以识别所述当前帧画面中包含的视觉特征。所述视觉特征可以是基于用户在观看视频时所关注的区域来确定的。具体地，所述视觉特征可以包括聚焦特征，该聚焦特征可以是当前帧画面中比较清晰并且与当前帧画面所展示的内容具备紧密联系的特征。例如，所述聚焦特征可以是当前帧画面中正在交谈的两个人物。此外，所述视觉特征还可以包括脱焦特征，该脱焦特征可以是当前帧画面中不太清晰的背景特征。例如，所述脱焦特征可以是当前帧画面中经过虚化处理的环境特征。这样，根据识别得到的视觉特征，可以采用不同的处理方式进行处理。例如，对于聚焦特征，可以进一步地提高聚焦特征的清晰度；而针对脱焦特征，可以进一步提高脱焦特征的模糊度。针对同一帧画面，可以采用多种不同的处理方式处理其中的各个视觉特征，从而让用户关注的区域更加清晰，并且让用户本来就不太关注的区域更加模糊。在同一帧画面中，有些区域可以通过增加像素点的数量来提高画质，而有些区域则可以通过降低像素点的数量来降低画质。这样，尽管从视觉效果上来看，用户关注的区域的画质得到了提升，但实际上整帧画面的像素点的数量可能与处理之前相差不多，这就在提高视频画质的同时，还能够保证视频传输码率不会大幅增长，从而降低了网络带宽的消耗成本。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现视频图像转码装置以外，完全可以通过将方法步骤进行逻辑编程来使得视频图像转码装置以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种视频图像转码装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，针对视频图像转码装置的实施方式来说，均可以参照前述方法的实施方式的介绍对照解释。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (23)

1.一种视频图像转码方法，其特征在于，所述方法包括：

获取目标视频，并识别所述目标视频的当前帧画面中包含的视觉特征；

确定与所述视觉特征相关联的处理方式；

通过确定的所述处理方式对所述视觉特征进行处理；

对经过处理的目标视频进行转码。

2.根据权利要求1所述的方法，其特征在于，识别所述目标视频的当前帧画面中包含的视觉特征包括：

将所述当前帧画面划分为多个区域画面，并分别识别所述区域画面中包含的视觉特征；

相应地，确定与所述视觉特征相关联的处理方式包括：

分别确定与所述区域画面中包含的视觉特征相关联的处理方式；

通过确定的所述处理方式对所述视觉特征进行处理包括：

根据确定的与所述区域画面中包含的视觉特征相关联的处理方式，分别对相应的区域画面进行处理。

3.根据权利要求2所述的方法，其特征在于，识别所述区域画面中包含的视觉特征包括：

将所述区域画面输入特征识别模型中，以通过所述特征识别模型提取所述区域画面的特征向量，并通过所述特征识别模型确定所述特征向量对应的预测值；

将所述预测值表征的视觉特征作为所述区域画面中包含的视觉特征。

4.根据权利要求1或2所述的方法，其特征在于，所述视觉特征包括聚焦特征；相应地，与所述聚焦特征相关联的处理方式包括锐化处理方式。

5.根据权利要求1或2所述的方法，其特征在于，所述视觉特征包括脱焦特征；相应地，与所述脱焦特征相关联的处理方式包括平滑滤波处理方式。

6.根据权利要求5所述的方法，其特征在于，通过确定的所述处理方式对所述视觉特征进行处理包括：

将所述脱焦特征划分为多个特征子区域，并计算所述特征子区域的像素平均值/像素中值；将计算得到的所述像素平均值/像素中值分配给所述特征子区域中的像素点；

或者

将所述脱焦特征划分为多个特征子区域，并将所述特征子区域中像素点的像素值与指定高斯函数进行卷积；将得到的卷积和作为像素值分配给所述特征子区域中的像素点。

7.根据权利要求1或2所述的方法，其特征在于，所述视觉特征包括规则纹理特征；相应地，与所述规则纹理特征相关联的处理方式包括为所述规则纹理特征设置指定级别的质量参数，以使得在所述当前帧画面被处理的过程中，所述规则纹理特征的质量参数不低于所述指定级别的质量参数。

8.根据权利要求1或2所述的方法，其特征在于，所述视觉特征包括毛刺特征，与所述毛刺特征相关联的处理方式包括滤波处理方式；

相应地，通过确定的所述处理方式对所述视觉特征进行处理包括：

将所述当前帧画面的数据从时间域转换至频率域，并将频率域的数据进行低通滤波处理，得到滤波后的频率域数据；

将所述滤波后的频率域数据从频率域转换至时间域，得到去除毛刺特征的当前帧画面的数据。

9.根据权利要求1或2所述的方法，其特征在于，所述视觉特征包括闪动特征；相应地，与所述闪动特征相关联的处理方式包括：判断所述闪动特征是否为异常特征，若是，对所述闪动特征进行平滑滤波处理。

10.根据权利要求9所述的方法，其特征在于，判断所述闪动特征是否为异常特征包括：

将所述当前帧画面与下一帧画面中处于相同位置处的像素点的像素值相减，得到第一像素差值；

统计绝对值大于或者等于指定判断阈值的第一像素差值的第一数量，并当统计的所述第一数量大于或者等于指定数量阈值时，分别对所述当前帧画面以及所述下一帧画面进行平滑滤波处理；

将经过平滑滤波处理后的当前帧画面与下一帧画面中处于相同位置处的像素点的像素值相减，得到第二像素差值；

统计绝对值大于或者等于所述指定判断阈值的第二像素差值的第二数量，并当统计的所述第二数量小于所述指定数量阈值时，确定所述当前帧画面中的闪动特征为异常特征。

11.根据权利要求2所述的方法，其特征在于，所述特征识别模型按照下述方式确定：

获取训练样本集，所述训练样本集中包括展示所述视觉特征的样本图像以及不展示所述视觉特征的样本图像；

将所述训练样本集中的样本图像输入特征识别模型，所述特征识别模型中包括初始预测参数；

通过所述初始预测参数对输入的所述样本图像进行处理，得到所述样本图像的预测结果，所述预测结果用于表征所述样本图像中是否展示所述视觉特征；

若所述预测结果不正确，根据所述预测结果与正确结果之间的差异值，对所述特征识别模型中的初始预测参数进行调整，以使得通过调整后的预测参数再次对所述样本图像进行处理后，得到的预测结果与正确结果相符。

12.根据权利要求1或2所述的方法，其特征在于，当所述当前帧画面中包含至少两种相邻的视觉特征时，所述方法还包括：

确定用于处理第一视觉特征的第一参数以及用于处理第二视觉特征的第二参数；

当所述第一参数和所述第二参数之间的差值大于或者等于指定阈值时，根据所述第一参数和所述第二参数确定平滑参数；

基于所述平滑参数处理包含所述第一视觉特征的第一区域以及包含所述第二视觉特征的第二区域。

13.根据权利要求12所述的方法，其特征在于，根据所述第一参数和所述第二参数确定平滑参数包括：

计算所述第一参数和所述第二参数的平均值，并将所述平均值作为所述平滑参数；

或者

将所述第一参数和所述第二参数与指定高斯函数进行卷积，并将得到的卷积和作为所述平滑参数。

14.根据权利要求1或2所述的方法，其特征在于，当所述当前帧画面中包含至少两种相邻的视觉特征时，所述方法还包括：

确定用于处理第一视觉特征的第一参数以及用于处理第二视觉特征的第二参数；

当所述第一参数和所述第二参数之间的差值大于或者等于指定阈值时，根据所述第一参数和所述第二参数确定平滑参数；

基于所述平滑参数处理包含所述第一视觉特征的第一区域与包含所述第二视觉特征的第二区域之间的画面区域。

15.根据权利要求14所述的方法，其特征在于，所述第一区域与所述第二区域之间的画面区域包括位于所述第一区域中的第一边缘区域以及位于所述第二区域中的第二边缘区域。

16.根据权利要求14所述的方法，其特征在于，在根据所述第一参数和所述第二参数确定平滑参数之前，所述方法还包括：

将所述第一区域和所述第二区域之间的画面区域划分为指定数量的子区域，并为所述子区域分配权重系数；

计算所述第一参数和所述第二参数之间的差值，并将所述差值与所述权重系数的乘积作为所述子区域的增量参数；

将所述第一参数和所述第二参数之间的较小者与所述增量参数之和作为所述子区域的平滑参数；

相应地，基于所述平滑参数处理包含所述第一视觉特征的第一区域与包含所述第二视觉特征的第二区域之间的画面区域包括：

基于所述子区域的平滑参数分别对所述子区域进行处理。

17.一种视频图像转码装置，其特征在于，所述装置包括：

特征识别单元，用于获取目标视频，并识别所述目标视频的当前帧画面中包含的视觉特征；

处理方法确定单元，用于确定与所述视觉特征相关联的处理方式；

特征处理单元，用于通过确定的所述处理方式对所述视觉特征进行处理；

转码单元，用于对经过处理的目标视频进行转码。

18.根据权利要求17所述的装置，其特征在于，所述特征识别单元包括：

区域划分模块，用于将所述当前帧画面划分为多个区域画面，并识别所述区域画面中包含的视觉特征；

相应地，所述处理方法确定单元包括：

区域确定模块，用于分别确定与所述区域画面中包含的视觉特征相关联的处理方式；

所述特征处理单元包括：

区域处理模块，用于根据确定的与所述区域画面中包含的视觉特征相关联的处理方式，分别对相应的区域画面进行处理。

19.根据权利要求17或18所述的装置，其特征在于，所述特征识别单元包括：焦点特征识别模块，用于识别所述当前帧画面中包含的聚焦特征以及脱焦特征；

相应地，所述处理方法确定单元包括：画质调整模块，用于确定与所述聚焦特征相关联的处理方式包括锐化处理方式，并且确定与所述脱焦特征相关联的处理方式包括平滑滤波处理方式。

20.根据权利要求17或18所述的装置，其特征在于，所述特征识别单元包括规则纹理识别模块，用于识别所述当前帧画面中包含的规则纹理特征；

相应地，所述处理方法确定单元包括：质量参数限定模块，用于为所述规则纹理特征设置指定级别的质量参数，以使得在所述当前帧画面被处理的过程中，所述规则纹理特征的质量参数不低于所述指定级别的质量参数。

21.根据权利要求17或18所述的装置，其特征在于，所述视觉特征包括毛刺特征；相应地，所述处理方法确定单元包括：

低通滤波模块，用于将所述当前帧画面的数据从时间域转换至频率域，并将频率域的数据进行低通滤波处理，得到滤波后的频率域数据；

转换模块，用于将所述滤波后的频率域数据从频率域转换至时间域，得到去除毛刺特征的当前帧画面的数据。

22.根据权利要求17或18所述的装置，其特征在于，所述视觉特征包括闪动特征；

相应地，所述处理方法确定单元包括：判断模块，所述判断模块用于判断所述闪动特征是否为异常特征，若是，对所述闪动特征进行平滑滤波处理。

23.根据权利要求22所述的装置，其特征在于，所述判断模块包括：

第一像素差值计算模块，用于将所述当前帧画面与下一帧画面中处于相同位置处的像素点的像素值相减，得到第一像素差值；

平滑滤波处理模块，用于统计绝对值大于或者等于指定判断阈值的第一像素差值的第一数量，并当统计的所述第一数量大于或者等于指定数量阈值时，分别对所述当前帧画面以及所述下一帧画面进行平滑滤波处理；

第二像素差值计算模块，用于将经过平滑滤波处理后的当前帧画面与下一帧画面中处于相同位置处的像素点的像素值相减，得到第二像素差值；

闪动特征确定模块，用于统计绝对值大于或者等于所述指定判断阈值的第二像素差值的第二数量，并当统计的所述第二数量小于所述指定数量阈值时，确定所述当前帧画面中的闪动特征为异常特征。