CN115665427A - 直播数据的处理方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种直播数据的处理方法、装置及电子设备，接收第一终端设备发送的直播数据；将直播数据中的初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像，进而确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。该方法中，通过图像增强模型提取直播数据中初始图像的浅层图像特征及深层图像特征，进而基于这些图像特征生成分辨率与初始图像相匹配的增强图像，在不增加图像的分辨率的同时，提升了图像质量，使用户获得了更好的直播观看体验。

Description

直播数据的处理方法、装置及电子设备

技术领域

本发明涉及直播技术领域，具体而言，涉及一种直播数据的处理方法、装置及电子设备。

背景技术

在用户观看直播的过程中，通常需要直播服务器将从主播端产生的视频数据需要传送至直播服务器，再由直播服务器发送至用户的终端设备。考虑到视频传输的带宽及直播画面传送的即时性，需要降低视频数据在传输过程中的码率，因此在传输前通常会对视频数据进行编码及压缩处理。终端设备在接收到编码压缩处理后的视频数据后，对其进行解码处理，得到用户可以观看的视频数据。然而，经过编码处理视频数据通常会受到一定程度的损伤，导致视频画面质量较差。

相关技术中，通常采用基于视频超分辨率、视频插帧等技术去提升源视频帧的分辨率或视频帧数量，进而提升画质，然而该方式对算力要求较高，提升画质的效率较低，且容易降低视频数据的传送效率。此外，还可以通过改造对视频进行压缩处理的编码器实现画质提升，然而编码器的各个阶段互相分离，较难对算法进行迭代，同时硬件解码仅支持标准编码算法的解码，优化成本较高且泛化性差。

发明内容

有鉴于此，本发明的目的在于提供一种直播数据的处理方法、装置及电子设备，以在不增加图像的分辨率的同时，提升图像质量，以使用户得到更好的直播观看体验。

第一方面，本发明实施例提供了一种直播数据的处理方法，该方法包括：接收第一终端设备发送的直播数据；直播数据包括多帧初始图像；将初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像；增强图像的分辨率与初始图像的分辨率相匹配；基于增强图像，确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。

第二方面，本发明实施例提供了一种直播数据的处理装置，该装置包括：直播数据接收模块，用于接收第一终端设备发送的直播数据；直播数据包括多帧初始图像；图像增强模块，用于将初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像；增强图像的分辨率与初始图像的分辨率相匹配；直播数据发送模块，用于基于增强图像，确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。

第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述的直播数据的处理方法。

第四方面，本发明实施例提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述的直播数据的处理方法。

本发明实施例带来了以下有益效果：

上述一种直播数据的处理方法、装置及电子设备，接收第一终端设备发送的直播数据；将直播数据中的初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像，进而确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。该方法中，通过图像增强模型提取直播数据中初始图像的浅层图像特征及深层图像特征，进而基于这些图像特征生成分辨率与初始图像相匹配的增强图像，在不增加图像的分辨率的同时，提升了图像质量，使用户获得了更好的直播观看体验。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种直播数据的传输过程的示意图；

图2为本发明实施例提供的一种直播数据的处理方法的流程图；

图3为本发明实施例提供的一种第二特征提取模块的结构示意图；

图4为本发明实施例提供的一种直播数据的处理过程示意图；

图5为本发明实施例提供的一种图像增强模型的结构示意图；

图6为本发明实施例提供的一种下采样模块的示意图；

图7为本发明实施例提供的一种特征蒸馏模块的示意图；

图8为本发明实施例提供的另一种直播数据的处理过程的示意图；

图9为本发明实施例提供的第一游戏的初始图像和增强图像的质量对比结果示意图；

图10为本发明实施例提供的第二游戏的初始图像和增强图像的质量对比结果示意图；

图11为本发明实施例提供的一种直播数据的处理装置的结构示意图；

图12为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着直播行业的不断发展，观众对直播画面的画质的要求日益增高。如图1所示，主播端的源视频需要经过采集、预处理、编码等处理步骤后作为上行码流传送，然后由用户侧接收传送过来的下行码流，并对其进行解码、预处理、渲染等处理，得到视频数据。然而主播端采集的画面在编码侧经过压缩后会产生一定程度的损失，并受限于上传带宽，观众很难在有限的码率下获得优质的观看体验。

通常来说，源视频的原始画质越高，被压缩的比例越大，画质损失程度相应的也会越深，这种情况在高帧率、低延迟的竞技类游戏上表现的尤为明显，激烈打斗时直播画面带有严重的噪点、块效应以及马赛克等，严重影响观众的观看体验。

因此，在直播领域，消除画面的噪点、模糊、锯齿、块效应等画面失真问题一直是业内的热门技术优化方向。成熟的视频增强算法一般用于支持离线的图片或视频处理，如离线视频播放，老照片恢复等，经过去编码损失后的图像感官效果可以提升明显，逼近压缩前的视频质量，但这类算法本身对算力要求很高，轻量级的算法增强效果又不明显，因此难以应用于实时直播领域。

相关技术中，直播画质增强方案主要分为以下两种：

第一种是基于视频超分辨率、视频插帧等技术去提升源视频规格，进而提升画质。相关技术人员通过研发端到端视频的超分辨率技术、插帧技术等，实时处理源视频流，经过处理的高分辨率、高帧率视频流通常以较高的码率推送到观众端供用户观看。其中超分算法大多基于深度学习算法，利用低分辨率图像特征重建出相应的高分辨率图像，提升分辨率的同时，对图像的色彩、细节纹理上也有一定的增强效果。视频插帧通常基于光流的方法先估计运动，然后合成纹理，提升视频的帧率，进而给与用户更加细腻流畅的观看体验。

然而，超分辨率、视频插帧技术对性能要求很高，移动端设备基本达不到其需要的算力要求，而即使部署在服务端，像4K、60FPS这样的高码率、高帧率视频流要求很高的码率，观众测可能受限于硬件设备或者网络情况等因素造成卡顿、音画不同步等问题，同时厂商的运营带宽成本和算力成本也会增加，因此这类方案很难大规模的在直播平台铺开。

第二种是通过改进编码器减少编码损失，对编码器本身进行改造，优化编码参数、量化算法等降低编码器本身的损失，提升视频质量。直播场景下的主播端上传的视频需要经过编码、转码、传输、解码等过程最终呈现在用户的观看屏幕上，这一过程必会带来很大的高频和低频信息的损失，进而影响最终视频质量。通过改进编码器，引入场景编码，智能码控等方案减少一定编码带来的损失，在直播场景有限的码率的限制下对视频质量有一定的增强效果。

通过改造编码器也可以实现画质提升，但是编码器的各个阶段互相分离，较难对算法进行迭代，同时硬件解码仅支持标准编码算法的解码，优化成本较高且泛化性差，且视频编码属于有损压缩，编码损失总是不可避免的，画质的提升效果有限。同时在提升编码质量的同时，很容易导致编码复杂度的增加，从而增加编码设备的压力和卡顿风险。

基于此，本发明实施例提供的一种直播数据的处理方法、装置及电子设备，该技术可以应用于各种直播数据的处理过程中。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种直播数据的处理方法，该方法可应用于直播服务器；直播服务器与预设的终端设备通信连接；如图2所示，该方法包括如下步骤：

步骤S202，接收第一终端设备发送的直播数据；直播数据包括多帧初始图像。

上述直播数据通常为第一终端设备采集的视频数据及音频数据。上述第一终端设备可以为音视频数据传送方的终端设备，如主播使用的手机、计算机、平板电脑等设备。上述初始图像为组成视频画面的多个视频帧图像。虽然称为初始图像，实际上该图像通常为第一终端设备采集到的原始图像数据经过压缩、编码等处理后的图像数据，有一定的画质损伤。

由于直播过程中直播画面是实时传送指观看直播的终端设备的，主播端的直播数据也需要实时发送给直播服务器。上述直播服务器可以为某个具体的服务器，也可以为通过云计算资源实现的功能意义上的服务器。

步骤S204，将初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像；增强图像的分辨率与初始图像的分辨率相匹配。

上述浅层图像特征通常与输入的初始图像比较接近，包含更多的像素点、较为细粒度的信息，如图像的颜色、纹理、边缘、棱角信息等。浅层特征通常由浅层网络提取，如层数较少的卷积层组成的特征提取网络。深层图像特征通常蕴含更抽象、更为粗粒度的信息，也称为语义信息。深层特征通常由深层网络提取，如下采样层和卷积层组成的多层特征提取网络。由于深层网络通常具有较大的感受野，感受野之间重叠区域增加，图像信息进行压缩，因此获取到的深层图像特征中包含的是图像整体性的一些信息。

为提取初始图像的浅层图像特征及深层图像特征，上述图像增强模型至少需要包括两个特征提取模块，分别提取初始图像的浅层图像特征及深层图像特征。当深层图像特征包括多个时，可以设置多个对应的特征提取模块，用于提取对应的特征。

为了减少模型的运算量，可以在提取到的浅层图像特征的基础上，对浅层图像特征进行处理，提取到图像增强模型的深层图像特征。该浅层图像特征可以视为初始图像对应的低分辨率图像。可以通过多个卷积层对初始图像进行下采样得到对应的低分辨率图像，还可以通过插值下采样的方式得到初始图像对应的低分辨率图像。通过对初始图像的下采样，感受野增大，感受野之间重叠区域也同时增加，此时低分辨率图像的像素点代表的信息是一个初始图象中区域的信息。再对低分辨率图像进行特征提取处理，如卷积处理，会进一步增大感受野，获得的是这块区域或相邻区域之间的特征信息，该部分特征信息可以通过深度图像特征表示。

在提取初始图像的深层图像特征时，可以采用残差网络、递归神经网络等能够学习到初始图像的深层图像特征的网络结构构建对应的特征提取模块，具体方式不进行限制。深层图像特征可以在浅层图像特征的基础上提取，提取到的深层图像特征也可以作为下一个深层图像特征提取的输入数据，从而得到初始图像的不同层次的图像特征。

在得到初始图像的浅层图像特征及深层图像特征后，可以对这些特征进行融合处理，得到融合图像。该融合图像的分辨率通常是小于初始图像的。为了使用户观看到于初始图像尺寸相同的图像，可以对融合图像进行上采样，从而生成初始图像对应的增强图像。

上述图像增强模型通常需要通过大量的样本图像进行训练。可以采用图像质量评价参数，如峰值信噪比、结构相似性等，对模型的处理结果进行评价，根据评价调整图像增强模型的模型参数，从而得到图像增强效果较好的图像。

此外，还可以对增强图像进行亮度、色彩、局部细节方面的效果增强。例如，通过颜色查找表将增强图像的像素的颜色参数替换为观感更好的对应的颜色参数；或者通过对增强图像进行锐化处理，提高其边缘的显示效果等。具体可根据需求设置，在此不做限制。

步骤S206，基于增强图像，确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。

在得到初始图像对应的增强图像后，需要按照视频数据的传输标准对增强图像进行压缩、编码等处理。并将直播数据中与初始图像对应的音频数据与压缩处理后的增强图像数据进行封装，从而将封装后的数据发送至目标终端设备。通常情况下，当观看该直播的用户选择了处理后的直播数据对应的清晰度参数时，可以将该用户的终端设备确定为目标终端设备。

上述一种直播数据的处理方法，接收第一终端设备发送的直播数据；将直播数据中的初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像，进而确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。该方法中，通过图像增强模型提取直播数据中初始图像的浅层图像特征及深层图像特征，进而基于这些图像特征生成分辨率与初始图像相匹配的增强图像，在不增加图像的分辨率的同时，提升了图像质量，使用户获得了更好的直播观看体验。

下述实施例提供一通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征，并基于浅层图像特征及深层图像特征生成初始图像对应的增强图像的具体方式。

由于需要提取初始图像的浅层图像特征和深层图像特征，对应地，图像增强模型包括第一特征提取模块及第二特征提取模块。首先通过第一特征提取模块对初始图像进行第一特征提取处理，得到初始图像的浅层图像特征，然后通过第二特征提取模块对浅层图像特征进行第二特征提取处理，得到初始图像的深层图像特征。

在具体实现时，上述第一特征提取模块包括第一卷积层及第二卷积层，还可以在两个卷积层之间加了一个激活层，采用的激活函数为relu。采用上述第一特征提取模块提取初始图像的浅层图像特征可以视为对初始图像的下采样。具体而言，通过第一卷积层及第二卷积层对初始图像进行下采样处理，得到初始图像对应的低分辨率图像。下采样得到的图像的分辨率与卷积层的卷积步长相关，具体可根据需求设置。例如，采用一个步长为2的卷积层将1920*1080分辨率下采样至960*540，即为2倍下采样。

在提取深层图像特征时，主要对上述初始图像对应的低分辨率图像进行处理，该方式可以大大降低模型的运算量，提高图像增强效率。如图3所示，第二特征提取模块包括依次连接的第三卷积层、第一通道分离层、第四卷积层、第二通道分离层、第五卷积层及通道连接层。在提取深层图像特征时，可以将初始图像对应的低分辨率图像输入至第三卷积层，通过第三卷积层对低分辨率图像进行卷积处理，得到第一图像特征；第一图像特征包括多个第一特征通道；然后通过第一通道分离层对多个第一特征通道进行通道分离处理，将设定比例的第一特征通道确定为第一深层特征通道，例如可以将三分之一的第一特征通道确定为第一深层特征通道；将除第一深层特征通道的第一特征通道输入至第四卷积层，通过第四卷积层对输入的第一特征通道进行卷积处理，得到第二图像特征；第二图像特征包括多个第二特征通道；通过第二通道分离层对多个第二特征通道进行通道分离处理，将设定比例的第二特征通道确定为第二深层特征通道，例如可以将三分之一的第二特征通道确定为第二深层特征通道；将除第二深层特征通道的第二特征通道输入至第五卷积层，通过第五卷积层对输入的第二特征通道进行卷积处理，得到第三深层特征通道；通过通道连接层对第一深层特征通道、第二深层特征通道及第三深层特征通道进行通道连接处理，得到初始图像的深层图像特征。在具体实现时，图像增强模型中可以设置多个依次连接的第二特征提取模块，从而获取多个初始图像的不同层次的深层图像特征，以充分提取初始图像的图像特征。

在得到初始图像的浅层图像特征及深层图像特征后，需要对其进行融合处理，对应地，上述图像增强模型包括特征融合模块。具体可以通过特征融合模块对浅层图像特征及深层图像特征进行特征融合处理，得到融合图像。为了使融合图像恢复至初始图像的分辨率，图像增强模型还设置了上采样模块，可以通过上采样模块对融合图像进行上采样处理，得到与初始图像的分辨率相匹配但显示效果更号的增强图像。

为了更进一步提高增强图像的图像边缘的显示效果，作为一种优选的示例实施例，上述图像增强模型还可以设置高反差滤波模块，通过高反差滤波模块对初始图像对应的增强图像进行滤波处理，得到滤波后的增强图像。该方式能够实现对增强图像的图像锐化，从而实现对图像边缘轮廓的补偿，提高边缘的显示效果。

为了更进一步提高增强图像的色彩显示效果，作为一种优选的示例实施例，上述图像增强模型包括还可以设置色彩映射模块，通过色彩映射模块基于预设的颜色查找表对初始图像对应的增强图像进行色彩增强处理，得到色彩增强后的增强图像。由于颜色查找表中的数值有更好的感官效果，上述方式将所有增强图像的像素点都按照表替换后，图像颜色就更丰富了，更加符合人类观看习惯

在具体实现时，上述图像增强模型可以通过以下方式训练：

(1)从预设的样本集合中确定训练数据；训练数据包括样本图像及样本图像对应的对比图像；样本图像通过对对比图像进行编码及解码处理生成。对比图像通常为画质较好、清晰度较高的图像。可以通过图像质量评价指标，如结构相似性指标、峰值信噪比来评价图像的光照、对比度、结构及噪声等，以筛选到质量较高的图像作为对比图像。获取样本图像时，可以通过设定流程对对比图像进行编码处理及解码处理，模拟直播数据在传输过程中的处理过程，得到对比图像对应的样本图像。

(2)将样本图像输入至初始模型中，得到初始模型输出的样本图像对应的处理图像。

(3)通过预设的损失函数基于处理图像及对比图像，确定初始模型的损失值；损失函数包括绝对值损失函数及纹理相似度(Deep Image Structure and TextureSimilarity，简称DISTS)损失函数的线性组合，以监督模型进行图像纹理重构的过程，加强处理后的图像在细节纹理上的表现。

(4)基于损失值更新初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至损失值收敛，将损失值收敛后的初始模型确定为训练好的图像增强模型。

下述实施例提供一基于增强图像，确定处理后的直播数据，将处理后的直播数据发送至目标终端设备的具体方式。

通常而言，直播数据还包括音频数据。在得到增强图像后，需要对增强图像进行编码处理，得到编码后的增强图像，然后将编码后的增强图像与直播音频数据进行封装处理，并将封装后的包含音频及增强图像的数据确定为处理后的直播数据，进而发送至目标终端设备。

上述目标终端设备通常为选择了处理后的直播数据对应的清晰度参数的终端设备。当直播服务器接收第二终端设备发送的直播数据获取请求后，如果直播数据获取请求中的第一清晰度参数与直播数据对应的预设的清晰度参数一致，则将第二终端设备确定为目标终端设备。在具体实现时，可以为用户通过选中终端设备显示的清晰度参数控件选择对应的清晰度参数，也可以为终端设备自适应地选择某个清晰度参数。

本发明实施例还提供了另一种直播数据的处理方法。该方法在图2所示的方法基础上实现。为了解决直播场景下因带宽、编码损失等因素造成画面带有严重的噪点、块效应以及马赛克问题，该方法通过对压缩后的图像进行图像增强的方式(也成为“压缩增强算法”)实现直播画质增强。

该方法通过使用深度学习和传统图像增强算法相结合的压缩增强方案在云端实现画质增强，并提出了原画PRO清晰度选项，用户可以通过点击原画PRO选项观看增强后直播。

为了减少直播服务器的算力的占用，该方法采用了轻量级图像增强模型。考虑到实时性，该模型基于单帧进行实时增强。该模型先通过下采样卷积层对初始图像进行下采样，得到初始图像对应的低分辨率图像，在此之后，该模型主要通过对低分辨率图像进行处理，得到初始图像进行的增强图像。采用低分辨图像可以加快模型的推理速度，增强效果也要比直接在初始图像进行增强的效果更好。然后该模型通过渐进式残差模块提取深层次特征，充分利用图像邻近像素的相关性。在提取到深层特征后，该模型通过卷积处理的方式融合低分辨率图像及深层特征，得到融合图像。最后通过对融合图像进行上采样处理，使其恢复到和输入的初始图像相同的尺寸并达到增强目的。

此外，考虑到图像边缘和整体色彩方面，在图像增强模型中还增加了高反差锐化算子(相当于上述“高反差滤波模块”)。由于通过该算子对图像进行高反差锐化时需要经过高斯核的作用，该过程与卷积神经网络的卷积的具体方式一致，因此可以将其放入图像增强模型中一起进行，让图像的轮廓、边缘更清晰。这样就可以不用将增强算法和锐化算法分离，减少不必要的GPU(graphics processing unit，图形处理器)和CPU(centralprocessing unit，中央处理器)传输耗时。

对于色彩增强方面，还设计了颜色查找表，在增强后通过色彩映射算法进行色彩增强，达到更加符合人眼观看习惯的效果。完整的增强链路对1920×1080P视频单帧处理时间只需要6.2ms，因此达到60FPS的视频直播毫无压力。为减少压缩增强整体处理耗时，颜色处理操作也GPU上进行。具体可根据不同的场景设计了多个颜色查找表，生产时会根据不同的直播品类，动态加载不同的颜色查找表，达到最理想的颜色增强效果。

上述直播数据的处理方法的实现过程如图4所示。首先对输入的原画视频流，先是通过图像增强模型的神经网络部分对原始图像进行一个明显的去模糊，抑制其带有的噪声点和块效应等。同时为进一步提升画质，引进了增强后处理操作，利用高反差锐化算子，增强图像轮廓，并通过色彩映射算法提升整体观感，从而达到逼近无损画质的效果。

图像增强模型的结构图如图5所示，在模型的整体设计上，使用了大量的长短残差连接，来实现减轻学习的难度和增强邻间像素相关性的目标。

为了保证模型足够轻量级，模型先是通过下采样在低分辨率的尺寸下进行重建过程，经实验，这样可以有效的加速特征重建并保证精度，下采样的方式如图6所示，通过2个步长为2的3×3卷积核完成。与插值下采样相比，这种方式可以更好的提取图像的浅层特征。

4倍下采样后，然后通过特征蒸馏模块进行图像的深层特征提取，特征蒸馏模块的网络结构如图7所示。该模块在工作过程中，每通过一次3×3卷积层就进行一次通道分离，具体操作是分离出2/3的通道向后传递，重复上一步特征提取操作，剩下1/3直接等待最后进行通道连接(concat)。通过一系列堆叠的特征蒸馏模块后，通过1x1的卷积层将各个蒸馏模块的输出融合，再经过一层5×5卷积后，通过亚像素卷积上采样得到增强后图像。

上述模型的整个网络结构可以概括为：浅层特征提取、深层特征提取、特征融合、上采样重建。在一些游戏场景里，上述模型有时会因为过度平滑的特性导致图像的细节丢失严重，从而产生较为严重的“油画感”，为了克服这类问题，在损失函数的选择上采用了L1损失函数和DISTS损失函数进行线性组合的方式，有效的监督模型进行图像纹理重构，加强增强图像在细节纹理上的表现。

在具体实现时，为增强后的直播画面设置了“原画PRO”直播挡位选项，通过将增强算法接入直播服务器的低延时高可靠的音视频处理引擎，用户只需选择“原画PRO”选项就可以体验增强后的超高清视频直播。相比于原画，原画PRO画质更细腻，色彩更丰富，尤其在游戏直播上，表现的尤为明显。

当上述图像增强方式通过云端实现时，如图8所示，整个云端流媒体处理链路可以分为以下几个模块：

(1)输入处理模块：获取待增强直播间原画对应的视频流。

(2)解码处理模块：对输入视频流进行解码处理。

(3)增强处理模块：通过图像增强模型在云端对视频帧进行增强处理。

(4)视频编码模块：对合成完的视频进行编码处理。

(5)音频处理模块：对输入的音频进行混音或静音处理等。

(6)输出网络模块：对处理好的音视频进行封装处理，封装完成后推流至原画PRO挡位。

(7)挡位处理模块：为所有直播间的原画PRO添加心跳机制，在一定的时间内未接收到视频流，会自动踢掉原画PRO挡位。

如图8所示，各个模块之间串行进行视频流的处理，在模型的部署上，通过利用低延迟、高吞吐率的深度学习推理优化器，推理时间与传统深度学习框架相比可减少4.2倍。并依托于直播平台的音视频处理引擎，可以实现在单台服务器同时处理多路视频增强处理流，在有限的计算资源下为多个直播间提供增强服务。

为了对比原画PRO和原画的视频质量，分别截取了第一游戏和第二游戏两个游戏的8个片段，分别囊括了不同游戏场景，并在两个画质指标上量化了算法的增强效果。以视频流画面的平均峰值信噪比作为对图像画质的评价指标，原画为34.045，原画PRO提升至42.662。平均峰值信噪比(pnsr)经常用作图像压缩等领域中信号重建质量的测量方法，数值越大代表对应图片质量越高。其次通过无参考视频质量评估系统分别对原画PRO和原画打分，具体视频分数如下图9和图10所示，其中视频得分越高，代表对应的视频质量越高。

在分别对两个游戏的原画PRO和原画的画质效果进行了对比后可知，原画PRO的整体感官效果以及背景，人物等细节上均有明显提升。原画激烈打斗场景因为编码损失和码率限制带有明显的白色噪点和模糊感，原画PRO在原画的基础上在清晰度和整体色彩上做了明显的增强，达到还原真实游戏战场的效果。

上述方法结合直播流码率动态变化的特性，采用深度学习和传统图像算法相结合的增强方案，先是通过深度学习增强模型提升视频质量，然后采用高反差滤波和色彩映射算法，再次提升画质，达到增强视频图像边缘特征和丰富色彩的效果。并提出适用于所有视频分辨率的轻量级增强模型，为加速模型推理，通过下采样在低分辨的尺寸下进行特征重建；为了保证视频质量，充分利用临近像素间的强相关性，模型大量使用了长短残差连接，来实现减轻学习的难度和增强邻间像素相关性的目标。

上述方法在恢复编码损失的同时完整的保留视频细节和色彩表现，并且增强后的视频规格和原始视频一致，相比于超分和插帧可以明显降低卡顿风险和带宽成本。并且在直播行业首创“原画PRO”直播选项，相比于原画挡位，“原画PRO”挡位在有限码率下，画面更清晰，色彩更丰富、像素噪点更少，从而给予用户更加“沉浸式的”直播观看体验。

对于上述方法实施例，参见图11所示的一种直播数据的处理装置，该装置包括：

直播数据接收模块1102，用于接收第一终端设备发送的直播数据；直播数据包括多帧初始图像；

图像增强模块1104，用于将初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像；增强图像的分辨率与初始图像的分辨率相匹配；

直播数据发送模块1106，用于基于增强图像，确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。

上述一种直播数据的处理装置，接收第一终端设备发送的直播数据；将直播数据中的初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像，进而确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。该方法中，通过图像增强模型提取直播数据中初始图像的浅层图像特征及深层图像特征，进而基于这些图像特征生成分辨率与初始图像相匹配的增强图像，在不增加图像的分辨率的同时，提升了图像质量，使用户获得了更好的直播观看体验。

上述图像增强模型包括第一特征提取模块及第二特征提取模块；上述图像增强模块还用于：通过第一特征提取模块对初始图像进行第一特征提取处理，得到初始图像的浅层图像特征；通过第二特征提取模块对浅层图像特征进行第二特征提取处理，得到初始图像的深层图像特征。

上述第一特征提取模块包括第一卷积层及第二卷积层；浅层图像特征包括初始图像对应的低分辨率图像；上述图像增强模块还用于：通过第一卷积层及第二卷积层对初始图像进行下采样处理，得到初始图像对应的低分辨率图像。

上述浅层图像特征包括初始图像对应的低分辨率图像；第二特征提取模块包括依次连接的第三卷积层、第一通道分离层、第四卷积层、第二通道分离层、第五卷积层及通道连接层；第一通道分离层及第二通道分离层与通道连接层连接；上述图像增强模块还用于：将初始图像对应的低分辨率图像输入至第三卷积层，通过第三卷积层对低分辨率图像进行卷积处理，得到第一图像特征；第一图像特征包括多个第一特征通道；通过第一通道分离层对多个第一特征通道进行通道分离处理，将设定比例的第一特征通道确定为第一深层特征通道；将除第一深层特征通道的第一特征通道输入至第四卷积层，通过第四卷积层对输入的第一特征通道进行卷积处理，得到第二图像特征；第二图像特征包括多个第二特征通道；通过第二通道分离层对多个第二特征通道进行通道分离处理，将设定比例的第二特征通道确定为第二深层特征通道；将除第二深层特征通道的第二特征通道输入至第五卷积层，通过第五卷积层对输入的第二特征通道进行卷积处理，得到第三深层特征通道；通过通道连接层对第一深层特征通道、第二深层特征通道及第三深层特征通道进行通道连接处理，得到初始图像的深层图像特征。

上述图像增强模型包括特征融合模块及上采样模块；上述图像增强模块还用于：通过特征融合模块对浅层图像特征及深层图像特征进行特征融合处理，得到融合图像；通过上采样模块对融合图像进行上采样处理，得到与初始图像的分辨率相匹配的增强图像。

上述图像增强模型包括高反差滤波模块；上述装置还包括滤波模块，用于：通过高反差滤波模块对初始图像对应的增强图像进行滤波处理，得到滤波后的增强图像。

上述图像增强模型包括色彩映射模块；上述装置还包括色彩增强模块，用于：通过色彩映射模块基于预设的颜色查找表对初始图像对应的增强图像进行色彩增强处理，得到色彩增强后的增强图像。

上述装置还包括模型训练模块，用于：从预设的样本集合中确定训练数据；训练数据包括样本图像及样本图像对应的对比图像；样本图像通过对对比图像进行编码及解码处理生成；将样本图像输入至初始模型中，得到初始模型输出的样本图像对应的处理图像；通过预设的损失函数基于处理图像及对比图像，确定初始模型的损失值；损失函数包括绝对值损失函数及纹理相似度损失函数的线性组合；基于损失值更新初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至损失值收敛，将损失值收敛后的初始模型确定为训练好的图像增强模型。

上述直播数据还包括音频数据；上述直播数据发送模块还用于：对增强图像进行编码处理，得到编码后的增强图像；将编码后的增强图像与直播音频数据进行封装处理，将封装后的数据确定为处理后的直播数据。

上述处理后的直播数据对应预设的清晰度参数；上述装置还包括：数据获取请求接收模块，用于接收第二终端设备发送的直播数据获取请求；直播数据获取请求包括第一清晰度参数；目标终端设备确定模块，用于如果第一清晰度参数与直播数据对应的预设的清晰度参数一致，将第二终端设备确定为目标终端设备。

本实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述直播数据的处理方法，例如：

接收第一终端设备发送的直播数据；直播数据包括多帧初始图像；将初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像；增强图像的分辨率与初始图像的分辨率相匹配；基于增强图像，确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。

上述方法中，通过图像增强模型提取直播数据中初始图像的浅层图像特征及深层图像特征，进而基于这些图像特征生成分辨率与初始图像相匹配的增强图像，在不增加图像的分辨率的同时，提升了图像质量，使用户获得了更好的直播观看体验。

可选的，上述图像增强模型包括第一特征提取模块及第二特征提取模块；通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征的步骤，包括：通过第一特征提取模块对初始图像进行第一特征提取处理，得到初始图像的浅层图像特征；通过第二特征提取模块对浅层图像特征进行第二特征提取处理，得到初始图像的深层图像特征。

可选的，上述第一特征提取模块包括第一卷积层及第二卷积层；浅层图像特征包括初始图像对应的低分辨率图像；通过第一特征提取模块对初始图像进行第一特征提取处理，得到初始图像的浅层图像特征的步骤，包括：通过第一卷积层及第二卷积层对初始图像进行下采样处理，得到初始图像对应的低分辨率图像。

可选的，上述浅层图像特征包括初始图像对应的低分辨率图像；第二特征提取模块包括依次连接的第三卷积层、第一通道分离层、第四卷积层、第二通道分离层、第五卷积层及通道连接层；第一通道分离层及第二通道分离层与通道连接层连接；通过第二特征提取模块对浅层图像特征进行第二特征提取处理，得到初始图像的深层图像特征的步骤，包括：将初始图像对应的低分辨率图像输入至第三卷积层，通过第三卷积层对低分辨率图像进行卷积处理，得到第一图像特征；第一图像特征包括多个第一特征通道；通过第一通道分离层对多个第一特征通道进行通道分离处理，将设定比例的第一特征通道确定为第一深层特征通道；将除第一深层特征通道的第一特征通道输入至第四卷积层，通过第四卷积层对输入的第一特征通道进行卷积处理，得到第二图像特征；第二图像特征包括多个第二特征通道；通过第二通道分离层对多个第二特征通道进行通道分离处理，将设定比例的第二特征通道确定为第二深层特征通道；将除第二深层特征通道的第二特征通道输入至第五卷积层，通过第五卷积层对输入的第二特征通道进行卷积处理，得到第三深层特征通道；通过通道连接层对第一深层特征通道、第二深层特征通道及第三深层特征通道进行通道连接处理，得到初始图像的深层图像特征。

可选的，上述图像增强模型包括特征融合模块及上采样模块；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像的步骤，包括：通过特征融合模块对浅层图像特征及深层图像特征进行特征融合处理，得到融合图像；通过上采样模块对融合图像进行上采样处理，得到与初始图像的分辨率相匹配的增强图像。

可选的，上述图像增强模型包括高反差滤波模块；上述方法还包括：通过高反差滤波模块对初始图像对应的增强图像进行滤波处理，得到滤波后的增强图像。

可选的，上述图像增强模型包括色彩映射模块；上述方法还包括：通过色彩映射模块基于预设的颜色查找表对初始图像对应的增强图像进行色彩增强处理，得到色彩增强后的增强图像。

可选的，上述图像增强模型通过以下方式训练：从预设的样本集合中确定训练数据；训练数据包括样本图像及样本图像对应的对比图像；样本图像通过对对比图像进行编码及解码处理生成；将样本图像输入至初始模型中，得到初始模型输出的样本图像对应的处理图像；通过预设的损失函数基于处理图像及对比图像，确定初始模型的损失值；损失函数包括绝对值损失函数及纹理相似度损失函数的线性组合；基于损失值更新初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至损失值收敛，将损失值收敛后的初始模型确定为训练好的图像增强模型。

可选的，上述直播数据还包括音频数据；基于增强图像，确定处理后的直播数据的步骤，包括：对增强图像进行编码处理，得到编码后的增强图像；将编码后的增强图像与直播音频数据进行封装处理，将封装后的数据确定为处理后的直播数据。

可选的，上述处理后的直播数据对应预设的清晰度参数；上述方法还包括：接收第二终端设备发送的直播数据获取请求；直播数据获取请求包括第一清晰度参数；如果第一清晰度参数与直播数据对应的预设的清晰度参数一致，将第二终端设备确定为目标终端设备。

参见图12所示，该电子设备包括处理器100和存储器101，该存储器101存储有能够被处理器100执行的机器可执行指令，该处理器100执行机器可执行指令以实现上述直播数据的处理方法。

进一步地，图12所示的电子设备还包括总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接。

其中，存储器101可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成前述实施例的方法的步骤。

本实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述直播数据的处理方法。

本发明实施例所提供的一种直播数据的处理方法、装置以及电子设备，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，例如：

接收第一终端设备发送的直播数据；直播数据包括多帧初始图像；将初始图像输入至预先训练的图像增强模型，通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像；增强图像的分辨率与初始图像的分辨率相匹配；基于增强图像，确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。

上述方法中，通过图像增强模型提取直播数据中初始图像的浅层图像特征及深层图像特征，进而基于这些图像特征生成分辨率与初始图像相匹配的增强图像，在不增加图像的分辨率的同时，提升了图像质量，使用户获得了更好的直播观看体验。

可选的，上述图像增强模型包括第一特征提取模块及第二特征提取模块；通过图像增强模型对初始图像进行特征提取处理，得到初始图像的浅层图像特征及深层图像特征的步骤，包括：通过第一特征提取模块对初始图像进行第一特征提取处理，得到初始图像的浅层图像特征；通过第二特征提取模块对浅层图像特征进行第二特征提取处理，得到初始图像的深层图像特征。

可选的，上述第一特征提取模块包括第一卷积层及第二卷积层；浅层图像特征包括初始图像对应的低分辨率图像；通过第一特征提取模块对初始图像进行第一特征提取处理，得到初始图像的浅层图像特征的步骤，包括：通过第一卷积层及第二卷积层对初始图像进行下采样处理，得到初始图像对应的低分辨率图像。

可选的，上述浅层图像特征包括初始图像对应的低分辨率图像；第二特征提取模块包括依次连接的第三卷积层、第一通道分离层、第四卷积层、第二通道分离层、第五卷积层及通道连接层；第一通道分离层及第二通道分离层与通道连接层连接；通过第二特征提取模块对浅层图像特征进行第二特征提取处理，得到初始图像的深层图像特征的步骤，包括：将初始图像对应的低分辨率图像输入至第三卷积层，通过第三卷积层对低分辨率图像进行卷积处理，得到第一图像特征；第一图像特征包括多个第一特征通道；通过第一通道分离层对多个第一特征通道进行通道分离处理，将设定比例的第一特征通道确定为第一深层特征通道；将除第一深层特征通道的第一特征通道输入至第四卷积层，通过第四卷积层对输入的第一特征通道进行卷积处理，得到第二图像特征；第二图像特征包括多个第二特征通道；通过第二通道分离层对多个第二特征通道进行通道分离处理，将设定比例的第二特征通道确定为第二深层特征通道；将除第二深层特征通道的第二特征通道输入至第五卷积层，通过第五卷积层对输入的第二特征通道进行卷积处理，得到第三深层特征通道；通过通道连接层对第一深层特征通道、第二深层特征通道及第三深层特征通道进行通道连接处理，得到初始图像的深层图像特征。

可选的，上述图像增强模型包括特征融合模块及上采样模块；基于浅层图像特征及深层图像特征，生成初始图像对应的增强图像的步骤，包括：通过特征融合模块对浅层图像特征及深层图像特征进行特征融合处理，得到融合图像；通过上采样模块对融合图像进行上采样处理，得到与初始图像的分辨率相匹配的增强图像。

可选的，上述图像增强模型包括高反差滤波模块；上述方法还包括：通过高反差滤波模块对初始图像对应的增强图像进行滤波处理，得到滤波后的增强图像。

可选的，上述图像增强模型包括色彩映射模块；上述方法还包括：通过色彩映射模块基于预设的颜色查找表对初始图像对应的增强图像进行色彩增强处理，得到色彩增强后的增强图像。

可选的，上述图像增强模型通过以下方式训练：从预设的样本集合中确定训练数据；训练数据包括样本图像及样本图像对应的对比图像；样本图像通过对对比图像进行编码及解码处理生成；将样本图像输入至初始模型中，得到初始模型输出的样本图像对应的处理图像；通过预设的损失函数基于处理图像及对比图像，确定初始模型的损失值；损失函数包括绝对值损失函数及纹理相似度损失函数的线性组合；基于损失值更新初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至损失值收敛，将损失值收敛后的初始模型确定为训练好的图像增强模型。

可选的，上述直播数据还包括音频数据；基于增强图像，确定处理后的直播数据的步骤，包括：对增强图像进行编码处理，得到编码后的增强图像；将编码后的增强图像与直播音频数据进行封装处理，将封装后的数据确定为处理后的直播数据。

可选的，上述处理后的直播数据对应预设的清晰度参数；上述方法还包括：接收第二终端设备发送的直播数据获取请求；直播数据获取请求包括第一清晰度参数；如果第一清晰度参数与直播数据对应的预设的清晰度参数一致，将第二终端设备确定为目标终端设备。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种直播数据的处理方法，其特征在于，所述方法包括：

接收第一终端设备发送的直播数据；所述直播数据包括多帧初始图像；

将所述初始图像输入至预先训练的图像增强模型，通过所述图像增强模型对所述初始图像进行特征提取处理，得到所述初始图像的浅层图像特征及深层图像特征；基于所述浅层图像特征及所述深层图像特征，生成所述初始图像对应的增强图像；所述增强图像的分辨率与所述初始图像的分辨率相匹配；

基于所述增强图像，确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。

2.根据权利要求1所述的方法，其特征在于，所述图像增强模型包括第一特征提取模块及第二特征提取模块；

通过所述图像增强模型对所述初始图像进行特征提取处理，得到所述初始图像的浅层图像特征及深层图像特征的步骤，包括：

通过所述第一特征提取模块对所述初始图像进行第一特征提取处理，得到所述初始图像的浅层图像特征；

通过所述第二特征提取模块对所述浅层图像特征进行第二特征提取处理，得到所述初始图像的深层图像特征。

3.根据权利要求2所述的方法，其特征在于，所述第一特征提取模块包括第一卷积层及第二卷积层；所述浅层图像特征包括所述初始图像对应的低分辨率图像；

通过所述第一特征提取模块对初始图像进行第一特征提取处理，得到所述初始图像的浅层图像特征的步骤，包括：

通过第一卷积层及第二卷积层对所述初始图像进行下采样处理，得到所述初始图像对应的低分辨率图像。

4.根据权利要求2所述的方法，其特征在于，所述浅层图像特征包括所述初始图像对应的低分辨率图像；所述第二特征提取模块包括依次连接的第三卷积层、第一通道分离层、第四卷积层、第二通道分离层、第五卷积层及通道连接层；所述第一通道分离层及所述第二通道分离层与所述通道连接层连接；

通过所述第二特征提取模块对所述浅层图像特征进行第二特征提取处理，得到所述初始图像的深层图像特征的步骤，包括：

将所述初始图像对应的低分辨率图像输入至第三卷积层，通过所述第三卷积层对低分辨率图像进行卷积处理，得到第一图像特征；所述第一图像特征包括多个第一特征通道；

通过第一通道分离层对所述多个第一特征通道进行通道分离处理，将设定比例的第一特征通道确定为第一深层特征通道；

将除所述第一深层特征通道的第一特征通道输入至第四卷积层，通过所述第四卷积层对输入的所述第一特征通道进行卷积处理，得到第二图像特征；所述第二图像特征包括多个第二特征通道；

通过第二通道分离层对所述多个第二特征通道进行通道分离处理，将设定比例的第二特征通道确定为第二深层特征通道；

将除所述第二深层特征通道的第二特征通道输入至第五卷积层，通过所述第五卷积层对输入的所述第二特征通道进行卷积处理，得到第三深层特征通道；

通过通道连接层对所述第一深层特征通道、所述第二深层特征通道及所述第三深层特征通道进行通道连接处理，得到所述初始图像的深层图像特征。

5.根据权利要求1所述的方法，其特征在于，所述图像增强模型包括特征融合模块及上采样模块；

基于所述浅层图像特征及所述深层图像特征，生成所述初始图像对应的增强图像的步骤，包括：

通过特征融合模块对所述浅层图像特征及所述深层图像特征进行特征融合处理，得到融合图像；

通过上采样模块对所述融合图像进行上采样处理，得到与所述初始图像的分辨率相匹配的增强图像。

6.根据权利要求1所述的方法，其特征在于，所述图像增强模型包括高反差滤波模块；

所述方法还包括：

通过高反差滤波模块对所述初始图像对应的增强图像进行滤波处理，得到滤波后的增强图像。

7.根据权利要求1所述的方法，其特征在于，所述图像增强模型包括色彩映射模块；

所述方法还包括：

通过色彩映射模块基于预设的颜色查找表对所述初始图像对应的增强图像进行色彩增强处理，得到色彩增强后的增强图像。

8.根据权利要求1所述的方法，其特征在于，所述图像增强模型通过以下方式训练：

从预设的样本集合中确定训练数据；所述训练数据包括样本图像及样本图像对应的对比图像；所述样本图像通过对所述对比图像进行编码及解码处理生成；

将所述样本图像输入至初始模型中，得到初始模型输出的所述样本图像对应的处理图像；

通过预设的损失函数基于所述处理图像及所述对比图像，确定所述初始模型的损失值；所述损失函数包括绝对值损失函数及纹理相似度损失函数的线性组合；

基于所述损失值更新所述初始模型的模型参数；继续执行从预设的样本数据中确定训练数据的步骤，直至所述损失值收敛，将损失值收敛后的初始模型确定为训练好的图像增强模型。

9.根据权利要求1所述的方法，其特征在于，所述直播数据还包括音频数据；

基于所述增强图像，确定处理后的直播数据的步骤，包括：

对所述增强图像进行编码处理，得到编码后的增强图像；

将编码后的增强图像与直播音频数据进行封装处理，将封装后的数据确定为处理后的直播数据。

10.根据权利要求1所述的方法，其特征在于，所述处理后的直播数据对应预设的清晰度参数；

所述方法还包括：

接收第二终端设备发送的直播数据获取请求；所述直播数据获取请求包括第一清晰度参数；

如果所述第一清晰度参数与所述直播数据对应的预设的清晰度参数一致，将所述第二终端设备确定为目标终端设备。

11.一种直播数据的处理装置，其特征在于，所述装置包括：

直播数据接收模块，用于接收第一终端设备发送的直播数据；所述直播数据包括多帧初始图像；

图像增强模块，用于将所述初始图像输入至预先训练的图像增强模型，通过所述图像增强模型对所述初始图像进行特征提取处理，得到所述初始图像的浅层图像特征及深层图像特征；基于所述浅层图像特征及所述深层图像特征，生成所述初始图像对应的增强图像；所述增强图像的分辨率与所述初始图像的分辨率相匹配；

直播数据发送模块，用于基于所述增强图像，确定处理后的直播数据，将处理后的直播数据发送至目标终端设备。

12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-10任一项所述的直播数据的处理方法。

13.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-10任一项所述的直播数据的处理方法。

Images