CN117560521A - 直播视频的画质增强方法、用户终端及系统 - Google Patents

直播视频的画质增强方法、用户终端及系统 Download PDF

Info

Publication number
CN117560521A
CN117560521A CN202311649006.7A CN202311649006A CN117560521A CN 117560521 A CN117560521 A CN 117560521A CN 202311649006 A CN202311649006 A CN 202311649006A CN 117560521 A CN117560521 A CN 117560521A
Authority
CN
China
Prior art keywords
image
characteristic
layer
live video
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311649006.7A
Other languages
English (en)
Inventor
杨婕婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Priority to CN202311649006.7A priority Critical patent/CN117560521A/zh
Publication of CN117560521A publication Critical patent/CN117560521A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种直播视频的画质增强方法、用户终端及系统，涉及图像处理技术领域，所述方法包括：获取直播视频流经解码后得到的YUV格式的原始图像帧；根据原始图像帧，分离得到第一灰阶通道图像及色度通道图像；将第一灰阶通道图像输入已训练的图像增强模型，得到增强后的第二灰阶通道图像；对第二灰阶通道图像和色度通道图像进行渲染，显示获得的直播视频图像。在上述设计中，通过图像增强模型进行画质增强，可以提高直播视频图像的清晰度和细节，使观众用户能够更好地欣赏到高清视频内容，提升观看体验。此外，通过对第一灰阶通道图像进行增强，可以在实现画质增强的同时，减少算力消耗和存储需求，能够有效降低功耗，延长设备的续航时间。

Description

直播视频的画质增强方法、用户终端及系统
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种直播视频的画质增强方法、用户终端及系统。
背景技术
在直播领域中，为了确保观众用户能够实时观看到直播画面，同时保持较低的延迟，直播平台通常会使用视频压缩算法来减小视频流的数据量。如此，可以适应观众用户的网络带宽和实时性要求，并且确保视频能够流畅地传输。然而，视频压缩会导致图像细节和质量的损失，从而影响观众用户的观看体验。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的在于提供一种直播视频的画质增强方法、用户终端及系统。
第一方面，本申请实施例提供一种直播视频的画质增强方法，应用于用户终端，所述直播视频的画质增强方法包括：
获取直播视频流经解码后得到的YUV格式的原始图像帧；
根据所述原始图像帧，分离得到第一灰阶通道图像及色度通道图像；
将所述第一灰阶通道图像输入已训练的图像增强模型，得到增强后的第二灰阶通道图像；
对所述第二灰阶通道图像和所述色度通道图像进行渲染，显示渲染获得的直播视频图像。
在一种可能的实现方式中，所述图像增强模型包括第一下采样层、第二下采样层、第一特征学习层、第一特征融合层、第一上采样层、第二特征融合层、第二特征学习层及第二上采样层；
所述将所述第一灰阶通道图像输入已训练的图像增强模型，得到增强后的第二灰阶通道图像的步骤，包括：
将所述第一灰阶通道图像输入所述第一下采样层进行下采样处理，得到第一特征图像；
将所述第一特征图像输入所述第二下采样层进行下采样处理，得到第二特征图像；
将所述第二特征图像输入所述第一特征学习层进行深度特征学习，得到第三特征图像；
将所述第二特征图像和所述第三特征图像输入所述第一特征融合层进行特征融合，得到第四特征图像；
将所述第四特征图像输入所述第一上采样层进行上采样处理，得到第五特征图像；
将所述第一特征图像和所述第五特征图像输入所述第二特征融合层进行特征融合，得到第六特征图像；
将所述第六特征图像输入所述第二特征学习层进行深度特征学习，得到第七特征图像；
将所述第七特征图像输入所述第二上采样层进行上采样处理，得到所述第二灰阶通道图像。
在一种可能的实现方式中，所述将所述第二特征图像和所述第三特征图像输入所述第一特征融合层进行特征融合，得到第四特征图像的步骤，包括：
通过特征图的相加融合的方式将所述第二特征图像和所述第三特征图像输入所述第一特征融合层进行特征融合，得到第四特征图像；
所述将所述第一特征图像和所述第五特征图像输入所述第二特征融合层进行特征融合，得到第六特征图像的步骤，包括：
通过特征图的相加融合的方式将所述第一特征图像和所述第五特征图像输入所述第二特征融合层进行特征融合，得到第六特征图像。
在一种可能的实现方式中，所述将所述第四特征图像输入所述第一上采样层进行上采样处理，得到第五特征图像的步骤，包括：
通过通道展开算法的方式将所述第四特征图像输入所述第一上采样层进行上采样处理，得到第五特征图像；
所述将所述第七特征图像输入所述第二上采样层进行上采样处理，得到所述第二灰阶通道图像的步骤，包括：
通过通道展开算法的方式将所述第七特征图像输入所述第二上采样层进行上采样处理，得到所述第二灰阶通道图像。
在一种可能的实现方式中，所述第一下采样层及所述第二下采样层为两倍下采样层；所述第一上采样层及所述第二上采样层为两倍上采样层。
在一种可能的实现方式中，所述方法还包括：
获取所述用户终端的处理性能信息，并将所述性能信息发送至服务器；
接收所述服务器根据所述处理性能信息下发的所述图像增强模型。
第二方面，本申请实施例还提供一种直播视频的画质增强方法，应用于直播系统，所述直播系统包括服务器及用户终端；
所述服务器对直播视频流进行压缩，并将所述压缩后的直播视频流发送至所述用户终端；
所述用户终端根据所述原始图像帧，分离得到第一灰阶通道图像及色度通道图像；
所述用户终端将所述第一灰阶通道图像输入已训练的图像增强模型，得到增强后的第二灰阶通道图像；
所述用户终端对所述第二灰阶通道图像和所述色度通道图像进行渲染，显示渲染获得的直播视频图像。
在一种可能的实现方式中，所述方法还包括：
所述用户终端获取所述用户终端的处理性能信息，并将所述性能信息发送至服务器；
所述服务器根据接收到的所述处理性能信息确定对应的所述图像增强模型，并将所述图像增强模型发送至所述用户终端；
所述用户终端接收并部署所述图像增强模型。
第三方面，本申请实施例还提供一种用户终端，包括：
存储器，用于存储一个或多个程序；
处理器，当所述一个或多个程序被所述处理器执行时，实现上述第一方面提供的直播视频的画质增强方法。
第四方面，本申请实施例还提供一种直播视频的画质增强系统，包括：服务器及用户终端；
所述服务器用于对直播视频流进行压缩，并将所述压缩后的直播视频流发送至所述用户终端；
所述用户终端用于根据所述原始图像帧，分离得到第一灰阶通道图像及色度通道图像；所述用户终端将所述第一灰阶通道图像输入已训练的图像增强模型，得到增强后的第二灰阶通道图像；所述用户终端对所述第二灰阶通道图像和所述色度通道图像进行渲染，显示渲染获得的直播视频图像。
基于上述任意一个方面，本申请实施例提供的直播视频的画质增强方法、用户终端及系统，通过将原始图像帧分离为第一灰阶通道图像及色度通道图像，并通过图像增强模型对第一灰阶通道图像进行增强得到第二灰阶通道图像，最后对第二灰阶通道图像和色度通道图像进行渲染得到高质量的直播视频图像，可以提高直播视频图像的清晰度和细节，使观众用户能够更好地欣赏到高清视频内容，提升观看体验。此外，在实现画质增强的同时，还可以减少算力消耗和存储需求，且能够有效降低功耗，延长设备的续航时间。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要调用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本实施例提供的直播视频的画质增强方法的一种示意性应用场景图；
图2为本实施例提供的直播视频的画质增强方法的示意性流程图之一；
图3为本实施例提供的图像增强模型的结构示意图；
图4为本实施例提供的步骤S300的子步骤示意图；
图5为本实施例提供的直播视频的画质增强方法的示意性流程图之二；
图6为本实施例提供的用户终端的一种示意性结构框图。
图标：100-服务器；200-用户终端；210-处理器；220-计算机可读存储介质；230-直播视频的画质增强装置；300-图像增强模型；310-第一下采样层；320-第二下采样层；330-第一特征学习层；340-第一特征融合层；350-第一上采样层；360-第二特征融合层；370-第二特征学习层；380-第二上采样层。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的不同特征之间可以相互结合。
本实施例提供一种可以解决上述问题的方案，下面结合附图，对本申请的具体实施方式进行详细说明。
请参照图1，图1示例本实施例提供的直播视频的画质增强方法的一种示意性应用场景图，所述直播视频的画质增强方法可以应用于直播系统，所述直播系统可以包括服务器100及用户终端200。所述服务器100及用户终端200可以通过有线网络或无线网络相互通信。
可以理解的是，图1仅为示意，在图1所示应用场景中仅示意出一个用户终端200，在一些其他的应用场景中，服务器100还可以跟更多的用户终端200建立通信，从而使更多的用户终端200能够获得所述服务器100发送的所述直播视频流。
所述服务器100可以为独立用户终端，也可以为多个用户终端组成的集群。
在本申请实施例中，所述用户终端200可以采用用户终端设备，例如可以为智能手机、个人电脑(personal computer，PC)、平板电脑等等。
在一些实施例中，所述用户终端200是指接收和观看网络直播视频并对所述直播视频流进行图像增强处理处理的一端，例如，可以是网络直播中观看视频的观众用户所采用的终端。
在一种可能的实施方式中，所述服务器100可以对直播视频流进行压缩，并将所述压缩后的直播视频流发送至所述用户终端。
所述用户终端200可以根据所述原始图像帧，分离得到第一灰阶通道图像及色度通道图像。
所述用户终端200可以将所述第一灰阶通道图像输入已训练的图像增强模型300，得到增强后的第二灰阶通道图像。
所述用户终端200可以对所述第二灰阶通道图像和所述色度通道图像进行渲染，显示渲染获得的直播视频图像。
在一种可能的实施方式中，所述用户终端200还可以获取所述用户终端200的处理性能信息，并将所述性能信息发送至服务器100。
所述服务器100还可以根据接收到的所述处理性能信息确定对应的所述图像增强模型300，并将所述图像增强模型300发送至所述用户终端200。
所述用户终端200还可以接收并部署所述图像增强模型300。
请参照图2，图2示例本实施例提供的直播视频的画质增强方法的流程示意图，所述直播视频的画质增强方法可以应用于图1所示的用户终端200，所述方法可以包括以下步骤。
步骤S100，获取直播视频流经解码后得到的YUV格式的原始图像帧。
在本实施例中，可以对获取的低质量的所述直播视频流进行解码，从而得到低质量的YUV格式的所述原始图像帧。其中，Y表示明亮度(Luminance或Luma)，也就是灰度值；U和V表示色度(Chrominance或Chroma)，其主要用于指定像素的颜色。
步骤S200，根据所述原始图像帧，分离得到第一灰阶通道图像及色度通道图像。
在本实施例中，可以将步骤S100得到的低质量的YUV格式的所述原始图像帧进行分离，从而得到所述第一灰阶通道图像及所述色度通道图像。其中，所述第一灰阶通道图像为低质量的Y通道图像，所述色度通道图像为UV通道图像。
步骤S300，将所述第一灰阶通道图像输入已训练的图像增强模型300，得到增强后的第二灰阶通道图像。
与YUV格式的所述原始图像帧相比，所述第一灰阶通道图像传输的数据量更小，为了减少所述用户终端200的算力消耗和存储需求，可以将步骤S200得到的所述第一灰阶通道图像输入已训练的图像增强模型300，进行所述第一灰阶通道图像的画质增强，从而得到增强后的所述第二灰阶通道图像。如此，能够有效降低功耗，并延长设备的续航时间。
具体地，所述图像增强模型300可以对接收到的低分辨率的所述第一灰阶通道图像进行实时的图像增强和修复处理，提高图像的清晰度、细节和色彩还原度，从而进一步提升直播画面的清晰度和质量。
步骤S400，对所述第二灰阶通道图像和所述色度通道图像进行渲染，显示渲染获得的直播视频图像。
在本实施例中，可以对步骤S200得到的所述色度通道图像以及步骤S300得到的所述色度通道图像进行合并，并将合并后的图像进行渲染，从而得到高质量的所述直播视频图像。
基于上述设计，本申请实施例提供的直播视频的画质增强方法，通过将所述原始图像帧分离为所述第一灰阶通道图像及所述色度通道图像，并通过所述图像增强模型300对所述第一灰阶通道图像进行增强得到所述第二灰阶通道图像，最后对所述第二灰阶通道图像和所述色度通道图像进行渲染得到高质量的所述直播视频图像，可以提高所述直播视频图像的清晰度和细节，使观众用户能够更好地欣赏到高清视频内容，提升观看体验。此外，在实现画质增强的同时，还可以减少算力消耗和存储需求，且能够有效降低功耗，延长设备的续航时间。
在一种可能的实现方式中，请参照图3，所述图像增强模型300可以包括第一下采样层310、第二下采样层320、第一特征学习层330、第一特征融合层340、第一上采样层350、第二特征融合层360、第二特征学习层370及第二上采样层380。
请参照图4，步骤S300可以包括以下子步骤。
步骤S310，将所述第一灰阶通道图像输入所述第一下采样层310进行下采样处理，得到第一特征图像。
在本实施例中，所述第一下采样层310可以用于降低所述第一灰阶通道图像的分辨率，以减少计算量和提取图像的全局特征。
步骤S320，将所述第一特征图像输入所述第二下采样层320进行下采样处理，得到第二特征图像。
在本实施例中，所述第二下采样层320可以进一步降低步骤S310中得到的所述第一特征图像的分辨率，以减少算力消耗。
步骤S330，将所述第二特征图像输入所述第一特征学习层330进行深度特征学习，得到第三特征图像。
在本实施例中，所述第一特征学习层330可以通过卷积等操作，提取步骤S320中得到的所述第二特征图像的特征，从而得到所述第三特征图像。
具体地，所述第一特征学习层330可以包括5个卷积层及4个线性整流函数(Rectified Linear Unit，ReLU)层，其中，除了最后一个卷积层以外，其他每个卷积层后均设置有一个线性整流函数(Rectified Linear Unit，ReLU)层，每个卷积层的卷积核数目可以为3，卷积步长可以为1，输出通道数目可以为16。
步骤S340，将所述第二特征图像和所述第三特征图像输入所述第一特征融合层340进行特征融合，得到第四特征图像。
在本实施例中，所述第二特征图像和所述第三特征图像的分辨率相同，可以将步骤S320得到的所述第二特征图像和步骤S330得到的所述第三特征图像输入所述第一特征融合层340进行特征融合，从而得到所述第四特征图像，以保留更多细节信息。
步骤S350，将所述第四特征图像输入所述第一上采样层350进行上采样处理，得到第五特征图像。
在本实施例中，可以将步骤S340得到的所述第四特征图像输入所述第一上采样层350进行上采样处理，恢复图像的分辨率，从而得到所述第五特征图像。
步骤S360，将所述第一特征图像和所述第五特征图像输入所述第二特征融合层360进行特征融合，得到第六特征图像。
在本实施例中，所述第一特征图像和所述第五特征图像的分辨率相同，可以将步骤S310得到的所述第一特征图像和步骤S350得到的所述第五特征图像输入所述第二特征融合层360进行特征融合，从而得到所述第四特征图像。
步骤S370，将所述第六特征图像输入所述第二特征学习层370进行深度特征学习，得到第七特征图像。
在本实施例中，所述第二特征学习层370可以提取步骤S360得到的所述第六特征图像的特征，从而得到所述第七特征图像。
具体地，所述第二特征学习层370可以包括3个卷积层及2个线性整流函数(Rectified Linear Unit，ReLU)层，其中，除了最后一个卷积层以外，其他每个卷积层后均设置有一个线性整流函数(Rectified Linear Unit，ReLU)层，每个卷积层的卷积核数目可以为3，卷积步长可以为1，输出通道数目可以为8。
步骤S380，将所述第七特征图像输入所述第二上采样层380进行上采样处理，得到所述第二灰阶通道图像。
在本实施例中，可以将步骤S370得到的所述第七特征图像输入所述第二上采样层380进行上采样处理，恢复图像的分辨率，从而得到所述第二灰阶通道图像。所述第二灰阶通道图像的分辨率与所述第一灰阶通道图像的分辨率相同。
在上述设计中，所述图像增强模型300结构简单，参数量少，若以720P的所述第一灰阶通道图像作为所述图像增强模型300的输入，则所述图像增强模型300的计算量仅为3GFLOPs(Giga Floating Point Operations，FLOPs)，可以实现高效的运行速度，并且能够达到较好的画质增强效果，有效提高画面清晰度。
在一种可能的实现方式中，在将所述第二特征图像和所述第三特征图像输入所述第一特征融合层340进行特征融合，得到第四特征图像时，可以通过特征图的相加融合(Add)的方式将所述第二特征图像和所述第三特征图像输入所述第一特征融合层340进行特征融合，得到第四特征图像。
在将所述第一特征图像和所述第五特征图像输入所述第二特征融合层360进行特征融合，得到第六特征图像时，可以通过特征图的相加融合(Add)的方式将所述第一特征图像和所述第五特征图像输入所述第二特征融合层360进行特征融合，得到第六特征图像。
在本实施例中，在将所述第二特征图像和所述第三特征图像输入所述第一特征融合层340进行特征融合以及将所述第一特征图像和所述第五特征图像输入所述第二特征融合层360进行特征融合时，可以通过Add和Concat两种方式进行特征融合。Add是将两个特征图进行相加，通道数不变；而Concat是将两个特征图的通道数进行合并。
具体地，在U-Net的网络模型中，通常通过Concat的方式进行特征融合，然而，相比于通过Concat的方式进行特征融合，通过Add的方式进行特征融合可以减少模型的参数数量和计算量，从而节省算力。因此，本实施例优选通过Add的方式进行特征融合。
在一种可能的实现方式中，在将所述第四特征图像输入所述第一上采样层350进行上采样处理，得到第五特征图像时，可以通过通道展开算法(depth_to_space)的方式将所述第四特征图像输入所述第一上采样层350进行上采样处理，得到第五特征图像。
具体地，在通过通道展开算法(depth_to_space)的方式将所述第四特征图像输入所述第一上采样层350进行上采样处理处理时，可以先经过一个卷积层，其中，卷积核数目可以为3，卷积步长可以为2，输出通道数目可以为32，然后经过一个depth_to_space层，通过通道重排来实现上采样。
需要说明的是，在通过所述第一上采样层350进行上采样处理时，还可以通过转置卷积的方式进行上采样处理，其中，卷积核数目可以为3，卷积步长可以为2，输出通道数目可以为8。
在将所述第七特征图像输入所述第二上采样层380进行上采样处理，得到所述第二灰阶通道图像时，可以通过通道展开算法(depth_to_space)的方式将所述第七特征图像输入所述第二上采样层380进行上采样处理，得到所述第二灰阶通道图像。
具体地，在将所述第七特征图像输入所述第二上采样层380进行上采样处理时，可以通过通道展开算法(depth_to_space)的方式或转置卷积的方式进行上采样处理，其中，所述第二上采样层380的输出通道数与所述第一灰阶通道图像的输入通道数相同，均为1。
在一种可能的实现方式中，所述第一下采样层310及所述第二下采样层320可以为两倍下采样层。所述第一上采样层350及所述第二上采样层380可以为两倍上采样层。
具体地，所述第一下采样层310及所述第二下采样层320的卷积核数目可以为3，卷积步长可以为2，输出通道数目可以为8。所述第一下采样层310及所述第二下采样层320后都设置有一个线性整流函数(Rectified Linear Unit，ReLU)层。所述第一下采样层310及所述第二下采样层320可以用于降低所述第一灰阶通道图像的分辨率，以减少算力消耗。若所述第一下采样层310和/或所述第二下采样层320采用四倍下采样层，则会导致图像细节信息损失过多，从而影响最终输出的图像质量，因此，在本实施例中，所述第一下采样层310及所述第二下采样层320可以均为两倍下采样卷积层。
所述第一上采样层350及所述第二上采样层380可以用于增加图像的分辨率，从而使所述第二灰阶通道图像的分辨率与所述第一灰阶通道图像的分辨率相同。由于所述第一下采样层310及所述第二下采样层320将图像的分辨率降低为原来的四分之一，为了将图像的分辨率恢复到原有尺寸，所述第一上采样层350及所述第二上采样层380可以均为两倍上采样层，所述第一上采样层350可以将图像的分辨率恢复为原来的二分之一，所述第二上采样层380可以将图像的分辨率恢复为原来的分辨率。在上述设计中，通过分阶段地使用两个两倍上采样层，能够同时保证较低的计算量和较好的画质增强效果。
在一种可能的实现方式中，请参照图5，所述直播视频的画质增强方法还可以包括以下步骤。
步骤S510，获取所述用户终端200的处理性能信息，并将所述性能信息发送至服务器100。
步骤S520，接收所述服务器100根据所述处理性能信息下发的所述图像增强模型300。
在本实施例中，所述用户终端200可以将获取的所述处理性能信息发送至所述服务器100，并接收所述服务器100根据所述处理性能信息下发的所述图像增强模型300，从而通过所述图像增强模型300对所述第一灰阶通道图像进行增强。
具体地，所述处理性能信息可以包括神经处理单元(Neural Processing Unit，NPU)和图形处理单元(Graphics Processing Unit，GPU)的性能数据。所述图像增强模型300可以根据不同的所述处理性能信息进行灵活调整。当所述用户终端200的算力充足时，可以将所述图像增强模型300中除所述第二上采样层380之外的所有卷积层的输出通道数目都变为原来的两倍，例如，可以将所述第一特征学习层330中的卷积层的输出通道数目变为32，也可以将所述第二特征学习层370中的卷积层的输出通道数目变为16。
所述图像增强模型300可以通过训练大量的图像数据，学习到图像的特征和结构，并能够通过图像增强技术提升图像的清晰度、细节和色彩还原度。
在传统的视频传输中，画质增强通常是在所述服务器100中完成的，然后通过网络传输到所述用户终端200，这通常需要较大的带宽和稳定的网络连接，而在本申请实施例中，所述用户终端200可以通过所述图像增强模型300进行直播视频流的画质增强，减少对网络带宽的需求，从而提高视频传输的稳定性和可靠性；同时，观众用户可以更加流畅地观看高清画质视频，而不会受到网络限制的影响。
基于相同的发明构思，本实施例还提供一种用户终端200，请参照图6，图6示例所述用户终端200的方框示意图。所述用户终端200包括直播视频的画质增强装置230、计算机可读存储介质220及处理器210。
所述计算机可读存储介质220、处理器210相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述直播视频的画质增强装置230包括多个可以软件或固件(firmware)的形式存储于所述计算机可读存储介质220中或固化在所述直播视频的画质增强装置230的操作系统(operating system，OS)中的软件功能模块。所述处理器210用于执行所述计算机可读存储介质220中存储的可执行模块，例如所述直播视频的画质增强装置230所包括的软件功能模块及计算机程序等。
其中，所述计算机可读存储介质220可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。其中，计算机可读存储介质220用于存储程序，所述处理器210在接收到执行指令后，执行所述程序。
所述处理器210可能是一种集成电路芯片，具有信号的处理能力。上述的处理器210可以是通用处理器210，包括中央处理器210(Central Processing Unit，简称CPU)、网络处理器210(Network Processor，简称NP)等；还可以是数字信号处理器210(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器210可以是微处理器210或者该处理器210也可以是任何常规的处理器210等。
本申请实施例还提供了一种直播视频的画质增强系统，所述直播视频的画质增强系统包括服务器100及用户终端200。
所述服务器100可以用于对直播视频流进行压缩，并将所述压缩后的直播视频流发送至所述用户终端200。
所述用户终端200可以用于根据所述原始图像帧，分离得到第一灰阶通道图像及色度通道图像。所述用户终端200可以将所述第一灰阶通道图像输入已训练的图像增强模型300，得到增强后的第二灰阶通道图像。所述用户终端200可以对所述第二灰阶通道图像和所述色度通道图像进行渲染，显示渲染获得的直播视频图像。
综上所述，本申请实施例提供的一种直播视频的画质增强方法、用户终端及系统，通过将原始图像帧分离为第一灰阶通道图像及色度通道图像，并通过图像增强模型对第一灰阶通道图像进行增强得到第二灰阶通道图像，最后对第二灰阶通道图像和色度通道图像进行渲染得到高质量的直播视频图像，可以提高直播视频图像的清晰度和细节，使观众用户能够更好地欣赏到高清视频内容，提升观看体验。此外，在实现画质增强的同时，还可以减少算力消耗和存储需求，且能够有效降低功耗，延长设备的续航时间。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种直播视频的画质增强方法，其特征在于，应用于用户终端，所述方法包括：
获取直播视频流经解码后得到的YUV格式的原始图像帧；
根据所述原始图像帧，分离得到第一灰阶通道图像及色度通道图像；
将所述第一灰阶通道图像输入已训练的图像增强模型，得到增强后的第二灰阶通道图像；
对所述第二灰阶通道图像和所述色度通道图像进行渲染，显示渲染获得的直播视频图像。
2.根据权利要求1所述的直播视频的画质增强方法，其特征在于，所述图像增强模型包括第一下采样层、第二下采样层、第一特征学习层、第一特征融合层、第一上采样层、第二特征融合层、第二特征学习层及第二上采样层；
所述将所述第一灰阶通道图像输入已训练的图像增强模型，得到增强后的第二灰阶通道图像的步骤，包括：
将所述第一灰阶通道图像输入所述第一下采样层进行下采样处理，得到第一特征图像；
将所述第一特征图像输入所述第二下采样层进行下采样处理，得到第二特征图像；
将所述第二特征图像输入所述第一特征学习层进行深度特征学习，得到第三特征图像；
将所述第二特征图像和所述第三特征图像输入所述第一特征融合层进行特征融合，得到第四特征图像；
将所述第四特征图像输入所述第一上采样层进行上采样处理，得到第五特征图像；
将所述第一特征图像和所述第五特征图像输入所述第二特征融合层进行特征融合，得到第六特征图像；
将所述第六特征图像输入所述第二特征学习层进行深度特征学习，得到第七特征图像；
将所述第七特征图像输入所述第二上采样层进行上采样处理，得到所述第二灰阶通道图像。
3.根据权利要求2所述的直播视频的画质增强方法，其特征在于，所述将所述第二特征图像和所述第三特征图像输入所述第一特征融合层进行特征融合，得到第四特征图像的步骤，包括：
通过特征图的相加融合的方式将所述第二特征图像和所述第三特征图像输入所述第一特征融合层进行特征融合，得到第四特征图像；
所述将所述第一特征图像和所述第五特征图像输入所述第二特征融合层进行特征融合，得到第六特征图像的步骤，包括：
通过特征图的相加融合的方式将所述第一特征图像和所述第五特征图像输入所述第二特征融合层进行特征融合，得到第六特征图像。
4.根据权利要求2所述的直播视频的画质增强方法，其特征在于，所述将所述第四特征图像输入所述第一上采样层进行上采样处理，得到第五特征图像的步骤，包括：
通过通道展开算法的方式将所述第四特征图像输入所述第一上采样层进行上采样处理，得到第五特征图像；
所述将所述第七特征图像输入所述第二上采样层进行上采样处理，得到所述第二灰阶通道图像的步骤，包括：
通过通道展开算法的方式将所述第七特征图像输入所述第二上采样层进行上采样处理，得到所述第二灰阶通道图像。
5.根据权利要求2所述的直播视频的画质增强方法，其特征在于，所述第一下采样层及所述第二下采样层为两倍下采样层；所述第一上采样层及所述第二上采样层为两倍上采样层。
6.根据权利要求1所述的直播视频的画质增强方法，其特征在于，所述方法还包括：
获取所述用户终端的处理性能信息，并将所述性能信息发送至服务器；
接收所述服务器根据所述处理性能信息下发的所述图像增强模型。
7.一种直播视频的画质增强方法，其特征在于，应用于直播系统，所述直播系统包括服务器及用户终端；
所述服务器对直播视频流进行压缩，并将所述压缩后的直播视频流发送至所述用户终端；
所述用户终端根据所述原始图像帧，分离得到第一灰阶通道图像及色度通道图像；
所述用户终端将所述第一灰阶通道图像输入已训练的图像增强模型，得到增强后的第二灰阶通道图像；
所述用户终端对所述第二灰阶通道图像和所述色度通道图像进行渲染，显示渲染获得的直播视频图像。
8.根据权利要求7所述的直播视频的画质增强方法，其特征在于，所述方法还包括：
所述用户终端获取所述用户终端的处理性能信息，并将所述性能信息发送至服务器；
所述服务器根据接收到的所述处理性能信息确定对应的所述图像增强模型，并将所述图像增强模型发送至所述用户终端；
所述用户终端接收并部署所述图像增强模型。
9.一种用户终端，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器，当所述一个或多个程序被所述处理器执行时，实现如权利要求1-8中任意一项所述的方法。
10.一种直播视频的画质增强系统，其特征在于，包括：服务器及用户终端；
所述服务器用于对直播视频流进行压缩，并将所述压缩后的直播视频流发送至所述用户终端；
所述用户终端用于根据所述原始图像帧，分离得到第一灰阶通道图像及色度通道图像；所述用户终端将所述第一灰阶通道图像输入已训练的图像增强模型，得到增强后的第二灰阶通道图像；所述用户终端对所述第二灰阶通道图像和所述色度通道图像进行渲染，显示渲染获得的直播视频图像。
CN202311649006.7A 2023-12-01 2023-12-01 直播视频的画质增强方法、用户终端及系统 Pending CN117560521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311649006.7A CN117560521A (zh) 2023-12-01 2023-12-01 直播视频的画质增强方法、用户终端及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311649006.7A CN117560521A (zh) 2023-12-01 2023-12-01 直播视频的画质增强方法、用户终端及系统

Publications (1)

Publication Number Publication Date
CN117560521A true CN117560521A (zh) 2024-02-13

Family

ID=89823086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311649006.7A Pending CN117560521A (zh) 2023-12-01 2023-12-01 直播视频的画质增强方法、用户终端及系统

Country Status (1)

Country Link
CN (1) CN117560521A (zh)

Similar Documents

Publication Publication Date Title
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
US10242646B2 (en) RGB to YUV format conversion and inverse conversion method and circuit for depth packing and depacking
WO2019134557A1 (zh) 视频图像的处理方法及装置
WO2021244440A1 (zh) 电视画质调整方法、装置和系统及电视机设备
CN105959724B (zh) 一种视频数据处理方法以及装置
CN111429357B (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
US20220237754A1 (en) Image processing method and apparatus
CN112087648A (zh) 图像处理方法、装置、电子设备及存储介质
CN114040246A (zh) 图形处理器的图像格式转换方法、装置、设备及存储介质
CN107220934B (zh) 图像重建方法及装置
US7580041B1 (en) Direct storage of compressed scan converted data
CN115089966A (zh) 应用于云游戏的视频渲染方法、系统及相关设备
CN112565887B (zh) 一种视频处理方法、装置、终端及存储介质
CN113822803A (zh) 图像超分处理方法、装置、设备及计算机可读存储介质
CN112653905B (zh) 图像处理方法、装置、设备及存储介质
CN117560521A (zh) 直播视频的画质增强方法、用户终端及系统
CN115941965A (zh) 云桌面编码方法、重建方法、显示方法和显示系统
KR20160082521A (ko) 크로마 하향 변환 및 상향 변환 처리
CN108933945B (zh) 一种gif图片的压缩方法、装置及存储介质
JP2010213356A (ja) 画像データを処理する方法、及び装置
CN111953986A (zh) 图像处理方法及装置
CN113271466B (zh) 图像编码方法、解码方法、传输方法以及存储装置和处理装置
WO2023185706A1 (zh) 影像处理方法、影像处理装置、存储介质
CN115150370B (zh) 一种图像处理的方法
US20220138906A1 (en) Image Processing Method, Apparatus, and Device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination