CN112788024B - 一种用于8k超高清视频的实时编码的方法及系统 - Google Patents

Abstract

一种用于8K超高清视频的实时编码的方法和系统，包括：采集视频数据，输出YUV像素格式数据；在YUV像素格式转换时，使用汇编做优化并将视频分片，转换后的所述YUV数据编码成视频码流；并将视频码流封装成视频流或文件供用户观看。在YUV像素格式转换时，具体包括：创建线程池，线程数量为M；将需要转换的视频数据按照预先设定的规则做切片，切片数量为N，将切片数量分组，每一组包含M个切片，与线程池中线程数量相对应；将每一组切片投入到线程池中处理，直至所有的分组处理完毕，以实现切片之间并行转换。本发明使用汇编优化，视频分片和线程池技术，将采集卡decklink采集到的视频数据uyvy422，转换为用户设定的格式yuv420p。其弥补了8K超高清视频不能实时编码50帧/秒的缺陷，提升用户的观看体验。

Description

一种用于8K超高清视频的实时编码的方法及系统

技术领域

本发明涉及一种视频编码领域，尤其涉及一种用于8K超高清视频的实时编码的方法及系统。

背景技术

目前超高清视频市场需求强劲，人类眼睛对于影像清晰度和流畅度有着永无止境的追求，国家也发布了“4K先行，兼顾8K”的针对超高清视频产业的方针，随着超高清产业正式进入规模商用时代，将撬动文化、信息和电子等产业数万亿的产业规模增量。

超高清视频市场状况中，政府、电信、家电、教育、医疗等是超高清视频的重点应用行业，大型跨国集团等电话会议市场需求强劲，为超高清视频市场注入了新的活力。中小型企业及二、三线城市企事业单位也都呈现出了迫切的需求。根据网络数据统计显示，到2022年，我国超高清视频占比将从80％提升至95％。同时伴随5G时代来临，有专家预测超高清视频将在5G时代高速发展。实现8K的高效视频传输与处理也是5G时代下最广泛、基础的需求。也就是说，随着网络通信和视频处理技术的快速发展，8K超高清视频逐步成为人们对视觉体验的新需求。8K超高清视频的数据量大，对编码压缩性能要求比较高。

华东师范大学在CN202020700573.6公开了一种8K视频压缩码流解码处理与显示设备，它包括电源模块、时钟模块、视频输入模块、视频解码模块、视频输出模块和系统控制模块，其中，视频输入模块包括光接口输入模块与视频输入缓存模块，视频解码模块包括解码操作模块与DDR4高速视频缓存模块，视频输出模块包括视频输出缓存模块、光接口输出模块、HDMI接口输出模块与DP接口输出模块，系统控制模块包括ARM控制模块与DDR4程序执行缓存模块。本实用新型面向超高清视频领域中，例如4K、8K等低延迟、大流量的视频编码数据，提供一个高速传输通路与实时解码处理及显示的设备。即，该设备中集成了4路HDMI2.0输出接口，因此可以支持8K视频的输出显示，且集成了4路SFP+光接口，共支持40Gbps超高带宽的视频数据的双向远程传输与高速转发。这是通过硬件的方式解决低延迟、大流量的视频编码数据的问题。

北京奇艺世纪科技有限公司在2020年06月28日申请号为CN202010600416.2中公开了一种视频图像处理方法，该方法包括：第一服务器获取终端设备请求待播放视频码流；第二服务器对视频码流进行解码后获取视频；对视频中的帧图像进行分块，获取与帧图像对应的多个分画面，以及与每个分画面对应的元数据；将元数据发送至终端设备；对所有分画面进行同步转码，并存储。通过该种方式，就可以避免由于用户网络传输条件限制，无法传输高码率在线视频的问题。而且，每次根据终端设备的请求，只是传输下一刻终端设备需要展示的帧图像画面，完全不用考虑终端设备的功耗、散热、计算能力等方面的影响，避免大多数终端设备无法解码8K以及8K以上的视频的问题。用户也可以通过终端设备流畅观看超高清视频。这种是通过增设服务器等硬件投入来实现终端设备流畅观看超高清视频的问题。

但是，如何更进一步通过技术创新来完成8K超高清视频能实时编码，比如达到50帧/秒，以提升用户的观看体验，是本领域的技术人员一直想要解决的问题。

发明内容

本发明的目的在于提供一种过技术创新来完成8K超高清视频能实时编码，比如达到50帧/秒，以提升用户的观看体验。

一种用于8K超高清视频的实时编码的方法，包括：

采集视频数据，输出YUV像素格式数据；

在所述YUV像素格式转换时，使用汇编做优化并将视频分片，以利于多线程实现片间并行转换，具体包括：

创建线程池，线程数量为M；

将需要转换的视频数据按照预先设定的规则做切片，切片数量为N，将切片数量分组，每一组包含M个切片，与线程池中线程数量相对应；

将每一组切片投入到线程池中处理，直至所有的分组处理完毕，以实现切片之间并行转换；

转换后的所述YUV数据编码成视频码流；

将视频码流封装成视频流或文件供用户观看。

本方法还可以包括：

预设设置引擎内存池管理模型，所述引擎内存池管理模型进一步包括：

设置thread cache线程缓存层：预先设置若干大小的内存作为thread cache；每一线程维护一预设预先设定存储空间大小的小内存；当所述线程申请小内存时，直接在所述thread cache中获取；

设置central cache中央缓存层：对于每一个进程预申请预先设定空间大小的大内存空间，如果线程申请的内存过大或者thread cache已经不够用时，就在所述centralcache中获取内存；

设置page cache页面缓存层：设置系统以页面大小为单位管理内存及对应的页面内存空间，当上层内存不足时或者申请内存块过大时，直接从所述page cache中申请内存。

一种用于8K超高清视频的实时编码的系统，其进一步包括：

采集模块：用于采集视频数据，输出YUV像素格式数据；

像素格式转换模块：用于在所述YUV像素格式转换时，使用汇编做优化并将视频分片，以利于多线程实现片间并行转换，具体包括：

线程池创建子模块：用于创建线程池，线程数量为M；

视频分片子模块：用于将需要转换的视频数据按照预先设定的规则做切片，切片数量为N，将切片数量分组，每一组包含M个切片，与线程池中线程数量相对应；

分组子模块：用于将每一组切片投入到线程池中处理，直至所有的分组处理完毕，以实现切片之间并行转换；

编码模块：用于将转换后的所述YUV数据编码成视频码流；

封装模块：用于将视频码流封装成视频流或文件供用户观看。

本系统还可以包括：引擎内存池管理模型，所述引擎内存池管理模型进一步包括：

thread cache线程缓存层：预先设置若干大小的内存作为thread cache；每一线程维护一预设预先设定存储空间大小的小内存；当所述线程申请小内存时，直接在所述thread cache中获取；

central cache中央缓存层：对于每一个进程预申请预先设定空间大小的大内存空间，如果线程申请的内存过大或者thread cache已经不够用时，就在所述central cache中获取内存；

page cache页面缓存层：设置系统以页面大小为单位管理内存及对应的页面内存空间，当上层内存不足时或者申请内存块过大时，直接从所述page cache中申请内存。

本发明采用一种用于8K超高清视频的实时编码的方法，使用自研编码引擎。该编码引擎采用内存池技术，接收采集卡decklink采集到的视频数据uyvy422，通过汇编优化，视频分片和线程池技术，将uyvy422格式转换为用户设定的格式yuv420p，再经过图像处理后，对视频编码，编码使用指定NUMA节点，提高内存访问速度，最后将视频编码数据封装成直播流或文件。

使用本方法后的测试数据如下：

处理器：Intel(R)Xeon(R)Platinum 8168 CPU@2.70GHz

编码器：自研H.265编码器

设置码率：120M

设置帧率：50fps

测试结果：编码实时帧率50fps。而且最高码率支持到120M，因此用户可以尽情享受8K超高清视频带来的视觉体验。即，采用本方法后，可以实现实时编码50帧/秒8K超高清视频，使用户获得8K超高清视频的实时观看体验。

附图说明

图1为本发明的系统图；

图2为本发明视频数据像素格式转换时一种实例图；

图3为引擎内存池管理模型的原理图；

图4为引擎采用指定NUMA节点编码方案的原理图。

具体实施方式

以下结合附图，具体说明本发明。

请参阅图1-4，8K超高清视频实时编码的流程包括：采集卡(如，decklink)采集视频数据，输出uyvy422格式。

YUV，是一种颜色编码方法。常使用在各个影像处理元件中。YUV在对照片或影片编码时，考虑到人类的感知能力，允许降低色度的带宽。

YUV是编译true-color颜色空间(color space)的种类，Y′UV，YUV，YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。

“Y”表示明亮度(Luminance、Luma)，“U”和“V”则是色度、浓度(Chrominance、Chroma)，Y′UV，YUV，YCbCr，YPbPr所指涉的范围，常有混淆或重叠的情况。从历史的演变来说，其中YUV和Y′UV通常用来编码电视的模拟信号，而YCbCr则是用来描述数位的影像信号，适合影片与图片压缩以及传输，例如MPEG、JPEG。但在现今，YUV通常已经在电脑系统上广泛使用。

Y′代表明亮度(luma；brightness)而U与V储存色度(色讯；chrominance；color)部分；亮度(luminance)记作Y，而Y′的prime符号记作伽玛校正。

YUV Formats分成两个格式：

紧缩格式(packed formats)：将Y、U、V值储存成Macro Pixels阵列，和RGB的存放方式类似。

平面格式(planar formats)：将Y、U、V的三个分量分别存放在不同的矩阵中。

紧缩格式(packed format)中的YUV是混合在一起的，对于YUV4∶4∶4格式而言，用紧缩格式很合适的，因此就有了UYVY、YUYV等。

平面格式(planar formats)是指每Y分量，U分量和V分量都是以独立的平面组织的，也就是说所有的U分量必须在Y分量后面，而V分量在所有的U分量后面，此一格式适用于采样(subsample)。平面格式(planar format)有I420(4∶2∶0)、YV12、IYUV等。

uyvy422格式即yuv422.常见的YUV码流的存储方式，并在存储方式后面附有取样每个像素点的YUV数据的方法，其中，Cb、Cr的含义等同于U、V。

YUYV为YUV422采样的存储格式中的一种，相邻的两个Y共用其相邻的两个Cb、Cr，分析，对于像素点Y′00、Y′01而言，其Cb、Cr的值均为Cb00、Cr00，其他的像素点的YUV取值依次类推。

像素格式转换模块判读输入的YUV像素格式和设定的输出像素是否一致，如果不一致则转换为输出像素格式，并将转出的YUV传给图像处理模块。编码模块将处理完成后的YUV数据编码成视频码流，封装模块将视频码流封装成视频流或文件供用户观看。

由于8K超高清视频具有海量的YUV数据，普通单线程像素格式转换，性能低。速度慢。因此本发明在在像素格式转换模块上进行改进。如使用汇编做优化，同时将视频分片，以利于多线程实现片间并行转换。具体设计(如图2所示)为：首先创建线程池，线程数量为M。将需要转换的视频数据按照高度方向做切片，切片数量为N，将切片数量分组，每一组包含M个切片，与线程池中线程数量相对应。之后将每一组切片投入到线程池中处理，直至所有的分组处理完毕，这样，通过视频数据分片并分组处理，实现切片之间并行转换。

即，一种用于8K超高清视频的实时编码的方法，包括：

S1：采集视频数据，输出YUV像素格式数据；

S2：在所述YUV像素格式转换时，使用汇编做优化并将视频分片，以利于多线程实现片间并行转换，具体包括：

S21：创建线程池，线程数量为M；

S22：将需要转换的视频数据按照预先设定的规则做切片，切片数量为N，将切片数量分组，每一组包含M个切片，与线程池中线程数量相对应；

S23：将每一组切片投入到线程池中处理，直至所有的分组处理完毕，以实现切片之间并行转换；

S3：转换后的所述YUV数据编码成视频码流；

S4：将视频码流封装成视频流或文件供用户观看。

我司主要在步骤S2中进行改进，具体介绍步骤S2.

预先设置引擎内存池管理模型，所述引擎内存池管理模型进一步包括：

设置thread cache线程缓存层：预先设置若干大小的内存作为thread cache；每一线程维护一预设预先设定存储空间大小的小内存；当所述线程申请小内存时，直接在所述thread cache中获取。这样避免了多线程的锁操作带来的开销。同时，由于一开始就申请了一大段内存作为thread cache，所以不用在每次申请内存时都在内核态和用户态之间切换。

设置central cache中央缓存层：对于每一个进程预申请预先设定空间大小的大内存空间，如果线程申请的内存过大或者thread cache已经不够用时，就在所述centralcache中获取内存。多线程的情况下需要加锁解锁，不过相对于glibc的malloc，预申请内存减少了很多内核态和用户态之间切换。

设置page cache页面缓存层：设置系统以页面大小为单位管理内存及对应的页面内存空间，当上层内存不足时或者申请内存块过大时，直接从所述page cache中申请内存。

为了提升编码速度，引擎采用指定NUMA节点编码方案(如图4所示)。使用NUMA的原理如下：

传统的SMP(对称多处理器)中，所有处理器都共享系统总线，因此当处理器的数目增大时，系统总线的竞争冲突加大，系统总线将成为瓶颈，所以目前SMP系统的CPU数目一般只有数十个，可扩展能力受到极大限制。NUMA技术有效结合了SMP系统易编程性和MPP(大规模并行)系统易扩展性的特点，较好解决了SMP系统的可扩展性问题，已成为当今高性能服务器的主流体系结构之一。

NUMA系统中，由于CPU对于本地内存的访问延迟低于远程内存访问延迟，因此将进程分配到本地内存附近的处理器上可极大优化应用程序的性能。

因此，本方法还可以包括：

至少预先设置包含NUMA节点0和NUMA节点1的两个NUMA节点，每个NUMA节点包含一组处理器资源、内存资源和多个接口；

将8K视频编码线程池，通过CPU亲和性指定在NUMA节点0上运行，并优化内存池分配，使得申请内存优先从所述NUMA节点0上申请；

将采集线程及像素格式转换线程池，通过CPU亲和性指定在所述NUMA节点1上运行，并优化内存池分配，使得申请内存优先从NUMA节点1上申请。

通过上述两项实现，提高了内存访问速度。同时也防止了8K视频编码与像素格式转换功能相互抢占CPU资源。避免了访问内存时系统总线的竞争冲突。

本发明中，采集视频数据是通过采集卡decklink将采集到的视频数据uyvy422，转换为用户设定的格式yuv420p。

本发明公开了一种用于8K超高清视频的实时编码的系统，其进一步包括：

采集模块：用于采集视频数据，输出YUV像素格式数据；

像素格式转换模块：用于在所述YUV像素格式转换时，使用汇编做优化并将视频分片，以利于多线程实现片间并行转换，具体包括：

线程池创建子模块：用于创建线程池，线程数量为M；

视频分片子模块：用于将需要转换的视频数据按照预先设定的规则做切片，切片数量为N，将切片数量分组，每一组包含M个切片，与线程池中线程数量相对应；

分组子模块：用于将每一组切片投入到线程池中处理，直至所有的分组处理完毕，以实现切片之间并行转换；

编码模块：用于将转换后的所述YUV数据编码成视频码流；

封装模块：用于将视频码流封装成视频流或文件供用户观看。

本系统至少包含NUMA节点0和NUMA节点1的两个NUMA节点，每个NUMA节点包含一组处理器资源、内存资源和多个接口；

优化内存池分配第一子单元：用于将8K视频编码线程池，通过CPU亲和性指定在NUMA节点0上运行，并优化内存池分配，使得申请内存优先从所述NUMA节点0上申请；

优化内存池分配第二子单元：用于将采集线程及像素格式转换线程池，通过CPU亲和性指定在所述NUMA节点1上运行，并优化内存池分配，使得申请内存优先从NUMA节点1上申请。

综上所述一种用于8K超高清视频的实时编码的方法，用于实时编码8K超高清视频。具有以下优点：

1、内存池管理采用thread cache、central cache、page cache三层模型。

2、使用汇编优化，视频分片和线程池技术，将采集卡decklink采集到的视频数据uyvy422，转换为用户设定的格式yuv420p。

3、视频数据编码使用指定NUMA节点技术，提高内存访问速度。

采用本方法后弥补了8K超高清视频不能实时编码50帧/秒的缺陷，提升用户的观看体验。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、服务器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种用于8K超高清视频的实时编码的方法，其特征在于：包括：

采集视频数据，输出YUV像素格式数据；

在所述YUV像素格式转换时，使用汇编做优化并将视频分片，以利于多线程实现片间并行转换，具体包括：

创建线程池，线程数量为M；

将需要转换的视频数据按照预先设定的规则做切片，切片数量为N，将切片数量分组，每一组包含M个切片，与线程池中线程数量相对应；

将每一组切片投入到线程池中处理，直至所有的分组处理完毕，以实现切片之间并行转换；

转换后的所述YUV数据编码成视频码流；

将视频码流封装成视频流或文件供用户观看；

其中，还至少包含NUMA节点0和NUMA节点1的两个NUMA节点，每个NUMA节点包含一组处理器资源、内存资源和多个接口；

将8K视频编码线程池，通过CPU亲和性指定在所述NUMA节点0上运行，并优化内存池分配，使得申请内存优先从所述NUMA节点0上申请；

将采集线程及像素格式转换线程池，通过CPU亲和性指定在所述NUMA节点1上运行，并优化内存池分配，使得申请内存优先从所述NUMA节点1上申请。

2.如权利要求1所述的用于8K超高清视频的实时编码的方法，其特征在于：还包括：

预先设置引擎内存池管理模型，所述引擎内存池管理模型进一步包括：

设置thread cache线程缓存层:预先设置若干大小的内存作为thread cache；每一线程维护一预设预先设定存储空间大小的小内存；当所述线程申请小内存时，直接在所述thread cache中获取；

设置central cache中央缓存层：对于每一个进程预申请预先设定空间大小的大内存空间，如果线程申请的内存过大或者thread cache已经不够用时，就在所述central cache中获取内存；

设置page cache页面缓存层：设置系统以页面大小为单位管理内存及对应的页面内存空间，当上层内存不足时或者申请内存块过大时，直接从所述page cache中申请内存。

3.如权利要求1所述的用于8K超高清视频的实时编码的方法，其特征在于：

采集视频数据是通过采集卡decklink将采集到的视频数据uyvy422，转换为用户设定的格式yuv420p。

4.一种用于8K超高清视频的实时编码的系统，其进一步包括：

采集模块：用于采集视频数据，输出YUV像素格式数据；

像素格式转换模块：用于在所述YUV像素格式转换时，使用汇编做优化并将视频分片，以利于多线程实现片间并行转换，具体包括：

线程池创建子模块：用于创建线程池，线程数量为M；

视频分片子模块：用于将需要转换的视频数据按照预先设定的规则做切片，切片数量为N，将切片数量分组，每一组包含M个切片，与线程池中线程数量相对应；

分组子模块：用于将每一组切片投入到线程池中处理，直至所有的分组处理完毕，以实现切片之间并行转换；

编码模块：用于将转换后的所述YUV数据编码成视频码流；

封装模块：用于将视频码流封装成视频流或文件供用户观看；

至少包含NUMA节点0和NUMA节点1的两个NUMA节点，每个NUMA节点包含一组处理器资源、内存资源和多个接口；

优化内存池分配第一子单元：用于将8K视频编码线程池，通过CPU亲和性指定在所述NUMA节点0上运行，并优化内存池分配，使得申请内存优先从所述NUMA节点0上申请；

优化内存池分配第二子单元：用于将采集线程及像素格式转换线程池，通过CPU亲和性指定在所述NUMA节点1上运行，并优化内存池分配，使得申请内存优先从所述NUMA节点1上申请。

5.如权利要求4所述的系统，其进一步还包括：引擎内存池管理模型，所述引擎内存池管理模型进一步包括：

thread cache线程缓存层:预先设置若干大小的内存作为thread cache；每一线程维护一预设预先设定存储空间大小的小内存；当所述线程申请小内存时，直接在所述threadcache中获取；

central cache中央缓存层：对于每一个进程预申请预先设定空间大小的大内存空间，如果线程申请的内存过大或者thread cache已经不够用时，就在所述central cache中获取内存；

page cache页面缓存层：设置系统以页面大小为单位管理内存及对应的页面内存空间，当上层内存不足时或者申请内存块过大时，直接从所述page cache中申请内存。

6.如权利要求4所述的用于8K超高清视频的实时编码的系统，其特征在于：

采集视频数据是通过采集卡decklink将采集到的视频数据uyvy422，转换为用户设定的格式yuv420p。

7.如权利要求4所述的系统，其进一步还包括：编码模块采用H.265编码器，设置码率：120M，设置帧率：50fps，最高码率支持到120M。

Images