CN109905715B

CN109905715B - 插入sei数据的码流转换方法及系统

Info

Publication number: CN109905715B
Application number: CN201910143413.8A
Authority: CN
Inventors: 郭志鸣; 时杰
Original assignee: Beijing Century TAL Education Technology Co Ltd
Current assignee: Beijing Century TAL Education Technology Co Ltd
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2021-07-06
Anticipated expiration: 2039-02-26
Also published as: CN109905715A

Abstract

本发明提供一种插入SEI数据的码流转换方法，所述码流转换方法包括：将第一图像数据编码压缩得到第二图像数据，其中，所述第二图像数据包括网络抽象层单元压缩数据；展开所述网络抽象层单元压缩数据；将所述SEI数据插入于所述网络抽象层单元压缩数据。本发明提供的码流转换方法，将SEI数据插入于第二图像数据的网络抽象层单元压缩数据，以使插入有SEI数据的网络抽象层单元压缩数据具有时序性。

Description

插入SEI数据的码流转换方法及系统

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种插入SEI数据的码流转换方法及系统。

背景技术

传统设置SEI的方法为通过在编码模块初始化的时候将SEI内容，通过指定接口，可定义为setSEI方法将seipayload设定给编码模块，编码模块将给定的YUV码流数据按照编码模块的行为编码出压缩数据，例如H.264/H.265。其中会将给定的seipayload按照定义的格式放在SEI域内，其它数据已经被放置在压缩域数据区内，SEI和压缩数据将一起以数据流或者网络包的形式发送到使用端。使用端再做解码，将数据解码成YUV形式和SEI形式。

传统设置SEI的方法在大部分使用过程中是没有任何问题，但如果设置的SEI里面要计算编码模块在编码中使用的时间，并记录在seipayload里面，这个时候就无法使用传统设置SEI的方法。

发明内容

鉴于上述问题，本发明针对此现状，提出一种插入SEI数据的码流转换方法及系统，从而有效提高码流转换方法的时域准确性。

为了实现上述目的，本发明采用如下的技术方案：

第一方面，本发明提供了一种插入SEI数据的码流转换方法，所述码流转换方法包括：

将第一图像数据编码压缩得到第二图像数据，其中，所述第二图像数据包括网络抽象层单元压缩数据；

展开所述网络抽象层单元压缩数据；

将所述SEI数据插入于所述网络抽象层单元压缩数据。

作为一种可选的实施方式，在“将所述SEI数据于插入所述网络抽象层单元压缩数据”后，所述码流转换方法还包括：

将插入有所述SEI数据的网络抽象层单元压缩数据复制到缓冲器，其中，所述SEI数据包括时序性因子或时效性因子。

作为一种可选的实施方式，在“将所述SEI数据插入于所述网络抽象层单元压缩数据”中，展开后的网络抽象层单元压缩数据包括多个数据段，所述多个数据段至少包括第一数据段及第二数据段，其中，所述第一数据段及所述第二数据段分别依序包括分隔因子、类型因子及数据因子，所述码流转换方法包括：

计算所述第一数据段的位置及所述第一数据段的分隔因子的长度；

由所述第一数据段的位置的定位移动至所述第二数据段的位置的定位；

将所述SEI数据分别插入于所述第二数据段的类型因子及数据因子。

作为一种可选的实施方式，所述第一图像数据为YUV图像数据。

第二方面，本发明提供了一种插入SEI数据的码流转换系统，所述码流转换系统应用于插入SEI数据的码流转换方法，所述码流转换系统包括：

编码模块，所述编码模块用于将第一图像数据编码压缩得到第二图像数据，其中，所述第二图像数据包括网络抽象层单元压缩数据；

展开模块，所述展开模块用于展开所述网络抽象层单元压缩数据；

插入模块，所述插入模块用于将所述SEI数据插入于所述网络抽象层单元压缩数据。

作为一种可选的实施方式，所述码流转换系统还包括：

复制模块，所述复制模块用于将插入有所述SEI数据的网络抽象层单元压缩数据复制到缓冲器，其中，所述SEI数据包括时序性因子或时效性因子。

作为一种可选的实施方式，所述多个数据段至少包括第一数据段及第二数据段，其中，所述第一数据段及所述第二数据段分别依序包括分隔因子、类型因子及数据因子，所述码流转换系统还包括：

计算模块，所述计算模块用于计算所述第一数据段的位置及所述第一数据段的分隔因子的长度；

所述计算模块用于由所述第一数据段的位置的定位移动至所述第二数据段的位置的定位；

所述插入模块用于将所述SEI数据分别插入于所述第二数据段的类型因子及数据因子。

根据本发明的又一个实施方式，提供一种计算机终端，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机终端执行根据上述的插入SEI数据的码流转换方法。

根据本发明的又一个实施方式，提供一种计算机可读存储介质，其存储有上述的计算机终端中所使用的所述计算机程序。

根据本发明提供一种插入SEI数据的码流转换方法，所述码流转换方法包括：将第一图像数据编码压缩得到第二图像数据，其中，所述第二图像数据包括网络抽象层单元压缩数据；展开所述网络抽象层单元压缩数据；将所述SEI数据插入于所述网络抽象层单元压缩数据。本发明提供的码流转换方法，将SEI数据插入于第二图像数据的网络抽象层单元压缩数据，以使插入有SEI数据的网络抽象层单元压缩数据具有时序性或时效性。本发明可以有效的解决SEI数据内容需要有时序性或时效性方面的要求，还可以在编码后任何时间点做SEI数据插入，不局限于必须编码动作之前做设定来插入SEI数据。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明范围的限定。

图1是本发明实施例1提供的插入SEI数据的码流转换方法的流程示意图；

图1a是本发明实施例1提供的插入SEI数据于第二数据段的示意图；

图2是本发明实施例2提供的插入SEI数据的码流转换方法的流程示意图；

图3是本发明实施例3提供的插入SEI数据的码流转换系统的方块示意图。

主要元件符号说明：

300-码流转换系统；

310-编码模块；

320-展开模块；

330-插入模块；

340-复制模块；

350-计算模块。

具体实施方式

下面详细描述本发明的实施例，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1，图1是本发明实施例1提供的插入SEI数据的码流转换方法(以下简称“码流转换方法”)的流程示意图。如图1所示，码流转换方法包括以下步骤：

S101、将第一图像数据编码压缩得到第二图像数据，其中，所述第二图像数据包括网络抽象层单元压缩数据。

在一实施例中，第一图像数据为YUV图像数据。将YUV图像数据压缩后，得到第二图像数据为压缩后的YUV图像数据。YUV图像是一种颜色编码方法，应用在各种视频处理组件。YUV图像在对照片或视频编码时，可以考虑到人类的感知能力，允许降低色度的带宽。“Y”表示图像的明亮度(Luminance、Luma)，“U”和“V”则分别表示图像的色度、浓度(Chrominance、Chroma)。其中，YUV和Y'UV通常用来编码电视的模拟信号，而YCbCr则是用来描述数字的视频信号，适用于视频与图片压缩以及传输，例如MPEG、JPEG。但在，YUV通常已经在电脑系统领域上广泛使用。Y'也可以代表明亮度(luma、brightness)，而Y'的prime符号记作伽玛校正。

第二图像数据包括网络抽象层单元压缩数据(NAL unit，network abstractlayer unit)，NAL以NALU(NAL unit)为单元来支持编码数据在基于分组交换技术网络中传输，其中，NALU定义了符合传输层或存储介质要求的数据格式。

S103、展开网络抽象层单元压缩数据。

在一实施例中，网络抽象层单元压缩数据段包括有多个数据段，换言之，将已压缩的第二图像数据进行展开成具有多个数据段的网络抽象层单元压缩数据段。

S105、将SEI数据插入于网络抽象层单元压缩数据。

请同时参阅图1及图1a，图1a是本发明实施例1提供的插入SEI(supplementalenhancement information)数据于第二数据段的示意图。在一实施例中，展开后的网络抽象层单元压缩数据包括多个数据段。例如，多个数据段至少包括第一数据段(P1)及第二数据段(P2)，其中，第一数据段(P1)分别依序包括分隔因子(Dilimiter1)、类型因子(Unit1Type)及数据因子(Unit1_Data)，第二数据段(P2)分别依序包括分隔因子(Dilimiter2)、类型因子(Unit2Type)及数据因子(Unit2_Data)，S105还包括：

计算第一数据段(P1)的位置及第一数据段的分隔因子(Dilimiter1)的长度；

由第一数据段(P1)的位置的定位移动至第二数据段(P2)的位置的定位；

将SEI数据分别插入于第二数据段的类型因子(Unit2Type)及数据因子(Unit2_Data)。

实施例2

请参阅图2，图2是本发明实施例2提供的插入SEI数据的码流转换方法(以下简称“码流转换方法”)的流程示意图。S101～S105请参阅实施例1。如图2所示，码流转换方法包括以下步骤：

S107、将插入有SEI数据的网络抽象层单元压缩数据复制到缓冲器，其中，SEI数据包括时序性因子或时效性因子。

在一实施例中，通过实施例1提到的将插入有SEI数据的网络抽象层单元压缩数据，接着将所有的网络抽象层单元压缩数据复制到指定的缓冲器(Buffer)中。此时，编码后插入SEI数据的工作就全部完成，接着需要使用已定义的缓冲器即可。

实施例3

请参阅图3，图3是本发明实施例3提供的插入SEI数据的码流转换系统(以下简称“码流转换系统”)的方块示意图。

如图3所示，转换系统300包括：

编码模块310，编码模块310用于将第一图像数据编码压缩得到第二图像数据，其中，第二图像数据包括网络抽象层单元压缩数据；

展开模块320，展开模块320用于展开网络抽象层单元压缩数据；

插入模块330，插入模块330用于将SEI数据插入于网络抽象层单元压缩数据。

优选的，码流转换系统300还包括：

复制模块340，复制模块340用于将插入有SEI数据的网络抽象层单元压缩数据复制到缓冲器，其中，SEI数据包括时序性因子或时效性因子。

优选的，多个数据段至少包括第一数据段及第二数据段，其中，第一数据段及第二数据段分别依序包括分隔因子、类型因子及数据因子，码流转换系统300还包括：

计算模块350，计算模块350用于计算第一数据段的位置及第一数据段的分隔因子的长度；

计算模块350用于由第一数据段的位置的定位移动至第二数据段的位置的定位；

插入模块330用于将SEI数据分别插入于第二数据段的类型因子及数据因子。

优选的，第一图像数据为YUV图像数据。

由上述，本发明提出一种插入SEI数据的码流转换方法及系统。码流转换方法包括：将第一图像数据编码压缩得到第二图像数据，其中，第二图像数据包括网络抽象层单元压缩数据；展开网络抽象层单元压缩数据；将SEI数据插入于网络抽象层单元压缩数据。本发明提供的码流转换方法，将SEI数据插入于第二图像数据的网络抽象层单元压缩数据，以使插入有SEI数据的网络抽象层单元压缩数据具有时序性或时效性。本发明可以有效的解决SEI数据内容需有时序性或时效性方面的要求，还可以在编码后任何时间点做SEI数据插入，不局限于必须编码动作之前做设定来插入SEI数据。另外，将第一数据段的位置的定位移动至第二数据段的位置的定位后进行插入SEI数据，能有效定义各数据段的时效性。

此外，本发明还提供了一种计算机终端，包括存储器以及处理器，该终端设备可以包括智能电话、平板电脑、台式计算机、便携式计算机等。该终端设备包括存储器和处理器，存储器可用于存储计算机程序，处理器通过运行所述计算机程序，从而使终端设备执行上述码流转换方法或者上述码流转换系统中的各个模块的功能。

存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施例还提供了一种计算机存储介质，用于储存上述计算机终端中使用的计算机程序。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种插入SEI数据的码流转换方法，其特征在于，所述码流转换方法包括：

展开所述网络抽象层单元压缩数据；

将所述SEI数据插入于所述网络抽象层单元压缩数据；

在“将所述SEI数据插入于所述网络抽象层单元压缩数据”中，展开后的网络抽象层单元压缩数据包括多个数据段，所述多个数据段至少包括第一数据段及第二数据段，其中，所述第一数据段及所述第二数据段分别依序包括分隔因子、类型因子及数据因子，所述码流转换方法包括：

2.根据权利要求1所述的码流转换方法，其特征在于，在“将所述SEI数据于插入所述网络抽象层单元压缩数据”后，所述码流转换方法还包括：

3.根据权利要求1所述的码流转换方法，其特征在于，所述第一图像数据为YUV图像数据。

4.一种插入SEI数据的码流转换系统，其特征在于，所述码流转换系统应用于插入SEI数据的码流转换方法，所述码流转换系统包括：

插入模块，所述插入模块用于将所述SEI数据插入于所述网络抽象层单元压缩数据；

在“将所述SEI数据插入于所述网络抽象层单元压缩数据”中，展开后的网络抽象层单元压缩数据包括多个数据段，所述多个数据段至少包括第一数据段及第二数据段，其中，所述第一数据段及所述第二数据段分别依序包括分隔因子、类型因子及数据因子，所述码流转换系统还包括：

5.根据权利要求4所述的码流转换系统，其特征在于，所述码流转换系统还包括：

6.根据权利要求4所述的码流转换系统，其特征在于，所述第一图像数据为YUV图像数据。

7.一种计算机终端，其特征在于，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机终端执行根据权利要求1至3中任一项所述的插入SEI数据的码流转换方法。

8.一种计算机可读存储介质，其特征在于，其存储有权利要求7所述的计算机终端中所使用的所述计算机程序。