CN117201789B - 视频码流生成方法、计算机存储介质及编码器 - Google Patents

Abstract

本发明公开了一种视频码流生成方法以及相应的计算机存储介质和编码器，采用自定义的SEI数据格式来封装下采样后剩余的采样分量，解决了现有技术中采用私有方式获得的高采样率码流无法被通用播放器正常播放的问题，所生成的码流既能在解码端恢复出符合高采样率要求的图像，也能够被不支持YUV444而仅支持YUV422或更低采样率的解码器、解码软件进行识别，被通用播放器正常播放；本发明还公开了一种视频码流解码方法以及相应的计算机存储介质和解码器，能够对本发明生成码流中的辅数据进行有效解码得到具有高采样率要求的图像。

Description

视频码流生成方法、计算机存储介质及编码器

技术领域

本发明涉及视频数据采集和传输领域，尤其涉及一种视频码流生成方法、计算机存储介质和编码器，以及相应的视频码流解码方法。

背景技术

现有技术中先按照预设的采样格式对视频数据进行采集，再对采集的数据进行压缩编码处理形成视频码流，视频码流传输至播放端后经过解码、播放。

由于人类对色度的感知没有亮度敏感，基于成本控制，通常在配置ARM嵌入式设备的视频数据处理能力时，所选数据采集的芯片支持的采样率高于所选数据编码芯片所支持的采样率。

以采样率为YUV444为例，现有市场上的ARM嵌入式设备，采集支持YUV444的很多，编码支持YUV444的很少，多数仅支持YUV422或YUV420，因此对视频数据进行处理时，常会对具有更高采样率的视频数据进行下采样然后才进行压缩编码形成码流，如此解码端接收的码流相比于原视频数据缺少了部分采样分量。但在某些应用场景下，解码端需要具有更高采样率的图像才能满足其高精度的要求，这种情况下一般会采用私有协议或者私有编码标准或者通过修改原始图像帧的大小来放置下采样后剩余的采样分量，所生成的码流在特定播放端进行相应的解码处理后还原。

然而，这样虽然满足了特定解码端的需求，但是造成的结果就是传输或者存储的码流不是标准码流，又或者图像不是常规原始图像，造成无法被通用程序播放或者处理，造成码流使用上的不便，例如在直播场景下，直播过程中产生的码流以及存储的码流无法被通用的标准播放器正常观看。

发明内容

有鉴于此，因为现有技术中采用私有方式获得的高采样率码流无法被通用播放器正常播放的问题，本发明提供一种视频码流生成方法，利用自定义SEI数据结构来封装下采样后剩余的采样数据，生成的码流既能在解码端恢复符合高采样率要求的图像，又能够被通用播放器正常播放。

为了解决上述问题，本发明的视频码流生成方法，包括以下步骤：

（1）以帧为单位对视频数据进行下采样，对于某一帧视频图像，使得该帧视频图像的采样分量从第一采样率转换为第二采样率，将具有第二采样率的采样分量作为该帧视频图像的主数据，并将剩余的采样分量作为该帧视频图像的辅数据；

（2）按照预选的编码标准，将主数据进行压缩编码形成主压缩数据；将辅数据按照第三采样率中采样分量的比例关系进行数据重组，并对重组后的数据进行压缩编码形成辅压缩数据；

（3）将辅压缩数据作为主压缩数据的辅助增强信息，将其按照自定义SEI数据格式封装成NAL数据单元，与主压缩数据对应的NAL数据单元相邻放置，形成码流。

其中，所述自定义SEI数据格式符合NAL数据单元格式定义，包括SEI头部字段和payload结构，所述SEI头部字段中包括payloadType字段，所述payloadType字段的值为预设值。

进一步，为了避免自定义SEI与编码协议中已定义的SEI冲突，所述payload结构包括payload头部字段和payload数据，所述payload数据中放置所述辅压缩数据，所述payload头部字段中设置有起始标识字段，所述起始标识字段的值为预设内容。

更进一步，所述payload头部字段中还设置有组合类型字段，所述组合类型字段用于标识数据重组时第一采样率、第二采样率与第三采样率的组合方式。

其中，步骤（2）中将辅数据按照第三采样率中采样分量的比例关系进行数据重组，所述数据重组方式采用以下组合方式中的一种，

组合方式一为：当第一采样率为YUV444，第二采样率为YUV422，按照第三采样率为YUV422的数据格式进行组合，将Y数据部分置0或留空，在U、V数据部分放置辅数据；

组合方式二为：当第一采样率为YUV444，第二采样率为YUV420，按照第三采样率为YUV420的数据格式进行组合，将辅数据一部分放置在Y数据部分，一部分放置在U、V数据部分；

组合方式三为：当第一采样率为YUV444，第二采样率为YUV422，按照第三采样率为YUV400的数据格式进行组合，在Y数据部分放置辅数据；

组合方式四为：当第一采样率为YUV422，第二采样率为YUV420，按照第三采样率为YUV420的数据格式进行组合，在Y数据部分放置辅数据；

组合方式五为：当第一采样率为YUV422，第二采样率为YUV420，按照第三采样率为YUV400的数据格式进行组合，在Y数据部分放置辅数据。

相应的，本发明还公开了一种视频码流解码方法，该方法包括以下步骤：

（1）以帧为单位，从主压缩数据对应的NAL数据单元中获取该帧视频图像的主数据；

（2）按照预选的编码标准，判断码流中是否包含具有自定义SEI数据格式的NAL数据单元，若是则从相应的NAL数据单元中获取辅压缩数据；

（3）根据编码端采用的数据重组方式，从所述辅压缩数据恢复出该帧视频图像的辅数据，并将所述辅数据补充到所述主数据中，最终得到解码后的视频图像。

与现有技术相比，本发明具有以下优势：

本发明中的视频码流生成方法，根据编码标准协议中SEI数据结构的定义规范，采用自定义的SEI数据格式来封装下采样后剩余的采样数据，无需修改现有编码码流的格式，也无需对原始视频帧图像进行大小修改处理，所生成的码流既能在解码端恢复出符合高采样率要求的图像，也能够被不支持YUV444而仅支持YUV422或者以下采样率的解码器或者解码软件进行识别，被通用播放器正常播放；本发明中的视频码流解码方法，与编码端规则对应，根据预设的SEI数据结构进行辅数据的提取，能够将编码端生成的码流进行正确解码，恢复出具有较高精度的图像。

附图说明

图1是本发明中视频码流生成方法的流程示意图；

图2是将图像帧由第一采样率YUV444进行下采样获取具有第二采样率YUV422的图像帧以及下采样后的剩余采样分量；

图3是将图2中的剩余采样分量按第三采样率YUV422进行数据重组的示意图；

图4是ITU-T H.264 08/2021标准中定义的SEI数据结构；

图5本发明中的一种自定义SEI payload结构；

图6是将图像帧由第一采样率YUV444下采样获取到第二采样率YUV420图像帧以及剩余采样分量按第三采样率YUV420进行数据重组的示意图；

图7是将图像帧由第一采样率YUV422下采样获取到第二采样率YUV420图像帧以及剩余采样分量按第三采样率YUV420进行数据重组的示意图；

图8是将图像帧由第一采样率YUV422下采样获取到第二采样率YUV420图像帧以及剩余采样分量按第三采样率YUV400进行数据重组的示意图；

图9是本发明中的另一种自定义SEI payload结构；

图10是图9中type字段的值与采样分量重组对应关系的一种示例。

实施方式

下面结合实施例对本发明作更进一步的说明。

如图1所示，本发明中视频码流生成方法包括以下步骤：

（1）以帧为单位对视频数据进行下采样，对于某一帧视频图像，使得该帧视频图像的采样分量从第一采样率转换为第二采样率，将具有第二采样率的采样分量作为该帧视频图像的主数据，并将剩余的采样分量作为该帧视频图像的辅数据；

（2）按照预选的编码标准，将主数据进行压缩编码形成主压缩数据；将辅数据按照第三采样率中采样分量的比例关系进行数据重组，并对重组后的数据进行压缩编码形成辅压缩数据；

（3）根据NAL（Network abstraction layer，网络抽象层）单元格式定义，将辅压缩数据作为主压缩数据的辅助增强信息，将其按照自定义SEI（Supplemental EnhancementInformation，媒体补充增强信息）数据格式封装成NAL数据单元，与主压缩数据对应的NAL数据单元相邻放置，形成码流。

上述第三采样率低于或等于第二采样率，下文将以第一采样率为YUV444、第二采样率为YUV422为重点，以预选的编码标准H264为例介绍本发明方法各步骤的具体实现。

如图2所示，上述步骤（1）中将第一采样率为YUV444的视频图像进行下采样得到第二采样率为YUV422的采样分量作为该帧视频图像的主数据，而将下采样后剩余的U、V采样分量作为该帧视频图像的辅数据。

因编码芯片一般支持固定采样格式的数据压缩，故而需将辅数据按照编码芯片所支持的采样格式进行数据重组，才能在后续解码过程中对压缩数据进行有效的解压缩。

上述步骤（2）中将辅数据按照第三采样率进行数据重组，若编码芯片所支持的采样率仅为YUV422，则可如图3所示，将图2中的辅数据进行数据组合可以采用填充Y数据的方式，按照采样率为YUV422的方式将Y数据部分置0或留空（不做处理，保留内存的默认值），在U、V数据部分放置辅数据（即剩余的U、V采样分量），此时第三采样率等于第二采样率；若编码芯片所支持的采样率为YUV422和YUV400，亦可以按照采样率为YUV400的方式，用剩余的U、V采样分量充当Y采样数据（图未示），则无需填充，此时第三采样率小于第二采样率。

上述步骤（3）中，需要根据H264等编码标准中定义的sei_message（本发明中简称SEI）数据结构自定义SEI，SEI作为NAL数据结构，如图4所示，其内包括SEI头部字段和payload结构，SEI头部字段中主要包括载荷类型payloadType字段和载荷大小payloadSize，payload结构包括payload头部字段和payload的具体内容。payloadType字段的值用于标识SEI的类型，随着编码标准的版本迭代，标准中固定了一些常用的payloadType字段，payloadType字段的数值逐渐向后扩展，因而本发明中为了避免与后续标准扩展冲突，payloadType字段设置为大于256的值，例如本发明中预设值为300，即sei_message数据中第一个字节为0xFF，第二个字节为0x2C；载荷大小payloadSize则根据当前帧对应的辅压缩数据的大小加上自定义SEI 中payload头部大小设置。

本发明自定义SEI 中payload结构如图5所示，其中，start_code字段作为特定的起始标识，长度设定为64bit，该字段用于进一步检查确认避免与其他SEI 的payload结构发生冲突，start_code字段预设的内容可设为具有标识意义的字符串或固定序列等；version字段表示版本信息，长度设定为8bit；reserved_zero_56bits[i]为预留字段，长度设定为56bit，为后续该消息结构的版本升级预留空间；enhancement_payload_byte用于存放辅压缩数据。

对剩余U、V采样分量进行重组和压缩后，根据H264编码协议封装成码流，码流分为VCL层和NAL层，NAL结构中保存了H264相关的参数信息和图像信息，NAL层由多个NAL单元组成，本发明中主压缩数据存放的数据格式与辅压缩数据所存放的SEI数据结构均属于NAL数据格式，对于同一帧数据，将主压缩数据与其对应的SEI数据相邻放置，根据NAL数据格式封装要求进行封装。由于H265编码协议采用的NAL结构定义基本相同，故而对于H265编码协议同样适用。

本发明中的视频码流生成方法适用于常见的采样率，对于不同第一采样率和第二采样率，与上述第一采样率为YUV444、第二采样率为YUV422的处理方式区别仅在于上述步骤（2）中对剩余U、V采样分量即辅数据的数据重组方式。

如图6所示，对于第一采样率为YUV444的视频数据，若第二采样率为YUV420，则将其辅数据按第三采样率为YUV420进行重组；而对于第一采样率为YUV422的视频数据，若第二采用率为YUV420，则将其辅数据按如图7所示的第三采样率为YUV420进行重组或按图8所示的第三采样率为YUV400进行重组。需要说明的是，上述图6至图8省去了仅表示剩余U、V采样分量的图示，而直接示出了多余的U、V采样分量被组合成第三采样率后的数据放置情况。具体实现时，第三采样率需要考虑第一采样率经下采样为第二采样率后剩余采样分量情况以及所选编码芯片所能支持的采样率。

作为一种实施方式，自定义的SEI payload结构还可如图9所示，相比于图5，增加了type字段，以便于在解码时能够快速找到码流所对应的解码方式，在该字段中可以设置如图10所示的第一采样率情况以及对剩余采样分量的重组情况，type字段长度可设定为8bit。如图10所示，type值为0时，对应的情况如图3所示：第一采样率为YUV444，第二采样率为YUV422，剩余U、V采样分量按照第三采样率为YUV422的数据格式进行组合，将Y部分数据置0或留空，将U、V剩余采样分量放置在U、V部分；当type值为1时，对应的情况如图6所示：第一采样率为YUV444，第二采样率为YUV420，剩余U、V采样分量按照第三采样率为YUV420采样处理，一部分放置在Y部分，一部分放置在U、V部分；当type值为2时，对应的情况为：第一采样率为YUV444，第二采样率为YUV420，剩余采样分量按照第三采样率为YUV400处理，即在Y部分存放U、V采样分量；当type=3时，对应的情况如图7所示：第一采样率为YUV422，第二采样率为YUV420，剩余采样分量按照第三采样率为YUV420处理，在Y部分存放U、V采样分量；当type=4时，对应的情况如图8所示，第一采样率为YUV422，剩余采样分量按照YUV400采样率处理，在Y部分存放U、V采样分量，作为一种实施方式，可以如图8所示在Y部分的前半部分存放一组剩余的U、V采样分量，也可以复制剩余的U、V采样分量填充整个Y部分，这样做的好处是能够在解码时提高数据的准确性。

根据上述步骤所形成的码流，对于标准播放器，由于码流中所存放的SEI的载荷类型未在标准中定义，则该部分数据会被解码器抛弃，而对于有效视频中的数据则会根据标准协议进行解析，得到主数据进行显示或后续处理。

对于本领域技术人员来说，本发明的解码方法可以通过软件或软、硬件结合的方式实现，作为一种实施方式，本发明还提供一种计算机存储介质，在该存储介质中存储有程序，程序被执行时能够实现上述码流生成方法。相应的，本发明还提供一种编码器，内置有上述计算机存储介质。

作为一种实施方式，本发明还提供一种视频码流解码方法，能够对本发明所生成的码流进行相应的解码处理，得到符合高精度要求的视频图像，包括以下步骤：

（1）以帧为单位，从主压缩数据对应的NAL数据单元中获取该帧视频图像的主数据；

（2）按照预选的编码标准，判断码流中是否包含具有自定义SEI数据格式的NAL数据单元，若是则从相应的NAL数据单元中获取辅压缩数据；

（3）根据编码端采用的数据重组方式，从辅压缩数据恢复出该帧视频图像的辅数据，并将辅数据补充到所述主数据中，最终得到解码后的视频图像。

与编码端对应，上述步骤（2）中判断NAL数据单元是否具有自定义SEI数据格式包括判断payloadType字段的值是否为相应预设值。判断NAL数据单元是否具有自定义SEI数据格式还可进一步包括判断playload结构中起始标识字段的值是否为预设内容。

若预设的payload结构中设置有type字段，则上述步骤（2）在恢复辅数据之前，先根据type字段的内容确定数据重组方式，再根据数据重组方式将辅压缩数据恢复为辅数据。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (7)

1.一种视频码流生成方法，其特征在于，该方法包括以下步骤：

(1)以帧为单位对视频数据进行下采样，对于某一帧视频图像，使得该帧视频图像的采样分量从第一采样率转换为第二采样率，将具有第二采样率的采样分量作为该帧视频图像的主数据，并将剩余的采样分量作为该帧视频图像的辅数据；

(2)按照预选的编码标准，将主数据进行压缩编码形成主压缩数据；将辅数据按照第三采样率中采样分量的比例关系进行数据重组，并对重组后的数据进行压缩编码形成辅压缩数据；

(3)将辅压缩数据作为主压缩数据的辅助增强信息，将其按照自定义SEI数据格式封装成NAL数据单元，与主压缩数据对应的NAL数据单元相邻放置，形成码流。

2.根据权利要求1所述的视频码流生成方法，其特征在于，所述自定义SEI数据格式符合NAL数据单元格式定义，包括SEI头部字段和payload结构，所述SEI头部字段中包括payloadType字段，所述payloadType字段的值为预设值。

3.根据权利要求2所述的视频码流生成方法，其特征在于，所述payload结构包括payload头部字段和payload数据，所述payload数据中放置所述辅压缩数据，所述payload头部字段中设置有起始标识字段，所述起始标识字段的值为预设内容。

4.根据权利要求3所述的视频码流生成方法，其特征在于，所述payload头部字段中还设置有组合类型字段，所述组合类型字段用于标识数据重组时第一采样率、第二采样率与第三采样率的组合方式。

5.根据权利要求1所述的视频码流生成方法，其特征在于，步骤(2)中将辅数据按照第三采样率中采样分量的比例关系进行数据重组，所述数据重组方式采用以下组合方式中的一种，

组合方式一为：当第一采样率为YUV444，第二采样率为YUV422，按照第三采样率为YUV422的数据格式进行组合，将Y数据部分置0或留空，在U、V数据部分放置辅数据；

组合方式二为：当第一采样率为YUV444，第二采样率为YUV420，按照第三采样率为YUV420的数据格式进行组合，将辅压缩数据一部分放置在Y数据部分，一部分放置在U、V数据部分；

组合方式三为：当第一采样率为YUV444，第二采样率为YUV422，按照第三采样率为YUV400的数据格式进行组合，在Y数据部分放置辅数据；

组合方式四为：当第一采样率为YUV422，第二采样率为YUV420，按照第三采样率为YUV420的数据格式进行组合，在Y数据部分放置辅数据；

组合方式五为：当第一采样率为YUV422，第二采样率为YUV420，按照第三采样率为YUV400的数据格式进行组合，在Y数据部分放置辅数据。

6.一种计算机存储介质，在所述存储介质中存储有程序，其特征在于，所述程序被执行时能够实现权利要求1至5中任意一项所述的视频码流生成方法。

7.一种编码器，其特征在于，包括权利要求6所述的计算机存储介质。