CN110198474B - 一种码流处理方法及装置 - Google Patents

一种码流处理方法及装置 Download PDF

Info

Publication number
CN110198474B
CN110198474B CN201810162825.1A CN201810162825A CN110198474B CN 110198474 B CN110198474 B CN 110198474B CN 201810162825 A CN201810162825 A CN 201810162825A CN 110198474 B CN110198474 B CN 110198474B
Authority
CN
China
Prior art keywords
code stream
information
transcoding
stream
auxiliary information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810162825.1A
Other languages
English (en)
Other versions
CN110198474A (zh
Inventor
吴钊
李明
吴平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201810162825.1A priority Critical patent/CN110198474B/zh
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to EP19760390.5A priority patent/EP3761655A4/en
Priority to US16/975,763 priority patent/US11523174B2/en
Priority to KR1020207027795A priority patent/KR102377191B1/ko
Priority to PCT/CN2019/075802 priority patent/WO2019165933A1/zh
Priority to JP2020545156A priority patent/JP7099664B2/ja
Publication of CN110198474A publication Critical patent/CN110198474A/zh
Application granted granted Critical
Publication of CN110198474B publication Critical patent/CN110198474B/zh
Priority to JP2022066928A priority patent/JP7302144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone

Abstract

本发明公开了一种码流处理方法及装置，包括：获取码流中辅助信息；其中，辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种；使用辅助信息对码流进行转码操作，并生成转码码流。从本发明实施例可见，由于获取了码流中包括可用于转码的码流信息和可支持转码的码流信息中至少一种的辅助信息，而无论辅助信息是可用于转码的码流信息和可支持转码的码流信息都能够对转码操作提供帮助，因此提高了转码效率。

Description

一种码流处理方法及装置
技术领域
本发明实施例涉及多媒体技术领域，尤指一种码流处理方法及装置。
背景技术
随着多媒体业务的发展，多媒体被广泛应用于不同的领域，例如数字广播、网络媒体和移动媒体等。在异构网络中，海量的媒体数据需要采用高效的媒体数据分发策略，以适应具有不同格式输入要求的终端设备，从而满足用户的需求。
相关技术中，有两种解决方法，一种是存储多个码流，一方面是实时转码。针对存储多个码流的方法，由于该方案需要占用存储空间，当所要存储的码流过多时，很可能会造成存储空间不足。另一种方法是实时转码，实时转码是对码流进行解码，再根据需要进行重新编码，这种方法在实施过程中相当于进行了一次完全解码和一次完全编码，因此计算量大，需要资源多，转码效率低下。
发明内容
为了解决上述技术问题，本发明实施例提供了一种码流处理方法及装置，能够提高转码效率。
为了达到本发明目的，本发明实施例提供了一种码流处理方法，包括：
获取码流中辅助信息；其中，所述辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种；
使用所述辅助信息对所述码流进行转码操作，并生成转码码流。
本发明实施例还提供了一种码流处理装置，包括：
获取模块，用于获取码流中辅助信息；其中，所述辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种；
处理模块，用于使用所述辅助信息对所述码流进行转码操作，并生成转码码流。
与现有技术相比，由于获取了码流中包括可用于转码的码流信息和可支持转码的码流信息中至少一种的辅助信息，而无论辅助信息是可用于转码的码流信息还是可支持转码的码流信息都能够对转码操作提供帮助，因此提高了转码效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种码流处理方法的流程示意图；
图2为本发明实施例提供的一种码流处理装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例提供一种码流处理方法，如图1所示，该方法包括：
步骤101、获取码流中辅助信息。
其中，辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种。
具体的，可用于转码的码流信息包括码流的编码类型、码流的编码能力等级、码流的码率、码流的帧率、码流的图像分辨率、码流的颜色空间、码流的亮度色度采样格式、码流的动态范围、码流的编码信息和码流的用户自定义信息中至少一种；其中，码流的编码信息包括码流的分块信息，或者，码流的编码信息包括码流的模式选择信息、码流的运动估计信息和码流的量化信息中至少一种以及码流的分块信息、码流的残差；码流的残差包括可用于转码码流的残差，或码流与可用于转码码流的残差差值。
具体的，可支持转码的码流信息包括转码码流的编码类型、转码码流的编码能力等级、转码码流的码率、转码码流的帧率、转码码流的图像分辨率、转码码流的颜色空间、转码码流的亮度色度采样格式、转码码流的动态范围和转码码流的用户自定义信息中至少一种。
需要说明的是，编码类型指的是所符合的视频标准，其中，视频标准可以是H.265/高效率视频编码(High Efficiency Video Coding，HEVC)，H.264/高级视频编码(AdvancedVideo Coding，AVC)，网络视频图像压缩标准MPEG4，H.263，DVD/超级VCD的视频图像压缩标准MPEG2，由Google开发的开放格式、无使用授权费的视频压缩标准VP9，微软推出的一种流媒体格式标准WMV等；能力等级指解码器在正确解码码流时需要具有的能力等级；码率可以是2Mbps或10Mbps等；帧频可以是25fps、30fps等；图像分辨率可以是720p、1080p等；颜色空间可以是颜色标准YUV，或颜色标准RGB等；亮度色度采样格式可以是YUV444、YUV420等；动态范围可以是标准动态范围(Standard Dynamic Range，SDR)，或高动态范围图像(High-Dynamic Range，HDR)等。
步骤102、使用辅助信息对码流进行转码操作，并生成转码码流。
具体的，当辅助信息为码流的编码类型时，获取码流的编码类型能够支持的目标编码类型；如果接收端请求的编码类型与码流的编码类型相同，或包含在目标编码类型中，对码流进行转码操作，并生成转码码流。当辅助信息为码流的编码类型和转码码流的编码类型时，判断是进行完全编解码，或是进行部分编解码(即判断码流的编码类型和转码码流的编码类型是否一致)；如果进行部分编解码(即码流的编码类型和转码码流的编码类型一致)，根据码流的编码信息对码流进行转码操作，并生成转码码流。
当辅助信息为码流的编码能力等级时，获取码流的编码能力等级能够支持的目标编码能力等级；如果接收端请求的编码能力等级不高于目标编码能力等级，对码流进行转码操作，并生成转码码流。当辅助信息为码流的编码能力等级和转码码流的编码能力等级时，判断是进行完全编解码，或是进行部分编解码，后续步骤与当辅助信息为码流的编码类型和转码码流的编码类型时的执行步骤一致，再此不再赘述。
当辅助信息为码流的码率时，获取码流的码率能够支持的目标码率；当辅助信息为码流的帧频时，获取码流的码率能够支持的目标帧频；当辅助信息为码流的图像分辨率时，获取码流的码率能够支持的目标图像分辨率；当辅助信息为码流的颜色空间时，获取码流的码率能够支持的目标颜色空间；当辅助信息为码流的色度采样格式时，获取码流的码率能够支持的目标色度采样格式；当辅助信息为码流的色度动态范围时，获取码流的码率能够支持的目标色度动态范围；后续步骤与当辅助信息为码流的编码类型时的执行步骤一致，再此不再赘述。
当辅助信息为码流的码率和转码码流的码率时，当辅助信息为码流的帧频和转码码流的帧频时，或当辅助信息为码流的图像分辨率和转码码流的图像分辨率时，或当辅助信息为码流的颜色空间和转码码流的颜色空间时，或或当辅助信息为码流的色度采样格式和转码码流的色度采样格式时，或当辅助信息为码流的色度动态范围和转码码流的色度动态范围时，判断进行完全编解码，或是进行部分编解码，后续步骤与当辅助信息为码流的编码类型和转码码流的编码类型时的执行步骤一致，在此不再赘述。
当辅助信息为码流的编码信息时，如转码的编码过程中可以直接使用上述编码信息，省略重新生成上述编码信息的步骤，并生成转码码流。当辅助信息为码流的编码信息是残差信息时，进行部分编解码，直接在编码过程中使用码流残差信息，加上上述码流的编码信息，省略重新生成残差和上述编码信息的步骤，生成转码码流。当辅助信息为码流的用户自定义信息和转码码流的用户自定义信息中至少一种时，根据具体自定义信息帮助转码操作。
具体的，下面以几种具体的应用场景中的实施例，对如何使用辅助信息对码流进行转码操作，并生成转码码流进行进一步说明。
实施例一：
在本实施例中，假设辅助信息为码流的编码类型(码流的编码类型为H.265/HEVC)和转码码流的编码类型(转码码流的编码类型为H.265/HEVC)，码流的编码类型和转码码流的编码类型相同，由此可知，可以进行完全编解码，也可以进行部分编解码。
进一步，辅助信息中还有码流的编码信息，因此解码码流生产重建图像后，转码中编码时不再进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。
更进一步，辅助信息中还有转码码流的残差，其中残差是码流与转码码流的残差差值，因此转码中解码只需码流的残差，而无需进行重建操作，在转码的编码过程中直接使用码流残差与转码码流的残差相加，并生成转码后残差，加上码流的编码信息进行编码生成新的码流，而无需进行模式选择和运动估计等操作。
实施例二：
在本实施例中，假设辅助信息为码流的编码类型(码流的编码类型是H.265/HEVC)和转码码流的编码类型(转码码流的编码类型是H.264/AVC)，码流的编码类型和转码码流的编码类型不相同，如果从辅助信息中没有解析出H.264/AVC可用编码信息，则需要进行完全编解码，如果从辅助信息中解析出H.264/AVC可用编码信息，则可以进行部分编解码。
进一步，辅助信息中还有码流的编码信息，同时，编码信息是转码码流的编码类型H.264/AVC可用信息，因此解码码流生成重建图像后，重新编码时不再需要进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。
更进一步，辅助信息中还有转码码流的残差，其中残差是码流与转码码流的残差差值，因此转码中解码只需码流的残差，而无需进行重建操作，在转码的编码过程中直接使用码流的残差与转码码流的残差相加，并生成转码后残差，加上码流的编码信息进行编码生成新的码流，无需进行模式选择和运动估计等操作。
实施例三：
在本实施例中，假设辅助信息为码流的颜色空间(码流的颜色空间为YUV)和转码码流的颜色空间(转码码流的颜色空间是RGB)，因此转码中需要将码流重建图像的颜色空间由YUV转换为RGB，再进行编码操作。
进一步，辅助信息中还有码流的编码信息，在这些编码信息可被转码码流转码使用的情况下，转码的编码过程中不再需要进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。
实施例四：
在本实施例中，假设辅助信息为码流的动态范围(码流的动态范围是SDR)和转码码流的动态范围(转码码流的动态范围是HDR)，因此转码中需要将码流重建图像的动态范围由SDR转换为HDR，再进行编码操作。可选地，辅助信息中可以携带从标准动态范围到高动态范围的映射表，也可以携带指明映射方式的信息。
进一步，辅助信息中还有码流的编码信息，在这些编码信息可被转码码流转码使用的情况下，转码的编码过程中不再需要进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。
实施例五：
在本实施例中，假设辅助信息为码流的分辨率(码流的分辨率为1080p)和转码码流的分辨率(转码码流的分辨率为720p)，因此转码中需要将码流重建图像从1080p下采样为720p，再进行编码操作。可选地，辅助信息里可以携带下采样滤波表，也可以携带指明滤波方式的信息。
进一步，辅助信息中有码流的编码信息，在这些编码信息可被转码码流转码使用的情况下，转码的编码过程中不再需要进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。
更进一步，辅助信息中有转码码流的残差，其中残差是码流残差下采样后与转码码流的残差差值，因此转码中解码只需码流的残差，不进行重建操作，再对码流的残差进行下采样，在转码的编码过程中直接使用码流的残差下采样数值与转码码流的残差相加，生成转码后残差，加上码流的编码信息进行编码生成新的码流，无需进行模式选择和运动估计等操作。
本发明实施例提供的码流处理方法，由于获取了码流中包括可用于转码的码流信息和可支持转码的码流信息中至少一种的辅助信息，而无论辅助信息是可用于转码的码流信息还是可支持转码的码流信息都能够对转码操作提供帮助，因此提高了转码效率。
可选地，使用辅助信息对码流进行转码操作，并生成转码码流之后，还包括：
根据生成的转码码流生成新的辅助信息。
将生成的新的辅助信息添加至生成的转码码流中。
可选地，将生成的新的辅助信息添加至生成的转码码流中之后，还包括：
在生成的转码码流中添加标志位信息，以用于表示该转码码流是否经过转码。
可选地，辅助信息位于携带有预设标识的数据单元中，数据单元包括传输码流的辅助信息单元、系统层媒体描述单元和媒体文件格式包含的媒体描述单元。
可选地，当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为补充增强信息(Supplemental Enhancement Information，SEI)单元时，辅助信息位于SEI单元中有效载荷类型字段为预设标识的位置；获取码流中辅助信息，包括：
解析码流，获取SEI单元。
在SEI单元中有效载荷类型字段为预设标识的位置获取辅助信息。
具体的，在SEI单元中，有效载荷类型字段可以是payloadType，预设标识可以是TRANSCODING_INFO。TRANSCODING_INFO的结构可以如表1所示，
Figure BDA0001583522350000081
表1
在表1的基础上，辅助信息的表示可以如表2所示，
Figure BDA0001583522350000082
表2
如表2所示，codec_info指码流编码类型信息，bitrate_info是指码流码率信息，transcoding_codec_info指转码码流编码类型信息，transcoding_bitrate_info是指转码码流码率信息。
可选地，当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为视频应用信息(Video Usability Information，VUI)单元时，辅助信息位于VUI单元中转码信息标记字段为预设值的位置；获取码流中辅助信息，包括：
解析码流，获取VUI单元；在VUI单元中转码信息标记字段为预设值的位置获取辅助信息。
具体的，在VUI单元中，转码信息标记字段可以是transcoding_info_flag，预设值可以是1。transcoding_info_flag的结构可以如表2所示，
Figure BDA0001583522350000091
表3
如表3所示，codec_info指码流编码类型信息，bitrate_info是指码流码率信息，transcoding_codec_info指转码码流编码类型信息，transcoding_bitrate_info是指转码码流码率信息。
可选地，还可以从系统层媒体描述单元中获取辅助信息，辅助信息具体示例如表3所示的结构。例如在传输流的描述子、文件格式的数据单元(例如Box中)、传输流的媒体描述信息，例如媒体呈现描述(Media Presentation Description，MPD)等信息单元。
需要说明的是，本发明实施例提供的码流处理方法中的辅助信息可以包含多组信息，用于生成多个转码码流。
还需要说明的是，本发明实施例提供的码流处理方法，还可以应用于立体视频的处理，设置码流是立体视频数据中的左视场信息，携带的辅助信息与右视场相关，因此如果接收端请求立体视频，则使用辅助信息协助转码出右视场码流，再与左视场码流组合为立体码流发送给接收端；如果接收端请求右视场视频，则使用辅助信息协助转码出右视场码流，直接发送给接收端。
还需要说明的是，本发明实施例提供的码流处理方法，还可以应用于兴趣视频的处理，设置码流是全景视频，携带的辅助信息与用户感兴趣区域相关，因此如果接收端请求感兴趣区域码流，则使用辅助信息协助转码出感兴趣区域码流，再发送给接收端。
还需要说明的是，本发明实施例提供的码流处理方法，携带的辅助信息可以包含多组可用于转码码流信息或可支持转码码流信息，可以根据接收端请求不同，使用不同的转码码流信息或可支持转码码流信息。
本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述任一项信号处理方法。
本发明实施例提供一种码流处理装置，如图2所示，该码流处理装置2包括：
获取模块21，用于获取码流中辅助信息；其中，辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种。
处理模块22，用于使用辅助信息对码流进行转码操作，并生成转码码流。
可选地，处理模块22还用于：
根据生成的转码码流生成新的辅助信息。
将生成的新的辅助信息添加至生成的转码码流中。
可选地，该码流处理装置2还包括添加模块23，用于在生成的转码码流中添加标志位信息，以用于表示该转码码流是否经过转码。
可选地，辅助信息位于携带有预设标识的数据单元中，数据单元包括传输码流的辅助信息单元、系统层媒体描述单元和媒体文件格式包含的媒体描述单元。
可选地，可用于转码的码流信息包括码流的编码类型、码流的编码能力等级、码流的码率、码流的帧率、码流的图像分辨率、码流的颜色空间、码流的亮度色度采样格式、码流的动态范围、码流的编码信息和码流的用户自定义信息中至少一种；其中，码流的编码信息包括码流的分块信息，或者，码流的编码信息包括码流的模式选择信息、码流的运动估计信息和码流的量化信息中至少一种以及码流的分块信息、码流的残差；码流的残差包括可用于转码码流的残差，或码流与可用于转码码流的残差差值。
可选地，可支持转码的码流信息包括转码码流的编码类型、转码码流的编码能力等级、转码码流的码率、转码码流的帧率、转码码流的图像分辨率、转码码流的颜色空间、转码码流的亮度色度采样格式、转码码流的动态范围和转码码流的用户自定义信息中至少一种。
可选地，当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为SEI单元时，辅助信息位于SEI单元中有效载荷类型字段为预设标识的位置；获取模块21具体用于：
解析码流，获取SEI单元。
在SEI单元中有效载荷类型字段为预设标识的位置获取辅助信息。
当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为VUI单元时，辅助信息位于VUI单元中转码信息标记字段为预设值的位置；获取模块21具体用于：
解析码流，获取VUI单元。
在VUI单元中转码信息标记字段为预设值的位置获取辅助信息。
本发明实施例提供的码流处理装置，由于获取了码流中包括可用于转码的码流信息和可支持转码的码流信息中至少一种的辅助信息，而无论辅助信息是可用于转码的码流信息还是可支持转码的码流信息都能够对转码操作提供帮助，因此提高了转码效率。
在实际应用中，获取模块21、处理模块22和添加模块23均可由位于码流处理装置中的中央处理器(Central Processing Unit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)或现场可编程门阵列(FieldProgrammable Gate Array，FPGA)等实现。
本发明实施例还提供一种用于实现码流处理的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：
获取码流中辅助信息；其中，辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种。
使用辅助信息对码流进行转码操作，并生成转码码流。
可选地，存储器中还存储有以下可被处理器执行的指令：
根据生成的转码码流生成新的辅助信息。
将生成的新的辅助信息添加至生成的转码码流中。
可选地，存储器中还存储有以下可被处理器执行的指令：
在生成的转码码流中添加标志位信息，以用于表示该转码码流是否经过转码。
可选地，辅助信息位于携带有预设标识的数据单元中，数据单元包括传输码流的辅助信息单元、系统层媒体描述单元和媒体文件格式包含的媒体描述单元。
可选地，可用于转码的码流信息包括码流的编码类型、码流的编码能力等级、码流的码率、码流的帧率、码流的图像分辨率、码流的颜色空间、码流的亮度色度采样格式、码流的动态范围、码流的编码信息和码流的用户自定义信息中至少一种；其中，码流的编码信息包括码流的分块信息，或者，码流的编码信息包括码流的模式选择信息、码流的运动估计信息和码流的量化信息中至少一种以及码流的分块信息、码流的残差；码流的残差包括可用于转码码流的残差，或码流与可用于转码码流的残差差值。
可支持转码的码流信息包括转码码流的编码类型、转码码流的编码能力等级、转码码流的码率、转码码流的帧率、转码码流的图像分辨率、转码码流的颜色空间、转码码流的亮度色度采样格式、转码码流的动态范围和转码码流的用户自定义信息中至少一种。
可选地，当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为SEI单元时，辅助信息位于SEI单元中有效载荷类型字段为预设标识的位置，存储器中具体存储有以下可被处理器执行的指令：
解析码流，获取SEI单元。
在SEI单元中有效载荷类型字段为预设标识的位置获取辅助信息。
可选地，当数据单元为传输码流的辅助信息单元中的VUI单元时，辅助信息位于VUI单元中转码信息标记字段为预设值的位置，存储器中具体存储有以下可被处理器执行的指令：
解析码流，获取VUI单元。
在VUI单元中转码信息标记字段为预设值的位置获取辅助信息。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (16)

1.一种码流处理方法，包括：
获取码流中辅助信息；其中，所述辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种；
使用所述辅助信息对所述码流进行转码，并生成转码码流；
其中，所述使用所述辅助信息对所述码流进行转码，并生成转码码流，包括：当辅助信息为码流的编码类型时，获取码流的编码类型能够支持的目标编码类型，当接收端请求的编码类型与码流的编码类型相同时，或包含在目标编码类型中，对码流进行转码操作，并生成转码码流；当辅助信息为码流的编码类型和转码码流的编码类型时，判断码流的编码类型和转码码流的编码类型是否一致，当码流的编码类型和转码码流的编码类型一致时，根据码流的编码信息对码流进行转码操作，并生成转码码流。
2.根据权利要求1所述的码流处理方法，其特征在于，所述使用辅助信息对码流进行转码，并生成转码码流之后，还包括：
根据生成的转码码流生成新的辅助信息；
将生成的新的辅助信息添加至生成的转码码流中。
3.根据权利要求1所述的码流处理方法，其特征在于，生成的转码码流中之后，还包括：
在生成的转码码流中添加标志位信息，以用于表示该转码码流是否经过转码。
4.根据权利要求1-3任一项所述的码流处理方法，其特征在于，所述辅助信息位于携带有预设标识的数据单元中，所述数据单元包括传输码流的辅助信息单元、系统层媒体描述单元和媒体文件格式包含的媒体描述单元。
5.根据权利要求4所述的码流处理方法，其特征在于，所述可用于转码的码流信息还包括码流的编码能力等级、码流的码率、码流的帧率、码流的图像分辨率、码流的颜色空间、码流的亮度色度采样格式、码流的动态范围、码流的编码信息和码流的用户自定义信息中至少一种；其中，所述码流的编码信息包括码流的分块信息，或者，所述码流的编码信息包括码流的模式选择信息、码流的运动估计信息和码流的量化信息中至少一种以及码流的分块信息、码流的残差；所述码流的残差包括可用于转码码流的残差，或所述码流与可用于转码码流的残差差值。
6.根据权利要求4所述的码流处理方法，其特征在于，所述可支持转码的码流信息还包括转码码流的编码能力等级、转码码流的码率、转码码流的帧率、转码码流的图像分辨率、转码码流的颜色空间、转码码流的亮度色度采样格式、转码码流的动态范围和转码码流的用户自定义信息中至少一种。
7.根据权利要求5或6所述的码流处理方法，其特征在于，当所述数据单元为传输码流的辅助信息单元，且所述传输码流的辅助信息单元为补充增强信息SEI单元时，所述辅助信息位于所述SEI单元中有效载荷类型字段为预设标识的位置；所述获取码流中辅助信息，包括：
解析所述码流，获取SEI单元；
在所述SEI单元中所述有效载荷类型字段为所述预设标识的位置获取所述辅助信息。
8.根据权利要求5或6所述的码流处理方法，其特征在于，当所述数据单元为传输码流的辅助信息单元，且所述传输码流的辅助信息单元为视频应用信息VUI单元时，所述辅助信息位于所述VUI单元中转码信息标记字段为预设值的位置；所述获取码流中辅助信息，包括：
解析所述码流，获取VUI单元；
在所述VUI单元中所述转码信息标记字段为所述预设值的位置获取所述辅助信息。
9.一种码流处理装置，其特征在于，包括：
获取模块，用于获取码流的辅助信息；其中，所述辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种；
处理模块，使用所述辅助信息对所述码流进行转码，并生成转码码流；
其中，所述使用所述辅助信息对所述码流进行转码，并生成转码码流，包括：当辅助信息为码流的编码类型时，获取码流的编码类型能够支持的目标编码类型，当接收端请求的编码类型与码流的编码类型相同时，或包含在目标编码类型中，对码流进行转码操作，并生成转码码流；当辅助信息为码流的编码类型和转码码流的编码类型时，判断码流的编码类型和转码码流的编码类型是否一致，当码流的编码类型和转码码流的编码类型一致时，根据码流的编码信息对码流进行转码操作，并生成转码码流。
10.根据权利要求9所述的码流处理装置，其特征在于，所述获取模块还用于：
根据生成的转码码流生成新的辅助信息；
所述处理模块还用于：
将生成的新的辅助信息添加至生成的转码码流中。
11.根据权利要求9所述的码流处理装置，其特征在于，还包括：
添加模块，用于在生成的转码码流中添加标志位信息，以用于表示该转码码流是否经过转码。
12.根据权利要求9-11任一项所述的码流处理装置，其特征在于，所述辅助信息位于携带有预设标识的数据单元中，所述数据单元包括传输码流的辅助信息单元、系统层媒体描述单元和媒体文件格式包含的媒体描述单元。
13.根据权利要求12所述的码流处理装置，其特征在于，所述可用于转码的码流信息还包括码流的编码能力等级、码流的码率、码流的帧率、码流的图像分辨率、码流的颜色空间、码流的亮度色度采样格式、码流的动态范围、码流的编码信息和码流的用户自定义信息中至少一种；其中，所述码流的编码信息包括码流的分块信息，或者，所述码流的编码信息包括码流的模式选择信息、码流的运动估计信息和码流的量化信息中至少一种以及码流的分块信息、码流的残差；所述码流的残差包括可用于转码码流的残差，或所述码流与可用于转码码流的残差差值。
14.根据权利要求12所述的码流处理装置，其特征在于，所述可支持转码的码流信息还包括转码码流的编码能力等级、转码码流的码率、转码码流的帧率、转码码流的图像分辨率、转码码流的颜色空间、转码码流的亮度色度采样格式、转码码流的动态范围和转码码流的用户自定义信息中至少一种。
15.根据权利要求13或14所述的码流处理装置，其特征在于，当所述数据单元为传输码流的辅助信息单元，且所述传输码流的辅助信息单元为SEI单元时，所述辅助信息位于所述SEI单元中有效载荷类型字段为预设标识的位置；所述获取模块具体用于：
解析所述码流，获取SEI单元；
在所述SEI单元中所述有效载荷类型字段为所述预设标识的位置获取所述辅助信息。
16.根据权利要求13或14所述的码流处理装置，其特征在于，当所述数据单元为传输码流的辅助信息单元，且所述传输码流的辅助信息单元为VUI单元时，所述辅助信息位于所述VUI单元中转码信息标记字段为预设值的位置；所述获取模块具体用于：
解析所述码流，获取VUI单元；
在所述VUI单元中所述转码信息标记字段为所述预设值的位置获取所述辅助信息。
CN201810162825.1A 2018-02-27 2018-02-27 一种码流处理方法及装置 Active CN110198474B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201810162825.1A CN110198474B (zh) 2018-02-27 2018-02-27 一种码流处理方法及装置
US16/975,763 US11523174B2 (en) 2018-02-27 2019-02-22 Bitstream processing method and device
KR1020207027795A KR102377191B1 (ko) 2018-02-27 2019-02-22 비트스트림 처리방법 및 장치
PCT/CN2019/075802 WO2019165933A1 (zh) 2018-02-27 2019-02-22 码流处理方法及装置
EP19760390.5A EP3761655A4 (en) 2018-02-27 2019-02-22 METHOD AND DEVICE FOR CODE STREAM PROCESSING
JP2020545156A JP7099664B2 (ja) 2018-02-27 2019-02-22 ビットストリームの処理方法及び装置
JP2022066928A JP7302144B2 (ja) 2018-02-27 2022-04-14 ビットストリームの処理方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810162825.1A CN110198474B (zh) 2018-02-27 2018-02-27 一种码流处理方法及装置

Publications (2)

Publication Number Publication Date
CN110198474A CN110198474A (zh) 2019-09-03
CN110198474B true CN110198474B (zh) 2022-03-15

Family

ID=67750897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810162825.1A Active CN110198474B (zh) 2018-02-27 2018-02-27 一种码流处理方法及装置

Country Status (6)

Country Link
US (1) US11523174B2 (zh)
EP (1) EP3761655A4 (zh)
JP (2) JP7099664B2 (zh)
KR (1) KR102377191B1 (zh)
CN (1) CN110198474B (zh)
WO (1) WO2019165933A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193290A (zh) * 2006-11-22 2008-06-04 中兴通讯股份有限公司 一种mpeg-4的传输码流到互联网流媒体联盟流的实时转换系统
CN102014284A (zh) * 2010-12-10 2011-04-13 中兴通讯股份有限公司 转码业务中获取视频码流的参数集值的方法、系统及装置
CN102625150A (zh) * 2012-03-16 2012-08-01 中国科学院计算技术研究所 一种媒体播放系统和方法
CN105898448A (zh) * 2015-12-14 2016-08-24 乐视云计算有限公司 转码属性信息的提交方法和装置
CN107333148A (zh) * 2017-06-23 2017-11-07 腾讯科技（深圳）有限公司 视频处理方法及装置、计算机存储介质及设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
KR100571687B1 (ko) * 1999-02-09 2006-04-18 소니 가부시끼 가이샤 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
JP3890838B2 (ja) 1999-02-09 2007-03-07 ソニー株式会社 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、記録媒体
JP3448706B2 (ja) 1999-09-06 2003-09-22 株式会社里味 寄せ豆腐充填装置
JP4622121B2 (ja) 2000-03-13 2011-02-02 ソニー株式会社 データ変換装置および方法、並びに、符号化装置および方法
AU780811B2 (en) * 2000-03-13 2005-04-21 Sony Corporation Method and apparatus for generating compact transcoding hints metadata
KR100615843B1 (ko) 2000-09-01 2006-08-25 가부시키가이샤 구라레 폴리비닐 알콜계 수지 조성물 및 다층 용기
US7376159B1 (en) * 2002-01-03 2008-05-20 The Directv Group, Inc. Exploitation of null packets in packetized digital television systems
JP4275358B2 (ja) * 2002-06-11 2009-06-10 株式会社日立製作所 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法
US20060140274A1 (en) * 2004-12-29 2006-06-29 Mediatek Incorporation Transcoder and method used therein
US7672524B2 (en) * 2006-03-02 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Quality control for image transcoding
US8761248B2 (en) * 2006-11-28 2014-06-24 Motorola Mobility Llc Method and system for intelligent video adaptation
EP2100459B1 (en) 2007-01-08 2019-04-03 Nokia Technologies Oy System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
FR2933837A1 (fr) * 2008-12-10 2010-01-15 Thomson Licensing Procede de codage, procede et dispositif de transcodage et flux de donnees image codees.
CN102036061B (zh) * 2009-09-30 2012-11-21 华为技术有限公司 视频数据传输处理、发送处理方法、装置和网络系统
US20110150073A1 (en) * 2009-12-21 2011-06-23 General Instrument Corporation Scalable video transcoding device
US8902973B2 (en) * 2011-04-05 2014-12-02 Dialogic Corporation Perceptual processing techniques for video transcoding
GB2493212B (en) * 2011-07-29 2015-03-11 Canon Kk Method and device for error concealment in motion estimation of video data
GB2493210B (en) * 2011-07-29 2014-04-23 Canon Kk Method and device for error concealment in motion estimation of video data
EP2859729B1 (en) * 2012-06-12 2020-09-16 Coherent Logix, Incorporated A distributed architecture for encoding and delivering video content
ES2629195T3 (es) * 2013-01-21 2017-08-07 Dolby Laboratories Licensing Corporation Codificación y descodificación de una secuencia de bits según un nivel de confianza
KR101670208B1 (ko) * 2013-10-11 2016-10-27 텔레폰악티에볼라겟엘엠에릭슨(펍) 비디오 비트스트림을 트랜스코딩하기 위한 방법 및 어렌지먼트
KR102246546B1 (ko) * 2013-10-12 2021-04-30 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
US10271094B2 (en) * 2015-02-13 2019-04-23 Samsung Electronics Co., Ltd. Method and device for transmitting/receiving media data
BR112017025820A2 (pt) 2015-06-23 2018-08-14 Ericsson Telefon Ab L M métodos para um codificador de video, um transcodificador de vídeo e um nó de processamento de vídeo, codificador de vídeo, transcodificador de vídeo, nó de processamento de vídeo, e, programa de computador
CN109076241B (zh) * 2016-05-04 2023-06-23 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测
CN110945494A (zh) * 2017-07-28 2020-03-31 杜比实验室特许公司 向客户端提供媒体内容的方法和系统
IL295131B2 (en) * 2019-03-11 2023-12-01 Dolby Laboratories Licensing Corp Video encoding with adjustable frame rate

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193290A (zh) * 2006-11-22 2008-06-04 中兴通讯股份有限公司 一种mpeg-4的传输码流到互联网流媒体联盟流的实时转换系统
CN102014284A (zh) * 2010-12-10 2011-04-13 中兴通讯股份有限公司 转码业务中获取视频码流的参数集值的方法、系统及装置
CN102625150A (zh) * 2012-03-16 2012-08-01 中国科学院计算技术研究所 一种媒体播放系统和方法
CN105898448A (zh) * 2015-12-14 2016-08-24 乐视云计算有限公司 转码属性信息的提交方法和装置
CN107333148A (zh) * 2017-06-23 2017-11-07 腾讯科技（深圳）有限公司 视频处理方法及装置、计算机存储介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种面向MPEG码流的快速视频转码方法;袁禄军;《计算机研究与发展》;20060323;第43卷(第1期);全文 *

Also Published As

Publication number Publication date
JP7099664B2 (ja) 2022-07-12
JP2022095898A (ja) 2022-06-28
EP3761655A1 (en) 2021-01-06
KR102377191B1 (ko) 2022-03-22
EP3761655A4 (en) 2022-01-26
US20200404369A1 (en) 2020-12-24
KR20200124729A (ko) 2020-11-03
WO2019165933A1 (zh) 2019-09-06
CN110198474A (zh) 2019-09-03
JP2021515480A (ja) 2021-06-17
US11523174B2 (en) 2022-12-06
JP7302144B2 (ja) 2023-07-04

Similar Documents

Publication Publication Date Title
US11394985B2 (en) Hybrid backward-compatible signal encoding and decoding
US20230276061A1 (en) Scalable video coding system with parameter signaling
EP3707891B1 (en) Method and device for generating a second image from a first image
US11695947B2 (en) Signaling high dynamic range and wide color gamut content in transport streams
TWI713354B (zh) 用於顯示器調適之色彩重映射資訊ｓｅｉ信息發信號
CN110198474B (zh) 一种码流处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant