CN109963176A - 视频码流处理方法、装置、网络设备和可读存储介质 - Google Patents

视频码流处理方法、装置、网络设备和可读存储介质 Download PDF

Info

Publication number
CN109963176A
CN109963176A CN201711433126.8A CN201711433126A CN109963176A CN 109963176 A CN109963176 A CN 109963176A CN 201711433126 A CN201711433126 A CN 201711433126A CN 109963176 A CN109963176 A CN 109963176A
Authority
CN
China
Prior art keywords
image
stream
information
extracted
subcode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711433126.8A
Other languages
English (en)
Other versions
CN109963176B (zh
Inventor
李明
吴钊
吴平
华孝泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201711433126.8A priority Critical patent/CN109963176B/zh
Priority to US16/958,644 priority patent/US11336965B2/en
Priority to EP18893476.4A priority patent/EP3734974A4/en
Priority to PCT/CN2018/119517 priority patent/WO2019128668A1/zh
Publication of CN109963176A publication Critical patent/CN109963176A/zh
Application granted granted Critical
Publication of CN109963176B publication Critical patent/CN109963176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种视频码流处理方法、装置、网络设备和可读存储介质，针对现有技术中接入延迟大，编解码速度慢的问题，通过解析待抽取码流，从待抽取码流的数据单元中获取可抽取的子码流的参数信息，通过参数信息确定子码流中的随机接入图像的图像类型参数取值，在从待抽取码流中抽取子码流的过程中，在子码流的数据单元中进行图像类型参数取值的设置。通过本发明的实施，以随机接入图像的图像类型参数取值来设置抽取的子码流的图像类型参数，从而显著提升了子码流抽取和编解码的速度。

Description

视频码流处理方法、装置、网络设备和可读存储介质
技术领域
本发明涉及视频处理和通信领域，尤其涉及一种视频码流处理方法、装置、网络设备和可读存储介质。
背景技术
在视频码流(bitstream)中，通常对图像整体设置标识信息字段，用于标识图像是否可以提供随机接入功能。从图像对应的码流中进行码流抽取获得子码流时，如果所述图像是随机接入图像，子码流对应的图像也是随机接入图像，这样，对于从整个视频码流中图像进行码流抽取得到的子码流，从该图像即可完成对该子码流的随机接入操作。
由于现有技术中采用对图像整体设置标识信息字段的方法标识图像是否可以提供随机接入功能，因此，在码流抽取过程中，在获得该标识信息字段时才能够在视频码流层上确定子码流中包含的随机接入图像。这样带来的缺陷包括：
为了增加关注度较高区域对应子码流的随机接入点，需要为整个视频码流增加随机接入点，这样就增加了视频码流整体的编码开销，进一步增加了网络传输和服务器调度的处理复杂度；
用户必须等待视频码流的随机接入图像才能接入到关注的区域，增加了用户的接入延迟，例如，对于体育比赛直播的应用，即使用户选择观看比赛场内的内容，也必须等待视频码流的随机接入图像，终端设备才能正确抽取图像码流中比赛场内相关区域的子码流；
当网络传输带宽降低或终端缓冲区充满程度较高时，终端无法通过逐次接入不同区域对应子码流的方式，最终接入整个视频码流，为用户呈现完整的高分辨率视频图像。
发明内容
本发明实施例提供了一种视频码流处理方法、装置、网络设备和可读存储介质，旨在解决现有技术中接入延迟大，编解码较慢的问题。
为了解决上述技术问题，本发明实施例提供了一种视频码流处理方法，包括：
解析待抽取码流，从所述待抽取码流的数据单元中获得可抽取的子码流的参数信息；
通过所述参数信息确定所述子码流中的随机接入图像的图像类型参数取值；
根据所述图像类型参数取值，在从所述待抽取码流中抽取所述子码流过程中，设置所述子码流的数据单元中的图像类型参数取值。
本发明实施例还提供了一种视频码流处理装置，包括：
码流解析模块，用于解析待抽取码流，从所述待抽取码流的数据单元中获得可抽取的子码流的参数信息；
参数确定模块，用于通过所述参数信息确定所述子码流中的随机接入图像的图像类型参数取值；
参数设置模块，用于根据所述图像类型参数取值，在从所述待抽取码流中抽取所述子码流过程中，设置所述子码流的数据单元中的图像类型参数取值。
本发明实施例还提供了一种网络设备，包括处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和存储器之间的连接通信；
所述处理器用于执行所述存储器中存储的视频码流处理程序，以实现上述的视频码流处理方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或者多个计算机程序，所述计算机程序可被一个或者多个处理器执行，以实现上述的视频码流处理方法的步骤。
本发明的有益效果是：
本发明提供了一种视频码流处理方法、装置、网络设备和可读存储介质，针对现有技术中接入延迟大，编解码速度慢的问题，通过解析待抽取码流，从待抽取码流的数据单元中获取可抽取的子码流的参数信息，通过参数信息确定子码流中的随机接入图像的图像类型参数取值，在从待抽取码流中抽取子码流的过程中，在子码流的数据单元中进行图像类型参数取值的设置。通过本发明的实施，以随机接入图像的图像类型参数取值来设置抽取的子码流的图像类型参数，从而显著提升了子码流抽取和编解码的速度。
本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。
附图说明
图1为本发明第一实施例提供的一种视频码流处理方法流程图；
图2为本发明第二实施例提供的一种视频码流处理装置组成示意图；
图3为本发明第三实施例提供的一种视频码流处理方法流程图；
图4为本发明第五实施例提供的一种网络设备组成示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
第一实施例
请参考图1，图1是本发明第一实施例提供的视频码流处理方法流程图，包括：
S101、解析待抽取码流，从待抽取码流的数据单元中获得可抽取的子码流的参数信息；
S102、通过参数信息确定子码流中的随机接入图像的图像类型参数取值；
S103、根据图像类型参数取值，在从待抽取码流中抽取子码流过程中，设置子码流的数据单元中的图像类型参数取值。
在流媒体应用中，一个高分辨率图像的视频码流可以抽取出一个或多个不同分辨率的码流，这样可以是适应于不同解码能力的终端设备以及多种不同的应用场景，例如，交互式超高清电视、动态交互式点播等。对于使用全景视频或360度视频的应用，服务器可以根据终端提供的用户观看需求，动态地向终端用户发送包含用户指定观看内容的、从整体码流中出去的子码流。实现方法上，服务器可以根据终端提供的用户观看需求，实时地从整体码流中抽取对应的子码流；服务器也可以事先从整体码流中抽取出子码流，根据终端提供的用户观看需求，动态地选择发送对应的子码流。
为了提供随机接入功能，视频码流中会包含能够进行随机接入的图像。随机接入图像的解码过程中不需要参考该图像外其他图像的已解码信息。这样，从随机接入图像开始，按照解码顺序，解码器无需该图像之前码流的任何信息即可以正确解码该图像及其后续图像对应的码流。但是，随机接入图像的编码比特开销，远大于解码过程中需要使用其他图像已解码信息的图像。
在实际应用中，高分辨率视频、全景视频和360度视频通常都包含丰富的场景信息，用户对于不同场景内容投入的关注度差异很大，因此，对于包含关注度较高区域的子码流，往往需要能够提供相对密集的随机接入图像，以方便用户接入观看。例如，对于体育比赛直播的应用，在比赛进行过程中，用户更加关注视频图像中比赛场内的图像区域，而对观众的图像区域关注度较低。这样，对于包含比赛场内的图像区域的子码流，需要能够为用户提供相对于观众图像区域更加密集的随机接入图像，以方便用户及时接入直播码流。
S101中，解析待抽取码流，从待抽取码流的数据单元中获得可收取的子码流的参数信息；其中，待抽取码流，表示服务器或者用户或者中间设备需要从中抽取出子码流的整体码流，或者是从中抽取出下一级子码流的子码流。具体来说，待抽取码流就是子码流的来源，而待抽取码流可以是包括整体码流在内的所有可抽取出下一级子码流的码流，也就是子码流是带抽取码流的子集。在本实施例中，码流则具体包括视频码流，而视频码流也可称之为媒体码流或者媒体文件，比如H.265/HEVC标准的媒体码流或媒体文件，或者H.264/AVC标准的媒体码流或媒体文件等等。
其中，解析待抽取码流，从待抽取码流的数据单元中获取可抽取的子码流的参数信息中，待抽取码流的数据单元可以包括：传输流和/或媒体文件格式包含的辅助信息单元；传输流和/或媒体文件格式中与指示图像区域划分方式的数据单元；网络抽象层(Network Abstraction Layer，NAL)单元头；参数集；序列头；图像头；分片(slice)头；视频码流的辅助信息单元(例如补充增强信息(Supplemental Enhancement Information，SEI)、视频应用信息(Video Usability Information，VUI))等等，这些数据单元，或者也可以称之为系统层数据单元，都可以提供本实施例中所需的，可抽取的子码流的参数信息。
具体的，参数信息可以用于指示，可以从码流中抽取的一个或多个子码流。参数信息指示子码流对应的解码图像在码流解码所得的高分辨率图像中的位置。参数信息还可以包括解码子码流所需的解码器能力信息，例如该子码流对应的level值。
特别地，参数信息中包括用于指示子码流的随机接入图像信息。例如，一种实施方法是，参数信息指示在码流中与该参数信息所在数据单元相关联的数据单元中，被抽取进入子码流的数据单元对应的图像是否是随机接入图像。具体地，参数信息可以指示子码流中的图像是否是随机接入图像，若是，可选的，参数信息还可以进一步指示该随机接入图像的类型。
S102中，通过参数信息确定子码流中的随机接入图像的图像类型参数取值。具体的，确定子码流中的随机接入图像的图像类型参数取值可以包括以下方式中的至少一种：
当参数信息包含子码流中的随机接入图像类型信息时，将该图像类型信息的取值作为随机接入图像的图像类型参数取值；当参数信息包含与随机接入相关的接入点信息时，确定该接入点对应图像的图像类型参数取值，并将该图像类型参数取值作为随机接入图像的图像类型参数取值；当参数信息包含随机接入图像位置信息时，根据子码流在该图像位置的码流特征确定随机接入图像的图像类型信息，将该图像类型信息的取值作为随机接入图像的图像类型参数取值。
上述三种方式具体表示：当参数信息中，已经包含了子码流的随机接入图像类型信息时，则可以直接将该图像类型信息的取值，作为随机接入图像的图像类型参数取值。
此外，还可以根据，码流中与随机接入相关的信息，比如说接入点信息时，则可以根据该接入点对应图像的图像类型参数取值，来确定随机接入图像的图像类型参数取值；也就是将接入点的图像类型参数取值作为随机接入图像的图像类型参数取值。具体的，在本实施例中，接入点可以包括恢复点，而接入点信息也相应的为恢复点信息；当码流中包含恢复点信息时，如果恢复点信息指示与其关联的码流位置或子码流位置是一个恢复点时，则子码流图像是随机接入图像。如果恢复点进一步包括了随机接入图像的图像类型信息，则将子码流图像的随机接入图像类型设置为恢复点所指示的图像类型。
当参数信息中，包含与随机接入相关的接入点信息时，确定接入点对应图像的图像类型参数取值可以包括：当接入点信息中包含了图像类型信息时，将该图像类型信息的取值作为该接入点对应图像的图像类型参数取值；当接入点信息中未包含图像类型信息时，对子码流在接入点位置的码流特征进行分析确定接入点对应图像的图像类型信息，将该图像类型信息的取值作为该接入点对应图像的图像类型参数取值。
此外，还可以根据，随机接入图像所在的子码流的码流特征，来确定随机接入图像的图像类型信息，将图像类型信息的取值，作为随机接入图像的图像类型参数取值。该方案可以作为确定随机接入图像类型的通用方法，也可以作为处理在解析码流过程中没有从码流中获得显式标识的图像类型信息的情况的方法。例如，参数信息和/或恢复点信息均没有提供图像类型信息的情况下，本方案可以与前述两种方法结合使用。具体地，对子码流中随机接入图像位置的码流进行分析，由于随机接入图像的类型描述了子码流的码流特征，因此可以根据码流特征推断随机接入图像的类型，将该类型设置为子码流图像的随机接入图像类型。与随机接入图像类型相关的码流特征可包括以下一个或多个：对标识图像播放顺序序号执行的操作(例如清零操作、对高比特位的清零操作、对低比特位的清零操作)，对标识图像解码顺序序号执行的操作，对解码图像缓冲区执行的操作(例如清空操作、图像输出操作等)，解码顺序在随机接入图像之后但播放顺序在随机接入图像之前的图像的解码过程是否需要使用解码顺序在随机接入图像之前的图像。
可选的，参数信息中的标识字段可以直接指示图像类型，根据该图像类型信息可以直接确定图像类型参数的取值。此时，根据图像类型直接判断该图像是否是随机接入图像。
可选的，在子码流的数据单元中，还可以设置用于对该子码流进行码流抽取的参数信息。对码流的抽取除了基于整体码流之外，还可以基于从整体码流中抽取出的子码流来进一步抽取，只要抽取出的子码流支持进一步抽取即可。而如果要对子码流进行抽取的话，则可以在子码流的数据单元中，设置下一级子码流的参数信息。
S103中，根据图像类型参数取值，在从待抽取码流中抽取子码流过程中，设置子码流的数据单元中的图像类型参数取值，具体包括：将将子码流中包含的数据单元中的数据单元类型字段取值，和/或数据单元中包含图像的图像类型字段取值设置为图像类型参数取值。
在抽取子码流的过程中，需要保证抽取得到的子码流符合编码标准和/或传输流标准、媒体文件标准的要求，因此，需要在抽取过程中，将对子码流中的字段进行重新设置。例如，在抽取过程中，需要将码流的参数集替换为子码流的参数集。子码流中随机接入图像的图像类型字段可以位于以下数据单元中的一个或多个，包括：传输流和/或媒体文件格式中的描述字；传输流和/或媒体文件格式包含的辅助信息单元；传输流和/或媒体文件格式中与指示图像区域划分方式的数据单元；网络抽象层单元头；参数集；序列头；图像头；分片头；视频码流的辅助信息单元(例如补充增强信息)。
可选的，在本实施例中，在使用H.265/HEVC标准时，采用以下方法中的至少一种，从待抽取码流的数据单元中获得可抽取的子码流的参数信息，具体包括：
解析待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用索引序号为i的抽取信息集合的运动受限的瓦片集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用索引序号为i的抽取信息集合的第j个运动受限的瓦片集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标识信息，将IRAP接入单元对应的图像类型设置为IRAP图像；
解析待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标识信息，对于IRAP接入单元，解析IRAP接入单元中包含的IRAP图像类型；
解析待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元中图像的图像类型；
解析待抽取码流的数据单元中表示抽取得到的子码流所在的接入单元是否为恢复点的标识信息，对于恢复点，解析恢复点包含的随机接入信息。
可选的，在本实施例中，在使用H.264/AVC标准时，采用以下方法中的至少一种，从待抽取码流的数据单元中获得可抽取的子码流的参数信息，具体包括：
解析待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用索引序号为i的抽取信息集合的运动受限的分片组集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用索引序号为i的抽取信息集合的第j个运动受限的分片组集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析待抽取码流的数据单元中用于表示抽取得到的子码流的图像是否为IDR图像的标识信息；
解析待抽取码流的数据单元中表示抽取得到的子码流所在的接入单元是否为恢复点的标识信息，对于恢复点，解析恢复点包含的随机接入信息。
此外，在本实施例中，还可以包括：解析待抽取码流的系统层信息，获得可抽取的子码流的参数信息。
本实施例提供了一种视频码流处理方法，针对现有技术中接入延迟大，编解码速度慢的问题，通过解析待抽取码流，从待抽取码流的数据单元中获取可抽取的子码流的参数信息，通过参数信息确定子码流中的随机接入图像的图像类型参数取值，在从待抽取码流中抽取子码流的过程中，在子码流的数据单元中进行图像类型参数取值的设置。通过本发明的实施，以随机接入图像的图像类型参数取值来设置抽取的子码流的图像类型参数，从而显著提升了子码流抽取和编解码的速度。
第二实施例
请参考图2，图2是本发明第二实施例提供的一种视频码流处理装置组成示意图，包括：
码流解析模块201，用于解析待抽取码流，从待抽取码流的数据单元中获得可抽取的子码流的参数信息；
参数确定模块202，用于通过参数信息确定子码流中的随机接入图像的图像类型参数取值；
参数设置模块203，用于根据图像类型参数取值，在从待抽取码流中抽取子码流过程中，设置子码流的数据单元中的图像类型参数取值。
在本实施例中，码流解析模块201用于解析待抽取码流，从待抽取码流的数据单元中获得可收取的子码流的参数信息；其中，待抽取码流，表示服务器或者用户或者中间设备需要从中抽取出子码流的整体码流，或者是从中抽取出下一级子码流的子码流。具体来说，待抽取码流就是子码流的来源，而待抽取码流可以是包括整体码流在内的所有可抽取出下一级子码流的码流，也就是子码流是带抽取码流的子集。在本实施例中，码流则具体包括视频码流，而视频码流也可称之为媒体码流或者媒体文件，比如H.265/HEVC标准的媒体码流或媒体文件，或者H.264/AVC标准的媒体码流或媒体文件等等。
其中，解析待抽取码流，从待抽取码流的数据单元中获取可抽取的子码流的参数信息中，待抽取码流的数据单元可以包括：传输流和/或媒体文件格式包含的辅助信息单元；传输流和/或媒体文件格式中与指示图像区域划分方式的数据单元；网络抽象层单元头；参数集；序列头；图像头；分片头；视频码流的辅助信息单元(例如补充增强信息、视频应用信息)等等，这些数据单元，或者也可以称之为系统层数据单元，都可以提供本实施例中所需的，可抽取的子码流的参数信息。
具体的，参数信息可以用于指示，可以从码流中抽取的一个或多个子码流。参数信息指示子码流对应的解码图像在码流解码所得的高分辨率图像中的位置。参数信息还可以包括解码子码流所需的解码器能力信息，例如该子码流对应的level值。
特别地，参数信息中包括用于指示子码流的随机接入图像信息。例如，一种实施方法是，参数信息指示在码流中与该参数信息所在数据单元相关联的数据单元中，被抽取进入子码流的数据单元对应的图像是否是随机接入图像。具体地，参数信息可以指示子码流中的图像是否是随机接入图像，若是，可选的，参数信息还可以进一步指示该随机接入图像的类型。
在本实施例中，参数确定模块202用于通过参数信息确定子码流中的随机接入图像的图像类型参数取值。具体的，确定子码流中的随机接入图像的图像类型参数取值可以包括以下方式中的至少一种：
当参数信息包含子码流中的随机接入图像类型信息时，将该图像类型信息的取值作为随机接入图像的图像类型参数取值；当参数信息包含与随机接入相关的接入点信息时，确定该接入点对应图像的图像类型参数取值，并将该图像类型参数取值作为随机接入图像的图像类型参数取值；当参数信息包含随机接入图像位置信息时，根据子码流在该图像位置的码流特征确定随机接入图像的图像类型信息，将该图像类型信息的取值作为随机接入图像的图像类型参数取值。
上述三种方式具体表示：当参数信息中，已经包含了子码流的随机接入图像类型信息时，则可以直接将该图像类型信息的取值，作为随机接入图像的图像类型参数取值。
此外，还可以根据，码流中与随机接入相关的信息，比如说接入点信息时，则可以根据该接入点对应图像的图像类型参数取值，来确定随机接入图像的图像类型参数取值；也就是将接入点的图像类型参数取值作为随机接入图像的图像类型参数取值。具体的，在本实施例中，接入点可以包括恢复点，而接入点信息也相应的为恢复点信息；当码流中包含恢复点信息时，如果恢复点信息指示与其关联的码流位置或子码流位置是一个恢复点时，则子码流图像是随机接入图像。如果恢复点进一步包括了随机接入图像的图像类型信息，则将子码流图像的随机接入图像类型设置为恢复点所指示的图像类型。
当参数信息中，包含与随机接入相关的接入点信息时，确定接入点对应图像的图像类型参数取值可以包括：当接入点信息中包含了图像类型信息时，将该图像类型信息的取值作为该接入点对应图像的图像类型参数取值；当接入点信息中未包含图像类型信息时，对子码流在接入点位置的码流特征进行分析确定接入点对应图像的图像类型信息，将该图像类型信息的取值作为该接入点对应图像的图像类型参数取值。
此外，还可以根据，随机接入图像所在的子码流的码流特征，来确定随机接入图像的图像类型信息，将图像类型信息的取值，作为随机接入图像的图像类型参数取值。该方案可以作为确定随机接入图像类型的通用方法，也可以作为处理在解析码流过程中没有从码流中获得显式标识的图像类型信息的情况的方法。例如，参数信息和/或恢复点信息均没有提供图像类型信息的情况下，本方案可以与前述两种方法结合使用。具体地，对子码流中随机接入图像位置的码流进行分析，由于随机接入图像的类型描述了子码流的码流特征，因此可以根据码流特征推断随机接入图像的类型，将该类型设置为子码流图像的随机接入图像类型。与随机接入图像类型相关的码流特征可包括以下一个或多个：对标识图像播放顺序序号执行的操作(例如清零操作、对高比特位的清零操作、对低比特位的清零操作)，对标识图像解码顺序序号执行的操作，对解码图像缓冲区执行的操作(例如清空操作、图像输出操作等)，解码顺序在随机接入图像之后但播放顺序在随机接入图像之前的图像的解码过程是否需要使用解码顺序在随机接入图像之前的图像。
可选的，参数信息中的标识字段可以直接指示图像类型，根据该图像类型信息可以直接确定图像类型参数的取值。此时，根据图像类型直接判断该图像是否是随机接入图像。
可选的，还可以包括参数预设模块204，用于在子码流的数据单元中，设置用于对该子码流进行码流抽取的参数信息。对码流的抽取除了基于整体码流之外，还可以基于从整体码流中抽取出的子码流来进一步抽取，只要抽取出的子码流支持进一步抽取即可。而如果要对子码流进行抽取的话，则可以在子码流的数据单元中，设置下一级子码流的参数信息。
在本实施例中，参数设置模块203用于根据图像类型参数取值，在从待抽取码流中抽取子码流过程中，设置子码流的数据单元中的图像类型参数取值，具体包括：将将子码流中包含的数据单元中的数据单元类型字段取值，和/或数据单元中包含图像的图像类型字段取值设置为图像类型参数取值。
在抽取子码流的过程中，需要保证抽取得到的子码流符合编码标准和/或传输流标准、媒体文件标准的要求，因此，需要在抽取过程中，将对子码流中的字段进行重新设置。例如，在抽取过程中，需要将码流的参数集替换为子码流的参数集。子码流中随机接入图像的图像类型字段可以位于以下数据单元中的一个或多个，包括：传输流和/或媒体文件格式中的描述字；传输流和/或媒体文件格式包含的辅助信息单元；传输流和/或媒体文件格式中与指示图像区域划分方式的数据单元；网络抽象层单元头；参数集；序列头；图像头；分片头；视频码流的辅助信息单元(例如补充增强信息)。
可选的，在本实施例中，在使用H.265/HEVC标准时，采用以下方法中的至少一种，从待抽取码流的数据单元中获得可抽取的子码流的参数信息，具体包括：
解析待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用索引序号为i的抽取信息集合的运动受限的瓦片集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用索引序号为i的抽取信息集合的第j个运动受限的瓦片集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标识信息，将IRAP接入单元对应的图像类型设置为IRAP图像；
解析待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标识信息，对于IRAP接入单元，解析IRAP接入单元中包含的IRAP图像类型；
解析待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元中图像的图像类型；
解析待抽取码流的数据单元中表示抽取得到的子码流所在的接入单元是否为恢复点的标识信息，对于恢复点，解析恢复点包含的随机接入信息。
可选的，在本实施例中，在使用H.264/AVC标准时，采用以下方法中的至少一种，从待抽取码流的数据单元中获得可抽取的子码流的参数信息，具体包括：
解析待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用索引序号为i的抽取信息集合的运动受限的分片组集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用索引序号为i的抽取信息集合的第j个运动受限的分片组集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析待抽取码流的数据单元中用于表示抽取得到的子码流的图像是否为IDR图像的标识信息；
解析待抽取码流的数据单元中表示抽取得到的子码流所在的接入单元是否为恢复点的标识信息，对于恢复点，解析恢复点包含的随机接入信息。
此外，在本实施例中，还可以包括：解析待抽取码流的系统层信息，获得可抽取的子码流的参数信息。
本实施例提供了一种视频码流处理装置，针对现有技术中接入延迟大，编解码速度慢的问题，通过解析待抽取码流，从待抽取码流的数据单元中获取可抽取的子码流的参数信息，通过参数信息确定子码流中的随机接入图像的图像类型参数取值，在从待抽取码流中抽取子码流的过程中，在子码流的数据单元中进行图像类型参数取值的设置。通过本发明的实施，以随机接入图像的图像类型参数取值来设置抽取的子码流的图像类型参数，从而显著提升了子码流抽取和编解码的速度。
第三实施例
本实施例基于H.265/HEVC标准，对视频码流处理方法进行具体说明。
使用H.265/HEVC标准的编码器可以将视频图像划分成多个Tile，通过设置Tile边界控制条件，使得各图像中同位置的一个或多个Tile在解码过程中仅使用同图像中该一个或多个Tile内的数据进行帧内预测、同时仅使用其他图像中同位置的一个或多个Tile内的数据进行帧间预测。尽管一个或多个Tile本身在H.265/HEVC码流中并没有直接显式对应的数据结构，但一个或多个Tile对应的编码数据(以网络抽象层数据单元为例)可以被抽取成一个子码流。对该子码流进行解码可以获得原图像中一个或多个Tile对应的一个图像区域的恢复图像。在H.265/HEVC标准中，的一个或多个Tile组成了运动受限的Tile集合(MotionConstrained Tiles Set，MCTS)。
H.265/HEVC标准的编码器可以为视频图像编码MCTS的辅助信息，用于指示编码图像中所包含的MCTS以用于子码流的抽取。同时，编码器还可以继续为MCTS编码用于指导码流抽取过程的辅助信息。本实施例的编码器可以在MCTS辅助信息、MCTS子码流抽取的辅助信息中的至少之一中编码通过抽取该MCTS获得的子码流的图像是否是随机接入图像。可选的，在子码流的图像是随机接入图像的情况下，进一步编码随机接入图像的类型信息。
使用H.265/HEVC标准的设备可以在MCTS子码流抽取的过程中，为子码流设置随机接入图像信息。这里，使用H.265/HEVC标准的设备可以是终端接收设备(例如机顶盒、电视机、PC、便携终端等)，该设备接收编码器产生的码流，根据用户的观看需求选择需求选择并抽取对应的MCTS子码流，然后使用设备上的H.265/HEVC解码器对子码流进行解码获得恢复图像。可选择的，使用H.265/HEVC标准的设备还可以是数据传输网络的网络中间设备(例如网络路由器)，该设备根据所获得的指令(例如用户选择的观看区域)，对本实施例编码器产生的码流进行MCTS抽取，将抽取出的子码流进行存储或发送。可选择的，使用H.265/HEVC标准的设备还可以是媒体数据服务器，该设备将本实施例的编码器产生的码流进行MCTS抽取，得到一个或多个子码流，这样，在实际应用中，该设备可以根据所获得的指令(例如用户选择的观看区域)，选择已抽取得到的字码流进行存储或发送。可选择的，抽取出的子码流仍可以继续包含能够进行码流抽取的MCTS，使用H.265/HEVC标准的设备可以继续为这样的子码流设置码流抽取所需要的辅助信息，将这些辅助信息编码进入辅助信息数据单元并添加到子码流中。
本实施例使用的一种辅助信息码流组织方法如表1所示。该方法在用于指示MCTS子码流抽取的辅助信息单元中携载用于指示子码流随机接入点的信息，随机接入点的信息也可以包括随机接入图像类型信息。在指示码流中包含的MCTS信息的辅助信息单元中，也可以使用与此相似的方法卸载用于指示子码流随机接入点的信息。
表1
表1中，random_access_info()是一个数据结构，其中包含了抽取的子码流的随机接入信息。按照表1的方法，设置使用索引序号为i的抽取信息集合(extractioninformation set)进行码流抽取得到的子码流，组成该子码流的、使用索引序号为i的抽取信息集合的所有MCTS对应的图像区域具有相同的随机接入属性。随机接入属性用于指示随机接入点的属性，例如具有相同的图像类型。
可选的，本实施例使用的一种辅助信息码流组织方法还可以如表2所示。
表2
表2中，random_access_info()是一个数据结构，其中包含了抽取的子码流的随机接入信息。按照表2的方法，使用索引序号为i的抽取信息集合(extraction informationset)进行码流抽取得到的子码流，组成该子码流的、使用索引序号为i的抽取信息集合的第j个MCTS对应的图像区域具有相同的随机接入属性。随机接入属性用于指示随机接入点的属性，例如具有相同的图像类型。与表1的方法不同的是，尽管都使用索引序号为i的抽取信息集合，第j个MCTS和第k个(k不等于j)MCTS对应的图像区域可以具有不同的随机接入属性。表2的方法增加了编码码流生成和抽取过程的灵活性。
可选的，random_access_info()数据结构中的一种信息组织方法可以如表3所示。
表3
表3中，irap_flag表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标志位；当irap_flag取值等于1时，表示抽取得到的子码流的图像所在的接入单元(access unit，AU)是IRAP(intra random access point)AU，该图像是IRAP图像；irap_flag取值等于0时，表示抽取得到的子码流图像所在的AU不是IRAP AU。使用u(1)对应的熵编码方法(码流生成设备上，例如编码器)或熵解码方法(码流处理设备上，例如解码器、转码器、码流抽取模块)对irap_flag进行处理。
可选的，random_access_info()数据结构中的一种信息组织方法还可以如表4所示。
表4
表4中，irap_flag表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标志位；对于IRAP接入单元，则可以进一步设置具体的IRAP图像类型。当irap_flag取值等于1时，表示抽取得到的子码流的图像所在的AU是IRAP AU，该图像是IRAP图像；irap_flag取值等于0时，表示抽取得到的子码流图像所在的AU不是IRAP AU。使用u(1)对应的熵编码方法(码流生成设备上，例如编码器)或熵解码方法(码流处理设备上，例如解码器、转码器、码流抽取模块)对irap_flag进行处理。nal_unit_type_info表示的是IRAP图像类型。可选的，这里的IPAP图像类型可以使用与H.265/HEVC标准定义的NAL单元类型(使用nal_unit_type指示)中的IRAP相同的类型，包括BLA_W_LP、BLA_W_RADL、BLA_N_LP、IDR_W_RADL、IDR_N_LP、CRA_NUT中的一种或多种。可选的，除了nal_unit_type中IRAP相关的类型外，nal_unit_type_info还可以包括其他IRAP图像类型，例如对CRA类型的IRAP图像，可以进一步细化为CRA_W_LP、CRA_W_RADL、CRA_N_LP，从而为码流抽取过程中的图像类型的设置提供更多信息。使用u(6)对应的熵编码方法(码流生成设备上，例如编码器)或熵解码方法(码流处理设备上，例如解码器、转码器、码流抽取模块)对nal_unit_type_info进行处理。需要说明的是，当nal_unit_type_info的可能取值多于64个时，可以为nal_unit_type_info使用更多的比特来表示，例如u(7)(可表示128个取值)、u(8)(可表示256个取值)等。
可选的，random_access_info()数据结构中的一种信息组织方法如表5所示。
表5
表5中，nal_unit_type_info表示抽取得到的子码流的图像所在的AU中图像的图像类型。这里，AU中图像的类型可以是与H.265/HEVC标准定义的NAL单元类型(使用nal_unit_type指示)中所涉及的图像类型，包括TRAIL_N、TRAIL_R、TSA_N、TSA_R、STSA_N、STSA_R、RADL_N、RADL_R、RASL_N、RASL_R、BLA_W_LP、BLA_W_RADL、BLA_N_LP、IDR_W_RADL、IDR_N_LP、CRA_NUT中的一种或多种，其中，当nal_unit_type_info指示的图像类型是BLA_W_LP、BLA_W_RADL、BLA_N_LP、IDR_W_RADL、IDR_N_LP或CRA_NUT时，表示抽取得到的子码流的图像所在的AU中包含的图像是IRAP图像；反之，当nal_unit_type_info指示的图像类型是其他类型时，表示抽取得到的子码流的图像所在的AU中包含的图像不是IRAP图像。使用u(6)对应的熵编码方法(码流生成设备上，例如编码器)或熵解码方法(码流处理设备上，例如解码器、转码器、码流抽取模块)对nal_unit_type_info进行处理。需要说明的是，当nal_unit_type_info的可能取值多于64个时，可以为nal_unit_type_info使用更多的比特来表示，例如u(7)(可表示128个取值)、u(8)(可表示256个取值)等。
使用表1所示的辅助信息码流组织方法，即使用索引序号为i的抽取信息集合(extraction information set)进行码流抽取得到的子码流，组成该子码流的、使用索引序号为i的抽取信息集合的所有MCTS对应的图像区域具有相同的随机接入属性。使用表2所示的辅助信息码流组织方法的实施方法与使用表1实施方法类似，不同之处在于尽管都使用索引序号为i的抽取信息集合，第j个MCTS和第k个(k不等于j)MCTS对应的图像区域可以具有不同的随机接入属性。尽管如此，使用表1或表2的实施方法对码流进行子码流抽取时，均需要确定抽取的目标MCTS对应的图像区域的随机接入属性。
请参考图3，下面以表1为例，对本实施例中的视频码流处理方法进行说明。
S301、解析H.265/HEVC视频码流，从视频码流的数据单元中获得码流中可抽取的子码流的参数信息。
具体的，可以通过：解析AU中包含的SEI信息单元，从时域运动受限的Tile集合SEI信息(Temporal motion-constrained tile sets SEI message)中获得AU中图像的MCTS划分信息；从表1所示的MCTS抽取SEI信息中获得抽取不同的MCTS对应的子码流的辅助信息，并获得各MCTS对应子码流的随机接入信息。
S302、当参数信息中的标识字段取值指示子码流中图像是随机接入点对应图像时，确定随机接入图像的图像类型参数取值。
可选的在使用表3的组织方法时，当irap_flag的取值等于1时，表示子码流中图像是随机接入点对应图像。对于随机接入点对应图像，进一步根据按照解码顺序，该子码流图像的后续图像的以下性质来确定该随机接入图像的图像类型：
按照图像解码顺序，如果子码流中该随机接入图像之后解码的图像的播放顺序均在该随机接入图像之后，那么判断该随机接入图像不带有在先图像(leading picture，LP)；反之，判断存在与该随机接入图像相伴随(associated)的LP图像。
当存在与该随机接入图像相伴随的LP图像时，如果所有LP图像的解码过程均不参考按照解码顺序在该随机接入图像之前的图像，那么判断在子码流中，如果从该随机接入图像进行随机接入，该随机接入图像相伴随的LP图像是可以正确解码的；反之，如果从该随机接入图像进行随机接入，该随机接入图像相伴随的LP图像是不能够正确解码的，需要说明的是，当LP图像有一个或多个的情况下，这种情况下并不意味着所有的LP图像均不能正确解码。
根据子码流中该随机接入图像对应的图像序号(picture order count，POC)取值、解码图像缓冲区(decoded picture buffer，DPB)的状态和操作(例如是否可以清空DPB)、是否需要声明参考图像集合等，选择与上述性质相符的随机接入图像的类型作为该随机接入图像的类型，可选择的图像类型是H.265/HEVC标准中定义的随机接入图像类型：IDR(instantaneous decoding refresh)、BLA(broken link access)、CRA(clean randomaccess)。例如，当判断该随机接入图像的POC取值等于0、DPB中图像均不用做按解码顺序该随机接入图像之后所有图像的解码参考图像时，可以将该随机接入图像的类型设置为IDR。同时，结合前述已判断的该随机接入图像是否有相伴随的LP图像、以及在存在LP图像时该LP图像的解码过程是否需要参考按解码顺序在该随机接入图像之前的图像，设置该随机接入图像类型在NAL单元头信息中nal_unit_type对应的图像类型。nal_unit_type由H.265/HEVC标准所定义。具体地，对于上述示例，如果该随机接入图像没有伴随的LP图像，则将其NAL单元头信息中nal_unit_type对应的图像类型设置为IDR_N_LP；如果该随机接入图像存在伴随的LP图像，并且LP图像的解码不需要参考按解码顺序在该随机接入图像之前的图像，则将该随机接入图像NAL单元头信息中nal_unit_type对应的图像类型设置为IDR_W_RADL；如果该随机接入图像存在伴随的LP图像，并且LP图像的解码需要参考按解码顺序在该随机接入图像之前的图像，则将该随机接入图像的类型由IDR更改为BLA，并将其NAL单元头信息中nal_unit_type对应的图像类型设置为BLA_W_LP。
可选的，在使用表4的组织方法时，当irap_flag的取值等于1时，表示子码流中图像是随机接入点对应图像。进一步解析nal_unit_type_info，获得该随机接入图像NAL单元头信息中nal_unit_type对应的图像类型。与使用表3的方法相比，使用表4的方法，码流处理设备上不需要根据子码流的情况来判断和确定该随机接入图像的类型，但码流生成设备需要为码流处理设备的子码流抽取过程确定子码流中随机接入图像的类型，并设置表4中的信息字段nal_unit_type_info的取值。
可选的，在使用表5的组织方法时，直接解析nal_unit_type_info，获得包含该字段的SEI信息所在AU中MCTS对应子码流中MCTS对应图像区域在子码流中对应图像的图像类型。当nal_unit_type_info对应的取值指示该图像的图像类型是BLA_W_LP、BLA_W_RADL、BLA_N_LP、IDR_W_RADL、IDR_N_LP或CRA_NUT时，表示抽取得到的子码流的图像所在的AU中包含的图像是IRAP图像；当nal_unit_type_info对应的取值指示该图像的图像类型是TRAIL_N、TRAIL_R、TSA_N、TSA_R、STSA_N、STSA_R、RADL_N、RADL_R、RASL_N、RASL_R时，表示抽取得到的子码流的图像所在的AU中包含的图像不是IRAP图像。该图像NAL单元头信息中nal_unit_type对应的图像类型可直接设置为解析nal_unit_type_info指示的图像类型。与使用表4的组织方法相似，与使用表3的方法相比，使用表5的方法，码流处理设备上不需要根据子码流的情况来判断和确定该随机接入图像的类型，但码流生成设备需要为码流处理设备的子码流抽取过程确定子码流中随机接入图像的类型，并设置表5中的信息字段nal_unit_type_info的取值。
S303、在抽取子码流过程中，将子码流中包含的数据单元中的数据单元类型字段取值和/或数据单元中包含图像的图像类型字段取值设置为随机接入点对应图像类型参数取值。
可选的，步骤202使用表3或者表4的情况下，在子码流的图像是随机接入图像时，步骤202确定随机接入图像的类型。对于子码流中的随机接入图像对应的NAL单元，将NAL单元中nal_unit_type字段的值重写为步骤202中确定的图像类型对应的取值。
可选的，步骤202使用表5的情况下，步骤202可以获得子码流中的随机接入图像和非随机接入图像的图像类型。这种情况下，将子码流图像中NAL单元中nal_unit_type字段的值重写为步骤202中确定的图像类型对应的取值。
进一步地，步骤203还可以继续判断子码流中图像分片头信息中的分片类型(slice_type)字段的值是否与nal_unit_type字段标识的图像类型相符合。例如，当sps_curr_pic_ref_enabled_flag字段的取值等于0或该字段不存在的情况下，对于随机接入图像，其分片头信息中slice_type字段取值对应的指示为“I”。步骤203还可以对子码流进行符合性(conformance)检查，判断子码流是否符合其所声明的H.265/HEVC标准中的档次(profile)、等级(tier)和级别(level)，并根据H.265/HEVC标准对码流中不符合的字段进行重写操作。可选的，步骤203可以根据子码流中图像间的预测结构等特征，进一步细化和重写码流中的对应字段，例如非随机接入图像的nal_unti_type、图像的参考图像集合(reference picture set，RPS)信息等。例如，在子码流抽取前，图像的nal_unit_type指示该图像会用做参考图像，在子码流后，子码流中包含的该图像的部分区域组成的图像不会用做该子码流中其他图像的参考图像，此时，步骤203可以将该子码流中的图像的nal_unit_type重写为指示该图像不用做参考图像的取值，也可以继续同时对应调整该图像的RPS信息。
在执行S201之前，或者执行S202之前，或者执行S203之前，需要确定抽取的子码流。子码流的选择根据应用的需求来确定。例如，对于媒体服务器，需要为不同观看区域分别抽取出子码流，用于根据用户的观看选择来发送对应子码流；对于终端设备，在获得了完整码流或子码流的情况下，可以根据用户选择观看的区域，对完整码流或子码流进行抽取，对抽取出的码流进行解码和播放。需要说明的是，抽取出的子码流可以是一个不能再继续抽取的码流，也可以继续抽取的码流，例如该子码流中还包含有一个或多个MCTS可供抽取。对于后一种情况，S203中可以为该子码流进一步设置附加辅助信息，例如为子码流重新设置MCTS信息、表1至表5中对应字段的取值，以方便后续码流处理过程对该子码流的进一步抽取操作。
对于抽取出的子码流，除上述可使用nal_unit_type指示随机接入图像类型(和非随机接入图像类型(例如使用表5))外，还可以在S203的执行过程中，根据图像类型为子码流设置恢复点(recovery point)SEI信息，并将该SEI信息写入相关随机接入图像或者码流随机访问点对应图像的AU中。
第四实施例：
本实施例基于H.265/HEVC标准，对视频码流处理方法进行具体说明。
对于使用H.264/AVC标准的设备，可以使用分片组(slice group)实现与第二实施例中的Tile类似的功能，即可以将视频图像划分成多个分片组，通过设置分片组的边界控制条件，使得各图像中同位置的一个或多个分片组在解码过程中仅使用同图像中该一个或多个分片组内的数据进行帧内预测、同时仅使用其他图像中同位置的一个或多个分片组内的数据进行帧间预测。一个或多个分片组对应的编码数据(以NAL数据单元(NAL Unit))可以被抽取成一个子码流。对该子码流进行解码可以获得原图像中一个或多个分片组对应的一个图像区域的恢复图像。在H.264/AVC标准中，一个或多个分片组可以组成运动受限的分片组集合(Motion Constrained Slice Group Set)。
相应的，可以对H.264/AVC的码流进行子码流抽取，并且由运动受限的分片组集合对应图像区域组成的子码流中图像是否是随机接入图像以及随机接入图像类型，同时对抽取出的子码流中图像类型以及与此相关的码流字段进行重写。
在具体执行流程中，与第二实施例有所不同的是，H.264/AVC标准中只定义了IDR图像而没有BLA图像和CRA图像。因此，在NAL单元头信息中，只有nal_unit_type的取值等于5时，该字段明确指示NAL单元中携载的是IDR图像的编码数据，该IDR图像是可以用做随机接入图像。这样，当判断子码流中图像的随机接入图像类型是IDR_W_RADL或IDR_N_LP时，在本实施例中，在H.264/AVC标准定义的图像类型中，可以明确对应为IDR图像，即在S203的执行过程中，将子码流中随机接入图像的NAL数据单元中nal_unit_type字段的值重写为5。其他情况下，对子码流的图像，需要将nal_unit_type字段的值设置为1；进一步的，对于使用非IDR图像实现的随机接入图像，可以进一步使用恢复点SEI信息来指示该随机接入图像，在S203的执行过程中，需要将该恢复点SEI信息写入该非IDR图像在子码流中对应的AU中。可选的，在S203的执行过程中，需要根据H.264/AVC标准对与图像类型和/或恢复点SEI信息来重写分片头信息中的相关字段，例如采用与第二实施例相似的方法重写slice_type字段。
在本实施例中，对H.264/AVC码流进行子码流抽取后，所得到的子码流可能不能再继续进行子码流抽取，也可能可以继续进行子码流抽取。在可以继续抽取的情况下，在子码流抽取时可以为该子码流生成新的运动受限的分片组集合SEI信息以及类似于第二实施例中的随机接入图像类型信息等SEI信息，并将这些SEI信息添加到子码流中，例如添加到子码流的随机接入图像所在的AU中，以利于对子码流进行高效抽取操作。
第五实施例：
前述各实施例中的方法是利用待抽取码流中的视频基本码流(video elementarystream)中的辅助信息对视频码流进行抽取。采用类似于视频基本码流的用于子码流抽取的辅助信息组织方法，码流生成设备可以在系统层上编码这些辅助信息，例如在传输流的描述字、文件格式的数据单元(例如box中)、传输流的媒体描述信息(例如媒体呈现描述(Media Presentation Description，MPD))等信息单元。
在本实施例中，在系统层获得了子码流抽取的辅助信息后，可以根据系统层所携载的视频码流所使用的标准(例如H.265/HEVC标准、H.264/AVC标准)，选择使用前述实施例中的方法进行子码流抽取操作。
可选的，在本实施例中，在抽取的到子码流的过程中，可以根据系统层的子码流抽取辅助信息，为抽取的到的视频子码流进一步生成抽取子码流的辅助信息。可选的，这些辅助信息可以以SEI信息单元的方式，使用第二实施例或第三实施例的方法添加到视频基本码流中，然后对视频基本码流进行系统层封装处理。同时，可选的，这些辅助信息可以以系统层辅助信息的方式，在对视频基本码流进行系统层封装处理的过程中添加到系统层码流中。
在系统层的码流抽取过程中，根据视频基本码流的子码流随机接入图像的情况，系统层在对该子码流进行系统层打包处理的过程中，对应设置或重写系统层上已有的与随机接入图像和/或码流接入点(Stream Access Point，SAP)相关的系统层字段的取值。
第六实施例
请参考图4，图4为本发明第六实施例提供的一种网络设备组成示意图，包括：处理器401、存储器402和通信总线403；通信总线403用于实现处理器401和存储器402之间的连接通信；处理器401用于执行存储器402中存储的视频码流处理程序，以实现前述各实施例中的视频码流处理方法的步骤。
具体的，本实施例中的网络设备可以使用第一实施例的方法对视频码流进行子码流抽取，或者，结合第四实施例和第一实施例的方法进行子码流抽取。
具体的，网络设备可以对使用H.265/HEVC标准的媒体码流或媒体文件，使用第二实施例的方法进行子码流抽取。或者，结合第四实施例和第二实施例的方法进行子码流抽取。
具体的，网络设备可以对使用H.264/AVC标准的媒体码流或媒体文件，使用第三实施例的方法进行子码流抽取。或者，结合第四实施例和第三实施例的方法进行子码流抽取。
本实施例的网络设备可以是视频通信应用中相关码流生成设备和接收播放设备，具体可以包括终端接收设备、网络中间设备以及媒体数据服务器中的至少一种；其中，终端接收设备可以包括手机、计算机、便携式移动终端、机顶盒、数字摄像机，网络中间设备则可以包括网络路由器等，媒体数据服务器则可以包括服务器、电视广播系统设备、内容分发网络设备、媒体服务器等。
此外，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有一个或者多个计算机程序，计算机程序可被一个或者多个处理器执行，以实现前述的视频码流处理方法，这里不再赘述。
显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (21)

1.一种视频码流处理方法，包括：
解析待抽取码流，从所述待抽取码流的数据单元中获得可抽取的子码流的参数信息；
通过所述参数信息确定所述子码流中的随机接入图像的图像类型参数取值；
根据所述图像类型参数取值，在从所述待抽取码流中抽取所述子码流过程中，设置所述子码流的数据单元中的图像类型参数取值。
2.如权利要求1所述的视频码流处理方法，其特征在于，所述确定所述子码流中的随机接入图像的图像类型参数取值包括以下方式中的至少一种：
当所述参数信息包含所述子码流中的随机接入图像类型信息时，将该图像类型信息的取值作为所述随机接入图像的图像类型参数取值；
当所述参数信息包含与随机接入相关的接入点信息时，确定该接入点对应图像的图像类型参数取值，并将该图像类型参数取值作为所述随机接入图像的图像类型参数取值；
当所述参数信息包含随机接入图像位置信息时，根据所述子码流在所述图像位置的码流特征确定所述随机接入图像的图像类型信息，将该图像类型信息的取值作为随机接入图像的图像类型参数取值。
3.如权利要求2所述的视频码流处理方法，其特征在于，所述当所述参数信息中包含与随机接入相关的接入点信息时，确定所述接入点对应图像的图像类型参数取值，包括：
当所述接入点信息包含图像类型信息时，将该图像类型信息的取值作为该接入点对应图像的图像类型参数取值；
当所述接入点信息未包含图像类型信息时，对所述子码流在所述接入点位置的码流特征进行分析，确定所述接入点对应图像的图像类型信息，将该图像类型信息的取值作为该接入点对应图像的图像类型参数取值。
4.如权利要求3所述的视频码流处理方法，其特征在于，所述接入点为恢复点。
5.如权利要求1所述的视频码流处理方法，所述数据单元包括以下至少一种：网络抽象层单元头、参数集、序列头、图像头、分片头、视频码流的辅助信息单元、视频应用信息。
6.如权利要求1所述的视频码流处理方法，其特征在于，还包括：在该子码流的数据单元中设置用于对该子码流进行码流抽取的参数信息。
7.如权利要求1-6任一项所述的视频码流处理方法，其特征在于，所述设置所述子码流的数据单元中的图像类型参数取值包括:
将所述子码流中包含的数据单元中的数据单元类型字段取值，和/或所述数据单元中包含图像的图像类型字段取值设置为所述图像类型参数取值。
8.如权利要求1-6任一项所述的视频码流处理方法，其特征在于，使用H.265/HEVC标准，采用以下方法中的至少一种，从所述待抽取码流的数据单元中获得可抽取的子码流的参数信息，包括：
解析所述待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用所述索引序号为i的抽取信息集合的运动受限的瓦片集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析所述待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用所述索引序号为i的抽取信息集合的第j个运动受限的瓦片集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析所述待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标识信息，将IRAP接入单元对应的图像类型设置为IRAP图像；
解析所述待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标识信息，对于IRAP接入单元，解析所述IRAP接入单元中包含的IRAP图像类型；
解析所述待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元中图像的图像类型；
解析所述待抽取码流的数据单元中表示抽取得到的子码流所在的接入单元是否为恢复点的标识信息，对于所述恢复点，解析所述恢复点包含的随机接入信息。
9.如权利要求1-6任一项所述的视频码流处理方法，其特征在于，使用H.264/AVC标准，采用以下方法中的至少一种，从所述待抽取码流的数据单元中获得可抽取的子码流的参数信息，包括：
解析所述待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用所述索引序号为i的抽取信息集合的运动受限的分片组集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析所述待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用所述索引序号为i的抽取信息集合的第j个运动受限的分片组集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析所述待抽取码流的数据单元中用于表示抽取得到的子码流的图像是否为IDR图像的标识信息；
解析所述待抽取码流的数据单元中表示抽取得到的子码流所在的接入单元是否为恢复点的标识信息，对于所述恢复点，解析所述恢复点包含的随机接入信息。
10.如权利要求1-6任一项所述的视频码流处理方法，其特征在于，还包括：
解析所述待抽取码流的系统层信息，获得所述可抽取的子码流的参数信息。
11.一种视频码流处理装置，其特征在于，包括：
码流解析模块，用于解析待抽取码流，从所述待抽取码流的数据单元中获得可抽取的子码流的参数信息；
参数确定模块，用于通过所述参数信息确定所述子码流中的随机接入图像的图像类型参数取值；
参数设置模块，用于根据所述图像类型参数取值，在从所述待抽取码流中抽取所述子码流过程中，设置所述子码流的数据单元中的图像类型参数取值。
12.如权利要求11所述的视频码流处理装置，其特征在于，所述确定所述子码流中的随机接入图像的图像类型参数取值包括以下方式中的至少一种：
当所述参数信息包含所述子码流中的随机接入图像类型信息时，将该图像类型信息的取值作为所述随机接入图像的图像类型参数取值；
当所述参数信息中包含与随机接入相关的可用接入点信息时，确定该接入点图像的图像类型参数取值，并将该图像类型参数取值作为随机接入图像的图像类型参数取值；
当所述参数信息包含随机接入图像位置信息时，根据所述子码流在所述图像位置的码流特征确定所述随机接入图像的图像类型信息，将该图像类型信息的取值作为随机接入图像的图像类型参数取值。
13.如权利要求12所述的视频码流处理装置，其特征在于，所述当所述参数信息中包含与随机接入相关的接入点信息时，确定所述接入点对应图像的图像类型参数取值，包括：
当所述接入点信息包含图像类型信息时，将该图像类型信息的取值作为该接入点对应图像的图像类型参数取值；
当所述接入点信息未包含图像类型信息时，对所述子码流在所述接入点位置的码流特征进行分析，确定所述接入点对应图像的图像类型信息，将该图像类型信息的取值作为该接入点图像的图像类型参数取值。
14.如权利要求11所述的视频码流处理装置，其特征在于，还包括参数预设模块，用于在该子码流的数据单元中设置用于对该子码流进行码流抽取的参数信息。
15.如权利要求11-14任一项所述的视频码流处理装置，其特征在于，所述设置所述子码流的数据单元中的图像类型参数取值包括:
将所述子码流中包含的数据单元中的数据单元类型字段取值，和/或所述数据单元中包含图像的图像类型字段取值设置为所述图像类型参数取值。
16.如权利要求11-14任一项所述的视频码流处理装置，其特征在于，使用H.265/HEVC标准，采用以下方法中的至少一种，从所述待抽取码流的数据单元中获得可抽取的子码流的参数信息，包括：
解析所述待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用所述索引序号为i的抽取信息集合的运动受限的瓦片集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析所述待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用所述索引序号为i的抽取信息集合的第j个运动受限的瓦片集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析所述待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标识信息，将IRAP接入单元对应的图像类型设置为IRAP图像；
解析所述待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元是否为IRAP接入单元的标识信息，对于IRAP接入单元，解析所述IRAP接入单元中包含的IRAP图像类型；
解析所述待抽取码流的数据单元中用于表示抽取得到的子码流的图像所在的接入单元中图像的图像类型；
解析所述待抽取码流的数据单元中表示抽取得到的子码流所在的接入单元是否为恢复点的标识信息，对于所述恢复点，解析所述恢复点包含的随机接入信息。
17.如权利要求11-14任一项所述的视频码流处理装置，其特征在于，使用H.264/AVC标准，采用以下方法中的至少一种，从所述待抽取码流的数据单元中获得可抽取的子码流的参数信息，包括：
解析所述待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用所述索引序号为i的抽取信息集合的运动受限的分片组集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析所述待抽取码流的数据单元中索引序号为i的抽取信息集合，将码流抽取中组成该子码流的、由使用所述索引序号为i的抽取信息集合的第j个运动受限的分片组集合对应的图像区域在该子码流中组成的图像设置为具有相同的图像类型；
解析所述待抽取码流的数据单元中用于表示抽取得到的子码流的图像是否为IDR图像的标识信息；
解析所述待抽取码流的数据单元中表示抽取得到的子码流所在的接入单元是否为恢复点的标识信息，对于所述恢复点，解析所述恢复点包含的随机接入信息。
18.如权利要求11-14任一项所述的视频码流处理装置，其特征在于，还包括：
解析所述待抽取码流的系统层信息，获得所述可抽取的子码流的参数信息。
19.一种网络设备，其特征在于，包括处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和存储器之间的连接通信；
所述处理器用于执行所述存储器中存储的视频码流处理程序，以实现如权利要求1-10任一项所述的视频码流处理方法的步骤。
20.如权利要求19所述的网络设备，其特征在于，所述网络设备包括终端接收设备、网络中间设备以及媒体数据服务器中的至少一种。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有一个或者多个计算机程序，所述计算机程序可被一个或者多个处理器执行，以实现如权利要求1-10任一项所述的视频码流处理方法的步骤。
CN201711433126.8A 2017-12-26 2017-12-26 视频码流处理方法、装置、网络设备和可读存储介质 Active CN109963176B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711433126.8A CN109963176B (zh) 2017-12-26 2017-12-26 视频码流处理方法、装置、网络设备和可读存储介质
US16/958,644 US11336965B2 (en) 2017-12-26 2018-12-06 Method and apparatus for processing video bitstream, network device, and readable storage medium
EP18893476.4A EP3734974A4 (en) 2017-12-26 2018-12-06 PROCESS AND APPARATUS FOR PROCESSING A VIDEO BIT TRAIN, COMPUTER DEVICE AND READABLE RECORDING MEDIA
PCT/CN2018/119517 WO2019128668A1 (zh) 2017-12-26 2018-12-06 视频码流处理方法、装置、网络设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711433126.8A CN109963176B (zh) 2017-12-26 2017-12-26 视频码流处理方法、装置、网络设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN109963176A true CN109963176A (zh) 2019-07-02
CN109963176B CN109963176B (zh) 2021-12-07

Family

ID=67022205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711433126.8A Active CN109963176B (zh) 2017-12-26 2017-12-26 视频码流处理方法、装置、网络设备和可读存储介质

Country Status (4)

Country Link
US (1) US11336965B2 (zh)
EP (1) EP3734974A4 (zh)
CN (1) CN109963176B (zh)
WO (1) WO2019128668A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437345A (zh) * 2020-11-20 2021-03-02 北京字跳网络技术有限公司 视频倍速播放方法、装置、电子设备及存储介质
CN114968894A (zh) * 2019-09-24 2022-08-30 华为技术有限公司 Sei消息的时间标识符约束条件

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210118183A (ko) * 2019-02-01 2021-09-29 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 서브픽처 또는 영역 단위 랜덤 액세스가 가능한 비디오 코덱 및 이를 이용한 비디오 합성을 위한 개념
US11889118B2 (en) * 2019-02-24 2024-01-30 Sharp Kabushiki Kaisha Systems and methods for signaling types of pictures and associated information in video coding
CN115299054A (zh) * 2020-03-16 2022-11-04 字节跳动有限公司 可缩放视频编解码中的逐步解码刷新访问单元

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103609112A (zh) * 2011-06-09 2014-02-26 高通股份有限公司 视频译码中的内部位深度增加
CN104718746A (zh) * 2012-10-10 2015-06-17 中兴通讯股份有限公司 用于媒体传输和存储的随机访问信息封装的方法和仪器
CN105052156A (zh) * 2013-04-05 2015-11-11 高通股份有限公司 Irap存取单元与位流切换及拼接
CN105516729A (zh) * 2014-09-23 2016-04-20 浙江大学 视频编解码方法、装置及生成的视频码流
US20160241866A1 (en) * 2013-10-11 2016-08-18 Electronics And Telecommunications Research Institute Method for encoding/decoding image and device using same
CN106162194A (zh) * 2015-04-08 2016-11-23 杭州海康威视数字技术股份有限公司 一种视频编码和解码的方法、装置和处理系统
EP3120552A1 (en) * 2014-03-17 2017-01-25 Nokia Technologies OY Method and apparatus for video coding and decoding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5056560B2 (ja) 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
US20130222537A1 (en) * 2012-02-29 2013-08-29 Qualcomm Incorporated Bitstream extraction in three-dimensional video
CA2897152C (en) 2013-01-07 2019-03-05 Kemal Ugur Inter-layer video encoding and decoding with adaptive resolution change at indicated switching points
US9351009B2 (en) 2013-04-05 2016-05-24 Sharp Kabushiki Kaisha Marking pictures for inter-layer prediction
GB2516224A (en) 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
JP6261215B2 (ja) 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9525883B2 (en) 2013-07-15 2016-12-20 Qualcomm Incorporated Cross-layer alignment of intra random access point pictures
CN113347446B (zh) 2016-02-09 2022-10-04 弗劳恩霍夫应用研究促进协会 解码器、方法以及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103609112A (zh) * 2011-06-09 2014-02-26 高通股份有限公司 视频译码中的内部位深度增加
CN104718746A (zh) * 2012-10-10 2015-06-17 中兴通讯股份有限公司 用于媒体传输和存储的随机访问信息封装的方法和仪器
CN105052156A (zh) * 2013-04-05 2015-11-11 高通股份有限公司 Irap存取单元与位流切换及拼接
US20160241866A1 (en) * 2013-10-11 2016-08-18 Electronics And Telecommunications Research Institute Method for encoding/decoding image and device using same
EP3120552A1 (en) * 2014-03-17 2017-01-25 Nokia Technologies OY Method and apparatus for video coding and decoding
CN106464891A (zh) * 2014-03-17 2017-02-22 诺基亚技术有限公司 用于视频编码和解码的方法和装置
CN105516729A (zh) * 2014-09-23 2016-04-20 浙江大学 视频编解码方法、装置及生成的视频码流
CN106162194A (zh) * 2015-04-08 2016-11-23 杭州海康威视数字技术股份有限公司 一种视频编码和解码的方法、装置和处理系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968894A (zh) * 2019-09-24 2022-08-30 华为技术有限公司 Sei消息的时间标识符约束条件
CN114968894B (zh) * 2019-09-24 2023-08-04 华为技术有限公司 Sei消息的时间标识符约束条件
US11800130B2 (en) 2019-09-24 2023-10-24 Huawei Technologies Co., Ltd. SEI message dependency simplification in video coding
CN112437345A (zh) * 2020-11-20 2021-03-02 北京字跳网络技术有限公司 视频倍速播放方法、装置、电子设备及存储介质
CN112437345B (zh) * 2020-11-20 2023-03-14 北京字跳网络技术有限公司 视频倍速播放方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3734974A4 (en) 2021-08-25
CN109963176B (zh) 2021-12-07
WO2019128668A1 (zh) 2019-07-04
US20210067834A1 (en) 2021-03-04
EP3734974A1 (en) 2020-11-04
US11336965B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
CN110036641B (zh) 一种处理视频数据的方法、设备及计算机可读存储介质
US11805304B2 (en) Method, device, and computer program for generating timed media data
US10477217B2 (en) Signaling and selection for layers in scalable video
CN102804773B (zh) 在mpeg‑2系统中组合多视角视频译码子位流
CN109963176A (zh) 视频码流处理方法、装置、网络设备和可读存储介质
KR102229848B1 (ko) 정보 처리 장치 및 방법
CN103765914B (zh) 经译码视频数据的网络流式传输
EP2332336B1 (en) Multi-view media data
CN106134146B (zh) 处理连续的多周期内容
CN109155865A (zh) 在图像中的最感兴趣的区域的先进信号传送
RU2511595C2 (ru) Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования изображения и программа
US20160330255A1 (en) Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
CN110447234A (zh) 作为分隔符及可寻址资源标识符的区段类型
CN105744295A (zh) 提供用于串流传输视频数据的序列数据集
CN107087205A (zh) 图像解码方法及使用其的装置
CN110035331A (zh) 一种媒体信息的处理方法及装置
CN109348309A (zh) 一种适用于帧率上变换的分布式视频转码方法
GB2522014A (en) Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
KR20230125723A (ko) 비디오 코딩에서의 서브픽쳐 시그널링
KR20180116835A (ko) 비디오 비트 스트림 혼합 방법 및 이를 수행하는 장치
US20240080487A1 (en) Method, apparatus for processing media data, computer device and storage medium
US8817881B1 (en) Video processing apparatus and video processing method
WO2024114519A1 (zh) 点云封装与解封装方法、装置、介质及电子设备
WO2023059689A1 (en) Systems and methods for predictive coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant