CN108141618B - 用于mmt的hevc比特流的随机存取的方法和装置 - Google Patents

用于mmt的hevc比特流的随机存取的方法和装置 Download PDF

Info

Publication number
CN108141618B
CN108141618B CN201680061847.8A CN201680061847A CN108141618B CN 108141618 B CN108141618 B CN 108141618B CN 201680061847 A CN201680061847 A CN 201680061847A CN 108141618 B CN108141618 B CN 108141618B
Authority
CN
China
Prior art keywords
packet
value
sequence
packets
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680061847.8A
Other languages
English (en)
Other versions
CN108141618A (zh
Inventor
林荣权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108141618A publication Critical patent/CN108141618A/zh
Application granted granted Critical
Publication of CN108141618B publication Critical patent/CN108141618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/34—Flow control; Congestion control ensuring sequence integrity, e.g. using sequence numbers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于运动图像专家组(MPEG)媒体传输(MMT)的随机接入高效视频编码(HEVC)比特流的方法和装置。该方法包括按解码顺序接收视频的多个分组。该方法还包括确定标记为开始处理视频的分组，从存储器中移除标记的分组中的前导图片的分组，并且处理留在存储器中的分组。

Description

用于MMT的HEVC比特流的随机存取的方法和装置
技术领域
本公开一般地涉及媒体数据转换。更具体地，本公开涉及用于运动图像专家组(MPEG)媒体传输(MMT)的高效视频编码(HEVC)比特流的随机存取的方法和装置。
背景技术
MMT是一种数字容器标准或格式，其规定了在异构IP网络环境下为多媒体服务传递编码媒体数据的技术。传递的编码媒体数据包括以下两种数据：需要在指定时间同步解码和呈现特定数据单元的视听媒体数据(即，定时数据)、以及基于服务的上下文或用户的交互而在任意时间解码和呈现的其他类型的数据(即非定时数据)。
发明内容
[技术问题]
本公开提供了用于MMT的HEVC比特流的随机存取的方法和装置。
[问题的解决方法]
在一个实施例中，提供了一种用于运动图像专家组(MPEG)媒体传输(MMT)的随机存取高效视频编码(HEVC)比特流的解码器。该解码器包括被配置为存储视频的多个分组的存储器、以及可操作地连接到存储器的处理电路。处理电路被配置为按解码顺序接收视频的多个分组。处理电路还被配置为确定片段分组(fragment packet)以开始处理视频、从存储器中移除该片段分组中的前导图片(leading picture)的分组、并且处理遗留在存储器中的分组。
在另一实施例中，提供了一种用于MMT的随机存取HEVC比特流的方法。该方法包括按解码顺序接收视频的多个分组。该方法还包括确定标记为开始处理视频的分组，从存储器中移除标记的分组中的前导图片的分组，以及处理遗留在存储器中的分组。
在第三实施例中，提供了一种用于MMT的随机存取HEVC比特流的服务器。该服务器包括存储器和可操作地连接到存储器的一个或多个处理器。该一个或多个处理器被配置为：在分组开始了图片组时利用指示包含可独立解码的视频帧的全部或部分比特流的第一分组的片段信息对该分组的报头进行编码，利用依赖性信息对该分组的报头进行编码，该依赖性信息指示携带视频帧的全部或部分比特流的分组之间的指示其在该图片组中的解码依赖性的依赖性，以及发送多个分组。
根据以下附图、描述和权利要求，其他技术特征对于本领域技术人员而言可以是显而易见的。
在进行下面的具体实施方式之前，阐述在本专利文件中使用的某些词语和短语的定义可能是有利的。术语“耦合”及其派生词指代两个或更多个元件之间的任何直接或间接通信，不管这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词包括直接和间接通信两者。术语“包括”和“包含”及其派生词意指包括但不限于。术语“或”是包含性的，意思是和/或。短语“与…关联”及其衍生词意指包括、包括在内、与…互连、包含、包含在内、连接到或与...连接、耦合到或与...耦合、可与...通信、与...协作、交织、并列、接近、绑定到或与…绑定、具有、具有…属性、与...有关等。术语“控制器”是指控制至少一个操作的任何设备、系统或其部分。这样的控制器可以在硬件或硬件和软件的组合和/或固件中实现。与任何特定控制器相关的功能可以是集中式的或分布式的，无论在本地还是在远程。短语“至少一个”，当与项目列表一起使用时，意味着可以使用所列项目中的一个或多个的不同组合，并且可能仅需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任何一种：A，B，C，A和B，A和C，B和C以及A和B和C。
而且，下面描述的各种功能可以由一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”指代适于在合适的计算机可读程序代码中实现的一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、致密盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质排除传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括数据可被永久存储的介质和数据可被存储并且随后被重写的介质(诸如可重写光盘或可擦除存储器设备)。
本专利文件中提供了对其他某些词语和短语的定义。本领域的普通技术人员应该理解，在许多情况下(即便不是大多数情况下)，这样的定义适用于这样定义的词语和短语的在先使用和未来使用。
[本发明的有益效果]
各种示例提供了用于允许MMT支持使用具有SAP类型2和3的HEVC比特流而无需查看NAL单元类型字段的方法。
附图说明
为了更完整地理解本公开及其优点，现在参考以下结合附图的描述，其中：
图1示出了根据本公开的各种实施例的示例计算系统；
图2和图3示出了根据本公开的各种实施例的计算系统中的示例设备；
图4示出了根据本公开的各种实施例的示例HEVC比特流；
图5示出了根据本公开的各种实施例的示例分组报头信息；
图6示出了根据本公开的各种实施例的用于随机存取HEVC比特流的示例过程；和
图7示出了根据本公开的各种实施例的用于随机存取HEVC比特流的另一示例过程。
具体实施方式
以下讨论的图1至图7以及用于描述本专利文档中的本公开的原理的各种实施例仅作为说明，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的无线通信系统中实现。
运动图像专家组(MPEG)媒体传输(MMT)最初基于假设比特流由具有SAP Type 1的随机接入点组成而设计。然而，在当前MMT标准中没有限制支持其他第二音频节目(SAP)类型。另外，高效视频编码(HEVC)规范定义了对系统层操作的推荐用以随机接入具有SAP类型2和3的比特流。
根据ISO/IEC 23008-2：2015的子条款6.6.2.3.2.4，为了支持将具有SAP类型2或3的HEVC比特流用于媒体处理单元(MPU)，以下操作应当由创建MMTP比特流的MMT服务器进行。
当在HEVC比特流中利用干净随机接入(CRA)或断链接入(BLA)图片在随机接入点处发生随机接入时，跳过前导(RASL)图片的关联随机接入在被馈入HEVC解码器之前被从HEVC比特流丢弃。CRA/BLA和RASL图片的网络抽象层(NAL)单元可以由NAL单元类型(NUT)标识，NAL单元类型(NUT)在NAL单元报头(NUH)中或在HEVCConfigurationBox的HEVCDecoderConfigurationRecord中被信令。当随机接入点处的NAL单元的NUT是CRA时，HEVC解码器的变量HandleCraAsBlaFlag被设置为等于1，或者通过将NUT的值从21改变到17来重写HEVC比特流中CRA图片的NAL单元的NUH。这是因为当发生随机接入时，CRA图片应当在HEVC解码器中被作为BLA图片进行处理。HEVC解码器的解码图片缓冲器(DPB)在CRA/BLA图片被解码之前被刷新。
图1示出了根据本公开的示例计算系统100。图1中所示的计算系统100的实施例仅用于说明。在不脱离本公开的范围的情况下可以使用计算系统100的其他实施例。
如图1所示，系统100包括网络102，网络102促进系统100中的各种组件之间的通信。例如，网络102可以在网络地址之间通信网际协议(IP)分组、帧中继帧、异步传送模式(ATM)单元或其他信息。网络102可以包括一个或多个局域网(LAN)、城域网(MAN)、广域网(WAN)、诸如互联网的全球网络的全部或部分、或者一个或多个地点处的任何其他通信系统。
网络102促进至少一个服务器104和各种客户端设备106-114之间的通信。每个服务器104包括可以为一个或多个客户端设备提供计算服务的任何合适的计算或处理设备。例如，每个服务器104可以包括一个或多个处理设备、存储指令和数据的一个或多个存储器、以及促进网络102上的通信的一个或多个网络接口。
每个客户端设备106-114表示通过网络102与至少一个服务器或其他计算设备交互的任何合适的计算或处理设备。在该示例中，客户端设备106-114包括桌面型计算机106、移动电话或智能电话108、个人数字助理(PDA)110、膝上型计算机112和平板计算机114。然而，可以在计算系统100中使用任何其他或额外的客户端设备。
在该示例中，一些客户端设备108-114与网络102间接通信。例如，客户端设备108-110经由一个或多个基站116(诸如蜂窝基站或eNodeB)进行通信。而且，客户端设备112-114经由一个或多个无线接入点118(诸如IEEE802.11无线接入点)进行通信。注意，这些仅用于说明，并且每个客户端设备可以直接与网络102通信或者经由任何合适的中间设备或网络与网络102间接通信。
在该说明性实施例中，计算系统100提供用于MMT的HEVC比特流的随机接入。例如，服务器104或客户端设备108-114可以提供MMT服务器和MMT客户端的操作，以仅依靠MMTP分组的报头中的信息来支持使用具有SAP类型2和3的HEVC比特流。
尽管图1示出了计算系统100的一个示例，但是可以对图1做出各种改变。例如，系统100可以包括任何合适的布置的任何数量的每个组件。通常，计算和通信系统具有各种各样的配置，并且图1不将本公开的范围限制为任何特定的配置。尽管图1示出了可以使用本专利文件中公开的各种特征的一个操作环境，但是这些特征可以用于任何其他合适的系统。
图2和3示出了根据本公开的计算系统中的示例设备。具体地，图2示出了示例服务器200，并且图3示出了示例客户端设备300。服务器200可以表示图1中的服务器104，并且客户端设备300可以表示图1中的客户端设备106-114中的一个或多个。
如图2所示，服务器200包括总线系统205，其支持一个或多个处理器210、至少一个存储设备215、至少一个通信单元220和至少一个输入/输出(I/O)单元225之间的通信。
(多个)处理器210运行可被加载到存储器230中的指令。处理器210可以包括任何适当布置的任何合适的数量和类型的处理器或其他设备。处理器210的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和离散电路。(多个)处理器210被配置为执行用于使用经认证的可穿戴设备来解锁电子设备的操作。
存储器230和永久存储装置235是存储装置215的示例，其代表能够存储和促进信息(诸如数据、程序代码和/或临时或永久的其他合适信息)的检索的任何结构。存储器230可以表示随机存取存储器或任何其他合适的易失性或非易失性存储装置。永久存储装置235可以包含支持数据的长期存储的一个或多个组件或设备，诸如只读存储器、硬盘驱动器、闪存或光盘。
通信单元220支持与其他系统或设备的通信。例如，通信单元220可以包括促进网络102上的通信的网络接口卡或无线收发器。通信单元220可以通过任何合适的物理或无线通信链路来支持通信。
I/O单元225允许数据的输入和输出。例如，I/O单元225可以通过键盘、鼠标、键区、触摸屏或其他合适的输入设备提供用于用户输入的连接。I/O单元225还可以将输出发送到显示器、打印机或其他合适的输出设备。
在该说明性实施例中，服务器200可以实现提供用于MMT的HEVC比特流的随机接入的装置，如下面将更详细讨论的。注意，虽然图2被描述为表示图1的服务器104，但是可以在一个或多个客户端设备106-114中使用相同或相似的结构。例如，膝上型或桌面型计算机可以具有与图2中所示相同或相似的结构。
如图3所示，客户端设备300包括天线305、射频(RF)收发器310、发送(TX)处理电路315、麦克风320和接收(RX)处理电路325。客户端设备300还包括扬声器330、一个或多个处理器340、输入/输出(I/O)接口(IF)345、键区350、显示器355和存储器360。存储器360包括基本操作系统(OS)程序361和一个或多个程序362。
RF收发器310从天线305接收由系统中的另一组件发送的传入RF信号。RF收发器310将传入的RF信号下变频以生成中频(IF)或基带信号。IF或基带信号被发送到RX处理电路325，RX处理电路325通过对基带或IF信号进行滤波、解码和/或数字化来生成经处理的基带信号。RX处理电路325将经处理的基带信号发送到扬声器330(例如针对语音数据)或发送到处理器340用于进一步处理(例如针对网页浏览数据)。
TX处理电路315从麦克风320接收模拟或数字语音数据或从处理器340接收其他传出的基带数据(诸如网络数据、电子邮件或交互式视频游戏数据)。TX处理电路315对传出的基带数据进行编码、复用和/或数字化以生成经处理的基带或IF信号。RF收发器310从TX处理电路315接收传出的经处理的基带或IF信号，并且将基带或IF信号上变频为经由天线305发送的RF信号。
处理器340可以包括一个或多个处理器或其他处理设备，并且运行存储在存储器360中的基本OS程序361，以便控制客户端设备300的整体操作。例如，处理器340可以根据众所周知的原理来控制RF收发器310、RX处理电路325和TX处理电路315的前向信道信号的接收和反向信道信号的发送。在一些实施例中，处理器340包括至少一个微处理器或微控制器。
处理器340还能够运行驻留在存储器360中的其他进程和程序，诸如用于随机接入MMT的HEVC比特流的操作。处理器340可以根据运行中的进程的需要将数据移入或移出存储器360。在一些实施例中，处理器340被配置为基于OS程序361或响应于从外部设备或操作员接收的信号来运行应用362。处理器340还耦接到I/O接口345，I/O接口345向客户端设备300提供连接到诸如膝上型计算机和手持式计算机的其他设备的能力。I/O接口345是这些附件和处理器340之间的通信路径。
处理器340还耦接到键区350和显示单元355。客户端设备300的操作者可以使用键区350将数据输入到客户端设备300中。显示器355可以是液晶显示器或能够呈现例如来自网站的文本和/或至少有限图形的其他显示器。
存储器360耦接到处理器340。存储器360的一部分可以包括随机存取存储器(RAM)，并且存储器360的另一部分可以包括闪存或其他只读存储器(ROM)。
如将在下面更详细讨论的，在该说明性实施例中，客户端设备300实现通过网络102从服务器104接收编码视频并随机接入用于MMT的HEVC比特流的装置。尽管图2和图3示出了计算系统中的设备的示例，但是可以对图2和图3做出各种改变。例如，图2和图3中的各种组件可以被组合、进一步细分或省略，并且可以根据特定的需要添加附加组件。作为特定示例，处理器340可以被划分为多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。而且，尽管图3示出了配置为移动电话或智能电话的客户端设备300，但客户端设备可以被配置为作为其他类型的移动或固定设备来操作。另外，与计算和通信网络一样，客户端设备和服务器可以具有各种各样的配置，并且图2和图3不将本公开限制为任何特定的客户端设备或服务器。
图4示出了根据本公开的各种实施例的示例HEVC比特流400。
在由解码器(诸如客户端设备300)接收的HEVC比特流400中，帧被作为独立帧405、变化帧410、420或比较帧415、425和430而被传送。比特流400的初始帧被作为独立帧405发送。变化帧410作为相较于先前帧的变化而被发送。每个变化帧410包括相较于所记录的实际帧的微小失真量。发送帧之间的变化减少了传输所需的数据量，从而提高了整体传输速率。随着变化帧410的链增加，变化帧410中的失真增加。为了移除视频中的失真，周期性地发送独立帧405以重置视频的失真损失。
为了进一步减少视频的失真，变化帧410不必是直接跟着独立帧405或另一变化帧410的帧。系统可以使用诸如分组号16和分组号18之间的帧号来检测两个帧之间的差别。在这种情况下，分组号17是比较分组415。系统发送比较分组415信息，作为在独立帧405或前一变化帧410和紧跟着独立帧405或前一变化帧410的下一变化帧410之间的变化。序列440可以包括在独立帧405或变化帧410和其他变化帧410之间的多个比较帧415。序列440还可以指代图片组。帧425、430和435是前导帧，因为它们在独立帧405之前。
如图4所示，分组号16是HEVC序列440中间的独立帧405。分组12作为新独立帧405之前的最后一个变化帧420，包括直到所发送的最后一个完整帧的所有变化帧410的失真。考虑到分组12和14之间的变化将包含先于分组12的变化帧410产生的失真，最后一个变化帧420和独立帧405的比较将引入不必要的失真。因此，系统发送从独立帧405到前一变化帧425的变化。系统使用最后一个变化帧420和前一变化帧425之间的变化比较帧435。前一变化帧425和独立帧405之间的比较帧430可以正常地通过前一变化帧和独立帧405的变化来发送。图4仅示出了一个比较帧435，但增加变化帧410或独立帧405之间的帧量将增加比较等级的量。此外，每个帧可以被分成多个分组或子帧。多个分组或子帧将与整个帧类似地传送和比较。序列440指示解码或处理视频的顺序。
图5示出了根据本公开的各种实施例的示例分组报头信息500。
分组报头信息包括分组编号(POC)505、开始指示符(R)510、传递单元(DU)515和依赖性计数器(dep_count)520。分组编号指示包括在序列440中的帧或分组信息。系统识别POC 505何时改变。当检测到POC 505的变化时，系统识别表示视频开始的R 510。'1'表示第一个分组，以及'0'表示它不是第一个分组。在图5中，前三列都是分组12的一部分，其中R510不是'1'。系统从要由解码器处理的序列中移除分组12。系统识别出分组16包括指示视频的开始的值为'1'的R 510。系统检查dep_count 520以识别值为0的以下分组(包括分组14、13和15)。这些分组被标识为在前分组并且也从序列440中被移除。由于在分组的最后一列中，dep_count大于零，所以不移除分组18。DU 515指示包括每个分组的分组信息的列数。
图6示出了根据本公开的各种实施例的用于随机接入HEVC比特流的示例过程；并且对于携带HEVC比特流的Unix(MFU)元帧的每个MMTP分组，应该由MMTP解封装缓冲器执行以下操作，FT字段的值等于2，以支持使用具有SAP类型2或3的HEVC比特流。
在操作605中，系统识别标记为开始处理MMTP视频比特流的分组。当具有movie_fragment_sequence_number字段的值的MMTP分组与在前MMTP分组的相同字段的值不同时，识别出图片组的第一分组。在操作610中，具有R字段值等于0的图片中的第一MMTP分组和所有后续MMTP分组被立即从MMTP解封装缓冲器中删除。具有包含R值等于0的第一帧的图片中的分组不被传递到解码器缓冲器。具有movie_fragment_sequence_number字段的值的MMTP分组与先前接收到的MMTP分组的相同字段的值相同，但R字段的值等于1，在操作615中接收待处理的初始图片。
在操作615中，当如操作605中所述首先接收到具有R字段的值等于1的MMTP分组时，携带属于相同AU的MFU的这样的MMTP分组和所有后续MMTP分组由MMTP解封装缓冲器处理并被传递到解码器缓冲器。
在操作620中，系统识别图片组中的任何前导帧。在接收到具有R字段的值等于1的MMTP分组之后，如在操作615中所描述的那样处理，携带具有movie_fragment_sequence_number字段值与如在操作615中描述的MMTP分组的相同字段的值相同、但sample_number字段的值小于操作615中描述的MMTP分组的相同字段的值的MFU的所有后续MMTP分组在操作625中被立即从MMTP解封装缓冲器中删除，并且它们不被传递到解码器缓冲器，直到在操作630中接收到具有movie_fragment_sequence_number字段的值与操作615中所描述的MMTP分组的相同字段的值相同、但sample_number字段的值大于操作615中所描述的MMTP分组的相同字段的值的MMTP分组。
图7示出了根据本公开的各种实施例的用于随机存取HEVC比特流的另一示例过程。对于携带HEVC比特流的MFU的每个MMTP分组，由MMTP解封装缓冲器进行以下操作，FT字段的值等于2，以支持使用具有SAP类型2或3的HEVC比特流。
在操作705中，解码器接收MMTP分组的序列。在操作710中，当最先接收到具有movie_fragment_sequence_number字段的值不同于在先MMTP分组的相同字段的值的MMTP分组时，解码器从MMTP解封装缓冲器中删除MMTP分组和R字段的值等于0的所有后续的MMTP分组。MMTP分组不被传递到解码器缓冲器，直到接收到具有movie_fragment_sequence_number字段的值与先前接收的MMTP分组的相同字段的值相同、但R字段的值等于1的MMTP分组。
在操作715中，当如操作705所述接收到R字段中的值等于'1'的MMTP分组时，接收到的MMTP分组和携带属于相同AU的MFU的所有后续MMTP分组由MMTP解封装缓冲器处理并被传递到解码器缓冲器。
在操作720中，在接收到如在操作710中所描述的被处理的具有R字段的值等于'1'的MMTP分组之后，携带MFU的具有movie_fragment_sequence_number字段值与操作710中描述的MMTP分组的相同字段的值的所有后续MMTP分组被立即从MMTP解封装缓冲器中删除，并且它们不被传递到解码器缓冲器，直到具有movie_fragment_sequence_number字段的值与操作710中描述的MMTP分组的相同字段的值相同，但是dep_counter字段的值如操作715中描述是0的MMTP分组，在对携带MFU的具有movie_fragment_sequence_number字段的值与操作715中描述的MMTP分组的相同字段的值相同的所有后续MMTP分组的随后操作被应用。
如果MMTP分组的f_i字段的值等于'00'，那么具有dep_counter字段的值为'0'的这样的MMTP分组的所有数据单元被立即从MMTP解封装缓冲器中删除并且它们不被传递到解码器缓冲器，直到发现了具有dep_counter字段值不等于'0'的任何数据单元。
如果MMTP分组的f_i字段的值不等于'00'，则该MMTP分组和所有后续的MMTP分组被存储在MMTP解封装缓冲器中，并且不被处理，直到接收到具有f_i字段的值等于'11'的MMTP分组。如果接收到具有f_i字段值等于'11'并且具有dep_counter字段的值等于'0'的MMTP分组，则存储在MMTP解封装缓冲器中的具有movie_fragment_sequence_number字段值并且sample_number字段的值与这样的分组相同的所有分组被立即从MMTP解封装缓冲器中删除，并且它们不被传递到解码器缓冲器。
如果MMTP分组的f_i字段的值不等于'00'，则该MMTP分组和所有后续的MMTP分组被存储在MMTP解封装缓冲器中，并且不被处理直到接收到具有f_i字段值等于'11'的MMTP分组。如果接收到具有值f_i字段值等于'11'并且dep_counter字段的值不等于'0'的MMTP分组，则存储在MMTP解封装缓冲器中的具有movie_fragment_sequence_number字段值并且sample_number字段值与这样的分组相同的所有分组由MMTP解封装缓冲器处理并被传递到解码器缓冲器。
本申请中的任何描述都不应被解读为暗示任何特定的元件、步骤或功能是必须包含在权利要求范围内的基本元件。专利主题的范围仅由权利要求定义。

Claims (7)

1.一种用于运动图像专家组(MPEG)媒体传输(MMT)的随机接入高效视频编码(HEVC)比特流的方法，所述方法包括：
按解码顺序接收视频的一组图片的多个分组；
确定该组图片的多个分组的第一分组以开始处理视频，其中确定第一分组以开始处理视频包括：
对于所述多个分组中的每一个，确定第一分组的电影片段序列号movie_fragment_sequence_number值是否与前续分组的movie_fragment_sequence_number值不同，其中movie_fragment_sequence_number指示片段所属序列；以及
如果第一分组的movie_fragment_sequence_number值等于前续分组的movie_fragement_sequence_number值，则移除第一分组；
确定在前导帧的多个分组的第二分组的样本编号sample_number值是否小于第一分组的sample_number值；
如果第二分组的sample_number值小于第一分组的sample_number值，则从存储器中移除第二分组，其中前导帧是出现在独立帧之前的帧；和
处理存储器中剩余的分组。
2.如权利要求1所述的方法，还包括当分组的movie_fragment_sequence_number值不等于前续分组的movie_fragement_sequence_number值时，确定第一分组的R字段值是否不为'1'。
3.如权利要求2所述的方法，还包括：
移除分组直到接收到R字段值为'1'的分组；
处理R字段值为'1'的分组；
移除分组直到包括该分组的指示解码依赖性的依赖性计数器dep_counter字段值为'0'的分组。
4.如权利要求3所述的方法，还包括移除分组直到发现了包括该分组的片段指示符f_i字段值为'00'且dep_counter字段为'0'的分组，其中f_i字段值为'00'指示有效载荷是完整传递单元。
5.如权利要求4所述的方法，还包括移除分组，直到发现了包括该分组的f_i字段值为'11'且dep_counter字段为'0'的分组，其中f_i字段值为'11'指示有效载荷是最终部分有效载荷。
6.如权利要求4所述的方法，还包括如果包含单个视频帧的分组的f_i字段值为'11'且dep_counter字段不为'0'，则处理包含相同视频帧的部分的分组,其中f_i字段值为'11'指示有效载荷是最终部分有效载荷。
7.一种用于运动图像专家组(MPEG)媒体传输(MMT)的随机存取高效视频编码(HEVC)比特流的装置，所述装置包括：
存储器；和
可操作地耦接到存储器的至少一个处理器，
其中所述至少一个处理器被配置为执行权利要求1至6中的一个中实现的操作。
CN201680061847.8A 2015-10-19 2016-10-18 用于mmt的hevc比特流的随机存取的方法和装置 Active CN108141618B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562243203P 2015-10-19 2015-10-19
US62/243,203 2015-10-19
US201562244936P 2015-10-22 2015-10-22
US62/244,936 2015-10-22
US15/013,847 US10116576B2 (en) 2015-10-19 2016-02-02 Methods and apparatus for random access of HEVC bitstream for MMT
US15/013,847 2016-02-02
PCT/KR2016/011689 WO2017069486A1 (en) 2015-10-19 2016-10-18 Methods and apparatus for random access of hevc bitstream for mmt

Publications (2)

Publication Number Publication Date
CN108141618A CN108141618A (zh) 2018-06-08
CN108141618B true CN108141618B (zh) 2021-09-28

Family

ID=58526186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680061847.8A Active CN108141618B (zh) 2015-10-19 2016-10-18 用于mmt的hevc比特流的随机存取的方法和装置

Country Status (5)

Country Link
US (1) US10116576B2 (zh)
EP (1) EP3342168B1 (zh)
KR (1) KR102561581B1 (zh)
CN (1) CN108141618B (zh)
WO (1) WO2017069486A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
JP6215898B2 (ja) * 2015-11-16 2017-10-18 株式会社Pfu 映像処理装置、映像処理システム、および、映像処理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8501471B2 (en) 2000-10-18 2013-08-06 Sloan-Kettering Institute For Cancer Research Uses of monoclonal antibody 8H9
US7218635B2 (en) * 2001-08-31 2007-05-15 Stmicroelectronics, Inc. Apparatus and method for indexing MPEG video data to perform special mode playback in a digital video recorder and indexed signal associated therewith
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US8605779B2 (en) * 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
US9380091B2 (en) 2012-06-12 2016-06-28 Wi-Lan Labs, Inc. Systems and methods for using client-side video buffer occupancy for enhanced quality of experience in a communication network
EP2362654A1 (en) 2010-02-26 2011-08-31 Panasonic Corporation Short baseband frame headers
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
WO2013162249A1 (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
US20150139338A1 (en) * 2012-05-03 2015-05-21 Telefonaktiebolaget L M Ericsson (Publ) Identifying Leading Pictures in Video Coding
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
US9225978B2 (en) * 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
CN107820089B (zh) * 2012-07-10 2020-05-19 索尼公司 图像解码装置、图像编码装置及图像编码方法
US9374583B2 (en) * 2012-09-20 2016-06-21 Qualcomm Incorporated Video coding with improved random access point picture behaviors
KR101729425B1 (ko) * 2012-09-28 2017-04-21 텔레폰악티에볼라겟엘엠에릭슨(펍) 비디오 시퀀스의 픽처의 디코딩 및 인코딩
US10356143B2 (en) 2012-10-10 2019-07-16 Samsung Electronics Co., Ltd. Method and apparatus for media data delivery control
US9967302B2 (en) 2012-11-14 2018-05-08 Samsung Electronics Co., Ltd. Method and system for complexity adaptive streaming
US11290510B2 (en) 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
US9661341B2 (en) 2013-01-07 2017-05-23 Microsoft Technology Licensing, Llc Syntax and semantics for buffering information to simplify video splicing
KR101484843B1 (ko) 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
US20150032845A1 (en) 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
CN104754341B (zh) * 2013-12-31 2019-02-26 华为技术有限公司 一种视频数据编码、解码的方法和装置
US10887651B2 (en) 2014-03-31 2021-01-05 Samsung Electronics Co., Ltd. Signaling and operation of an MMTP de-capsulation buffer

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A tutorial on MPEG/audio compression;D.Pan;《IEEE Multimedia》;19951231;第2卷(第2期);全文 *

Also Published As

Publication number Publication date
KR102561581B1 (ko) 2023-07-31
US20170111285A1 (en) 2017-04-20
KR20180057624A (ko) 2018-05-30
EP3342168A1 (en) 2018-07-04
CN108141618A (zh) 2018-06-08
WO2017069486A1 (en) 2017-04-27
EP3342168A4 (en) 2018-10-10
EP3342168B1 (en) 2022-08-10
US10116576B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
JP6502380B2 (ja) Ｍｍｔ及びｄａｓｈを使用するブロードキャスト及びブロードバンドハイブリッドサービス
CN107223334B (zh) 用于将mmtp流转换为mpeg-2ts的方法和装置
US20190320194A1 (en) Virtual frame buffer system and method
CN109076025B (zh) 用于管理数据去除的方法和装置
JP6744459B2 (ja) メディアデータに関する情報を送信するための装置
US11109012B2 (en) Carriage of PCC in ISOBMFF for flexible combination
CN108141618B (zh) 用于mmt的hevc比特流的随机存取的方法和装置
US20240015301A1 (en) Evc decoding complexity metrics
US11711506B2 (en) V3C video component track alternatives
CN116195249A (zh) 对包含编码视频的文件中的条带的访问
US20170272259A1 (en) Data communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant