CN107251008B - 在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法 - Google Patents

在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法 Download PDF

Info

Publication number
CN107251008B
CN107251008B CN201680012053.2A CN201680012053A CN107251008B CN 107251008 B CN107251008 B CN 107251008B CN 201680012053 A CN201680012053 A CN 201680012053A CN 107251008 B CN107251008 B CN 107251008B
Authority
CN
China
Prior art keywords
live
encoding
frame
segment
encoding system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680012053.2A
Other languages
English (en)
Other versions
CN107251008A (zh
Inventor
Y·布拉瓦
P·坡塔坡夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Di Vickers CF Holdings Ltd.
Original Assignee
Devi Vision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Devi Vision Co ltd filed Critical Devi Vision Co ltd
Publication of CN107251008A publication Critical patent/CN107251008A/zh
Application granted granted Critical
Publication of CN107251008B publication Critical patent/CN107251008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的实施例提供了一种实况编码系统，该系统能够复制当前编码帧而不是重新编码所述当前帧，然后对于若干不同的自适应位速率流根据需要将复制的帧调整到不同的位速率、分辨率和/或上下文。此外，本发明的各种实施例能够扩展正在被重新包装和/或重新编码的当前帧的持续时间。利用这些和其它技术，根据本发明的实施例的实况编码系统能够更高效地处理接收到的数据中的间隙、数据的较慢馈送和/或服务器硬件上的重负载。

Description

在实况视频编码和流传输中进行帧复制和帧扩展的系统和 方法
技术领域
本发明一般而言涉及来自实况输入流的自适应位速率流的实况编码领域。具体而言，本发明涉及用于优化和改进来自实况输入流的自适应位速率流的实况编码的若干技术。
背景技术
流传输技术已经进步到支持实况顶层流传输的点。实况活动现在可以从由实况编码服务器生成的自适应位速率流来查看。实况编码服务器常常利用MPEG-DASH格式(即，经HTTP的动态自适应流传输)。MPEG-DASH(ISO/IEC 23009-1)是用于经互联网流传输多媒体内容的标准。MPEG-DASH由运动图像专家组(MPEG)开发。MPEG已经负责开发以前的多媒体标准，包括MPEG-2、MPEG-4、MPEG-7、MPEG-21等。MPEG-DASH是一种自适应的位速率流传输技术，其启用经互联网从常规HTTP Web服务器输送媒体内容的高质量流传输。通常，MPEG-DASH使用各自包含经由超文本传输协议(HTTP)检索的视频片段的小文件序列，每个片段包含呈现的重放时间的短间隔。呈现可以是实况活动和/或具有指定的持续时间。可以以各种不同的位速率(诸如300kb/s、500kb/s和3MB/s)使自适应位速率流可用。将源流实况编码和/或转码成多个自适应位速率流可以要求大量的计算资源，并且实况编码硬件相当昂贵。
附图说明
图1是图示根据本发明的实施例的实况编码系统的网络图。
图2是图示根据本发明的实施例的、由实况编码系统执行的高级处理的流程图。
图3概念性地图示了根据本发明的实施例的、扩展帧以补偿丢失的输入帧的实况编码系统的示例。
图4概念性地图示了根据本发明的实施例的、扩展帧以补偿丢失的输入帧的实况编码系统的备选示例。
图5概念性地图示了根据本发明的实施例的、扩展帧以补偿延迟的输入帧的实况编码系统的示例。
图6概念性地图示了根据本发明的实施例的、扩展帧以补偿延迟的输入帧的实况编码系统的备选示例。
图7概念性地图示了根据本发明的实施例的、复制帧以补偿系统负载的实况编码系统的示例。
图8是用于根据本发明的实施例的实况编码系统和流传输的数据流图。
图9是可以由本发明的实施例利用的用于MPEG-DASH的媒体呈现描述(MPD)数据模型的示例。
图10概念性地图示了根据本发明的实施例的实况编码服务器的体系架构。
具体实施方式
现在转向附图，图示了根据本发明的实施例的实况编码系统。在若干实施例中，实况编码系统接收实况媒体馈送，诸如(但不限于)体育赛事、实况新闻报道、网络直播流和/或单个或多路复用的媒体流。媒体流包含在由提供商输送的同时不断地由客户端接收并呈现给客户端的多媒体。流传输(streaming)是指经由流输送媒体的过程。实况编码系统可以向客户端提供从实况输入流编码的媒体流。而且，实况编码系统可以将接收到的实况媒体馈送编码成具有不同最大位速率的若干不同的自适应位速率流。实况编码系统还可以经由包括(但不限于)HTTP请求的协议将实况媒体呈现中的编码的自适应位速率流发送到流传输客户端，和/或将编码的自适应位速率流提供给服务器用以分发到客户端设备。实况媒体呈现的编码和传输对执行这些操作所使用的硬件来说可能是繁重的。本发明的实施例提供了几种减少执行实况编码和传输操作的硬件上的负载的技术。例如，根据本发明的许多实施例的实况编码系统可以根据若干测量来评估网络和/或服务器负载水平。负载常常作为实况编码系统正在执行的工作(例如，计算、编码操作、存储器操作等)的量来测量。基于评估，实况编码系统可以调整来自实况媒体馈送的视频帧如何被编码。例如，实况编码系统的一些实施例复制当前编码帧，而不是对所述当前帧进行重新编码，然后根据需要针对若干不同的自适应位速率流将复制的帧调整到不同的位速率、分辨率和/或上下文。此外，实况编码系统的各种实施例可以扩展正被重新包装和/或重新编码的当前帧的持续时间。利用这些和其它技术，根据本发明的实施例的实况编码系统可以更高效地处理接收数据中的间隙、数据的较慢馈送和/或服务器硬件上的重负载。
网络传输水平可以影响实况编码过程。例如，当实况媒体馈送在从实况输入流到实况编码系统的各网络传输层中遭受中断时，实况编码系统会在传入的数据中遇到间隙。传入的数据中的间隙会在输出数据中产生间隙和/或导致实况编码系统不能在被请求时输送输出帧。根据本发明的一些实施例的实况编码系统可以评估传入的媒体馈送，以确定间隙是何时发生的。这些评估可以基于若干测量，包括(但不限于)传入的帧速率、传入的位速率、到达帧之间的时间和/或网络带宽测量。根据本发明的许多实施例的实况编码系统可以通过在将传入的媒体流重新包装成若干自适应位速率流期间复制帧和/或扩展帧来补偿数据中检测到的间隙。通过复制帧和/或扩展帧，实况编码系统可以允许网络条件有稳定的机会，而不会危及在被请求时客户端所依赖的帧的可用性。具体而言，实况编码系统可以落后于实况流传输媒体的实况边缘。客户端通常从位于呈现的实况边缘的实况流中请求帧。当在本文中被使用时，术语“实况边缘”是指在没有请求还不可用的片段的风险的情况下客户端可以请求的实况流的最近编码的片段。请求还不可用的片段导致许多流传输错误，诸如(但不限于)延迟、HTTP未找到错误，并且会导致带宽阻塞重复请求。
服务器负载水平也会影响实况编码过程。在实况编码系统被实现为实况编码服务器的时候，服务器硬件会被编码过程压倒。在实况编码服务器落后于实况边缘的时候，若干自适应位速率流会由于客户端依赖在实况边缘进行的请求而失败。具体而言，实况流传输客户端可以基于实况编码系统不比实时更慢地生成片段的假设来请求视频的片段。根据本发明的许多实施例的实况编码系统可以通过扩展当前帧并调整输出帧的时间戳来补偿服务器负载。扩展的帧可以产生微小的和/或难以察觉的视觉错误，但将保留请求并接收客户端为了实况流传输而依赖的HTTP循环。而且，根据本发明的实施例的实况编码系统还可以通过复制当前帧并调整输出流所需的其帧上下文来补偿服务器负载。
已经讨论了根据本发明的许多实施例的实况编码系统的操作和功能的简要概述，下面给出根据本发明的实施例的、用于实况编码系统的系统、服务器和方法的更详细讨论。
用于实况编码系统的网络体系架构
图1中图示了根据本发明的实施例的、用于实况编码系统的网络体系架构。系统100包括实况编码服务器和支持硬件102，其包括支持实况编码所需的应用服务器、数据库服务器和/或数据库。实况编码服务器和支持硬件102可以从内容源114接收实况媒体内容和/或非实况内容。内容源114可以包括用来向实况编码服务器和支持硬件102提供媒体的硬件。从内容源114接收的媒体可以包括(但不限于)web流、实况媒体广播、电视广播、实况活动覆盖、来自实况相机的视频馈送、先前存储的媒体、原始媒体馈送、编码的媒体馈送和/或从本地和/或远程存储装置接收的静态文件。
实况编码服务器和支持硬件102可以经网络104与若干组设备进行通信，以便提供内容的流。设备组包括(但不限于)web、文件和/或媒体服务器106、计算设备108和/或移动设备112。来自这些设备组的设备的用户可以利用本地流传输客户端查看所提供的流传输内容。此外，来自web、文件和/或媒体服务器106的web服务器还可以对于所提供的流传输内容的附加下游查看者和/或客户端充当主机。
如图1中所示，实况编码服务器和支持硬件102包括应用服务器、数据库服务器和数据库。在各种实施例中，实况编码服务器和支持硬件102可以包括不同数量和类型的设备。例如，实况编码服务器和支持硬件102可以被实现为单个计算设备，其中这单个计算设备具有足够的存储、联网和/或计算能力。但是，实况编码服务器和支持硬件102还可以使用各种类型和多个位置的多个计算设备来实现。例如，实况编码服务器和支持硬件102可以被实现为用于编码实况媒体的实况编码服务器和用于响应针对由实况编码服务器编码的片段的HTTP请求的HTTP服务器。虽然实况编码服务器和支持硬件102被示为包括应用服务器、数据库服务器和数据库，但是本领域技术人员将认识到的是，本发明不限于图1中所示的设备并且可以包括附加类型的计算设备(例如，web服务器和/或云存储系统)。
在图1所示的实施例中，网络104是互联网。实况编码服务器和支持硬件102可以通过网络104并经无线连接110来从移动设备112接收请求并向移动设备112发送媒体片段。无线连接110可以是(但不限于)4G连接、蜂窝网络、Wi-Fi网络和/或适于具体应用的要求的任何其它无线数据通信链路。实况编码服务器和支持硬件102可以通过网络104直接与计算设备108和web、文件和/或媒体服务器106通信。其它实施例可以使用其它网络(诸如以太网或虚拟网络)在设备之间进行通信。本领域技术人员将认识到的是，本发明不限于图1所示的网络类型并且可以包括附加类型的网络(例如，内联网、虚拟网络、移动网络和/或适于具体应用的要求的其它网络)。
虽然在图1中示出了具体的体系结构，但是可以使用涉及电子设备和网络通信的不同体系架构来实现实况编码系统以执行操作并提供根据本发明的实施例的功能。
用于实况编码服务器的系统和过程
在实况编码系统中，客户端常常依赖能够请求和接收位于实况编码边缘的帧。编码和/或传输的任何中断都会导致客户端无法接收所需的帧、失败的HTTP请求、图像断断续续以及观众所感受的普遍沮丧。根据本发明的许多实施例的实况编码系统可以使用传入媒体和/或编码系统负载的实时分析来通过下面讨论的技术减轻实况编码中的损失和中断。
图2概念性地图示了根据本发明的实施例的、可以由实况编码系统在接收媒体、生成流以及将生成的流提供给实况流传输客户端时执行的过程200。在多个实施例中，过程200由根据上面结合图1描述的实施例的实况编码服务器执行。特别地，过程200可以由MPEG-DASH实况编码服务器在媒体的连续实况编码和实况流传输期间执行。
媒体可以被接收(210)。如上面所提到的，媒体可以涵盖许多不同类型、格式、标准和/或呈现。所接收的媒体常常是已编码媒体的实况馈送。所接收的媒体可以包括(但不限于)从本地和/或远程存储装置接收的输入流、实况媒体馈送、电视馈送、卫星馈送、web流和/或静态文件。
流可以从接收到的媒体生成(220)。所生成的流可以是许多可能的格式，诸如(但不限于)MPEG-DASH、H.264/AVC、HTTP实况流传输、平滑流传输和/或任何其它自适应位速率格式。然后所生成的流可以经网络连接被提供给流传输客户端。通常，所生成的流将具有不同的最大位速率并且根据变化的编码参数进行编码。在一些实施例中，流是利用实况编码服务器的重新包装应用来生成的。重新包装应用将接收到的媒体重新包装成输出流。由此，重新包装应用可以根据需要利用各种编码器和解码器来根据需要生成流。
流的生成可以是在接收实况媒体时执行的持续过程。在流响应于接收实况媒体而持续生成期间，可以评估实况编码系统上的负载水平、通信网络中的负载水平、媒体接收中的间隙和/或流生成中的间隙(230)。而且，不同的实施例可以评估实况编码服务器操作的其它方面。执行所述评估可以包括若干子操作。例如，实况编码系统可以检查接收到的媒体的传入数据速率和/或帧速率。可以将接收到的媒体的传入数据速率和/或帧速率与根据实况编码系统的内部逻辑确定的帧时间进行比较。内部逻辑可以包括确定可靠时间的若干来源，诸如(但不限于)所接收的媒体的时间戳、实况编码系统上的时钟实现和/或接收到的媒体的所声明的帧速率。在一些实施例中，实况编码系统可以测量传入的帧之间的时间差，以便计算总体传入数据速率。然后，实况编码系统可以监视计算出的总体传入数据速率，以识别传入的数据中的间隙或可能压倒实况编码系统的处理能力的潜在浪涌。这些评估中的一个或多个可以指示实况编码系统没有在适当的时间接收到帧和/或将无法及时编码帧以满足对于实况编码系统的实况边缘要求。
为了减轻不能及时为实况边缘生成帧的风险，接收到的媒体的帧可以可选地被重复和/或复制(240)。在一些实施例中，可以修改重复的帧，以考虑与各种生成的流相关联的新的帧上下文。不同的帧上下文可以包括(但不限于)不同的分辨率、不同的帧类型(诸如I帧、B帧和/或P帧)、不同的最大位速率。从接收到的媒体生成流常常涉及将接收到的媒体重新编码为不同的格式，其中接收到的媒体包括编码的帧。接收到的媒体的重新编码可以在由实况编码系统执行的更多资源密集型操作当中。然后重复的帧可以在生成的流中使用，而不需要相对昂贵的重新编码操作。而且，除了来自接收到的媒体的编码帧之外，重复的帧还可以从来自接收到的媒体的原始帧复制。
但是，复制编码帧而不是重新编码帧(其作为实况编码过程的一部分)会导致输出流违反H.264/AVC中的假定参考解码器(HRD)的某些要求。根据定义，当其输入是兼容流时，HRD不应当上溢或下溢。复制大的编码帧并在低最大位速率流中利用复制的流存在造成缓冲区上溢的风险，这将导致HRD要求失败。但是，由于其更灵活的缓冲区，软件解码器客户端可以补偿这一点，而不会出现问题。软件解码器客户端可能需要附加的CPU周期来处理复制的帧。当复制的帧用于较低最大位速率流中时，硬件解码器客户端将由于可能的缓冲区上溢而遇到错误。本发明的一些实施例提供了减少复制帧用于较低最大位速率输出流的位值，以便减轻硬件解码器中缓冲区上溢的风险。在还有其它实施例中，重复的帧仅用于其自己具体的最大位速率输出流；由此防止高位值帧被用于低最大位速率流。这可以通过为每个输出流包括单独的编码过程来实现。
而且，在一些实施例中，帧可以从输入流复制和/或重复，其中输入流和输出流共享相同的格式、最大位速率和/或分辨率。这会发生在期望的输出流与输入流相同的地方。在这种情况下，可以跳过重新编码，并且若干实施例可以简单地复制来自输入流的瞬时解码刷新(IDR)帧。如上面所讨论的，在所述若干实施例中，结果所得的输出流可以是非HRD兼容的。
在用于减轻不能及时为实况边缘生成帧的风险的另一种技术中，接收到的媒体的帧可以可选地被扩展(250)。扩展帧可以包括在与给定帧的指派时间戳不同的时间将该给定帧包装到输出流中。依赖于以前的评估，会发生不同的帧扩展。在媒体的馈送和/或接收中检测到间隙的情况下，可以在生成输出流时扩展当前帧。在利用作为实况编码服务器的一部分的重新包装应用的实施例中，重新包装应用可以在将帧重新包装到输出流期间执行扩展。为了减少视频中的视觉伪影和/或感知停顿，重新包装应用可以在多个帧上散布若干较小的帧扩展，以便在多个步骤中补偿间隙。较小的扩展可以用来隐藏扩展不让流传输客户端观众看到。
所生成的输出流可以被提供(260)给流传输客户端。所生成的输出流可以处于不同的最大位速率，但每个位速率表示单个媒体呈现。因此，可以在具有不同最大位速率的若干流中向流传输客户端提供给定的媒体呈现。所生成的输出流的提供可以经由对来自所生成的输出流的片段的HTTP请求来实现。
虽然以线性次序给出了过程200中给出的操作，但是各种实施例可以以不同的次序执行所述操作。例如，当接收到实况媒体时，可以持续地执行流的生成及其向客户端的提供。因此，在过程200中给出的操作的次序仅仅是示范性的并且可以作为用于从接收到的媒体的帧实况生成流的循环过程的一部分而被持续地执行。在讨论了由一些实施例的实况编码系统执行的过程的概述之后，下面的讨论将提供可以作为所述过程的一部分被执行的帧扩展和帧复制的若干示例。
帧扩展和帧复制的示例
如上面所讨论的，根据本发明的实施例的实况编码系统可以响应于被评估的网络和/或服务器条件来扩展帧和/或复制帧。帧扩展和/或帧复制可以补偿丢弃的输入帧、延迟的输入帧和/或编码系统负载。图3、图4、图5、图6和图7概念性地图示了根据本发明的实施例的帧扩展和帧复制的若干示例。上面提到的图中给出的示例是实况编码过程的抽象，实况编码过程被图示以示出帧复制和/或帧扩展的效果。根据本发明的实施例的实况编码系统将包括未在图3、图4、图5、图6和图7的示例中示出的附加细节、部件和/或功能。用于时间戳、帧号和/或帧持续时间的具体数字是为了示范目的给出的。本发明的实施例不限于图3、图4、图5、图6和图7中给出的具体值，并且可以根据实况编码操作的需要结合宽范围的可能时间戳、帧号和/或帧持续时间。而且，虽然在下面的附图中仅示出了单个输出流，但是本发明的实施例通常利用变化的编码参数生成处于变化的最大位速率的多个输出流。
图3概念性地图示了根据本发明的实施例的、扩展帧以补偿丢失的输入帧的实况编码系统的示例。如图所示，实况编码系统300在接收输入流310并生成输出流360。在图3所示的示例中，实况编码系统300的实况编码处理在输入流310的持续接收和输出流360的生成期间执行。输入流310可以是上面讨论的输入流和/或媒体中的任何一个。实况编码系统360可以经由上面讨论的任何技术将生成的输出流360提供给流传输客户端(未示出)。技术诸如接收HTTP请求并发送来自输出流的片段。
如图所示，输入流310包括具有识别出的时间戳和持续时间的若干帧。帧可以包括媒体的部分，诸如帧视频。时间戳由缩写“TS”指示。持续时间由缩写“D”指示。如前面所提到的，图3中所示的值是示范性的。本发明的实施例可以根据需要接收并处理各种不同的时间戳和持续时间值，以支持实况编码。帧5 320具有等于5的时间戳值和等于1的持续时间值。
实况编码系统300期望在指定的时间从输入流310接收帧。当在指定的时间没有接收到帧时，实况编码系统300可能无法及时地生成实况流传输客户端预期的用于实况边缘的输出流360。实况编码系统300可以使用如上面所讨论的各种测量来评估帧是否从输入流310丢失。诸如将由实况编码系统300维护的内部时钟与实况输入流310的接收到的帧的时间戳进行比较。实况编码系统310还可以包括在扩展帧之前必须满足的、用于丢失帧的阈值。实况编码系统310包括在选择扩展帧以补偿至少两个帧的间隙之前两个丢失帧的阈值。不同的实施例可以包括不同阈值，不同阈值可以基于不同的帧数和/或不同的阈值测量，诸如在一段时间上丢失的帧而不是依次丢失的帧。视频的实况编码固有地是资源密集型过程，因此各种实施例可以结合评估编码条件(诸如编码系统负载、客户端断断续续、网络带宽稳定性、视频质量以及会影响视频的实况编码的其它度量和/或条件)利用各种阈值。如上面所讨论的，在本发明的不同实施例中，可以计算帧的具体计数及其输送并将其与帧计数和时间的不同阈值进行比较。此外，不同的实施例可以使用不同的度量来评估这种流传输条件、处理周期计数、用于对帧集合进行编码的时间基准、网络传输速率、输送和显示的帧速率以及视觉质量/保真度的各种测量。虽然本文没有提供具体的值，但是在不背离本发明的精神的情况下，可以根据需要利用不同的具体值(诸如低于24帧/秒的dip、超过某些伽马值的造成显示失败的视觉错误、每秒编码的帧等)，以实现本发明。
在各种不同情况下输入帧可能丢失，诸如(但不限于)当在输入流提供者与实况编码系统之间的网络连接出现故障时、当在输入流中存在错误时，和/或实况编码系统的内部错误。如图所示，输入流310丢失了帧330和帧340。实况编码系统300可以通过将帧8 350的时间戳与帧5 320的时间戳以及由实况编码系统300维持的内部时钟相比较来检测这个间隙。一旦满足丢失帧阈值，实况编码系统300就可以扩展帧，以补偿帧中的间隙。各种实施例可以使用不同的阈值方案，包括上面讨论的那些中的任一个。
如图所示，实况编码系统300在生成输出流360时扩展来自输入流310的帧5 320。扩展帧370被扩展为具有等于3的持续时间值，以便覆盖丢失的帧330和340。扩展帧370将在实况流传输客户端请求时可用，并保留支持不间断实况流传输所需的实况边缘。但是，如果过度使用，那么扩展帧持续时间会导致视觉伪影。
图4概念性地图示了有助于隐藏帧扩展效果的扩展帧持续时间的备选方法。如图所示，实况编码系统400从输入流410生成输出流460。输入流410丢失了帧430和440。为了补偿这个间隙，实况编码系统400可以扩展帧5 420和帧8 450的持续时间，并且还调整帧8450的时间戳值。如输出流460所示，扩展帧5 470已经被扩展为具有持续时间值2，并且扩展帧8 480已经被扩展为具有持续时间值2。但是，用于扩展帧8 470的时间戳已经被调整为7，使得扩展帧8 480将在扩展帧5 470之后立即可用。通过在丢失帧周围分布扩展，实况编码系统400可以隐藏由帧持续时间扩展所造成的视觉伪影中的一些。
图5概念性地图示了根据本发明的实施例的、扩展帧以补偿延迟的输入帧的实况编码系统的示例。如图所示，实况编码系统500从输入流510生成输出流560。但是，帧延迟530和540导致帧6 550迟到。实况编码系统500可以检测帧延迟并使用帧持续时间扩展进行补偿。与以前的示例不同，将不会有丢失的帧。实况编码系统500生成输出流560，输出流560包括具有扩展到3的持续时间的扩展帧5和具有调整为8的时间戳值的帧6 580。扩展帧570将在由实况流传输客户端请求时可用并保留支持不间断的实况流传输所需的实况边缘。与上面讨论的示例类似，如果过度使用，那么扩展帧持续时间会导致视觉伪影。
图6概念性地图示了扩展帧持续时间以补偿帧延迟的备选方法，这有助于隐藏帧扩展的效果。如图所示，实况编码系统600从输入流610生成输出流660。如上所述，在630和640处发生帧延迟。为了补偿这个延迟，实况编码系统600可以扩展帧5 620和帧6 650的持续时间，并且还调整帧6 650的时间戳值。如输出流660中所示，扩展帧8 670已经被扩展为具有持续时间值2，并且扩展帧8已经被扩展为具有持续时间值2。但是，用于扩展帧8 670的时间戳已被调整为7，使得扩展帧8 670将在扩展帧5 670之后立即可用。通过在延迟的帧周围分布扩展，实况编码系统400可以隐藏由帧持续时间扩展造成的视觉伪影中的一些。
本发明的实施例不限于上面关于图3、图4、图5和图6讨论的帧扩展技术。各种实施例可以在不同的情况下利用如图3和图5中所示的帧持续时间的顺序扩展和/或如图4和图5中所示的帧持续时间的分散扩展。此外，扩展帧持续时间不限于由于丢失和/或延迟的帧而被执行。
实况编码服务器通常是非常强大和昂贵的机器，其需要显著的计算能力来编码满足实况边缘要求的实况流。但是，即使是强大的服务器也会变得过载，而不太强大的服务器更是如此。特别地，重新编码编码帧可能是对服务器资源的严重消耗。图7概念性地图示了根据本发明的实施例的、扩展帧以补偿服务器负载的实况编码系统的示例。如图所示，实况编码系统700接收输入流710并生成输出流760。在图7所示的示例中，实况编码系统700的实况编码过程在输入流710的持续接收和输出流760的生成期间被执行。实况编码系统700被示为处于负载740之下。为了补偿这个负载，实况编码系统700可以在编码域中从编码的输入流复制帧。
如图所示，实况编码系统700接收编码帧4 720和编码帧5 730。实况编码系统700在生成编码的输出流750时复制这些帧。用于复制帧4 760和复制帧5 770的帧字段可能必须被调整以便考虑新的帧上下文。但是，与重新编码操作相比，这些调整可以要求显著更少的处理资源。复制帧4 760和复制帧5 770具有与编码帧4 720和编码帧5 730相同的持续时间值和时间戳值。
本发明的实施例不限于上面在图7中概念性示出的示例中讨论的具体帧复制技术。各种实施例可以利用具有各种格式的输入流(诸如原始、未编码的输入流)进行的帧复制和/或重复。而且，本发明的实施例不限于仅在服务器负载时间期间执行帧复制和/或帧重复。例如，作为持续编码过程的一部分，本发明的一些实施例可以执行编码的帧复制，以维持高效的实况编码，而不必等到服务器负载达到临界水平。所述一些实施例可以在不太强大的实况编码服务器上使用。
MPEG-DASH实况编码
MPEG-DASH(ISO/IEC 23009-1)是用于经互联网流传输多媒体内容的标准。MPEG-DASH由运动图像专家组(MPEG)开发。MPEG已经负责开发以前的多媒体标准，包括MPEG-2、MPEG-4、MPEG-7、MPEG-21等。MPEG-DASH提供使用HTTP的自适应分段媒体输送。MPEG-DASH规范仅定义MPD和片段格式。值得注意的是，在MPEG-DASH标准中未定义MPD的输送和包含片段的媒体编码格式，以及用于获取、自适应启发和播放内容的客户端行为。
图8概念性地图示了根据本发明实施例的、用于利用MPEG-DASH的实况编码系统的示例性数据流图。图8包括媒体馈送数据810、实况编码系统820、HTTP请求830、所请求的流片段840、流传输客户端850以及媒体呈现描述860。虽然未示出，但是媒体馈送数据810、HTTP请求830、所请求的流片段840和媒体呈现描述860可以经通信网络发送。通信网络可以包括(但不限于)互联网。
如图所示，实况编码系统820正在接收媒体馈送数据810。媒体馈送数据810可以包括至少上面讨论的接收到的媒体的类型。实况编码系统820可以从接收到的媒体馈送数据810生成输出流。在从接收到的媒体馈送数据810生成输出流期间，基于对媒体馈送数据810的接收速率的评估、实况编码系统820上的负载水平、支持媒体馈送数据810的传输的通信网络中的负载水平、媒体馈送数据810中的间隙，和/或由实况编码系统820生成流时的间隙，实况编码系统820可以复制来自媒体馈送数据810的帧和/或扩展来自媒体馈送数据810的帧。
实况编码系统820还接收HTTP请求830。响应于HTTP请求，实况编码系统820提供所请求的流片段840。HTTP请求830可以包括来自所生成的输出流之一的具体分段的字节范围请求。实况编码系统820可以包括多个部件，包括单独的实况编码服务器和HTTP服务器。HTTP服务器可以支持与客户端的媒体片段和请求的HTTP通信。而且，HTTP服务器可以利用基于HTTP的内容分发网络(CDN)来辅助媒体片段向流传输客户端850的输送。
MPEG-DASH使用媒体呈现描述(MPD)来向客户端提供结构良好的XML清单，该清单描述可以经由对流片段的HTTP请求来访问的若干自适应位速率流。每个MPD与可经由若干所描述自适应位速率流来查看的单个媒体呈现对应。MPD描述可访问的媒体片段和用于可访问的媒体片段的对应定时。MPD是分层数据模型，其包括(从层次结构的顶部向下)媒体呈现、时段、适配集、表示和片段。媒体呈现可以包括实况广播、实况流、实况活动和/或预先录制的媒体呈现。媒体呈现可以被拼接和/或可以包括若干时段。默认情况下，时段是不连接的并且可以在它们之间拼接广告时段，而不损失功能。时段可以包括若干适配集。适配集可以包括关于同一呈现的不同视角，诸如来自实况体育赛事的不同相机。此外，不同的适配集可以包括不同的格式，诸如音频适配集和视频适配集。在每个适配集内，可以包括若干表示。表示支持从相同的呈现中选择不同的带宽和/或最大位速率水平。因此，MPEG-DASH的客户端可以通过在带宽和/或客户端负载允许的情况下切换到不同的表示来使用自适应位速率流传输。每个表示包括可以经由HTTP请求的媒体的片段。HTTP请求在与每个片段相关联的预格式化的URL上被接收。
图9概念性地图示了来自MPEG-DASH的示例媒体呈现描述MPD数据模型。如图所示，媒体呈现910包括若干时段915-925。时段915-925各自包括不同的时段开始时间。开始时间为100秒的时段920被扩张，以示出若干包括的适配集925-930。适配集1 925包括来自媒体呈现910的相机1的视频。适配集2 930包括用于媒体呈现910的音频。适配集3 935包括来自媒体呈现910的相机2的视频。适配集1 925已被扩张，以示出表示1 940和表示2 945。表示1940是用于适配集1 925的500kb/s表示，而表示2 945是用于适配集1 925的250kb/s表示。在表示1 940当中的是初始化片段100和媒体片段955-965。这些片段由流传输客户端经由HTTP请求，以接收其中包含的媒体。
值得注意的是，图9中所示的椭圆的实例指示可能有附加的时段、适配集、呈现以及片段。图9中给出的示例MPD仅仅是来自由本发明的各种实施例支持的任何种类的配置的一个可能示例。例如，本发明的不同实施例可以支持与图9所示的实施例中为了示范性目的而提供的那些位速率不同的许多其它最大位速率。
实况编码服务器体系架构
根据本发明的实施例的实况编码服务器1000的体系架构在图10中示出。实况编码服务器1000包括与非易失性存储器1030、易失性存储器1020和网络接口1040通信的处理器10。在所示实施例中，非易失性存储器包括输入数据处理应用1050、解复用器应用1055、重新包装器应用1060、MPD组合应用1065、MPD生成应用1070、HTTP请求应用1075、音频解码器应用1080、音频编码器应用1085、视频解码器应用1090以及视频编码器应用1095。值得注意的是，实况编码服务器1000是mpeg-dash格式的实况编码服务器，其准备用于流的MPD文件并通过HTTP请求向流传输客户端提供输出流的片段。其它实施例可以利用不同的格式并且根据需要包括不同的应用，以支持所述不同格式。
输入数据处理应用1050从网络接口1040接收输入流。输入流可以包括(但不限于)视频内容、媒体呈现、仅视频的文件、仅音频的文件、体育赛事、web流和/或mpeg-dash标准流的实况流。输入数据处理应用1050可以执行附加功能，包括输入流的识别。可以使用输入流中包含的元数据和/或输入流的特点和参数的评估来执行识别。
解复用器应用1055从输入流中解复用各个基本流。例如，解复用器应用1055可以打断输入流内的音频、视频和/或字幕流。解复用的流可以在由其它应用执行的后续操作中被分析、解码和重新编码。
重新包装器应用1060可以作为整体实况编码服务器操作的一部分执行重新编码、重复和帧扩展操作。重新包装器应用1060可以根据需要从输入数据处理应用1050、解复用器应用1055、网络接口1040和/或实况编码服务器1000的任何其它部件接收输入流，以重新包装流。重新包装器应用1060可以根据需要利用视频解码器应用1090和视频编码器应用1095将接收到的媒体的传入实况帧重新编码为若干输出流。在重新编码操作期间，重新包装器应用1060可以根据若干测量来评估实况编码服务器1000的网络和/或服务器负载水平。基于这些评估，重新包装器应用1060可以重复传入的帧，以降低服务器负载水平和/或扩展某些帧，以补偿传入的网络带宽中的预期下降。重新包装器应用1060可以通过操纵帧的时间代码和/或时间戳来扩展帧，以增加其在输出流中的持续时间。重新包装器应用1060可以向MPD组合应用1065和/或MPD生成应用1070提供输出流的重新包装的、重新编码的、重复的和/或扩展的帧，以便准备好随后利用HTTP请求应用1075向客户端流传输。
MPD组合应用1065将由重新包装器应用1060生成的多个输出流组合成单个呈现。MPD组合应用1070可以生成用于组合呈现的MPD文件。如上面所讨论的，MPD文件可以描述媒体呈现的时段、适配集、表示和片段。MPD组合应用1070根据所生成的输出流的特点生成MPD文件。这些特点将根据由重新包装器应用1060执行的操作而变化。MPD文件通常最初被请求并且提供给流传输客户端，以便发起mpeg-dash流传输会话。
HTTP请求应用1075根据所述HTTP请求处理HTTP请求和服务器媒体片段。HTTP请求应用1075可以通过网络接口1040与流传输客户端进行通信。在一些实施例中，HTTP请求应用1075被托管在与实况编码服务器分开的HTTP服务器中。
非易失性存储器包括音频解码器应用1080、音频编码器应用1085、视频解码器应用1090和视频编码器应用1095。虽然非易失性存储器1030仅包括单个视频解码器应用1090和单个视频编码器应用1095，但是其它实施例可以包括多个视频编码器和视频解码器应用。而且，一些实施例可以对每个输出流使用应用的集合，以便让分开的重新包装器、解码器和编码器应用生成每个不同的输出流。
在若干实施例中，网络接口1040可以与处理器1010、易失性存储器1020和/或非易失性存储器1030通信。存储在实况编码服务器1000的非易失性存储器1030中的应用的上述讨论讨论了支持实况编码服务器1000的一个示例性应用集合。本发明的其它实施例可以利用具有下面讨论的功能的多个服务器，这些功能根据需要分布在多个服务器和/或位置上以实现本发明。此外，下面讨论的应用可以组合成一个或多个应用，并且根据需要实现为软件模块，以实现本发明。例如，下面讨论的应用可以备选地被实现为驻留在实况编码服务器1000上的单个应用的模块。而且，在示出单个应用的情况下，其它实施例可以利用专用于类似功能的多个应用。
上面讨论的各种过程可以在单个离散的服务器上实现。备选地，它们可以各自被实现为任何数量的物理、虚拟或云计算设备上的共享和/或离散的服务器。具体而言，根据本发明的一些实施例的实况编码系统可以包括单独的(一个或多个)编码服务器和(一个或多个)HTTP服务器。本领域普通技术人员将认识到的是，各种实现方法可以被用来实现本发明的实施例的过程服务器。
虽然上面的描述包含本发明的许多具体实施例，但是这些不应当被解释为对本发明的范围的限制，而是作为其一个实施例的示例。因而，本发明的范围不应当由所示实施例而是由所附权利要求及其等同物来确定。

Claims (20)

1.一种使用实况编码系统将编码输入流编码为多个自适应位速率流的方法，所述方法包括：
使用实况编码系统接收编码输入流；
使用实况编码系统评估编码条件；以及
使用实况编码系统基于评估的编码条件将编码输入流的给定片段重新编码为多个自适应位速率片段，其中多个自适应位速率片段中的每个自适应位速率片段针对不同的位速率被编码，其中将输入流的给定片段重新编码为多个自适应位速率片段包括：
当评估的编码条件满足第一编码阈值时，通过修改多个自适应位速率片段中的至少一个自适应位速率片段中的后续帧的时间戳来扩展至少一个自适应位速率片段中的来自输入流的所述给定片段的具有第一持续时间的至少一个帧的持续时间，使得至少一个帧在至少一个自适应位速率片段中具有扩展的第二持续时间；
当评估的编码条件满足第二编码阈值时，复制来自输入流的所述给定片段的至少一个帧，并且在所述多个自适应位速率片段的至少一个中使用从输入流的所述片段复制的至少一个帧；以及
当评估的编码条件不满足第一编码阈值或第二编码阈值时，使用实况编码系统将输入流的所述给定片段的至少一个帧重新编码为所述多个自适应位速率片段。
2.如权利要求1所述的方法，还包括：经至少一个网络将编码的多个自适应位速率片段流传输到多个流传输客户端。
3.如权利要求1所述的方法，其中使用实况编码系统评估编码条件还包括：确定前一片段与所述给定片段之间的到达时间，并且其中第一编码阈值是不同片段的到达之间的特定时间量。
4.如权利要求3所述的方法，其中确定前一片段与所述给定片段之间的到达时间还包括：将所述前一片段与所述给定片段之间的时间戳差值与实况编码系统上的时钟实现进行比较。
5.如权利要求1所述的方法，其中使用实况编码系统评估编码条件还包括：使用实况编码系统计算正在从输入流接收的数据量，并且其中第一编码阈值是在指定时间量上接收的特定数据量。
6.如权利要求1所述的方法，其中所述多个自适应位速率片段被编码成不同的最大位速率。
7.如权利要求1所述的方法，其中输入流是实况流。
8.如权利要求7所述的方法，其中实况流包括选自音频轨道、视频轨道、字幕轨道和多媒体轨道的组的媒体。
9.如权利要求1所述的方法，其中使用实况编码系统评估编码条件还包括：使用实况编码系统来计算实况编码系统上的负载量，并且其中第二编码阈值是实况编码系统正在执行的计算工作的特定量。
10.如权利要求1所述的方法，其中输入流具有特定编码，并且其中从输入流的片段复制的至少一个帧具有相同的特定编码。
11.一种实况编码系统，所述实况编码系统包括：
至少一个处理单元；
存储器，存储包括计算机指令的实况编码应用，其中实况编码应用指示所述至少一个处理单元：
接收编码输入流；
评估编码条件；以及
基于评估的编码条件将编码输入流的给定片段重新编码为多个自适应位速率片段，其中多个自适应位速率片段中的每个自适应位速率片段针对不同的位速率被编码，其中将输入流的给定片段重新编码为多个自适应位速率片段的指令还包括指令，所述指令用于：
当评估的编码条件满足第一编码阈值时，通过修改多个自适应位速率片段中的至少一个自适应位速率片段中的后续帧的时间戳来扩展至少一个自适应位速率片段中的来自输入流的所述给定片段的具有第一持续时间的至少一个帧的持续时间，使得至少一个帧在至少一个自适应位速率片段中具有扩展的第二持续时间；
当评估的编码条件满足第二编码阈值时，复制来自输入流的所述给定片段的至少一个帧，并且在所述多个自适应位速率片段的至少一个中使用从输入流的所述片段复制的至少一个帧；以及
当评估的编码条件不满足第一编码阈值或第二编码阈值时，将输入流的所述给定片段的至少一个帧重新编码为所述多个自适应位速率片段。
12.如权利要求11所述的实况编码系统，其中实况编码应用还包括用于经至少一个网络将编码的多个自适应位速率片段流传输到多个流传输客户端的指令。
13.如权利要求11所述的实况编码系统，其中用于评估编码条件的指令还包括用于确定前一片段与所述给定片段之间的到达时间的指令，并且其中第一编码阈值是不同片段的到达之间的特定时间量。
14.如权利要求13所述的实况编码系统，其中用于确定前一片段与所述给定片段之间的到达时间的指令还包括用于将所述前一片段与所述给定片段之间的时间戳差值与实况编码系统上的时钟实现进行比较的指令。
15.如权利要求11所述的实况编码系统，其中用于评估编码条件的指令还包括用于计算正在从输入流接收的数据量的指令，并且其中第一编码阈值是在指定时间量上接收的特定数据量。
16.如权利要求11所述的实况编码系统，其中所述多个自适应位速率片段被编码成不同的最大位速率。
17.如权利要求11所述的实况编码系统，其中输入流是实况流。
18.如权利要求17所述的实况编码系统，其中实况流包括选自音频轨道、视频轨道、字幕轨道和多媒体轨道的组的媒体。
19.如权利要求11所述的实况编码系统，其中用于评估编码条件的指令还包括：用于计算实况编码系统上的负载量的指令，并且其中第二编码阈值是实况编码系统正在执行的计算工作的特定量。
20.如权利要求11所述的实况编码系统，其中输入流具有特定编码，并且其中从输入流的片段复制的至少一个帧具有相同的特定编码。
CN201680012053.2A 2015-02-27 2016-02-26 在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法 Active CN107251008B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562126393P 2015-02-27 2015-02-27
US62/126,393 2015-02-27
PCT/US2016/019955 WO2016138493A1 (en) 2015-02-27 2016-02-26 Systems and methods for frame duplication and frame extension in live video encoding and streaming

Publications (2)

Publication Number Publication Date
CN107251008A CN107251008A (zh) 2017-10-13
CN107251008B true CN107251008B (zh) 2020-11-13

Family

ID=56789873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680012053.2A Active CN107251008B (zh) 2015-02-27 2016-02-26 在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法

Country Status (9)

Country Link
US (3) US10715574B2 (zh)
EP (2) EP3627337A1 (zh)
JP (2) JP6588987B2 (zh)
KR (1) KR101897959B1 (zh)
CN (1) CN107251008B (zh)
ES (1) ES2768979T3 (zh)
HK (1) HK1246423A1 (zh)
SG (1) SG11201706160UA (zh)
WO (1) WO2016138493A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627337A1 (en) 2015-02-27 2020-03-25 DivX, LLC Systems and methods for frame duplication and frame extension in live video encoding and streaming
US10291681B2 (en) * 2015-06-18 2019-05-14 Ericsson Ab Directory limit based system and method for storing media segments
JP2018041340A (ja) * 2016-09-08 2018-03-15 富士通株式会社 情報処理システム
US10652294B2 (en) * 2016-10-31 2020-05-12 Google Llc Anchors for live streams
AU2018254570B2 (en) * 2017-04-21 2021-08-05 Zenimax Media Inc. Systems and methods for deferred post-processes in video encoding
JP7230008B2 (ja) * 2017-05-15 2023-02-28 ミックスヘイロー コーポレイション リアルタイムオーディオおよびデータを提供するためのシステムおよび方法
US10652166B2 (en) * 2017-06-27 2020-05-12 Cisco Technology, Inc. Non-real time adaptive bitrate recording scheduler
KR102200317B1 (ko) * 2017-12-08 2021-01-08 구글 엘엘씨 디지털 비디오 컨텐츠 수정
US11019368B2 (en) 2018-04-26 2021-05-25 Phenix Real Time Solutions, Inc. Adaptive bit-rate methods for live broadcasting
US11146852B2 (en) * 2018-05-11 2021-10-12 Qualcomm Incorporated Signaling missing sections of media data for network streaming in a segment
CN110798739B (zh) * 2019-11-11 2021-10-08 四川东方网力科技有限公司 基于html5的视频实时目标属性叠加显示方法、装置及设备
CN111083162B (zh) * 2019-12-30 2022-08-23 广州酷狗计算机科技有限公司 多媒体流卡顿检测方法和装置
US11425182B1 (en) * 2020-12-30 2022-08-23 Meta Platforms, Inc. Systems and methods for dynamically encoding media streams
KR102568415B1 (ko) * 2021-04-28 2023-08-21 (주)이머시브캐스트 Hmd 기반의 pc 게임 확장 시스템

Family Cites Families (238)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5400401A (en) 1992-10-30 1995-03-21 Scientific Atlanta, Inc. System and method for transmitting a plurality of digital services
JP2707950B2 (ja) 1993-07-30 1998-02-04 ソニー株式会社 ディジタル画像情報処理装置
US5596564A (en) 1993-10-08 1997-01-21 Matsushita Electric Industrial Co., Ltd. Information recording medium and apparatus and method for recording and reproducing information
US6157391A (en) * 1994-01-10 2000-12-05 International Business Machines Corporation Method and apparatus for providing slow motion video at normal motion play speed
JPH07327029A (ja) 1994-05-31 1995-12-12 Fujitsu Ltd 暗号化通信システム
JP2842796B2 (ja) 1994-12-06 1999-01-06 富士通株式会社 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置
US6009237A (en) 1995-02-24 1999-12-28 Hitachi Ltd. Optical disk and optical disk reproduction apparatus
US6002834A (en) 1995-02-24 1999-12-14 Hitachi, Ltd. Optical disk having table relating sector address and time and optical disk reproducing apparatus
US5813010A (en) 1995-04-14 1998-09-22 Kabushiki Kaisha Toshiba Information storage and information transmission media with parental control
CA2173929C (en) 1995-04-14 2001-04-03 Kazuhiko Taira Method, apparatus and recording medium for reproducing information
EP0788094A4 (en) 1995-08-21 1998-06-24 Matsushita Electric Ind Co Ltd MULTIMEDIA OPTICAL DISK WHICH CAN COMPLETELY GENERATE UNEXPECTED SCENES THROUGH INTERACTIVE CONTROL, THEIR PLAYBACK DEVICE AND PLAYBACK METHOD
TW385431B (en) 1995-09-29 2000-03-21 Matsushita Electric Ind Co Ltd A method and an apparatus for encoding a bitstream with plural possible searching reproduction paths information useful in multimedia optical disk
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
CA2237293A1 (en) 1995-12-29 1997-07-10 Scientific-Atlanta, Inc. Method and apparatus for providing conditional access in connection-oriented, interactive networks with a multiplicity of service providers
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6065050A (en) 1996-06-05 2000-05-16 Sun Microsystems, Inc. System and method for indexing between trick play and normal play video streams in a video delivery system
US5805700A (en) 1996-10-15 1998-09-08 Intel Corporation Policy based selective encryption of compressed video data
FI106071B (fi) 1997-03-13 2000-11-15 Nokia Mobile Phones Ltd Mukautuva suodatin
MY124583A (en) 1997-03-19 2006-06-30 Sony Corp Video data decoding apparatus and method and video signal reproduction apparatus and method
US6654933B1 (en) 1999-09-21 2003-11-25 Kasenna, Inc. System and method for media stream indexing
US6970564B1 (en) 1998-07-13 2005-11-29 Sony Corporation Data multiplexing device, program distribution system, program transmission system, pay broadcast system, program transmission method, conditional access system, and data reception device
FI103003B1 (fi) 1997-06-13 1999-03-31 Nokia Mobile Phones Ltd Suodatusmenetelmä, suodatin ja matkaviestinpääte
KR100242448B1 (ko) 1997-06-28 2000-02-01 윤종용 디지털 비디오 디스크 고속 재생 제어장치 및 방법
US6594699B1 (en) 1997-10-10 2003-07-15 Kasenna, Inc. System for capability based multimedia streaming over a network
US6057832A (en) 1997-12-02 2000-05-02 V Soft Ltd. Method and apparatus for video-on-demand with fast play capability
JP4186242B2 (ja) 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
US6751623B1 (en) 1998-01-26 2004-06-15 At&T Corp. Flexible interchange of coded multimedia facilitating access and streaming
US7809138B2 (en) 1999-03-16 2010-10-05 Intertrust Technologies Corporation Methods and apparatus for persistent control and protection of content
US6320905B1 (en) 1998-07-08 2001-11-20 Stream Machine Company Postprocessing system for removing blocking artifacts in block-based codecs
US7457415B2 (en) 1998-08-20 2008-11-25 Akikaze Technologies, Llc Secure information distribution system utilizing information segment scrambling
US6931531B1 (en) 1998-09-02 2005-08-16 Matsushita Electric Industrial Co., Ltd. Image object recording, compression, and encryption method and system
US6351538B1 (en) 1998-10-06 2002-02-26 Lsi Logic Corporation Conditional access and copy protection scheme for MPEG encoded video data
CN1897146A (zh) 1998-10-12 2007-01-17 松下电器产业株式会社 信息记录介质及用于记录或再现数据的装置和方法
US6850965B2 (en) * 1998-11-17 2005-02-01 Arthur Douglas Allen Method for connection acceptance and rapid determination of optimal multi-media content delivery over network
CA2289958C (en) 1998-11-19 2003-01-21 Tomoyuki Okada Information recording medium, apparatus and method for recording or reproducing data thereof
US6236764B1 (en) 1998-11-30 2001-05-22 Equator Technologies, Inc. Image processing circuit and method for reducing a difference between pixel values across an image boundary
EP1021048A3 (en) 1999-01-14 2002-10-02 Kabushiki Kaisha Toshiba Digital video recording system and its recording medium
WO2000044119A1 (en) 1999-01-26 2000-07-27 Infolio, Inc. Universal mobile id system and method for digital rights management
JP3433125B2 (ja) 1999-01-27 2003-08-04 三洋電機株式会社 動画像再生装置
JP3715533B2 (ja) 1999-02-05 2005-11-09 株式会社東芝 ストリーム情報の情報記憶媒体、その記録方法、再生方法、記録装置および再生装置
DE19906450C1 (de) 1999-02-16 2000-08-17 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen eines verschlüsselten Nutzdatenstroms und Verfahren und Vorrichtung zum Entschlüsseln eines verschlüsselten Nutzdatenstroms
DE19906449C1 (de) 1999-02-16 2000-08-10 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen eines verschlüsselten Nutzdatenstroms und Verfahren und Vorrichtung zum Abspielen eines verschlüsselten Nutzdatenstroms
JP3805985B2 (ja) 1999-02-18 2006-08-09 株式会社東芝 ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置
US6415031B1 (en) 1999-03-12 2002-07-02 Diva Systems Corporation Selective and renewable encryption for secure distribution of video on-demand
WO2000055854A1 (fr) 1999-03-17 2000-09-21 Kabushiki Kaisha Toshiba Procede d'enregistrement de donnees en fluxet de leur structure
EP1039468A3 (en) 1999-03-19 2000-10-04 Deutsche Thomson-Brandt Gmbh Method for implementing trickplay modes in a data stream recorder
US7339993B1 (en) 1999-10-01 2008-03-04 Vidiator Enterprises Inc. Methods for transforming streaming video data
US6912513B1 (en) 1999-10-29 2005-06-28 Sony Corporation Copy-protecting management using a user scrambling key
US7151832B1 (en) 1999-11-18 2006-12-19 International Business Machines Corporation Dynamic encryption and decryption of a stream of data
EP1267515A3 (en) 2000-01-21 2004-04-07 Sony Computer Entertainment Inc. Method and apparatus for symmetric encryption/decryption of recorded data
JP2001209583A (ja) 2000-01-26 2001-08-03 Sony Corp データ記録再生器およびセーブデータ処理方法、並びにプログラム提供媒体
JP4599740B2 (ja) 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
GB2362532B (en) 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
KR100448452B1 (ko) 2000-06-09 2004-09-13 엘지전자 주식회사 고밀도 광 기록매체의 메뉴 지원방법
US6871006B1 (en) 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
US7188183B1 (en) 2000-08-04 2007-03-06 Oracle International Corporation Maintaining state information in mobile applications
US6704024B2 (en) 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
EP1313318A1 (en) 2000-08-25 2003-05-21 Matsushita Electric Industrial Co., Ltd. Data transmission method and data relay method
US6453115B1 (en) 2000-08-31 2002-09-17 Keen Personal Media, Inc. Digital video recording system which generates an index data structure for displaying a video stream in trickplay mode
US7242772B1 (en) 2000-09-07 2007-07-10 Eastman Kodak Company Encryption apparatus and method for synchronizing multiple encryption keys with a data stream
US7212726B2 (en) 2000-09-15 2007-05-01 International Business Machines Corporation System and method of processing MPEG streams for file index insertion
US7031393B2 (en) 2000-10-20 2006-04-18 Matsushita Electric Industrial Co., Ltd. Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7110664B2 (en) 2001-04-20 2006-09-19 Front Porch Digital, Inc. Methods and apparatus for indexing and archiving encoded audio-video data
US7065213B2 (en) 2001-06-29 2006-06-20 Scientific-Atlanta, Inc. In a subscriber network receiving digital packets and transmitting digital packets below a predetermined maximum bit rate
US6928603B1 (en) * 2001-07-19 2005-08-09 Adaptix, Inc. System and method for interference mitigation using adaptive forward error correction in a wireless RF data transmission system
KR100895559B1 (ko) 2001-07-23 2009-04-29 파나소닉 주식회사 정보기록매체, 정보기록매체에 정보를 기록하는 장치 및방법
JP4145586B2 (ja) 2001-07-24 2008-09-03 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
US7426315B2 (en) 2001-09-05 2008-09-16 Zoran Microelectronics Ltd. Method for reducing blocking artifacts
KR100424762B1 (ko) 2001-09-06 2004-03-30 삼성전자주식회사 영상 데이터 제공 시스템 및 방법
US6983079B2 (en) 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
US20030077071A1 (en) 2001-10-23 2003-04-24 Shu Lin Fast forward trick mode and reverse trick mode using an information file
JP2003152698A (ja) 2001-11-15 2003-05-23 Nippon Hoso Kyokai <Nhk> コンテンツ利用制御送信方法、コンテンツ利用制御受信方法およびコンテンツ利用制御送信装置、コンテンツ利用制御受信装置ならびにコンテンツ利用制御送信プログラム、コンテンツ利用制御受信プログラム
DK2938071T3 (en) 2001-11-29 2018-01-22 Godo Kaisha Ip Bridge 1 METHOD OF REMOVING CODING PREVENTION
CA2435757C (en) 2001-11-29 2013-03-19 Matsushita Electric Industrial Co., Ltd. Video coding distortion removal method and apparatus using a filter
US20040037421A1 (en) 2001-12-17 2004-02-26 Truman Michael Mead Parital encryption of assembled bitstreams
US8027470B2 (en) 2002-01-02 2011-09-27 Sony Corporation Video slice and active region based multiple partial encryption
US7065651B2 (en) 2002-01-16 2006-06-20 Microsoft Corporation Secure video card methods and systems
JP2003230089A (ja) 2002-01-31 2003-08-15 Toshiba Corp 情報記憶媒体及び情報記録装置
US7174021B2 (en) 2002-06-28 2007-02-06 Microsoft Corporation Systems and methods for providing secure server key operations
AU2003268037A1 (en) 2002-07-30 2004-02-16 Digital Interactive Streams, Inc. Digital content security system and method
US20040022391A1 (en) 2002-07-30 2004-02-05 O'brien Royal Digital content security system and method
US7167560B2 (en) 2002-08-08 2007-01-23 Matsushita Electric Industrial Co., Ltd. Partial encryption of stream-formatted media
KR100609392B1 (ko) 2002-09-05 2006-08-08 엘지전자 주식회사 정지 영상의 재생을 관리하기 위한 재생리스트 마크의데이터 구조를 갖는 기록 매체, 그에 따른 기록 및 재생방법 및 장치
CN100495558C (zh) 2002-09-06 2009-06-03 Lg电子株式会社 记录和再现用于管理静止图像的数据结构的方法及装置
US20050144468A1 (en) 2003-01-13 2005-06-30 Northcutt J. D. Method and apparatus for content protection in a personal digital network environment
US7020287B2 (en) 2002-09-30 2006-03-28 Sony Corporation Method and system for key insertion for stored encrypted content
US7295673B2 (en) 2002-10-23 2007-11-13 Divx, Inc. Method and system for securing compressed digital video
KR20040039852A (ko) 2002-11-05 2004-05-12 주식회사 디지털앤디지털 프레임 인덱스를 이용한 트릭 플레이 구현방법
US8572408B2 (en) 2002-11-05 2013-10-29 Sony Corporation Digital rights management of a digital device
CN1692426B (zh) 2002-11-20 2010-05-12 Lg电子有限公司 具有管理数据重现的数据结构的记录介质及记录和重现的方法和装置
US7227901B2 (en) 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US9352222B2 (en) * 2002-12-10 2016-05-31 Sony Interactive Entertainment America Llc System and method for capturing text for an online application
JP2006519565A (ja) 2003-03-03 2006-08-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化
US7007170B2 (en) 2003-03-18 2006-02-28 Widevine Technologies, Inc. System, method, and apparatus for securely providing content viewable on a secure device
KR101030155B1 (ko) 2003-04-10 2011-04-18 파나소닉 주식회사 정보기록매체, 정보기록매체에 정보를 기록하는 장치 및방법
KR20040096718A (ko) 2003-05-10 2004-11-17 삼성전자주식회사 멀티미디어 데이터 재생장치, 오디오 데이터 수신방법 및오디오 데이터 구조
KR100492567B1 (ko) 2003-05-13 2005-06-03 엘지전자 주식회사 이동통신 시스템의 ｈｔｔｐ 기반 비디오 스트리밍 장치및 방법
US7424501B2 (en) 2003-06-30 2008-09-09 Intel Corporation Nonlinear filtering and deblocking applications utilizing SIMD sign and absolute value operations
JP4411879B2 (ja) 2003-07-01 2010-02-10 株式会社ニコン 信号処理装置、信号処理プログラム、および電子カメラ
AU2004258523B2 (en) 2003-07-07 2009-12-10 Irdeto B.V. Reprogrammable security for controlling piracy and enabling interactive content
US20050013494A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7382879B1 (en) 2003-07-23 2008-06-03 Sprint Communications Company, L.P. Digital rights management negotiation for streaming media over a network
JP2005057435A (ja) 2003-08-01 2005-03-03 Sony Corp クライアント機器及びクライアント機器におけるコンテンツ処理方法、並びにコンテンツ提供システム
ATE500695T1 (de) 2003-08-07 2011-03-15 Pervenio Ltd Server zum bestimmen und speichern von mobilgerät-leistungsmerkmalen
US7853980B2 (en) 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
JP4537083B2 (ja) 2004-01-28 2010-09-01 キヤノン株式会社 データ処理装置及びその制御方法
US9094699B2 (en) 2004-02-05 2015-07-28 Broadcom Corporation System and method for security key transmission with strong pairing to destination client
US7546641B2 (en) 2004-02-13 2009-06-09 Microsoft Corporation Conditional access to digital rights management conversion
EP1757087A4 (en) * 2004-04-16 2009-08-19 James A Aman AUTOMATIC VIDEO RECORDING OF EVENTS, PURSUIT AND CONTENT PRODUCTION SYSTEM
US7397853B2 (en) 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7539248B2 (en) 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7477749B2 (en) 2004-05-12 2009-01-13 Nokia Corporation Integrity protection of streamed content
US8600217B2 (en) 2004-07-14 2013-12-03 Arturo A. Rodriguez System and method for improving quality of displayed picture during trick modes
US7571246B2 (en) * 2004-07-29 2009-08-04 Microsoft Corporation Media transrating over a bandwidth-limited network
US7930184B2 (en) 2004-08-04 2011-04-19 Dts, Inc. Multi-channel audio coding/decoding of random access points and transients
EP1780711B1 (en) 2004-08-17 2012-02-15 Panasonic Corporation Information recording medium, data sorting device, and data reproducing device
JP4850075B2 (ja) 2005-01-18 2012-01-11 パナソニック株式会社 データ格納方法、データ再生方法、データ記録装置、データ再生装置および記録媒体
US7349886B2 (en) 2005-03-25 2008-03-25 Widevine Technologies, Inc. Securely relaying content using key chains
KR100677026B1 (ko) 2005-04-07 2007-02-01 (주)아이티너스 코리아 영상 신호 송수신 시스템 및 이에 사용되는 보안 모듈
US8683066B2 (en) 2007-08-06 2014-03-25 DISH Digital L.L.C. Apparatus, system, and method for multi-bitrate content streaming
JP4321550B2 (ja) 2005-08-31 2009-08-26 ソニー株式会社 情報処理装置、情報記録媒体製造装置、情報記録媒体、および方法、並びにコンピュータ・プログラム
US20070067472A1 (en) 2005-09-20 2007-03-22 Lsi Logic Corporation Accurate and error resilient time stamping method and/or apparatus for the audio-video interleaved (AVI) format
US20070083467A1 (en) 2005-10-10 2007-04-12 Apple Computer, Inc. Partial encryption techniques for media data
CN100425078C (zh) * 2005-11-08 2008-10-08 上海广电（集团）有限公司中央研究院 码流转换中编码速度和视频质量的自适应联合控制方法
US7991891B2 (en) 2006-02-02 2011-08-02 Microsoft Corporation Version-specific content searching
US8224041B2 (en) 2006-07-19 2012-07-17 Panasonic Corporation Media data processing apparatus and media data processing method
US7743161B2 (en) 2006-10-10 2010-06-22 Ortiva Wireless, Inc. Digital content buffer for adaptive streaming
TW200820783A (en) 2006-10-25 2008-05-01 Realtek Semiconductor Corp Apparatus and method for deblock filtering
US8243924B2 (en) 2007-06-29 2012-08-14 Google Inc. Progressive download or streaming of digital media securely through a localized container and communication protocol proxy
WO2009018171A1 (en) * 2007-07-27 2009-02-05 Synergy Sports Technology, Llc Systems and methods for generating bookmark video fingerprints
US10277956B2 (en) 2007-10-01 2019-04-30 Cabot Communications Method and apparatus for streaming digital media content and a communication system
US20090106082A1 (en) 2007-10-23 2009-04-23 Senti Thad E System and method to facilitate targeted advertising
KR20100106327A (ko) 2007-11-16 2010-10-01 디브이엑스, 인크. 멀티미디어 파일을 위한 계층적 및 감소된 인덱스 구조
US8169916B1 (en) 2007-11-23 2012-05-01 Media Melon, Inc. Multi-platform video delivery configuration
US8131875B1 (en) 2007-11-26 2012-03-06 Adobe Systems Incorporated Device profile assignment based on device capabilities
WO2009109976A2 (en) 2008-03-05 2009-09-11 Webtview Ltd. Distributing internet channels to a media viewer
CN101540645A (zh) 2008-03-21 2009-09-23 华为技术有限公司 动态内容分发方法和装置
US20090249081A1 (en) 2008-03-31 2009-10-01 Kabushiki Kaisha Toshiba-1 Shibaura 1-Chomominatoku Storage device encryption and method
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
AU2009256066B2 (en) 2008-06-06 2012-05-17 Deluxe Media Inc. Methods and systems for use in providing playback of variable length content in a fixed length framework
WO2010000910A1 (en) * 2008-06-30 2010-01-07 Nokia Corporation Transmission capacity probing using adaptive redundancy adjustment
CN101426179A (zh) 2008-09-22 2009-05-06 深圳华为通信技术有限公司 业务激活的方法和业务提供的方法以及终端设备和服务器
EP2180664A1 (en) 2008-10-22 2010-04-28 Vivendi Mobile Entertainment System and method for accessing multi-media content via a mobile terminal
CN102217309B (zh) * 2008-11-13 2014-04-09 汤姆逊许可证公司 使用hrd信息共享和比特分配等待的多线程视频编码
WO2010108053A1 (en) * 2009-03-19 2010-09-23 Azuki Systems, Inc. Method for scalable live streaming delivery for mobile audiences
US9380091B2 (en) * 2012-06-12 2016-06-28 Wi-Lan Labs, Inc. Systems and methods for using client-side video buffer occupancy for enhanced quality of experience in a communication network
US20130290492A1 (en) * 2009-06-12 2013-10-31 Cygnus Broadband, Inc. State management for video streaming quality of experience degradation control and recovery using a video quality metric
KR101740039B1 (ko) * 2009-06-26 2017-05-25 톰슨 라이센싱 적응형 기하학적 분할을 이용한 비디오 인코딩 및 디코딩 방법 및 장치
WO2011022405A2 (en) 2009-08-17 2011-02-24 Akamai Technologies, Inc. Method and system for http-based stream delivery
US9203816B2 (en) 2009-09-04 2015-12-01 Echostar Technologies L.L.C. Controlling access to copies of media content by a client device
CA2715362A1 (en) 2009-09-22 2011-03-22 Thwapr, Inc. Interoperable mobile media sharing
US20110096828A1 (en) 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US10264029B2 (en) 2009-10-30 2019-04-16 Time Warner Cable Enterprises Llc Methods and apparatus for packetized content delivery over a content delivery network
US8930991B2 (en) 2009-11-19 2015-01-06 Gregory Philpott System and method for delivering content to mobile devices
WO2011068668A1 (en) 2009-12-04 2011-06-09 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US20110296048A1 (en) 2009-12-28 2011-12-01 Akamai Technologies, Inc. Method and system for stream handling using an intermediate format
US9038116B1 (en) 2009-12-28 2015-05-19 Akamai Technologies, Inc. Method and system for recording streams
KR101636108B1 (ko) 2010-01-18 2016-07-04 텔레폰악티에볼라겟엘엠에릭슨(펍) 에이치티티피 미디어 스트림 분배를 위한 방법과 배열
US20110179185A1 (en) 2010-01-20 2011-07-21 Futurewei Technologies, Inc. System and Method for Adaptive Differentiated Streaming
GB2477515B (en) * 2010-02-03 2012-09-26 Orbital Multi Media Holdings Corp Data flow control method and apparatus
US9532113B2 (en) 2010-02-17 2016-12-27 Verimatrix, Inc. Systems and methods for securing content delivered using a playlist
EP2362651A1 (en) 2010-02-19 2011-08-31 Thomson Licensing Multipath delivery for adaptive streaming
EP2360923A1 (en) 2010-02-24 2011-08-24 Thomson Licensing Method for selectively requesting adaptive streaming content and a device implementing the method
US8819116B1 (en) 2010-03-08 2014-08-26 Amazon Technologies, Inc. Providing services using a device capabilities service
EP2375680A1 (en) 2010-04-01 2011-10-12 Thomson Licensing A method for recovering content streamed into chunk
US8402155B2 (en) * 2010-04-01 2013-03-19 Xcira, Inc. Real-time media delivery with automatic catch-up
US9043484B2 (en) 2010-04-02 2015-05-26 Disney Enterprises, Inc. Streaming playback and dynamic ad insertion
US9137278B2 (en) 2010-04-08 2015-09-15 Vasona Networks Inc. Managing streaming bandwidth for multiple clients
AU2010202741B1 (en) 2010-06-30 2010-12-23 Adeia Media Holdings Llc Dynamic chunking for media streaming
US20130080267A1 (en) 2011-09-26 2013-03-28 Unicorn Media, Inc. Single-url content delivery
US8824560B2 (en) * 2010-07-07 2014-09-02 Netzyn, Inc. Virtual frame buffer system and method
US8782268B2 (en) 2010-07-20 2014-07-15 Microsoft Corporation Dynamic composition of media
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US8677428B2 (en) 2010-08-20 2014-03-18 Disney Enterprises, Inc. System and method for rule based dynamic server side streaming manifest files
US10637891B2 (en) 2010-11-02 2020-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for media description delivery
US9001886B2 (en) * 2010-11-22 2015-04-07 Cisco Technology, Inc. Dynamic time synchronization
US9264750B2 (en) 2010-12-23 2016-02-16 Verizon Patent And Licensing Inc. Advertising insertion for playback of video streams on user devices
US8532171B1 (en) * 2010-12-23 2013-09-10 Juniper Networks, Inc. Multiple stream adaptive bit rate system
US8914534B2 (en) 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
CA2825937A1 (en) 2011-01-28 2012-08-02 Eye IO, LLC Encoding of video stream based on scene type
US9026671B2 (en) 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
US8849950B2 (en) 2011-04-07 2014-09-30 Qualcomm Incorporated Network streaming of video data using byte range requests
EP2685742A4 (en) * 2011-04-07 2014-03-05 Huawei Tech Co Ltd METHOD, DEVICE AND SYSTEM FOR SENDING AND PROCESSING MEDIA CONTENT
US20120307886A1 (en) * 2011-05-31 2012-12-06 Broadcom Corporation Adaptive Video Encoding Based on Predicted Wireless Channel Conditions
US9646141B2 (en) 2011-06-22 2017-05-09 Netflix, Inc. Fast start of streaming digital media playback with deferred license retrieval
US9615126B2 (en) * 2011-06-24 2017-04-04 Google Technology Holdings LLC Intelligent buffering of media streams delivered over internet
US9420534B2 (en) 2011-06-28 2016-08-16 Telefonaktiebolaget Lm Ericsson (Publ) Technique for managing streaming media traffic at a network entity
CN103650451B (zh) 2011-07-07 2016-10-19 瑞典爱立信有限公司 网络容量优化的自适应http流播
US9590814B2 (en) 2011-08-01 2017-03-07 Qualcomm Incorporated Method and apparatus for transport of dynamic adaptive streaming over HTTP (DASH) initialization segment description fragments as user service description fragments
WO2013022470A1 (en) 2011-08-11 2013-02-14 Intel Corporation Methods for switching between a mbms download and an http-based delivery of dash formatted content over an ims network
EP2761881A4 (en) * 2011-09-30 2015-06-17 Intel Corp EXPERIENCE QUALITY IMPROVEMENTS BETWEEN WIRELESS NETWORKS
US9432704B2 (en) * 2011-11-06 2016-08-30 Akamai Technologies Inc. Segmented parallel encoding with frame-aware, variable-size chunking
US9800945B2 (en) * 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9246741B2 (en) * 2012-04-11 2016-01-26 Google Inc. Scalable, live transcoding with support for adaptive streaming and failover
KR20160063405A (ko) 2012-04-24 2016-06-03 브이아이디 스케일, 인크. Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치
CN104285411A (zh) * 2012-06-11 2015-01-14 英特尔公司 在多个无线电链路上分发分层多媒体流
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
JP6064249B2 (ja) 2012-07-09 2017-01-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 動的適応ストリーミングオーバーハイパーテキスト転送プロトコルクライアント挙動フレームワークおよびセッション管理の実装
US10511997B2 (en) 2012-07-09 2019-12-17 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for distributing information during broadcast delivery
JP6106851B2 (ja) * 2012-07-09 2017-04-05 パナソニックＩｐマネジメント株式会社 通信装置、通信方法、プログラム
CN114422833A (zh) * 2012-07-10 2022-04-29 Vid拓展公司 由无线发射/接收单元执行的方法及无线发射/接收单元
US9351005B2 (en) * 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US9426196B2 (en) * 2013-01-04 2016-08-23 Qualcomm Incorporated Live timing for dynamic adaptive streaming over HTTP (DASH)
US20140209493A1 (en) 2013-01-28 2014-07-31 Susan Jean Hale Garment and Accessories Organizer and Shoulder Bag
US8752113B1 (en) 2013-03-15 2014-06-10 Wowza Media Systems, LLC Insertion of graphic overlays into a stream
US8869218B2 (en) * 2013-03-15 2014-10-21 Wowza Media Systems, LLC On the fly transcoding of video on demand content for adaptive streaming
US20140351871A1 (en) * 2013-05-22 2014-11-27 Microsoft Corporation Live media processing and streaming service
US9094737B2 (en) * 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
DE102013211571B4 (de) * 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
US9179159B2 (en) * 2013-06-20 2015-11-03 Wowza Media Systems, LLC Distributed encoding of a video stream
WO2014209493A1 (en) * 2013-06-28 2014-12-31 Wi-Lan Labs, Inc. State management for video streaming quality of experience degradation control and recovery using a video quality metric
GB2520334B (en) * 2013-11-18 2015-11-25 Helen Bradley Lennon A video broadcast system and a method of disseminating video content
US9282133B2 (en) * 2013-12-12 2016-03-08 Ooma, Inc. Communicating control information within a real-time stream
US9253231B2 (en) * 2013-12-19 2016-02-02 Verizon Patent And Licensing Inc. Retrieving and caching adaptive bitrate stream segments based on network congestion
US10567765B2 (en) * 2014-01-15 2020-02-18 Avigilon Corporation Streaming multiple encodings with virtual stream identifiers
CN111416984B (zh) * 2014-01-29 2024-08-23 皇家Kpn公司 建立事件的流传输呈现
US9106887B1 (en) * 2014-03-13 2015-08-11 Wowza Media Systems, LLC Adjusting encoding parameters at a mobile device based on a change in available network bandwidth
US9635077B2 (en) * 2014-03-14 2017-04-25 Adobe Systems Incorporated Low latency live video streaming
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
CN103944675B (zh) * 2014-04-04 2017-08-04 浙江大学 适合物理层无速率编码传输的自适应流水线传输方法
US8896765B1 (en) 2014-05-16 2014-11-25 Shadowbox Media, Inc. Systems and methods for remote control of a television
US10110657B2 (en) * 2014-07-03 2018-10-23 Telefonaktiebolaget Lm Ericsson (Publ) System and method for pushing live media content in an adaptive streaming environment
US9426478B2 (en) * 2014-07-21 2016-08-23 Cisco Technology, Inc. Resolution robust video quality metric
US9756361B2 (en) * 2014-07-25 2017-09-05 Verizon Patent And Licensing Inc. On-demand load balancer and virtual live slicer server farm for program ingest
US9838455B2 (en) * 2014-09-19 2017-12-05 Mobitv, Inc. Fast encoding of live streaming media content
CN104318926B (zh) * 2014-09-29 2018-08-31 四川九洲电器集团有限责任公司 基于IntMDCT的无损音频编码方法、解码方法
MX2017005085A (es) * 2014-10-22 2018-01-30 Arris Entpr Llc Reduccion de latencia de transmision de velocidad binaria adaptativa.
EP3490174B1 (en) * 2014-11-20 2023-10-11 Panasonic Intellectual Property Corporation of America Transmitting method, receiving method, transmitting device, and receiving device
WO2016098056A1 (en) * 2014-12-18 2016-06-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
KR101942208B1 (ko) * 2015-01-08 2019-01-24 애리스 엔터프라이지즈 엘엘씨 Dlna http 스트리밍 클라이언트들을 위한 서버측 적응형 비트 레이트 제어
GB2534136A (en) * 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US9781084B2 (en) * 2015-01-23 2017-10-03 Arris Enterprises Llc Reducing start-up delay in streaming media sessions
US10218981B2 (en) * 2015-02-11 2019-02-26 Wowza Media Systems, LLC Clip generation based on multiple encodings of a media stream
US9756106B2 (en) * 2015-02-13 2017-09-05 Citrix Systems, Inc. Methods and systems for estimating quality of experience (QoE) parameters of secured transactions
EP3627337A1 (en) 2015-02-27 2020-03-25 DivX, LLC Systems and methods for frame duplication and frame extension in live video encoding and streaming

Also Published As

Publication number Publication date
US20160255131A1 (en) 2016-09-01
JP2019193312A (ja) 2019-10-31
EP3262523B1 (en) 2019-12-04
EP3262523A1 (en) 2018-01-03
EP3627337A1 (en) 2020-03-25
JP6928038B2 (ja) 2021-09-01
KR20170118759A (ko) 2017-10-25
US10715574B2 (en) 2020-07-14
ES2768979T3 (es) 2020-06-24
KR101897959B1 (ko) 2018-09-12
EP3262523A4 (en) 2018-07-25
SG11201706160UA (en) 2017-09-28
US20220124137A1 (en) 2022-04-21
WO2016138493A1 (en) 2016-09-01
HK1246423A1 (zh) 2018-09-07
CN107251008A (zh) 2017-10-13
US11134115B2 (en) 2021-09-28
JP6588987B2 (ja) 2019-10-09
US11824912B2 (en) 2023-11-21
JP2018511978A (ja) 2018-04-26
US20200344284A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
CN107251008B (zh) 在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法
US9351020B2 (en) On the fly transcoding of video on demand content for adaptive streaming
KR102110627B1 (ko) 적응적 비트레이트 스트리밍에서 대역폭 할당을 위한 방법들 및 디바이스들
EP3072301B1 (en) Transcoding media streams using subchunking
US20160037176A1 (en) Automatic and adaptive selection of profiles for adaptive bit rate streaming
US11968431B2 (en) Multimedia content delivery with reduced delay
US10863218B2 (en) Method for synchronizing GOPS and IDR-frames on multiple encoders without communication
US10728304B2 (en) Redundancy control in streaming content packager pools
Bae et al. Why is http adaptive streaming so hard?
US10693642B1 (en) Output switching for encoded content streams
US20210168472A1 (en) Audio visual time base correction in adaptive bit rate applications
US9866459B1 (en) Origin failover for live streaming
WO2009103351A1 (en) Method and apparatus for obtaining media over a communications network
US20200213640A1 (en) Method and apparatus for automatic hls bitrate adaptation
US11917327B2 (en) Dynamic resolution switching in live streams based on video quality assessment
US20210385522A1 (en) Methods and systems for content delivery session recovery
US11909795B1 (en) Input switching for streaming content
Pragna et al. Technological Developments in Video-Streaming Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1239869

Country of ref document: HK

CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Devi Vision Co.,Ltd.

Address before: American California

Applicant before: Di Vickers CF Holdings Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190521

Address after: American California

Applicant after: Di Vickers CF Holdings Ltd.

Address before: American California

Applicant before: Sonic IP Co.,Ltd.

GR01 Patent grant
GR01 Patent grant