CN106134156A - 自适应流媒体的取证标记的信号发送和处理 - Google Patents

自适应流媒体的取证标记的信号发送和处理 Download PDF

Info

Publication number
CN106134156A
CN106134156A CN201580016911.6A CN201580016911A CN106134156A CN 106134156 A CN106134156 A CN 106134156A CN 201580016911 A CN201580016911 A CN 201580016911A CN 106134156 A CN106134156 A CN 106134156A
Authority
CN
China
Prior art keywords
fragment
different
self adaptation
mpd file
client device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580016911.6A
Other languages
English (en)
Other versions
CN106134156B (zh
Inventor
王新
刘永亮
张少波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN106134156A publication Critical patent/CN106134156A/zh
Application granted granted Critical
Publication of CN106134156B publication Critical patent/CN106134156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种客户端设备包括：发射器，用于向内容服务器发送客户端标识符和媒体呈现描述(media presentation description，MPD)请求；处理器，可操作地耦合到存储器和所述发射器，其中所述存储器包括非瞬时性计算机可读介质中存储的计算机可执行指令，使得所述计算机可执行指令在由所述处理器执行时使所述处理器在发送所述客户端标识符和所述MPD请求之后接收MPD文件，其中所述MPD文件将基础片段分配给至少两个不同的片段，在接收到所述MPD文件之后向所述内容服务器发送片段请求，在发送所述片段请求之后接收来自所述内容服务器的所述基础片段和所述至少两个不同的片段的其中一个，其中所述至少两个不同的片段的所述其中一个对应所述客户端标识符。

Description

自适应流媒体的取证标记的信号发送和处理
相关申请案交叉申请
本申请要求于2014年7月3日由Xin Wang等人递交的发明名称为“用于自适应流媒体的取证标记的信号发送和处理的方法(Method for Signaling and Handling ofForensic Marking for Adaptive Streaming)”的第62/020,946号美国临时专利申请的优先权，该在先申请的全部内容以引用的方式并入本文中。
关于由联邦政府赞助研究或开发的声明
不适用
参考缩微胶片附录
不适用
背景技术
媒体内容提供商或经销商可使用适合于不同设备(例如，电视、笔记本电脑、台式计算机和移动手机)的不同加密和/或编码方案向订户或用户分发各种媒体内容。媒体内容提供商可支持多种媒体编码器和解码器(编解码器)、媒体播放器、视频帧率、空间分辨率、比特率、视频格式或它们的组合。源内容可从源表述转换为各种其它表述以适合不同的客户端设备。在自适应流媒体中，客户端设备可基于各种因素，诸如网络条件、设备能力和用户选择等，动态选择媒体内容的适当表述。客户端设备还可根据用户输入在媒体内容的各种自适应集中进行选择，例如，启用或禁用副标题或选择语言。
发明内容
在一项实施例中，本发明包括一种客户端设备，所述客户端设备包括：发射器，用于向内容服务器发送客户端标识符和媒体呈现描述(media presentation description，MPD)请求；处理器，可操作地耦合到存储器和所述发射器，其中所述存储器包括非瞬时性计算机可读介质中存储的计算机可执行指令，使得所述计算机可执行指令在由所述处理器执行时使所述处理器在发送所述客户端标识符和所述MPD请求之后接收MPD文件，其中所述MPD文件将基础片段分配给至少两个不同的片段，在接收到所述MPD文件之后向所述内容服务器发送片段请求，在发送所述片段请求之后接收来自所述内容服务器的所述基础片段和所述至少两个不同的片段的其中一个，其中所述至少两个不同的片段的所述其中一个对应所述客户端标识符。
在另一项实施例中，本发明包括一个内容服务器，所述内容服务器包括：接收器，用于接收来自客户端设备的客户端标识符和MPD请求；处理器，可操作地耦合到存储器和所述接收器，其中所述存储器包括非瞬时性计算机可读介质中存储的计算机可执行指令，使得所述计算机可执行指令在由所述处理器执行时使所述处理器向所述客户端设备发送MPD文件，以响应所述MPD请求，其中所述MPD文件将基础片段分配给至少两个不同的片段，在发送所述MPD文件之后接收来自所述客户端设备的片段请求，通过合并所述基础片段和所述至少两个不同的片段的其中一个来生成单个片段，以响应所述片段请求，其中所述至少两个不同的片段的所述其中一个基于所述客户端标识符进行选择，并在生成所述单个片段之后向所述客户端设备发送所述单个片段。
在再一实施例中，本发明包括一种由客户端设备实施的用于取证标记的方法，所述方法包括：向内容服务器发送客户端标识符和MPD请求；在发送所述客户端标识符和所述MPD请求之后接收MPD文件，其中所述MPD文件将基础片段分配给至少两个不同的片段；在接收到所述MPD文件之后发送来自所述客户端设备的针对所述基础片段和所述至少两个不同的片段的其中一个的片段请求，其中所述至少两个不同的片段的所述其中一个对应所述客户端标识符；在发送所述片段请求之后接收来自所述内容服务器的所述基础片段和所述至少两个不同的片段的所述其中一个。
在又一实施例中，本发明包括一种由内容服务器实施的用于取证标记的方法，所述方法包括：接收来自客户端设备的客户端标识符和MPD请求；向所述客户端设备发送MPD文件以响应所述MPD请求，其中所述MPD文件将基础片段分配给至少两个不同的片段；在发送所述MPD文件之后接收来自所述客户端设备的针对所述基础片段和所述至少两个不同的片段的其中一个的片段请求，其中所述至少两个不同的片段的所述其中一个对应所述客户端标识符；向所述客户端设备发送所述基础片段和所述至少两个不同的片段的所述其中一个，以响应所述片段请求。
这些和其它特征通过结合附图和权利要求中的下述详细描述将更容易理解。
附图说明
为了更透彻地理解本发明，现参阅结合附图和具体实施方式而描述的以下简要说明，其中的相同参考标号表示相同部分。
图1为基于超文本传输协议的动态自适应流媒体(dynamic adaptive streamingover hypertext transfer protocol，DASH)系统的一实施例的示意图。
图2为网元(network element，NE)的一实施例的示意图。
图3为根据本发明一实施例的示出自适应流媒体中取证标记的协议图。
图4示出了根据本发明一实施例的变体片段结构。
图5为根据本发明一实施例的示出一种用于自适应流媒体中取证标记的方法的流程图。
图6为根据本发明一实施例的示出另一种用于自适应流媒体中取证标记的方法的流程图。
具体实施方式
首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
媒体内容(例如，电影或歌曲)流媒体已经越来越受欢迎。防止媒体内容被非法分发是媒体内容提供商的当务之急。一种可能的途径是通过识别分发媒体内容的未授权客户，使得法律机关可采取适当措施来防止未授权客户再次分发媒体内容。因此，提出了一种取证标记方案，以通过检测如国际标准化组织(International Organization ofStandardization，ISO)/国际电工委员会(International ElectrotechnicalCommission，IEC)第1联合技术委员会(Joint Technical Committee，JTC)/第29小组委员会(Subcommittee，SC)/第11工作组(Working Group，WG)运动图像专家组(Moving PictureExperts Group，MPEG)于2014年4月在“移动图像和音频的编码(Coding of MovingPictures and Audio)”中描述的取证标记来识别未授权客户，该部分内容以引用的方式并入本文中。取证标记方案利用差异来修改媒体内容的样本。差异对于媒体内容的观众来说不可察觉，但是可通过取证标记解码器进行检测。在ISO/IEC 15444-12在2015年2月20日第五版的“信息技术—JPEG 2000图像编码系统—第12部分：ISO基本媒体文件格式(Information Technology–JPEG 2000Image Coding System–Part 12:ISO base mediafile format)”中，每个样本可定义为与时间相关的所有数据，这些内容以引用的方式并入本文中。每个样本由一个或多个片段组成，其中，在ISO/IEC 23009-1在2013年第二版的“信息技术—基于HTTP的动态自适应流媒体—第1部分：媒体呈现描述和片段格式(Information Technology–Dynamic Adaptive Streaming over HTTP(DASH)–Part 1:Media Presentation Description and Segment Formats)”中，每个片段定义为数据的单元，这些内容以引用的方式并入本文中。
取证标记方案要求在发送同样时将所有差异分配给待发送的样本。因此，会产生明显的分发冗余和延迟。因此，取证标记方案不适用于自适应流媒体。此外，现有取证标记方案没有描述自适应流媒体中取证标记的信号发送和处理。
本文所公开的是用于媒体内容的自适应流媒体中取证标记的信号发送和处理的各种实施例。媒体内容由多个样本组成，其中每个样本由一个或多个片段组成。对于选择用于取证标记的每个片段，内容服务器生成包括基础片段和至少两个不同的片段的片段集。基础片段被分配给媒体呈现描述(media presentation description，MPD)文件中的至少两个不同的片段。客户端设备向内容服务器发送片段请求。在一实施例中，内容服务器确定来自至少两个不同的片段的所选片段，合并基础片段和所选片段以形成单个片段，并向客户端设备发送单个片段。在一实施例中，客户端设备确定所选片段并通过片段请求来请求基础片段和所选片段。在接收到来自内容服务器的基础片段和所选片段之后，客户端设备合并基础片段和所选片段以形成单个片段。所选片段对应客户端设备的客户端标识符。在一实施例中，客户端标识符是二进位序列。
图1为DASH系统100的一实施例的示意图。DASH系统100包括内容源102、内容服务器104、网络106和客户端设备108。尽管图1中示出了一个客户端设备108，但是在实际应用中DASH系统100中可包括一个以上客户端设备。在一实施例中，内容服务器104和客户端设备108通过网络106相互通信，以交换数据，等等。另外，内容服务器104可与内容源102通信，以交换数据，等等。尽管图1示出了一个内容源102和一个内容服务器104，但是在实际应用中DASH系统100中可包括一个以上内容源和/或一个以上内容服务器。而且，尽管本文中使用了术语DASH，但是本文公开的发明理念适用于任何自适应流媒体，诸如HTTP直播流媒体(HTTP Live Streaming，HLS)、微软平滑流媒体或互联网信息服务(Internet InformationServices，IIS)。事实上，本发明理念不应限制于仅第三代合作伙伴(third generationpartnership，3GP)-DASH或MPEG-DASH。
媒体源102是媒体内容提供商或经销商，用于使用适合于不同设备(例如，电视、笔记本电脑和/或移动电话)的不同加密和/或编码方案将各种媒体内容分发给订户或用户。内容源102用于支持多种媒体编码器和/或解码器(例如，编解码器)、媒体播放器、视频帧率、空间分辨率、比特率、视频格式或它们的组合。媒体内容可从源或原始表述转换为各种其它表述(例如，不同分辨率或比特率的版本)以适合不同用户。
内容服务器104通过HTTP或另一合适的协议与客户端设备108通信。内容服务器104用于存储媒体内容(例如，存储在存储器或缓存中)和/或转发媒体内容片段。每个片段可以多个表述进行编码。在一实施例中，内容服务器104包括服务器DASH模块(DASHmodule，DM)110，其用于通过HTTP或另一合适的协议发送和接收数据。在一实施例中，内容服务器104为网络节点，诸如计算机服务器或工作站等。在一实施例中，内容服务器104形成内容分发网络(content delivery network，CDN)的一部分，该部分基于分发内容的目的通过多个骨干网部署在多个数据中心中，其中CDN可指服务器的分配系统。CDN可包括一个或多个内容服务器104。尽管图1示出了内容服务器104，但是其它服务器，诸如原服务器、网络服务器和/或任何其它合适类型的服务器，也可存储媒体内容。
网络106包括用于允许通过有线和/无线信道在内容服务器104和客户端设备108之间进行通信(例如，数据的交换)的任何网络。例如，网络106可以为互联网或移动电话网络。
客户端设备108为任何网络节点，例如，用于通过HTTP或其它合适的协议与内容服务器104进行通信的硬件设备。客户端设备108可以为笔记本电脑、平板电脑、台式计算机、移动电话或任何其它设备。客户端设备108用于解析MPD文件以获取关于媒体内容的信息，例如程序的时间、媒体内容的可用性、媒体类型、分辨率、最小和/或最大带宽、媒体成分的各种编码可选版本的存在、可接入性特性和需要的DRM、每个媒体成分(例如，音频数据片段和视频数据片段)在网络上的位置，和/或媒体内容的其它特征。如将在下面充分说明的那样，客户端设备108还用于根据从MPD文件中获取的信息选择适当的媒体内容的已编码版本，并通过获取位于内容服务器104上的媒体片段来通过流传输媒体内容。媒体片段可包括来自媒体内容的音频和/或可视样本。
在一实施例中，客户端设备108包括客户端DM 112、应用114和图形用户界面(graphical user interface，GUI)116。客户端DM 112用于通过HTTP和DASH协议(例如，ISO/IEC 23009-1)发送和接收数据。客户端DM 112可包括DASH访问引擎(DASH accessengine，DAE)118和媒体输出(media output，ME)120。DAE 118可配置为主要部件，用于接收来自内容服务器104(例如，服务器DM 110)的原始数据以及将数据构建为一种便于查看的格式。例如，DAE 118可以将MPEG容器格式的数据与时间数据一起格式化，然后将格式化的数据输出到ME 120。ME 120负责初始化、播放以及与媒体内容关联的其它功能，而且可以将该媒体内容输出到应用114。
在一实施例中，应用114为网络浏览器或具有用于下载和呈现媒体内容的界面的其它应用。应用114耦合到GUI 116，使得与客户端设备108关联的用户可查看应用114的各种功能。在一实施例中，应用114是一个媒体播放器，该播放器包括一个搜索条，使得用户可以输入字符串以搜索电影等媒体内容。应用114展示搜索匹配列表，用户可从匹配中选择想要的媒体内容。选择之后，应用114可向客户端DM 112发送指令以便下载媒体内容。客户端DM 112下载媒体内容并处理媒体内容以输出到应用114。例如，应用114可向GUI 116提供指令以便GUI 116呈现显示媒体内容的时间进度的进度条。GUI 116可以为用于显示应用114的功能的任何GUI，使得用户可操作应用114。如上所示，GUI 116将显示应用114的各种功能，使得用户可选择要下载的内容。然后GUI 116将显示媒体内容以便用户查看。
当采用DASH系统100时，媒体内容提供商将根据请求向客户端发送MPD文件。在一实施例中，MPD文件为可扩展标记语言(extensible markup language，XML)文档，将媒体内容描述为片段以及将如何利用这些片段来将媒体内容呈现给用户。例如，MPD文件描述片段时间、片段复用(例如，音频片段和视频片段时间之间的相互关系)以及指示可获得这些片段的位置的统一资源定位符(uniform resource locator，URL)信息。例如，通过流传输的媒体内容可包括若干媒体成分(例如，音频、视频和文本)，每个媒体成分都具有MPD文件中指定的不同特性。
图2为适合于实施所公开实施例的网元(network element，NE)200的一实施例的示意图。NE 200可以为通过网络、系统和/或域传输或协助传输数据及其片段的任何设备(例如，调制解调器、交换机、路由器、桥接器、服务器、客户端、控制器等)。在一实施例中，NE200在和/或集成在内容服务器104和客户端设备108中。NE 200包括一个或多个耦合到接收器212(Rx)的入端口210。入端口210和接收器212用于接收来自其它网络部件的MPD文件和/或片段。NE 200还包括一个或多个耦合到发射器(Tx)232的出端口230。出端口230和发射器232用于向其它网络部件发送MPD文件和/或片段。NE 200还包括耦合到接收器212的逻辑单元或处理器220。处理器220用于处理片段或确定哪个网络部件来发送片段。
处理器220可使用硬件或硬件与软件的组合来实施。处理器220可实施为一个或多个中央处理器(central processor unit，CPU)芯片、核(例如，多核处理器)、现场可编程门阵列(field-programmable gate array，FPGA)、专用集成电路(application specificintegrated circuit，ASIC)和/或数字信号处理器(digital signal processor，DSP)。处理器220用于实施媒体播放器221或本领域普通技术人员已知的任何功能组件，或它们的任何组合。在一实施例中，媒体播放器221可以为在处理器220上运行的应用并用于播放已解码的媒体片段。
NE 200还可包括至少一个存储器222。存储器222可以是易失性的和非易失性的，且可以是只读存储器(read-only memory，ROM)、随机存取存储器(random-access memory，RAM)、三态内容寻址存储器(ternary content-addressable memory，TCAM)和静态随机存取存储器(static random-access memory，SRAM)。存储器222用于存储MPD文件223和片段224。MPD文件223和片段224可以如下所述的各种格式存储或封装。如图2所示，片段224和MPD文件223存储为单独文件，但是它们还可存储到单个文件中。实际上，可存在由NE 200处理的双向流量，因此某些端口可同时接收和发送报文(例如，片段)。从这层意义上而言，入端口210和出端口230可以共置或可视为耦合到收发器(Rx/Tx)的相同端口的不同功能。
可以理解，通过编程和/或将可执行指令加载到NE 200，改变处理器220和存储器222中的至少一个。因此，NE 200部分转变成特定机器或装置(例如，具有本发明宣扬的功能的网络路由器)。可执行指令存储在存储器222上并加载到处理器220以便执行。
加载可执行软件至计算机所实现的功能可以通过众所周知的设计规则转换成硬件实施，这在电力工程和软件工程领域是很基础的。决定使用软件还是硬件来实施一个概念通常取决于设计稳定性及待生产的单元数量的考虑，而不是从软件领域转换至硬件领域中所涉及的任何问题。通常，仍然频繁改变的设计可优先在软件中实施，因为重新编写硬件实施方式比重新编写软件设计更为昂贵。通常，稳定及大规模生产的设计更适于在例如ASIC这样的软件中实施，因为运行硬件实施的大规模生产比软件实施更为便宜。设计通常可以以软件形式进行开发和测试，之后通过众所周知的设计规则转变成专用集成电路中等同的硬件实施，该专用集成电路坚守软件的指令。以同样的方式，由新的ASIC控制的机器是一种特定的机器或装置，同样地，编程和/或加载有可执行指令的计算机可视为特定的机器或装置。
本发明的任何处理可以通过使处理器(例如，通用多核处理器)执行计算机程序来实施。在这种情况下，可以使用任何类型的非瞬时性计算机可读介质向计算机或网络设备提供计算机程序产品。计算机程序产品可存储在计算机或网络设备中的非瞬时性计算机可读介质中。非瞬时性计算机可读介质包括任何类型的真实存储介质。非瞬时性计算机可读介质的示例包括磁性存储介质(例如，软盘、磁盘、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、只读光盘(compact disc read-only memory，CD-ROM)、可录光碟(compact discrecordable，CD-R)、带读写式光驱(compact disc rewritable，CD-R/W)、数字多功能光盘(digital versatile disc，DVD)、蓝光(注册商标)光盘(Blu-ray disc，BD)以及半导体存储器(例如，掩蔽ROM、可编程ROM(programmable ROM，PROM)、可擦除PROM、快闪ROM以及RAM)。还可以使用任何类型的瞬时性计算机可读介质向计算机或网络设备提供计算机程序产品。瞬时性计算机可读介质的示例包括电信号、光信号和电磁波。瞬时性计算机可读介质可以经由有线通信线路(例如，电线和光纤)或无线通信线路将程序提供给计算机。
图3为根据本发明一实施例的示出自适应流媒体中取证标记的协议图300。当用户请求媒体流服务以对片段添加取证标记时，实施由协议图300所示的方法。协议图300可在DASH系统100中实施。协议图300示出了内容服务器304(例如，内容服务器104)和客户端设备308(例如，客户端设备108)之间的消息交换。
内容服务器304和客户端设备308建立HTTP连接315。之后，客户端设备308向内容服务器304发送客户端标识符320和MPD请求325。发送客户端标识符320和MPD请求325的顺序是可以互换的。客户端标识符320是区分客户端设备308和其它客户端设备的唯一二进位序列。
为了响应MPD请求325，内容服务器304通过各种类型的数据传输的其中一种，例如，HTTP安全(HTTP secure，HTTPS)、电子邮件或通用串行总线(universal serial bus，USB)驱动器，向客户端设备308发送MPD文件330。在一实施例中，内容服务器304通过DASH协议向客户端设备308发送MPD文件330。MPD文件330描述了用于自适应流媒体的媒体内容的片段信息(例如，如分辨率和比特率等媒体特性)。媒体内容可以为视频、音频或文本。媒体内容由多个样本组成，其中每个样本由一个或多个片段组成。
在待发送到客户端设备308的媒体内容的所有片段中，内容服务器304识别用于取证标记的特殊片段。对于每个特殊片段，内容服务器304生成包括基础片段和至少两个不同的片段的片段集。MPD文件330将基础片段分配给至少两个不同的片段。基础片段对于媒体内容的观众来说是可察觉的。至少两个不同的片段是针对取证标记生成的，这对于媒体内容的观众来说不可察觉，但是可通过取证标记解码器进行检测。
图4示出了根据本发明一实施例的不同片段结构400。内容服务器304将向客户端设备308发送片段1 405、片段2 425和片段3 430。与片段1 405和片段3 430不同的是，片段2 425是用于取证标记的特殊片段。因此，内容服务器304生成片段集410，这包括基础片段2420和片段21-n(共同表示为n个片段415)，其中n为大于1的整数。MPD文件330将基础片段2420分配给n个片段415(即，片段21-n)。
返回至图3，客户端设备308向内容服务器304发送片段请求335。当片段请求335要求不是特殊片段之一的片段340(例如，片段1 405或片段3 430)时，内容服务器304授权片段340并向客户端设备308直接发送片段340。
当片段请求335要求特殊片段(例如，片段2 425)时，本发明提出了两个实施例来处理请求。在一项实施例中，内容服务器304在接收到片段请求335之后确定来自至少两个不同的片段(例如，片段415)中的所选片段350(例如，片段2 415)，合并基础片段345(例如，基础片段2 420)和所选片段350(例如，n个片段415)以形成单个片段(例如，片段2 425)，向客户端设备308发送单个片段(例如，片段2 425)。内容服务器304和客户端设备308以上述类似的方式继续交换消息。
在另一项实施例中，客户端设备308确定来自至少两个不同的片段(例如，n个片段415)中的所选变体片段350(例如，片段2i 415)，请求片段请求335中的基础片段345(例如，基础片段2 420)和所选片段350(例如，片段2i 415)。在接收到来自内容服务器304的基础片段345和所选片段350之后，客户端设备308合并基础片段345和所选片段350以形成用于自适应流媒体的单个片段(例如，片段2 425)。内容服务器304和客户端设备308以上述类似的方式继续交换消息。
在上述两个实施例中，所选片段350基于客户端标识符根据预先定义的规则进行确定。在一实施例中，客户端标识符是二进位序列。客户端标识符中所需的最小位数取决于分配给每个基础片段的片段数目、用于媒体内容中取证标记的特殊片段的数目以及潜在客户端设备的总数。例如，当每个基础片段被分配给包括第一片段和第二片段的两个不同的片段时，媒体内容仅包括一个用于取证标记的特殊片段，客户端设备的总数不大于2，客户端标识符应包括至少一个二进位，即，位“0”或位“1”。在一实施例中，预先定义的规则可定义位“0”表示选择第一片段，位“1”表示选择第二片段。再比如，当每个基础片段被分配给包括第一片段、第二片段、第三片段和第四片段的四个片段时，媒体内容包络两个用于取证标记的特殊片段，潜在客户端设备的总数不大于16，客户端标识符包括至少四个二进位。这样，客户端标识符的前两位对应第一特殊片段的片段的选择，客户端标识符的后两位对应第二特殊片段的片段的选择。在一项实施例中，预先定义的规则可定义“00”对应第一片段，“01”对应第二片段，“10”对应第三片段，“11”对应第四片段。例如，当客户端标识符为“0011”时，前两位“00”表示针对第一特殊片段选择第一片段，后两位“11”表示针对第二特殊片段选择第四片段。
图5为根据本发明一实施例的示出一种用于自适应流媒体中取证标记的方法500的流程图。方法500在客户端设备(例如，客户端设备108或客户端设备308)上实施。当用户请求媒体流服务时，为了向片段添加取证标记实施方法500。
在步骤510处，向内容服务器(例如，内容服务器104或内容服务器304)发送客户端标识符和MPD请求。在步骤520处，在发送客户端标识符和MPD请求之后接收来自内容服务器的MPD文件。MPD文件将基础片段分配给至少两个片段。在步骤530处，在接收到MPD文件之后向内容服务器发送针对基础片段和至少两个不同的片段的其中一个的片段请求。至少两个不同的片段的其中一个对应客户端标识符。在步骤540处，在发送片段请求之后接收来自内容服务器的基础片段和至少两个不同的片段的其中一个。
图6为根据本发明一实施例的示出用于自适应流媒体中取证标记的另一种方法600的流程图。方法600在客户端设备(例如，客户端设备104或客户端设备304)中实施。当用户请求媒体流服务时，为了向片段添加取证标记实施方法600。
在步骤610处，接收来自客户端设备(例如，客户端设备108或客户端设备308)的客户端标识符和MPD请求。在步骤620处，向客户端设备发送MPD文件以响应MPD请求。MPD文件将基础片段分配给至少两个不同的片段。在步骤630处，在发送MPD文件之后接收到来自客户端设备的针对基础片段和至少两个不同的片段的其中一个的片段请求。至少两个不同的片段的其中一个对应客户端标识符。在步骤640处，向客户端设备发送基础片段和至少两个不同的片段的其中一个，以响应片段请求。
下面是以XML编码编写的示例性MPD文件，用于说明它们在某些用例中的潜在用法。尽管本发明中描述了两个示例性用例(用例1至2和表1至2)，但是应理解的是，这两个示例都是非限制性的。在这两个用例中，基础片段被分配给包括第一片段和第二片段的两个片段。基础片段、第一片段和第二片段分别定义在第一自适应集、第二自适应集和第三自适应集。
在用例1中，第一自适应集、第二自适应集和第三自适应集是相同的。
表1所示为用例1的以XML编码的MPD文件的示例性实施例。行19至25定义了基础片段。行19表示基础片段的标识(ID)为“BR1”。行20至24定义了3个片段的总时长为30秒，包括按时间顺序的第一片段、基础片段和第三片段。默认情况下，这三个片段的每一个都具有相同的时长，且第一片段的开始时间为0秒。因此，链接至“seg-1.mp4”的MPEG-4(MP4)媒体的第一片段从0到9秒处于活动状态。随后，链接至“seg-bs-2.mp4”的MP4媒体的基础片段从10到19秒是活动的。链接至“seg-3.mp4”的MP4媒体的第三片段从20到29秒处于活动状态。
行28至32定义了第一片段。行28表示第一片段的ID为“VR0”，其被分配给“BR1”。行29定义了“VR0”的时长为10秒，“VR0”的开始时间在10秒。因此，“VR0”从10秒到19秒处于活动状态，这与“BR1”一致。行30表示“VR0”链接至“seg-VS-20.mp4”的MP4媒体。
行35至39定义了第二片段。行35表示第二片段的ID为“VR1”，其被分配给“BR1”。行36定义了“VR1”的时长为10秒，“VR1”的开始时间在10秒。因此，“VR1”从10秒到19秒处于活动状态，这与“BR1”一致。行37表示“VR1”链接至“seg-VS-21.mp4”的MP4媒体。
表1：以XML编码编写的MPD文件的示例性实施例
在用例2中，第一自适应集不同于第二自适应集，第三自适应集不同于第一自适应集和第二自适应集。表2所示为用例2的以XML编码的MPD文件的示例性实施例。行16至25定义了第一自适应集中的基础片段。表2中的行16至25类似于表1中的行19至25，除了行18插入在表2中。行18定义了基础片段的新角色，该基础片段的方案用户资源标识(userresource identification，URI)指定了取证标记方案。
行26至33定义了第二自适应集中的第一片段。表2中的行26至33类似于表1中的行28至32，除了行27插入在表2中。行27定义了第一片段的新角色，该第一片段的方案URI指定了取证标记方案。
行34至41定义了第三自适应集中的第二片段。行34至41类似于表1中的行35至39，除了行35插入在表2中。行35定义了第二片段的新角色，该第二片段的方案URI指定了取证标记方案。
表2：以XML编码的其它MPD文件的示例性实施例
在一实施例中，片段(例如，图4中的n个片段415)分组为单个片段。片段的每一个都可通过MPD文件中定义的属性“@HTTP-URL”或属性“@byte range”来识别。例如，片段链接至由属性“@HTTP-URL”指定的HTTP URL。再例如，片段通过属性“@byte range”指定的一组连续字节来识别。在一实施例中，属性“@byte range”包括子属性“@startNum”和子属性“@length”。子属性“@startNum”指定了一组连续字节中第一字节的索引数目。子属性“@length”指定了一组连续字节中字节的数目。
虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其他特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其他变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (20)

1.一种客户端设备，其特征在于，包括：
发射器，用于向内容服务器发送客户端标识符和媒体呈现描述(media presentationdescription，MPD)请求；
处理器，可操作地耦合到存储器和所述发射器，其中所述存储器包括非瞬时性计算机可读介质中存储的计算机可执行指令，使得当由所述处理器执行所述计算机可执行指令时，使所述处理器：
在发送所述客户端标识符和所述MPD请求之后接收MPD文件，其中所述MPD文件将基础片段分配给至少两个不同的片段；
在接收到所述MPD文件之后向所述内容服务器发送片段请求；
在发送所述片段请求之后接收来自所述内容服务器的所述基础片段，和所述至少两个变体片段的其中一个片段，其中所述至少两个不同的片段的所述其中一个片段对应所述客户端标识符。
2.根据权利要求1所述的客户端设备，其特征在于，所述客户端标识符包括二进位序列。
3.根据权力要求1所述的客户端设备，其特征在于，所述基础片段在所述MPD文件的第一自适应集中定义，其中所述至少两个不同的片段中的第一片段在所述MPD文件的第二自适应集中定义，所述至少两个不同的片段中的第二片段在所述MPD文件的第三自适应集中定义，所述第二自适应集与所述第三自适应集相同。
4.根据权利要求3所述的客户端设备，其特征在于，所述第一自适应集与所述第二自适应集和所述第三自适应集相同。
5.根据权力要求1所述的客户端设备，其特征在于，所述基础片段在所述MPD文件的第一自适应集中定义，其中所述至少两个不同的片段中的第一片段在所述MPD文件的第二自适应集中定义，所述至少两个不同的片段中的第二片段在所述MPD文件的第三自适应集中定义，所述第二自适应集与所述第三自适应集不同。
6.根据权利要求5所述的客户端设备，其特征在于，所述第一自适应集与所述第二自适应集和所述第三自适应集都不同。
7.根据权利要求1所述的客户端设备，其特征在于，当所述存储器由所述处理器执行时，还会使所述处理器通过基于超文本传输协议的动态自适应流媒体(dynamic adaptivestreaming over hypertext transfer protocol，DASH)接收来自所述内容服务器的所述基础片段和所述至少两个不同的片段的其中一个。
8.一种内容服务器，其特征在于，包括：
接收器，用于接收来自客户端设备的客户端标识符和媒体呈现描述(mediapresentation description，MPD)请求；
处理器，可操作地耦合到存储器和所述接收器，其中所述存储器包括非瞬时性计算机可读介质中存储的计算机可执行指令，使得所述计算机可执行指令在由所述处理器执行时使所述处理器：
向所述客户端设备发送MPD文件，以响应所述MPD请求，其中所述MPD文件将基础片段分配给至少两个不同的片段；
在发送所述MPD文件之后接收来自所述客户端设备的片段请求；
通过合并所述基础片段和所述至少两个不同的片段的其中一个来生成单个片段，以响应所述片段请求，其中所述至少两个不同的片段中的所述至少一个基于所述客户端标识符来选择；
在生成所述单个片段之后向所述客户端设备发送所述单个片段。
9.根据权利要求8所述的内容服务器，其特征在于，所述客户端标识符包括二进位序列。
10.根据权力要求8所述的内容服务器，其特征在于，所述基础片段在所述MPD文件的第一自适应集中定义，其中所述至少两个不同的片段中的第一片段在所述MPD文件的第二自适应集中定义，所述至少两个不同的片段中的第二片段在所述MPD文件的第三自适应集中定义，所述第二自适应集与所述第三自适应集相同。
11.根据权利要求10所述的内容服务器，其特征在于，所述第一自适应集与所述第二自适应集和所述第三自适应集相同。
12.根据权力要求8所述的内容服务器，其特征在于，所述基础片段在所述MPD文件的第一自适应集中定义，其中所述至少两个不同的片段中的第一片段在所述MPD文件的第二自适应集中定义，所述至少两个不同的片段中的第二片段在所述MPD文件的第三自适应集中定义，所述第二自适应集与所述第三自适应集不同。
13.根据权利要求12所述的内容服务器，其特征在于，所述第一自适应集与所述第二自适应集和所述第三自适应集都不同。
14.根据权利要求8所述的内容服务器，其特征在于，所述发射器还用于通过基于超文本传输协议的动态自适应流媒体(dynamic adaptive streaming over hypertexttransfer protocol，DASH)向所述客户端设备发送所述单个片段。
15.一种由客户端设备实施的用于取证标记的方法，其特征在于，所述方法包括：
向内容服务器发送客户端标识符和媒体呈现描述(media presentationdescription，MPD)请求；
在发送所述客户端标识符和所述MPD请求之后接收来自所述内容服务器的MPD文件，其中所述MPD文件将基础片段分配给至少两个不同的片段；
在接收到所述MPD文件之后向所述内容服务器发送针对所述基础片段和所述至少两个不同的片段的其中一个的片段请求，其中所述至少两个不同的片段的所述其中一个对应所述客户端标识符；
在发送所述片段请求之后接收来自所述内容服务器的所述基础片段和所述至少两个不同的片段的所述其中一个。
16.根据权利要求15所述的方法，其特征在于，还包括在接收到所述基础片段和所述至少两个不同的片段的所述其中一个之后通过合并所述基础片段和所述至少两个不同的片段的所述其中一个来生成单个片段。
17.根据权利要求15所述的方法，其特征在于，所述客户端标识符包括二进位序列。
18.一种由内容服务器实施的用于取证标记的方法，其特征在于，所述方法包括：
接收来自客户端设备的客户端标识符和媒体呈现描述(media presentationdescription，MPD)请求；
向所述客户端设备发送MPD文件，以响应所述MPD请求，其中所述MPD文件将基础片段分配给至少两个不同的片段；
在发送所述MPD文件之后接收来自所述客户端设备的针对所述基础片段和所述至少两个不同的片段的其中一个的片段请求，其中所述至少两个不同的片段的所述其中一个对应所述客户端标识符；
向所述客户端设备发送所述基础片段和所述至少两个不同的片段的所述其中一个，以响应所述片段请求。
19.根据权利要求18所述的方法，其特征在于，所述客户端标识符包括二进位序列。
20.根据权力要求18所述的方法，其特征在于，所述基础片段在所述MPD文件的第一自适应集中定义，其中所述至少两个不同的片段中的第一片段在所述MPD文件的第二自适应集中定义，所述至少两个不同的片段中的第二片段在所述MPD文件的第三自适应集中定义，所述第一自适应集与所述第二自适应集和所述第三自适应集都不同。
CN201580016911.6A 2014-07-03 2015-06-29 自适应流媒体的取证标记的信号发送和处理的方法及设备 Active CN106134156B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462020946P 2014-07-03 2014-07-03
US62/020,946 2014-07-03
PCT/US2015/038340 WO2016003915A1 (en) 2014-07-03 2015-06-29 Signaling and handling of forensic marking for adaptive streaming

Publications (2)

Publication Number Publication Date
CN106134156A true CN106134156A (zh) 2016-11-16
CN106134156B CN106134156B (zh) 2019-06-28

Family

ID=53761504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580016911.6A Active CN106134156B (zh) 2014-07-03 2015-06-29 自适应流媒体的取证标记的信号发送和处理的方法及设备

Country Status (5)

Country Link
US (1) US9843615B2 (zh)
EP (1) EP3092780B1 (zh)
KR (1) KR101855972B1 (zh)
CN (1) CN106134156B (zh)
WO (1) WO2016003915A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102007669B1 (ko) * 2017-11-29 2019-10-21 전자부품연구원 방송 수신기 및 이의 운용 방법
WO2019107593A1 (ko) * 2017-11-29 2019-06-06 전자부품연구원 Vod 컨텐츠 제공 서버 장치 및 이의 운용 방법
CN110971564B (zh) 2018-09-28 2021-03-30 华为技术有限公司 传输媒体数据的方法、客户端和服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143133A (zh) * 2010-08-05 2011-08-03 华为技术有限公司 Http流播放方式中支持广告内容的方法、装置和系统
CN102577309A (zh) * 2009-09-29 2012-07-11 诺基亚公司 用于动态媒体文件流送的系统、方法和装置
CN103314579A (zh) * 2011-01-18 2013-09-18 三星电子株式会社 用于在多媒体流传输系统中存储和播放内容的装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020004B2 (en) * 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US20100325150A1 (en) * 2009-06-22 2010-12-23 Joseph Martin Mordetsky System and Method for Tracking Application Usage
EP2924990A1 (en) 2011-03-16 2015-09-30 Electronics and Telecommunications Research Institute Apparatus and method for providing streaming content using representations
CN102710603B (zh) * 2012-05-02 2014-10-08 华为技术有限公司 媒体信息的生成方法、终端、服务器及ahs系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577309A (zh) * 2009-09-29 2012-07-11 诺基亚公司 用于动态媒体文件流送的系统、方法和装置
CN102143133A (zh) * 2010-08-05 2011-08-03 华为技术有限公司 Http流播放方式中支持广告内容的方法、装置和系统
CN103314579A (zh) * 2011-01-18 2013-09-18 三星电子株式会社 用于在多媒体流传输系统中存储和播放内容的装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DMITRI JARNIKOV,ERIK HIETBRINK: "《A watermarking System for Adaptive Streaming》", 《2014IEEE INTERNATIONAL CONFERENCE ON CONAUMER ELECTRONICS》 *

Also Published As

Publication number Publication date
EP3092780A1 (en) 2016-11-16
US9843615B2 (en) 2017-12-12
KR101855972B1 (ko) 2018-05-09
KR20160113270A (ko) 2016-09-28
US20160006782A1 (en) 2016-01-07
CN106134156B (zh) 2019-06-28
WO2016003915A1 (en) 2016-01-07
EP3092780B1 (en) 2020-04-29

Similar Documents

Publication Publication Date Title
CN104396263B (zh) 用于流送媒体内容的实时复用变换的方法和系统
US9530415B2 (en) System and method of providing speech processing in user interface
US9608824B2 (en) Using digital fingerprints to associate data with a work
CN106464925B (zh) 建立事件的流传输呈现
CN103826159B (zh) 一种m3u8格式视频的本地离线播放方法和终端
CN104937949B (zh) 获得内容项的版本的方法和系统
CN105376612A (zh) 一种视频播放方法、媒体设备、播放设备以及多媒体系统
CN103974147A (zh) 一种基于mpeg-dash协议的带有码率切换控制和静态摘要技术的在线视频播控系统
JP5638633B2 (ja) 複数のストリームを含むコンテンツファイル送受信装置及び方法
CN106134156A (zh) 自适应流媒体的取证标记的信号发送和处理
CN106165435A (zh) 自适应流媒体中的客户端行为控制
CN105992022A (zh) 一种在线录制下载方法及系统
CN105900443A (zh) 用于同步媒体流的方法和系统
US20230336842A1 (en) Information processing apparatus, information processing method, and program for presenting reproduced video including service object and adding additional image indicating the service object
KR101520788B1 (ko) 동영상 동기화 재생 방법
US10491934B2 (en) Transmission device, transmission method, reception device, and reception method
CN105049890B (zh) 一种新广告的推送方法及装置
CN106488330A (zh) 一种在线视频交易展示方法及系统
US20230276105A1 (en) Information processing apparatus, information processing apparatus, and program
CN106330667A (zh) 一种微信明信片生成方法及系统
CN106331734A (zh) 一种微信点歌台实现方法及系统
Babu et al. Real Time Implementation on Media Presentation Description for MPEG-DASH
KR20100087935A (ko) 미디어 조합을 통한 적응적 컨텐츠 제공 시스템 및 그 방법
KR20140118938A (ko) 미리보기 등록 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant