CN114946192A - 利用比特率切换自适应流式传输媒体内容 - Google Patents

利用比特率切换自适应流式传输媒体内容 Download PDF

Info

Publication number
CN114946192A
CN114946192A CN202180009451.XA CN202180009451A CN114946192A CN 114946192 A CN114946192 A CN 114946192A CN 202180009451 A CN202180009451 A CN 202180009451A CN 114946192 A CN114946192 A CN 114946192A
Authority
CN
China
Prior art keywords
media content
media
encoding mode
segment
transition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180009451.XA
Other languages
English (en)
Inventor
M·施密特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of CN114946192A publication Critical patent/CN114946192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

描述了一种用于利用比特率切换进行媒体内容的自适应流式传输的方法，其中，媒体内容包括多个连续的媒体片段。该方法包括在媒体流式传输服务器处进行以下操作：发射以具有第一比特率的第一编码模式编码的媒体内容的片段；接收用于将编码模式切换到具有第二比特率的第二编码模式的指示，并且作为响应，发射用于在第一编码模式与第二编码模式之间过渡的过渡片段；以及发射以第二编码模式编码的媒体内容的另一片段。

Description

利用比特率切换自适应流式传输媒体内容
相关申请的交叉引用
本申请要求以下优先申请的优先权：于2020年1月15日提交的美国临时申请62/961,257(参考号：D19012USP1)和于2020年1月15日提交的欧洲申请20151982.4(参考号：D19012EP)，这些申请通过援引并入本文。
技术领域
本文档涉及自适应地将媒体内容从媒体流式传输服务器流式传输到客户端设备，例如，自适应地流式传输到媒体回放(media playback)设备，其中，媒体内容可以以不同的比特率流式传输，并且客户端设备请求编码模式切换以改变比特率。
背景技术
各种服务器-客户端范例允许通过使用不同的比特率将音频和/或视频媒体内容从媒体流式传输服务器流式传输到媒体回放设备。
例如，HTTP上的动态自适应流式传输(Dynamic Adaptive Streaming over HTTP,DASH)，也称为MPEG-DASH，是一种自适应比特率流式传输技术，其能够实现从传统HTTP web服务器传递的媒体内容在因特网上的高质量流式传输。与HTTP实况流式传输(HTTP LiveStreaming,HLS)解决方案类似，MPEG-DASH的工作原理是将媒体内容分成小的基于HTTP的文件片段的序列，每个片段包含媒体内容(比如电影或体育赛事的实况播送)的回放时间区间。以各种不同的比特率来使媒体内容可用，即，以不同比特率编码的替代片段覆盖对齐的短回放时间区间。当MPEG-DASH客户端回放该内容时，客户端可以使用比特率自适应算法来自动选择可被及时下载以供回放而不会造成回放中的停顿或重新缓冲事件的最高可能比特率的片段。
换句话说，媒体内容的自适应流式传输允许在具有不同比特率的媒体内容片段之间切换，例如以适应变化的网络条件并提供具有较少停顿或重新缓冲事件的高质量回放。然而，在不同比特率之间切换可能需要对音频或视频信号进行不同的编码，并且当在这些不同的编码之间切换时，可能会出现在接收器端可感知的不期望的效果。这些效果的示例是流式传输的媒体内容中的毛刺(glitch)或其他不自然的过渡，从而妨碍了用户体验。
发明内容
根据一个方面，描述了一种用于利用比特率切换进行媒体内容的自适应流式传输的方法。媒体内容包括多个连续的媒体片段，并且在媒体流式传输服务器处，该方法包括发射以具有第一比特率的第一编码模式编码的媒体内容的片段。在一些实施例中，媒体内容可以被发射到客户端设备，其中，客户端设备可以表示被配置为接收并回放媒体内容的媒体回放设备。可以响应于来自客户端设备的相应媒体内容请求而将媒体片段从服务器发射到客户端设备。例如，这些请求可以是HTTP请求，比如对特定媒体片段的HTTP获取(HTTPget)请求(例如，根据MPEG-DASH)。媒体内容请求可以指定所请求的媒体片段(例如，经由片段的标识符)和所请求的媒体片段的编码模式。然而，本公开不限于HTTP请求并且可被应用于从服务器向客户端设备发射媒体片段的其他技术。
该方法进一步包括从客户端设备接收用于将编码模式切换到具有第二比特率的第二编码模式的请求或指示。例如，如上所述，客户端设备可能期望改变所接收的媒体内容的比特率以适应变化的网络条件，例如以保持具有更少停顿或重新缓冲事件的高质量回放。媒体流式传输服务器和客户端设备可以使用适当的协议通过比如因特网等通信网络进行通信。进一步地，客户端设备可能只能访问网络中需要与其他用户共享的有限带宽，并且带宽可用性的改变可能需要或允许所接收的比特率的改变，从而使客户端设备发出相应的请求。例如，在网络带宽可用性降低的情况下，可能需要降低媒体流的比特率(具有降低的质量)以保持媒体内容的稳定传输。反之亦然，如果客户端设备确定网络条件已经改变并且更高的比特率是可能的，则可以选择具有更好质量的编码模式。在这些情况下，客户端设备可能期望自适应地切换到具有不同比特率的不同编码模式。
在媒体流式传输服务器端，当从客户端设备接收到用于将编码模式切换到具有第二比特率的第二编码模式的请求或指示时，发射用于在第一编码模式与第二编码模式之间过渡的过渡片段。用于编码模式切换的指示或请求可以是显式的，例如，客户端设备通知服务器关于从编码模式A到编码模式B的预期改变的消息。可替代地，用于编码模式切换的指示可以是隐式的，例如，客户端设备为下一个媒体片段请求过渡片段，其中相应媒体片段的编码模式逐渐从编码模式A改变到编码模式B。在实施例中，对过渡片段的请求是例如根据MPEG-DASH的HTTP请求。
以这种方式，取代简单地在分别表示以第一编码模式编码的媒体内容以及以第二编码模式编码的媒体内容的片段之间切换，客户端设备接收允许客户端设备在以这两种不同编码模式编码的媒体内容之间平滑过渡的过渡片段。
然后，在发射过渡片段之后，发射以第二编码模式编码的媒体内容的片段(例如，响应于来自客户端设备的相应请求)，即，在两种不同编码模式之间由过渡片段提供的上述过渡已经完成之后。
在一些实施例中，包括过渡片段的媒体内容被存储在媒体流式传输服务器处。这可以是有利的，因为客户端设备可以简单地请求适当的过渡片段以在不同比特率之间过渡，并且因此不需要例如基于从媒体流式传输服务器接收采用第一编码模式和第二编码模式两者的媒体内容而在客户端处理、计算和以其他方式确定合适的过渡片段。由此可见，客户端设备需要较少的计算能力和带宽来执行过渡。以同样的方式，通过在服务器处预先存储过渡片段，在流式传输媒体内容时不需要在服务器侧对媒体片段进行转码或其他计算成本高的处理。可以在单独的准备步骤中例如在其他计算设备上为媒体内容预先计算过渡片段。
在一些实施例中，媒体内容可以包括音频，并且编码模式可以包括立体声、多声道声音以及沉浸式声音中的至少一种。其他类型的音频编码也是可能的，其中过渡片段包括被编码以便从第一音频编码模式平滑过渡到第二音频编码模式的音频内容。例如，过渡片段的初始部分被以第一音频编码模式(例如，多声道)编码并且过渡片段的最后部分被以第二音频编码模式(例如，立体声)编码。过渡片段的中间部分被编码，以诸如提供这些编码模式之间的平滑过渡(例如，从多声道到立体声)。
在一些实施例中，媒体内容可以包括视频，并且编码模式可以包括2D内容、3D内容、非虚拟现实以及虚拟现实中的至少一种。其他类型的视频编码也是可能的，其中过渡片段包括被编码以便从第一视频编码模式平滑过渡到第二视频编码模式的视频内容。例如，过渡片段的初始部分被以第一视频编码模式(例如，3D)编码并且过渡片段的最后部分被以第二视频编码模式(例如，2D)编码。过渡片段的中间部分被编码，以诸如提供这些编码模式之间的平滑过渡(例如，从3D到2D)。
在一些实施例中，选择并准备过渡片段以实现第一编码模式与第二编码模式之间的平滑过渡，特别是允许第一编码模式与第二编码模式之间对于客户端设备端处的用户而言感知上不太显著的柔和或平滑切换。为此，过渡片段可以包括以过渡编码模式编码的媒体内容的一部分，其中，该过渡编码模式实现第一编码模式与第二编码模式之间的平滑和/或渐变(fading)过渡。
在一些实施例中，第一编码模式和第二编码模式可以包括用于控制编码的参数化数据，并且在过渡编码模式中，该参数化数据从第一编码模式的参数化数据逐渐改变为第二编码模式的参数化数据。更具体地，例如，在3D音频或视频编码模式与2D音频或视频编码模式之间过渡的情况下，过渡片段的参数化数据可以从与3D音频或视频编码模式相对应的第一编码模式的参数化数据逐渐改变为与2D音频或视频编码模式相对应的第二编码模式的参数化数据，以逐渐将3D编码模式的3D对象移动到用户所感知的空间的前面。
在一些实施例中，以第一编码模式编码的媒体内容的视频或音频编解码器模式的参数化数据可以与3D对象的空间位置相对应，并且以第二编码模式编码的媒体内容的视频或音频编解码器模式的参数化数据可以描述被投影到2D平面上的对应对象位置。
在任何情况下，过渡编码模式的参数化数据在一些实施例中可以在媒体流式传输服务器端进行编码后(post encoding)配置。换句话说，可以基于第一编码模式和第二编码模式两者的参数化数据来确定过渡编码模式的参数化数据，即，在媒体内容已被编码成第一编码模式和第二编码模式之后。
在一些实施例中，过渡片段可以具有开始时间点T_1和结束时间点T_2，这些时间点被选择为与在过渡片段之前和之后以第一编码模式和第二编码模式编码的媒体内容片段的开始时间点和结束时间点相匹配。
在一些实施例中，提供多个过渡片段以允许媒体内容的不同比特率之间的不同切换点。例如，过渡片段可以被布置为提供编码模式之间的多个切换点，这些切换点可以在周期性或非周期性分布的时间点被提供。切换点可以指示服务器上的用于在两种编码模式(一种编码模式在过渡片段之前被应用于媒体片段，并且另一种编码模式在过渡片段之后被应用)之间改变的过渡片段的可用性。不同编码模式对之间的切换点可以相同，或者用于在各种编码模式之间进行切换的不同的切换点可以是可用的。
在这方面，可以通过对媒体内容执行感知分析来选择切换点，以诸如选择性地定位切换点以降低或最小化它们的感知显著性(perceptual noticeability)，即，在这些切换点处可发生具有不同比特率的媒体片段之间的切换。
在一些实施例中，媒体内容中的切换点的可用性可以在媒体流式传输服务器端被确定，并且然后被发信令通知给客户端设备。例如，切换点的可用性可以通过对媒体内容的分析来被确定，并且通过使用媒体内容的流式传输清单、特别是通过使用媒体适配集来被发信令通知。换句话说，包括关于媒体内容的可用编码模式和这些编码模式之间的可能切换点的信息的流式传输清单优选地在媒体内容的流式传输开始之前被传送到客户端设备。流式传输清单可以是可能是应客户端设备的请求而被发送到客户端设备的文件。流式传输清单可以由媒体流式传输服务器或网络中的另一个服务器提供。以这种方式，接收媒体内容的客户端设备可以被通知可能的切换点，使得当客户端设备确定编码模式切换被期望时，其可以查阅流式传输清单以确定用于在当前编码模式与期望编码模式之间切换的下一个可用切换点。客户端设备可以相应地请求在对应的切换点处进行比特率之间的过渡，相应的请求被配置或被定时以指示期望的切换点。可替代地，该请求可以简单地指示下一个可能的切换点被选择。
根据一个方面，描述了一种用于利用比特率切换进行媒体内容的自适应流式传输的媒体流式传输服务器。在一些实施例中，该媒体流式传输服务器可以适于执行任何上述方法，其中，相应的媒体内容被定义为包括多个连续的媒体片段。
为此，媒体流式传输服务器包括媒体存储单元，该媒体存储单元用于以至少两种不同的编码模式存储相应的媒体内容、特别是媒体片段，并且用于存储用于在这两种编码模式之间过渡的过渡片段。如上文所解释的，这两种不同的编码模式中的每一种可以与用于对媒体内容进行流式传输的不同比特率相对应。
媒体流式传输服务器包括发射单元，该发射单元用于发射以编码模式之一编码的媒体内容的片段。如上文所解释的，在一些实施例中，如此发射的与编码模式之一相对应的媒体内容的片段可以与发射到客户端设备的被以具有第一比特率的第一编码模式编码的媒体内容相对应。该发射单元还可以向客户端设备发射过渡片段，该过渡片段包括编码的相应片段的媒体内容以诸如提供以第一编码模式编码的先前媒体片段与以第二编码模式编码的后续媒体片段之间的平滑过渡。
该媒体流式传输服务器包括接收单元，该接收单元用于从客户端设备接收对媒体内容的请求，例如，HTTP请求。对媒体内容的请求可以标识片段的序列号并指定所请求的媒体片段的期望编码模式。该接收单元可以进一步适于接收用于将编码模式切换到另一编码模式的指示。如上文所解释的，客户端设备可能期望改变所接收的媒体内容的比特率以适应变化的网络条件，例如以保持具有更少停顿或重新缓冲事件的高质量回放。进一步地，客户端可能具有需要与其他用户共享的有限带宽，并且带宽可用性的改变可能需要或允许所接收的比特率的改变，从而使客户端设备发出相应的请求。用于编码模式切换的指示可以是对从第一编码模式到第二编码模式的特定过渡片段的显式请求。
在从客户端设备接收到用于编码模式切换的指示时，控制媒体流式传输服务器向客户端设备发射过渡片段。随后，优选地响应于来自客户端设备的相应请求而将另一种编码模式的媒体内容的片段发射到客户端设备。如上面详细解释的，这允许客户端设备接收过渡片段以诸如执行在以两种不同编码模式编码的媒体内容之间的预定过渡，而不是简单地在表示以不同编码模式编码的媒体内容的片段之间切换。以这种方式，可以减少或消除流式传输的媒体内容中妨碍用户体验的不期望的毛刺或其他不自然的过渡。
在一些实施例中，切换点可以被周期性地或非周期性地布置，并且例如可以通过对媒体内容执行感知分析来被选择，以诸如选择性地定位切换点以降低或最小化它们的感知显著性，即，在这些切换点处发生具有不同比特率的媒体片段之间的切换。
进一步地，媒体流式传输服务器可以包括信号传输单元，用于在媒体内容的流式传输清单中、特别是在媒体适配集中发信令通知切换点的可用性。以这种方式，接收媒体内容的客户端设备可以被通知可能的切换点，使得当客户端设备发出上述请求以在比特率之间过渡时，相应的请求被配置或被定时以指示期望的切换点。可替代地，请求可以简单地指示下一个可能的切换点被选择，或者直接指示从第一编码模式到第二编码模式的过渡片段。对过渡片段的请求可以是对该媒体片段的HTTP请求，其标识片段的序列号和“起止(from-to)”编码模式。
根据一个方面，描述了一种用于接收利用比特率切换的媒体内容的自适应流式传输的媒体回放设备。在一些实施例中，媒体回放设备可以适于执行上述任何客户端设备的任务，其中，媒体内容包括多个连续的媒体片段。
为此，该媒体回放设备包括用于发射对媒体内容的请求的请求发射单元和用于接收以多种编码模式之一编码的媒体内容的所请求片段的媒体接收单元。如上文所解释的，不同的编码模式可以与用于对媒体内容进行流式传输的不同比特率相对应。发射单元可以向媒体流式传输服务器发送请求(比如HTTP请求)，以请求采用特定编码模式的媒体片段，以及请求用于改变编码模式的过渡片段。
媒体回放设备包括流式传输清单接收单元，该流式传输清单接收单元用于接收媒体内容的流式传输清单，该流式传输清单指示编码模式之间的切换点。流式传输清单可以是对于媒体内容定义可能的流式传输参数(比如可用的编码模式和切换点)而言可用的媒体适配集。切换点可以指示在服务器处的过渡片段的可用性，该过渡片段用于在媒体内容的片段序列中的该特定片段处在两种编码模式之间进行改变。
在一些实施例中，多个过渡片段可被布置以允许媒体流中的媒体内容的可用比特率之间的多个切换点。例如，过渡片段可以被布置为提供编码模式之间的多个切换点，这些切换点可以在周期性或非周期性分布的时间点被提供。不同编码模式对之间的切换点可以相同。可替代地，编码模式对可以具有单独的切换点。
可以通过对媒体内容执行感知分析来选择切换点，以诸如选择性地定位切换点以降低或最小化它们的感知显著性，即，在这些切换点处可发生具有不同比特率的媒体片段之间的切换。
在任何情况下，媒体内容中的切换点的可用性可以在媒体流式传输服务器端被提供，并且然后被发信令通知给媒体回放设备。为此，可以通过使用媒体内容的流式传输清单、特别是在媒体适配集中发信令通知切换点的可用性。以这种方式，接收媒体内容的媒体回放设备可以使用流式传输清单接收单元来获知可能的切换点。例如，媒体回放设备可以例如通过对请求进行配置或定时以指示期望的切换点来请求在特定切换点处进行比特率之间的过渡。可替代地，该请求可以简单地指示下一个可能的切换点被选择或直接指定所请求的过渡片段。如上文所解释的，当媒体流式传输服务器与客户端设备之间的网络条件(比如可用比特率)变化时，可能期望编码模式切换。
媒体回放设备进一步包括回放单元，该回放单元用于回放所接收的媒体片段，其中，如果期望比特率切换，则媒体回放设备发射用于将编码模式切换到另一编码模式的请求或指示。如上文所解释的，媒体回放设备可能期望改变所接收的媒体内容的比特率以适应变化的网络条件，例如以保持具有更少停顿或重新缓冲事件的高质量回放。进一步地，媒体回放设备可能只能访问需要与其他用户共享的有限带宽，并且带宽可用性的改变可能需要或允许所接收的比特率的改变，从而使媒体回放设备发出相应的编码模式改变请求。在实施例中，媒体回放设备请求在所选择的一个切换点处从第一编码模式到第二编码模式的过渡片段。
根据一个方面，描述了一种用于利用比特率切换进行媒体内容的自适应流式传输的方法，其中，该媒体内容包括多个连续的媒体片段。在一些实施例中，该方法在媒体流式传输服务器处执行。
该方法包括确定用于在具有不同编码模式的媒体片段之间切换的可用切换点。在一些实施例中，切换点可以在周期性或非周期性分布的时间点被提供。
在一些实施例中，确定可用切换点包括分析媒体内容以确定片段之间的边界，在这些边界处，编码模式的切换在感知上最不显著。确定可用切换点可以与选择切换点以诸如降低或最小化在媒体片段之间切换的感知显著性(即，在这些切换点处发生比特率之间的切换)相对应。
媒体内容中的切换点的可用性可以在媒体流式传输服务器端通过比较以两种各自不同的编码模式编码的媒体内容来被确定。例如，可以通过在具有相似或相同媒体内容特性的两个媒体片段中找到对应的位置来确定切换点。例如，如果第一媒体片段提供3D音频或视频内容，而第二媒体片段提供2D音频或视频内容，则合适的切换点可以位于这些片段之间的特定边界处，在该边界处，流式传输的第一媒体片段的3D特性不明显，即，当3D对象的存在在片段之间的边界处最少时。以这种方式，媒体片段之间的3D到2D切换对用户来说就不那么显著了。
该方法进一步包括在媒体内容的流式传输清单中、特别是在媒体适配集中将如此确定的切换点的可用性发信令通知给客户端设备。接收媒体内容的客户端设备因此可以被通知可用的切换点，使得当客户端设备发出上述请求以在比特率之间过渡时，相应的请求被配置或被定时以指示期望的切换点。可替代地，该请求可以简单地指示下一个可能的切换点被选择。
因此，该方法包括向客户端设备发射以具有第一比特率的第一编码模式编码的媒体内容的片段，以及然后从客户端设备接收用于将编码模式在可用切换点处切换到具有第二比特率的第二编码模式的请求或指示。
在到达该切换点时或响应于用于编码模式切换的指示，该方法向客户端设备发射以第二编码模式编码的媒体内容的片段，以诸如执行两个比特率之间的切换而例如不发射中间过渡片段。这变得可能，因为选择的切换点使得编码模式之间切换的感知显著性降低。可替代地，该方法可以与上述提供过渡片段的概念相结合以进一步降低切换的感知显著性。当然，该方法可以基于HTTP请求(例如，根据MPEG DASH)来实施。
应当理解，方法步骤和设备特征可以以多种方式互换。具体地，如本领域的技术人员所理解的，所公开的方法的细节可以实施为适于执行该方法的一些或全部步骤的设备，并且反之亦然。具体地，应当理解，根据本公开的方法涉及操作相应设备的方法。应当进一步理解，关于该方法所作的相应陈述同样适用于对应设备。
附图说明
现在将参考附图仅通过举例来描述本公开的示例实施例，在附图中：
图1示出了用于将媒体内容从媒体流式传输服务器自适应地流式传输到客户端设备的媒体流式传输系统的示例；
图2示出了具有不同比特率的媒体内容的片段和周期性分布的过渡片段的示例；
图3示出了由媒体流式传输服务器执行的方法的示例；
图4示出了与过渡片段相对应的过渡编码模式的参数化数据的示例；
图5示出了具有不同比特率的媒体内容的片段和非周期性分布的过渡片段的示例；
图6示出了“HTTP服务器-客户端”布置；
图7示出了媒体流式传输服务器的示例；以及
图8示出了媒体回放设备的示例。
具体实施方式
如上所述，媒体内容可以自适应地从媒体流式传输服务器流式传输到客户端设备，例如，自适应地流式传输到媒体回放设备。媒体内容可根据不同的比特率被流式传输，并且媒体回放设备可以请求编码模式切换以改变比特率。
图1示出了对应的媒体流式传输系统100，其中，媒体流式传输服务器110和客户端设备120通过通信链路130(例如，因特网链路连接)耦接。通信链路130可以用于向客户端设备提供例如HTTP上的动态自适应流式传输(DASH)(也称为MPEG-DASH)，或者可替代地向客户端设备提供HTTP实况流式传输(HLS)服务。在这两种情况下，如图1所示，通过将媒体内容200、300分成片段210-240、310-340的序列来将媒体内容200、300从媒体流式传输服务器110自适应地流式传输到客户端设备120，每个片段包含媒体内容(比如电影或体育赛事的实况播送)的回放时间区间。
媒体内容可用于不同的比特率，即，作为具有第一比特率的第一媒体流200和具有第二比特率的至少第二媒体流300。因此，对于不同的媒体流200、300，片段210-240、310-340是以不同的比特率被编码的。以这种方式，客户端120可以使用比特率自适应算法来自动选择可被及时下载以供回放而不会造成回放中的停顿或重新缓冲事件的最高可能比特率的片段。
然而，例如为了适应因特网链路130上变化的网络条件而在具有不同比特率的媒体内容片段210-240、310-340之间(即，在片段之间的边界处)进行的切换可能会导致在客户端设备120(接收器端)处可感知的不期望的效果，例如，作为流式传输的媒体内容中的毛刺或其他不自然的过渡，从而妨碍用户体验。
根据本文档的一个或多个实施例，通过生成如图2所示的多个过渡片段400、410、420来改进媒体流式传输服务器与客户端设备之间的自适应流式传输。更具体地，过渡片段410、420中的每一个被配置为提供流式传输的媒体内容200、300的两种所述编码模式之间的过渡。
在该示例实施例中，媒体流式传输服务器110存储以两种不同编码模式200、300编码的媒体内容，每种编码模式对应于不同的比特率。进一步地，媒体流式传输服务器110还存储过渡片段410、420，这些过渡片段被布置在不同的时间点以允许在具有不同编码的媒体内容的片段210-240、310-340之间进行过渡。
媒体流式传输服务器110可以通过使用与第一比特率相对应的第一媒体流200将媒体内容流式传输到客户端设备120。在实施例中，客户端设备120例如使用HTTP获取请求来连续地请求第一媒体流200的片段。然后，客户端设备120可能期望适应因特网链路130上变化的网络条件，例如，因为用户被添加到因特网链路或从因特网链路移除，或者因为他们已经改变了他们的带宽需求，从而影响了客户端设备120可用的带宽资源。在这种情况下，客户端设备120可以请求媒体流式传输服务器110改变流式传输的媒体内容的编码模式，即，用第二媒体流300(对应于第二比特率)的流式传输替代第一媒体流200(对应于第一比特率)的流式传输。
然而，在该实施例中，并非在第一媒体流200与第二媒体流300之间突然切换，而是媒体流式传输服务器110适于将过渡片段410、420中的一个过渡片段中间流式传输到客户端设备120。因此，相应的过渡片段410、420提供了以第一编码模式200编码的流式传输内容与以第二编码模式300编码的流式传输内容之间的过渡。在一些实施例中，在图2中，媒体流式传输服务器110可以完成具有第一编码模式200的片段220的流式传输，随后是提供到第二编码模式300的过渡的过渡片段420的流式传输，并且仅在完成过渡片段420的流式传输之后，媒体流式传输服务器继续将第二编码模式300的相应内容流式传输到客户端，即，从片段340开始。如上所述，每个片段(包括过渡片段420)可以由客户端设备使用例如HTTP单独请求。
图3示出了适于由媒体流式传输服务器110执行的用于利用比特率切换来自适应流式传输媒体内容的对应方法500，该方法包括以下步骤：发射以具有第一比特率的第一编码模式编码的媒体内容的片段510；从客户端设备接收用于将编码模式切换到具有第二比特率的第二编码模式的指示520；发射用于在第一编码模式与第二编码模式之间过渡的过渡片段530；以及发射以第二编码模式编码的媒体内容的另一片段540。同样，每个片段可以由客户端设备使用例如HTTP请求来请求并且发射可以响应于这些请求。
在一些实施例中，可以通过分析以第一编码模式和第二编码模式编码的媒体内容来确定可用的切换点，以诸如将片段之间的边界确定为切换点，在这些边界处，编码模式之间的切换在感知上最不显著。
因此，中间过渡片段的发射甚至可能变得不必要，因为编码模式200、300之间的直接切换可能在感知上不显著(在如此选择或不同选择的切换点处)。
在这种情况下，用于利用比特率切换进行媒体内容的自适应流式传输的方法可以例如通过执行以下步骤来跳过中间过渡片段的发射：确定用于在媒体片段之间切换编码模式的可用切换点；在媒体内容的流式传输清单中将切换点的可用性发信令通知给客户端设备；向客户端设备发射以具有第一比特率的第一编码模式编码的媒体内容的片段；从客户端设备接收用于在可用切换点处将编码模式切换到具有第二比特率的第二编码模式的请求；以及在该切换点时，向客户端设备发射以第二编码模式编码的媒体内容的片段。
在任何情况下，在发射或不发射中间过渡片段的情况下，编码模式200、300中的每一个可以与媒体内容的不同流式传输比特率相对应。进一步地，不同的编码模式200、300可以与媒体内容的不同音频或视频编解码器模式相对应。
在一些实施例中，不同的编码模式200、300可以与包括以下各项中的至少两种的音频编解码器模式相对应：立体声、5.1环绕声以及沉浸式3D音频。
在一些实施例中，不同的编码模式200、300可以与包括以下各项中的至少两种的视频编解码器模式相对应：2D内容、3D内容、标准动态范围(SDR)、高动态范围(HDR)、虚拟现实内容以及非虚拟现实内容。
从媒体流式传输服务器110流式传输到客户端设备120的过渡片段410、420可以被配置为提供以第一编码模式200编码的流式传输内容与以第二编码模式300编码的流式传输内容之间的经定义的过渡。例如，过渡片段410、420可以提供第一编码模式与第二编码模式之间的平滑和/或渐变过渡。
图4示出了由过渡片段执行的对应过渡。在该示例实施例中，过渡片段被示为具有开始时间点T_1和结束时间点T_2。如图2所示，过渡片段410、420的开始时间点和结束时间点被选择为与过渡片段之前和之后的流式传输的媒体内容200、300的片段210-240、310-340的开始时间点和结束时间点匹配。
在图4中，过渡片段被示为提供与第一流式传输片段的编码模式相对应的参数化数据P_1和与第二流式传输片段的编码模式相对应的参数化数据P_2之间的逐渐且平滑的过渡。在这种背景下，第一编码模式和第二编码模式包括用于控制编码的参数化数据P_1、P_2，并且在过渡片段期间，参数化数据从第一编码模式的参数化数据P_1逐渐改变为第二编码模式的参数化数据P_2。换句话说，参数化数据P_1和P_2与相应媒体内容被编码的音频或视频编解码器模式(音频或视频编解码器)的参数化数据相对应，如上所述。下面进一步描述参数化数据的相应示例。
在一些实施例中，可以生成过渡片段410、420以提供3D与2D音频或视频编解码器模式之间的平滑和/或渐变过渡，或反之亦然。在图4所示的示例中，参数化数据P_1可以与用于生成第一流式传输片段的编码模式的3D对象的空间位置相对应，而参数化数据P_2可以描述被投影到2D平面上的对应对象位置，表示与第二流式传输片段的编码模式相对应的2D对象。因此，在过渡片段410、420的流式传输期间，3D编码模式的3D对象可以逐渐朝向2D空间的前方移动，如用户(例如，观看被投影的2D视频的用户)所感知的。另一个可能的示例是从5.1(环绕声)移动到立体声。在这种情况下，过渡片段将在该片段的持续时间内淡出环绕声道和中央声道并且并行地将信号混合到左右。当从基于沉浸式声道的信号(具有高度声道的音频)移动到环绕声或立体声时，该示例同样适用。
另一个示例是从3D沉浸式音频表示移动到环绕声。在3D沉浸式音频中，音频被表示为个体音频对象，其元数据描述了它们在3D空间中的位置和移动。在从该表示到环绕声的过渡期间，过渡片段(仍然使用3D音频编码模式)可以缓慢地将对象移动到扬声器的位置，在该位置处它将向前定位。如果对象位于两个扬声器位置之间，则它也可以被拆分，并且在切换到环绕声编码模式之前，部分信号被移动到相应的扬声器位置。该示例同样适用于从3D沉浸式音频到立体声的切换。
由此可见，在表示以不同编码模式编码的媒体内容的片段之间提供了平滑且受控的过渡，这可以用于减少或消除不期望的切换效果，例如，流式传输的媒体内容中的毛刺或其他不自然的过渡。
在该示例实施例中，已经对过渡编码模式的参数化数据进行编码后配置，即，过渡编码模式的参数化数据基于编码的媒体内容200、300的P_1和P_2参数化数据而被生成。
如图2所示，过渡片段410、420的位置可以被等距地布置，其中，过渡片段的开始时间点被选择为以固定区间周期性出现。例如，举例而言取决于耦接媒体流式传输服务器110与客户端设备120的通信链路130中的可用带宽资源的预测波动，过渡片段可以被布置为在流式传输媒体内容的每第二个、第四个、第十个或第五十个片段出现。
可替代地，切换点可以非周期性地布置，例如图5所示。以非周期性序列400布置的过渡片段410-440的切换点可以例如通过对媒体内容210-280、310-380执行感知分析来被选择。以这种方式，可以选择切换点的位置以降低或最小化它们的感知显著性，即，在这些切换点处发生比特率之间的切换。
在一些实施例中，对媒体内容进行感知分析包括通过在两个媒体片段210-280、310-380(在它们之间过渡)中找到具有相似或相同媒体内容特性的位置来确定切换点。例如，如果第一媒体片段210-280提供3D音频或视频内容，而第二媒体片段210-280提供2D音频或视频内容，则合适的切换点可以位于片段之间的流式传输的第一媒体片段210-280的3D特性较低或可忽略的边界处，即，片段之间的与3D音频或视频流相对应的3D对象的存在最少的边界处。
另一个示例是确定用于在5.1与立体声之间切换的合适切换点。如果环绕声道和中央声道无声或没有信号，则这完成得最好。这同样适用于基于沉浸式声道的音频(高度声道)与5.1或立体声之间的切换。类似地，当在高度上(即，当切换到5.1时)或在高度和环绕声上(即，当切换到立体声时)没有对象时，沉浸式3d音频与5.1或立体声之间的切换完成得最好。
在任何情况下，可以选择过渡片段的开始时间点以降低或最小化用户感知到第一编码模式与第二编码模式之间的过渡的风险。
因此，可以基于以第一编码模式200编码的流式传输媒体内容与以第二编码模式300编码的流式传输媒体内容的比较来确定过渡片段的切换点。
可以通知客户端设备120所确定的过渡片段410、420的切换点。该信息允许客户端设备120选择并请求在可用切换点处的过渡。为此，媒体流式传输服务器110可以将关于切换点的信息发信令通知给客户端设备120。
在一些实施例中，通过使用媒体内容的流式传输清单、特别是在媒体适配集中例如通过使用MPEG-DASH和/或Apple-HLS协议中提供的通信信道来执行对关于过渡片段的切换点的信息的信令通知。
这提供了用于将关于切换点的信息从媒体流式传输服务器110传达给客户端设备120的鲁棒且高效的手段(例如，通过将这种信息嵌入到由传统协议提供的通信信道中)。在这方面，在一些实施例中，现有的适配集可以具有以下条目：
Figure BDA0003746446450000141
可以添加进一步的元素来描述可由客户端设备选择的过渡片段切换点，例如，通过添加：
＜Transition id＝”1”type＝”periodic”interva|＝”10”switch-from-id＝“1”switch-to-id＝“2”/＞
例如，在利用HTTP传输方案的情况下，可以提供名称模板以在客户端中实现片段名称解析以请求HTTP传输。为此，适配集中的下面一行通知客户端过渡片段具有2000毫秒的持续时间并且可以使用由变量switch-from-id和switch-to-id构造的路径/文件命名(path/file nomenclature)在HTTP服务器的存储器中存储的文件夹中找到。在该示例中，片段文件名由前缀“tseg”和后缀“.m4s”构成并使用与常规片段相同的运行编号。
<TransitionSegmentTemplate duration＝”2000”media＝”＄switch-from-id”＄”switch-to-id”/tseg-”Numbers＄.m4s”＞
因此，假设上述两行，文件夹结构的可能示例是：
12/tseg-0.m4s
12/tseg-10.m4s
12/tseg-20.m4s
…
以这种方式，客户端设备可以在流式传输的媒体内容的每第10个片段从表示ID 1切换到表示ID 2，这两个表示与上面定义的两个不同带宽(比特率)相对应。为此，客户端设备简单地请求并接收(下载)存储在HTTP服务器文件夹结构中对应位置处的期望过渡片段。
更具体地，如果媒体流式传输服务器表示HTTP服务器，则HTTP服务器至少以两种不同的编码模式存储媒体内容以及允许在不同编码模式之间过渡的过渡片段。以这种方式，客户端设备可以下载用于流式传输任何一种编码模式的媒体内容的片段，并且如果需要的话，可以在不同的编码模式之间过渡。HTTP服务器使用路径和/或文件命名文件夹结构存储不同的片段，从而允许客户端服务器通过请求文件夹树(folder tree)结构中对应位置处的对应文件来访问期望的片段，即，下载对应的期望片段。
在这种背景下，如本领域技术人员将理解的，当客户端设备向HTTP服务器请求特定的片段时，这种请求与客户端设备试图访问所述文件夹树结构中的相应文件夹和/或文件(如存储在HTTP服务器媒体流式传输服务器的存储器中)相对应。在客户端设备成功地从文件夹树结构中的相应位置访问并下载期望片段的情况下，认为HTTP服务器媒体流式传输服务器已经成功地处置了客户端设备请求，即，HTTP服务器媒体流式传输服务器已经通过向客户端设备提供期望片段内容来响应该请求。
例如，如图6的“HTTP服务器-客户端”星座图(constellation)所示，参见“重复步骤”S100，客户端设备120通过发送“获取清单(get Manifest)”请求以从HTTP服务器110下载相应的流式传输清单来请求关于过渡片段的切换点的信息。类似地，同样在“重复步骤”S100中，客户端设备120请求以第一编码模式编码的媒体片段，即，通过发送“获取媒体片段(get Media Segment)”请求来从HTTP服务器110下载媒体片段。如图6所示，经由来自服务器的相应响应而被如此下载的媒体片段被添加到缓冲器(buffer)，并用作客户端设备120中的回放媒体。
在图6的示例中，流式传输清单被布置在重复循环(repeat loop)中并按周期性区间被取回。在一些情况下，不需要多次接收清单。这两个选项通常取决于用例：
(1)在客户端访问内容时内容完全可用的情况下，不需要周期性地下载清单，并且在媒体片段被访问之前取回清单一次就足够了。视频点播(video on demand)就是这种情况(例如，Netflix)。因此，在实施例中，“获取清单”请求和相应的响应可以被布置在重复循环之外。
(2)在客户端访问时内容不完全可用的情况下，清单可以由服务器周期性地更新并由客户端周期性地取回，如图6所示。在实况流式传输(即，足球比赛)中就是这种情况，其中，例如内容的总长度和其他参数事先并不知晓。
在取回之后，所接收到的清单信息被存储在客户端的存储器中，并在取回新的清单时按照情况(2)进行替换。进一步地，如果清单被周期性地取回，则其通常不与每个媒体片段一起发射，而是以较低的速率发射，例如，仅与每第N个媒体片段一起发射。
然后，如果客户端设备120决定比特率改变是有利的，例如因为如图6所示缓冲水平正在变低，则客户端设备120通过发送“获取过渡片段(get Transition Segment)”请求以从HTTP服务器110下载过渡片段来请求过渡片段(即，用于在与不同比特率相对应的不同编码模式之间过渡)。换句话说，如上文所解释的，客户端设备请求比特率之间的过渡，即，通过从HTTP服务器110文件夹树结构中的相应位置下载期望的过渡片段。如果下载过程成功(经由来自服务器的相应响应)，过渡片段在图6中示出为被添加到回放媒体，例如，通过被包括到相应的缓冲器中。客户端设备120然后请求以第二编码模式编码的媒体片段，即，通过发送“获取媒体片段”请求以从HTTP服务器110下载媒体片段，以诸如完成从第一比特率到第二比特率的过渡，并且继续流式传输第二编码模式的媒体内容。
在示例中，可以通过添加以下内容在流式传输清单中指示过渡的反向顺序以便在任何切换点处都是感知无缝的：
<Transition id＝”2”type＝”always”switch-from-id＝“2”switch-to-id＝“1″/＞
因此，客户端设备被通知不同比特率之间的反向切换(即，从表示ID 2到ID 1)总是适用的。
在一些实施例中，为了发信令通知用于表示ID2到ID 3之间的非周期性过渡的可用切换点，可以添加以下条目：
Figure BDA0003746446450000161
这里，条目“Segment id”指示过渡片段的可用切换点位置，例如，作为与流式传输的媒体内容片段的计数相对应的索引。
在一些实施例中，可用切换点的完整集合可被组合在单个适配集中：
Figure BDA0003746446450000171
图7示出了适于执行上述方法(即，媒体流式传输服务器的上述任务)、特别是图3所示的方法的媒体流式传输服务器110的示例实施例。
为此，媒体流式传输服务器110包括媒体存储单元510，该媒体存储单元用于以至少2种编码模式存储所述媒体内容200、300并且用于存储用于在这些编码模式之间过渡的过渡片段400。
媒体流式传输服务器110进一步包括发射单元520，该发射单元用于发射以编码模式200、300之一编码的媒体内容的片段210-280、310、380，并且还用于发射所述过渡片段400。
媒体流式传输服务器110的接收单元530被配置为从客户端设备120接收对媒体片段的请求和用于将编码模式切换到另一编码模式的指示。在接收到对所指示的编码模式的媒体片段的请求时，媒体流式传输服务器110将这些所请求的媒体片段发射到客户端设备。
媒体流式传输服务器110的控制单元540适于控制发射单元520，使得在从客户端设备120接收到用于编码模式切换的指示时，发射单元520发射对应的过渡片段410-440，并且随后发射另一编码模式210-280、310-380的媒体内容的片段。在实施例中，用于编码模式切换的指示直接引用过渡片段，作为响应，该过渡片段被发射到客户端设备。对媒体片段的后续请求是指以另一种编码模式编码的片段。
在一些实施例中，媒体流式传输服务器110还可以包括信号传输单元(未在图7中示出)，用于在媒体内容的流式传输清单中、特别是在媒体适配集中发信令通知切换点的可用性，如上所述。
图8示出了适于执行上述方法(即，客户端设备120的上述任务)的客户端设备120的示例实施例。
在该示例实施例中，客户端设备与媒体回放设备120相对应，该媒体回放设备用于接收利用比特率切换的媒体内容的自适应流式传输，并且用于执行所接收的媒体内容的回放。
为此，媒体回放设备120包括媒体接收单元610，该媒体接收单元用于从媒体流式传输服务器110接收以多种编码模式200、300之一编码的媒体内容的片段。媒体回放设备120进一步包括请求发射单元，该请求发射单元用于发射对媒体内容的请求，比如对媒体片段和过渡片段的请求。
媒体回放设备120的流式传输清单接收单元620接收媒体内容的流式传输清单，该流式传输清单指示上文所讨论的编码模式200、300之间的切换点。
媒体回放设备120进一步包括回放单元630，该回放单元用于回放所接收的媒体片段200、300、400，其中，如果期望比特率切换，则媒体回放设备630发射用于将编码模式切换到另一编码模式200、300的指示。
媒体流式传输服务器110和媒体回放设备120的发射单元和接收单元可以被配置为根据链接媒体流式传输服务器110与媒体回放设备120的通信网络(例如，因特网)的协议来操作。
本文中描述的特征可以以任何组合与一个或多个实施例相关。权利要求中的附图标记(如果有的话)仅仅是为了便于阅读权利要求而引入的。它们决不意味着是限制性的。
贯穿本说明书，已经讨论了各种实施例。然而，应该理解，本发明不限于这些实施例中的任何一个。因此，前面的详细描述旨在被视为说明性的而非限制性的。
将理解的是，所讨论的方法的步骤不限于任何特定的实施方式或编程技术，并且本公开可以使用用于实施本文描述的功能的任何适当的技术来实施。本公开不限于任何特定的编程语言或操作系统。
在整个公开中对“一个示例实施例”、“一些示例实施例”或“示例实施例”的提及意味着结合示例实施例描述的特定特征、结构或特性包括在本公开的至少一个示例实施例中。因此，在整个公开中各处出现的短语“在一个示例实施例中”、“在一些示例实施例中”或“在示例实施例中”不一定都是指代同一个示例实施例。此外，在一个或多个示例实施例中，特定特征、结构或特性可以以任何合适的方式组合，这根据本公开对于本领域的普通技术人员而言将是显而易见的。
如本文所使用的，除非另外指定，否则使用序数形容词“第一”、“第二”、“第三”等来描述共同的对象，仅表明提及相似对象的不同实例，并且不旨在暗示所描述的对象必须在时间、空间、等级或任何其他方式上按照给定的顺序。
在下文的权利要求和本文的描述中，术语包括(comprising)、包括(comprisedof)或其包括(which comprises)中的任何一个是开放术语，其意指至少包括随后的元件/特征，但不排除其他元件/特征。因此，当在权利要求中使用术语“包括(comprising)”时，该术语不应当被解释为限于在其之后列出的装置或元件或步骤。例如，包括A和B的设备的表达的范围不应限于仅包括元件A和B的设备。如本文所使用的，术语包括(including)或其包括(which includes)或包括(that includes)中的任何一个也是开放术语，其也意指至少包括所述术语之后的元件/特征，但不排除其他元件/特征。因此，包括(including)与包括(comprising)同义并且意指包括(comprising)。
应当理解，在以上对本公开的示例实施例的描述中，有时在单个示例实施例/图或其描述中将本公开的各种特征组合在一起，以便简化本公开，并且帮助理解各创造性方面中的一个或多个。然而，本公开的方法不应当被解释为反映权利要求书需要比每个权利要求中明确叙述的特征更多的特征的意图。相反，如以下权利要求所反映的，各创造性方面在于少于单个前面公开的示例实施例的所有特征。因此，在说明书之后的权利要求书特此明确地并入本说明书中，其中，每个权利要求独立地作为本公开的单独的示例实施例。
此外，虽然本文描述的一些示例实施例包括其他示例实施例中所包括的一些特征而不包括其他示例实施例中所包括的其他特征，但是如本领域技术人员将理解的，不同示例实施例的特征的组合旨在处于本公开的范围内并形成不同的示例实施例。例如，在以下权利要求中，要求保护的示例实施例中的任何示例实施例都可以以任何组合来使用。
在本文提供的描述中，阐述了许多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践本公开的示例实施例。在其他实例中，未详细示出众所周知的方法、结构和技术，以避免模糊对本说明书的理解。
因此，尽管已经描述了被认为是本公开的最佳模式的模式，但是本领域技术人员将认识到，可以在不背离本公开的精神的情况下对其做出其他和进一步的修改，并且旨在要求保护落入本公开的范围内的所有这些改变和修改。例如，以上给出的任何公式仅表示可以使用的过程。可以从框图中添加或删除功能，并且可以在功能块之间互换操作。可以向在本公开的范围内描述的方法添加或删除步骤。
可以从以下枚举的示例实施例(EEE)中理解本发明的各个方面：
1.一种用于利用比特率切换进行媒体内容的自适应流式传输的方法，所述媒体内容包括多个连续的媒体片段，所述方法包括在媒体流式传输服务器处进行以下操作：
发射以具有第一比特率的第一编码模式编码的所述媒体内容的片段；
从客户端设备接收用于将编码模式切换到具有第二比特率的第二编码模式的指示，并且作为响应，发射用于在所述第一编码模式与所述第二编码模式之间过渡的过渡片段；以及
发射以所述第二编码模式编码的所述媒体内容的另一片段。
2.如EEE 1所述的方法，其中，响应于来自所述客户端设备的请求、特别是HTTP请求而发射所述媒体内容的片段。
3.如EEE 1或2所述的方法，其中，用于编码模式切换的所述指示包括对过渡片段的请求，特别是HTTP请求。
4.如任一前述EEE所述的方法，其中，所述过渡片段包括以过渡编码模式编码的所述媒体内容的一部分，所述过渡编码模式实现所述第一编码模式与所述第二编码模式之间的平滑过渡。
5.如EEE 4所述的方法，其中，所述第一编码模式和所述第二编码模式包括用于控制所述编码的参数化数据，并且其中，在所述过渡编码模式中，所述参数化数据从所述第一编码模式的参数化数据逐渐改变为所述第二编码模式的参数化数据。
6.如EEE 5所述的方法，其中，所述过渡编码模式的参数化数据是在编码后配置的。
7.如任一前述EEE所述的方法，其中，包括所述过渡片段的所述媒体内容被存储在所述媒体流式传输服务器处。
8.如任一前述EEE所述的方法，其中，用于所述媒体内容的多个周期性过渡片段被提供。
9.如任一前述EEE所述的方法，其中，编码模式之间的切换点被周期性地或非周期性地提供。
10.如任一前述EEE所述的方法，包括对所述媒体内容进行感知分析以选择媒体片段中在感知上最不显著的位置处的切换点。
11.如任一前述EEE所述的方法，其中，将所述媒体内容中的切换点的可用性发信令通知给客户端设备。
12.如EEE 11所述的方法，其中，在所述媒体内容的流式传输清单中、特别是在媒体适配集中发信令通知切换点的可用性。
13.如任一前述EEE所述的方法，其中，所述媒体内容包括音频并且所述编码模式包括立体声、多声道声音以及沉浸式声音中的至少一种。
14.如任一前述EEE所述的方法，其中，所述媒体内容包括视频并且所述编码模式包括2D内容、3D内容、非虚拟现实以及虚拟现实中的至少一种。
15.一种用于利用比特率切换进行媒体内容的自适应流式传输的媒体流式传输服务器，所述媒体内容包括多个连续的媒体片段，所述媒体流式传输服务器包括：
媒体存储单元，所述媒体存储单元用于以至少2种编码模式存储所述媒体内容并且用于存储用于在编码模式之间过渡的过渡片段；
发射单元，所述发射单元用于发射以所述编码模式之一编码的所述媒体内容的片段并且用于发射过渡片段；
接收单元，所述接收单元用于从客户端设备接收对媒体内容的请求；
其中，在从所述客户端设备接收到用于将编码模式切换到另一编码模式的指示时，所述媒体流式传输服务器向所述客户端设备发射过渡片段。
16.如EEE 15所述的媒体流式传输服务器，进一步包括信令通知单元，用于在所述媒体内容的流式传输清单中、特别是在媒体适配集中将切换点的可用性发信令通知给所述客户端设备。
17.一种用于接收利用比特率切换的媒体内容的自适应流式传输的媒体回放设备，所述媒体内容包括多个连续的媒体片段，所述媒体回放设备包括：
请求发射单元，所述请求发射单元用于发射对媒体内容的请求；
媒体接收单元，所述媒体接收单元用于接收以多种编码模式之一编码的所述媒体内容的片段；
流式传输清单接收单元，所述流式传输清单接收单元用于接收所述媒体内容的流式传输清单，所述流式传输清单指示编码模式之间的可用切换点；以及
回放单元，所述回放单元用于回放所接收的媒体片段，
其中，如果期望比特率切换，则所述媒体回放设备发射用于将编码模式在可用切换点处切换到另一编码模式的指示。
18.一种用于利用比特率切换进行媒体内容的自适应流式传输的方法，所述媒体内容包括多个连续的媒体片段，所述方法包括在媒体流式传输服务器处进行以下操作：
确定用于在媒体片段之间切换编码模式的可用切换点；
在所述媒体内容的流式传输清单中将所述切换点的可用性发信令通知给客户端设备；
向所述客户端设备发射以具有第一比特率的第一编码模式编码的所述媒体内容的片段；以及
从所述客户端设备接收用于将编码模式在可用切换点处切换到具有第二比特率的第二编码模式的指示，并且作为响应，向所述客户端设备发射以所述第二编码模式编码的所述媒体内容的片段。
19.如EEE 18所述的方法，其中，所述确定可用切换点包括分析所述媒体内容以确定片段之间的边界，在所述边界处，编码模式的切换在感知上最不显著。

Claims (20)

1.一种用于利用比特率切换进行媒体内容的自适应流式传输的方法，所述媒体内容包括多个连续的媒体片段，所述方法包括在媒体流式传输服务器处进行以下操作：
发射所述媒体内容的以具有第一比特率的第一编码模式编码的片段；
从客户端设备接收用于将编码模式切换到具有第二比特率的第二编码模式的指示，并且作为响应，发射用于在所述第一编码模式与所述第二编码模式之间过渡的过渡片段，其中，所述过渡片段包括所述媒体内容的以过渡编码模式编码的部分，所述过渡编码模式实现所述第一编码模式与所述第二编码模式之间的平滑过渡；以及
发射所述媒体内容的以所述第二编码模式编码的另一片段；
其中，所述媒体内容包括音频或视频内容，并且其中，所述编码模式与所述媒体内容的不同音频或视频编解码器模式相对应。
2.如权利要求1所述的方法，其中，所述媒体内容的所述片段是响应于来自所述客户端设备的请求、特别是HTTP请求而被发射的。
3.如权利要求1或2所述的方法，其中，用于编码模式切换的所述指示包括对过渡片段的请求，特别是HTTP请求。
4.如任一前述权利要求所述的方法，其中，所述第一编码模式和所述第二编码模式包括用于控制所述编码的参数化数据，并且其中，在所述过渡编码模式中，所述参数化数据从以所述第一编码模式编码的所述媒体内容的视频或音频编解码器模式的参数化数据逐渐改变为以所述第二编码模式编码的所述媒体内容的视频或音频编解码器模式的参数化数据。
5.如权利要求4所述的方法，其中，以所述第一编码模式编码的所述媒体内容的视频或音频编解码器模式的所述参数化数据与3D对象的空间位置相对应，并且其中，以所述第二编码模式编码的所述媒体内容的视频或音频编解码器模式的所述参数化数据描述被投影到2D平面上的对应对象位置。
6.如权利要求4所述的方法，其中，所述过渡编码模式的参数化数据是在编码后被配置的。
7.如任一前述权利要求所述的方法，其中，所述过渡片段具有开始时间点T_1和结束时间点T_2，所述开始时间点T_1和结束时间点T_2被选择为与在所述过渡片段之前和之后的以所述第一编码模式和所述第二编码模式编码的所述媒体内容的所述片段的开始时间点和结束时间点相匹配。
8.如任一前述权利要求所述的方法，其中，包括所述过渡片段的所述媒体内容被存储在所述媒体流式传输服务器处。
9.如任一前述权利要求所述的方法，其中，用于所述媒体内容的多个周期性过渡片段被提供。
10.如任一前述权利要求所述的方法，其中，编码模式之间的切换点被周期性地或非周期性地提供。
11.如任一前述权利要求所述的方法，包括对所述媒体内容进行感知分析以选择媒体片段中在感知上最不显著的位置处的切换点。
12.如任一前述权利要求所述的方法，其中，所述媒体内容中的切换点的可用性被发信令通知给客户端设备。
13.如权利要求12所述的方法，其中，切换点的可用性在所述媒体内容的流式传输清单中、特别是在媒体适配集中被发信令通知。
14.如任一前述权利要求所述的方法，其中，所述媒体内容包括音频并且所述编码模式包括立体声、多声道声音以及沉浸式声音中的至少一种。
15.如任一前述权利要求所述的方法，其中，所述媒体内容包括视频并且所述编码模式包括2D内容、3D内容、非虚拟现实以及虚拟现实中的至少一种。
16.一种用于利用比特率切换进行媒体内容的自适应流式传输的媒体流式传输服务器，所述媒体内容包括多个连续的媒体片段，所述媒体流式传输服务器包括：
媒体存储单元，所述媒体存储单元用于以至少2种编码模式存储所述媒体内容并且用于存储用于在编码模式之间过渡的过渡片段，其中，所述媒体内容包括音频或视频内容，并且其中，所述至少2种编码模式与所述媒体内容的不同音频或视频编解码器模式相对应；
发射单元，所述发射单元用于发射以所述编码模式之一编码的所述媒体内容的片段并且用于发射过渡片段；
接收单元，所述接收单元用于从客户端设备接收对媒体内容的请求；
其中，在从所述客户端设备接收到用于将编码模式切换到另一编码模式的指示时，所述媒体流式传输服务器向所述客户端设备发射过渡片段，其中，所述过渡片段包括所述媒体内容的以过渡编码模式编码的部分，所述过渡编码模式实现所述编码模式之间的平滑过渡。
17.如权利要求16所述的媒体流式传输服务器，进一步包括信令通知单元，用于在所述媒体内容的流式传输清单中、特别是在媒体适配集中将切换点的可用性发信令通知给所述客户端设备。
18.如权利要求16或17所述的媒体流式传输服务器，其中，所述过渡片段具有开始时间点T_1和结束时间点T_2，所述开始时间点T_1和结束时间点T_2被选择为与在所述过渡片段之前和之后的以所述编码模式编码的所述媒体内容的所述片段的开始时间点和结束时间点相匹配。
19.一种用于接收利用比特率切换的媒体内容的自适应流式传输的媒体回放设备，所述媒体内容包括多个连续的媒体片段，所述媒体回放设备包括：
请求发射单元，所述请求发射单元用于发射对媒体内容的请求；
媒体接收单元，所述媒体接收单元用于接收以多种编码模式之一编码的所述媒体内容的片段，其中，所述媒体内容包括音频或视频内容，并且其中，所述编码模式与所述媒体内容的不同音频或视频编解码器模式相对应；
流式传输清单接收单元，所述流式传输清单接收单元用于接收所述媒体内容的流式传输清单，所述媒体内容的流式传输清单指示通过分析所述媒体内容以确定片段之间编码模式的切换在感知上最不显著的边界而被确定的编码模式之间的可用切换点；以及
回放单元，所述回放单元用于回放所接收的媒体片段，
其中，如果比特率切换被期望，则所述媒体回放设备发射用于将编码模式在可用切换点处切换到另一编码模式的指示。
20.一种用于利用比特率切换进行媒体内容的自适应流式传输的方法，所述媒体内容包括多个连续的媒体片段，所述方法包括在媒体流式传输服务器处进行以下操作：
通过分析所述媒体内容以确定片段之间编码模式的切换在感知上最不显著的边界来确定用于在媒体片段之间切换编码模式的可用切换点；
在所述媒体内容的流式传输清单中将所述切换点的可用性发信令通知给客户端设备；
向所述客户端设备发射所述媒体内容的以具有第一比特率的第一编码模式编码的片段；以及
从所述客户端设备接收用于将编码模式在可用切换点处切换到具有第二比特率的第二编码模式的指示，并且作为响应，向所述客户端设备发射所述媒体内容的以所述第二编码模式编码的片段，其中，所述媒体内容包括音频或视频内容，并且其中，所述编码模式与所述媒体内容的不同音频或视频编解码器模式相对应。
CN202180009451.XA 2020-01-15 2021-01-12 利用比特率切换自适应流式传输媒体内容 Pending CN114946192A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062961257P 2020-01-15 2020-01-15
EP20151982 2020-01-15
EP20151982.4 2020-01-15
US62/961,257 2020-01-15
PCT/EP2021/050445 WO2021144244A1 (en) 2020-01-15 2021-01-12 Adaptive streaming of media content with bitrate switching

Publications (1)

Publication Number Publication Date
CN114946192A true CN114946192A (zh) 2022-08-26

Family

ID=74175888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180009451.XA Pending CN114946192A (zh) 2020-01-15 2021-01-12 利用比特率切换自适应流式传输媒体内容

Country Status (4)

Country Link
US (1) US11997339B2 (zh)
EP (1) EP4091332A1 (zh)
CN (1) CN114946192A (zh)
WO (1) WO2021144244A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240196049A1 (en) * 2022-12-08 2024-06-13 Synamedia Limited Client Device Switching to Low Latency Content

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002041302A1 (en) * 2000-11-15 2002-05-23 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
US20030067872A1 (en) * 2001-09-17 2003-04-10 Pulsent Corporation Flow control method for quality streaming of audio/video/media over packet networks
CN1601912A (zh) * 2003-09-10 2005-03-30 微软公司 用于提供数字音频信号的高质量扩展和压缩的系统和方法
CN101601280A (zh) * 2007-02-01 2009-12-09 皇家飞利浦电子股份有限公司 用于使第一视频段和第二视频段之间的过渡平滑的方法和设备
US20100118938A1 (en) * 2008-11-12 2010-05-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoder and method for generating a stream of data
US20110176496A1 (en) * 2010-01-15 2011-07-21 Roy Rabinda K On-the-fly video quality switching for video distribution networks and methods therefor
CN102740159A (zh) * 2011-03-31 2012-10-17 丛林网络公司 媒体文件存储格式和自适应传送系统
CN102883152A (zh) * 2011-07-14 2013-01-16 Nxp股份有限公司 具有适应性的媒体流传输
US20130282917A1 (en) * 2012-04-24 2013-10-24 Vid Scale, Inc. Method and apparatus for smooth stream switching in mpeg/3gpp-dash
EP2785068A1 (en) * 2013-03-26 2014-10-01 Fujitsu Limited Video image data delivery device, method and system
CN105359544A (zh) * 2013-07-12 2016-02-24 苹果公司 数字视频流传输中的特技播放
CN105453582A (zh) * 2013-08-06 2016-03-30 虚拟电缆有限责任公司 一种在浏览器内播放媒体流的方法
CN106664437A (zh) * 2014-07-10 2017-05-10 英特尔公司 用于无线视频的自适应比特率流传输
WO2018185769A1 (en) * 2017-04-03 2018-10-11 Blink Ap Ltd. Smooth start playback of media
CN108650510A (zh) * 2018-05-10 2018-10-12 中南大学 视频的编码方法和装置、存储介质、电子装置
US20190045220A1 (en) * 2011-01-05 2019-02-07 Divx, Llc Adaptive Streaming Systems and Methods for Performing Trick Play

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139448A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. 3D displays with flexible switching capability of 2D/3D viewing modes
WO2010095403A1 (ja) * 2009-02-17 2010-08-26 パナソニック株式会社 再生装置、再生方法、プログラム
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
US9294526B2 (en) 2009-12-28 2016-03-22 Microsoft Technology Licensing, Llc Managing multiple dynamic media streams
US20160269711A1 (en) * 2014-02-21 2016-09-15 Lg Electronics Inc. Method and apparatus for processing 3-dimensional broadcasting signal
CA3014370A1 (en) 2016-02-16 2017-08-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, system and method for adaptive streaming
US10382356B2 (en) 2016-10-13 2019-08-13 Nokia Of America Corporation Scheduling transmissions of adaptive bitrate streaming flows

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1475010A (zh) * 2000-11-15 2004-02-11 ���뼼�����ɷݹ�˾ 增强使用高频重建方法的编码系统的性能
WO2002041302A1 (en) * 2000-11-15 2002-05-23 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
US20030067872A1 (en) * 2001-09-17 2003-04-10 Pulsent Corporation Flow control method for quality streaming of audio/video/media over packet networks
CN1601912A (zh) * 2003-09-10 2005-03-30 微软公司 用于提供数字音频信号的高质量扩展和压缩的系统和方法
CN101601280A (zh) * 2007-02-01 2009-12-09 皇家飞利浦电子股份有限公司 用于使第一视频段和第二视频段之间的过渡平滑的方法和设备
US20100118938A1 (en) * 2008-11-12 2010-05-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoder and method for generating a stream of data
CN102217272A (zh) * 2008-11-12 2011-10-12 弗劳恩霍夫应用研究促进协会 产生数据流的编码器和方法
US20110176496A1 (en) * 2010-01-15 2011-07-21 Roy Rabinda K On-the-fly video quality switching for video distribution networks and methods therefor
US20190045220A1 (en) * 2011-01-05 2019-02-07 Divx, Llc Adaptive Streaming Systems and Methods for Performing Trick Play
US20190356928A1 (en) * 2011-01-05 2019-11-21 Divx, Llc Adaptive Streaming Systems and Methods for Performing Trick Play
CN102740159A (zh) * 2011-03-31 2012-10-17 丛林网络公司 媒体文件存储格式和自适应传送系统
CN102883152A (zh) * 2011-07-14 2013-01-16 Nxp股份有限公司 具有适应性的媒体流传输
US20130282917A1 (en) * 2012-04-24 2013-10-24 Vid Scale, Inc. Method and apparatus for smooth stream switching in mpeg/3gpp-dash
CN104509119A (zh) * 2012-04-24 2015-04-08 Vid拓展公司 用于mpeg/3gpp-dash中平滑流切换的方法和装置
EP2785068A1 (en) * 2013-03-26 2014-10-01 Fujitsu Limited Video image data delivery device, method and system
CN105359544A (zh) * 2013-07-12 2016-02-24 苹果公司 数字视频流传输中的特技播放
CN105453582A (zh) * 2013-08-06 2016-03-30 虚拟电缆有限责任公司 一种在浏览器内播放媒体流的方法
CN106664437A (zh) * 2014-07-10 2017-05-10 英特尔公司 用于无线视频的自适应比特率流传输
WO2018185769A1 (en) * 2017-04-03 2018-10-11 Blink Ap Ltd. Smooth start playback of media
CN108650510A (zh) * 2018-05-10 2018-10-12 中南大学 视频的编码方法和装置、存储介质、电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KHALED DIAB，ET AL: "MASH: A rate adaptation algorithm for multiview video streaming over HTTP", 《IEEE INFOCOM 2017 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS》, 6 October 2017 (2017-10-06) *
金鑫: "基于DASH的移动流媒体自适应算法研究及应用", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, 15 June 2017 (2017-06-15) *

Also Published As

Publication number Publication date
US11997339B2 (en) 2024-05-28
US20230052666A1 (en) 2023-02-16
EP4091332A1 (en) 2022-11-23
WO2021144244A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
RU2765569C1 (ru) Оптимизация доставки звука для приложений виртуальной реальности
US8379851B2 (en) Optimized client side rate control and indexed file layout for streaming media
US10939148B2 (en) Playback synchronization among adaptive bitrate streaming clients
CA2844648C (en) Method and apparatus for adaptive transcoding of multimedia stream
CN110140170B (zh) 适配用于终端用户自由视点监控的分布式音频录制
US20100312828A1 (en) Server-controlled download of streaming media files
EP3247121B1 (en) Streaming media data transmission method, client and server
US9843825B1 (en) Distributed and synchronized media switching
WO2013004260A1 (en) Network-capacity optimized adaptive http streaming
KR20110138134A (ko) 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치
RU2598805C2 (ru) Способ для динамической адаптации частоты следования битов при приеме и соответствующий приемник
US9338204B2 (en) Prioritized side channel delivery for download and store media
CN109587514A (zh) 一种视频播放方法、介质和相关装置
CN106789976A (zh) 媒体文件的播放方法、服务端、客户端及系统
CN113014968A (zh) 一种基于强化学习的多用户动态码率视频传输方法及系统
CN114946192A (zh) 利用比特率切换自适应流式传输媒体内容
KR20020037124A (ko) 네트워크상에서 음성 및 영상 데이터 전송 장치 및 그 방법
KR20190048186A (ko) 적응적 스트리밍 서비스를 위한 다중 경로 기반 분할 전송 시스템 및 스트리밍 방법
KR20220012740A (ko) 통신 시스템에서 컨텐츠의 송수신을 제어하기 위한 방법 및 장치
RU2801698C2 (ru) Оптимизация доставки звука для приложений виртуальной реальности
CN106936808B (zh) Http流媒体传输方法及装置
KR101387166B1 (ko) 데이터 스트림을 전송하기 위한 장치, 방법 및 시스템
KR102597653B1 (ko) 무선 스트리밍 방법
TW202123720A (zh) 伺服器端自適性媒體串流
CN115695846A (zh) 一种连续隧道场景下优化自适应码率视频调度方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination