CN116438803A - 用于动态dash画中画流的方法和装置 - Google Patents

用于动态dash画中画流的方法和装置 Download PDF

Info

Publication number
CN116438803A
CN116438803A CN202280007306.2A CN202280007306A CN116438803A CN 116438803 A CN116438803 A CN 116438803A CN 202280007306 A CN202280007306 A CN 202280007306A CN 116438803 A CN116438803 A CN 116438803A
Authority
CN
China
Prior art keywords
picture
video stream
descriptor
video
preselected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280007306.2A
Other languages
English (en)
Inventor
伊拉吉·索达加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN116438803A publication Critical patent/CN116438803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6408—Unicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

可以提供用于在媒体流期间动态信号表示画中画视频的方法和装置。该方法可以包括：基于与第一主视频流相关联的第一角色值和与第二画中画视频流相关联的第二角色值确定视频数据是否包括第一主视频流和第二画中画视频流；确定指示第二画中画视频流被选择与第一主视频流一起在DASH媒体流中被信号表示的预选描述符；使用预选描述符将第一主视频流与第二画中画视频流合并为组合视频流；以及使用更新媒体呈现描述符(MPD)对预选描述符进行更新。

Description

用于动态DASH画中画流的方法和装置
相关申请的交叉引用
本申请要求于2021年10月5日提交的美国临时申请第63/252,398号，以及于2022年9月21日提交的美国申请第17/949,528号的优先权，上述美国临时申请和美国申请的内容在此通过引用整体明确地并入本申请中。
技术领域
本公开内容的实施方式涉及流媒体内容，并且更特别地，涉及根据运动图像专家组(MPEG)基于超文本传输协议的动态自适应流(DASH)对画中画内容进行流送。
背景技术
MPEG DASH提供了用于在IP网络上流送媒体内容的标准。在MPEG DASH中，DASH清单(DASH manifest)、媒体呈现描述符(media presentation descriptor，MPD)使得能够对各种类型的内容进行描述，但是未能在DASH中提供任何明确的对画中画进行信号表示(picture-in-picture signaling)。此外，相关领域中的隐式方法也未能提供用于对画中画进行信号表示的可互操作的方法或解决方案。
因此，需要使用显式扩展和现有DASH标准传送画中画媒体流的方法。
发明内容
本公开内容解决了一个或更多个技术问题。本公开内容包括用于使用DASH流实现画中画媒体内容的方法、处理、装置和非暂态计算机可读介质。此外，本公开内容的实施方式还涉及在流会话期间对画中画媒体内容的位置、大小、分辨率等进行动态地更新。
本公开内容的实施方式可以提供一种用于在基于HTTP的动态自适应流(DASH)媒体流期间动态信号表示(signaling)画中画视频的方法。该方法可以由处理器执行，并且可以包括基于与第一主视频流相关联的第一角色值和与第二画中画视频流相关联的第二角色值确定视频数据是否包括第一主视频流和第二画中画视频流；确定指示第二画中画视频流被选择与第一主视频流一起在DASH媒体流中被信号表示的预选描述符；使用预选描述符将第一主视频流与第二画中画视频流合并为组合视频流；以及使用更新媒体呈现描述符(MPD)对预选描述符进行更新。
本公开内容的实施方式可以提供一种用于在基于HTTP的动态自适应流(DASH)媒体流期间信号表示画中画视频的装置。该装置可以包括至少一个被配置成用于存储计算机程序代码的存储器；至少一个被配置成用于访问计算机程序代码并且按照计算机程序代码所指示的进行操作的处理器。计算机程序代码可以包括使至少一个处理器基于与第一主视频流相关联的第一角色值和与第二画中画视频流相关联的第二角色值确定视频数据是否包括第一主视频流和第二画中画视频流的第一确定代码；使至少一个处理器确定指示第二画中画视频流被选择与第一主视频流一起在DASH媒体流中被信号表示的预选描述符的第二确定代码；使至少一个处理器使用预选描述符将第一主视频流与第二画中画视频流合并为组合视频流的第一分组代码；以及使至少一个处理器使用更新媒体呈现描述符(MPD)对预选描述符进行更新的第一更新代码。
本公开内容的实施方式可以提供一种存储指令的非暂态计算机可读介质。指令可以包括一个或更多个指令，当所述一个或更多个指令由用于在基于HTTP的动态自适应流(DASH)媒体流期间信号表示画中画视频的装置的一个或更多个处理器执行时，使一个或更多个处理器：基于与第一主视频流相关联的第一角色值和与第二画中画视频流相关联的第二角色值确定视频数据是否包括第一主视频流和第二画中画视频流；确定指示第二画中画视频流被选择与第一主视频流一起在DASH媒体流中被信号表示的预选描述符；使用预选描述符将第一主视频流与第二画中画视频流合并为组合视频流；以及使用更新媒体呈现描述符(MPD)对预选描述符进行更新。
附图说明
所公开的主题的其他特征、性质和各种优点将从以下详细描述和附图中更加明显，在附图中：
图1是根据实施方式的通信系统的简化图示。
图2是根据实施方式的在流环境中部件的布局的示例图示。
图3是根据实施方式的DASH处理模型的简化框图。
图4是根据实施方式的画中画媒体设置的简化图示。
图5是根据实施方式的用于在媒体流期间动态信号表示画中画视频的示例性流程图图示。
图6是根据实施方式的计算机系统的简化图。
具体实施方式
下面所讨论的提出的特征可以单独使用或者以任何顺序组合使用。此外，实施方式可以由处理电路(例如，一个或更多个处理器或一个或更多个集成电路)实现。在一个示例中，一个或更多个处理器执行存储在非暂态计算机可读介质中的程序。
图1示出了根据本公开内容的实施方式的通信系统100的简化框图。通信系统100可以包括经由网络105相互连接的至少两个终端102和103。针对数据的单向传输，第一终端103可以在本地位置处对视频数据进行编码以用于经由网络105将编码视频数据传输至另一终端102。第二终端102可以从网络105接收另一终端的编码视频数据，对编码数据进行解码并且显示恢复的视频数据。单向数据传输在媒体服务应用等中会是常见的。
图1示出了被提供用于支持编码视频的双向传输的第二终端对101和104，例如，所述编码视频的双向传输可能在视频会议期间发生。针对数据的双向传输，每个终端101和104可以对在本地位置处所捕获的视频数据进行编码以用于经由网络105将编码视频数据传输至另一终端。每个终端101和104还可以接收由另一终端传输的编码视频数据，可以对编码数据进行解码，并且可以在本地显示装置处显示恢复的视频数据。
在图1中，终端101、102、103和104可以示出为服务器、个人计算机和智能手机，但是本公开内容的原则不限于此。本公开内容的实施方式可以应用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议装置。网络105表示在终端101、102、103和104之间传递编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络105可以在电路交换和/或分组交换的信道中交换数据。代表性网络包括电信网、局域网、广域网和/或因特网。出于本讨论的目的，除非在下文中解释，否则网络105的架构和拓扑结构对本公开内容的操作可以是不重要的。
图2作为示例示出了在流环境中视频编码器和解码器的布局。实施方式可以适用于其他启用了视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、记忆棒等的数字媒体上存储压缩的视频等。
流系统可以包括捕获子系统203，捕获子系统203可以包括创建例如未压缩的视频样本流213的视频源201，例如数字摄像装置。该样本流213在与编码视频比特流相比的情况下可以被强调为高数据量，并且可以由耦接至视频源201的编码器202进行处理。编码器202可以包括硬件、软件或其组合以启用或实现如下面更详细描述的实施方式的各方面。可以将在与样本流相比的情况下可以被强调为较低的数据量的编码视频比特流204存储在流服务器205上以供将来使用。一个或更多个流客户端212和207可以访问流服务器205以检索可以是编码视频比特流204的副本的编码视频比特流208和206。客户端212可以包括视频解码器211，它对进入的编码视频比特流208的副本进行解码，并且创建可以在显示器209或其他渲染装置上渲染的输出的视频样本流210。在一些流系统中，可以根据某些视频编码/压缩标准对编码视频比特流204、206和208进行编码。所述标准的示例在上面指出并在本文中进一步描述。
图3示出了样本DASH处理模型300，例如用于处理DASH和CMAF事件的样本客户端架构。在DASH处理模型300中，客户端的对媒体片段(例如，广告媒体片段和直播媒体片段)的请求可以基于清单(manifest)303中所描述的地址。清单303还描述了元数据轨道(metadata track)，客户端可以从元数据轨道访问元数据轨道的片段，对元数据轨道的片段进行解析并且将元数据轨道的片段发送到应用301。
清单303包括MPD事件或事件，并且带内事件和‘moof’解析器306可以对MPD事件片段或事件片段进行解析并将事件片段附加至事件和元数据缓冲区330。带内事件和‘moof’解析器306还可以获取媒体片段并将其附加至媒体缓冲区340。事件和元数据缓冲区330可以将事件和元数据信息发送到事件和元数据同步器和调度器335。事件和元数据同步器和调度器335可以将特定的事件调度到DASH播放器的控制、选择和启发式逻辑302，并且将应用相关的事件和元数据轨道调度到应用301。
根据一些实施方式，MSE可以包括管线，管线包括文件格式解析器350、媒体缓冲区340和媒体解码器345。MSE 320是媒体片段的逻辑缓冲区，在MSE 320处，可以基于媒体片段的呈现时间对媒体片段进行跟随(track)和排序。媒体片段可以包括但不限于与广告MPD相关联的广告媒体片段以及与直播MPD相关联的直播媒体片段。可以基于媒体片段的时间戳偏移量将每个媒体片段添加或附加至媒体缓冲区340，并且时间戳偏移量可以用于对媒体缓冲区340中的媒体片段进行排序。
由于本申请的实施方式可以针对的是从使用MPD链的两个或更多个非线性媒体源建立线性媒体源扩展(MSE)缓冲区，并且非线性媒体源可以是广告MPD和直播MPD，因此文件格式解析器350可以用于处理由包括在直播MPD中的直播媒体片段使用的不同的媒体和/或编解码器。在一些实施方式中，文件格式解析器可以基于直播媒体片段的编解码器、配置文件和/或级别发出改变类型。
只要媒体片段存在于媒体缓冲区340中，事件和元数据缓冲区330就维持相应的事件片段和元数据。样本DASH处理模型300可以包括定时的元数据轨道解析器325以记录与带内事件和MPD事件相关联的元数据。根据图3，MSE 320仅包括文件格式解析器350、媒体缓冲区340和媒体解码器345。事件和元数据缓冲区330以及事件和元数据同步器和调度器335不是MSE 320本机的，从而阻止MSE 320在本机处理事件以及将事件发送至应用。
根据一个方面，MPD是可以以分层组织包括媒体呈现的媒体呈现描述。MPD可包括一个或更多个时段序列，其中，每个时段(period)可以包括一个或更多个适应集(adaptionset)。MPD中的每个适应集可以包括一个或更多个表示(representation)，每个表示包括一个或更多个媒体片段(media segment)。这些一个或更多个媒体片段携载被编码、解码和/或播放的实际的媒体数据和相关联的元数据。根据本公开内容的实施方式，叠加视频可以指单个体验流或组合的体验流，或者可以指画中画(pip)视频流。
图4是示出画中画媒体呈现400的示例性图。
如图4所示，主图片405占据整个屏幕而叠加图片(画中画410)占据覆盖主图片的相应区域的屏幕的小区域。画中画(picture-in-picture，pip)的坐标由x、y、高度和宽度指示，其中，这些参数限定了画中画相对于主图片坐标的位置和大小。
在流的背景下，可以将主视频(或主图片405)和画中画视频(或画中画410)作为两个单独的流来传送。如果为独立的流，主视频(或主图片405)和画中画视频(或画中画410)可以由单独的解码器进行解码，并且然后组成在一起用于渲染。作为另一个实施方式，如果用于主视频的视频编解码器支持对流进行合并，则将画中画视频流与主视频流进行组合。在一些实施方式中，画中画视频流可以用画中画视频代替在主视频的覆盖区域中流送的主视频。然后，将单个和/或组合的流发送到解码器进行解码和渲染。
根据一个方面，如果主视频和画中画视频是相关的(例如标志主屏幕上所说内容的在屏幕的角落处的标志视频)，则可能需要改变主视频中的画中画视频的位置。作为示例，如果画中画的区域从背景变成前景，则可能需要改变画中画图片的位置。类似地，可能需要改变画中画图片的分辨率。另外，针对媒体呈现的某些时间段，可以不需要画中画图片。这些与流送画中画有关的动态改变未被DASH处理。另外，DASH也无法在不改变主视频流和画中画视频流的情况下处理位置和分辨率的这些动态改变。
本公开内容的实施方式与解决上面所提及的技术问题有关。根据实施方式，在可以对主视频和画中画视频进行独立解码然后组合的情况下，画中画在DASH中进行传送。根据另一个实施方式，在可以对主视频和画中画视频进行解码之前将它们组合到单个的流中并作为单个的流(在本文中也被称为“组合流”)一起进行解码的情况下，画中画在DASH中进行传送。
在对主视频和画中画视频进行独立解码的情况下画中画在DASH中的传送
可以使用DASH角色方案来标识画中画视频流和主视频流。根据一个方面，主视频流可以使用角色值(role value)“主”(“main”)而画中画视频流可以使用新的值“pip”或“画中画”(“picture-in-picture”)来标识相应的适应集。在一些实施方式中，角色属性的值(例如，“main”或者“pip”)与值“签名”(“signed”)无关，因为叠加的图片不一定总是“签名”视频。在视频是“签名”(“signed”)视频的情况下，两个值都可以用于信号表示对叠加视频的属性。
可以使用预选描述符(Preselection descriptor)将主视频流和画中画视频流分组(grouped)为单个体验。在一些实施方式中，画中画视频流适应集可以包括引用主视频流的适应集的预选描述符。
可以使用DASH标准(例如，23009-1附件H空间关系描述符(SRD))对画中画视频的位置进行信号表示。SRD描述符可以用于对画中画视频的位置和大小进行信号表示。SRD描述符使得能够限定相对于共同坐标系的x、y、宽度和高度。可以在主视频适应集和叠加视频适应集两者中使用该描述符来限定部件彼此之间的关系。可以用以下机制其中之一来实现位置更新和大小更新。
(1)MPD更新，通过在位置、大小和/或分辨率改变时引入新的时段来对SRD的值进行更新以用于对画中画的位置、大小、分辨率等进行更新；
(1)根据23009-1附件H使用包含坐标信息的元数据轨道。
在对主视频片段和画中画视频片段进行解码之前将它们与视频流合并的情况下画中画在DASH中的传送
根据实施方式，可以使用预选元素(Preselection element)将主视频流和画中画视频流分组为单个体验。在一些实施方式中，对主视频流和画中画视频流进行分组可以包括基于预选元素内的DASH角色方案来标识画中画视频流和主视频流。主视频流可以使用用于角色的“主”(“main”)值，而画中画视频流可以使用新的值“画中画”(“picture-in-picture”)或“pip”来标识相应的适应集。可以理解，角色值为“pip”或“画中画”(“picture-in-picture”)可以互换使用或者可以具有特定的指示。作为示例，使用“pip”可以指示独立解码随后再进行叠加。作为另一示例，使用“画中画”(“picture-in-picture”)可以指示分组到单个体验中随后再进行解码。
根据同一实施方式或另一实施方式，将主视频流和画中画视频流分组还可以包括可以被限定用于用叠加视频流替换主视频流的各部分的Preselection@order的新的值“pip”。另外，在一些实施方式中，可以添加新的属性Preselection@replacementRules以限定替换规则。作为示例，在使用的编解码器是VVC的情况下，@replacementRule可以包括子图片OD。@replacementRules属性的语义将是依赖于编解码器的。
可以限定MPD更新以插入新的时段以及用于对包括@replacementRules的预选元素的值进行更新。在实施方式中，MPD更新用于插入新的时段以及对预选元素的值进行更新，其中，在预选元素的值中可以限定画中画视频流与主视频流的合并。
本公开内容的优点是对DASH标准的简练且仅必要的扩展以动态地有效地执行对画中画进行信号表示。在实施方式中，可以将新的角色值“画中画”(“picture-in-picture”)(或其适当的版本)添加到DASH标准中以指示主视频流和画中画视频流的存在。在同一实施方式或另一实施方式中，可以将新的@order值“替换”(“replacement”)(或其适当的版本)添加到DASH标准中以指示画中画视频流可能需要替换主视频流的各部分。根据同一实施方式或另一实施方式，可以将名为@replacementRules的新的属性添加到DASH标准中以基于主视频流和画中画视频流的编解码器来限定一个或更多个替换规则。
本公开内容的实施方式可以涉及用于在DASH流中动态地对画中画视频以及画中画视频与主视频的关系进行信号表示的方法、系统和处理。在对画中画视频和主视频进行独立解码的情况下，具有特定值的角色属性可以用于对画中画视频流进行信号表示。在一些实施方式中，主视频可以具有角色值“主”(“main”)。在一些实施方式中，可以使用预选描述符来将画中画视频适应集连结至主视频适应集。在一些实施方式中，主视频上的画中画视频的位置和大小可以由主视频适应集和画中画视频适应集两者中的SRD描述符限定。可以使用MPD更新以及通过插入具有新的SRD值的新的时段来对画中画视频的位置和大小进行更新。在其他实施方式中，可以使用元数据轨道动态地传达和/或更新位置信息和大小信息。
本公开内容的实施方式可以涉及用于在对画中画视频和主视频进行解码之前对它们进行合并的情况下在DASH流中动态地对画中画视频以及画中画视频与主视频的关系进行信号表示的方法、系统和处理。在一些实施方式中，可以使用预选元素对主适应集和画中画适应集的组进行信号表示。可以在主视频具有角色值“主”的情况下使用具有特定值的角色属性对画中画视频流进行信号表示。在一些实施方式中，可以使用属性命令(order)的新的值对画中画应用进行信号表示，可以使用新的属性对在两个流被发送到解码器之前两个流如何进行合并进行限定。可以用可以插入新的时段的MPD更新来对画中画的位置和大小进行更新。在一些实施方式中，可以对限定合并规则的属性进行更新以反映主视频流的新区域应当被画中画流替换。
图5是用于在媒体流期间动态地对画中画视频进行信号表示的处理500的示例性流程图。
在操作510处，可以基于与第一主视频流和第二画中画视频流相关联的角色值确定视频数据是否包括第一主视频流和第二画中画视频流。
在操作515处，可以基于预选描述符将第一主视频流与第二画中画视频流合并为单个视频流，其中，预选描述符可以与第二画中画视频流相关联。
在一些实施方式中，可以基于与第一主视频流相关联的第一角色值是主值并且与第二画中画视频流相关联的第二角色值是画中画值确定第一主视频流和第二画中画视频流是否在分组之前被独立解码。然后，基于引用第一主视频流中的适应集的与第二画中画视频流相关联的预选描述符，将与适应集相关联的第一主视频内容与第二画中画视频内容分组为单个视频流。分组还可以包括使用空间关系描述符对第二画中画视频内容的位置、第二画中画视频内容的大小或第二画中画视频内容的分辨率进行信号表示。
在一些实施方式中，可以基于与第一主视频流相关联的第一角色值是主值并且与第二画中画视频流相关联的第二角色值是画中画值，在分组之前对第一主视频流和第二画中画视频流进行标识。然后，可以对预选描述符中的用于用第二画中画视频内容替换第一主视频内容的各部分的命令值(order value)进行限定，并且可以对预选描述符中的用于用第二画中画视频内容替换第一主视频内容的各部分的一个或更多个替换规则进行限定。可以基于预选描述符中的至少一个或更多个替换规则将第一主视频内容与第二画中画视频内容合并，其中，在对单个视频流进行解码之前执行合并。
在操作520处，可以使用更新媒体呈现描述符对预选描述符进行更新。基于第一主视频流和第二画中画视频流在分组之前被独立解码，可以基于更新MPD在空间关系描述符中对第二画中画视频内容的位置或第二画中画视频内容的大小进行更新。在一些实施方式中，可以基于包含坐标信息的元数据轨道在空间关系描述符中对第二画中画视频内容的位置或第二画中画视频内容的大小进行更新。
虽然图5示出了处理500的示例块，但是在实施方式中，处理500可以包括比图5中所描绘的块更多的块、更少的块、不同的块或不同布置的块。在实施方式中，可以根据需要以任何的数量或者顺序对处理500的任何块进行组合或布置。在实施方式中，处理500的两个或更多个块可以并行执行。
上面所描述的技术可以作为使用计算机可读指令并且物理地存储在一个或更多个计算机可读介质中的计算机软件来实现，或者由特别配置的一个或更多个硬件处理器来实现。例如，图6示出了适用于实现各种实施方式的计算机系统600。
可以使用任何合适的机器码或计算机语言对计算机软件进行编码，所述机器码或计算机语言可以经过汇编、编译、链接或类似机制以创建包括可以由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或者通过解释、微代码执行等执行的指令的代码。
指令可以在各种类型的计算机或其部件上执行，包括例如个人计算机、平板计算机、服务器、智能手机、游戏装置、物联网装置等。
图6中所示出的计算机系统600的部件本质上是示例性的并且不旨在暗示对实现本公开内容的实施方式的计算机软件的使用范围或功能的任何限制。部件的配置也不应当被解释为具有与计算机系统600的示例性实施方式中所示出的部件中的任何一个或部件的组合有关的任何依赖性或需求。
计算机系统600可以包括某些人机接口输入装置。这样的人机接口输入装置可以对由一个或更多个人类用户通过例如触觉输入(例如，按键、滑动、数据手套运动)、音频输入(例如，语音、击掌声)、视觉输入(例如，手势)、嗅觉输入的输入进行响应。还可以使用人机接口装置来捕获不一定与人类的有意识输入直接相关的某些媒体，例如音频(例如，语音、音乐、环境声)、图像(例如，扫描的图像、从静止图像摄像装置获得的摄影图像)、视频(例如，二维视频、包括立体视频的三维视频)。
输入人机接口装置可以包括以下装置中的一个或更多个(图中仅对每种装置中其中之一进行了描绘)：键盘601、鼠标602、触控板603、触摸屏610、操纵杆605、麦克风606、扫描仪608、摄像装置607。
计算机系统600还可以包括某些人机接口输出装置。这样的人机接口输出装置可以通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感官。这样的人机接口输出装置可以包括触觉输出装置(例如通过触摸屏610或操纵杆605的触觉反馈，但是还可以是不作为输入装置的触觉反馈装置)、音频输出装置(例如，扬声器609、耳机)、视觉输出装置(例如屏幕610，包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕，每种屏幕都具有或不具有触摸屏输入能力，每种屏幕都具有或不具有触觉反馈能力——其中一些可能能够通过诸如立体输出、虚拟现实眼镜、全息显示器和烟雾罐的手段输出二维视觉输出或三维以上的输出)和打印机。
计算机系统600还可以包括人类可访问的存储装置及其相关联的介质，例如包括具有CD/DVD 611或类似介质的CD/DVD ROM/RW 620的光学介质、指状驱动器622、可移动硬盘驱动器或固态驱动器623、诸如磁带和软盘的传统磁介质、诸如安全加密狗的基于ROM/ASIC/PLD的专用装置等。
本领域技术人员还应当理解，涉及本公开主题所使用的术语“计算机可读介质”不包括传输介质、载波或其他短暂信号。
计算机系统600还可以包括到一个或更多个通信网络698的接口699。例如，网络698可以是无线的、有线的、光学的。网络698还可以是局域的、广域的、城域的、车辆和工业的、实时的、延迟容忍的等。网络698的示例包括诸如以太网、无线局域网的局域网、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的有线电视或无线广域数字网络、包括控制器局域网总线技术(CANBus)的车辆和工业网络等。某些网络698通常需要附接至某些通用数据端口或外围总线(650和651)的外部网络接口适配器(例如，例如计算机系统600的USB端口)，其他网络698通常通过附接至下面所描述的系统总线集成到计算机系统600的核中(例如集成到PC计算机系统中的以太网接口或集成到智能手机计算机系统中的蜂窝网络接口)。计算机系统600可以使用这些网络698中的任何网络与其他实体进行通信。这样的通信可以是单向的、仅接收的(例如，广播电视)、单向仅发送的(例如，到某些CANbus装置的CANbus总线)或双向的，例如使用局域数字网络或广域数字网络与其他计算机系统进行通信。如上面所描述的，可以在每个所述网络和网络接口上使用某些协议和协议栈。
上述人机接口装置、人类可访问的存储装置以及网络接口可以附接至计算机系统600的核640。
核640可以包括一个或更多个中央处理单元(CPU)641、图形处理单元(GPU)642、图形适配器617、现场可编程门阵列(FPGA)643形式的专用可编程处理单元、用于某些任务的硬件加速器644等。这些装置连同只读存储器(ROM)645、随机存取存储器646、内部大容量存储器647(例如内部非用户可访问的硬盘驱动器、SSD等)一起可以通过系统总线648连接。在一些计算机系统中，系统总线648可以以一个或更多个物理插头的形式进行访问以使能够通过附加的CPU、GPU等进行扩展。外围装置可以直接附接至核的系统总线648，或者可以通过外围总线651附接。用于外围总线的架构包括PCI、USB等。
CPU 641、GPU 642、FPGA 643和加速器644可以执行某些指令，所述指令组合可以构成上述计算机代码。该计算机代码可以存储在ROM 645或RAM 646中。过渡性数据也可以存储在RAM 646中，而永久性数据可以存储在例如内部大容量存储器647中。可以通过使用缓存存储器来实现对存储器装置中的任何存储器装置的快速存储和检索，该缓存存储器可以与一个或更多个CPU 641、GPU 642、大容量存储器647、ROM 645、RAM 646等紧密地相关联。
计算机可读介质可以在其上具有用于执行各种计算机实现的操作的计算机代码。就本公开内容而言，介质和计算机代码可以是那些特别设计和构建的，或者其可以是计算机软件领域的技术人员所公知和可获得的种类。
作为示例而不是通过限制，由于处理器(包括CPU、GPU、FPGA、加速器等)执行体现在一个或更多个有形的计算机可读介质中的软件，具有所示出的架构的计算机系统600以及特别是核640可以提供功能。这样的计算机可读介质可以是与如上面所介绍的用户可访问的大容量存储器相关联的介质以及核640的具有非临时性本质的某些存储器，例如核内部的大容量存储器647或ROM 645。实现本公开内容的各种实施方式的软件可以存储在这样的装置中并由核640执行。根据特定需要，计算机可读介质可以包括一个或更多个存储装置或芯片。软件可以使核640以及特别是核640中的处理器(包括CPU、GPU、FPGA等)执行本文中所描述的特定处理或特定处理的特定部分，所述特定处理或特定处理的特定部分包括限定存储在RAM 646中的数据结构并根据由软件限定的处理对这样的数据结构进行修改。另外地或可替选地，由于硬连线在电路中或以其他方式体现在电路中的逻辑(例如，加速器644)可以代替软件或者与软件一起操作以执行本文中所描述的特定处理或特定处理的特定部分，计算机系统可以提供功能。对软件的引用可以包括逻辑，并且在适当的情况下对逻辑的引用可以包括软件。对计算机可读介质的引用可以包括存储用于执行的软件的电路(例如集成电路(IC))、体现用于执行的逻辑的电路，或者在适当情况下包括两者。本公开内容包括硬件和软件的任何适当的组合。
虽然本公开内容已经描述了若干示例性实施方式，但是存在落入本公开内容的范围内的改变、排列组合和各种替代性等同物。因此应当理解，本领域的技术人员将能够设计许多系统和方法，虽然所述系统和方法在本文中没有进行明确地示出或描述，但是其体现了本公开内容的原则并且因此在本公开内容的精神和范围内。

Claims (20)

1.一种用于在基于HTTP的动态自适应流(DASH)媒体流期间动态信号表示画中画视频的方法，所述方法由一个或更多个处理器执行，所述方法包括：
基于与第一主视频流相关联的第一角色值和与第二画中画视频流相关联的第二角色值确定视频数据是否包括所述第一主视频流和所述第二画中画视频流；
确定指示所述第二画中画视频流被选择与所述第一主视频流一起在所述DASH媒体流中被信号表示的预选描述符；
使用所述预选描述符将所述第一主视频流与所述第二画中画视频流合并为组合视频流；以及
使用更新媒体呈现描述符(MPD)对所述预选描述符进行更新。
2.根据权利要求1所述的方法，其中，将所述第一主视频流与所述第二画中画视频流合并为所述组合视频流包括：
基于与所述第一主视频流相关联的所述第一角色值是主值并且与所述第二画中画视频流相关联的所述第二角色值是画中画值或特定值，确定所述第一主视频流和所述第二画中画视频流在所述合并之前被独立解码；
基于引用所述第一主视频流中的适应集的所述预选描述符，将与所述适应集相关联的第一主视频内容与第二画中画视频内容合并为所述组合视频流；以及
使用空间关系描述符对所述第二画中画视频内容的位置、所述第二画中画视频内容的大小或所述第二画中画视频内容的分辨率进行信号表示。
3.根据权利要求2所述的方法，其中，使用所述更新MPD对所述预选描述符进行更新包括：
基于所述更新MPD对所述空间关系描述符中的所述第二画中画视频内容的位置或所述第二画中画视频内容的大小进行更新。
4.根据权利要求2所述的方法，其中，使用所述更新MPD对所述预选描述符进行更新包括：
基于包含坐标信息的元数据轨道对所述空间关系描述符中的所述第二画中画视频内容的位置或所述第二画中画视频内容的大小进行更新。
5.根据权利要求1所述的方法，其中，将所述第一主视频流与所述第二画中画视频流合并为所述组合视频流包括：
基于与所述第一主视频流相关联的所述第一角色值是主值并且与所述第二画中画视频流相关联的所述第二角色值是画中画值或特定值，在所述合并之前对所述第一主视频流和所述第二画中画视频流进行标识；
在所述预选描述符中对用于用第二画中画视频内容替换第一主视频内容的各部分的命令值进行限定；以及
在所述预选描述符中对用于用所述第二画中画视频内容替换所述第一主视频内容的各部分的一个或更多个替换规则进行限定。
6.根据权利要求5所述的方法，其中，将所述第一主视频流与所述第二画中画视频流合并为所述组合视频流还包括：
基于所述预选描述符中的至少所述一个或更多个替换规则，将所述第一主视频内容与所述第二画中画视频内容合并，其中，所述合并在对所述组合视频流进行解码之前执行。
7.根据权利要求5所述的方法，其中，使用更新MPD对所述预选描述符进行更新包括：
基于所述更新MPD对所述预选描述符中的所述一个或更多个替换规则进行更新。
8.根据权利要求7所述的方法，其中，所述一个或更多个替换规则是依赖于编解码器的。
9.一种用于在基于HTTP的动态自适应流(DASH)媒体流期间信号表示画中画视频的装置，所述装置包括：
被配置成用于存储计算机程序代码的至少一个存储器；
被配置成用于访问所述计算机程序代码并且按照所述计算机程序代码所指示的进行操作的至少一个处理器，所述计算机程序代码包括：
第一确定代码，用于使所述至少一个处理器基于与第一主视频流相关联的第一角色值和与第二画中画视频流相关联的第二角色值确定视频数据是否包括所述第一主视频流和所述第二画中画视频流；
第二确定代码，用于使所述至少一个处理器确定指示所述第二画中画视频流被选择与所述第一主视频流一起在所述DASH媒体流中被信号表示的预选描述符；
第一分组代码，用于使所述至少一个处理器使用所述预选描述符将所述第一主视频流与所述第二画中画视频流合并为组合视频流；以及
第一更新代码，用于使所述至少一个处理器使用更新媒体呈现描述符(MPD)对所述预选描述符进行更新。
10.根据权利要求9所述的装置，其中，所述第一分组代码包括：
第三确定代码，被配置成：使所述至少一个处理器基于与所述第一主视频流相关联的所述第一角色值是主值并且与所述第二画中画视频流相关联的所述第二角色值是画中画值或特定值，确定所述第一主视频流和所述第二画中画视频流在所述合并之前被独立解码；
第二分组代码，被配置成：使所述至少一个处理器基于引用所述第一主视频流中的适应集的所述预选描述符，将与所述适应集相关联的第一主视频内容与第二画中画视频内容合并为所述组合视频流；以及
信号表示代码，被配置成：使所述至少一个处理器使用空间关系描述符对所述第二画中画视频内容的位置、所述第二画中画视频内容的大小或所述第二画中画视频内容的分辨率进行信号表示。
11.根据权利要求10所述的装置，其中，所述第一更新代码包括：
第二更新代码，用于使所述至少一个处理器基于所述更新MPD对所述空间关系描述符中的所述第二画中画视频内容的位置或所述第二画中画视频内容的大小进行更新。
12.根据权利要求10的装置，其中，所述第一更新代码包括：
第三更新代码，用于使所述至少一个处理器基于包含坐标信息的元数据轨道对所述空间关系描述符中的所述第二画中画视频内容的位置或所述第二画中画视频内容的大小进行更新。
13.根据权利要求9所述的装置，其中，所述第一分组代码包括：
第一标识代码，被配置成：使所述至少一个处理器基于与所述第一主视频流相关联的所述第一角色值是主值并且与所述第二画中画视频流相关联的所述第二角色值是画中画值或特定值，在所述合并之前标识所述第一主视频流和所述第二画中画视频流；
第一限定代码，被配置成：使所述至少一个处理器在所述预选描述符中对用于用第二画中画视频内容替换第一主视频内容的各部分的命令值进行限定；以及
第二限定代码，被配置成：使所述至少一个处理器在所述预选描述符中对用于用所述第二画中画视频内容替换所述第一主视频内容的各部分的一个或更多个替换规则进行限定。
14.根据权利要求13所述的装置，其中，所述第一分组代码还包括：
合并代码，被配置成：使所述至少一个处理器基于所述预选描述符中的至少所述一个或更多个替换规则将所述第一主视频内容与所述第二画中画视频内容合并，其中，所述合并在对所述组合视频流进行解码之前执行。
15.根据权利要求13所述的装置，其中，所述第一更新代码包括：
第四更新代码，被配置成使所述至少一个处理器基于所述更新MPD对所述预选描述符中的所述一个或更多个替换规则进行更新。
16.一种存储指令的非暂态计算机可读介质，所述指令包括：一个或更多个指令，当所述一个或更多个指令由用于在基于HTTP的动态自适应流(DASH)媒体流期间信号表示画中画视频的装置的一个或更多个处理器执行时，使所述一个或更多个处理器：
基于与第一主视频流相关联的第一角色值和与第二画中画视频流相关联的第二角色值确定视频数据是否包括所述第一主视频流和所述第二画中画视频流；
确定指示所述第二画中画视频流被选择与所述第一主视频流一起在所述DASH媒体流中被信号表示的预选描述符；
使用所述预选描述符将所述第一主视频流与所述第二画中画视频流合并为组合视频流；以及
使用更新媒体呈现描述符(MPD)对所述预选描述符进行更新。
17.根据权利要求16所述的非暂态计算机可读介质，其中，将所述第一主视频流与所述第二画中画视频流合并为所述组合视频流包括：
基于与所述第一主视频流相关联的所述第一角色值是主值并且与所述第二画中画视频流相关联的所述第二角色值是画中画值或特定值，确定所述第一主视频流和所述第二画中画视频流在所述合并之前被独立解码；
基于引用所述第一主视频流中的适应集的所述预选描述符，将与所述适应集相关联的第一主视频内容与第二画中画视频内容合并为所述组合视频流；以及
使用空间关系描述符对第二画中画视频内容的位置、所述第二画中画视频内容的大小或所述第二画中画视频内容的分辨率进行信号表示。
18.根据权利要求17所述的非暂态计算机可读介质，其中，使用所述更新MPD对所述预选描述符进行更新包括：
基于所述更新MPD对所述空间关系描述符中的所述第二画中画视频内容的位置或所述第二画中画视频内容的大小进行更新。
19.根据权利要求16所述的非暂态计算机可读介质，其中，将所述第一主视频流与所述第二画中画视频流合并为所述组合视频流包括：
基于与所述第一主视频流相关联的所述第一角色值是主值并且与所述第二画中画视频流相关联的所述第二角色值是画中画值或特定值，在所述合并之前标识所述第一主视频流和所述第二画中画视频流；
在所述预选描述符中对用于用第二画中画视频内容替换第一主视频内容的各部分的命令值进行限定；以及
在所述预选描述符中对用于用所述第二画中画视频内容替换所述第一主视频内容的各部分的一个或多个替换规则进行限定。
20.根据权利要求19所述的非暂态计算机可读介质，其中，将所述第一主视频流与所述第二画中画视频流合并为所述组合视频流还包括：
基于所述预选描述符中的至少所述一个或更多个替换规则，将所述第一主视频内容与所述第二画中画视频内容合并，其中，所述合并在对所述组合视频流进行解码之前执行。
CN202280007306.2A 2021-10-05 2022-09-23 用于动态dash画中画流的方法和装置 Pending CN116438803A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163252398P 2021-10-05 2021-10-05
US63/252,398 2021-10-05
US17/949,528 US20230108426A1 (en) 2021-10-05 2022-09-21 Method and apparatus for dynamic dash picture-in-picture streaming
US17/949,528 2022-09-21
PCT/US2022/044499 WO2023059452A1 (en) 2021-10-05 2022-09-23 Method and apparatus for dynamic dash picture-in-picture streaming

Publications (1)

Publication Number Publication Date
CN116438803A true CN116438803A (zh) 2023-07-14

Family

ID=85773991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280007306.2A Pending CN116438803A (zh) 2021-10-05 2022-09-23 用于动态dash画中画流的方法和装置

Country Status (6)

Country Link
US (1) US20230108426A1 (zh)
EP (1) EP4226636A4 (zh)
JP (1) JP2024513445A (zh)
KR (1) KR20230131911A (zh)
CN (1) CN116438803A (zh)
WO (1) WO2023059452A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230018718A1 (en) * 2021-06-30 2023-01-19 Lemon Inc. Signaling Replacement of Video Data Units in a Picture-in-Picture Region

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3092806A4 (en) * 2014-01-07 2017-08-23 Nokia Technologies Oy Method and apparatus for video coding and decoding
WO2016182371A1 (ko) * 2015-05-12 2016-11-17 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US20180270515A1 (en) * 2015-10-01 2018-09-20 Vid Scale, Inc. Methods and systems for client interpretation and presentation of zoom-coded content
WO2019007477A1 (en) * 2017-07-03 2019-01-10 Telefonaktiebolaget Lm Ericsson (Publ) 360-DEGREE PERSONALIZED VIDEO DISTRIBUTION METHODS
US11665219B2 (en) * 2017-07-10 2023-05-30 Qualcomm Incorporated Processing media data using a generic descriptor for file format boxes

Also Published As

Publication number Publication date
WO2023059452A1 (en) 2023-04-13
EP4226636A1 (en) 2023-08-16
EP4226636A4 (en) 2023-10-04
JP2024513445A (ja) 2024-03-25
US20230108426A1 (en) 2023-04-06
KR20230131911A (ko) 2023-09-14

Similar Documents

Publication Publication Date Title
KR20220131314A (ko) 미디어 스트리밍을 위한 방법 및 장치
CN116438803A (zh) 用于动态dash画中画流的方法和装置
US11838602B2 (en) MPD chaining in a live CMAF/DASH player using W3C media source and encrypted extensions
JP2023519240A (ja) Ｈｔｔｐによる動的適応ストリーミングのための方法及び装置
US11799943B2 (en) Method and apparatus for supporting preroll and midroll during media streaming and playback
JP7477645B2 (ja) Ｐｒｏｃｅｓｓ＠ａｐｐｅｎｄおよびｐｒｏｃｅｓｓ＠ｐｌａｙモードを使用してメディアと共にｄａｓｈおよびｃｍａｆインバンドイベントを処理するためのｗ３ｃメディア拡張
US11973820B2 (en) Method and apparatus for mpeg dash to support preroll and midroll content during media playback
US20230224557A1 (en) Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
US20240129537A1 (en) Method and apparatus for signaling cmaf switching sets in isobmff
KR20220116546A (ko) Http를 통한 동적 적응 스트리밍을 위한 방법 및 장치
KR20230006835A (ko) Dash 및 cmaf 대역내 이벤트를 프로세싱하기 위한 확장된 w3c 미디어 확장

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40090337

Country of ref document: HK