CN112995596A - 全景视频传输方法、装置、电子设备和存储介质 - Google Patents

全景视频传输方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112995596A
CN112995596A CN202110190056.8A CN202110190056A CN112995596A CN 112995596 A CN112995596 A CN 112995596A CN 202110190056 A CN202110190056 A CN 202110190056A CN 112995596 A CN112995596 A CN 112995596A
Authority
CN
China
Prior art keywords
component
video
functional component
functional
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110190056.8A
Other languages
English (en)
Other versions
CN112995596B (zh
Inventor
王飞
邢刚
蔡卫勇
陈旻
柳建龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110190056.8A priority Critical patent/CN112995596B/zh
Publication of CN112995596A publication Critical patent/CN112995596A/zh
Application granted granted Critical
Publication of CN112995596B publication Critical patent/CN112995596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种全景视频传输方法、装置、电子设备和存储介质，其中方法包括：确定功能组件职责链，所述功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立；基于所述功能组件职责链，进行全景视频传输。本发明提供的方法、装置、电子设备和存储介质，基于动态调整的功能组件职责链进行全景视频传输，保证全景视频传输方式能够灵活适应外部环境信息，从而提升用户观看体验。此外，相互独立的候选功能组件的设置，使得系统可以根据需求随时在功能组件职责链中增加功能组件从而实现新功能的添加实现，由此保证全景视频传输具备良好的功能扩展性。

Description

全景视频传输方法、装置、电子设备和存储介质
技术领域
本发明涉及全景视频技术领域，尤其涉及一种全景视频传输方法、装置、电子设备和存储介质。
背景技术
全景视频，即360度全景视频或沉浸式视频。全景视频是将多个角度的图像合成全景图像，并将多个帧的全景图像组成全景视频。用户在观看全景视频时，可以上下左右任意更改观看角度，从而获得更好的观看体验。
考虑到分辨率较高的情况下，全景视频流的传输需要占用较大的带宽，而普通家庭带宽无法满足高清全景视频流的传输需求，目前全景视频的传输播放通常是通过视场(Field of View，FOV)传输方案实现的。FOV传输方案是将原始全景视频处理为高清分块视频和低清360度全景视频，根据用户当前视角朝向只传输当前视角部分高清块和一路低清全景。上述传输方案多适用于外部环境相对稳定的情况，对于外部环境不稳定的情况，FOV传输方案无法动态调整，直接影响用户的观看效果。
发明内容
本发明提供一种全景视频传输方法、装置、电子设备和存储介质，用以解决现有的全景视频传输仅适用外部环境相对稳定的情况，灵活性差的问题。
本发明提供一种全景视频传输方法，包括：
确定功能组件职责链，所述功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立；
基于所述功能组件职责链，进行全景视频传输。
根据本发明提供的一种全景视频传输方法，所述功能组件职责链包括下载组件、解封装组件、拉流控制组件、解码组件和视场输出组件；
所述下载组件用于下载目标视频，所述目标视频的参数是基于所述外部环境信息确定的。
根据本发明提供的一种全景视频传输方法，当存在至少两路目标视频时，所述功能组件职责链还包括拼接组件，所述拼接组件用于拼接同一时间戳下的所有视频分片。
根据本发明提供的一种全景视频传输方法，所述基于所述功能组件职责链，进行全景视频传输，包括：
基于所述功能组件职责链中各功能组件之间的数据流向，顺序调度各功能组件执行对应的组件功能，进行全景视频传输。
根据本发明提供的一种全景视频传输方法，所述基于所述功能组件职责链中各功能组件之间的数据流向，顺序调度各功能组件执行对应的组件功能，进行全景视频传输，包括：
调度所述功能组件职责链中的下载组件下载目标媒体信息；
调度所述功能组件职责链中的拉流控制组件对所述目标媒体信息进行解析并输出各路目标视频的分片信息；
调度所述下载组件基于对应分片信息下载各路目标视频的视频分片；
调度所述功能组件职责链中的各解封装组件对所述各路目标视频的视频分片解封装；
调度所述功能组件职责链中的拼接组件拼接同一时间戳下的所有视频分片，并输出各时间戳下的全景数据；
调度所述功能组件职责链中的解码组件对各时间戳下的全景数据进行解码；
调度所述功能组件职责链中的视场输出组件将解码后的各时间戳下的全景数据输出至视频接收端。
根据本发明提供的一种全景视频传输方法，所述基于所述功能组件职责链中各功能组件之间的数据流向，顺序调度各功能组件执行对应的组件功能，进行全景视频传输，还包括：
调度所述视场输出组件进行视角切换判断，并在发生视角切换时输出视角切换事件；
基于所述视角切换事件控制所述拼接组件、拉流控制组件和解封装组件停止高清分片处理；
调度所述拉流控制组件基于所述视角切换事件的目标视角确定视角切换后的高清视频的分片信息；
调度所述下载组件基于视角切换后的高清视频的分片信息下载视角切换后的高清视频的视频分片；
调度所述解封装组件基于所述视角切换事件定位所述视频分片中的切换时刻后最近的视频帧，生成切换完成事件，并以所述最近的视频帧为起始进行解封装；
基于所述切换完成事件控制所述拼接组件进入高低清拼接模式。
根据本发明提供的一种全景视频传输方法，基于所述视角切换事件控制所述拼接组件停止高清分片处理，包括：
基于所述视角切换事件控制所述拼接组件进入低清拼接模式，所述低清拼接模型下所述拼接组件拼接同一时间戳下的所有低清视频分片，并输出各时间戳下的全景数据。
本发明提供一种全景视频传输装置，包括：
组件组装模块，用于确定功能组件职责链，所述功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立；
组件调度模块，用于基于所述功能组件职责链，进行全景视频传输。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述全景视频传输方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述全景视频传输方法的步骤。
本发明提供的全景视频传输方法、装置、电子设备和存储介质，通过设置相互独立的候选功能组件，使得候选功能组件可以根据外部环境信息的变化任意组合构建功能组件职责链。基于动态调整的功能组件职责链进行全景视频传输，保证全景视频传输方式能够灵活适应外部环境信息，从而提升用户观看体验。此外，相互独立的候选功能组件的设置，使得系统可以根据需求随时在功能组件职责链中增加功能组件从而实现新功能的添加实现，由此保证全景视频传输具备良好的功能扩展性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的全景视频传输方法的流程示意图之一；
图2是本发明实施例提供的功能组件职责链示意图之一；
图3是本发明实施例提供的功能组件职责链示意图之二；
图4是本发明实施例提供的基于功能组件职责链的全景视频传输方法的流程示意图；
图5是本发明实施例提供的功能组件职责链中各功能组件的交互序列图；
图6是本发明实施例提供的基于功能组件职责链的视角切换方法的流程示意图；
图7本发明实施例提供的视角切换时功能组件职责链中各功能组件的交互序列图；
图8是本发明提供的全景视频传输方法的流程示意图之二；
图9是本发明实施例提供的全景视频传输装置的结构示意图；
图10是本发明实施例提供的全景视频传输系统的结构示意图；
图11是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前基于FOV的全景视频传输方案多适用于外部环境相对稳定的情况，对于外部环境不稳定的情况，传输方案无法动态调整，灵活性差，可能直接影响用户的观看效果。针对这一问题，本发明实施例提供了一种全景视频传输方法，以实现更加灵活的全景视频传输。
图1是本发明提供的全景视频传输方法的流程示意图，如图1所示，该方法包括：
步骤110，确定功能组件职责链，功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立。
步骤120，基于功能组件职责链，进行全景视频传输。
具体地，在全景视频传输场景下，外部环境信息可以是视频接收端的网络环境，也可以是视频接收端的软硬件条件。此处所指的网络环境可以是网络带宽、网络下载速率、网络延迟时间、丢包率等，软硬件条件可以是视频接收端的数据处理能力、设备能耗状态、当前支持的最高分辨率、用户指定的最低分辨率等。不同的外部环境信息，可以对应不同的全景视频传输方案，例如在视频接收端网络条件极佳且用户指定的最低分辨率较高的情况下，可以直接传输高清全景视频，在网络条件一般但用户指定的最低分辨率较高的情况下，可以同时传输低清全景视频和当前视角的高清视频块，在视频接收端网络条件极差或者设备剩余电量很低的情况下，可以仅传输低清全景视频，本发明实施例对此不作具体限定。
候选功能组件是针对全景视频传输场景，以功能为单位对全景视频传输方案整体进行拆分所得到的功能组件，每个候选功能组件均可以是一个子程序或动态库的形式存在。每个候选功能组件实现一个独立的功能，候选功能组件之间没有耦合关系，每个候选功能组件均可以独立运行。此外，每个候选功能组件均对外提供一组标准的注册入口、运行参数配置入口、调度执行入口、事件处理入口和输入输出数据流类型约束配置等，以便统一调度执行。
考虑到不同的外部环境信息所适应的全景视频传输方案不尽相同，可以针对不同的外部环境信息，从各候选功能组件中选取适应外部环境信息的传输方案中需要实现的功能所对应的功能组件，并根据需求设置选取得到各功能组件之间的数据流向，从实现功能组件职责链的构建，通过功能组件职责链的应用实现适应当前外部环境信息的全景视频传输。
进一步地，功能组件职责链是包含了至少一个功能组件以及功能组件之间执行次序的动态链条，当外部环境信息发生变化时，功能组件职责链中包含的功能组件可以随之增减，功能组件之间的执行次序也可以随之调动，功能组件职责链变化的灵活性使得全景视频传输方案的执行可以满足实时变化的外部环境信息的需求，
本发明实施例提供的方法，通过设置相互独立的候选功能组件，使得候选功能组件可以根据外部环境信息的变化任意组合构建功能组件职责链。基于动态调整的功能组件职责链进行全景视频传输，保证全景视频传输方式能够灵活适应外部环境信息，从而提升用户观看体验。此外，相互独立的候选功能组件的设置，使得系统可以根据需求随时在功能组件职责链中增加功能组件从而实现新功能的添加实现，由此保证全景视频传输具备良好的功能扩展性。
基于上述任一实施例，功能组件职责链包括下载组件、解封装组件、拉流控制组件、解码组件和视场输出组件；
下载组件用于下载目标视频，目标视频的参数是基于外部环境信息确定的。
具体地，通常为了实现全景视频传输，功能组件职责链中需要包含下载组件、解封装组件、拉流控制组件、解码组件和视场输出组件，上述功能组件均是从候选功能组件中选取得到的，且在功能组件职责链中上述功能组件之间还存在根据各自的输入输出数据流类型约束配置的数据流向关系。例如，图2是本发明实施例提供的功能组件职责链示意图之一，图2示出了功能组件职责链中各功能组件之间的数据流向关系。
其中，下载组件21用于下载目标媒体信息，此处的目标媒体信息即需要下载的目标视频的媒体分片的相关信息，例如可以是MPD(Media Presentation Description)索引文件，MPD可以包含视频接收端向服务端获取视频分片进行解复用、解码与流媒体服务所需的详细信息。
下载组件21输出的目标媒体信息流入拉流控制组件23。拉流控制组件23用于从目标媒体信息中解析获取需要下载的目标视频的分片信息从而进行拉流下载控制。拉流控制组件23可以是基于DASH(dynamic adaptive streaming over HTTP，动态自适应流传输)技术实现的。
拉流控制组件23输出的目标视频的分片信息流入下载组件21。下载组件21还用于根据分片信息下载目标视频的视频分片。
下载组件21输出的目标视频的视频分片流入解封装组件22。解封装组件22用于解封装基本媒体文件格式，此处具体用于对下载所得的视频分片进行解封装。解封装组件22可以是ISOBMFF(ISO base media file format)，用于解封装ISO基本媒体文件格式。
解封装组件22输出的解封装后的目标视频的视频分片，流入解码组件24。解码组件24用于对解封装后的视频分片进行解码，并输出原始视频码流。例如，对应经HEVC编码的数据流，可以应用HEVC解码组件进行解码。
解码组件24输出的解码后的视频流流入视场输出组件25。视场输出组件25用于将解码后的视频流输出至视频接收端。此外，视场输出组件25还可以针对视频接收端进行视角切换计算，和/或在将视频流输出之前，对视频流进行渲染。
需要说明的是，下载组件在用于目标视频的视频分片下载时，与解封装组件一一对应，每路目标视频对应的下载组件均可以对应一个解封装组件用于对该路目标视频的视频分片进行解封装。
在全景视频传输的过程中，外部环境信息与全景视频传输所需的目标视频的路数，以及各路目标视频的参数相关联。例如需要下载几路目标视频，各路目标视频是全景视频还是当前视角的视频块，各路目标视频是高清视频还是低清视频，均需要参考外部环境信息确定。
基于上述任一实施例，图3是本发明实施例提供的功能组件职责链示意图之二，如图3所示，当存在至少两路目标视频时，功能组件职责链还包括拼接组件26，拼接组件26用于拼接同一时间戳下的所有视频分片。
具体地，当仅存在一路需要下载的目标视频时，单路视频不存在拼接需求，功能组件职责链中可以不包含拼接组件26。
当存在至少两路需要下载的目标视频时，需要将不同目标视频中同一时间戳的数据拼接起来作为完整的帧数据输出。该种情况下，各下载组件21输出的各路目标视频的视频分片在经过对应的解封装组件22解封装后，流入拼接组件26。拼接组件26在收齐同一时间戳的所有视频分片后，对同一时间戳下的视频分片进行拼接，并输出该时间戳下完整的帧数据。此后，拼接组件26输出的该时间戳下完整的帧数据流入解码组件24进行解码。
基于上述任一实施例，步骤120包括：
基于功能组件职责链中各功能组件之间的数据流向，顺序调度各功能组件执行对应的组件功能，进行全景视频传输。
具体地，在确定功能组件职责链后，即可根据功能组件职责链中包含的各功能组件之间的数据流向，确定功能组件职责链中各功能组件之间的执行顺序，从而根据执行顺序，将功能组件职责链中前一功能组件输出的数据作为当前功能组件的输入，调度当前功能组件执行对应的组件功能，得到当前功能组件输出的数据，作为下一功能组件的输入。需要说明的是，此处所指的前一功能组件、当前功能组件和下一功能组件均为功能组件职责链中的功能组件，且“前一”、“当前”和“下一”是根据功能组件之间的数据流向确定的，前一功能组件的输出即当前功能组件的输入，当前功能组件的输出即下一功能组件的输入。
进一步地，在进行功能组件职责链中各功能组件的调度时，可以将当前需要调度的功能组件加入任务队列中，由此使得任务队列中的功能组件的排列顺序与功能组件职责链中各功能组件的执行顺序一致，可以直接根据任务队列中的排列顺序实现各功能组件的顺序调度执行，直至任务队列中的所有功能组件均执行完毕。
基于上述任一实施例，图4是本发明实施例提供的基于功能组件职责链的全景视频传输方法的流程示意图，如图4所示，步骤120包括：
步骤121，调度功能组件职责链中的下载组件下载目标媒体信息。
具体地，可以通过解析视频接收端输入的目标视频的URL(Uniform ResourceLocator，统一资源定位器)，确定下载目标，并根据下载目标将功能组件职责链中的下载组件加入任务队列，并从任务队列中调度执行下载组件，使得下载组件能够执行http下载任务，下载目标媒体信息。此处的目标媒体信息可以是由MPD索引文件组装的MPD数据包。
步骤122，调度功能组件职责链中的拉流控制组件对目标媒体信息进行解析并输出各路目标视频的分片信息。
具体地，在得到信息下载组件输出的目标媒体信息后，可以查询功能组件职责链，将拉流控制组件加入任务队列，并从任务队列中调度执行拉流控制组件进行拉流，从而读取输入的目标媒体信息，并从中解析出需要下载的各路目标视频的分片信息。进一步地，拉流控制组件可以读取并解析MPD数据包，从而得到MPD索引文件，并从MPD索引文件中得到需要下载的高低清视频的分片文件信息，即分片信息。
步骤123，调度下载组件基于对应分片信息下载各路目标视频的视频分片。
具体地，在得到各路目标视频的分片信息后，可以从任务队列中调度执行下载组件进行目标视频的视频分片下载。
步骤124，调度功能组件职责链中的各解封装组件对各路目标视频的视频分片解封装。
具体地，在得到各路目标视频的视频分片后，可以查询功能组件职责链，将各路目标视频对应的解封装组件加入任务队列，并从任务队列中调度执行各解封组件对视频分片进行解封装。
步骤125，调度功能组件职责链中的拼接组件拼接同一时间戳下的所有视频分片，并输出各时间戳下的全景数据。
具体地，在得到解封装后的各路目标视频的视频分片之后，可以查询功能组件职责链，将拼接组件加入任务队列，并从任务队列中调度执行拼接组件，使得拼接组件在收集齐同一时间戳下所有目标视频的视频分片后进行拼接，从而示出对应时间戳下的全景数据。进一步地，拼接组件在进行拼接时，可以按照各目标视频的视频分片的tile进行拼接。
步骤126，调度功能组件职责链中的解码组件对各时间戳下的全景数据进行解码。
具体地，在得到各时间戳下的全景数据后，可以查询功能组件职责链，将解码组件加入任务队列，并从任务队列中调度执行解码组件，以使得解码组件可以对各时间戳下的全景数据进行解码，输出解码后的原始码流数据。
步骤127，调度功能组件职责链中的视场输出组件将解码后的各时间戳下的全景数据输出至视频接收端。
具体地，在得到解码后的各时间戳下的全景数据后，可以查询功能组件职责链，将视场输出组件加入任务队列，并从任务队列中调度执行视场输出组件，以使得视场输出组件能够将解码后的各时间戳下的全景数据输出至视频接收端。在此过程中，视场输出组件还可以对全景数据进行渲染。
需要说明的是，以上调度执行过程中，各功能组件的调度执行由系统根据功能组件职责链进行查询调度，各功能组件之间独立，功能组件只负责对应组件功能的执行和输出，与上下游的功能组件以及执行顺序无关。因此在全景视频传输过程中，以灵活地往功能组件职责链中添加或删除功能组件，极大方便了全景视频传输系统的扩展。
基于上述任一实施例，图5是本发明实施例提供的功能组件职责链中各功能组件的交互序列图，如图5所示，步骤120包括：
步骤301：调度下载组件到CDN服务器下载包含目标媒体信息的MPD文件。
步骤302：将下载组件输出的下载完成的MPD文件传输到拉流控制组件。
步骤303：调度拉流控制组件读取并解析MPD文件，获取高低清媒体分片播放文件列表，即各路目标视频的分片信息。
步骤304：将拉流控制组件输出的下载高/低清分片请求事件传输到下载组件，此处下载高/低清分片请求事件中携带了待下载的目标视频分片的URL。
步骤305：调度下载组件根据请求事件携带的URL下载高/低清分片文件。需要说明的是，当存在多路目标视频时，可以调度多个下载组件进行多路目标视频的并行下载。
步骤306：将下载组件下载的经HEVC编码和封装的高/低清分片数据流传输至解封装组件。
步骤307：调度解封装组件对输入的高/低清数据流进行解封装操作。
步骤308：将解封装组件输出的解封装后的高/低清数据流传输至拉流控制组件。
步骤309：将拉流控制组件直接输出的解封装后的高/低清数据流传输至拼接组件。
步骤310：调度拼接组件等待收齐同一帧所有高低清播放分片后按tile进行拼接。
步骤311：将拼接组件输出的tile拼接完成的完整帧数据，即各时间戳下的全景数据传输至解码组件。
步骤312：调度解码组件将拼接完成的完整帧数据解码为原始YUV数据帧。
步骤313：将解码组件输出的解码后的原始YUV数据流传输至视场输出组件。
步骤314：调度视场输出组件渲染YUV数据并输出到视频接收端。
步骤315：调度拉流控制组件判断当前播放分片下载完后，计算下一个要下载的高/低清分片。
步骤316：将拉流控制组件输出的下一个下载高/低清分片请求事件传输至下载组件，事件中携带下一个待下载的目标视频分片的URL。
返回至步骤305执行播放流程，直至播放完最后一个高/低清分片。
目前的基于FOV的全景视频传输方案，通常将高清视频按照时域和空域划分为多个播放分片，视角切换可能会切换到不同的播放分片，播放分片切换处理时延仍然过大，影响用户体验。
对此，本发明实施例提供了一种视角切换时的全景视频传输方法，基于上述任一实施例，图6是本发明实施例提供的基于功能组件职责链的视角切换方法的流程示意图，如图6所示，步骤120还包括：
步骤120-1，调度视场输出组件进行视角切换判断，并在发生视角切换时输出视角切换事件。
具体地，在视频接收端转头切换视角时，系统可以调度视场输出组件进行视角切换判断，判断转头动作幅度是否满足视角切换的发生要求，例如转头动作幅度是否大于满足视角切换的转头幅度最小值，如果满足发生要求，则确定发生视角切换，视场输出组件输出视角切换事件。
步骤120-2，基于视角切换事件控制拼接组件、拉流控制组件和解封装组件停止高清分片处理。
具体地，考虑到当前视角下的视频流通常是高清视频流。在得到视场输出组件输出视角切换事件后，系统可以将视角切换事件分别传输至上游组件，即拼接组件、拉流控制组件和解封装组件，上述功能组件在接收到视角切换事件后，在系统控制下停止高清分片处理。上游组件在停止高清分片处理后，仅传输全景低清视频流至视频接收端，由于人眼在转头过程中感受到的画面本身就是模糊的，因此向用户呈现低清画面并不会影响到视觉体验。
步骤120-3，调度拉流控制组件基于视角切换事件的目标视角确定视角切换后的高清视频的分片信息。
步骤120-4，调度下载组件基于视角切换后的高清视频的分片信息下载视角切换后的高清视频的视频分片。
具体地，视角切换事件中包含了切换后的目标视角，调度拉流控制组件计算目标视角下需要下载的高清视频的分片信息，并将目标视角下的高清视频的分片信息传输至下载组件，调度下载组件下载视角切换后的高清视频的视频分片。
步骤120-5，调度解封装组件基于视角切换事件定位视频分片中的切换时刻后最近的视频帧，生成切换完成事件，并以最近的视频帧为起始进行解封装。
具体地，在得到视角切换后的高清视频的视频分片，将视角切换后的高清视频的视频分片传输至解封装组件，调度解封装组件根据视角切换事件定位视角切换的时间戳，并从视角切换后的视频分片中找到时间戳在视角切换的时间戳之后，且距离视角切换的时间戳最近的高清视频帧开始解封装，同时生成切换完成事件并输出。
需要说明的是，解封装组件不对视频分片中的切换时刻之前的高清视频帧进行解封装处理，能够有效降低解封装组件的处理任务量，避免不必要的资源消耗。
步骤120-6，基于切换完成事件控制拼接组件进入高低清拼接模式。
具体地，在得到解封装组件输出的切换完成事件后，可以将切换完成事件传输至拼接组件，以控制拼接组件进入高低清拼接模式，恢复对于高清视频流的拼接处理。
拼接组件恢复对应高清视频流的拼接处理后，后续解码组件和视场输出组件的调用执行操作如上，此处不再赘述。
本发明实施例提供的方法，在确定发生视角切换事件后，可以统一调度功能组件职责链条上各个功能组件，实时清除当前正在处理的过期视角高清流，无需等到当前高清分片播放完，从而快速切换到当前视角高清流，达到缩短转头时延。
基于上述任一实施例，步骤120-2中，基于视角切换事件控制拼接组件停止高清分片处理，包括：
基于视角切换事件控制拼接组件进入低清拼接模式，低清拼接模型下拼接组件拼接同一时间戳下的所有低清视频分片，并输出各时间戳下的全景数据。
具体地，通常在全景视频传输场景下，低清视频流为全景视频流，高清视频流为当前视角的视频块。因此在视角切换时间发生时，控制拼接组件停止高清分片处理具体可以是将拼接组件转入低清拼接模式，低清拼接模式即仅处理低清分片，不对高清分片进行处理的模式。低清拼接模式下，拼接组件在被调度执行的过程中，不再等待收齐同一时间戳下的所有高低清分片，拼接完低清分片即直接输出全景数据。
相似地，步骤120-6中，基于切换完成事件控制拼接组件进入高低清拼接模式，高低清拼接模型下拼接组件首先进行高低清同步：如果接收到的高清分片的时间戳早于低清分片的时间戳，则丢弃高清分片，如果接收到的高清分片的时间戳晚于低清分片的时间戳，则只输出低清数据，直至高低清分片的时间戳同步，开始对同步后的高低清分片进行拼接。
基于上述任一实施例，图7本发明实施例提供的视角切换时功能组件职责链中各功能组件的交互序列图，如图7所示，步骤120还包括：
步骤501：用户转头切换视角，视频接收端通过调用全景视频传输系统提供的SDK(Software Development Kit，软件开发工具包)向视场输出组件发送转头通知事件。
步骤502：视场输出组件进行转头幅度判断，如果转头幅度过小，则认为没有发生视角切换，直接忽略，否则进入下一步处理。
步骤503：将视场输出组件输出的视角切换事件传输至上游的拼接组件、拉流控制组件和解封装组件，拼接组件、拉流控制组件和解封装组件分别都收到了视角切换事件，并且视角切换事件携带了视角切换的时间戳。
步骤504：在上游组件收到视角切换事件后，强制关闭当前正在处理的高清数据流，同时为拼接组件设置转头标记。
步骤505：拼接组件再次被调度执行时，发现转头标记已经被置位，进而低清拼接模式，不用等待收齐同一帧所有高低清播放分片，拼接完低清分片即直接向解码组件输出码流。
步骤506：将拼接完的低清分片输入解码组件，调用解码组件解码并向视场输出组件输出解码后的低清数据帧。
步骤507：视场输出组件渲染低清YUV数据并输出到视频接收端。此时用户看到的是低清视频。
步骤508：调度拉流控制组件根据当前视角范围计算下一批要下载的高清分片的分片信息，将拉流控制组件输出的下一批下载高清分片请求事件传输到下载组件，事件中携带下一批下载的文件URL。
步骤509：调度下载组件根据请求事件携带的URL下载当前视角对应的高清分片文件。
步骤510：将下载组件输出的当前视角对应的高清分片数据流传输至解封装组件。
步骤511：调用解封装组件找到视角切换时间后最近的I帧开始处理输出码流。
步骤512：将解封装组件生成的seek完成事件(表明已经定位到转头时间后最近的I帧位置)，即切换完成事件传输到拼接组件。
步骤513：拼接组件收到seek完成事件后，清除转头标记，并进行高低清数据帧同步：即如果高清数据时间戳早于低清时间戳，则继续丢弃高清数据，如果高清时间戳晚于低清时间戳，则仅向下游输出低清数据，直至高低清数据时间戳完全同步。
步骤514：拼接组件再次被调度执行时，发现转头标记已经被复位，并且高低清数据已完成帧同步，则恢复正常流程向下游输出高低清合并的数据流。
步骤515：调用解码组件解码并向视场输出组件输出拼接完成的高低清合并的数据帧。
步骤516：调用视场输出组件渲染高低清合并的YUV数据并输出到视频接收端。此时用户视角范围内再次看到高清视频。
基于上述任一实施例，图8是本发明提供的全景视频传输方法的流程示意图之二，如图8所示，该方法包括：
步骤101：视频接收端调用全景视频传输系统提供的SDK启动全景视频的传输播放。
步骤102：系统启动后，系统内部的组件注册模块通过调用各候选功能组件的注册入口进行各候选功能组件的注册加载。
步骤103：系统内部的组件组装模块基于注册后的各候选功能组件，创建具体功能组件实例，并且根据各个候选功能组件输入输出数据流类型约束配置以及外部环境信息组装功能组件职责链。在功能组件职责链组装过程中，组件组装模块调用功能组件提供的运行参数配置入口对功能组件进行基本的运行参数配置，同时完成上下游功能组件之间的数据通道连接，使数据流从上游源功能组件最终流向职责链末端功能组件至最终输出。
步骤104：系统内部的组件调度模块根据功能组件职责链中各功能组件之间的数据流向，以任务的方式依次将各个功能组件加入任务队列进行调度，通过调用功能组件提供的调度执行入口执行具体的组件功能。
步骤105：组件调度模块判断任务队列是否为空，如果不为空则转向步骤104继续执行组件功能调度，否则进入步骤106。
步骤106：调度任务队列为空，表明所有输入数据处理完毕，系统释放资源，播放结束。
基于上述任一实施例，图9是本发明实施例提供的全景视频传输装置的结构示意图，如图9所示，该装置包括：
组件组装模块910，用于确定功能组件职责链，所述功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立；
组件调度模块920，用于基于所述功能组件职责链，进行全景视频传输。
本发明实施例提供的装置，通过设置相互独立的候选功能组件，使得候选功能组件可以根据外部环境信息的变化任意组合构建功能组件职责链。基于动态调整的功能组件职责链进行全景视频传输，保证全景视频传输方式能够灵活适应外部环境信息，从而提升用户观看体验。此外，相互独立的候选功能组件的设置，使得系统可以根据需求随时在功能组件职责链中增加功能组件从而实现新功能的添加实现，由此保证全景视频传输具备良好的功能扩展性。
基于上述任一实施例，该装置还包括组件注册模块，组件注册模块用于在对候选功能组件进行注册加载，未经注册的功能组件无法被组件调度单元调用执行。进一步地，候选功能组件对外提供一组标准的注册入口，以供组件注册模块进行注册加载。
基于上述任一实施例，所述功能组件职责链包括下载组件、解封装组件、拉流控制组件、解码组件和视场输出组件；
所述下载组件用于下载目标视频，所述目标视频的参数是基于所述外部环境信息确定的。
基于上述任一实施例，当存在至少两路目标视频时，所述功能组件职责链还包括拼接组件，所述拼接组件用于拼接同一时间戳下的所有视频分片。
基于上述任一实施例，组件调度模块920用于：
基于所述功能组件职责链中各功能组件之间的数据流向，顺序调度各功能组件执行对应的组件功能，进行全景视频传输。
基于上述任一实施例，组件调度模块920用于：
调度所述功能组件职责链中的下载组件下载目标媒体信息；
调度所述功能组件职责链中的拉流控制组件对所述目标媒体信息进行解析并输出各路目标视频的分片信息；
调度所述下载组件基于对应分片信息下载各路目标视频的视频分片；
调度所述功能组件职责链中的各解封装组件对所述各路目标视频的视频分片解封装；
调度所述功能组件职责链中的拼接组件拼接同一时间戳下的所有视频分片，并输出各时间戳下的全景数据；
调度所述功能组件职责链中的解码组件对各时间戳下的全景数据进行解码；
调度所述功能组件职责链中的视场输出组件将解码后的各时间戳下的全景数据输出至视频接收端。
基于上述任一实施例，组件调度模块920还用于：
调度所述视场输出组件进行视角切换判断，并在发生视角切换时输出视角切换事件；
基于所述视角切换事件控制所述拼接组件、拉流控制组件和解封装组件停止高清分片处理；
调度所述拉流控制组件基于所述视角切换事件的目标视角确定视角切换后的高清视频的分片信息；
调度所述下载组件基于视角切换后的高清视频的分片信息下载视角切换后的高清视频的视频分片；
调度所述解封装组件基于所述视角切换事件定位所述视频分片中的切换时刻后最近的视频帧，生成切换完成事件，并以所述最近的视频帧为起始进行解封装；
基于所述切换完成事件控制所述拼接组件进入高低清拼接模式。
基于上述任一实施例，组件调度模块920还用于：
基于所述视角切换事件控制所述拼接组件进入低清拼接模式，所述低清拼接模型下所述拼接组件拼接同一时间戳下的所有低清视频分片，并输出各时间戳下的全景数据。
基于上述任一实施例，图10是本发明实施例提供的全景视频传输系统的结构示意图，如图10所示，该系统包括功能组件14、组件注册模块11、组件组装模块12和组件调度模块。系统外部通过http协议连接CDN服务器15，且该系统可以对外封装成统一的SDK可供不同的播放终端16调用。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调度存储器1130中的逻辑指令，以执行全景视频传输方法，该方法包括：确定功能组件职责链，所述功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立；基于所述功能组件职责链，进行全景视频传输。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的全景视频传输方法，该方法包括：确定功能组件职责链，所述功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立；基于所述功能组件职责链，进行全景视频传输。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的全景视频传输方法，该方法包括：确定功能组件职责链，所述功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立；基于所述功能组件职责链，进行全景视频传输。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选取其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种全景视频传输方法，其特征在于，包括：
确定功能组件职责链，所述功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立；
基于所述功能组件职责链，进行全景视频传输。
2.根据权利要求1所述的全景视频传输方法，其特征在于，所述功能组件职责链包括下载组件、解封装组件、拉流控制组件、解码组件和视场输出组件；
所述下载组件用于下载目标视频，所述目标视频的参数是基于所述外部环境信息确定的。
3.根据权利要求2所述的全景视频传输方法，其特征在于，当存在至少两路目标视频时，所述功能组件职责链还包括拼接组件，所述拼接组件用于拼接同一时间戳下的所有视频分片。
4.根据权利要求1至3中任一项所述的全景视频传输方法，其特征在于，所述基于所述功能组件职责链，进行全景视频传输，包括：
基于所述功能组件职责链中各功能组件之间的数据流向，顺序调度各功能组件执行对应的组件功能，进行全景视频传输。
5.根据权利要求4所述的全景视频传输方法，其特征在于，所述基于所述功能组件职责链中各功能组件之间的数据流向，顺序调度各功能组件执行对应的组件功能，进行全景视频传输，包括：
调度所述功能组件职责链中的下载组件下载目标媒体信息；
调度所述功能组件职责链中的拉流控制组件对所述目标媒体信息进行解析并输出各路目标视频的分片信息；
调度所述下载组件基于对应分片信息下载各路目标视频的视频分片；
调度所述功能组件职责链中的各解封装组件对所述各路目标视频的视频分片解封装；
调度所述功能组件职责链中的拼接组件拼接同一时间戳下的所有视频分片，并输出各时间戳下的全景数据；
调度所述功能组件职责链中的解码组件对各时间戳下的全景数据进行解码；
调度所述功能组件职责链中的视场输出组件将解码后的各时间戳下的全景数据输出至视频接收端。
6.根据权利要求5所述的全景视频传输方法，其特征在于，所述基于所述功能组件职责链中各功能组件之间的数据流向，顺序调度各功能组件执行对应的组件功能，进行全景视频传输，还包括：
调度所述视场输出组件进行视角切换判断，并在发生视角切换时输出视角切换事件；
基于所述视角切换事件控制所述拼接组件、拉流控制组件和解封装组件停止高清分片处理；
调度所述拉流控制组件基于所述视角切换事件的目标视角确定视角切换后的高清视频的分片信息；
调度所述下载组件基于视角切换后的高清视频的分片信息下载视角切换后的高清视频的视频分片；
调度所述解封装组件基于所述视角切换事件定位所述视频分片中的切换时刻后最近的视频帧，生成切换完成事件，并以所述最近的视频帧为起始进行解封装；
基于所述切换完成事件控制所述拼接组件进入高低清拼接模式。
7.根据权利要求6所述的全景视频传输方法，其特征在于，基于所述视角切换事件控制所述拼接组件停止高清分片处理，包括：
基于所述视角切换事件控制所述拼接组件进入低清拼接模式，所述低清拼接模型下所述拼接组件拼接同一时间戳下的所有低清视频分片，并输出各时间戳下的全景数据。
8.一种全景视频传输装置，其特征在于，包括：
组件组装模块，用于确定功能组件职责链，所述功能组件职责链基于外部环境信息对各候选功能组件进行选取组合得到，各候选功能组件用于执行对应的组件功能，各候选功能组件相互独立；
组件调度模块，用于基于所述功能组件职责链，进行全景视频传输。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述全景视频传输方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述全景视频传输方法的步骤。
CN202110190056.8A 2021-02-18 2021-02-18 全景视频传输方法、装置、电子设备和存储介质 Active CN112995596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110190056.8A CN112995596B (zh) 2021-02-18 2021-02-18 全景视频传输方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110190056.8A CN112995596B (zh) 2021-02-18 2021-02-18 全景视频传输方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112995596A true CN112995596A (zh) 2021-06-18
CN112995596B CN112995596B (zh) 2023-08-15

Family

ID=76393478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110190056.8A Active CN112995596B (zh) 2021-02-18 2021-02-18 全景视频传输方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112995596B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766146A (zh) * 2021-09-07 2021-12-07 北京百度网讯科技有限公司 音视频处理方法、装置、电子设备、存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106850829A (zh) * 2017-02-28 2017-06-13 苏州星熙数据科技有限公司 一种基于非阻塞通信的微服务系统设计方法
CN107529064A (zh) * 2017-09-04 2017-12-29 北京理工大学 一种基于vr终端反馈的自适应编码方法
CN108024090A (zh) * 2016-11-02 2018-05-11 杭州海康威视系统技术有限公司 一种用于视频监控平台的异常定位方法及装置
CN110913278A (zh) * 2019-12-06 2020-03-24 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质
CN112188303A (zh) * 2020-09-03 2021-01-05 北京火眼目测科技有限公司 一种基于视角的vr流媒体播放方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024090A (zh) * 2016-11-02 2018-05-11 杭州海康威视系统技术有限公司 一种用于视频监控平台的异常定位方法及装置
CN106850829A (zh) * 2017-02-28 2017-06-13 苏州星熙数据科技有限公司 一种基于非阻塞通信的微服务系统设计方法
CN107529064A (zh) * 2017-09-04 2017-12-29 北京理工大学 一种基于vr终端反馈的自适应编码方法
CN110913278A (zh) * 2019-12-06 2020-03-24 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质
CN112188303A (zh) * 2020-09-03 2021-01-05 北京火眼目测科技有限公司 一种基于视角的vr流媒体播放方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766146A (zh) * 2021-09-07 2021-12-07 北京百度网讯科技有限公司 音视频处理方法、装置、电子设备、存储介质及程序产品
CN113766146B (zh) * 2021-09-07 2022-09-16 北京百度网讯科技有限公司 音视频处理方法、装置、电子设备及存储介质
US11863842B2 (en) 2021-09-07 2024-01-02 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for processing audio and video, electronic device and storage medium

Also Published As

Publication number Publication date
CN112995596B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
TWI596933B (zh) 用於快速切換的編碼解碼器技術
US20190184284A1 (en) Method of transmitting video frames from a video stream to a display and corresponding apparatus
CN101529907B (zh) 减少信道改变时间的装置和方法
US11025982B2 (en) System and method for synchronizing content and data for customized display
JP2013516847A (ja) クライアントデバイスへのマネージドネットワーク上でのテレビ放送およびアンマネージドネットワーク上での双方向コンテンツの提供
CN108810636A (zh) 视频播放方法、设备及系统
EP1821544A2 (en) Encoding apparatus, decoding apparatus, encoding method, decoding method, program of encoding method, program of decoding method, recording medium in which program of encoding method is recorded, and recording medium in which program of decoding method is recorded
JP2002344880A (ja) コンテンツ配信システム
US20110090970A1 (en) Terminal and relay node for video conference system
JP5167412B2 (ja) Ｔｖ放送システムにおける高速チャネル切り替え
CN104918137A (zh) 一种拼接屏系统播放视频的方法
CN103329521A (zh) 用于暂停视频流传送内容的方法、设备和计算机程序产品
CN112425178B (zh) 两遍组块并行转码处理
CN112616065B (zh) 一种屏幕镜像发起方法、装置、系统及可读存储介质
CN111010603A (zh) 一种视频缓存转发处理方法及装置
KR101824278B1 (ko) 단일 디코더로 채널 변경을 가능하게 하기 위한 수신기 및 수신기에서의 방법
KR20000029596A (ko) 비디오시퀀스의스위칭방법,대응스위칭소자및디코딩시스템
CN112995596B (zh) 全景视频传输方法、装置、电子设备和存储介质
Tang et al. Audio and video mixing method to enhance WebRTC
CN110913165A (zh) 基于级联框架的视频会议系统的视频流轮播方法和装置
CN114189696A (zh) 一种视频播放方法及设备
US10897655B2 (en) AV server and AV server system
JP4373730B2 (ja) 映像データ送信装置、映像データ送受信システム、及び、その方法
CN115695883A (zh) 一种视频数据处理方法、装置、设备以及存储介质
US20220408140A1 (en) Moving image reproduction apparatus, moving image reproduction system, and moving image reproduction method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant