CN111901692B - 一种基于多音视频流合成vr的系统 - Google Patents

一种基于多音视频流合成vr的系统 Download PDF

Info

Publication number
CN111901692B
CN111901692B CN202010780711.0A CN202010780711A CN111901692B CN 111901692 B CN111901692 B CN 111901692B CN 202010780711 A CN202010780711 A CN 202010780711A CN 111901692 B CN111901692 B CN 111901692B
Authority
CN
China
Prior art keywords
server
stream
audio
data
streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010780711.0A
Other languages
English (en)
Other versions
CN111901692A (zh
Inventor
沈德欢
裘昊
陈勇
朱益中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN202010780711.0A priority Critical patent/CN111901692B/zh
Publication of CN111901692A publication Critical patent/CN111901692A/zh
Application granted granted Critical
Publication of CN111901692B publication Critical patent/CN111901692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于多音视频流合成VR的系统。它包括设备发送端、收录服务器、合成服务器、流媒体服务器、控制台服务器和VR观看端；设备发送端将流数据推送到收录服务器；收录服务器接收流数据并缓存；合成服务器把单个视频流和多个音频流的封装起来，并送给流媒体服务器；流媒体服务器存储最终合成后的流数据；VR观看端观看设备播放合成后的流数据；控制台服务器分别与收录服务器、合成服务器和流媒体服务器连接。本发明的有益效果是：实现了多个视频流和多个音频流封装成单个VR视频流和多个音频流。

Description

一种基于多音视频流合成VR的系统
技术领域
本发明涉及音视频处理相关技术领域，尤其是指一种基于多音视频流合成VR的系统。
背景技术
目前大多数VR视频都是单个视频源里单个视频画面，对应着单个音频。随着后面5G的普及，VR的应用方式也会呈现多样式。如何把多个视频流和多个音频流封装成单个VR视频流和多个音频流的系统，还未有相应的解决办法。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种解决多音视频流合成VR单视频流多音频流的基于多音视频流合成VR的系统。
为了实现上述目的，本发明采用以下技术方案：
一种基于多音视频流合成VR的系统，包括设备发送端、收录服务器、合成服务器、流媒体服务器、控制台服务器和VR观看端；所述的设备发送端将流数据推送到收录服务器，流数据由视频流和音频流组成；所述的收录服务器接收流数据并缓存，流数据等待合成服务器进一步处理；所述的合成服务器从收录服务器拉取需要合成VR视频流的多条流数据，最终把单个视频流和多个音频流的封装起来，并送给流媒体服务器；所述的流媒体服务器存储最终合成后的流数据；所述的VR观看端观看设备播放合成后的流数据；所述的控制台服务器分别与收录服务器、合成服务器和流媒体服务器连接。
通过上述系统的设计，实现了多个视频流和多个音频流封装成单个VR视频流和多个音频流。
作为优选，所述合成服务器的操作方法如下：
(1)从收录服务器拉取需要合成VR视频流的多条流数据；
(2)对每条流数据进行解封装，将每条流数据解封装为音频包和视频包；
(3)对每条流数据的音频包进行解码成PCM，将PCM重新编码成音频包；
(4)对每条流数据的视频包进行解码成对应的颜色空间，然后将该颜色空间转换成统一的颜色空间；
(5)把转换后统一的颜色空间按控制台服务器设置的合成模板合成VR的颜色空间；
(6)将合成VR的颜色空间进行编码成一个视频包；
(7)将一个视频包和重新编码后的多个音频包进行封装，封装成单个视频流多个音频流的流数据，并送给流媒体服务器。
作为优选，所述的控制台服务器设置收录服务器缓存流数据的时间。
作为优选，所述的控制台服务器设置合成服务器中支持的封装格式、编解码类型以及合成模板样式，所述的合成模板主要规定颜色空间的数量、位置、形状。
作为优选，所述的控制台服务器设置流媒体服务器的播放方式、清晰度选项、支持的封装格式、存储时间及空间。
本发明的有益效果是：实现了多个视频流和多个音频流封装成单个VR视频流和多个音频流。
附图说明
图1是本发明的系统框图；
图2是本发明合成服务器的方法流程图；
图3是合成模板的合成效果图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种基于多音视频流合成VR的系统，包括设备发送端、收录服务器、合成服务器、流媒体服务器、控制台服务器和VR观看端；
设备发送端将流数据推送到收录服务器，流数据由视频流和音频流组成；可以是手机、平板、电视、电脑等设备；
收录服务器接收流数据并缓存(缓存时间由控制台服务器设置规定)，流数据等待合成服务器进一步处理；
合成服务器从收录服务器拉取需要合成VR视频流的多条流数据，最终把单个视频流和多个音频流的封装起来，并送给流媒体服务器；
如图2所示，合成服务器的操作方法如下：
(1)从收录服务器拉取需要合成VR视频流的多条流数据(流数据的数量范围为2至6)；
(2)对每条流数据进行解封装，将每条流数据解封装为音频包和视频包；
(3)对每条流数据的音频包进行解码成PCM，将PCM重新编码成音频包；
(4)对每条流数据的视频包进行解码成对应的颜色空间，然后将该颜色空间转换成统一的颜色空间(常见统一的颜色空间yuv、rgb)；
(5)把转换后统一的颜色空间按控制台服务器设置的合成模板合成VR的颜色空间；
(6)将合成VR的颜色空间进行编码成一个视频包；
(7)将一个视频包和重新编码后的多个音频包进行封装(支持多音频的封装容器)，封装成单个视频流多个音频流的流数据，并送给流媒体服务器。
流媒体服务器存储最终合成后的流数据；播放方式：支持点播、直播、组播等主流方式；清晰度：支持标清、高清、4K、8K等；封装格式：支持多音频流的封装格式，如hls、mp4等；
VR观看端观看设备播放合成后的流数据；支持手机、平板、电脑、电视、机顶盒等可观看设备播放；
控制台服务器分别与收录服务器、合成服务器和流媒体服务器连接；控制台服务器设置收录服务器缓存流数据的时间；控制台服务器设置合成服务器中支持的封装格式、编解码类型以及合成模板样式，合成模板主要规定颜色空间的数量、位置、形状，如图3所示为4个颜色空间按合成模板合成效果；控制台服务器设置流媒体服务器的播放方式、清晰度选项、支持的封装格式、存储时间及空间。

Claims (4)

1.一种基于多音视频流合成VR的系统，其特征是，包括设备发送端、收录服务器、合成服务器、流媒体服务器、控制台服务器和VR观看端；所述的设备发送端将流数据推送到收录服务器，流数据由视频流和音频流组成；所述的收录服务器接收流数据并缓存，流数据等待合成服务器进一步处理；所述的合成服务器从收录服务器拉取需要合成VR视频流的多条流数据，最终把单个视频流和多个音频流的封装起来，并送给流媒体服务器；所述的流媒体服务器存储最终合成后的流数据；所述的VR观看端观看设备播放合成后的流数据；所述的控制台服务器分别与收录服务器、合成服务器和流媒体服务器连接；所述合成服务器的操作方法如下：
（1）从收录服务器拉取需要合成VR视频流的多条流数据；
（2）对每条流数据进行解封装，将每条流数据解封装为音频包和视频包；
（3）对每条流数据的音频包进行解码成PCM，将PCM重新编码成音频包；
（4）对每条流数据的视频包进行解码成对应的颜色空间，然后将该颜色空间转换成统一的颜色空间；
（5）把转换后统一的颜色空间按控制台服务器设置的合成模板合成VR的颜色空间；
（6）将合成VR的颜色空间进行编码成一个视频包；
（7）将一个视频包和重新编码后的多个音频包进行封装，封装成单个视频流多个音频流的流数据，并送给流媒体服务器。
2.根据权利要求1所述的一种基于多音视频流合成VR的系统，其特征是，所述的控制台服务器设置收录服务器缓存流数据的时间。
3.根据权利要求1所述的一种基于多音视频流合成VR的系统，其特征是，所述的控制台服务器设置合成服务器中支持的封装格式、编解码类型以及合成模板样式，所述的合成模板主要规定颜色空间的数量、位置、形状。
4.根据权利要求1所述的一种基于多音视频流合成VR的系统，其特征是，所述的控制台服务器设置流媒体服务器的播放方式、清晰度选项、支持的封装格式、存储时间及空间。
CN202010780711.0A 2020-08-06 2020-08-06 一种基于多音视频流合成vr的系统 Active CN111901692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010780711.0A CN111901692B (zh) 2020-08-06 2020-08-06 一种基于多音视频流合成vr的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010780711.0A CN111901692B (zh) 2020-08-06 2020-08-06 一种基于多音视频流合成vr的系统

Publications (2)

Publication Number Publication Date
CN111901692A CN111901692A (zh) 2020-11-06
CN111901692B true CN111901692B (zh) 2022-09-06

Family

ID=73246732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010780711.0A Active CN111901692B (zh) 2020-08-06 2020-08-06 一种基于多音视频流合成vr的系统

Country Status (1)

Country Link
CN (1) CN111901692B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109660745A (zh) * 2018-12-21 2019-04-19 深圳前海微众银行股份有限公司 视频录制方法、装置、终端及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065094A (ja) * 2003-08-19 2005-03-10 Sony Corp 映像記録方法および映像記録装置
JP4347322B2 (ja) * 2006-07-14 2009-10-21 ソニー株式会社 受信装置および方法、並びにプログラム
CN105992044A (zh) * 2015-02-05 2016-10-05 天脉聚源（北京）科技有限公司 一种hls转码rtmp直播流的方法及系统
CN106657090B (zh) * 2016-12-28 2020-09-29 深圳市共进电子股份有限公司 一种多媒体流的处理方法、装置和嵌入式设备
CN106657109A (zh) * 2016-12-30 2017-05-10 北京奇虎科技有限公司 一种流数据的传输方法和装置
US11102601B2 (en) * 2017-09-29 2021-08-24 Apple Inc. Spatial audio upmixing
CN111093142B (zh) * 2019-12-24 2021-06-08 杭州当虹科技股份有限公司 一种基于vr多方向音源合成的实现方法
CN111147789B (zh) * 2019-12-27 2022-10-18 视联动力信息技术股份有限公司 一种音视频流录制的方法、装置、设备以及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109660745A (zh) * 2018-12-21 2019-04-19 深圳前海微众银行股份有限公司 视频录制方法、装置、终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN111901692A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110870321B (zh) 用于媒体内容的按区包装，内容覆盖度，以及发信帧包装
CN102404624B (zh) 一种数字机顶盒用支持硬件解码的全格式媒体播放器
US11405699B2 (en) Using GLTF2 extensions to support video and audio data
CN103309933B (zh) 用于媒体数据传输的方法和设备
TW589892B (en) Instant video conferencing method, system and storage medium implemented in web game using A/V synchronization technology
CN109327728A (zh) 一种一对多同屏方法、装置和系统、同屏设备及存储介质
CN106331853B (zh) 多媒体解封装方法及装置
KR20080072019A (ko) 미디어 스트림의 타임­쉬프트 프리젠테이션
CN103051941B (zh) 一种在移动平台上播放本地视频的方法和系统
JPWO2015008775A1 (ja) 情報処理装置および方法
WO2008061416A1 (fr) Procédé et système permettant d'accepter des données media de divers formats de codage
WO2019046457A1 (en) TREATMENT OF OMNIDIRECTIONAL SUPPORTS WITH REGIONAL DYNAMIC PACKET
CN102984576A (zh) 一种ts传输流媒体音视频剥离的方法及系统
WO2020093931A1 (zh) 字幕数据处理方法、装置、设备和计算机存储介质
CN114339382A (zh) 视频播放方法、装置、设备及计算机存储介质
JP2020522166A (ja) 魚眼ビデオデータのための高レベルシグナリング
CN201491188U (zh) 一种机顶盒及其多视频格式解码设备
CN111901692B (zh) 一种基于多音视频流合成vr的系统
TW201909647A (zh) 增強區域取向包封及視埠獨立高效視頻寫碼媒體資料檔
CN109104635A (zh) 即时传送屏幕图像的方法及系统
JP2021119712A (ja) 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
CN113014942A (zh) 一种视频转码方法、视频转码系统及视频直播系统
JPWO2016190091A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR20090042549A (ko) 단말에서 재생 불가한 미디어 제공 시스템 및 방법, 그리고이에 적용되는 서버
WO2024114519A1 (zh) 点云封装与解封装方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant