CN111225219A - 一种基于5g网络的光场三维浸入式体验信息传输方法及系统 - Google Patents
一种基于5g网络的光场三维浸入式体验信息传输方法及系统 Download PDFInfo
- Publication number
- CN111225219A CN111225219A CN201911176561.6A CN201911176561A CN111225219A CN 111225219 A CN111225219 A CN 111225219A CN 201911176561 A CN201911176561 A CN 201911176561A CN 111225219 A CN111225219 A CN 111225219A
- Authority
- CN
- China
- Prior art keywords
- dimensional video
- dimensional
- video
- server
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000005540 biological transmission Effects 0.000 title claims abstract description 34
- 238000007654 immersion Methods 0.000 title claims abstract description 21
- 238000002347 injection Methods 0.000 claims abstract description 54
- 239000007924 injection Substances 0.000 claims abstract description 54
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 26
- 238000000926 separation method Methods 0.000 claims description 23
- 238000009877 rendering Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 abstract description 17
- 238000009826 distribution Methods 0.000 abstract description 10
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
- H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及三维视频传输技术领域，公开了一种基于5G网络的光场三维浸入式体验信息传输方法及系统，方法包括：将采集到的三维视频源推送至三维视频注入服务器；三维视频注入服务器将其三维视频源相关格式转换为三维视频通用格式，并将三维视频传输至CDN服务器；通过CDN服务器将三维视频通用格式的三维视频分发至其它CDN服务器，并最终到达三维视频边缘服务器；一级CDN服务器与其它级别CDN服务器和三维视频边缘服务器存在1:N映射；通过三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至三维显示终端进行播放。通过CDN服务器和三维视频边缘服务器之间的分发机制，可快速、高效地对光场三维内容进行分发及传输。
Description
技术领域
本发明涉及三维视频传输技术领域，尤其涉及一种基于5G网络的光场三维浸入式体验信息传输方法及系统。
背景技术
三维显示是当今一个引人注目的前沿科技领域，具有全视差，多角度，可多人同时观看的三维显示系统可应用在军事、广告、医学等显示领域，使观看者获得观看真实景物的感觉。现在获得全视差的显示方式主要有三种:体显示，全息显示，高密度的集成成像显示等。以集成显示技术为代表的一类光场三维技术在采集阶段采用微透镜阵列或小孔阵列对物空间场景进行记录并在显示阶段再现出物空间场景，通过重构四维光场，真实再现物体全部光线信息，使人眼产生和真实世界没有区别、具有丰富的景深信息、可以主动聚焦的自然三维视觉，具有解决当前虚拟显示的晕动症等问题的潜力，并能提供真正意义上的浸入式体验，是三维显示和虚拟显示的重要技术方案。
现有技术中，以光场三维技术为代表的自然三维显示(或真三维显示)要想在实际中应用并实现高质量浸入式体验，必须提供相关的高质量采集系统和三维显示终端，以及二者之间的实时通信。目前前面二者都已经被深入研究并已经有多种方案被提出。比如在光场采集系统方面，相机阵列、TOF深度相机、双目相机、基于微透镜的光场相机、结构光三维相机等系统都可以进行所谓的光场采集。在光场三维显示方面，基于微透镜阵列的显示系统、基于柱状透镜阵列的显示系统、基于多投影仪阵列的投影显示系统、基于多层LCD的压缩显示系统等都已经被提出和实现。但是在采集系统和显示系统之间的实时通信仍非常困难。光场三维内容由于由于需要记录高密度的光线信息，其信息量可达到二维内容的数百倍，因此对网络的带宽要求非常高，可以达到数十到数百Gbps。同时，由于光场三维信息浸入式应用往往伴随着实时交互的需求，对端到端的时延要求一般在20毫秒以下或更低，并需要网络提供高质量、高可靠性的连接，具有极低的丢包率和时延抖动。因此如何对海量的光场信息进行实时分发和传输是一个非常挑战的任务。
随着5G网络技术的逐渐普及，其带来的高带宽、低时延的网络服务，基于MIMO的高频普效率和传输可靠性、基于切片技术的端到端带宽保障以及多种形式的边缘计算能力，为支持实时光场三维视频这一大信息量、低时延的新型业务提供了网络基础，其中边缘计算主要是指在接近网络边缘侧实现网络、计算、存储等多种功能的平台，具有开放性特征，以较近的距离提供高质量的边缘智能化服务，满足数字化在快速连接、数据处理分析、智能应用及安全保护等需求。目前的网络技术和相关的分发系统都是为二维内容的分发和传输而设计的，如何充分的利用现有的能力来高效率的分发和传输新型的光场三维内容还是一个待解决的问题。
因此，如何快速、高效地对光场三维内容进行分发及传输成为亟待解决的技术问题。
发明内容
本发明要解决的技术问题在于如何快速、高效地对光场三维内容进行分发及传输。
为此，根据第一方面，本发明实施例公开了一种基于5G网络的光场三维浸入式体验信息传输方法，包括：按照三维视频源相关格式将采集到的三维视频源推送至三维视频注入服务器；根据推送至所述三维视频注入服务器的三维视频源，所述三维视频注入服务器将其三维视频源相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器，以复制三维视频；通过所述一级CDN服务器将三维视频通用格式的三维视频分发至其它级别CDN服务器，并最终到达三维视频边缘服务器；所述CDN服务器和所述三维视频边缘服务器存在1:N映射；通过所述三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至所述三维显示终端进行播放。
可选地，在通过所述一级CDN服务器将三维视频通用格式的三维视频分发至其它级别CDN服务器，并最终到达三维视频边缘服务器之后，包括：根据三维显示终端的参数数据，通过所述三维视频边缘服务器对三维视频进行渲染处理。
可选地，所述根据推送至所述三维视频注入服务器的三维视频源，所述三维视频注入服务器将其三维视频相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器包括：通过所述三维视频注入服务器对所述三维视频源进行媒体分离，以获取单独的音频、视频及三维光场数据；对分离后的音频及视频进行格式转换，并对格式转换后的视频进行编码；对格式转换后的音频和视频进行三维视频封装，使所述三维视频的三维视频相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器。
可选地，所述通过所述三维视频注入服务器对所述三维视频源进行媒体分离，以获取单独的音频、视频及三维光场数据包括：通过所述三维视频注入服务器的音频处理通道对输入的三维视频进行音频分离；通过所述三维视频注入服务器的视频处理通道对输入的三维视频进行视频分离；通过所述三维视频注入服务器的数据处理通道对输入的三维视频进行三维光场数据分离。
可选地，所述通过所述三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至所述三维显示终端进行播放包括：通过所述三维视频边缘服务器对所述三维视频进行媒体分离，以获取单独的音频及视频数据；结合三维显示终端参数对音频及视频进行格式转化，对视频进行编码，并对音频及视频进行三维视频封装，将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至所述三维显示终端进行播放。
可选地，所述通过所述三维视频边缘服务器对所述三维视频进行媒体分离，以获取单独的音频及视频数据包括：通过所述三维视频边缘服务器的音频处理通道对输入的所述三维视频进行音频分离；通过所述三维视频边缘服务器的视频处理通道对输入的所述三维视频进行视频分离。
根据第二方面，本发明实施例公开了一种基于5G网络的光场三维浸入式体验信息传输系统，包括：三维视频注入服务器，用于对接输入的三维视频源，并将其三维视频源相关格式转换为三维视频通用格式；一级CDN服务器，用于接收所述三维视频注入服务器推送的三维视频，并对其进行分发；三维视频边缘服务器，用于接收所述CDN服务器分发的三维视频，并将其转换为三维显示终端格式；在一级CDN服务器和三维视频边缘服务器之间可能存在更多级别的CDN服务器；三维显示终端，用于向所述三维视频边缘服务器登记播放请求并播放所述三维视频边缘服务器推送的三维视频。
可选地，所述三维视频边缘服务器包括：三维视频调度管理模块，用于根据三维视频播放终端的请求向CDN服务器请求相关的三维视频；三维视频处理模块，用于根据三维视频播放终端的参数数据将三维视频的通用格式转换为三维显示终端格式，以匹配请求播放相应三维视频的三维显示终端。
根据第三方面，本发明实施例公开了一种计算机装置，包括处理器，处理器用于执行存储器中存储的计算机程序实现上述第一方面任一项的光场三维浸入式体验信息传输方法。
根据第四方面，本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，处理器用于执行存储介质中存储的计算机程序实现上述第一方面任一项的光场三维浸入式体验信息传输方法。
本发明具有以下有益效果：本发明实施例公开了一种基于5G网络的光场三维浸入式体验信息传输方法，按照三维视频源相关格式将采集到的三维视频源推送至三维视频注入服务器，三维视频注入服务器将其三维视频源相关格式转换为三维视频通用格式，并将三维视频传输至CDN服务器，CDN服务器将三维视频通用格式的三维视频分发至三维视频边缘服务器，通过三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至三维显示终端进行播放。通过CDN服务器和三维视频边缘服务器之间的分发机制，实现三维内容多级分发，进而可快速、高效地对光场三维内容进行分发及传输。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本实施例公开的一种基于5G网络的光场三维浸入式体验信息传输方法的流程图；
图2是本实施例公开的另一种基于5G网络的光场三维浸入式体验信息传输方法的流程图；
图3是本实施例公开的一种基于5G网络的光场三维浸入式体验信息传输系统的结构示意图；
图4是本实施例公开的一种基于5G网络的光场三维浸入式体验信息传输系统中三维视频注入服务器处理三维视频的流程图；
图5是本实施例公开的一种基于5G网络的光场三维浸入式体验信息传输系统中三维视频边缘服务器处理三维视频的流程图；
图6是本实施例公开的一种基于5G网络的光场三维浸入式体验信息传输系统中三维显示终端的结构示意图；
图7是本实施例公开的一种三维显示终端中透镜及装配部分参数示意图；
图8是本实施例公开的一种基于5G网络的光场三维浸入式体验信息传输系统的三维显示终端描述数据示意图；
图9是本实施例公开的一种基于5G网络的光场三维浸入式体验信息传输方法的视频分发和传输示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例公开了一种基于5G网络的光场三维浸入式体验信息传输方法，如图1所示，包括：
步骤S10，按照三维视频源相关格式将采集到的三维视频源推送至三维视频注入服务器；
步骤S20，根据推送至三维视频注入服务器的三维视频源，三维视频注入服务器将其三维视频源相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器，以复制三维视频；
步骤S30，通过一级CDN服务器将三维视频通用格式的三维视频分发至其它级别CDN服务器，并最终到达三维视频边缘服务器；CDN服务器和所述三维视频边缘服务器存在1:N映射；在具体实施过程中，其它级别CDN服务器可以是二级CDN服务器、三级CDN服务器或多级CDN服务器；
步骤S40，通过三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至三维显示终端进行播放。
需要说明的是，本发明实施例公开了一种基于5G网络的光场三维浸入式体验信息传输方法，按照三维视频源相关格式将采集到的三维视频源推送至三维视频注入服务器，三维视频注入服务器将其三维视频源相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器，一级CDN服务器将三维视频通用格式的三维视频分发至三维视频边缘服务器，通过三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至三维显示终端进行播放。通过CDN服务器和三维视频边缘服务器之间的分发机制，实现三维内容多级分发，进而可快速、高效地对光场三维内容进行分发及传输。
如图2所示，在步骤S30之后，步骤S31具体的包括：根据三维显示终端的参数数据，通过三维视频边缘服务器对三维视频进行渲染处理。
如图1所示，步骤S20具体的包括：
步骤S201，通过三维视频注入服务器对三维视频源进行媒体分离，以获取单独的音频、视频及三维光场数据；在本实施例中，步骤S201具体的包括：通过三维视频注入服务器的音频处理通道对输入的三维视频进行音频分离；通过三维视频注入服务器的视频处理通道对输入的三维视频进行视频分离；通过三维视频注入服务器的数据处理通道对输入的三维视频进行三维光场数据分离；
步骤S202，对分离后的音频及视频进行格式转换，并对格式转换后的视频进行编码；
步骤S203，对格式转换后的音频和视频进行三维视频封装，使三维视频的三维视频相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器。
如图1所示，步骤S40具体的包括：
步骤S401，通过三维视频边缘服务器对三维视频进行媒体分离，以获取单独的音频及视频数据；在具体实施过程中，步骤S401具体的包括：通过三维视频边缘服务器的音频处理通道对输入的三维视频进行音频分离；通过三维视频边缘服务器的视频处理通道对输入的三维视频进行视频分离；
步骤S402，结合三维显示终端参数对音频及视频进行格式转化，对视频进行编码，并对音频及视频进行三维视频封装，将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至三维显示终端进行播放。
根据第二方面，本发明实施例公开了一种基于5G网络的光场三维浸入式体验信息传输系统，如图3所示，包括：三维视频注入服务器，用于对接输入的三维视频源，并将其三维视频源相关格式转换为三维视频通用格式；一级CDN服务器，用于接收三维视频注入服务器推送的三维视频，并对其进行分发；三维视频边缘服务器，用于接收一级CDN服务器分发的三维视频，并将其转换为三维显示终端格式；三维显示终端，用于向三维视频边缘服务器登记播放请求并播放三维视频边缘服务器推送的三维视频。在具体实施过程中，三维视频边缘服务器包括：三维视频调度管理模块，用于根据三维视频播放终端的请求向一级CDN服务器请求相关的三维视频；三维视频处理模块，用于根据三维视频播放终端的参数数据将三维视频的通用格式转换为三维显示终端格式，以匹配请求播放相应三维视频的三维显示终端。
此外，本发明实施例中还提供一种计算机装置，处理器通过执行计算机指令，从而实现以下方法：
按照三维视频源相关格式将采集到的三维视频源推送至三维视频注入服务器；根据推送至三维视频注入服务器的三维视频源，三维视频注入服务器将其三维视频源相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器，以复制三维视频；通过一级CDN服务器将三维视频通用格式的三维视频分发至三维视频边缘服务器；一级CDN服务器和三维视频边缘服务器之间可能存在更多级别CDN服务器；CDN服务器和三维视频边缘服务器存在1:N映射；通过三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至三维显示终端进行播放。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，该存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。计算机处理器用于执行存储介质中存储的计算机程序实现以下方法：
按照三维视频源相关格式将采集到的三维视频源推送至三维视频注入服务器；根据推送至三维视频注入服务器的三维视频源，三维视频注入服务器将其三维视频源相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器，以复制三维视频；通过一级CDN服务器将三维视频通用格式的三维视频分发至三维视频边缘服务器；CDN服务器和所述三维视频边缘服务器存映射；通过三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至三维显示终端进行播放。
如图4所示，图4是本实施例公开的一种基于5G网络的光场三维浸入式体验信息传输系统中三维视频注入服务器处理三维视频的流程图，视频注入服务器和三维采集系统相结合，对三维视频源推送的媒体流进行处理和转换，在实时三维视频流系统中三维视频源一般为三维采集系统，包括双摄像机采集系统、多摄像机采集系统和光场相机采集系统等，采集的输出可以包括RGB+Depth，Volumetric，Lightfield等格式。采集的视频通过视频压缩和编码系统进行编码，包括传统立体视频编码、多视角视频编码、视频加深度编码、多视角视频加深度编码、层深度编码等编码方式，其中可能包含有相应的音频流。同时，由于三维场景的采集设备需要提供场景的描述信息如相机数量位置等以及相机本身的校准数据，相关的信息将以meta data的方式传送给视频注入服务器。三维视频注入服务器将利用meta data对接收到的视频流进行处理，并进行相应的格式、协议进行转换，将其转为通用格式，最后将对转换完三维视频进行封装并输出，输出三维视频格式可以为基于H.264标准的MVC、MVC+D、3D-AVC、基于H.265标准的MV-HEVC、3D-HEVC，或基于其它标准体系的编码和协议。基于标准的三维视频传输将能最大限度的利用现有的编解码和网络传输基础设施，降低消耗的带宽和传输成本。视频注入服务器可以由5G网络中的MEC平台提供，一般应选择距离三维采集装置网络距离最近的MEC平台，以降低时延和带宽消耗。在非5G网络上传输时，也可以采用其他形式云计算平台提供的计算能力实现。
如图5所示，图5是本实施例公开的一种基于5G网络的光场三维浸入式体验信息传输系统中三维视频边缘服务器处理三维视频的流程图，三维视频边缘服务器与三维显示终端通信连接，通信连接包括通信网络、4G通信网络、光纤通信网络、专线网络灯等，用以提供三维显示终端和三维视频边缘服务器之间的多媒体信息通信和二者之间的数据交换，数据格式为定义的用以描述三维显示终端特性的数据，包括显示终端系统数据(如显示终端的厂商、终端序列号、特性清单等)，显示系统数据(如显示器长、宽尺寸、分辨率、像素大小、子像素的排布方式等)，透镜系统数据(如透镜的类型、形状、尺寸、焦距、间距、排列方式等)与装配数据(如透镜和显示系统之间的对位误差、角度误差等)等。
如图6所示，本发明实施例公开了一种三维显示终端，包括：一个显示系统，可以是液晶显示面板LCD、有机发光二极管面板OLED、Micro-LED或者其它显示技术实现的显示系统；一个透镜系统，可以是固定的柱状透镜、微透镜阵列或者通过液晶技术或偏振光技术实现的可调节透镜、目前正在研究的超透镜或者其它可以用来对光线进行调整的透镜技术；一个驱动电路板，根据计算机指令产生驱动显示系统的电信号，使其产生正确的显示内容，产生驱动透镜系统的控制电信号，使其产生正确的光学特性，并保证二者在时序上的同步；一个计算机系统，包括CPU、内存、数据存储器，用来运行通信协议、并对接收到的三维信息进行处理并显示，计算机系统也可能包括GPU单元，用以加快图像数据的处理。三维显示终端可以通过合适的方式对系统的参数数据进行存储，比如可以存储在驱动板的存储器中或者配套计算机的数据存储器中，相关参数在制造相关系统过程中写入其中，计算机系统中运行的数据交换协议在使用过程中从存储器中读出相关数据、进行校验有效后发送至云端。
如图7所示，本发明实施例公开了一种柱状透镜，三维显示终端需要上传的参数，包括：1)显示系统屏幕高度screenH；2)显示系统屏幕宽度screenW；3)像素宽度，等于DPI(dots per inch)的倒数；4)子像素排布方式：RGB；5)透镜类型：柱状透镜阵列；6)透镜的pitch；7)透镜的预倾角；8)透镜在X轴上的装配误差offsetX。
如图8所示，本发明实施例公开了三维终端描述数据格式，包括以下数据段：1)终端系统描述数据，描述设备制造商、序列号、特征编码等，其中特征编号可以通过编码系统把厂商的一些设计参数描述出来，供渲染软件和通信协议采用；2)显示系统描述数据，描述如LCD/OLED/Micro-LED显示器的基本参数，包括分辨率(X、Y轴方向像素数)、DPI、子像素排布方式等；3)透镜系统描述数据，描述透镜的类型、焦距、pitch、倾斜角、排布方式等参数；4)装配误差描述数据，描述通过校准系统测量的系统在装配中产生的误差，包括在X、Y轴方向的装配误差、透镜板的角度误差等。数据可以采用TLV(Type,Length,Value)进行定义，因此可以灵活的扩展，从而支持更多的数据段和参数。相应的数据解析模块也可以灵活地进行相对应的扩展。
如图9所示，三维视频源将对三维场景进行视频采集并和相关的场景和采集设备的Meta Data传递给三维视频注入服务器，这一过程的视频格式和相关协议于三维视频源相关，可能存在多种格式和协议。三维视频注入服务器将对接收到的三维视频进行处理变换、格式的转换、重新编码并封装，使其成为通用格式，等待三维显示终端播放请求。
当三维显示终端准备播放三维视频内容时，首先向三维视频边缘服务器服务器登记播放请求，三维显示终端在这一过程中可以通过配置文件或者其它协议获取三维视频边缘服务器的IP地址、URL和相关三维资源的信息。在登记播放请求中包含有三维显示系统参数信息，包括厂商和序列号信息，当三维视频边缘服务器收到请求后首先检查该终端是否已经登记，如果已经登记则直接从登记数据库中读取显示终端的参数信息，如果没有登记则向三维显示终端要求参数信息。
通过上述两种方式获取三维显示终端参数信息后，三维视频边缘服务器进行参数校验，验证数据的完整性，如校验成功，则可以直接配置相关的渲染算法参数，配置好的渲染算法可以用来对三维内容按照三维显示终端的要求和参数进行渲染。渲染生成的图像信息可以经过三维视频边缘服务器进行压缩、编码等处理后通过通信连接推送至三维显示终端播放。如果三维视频边缘服务器对三维显示终端参数的校验失败，则根据获得的有限信息(如厂商、序列号、特性编码)按照一定规则选择最优的默认参数对渲染算法进行配置，使用默认参数可能会降低显示终端的显示效果，因此可以通过在渲染输出的图像中加入告警等方式提示用户。三维显示终端在接到三维视频边缘服务器的参数要求时需要从本地存储器读取终端参数信息，之后也需要进行校验，避免传输错误的信息给三维视频边缘服务器。
需要说明的是，本专利提出的系统和方法也可以采用其他的数据交换协议来实现同样的目的，比如采用HTTP/HTTPS/FTP协议进行文件的交换，或者通过HTTP/HTTPS进行JSON/XML等格式数据的交换，或者通过API直接获得相关参数等方式。
三维视频边缘服务器在完成三维视频播放终端的数据交换和校验后将向上一级CDN服务器请求相应视频流，上一级CDN服务器如果已经有该视频流将直接推送，如果没有将向其上一级CDN服务器或三维视频注入服务器请求相应视频流，最终在收到相关的通用格式视频流之后推送至三维视频边缘服务器。三维视频边缘服务器在接收到视频流之后根据三维视频播放终端的参数对接收到的视频进行渲染、格式和协议的转换并在封装后推送给三维视频播放终端播放。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于5G网络的光场三维浸入式体验信息传输方法，其特征在于，包括：
按照三维视频源相关格式将采集到的三维视频源推送至三维视频注入服务器；
根据推送至所述三维视频注入服务器的三维视频源，所述三维视频注入服务器将其三维视频源相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器，以复制三维视频；
通过所述一级CDN服务器将三维视频通用格式的三维视频分发至其它级别CDN服务器，并最终到达三维视频边缘服务器；CDN服务器和所述三维视频边缘服务器存在1:N映射；
通过所述三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至所述三维显示终端进行播放。
2.根据权利要求1所述的基于5G网络的光场三维浸入式体验信息传输方法，其特征在于，在通过所述一级CDN服务器将三维视频通用格式的三维视频分发至其它级别CDN服务器，并最终到达三维视频边缘服务器；包括：
根据三维显示终端的参数数据，通过所述三维视频边缘服务器对三维视频进行渲染处理。
3.根据权利要求1所述的基于5G网络的光场三维浸入式体验信息传输方法，其特征在于，所述根据推送至所述三维视频注入服务器的三维视频源，所述三维视频注入服务器将其三维视频相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器包括：
通过所述三维视频注入服务器对所述三维视频源进行媒体分离，以获取单独的音频、视频及三维光场数据；
对分离后的音频及视频进行格式转换，并对格式转换后的视频进行编码；
对格式转换后的音频和视频进行三维视频封装，使所述三维视频的三维视频相关格式转换为三维视频通用格式，并将三维视频传输至一级CDN服务器。
4.根据权利要求3所述的基于5G网络的光场三维浸入式体验信息传输方法，其特征在于，所述通过所述三维视频注入服务器对所述三维视频源进行媒体分离，以获取单独的音频、视频及三维光场数据包括：
通过所述三维视频注入服务器的音频处理通道对输入的三维视频进行音频分离；
通过所述三维视频注入服务器的视频处理通道对输入的三维视频进行视频分离；
通过所述三维视频注入服务器的数据处理通道对输入的三维视频进行三维光场数据分离。
5.根据权利要求1所述的基于5G网络的光场三维浸入式体验信息传输方法，其特征在于，所述通过所述三维视频边缘服务器将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至所述三维显示终端进行播放包括：
通过所述三维视频边缘服务器对所述三维视频进行媒体分离，以获取单独的音频及视频数据；
结合三维显示终端参数对音频及视频进行格式转化，对视频进行编码，并对音频及视频进行三维视频封装，将三维视频通用格式的三维视频转换为三维显示终端格式，并将三维视频推送至所述三维显示终端进行播放。
6.根据权利要求5所述的基于5G网络的光场三维浸入式体验信息传输方法，其特征在于，所述通过所述三维视频边缘服务器对所述三维视频进行媒体分离，以获取单独的音频及视频数据包括：
通过所述三维视频边缘服务器的音频处理通道对输入的所述三维视频进行音频分离；
通过所述三维视频边缘服务器的视频处理通道对输入的所述三维视频进行视频分离。
7.一种基于5G网络的光场三维浸入式体验信息传输系统，其特征在于，包括：
三维视频注入服务器，用于对接输入的三维视频源，并将其三维视频源相关格式转换为三维视频通用格式；
CDN服务器，用于接收所述三维视频注入服务器推送的三维视频，并对其进行分发；
三维视频边缘服务器，用于接收所述CDN服务器分发的三维视频，并将其转换为三维显示终端格式；
三维显示终端，用于向所述三维视频边缘服务器登记播放请求并播放所述三维视频边缘服务器推送的三维视频。
8.根据权利要求7所述的基于5G网络的光场三维浸入式体验信息传输系统，其特征在于，所述三维视频边缘服务器包括：
三维视频调度管理模块，用于根据三维视频播放终端的请求向CDN服务器请求相关的三维视频；
三维视频处理模块，用于根据三维视频播放终端的参数数据将三维视频的通用格式转换为三维显示终端格式，以匹配请求播放相应三维视频的三维显示终端。
9.一种计算机装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序实现如权利要求1-6任意一项所述的光场三维浸入式体验信息传输方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，处理器用于执行存储介质中存储的计算机程序实现如权利要求1-6任意一项所述的光场三维浸入式体验信息传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911176561.6A CN111225219B (zh) | 2019-11-26 | 2019-11-26 | 一种基于5g网络的光场三维浸入式体验信息传输方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911176561.6A CN111225219B (zh) | 2019-11-26 | 2019-11-26 | 一种基于5g网络的光场三维浸入式体验信息传输方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111225219A true CN111225219A (zh) | 2020-06-02 |
| CN111225219B CN111225219B (zh) | 2021-12-14 |
Family
ID=70830683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911176561.6A Active CN111225219B (zh) | 2019-11-26 | 2019-11-26 | 一种基于5g网络的光场三维浸入式体验信息传输方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111225219B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112969057A (zh) * | 2021-03-23 | 2021-06-15 | 中国大唐集团科学技术研究院有限公司华东电力试验研究院 | 一种5g mec分流的电力系统人员行为自动识别系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101535981A (zh) * | 2005-10-25 | 2009-09-16 | 极速决件公司 | 用于在将媒体数据转换到不同数据格式时维持其质量的方法和系统 |
| CN201887901U (zh) * | 2010-12-21 | 2011-06-29 | 北京睿为视讯技术有限公司 | 一种立体视频播放系统 |
| CN102484734A (zh) * | 2009-08-06 | 2012-05-30 | 高通股份有限公司 | 根据三维输入格式转换视频数据 |
| CN102801989A (zh) * | 2011-05-24 | 2012-11-28 | 未序网络科技（上海）有限公司 | 基于互联网客户端立体视频实时转码方法及系统 |
| CN107801083A (zh) * | 2016-09-06 | 2018-03-13 | 星播网（深圳）信息有限公司 | 一种基于三维虚拟技术的网络实时互动直播方法及装置 |
| CN108495112A (zh) * | 2018-05-10 | 2018-09-04 | Oppo广东移动通信有限公司 | 数据传输方法及终端、计算机存储介质 |
| CN109068126A (zh) * | 2018-08-30 | 2018-12-21 | Oppo广东移动通信有限公司 | 视频播放方法、装置、存储介质及穿戴式设备 |
| CN109274976A (zh) * | 2018-09-30 | 2019-01-25 | Oppo广东移动通信有限公司 | 数据处理方法及装置、电子设备及存储介质 |
| CN109947683A (zh) * | 2019-04-26 | 2019-06-28 | 歌尔科技有限公司 | 一种vr设备 |
-
2019
- 2019-11-26 CN CN201911176561.6A patent/CN111225219B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101535981A (zh) * | 2005-10-25 | 2009-09-16 | 极速决件公司 | 用于在将媒体数据转换到不同数据格式时维持其质量的方法和系统 |
| CN102484734A (zh) * | 2009-08-06 | 2012-05-30 | 高通股份有限公司 | 根据三维输入格式转换视频数据 |
| CN201887901U (zh) * | 2010-12-21 | 2011-06-29 | 北京睿为视讯技术有限公司 | 一种立体视频播放系统 |
| CN102801989A (zh) * | 2011-05-24 | 2012-11-28 | 未序网络科技（上海）有限公司 | 基于互联网客户端立体视频实时转码方法及系统 |
| CN107801083A (zh) * | 2016-09-06 | 2018-03-13 | 星播网（深圳）信息有限公司 | 一种基于三维虚拟技术的网络实时互动直播方法及装置 |
| CN108495112A (zh) * | 2018-05-10 | 2018-09-04 | Oppo广东移动通信有限公司 | 数据传输方法及终端、计算机存储介质 |
| CN109068126A (zh) * | 2018-08-30 | 2018-12-21 | Oppo广东移动通信有限公司 | 视频播放方法、装置、存储介质及穿戴式设备 |
| CN109274976A (zh) * | 2018-09-30 | 2019-01-25 | Oppo广东移动通信有限公司 | 数据处理方法及装置、电子设备及存储介质 |
| CN109947683A (zh) * | 2019-04-26 | 2019-06-28 | 歌尔科技有限公司 | 一种vr设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112969057A (zh) * | 2021-03-23 | 2021-06-15 | 中国大唐集团科学技术研究院有限公司华东电力试验研究院 | 一种5g mec分流的电力系统人员行为自动识别系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111225219B (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6721631B2 (ja) | ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト | |
| KR102246002B1 (ko) | 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램 | |
| US20190320157A1 (en) | Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video | |
| JP7058273B2 (ja) | 情報処理方法および装置 | |
| EP3419295A1 (en) | Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video | |
| CN103369467B (zh) | 在通信网络中信号传递三维视频信息 | |
| US20200145736A1 (en) | Media data processing method and apparatus | |
| WO2018126702A1 (zh) | 一种应用于虚拟现实技术的流媒体的传输方法和客户端 | |
| US20190230388A1 (en) | Method and apparatus for processing video data | |
| TWI786572B (zh) | 沉浸式媒體提供方法、獲取方法、裝置、設備及存儲介質 | |
| US20200145716A1 (en) | Media information processing method and apparatus | |
| CN110913202A (zh) | 一种三维显示云渲染方法和系统 | |
| CN111225219B (zh) | 一种基于5g网络的光场三维浸入式体验信息传输方法及系统 | |
| CN110351492B (zh) | 一种视频数据处理方法、装置及介质 | |
| US20240080501A1 (en) | Processing of multi-view video | |
| US12081720B2 (en) | Devices and methods for generating and rendering immersive video | |
| CN116848840A (zh) | 多视图视频流式传输 | |
| EP4297418A1 (en) | Signaling encapsulated data representing primary video sequence and associated auxiliary video sequence | |
| CN110476430A (zh) | 用于针对虚拟现实应用程序发信号通知与最感兴趣区域相关联的信息的系统和方法 | |
| KR102465403B1 (ko) | 2d영상 및 360도 영상이 조합된 동영상 콘텐츠를 제공하는 방법 및 장치 | |
| Hinds | Enabling the immersive display: a new paradigm for content distribution | |
| CN103475888A (zh) | 复现真实场景的方法及装置 | |
| JP2012222426A (ja) | 映像配信システム、映像送信装置、及び映像再生装置 | |
| Gao et al. | Omniviewer: Multi-modal monoscopic 3d dash system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |