CN116095295A - 一种全景多屏互动数字展示系统 - Google Patents

一种全景多屏互动数字展示系统 Download PDF

Info

Publication number
CN116095295A
CN116095295A CN202211661724.1A CN202211661724A CN116095295A CN 116095295 A CN116095295 A CN 116095295A CN 202211661724 A CN202211661724 A CN 202211661724A CN 116095295 A CN116095295 A CN 116095295A
Authority
CN
China
Prior art keywords
module
digital display
panoramic
analysis processing
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211661724.1A
Other languages
English (en)
Inventor
张潇
华凯
曾晔
王麒超
邹进者
王德封
方超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
E Surfing Reading Culture Communications Co Ltd
Original Assignee
E Surfing Reading Culture Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by E Surfing Reading Culture Communications Co Ltd filed Critical E Surfing Reading Culture Communications Co Ltd
Priority to CN202211661724.1A priority Critical patent/CN116095295A/zh
Publication of CN116095295A publication Critical patent/CN116095295A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种全景多屏互动数字展示系统，包括公网服务器、中央处理模块和数字展示模块，公网服务器与一组数字展示模块之间通过控制连接，一组数字展示模块均与中央处理模块之间控制连接；公网服务器，用于获取数字展示模块对应的终端信息，建立通讯连接；通过中央处理模块，整合一组数据展示模块获取的视频图像，选取清晰的多个视频图像进行拼接整合，形成VR全景影像，实现多用户多屏VR全景互动；最后通过数字展示模块，获取并对VR全景影像进行分析处理，适配对应的用户终端，从而提高互动清晰度的同时，实现全息、全景互动，提高用户互动体验。

Description

一种全景多屏互动数字展示系统
技术领域
本发明涉及VR全景互动技术领域，尤其是涉及一种全景多屏互动数字展示系统。
背景技术
由于视频通话具有较好的互动效果，视频通话广受人们的喜爱，因此市场上对于视频互动的方式有了一定的要求；但是，现有的视频互动方式大多为2D视频图像互动，互动视频不够清晰，互动效果较差，影响体验；随着VR（Virtual Reality，虚拟现实）技术的产生与发展，基于VR技术的设备逐渐兴起，现有的VR技术包括VR视频的采集、播放及互动，采用摄像头对单视频进行采集，通过采集器采集的视频剪裁器AR渲染，并将剪裁的结果送入视频编码器，以编码的形式通过互联网传输至服务器实现交互；存在无法实现多屏多组视频的适配性整合展示的问题。例如：
一种现有的VR展示方法，是利用全景的采集器，对多个角度将场景中的所有区域以及多路视频进行拍摄，但是需要进行过培训的专业人士进行实地拍摄，而且每次拍摄的效果不同；
另一种现有的VR展示方法，是将VR超高清视频源分辨率下采样形成高清层，对高清层与基本层进行球面建模，计算视椎体与球面模型顶点的交点数据并映射于视频分块上进行分块选择，判断优先播放高清层或者基本层，虽然能够提高展示效果，然而需要高度精准的设备仪器，使用成本极高，且反馈效率低。
因此，一种能够实现真正全息、全景互动，并同时保证高清图像的系统，变得非常有必要。
发明内容
为解决现有技术的不足，实现全息、全景互动，同时保证图像质量，提高互动体验的目的，本发明采用如下的技术方案：
一种全景多屏互动数字展示系统，包括公网服务器、中央处理模块和数字展示模块，所述公网服务器与一组数字展示模块之间通过控制连接，一组数字展示模块均与中央处理模块之间控制连接；
所述公网服务器，用于获取数字展示模块对应的终端信息，建立通讯连接；
所述中央处理模块，整合一组数据展示模块获取的视频图像，选取清晰的多个视频图像进行拼接整合，形成VR全景影像；
所述数字展示模块，获取并对VR全景影像进行分析处理，适配对应的用户终端。
进一步地，所述中央处理模块包括视频接收模块、第一分析处理模块和传输模块，视频接收模块与第一分析处理模块之间控制连，第一分析处理模块与传输模块之间控制连接；通过视频接收模块接收传输的多组视频图像，再通过第一分析处理模块进行分析处理，选择最清晰的多个图像进行拼接整合，形成3D图像，提高互动清晰度的同时，提高用户互动体验，最后通过传输模块传输至数字展示模块。
进一步地，所述接视频接收模块包括手势识别采集模块、声音识别采集模块和面部识别采集模块，手势识别采集模块、声音识别采集模块和面部识别采集模块均和第一分析处理模块控制连接；通过手势识别采集模块、声音识别采集模块和面部识别采集模块，识别分析用户动作，实现多种方式控制的目的。
进一步地，所述声音识别采集模块包括拾音器模块、降噪滤波模块和音频控制模块，拾音器模块分别和降噪滤波模块、音频控制模块控制连接；通过拾音器模块、降噪滤波模块和音频控制模块，调高音频的质量和大小。
进一步地，所述数字展示模块包括通讯模块、第二分析处理模块、操作模块、画面布局模块和显示模块，通讯模块与第二分析处理模块控制连接，第二分析处理模块与画面布局模块控制连接，画面布局模块与显示模块控制连接，显示模块与操作模块控制连接；通讯模块获取VR全景影像，经第二分析处理模块分析处理和画面布局模块适配后，进行多用户VR全景互动，通过画面布局模块的使用，提高视频画面与用户终端显示屏的适配性，提高用户的使用体验。
进一步地，所述操作模块包括鼠标点击模块、触屏反馈模块、手势识别模块，显示模块与鼠标点击模块、和/或触屏反馈模块、和/或手势识别模块控制连接，以使用户能够基于鼠标、和/或触屏反馈、和/或手势识别进行互动控制；从而实现用户多类型的VR全景互动控制。
本发明的优势和有益效果在于：
本发明的一种全景多屏互动数字展示系统，通过中央处理模块与多个数字展示模块配合，形成VR全景互动系统，可以多用户多屏VR全景互动，通过视频接收模块接收传输的多组视频图像，再通过第一分析处理模块进行分析处理，选择最清晰的多个图像进行拼接整合，形成3D图像，提高互动清晰度的同时，实现全息、全景互动，提高用户互动体验。
附图说明
图1是本发明实施例中系统的总体框图。
图2是本发明实施例中系统的模块结构示意图。
图3是本发明实施例中系统各模块的执行过程示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1至图3所示，一种VR全景多屏互动数字展示系统，包括公网服务器1、中央处理模块2和数字展示模块3，公网服务器1与数字展示模块3之间通过控制连接，数字展示模块3与中央处理模块2之间控制连接；通过中央处理模块与多个数字展示模块配合，形成VR全景互动系统。
中央处理模块2包括视频接收模块21、第一分析处理模块22和传输模块23，视频接收模块21与第一分析处理模块22之间控制连，第一分析处理模块22与传输模块23之间控制连接；通过视频接收模块接收传输的多组视频图像，再通过第一分析处理模块进行分析处理，选择最清晰的多个图像进行拼接整合，形成3D图像，提高互动清晰度的同时，提高用户互动体验。
视频接收模块21包括手势识别采集模块211、声音识别采集模块212和面部识别采集模块213，手势识别采集模块211、声音识别采集模块212和面部识别采集模块213均和第一分析处理模块22控制连接；通过手势识别采集模块、声音识别采集模块和面部识别采集模块，识别分析用户动作，实现多种方式控制的目的。
声音识别采集模块212包括拾音器模块2121、降噪滤波模块2122和音频控制模块2123，拾音器模块2121分别和降噪滤波模块2122、音频控制模块2123控制连接；通过拾音器模块、降噪滤波模块和音频控制模块调高音频的质量和大小。
数字展示模块3包括通讯模块31、第二分析处理模块32、操作模块33、画面布局模块34和显示模块35；传输模块23控制连接有通讯模块31，通讯模块31与第二分析处理模块32控制连接，第二分析处理模块32与画面布局模块34控制连接，画面布局模块34与显示模块35控制连接，显示模块35与操作模块33控制连接；通过画面布局模块的使用，提高视频画面与用户终端显示屏的适配性，提高用户的使用体验。
操作模块33由鼠标点击模块331、触屏反馈模块332、手势识别模块333组成，显示模块35分别与鼠标点击模块331、触屏反馈模块332、手势识别模块333控制连接；实现用户多类型的VR全景互动控制。
本发明的一个实施例中：
公网服务器1：用于通过控制手段获取节点下的终端设备集合信息，建立通讯连接；
中央处理模块2：通过第一分析处理模块进行分析处理，整合的视频图像具备1920×1080个有效像素数，最大像素数为601万，光学变焦为17倍，有效像素数为400万，最高分辨率为1920×1080，形成VR全景影像，通过手势识别采集模块、声音识别采集模块、面部识别采集模块，定位用户在全景中的位置，使人像居中显示，提高视频显示效果，同时通过拾音器模块、降噪滤波模块、音频控制模块，去除噪音，提高音频质量、控制音频音量；
数字展示模块3：用于将全息影像传输到一个或多个用户终端，通过第二分析处理模块分析处理和画面布局模块适配后，实现多用户VR全景互动的目的。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (6)

1.一种全景多屏互动数字展示系统，包括公网服务器（1）、中央处理模块（2）和数字展示模块（3），其特征在于：所述公网服务器（1）与一组数字展示模块（3）之间通过控制连接，一组数字展示模块（3）均与中央处理模块（2）之间控制连接；
所述公网服务器（1），用于获取数字展示模块对应的终端信息，建立通讯连接；
所述中央处理模块（2），整合一组数据展示模块（3）获取的视频图像，选取清晰的多个视频图像进行拼接整合，形成VR全景影像；
所述数字展示模块（3），获取并对VR全景影像进行分析处理，适配对应的用户终端。
2.根据权利要求1所述的一种全景多屏互动数字展示系统，其特征在于：所述中央处理模块（2）包括视频接收模块（21）、第一分析处理模块（22）和传输模块（23），视频接收模块（21）与第一分析处理模块（22）之间控制连，第一分析处理模块（22）与传输模块（23）之间控制连接；通过视频接收模块（21）接收传输的多组视频图像，再通过第一分析处理模块（22）进行分析处理，选择最清晰的多个图像进行拼接整合，形成3D图像，最后通过传输模块（23）传输至数字展示模块（3）。
3.根据权利要求2所述的一种全景多屏互动数字展示系统，其特征在于：所述接视频接收模块（21）包括手势识别采集模块（211）、声音识别采集模块（212）和面部识别采集模块（213），手势识别采集模块（211）、声音识别采集模块（212）和面部识别采集模块（213）均和第一分析处理模块（22）控制连接；通过手势识别采集模块（211）、声音识别采集模块（212）和面部识别采集模块（213），识别分析用户动作。
4.根据权利要求3所述的一种全景多屏互动数字展示系统，其特征在于：所述声音识别采集模块（212）包括拾音器模块（2121）、降噪滤波模块（2122）和音频控制模块（2123），拾音器模块（2121）分别和降噪滤波模块（2122）、音频控制模块（2123）控制连接；通过拾音器模块（2121）、降噪滤波模块（2122）和音频控制模块（2123），调高音频的质量和大小。
5.根据权利要求1所述的一种全景多屏互动数字展示系统，其特征在于：所述数字展示模块（3）包括通讯模块（31）、第二分析处理模块（32）、操作模块（33）、画面布局模块（34）和显示模块（35），通讯模块（31）与第二分析处理模块（32）控制连接，第二分析处理模块（32）与画面布局模块（34）控制连接，画面布局模块（34）与显示模块（35）控制连接，显示模块（35）与操作模块（33）控制连接；通讯模块（31）获取VR全景影像，经第二分析处理模块（32）分析处理和画面布局模块（34）适配后，进行多用户VR全景互动。
6.根据权利要求5所述的一种全景多屏互动数字展示系统，其特征在于：所述操作模块（33）包括鼠标点击模块（331）、触屏反馈模块（332）、手势识别模块（333），显示模块（35）与鼠标点击模块（331）、和/或触屏反馈模块（332）、和/或手势识别模块（333）控制连接，以使用户能够基于鼠标、和/或触屏反馈、和/或手势识别进行互动控制。
CN202211661724.1A 2022-12-23 2022-12-23 一种全景多屏互动数字展示系统 Withdrawn CN116095295A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211661724.1A CN116095295A (zh) 2022-12-23 2022-12-23 一种全景多屏互动数字展示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211661724.1A CN116095295A (zh) 2022-12-23 2022-12-23 一种全景多屏互动数字展示系统

Publications (1)

Publication Number Publication Date
CN116095295A true CN116095295A (zh) 2023-05-09

Family

ID=86205552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211661724.1A Withdrawn CN116095295A (zh) 2022-12-23 2022-12-23 一种全景多屏互动数字展示系统

Country Status (1)

Country Link
CN (1) CN116095295A (zh)

Similar Documents

Publication Publication Date Title
CN107911644B (zh) 基于虚拟人脸表情进行视频通话的方法及装置
CN106992959B (zh) 一种3d全景音视频直播系统及音视频采集方法
JP4763312B2 (ja) 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム
CN111402399B (zh) 人脸驱动和直播方法、装置、电子设备及存储介质
US11076127B1 (en) System and method for automatically framing conversations in a meeting or a video conference
CN112714327B (zh) 基于直播应用程序的互动方法、装置、设备及存储介质
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN111970524B (zh) 交互类直播连麦的控制方法、装置、系统、设备及介质
CN112672090B (zh) 一种云视频会议中优化音视频效果的方法
CN114827517A (zh) 一种投影视频会议系统及视频投影方法
CN102098443A (zh) 一种摄像设备、通信系统和相应的图像处理方法
CN105933637A (zh) 一种视频通信的方法及系统
CN115103138A (zh) 一种基于时空一致的虚实融合图像的生成方法和系统
CN112543344A (zh) 直播控制方法、装置、计算机可读介质及电子设备
CN108401163B (zh) 一种实现vr直播的方法、装置及ott业务系统
CN114531564A (zh) 处理方法及电子设备
JP2007235969A (ja) 映像記録システム、プログラム及び記録媒体
CN114666477A (zh) 一种视频数据处理方法、装置、设备及存储介质
US20230421740A1 (en) Video processing device and video generating system for virtual reality
CN113676692A (zh) 视频会议中视频的处理方法、装置、电子设备及存储介质
CN101583010A (zh) 图像处理方法及图像处理系统
CN116095295A (zh) 一种全景多屏互动数字展示系统
CN115174954A (zh) 视频直播方法、装置、电子设备以及存储介质
CN115412702A (zh) 一种会议终端与电视墙一体化设备及系统
CN112887653B (zh) 一种信息处理方法和信息处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230509

WW01 Invention patent application withdrawn after publication