CN115190289A - 3d全息视屏通信方法、云端服务器、存储介质及电子设备 - Google Patents

3d全息视屏通信方法、云端服务器、存储介质及电子设备 Download PDF

Info

Publication number
CN115190289A
CN115190289A CN202210602936.6A CN202210602936A CN115190289A CN 115190289 A CN115190289 A CN 115190289A CN 202210602936 A CN202210602936 A CN 202210602936A CN 115190289 A CN115190289 A CN 115190289A
Authority
CN
China
Prior art keywords
video
holographic
character
scene
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210602936.6A
Other languages
English (en)
Inventor
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202210602936.6A priority Critical patent/CN115190289A/zh
Publication of CN115190289A publication Critical patent/CN115190289A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明实施例公开了一种3D全息视屏通信方法、装置、存储介质及电子设备，该方法包括接收采集端的全息采集设备发送的视频，将视频进行压缩，得到压缩视频，对压缩视频进行转码，得到压缩视频对应的转码视频；获取转码视频中的人物视频及实体场景；对人物视频进行渲染，得到渲染后的人物视频；基于实体场景，搭建与实体场景相一致的三维虚拟场景；将渲染后的人物视频与三维虚拟场景相融合，得到最终的视频。该方法通过云端服务器对全息采集设备发送的视频进行处理，再将处理后的视频发送给接收端全息成像设备，从而能够播放3D全息影像，进而不仅能够使视频通话具有立体感和真实感，提高用户体验，而且还无需佩戴额外的体感交互设备。

Description

3D全息视屏通信方法、云端服务器、存储介质及电子设备
技术领域
本发明涉及通信技术领域，具体而言涉及一种3D全息视屏通信方法、装置、存储介质及电子设备。
背景技术
视频会议、视频通话等视频通信技术是一种利用传输介质，实现“交互、可视化、实时”交流的多媒体通讯技术。目前，视频通信技术是通过全息采集设备将通话人员或通话环境的影像发送至对方，但是这些影像都是二维的，不能体现面对面交流的感觉，从而降低了视频通话的立体感和真实感，降低用户体验。
发明内容
有鉴于此，本发明提供了一种3D全息视屏通信方法、装置、存储介质及电子设备，以解决现有视频通信技的影像都是二维的，不能体现面对面交流的感觉，从而降低了视频通话的立体感和真实感，降低用户体验的问题。
第一方面，本发明提供了一种3D全息视屏通信方法，应用于云端服务器，所述方法包括：
接收采集端的全息采集设备发送的视频；
将所述视频进行压缩，得到压缩视频；
对所述压缩视频进行转码，得到所述压缩视频对应的转码视频；
获取所述转码视频中的人物视频及实体场景；
对所述人物视频进行渲染，得到渲染后的人物视频；
基于所述实体场景，搭建所述与实体场景相一致的三维虚拟场景；
将所述渲染后的人物视频与所述三维虚拟场景相融合，得到最终的视频；
将所述最终的视频发送给至少一个接收端的全息成像设备，以使所述全息成像设备播放所述最终的视频。
可选地，所述对所述人物视频进行渲染，得到渲染后的人物视频包括：
将所述人物视频的格式转化为预设视频格式，以得到渲染后的人物视频，其中，所述预设格式为全息成像设备能够播放的视频格式。
可选地，所述接收采集端的全息采集设备发送的视频包括：
建立与所述全息采集设备的RTC通信连接；
通过所述RTC通信连接，接收采集端的全息采集设备发送的视频。
可选地，所述将所述最终的视频发送给至少一个接收端的全息成像设备之后包括：
获取所述最终的视频的播放清晰度；
基于所述播放清晰度，调整转码的码率。
可选地，所述将所述最终的视频发送给至少一个接收端的全息成像设备之后包括：
获取转码的预设码率；
基于所述预设码率，调整所述最终视频的分辨率。
可选地，所述全息采集设备为具有补光部件的全息采集设备，所述补光部件用于在拍摄过程中进行补光。
第二方面，本发明提供了一种云端服务器，包括：
接收模块，用于接收采集端的全息采集设备发送的视频；
压缩模块，用于将所述视频进行压缩，得到压缩视频；
转码模块，用于对所述压缩视频进行转码，得到所述压缩视频对应的转码视频；
获取模块，用于获取所述转码视频中的人物视频及实体场景；
渲染模块，用于对所述人物视频进行渲染，得到渲染后的人物视频；
场景搭建模块，用于基于所述实体场景，搭建所述与实体场景相一致的三维虚拟场景；
融合模块，用于将所述渲染后的人物视频与所述三维虚拟场景相融合，得到最终的视频；
发送模块，用于将所述最终的视频发送给至少一个接收端的全息成像设备，以使所述全息成像设备播放所述最终的视频。
第三方面，本发明提供了一种计算机存储介质，所述计算机存储介质中存储有至少一种可执行指令，所述可执行指令使处理器执行上述的3D全息视屏通信方法对应的操作。
第四方面，本发明提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线、所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一种可执行指令，所述可执行指令使所述处理器执行上述的3D全息视屏通信方法对应的操作。
根据本发明实施例所提供的一种3D全息视屏通信方法、装置、存储介质及电子设备，该方法通过云端服务器对全息采集设备发送的视频进行转码、渲染及场景搭建之后，再将处理后的视频发送给接收端全息成像设备，从而能够播放3D全息影像，进而不仅能够使视频通话具有立体感和真实感，提高用户体验，而且还无需佩戴额外的体感交互设备。
附图说明
本发明的下列附图在此作为本发明实施例的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。
附图中：
图1为根据本发明的一个可选实施例的3D全息视屏通信方法的流程图；
图2为根据本发明的一个可选实施例的步骤S101的流程图；
图3为根据本发明的一个可选实施例的步骤S108之后的流程图；
图4为根据本发明的另一个可选实施例的步骤S108之后的流程图；
图5为根据本发明的一个可选实施例的云端服务器的结构示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其它的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本发明的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或件，但不排除存在或附加一个或多个其它特征、整体、步骤、操作、元件、件和/或它们的组合。
现在，将参照附图更详细地描述根据本发明的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。应当理解的是，提供这些实施例是为了使得本发明的公开彻底且完整，并且将这些示例性实施例的构思充分传达给本领域普通技术人员。
第一方面，如图1所示，本发明提供了一种3D全息视屏通信方法，应用于云端服务器，该方法包括：
步骤S101：接收采集端的全息采集设备发送的视频。
其中，全息采集设备可采用全息舱，通过全息采集设备采集人物的语言、动作等。在全息采集设备向云端服务器发送视频的过程中，视频在实时传输协议和QOS抗丢包的保障下达到云端服务器。
步骤S102：将视频进行压缩，得到压缩视频。
步骤S103：对压缩视频进行转码，得到压缩视频对应的转码视频。
在本步骤中，将视频转码成能够播放的视频格式，例如4K电影的格式。
步骤S104：获取转码视频中的人物视频及实体场景。
步骤S105：对人物视频进行渲染，得到渲染后的人物视频。
渲染后的人物视频可以呈现真人1：1等比虚拟化复刻，生成3D全息人物，以高清方式重建所有互动细节，通过视频进行传输可以将人物的微面部表情和服装纹理，达到“发丝级”全息全尺寸复刻，塑造全真实交互的沉浸感。
步骤S106：基于实体场景，搭建与实体场景相一致的三维虚拟场景。
在本步骤中，可通过在数据库中调用与实体场景相对应的标准模型，然后将标准模型构建成与实体场景相一致的三维数字模型，从而得到与实体场景相一致的三维虚拟场景，当然，还可以采用现有的其他方式搭建与实体场景相一致的三维虚拟场景，本实施例不做严格限定。
步骤S107：将渲染后的人物视频与三维虚拟场景相融合，得到最终的视频。
通过渲染后的人物视频与三维虚拟场景相融合，从而得到了3D全息影像，以提高视频通话具有立体感和真实感，提高用户体验。
进一步地，在全息采集设备采集人物的语言、动作的过程中，可利用全息采集设备的白光光源作为输入光，从而提高三位虚拟场景的立体感。
步骤S108：将最终的视频发送给至少一个接收端的全息成像设备，以使全息成像设备播放最终的视频。
其中，全息采集设备可采用全息舱。在本步骤中，通过全息成像设备对云端服务器处理后的视频进行播放，从而能够使接收端的观看者看到3D全息影像。
在本实施例中，通过云端服务器对全息采集设备发送的视频进行转码、渲染及场景搭建之后，再将处理后的视频发送给接收端全息成像设备，从而能够播放3D全息影像，进而不仅能够使视频通话具有立体感和真实感，提高用户体验，而且还无需佩戴额外的体感交互设备。
进一步地，在上述实施例中，步骤S105具体包括：
将人物视频的格式转化为预设视频格式，以得到渲染后的人物视频，其中，预设格式为全息成像设备能够播放的视频格式。
在本步骤中，直接将视频的格式转化为全息成像设备能够播放的视频格式，从而能够使全息成像设备进行播放，即可呈现生成3D全息人物，省去了对人物进行具体特征的复杂建模及构建的复杂过程。
进一步地，在上述实施例中，如图2所示，步骤S101具体包括：
步骤S201：建立与全息采集设备的RTC通信连接。
步骤S202：通过RTC通信连接，接收采集端的全息采集设备发送的视频。
RTC技术可以将海量的指令与数据从本地以超低的延迟发送到云端就行处理，从而降低视频播放的延迟，使视频的播放与语音通话具有相同的同步性。
进一步地，如图3所示，在上述实施例中，步骤S108之后包括：
步骤S301：获取最终的视频的播放清晰度。
步骤S302：基于播放清晰度，调整转码的码率。
示例性的，在720p的影片中，将预设码率设置为2Mbps，转码会把视频内容在播放过程中实时进行分析，通过前置窗口中实时探测视频的清晰度，再将码率调整最合适的码率，同时确保所调整的码率不超出最初的预设码率。
进一步地，如图4所示，在上述实施例中，步骤S108之后包括：
步骤S401：获取转码的预设码率。
步骤S402：基于预设码率，调整最终视频的分辨率。
当画面内容特别复杂时，在2Mbps的码率下降低分辨率；当画面内容较为简单时，可以相应地提高分辨率，从而在同样的带宽下有更好的播放效果。
进一步地，全息采集设备为具有补光部件的全息采集设备，补光部件用于在拍摄过程中进行补光。
实时的补光可以将人物及场景的明暗程度符合现场的实际环境，增强人物的逼真效果，给人以更好的视觉感。
第二方面，如图5所示，本发明提供了一种云端服务器，包括：
接收模块501，用于接收采集端的全息采集设备发送的视频；
压缩模块502，用于将视频进行压缩，得到压缩视频；
转码模块503，用于对压缩视频进行转码，得到压缩视频对应的转码视频；
获取模块504，用于获取转码视频中的人物视频及实体场景；
渲染模块505，用于对人物视频进行渲染，得到渲染后的人物视频；
场景搭建模块506，用于基于实体场景，搭建与实体场景相一致的三维虚拟场景；
融合模块507，用于将渲染后的人物视频与三维虚拟场景相融合，得到最终的视频；
发送模块508，用于将最终的视频发送给至少一个接收端的全息成像设备，以使全息成像设备播放最终的视频。
第三方面，本发明提供了一种计算机存储介质，计算机存储介质中存储有至少一种可执行指令，可执行指令使处理器执行上述的3D全息视屏通信方法对应的操作。
第四方面，本发明提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线、处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一种可执行指令，可执行指令使处理器执行上述的3D全息视屏通信方法对应的操作。
本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (9)

1.一种3D全息视屏通信方法，应用于云端服务器，其特征在于，所述方法包括：
接收采集端的全息采集设备发送的视频；
将所述视频进行压缩，得到压缩视频；
对所述压缩视频进行转码，得到所述压缩视频对应的转码视频；
获取所述转码视频中的人物视频及实体场景；
对所述人物视频进行渲染，得到渲染后的人物视频；
基于所述实体场景，搭建所述与实体场景相一致的三维虚拟场景；
将所述渲染后的人物视频与所述三维虚拟场景相融合，得到最终的视频；
将所述最终的视频发送给至少一个接收端的全息成像设备，以使所述全息成像设备播放所述最终的视频。
2.根据权利要求1所述的方法，其特征在于，所述对所述人物视频进行渲染，得到渲染后的人物视频包括：
将所述人物视频的格式转化为预设视频格式，以得到渲染后的人物视频，其中，所述预设格式为全息成像设备能够播放的视频格式。
3.根据权利要求1所述的方法，其特征在于，所述接收采集端的全息采集设备发送的视频包括：
建立与所述全息采集设备的RTC通信连接；
通过所述RTC通信连接，接收采集端的全息采集设备发送的视频。
4.根据权利要求1所述的方法，其特征在于，所述将所述最终的视频发送给至少一个接收端的全息成像设备之后包括：
获取所述最终的视频的播放清晰度；
基于所述播放清晰度，调整转码的码率。
5.根据权利要求1所述的方法，其特征在于，所述将所述最终的视频发送给至少一个接收端的全息成像设备之后包括：
获取转码的预设码率；
基于所述预设码率，调整所述最终视频的分辨率。
6.根据权利要求1所述的方法，其特征在于，所述全息采集设备为具有补光部件的全息采集设备，所述补光部件用于在拍摄过程中进行补光。
7.一种云端服务器，其特征在于，包括：
接收模块，用于接收采集端的全息采集设备发送的视频；
压缩模块，用于将所述视频进行压缩，得到压缩视频；
转码模块，用于对所述压缩视频进行转码，得到所述压缩视频对应的转码视频；
获取模块，用于获取所述转码视频中的人物视频及实体场景；
渲染模块，用于对所述人物视频进行渲染，得到渲染后的人物视频；
场景搭建模块，用于基于所述实体场景，搭建所述与实体场景相一致的三维虚拟场景；
融合模块，用于将所述渲染后的人物视频与所述三维虚拟场景相融合，得到最终的视频；
发送模块，用于将所述最终的视频发送给至少一个接收端的全息成像设备，以使所述全息成像设备播放所述最终的视频。
8.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一种可执行指令，所述可执行指令使处理器执行如权利要求1-6中任一项所述的3D全息视屏通信方法对应的操作。
9.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线、所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一种可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的3D全息视屏通信方法对应的操作。
CN202210602936.6A 2022-05-30 2022-05-30 3d全息视屏通信方法、云端服务器、存储介质及电子设备 Pending CN115190289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210602936.6A CN115190289A (zh) 2022-05-30 2022-05-30 3d全息视屏通信方法、云端服务器、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210602936.6A CN115190289A (zh) 2022-05-30 2022-05-30 3d全息视屏通信方法、云端服务器、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115190289A true CN115190289A (zh) 2022-10-14

Family

ID=83513733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210602936.6A Pending CN115190289A (zh) 2022-05-30 2022-05-30 3d全息视屏通信方法、云端服务器、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115190289A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034993A (zh) * 2012-10-30 2013-04-10 天津大学 一种数字视频转码检测方法
CN105913485A (zh) * 2016-04-06 2016-08-31 北京小小牛创意科技有限公司 一种三维虚拟场景的生成方法及装置
CN108449569A (zh) * 2018-03-13 2018-08-24 重庆虚拟实境科技有限公司 虚拟会议方法、系统、装置、计算机装置及存储介质
CN112532963A (zh) * 2020-12-18 2021-03-19 深圳臻像科技有限公司 一种基于ar的三维全息实时互动系统及方法
CN112562433A (zh) * 2020-12-30 2021-03-26 华中师范大学 一种基于全息终端的5g强互动远程专递教学系统及其工作方法
US20210409516A1 (en) * 2020-06-30 2021-12-30 Verizon Patent And Licensing Inc. Methods and system for adaptive avatar-based real-time holographic communication
CN114143494A (zh) * 2021-11-30 2022-03-04 中国建设银行股份有限公司 一种视频通信方法、电子设备和通信系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034993A (zh) * 2012-10-30 2013-04-10 天津大学 一种数字视频转码检测方法
CN105913485A (zh) * 2016-04-06 2016-08-31 北京小小牛创意科技有限公司 一种三维虚拟场景的生成方法及装置
CN108449569A (zh) * 2018-03-13 2018-08-24 重庆虚拟实境科技有限公司 虚拟会议方法、系统、装置、计算机装置及存储介质
US20210409516A1 (en) * 2020-06-30 2021-12-30 Verizon Patent And Licensing Inc. Methods and system for adaptive avatar-based real-time holographic communication
CN112532963A (zh) * 2020-12-18 2021-03-19 深圳臻像科技有限公司 一种基于ar的三维全息实时互动系统及方法
CN112562433A (zh) * 2020-12-30 2021-03-26 华中师范大学 一种基于全息终端的5g强互动远程专递教学系统及其工作方法
CN114143494A (zh) * 2021-11-30 2022-03-04 中国建设银行股份有限公司 一种视频通信方法、电子设备和通信系统

Similar Documents

Publication Publication Date Title
US9210372B2 (en) Communication method and device for video simulation image
WO2018045927A1 (zh) 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及系统
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
KR100889367B1 (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
CN110784730B (zh) 直播视频数据的传输方法、装置、设备和存储介质
KR20100085188A (ko) 3차원 비디오 통신 단말기, 시스템 및 방법
CN107211081B (zh) 基于独立编码的背景更新的视频传输
CN111064919A (zh) 一种vr远程会议方法及装置
US10958950B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN111464828A (zh) 虚拟特效显示方法、装置、终端及存储介质
CN114584737A (zh) 一种云会议中实时多人同场景自定义的方法与系统
KR20220113772A (ko) 이종 클라이언트 엔드 포인트들로 스트리밍하기 위한 2d 비디오의 적응을 위한 뉴럴 네트워크 모델의 참조
CN111641878A (zh) 三维模型展示方法、装置和电子设备
CN115190289A (zh) 3d全息视屏通信方法、云端服务器、存储介质及电子设备
CN116193182A (zh) Ar内容的投屏方法、系统、电子设备和存储介质
CN107580228B (zh) 一种监控视频处理方法、装置及设备
CN115174954A (zh) 视频直播方法、装置、电子设备以及存储介质
CN116962742A (zh) 网络直播的视频图像数据传输方法、装置及直播系统
CN101340546A (zh) 高分辨率视频会议系统
JP2002077844A (ja) 画像伝送装置及び画像伝送方法並びに画像伝送プログラムを記録したコンピュータ読み取り可能な記録媒体
CN113810725A (zh) 视频处理方法、装置、存储介质及视频通讯终端
CN112565799A (zh) 视频数据处理方法和装置
CN111901628A (zh) 基于zSpace桌面VR一体机的云端渲染方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination