CN112532963B - 一种基于ar的三维全息实时互动系统及方法 - Google Patents

一种基于ar的三维全息实时互动系统及方法 Download PDF

Info

Publication number
CN112532963B
CN112532963B CN202011509687.3A CN202011509687A CN112532963B CN 112532963 B CN112532963 B CN 112532963B CN 202011509687 A CN202011509687 A CN 202011509687A CN 112532963 B CN112532963 B CN 112532963B
Authority
CN
China
Prior art keywords
video
audio
fusion
equipment
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011509687.3A
Other languages
English (en)
Other versions
CN112532963A (zh
Inventor
黄辉
徐文宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhenxiang Technology Co ltd
Original Assignee
Shenzhen Zhenxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhenxiang Technology Co ltd filed Critical Shenzhen Zhenxiang Technology Co ltd
Priority to CN202011509687.3A priority Critical patent/CN112532963B/zh
Publication of CN112532963A publication Critical patent/CN112532963A/zh
Application granted granted Critical
Publication of CN112532963B publication Critical patent/CN112532963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种基于AR的三维全息实时互动系统及方法，所述系统设置于A地的3D融合处理设备，第一音视频采集设备及音视频播放设备，第一音视频采集设备采集A地场景内的音频及视频，3D融合处理设备对A地采集的视频进行3D融合形成能立体显示的融合视频；设置于B地的音视频处理设备，第二音视频采集设备、音频播放设备及全息投影显示设备，第二音视频采集设备采集B地场景内的音频及视频，音视频处理设备将B地采集的音频及视频发送至A地，音频播放设备播放A地发送来的音频，全息投影显示设备用于以全息投影的效果立体显示A地发送来的融合视频。本发明使得A地主体能以全息投影的方式在B地立体再现，从而增加了交互沟通的体验。

Description

一种基于AR的三维全息实时互动系统及方法
技术领域
本发明涉及全息交互设备技术领域，尤其涉及一种基于AR的三维全息实时互动系统及方法。
背景技术
目前的远程交互系统一般通过网络摄像机和麦克风采集音频和视频信息，然后音视频流数据通过宽带传输，传输到目的地后再通过音箱显示器和等音视频播放设备进行呈现。
但是现有的远程交互系统中视频的展示效果都是平面化的，基本无立体感，这样在交流过程中缺乏面对面立体交互的感觉，影响交互体验。
因此，现有技术还有待改进。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于AR的三维全息实时互动系统及方法，使得A地主体能以全息投影的方式在B地立体再现，从而增加了交互沟通的体验。
为实现上述目的，本发明采取了以下技术方案：
第一方面，本发明提出了一种基于AR的三维全息实时互动系统，其中，包括：
设置于A地的3D融合处理设备，与3D融合处理设备连接的第一音视频采集设备及音视频播放设备，第一音视频采集设备用于采集A地场景内的音频及视频，3D融合处理设备用于对A地采集的视频进行3D融合以形成用于在B地全息投影立体显示的融合视频，并将A地采集的音频及融合后的视频发送至B地，音视频播放设备用于播放B地发送来的音频及视频；
设置于B地的音视频处理设备，与音视频处理设备连接的第二音视频采集设备、音频播放设备及全息投影显示设备，第二音视频采集设备用于采集B地场景内的音频及视频，音视频处理设备用于将B地采集的音频及视频发送至A地，音频播放设备用于播放A地发送来的音频，全息投影显示设备用于以全息投影的效果立体显示A地发送来的融合视频。
其中，所述全息投影显示设备包括灯箱，位于灯箱内的透明全息反射屏及设置在透明全息反射屏上方的投影机，灯箱，透明全息反射屏及投影机以全息投影效果立体呈现图像。
其中，所述3D融合处理设备包括第一主控单元及第一网络通信单元，第一主控单元用于对第一音视频采集设备采集的音频进行处理得到音频数据，对视频进行3D融合处理得到融合后的视频数据并将音视频数据通过第一网络通信单元发送至B地，同时用于将B地发送来的音频数据视频数据发送至音视频播放设备进行播放；
所述音视频处理设备包括第二主控单元及第二网络通信单元，第二主控单元用于对第二音视频采集设备采集的音频视频进行处理得到音频数据视频数据并通过第二网络通信单元发送至A地，同时用于将A地发送来的音频视频数据发送至音频播放设备及全息投影显示设备进行播放。
其中，所述第一音视频采集设备设置有第一压缩单元用于将采集的音频视频进行压缩后发送至3D融合处理设备；
所述第二音视频采集设备设置有第二压缩单元用于将采集的音频视频进行压缩后发送至音视频处理设备。
第二方面，本发明提出了一种基于AR的三维全息实时互动方法，应用于上述的系统，其中，包括下述步骤：
S10，第一音视频采集设备采集A地对象场景的音频视频，存储为音频视频文件或直接发送至3D融合处理设备；
S20，3D融合处理设备将从A地采集到的视频图像进行抠像处理以去除背景提取出主体，再将主体与各需要互动的场景内容进行3D建模融合得到融合视频；
S30，3D融合处理设备将音频及融合后的视频通过网络发送至B地的音视频处理设备，且3D融合处理设备还接收B地发送来的音频视频并通过音视频播放设备进行播放；
S40，音视频处理设备将A地发送来的音频通过音频播放设备播放，以及将A地发送来的融合视频通过全息投影显示设备进行立体再现；
S50，音视频处理设备将第二音视频采集设备从B地采集到的音频视频通过网络实时发送至A地的3D融合处理设备以与A地的主体进行互动。
其中，所述3D建模融合具体包括如下步骤：
S201,获取视频图像中抠像处理后的主体；
S202,对抠像后的主体进行特征识别，得到人的特定动作或物的特定标志；
S203,依据特定动作或特定标志触发导出3D模型库中已建好的对应3D模型；
S204,将导出的3D模型叠加至视频图像，形成新的视频。
其中，所述将导出的3D模型叠加至视频图像还包括将主体的动作变化的多帧图像与3D模型的多个状态进行关联叠加。
本发明的基于AR的三维全息实时互动系统，通过在A地将采集的视频使用3D融合处理设备进行3D融合后形成融合视频，然后在B地通过全息投影显示设备以全息投影的方式立体动态呈现该融合视频，使得交互过程中有身临其境面对面沟通的感觉，提升了交互体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明基于AR的三维全息实时互动系统第一实施例的组成示意图；
图2为本发明全息投影显示设备的组成示意图；
图3为本发明基于AR的三维全息实时互动方法第一实施例的流程示意图；
图4为本发明3D建模融合的流程示意图；
图5为本发明主体人物与3D模型融合过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明一种基于AR的三维全息实时互动系统,应用于远程交互。
该系统包括设置于A地的3D融合处理设备11，与3D融合处理设备11连接的第一音视频采集设备12及音视频播放设备13，第一音视频采集设备12用于采集A地场景内的音频及视频，3D融合处理设备11用于对A地采集的视频进行3D融合以形成用于在B地全息投影立体显示的融合视频，并将A地采集的音频及融合后的视频发送至B地，音视频播放设备13用于播放B地发送来的音频及视频。
3D融合处理设备11可以采用普通的计算机进行3D融合处理，也可以采用专用的计算机来进行3D融合处理，以提高整个系统的处理速度。第一音视频采集设备12可以是高清摄像机或高清数码相机及麦克风对视频音频进行采集。音视频播放设备13可以是音箱及液晶显示器等对音频视频进行播放。
该系统还包括设置于B地的音视频处理设备21，与音视频处理设备21连接的第二音视频采集设备22、音频播放设备24及全息投影显示设备23，第二音视频采集设备22用于采集B地场景内的音频及视频，音视频处理设备21用于将B地采集的音频及视频发送至A地，音频播放设备24用于播放A地发送来的音频，全息投影显示设备23用于以全息投影的效果立体显示A地发送来的融合视频。音视频处理设备21也可以采用普通的计算机进行音视频的处理，如编码解码，格式转换等。第二音视频采集设备22可以是摄像头、摄像机或数码相机及麦克风对视频音频进行采集。音频播放设备24可以是音箱对音频进行播放。全息投影显示设备23则是可以全息投影进行立体显示的设备。
作为一种实施方式，如图2所示，本发明系统的全息投影显示设备23包括灯箱231，位于灯箱231内的透明全息反射屏232及设置在透明全息反射屏232上方的投影机233，灯箱231，透明全息反射屏232及投影机233以全息投影效果立体呈现图像。投影机233连接音视频处理设备21用于得到投影用的视频源，透明全息反射屏232可以是金字塔形状的四面锥体透明结构，投影机233投射出的视频内容在透明全息反射屏232中的特定位置和背景配合能达到悬浮在灯箱231中的立体视频效果，而得到类全息投影图像。
这样，本发明的互动系统将A地采集的音频及视频发送至B地进行再现，同时将B地采集的音频及视频发送至A地进行播放，从而实现远程互动，同时，由于A地发送的视频是经过3D融合处理后的视频，且通过B地的全息投影显示设备23进行立体显示，故本发明的互动系统能将A地的主体人物或内容以全息投影的方式在B地立体再现，使得B地的主体人物有面对面沟通，身临其境的交流感觉，提升了使用者沟通互动的体验。
可以理解，在本发明的其他实施例中，B地的音视频处理设备21也可以对视频进行3D融合处理，然后A地的音视频播放设备13也可以是全息投影显示设备，这样可以将B地的主体人物的视频在A地进行立体呈现。
优选地，如图1所示，本发明系统的3D融合处理设备11包括第一主控单元111及第一网络通信单元112，第一主控单元111用于对第一音视频采集设备12采集的音频进行处理得到音频数据，对视频进行3D融合处理得到融合后的视频数据并将音视频数据通过第一网络通信单元112发送至B地，同时用于将B地发送来的音频数据视频数据发送至音视频播放设备13进行播放。第一主控单元111可以采用高性能的CPU对视频进行3D融合处理。第一网络通信单元112可以是以太网，WIFI，GPRS等通信模块。优选地，本发明的3D融合处理设备11还包括数据库用于存储3D融合处理过程中所需要的3D模型。
所述音视频处理设备21包括第二主控单元211及第二网络通信单元212，第二主控单元211用于对第二音视频采集设备22采集的音频视频进行处理得到音频数据视频数据并通过第二网络通信单元212发送至A地，同时用于将A地发送来的音频视频数据发送至音频播放设备及全息投影显示设备23进行播放。第二主控单元211可以采用高性能的CPU对音视频进行处理。第二网络通信单元212可以是以太网，WIFI，GPRS等通信模块与第一网络通信单元112进行有线或无线通讯。
进一步地，本发明系统的第一音视频采集设备12设置有第一压缩单元121用于将采集的音频视频进行压缩后发送至3D融合处理设备11。
所述第二音视频采集设备22设置有第二压缩单元221用于将采集的音频视频进行压缩后发送至音视频处理设备21。
这样，音视频在传输过程中是压缩过后的音视频，从而减小带宽占用，提高视频传输速度，减少实时互动过程中的卡顿现象。
如图3所示，本发明还提出了一种基于AR的三维全息实时互动方法，应用于上述的系统，包括下述步骤：
S10，第一音视频采集设备采集A地对象场景的音频视频，存储为音频视频文件或直接发送至3D融合处理设备。
第一音视频采集设备12用于将A地对象场景内音频视频物理信号转换成电信号，并将电信号转换成数字信号后发送至3D融合处理设备11进行处理。
S20，3D融合处理设备将从A地采集到的视频图像进行抠像处理以去除背景提取出主体，再将主体与各需要互动的场景内容进行3D建模融合得到融合视频。
3D融合处理设备11将A地的音频数字信号转换成能播放的音频数据，并将A地采集到的视频先抠像处理，以得到视频图像中的主体，如人或标志性物体。然后将主体在各种互动场景中所需要展示的情景内容与进行3D建模，并与主体进行叠加融合得到融合的3D视频。
如A地的主体人物在与B地的主体人物沟通过程中，讲到下雨的天气，则系统进行触发后将下雨的场景进行3D建模并与主体人物进行融和，得到主体人物处于下雨环境的3D视频中并发送至B地进行立体呈现。
S30，3D融合处理设备将音频及融合后的视频通过网络发送至B地的音视频处理设备，且3D融合处理设备还接收B地发送来的音频视频并通过音视频播放设备进行播放。
S40，音视频处理设备将A地发送来的音频通过音频播放设备播放，以及将A地发送来的融合视频通过全息投影显示设备进行立体再现。
音视频处理设备21接收到A地发送来的音频和视频后，将音频与视频分开，音频发送至音频播放设备24进行播放，视频则发送至全息投影显示设备23进行立体呈现，这样本发明的方法相对现有的交互方法采用平面化的视频交互而言，增强了沟通交互的真实感，提升交互体验。
S50，音视频处理设备将第二音视频采集设备从B地采集到的音频视频通过网络实时发送至A地的3D融合处理设备以与A地的主体进行互动。
具体地，如图4所示，本发明方法的3D建模融合具体包括如下步骤：
S201,获取视频图像中抠像处理后的主体。
抠像处理是为了去除背景中的干扰，主体可以是人或物。
S202,对抠像后的主体进行特征识别，得到人的特定动作或物的特定标志。
特征识别采用图像识别技术，提取图像中主体特征，得到人的特定动作或物的特定标志。如人的手势，表情，物上面的二维码等。
如图5所示，抠像处理后主体进行特征识别后，得到了该人手部的特定动作，该动作为手里拿着一物品的动作。
S203,依据特定动作或特定标志触发导出3D模型库中已建好的对应3D模型。
特征识别后得到特定动作或特定标志与预设的特定动作或特定标志进行比对，如匹配则触发导出3D模型库中已建好的对应3D模型。
如图5所示，该特定动作触发了3D模型库中对一虚拟立方体进行展示的3D模型，虚拟立方体的两边还有虚拟现实屏进行立方体数据显示。
S204,将导出的3D模型叠加至视频图像，形成新的视频。
将触发导出的3D模型与主体进行叠加，得到新的叠加后的视频图像，并组成新的视频。
如图5所示，主体与对应的3D模型叠加后得到了该主体在展示该立方体的视频图像。
进一步地，本发明方法将导出的3D模型叠加至视频图像还包括将主体的动作变化的多帧图像与3D模型的多个状态进行关联叠加。这样可以形成一个连续的动画视频，如图，将图5中主体人物的360旋转动的每一帧图像都加入立方体3D模型在对应角度位置的形态，则可以形成该主体人物拿着立方体模型旋转360度的动画视频。
本发明实施例的基于AR的三维全息实时互动系统及方法，通过在A地将采集的视频使用3D融合处理设备进行3D融合后形成融合视频，然后在B地通过全息投影显示设备以全息投影的方式立体动态呈现该融合视频，使得交互过程中有身临其境面对面沟通的感觉，大大提升了交互体验。
以上所述仅为清楚地说明本发明所作的举例，并非因此限制本发明的专利范围，这里无法对所有的实施方式予以穷举，凡是在本发明的构思下，利用本发明技术方案中的内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (5)

1.一种基于AR的三维全息实时互动系统，其特征在于,包括:
设置于A地的3D融合处理设备，与3D融合处理设备连接的第一音视频采集设备及音视频播放设备，第一音视频采集设备用于采集A地场景内的音频及视频，3D融合处理设备用于对A地采集的视频进行3D融合以形成用于在B地全息投影立体显示的融合视频，并将A地采集的音频及融合后的视频发送至B地，音视频播放设备用于播放B地发送来的音频及视频；
设置于B地的音视频处理设备，与音视频处理设备连接的第二音视频采集设备、音频播放设备及全息投影显示设备，第二音视频采集设备用于采集B地场景内的音频及视频，音视频处理设备用于将B地采集的音频及视频发送至A地，音频播放设备用于播放A地发送来的音频，全息投影显示设备用于以全息投影的效果立体显示A地发送来的融合视频；
所述3D融合处理设备用于对A地采集的视频进行3D融合以形成用于在B地全息投影立体显示的融合视频具体包括：
3D融合处理设备将从A地采集到的视频图像进行抠像处理以去除背景提取出主体；
对抠像后的主体进行特征识别，得到人的特定动作或物的特定标志；
依据特定动作或特定标志触发导出3D模型库中已建好的对应3D模型；
将导出的3D模型叠加至视频图像，形成新的视频；
所述将导出的3D模型叠加至视频图像还包括将主体的动作变化的多帧图像与3D模型的多个状态进行关联叠加，具体为：
将主体360度转动变化的每一帧图像都加入所述3D模型在对应角度位置的形态，形成该主体叠加对应3D模型旋转360度的动画视频。
2.根据权利要求1所述的系统，其特征在于，所述全息投影显示设备包括灯箱，位于灯箱内的透明全息反射屏及设置在透明全息反射屏上方的投影机，灯箱、透明全息反射屏及投影机以全息投影效果立体呈现图像。
3.根据权利要求1所述的系统，其特征在于，所述3D融合处理设备包括第一主控单元及第一网络通信单元，第一主控单元用于对第一音视频采集设备采集的音频进行处理得到音频数据，对视频进行3D融合处理得到融合后的视频数据并将音视频数据通过第一网络通信单元发送至B地，同时用于将B地发送来的音频数据和视频数据发送至音视频播放设备进行播放；
所述音视频处理设备包括第二主控单元及第二网络通信单元，第二主控单元用于对第二音视频采集设备采集的音频视频进行处理得到音频数据视频数据并通过第二网络通信单元发送至A地，同时用于将A地发送来的音频和视频数据发送至音频播放设备及全息投影显示设备进行播放。
4.根据权利要求1所述的系统，其特征在于，所述第一音视频采集设备设置有第一压缩单元用于将采集的音频视频进行压缩后发送至3D融合处理设备；
所述第二音视频采集设备设置有第二压缩单元用于将采集的音频视频进行压缩后发送至音视频处理设备。
5.一种基于AR的三维全息实时互动方法，应用于如权利要求1-4任一项所述的系统，其特征在于，包括下述步骤：
S10，第一音视频采集设备采集A地对象场景的音频视频，存储为音频视频文件或直接发送至3D融合处理设备；
S20，3D融合处理设备将从A地采集到的视频图像进行抠像处理以去除背景提取出主体，再将主体与各需要互动的场景内容进行3D建模融合得到融合视频；
S30，3D融合处理设备将音频及融合后的视频通过网络发送至B地的音视频处理设备，且3D融合处理设备还接收B地发送来的音频视频并通过音视频播放设备进行播放；
S40，音视频处理设备将A地发送来的音频通过音频播放设备播放，以及将A地发送来的融合视频通过全息投影显示设备进行立体再现；
S50，音视频处理设备将第二音视频采集设备从B地采集到的音频视频通过网络实时发送至A地的3D融合处理设备以与A地的主体进行互动；
所述3D建模融合具体包括如下步骤：
S201,获取视频图像中抠像处理后的主体；
S202,对抠像后的主体进行特征识别，得到人的特定动作或物的特定标志；
S203,依据特定动作或特定标志触发导出3D模型库中已建好的对应3D模型；
S204,将导出的3D模型叠加至视频图像，形成新的视频；
所述将导出的3D模型叠加至视频图像还包括将主体的动作变化的多帧图像与3D模型的多个状态进行关联叠加。
CN202011509687.3A 2020-12-18 2020-12-18 一种基于ar的三维全息实时互动系统及方法 Active CN112532963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011509687.3A CN112532963B (zh) 2020-12-18 2020-12-18 一种基于ar的三维全息实时互动系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011509687.3A CN112532963B (zh) 2020-12-18 2020-12-18 一种基于ar的三维全息实时互动系统及方法

Publications (2)

Publication Number Publication Date
CN112532963A CN112532963A (zh) 2021-03-19
CN112532963B true CN112532963B (zh) 2023-07-18

Family

ID=75001562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011509687.3A Active CN112532963B (zh) 2020-12-18 2020-12-18 一种基于ar的三维全息实时互动系统及方法

Country Status (1)

Country Link
CN (1) CN112532963B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315885B (zh) * 2021-06-15 2023-04-07 大爱全息(北京)科技有限公司 一种用于远程互动的全息演播室及系统
CN115190289A (zh) * 2022-05-30 2022-10-14 李鹏 3d全息视屏通信方法、云端服务器、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375704A (zh) * 2016-10-26 2017-02-01 中国科学院自动化研究所 一种全息可视对讲交互系统
CN108337465A (zh) * 2017-02-09 2018-07-27 腾讯科技（深圳）有限公司 视频处理方法和装置
CN211296837U (zh) * 2019-08-22 2020-08-18 上海境腾信息科技有限公司 全息影像视频会议系统
CN112019771A (zh) * 2020-08-20 2020-12-01 新华智云科技有限公司 基于实时抠像的全息云会议系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375704A (zh) * 2016-10-26 2017-02-01 中国科学院自动化研究所 一种全息可视对讲交互系统
CN108337465A (zh) * 2017-02-09 2018-07-27 腾讯科技（深圳）有限公司 视频处理方法和装置
CN211296837U (zh) * 2019-08-22 2020-08-18 上海境腾信息科技有限公司 全息影像视频会议系统
CN112019771A (zh) * 2020-08-20 2020-12-01 新华智云科技有限公司 基于实时抠像的全息云会议系统

Also Published As

Publication number Publication date
CN112532963A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
JP7030989B2 (ja) 動的ビューポイントの座標系に関するメタデータを送受信する方法及び装置
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及系统
US11140380B2 (en) Method and apparatus for processing overlay media in 360 degree video system
CN111213183A (zh) 渲染三维内容的方法和装置
WO2019041351A1 (zh) 一种3d vr视频与虚拟三维场景实时混叠渲染的方法
CN109542849B (zh) 一种图像文件格式及生成方法及装置及应用
CN112532963B (zh) 一种基于ar的三维全息实时互动系统及方法
CN110809173B (zh) 基于智能手机ar增强现实的虚拟直播方法及系统
CN113382275B (zh) 直播数据的生成方法、装置、存储介质及电子设备
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN106780754B (zh) 一种混合现实方法及系统
CN105611220A (zh) 一种基于全息投影技术的通讯系统
CN102860007A (zh) 对使用计算机图形呈现至少一个图像的数据进行编码的方法和设备及其对应的解码方法和设备
WO2017124870A1 (zh) 一种处理多媒体信息的方法及装置
CN105959513A (zh) 真三维虚拟演播室系统及其实现方法
EP3729805A1 (en) Method for encoding and decoding volumetric video data
CN109116987A (zh) 一种基于Kinect手势控制的全息展示系统
WO2013041152A1 (en) Methods to command a haptic renderer from real motion data
CN113259544B (zh) 一种远程互动全息演示系统及方法
JP7054351B2 (ja) 自由視点映像のリプレイ映像を再生するシステム
CN113315885B (zh) 一种用于远程互动的全息演播室及系统
CN115102932B (zh) 点云媒体的数据处理方法、装置、设备、存储介质及产品
WO2022191070A1 (ja) ３ｄオブジェクトのストリーミング方法、装置、及びプログラム
KR102133735B1 (ko) 파노라마 크로마키 합성 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant