CN211296837U

CN211296837U - 全息影像视频会议系统

Info

Publication number: CN211296837U
Application number: CN201921372576.5U
Authority: CN
Inventors: 谢宾; 程凌
Original assignee: Shanghai Jingteng Information Technology Co ltd
Current assignee: Shanghai Jingteng Information Technology Co ltd
Priority date: 2019-08-22
Filing date: 2019-08-22
Publication date: 2020-08-18
Anticipated expiration: 2029-08-22

Abstract

本实用新型提供了全息影像视频会议系统，包括远程全息参与端、本地现场参与端和信令服务器，其中，远程全息参与端包括视频捕捉设备和推流服务器；视频捕捉设备，用于采集远程会议用户的视频信息，并将视频信息发送给推流服务器；推流服务器，用于通过信令服务器建立远程全息参与端和本地现场参与端的点对点连接，并直接把音视频流推送至本地现场参与端；信令服务器，用于打通点对点连接通道，并在无法建立点对点连接时通过额外的中继服务器进行音视频流的转发；本地现场参与端对视频流进行处理以实现全息影像展示。本实用新型利用全息影像技术和实时音视频传输技术，具有低延迟、低成本、可扩展等优点，可为用户带来沉浸式的远程视频会议体验。

Description

全息影像视频会议系统

技术领域

本实用新型涉及视频会议技术领域，尤其是涉及一种全息影像视频会议系统。

背景技术

随着商务事业的迅速发展，人们常常无法在同一地点参与会议，因此出现了电话会议、视频会议等远程会议方式。现有的视频会议系统通常只能在2D屏幕上呈现参与者的视频，应用较为死板，与会者之间的交流互通以及参与感体验均较差。于是，市场上出现了利用全息影像技术的远程会议方式，现场与会者可以看到远程与会者的三维立体图像，更为生动逼真。现有全息影像捕捉系统通常使用深度摄像头的3D捕捉点云数据，并在后台服务器处理后生成3维全息影像。

通过对现有技术的了解不难发现，现有的视频会议系统无法呈现与会者的全息视频，无法给参与者带来沉浸感和高科技感，注意力不集中，与远程参与者沟通效率较低。而现有的全息影像捕捉系统使用深度摄像头捕捉的点云数据所产生的数据量非常大，需要后台服务进行处理之后才能够呈现，无法进行跨互联网实时传输，并在的实时会议系统中使用。

综上所述，目前现有技术中缺少给远程会议带来真实参与感、沉浸感，且能够做到低延迟实时传输的视频会议系统。

发明内容

有鉴于此，本实用新型的目的在于提供全息影像视频会议系统，利用全息影像技术为与会者带来沉浸感体验，涵盖低延迟、低成本、易实现、可扩展等优点，可以更好地服务于远程视频会议。

第一方面，本实用新型实施例提供了全息影像视频会议系统，包括：远程全息参与端、本地现场参与端和信令服务器，其中，所述远程全息参与端包括视频捕捉设备和推流服务器；

所述视频捕捉设备，与所述推流服务器相连接，用于采集远程会议用户的音视频信息，并将所述音视频信息发送给所述推流服务器；

所述推流服务器，与所述信令服务器相连接，用于形成音视频流，通过所述信令服务器，建立所述远程全息参与端和所述本地现场参与端的点对点连接，并直接把所述音视频流推送至所述本地现场参与端；

所述信令服务器，与所述本地现场参与端相连接，用于打通所述点对点连接通道，并在无法建立所述点对点连接时通过额外的中继服务器进行音视频流的转发；

所述本地现场参与端，用于对所述音视频流进行处理形成全息影像，并将所述全息影像与真实环境相融合以实现影像与环境的协调代入。

结合第一方面，本实用新型实施例提供了第一方面的第一种可能的实施方式，其中，所述本地现场参与端包括若干个移动终端设备和第三方视角设备，所述移动终端设备包括用于佩戴在现场会议用户头部的全息眼镜，所述第三方视角设备包括移动式手机和投影屏。

结合第一方面的第一种可能的实施方式，本实用新型实施例提供了第一方面的第二种可能的实施方式，其中，所述移动式手机与所述远程全息参与端相连接以完成音频/指令的所述点对点连接。

结合第一方面，本实用新型实施例提供了第一方面的第三种可能的实施方式，其中，所述信令服务器部署在云端或本地。

结合第一方面的第一种可能的实施方式，本实用新型实施例提供了第一方面的第四种可能的实施方式，其中，所述远程全息参与端还包括绿幕，所述远程会议用户处于所述绿幕之前，所述系统利用绿幕实时抠图技术和实时音视频传输技术为所述现场会议用户建立全息影像。

结合第一方面的第一种可能的实施方式，本实用新型实施例提供了第一方面的第五种可能的实施方式，其中，所述全息眼镜包括眼镜支架、镜片和设置于镜片后的摄像头、激光雷达和传感器。

结合第一方面的第一种可能的实施方式，本实用新型实施例提供了第一方面的第六种可能的实施方式，其中，所述移动终端设备包括，但不限于iPhone和iPad。

本实用新型的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本实用新型而了解。本实用新型的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本实用新型的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本实用新型具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实用新型实施例提供的全息影像视频会议系统示意图。

图2为本实用新型实施例提供的另一全息影像视频会议系统示意图。

图标：

100-远程全息参与端；110-视频捕捉设备；120-推流服务器；130-绿幕；200-本地现场参与端；210-全息眼镜；220-移动式手机；230-投影屏；300-信令服务器。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

目前，随着商务事业的迅速发展，人们常常无法在同一地点参与会议，因此出现了电话会议、视频会议等远程会议方式。现有的视频会议系统通常只能在2D屏幕上呈现参与者的视频，应用较为死板，与会者之间的交流互通以及参与感体验均较差。于是，市场上出现了利用全息影像技术的远程会议方式，现场与会者可以看到远程与会者的三维立体图像，更为生动逼真。现有全息影像捕捉系统通常使用深度摄像头的3D捕捉点云数据，并在后台服务器处理后生成3维全息影像。

综上所述，目前现有技术中缺少给远程会议带来真实参与感、沉浸感，且能够做到低延迟实时传输的视频会议系统。基于此，本实用新型实施例提供的全息影像视频会议系统，利用全息影像技术为与会者带来沉浸感体验，涵盖低延迟、低成本、易实现、可扩展等优点，可以更好地服务于远程视频会议。

实施例一：

图1和图2为本实用新型实施例提供的全息影像视频会议系统示意图。

参照图2，全息影像视频会议系统作为一种远距离会议实时全息影像音视频会议系统，包括：远程全息参与端100、本地现场参与端200和信令服务器300，其中，远程全息参与端100包括视频捕捉设备110和推流服务器120；

视频捕捉设备110，与推流服务器120相连接，用于采集远程会议用户的视频信息，并将视频信息发送给推流服务器120；

推流服务器120，与信令服务器300相连接，用于形成音视频流，通过信令服务器建立远程全息参与端和本地现场参与端的点对点连接，并直接把音视频流推送至本地现场参与端；

信令服务器300，与本地现场参与端200相连接，用于打通点对点连接通道，并在无法建立点对点连接时通过额外的中继服务器进行音视频流的转发；

本地现场参与端200，用于对所述音视频流进行处理得到全息影像，将所述全息影像与真实环境相融合以实现影像与环境的协调代入。

具体地，推流服务器通过信令服务器与参与端建立点对点的链接，直接把音视频流推至参与端，如果无法建立点对点连接，则会通过额外的中继服务器进行转发。而信令服务器的主要功能包括3方面：1. 为推流端和参与端建立点对点连接打通通道（或俗称NAT打洞）；2. 实现全息会议的连接逻辑比如房间管理和用户管理等；3. 如果无法建立点对点连接，则会通过额外的中继服务器进行转发。在本地现场参与端的用户通过佩戴全息眼镜或者iPhone/iPad等设备，将收到的远端用户全息影像与通过设备看到/拍摄到的真实环境相融合，使得远端用户仿佛出现在用户身边，形成具有沉浸感的远程会议模式。

根据本实用新型的示例性实施例，本地现场参与端200包括若干个移动终端设备和第三方视角设备，移动终端设备包括用于佩戴在现场会议用户头部的全息眼镜210，第三方视角设备包括移动式手机220和投影屏230。

具体地，本实用新型实施例使用绿幕实时抠图技术，并结合先进的实时音视频传输技术，可以把远程与会者的全息影像带到会议现场。现场参与者可以通过佩戴全息眼镜（Hololens、影创等），或使用iPhone/iPad的AR功能，与远方的全息参与者进行交互和沟通。同时，本方案可以把现场参与者和远程全息参与者进行互动的场面通过第三方视角技术拍摄或者投射到大屏幕上，让更多的观众体验到高科技全息会议。

根据本实用新型的示例性实施例，移动式手机220与远程全息参与端100相连接以完成音频/指令的双向互通。

具体地，此部分互通是通过信令服务器所协助建立的点对点连接进行互通。点对点连接的技术优势是：1. 低延时，减少通过服务器中继所产生的网络延时 2. 低成本，减少中继服务器所需要的网络带宽流量。从图2中可以看出，远程参与端和本地参与端可以直连，形成点对点的双向互通，在无法建立点对点连接时，通过额外的中继服务器进行音视频流的转发。

根据本实用新型的示例性实施例，信令服务器300部署在云端或本地。

根据本实用新型的示例性实施例，远程全息参与端100还包括绿幕130，远程会议用户处于绿幕130之前，系统利用绿幕实时抠图技术和实时音视频传输技术为现场会议用户建立全息影像。

根据本实用新型的示例性实施例，全息眼镜210包括眼镜支架、镜片和设置于镜片后的摄像头、激光雷达和传感器。

本实用新型提供了全息影像视频会议系统，包括远程全息参与端、本地现场参与端和信令服务器，其中，远程全息参与端包括视频捕捉设备和推流服务器；视频捕捉设备，用于采集远程会议用户的视频信息，并将视频信息发送给推流服务器；推流服务器，用于通过信令服务器建立远程全息参与端和本地现场参与端的点对点连接，并直接把音视频流推送至本地现场参与端；信令服务器，用于打通点对点连接通道，并在无法建立点对点连接时通过额外的中继服务器进行音视频流的转发；本地现场参与端对视频流进行处理以实现全息影像展示。本实用新型利用全息影像技术和实时音视频传输技术，具有低延迟、低成本、可扩展等优点，可为用户带来沉浸式的远程视频会议体验。本实用新型实施例的技术效果在于：

（1）低延迟。本实施例使用的实时绿屏抠图技术和先进音视频实时传输协议可以使全息图像以及音频的远程传输保持在毫秒级别。

（2）低成本。相比较3D捕捉设备所需要的多个深度摄像头的成本，本实施例可以以1/10的成本实现全息视频的捕捉和传输。

（3）易实现。本实施例可以在现有的技术和网络架构下实现全息视频会议，无需等待其他依赖技术如5G网络等。

（4）可扩展。本实施例在未来5G网络普及和全息/AR设备的普及情况下，可以很容易的利用更好的网络技术和设备，使得整个全息会议的效果更好。

本实用新型实施例适用的应用场景十分广泛，常见的应用领域包括：（1）可用于全息视频会议系统，替代现有的音视频会议系统。（2）可用于银行证券VIP客服场景。（3）可用于高科技展会/产品发布会。

实施例二：

本实用新型实施例提及的全息眼镜的眼镜支架、镜片和设置于镜片后的摄像头、激光雷达和传感器。主体结构为：眼镜支架包括可伸缩式镜架腿和镜框横梁，镜框横梁下设置有主板、显示装置、摄像头、激光雷达和若干传感器，镜片设置于镜框横梁外侧并为摄像头、激光雷达和若干传感器形成外部包裹式保护。摄像头、激光雷达和传感器分别与主板相连接，用于获取用户的外部真实环境信息，该信息包括桌椅的摆放位置，人员位置和距离等，传感器用于对外部环境进行测量得到相关房屋设置信息，主板根据上述信息进行逻辑处理，并由显示装置进行空间全息影像投射，用户透过镜片即可看到清晰的全息影像。

需要说明的是，全息眼镜仅是实现本实用新型实施例的一种可能的实施方式，还可以用iPhone或iPad进行替代。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本实用新型实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实用新型中的具体含义。

在本实用新型的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本实用新型的具体实施方式，用以说明本实用新型的技术方案，而非对其限制，本实用新型的保护范围并不局限于此，尽管参照前述实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本实用新型实施例技术方案的精神和范围，都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应所述以权利要求的保护范围为准。

Claims

1.全息影像视频会议系统，其特征在于，包括：远程全息参与端、本地现场参与端和信令服务器，其中，所述远程全息参与端包括视频捕捉设备和推流服务器；

所述本地现场参与端，用于对所述音视频流进行处理得到全息影像，将所述全息影像与真实环境相融合以实现影像与环境的协调代入。

2.根据权利要求1所述的全息影像视频会议系统，其特征在于，所述本地现场参与端包括若干个移动终端设备和第三方视角设备，所述移动终端设备包括用于佩戴在现场会议用户头部的全息眼镜，所述第三方视角设备包括移动式手机和投影屏。

3.根据权利要求2所述的全息影像视频会议系统，其特征在于，所述移动式手机与所述远程全息参与端相连接以完成音频/指令的所述点对点连接。

4.根据权利要求1所述的全息影像视频会议系统，其特征在于，所述信令服务器部署在云端或本地。

5.根据权利要求2所述的全息影像视频会议系统，其特征在于，所述远程全息参与端还包括绿幕，所述远程会议用户处于所述绿幕之前，所述系统利用绿幕实时抠图技术和实时音视频传输技术为所述现场会议用户建立全息影像。

6.根据权利要求2所述的全息影像视频会议系统，其特征在于，所述全息眼镜包括眼镜支架、镜片和设置于镜片后的摄像头、激光雷达和传感器。

7.根据权利要求2所述的全息影像视频会议系统，其特征在于，所述移动终端设备包括，但不限于iPhone和iPad。