CN117041474A - 一种基于虚拟现实和人工智能技术的远程会议系统及方法 - Google Patents

一种基于虚拟现实和人工智能技术的远程会议系统及方法 Download PDF

Info

Publication number
CN117041474A
CN117041474A CN202311150403.XA CN202311150403A CN117041474A CN 117041474 A CN117041474 A CN 117041474A CN 202311150403 A CN202311150403 A CN 202311150403A CN 117041474 A CN117041474 A CN 117041474A
Authority
CN
China
Prior art keywords
conference
model
participant
room
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311150403.XA
Other languages
English (en)
Other versions
CN117041474B (zh
Inventor
徐永龙
白金
段瑛琛
刘志强
黄子恒
李海军
徐思思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Yantai New Engineering Research Institute
Original Assignee
Tencent Yantai New Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Yantai New Engineering Research Institute filed Critical Tencent Yantai New Engineering Research Institute
Priority to CN202311150403.XA priority Critical patent/CN117041474B/zh
Publication of CN117041474A publication Critical patent/CN117041474A/zh
Application granted granted Critical
Publication of CN117041474B publication Critical patent/CN117041474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明属于互联网的远程会议技术领域，涉及一种基于虚拟现实和人工智能技术的远程会议系统及方法。本远程会议系统参会人物数字模型和会议室模型，可以是真实的人物形象和场景，也可以虚拟人物形象及会议场景。通过实时捕捉每个参会人员的面部表情和肢体动作并建立数字模型，与选定的会议室数字模型进行空间对接融合生成本地会议参与者视角的实时会议的视图，然后实时呈现给每个参会人员。本远程会议系统既能展示参会者的面部表情与肢体动作、又能从每一个参会者的视角来观看整个会议的现场及其他会议参与者，参会者可站姿也可坐姿，精度高、保真度好，参会者如同进入到真实的会议环境中，从而营造更适合沟通交流的会议氛围。

Description

一种基于虚拟现实和人工智能技术的远程会议系统及方法
技术领域
本发明涉及基于互联网的远程会议技术领域，尤其涉及一种基于虚拟现实和人工智能技术的远程会议系统及方法。
背景技术
沟通是人与人之间、人与群体之间信息、观点与感情的传递和反馈的过程，以求达成交换观点、统一认识和交流感情。在日常生活以及工作与学习中，存在大量需要面对面沟通的场景，包括面试、会谈、会议以及讲座等。在类似疫情等重大事件的影响下，通过互联网视频会议虽然可以使参与人员进行语音、视频形式的沟通，但参与视频会议的人员缺乏沟通现场的整体感与身临其境感，无法感受现场气氛与现场规模，无法感受参与人员的肢体语言及面部表情，其存在的隔绝感及缺乏临场感仍然是一个无法弥补的缺憾，沟通体验和效果严重打折扣。
视频会议系统Video Conference System，是指两个或两个以上不同地点的个人或群体，通过传输线路及多媒体设备，将各自现场的环境与参会人员的音视频信息及文件资料互相传送，达到远程即时且互动的沟通，以完成会议目的的系统设备。该系统是一种典型的图像通信。在通信的发送端，将图像和声音信号变成数字化信号，在接收端再把它重现为视觉、听觉可获取的信息，与电话会议相比，具有直观性强，信息量大等特点。视频会议系统会议参与者不仅可以远程听到会议发言人的声音，还可以看到其部分形象，共同远程商讨问题。这套系统还可以同时提供文件传真，静止图文传递等一系列辅助服务项目，广泛用于远程教学、远程办公、远程商务谈判等多个领域。计算机系统的应用、普及，网络通讯技术及图像压缩处理技术以及传输技术的快速发展，采用最新的计算机、通讯和图像处理技术，通过计算机网络传输数字图像，可为实现现代化企业远程视频会议提供高效可行而且价格低廉的解决方案。
在远程视频会议领域，目前应用范围比较广泛的是Horizon Workrooms虚拟现实会议系统和Starline远程呈现系统。Horizon Workrooms虚拟现实会议系统是多对多的虚拟现实会议系统，基于AR透视、桌面识别、手势追踪、键盘识别，多任务模式、虚拟化身等功能于一身，可为团队提供跨VR、网页端的虚拟空间，让人们联系和协同工作。该系统具有模板化的虚拟数字化身预设形象模型，其缺点是：只显示上半身且保真度低于真人形象，不能完全揭示一个人的身份，仅可以匹配性别和种族特征，不能使用会议参与者个人的真实形象。Starline远程呈现系统，通过使用光场技术构建了一个裸眼3D的远程会议系统，该系统可以单对单无阻碍的进行远程呈现，以足够的质量重塑远程会议参与者的外表和声音，无需装备可穿戴设备便可以直接使用该系统，保证与现实生活中其他使用该系统的用户沟通的易用性。该系统仅支持参会人员单人对单人远程沟通使用，背景不可变更，缺乏多样性；该系统的参会人员需要维持坐姿，无法作用于需要多人远程研讨沟通的场景。
发明内容
本发明要解决的技术问题是：克服现有技术中存在的不足，通过远程会议系统及方法构建的虚拟现实的远程会议，让每个参与人员不论相距多远，都可以如身临其境地在一起沟通，极大地提高了会议期间参与人员的临场感体验，增强了人与人之间的同理心和感知能力，提升沟通的体验和效果，营造出鲜活的、有生命力的环境。本发明解决上述技术问题的技术方案如下：
针对现有技术存在的不足，本发明的目的之一是提供一种基于虚拟现实和人工智能技术的远程会议系统，包括远程会议现场设备和远程会议平台；
M1所述远程会议现场设备部署在会议参与者现场，包括3D扫描相机系统、会议参与者本地计算单元、头戴式VR一体机；
M1.1所述3D扫描相机系统，其功能是：在远程会议前，采集现实场景会议室数据并建立会议室三维数字模型；在远程会议开始时，采集会议参与者数据并建立会议参与者三维模型；在远程会议期间，实时采集会议参与者动态数据；
M1.2所述会议参与者本地计算单元，其功能是：
a)将3D扫描相机系统采集到的会议室或会议参与者的数据经过数据处理和渲染，生成会议室三维模型或会议参与者三维模型；通过远程会议平台的模型数据传输接口，分别上传到远程会议平台的数据库模块中的会议室三维模型数据库和会议参与者三维模型数据库，供本远程会议系统调用；
b)在远程会议期间，通过3D扫描相机系统实时抓取会议参与者模型并与存储的会议参与者模型进行比对，将差异变化部分通过远程会议平台的模型数据传输接口上传到远程会议平台的数据库模块，并分别更新会议参与者本地计算单元中的会议参与者模型以及数据库模块中的会议参与者三维模型数据库，使得在这二处存储的会议参与者的模型保持一致，并与其真实的会议参与者形成动态数字孪生；
c)3D扫描相机运动控制，负责控制3D扫描相机系统的移动与旋转，从而实现会议室或会议参与者的数据采集；
d)通过远程会议平台的模型数据传输接口接收和存储实时会议数据，据此生成本地会议参与者视角的实时会议视图；
e)头戴式VR一体机交互和数据传输，为会议参与者用头戴式VR一体机传送命令和数据；
M1.3所述头戴式VR一体机，其功能是会议参与者通过此设备查看前述步骤d)生成的本地会议参与者视角的实时会议的视图，从而观察到其他会议参与者的面部表情、肢体动作和手势；通过交互控制模块与参与的实时会议以及其会议参与者客户端进行交互并收发相关指令，用于在远程会议进行过程中参与互动交流；
M2所述远程会议平台，部署在服务器上，包括：数据库模块、管理后台、三维模型众包客户端、引擎模块、模型数据传输接口、控制命令传输接口、用户客户端；
M2.1所述数据库模块，包括：
用户数据库，用于存储注册的用户数据；会议清单库，用于存储过去的、现有的或预定的会议的编号及其信息；会议室三维模型数据库，用于存储上传的所有会议室的三维数字模型；会议参与者三维模型数据库，用于存储上传的所有会议参与者的三维数字模型；实时会议数据库，用于存储正在举行的实时会议的数据；
M2.2所述管理后台，其功能是：对在用户数据库中注册的用户进行增删改查处理和权限设置、对存储在会议清单库中的会议进行增删改查处理和权限设置、对会议室三维模型数据库和会议参与者三维模型数据库的模型进行编辑和管理；
M2.3所述三维模型众包客户端，其功能是：用户通过调用引擎模块中的会议室与会议参与者模型生成工具进行会议室或会议参与者三维模型创作、构建和分享，结果分别存储在数据库模块的会议室三维模型数据库或会议参与者三维模型数据库；
M2.4所述引擎模块，基于计算机图形学、虚拟现实和人工智能技术，包括：
f)会议室与会议参与者模型生成工具，提供工具和资源供用户进行会议室或会议参与者三维模型的创作、构建和分享，包括会议室中的物体或会议参与者人体运动部位的三维模型的创作与构建，三维模型表面的部分或全部可以用AI技术生成；创建的三维模型分别存储在数据库模块的会议室三维模型数据库或会议参与者三维模型数据库；在会议举行期间，通过模仿实际参会的会议参与者自然人的表情和肢体运动，构建会议参与者三维模型的表情和肢体运动；
g)实时模型对接与融合，将会议室模型与会议参与者模型进行空间位置对接和视觉融合，建立并更新其实时会议数据；通过模型数据传输接口将其下传同步到所有会议参与者的会议参与者本地计算单元；所述会议室模型，是指会议室模型数据库中本次会议的会议室模型；所述会议参与者模型，是指会议参与者模型数据库中的本次会议的会议参与者模型；
h)远程会议现场设备的交互与控制，通过控制命令传输接口与会议参与者的远程会议现场设备和/或用户客户端进行交互，对远程会议现场设备和/或用户客户端进行控制同步；
M2.5所述模型数据传输接口，通过该接口接收所有会议参与者本地计算单元上传的模型数据，将建立并更新的实时会议数据下传同步给所有会议参与者本地计算单元和/或其用户客户端；当有变更时，只下传变更部分数据；
M2.6所述控制命令传输接口，通过传输相关命令与实施结果，达到与远程会议现场设备和用户客户端进行交互、控制或同步，并与同一个会议室中的其他会议参与者进行沟通交流；
M2.7所述用户客户端，其功能包括用户注册、发起会议、管理自己发起或参与的会议、参与会议以及其他不同用户角色对应的功能。
进一步地，M1.2a中所述数据处理包括：模型数据三维旋转变换、平移、拼接、去重、遮挡；所述渲染包括反差、光照、纹理的处理与平衡。
进一步地，M1.2d中所述本地会议参与者视角的实时会议的视图，其计算方法为：
其中：fov(field of view视域)是视锥体在xy平面的开角角度，Aspect是投影平面的宽高比，Pn是投影在画面上的点坐标，Pe是真实的点坐标。
进一步地，M2.4g中所述空间位置对接是指：会议参与者进入会议室入座后，将会议参与者模型坐标原点与该座位进行绑定，从而建立会议参与者模型坐标系与该座位以及会议室坐标系的关系，确定他们之间关系的三维坐标旋转和平移参数；M2.4g中所述视觉融合是指：处理与平衡会议室模型与会议参与者模型之间的遮挡、光照、亮度/反差、纹理信息。
进一步地，M2.4h中所述对远程会议现场设备和/或用户客户端进行控制或同步，包括将会议参与者发言、投放PPT命令及其执行结果同步给相关实时会议和该会议的其他会议参与者的远程会议现场设备和/或其用户客户端。
进一步地，M2.7中所述用户客户端，包括：会议发起者用户客户端、主持人用户客户端、会议参与者用户客户端、报告人用户客户端。
进一步地，M1.1中所述3D扫描相机系统部署方式包括：
i)由围绕会议参与者固定安装的至少2台立体摄像机组成，每台摄像机有自己的笛卡尔坐标系，保障360度覆盖会议参与者，且保障相邻的两台立体摄像机之间覆盖范围具有足够的重叠；各立体摄像机安装位置以会议参与者为圆心呈均分角度，会议参与者位置在中心点，以保障能采集到足够的数据；该3D扫描相机系统有自己的笛卡尔坐标系，可取与会议参与者的三维数字模型笛卡尔坐标系一致，每台立体摄像机的坐标系与该3D扫描相机系统的坐标系之间的转换可通过三维旋转变换实现；通过远程会议现场设备的会议参与者本地计算单元，该三维旋转变换，将每台立体摄像机获取的数据从其自身的笛卡尔坐标系转换到该3D扫描相机系统的笛卡尔坐标系中，然后对这些数据进行拼接、去重、去除头戴式VR一体机影像和必要的渲染操作，获得会议参与者的三维数字模型并存储到数据库模块的会议参与者三维模型数据库；
j)3D扫描相机系统安装在可移动的支架上，使用者通过移动支架使该3D扫描相机系统在给定的现实场景会议室空间漫游，对该会议室空间真实环境进行扫描并采集数据，并传输给远程会议现场设备的会议参与者本地计算单元，从而完成该现实场景会议室的三维模型创建并存储到数据库模块的会议室三维模型数据库，供会议发起者发起会议时选用。
针对现有技术存在的不足，本发明的目的之二是提供一种远程会议的实现方法，其特征在于，应用于上述远程会议系统，所述方法包括：用户注册和会议发起者预定会议流程、会议参与者进入会议流程、会议举行流程；会议开始后，实时会议模型变动包括时序驱动和事件驱动。
进一步地，所述用户注册和会议发起者预定会议流程包括：
k)用户如果未注册则先注册，结果存储在远程会议平台数据库模块的用户数据库；
l)注册过的用户通过远程会议平台的客户端进行登录后进行预定会议，此时该用户获得该会议的会议发起者的角色，结果存储到数据库模块的会议清单库；所述预定会议的具体预定工作包括：设置会议开始时间；从远程会议平台数据库模块中的会议室三维模型数据库中选择一个会议室模型，并确定会议室中的保留座位；该会议室可以是上传到数据库中的通过远程会议现场设备采集并建模的现实场景会议室模型，也可以是通过远程会议平台的三维模型众包客户端创建的会议室模型；从远程会议平台数据库模块的用户数据库中邀请用户作为会议参与者；在用户通过他们的用户客户端确认以后，根据需要安排他们在会议室中的座次；指定会议主持人、会议报告人，并通过他们的用户客户端获得他们的确认；设置会议议程；设置会议是封闭性质的还是开放性质的会议；当所有设置完成后预定会议流程结束；前述的设置可以一次性完成，也可以分多次完善完成。
进一步地，所述会议参与者进入会议流程包括：
m)会议参与者首先通过其客户端进行登录；登录后可以查看数据库模块的会议清单库中其确认参与的会议或开放性质的会议列表，选定其待加入的会议并从数据库模块的会议参与者三维模型数据库选定对应的会议参与者三维模型，包括：会议参与者作为自然人的实时三维数字模型-本人模型，通过三维模型众包客户端制作的会议参与者三维模型-他人模型；
n)会议开始之前，所有会议参与者进入会议室，并就坐在其指定的或还空缺的座位上；会议参与者进入会议室在数学上意味着明确其模型坐标系之间的关系，通过引擎模块的实时模型对接与融合来实现，结果存放在数据库模块中的实时会议数据库；本系统物体或人物的三维数字模型的坐标系以地球垂线或地球重力方向为Z轴，即会议参与者三维模型和会议室三维模型的Z轴一致，将会议参与者模型与会议室模型叠加，通过引擎模块实时模型对接与融合与远程会议现场设备的交互与控制相互配合实现，结果存放数据库模块的实时会议数据库。
进一步地，所述将会议参与者模型与会议室模型叠加，通过以下任意一种方式实现：
一是会议室的入口在其三维数字模型的位置是已知的，通过将会议参与者模型叠加到会议室的入口处，建立两者模型之间坐标系的明确关系，从而仿真该会议参与者走到会议室里指定的或还空缺的座位边并就座的过程；
二是强制将每个会议参与者与其指定的或还空缺的座位的局部坐标系一致，即强制将每个会议参与者叠加到会议室中其指定的或还空缺的座位，来建立他们两者模型之间坐标系的明确关系。
进一步地，所述会议举行流程，是指：会议参与者进入会议室，二者模型坐标系之间的关系明确后，在预定的会议开始时间，会议主持人通过其客户端宣布该会议开始并按照会议议程开始会议，包括：主持人主持会议；报告人通过其客户端发言或展示其报告内容，同时展示在会议室里的投射屏上；会议参与者通过其客户端问答与讨论，会议参与者在会议室里虚拟走动；如果某会议参与者出现在远程会议现场并且选择他人模型出席该会议，通过该会议参与者自然人的发言语音信号驱动该他人模型的口型进行模拟；对应的远程会议现场设备抓取该会议参与者自然人的姿态，将变化部分上传到远程会议平台供引擎模块的实时模型对接与融合，据此来驱动该他人模型来模仿该会议参与者自然人的表情与肢体运动，实时更新该会议并将实时会议的变化部分下传给到部署在每一位会议参与者的现场的远程会议现场设备；在该远程会议现场设备的本地计算单元，计算该会议参与者的整个会议室的视角，并通过该会议参与者的头戴式VR一体机或其客户端展示给该会议参与者；凡是涉及该实时会议模型变动的由引擎模块的实时模型对接与融合来执行，凡是涉及该实时会议与远程会议现场设备的交互与控制的由引擎模块的远程会议现场设备的交互与控制来执行。
进一步地，所述时序驱动是指：在时序驱动的情况下，系统每隔一个固定的时间通过远程会议现场设备抓取会议参与者的姿态，并将变化部分上传到远程会议平台的数据库模块的会议参与者模型库，并与该会议参与者现有的模型进行叠加，供引擎模块的实时模型对接与融合更新该会议，然后将会议的变化部分下传给到部署在每一位会议参与者的现场的远程会议现场设备；在这些远程会议现场设备的本地计算单元，计算会议参与者的整个会议室的视角，并通过该会议参与者的头戴式VR一体机或其客户端展示给该会议参与者。所述事件驱动是指：在事件驱动的情况下，本系统通过用户客户端事件触发或远程会议现场设备抓取到会议参与者的姿态发生变化，将该变化部分上传到远程会议平台的数据库模块的会议参与者模型库，并与该会议参与者现有的模型进行叠加，供引擎模块的实时模型对接与融合更新该会议；然后将会议的变化部分下传给到部署在每一位会议参与者的现场的远程会议现场设备；在远程会议现场设备的本地计算单元，计算会议参与者的整个会议室的视角，通过该会议参与者的头戴式VR一体机或其客户端展示给该会议参与者。
本发明的有益效果是：
1、本发明提出的远程会议系统及方法能够实时捕捉每个参与人员的面部表情和肢体动作，并建立它们的数字模型，与选定的会议室数字模型进行空间对接融合生成本地会议参与者视角的实时会议的视图，然后实时呈现给每个参与人员，使每个参与人员从其视角即可观察到会议室又可观察到其它参与人员的眼神、面部表情、肢体动作。
2、本发明提出的远程会议系统及方法参会人物数字模型可以是具备独特辨识度的外在特征的真实人物形象模型，也可以虚拟人物形象的模型。会议参与者可以选用事先制作的会议参与者模型，也可以选用实时生成的自然人三维数字模型作为参会形象，精度高、保真度高，既能展示会议参与者的面部表情与肢体动作给其他会议参与者，又能从每一个会议参与者的视角来观看整个会议的现场及其他会议参与者。远程会议过程中可以显示会议参与者的全身，在3D扫描相机系统捕捉范围内，会议参与者可站姿也可坐姿。
3、本发明提出的远程会议系统及方法会议室模型支持自定义设置，可以是虚拟的会议场景，也可以是某一个真实的现实场景。本发明采用3D扫描相机系统扫描生成真实会议室模型，可以让会议参与者感觉如同进入到真实的会议环境中，具有更高级别的适人性操作，营造更适合沟通交流的氛围。
4、本发明提出的远程会议系统及方法构建的虚拟现实的远程会议，可供多人参加会议使用，且一个会议参与者可同时参与多个会议。通过本远程会议系统，每个参会人员不论相距多远，都可以如身临其境地在一起沟通，极大地提高了会议期间参与人员的临场感体验，增强了人与人之间的同理心和感知能力；本发明解决了现有远程会议系统中参与人员缺乏临场感导致的注意力集中度低，共情感不足的问题，从而提升沟通的体验和效果，营造出鲜活的、有生命力的环境。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种基于虚拟现实和人工智能技术的远程会议系统整体结构示意图。
图2是本发明实施例中的一种基于虚拟现实和人工智能技术的远程会议系统现场设备示意图。
图3是本发明实施例中的一种基于虚拟现实和人工智能技术的远程会议系统远程会议平台示意图。
图4是本发明实施例中的一种基于虚拟现实和人工智能技术的远程会议系统会议室三维模型示意图。
图5是本发明实施例中的一种基于虚拟现实和人工智能技术的远程会议系统会议参与者三维模型示意图。
图6是本发明实施例中的一种基于虚拟现实和人工智能技术的远程会议系统模型数据三维旋转变换、平移示意图。
图7是本发明实施例中的一种基于虚拟现实和人工智能技术的远程会议系统本地会议参与者视角示意图。
图8是本发明实施例中的一种远程会议的实现方法会议室模型与会议参与者模型叠加融合示意图。
图9是本发明实施例中的一种远程会议的实现方法用户注册和会议发起者预定会议流程示意图。
图10是本发明实施例中的一种远程会议的实现方法会议参与者进入会议流程示意图。
图11是本发明实施例中的一种远程会议的实现方法会议举行流程示意图。
具体实施方式
以下将参照附图详细描述本发明的示例性实施例。应注意，以下的描述在本质上仅是解释性和示例性的，决不意在限制本发明及其应用或使用，除非另外特别说明，否则，在实施例阐述的组件和步骤的相对位置、数字表达式以及数值并不限制本发明的范围。另外，本领域技术人员已知的技术、方法和设备可能不被详细讨论，但在合适的情况下成为说明书的一部分。以下术语和定义适用于本发明：
自然人：生物学意义上的人。
某物体或人物的三维数字模型：如图5所示，通过数码摄像机或扫描仪等特定数字化传感设备和/或特定的计算机软件，获取现实中某物体或人物在三维空间的几何、拓扑、材质、纹理等信息，这些信息作为一个整体在计算机中的结构化的表示称之为该物体或人物的三维数字模型，便于计算机软件对其进行进一步的分析、展示和处理。该物体或人物在笛卡尔坐标系三维空间的几何表达通常是以拓扑关系连接的多个简单空间几何元素，如空间三角形、空间多边形、空间曲面、空间曲线的集合。人物的三维数字模型也称为该人物的三维数字化身，人物可以是自然人或虚拟人。三维数字模型的笛卡尔坐标系可以以地球垂线或者地球重力方向为Z轴，坐标原点可以是在模型的重心处。
现实场景会议室：在现实中存在的室内、室外场景召开的会议称为现实场景会议，该现实场景为现实场景会议室。人工创建的在现实中不存在的会议室为非现实场景会议室或虚拟会议室。会议室里可包括其他物体，如主席台、墙上的投射屏、会议桌和座位、入口等。会议室用名称/编号来标识。
会议室模型：如图4所示，指某远程会议用的会议室的三维数字模型，包含其中的物体，如主席台、墙上的投射屏、会议桌和座位、过道、入口等。该会议室可以是现实场景会议室，也可以是非现实场景会议室。非现实场景会议室除了具备现实场景会议室所具有的功能外，还可以具备优于现实场景会议室的特色功能。现实场景会议室的三维数字模型可以用本发明的远程会议现场设备采集并建模获得。会议室模型有其自己的三维坐标系，会议室中每一件能移动的物体都有其各自的三维模型以及三维坐标系，其原点在会议室模型坐标系中的坐标是一个已知的三维向量，Z轴取与会议室模型坐标系的Z轴相同，该物体的三维模型与会议室模型之间的关系是确定的，通过三维旋转变换来描述。会议室模型还可包括其内部的光照情况模型。如图6所示的一个物体模型与会议室模型之间三维旋转变换公式如下：
假设该物体模型，如图6中的座椅中某点A在全局坐标系中的坐标为(x,y,z)，经过旋转平移后该点变到B，其坐标为(x',y',z')，平移长度为t，旋转矩阵为R，则
会议发起者：使用本远程会议系统预定并发起一个远程会议的自然人或虚拟人或机器人，用名称/编号来标识，会议发起者指定会议召开时间和地点，选定会议室模型，邀请会议参与者或发出会议邀请供本系统中的注册用户自己报名或确认邀请，并根据需要为特邀的会议参与者预定会议室中的座位，这些被预定的座位上会显示该会议参与者的姓名桌签。
会议参与者：受会议发起者邀请，参与会议发起者指定的远程会议的自然人或虚拟人或机器人，通常用名称/编号来标识，其在该远程会议会议室模型中的座位或被会议发起者安排，或在接受会议邀请时预定会议室模型中还有空余的座位，或在进入该远程会议会议室模型时自己选择会议室中任意的还空余的座位。会议参与者的三维模型有其自己的局部三维坐标系。
会议主持人：由会议发起者指定作为会议主持人的会议参与者，会议发起者也可以指定自己成为会议主持人。
会议报告人：指在指定的远程会议中要进行演讲的会议参与者。会议报告人可以由会议发起人指定，或由会议参与者自行报名但需获得会议发起人的认可后生效。
会议：一个会议包括会议编号以及相关信息，如举行时间、地点、会议室名称或编号、会议发起者、会议参与者、会议主持人、会议报告人、会议议程以及会议是封闭性质的还是开放性质的会议等。
实时会议：一个正在举行的会议，包括其所有相关信息，如动态的会议室模型，含其中的物体的动态模型、光照情况模型，会议室中的会议发起者、会议参与者、会议主持人和会议报告人的动态三维模型，包括描述他们之间空间关系的三维旋转变换参数，以及滚动进行中的会议议程。
头戴式VR一体机：是一种佩戴在会议参与者头上的、自带独立处理器的多传感器显示与交互定位设备，具备独立运算、展示、输入和输出的功能。
实施例1为本发明公开的一种基于虚拟现实和人工智能技术的远程会议系统，图1是本发明实施例1中的远程会议系统整体结构示意图，如图1所示，一种基于虚拟现实和人工智能技术的远程会议系统，包括远程会议现场设备和远程会议平台；
图2是本发明实施例1中的远程会议系统现场设备示意图，如图2所示，M1所述远程会议现场设备部署在会议参与者现场，包括3D扫描相机系统、会议参与者本地计算单元、头戴式VR一体机；
M1.1所述3D扫描相机系统，其功能是：在远程会议前，采集现实场景会议室数据并建立会议室三维数字模型；在远程会议开始时，采集会议参与者数据并建立会议参与者三维模型；在远程会议期间，实时采集会议参与者动态数据；
所述3D扫描相机系统部署方式为：由围绕会议参与者固定安装的至少2台立体摄像机组成，每台摄像机有自己的笛卡尔坐标系，保障360度覆盖会议参与者，且保障相邻的两台立体摄像机之间覆盖范围具有足够的重叠；各立体摄像机安装位置以会议参与者为圆心呈均分角度，会议参与者位置在中心点，以保障能采集到足够的数据；该3D扫描相机系统有自己的笛卡尔坐标系，可取与会议参与者的三维数字模型笛卡尔坐标系一致，每台立体摄像机的坐标系与该3D扫描相机系统的坐标系之间的转换可通过三维旋转变换实现；通过远程会议现场设备的会议参与者本地计算单元，该三维旋转变换，将每台立体摄像机获取的数据从其自身的笛卡尔坐标系转换到该3D扫描相机系统的笛卡尔坐标系中，然后对这些数据进行拼接、去重、去除头戴式VR一体机影像和必要的渲染操作，获得会议参与者的三维数字模型并存储到数据库模块的会议参与者三维模型数据库；
M1.2所述会议参与者本地计算单元，其功能是：
a)将3D扫描相机系统采集到的会议室或会议参与者的数据经过三维旋转变换、平移、拼接、去重、遮挡数据处理操作和反差、光照、纹理的处理与平衡渲染操作，生成会议室三维模型或会议参与者三维模型；通过远程会议平台的模型数据传输接口，分别上传到远程会议平台的数据库模块中的会议室三维模型数据库和会议参与者三维模型数据库，供本远程会议系统调用；
b)在远程会议期间，通过3D扫描相机系统实时抓取会议参与者面部表情以及肢体运动模型并与存储的会议参与者模型进行比对，将差异变化部分通过远程会议平台的模型数据传输接口上传到远程会议平台的数据库模块，并分别更新会议参与者本地计算单元中的会议参与者模型以及数据库模块中的会议参与者三维模型数据库，使得在这二处存储的会议参与者的模型保持一致，并与其真实的会议参与者形成动态数字孪生；
c)3D扫描相机运动控制，负责控制3D扫描相机系统的移动与旋转，从而实现会议室或会议参与者的数据采集；
d)通过远程会议平台的模型数据传输接口接收和存储实时会议数据，据此生成本地会议参与者视角的实时会议视图；如图7所示，所述本地会议参与者视角的实时会议的视图计算方法为：
其中：fov(field of view视域)是视锥体在xy平面的开角角度，Aspect是投影平面的宽高比，Pn是投影在画面上的点坐标，Pe是真实的点坐标；
e)头戴式VR一体机交互和数据传输，为会议参与者用头戴式VR一体机传送命令和数据；
M1.3所述头戴式VR一体机，其功能是会议参与者通过此设备查看前述步骤d)生成的本地会议参与者视角的实时会议的视图，从而观察到其他会议参与者的面部表情、肢体动作和手势；通过交互控制模块与参与的实时会议以及其会议参与者客户端进行交互并收发相关指令，用于在远程会议进行过程中参与举手、发言、文件展示互动交流；
图3是本发明实施例1中的远程会议系统远程会议平台示意图，如图3所示，M2所述远程会议平台，部署在服务器上，包括：数据库模块、管理后台、三维模型众包客户端、引擎模块、模型数据传输接口、控制命令传输接口、用户客户端；
M2.1所述数据库模块，包括：
用户数据库，用于存储注册的用户数据；会议清单库，用于存储过去的、现有的或预定的会议的编号及其信息；会议室三维模型数据库，用于存储上传的所有会议室的三维数字模型；会议参与者三维模型数据库，用于存储上传的所有会议参与者的三维数字模型；实时会议数据库，用于存储正在举行的实时会议的数据；
M2.2所述管理后台，其功能是：对在用户数据库中注册的用户进行增删改查处理和权限设置、对存储在会议清单库中的会议进行增删改查处理和权限设置、对会议室三维模型数据库和会议参与者三维模型数据库的模型进行编辑和管理；
M2.3所述三维模型众包客户端，其功能是：用户可以通过有偿或无偿两种方式，调用引擎模块中的会议室与会议参与者模型生成工具进行会议室或会议参与者三维模型创作、构建和分享，结果分别存储在数据库模块的会议室三维模型数据库或会议参与者三维模型数据库；
M2.4所述引擎模块，基于计算机图形学、虚拟现实和人工智能技术，包括：
f)会议室与会议参与者模型生成工具，提供工具和资源供用户进行会议室或会议参与者三维模型的创作、构建和分享，包括会议室中的物体或会议参与者人体运动部位的三维模型的创作与构建，三维模型表面的部分或全部可以用AI技术生成；创建的三维模型分别存储在数据库模块的会议室三维模型数据库或会议参与者三维模型数据库；在会议举行期间，通过模仿实际参会的会议参与者自然人的表情和肢体运动，构建会议参与者三维模型的表情和肢体运动；
g)实时模型对接与融合，将会议室模型与会议参与者模型进行空间位置对接和视觉融合，建立并更新其实时会议数据；通过模型数据传输接口将其下传同步到所有会议参与者的会议参与者本地计算单元；所述会议室模型，是指会议室模型数据库中本次会议的会议室模型；所述会议参与者模型，是指会议参与者模型数据库中的本次会议的会议参与者模型；所述空间位置对接是指：会议参与者进入会议室入座后，将会议参与者模型坐标原点与该座位进行绑定，从而建立会议参与者模型坐标系与该座位以及会议室坐标系的关系，确定他们之间关系的三维坐标旋转和平移参数；所述视觉融合是指：处理与平衡会议室模型与会议参与者模型之间的遮挡、光照、亮度/反差、纹理信息；
h)远程会议现场设备的交互与控制，通过控制命令传输接口与会议参与者的远程会议现场设备和/或用户客户端进行交互，对远程会议现场设备和/或用户客户端进行控制同步，包括将会议参与者发言、投放PPT命令及其执行结果同步给相关实时会议和该会议的其他会议参与者的远程会议现场设备和/或其用户客户端；
M2.5所述模型数据传输接口，通过该接口接收所有会议参与者本地计算单元上传的会议室模型数据和会议参与者模型数据，将建立并更新的实时会议数据下传同步给所有会议参与者本地计算单元和/或其用户客户端；当会议参与者姿态面部口型和表情肢体动作发生变更时，只下传变更部分数据；
M2.6所述控制命令传输接口，通过传输相关命令与实施结果，达到与远程会议现场设备和用户客户端进行交互、控制或同步，并与同一个会议室中的其他会议参与者进行沟通交流；
M2.7所述用户客户端，包括：会议发起者用户客户端、主持人用户客户端、会议参与者用户客户端、报告人用户客户端，其功能包括用户注册、发起会议、管理自己发起或参与的会议、参与会议以及其他不同用户角色对应的功能。
实施例2为本发明公开的一种远程会议的实现方法，其特征在于，应用于上述的远程会议系统，包括：用户注册和会议发起者预定会议流程、会议参与者进入会议流程、会议举行流程；会议开始后，实时会议模型变动包括时序驱动和事件驱动。
图9是本发明实施例2中的一种远程会议的实现方法用户注册和会议发起者预定会议流程示意图，所述用户注册和会议发起者预定会议流程包括：
k)用户如果未注册则先注册，结果存储在远程会议平台数据库模块的用户数据库；
l)注册过的用户通过远程会议平台的客户端进行登录后进行预定会议，此时该用户获得该会议的会议发起者的角色，结果存储到数据库模块的会议清单库；所述预定会议的具体预定工作包括：设置会议开始时间；从远程会议平台数据库模块中的会议室三维模型数据库中选择一个会议室模型，并确定会议室中的保留座位；该会议室可以是上传到数据库中的通过远程会议现场设备采集并建模的现实场景会议室模型，也可以是通过远程会议平台的三维模型众包客户端创建的会议室模型；从远程会议平台数据库模块的用户数据库中邀请用户作为会议参与者；在用户通过他们的用户客户端确认以后，根据需要安排他们在会议室中的座次；指定会议主持人、会议报告人，并通过他们的用户客户端获得他们的确认；设置会议议程；设置会议是封闭性质的还是开放性质的会议；当所有设置完成后预定会议流程结束；前述的设置可以一次性完成，也可以分多次完善完成。
图10是本发明实施例2中的一种远程会议的实现方法会议参与者进入会议流程示意图，所述会议参与者进入会议流程包括：
m)会议参与者首先通过其客户端进行登录；登录后可以查看数据库模块的会议清单库中其确认参与的会议或开放性质的会议列表，选定其待加入的会议并从数据库模块的会议参与者三维模型数据库选定对应的会议参与者三维模型，包括：会议参与者作为自然人的实时三维数字模型-本人模型，通过三维模型众包客户端制作的会议参与者三维模型-他人模型；
n)会议开始之前，所有会议参与者进入会议室，并就坐在其指定的或还空缺的座位上；会议参与者进入会议室在数学上意味着明确其模型坐标系之间的关系，通过引擎模块的实时模型对接与融合来实现，结果存放在数据库模块中的实时会议数据库；本系统物体或人物的三维数字模型的坐标系以地球垂线或地球重力方向为Z轴，即会议参与者三维模型和会议室三维模型的Z轴一致，将会议参与者模型与会议室模型叠加，通过引擎模块实时模型对接与融合与远程会议现场设备的交互与控制相互配合实现，结果存放数据库模块的实时会议数据库。所述将会议参与者模型与会议室模型叠加，其实现方式为：如图8所示，强制将每个会议参与者与其指定的或还空缺的座位的局部坐标系一致，即强制将每个会议参与者叠加到会议室中其指定的或还空缺的座位，来建立他们两者模型之间坐标系的明确关系。
图11是本发明实施例2中的一种远程会议的实现方法会议举行流程示意图，所述会议举行流程，是指：会议参与者进入会议室，二者模型坐标系之间的关系明确后，在预定的会议开始时间，会议主持人通过其客户端宣布该会议开始并按照会议议程开始会议，包括：主持人主持会议；报告人通过其客户端发言或展示其报告内容，同时展示在会议室里的投射屏上；会议参与者通过其客户端问答与讨论，会议参与者在会议室里虚拟走动；如果某会议参与者出现在远程会议现场并且选择他人模型出席该会议，通过该会议参与者自然人的发言语音信号驱动该他人模型的口型进行模拟；对应的远程会议现场设备抓取该会议参与者自然人的姿态，将变化部分上传到远程会议平台供引擎模块的实时模型对接与融合，据此来驱动该他人模型来模仿该会议参与者自然人的表情与肢体运动，实时更新该会议并将实时会议的变化部分下传给到部署在每一位会议参与者的现场的远程会议现场设备；在该远程会议现场设备的本地计算单元，计算该会议参与者的整个会议室的视角，并通过该会议参与者的头戴式VR一体机或其客户端展示给该会议参与者；凡是涉及该实时会议模型变动的由引擎模块的实时模型对接与融合来执行，凡是涉及该实时会议与远程会议现场设备的交互与控制的由引擎模块的远程会议现场设备的交互与控制来执行。
所述时序驱动是指：在时序驱动的情况下，系统每隔一个固定的时间通过远程会议现场设备抓取会议参与者的姿态，并将变化部分上传到远程会议平台的数据库模块的会议参与者模型库，并与该会议参与者现有的模型进行叠加，供引擎模块的实时模型对接与融合更新该会议，然后将会议的变化部分下传给到部署在每一位会议参与者的现场的远程会议现场设备；在这些远程会议现场设备的本地计算单元，计算会议参与者的整个会议室的视角，并通过该会议参与者的头戴式VR一体机或其客户端展示给该会议参与者。所述事件驱动是指：在事件驱动的情况下，本系统通过用户客户端事件触发或远程会议现场设备抓取到会议参与者的姿态发生变化，将该变化部分上传到远程会议平台的数据库模块的会议参与者模型库，并与该会议参与者现有的模型进行叠加，供引擎模块的实时模型对接与融合更新该会议；然后将会议的变化部分下传给到部署在每一位会议参与者的现场的远程会议现场设备；在远程会议现场设备的本地计算单元，计算会议参与者的整个会议室的视角，通过该会议参与者的头戴式VR一体机或其客户端展示给该会议参与者。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种基于虚拟现实和人工智能技术的远程会议系统，包括远程会议现场设备和远程会议平台,其特征在于，
M1所述远程会议现场设备部署在会议参与者现场，包括3D扫描相机系统、会议参与者本地计算单元、头戴式VR一体机；
M1.1所述3D扫描相机系统，其功能是：在远程会议前，采集现实场景会议室数据并建立会议室三维数字模型；在远程会议开始时，采集会议参与者数据并建立会议参与者三维模型；在远程会议期间，实时采集会议参与者动态数据；
M1.2所述会议参与者本地计算单元，其功能是：
a)将3D扫描相机系统采集到的会议室或会议参与者的数据经过数据处理和渲染，生成会议室三维模型或会议参与者三维模型；通过远程会议平台的模型数据传输接口，分别上传到远程会议平台的数据库模块中的会议室三维模型数据库和会议参与者三维模型数据库，供本远程会议系统调用；
b)在远程会议期间，通过3D扫描相机系统实时抓取会议参与者模型并与存储的会议参与者模型进行比对，将差异变化部分通过远程会议平台的模型数据传输接口上传到远程会议平台的数据库模块，并分别更新会议参与者本地计算单元中的会议参与者模型以及数据库模块中的会议参与者三维模型数据库，使得在这二处存储的会议参与者的模型保持一致，并与其真实的会议参与者形成动态数字孪生；
c)3D扫描相机运动控制，负责控制3D扫描相机系统的移动与旋转，从而实现会议室或会议参与者的数据采集；
d)通过远程会议平台的模型数据传输接口接收和存储实时会议数据，据此生成本地会议参与者视角的实时会议视图；
e)头戴式VR一体机交互和数据传输，为会议参与者用头戴式VR一体机传送命令和数据；
M1.3所述头戴式VR一体机，其功能是会议参与者通过此设备查看前述步骤d)生成的本地会议参与者视角的实时会议的视图，从而观察到其他会议参与者的面部表情、肢体动作和手势；通过交互控制模块与参与的实时会议以及其会议参与者客户端进行交互并收发相关指令，用于在远程会议进行过程中参与互动交流；
M2所述远程会议平台，部署在服务器上，包括：数据库模块、管理后台、三维模型众包客户端、引擎模块、模型数据传输接口、控制命令传输接口、用户客户端；
M2.1所述数据库模块，包括：
用户数据库，用于存储注册的用户数据；
会议清单库，用于存储过去的、现有的或预定的会议的编号及其信息；
会议室三维模型数据库，用于存储上传的所有会议室的三维数字模型；
会议参与者三维模型数据库，用于存储上传的所有会议参与者的三维数字模型；
实时会议数据库，用于存储正在举行的实时会议的数据；
M2.2所述管理后台，其功能是：对在用户数据库中注册的用户进行增删改查处理和权限设置、对存储在会议清单库中的会议进行增删改查处理和权限设置、对会议室三维模型数据库和会议参与者三维模型数据库的模型进行编辑和管理；
M2.3所述三维模型众包客户端，其功能是：用户通过调用引擎模块中的会议室与会议参与者模型生成工具进行会议室或会议参与者三维模型创作、构建和分享，结果分别存储在数据库模块的会议室三维模型数据库或会议参与者三维模型数据库；
M2.4所述引擎模块，基于计算机图形学、虚拟现实和人工智能技术，包括：
f)会议室与会议参与者模型生成工具，提供工具和资源供用户进行会议室或会议参与者三维模型的创作、构建和分享，包括会议室中的物体或会议参与者人体运动部位的三维模型的创作与构建，三维模型表面的部分或全部可以用AI技术生成；创建的三维模型分别存储在数据库模块的会议室三维模型数据库或会议参与者三维模型数据库；在会议举行期间，通过模仿实际参会的会议参与者自然人的表情和肢体运动，构建会议参与者三维模型的表情和肢体运动；
g)实时模型对接与融合，将会议室模型与会议参与者模型进行空间位置对接和视觉融合，建立并更新其实时会议数据；通过模型数据传输接口将其下传同步到所有会议参与者的会议参与者本地计算单元；所述会议室模型，是指会议室模型数据库中本次会议的会议室模型；所述会议参与者模型，是指会议参与者模型数据库中的本次会议的会议参与者模型；
h)远程会议现场设备的交互与控制，通过控制命令传输接口与会议参与者的远程会议现场设备和/或用户客户端进行交互，对远程会议现场设备和/或用户客户端进行控制同步；
M2.5所述模型数据传输接口，通过该接口接收所有会议参与者本地计算单元上传的模型数据，将建立并更新的实时会议数据下传同步给所有会议参与者本地计算单元和/或其用户客户端；当有变更时，只下传变更部分数据；
M2.6所述控制命令传输接口，通过传输相关命令与实施结果，达到与远程会议现场设备和用户客户端进行交互、控制或同步，并与同一个会议室中的其他会议参与者进行沟通交流；
M2.7所述用户客户端，其功能包括用户注册、发起会议、管理自己发起或参与的会议、参与会议以及其他不同用户角色对应的功能。
2.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M1.2a中所述数据处理包括：模型数据三维旋转变换、平移、拼接、去重、遮挡；所述渲染包括反差、光照、纹理的处理与平衡。
3.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M1.2d中所述本地会议参与者视角的实时会议的视图，其计算方法为：
其中：fov(field of view视域)是视锥体在xy平面的开角角度，Aspect是投影平面的宽高比，Pn是投影在画面上的点坐标，Pe是真实的点坐标。
4.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M2.4g中所述空间位置对接是指：会议参与者进入会议室入座后，将会议参与者模型坐标原点与该座位进行绑定，从而建立会议参与者模型坐标系与该座位以及会议室坐标系的关系，确定他们之间关系的三维坐标旋转和平移参数；M2.4g中所述视觉融合是指：处理与平衡会议室模型与会议参与者模型之间的遮挡、光照、亮度/反差、纹理信息。
5.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M2.4h中所述对远程会议现场设备和/或用户客户端进行控制或同步，包括将会议参与者发言、投放PPT命令及其执行结果同步给相关实时会议和该会议的其他会议参与者的远程会议现场设备和/或其用户客户端。
6.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M2.7中所述用户客户端，包括：会议发起者用户客户端、主持人用户客户端、会议参与者用户客户端、报告人用户客户端。
7.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M1.1中所述3D扫描相机系统部署方式包括：
i)由围绕会议参与者固定安装的至少2台立体摄像机组成，每台摄像机有自己的笛卡尔坐标系，保障360度覆盖会议参与者，且保障相邻的两台立体摄像机之间覆盖范围具有足够的重叠；各立体摄像机安装位置以会议参与者为圆心呈均分角度，会议参与者位置在中心点，以保障能采集到足够的数据；该3D扫描相机系统有自己的笛卡尔坐标系，可取与会议参与者的三维数字模型笛卡尔坐标系一致，每台立体摄像机的坐标系与该3D扫描相机系统的坐标系之间的转换可通过三维旋转变换实现；通过远程会议现场设备的会议参与者本地计算单元，该三维旋转变换，将每台立体摄像机获取的数据从其自身的笛卡尔坐标系转换到该3D扫描相机系统的笛卡尔坐标系中，然后对这些数据进行拼接、去重、去除头戴式VR一体机影像和必要的渲染操作，获得会议参与者的三维数字模型并存储到数据库模块的会议参与者三维模型数据库；
j)3D扫描相机系统安装在可移动的支架上，使用者通过移动支架使该3D扫描相机系统在给定的现实场景会议室空间漫游，对该会议室空间真实环境进行扫描并采集数据，并传输给远程会议现场设备的会议参与者本地计算单元，从而完成该现实场景会议室的三维模型创建并存储到数据库模块的会议室三维模型数据库，供会议发起者发起会议时选用。
8.一种远程会议的实现方法，其特征在于，应用于权利要求1至7中任一项所述的远程会议系统，包括：用户注册和会议发起者预定会议流程、会议参与者进入会议流程、会议举行流程；会议开始后，实时会议模型变动包括时序驱动和事件驱动。
9.根据权利要求8所述的一种远程会议的实现方法，其特征在于，所述用户注册和会议发起者预定会议流程包括：
k)用户如果未注册则先注册，结果存储在远程会议平台数据库模块的用户数据库；
l)注册过的用户通过远程会议平台的客户端进行登录后进行预定会议，此时该用户获得该会议的会议发起者的角色，结果存储到数据库模块的会议清单库；所述预定会议的具体预定工作包括：
①设置会议开始时间；
②从远程会议平台数据库模块中的会议室三维模型数据库中选择一个会议室模型，并确定会议室中的保留座位；该会议室可以是上传到数据库中的通过远程会议现场设备采集并建模的现实场景会议室模型，也可以是通过远程会议平台的三维模型众包客户端创建的会议室模型；
③从远程会议平台数据库模块的用户数据库中邀请用户作为会议参与者；
④在用户通过他们的用户客户端确认以后，根据需要安排他们在会议室中的座次；
⑤指定会议主持人、会议报告人，并通过他们的用户客户端获得他们的确认；
⑥设置会议议程；
⑦设置会议是封闭性质的还是开放性质的会议；
⑧当所有设置完成后预定会议流程结束；
前述的设置可以一次性完成，也可以分多次完善完成。
10.根据权利要求8所述的一种远程会议的实现方法，其特征在于，所述会议参与者进入会议流程包括：
m)会议参与者首先通过其客户端进行登录；登录后可以查看数据库模块的会议清单库中其确认参与的会议或开放性质的会议列表，选定其待加入的会议并从数据库模块的会议参与者三维模型数据库选定对应的会议参与者三维模型，包括：会议参与者作为自然人的实时三维数字模型-本人模型，通过三维模型众包客户端制作的会议参与者三维模型-他人模型；
n)会议开始之前，所有会议参与者进入会议室，并就坐在其指定的或还空缺的座位上；会议参与者进入会议室在数学上意味着明确其模型坐标系之间的关系，通过引擎模块的实时模型对接与融合来实现，结果存放在数据库模块中的实时会议数据库；本系统物体或人物的三维数字模型的坐标系以地球垂线或地球重力方向为Z轴，即会议参与者三维模型和会议室三维模型的Z轴一致，将会议参与者模型与会议室模型叠加，通过引擎模块实时模型对接与融合与远程会议现场设备的交互与控制相互配合实现，结果存放数据库模块的实时会议数据库。
11.根据权利要求10所述的一种远程会议的实现方法，其特征在于，所述将会议参与者模型与会议室模型叠加，通过以下任意一种方式实现：
①会议室的入口在其三维数字模型的位置是已知的，通过将会议参与者模型叠加到会议室的入口处，建立两者模型之间坐标系的明确关系，从而仿真该会议参与者走到会议室里指定的或还空缺的座位边并就座的过程；
②强制将每个会议参与者与其指定的或还空缺的座位的局部坐标系一致，即强制将每个会议参与者叠加到会议室中其指定的或还空缺的座位，来建立他们两者模型之间坐标系的明确关系。
12.根据权利要求8所述的一种远程会议的实现方法，其特征在于，所述会议举行流程，是指：会议参与者进入会议室，二者模型坐标系之间的关系明确后，在预定的会议开始时间，会议主持人通过其客户端宣布该会议开始并按照会议议程开始会议，包括：
①主持人主持会议；
②报告人通过其客户端发言或展示其报告内容，同时展示在会议室里的投射屏上；
③会议参与者通过其客户端问答与讨论，会议参与者在会议室里虚拟走动；
凡是涉及该实时会议模型变动的由引擎模块的实时模型对接与融合来执行，凡是涉及该实时会议与远程会议现场设备的交互与控制的由引擎模块的远程会议现场设备的交互与控制来执行。
13.根据权利要求8所述的一种远程会议的实现方法，其特征在于：
所述时序驱动是指：在时序驱动的情况下，系统每隔一个固定的时间通过远程会议现场设备抓取会议参与者的姿态，并将变化部分上传到远程会议平台的数据库模块的会议参与者模型库，并与该会议参与者现有的模型进行叠加，供引擎模块的实时模型对接与融合更新该会议，然后将会议的变化部分下传给到部署在每一位会议参与者的现场的远程会议现场设备；在这些远程会议现场设备的本地计算单元，计算会议参与者的整个会议室的视角，并通过该会议参与者的头戴式VR一体机或其客户端展示给该会议参与者；
所述事件驱动是指：在事件驱动的情况下，本系统通过用户客户端事件触发或远程会议现场设备抓取到会议参与者的姿态发生变化，将该变化部分上传到远程会议平台的数据库模块的会议参与者模型库，并与该会议参与者现有的模型进行叠加，供引擎模块的实时模型对接与融合更新该会议；然后将会议的变化部分下传给到部署在每一位会议参与者的现场的远程会议现场设备；在远程会议现场设备的本地计算单元，计算会议参与者的整个会议室的视角，通过该会议参与者的头戴式VR一体机或其客户端展示给该会议参与者。
CN202311150403.XA 2023-09-07 2023-09-07 一种基于虚拟现实和人工智能技术的远程会议系统及方法 Active CN117041474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311150403.XA CN117041474B (zh) 2023-09-07 2023-09-07 一种基于虚拟现实和人工智能技术的远程会议系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311150403.XA CN117041474B (zh) 2023-09-07 2023-09-07 一种基于虚拟现实和人工智能技术的远程会议系统及方法

Publications (2)

Publication Number Publication Date
CN117041474A true CN117041474A (zh) 2023-11-10
CN117041474B CN117041474B (zh) 2024-06-18

Family

ID=88628324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311150403.XA Active CN117041474B (zh) 2023-09-07 2023-09-07 一种基于虚拟现实和人工智能技术的远程会议系统及方法

Country Status (1)

Country Link
CN (1) CN117041474B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469256A (zh) * 2013-09-22 2015-03-25 思科技术公司 沉浸式和交互式的视频会议房间环境
CN112399132A (zh) * 2020-10-28 2021-02-23 上海盈赞通信科技有限公司 虚拟现实技术于远程会议系统中的应用方法
CN114549744A (zh) * 2022-01-24 2022-05-27 聚好看科技股份有限公司 一种构建虚拟三维会议场景的方法、服务器和ar设备
US20220264055A1 (en) * 2021-02-12 2022-08-18 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V Video Conference Apparatus, Video Conference Method and Computer Program Using a Spatial Virtual Reality Environment
CN115576427A (zh) * 2022-09-28 2023-01-06 直觉睿视有限公司 一种基于xr的多人在线直播及系统
CN115738249A (zh) * 2022-11-15 2023-03-07 网易（杭州）网络有限公司 游戏角色的三维模型的展示方法、装置和电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469256A (zh) * 2013-09-22 2015-03-25 思科技术公司 沉浸式和交互式的视频会议房间环境
CN112399132A (zh) * 2020-10-28 2021-02-23 上海盈赞通信科技有限公司 虚拟现实技术于远程会议系统中的应用方法
US20220264055A1 (en) * 2021-02-12 2022-08-18 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V Video Conference Apparatus, Video Conference Method and Computer Program Using a Spatial Virtual Reality Environment
CN114549744A (zh) * 2022-01-24 2022-05-27 聚好看科技股份有限公司 一种构建虚拟三维会议场景的方法、服务器和ar设备
CN115576427A (zh) * 2022-09-28 2023-01-06 直觉睿视有限公司 一种基于xr的多人在线直播及系统
CN115738249A (zh) * 2022-11-15 2023-03-07 网易（杭州）网络有限公司 游戏角色的三维模型的展示方法、装置和电子装置

Also Published As

Publication number Publication date
CN117041474B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
EP3804301B1 (en) Re-creation of virtual environment through a video call
CN114125523B (zh) 数据处理系统和方法
Pejsa et al. Room2room: Enabling life-size telepresence in a projected augmented reality environment
Kim et al. Telehuman: effects of 3d perspective on gaze and pose estimation with a life-size cylindrical telepresence pod
US10721280B1 (en) Extended mixed multimedia reality platform
US10602121B2 (en) Method, system and apparatus for capture-based immersive telepresence in virtual environment
US9538167B2 (en) Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people
US20200349751A1 (en) Presentation interface and immersion platform
Tennent et al. Thresholds: Embedding virtual reality in the museum
US20220317830A1 (en) Methods and Systems for Providing a Communication Interface to Operate in 2D and 3D Modes
US20120192088A1 (en) Method and system for physical mapping in a virtual world
KR20110050595A (ko) 컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터, 가상 모임 공통 레이아웃 서비스 제공 방법 및 호스팅 서버
CN114115519B (zh) 用于在虚拟环境中递送应用程序的系统和方法
CN110427227B (zh) 虚拟场景的生成方法、装置、电子设备及存储介质
Regenbrecht et al. Ātea presence—Enabling virtual storytelling, presence, and tele-co-presence in an indigenous setting
CN114549744A (zh) 一种构建虚拟三维会议场景的方法、服务器和ar设备
CN117957834A (zh) 针对视频开会的建立的视角用户界面和用户体验
Farouk et al. Using HoloLens for remote collaboration in extended data visualization
Pazour et al. Virtual reality conferencing
Roberts et al. Comparing the end to end latency of an immersive collaborative environment and a video conference
CN117041474B (zh) 一种基于虚拟现实和人工智能技术的远程会议系统及方法
Vanukuru et al. DualStream: Spatially Sharing Selves and Surroundings using Mobile Devices and Augmented Reality
CN112947758A (zh) 一种基于vr技术的多用户虚实协同系统
WO2023190344A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Duncan et al. Voxel-based immersive mixed reality: A framework for ad hoc immersive storytelling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant