CN116055670A - 基于网络会议的协同校审三维模型的方法和网络会议系统 - Google Patents

Abstract

一种基于网络会议的协同校审三维模型的方法和网络会议系统，首先开启网络会议；然后向模型服务器发送模型列表请求信息，并接收和显示模型服务器响应模型列表请求信息反馈的模型列表；再向模型服务器发送包括待显示模型信息的模型显示信息，以用于模型服务器渲染待显示的三维模型，并将渲染后的图像数据转换成媒体流数据发送给主持端和参会成员端；最后由主持端和参会成员端通过播放媒体流数据的方式显示三维模型的渲染结果。由于通过模型服务器提供三维模型的显示，使得在对三维模型进行协同校审时不用将模型数据下放到校审端，进而提高模型数据的安全性。另外，采用播放媒体流数据的方式显示三维模型，降低了校审端的硬件配置要求。

Description

基于网络会议的协同校审三维模型的方法和网络会议系统

技术领域

本申请涉及网络视频会议技术领域，具体涉及一种基于网络会议的协同校审三维模型的方法和网络会议系统。

背景技术

网络视频会议技术，人们不需要太专业的知识就能够操作，例如：PPMEET网页版网络视频会议等。基于WEB技术的网页版网络视频会议技术，大大降低了网络视频会议技术的门槛，它与几乎所有的浏览器兼容，无需额外下载安装任何插件，极大地提高了安全性，由于采用的是领先的云计算技术，大幅度提高了信息传输的速度和稳定性。但是现阶段的网络视频会议技术还无法实现对三维模型的同步校审功能，例如对平台级三维模型进行协同校审时，三维模型不作为单独模型文件形态出现，如需模型校审，会议主持人无法将模型的校审操作实时同步分发给虚拟数字会议房间内的所有人。因此，基于网络会议的协同校审三维模型一般只能采用两种方式：一种是通过在线会议屏幕共享的方式协同，单方（主持人或操作人）进行在三维中的批注，依赖原有平台渠道存储同步；另一种是，需在平台应用前，以单独文件形态上传第三方在线协同平台解析、合并再校审。校审过程中发现的问题，由主持人或操作人进行在三维中的批注，依赖第三方平台渠道存储生成，结束后须回到应用平台再二次处理同步。上述两种协同校审方式不但效率低，其校审结果也无法自动生成有效的多人协同电子沟通纪要，不利于追溯。

发明内容

本申请预解决的技术问题是如何通过网络会议实现对三维模型的多人协同校审。

第一方面，一实施例中提供一种基于网络会议的协同校审三维模型的方法，包括：

开启网络会议；所述网络会议包括主持端和参会成员端；

所述主持端或所述参会成员端向一模型服务器发送模型列表请求信息；所述模型服务器响应所述模型列表请求信息反馈模型列表给所述主持端或所述参会成员端；所述主持端或所述参会成员端接收并显示所述模型列表；

显示所述模型列表的所述主持端或所述参会成员端响应一模型选择指令向所述模型服务器发送模型显示信息；所述模型选择指令包含在所述模型列表中已选定的待显示模型信息；所述模型显示信息包括所述待显示模型信息；

所述模型服务器依据所述模型显示信息渲染对应所述待显示模型信息的三维模型，并将渲染后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端；

所述主持端和所述参会成员端通过播放所述媒体流数据的方式显示所述三维模型的渲染结果。

一实施例中，所述将渲染后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端，包括：

所述模型服务器将渲染后获取的每帧图像输出成RGB格式，再经过编码形成P2P视频流后发送给所述主持端和所述参会成员端；

所述主持端和所述参会成员端通过P2P视频流播放的方式显示渲染结果。

一实施例中，协同校审三维模型的方法还包括：

所述主持端和/或所述参会成员向所述模型服务器发送渲染调节参数信息；所述渲染调节参数信息包括操作状态变更信息和渲染效果变更信息，所述操作状态变更信息包括缩放、旋转和/或聚焦的参数变更，所述渲染效果变更信息包括阴影、高光和/或虚化的参数变更；

所述模型服务器依据所述渲染调节参数信息变更所述三维模型的渲染效果，并将变更渲染效果后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端，以用于所述主持端和所述参会成员端显示。

一实施例中，，所述主持端和所述参会成员端通过播放所述媒体流数据的方式显示所述三维模型的渲染结果，包括：

所述主持端和/或所述参会成员通过显示媒体流数据中的不同帧图像的方式变更三维模型的显示角度。

一实施例中，协同校审三维模型的方法还包括：

所述主持端和/或所述参会成员通过对所述媒体流数据中的一帧或多帧图像进行标注校审批注信息的方式进行协同校审；校审批注信息包括确认审核信息或非确认审核信息，所述确认审核信息是被上传到所述模型服务器的校审批注信息，非确认审核信息是只用于本地显示的校审批注信息；

所述模型服务器接收到所述确认审核信息后，将所述确认审核信息更新到所述媒体流数据中，并将更新所述确认审核信息的所述媒体流数据发送给所述主持端和所述参会成员端。

一实施例中，所述将所述确认审核信息更新到所述媒体流数据中，包括：

所述模型服务器将所述确认审核信息添加到所述三维模型中，再对添加了所述确认审核信息的三维模型进行渲染，并将渲染后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端。

一实施例中，协同校审三维模型的方法还包括：

所述主持端和/或所述参会成员端设置有显示共享模式；当设置为显示共享模式时，所述主持端和/或所述参会成员端联动显示所述三维模型。

一实施例中，协同校审三维模型的方法还包括：

生成会议纪要，并将所述主持端和每个所述参会成员的标注信息添加到所述会议纪要中。

第二方面，一实施例中提供一种计算机可读存储介质，所述介质上存储有程序；所述程序能够被处理器执行以实现如第一方面所述的方法。

第三方面，一实施例中提供一种网络会议系统，用于应用如第一方面所述的方法，所述网络会议系统包括：

网络会议服务器，用于开启网络会议，所述网络会议包括主持端和参会成员端；

模型服务器，用于响应所述主持端或所述参会成员端发出的模型列表请求信息反馈模型列表给所述主持端或所述参会成员端；所述模型服务器还用于依据模型显示信息渲染对应所述待显示模型信息的三维模型，并将渲染后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端，以用于所述主持端和所述参会成员端通过播放所述媒体流数据的方式显示所述三维模型的渲染结果；其中，所述模型显示信息是所述主持端或所述参会成员端响应一模型选择指令向所述模型服务器发送的，所述模型选择指令包含在所述模型列表中已选定的待显示模型信息；所述模型显示信息包括所述待显示模型信息。

如上述实施例中的基于网络会议的协同校审三维模型的方法，通过模型服务器提供三维模型的显示，使得在对三维模型进行协同校审时不用将模型数据下放到校审端，进而提高模型数据的安全性。另外，采用播放媒体流数据的方式显示三维模型，降低了校审端的硬件配置要求。

附图说明

图1为一种实施例中协同校审三维模型的方法流程示意图；

图2为一种实施例中网络会议的建立示意图；

图3为一种实施例中网络会议开启示意图；

图4为一种实施例中校审批注信息的批注内容示意图；

图5为一种实施例中会议纪要记录信息示意图；

图6为一种实施例中的网络会议系统的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

通过网络在线协同校审三维模型需要满足以下条件：

1）需支持在线人员对三维模型的操作和显示实时同步；

2）三维模型的协同校审发起后可立刻使用，无需在校审端各自进行三维模型的预处理和二次加工处理；

3）能够在会议纪要中保留多人协同的操作记录，以用于后期的校审信息追溯；

4）在会议纪要中最好可以支持关于三维模型的联动记录。

在本申请实施例中公开的协同校审三维模型的方法，采用向模型服务器发送三维模型显示请求，由模型服务器将对三维模型渲染后的图像数据转换成媒体流数据发送给每个校审端（主持端和参会成员端），每个校审端通过显示媒体流数据中的每帧图像来直接显示三维模型。校审端还可通过对媒体流数据中的每帧图像进行标注校审批注信息的方式实现协同校审。另外，只需将标注校审批注信息的媒体流数据保存在会议纪要中，不但可以保留三维模型的联动记录，还可实现校审信息的追溯。

实施例一

请参考图1，为一种实施例中协同校审三维模型的方法流程示意图，该方法包括：

步骤101，开启网络会议。

网络会议包括主持端和参会成员端。下面通过一具体实施例描述开启网络会议的具体流程：

请参考图2，为一种实施例中网络会议的建立示意图，由网络会议服务器进行会议管理，已建立的会议在会议列表中体现，如果未建立会议则进行创建会议申请，填写会议名称、选择会议时间段、设置主持人和设置会议密码等，然后递交确认创建申请，创建成功后将新建立的会议添加到会议列表中。其中，设置主持人就是设置主持端。

请参考图3，为一种实施例中网络会议开启示意图，在会议列表中选择预开启的会议，会议开启前现邀请成员，成员包括主持端和参会成员端，可采用在网络会议服务器内已注册的会员列表中选取预参加会议的会员，以向其直接发起会议要求请求来邀请成员，或分享链接的方式，以实现对会员及非会员的预参会人员发起邀请。接收邀请后直接跳转进入会议中转页，在会议中转页中确认预参会人员的身份信息，如果时会员则检测会员的登录信息，如已登录会员则直接调取会员信息，如非会员登录则通过跳转会员登录界面进行会员登录。会员登录信息确认后测试参会人员的终端设备，例如检查麦克风、摄像头和扬声器等，终端设备检测正常则进入网络会议室。不正常则提示解决终端设备的故障，故障解决后可进入网络会议室。在网络会议开启的过程中，需通过网络会议服务器内的成员邀请或外部用户注册邀请来实现，以加密JWT权限验证，通过后方可进入到网络会议室，以保证三维模型协同校审会议室的有效性和安全性。一实施例中，在网络会议室（虚拟数字房间）内，通过WEBRTC技术，构建实时语音、视频、文字的交流环境，对三维模型校审开展实时、高效交流。

一实施例中，只在主持端（主持人）设置会议录音、会议录屏、全员静音、更换主持和结束会议的功能，其中更换主持可在会议成员中选择新的主持人。

一实施例中，主持端和参会成员端都设置会议纪要、分享屏幕、画中画、白板、全屏、麦克风设置、摄像头设置和退出会议功能。其中，会议纪要包括插入聊天内容、文字输入和视图标记信息插入和截图等功能。有单独的视图批注窗口、聊天窗口和成员列表窗口，视图批注窗口用于视图标记信息插入，视图批注窗口可评论视点，聊天窗口可发送文件、文件和针对指定成员对话。画中画功能是在同步显示主持人共享的三维模型的同时，可另外开启窗口单独对三维模型进行自行控制显示。一实施例中，通过WebSocket技术，将校审主持人对模型的校审操作实时同步分发给房间内的所有人，包括模型观察视点、选中焦点、三维批注信息、测量信息、漫游信息。对模型校审过程中发现的问题，进行三维批注实时同步给所有人，可借助白板工具实时进行画图交流。

步骤102，发起显示模型列表请求。

由主持端或参会成员端向一模型服务器发送模型列表请求信息。模型服务器响应模型列表请求信息反馈模型列表给主持端或参会成员端。主持端或参会成员端接收并显示模型列表。

步骤103，发起模型显示请求。

显示模型列表的主持端或参会成员端响应一模型选择指令向模型服务器发送模型显示信息。其中，模型选择指令包含在模型列表中已选定的待显示模型信息，模型显示信息包括待显示模型信息。模型服务器依据模型显示信息渲染对应待显示模型信息的三维模型，并将渲染后获取的图像数据转换成媒体流数据发送给主持端和参会成员端。

步骤104，显示三维模型。

主持端和参会成员端通过播放媒体流数据的方式显示三维模型的渲染结果。一实施例中，模型服务器将渲染后获取的每帧图像输出成RGB格式，再经过编码形成P2P视频流后发送给主持端和参会成员端。主持端和参会成员端通过P2P视频流播放的方式显示渲染结果。

一实施例中，协同校审三维模型的方法还包括：

步骤105，调节三维模型参数。

主持端和/或参会成员向模型服务器发送渲染调节参数信息，渲染调节参数信息包括操作状态变更信息和渲染效果变更信息，操作状态变更信息包括缩放、旋转和/或聚焦的参数变更，渲染效果变更信息包括阴影、高光和/或虚化的参数变更。模型服务器依据渲染调节参数信息变更三维模型的渲染效果，并将变更渲染效果后获取的图像数据转换成媒体流数据发送给主持端和参会成员端，以用于主持端和参会成员端显示。一实施例中，操作状态变更信息还包括三维标记、剖切、测量、步行观察、聚焦、缩放全部、局部缩放、局部隐藏、移动、旋转和虚化未选等。虚化未选具体包括虚化选中、虚化未选、聚焦选中和显示全部等，局部隐藏包括隐藏选中和隐藏未选等。

一实施例中，主持端和/或参会成员通过显示媒体流数据中的不同帧图像的方式变更三维模型的显示角度。

一实施例中，协同校审三维模型的方法还包括：

步骤106，标注校审批注信息。

主持端和/或参会成员通过对媒体流数据中的一帧或多帧图像进行标注校审批注信息的方式进行协同校审。校审批注信息包括确认审核信息或非确认审核信息，确认审核信息是被上传到模型服务器的校审批注信息，非确认审核信息是只用于本地显示的校审批注信息。模型服务器接收到确认审核信息后，将确认审核信息更新到媒体流数据中，并将更新确认审核信息的媒体流数据发送给主持端和参会成员端。

一实施例中，模型服务器将确认审核信息添加到三维模型中，再对添加了确认审核信息的三维模型进行渲染，并将渲染后获取的图像数据转换成媒体流数据发送给主持端和参会成员端。一实施例中，模型服务器通过主持端和参会成员端在媒体流数据中每一帧图像的标注位置和信息进行识别校审批注信息的识别，例如模型服务器获取针对第N帧图像的校审批注信息，模型服务器依据第N帧图像确认三维模型的显示角度，在依据校审批注信息的标注位置确定标注信息在三维模型的位置。

请参考图4，为一种实施例中校审批注信息的批注内容示意图，一实施例中，通过视点批注窗口进行校审批注信息的批注。主持端和参会成员端都可以对各自视点批注窗口显示的三维模型进行批注，在视点批注窗口可以进行评论视点、点击查看或增加视点和点击查看视点。当开启三维协同校审模式时，直接进行标注并保存，还可以激活画中画模式，并同时支持在画中画中进行标注和保存。

一实施例中，协同校审三维模型的方法还包括：

步骤107，联动显示。

主持端和/或参会成员端设置有显示共享模式，当设置为显示共享模式时，主持端和/或参会成员端联动显示三维模型。一实施例中，主持人通过三维协同分享屏幕开展三维校审协同部分内容，其他协同人员通过画中画联动查看与操作处理，通过刷新同步协同数据。

一实施例中，协同校审三维模型的方法还包括：

步骤108，生成会议纪要。

生成会议纪要，并将主持端和每个参会成员的标注信息添加到会议纪要中。

请参考图5，为一种实施例中会议纪要记录信息示意图，一实施例中，在协同校审结束后，可将会议过程所有数据作为电子会议纪要，包括会议中的三维校审批注信息、文字交流信息等内容。一实施例中，将媒体流数据添加到会议纪要中。

请参考图6，为一种实施例中的网络会议系统的结构示意图，该网络会议系统用于应用如上所述的协同校审三维模型的方法，网络会议系统包括网络会议服务器10和模型服务器20。网络会议服务器10用于开启网络会议，网络会议包括主持端和参会成员端。模型服务器20用于响应主持端或参会成员端发出的模型列表请求信息反馈模型列表给主持端或参会成员端。模型服务器20还用于依据模型显示信息渲染对应待显示模型信息的三维模型，并将渲染后获取的图像数据转换成媒体流数据发送给主持端和参会成员端，以用于主持端和参会成员端通过播放媒体流数据的方式显示三维模型的渲染结果。其中，模型显示信息是主持端或参会成员端响应一模型选择指令向模型服务器20发送的，模型选择指令包含在模型列表中已选定的待显示模型信息，模型显示信息包括待显示模型信息。

在本申请一实施例中，协同校审三维模型的方法基于在线会议方式和内及外网环境下的三维模型多人协同操作，操作数据实现实时同步，会议过程所有三维协同数据作为电子会议纪要，另外，会议纪要中三维标注下的视角信息也可实时联动的在三维场景下查看。该用于三维模型的协同校审方法适用于工业场景下无须转模或二次处理，就能对三维模型进行在线协同，可以满足三维模型应用功能（如三维校审及三维批注等）的多人协同，还可以将协同过程产生的所有数据形成三维联动的数字会议纪要，并能可以支持内及外网部署，且能实现数据同步。

本申请实施例中公开的基于网络会议的协同校审三维模型的方法，首先开启网络会议；然后向模型服务器发送模型列表请求信息，并接收和显示模型服务器响应模型列表请求信息反馈的模型列表；再向模型服务器发送包括待显示模型信息的模型显示信息，以用于模型服务器渲染待显示的三维模型，并将渲染后的图像数据转换成媒体流数据发送给主持端和参会成员端；最后由主持端和参会成员端通过播放媒体流数据的方式显示三维模型的渲染结果。由于通过模型服务器提供三维模型的显示，使得在对三维模型进行协同校审时不用将模型数据下放到校审端，进而提高模型数据的安全性。另外，采用播放媒体流数据的方式显示三维模型，降低了校审端的硬件配置要求

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于网络会议的协同校审三维模型的方法，其特征在于，包括：

开启网络会议；所述网络会议包括主持端和参会成员端；

所述主持端或所述参会成员端向一模型服务器发送模型列表请求信息；所述模型服务器响应所述模型列表请求信息反馈模型列表给所述主持端或所述参会成员端；所述主持端或所述参会成员端接收并显示所述模型列表；

显示所述模型列表的所述主持端或所述参会成员端响应一模型选择指令向所述模型服务器发送模型显示信息；所述模型选择指令包含在所述模型列表中已选定的待显示模型信息；所述模型显示信息包括所述待显示模型信息；

所述模型服务器依据所述模型显示信息渲染对应所述待显示模型信息的三维模型，并将渲染后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端；

所述主持端和所述参会成员端通过播放所述媒体流数据的方式显示所述三维模型的渲染结果。

2.如权利要求1所述方法，其特征在于，所述将渲染后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端，包括：

所述模型服务器将渲染后获取的每帧图像输出成RGB格式，再经过编码形成P2P视频流后发送给所述主持端和所述参会成员端；

所述主持端和所述参会成员端通过P2P视频流播放的方式显示渲染结果。

3.如权利要求1所述方法，其特征在于，还包括：

所述主持端和/或所述参会成员向所述模型服务器发送渲染调节参数信息；所述渲染调节参数信息包括操作状态变更信息和渲染效果变更信息，所述操作状态变更信息包括缩放、旋转和/或聚焦的参数变更，所述渲染效果变更信息包括阴影、高光和/或虚化的参数变更；

所述模型服务器依据所述渲染调节参数信息变更所述三维模型的渲染效果，并将变更渲染效果后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端，以用于所述主持端和所述参会成员端显示。

4.如权利要求1所述方法，其特征在于，所述主持端和所述参会成员端通过播放所述媒体流数据的方式显示所述三维模型的渲染结果，包括：

所述主持端和/或所述参会成员通过显示媒体流数据中的不同帧图像的方式变更三维模型的显示角度。

5.如权利要求4所述方法，其特征在于，还包括：

所述主持端和/或所述参会成员通过对所述媒体流数据中的一帧或多帧图像进行标注校审批注信息的方式进行协同校审；校审批注信息包括确认审核信息或非确认审核信息，所述确认审核信息是被上传到所述模型服务器的校审批注信息，非确认审核信息是只用于本地显示的校审批注信息；

所述模型服务器接收到所述确认审核信息后，将所述确认审核信息更新到所述媒体流数据中，并将更新所述确认审核信息的所述媒体流数据发送给所述主持端和所述参会成员端。

6.如权利要求5所述方法，其特征在于，所述将所述确认审核信息更新到所述媒体流数据中，包括：

所述模型服务器将所述确认审核信息添加到所述三维模型中，再对添加了所述确认审核信息的三维模型进行渲染，并将渲染后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端。

7.如权利要求5所述方法，其特征在于，还包括：

所述主持端和/或所述参会成员端设置有显示共享模式；当设置为显示共享模式时，所述主持端和/或所述参会成员端联动显示所述三维模型。

8.如权利要求5所述方法，其特征在于，还包括：

生成会议纪要，并将所述主持端和每个所述参会成员的标注信息添加到所述会议纪要中。

9.一种计算机可读存储介质，其特征在于，所述介质上存储有程序；所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的方法。

10.一种网络会议系统，其特征在于，用于应用如权利要求1至8中任一项所述的方法，所述网络会议系统包括：

网络会议服务器，用于开启网络会议，所述网络会议包括主持端和参会成员端；

模型服务器，用于响应所述主持端或所述参会成员端发出的模型列表请求信息反馈模型列表给所述主持端或所述参会成员端；所述模型服务器还用于依据模型显示信息渲染对应所述待显示模型信息的三维模型，并将渲染后获取的图像数据转换成媒体流数据发送给所述主持端和所述参会成员端，以用于所述主持端和所述参会成员端通过播放所述媒体流数据的方式显示所述三维模型的渲染结果；其中，所述模型显示信息是所述主持端或所述参会成员端响应一模型选择指令向所述模型服务器发送的，所述模型选择指令包含在所述模型列表中已选定的待显示模型信息；所述模型显示信息包括所述待显示模型信息。

Images