CN115633147A - 一种基于5g多视角的多人远程协作指导系统 - Google Patents

Abstract

本发明涉及远程指导技术领域，公开了一种基于5G多视角的多人远程协作指导系统，包括移动视频端、服务器端和指挥中心端，服务器端与移动视频端和指挥中心端通信连接，服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块；移动视频端生成三维实时场景视频；指挥中心端用于远程指导人员对现场作业进行远程指导；音视频服务模块用于移动视频端和指挥中心端的三维实时场景视频传输；交互模块共享移动视频端和指挥中心端的三维实时场景视频画面。本发明提供的基于5G多视角的多人远程协作指导系统，通过服务器端与指挥中心端的专家指导人员进行远程的三维实时场景视频通信，能够及时定位作业现场的问题，提高作业现场的问题处理效率。

Description

一种基于5G多视角的多人远程协作指导系统

技术领域

本发明涉及远程指导技术领域，特别涉及一种基于5G多视角的多人远程协作指导系统。

背景技术

一线人员的工作存在着设备多、任务重、操作繁琐、安全合规性要求高等特点，现有的作业监控手段是设立现场监护人员，但受限于现场监护人员及作业人员水平，不能解决所有的现场问题，同时连线专家指导人员只有传统的通讯方式，如电话、微信等，但是无论是电话还是微信，在通讯效果来看都存在效率低下的问题，使得作业现场的问题不能迅速定位，不能直观地为操作人员提供指导，也无法结合作业环境和进展状况实时地提供所需信息。需要多方协作时，受专家及相关人员到场时间、或远程沟通工具等因素的影响，问题处置滞后。

发明内容

本发明提供了一种基于5G多视角的多人远程协作指导系统，在移动视频端建立作业现场的三维实时场景视频，并通过服务器端与指挥中心端的专家指导人员进行远程的三维实时场景视频通信，能够及时定位作业现场的问题，使得专家指导人员能够直观的为作业人员提供指导，提高作业现场的问题处理效率。

本发明提供了一种基于5G多视角的多人远程协作指导系统，包括移动视频端、服务器端和指挥中心端，所述服务器端与所述移动视频端和指挥中心端通信连接，所述服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块；

所述移动视频端设置在现场作业人的移动设备上，用于采集作业现场的图像、音频和视频数据，所述移动视频端连接多个视频采集设备，并将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频；

所述指挥中心端设置在远程指导人员的移动设备上，用于所述远程指导人员对现场作业进行远程指导，并与现场作业人员进行互动；

所述音视频服务模块采用基于Go语言的流媒体服务器，用于实现所述移动视频端和指挥中心端的三维实时场景视频传输；

所述录像存储模块用于为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储；

所述业务管理模块用于所述远程指导人员在远程指导过程中查询作业现场的作业设备的实时运行数据；

所述交互模块用于共享所述移动视频端和指挥中心端的三维实时场景视频画面，并自定义画笔标记，以使所述远程指导人员对所述三维实时场景视频画面的标记实时显示在所述移动视频端上。

进一步地，当所述指挥中心端具有多个时，所述录像存储模块还用于暂时存储所述远程指导人员的指导录像，并在其他远程指导结束后为所述作业人员播放所述指导录像；其中，所述指导录像包括所述远程指导人员对所述视频画面的实时标记。(当指导人员时间紧迫无法等待前面的指导结束时)

进一步地，所述移动视频端将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频包括：对视频采集设备采集的多个视频进行畸变矫正，采用配准算法对视频图像进行分区域配准，根据采集设备和采集环境对视频的色彩进行归一化处理，并行处理拼接根据配准数据表对图像分块映射并进行边缘融合，对拼接后的视频根据作业人员的指令进行整体或分片输出。

进一步地，所述视频采集设备包括分布在多个安装位置的一组或多组摄像头，每组摄像头包括多个高清摄像头，且每组摄像头的数量相同。

进一步地，所述配准算法包括：获取参考视频图像A1和待配准视频图像A2，A1(x,y)，A2(x,y)表示位于点(x,y)处像素点的灰度值，图像A1，A2的配准关系表示为：A2(x,y)＝g(A1(f(x,y)))其中，g表示一维的灰度变换函数，f表示二维的几何变换函数。

进一步地，所述业务管理模块包括智能识别单元和调取单元，所述只能识别单元用于识别作业现场中作业设备的二维码以提取所述作业设备的信息，所述调取单元用于根据所述作业设备的信息调取所述作业设备的实时运行数据。

进一步地，所述远程指导人员的移动设备和现场作业人员的移动设备为能够运行Windows操作系统的移动设备，包括平板电脑、笔记本电脑。

本发明的有益效果为：

包括移动视频端、服务器端和指挥中心端，移动视频端采集作业现场的图像、音频和视频数据，其中视频包括多视角的视频，并将采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频，以便能够与指挥中心端通过服务器端在三维实时场景视频的基础上进行通信，以便专家指导人员能够直观的为作业人员提供指导，业务管理模块和交互模块边缘专家指导人员在通信过程中根据设备的实时运行数据发现问题所在，并通过交互模块与现场作业人员进行快速指导，且录像存储模块为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储，便于后续出现同样的问题可以直接调取指导录像，无需重复通信；本发明使专家指导人员能够对现场作业实施有效的远程指导，现场作业人员能够在专家指导人员的远程指导下更加高效地定位和解决作业现场的问题，提高作业现场的问题处理效率。

附图说明

图1为本发明基于5G多视角的多人远程协作指导系统的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供管了一种基于5G多视角的多人远程协作指导系统，包括移动视频端、服务器端和指挥中心端，所述服务器端与所述移动视频端和指挥中心端通过5G通信连接，所述服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块。

移动视频端：

所述移动视频端设置在现场作业人的移动设备(现场作业人员的移动设备为能够运行Windows操作系统的移动设备，包括平板电脑、笔记本电脑)上，主要包含控制接口、数据通信接口、视频采集接口和语音通信接口等，能够实现与指挥中心端之间的实时双向音频通信。利用移动视频端，现场作业人员能够将现场信息直观且实时地传递至远程专家指导人员，并接受远程专家的语音指导。移动视频端用于采集作业现场的图像、音频和视频数据，所述移动视频端连接多个视频采集设备，并将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频。

所述移动视频端将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频，将一个或多个由视频采集设备采集的作业场景的图像序列视频与一个与之相关的场景加以融合，以生成一个新的关于作业场景的虚三维实时场景视频，主要包括视频采集、畸变矫正、视频配准、色彩校正、并行拼接、视频输出六步处理流程。具体包括：对视频采集设备采集的多个视频进行畸变矫正，以消除视频四周的变形；采用配准算法对视频图像进行分区域配准，确保图像的每块区域投影误差最小；根据采集设备和采集环境对视频的色彩进行归一化处理，减小视频之间的色彩差异；并行处理拼接根据配准数据表对图像分块映射并进行边缘融合；对拼接后的视频根据作业人员的指令进行整体或分片输出。其中，所述视频采集设备包括分布在多个安装位置的一组或多组摄像头，每组摄像头包括多个高清摄像头，且每组摄像头的数量相同，以实现对监控区域的视频全覆盖。

由于采集的不同的视频具有不同的时间点和场景，因而视频中的尺度、角度和信息量存在差异，因而采用视频配准将具有不同信息的视频图像进行精准比对，得到相同空间方位。所述配准算法包括：设置参考视频图像A1，获取参考视频图像A1和待配准视频图像A2，A1(x,y)，A2(x,y)表示位于点(x,y)处像素点的灰度值，图像A1，A2的配准关系表示为：A2(x,y)＝g(A1(f(x,y)))其中，g表示一维的灰度变换函数，f表示二维的几何变换函数。即视频配准通过数学计算方式确定空间变换关系f和灰度变换关系g。

指挥中心端：

所述指挥中心端设置在远程指导人员的移动设备(远程指导人员的移动设备为能够运行Windows操作系统的移动设备，包括平板电脑、笔记本电脑)上，能够实现与现场作业人员的移动设备之间的实时双向音频通信，指挥中心端用于所述远程指导人员对现场作业进行远程指导，并与现场作业人员进行互动。指挥中心端的数量具有一个或多个，当指挥中心端的数量具有多个时，每个指挥中心端设置在一个指导人员的移动设备上，即，指挥中心端的数量与移动设备的数量相同，且多个指挥中心端通过服务器端同样可以建立音视频通信。

服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块。

音视频服务模块：

所述音视频服务模块采用基于Go语言的流媒体服务器，用于实现所述移动视频端和指挥中心端的三维实时场景视频传输。系统采用Media Server作为音视频服务器，能够实现多人双向音视频通信。Media Server作为基于Go语言的商用高性能流媒体服务器，Media Server依托Go语言对多核的原生优势，具备并发性能，能够实现主流的实时消息传输协议、超文本传输协议(传输FLV数据)、WebSocket实时传输协议(传输FLV数据)、基于超文本传输协议的流媒体传输协议等。

录像存储模块：

所述录像存储模块用于为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储。截取指导人员对作业现场人员指导过程的完整音视频数据，并添加时间戳，同时按照时间戳对指导过程的完整音视频数据进行存储，且在指导结束后作业人员还可以为指导过程的音视频数据添加问题标记，在后续对设备和作业现场的检验中，能够根据时间戳获知设备的出现问题的时间，且根据作业人员添加的问题标记获知设备的具体问题所在，同时，在后续作业的过程中，如出现同样的问题，可以调取相同问题的指导过程的完整音视频数据，无需再次进行远程协作指导的通信，提高作业现场问题处理的效率。

当所述指挥中心端具有多个时，且需要对同一台设备进行指导，此时指导人员需依次进行远程指导交流，但又由于指导人员时间紧迫，无法等待前述指导结束，且指导过程无需实时提问解答时，录像模块可以暂时存储指导人员的指导录像，在作业人员与其他指导人员通信结束后，直接播放暂时存储的指导录像，以便对相应的问题进行解决。因此，所述录像存储模块还用于暂时存储所述远程指导人员的指导录像，并在其他远程指导结束后为所述作业人员播放所述指导录像；其中，所述指导录像包括所述远程指导人员对所述视频画面的实时标记。

业务管理模块：

由于有些问题在远程协作指导时需要根据设备的实时运行数据才可获知问题所在，因此所述业务管理模块用于所述远程指导人员在远程指导过程中查询作业现场的作业设备的实时运行数据。

所述业务管理模块包括智能识别单元和调取单元，所述只能识别单元用于识别作业现场中作业设备的二维码以提取所述作业设备的信息，根据作业人员的移动设备可以实时扫描作业现场设备的二维码；所述调取单元用于根据所述作业设备的信息调取所述作业设备的实时运行数据。

交互模块：

所述交互模块用于共享所述移动视频端和指挥中心端的三维实时场景视频画面，并自定义画笔标记，以使所述远程指导人员对所述三维实时场景视频画面的标记实时显示在所述移动视频端上。即远程指导人员能够通过画笔标记对三维实时场景视频画面进行自定义标记，且实时显示在作业人员的移动视频端上，便于远程指导人员和作业人员快速准确的交流，提高问题处理的效率。

本发明包括移动视频端、服务器端和指挥中心端，移动视频端采集作业现场的图像、音频和视频数据，其中视频包括多视角的视频，并将采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频，以便能够与指挥中心端通过服务器端在三维实时场景视频的基础上进行通信，以便专家指导人员能够直观的为作业人员提供指导，业务管理模块和交互模块边缘专家指导人员在通信过程中根据设备的实时运行数据发现问题所在，并通过交互模块与现场作业人员进行快速指导，且录像存储模块为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储，便于后续出现同样的问题可以直接调取指导录像，无需重复通信；本发明使专家指导人员能够对现场作业实施有效的远程指导，现场作业人员能够在专家指导人员的远程指导下更加高效地定位和解决作业现场的问题，提高作业现场的问题处理效率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于5G多视角的多人远程协作指导系统，其特征在于，包括移动视频端、服务器端和指挥中心端，所述服务器端与所述移动视频端和指挥中心端通信连接，所述服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块；

所述移动视频端设置在现场作业人的移动设备上，用于采集作业现场的图像、音频和视频数据，所述移动视频端连接多个视频采集设备，并将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频；

所述指挥中心端设置在远程指导人员的移动设备上，用于所述远程指导人员对现场作业进行远程指导，并与现场作业人员进行互动；

所述音视频服务模块采用基于Go语言的流媒体服务器，用于实现所述移动视频端和指挥中心端的三维实时场景视频传输；

所述录像存储模块用于为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储；

所述业务管理模块用于所述远程指导人员在远程指导过程中查询作业现场的作业设备的实时运行数据；

所述交互模块用于共享所述移动视频端和指挥中心端的三维实时场景视频画面，并自定义画笔标记，以使所述远程指导人员对所述三维实时场景视频画面的标记实时显示在所述移动视频端上。

2.根据权利要求1所述的基于5G多视角的多人远程协作指导系统，其特征在于，当所述指挥中心端具有多个时，所述录像存储模块还用于暂时存储所述远程指导人员的指导录像，并在其他远程指导结束后为所述作业人员播放所述指导录像；其中，所述指导录像包括所述远程指导人员对所述视频画面的实时标记。(当指导人员时间紧迫无法等待前面的指导结束时) 。

3.根据权利要求1所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述移动视频端将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频包括：对视频采集设备采集的多个视频进行畸变矫正，采用配准算法对视频图像进行分区域配准，根据采集设备和采集环境对视频的色彩进行归一化处理，并行处理拼接根据配准数据表对图像分块映射并进行边缘融合，对拼接后的视频根据作业人员的指令进行整体或分片输出。

4.根据权利要求3所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述视频采集设备包括分布在多个安装位置的一组或多组摄像头，每组摄像头包括多个高清摄像头，且每组摄像头的数量相同。

5.根据权利要求3所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述配准算法包括：获取参考视频图像A1和待配准视频图像A2，A1(x,y)，A2(x,y)表示位于点(x,y)处像素点的灰度值，图像A1，A2的配准关系表示为：A2(x,y)＝g(A1(f(x,y)))其中，g表示一维的灰度变换函数，f表示二维的几何变换函数。

6.根据权利要求1所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述业务管理模块包括智能识别单元和调取单元，所述只能识别单元用于识别作业现场中作业设备的二维码以提取所述作业设备的信息，所述调取单元用于根据所述作业设备的信息调取所述作业设备的实时运行数据。

7.根据权利要求1所述的基于5G多视角的多人远程协作指导系统，其特征在于，所述远程指导人员的移动设备和现场作业人员的移动设备为能够运行Windows操作系统的移动设备，包括平板电脑、笔记本电脑。

Images