CN115022656A - 一种基于机器人操作系统的远程支援方法及设备 - Google Patents

Abstract

本申请提供了一种基于机器人操作系统的远程支援方法及设备，该方法通过第一采集节点，获取若干第一话题消息，并发布至第一话题；通过第二推流节点的消息订阅请求，订阅第一话题，并确定各第一话题消息相应的若干支援事件图像。基于各支援事件图像，生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器，以在流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至推流播放视频的访问权限。基于用户根据推流播放视频的操作，确定用户终端的远程支援指令，以控制相应的巡防机器人。

Description

一种基于机器人操作系统的远程支援方法及设备

技术领域

本申请涉及通信方法技术领域，尤其涉及一种基于机器人操作系统的远程支援方法及设备。

背景技术

随着互联网技术的发展，视频直播行业迅速发展，通过直播可以分享、普及知识，使科技、人文等知识普及面更广。直播可以将摄像头实时采集图像，推流至拉流的客户端，实现多客户端播放直播内容的目的。

目前，人工智能技术的发展和完善，方便了我们生活的各个方面，比如扫地机器人自动扫地，安防机器人监控防暴，以及商场引购机器人。若机器人遇到紧急情况，无法自主做出动作判断时，容易引起事故发生，给人们带来不便。从而影响人们正常的生活工作效率，降低人们的使用体验。

发明内容

本申请实施例提供了一种基于机器人操作系统的远程支援方法及设备，用于辅助控制机器人，提高机器人的应急避险能力。

一方面，本申请提供了一种基于机器人操作系统的远程支援方法，该方法包括：

通过第一采集节点，获取若干第一话题消息，并发布至第一话题。通过第二推流节点的消息订阅请求，订阅第一话题，并确定各第一话题消息相应的若干支援事件图像。基于各支援事件图像，生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器，以在流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至推流播放视频的访问权限。基于用户根据推流播放视频的操作，确定用户终端的远程支援指令，以控制相应的巡防机器人。

在本申请的一种实现方式中，通过第一采集节点，生成图像采集指令。将图像采集指令发送至相应的图像采集设备，并将图像采集设备采集的图像数据，作为第一话题消息，以发布第一话题消息至第一话题。其中，图像采集设备通过吉比特多媒体串行链路GMSL连接机器人操作系统。

在本申请的一种实现方式中，通过第二推流节点，确定预设话题与第一话题是否匹配。在确定预设话题与第一话题匹配的情况下，订阅第一话题，并将第一话题的各第一话题消息与前一时刻的第一话题消息进行比对。其中，前一时刻的第一话题消息为第二推流节点前一时刻订阅第一话题时，第一话题中的第一话题消息。根据比对结果，确定更新的各第一话题消息的支援事件图像。支援事件图像为RGB图像。

在本申请的一种实现方式中，通过预设多媒体处理工具，将支援事件图像的转换为YUV图像。基于用户终端的设置参数，确定编码的B帧参数及I帧参数，以通过H.264编码器，对YUV图像进行编码。将编码后的YUV图像进行格式封装，并添加实时消息协议RTMP协议头部至格式封装后的YUV图像，以得到推流播放视频，并实时发送推流播放视频至相应的流媒体服务器。其中，RTMP协议头部用于表示传输数据所使用的通信协议为RTMP。

在本申请的一种实现方式中，通过流媒体服务器，将推流播放视频的视频协议转换为网页实时通信WebRTC协议。

在本申请的一种实现方式中，格式封装后的YUV图像为流媒体格式FLV。

在本申请的一种实现方式中，流媒体服务器为直播点播服务器SRS。

在本申请的一种实现方式中，解析远程支援指令。其中，远程支援指令至少包括：移动控制子指令、图像采集子指令、音频播放子指令。基于远程支援指令以及相应的第三执行节点，确定巡防机器人的执行操作，并执行相应的执行操作。执行操作包括：移动、图像采集、播放音频。根据执行操作相应的推流播放视频，确定执行操作的巡防支援图像。将巡防支援图像及推流播放视频发送至相应的流媒体服务器，以根据用户终端的反馈信息，确定巡防支援图像与推流播放视频的匹配度。在匹配度大于预设阈值的情况下，通过第四特征提取节点，获取巡防支援图像的支援图像特征矩阵。其中，第四特征提取节点设置有图像特征提取模型。基于支援图像特征矩阵以及支援事件图像，确定支援事件图像的特征矩阵与支援图像特征矩阵是否匹配。在确定支援事件图像的特征矩阵与支援图像特征矩阵匹配的情况下，确定并执行支援图像特征矩阵相应的执行操作。

在本申请的一种实现方式中，根据推流播放视频的视频时长，将推流播放视频分割为N组视频帧。其中，N为自然数，N大于一。分别确定N组视频帧中，分辨率最小的视频帧，为第一比对帧，并根据时间顺序，将第一比对帧的预设邻域时长内的视频帧，作为第一比对帧集合。以及剔除N组视频帧中，第一比对帧集合相应的视频帧。计算推流图像样本与第一比对帧集合中的各视频帧，相应的像素相似度。其中，推流图像样本为前一时段的远程支援指令所对应的图像。在像素相似度小于预设值的情况下，确定N组视频帧中，分辨率最小的视频帧，为第二比对帧，并根据时间顺序，将第一比对帧的预设邻域时长内的视频帧，作为第二比对帧集合，以确定推流图像样本与第二比对帧集合中的各视频帧，相应的像素相似度，直至像素相似度大于或等于预设值，得到相应的相似视频帧或推流播放视频的各视频帧相应的像素相似度均小于预设值。其中，相似视频帧为第M比对帧集合中，像素相似度大于或等于预设值。M为自然数。在得到相似视频帧的情况下，将相似视频帧作为执行操作的巡防支援图像。

另一方面，本申请实施例还提供了一种基于机器人操作系统的远程支援设备，该设备包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

通过第一采集节点，获取若干第一话题消息，并发布至第一话题。通过第二推流节点的消息订阅请求，订阅第一话题，并确定各第一话题消息相应的若干支援事件图像。基于各支援事件图像，生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器，以在流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至推流播放视频的访问权限。基于用户根据推流播放视频的操作，确定用户终端的远程支援指令，以控制相应的巡防机器人。

本申请通过上述实施例可以实现机器人操作系统至流媒体服务器的视频推流，从而在巡防机器人进行工作时，通过推流视频进行巡防机器人的远程辅助驾驶或远程支援巡防机器人当前面临的事件。同时，通过流媒体服务器的推流播放视频，使用户终端可以访问到延时小的实时视频流，保证辅助控制机器人的实时性，提高机器人的应急避险能力。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种基于机器人操作系统的远程支援方法的一种流程示意图；

图2为本申请实施例中一种基于机器人操作系统的远程支援方法的另一种流程示意图；

图3为本申请实施例中一种基于机器人操作系统的远程支援设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

机器人操作系统(Robot Operating System，ROS)是一个开源机器人中间件套件，用于机器人软件开发的软件架构，提供了为异构计算机集群设计的服务，如设备控制、消息传递、包管理等。ROS中一个节点代表一个运行的程序，每个节点有一个名称，在节点生成时向ROS主机进行注册。节点是ROS编程的核心，不同节点之间相互通信，从其他节点中接收话题信息或者将信息以话题的方式发送给其他节点。

室外巡防机器人可以对烟雾、可燃气体等进行环境监控，还可以识别人脸等，但是室外巡防机器人在遇到危急情况时，不能做到随机应变，仍需要人为介入操控。人为介入需要获取到巡防机器人当前完整的地形环境，并能够实时获取。

基于此，本申请实施例提供了一种基于机器人操作系统的远程支援方法及设备，用来辅助控制机器人，提高机器人的应急避险能力。

以下结合附图，详细说明本申请的各个实施例。

本申请实施例提供了一种基于机器人操作系统的远程支援方法，如图1所示，该方法可以包括步骤S101-S104：

S101，服务器通过第一采集节点，获取若干第一话题消息，并发布至第一话题。

在ROS系统中，使用话题通信机制，发布者将消息发布到话题上，订阅者从话题订阅消息。一对多的意思是一个话题可以有多个话题的订阅者，异步通信的意思是发布者只管发布话题而不在意有多少个订阅者，也不在意订阅者有没有成功的订阅到消息。

在本申请实施例中，服务器作为基于机器人操作系统的远程支援方法的执行主体，仅为示例性存在，并不仅限于服务器。服务器中ROS节点可以通过吉比特多媒体串行链路(Gigabit Multimedia Serial Links，GMSL)的软件开发工具包(Software DevelopmentKit，SDK)启动图像采集设备，并获取图像采集设备采集到的第一话题消息。

其中，在本申请实施例中，服务器通过第一采集节点，获取若干第一话题消息，并发布至第一话题，具体包括：

首先，服务器通过第一采集节点，生成图像采集指令。

接着，服务器将图像采集指令发送至相应的图像采集设备，并将图像采集设备采集的图像数据，作为第一话题消息，以发布第一话题消息至第一话题。其中，图像采集设备通过吉比特多媒体串行链路GMSL连接机器人操作系统。

GMSL是一种高速串行接口，主要用于信息娱乐和高级驾驶辅助系统等汽车视频应用。它还用于许多智能交通和机器人应用。GMSL接口包括串行器和解串器系列，在输入或输出端具有不同的接口，如高清多媒体接口。GMSL在发送端使用串行器将数据转换为串行流，在接收端使用解串器将串行转换为并行字进行处理。它可以以高达每秒6Gb的速度传输视频。GMSL相机接口满足对快速数据速率、高带宽、数据完整性和更好的电磁干扰、电磁兼容性的性能不断增长的需求。

S102，服务器通过第二推流节点的消息订阅请求，订阅第一话题，并确定各第一话题消息相应的若干支援事件图像。

支援事件图像指的是，巡防机器人在巡防过程中，采集的图像，例如在巡防机器人采集到A地的电线杆倒地，巡防机器人将采集该场景图像，该场景图像即为支援时间图像。再者，采集的图像为人员斗殴的图像，也为支援事件图像。

此外，对于判断图像所述的支援事件类型，本申请可以通过训练神经网络识别模型，使用该神经网络识别模型进行识别图像的支援时间类型，进而将采集图像作为支援时间图像。

在本申请实施例中，服务器通过第二推流节点的消息订阅请求，订阅第一话题，并确定各第一话题消息相应的若干支援事件图像，具体包括：

首先，服务器通过第二推流节点，确定预设话题与第一话题是否匹配。

预设话题为用户预设先设置的，用于从预设话题中获取消息，进而生成推流视频。

在确定预设话题与第一话题匹配的情况下，服务器订阅第一话题，并将第一话题的各第一话题消息与前一时刻的第一话题消息进行比对。

其中，前一时刻的第一话题消息为第二推流节点前一时刻订阅第一话题时，第一话题中的第一话题消息。

在本申请实施例中，第一话题中可能存在多个消息，消息可能在每时刻都会更新。第一话题消息为图像采集设备采集的图像数据，图像数据包括图片及视频。

服务器根据比对结果，确定更新的各第一话题消息的支援事件图像。

其中，支援事件图像为RGB图像。

在本申请实施例中，服务器根据比对结果，可以将更新的各第一话题消息输入回调函数，通过回调函数进行确定支援事件图像。

S103，服务器基于各支援事件图像，生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器，以在流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至推流播放视频的访问权限。

在本申请实施例中，用户终端可以有多个，用户终端可以是手机、电脑等网络通信设备，对于用户终端的具体类型，本申请不作具体限定。在用户终端有多个时，将涉及到访问权限，即谁可以拉流流媒体服务器中的推流播放视频，服务器可以预先生成访问权限至用户终端。例如根据用户终端的输入账号，给予不同的访问权限等。

在本申请实施例中，服务器基于各支援事件图像，生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器，具体包括：

首先，服务器通过预设多媒体处理工具，将支援事件图像的转换为YUV图像。

多媒体处理工具为FFMPEG，可以将RGB图像转换为YUV图像。

接着，服务器基于用户终端的设置参数，确定编码的B帧参数及I帧参数，以通过H.264编码器，对YUV图像进行编码。

其中，B帧参数为0，将YUV图像编码为H.264格式。

然后，服务器将编码后的YUV图像进行格式封装，并添加实时消息协议RTMP协议头部至格式封装后的YUV图像，以得到推流播放视频，并实时发送推流播放视频至相应的流媒体服务器。

其中，RTMP协议头部用于表示传输数据所使用的通信协议为RTMP。

其中，格式封装后的YUV图像为流媒体格式(FlashVideo，FLV)。在进行格式封装后，服务器将添加RTMP协议头进行网络发送至流媒体服务器。

此外，在通过网络发送推流播放视频时，还将确定呈现时间戳PTS以及解码时间戳DTS。

在本申请实施例中，服务器生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器之后，方法还包括：

服务器可以通过流媒体服务器，将推流播放视频的视频协议转换为网页实时通信(Web Real-Time Communication，WebRTC)协议。

服务器将推流播放视频的视频协议转换为WebRTC，可以使得用户本地浏览器访问到延时较小的实时视频流。

在本申请实施例中，流媒体服务器为直播点播服务器(Simple RTMP Server，SRS)。其中，SRS需要开启RTMP转WebRTC协议的功能。

S104，服务器基于用户根据推流播放视频的操作，确定用户终端的远程支援指令，以控制相应的巡防机器人。

在本申请实施例中，服务器基于用户根据推流播放视频的操作，确定用户终端的远程支援指令之后，还包括：

服务器可以获取并解析远程支援指令。

其中，远程支援指令至少包括：移动控制子指令、图像采集子指令、音频播放子指令。

接着，服务器基于远程支援指令以及相应的第三执行节点，确定巡防机器人的执行操作，并执行相应的执行操作。

执行操作包括：移动、图像采集、播放音频。

随后，服务器根据执行操作相应的推流播放视频，确定执行操作的巡防支援图像。

执行操作相应的推流播放视频指的是，巡防机器人根据用户终端发送远程支援指令，进行操作过程中，采集的推流播放视频。服务器也可以将执行所述执行操作的推流播放视频上传至视频样本库，服务器将推流播放视频与预设的推流图像样本进行匹配，从而得到是否存在推流图像样本是否存在于推流播放视频。推流图像样本例如：道路裂缝、电线杆倾倒等。

具体地，服务器根据执行操作相应的推流播放视频，确定执行操作的巡防支援图像，具体包括：

第一步，服务器根据推流播放视频的视频时长，将推流播放视频分割为N组视频帧。

其中，N为自然数，N大于一。

例如推流播放视频的时长为10分钟，服务器根据预先设置的分割规则，时长/2＝分组数，得到分组数为5，那么将推流播放视频分割为5组视频帧组成的子视频。

第二步，服务器分别确定N组视频帧中，分辨率最小的视频帧，为第一比对帧，并根据时间顺序，将第一比对帧的预设邻域时长内的视频帧，作为第一比对帧集合。以及

服务器将选择每组视频帧中的分辨率最小视频帧，预设邻域时长例如10毫秒，第一比对帧的时间点为x，那么预设领域时长组成的第一比对帧集合内，视频帧的时间点取值为[x-10毫秒，x+10毫秒]、

第三步，服务器剔除N组视频帧中，第一比对帧集合相应的视频帧。

第四步，服务器计算推流图像样本与第一比对帧集合中的各视频帧，相应的像素相似度。

其中，推流图像样本为前一时段的远程支援指令所对应的图像。

第五步，服务器在像素相似度小于预设值的情况下，确定N组视频帧中，分辨率最小的视频帧，为第二比对帧，并根据时间顺序，将第一比对帧的预设邻域时长内的视频帧，作为第二比对帧集合，以确定推流图像样本与第二比对帧集合中的各视频帧，相应的像素相似度，直至像素相似度大于或等于预设值，得到相应的相似视频帧或推流播放视频的各视频帧相应的像素相似度均小于预设值。

其中，相似视频帧为第M比对帧集合中，像素相似度大于或等于预设值。M为自然数。

在服务器找到某一比对帧集合中存在满足像素相似度大于或等于预设值，或者遍历完所有视频帧后，停止上述匹配步骤。预设值可以在实际使用过程中进行设定，本申请对此不作具体限定。像素相似度可以通过计算余弦相似度。

第六步，在得到相似视频帧的情况下，服务器将相似视频帧作为执行操作的巡防支援图像。

随后，服务器将巡防支援图像及推流播放视频发送至相应的流媒体服务器，以根据用户终端的反馈信息，确定巡防支援图像与推流播放视频的匹配度。

随后，服务器在匹配度大于预设阈值的情况下，通过第四特征提取节点，获取巡防支援图像的支援图像特征矩阵。

其中，第四特征提取节点设置有图像特征提取模型。

图像特征提取模型可以采用SIFT、HOG等特征提取算法，本申请对于图像特征提取模型所采用算法，不作具体限定。

然后，服务器基于支援图像特征矩阵以及支援事件图像，确定支援事件图像的特征矩阵与支援图像特征矩阵是否匹配。

最后，在确定支援事件图像的特征矩阵与支援图像特征矩阵匹配的情况下，服务器确定并执行支援图像特征矩阵相应的执行操作。

本申请通过上述方案，可以得到准确的支援事件图像，从而在巡防机器人需要进行辅助驾驶时，使用户对巡防机器人进行准确、实时的辅助驾驶。本申请可以在机器人无法做出自主判断动作时，进行辅助控制机器人，提高机器人的应急避险能力。同时，能够将机器人所处的环境视频，实时且清晰提供给辅助驾驶的用户。

在本申请实施例中，一种基于机器人操作系统的远程支援方法的流程示意图，如图2所示，实现从机器人所连接的图像采集设备直至用户终端，进行远程支援相应的视频的推拉流。

S201，ROS一节点启动GMSL图像采集设备，并发布图像采集设备的采集数据的话题；

S202，ROS另一节点订阅采集数据的话题，进入回调函数进行处理；

S203，通过FFMPEG对采集数据进行处理，将RGB数据转为YUV420P数据，进行H.264编码，设置B帧、I帧以及压缩视频数据大小等参数；

S204，将输出YUV数据进行FLV格式封装；

S205，计算PTS、DTS等时间戳，保证视频播放的正常速度，发送RTMP协议视频流至SRS服务器；

S206，在云端部署SRS流媒体服务器，启动SRS的RTMP转WebRTC功能，将推送的视频流转为WebRTC协议；

S207，用户终端的本地浏览器访问延时较小的WebRTC协议的视频流。

图3为本申请实施例提供的一种基于机器人操作系统的远程支援设备，该设备包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

通过第一采集节点，获取若干第一话题消息，并发布至第一话题。通过第二推流节点的消息订阅请求，订阅第一话题，并确定各第一话题消息相应的若干支援事件图像。基于各支援事件图像，生成推流播放视频，并实时发送推流播放视频至相应的流媒体服务器，以在流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至推流播放视频的访问权限。基于用户根据推流播放视频的操作，确定用户终端的远程支援指令，以控制相应的巡防机器人。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备与方法是一一对应的，因此，设备也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备的有益技术效果。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于机器人操作系统的远程支援方法，其特征在于，所述方法包括：

通过第一采集节点，获取若干第一话题消息，并发布至第一话题；

通过第二推流节点的消息订阅请求，订阅所述第一话题，并确定各所述第一话题消息相应的若干支援事件图像；

基于各所述支援事件图像，生成推流播放视频，并实时发送所述推流播放视频至相应的流媒体服务器，以在所述流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至所述推流播放视频的访问权限；

基于用户根据所述推流播放视频的操作，确定所述用户终端的远程支援指令，以控制相应的巡防机器人。

2.根据权利要求1所述方法，其特征在于，所述通过第一采集节点，获取若干第一话题消息，并发布至第一话题，具体包括：

通过所述第一采集节点，生成图像采集指令；

将所述图像采集指令发送至相应的图像采集设备，并将所述图像采集设备采集的图像数据，作为所述第一话题消息，以发布所述第一话题消息至所述第一话题；其中，所述图像采集设备通过吉比特多媒体串行链路GMSL连接机器人操作系统。

3.根据权利要求1所述方法，其特征在于，所述通过第二推流节点的消息订阅请求，订阅所述第一话题，并确定各所述第一话题消息相应的若干支援事件图像，具体包括：

通过所述第二推流节点，确定预设话题与所述第一话题是否匹配；

若匹配，订阅所述第一话题，并将所述第一话题的各所述第一话题消息与前一时刻的第一话题消息进行比对；其中，所述前一时刻的所述第一话题消息为所述第二推流节点前一时刻订阅所述第一话题时，所述第一话题中的第一话题消息；

根据比对结果，确定更新的各所述第一话题消息的支援事件图像；所述支援事件图像为RGB图像。

4.根据权利要求1所述方法，其特征在于，所述基于各所述支援事件图像，生成推流播放视频，并实时发送所述推流播放视频至相应的流媒体服务器，具体包括：

通过预设多媒体处理工具，将所述支援事件图像的转换为YUV图像；

基于所述用户终端的设置参数，确定编码的B帧参数及I帧参数，以通过H.264编码器，对所述YUV图像进行编码；

将编码后的所述YUV图像进行格式封装，并添加实时消息协议RTMP协议头部至格式封装后的所述YUV图像，以得到所述推流播放视频，并实时发送所述推流播放视频至相应的所述流媒体服务器；其中，所述RTMP协议头部用于表示传输数据所使用的通信协议为RTMP。

5.根据权利要求1所述方法，其特征在于，所述基于所述支援事件图像，生成推流播放视频，并实时发送所述推流播放视频至相应的流媒体服务器之后，所述方法还包括：

通过所述流媒体服务器，将所述推流播放视频的视频协议转换为网页实时通信WebRTC协议。

6.根据权利要求4所述方法，其特征在于，所述格式封装后的所述YUV图像为流媒体格式FLV。

7.根据权利要求1所述方法，其特征在于，所述流媒体服务器为直播点播服务器SRS。

8.根据权利要求1所述方法，其特征在于，所述基于用户根据所述推流播放视频的操作，确定所述用户终端的远程支援指令之后，所述方法还包括：

解析所述远程支援指令；其中，所述远程支援指令至少包括：移动控制子指令、图像采集子指令、音频播放子指令；

基于所述远程支援指令以及相应的第三执行节点，确定所述巡防机器人的执行操作，并执行相应的所述执行操作；所述执行操作包括：移动、图像采集、播放音频；

根据所述执行操作相应的所述推流播放视频，确定所述执行操作的巡防支援图像；

将所述巡防支援图像及所述推流播放视频发送至相应的所述流媒体服务器，以根据所述用户终端的反馈信息，确定所述巡防支援图像与所述推流播放视频的匹配度；

在所述匹配度大于预设阈值的情况下，通过第四特征提取节点，获取所述巡防支援图像的支援图像特征矩阵；其中，所述第四特征提取节点设置有图像特征提取模型；

基于所述支援图像特征矩阵以及所述支援事件图像，确定所述支援事件图像的特征矩阵与所述支援图像特征矩阵是否匹配；

若匹配，确定并执行所述支援图像特征矩阵相应的所述执行操作。

9.根据权利要求8所述方法，其特征在于，所述根据所述执行操作相应的所述推流播放视频，确定所述执行操作的巡防支援图像，具体包括：

根据所述推流播放视频的视频时长，将所述推流播放视频分割为N组视频帧；其中，所述N为自然数，所述N大于一；

分别确定所述N组视频帧中，分辨率最小的视频帧，为第一比对帧，并根据时间顺序，将所述第一比对帧的预设邻域时长内的视频帧，作为第一比对帧集合；以及

剔除所述N组视频帧中，所述第一比对帧集合相应的视频帧；

计算推流图像样本与所述第一比对帧集合中的各视频帧，相应的像素相似度；其中，所述推流图像样本为前一时段的远程支援指令所对应的图像；

在所述像素相似度小于预设值的情况下，确定所述N组视频帧中，分辨率最小的视频帧，为第二比对帧，并根据时间顺序，将所述第一比对帧的预设邻域时长内的视频帧，作为第二比对帧集合，以确定所述推流图像样本与所述第二比对帧集合中的各视频帧，相应的像素相似度，直至所述像素相似度大于或等于所述预设值，得到相应的相似视频帧或所述推流播放视频的各视频帧相应的所述像素相似度均小于所述预设值；其中，所述相似视频帧为第M比对帧集合中，所述像素相似度大于或等于所述预设值；所述M为自然数；

在得到所述相似视频帧的情况下，将所述相似视频帧作为所述执行操作的所述巡防支援图像。

10.一种基于机器人操作系统的远程支援设备，其特征在于，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

通过第一采集节点，获取若干第一话题消息，并发布至第一话题；

通过第二推流节点的消息订阅请求，订阅所述第一话题，并确定各所述第一话题消息相应的若干支援事件图像；

基于各所述支援事件图像，生成推流播放视频，并实时发送所述推流播放视频至相应的流媒体服务器，以在所述流媒体服务器接收到用户终端的视频拉流指令或根据预设主动推流指令，建立相应的用户终端至所述推流播放视频的访问权限；

基于用户根据所述推流播放视频的操作，确定所述用户终端的远程支援指令，以控制相应的巡防机器人。

Images