CN116442218A - 一种遥操作跟踪方法、装置、设备、系统及存储介质 - Google Patents

Abstract

本申请实施例属于遥操作技术领域，涉及一种遥操作跟踪方法，包括：在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪；基于操作者当前运动数据，映射得到的机器人的当前目标姿态；基于当前目标姿态生成运动预测指令，以指示机器人以预测轨迹运动到当前目标姿态；生成预测轨迹的特定可视化信息。本申请还提供一种遥操作跟踪装置、设备、系统及存储介质。本申请可以帮助操作者更好地了解延时过程中机器人的运动情况。

Description

一种遥操作跟踪方法、装置、设备、系统及存储介质

技术领域

本申请涉及遥操作技术领域，尤其涉及一种遥操作跟踪方法、装置、设备、系统及存储介质。

背景技术

随着科技的发展，机器人应用领域越发广泛，在一些复杂和危险环境中，需要机器人灵活性更高，具有更高的仿人工作的能力，为此，遥操作机器人应运而生。遥操作机器人是通过在操作人员身上安装姿态传感器，比如，惯性传感器(Inertial Measurement UnitIMU)，操作人员在另一真实或者虚拟场景下进行目标任务操作，通过IMU捕捉操作人员在操作过程中的动作并采集相应的运动反馈数据发送给控制器，控制器根据反馈数据生成相应的运动控制指令等，以控制从端机器人，从而实现遥操作的目的。

目前，在遥操作过程中，在机器人跟踪操作人员运动的过程中，往往会出现延迟的情况，一旦出现延迟，操作者对延迟过程中发生的情况无法了解，从而可能造成后续遥操作的失控。

发明内容

本申请实施例的目的在于提出一种遥操作跟踪方法、装置、设备、系统及存储介质，以帮助操作者更好地了解延时过程中机器人的运动情况。

第一方面，本申请实施例提供一种遥操作跟踪方法，采用了如下所述的技术方案：

一种遥操作跟踪方法，包括下述步骤：

在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪；

基于操作者当前姿态，映射得到的机器人的当前目标姿态；

基于所述当前目标姿态生成运动预测指令，以指示机器人以预测轨迹运动到所述当前目标姿态；

生成所述预测轨迹的特定可视化信息；所述特定可视化信息是指与其它可视化信息相区别的可视化信息。

进一步的，所述生成所述预测轨迹的特定可视化信息包括下述步骤：

获取机器人执行所述运动预测指令下的多个运动姿态；

将每个所述运动姿态转换到显示器所显示的图像下的显示坐标；

基于所述显示坐标，生成所述特定可视化信息。

进一步的，所述基于所述显示坐标，生成所述特定可视化信息包括下述步骤：

基于所述机器人关节的显示坐标，生成所述特定可视化信息；或

用特定可视化连接符连接相邻两个所述机器人关节的显示坐标；

基于所述机器人关节的显示坐标和所述连接符，生成所述特定可视化信息。

进一步的，所述方法还包括下述步骤：

获取所述机器人的原遥操作跟踪过程中的遥操作轨迹；

生成所述遥操作轨迹的可视化信息。

进一步的，所述在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪之前，还包括下述步骤：

获取机器人的目标姿态和对应的第一时间戳；

获取机器人的姿态及对应的第二时间戳；

判断所述机器人的姿态与所述目标姿态是否相同；若不相同，重复执行所述获取机器人的姿态及对应的第二时间戳的步骤；

若相同，获取所述机器人的姿态与所述目标姿态相同时对应的所述第二时间戳；

基于所述第一时间戳和所述第二时间戳之间的时间差，判断机器人跟踪是否发生延迟。

进一步的，所述基于所述多个运动姿态生成可视化信息之后，还包括下述步骤：

将所述可视化信息发送给显示器，以通过显示器对所述可视化信息进行显示；和/或

所述基于当前目标姿态生成运动预测指令之后，还包括：

继续所述机器人的原遥操作跟踪。

进一步的，所述基于操作者当前姿态，映射得到的机器人的当前目标姿态包括下述步骤：

获取通过姿态传感器采集并发送的操作者的关键部位的在当前姿态下的当前运动数据；

将所述当前运动数据转换为机器人的所述当前目标姿态；或

获取通过图像传感器采集的当前操作者图像；

基于所述操作者图像识别操作者的当前姿态；

将所述当前姿态转换为机器人的所述当前目标姿态。

进一步的，所述基于当前目标姿态生成运动预测指令包括下述步骤：

基于所述当前目标姿态进行轨迹规划，以生成所述运动预测指令；或

获取预设模型；

基于所述当前目标姿态，结合所述预设模型进行轨迹规划，以生成所述运动预测指令；或

获取预设的运动预测模型；

基于所述当前目标姿态，通过所述运动预测模型，输出得到所述运动预测指令。

第二方面，本申请实施例提供一种遥操作跟踪装置，所述装置包括：延迟跟踪模块；所述延迟跟踪模块包括：

跟踪中断子模块，用于在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪；

姿态映射子模块，用于基于操作者当前姿态，映射得到的机器人的当前目标姿态；

指令生成子模块，用于基于当前目标姿态生成运动预测指令，以指示机器人以预测轨迹运动到所述当前目标姿态；

信息可视子模块，用于生成所述预测轨迹的特定可视化信息；所述特定可视化信息是指与其它可视化信息相区别的可视化信息。

第三方面，本申请实施例提供一种遥操作系统，所述系统包括：姿态传感器、机器人、显示器和控制器；

所述姿态传感器、机器人和显示器分别与所述控制器通信连接；

所述姿态传感器，用于采集操作者的运动数据，并将所述运动数据发送给所述控制器；

所述控制器，用于基于所述运动数据生成运动指令，以指示所述机器人进行原操作跟踪；在判断所述机器人跟踪发生延迟时，中断所述机器人的所述原遥操作跟踪；基于操作者当前姿态，映射得到的所述机器人的当前目标姿态；基于所述当前目标姿态生成运动预测指令，以指示所述机器人以预测轨迹运动到所述当前目标姿态；生成所述预测轨迹的特定可视化信息；所述特定可视化信息是指与其它可视化信息相区别的可视化信息；

所述显示器，用于显示所述特定可视化信息。

第四方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上面任一项所述的遥操作跟踪方法的步骤。

第五方面，本申请实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任一项所述的遥操作跟踪方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请实施例通过对机器人在延时情况下，自主生成预测轨迹，并对预测轨迹生成特定的可视化信息，可以帮助操作者更直观了解延时情况下机器人的运动情况，从而帮助操作者更好地完成对机器人的遥操作控制。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请的显示器显示的包括特定可视化信息画面的一个实施例的示意图；

图3是本申请的遥操作跟踪方法的一个实施例的流程示意图；

图4是本申请的遥操作跟踪装置的一个实施例的结构示意图；

图5是本申请的计算机设备的一个实施例的基本结构框图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，图1是本申请可以应用于其中的示例性系统架构图。

本申请实施例提供一种遥操作系统100，该系统包括：姿态传感器110、机器人120、显示器130和控制器140。

姿态传感器110、机器人120和显示器130分别与控制器140通过有线或者无线的方式通信连接。

需要指出的是，上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

姿态传感器110，用于采集操作者的运动数据。

上述姿态传感器110可以为可采集操作者运动数据的各种现在已有或将来开发的姿态传感器，比如：IMU110(如图1所示)、图像传感器(省略附图)等等。为方便理解，本申请实施例主要以姿态传感器110为IMU110为例进行详细说明。

具体地，上述运动数据根据姿态传感器的不同而不同，比如：当传感器为IMU时，IMU是惯性测量单元，用于测量目标物相关的运动数据，包括：三维加速度和三维旋转角度；又比如：当姿态传感器为图像传感器时，则运动数据可以为包括操作者或者操作者关键部位的图像数据，后续控制器基于该图像数据进行分析、处理等，可以映射得到机器人的姿态信息等等。

具体地，姿态传感器110可以直接固定于操作者的关节等预设位置，或者通过可穿戴设备固定于操作者的预设位置，比如：姿态传感器预先固定于手臂外骨骼，将手臂外骨骼穿戴在操作者的手臂，从而将姿态传感器固定于操作者的手臂。

示例性的，IMU110按照预设频率连续采集操作人员200在真实或者虚拟环境下执行目标任务过程中的运动数据，并将该运动数据发送给控制器140。

机器人120，用于基于控制器140发送的运动指令的指示执行遥操作跟踪，以及在延时情况下，基于控制器140发送的运动预测指令的指示以预测轨迹进行运动。

上述机器人120，可以是指人形机器人、机械手等等。可以是指整个机器人，也可以是指基于遥操作控制的机器人的某个部分，比如：机器人的上半身或者机器人的手爪部分等等。以机器人120为机械手120为例，则下面实施例所述的机器人末端，可以是指机械手的末端关节的输出端，比如：6轴机械手的第六关节输出端的法兰盘的中心。

显示器130，用于对控制器140发送的特定可视化信息进行显示。

在一个实施例中，显示器除可以对预测轨迹的可视化信息进行显示外，还可以对机器人的跟踪轨迹的可视化信息进行显示。

具体地，显示器可以但不限于是：显示屏，或者AR/VR虚拟显示设备。

在一个实施例中，本申请实施例还可以包括从端传感器150。

从端传感器150，用于采集从端机器人120相关的图像、关节运动、力等各种反馈数据。

进一步，在一个实施例中，从端传感器150与控制器140通信连接，以将从端传感器150采集的反馈数据发送给控制器140，并基于控制器140将反馈数据或者反馈数据处理后的数据发送给显示器130显示。

控制器140，用于执行本申请实施例所述的遥操作跟踪方法等等。

在一个实施例中，控制器基于姿态传感器采集的运动数据生成运动指令，以指示机器人进行原遥操作跟踪；在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪；基于操作者当前姿态，映射得到的机器人的当前目标姿态；基于当前目标姿态生成运动预测指令，以指示机器人以预测轨迹运动到当前目标姿态；生成预测轨迹的特定可视化信息。

具体地，本申请实施例提供的遥操作跟踪方法可以应用于计算机终端(PersonalComputer，PC)；工业控制计算机终端(Industrial Personal Computer，IPC)；移动终端；服务器；包括终端和服务器的系统，并通过终端和服务器的交互实现；可编程逻辑控制器(Programmable Logic Controller，PLC)；现场可编程门阵列(Field-Programmable GateArray，FPGA)；数字信号处理器(Digital SignalProcesser，DSP)或微控制单元(Microcontroller unit，MCU)等类似的控制器中执行。控制器根据预先固定的程序，结合外部的姿态传感器110等采集的数据等生成程序指令。有关控制器的具体限定可以参见下面实施例中遥操作跟踪方法的限定。

具体的，可以应用于如图5所示的计算机设备中，该计算机设备可以是终端,也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)，以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音响、智能手表等，但并不局限于此。终端以及服务器可以通过有线或者无线通信方式进行直接或间接地连接，本申请在此不做限定。

需要说明的是，本申请实施例所提供的遥操作跟踪方法一般由控制器140执行，相应地，用于遥操作跟踪的装置一般设置于控制器140中。

如图3所示，图3是本申请的遥操作跟踪方法的一个实施例的流程示意图。

在一个实施例中，遥操作跟踪方法，可以包括以下步骤：

步骤210在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪。

如图4所示，图4为本申请的遥操作跟踪的装置的一个实施例的结构示意图。在本申请实施例中，一方面，控制器140的遥操作跟踪模块310，用于生成运动指令，以指示机器人进行原遥操作跟踪；另一方面，控制器140的辅助跟踪模块320，在机器人执行原遥操作跟踪过程中，用于在判断机器人跟踪发生延迟时，向遥操作跟踪模块310发送中断指令，以中断机器人的原遥操作跟踪。

在一个实施例中，上述机器人的遥操作跟踪方法包括以下方法步骤：

步骤250基于获取的通过姿态传感器采集的操作者的运动数据，生成运动指令，以指示机器人进行原遥操作跟踪。

在一个实施例中，控制器的遥操作跟踪模块310按照预设地址从存储器或者服务器获通过姿态传感器采集的操作者的运动数据，将该运动数据映射为机器人的关节运动信息，基于此运动信息生成运动指令，以指示机器人进行原遥操作轨迹跟踪。

步骤220基于操作者当前姿态映射得到机器人的当前目标姿态。

在一个实施例中，步骤220具体可以包括以下方法步骤：

步骤221获取通过姿态传感器采集并发送的操作者的关键部位的在当前姿态下的当前运动数据。

步骤223将当前运动数据转换为机器人的当前目标姿态。

进一步，在一个实施例中，控制器基于IMU采集并发送的操作者的关键部位(比如：手腕)的在当前姿态下的当前IMU数据，基于滤波、坐标系转换等映射步骤后，转换为机器人关节(比如：机械手末端)的当前姿态，以该当前姿态作为机器人的目标姿态。

在一个实施例中，步骤220具体可以包括以下方法步骤：

步骤222获取通过图像传感器采集的当前操作者图像。

步骤224基于操作者图像识别操作者的当前姿态。

步骤226将当前姿态转换为机器人的当前目标姿态。

进一步，在一个实施例中，控制器基于图像传感器采集的操作者图像，基于图像识别操作者的当前姿态，再基于坐标系转化后，将当前姿态转换为机器人关节的目标姿态。

示例性的，控制器基于图像传感器采集并发送的操作者图像，识别操作者图像中的操作者的手腕部位的当前姿态，基于该图像传感器和机器人之间预设的标定关系，则将该手腕的当前姿态转换为机器人末端的当前目标姿态。

步骤230基于当前目标姿态生成运动预测指令，以指示机器人以预测轨迹运动到当前目标姿态。

在一个实施例中，控制器可以基于轨迹规划的方法或者人工智能的方法自主生成运动预测指令，以指示机器人以预测轨迹运动到当前目标姿态，后面实施例会有进一步详细说明。

本申请实施例在遥操作跟踪发生延迟的情况下，中断遥操作跟踪，而指示机器人按照自主生成的预测轨迹辅助遥操作跟踪，从而帮助提高遥操作跟踪的速度，使整个遥操作跟踪过程更加连贯、反应更加灵敏；另外，还可以减少网络延迟带来的影响，从而改善机器人操作的稳定性。

在一个实施例中，步骤230之后，还可以包括以下方法步骤：

步骤260继续机器人的原遥操作跟踪。

如图4所示，在本申请实施例中，在机器人执行完运动预测指令后，控制器140的辅助跟踪模块320再次向控制器140的遥操作跟踪模块310发送启动指令，遥操作跟踪模块310响应于启动指令，继续执行原遥操作跟踪的方法步骤，直到再次收到辅助跟踪模块320发送的中断指令。

步骤240生成预测轨迹的特定可视化信息。

其中，特定可视化信息是指与其它可视化信息相区别的可视化信息。比如：显示器还可以显示执行器非延迟状态下的非延迟可视化信息，则预测轨迹的特定可视化信息需与非延迟可视化信息相区别。

在一个实施例中，控制器将步骤220生成的运动预测指令发送给机器人，以指示机器人基于运动预测指令执行预测运动轨迹，该预测运动轨迹是由依序的多组姿态信息组成，控制器获取执行该预测轨迹下的每组运动姿态下的姿态信息，并将每组姿态信息都用可视化信息表示出来，从而在显示画面可以形成机器人执行预测轨迹的运动重影。

如图2所示，图2是本申请的显示器显示的包括特定可视化信息画面的一个实施例的示意图。示例性的，可是使得延迟状态下的可视化信息用虚线或空心点标识M；而非延迟可视化信息可以用实线或者实心点标识M’从而在显示画面可以形成机器人执行预测轨迹M的运动重影。

本申请实施例通过对延时情况下执行的预测运动估计生成特定可视化信息，可以帮助操作者更直观理解延时情况下机器人的运动情况，从而为更好地实现整个遥操作跟踪提供依据。

在一个可选的实施例中，步骤240生成预测轨迹的特定可视化信息之后，还可以包括以下步骤：

步骤260将特定可视化信息发送给显示器，以通过显示器对特定可视化信息进行显示。

本申请实施例通过将特定可视化信息发送给显示器，显示器可以对特定可视化信息进行显示。

在一个可选的实施例中，步骤240生成预测轨迹的特定可视化信息具体可以包括以下方法步骤：

步骤241获取机器人执行运动预测指令下的多个运动姿态。

步骤242将每个运动姿态转换到显示器所显示的图像下的显示坐标。

步骤243基于显示坐标，生成特定可视化信息。

在一个实施例中，控制器可以基于操作者的遥控操作映射得到机器人预设位置(比如：机器人末端)的姿态，基于坐标系转换关系等，可以将机器人末端的姿态转换到显示器显示图像下对应的显示坐标；并对该显示坐标所在位置处赋予特定的可视化标记信息。

进一步，在一个实施例中，步骤243基于显示坐标，生成特定可视化信息可以包括如下方法步骤：

步骤2431基于机器人关节的显示坐标，生成特定可视化信息。

本申请实施例通过将每个运动姿态转换到显示器所显示的图像下的显示坐标，基于显示坐标，生成特定可视化信息，从而有利于更准确的对机器人的预测运动轨迹实现特性的可视化。

如图2所示，在一个实施例中，控制器可以基于操作者的遥控操作映射得到机器人关节的姿态，基于坐标系转换关系等，可以将机器人关节的姿态转换到显示器显示图像下对应的显示坐标；并用特定可视化连接符连接相邻两个关节的显示坐标；并对该显示坐标所在位置处和连接符赋予特定的可视化标记信息。

进一步的，在一个实施例中，步骤243可以包括如下方法步骤：

步骤2432用特定可视化连接符连接相邻两个机器人关节的显示坐标.

步骤2434基于机器人关节的显示坐标和连接符，生成特定可视化信息。

本申请实施例基于预设的可视化映射模型可视化映射模型，可以将机器人关节的姿态可以转换得到显示器下对应的显示坐标；并用特定可视化连接符连接相邻两个关节的显示坐标，从而有利于更准确的对机器人的预测运动轨迹实现特定的可视化。

在一个可选的实施例中，本申请实施例所述的遥操作跟踪方法还可以包括下述步骤：

步骤270获取机器人的原遥操作跟踪过程中的遥操作轨迹。

步骤280生成遥操作轨迹的可视化信息。

本申请实施例中，除了在显示器中显示预测轨迹的可视化信息外，还可以显示遥操作轨迹的可视化信息。

进一步，在一个可选的实施例中，步骤280之后，还包括下述步骤：

将遥操作轨迹的可视化信息发送给显示器，以通过显示器对遥操作轨迹的可视化信息进行显示。

本申请实施例通过将在同一显示器中对遥操作轨迹和预测轨迹进行对比显示，可以给参考人员更全面的可视化信息参考，从而有助于操作人员后续更好地进行其他控制操作。

在一个可选的实施例中，步骤210在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪之前，还可以包括以下步骤：

步骤290判断机器人跟踪是否发生延迟。

具体地，控制器可以基于各种现在已有或将来开发的方法步骤判断机器人是否发生延迟。

在一个实施例中，步骤290判断机器人跟踪是否发生延迟具体可以包括以下方法步骤：

步骤291获取基于操作者的姿态映射得到的机器人目标姿态和对应的第一时间戳。

示例性的，以机器人为机械手为例，人-机械手运动映射模块可以根据图像传感器采集并发送的图像获取人体关节信息，并绘制人体骨架；使用任意的机械手作为遥操作控制的对象，将人手臂末端的位姿以及人手臂各个关节旋转角度分别映射到机械手末端及机械手各个关节，两者的映射组合到一起，最终得到机械手的目标姿态。

步骤292获取机器人的姿态及对应的第二时间戳。

在一个实施例中，控制器按照预设存储地址从存储器或者服务器获取机器人的姿态。

具体地，上述“机器人的姿态”可以是指机器人末端的姿态、机器人各个关键部位(比如：关节)的姿态，或者以预设的机器人坐标系原点位置代表的整个机器人的姿态等等。

在一个实施例中，步骤292之前可以包括如下方法步骤：

在一个实施例中，控制器可以基于图像传感器采集的图像识别机器人的姿态(比如：机器人各个关节的姿态)；或者基于编码器采集的机器人关节的运动量，基于运动学方程求取机器人末端的姿态。

步骤293判断机器人的姿态与目标姿态是否相同；若不相同，重复执行上述步骤292获取机器人的姿态及对应的第二时间戳的步骤。

在一个实施例中，控制器将某个第一时刻下获取的目标姿态逐个与第一时刻后基于步骤292逐个依序获取的机器人的姿态进行比较，直到得到与目标姿态相同的机器人的姿态(比如：当二者姿态之间的偏差小于预设阈值时，视为姿态相同)。

步骤294若相同，获取机器人的姿态与目标姿态相同时对应的第二时间戳。

步骤295基于第一时间戳和第二时间戳之间的时间差，判断机器人跟踪是否发生延迟。

示例性的，可以设定第一时间戳和第二时间戳之间的时间差大于等于某个预设阈值(比如：10mm时)，视为机器人跟踪发生延迟。

本申请实施例，可以对延迟达到一定预设要求的情况，才进行轨迹预测，这样，可以减少不必要的轨迹预测，使得轨迹预测更加具有针对性和具有更好的效果。

在一个可选的实施例中，上述步骤230中基于当前目标姿态生成运动预测指令具体可以包括以下步骤：

步骤231基于当前目标姿态进行轨迹规划，以生成运动预测指令。

在一个实施例中，控制器获取机器人的当前目标姿态，以当前目标姿态为目标，进行轨迹规划，并生成运动预测指令。

示例性的，以机器人为机械手为例，基于运动学方程可以计算得到机械手末端的当前姿态，再以当前目标姿态为目标，进行规划轨迹，以生成机器人各个关节连续的位移/角位移、速度/角速度、加速度/角加速度等等运动预测指令，从而通过运动预测指令指示机械手按照预测轨迹进行运动。

在另一个可选的实施例中，上述步骤230中基于当前目标姿态生成运动预测指令具体可以包括以下步骤：

步骤232获取预设模型；

步骤233基于当前目标姿态，结合预设模型进行轨迹规划，以生成运动预测指令。

具体地，上述模型可以是预先构建的遥操作环境下的模拟场景，基于模拟场景可以得到场景中的障碍物，从而为轨迹规划的预测提供参考，从而使遥操作的安全性更高。

本申请实施例结合预设模型进行轨迹规划预测，可以预先分析可能出现的环境中的障碍，从而使遥操作的安全性更高。

在一个可选的实施例中，上述步骤230中基于当前目标姿态生成运动预测指令，具体可以包括以下步骤：

步骤234获取预设的运动预测模型；

步骤235基于当前目标姿态，通过运动预测模型，输出得到运动预测指令。

本申请实施例基于人工智能的方式，基于输入的机器人的当前目标姿态和当前姿态，可以直接输出得到上述运动预测指令，从而可以提高各种情况下轨迹预测的泛化性和鲁棒性。

需要说明的是，本申请实施例所述的运动预测模型可以包含任意一种能够实现上述功能的以神经元组成的网络，比如：Feed-Forward Networks,RNN,LSTM，Transformer,GNN,GAN,AE,MLP，卷积神经网络(CNN)，常见的CNN模型可以包括但不限于：LeNet，AlexNet，ZFNet，VGG，GoogLeNet，Residual Net，DenseNet，R-CNN，SPP-NET，Fast-RCNN，Faster-RCNN，FCN，Mask-RCNN，YOLO，SSD，GCN以及其它现在已知或将来开发的网络模型结构。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图4，作为对上述图3所示方法的实现，本申请提供了一种遥操作跟踪装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可以应用于各种控制器中。

如图4所示，本实施例的遥操作跟踪装置300包括：延迟跟踪模块320；延迟跟踪模块320包括：

跟踪中断子模块321，用于在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪；

姿态映射子模块322，用于基于操作者当前姿态，映射得到的机器人的当前目标姿态；

指令生成子模块323，用于基于当前目标姿态生成运动预测指令，以指示机器人以预测轨迹运动到当前目标姿态；

信息可视子模块324，用于生成预测轨迹的特定可视化信息；特定可视化信息是指与其它可视化信息相区别的可视化信息。

在一个实施例中，遥操作跟踪装置300还包括：遥操作跟踪子模块310。

遥操作跟踪子模块310，用于生成运动指令，以指示机器人进行原遥操作跟踪。

在一个可选的实施例中，可视化子模块324包括：

姿态获取单元，用于获取机器人执行运动预测指令下的多个运动姿态；

图像转换单元，用于将每个运动姿态转换到显示器所显示的图像下的显示坐标；

可视生成单元，用于基于显示坐标，生成特定可视化信息。

进一步，在一个可选的实施例中，可视生成单元包括：

第一生成子单元，用于基于机器人关节的显示坐标，生成特定可视化信息。

或

连接生成子单元，用于用特定可视化连接符连接相邻两个所述机器人关节的显示坐标；

第二生成子单元，用于基于机器人关节的显示坐标和连接符，生成特定可视化信息。

在一个可选的实施例中，遥操作跟踪装置300还包括：

轨迹获取子模块，用于获取机器人的原遥操作跟踪过程中的遥操作轨迹；

可视生成子模块，用于生成遥操作轨迹的可视化信息。

在一个可选的实施例中，遥操作跟踪装置300还包括：姿态判断子模块。

进一步，在一个可选的实施例中，姿态判断子模块包括：

第一获取单元，用于获取机器人的目标姿态和对应的第一时间戳；

第二获取单元，用于获取机器人的姿态及对应的第二时间戳；

姿态判断单元，用于判断机器人的姿态与目标姿态是否相同；若不相同，重复执行获取机器人的姿态及对应的第二时间戳的步骤；

第三获取单元，用于若相同，获取机器人的姿态与目标姿态相同时对应的第二时间戳；

延迟判断单元，用于基于第一时间戳和第二时间戳之间的时间差，判断机器人跟踪是否发生延迟。

在一个可选的实施例中，遥操作跟踪装置300还包括：

图像发送子模块，用于将可视化信息发送给显示器，以通过显示器对可视化信息进行显示；和/或

跟踪继续子模块，用于继续机器人的原遥操作跟踪。

在一个可选的实施例中，姿态映射子模块322包括：

当前获取单元，用于获取通过姿态传感器采集并发送的操作者的关键部位的在当前姿态下的当前运动数据；

当前转换单元，用于将当前运动数据转换为机器人的当前目标姿态。

在另一个可选的实施例中，姿态映射子模块322包括：

图像获取单元，用于获取通过图像传感器采集的当前操作者图像；

姿态识别单元，用于基于操作者图像识别操作者的当前姿态；

姿态转换单元，用于将当前姿态转换为机器人的当前目标姿态。

在一个可选的实施例中，指令生成子模块323包括：

第一生成单元，用于基于当前目标姿态进行轨迹规划，以生成运动预测指令。

在另一个可选的实施例中，指令生成子模块323包括：

第一获取单元，用于获取预设模型；

第二生成单元，用于基于当前目标姿态，结合预设模型进行轨迹规划，以生成运动预测指令。

在另一个可选的实施例中，指令生成子模块323包括：

第二获取单元，用于获取预设的运动预测模型；

结果输出单元，用于基于当前目标姿态，通过运动预测模型，输出得到运动预测指令。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本申请计算机设备的一个实施例的基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如遥操作跟踪方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述遥操作跟踪方法的程序代码。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有遥操作的跟踪程序，所述遥操作的跟踪程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的遥操作跟踪方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (12)

1.一种遥操作跟踪方法，其特征在于，包括下述步骤：

在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪；

基于操作者当前姿态，映射得到的机器人的当前目标姿态；

基于所述当前目标姿态生成运动预测指令，以指示机器人以预测轨迹运动到所述当前目标姿态；

生成所述预测轨迹的特定可视化信息；所述特定可视化信息是指与其它可视化信息相区别的可视化信息。

2.根据权利要求1所述的遥操作跟踪方法，其特征在于，所述生成所述预测轨迹的特定可视化信息包括下述步骤：

获取机器人执行所述运动预测指令下的多个运动姿态；

将每个所述运动姿态转换到显示器所显示的图像下的显示坐标；

基于所述显示坐标，生成所述特定可视化信息。

3.根据权利要求2所述的遥操作跟踪方法，其特征在于，所述基于所述显示坐标，生成所述特定可视化信息包括下述步骤：

基于所述机器人关节的显示坐标，生成所述特定可视化信息；或

用特定可视化连接符连接相邻两个所述机器人关节的显示坐标；

基于所述机器人关节的显示坐标和所述连接符，生成所述特定可视化信息。

4.根据权利要求1或2所述的遥操作跟踪方法，其特征在于，所述方法还包括下述步骤：

获取所述机器人的原遥操作跟踪过程中的遥操作轨迹；

生成所述遥操作轨迹的可视化信息。

5.根据权利要求1或2所述的遥操作跟踪方法，其特征在于，所述在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪之前，还包括下述步骤：

获取机器人的目标姿态和对应的第一时间戳；

获取机器人的姿态及对应的第二时间戳；

判断所述机器人的姿态与所述目标姿态是否相同；若不相同，重复执行所述获取机器人的姿态及对应的第二时间戳的步骤；

若相同，获取所述机器人的姿态与所述目标姿态相同时对应的所述第二时间戳；

基于所述第一时间戳和所述第二时间戳之间的时间差，判断机器人跟踪是否发生延迟。

6.根据权利要求1或2所述的遥操作跟踪方法，其特征在于，所述基于所述多个运动姿态生成可视化信息之后，还包括下述步骤：

将所述可视化信息发送给显示器，以通过显示器对所述可视化信息进行显示；和/或

所述基于当前目标姿态生成运动预测指令之后，还包括：

继续所述机器人的原遥操作跟踪。

7.根据权利要求1或2所述的遥操作跟踪方法，其特征在于，所述基于操作者当前姿态，映射得到的机器人的当前目标姿态包括下述步骤：

获取通过姿态传感器采集并发送的操作者的关键部位的在当前姿态下的当前运动数据；

将所述当前运动数据转换为机器人的所述当前目标姿态；或

获取通过图像传感器采集的当前操作者图像；

基于所述操作者图像识别操作者的当前姿态；

将所述当前姿态转换为机器人的所述当前目标姿态。

8.根据权利要求1或2所述的遥操作跟踪方法，其特征在于，所述基于当前目标姿态生成运动预测指令包括下述步骤：

基于所述当前目标姿态进行轨迹规划，以生成所述运动预测指令；或

获取预设模型；

基于所述当前目标姿态，结合所述预设模型进行轨迹规划，以生成所述运动预测指令；或

获取预设的运动预测模型；

基于所述当前目标姿态，通过所述运动预测模型，输出得到所述运动预测指令。

9.一种遥操作跟踪装置，其特征在于，所述装置包括：延迟跟踪模块；所述延迟跟踪模块包括：

跟踪中断子模块，用于在判断机器人跟踪发生延迟时，中断机器人的原遥操作跟踪；

姿态映射子模块，用于基于操作者当前姿态，映射得到的机器人的当前目标姿态；

指令生成子模块，用于基于当前目标姿态生成运动预测指令，以指示机器人以预测轨迹运动到所述当前目标姿态；

信息可视子模块，用于生成所述预测轨迹的特定可视化信息；所述特定可视化信息是指与其它可视化信息相区别的可视化信息。

10.一种遥操作系统，其特征在于，所述系统包括：姿态传感器、机器人、显示器和控制器；

所述姿态传感器、机器人和显示器分别与所述控制器通信连接；

所述姿态传感器，用于采集操作者的运动数据，并将所述运动数据发送给所述控制器；

所述控制器，用于基于所述运动数据生成运动指令，以指示所述机器人进行原操作跟踪；在判断所述机器人跟踪发生延迟时，中断所述机器人的所述原遥操作跟踪；基于操作者当前姿态，映射得到的所述机器人的当前目标姿态；基于所述当前目标姿态生成运动预测指令，以指示所述机器人以预测轨迹运动到所述当前目标姿态；生成所述预测轨迹的特定可视化信息；所述特定可视化信息是指与其它可视化信息相区别的可视化信息；

所述显示器，用于显示所述特定可视化信息。

11.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的遥操作跟踪方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的遥操作跟踪方法的步骤。