CN113492410A

CN113492410A - 显示机器人操作过程的方法、系统、机械设备及存储介质

Info

Publication number: CN113492410A
Application number: CN202111052846.6A
Authority: CN
Inventors: 李耀; 其他发明人请求不公开姓名
Original assignee: Chengdu Borns Medical Robotics Co Ltd
Current assignee: Chengdu Borns Medical Robotics Co Ltd
Priority date: 2021-09-09
Filing date: 2021-09-09
Publication date: 2021-10-12
Anticipated expiration: 2041-09-09
Also published as: CN113492410B

Abstract

本发明公开了一种显示机器人操作过程的方法、系统、机械设备及存储介质，其中，显示机器人操作过程的方法包括：获取当执行体对目标物执行预设操作时的操作参数信息和位于目标物处的操作过程图像；其中，执行体用于执行机器人的操作，执行体包括执行预设操作时使用的器械，器械安装于机器人的机械臂末端；根据操作参数信息转化为图文信息；根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面上。本申请能将操作参数信息转化为图文信息叠加在操作过程图像上，协助使用者对其进行观察理解。

Description

显示机器人操作过程的方法、系统、机械设备及存储介质

技术领域

本发明涉及显示技术领域，特别涉及一种显示机器人操作过程的方法、系统、机械设备及存储介质。

背景技术

现今，拍摄画面的远程实时传输仅可以显示拍摄画面本身，无法通过直观的文字图像方式显示拍摄内容所表达的信息，通常会通过显示设备将机器人操作过程及被操作对象的实现情况进行展示，从而方便操作人员学习或指导对机器人的操作，但该方式只能将拍摄到图像信息进行显示，在机器人操作学习和指导过程中依然无法详细了解到机器人操作过程中的各个操作的步骤。

因此，如何在操作过程图像中添加协助使用者观察理解的操作过程信息成为了本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种显示机器人操作过程的方法、系统、机械设备及一种存储介质，能够在操作过程画面中显示其中的操作过程信息，方便使用者对其进行观察理解，同时方便后期数据导出后，检查操作过程是否存在问题。

为实现上述目的，本发明提供一种显示机器人操作过程的方法，包括：

获取当执行体对目标物执行预设操作时的操作参数信息和位于目标物处的操作过程图像；其中，执行体用于执行机器人的操作，执行体包括执行预设操作时使用的器械，器械安装于机器人的机械臂末端；

根据操作参数信息转化为图文信息；

根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面上。

可选地，根据操作参数信息转化为图文信息，包括：

根据操作参数信息转化为器械对应的器械模型在三维空间中的运动状态。

可选地，根据操作参数信息转化为图文信息，包括：

根据操作参数信息转化为文字内容；

根据文字内容的多少设置不同尺寸的文本框；

将文字内容放置于文本框中，得到图文信息。

可选地，根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面上，包括：

根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面边缘处。

将图文信息设置呈未遮挡目标物的半透明状；

根据操作参数信息的发生时间，将呈半透明状的图文信息叠加在操作过程图像的对应时刻的画面上。

可选地，根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面上之后，还包括：

获取调用预设的图文信息的控制指令；

根据控制指令将叠加有预设的图文信息的操作过程图像的画面进行显示。

当对叠加有图文信息的操作过程图像进行显示时，判断是否出现预设的图文信息；

若是，则停止操作过程图像的显示。

本发明还提供一种机器人操作过程显示系统，包括：

操作信息获取单元：用于获取当执行体对目标物执行预设操作时的操作参数信息和位于目标物处的操作过程图像；其中，执行体用于执行机器人的操作，执行体包括执行预设操作时使用的器械，器械安装于机器人的机械臂末端；

信息转化单元：用于根据操作参数信息转化为图文信息；

信息叠加单元：用于根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面上。

本发明再提供一种机械设备，包括存储器和处理器，存储器和处理器相连，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时实现如上述的显示机器人操作过程的方法的步骤。

本发明再提供一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令被处理器加载并执行时，实现如上述显示机器人操作过程的方法的步骤。

相对于上述背景技术，本发明提供了一种操作过程显示的方法包括：获取当执行体对目标物执行预设操作时的操作参数信息和位于目标物处的操作过程图像；其中，执行体用于执行机器人的操作，执行体包括执行预设操作时使用的器械，器械安装于机器人的机械臂末端；根据操作参数信息转化为图文信息；根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面上。

可见，在实际应用中，采用本发明的方案，在执行体对目标物执行预设操作时，获取位于目标物处的操作过程图像和执行体在执行预设操作时的操作参数信息；然后将上述操作参数信息转化为图文信息；最后对照操作参数信息所发生的时间，将图文信息叠加显示在对应时间的画面上，即操作过程图像中会适时显示出图文信息，从而协助使用者对操作过程画面所进行的操作进行更好的观察和理解。

本发明还提供了一种机器人操作过程显示系统、一种机械设备及一种存储介质，具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的一种显示机器人操作过程的方法的流程图；

图2为本发明实施例所提供的一种应用本文中的显示机器人操作过程方法的机械设备的示意图；

图3为本发明实施例所提供的一种机器人操作过程显示系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了使本技术领域的技术人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

本申请实施例提供的显示机器人操作过程的方法，当执行体对目标物执行预设操作时，不仅可以获取位于目标物处的操作过程图像，展示对目标物的操作过程，还可以将执行体的操作参数信息适时的叠加在操作过程图像对应时刻的画面上，如此一来，在播放操作过程图像的同时，还可以显示出操作参数信息，从而方便使用者更好的观察和理解操作过程，同时方便后期数据导出后，检查操作过程是否存在问题。

下面请参见说明书附图1，图1为本申请实施例所提供的一种显示机器人操作过程的方法的流程图，包括：

步骤1：获取当执行体对目标物执行预设操作时的操作参数信息和位于目标物处的操作过程图像，执行体用于执行机器人的操作，执行体包括执行预设操作时使用的器械，器械安装于机器人的机械臂末端。

参考说明书附图2，机器人1包括机械臂10，执行体包括器械11，器械11安装在机械臂10的末端，器械11用于执行机器人1的操作，可以认为的是，器械11作为机械臂10的执行末端，利用器械11实现机器人1的操作。

其中，执行体用于执行机器人1的操作，针对不同类型的机器人1，执行体可以在不同场景中代指不同事物而达到不同的作用：例如，当机器人1具体为加工机器人时，执行体可具体为刀具夹持装置，在配合加工一些待加工材料时，需要获取执行体在工作时的位移数据、移动速度数据和施力的大小等操作参数信息，并且同时获得待加工材料处的操作过程画面。

另外，目标物可根据实际需要而定，例如，可具体为待加工毛坯、待灌装的空瓶以及待检测或待加夹持的物体等。

当然，根据实际需要，上述器械11还可具体为：电焊、喷枪、超声刀、电钩、钳子、摄像头等；针对器械11的具体设置方式，均可参考现有技术，本文对此并未做出具体改进。

当执行体对目标物执行预设操作时，获取位于目标物处的操作过程图像，也即将执行体对目标物执行预设操作的过程采用影像画面的形式全部记录下来，与此同时，针对操作过程图像所无法展示或是展示不到位的内容，例如执行体的位移、速度和施力的大小等操作参数信息也应同时记录下来。

其中，执行体上可设置不同类型的传感器，以便实时采集执行体的位移、速度和施力的大小等操作参数信息。

步骤2：根据操作参数信息转化为图文信息；

根据上述步骤1中得到的操作参数信息，针对信息的类型选择转换方式，最终将上述操作参数信息均转换成图文信息；其中，图文信息可以包括：图像信息、文字信息或是图像加文字信息。

也就是说，由于执行体的位移、速度和施力的大小等操作参数信息无法直接通过影像的方式表达准确，因此将操作参数信息转化为图文信息，以便使用者可以直观、准确的获知。

步骤3：根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面上。

根据上述步骤2中得到的转换后的操作参数信息，按照操作发生的时间将上述转换后的操作参数信息叠加在对应时间的操作过程画面上。其中，所有操作参数信息都显示在时间轴上，操作过程图像与操作参数信息所处时间轴完全对应，即将各个信息均匹配设置同一个时间轴坐标系内，这样做的目的是设置同一个公共的时间轴，例如，在某些领域可避免不同预设操作之间各个操作信息的时间重叠，若公共的时间轴为A地点时间，机器人操作虽然在其他时区做的，但仍然调整至A地点时间中去记录。

整体来说，本文的显示机器人操作过程的方法，先获取执行体的位移、速度和施力大小等操作参数信息；再获取目标物处操作过程的画面；将上述获取操作参数信息和与执行体相关的信息统一转化成图文信息，最后对照操作执行的时间将转化得到的图文信息叠加显示在对应时间的画面上，文字和图像结合的辅助显示可以精准提供许多靠观察原操作过程画面无法显示完全的细节内容，并且节省了使用者分析的时间，提高对画面信息的理解效率，多方面协助使用者对操作过程画面中的操作更好的进行观察和理解。

其中，操作参数信息的发生时间与操作过程图像的对应时刻都统一在一个时间轴，在一种具体实施方式中，在持续获取位于目标物处的操作过程图像的同时，同步记录操作参数信息的发生时间，也即操作过程图像和操作参数信息的记录同步开始，使得操作过程图像和操作参数信息的时间轴为同一时间轴，最后形成操作过程图像和操作参数信息两组数据库；针对操作过程图像数据库，其影像中存在一个时间轴，在时间轴上的每一帧都具有一个画面；针对操作参数信息数据库，同样存在一个时间轴，操作过程图像数据库的时间轴和操作参数信息数据库的时间轴两者的起始点重合，两者的终止点也重合；操作参数信息数据库包括多个分布于不同时刻的操作子参数；按照每一个操作子参数的发生时间，检索得到操作过程图像在该时间点时的画面，并将操作子参数所对应的图文信息叠加在该时间点的画面上。

在一种实施方式中，针对上述步骤1，获取当执行体对目标物执行预设操作时的操作参数信息和位于上述目标物处的操作过程图像，其中，执行体可包括：执行上述预设操作时所使用的器械。

如说明书附图2中所示，图2为本发明实施例所提供的一种应用本文中的显示机器人操作过程方法的机械设备的示意图，机械设备包括：机器人1、显示器2和操作主机3，且三者两两相连；如上文记载，机器人1包括机械臂10，机械臂10的末端设有器械11，器械11为机械臂3的执行末端。

使用者应用操作主机3对机械臂10下达控制指令进行控制，从而控制机械臂10执行相应的动作，显示器2显示操作过程图像和机械臂10根据上述控制指令运动的操作参数信息；当然，显示器2还可显示操作主机3下达的控制指令。

在这里，器械11可包括：器械驱动组件（驱动座安装于滑台上）、传动组件和末端执行组件等，器械11作为机械臂10的末端执行器件，参与执行上文的预设操作。

与此同时，根据操作参数信息转化为图文信息，可包括：

根据操作参数信息转化为器械对应的器械模型在三维空间中的运动状态；也即，在操作过程图像中播放预设操作的同时，还可以同步展示出器械模型在三维空间中的运动状态，这样即可显著充实了操作细节，使用者可以更加清晰、明确的获知操作过程。

在另一种实施方式中，在执行预设操作的同时，除了运用上文的器械11参与操作，针对一些需要人工辅助的场合，还可能需要用到人工的参与，此时的执行体不仅包括上述机械臂10的器械11，还包括人工使用的工具，例如刀具等。

人工使用的工具上也应设置传感器等，用于采集位移、速度和施力的大小等操作参数信息；其中，操作参数信息还可包括执行预的具体类型，例如：机械臂的器械和人工使用的刀具等；操作参数信息可包括：执行预设操作的时间，例如：XXXX年XX月XX日；针对某些特殊的刀具，可能还需要手部和脚部相互配合，例如：手部操作信息、脚部操作信息、刀具的各方向位移距离、刀具的插入、收缩、离合和夹取等操作参数信息。

针对根据操作参数信息转化为图文信息的步骤，将得到的操作参数信息转化成文字内容，预设专用语句对应预设操作，例如：执行体的位移、速度和施力的大小等；根据文字内容数量不同预设三个大小规格的文本框，分别用来显示中长短语句。上述文字信息与图像信息都设置于文本框中，同时框内的文字信息与图像信息同步对应其操作；这样一来，图文信息的面积大小适当，不会过多占用操作过程图像的尺寸，同时将图文信息用文本框进行框住，可以增加提示作用，方便使用者知晓图文信息的位置，便于及时查看。

上述图文信息还可以叠加在操作过程图像对应时刻的画面边缘处，防止遮挡上述图像具体内容。

通常来说，在操作过程图像画面的中间位置展示目标物，而操作过程图像画面的边缘处往往留有一定的空白，将图文信息叠加在画面边缘处，这样能够充分利用画面的面积，并且图文信息能够避免遮挡图像的具体内容。

进一步地，上述叠加在操作过程图像上的由操作参数信息转换而来的图文信息具体为半透明VR显示，即作为独立图层叠加在原操作过程图像上，不对原操作过程图像产生遮挡。

这样一来，操作过程图像和图文信息两者互不干扰，使用者则可清楚的观察不同的内容。

如上文记载，时间轴同时记录上述所有信息，将上述时间轴中的信息按照时间轴的记录叠加到操作过程图像中，并将上述时间轴中的所有数据进行压缩，将其上传存储于数据服务器当中，其中，上述时间轴的所有数据的压缩可以采用压缩软件进行二进制压缩。

上述经过压缩的操作参数信息可在数据服务器中进行保存并上传整合为日志，日志格式包括：时间，事件，操作参数信息等，上述日志可以进行回放读取。

当需要回放读取某一时刻操作过程画面时，可通过获取调用预设的图文信息的控制指令，实现随时按时间轴上的预设图文信息节点跳转，直接跳转至显示叠加有预设图文信息的操作过程图像的画面，方便使用者进行快捷检索，反复观察学习。

进一步地，当上述图文信息叠加在对应时刻的画面上之后，还包括：当通过日志读取上述操作过程图像时，画面会自动以视频形式播放显示，在开始显示的过程中系统会对预设的图文信息节点进行判断，当判断出现预设的图文信息节点时，正在进行的播放显示将自动暂停。因为观看叠加有图文信息的操作过程图像时常常需要使用者手动暂停视频查看其内容并进行理解，这一过程十分繁琐且无法保证手动暂停的精准度，为保证使用者有充足时间查看分析操作过程图像中的图文信息，设置系统检测到信息节点后自动暂停，代替使用者通过手动暂停视频查看。

本发明实施例还提供一种可应用于上述显示机器人操作过程的方法的系统，其设置方法和工作过程可参考上述显示机器人操作过程的方法，显示操作过程的系统的结构框图如说明书附图3所示，包括：

操作信息获取单元101：用于获取当执行体对目标物执行预设操作时的操作参数信息和位于目标物处的操作过程图像；其中，执行体用于执行机器人的操作，执行体包括执行预设操作时使用的器械，器械安装于机器人的机械臂末端；

信息转化单元102：用于根据操作参数信息转化为图文信息；

信息叠加单元103：用于根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面上。

进一步地，信息转化单元102，还用于：

根据操作参数信息转化为图文信息，包括：

根据操作参数信息转化为器械对应的器械模型在三维空间中的运动状态

进一步地，信息转化单元102，还用于：

根据操作参数信息转化为图文信息，包括：

根据操作参数信息转化为文字内容；

根据文字内容的多少设置不同尺寸的文本框；

将文字内容放置于文本框中，得到图文信息。

进一步地，信息叠加单元103，还用于：根据操作参数信息的发生时间，将图文信息叠加在操作过程图像的对应时刻的画面上，包括：

将图文信息设置呈未遮挡目标物的半透明状；

本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory ，ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种机械设备，包括存储器和处理器，存储器和处理器相连，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时实现上述显示操作过程方法的步骤。当然机器人还可以包括各种网络接口，电源等组件。

需要说明的是，在本说明书中，诸如第一和第二之类的关系术语仅仅用来将一个实体与另外几个实体区分开来，而不一定要求或者暗示这些实体之间存在任何这种实际的关系或者顺序。

以上对本发明所提供的显示机器人操作过程的方法、系统、机械设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种显示机器人操作过程的方法，其特征在于，包括：

获取当执行体对目标物执行预设操作时的操作参数信息和位于所述目标物处的操作过程图像；其中，所述执行体用于执行所述机器人的操作，所述执行体包括执行所述预设操作时使用的器械，所述器械安装于所述机器人的机械臂末端；

根据所述操作参数信息转化为图文信息；

根据所述操作参数信息的发生时间，将所述图文信息叠加在所述操作过程图像的对应时刻的画面上。

2.根据权利要求1所述的显示机器人操作过程的方法，其特征在于，根据所述操作参数信息转化为图文信息，包括：

根据所述操作参数信息转化为所述器械对应的器械模型在三维空间中的运动状态。

3.根据权利要求1所述的显示机器人操作过程的方法，其特征在于，根据所述操作参数信息转化为图文信息，包括：

根据所述操作参数信息转化为文字内容；

根据所述文字内容的多少设置不同尺寸的文本框；

将所述文字内容放置于所述文本框中，得到图文信息。

4.根据权利要求1所述的显示机器人操作过程的方法，其特征在于，根据所述操作参数信息的发生时间，将所述图文信息叠加在所述操作过程图像的对应时刻的画面上，包括：

根据所述操作参数信息的发生时间，将所述图文信息叠加在所述操作过程图像的对应时刻的画面边缘处。

5.根据权利要求1-4任意一项所述的显示机器人操作过程的方法，其特征在于，根据所述操作参数信息的发生时间，将所述图文信息叠加在所述操作过程图像的对应时刻的画面上，包括：

将所述图文信息设置呈未遮挡所述目标物的半透明状；

根据所述操作参数信息的发生时间，将呈半透明状的所述图文信息叠加在所述操作过程图像的对应时刻的画面上。

6.根据权利要求1-4任意一项所述的显示机器人操作过程的方法，其特征在于，根据所述操作参数信息的发生时间，将所述图文信息叠加在所述操作过程图像的对应时刻的画面上之后，还包括：

获取调用预设的所述图文信息的控制指令；

根据所述控制指令将叠加有预设的所述图文信息的所述操作过程图像的画面进行显示。

7.根据权利要求1-4任意一项所述的显示机器人操作过程的方法，其特征在于，根据所述操作参数信息的发生时间，将所述图文信息叠加在所述操作过程图像的对应时刻的画面上之后，还包括：

当对叠加有所述图文信息的所述操作过程图像进行显示时，判断是否出现预设的所述图文信息；

若是，则停止所述操作过程图像的显示。

8.一种机器人操作过程显示系统，其特征在于，包括：

操作信息获取单元：用于获取当执行体对目标物执行预设操作时的操作参数信息和位于所述目标物处的操作过程图像；其中，所述执行体用于执行所述机器人的操作，所述执行体包括执行所述预设操作时使用的器械，所述器械安装于所述机器人的机械臂末端；

信息转化单元：用于根据所述操作参数信息转化为图文信息；

信息叠加单元：用于根据所述操作参数信息的发生时间，将所述图文信息叠加在所述操作过程图像的对应时刻的画面上。

9.一种机械设备，其特征在于，包括存储器和处理器，所述存储器和所述处理器相连，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述的显示机器人操作过程的方法的步骤。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述显示机器人操作过程的方法的步骤。