CN112233208B - 机器人状态处理方法、装置、计算设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种机器人状态处理方法、装置、计算设备和存储介质，其中，该方法包括：获取机器人结构数据以及机器人的动作配置数据；利用机器人结构数据和动作配置数据，生成机器人的初始肢体状态动画；根据机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，视觉变换关系用于描述现实肢体状态与模拟肢体状态之间的展示差异。本发明实施例可以在机器人的设计开发过程中，降低人力成本，减小计算设备界面展现的模拟机器人肢体状态与机器人的实际肢体状态之间的视觉差异，改善机器人的表现设计效果。

Description

机器人状态处理方法、装置、计算设备和存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种机器人状态处理方法、装置、计算设备和存储介质。

背景技术

在机器人的开发过程中，需要配合不同的场景状态或者应答策略等，进行大量的动作编写工作。目前，国内市场上针对机器人的表现设计通常采用先制作模拟动画后进行程序开发的传统流程，具体流程如下：

首先，设计师使用3D动画制作软件进行模拟动画设计，将动画文件以及过程中的数值标注任务等交付给工程师，由工程师手动将动画文件转化为机器人动作代码；

其次，工程师将机器人动作代码编译后打包为软件包，下发更新至测试机器人设备，再由设计师检查，提出修改反馈意见。

上述传统开发流程，存在的缺陷在于：涉及不同技术人员之间分工配合，导致人力成本耗费较大，而且传统的模拟动画并不能真实反映机器人的实际表现，即实际肢体状态，从而导致机器人表现设计效果欠佳。

发明内容

本发明实施例提供一种机器人状态处理方法、装置、计算设备和存储介质，以在机器人的开发过程中，降低人力成本，减小计算设备界面展现的模拟机器人肢体状态与机器人的实际肢体状态之间的视觉差异，改善机器人的表现设计效果。

第一方面，本发明实施例提供了一种机器人状态处理方法，该方法包括：

获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据用于表示所述机器人的动作状态；

利用所述机器人结构数据和所述动作配置数据，生成所述机器人的初始肢体状态动画；

根据所述机器人的现实肢体状态与所述机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对所述初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，所述视觉变换关系用于描述所述现实肢体状态与所述模拟肢体状态之间的展示差异。

第二方面，本发明实施例还提供了一种机器人状态处理装置，该装置包括：

数据获取模块，用于获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据用于表示所述机器人的动作状态；

动画生成模块，用于利用所述机器人结构数据和所述动作配置数据，生成所述机器人的初始肢体状态动画；

动画调整模块，用于根据所述机器人的现实肢体状态与所述机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对所述初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，所述视觉变换关系用于描述所述现实肢体状态与所述模拟肢体状态之间的展示差异。

第三方面，本发明实施例还提供了一种计算设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的机器人状态处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的机器人状态处理方法。

本发明实施例通过利用获取的机器人结构数据以及机器人动作配置数据，生成机器人的初始肢体状态动画，根据机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对生成的初始肢体状态动画进行调整，从而得到目标肢体状态动画并展示，本发明实施例可以在机器人的开发过程中，降低人力成本，减少设计者的冗余工作量，减小计算设备界面展现的模拟机器人肢体状态与机器人的实际肢体状态之间的视觉差异，改善机器人的表现设计效果。

附图说明

图1是本发明实施例一提供的机器人状态处理方法的流程图；

图2是本发明实施例二提供的机器人状态处理方法的流程图；

图3是本发明实施例三提供的机器人状态处理方法的流程图；

图4是本发明实施例三提供的一种客户端界面示意图；

图5是本发明实施例四提供的机器人状态处理装置的结构示意图；

图6是本发明实施例五提供的一种计算设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的机器人状态处理方法的流程图，本实施例可适用于在机器人开发过程中，对机器人状态进行模拟设计的情况，例如设计或调试机器人动作等，该机器人可以是任意类型的机器人，例如智能交互机器人或者玩具机器人等。本实施例方法可以由机器人状态处理装置来执行，该装置可以采用软件和/或硬件的方式实现。该装置可以采用独立计算设备的形式实现，例如机器人设计操控盘，该操控盘中具有操作界面；该装置也可以集成在任意的具有计算能力的计算设备上，例如以插件或者客户端的形式安装在笔记本、电脑、ipad中。该装置可以作为一个机器人设计的可视化工具。为便于表述，以下主要以该装置以客户端的形式实现为例，对本发明实施例的技术方案进行详细说明。

如图1所示，本实施例提供的机器人状态处理方法可以包括：

S110、获取机器人结构数据以及机器人的动作配置数据，其中，动作配置数据用于表示机器人的动作状态。

本实施例中，用户可以通过计算设备上安装的具有机器人状态处理功能的客户端，基于当前设计需求设置机器人的动作配置数据，该动作配置数据可以是预先编写的特定格式的机器人动作文件。示例性的，用户可以通过客户端界面上的动作数据导入控件，导入预先编写的动作配置数据，客户端基于用户的数据导入操作，获取机器人的动作配置数据。其中，用户设计需求是针对机器人展示的实际状态(包括肢体状态和表情状态)而言，例如针对不同应用场景的机器人实际肢体表现，针对不同交互功能的机器人实际肢体表现等。

机器人结构数据包括机器人的3D框架、各个组件和外壳等。不同机器人(包括不同类型的机器人以及同一类型不同系列的机器人)的结构数据可以预先存储在服务器的数据库中或者计算设备本地，并按照设备标识(用于唯一性地标识机器人)进行区分，在客户端界面上设置有设备标识选择控件，客户端响应于用户对设备标识的选择操作，加载用户选择的机器人的结构数据。此外，用户也可以通过客户端界面上的数据导入控件，将预先编写的机器人结构数据以文件形式导入。对机器人设计师用户而言，该客户端的使用，可以为其设计工作提供极大的便利性，无需如同传统设计流程频繁地与编码工程师进行沟通交互并反复检查与修改机器人设计动画，不涉及编程操作，因而可以提高其设计效率，减少冗余工作量。

可选的，获取机器人结构数据以及机器人的动作配置数据，包括：

分别响应于用户在计算设备界面触发的机器人结构数据设置请求与动作配置数据设置请求，获取机器人结构数据以及机器人的动作配置数据，其中，动作配置数据包括预先编写的文本格式的动作序列数据，动作序列数据中包括可供用户编辑的动作参数。该动作参数可以包括机器人执行动作过程中关节的运动时间、在设定位置的停留时间、在任意自由度上的旋转角度和平移量等。

客户端界面上可以设置多个动作参数的设置子控件。计算设备获取机器人的动作配置数据后，可以通过数据解析建立动作配置数据中各个动作参数与设置子控件的对应关系，当用户在客户端界面或计算设备界面上模拟机器人的肢体状态时，可以利用动作参数的设置子控件，改变动作序列数据中的各个动作参数的值，从而实现对机器人肢体状态的可视化编辑。

S120、利用机器人结构数据和动作配置数据，生成机器人的初始肢体状态动画。

该初始肢体状态动画(动画中的机器人以3D结构呈现)可以在客户端界面或者计算设备界面上展示，也可以不展示，可以根据用户对客户端或者计算设备的展示设置而定。

S130、根据机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，视觉变换关系用于描述现实肢体状态与模拟肢体状态之间的展示差异。

由于机器人关节部件的活动性能并不能完全仿真人类关节，机器人执行动作的具体状态与机器人的关节部件结构、材质以及连接方式等均有关，在同一动作配置数据下，如果不执行计算设备界面展示的机器人模拟动画的展示调整操作，计算设备界面展示的机器人模拟肢体状态(偏向理想化的机器人动作展示)与机器人的实际肢体状态之间便存在视觉差异，即模拟动画展示的机器人动作表现与机器人实体的动作表现并不完全相同。例如，用户通过设置动作配置数据，希望机器人头部旋转10度，计算设备界面展示的机器人模拟肢体状态中呈现10度的头部旋转观感，而机器人实体的现实肢体状态中可能只呈现6度的头部旋转观感，而机器人设计的最终效果以机器人的实际表现为准，因此，如果直接依赖计算设备生成的初始肢体状态动画进行机器人动作设计，必然导致机器人的表现设计效果欠佳。

本实施例中，根据预先确定的机器人现实肢体状态(即实际展示的肢体状态)与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对初始肢体状态动画进行调整(包括对每一帧动作动画中的机器人动作状态进行整体性调整)，例如在同一动作配置数据下，机器人的现实肢体状态与模拟肢体状态之间的存在5度的视觉差异，则将机器人的模拟肢体状态整体旋转5度，从而使得机器人的模拟肢体状态与现实肢体状态之间几乎不存在视觉差异。即通过对初始肢体状态动画的调整，可以减少机器人的现实肢体状态与模拟肢体状态之间的视觉差异，使得计算设备界面最终展示的机器人模拟肢体状态尽可能的接近机器人的现实肢体状态，即目标肢体状态动画中机器人肢体状态与机器人实体基于相同动作配置数据执行动作时的现实肢体状态之间的展示差异满足设定的差异要求，从而确保机器人的表现设计效果。其中，展现差异包括机器人执行动作过程中关节转动差异和平移差异。

此外，考虑不同机器人的组成部件材质以及部件连接方式存在差异，因此，不同的机器人对应不同的视觉变换关系。在本实施例中，当用户确定当前设计的机器人之后，计算设备可以根据该机器人的设备标识自动从预先存储的机器人配置文件库中自动加载与该机器人对应的视觉变换关系，用于客户端模拟机器人动画的过程中；当然用户也可以通过客户端界面上的视觉变换关系选择控件，选择与当前设计机器人对应的视觉变换关系。

可选的，该方法还包括：根据目标肢体状态动画，生成目标处理数据，并发送至机器人，其中，目标处理数据是机器人系统可识别数据，包括机器人的动作序列数据。具体而言，计算设备安装的客户端具有数据导出的功能，可以将设计好的机器人动作数据直接发送至机器人，被机器人系统读取并使用。此外，本实施例方法也支持将机器人的目标肢体状态动画导出为视频格式，例如，可以用于插入演示幻灯中进行演示说明。

本实施例方法还可以包括：响应于用户的场景设置请求，获取预先设置的场景数据，以在计算设备界面展示该场景下机器人的模拟肢体状态动画。示例性性的，用户可以通过客户端界面上的场景选择控件(根据场景数量，场景选择控件可以控件列表的形式展示)，触发场景设置请求，使得计算设备加载与用户选择的场景对应的场景数据，预先设置的场景数据可以存储在计算设备本地或服务器中；或者用户通过客户端界面上的场景数据导入控件，触发场景设置请求，计算设备解析并加载用户导入的场景数据。

本实施例的技术方案通过利用获取的机器人结构数据以及机器人动作配置数据，生成机器人的初始肢体状态动画，根据机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对生成的初始肢体状态动画进行是展示调整，并展示在计算设备界面上，实现了在机器人的设计开发过程中，降低人力成本，减少设计者的冗余工作量，以及减小计算设备界面展现的模拟机器人肢体状态与机器人的实际肢体状态之间的视觉差异的效果，改善了计算设备上展示的机器人表现设计效果。

实施例二

图2是本发明实施例二提供的计算设备机器人状态处理方法的流程图，本实施例是在上述实施例的基础上进一步进行优化。如图2所示，该方法可以包括：

S210、依据机器人执行目标动作的目标现实肢体状态与计算设备界面展示的机器人执行目标动作的目标模拟肢体状态，利用机器学习技术或者曲线拟合算法，确定机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系。

视觉变换关系用于描述现实肢体状态与模拟肢体状态之间的展示差异。在确定视觉变换关系的过程中，针对相同的机器人动作，目标现实肢体状态和目标模拟肢体状态对应的展示结果差异满足预设要求，即对用户而言，目标现实肢体状态和目标模拟肢体状态对应的视觉展示效果是一致的。当需要机器人真机和计算设备界面上展示出视觉效果相同的机器人肢体状态时，可以对机器人的实际肢体状态和计算设备界面展示的模拟肢体状态同时进行拍照采样或者视频采样，并调整两种肢体状态对应的图像或视频的展示尺寸相同(即视频或图片展示的画面尺寸相同)，通过调整后图像两两之间的特征对比，或者调整后的视频帧两两之间的特征对比，对机器人实体或计算设备中模拟机器人的动作配置数据进行调整，直至得到一致的肢体状态视觉效果。

利用机器人学习技术确定视觉变换关系是指通过训练相关模型，使用训练的模型对计算设备初始生成的机器人模拟肢体状态动画进行调整；利用曲线拟合算法确定视觉变换关系是指通过确定机器人执行特定动作时，机器人现实肢体状态中关节部位上的特征点，与计算设备界面上展示的模拟肢体状态中关节部位上的特征点之间的映射关系，利用该映射关系对计算设备初始生成的机器人模拟肢体状态动画进行调整。视觉变换关系确定之后，可以按照设备标识预先存储在机器人配置文件中，以供后续调用。对于多个机器人设备，均可采用上述视觉变换关系确定方法，预先确定对应的视觉变换关系，并存储。

S220、获取机器人结构数据以及机器人的动作配置数据，其中，动作配置数据用于表示机器人的动作状态。

S230、利用机器人结构数据和动作配置数据，生成机器人的初始肢体状态动画。

S240、根据机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对初始肢体状态动画进行调整，得到目标肢体状态动画并展示。

在上述操作的基础上，可选的，依据机器人执行目标动作的现实肢体状态与计算设备界面展示的机器人执行目标动作的模拟肢体状态，利用曲线拟合算法，确定机器人的现实肢体状态与模拟肢体状态之间的视觉变换关系，包括：

从机器人执行目标动作的目标现实肢体状态上，提取机器人关节部位的预设数量的第一特征点；

从计算设备界面展示的机器人执行目标动作的目标模拟肢体状态上，提取机器人关节部位的预设数量的第二特征点，其中，第一特征点和第二特征点对应机器人关节部位的同一位置；

利用曲线拟合算法，拟合关于第一特征点和第二特征点的曲线方程，以利用曲线方程表示视觉变换关系。

例如，可以将第一特征点作为自变量x，将第二特征点作为因变量y，利用曲线拟合算法，确定用于表示视觉变换关系的曲线方程y＝f(x)，用于对初始肢体状态动画的调整过程。该曲线方程可以对应机器人关节的任意运动自由度(例如沿轴线移动或者绕轴线转动等)。

可选的，依据机器人执行目标动作的现实肢体状态与计算设备界面展示的机器人执行目标动作的模拟肢体状态，利用机器学习技术，确定机器人的现实肢体状态与模拟肢体状态之间的视觉变换关系，包括：

获取机器人执行目标动作的目标现实肢体状态数据，并将目标现实肢体状态数据作为训练转换神经网络模型的输入，其中，目标现实肢体状态数据包括机器人关节的旋转角度和/或平移量；

获取计算设备界面上展示的机器人执行目标动作的目标模拟肢体状态数据，并将目标模拟肢体状态数据作为训练转换神经网络模型的输出，其中，目标模拟肢体状态数据包括计算设备中模拟机器人关节的旋转角度和/或平移量；

利用输入和输出，训练得到转换神经网络模型，以利用转换神经网络模型表示视觉变换关系。

本实施例的技术方案通过利用获取的机器人结构数据以及机器人动作配置数据，生成机器人的初始肢体状态动画，根据机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对生成的初始肢体状态动画进行调整，并展示在计算设备界面上，实现了在机器人的设计开发过程中，降低人力成本，减少设计者的冗余工作量，以及减小计算设备界面展现的模拟机器人肢体状态与机器人的实际肢体状态之间的视觉差异的效果，改善了计算设备上展示的机器人表现设计效果。

实施例三

图3是本发明实施例三提供的计算设备机器人状态处理方法的流程图，本实施例是在上述实施例的基础上进一步进行优化。如图3所示，该方法可以包括：

S310、获取机器人结构数据以及机器人的动作配置数据，其中，动作配置数据用于表示机器人的动作状态。

S320、获取机器人的表情配置数据。

本实施例中，计算设备上安装的具有机器人状态处理功能的客户端，还支持机器人表情的编辑功能。示例性的，用户可以通过客户端界面上的表情配置数据输入框输入设定的表情，例如高兴、忧伤等；用户也可以利用客户端界面上的表情数据导入控件，导入预先编写的表情配置数据，该导入数据可以文本格式数据，也可以是视频格式数据。视频格式的表情配置数据根据用户设计需求中的表情设计需求预先录制。对于机器人的复杂表情设计，表情数据导入功能，可以为用户的设计工作提供了极大的便利性。客户端响应于用户的输入操作或导入操作，获取机器人的表情配置数据。

S330、利用机器人结构数据和动作配置数据，生成机器人的初始肢体状态动画，并将表情配置数据描述的表情状态渲染至机器人的面部。

该初始肢体状态动画可以在客户端界面或者计算设备界面上展示，也可以不展示，可以根据用户对客户端或者计算设备的展示设置而定。如果导入的表情配置数据是视频格式数据，则将表情配置数据描述的表情状态渲染至机器人的面部，包括：将视频格式的表情配置数据转换为预设数据格式，将格式转化后的表情配置数据描述的表情状态渲染至机器人的面部，预设数据格式是指计算设备模拟机器人动画时可识别的数据格式。例如，计算设备可以将导入的GIF或MOV格式的表情动画文件转化为逐帧的机器人表情动画。

S340、根据机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，视觉变换关系用于描述现实肢体状态与模拟肢体状态之间的展示差异。

S350、根据机器人的联机调试请求，与机器人建立通信连接。

机器人的联机调试请求可以通过用户在机器人实体上的触控操作而被触发。机器人与计算设备的具体通信连接可以采用现有技术中任意可用的通信连接方式实现，本实施不作具体限定，例如可以是WiFi(无线保真)连接或者蓝牙连接等。

S360、利用建立的通信连接，获取机器人的系统控制数据，并在计算设备上同步运行系统控制数据。

当计算设备与机器人建立通信连接后，可以自动获取该机器人的系统控制数据，也可以通过响应于用户在客户端界面上触发的系统控制数据获取请求而获取。

S370、基于计算设备上同步运行的系统控制数据，对机器人进行联机调试。

示例性的，计算设备在同步运行机器人的控制系统数据时，可以将机器人实时地模拟显示在客户端界面，然后通过响应于用户在客户端界面上触发的动作或表情调试操作请求，对机器人进行联机调试。

可选的，如果当前接收的机器人联机调试请求包括至少两个，则该方法还包括：根据用户在通信连接列表中的选择操作，确定当前参与联机调试的目标机器人。即计算设备可以同时与多个机器人设备建立通信连接，然后通过响应于用户在客户端界面上的通信连接列表中的选择操作，确定当前的联机调试设备，该通信连接列表中可以显示不同机器人的设备标识以及设备名称等信息。

图4作为示例，示出了一种客户端界面的示意图。如图4所示，该客户端界面可以包括机器人模拟区域a，用于展示机器人的模拟动画，在模拟动画的展示过程中可以多角度对机器人的模拟肢体状态进行展示以及透视，还可以基于不同场景调试不同的环境光；场景选择区域b，用于选择机器人所处的不同应用场景，增加机器人设计的多样性；动作和表情编辑区域c，用于通过动作参数设置(包括关节的运动时间、停留时间、旋转角度和平移量等)或者表情数据设置等方式编辑机器人的动作或表情。在动作和表情编辑区域c的下方设置有模拟演示控件，客户端可以根据用户对该模拟演示控件的触控操作，将生成的机器人模拟动画展示在机器人模拟区域a；在动作和表情编辑区域c的下方还设置有真机测试控件，当计算设备与机器人建立通信连接后，可以通过响应于用户对该控件的触控操作，获取机器人的系统控制数据，以进一步执行联机调试操作。

需要说明的是，上述操作S310-S340与操作S350-S370之间并无严格的执行顺序限定，图3所示的执行顺序不应理解为对本实施例的具体限定，并且操作S310-S340与操作S350-S370均可单独执行，例如当前可以只进行关于机器人的联机调试操作。

本实施例的技术方案不仅可以利用获取的机器人结构数据以及机器人动作配置数据，生成机器人的初始肢体状态动画，根据机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对生成的初始肢体状态动画进行展示调整，而且可以对机器人状态进行联机调试，减小了计算设备界面展现的模拟机器人肢体状态与机器人的实际肢体状态之间的视觉差异的效果，为设计师用户提供了极大的工作便利性，有助于提高设计效率，改善机器人的表现设计效果。

实施例四

图5是本发明实施例四提供的机器人状态处理装置的结构示意图，本实施例可适用于在机器人开发过程中，对机器人状态进行模拟设计的情况，例如设计或调试机器人动作等，该机器人可以是任意类型的机器人，例如智能交互机器人或者玩具机器人等。该装置可以采用独立计算设备的形式实现，例如机器人设计操控盘，该操控盘中具有操作界面；该装置也可以集成在任意的具有计算能力的计算设备上，例如以插件或者客户端的形式安装在笔记本、电脑、ipad中。该装置可以作为一个机器人设计的可视化工具。

如图5所示，本实施例提供的机器人状态处理装置包括数据获取模块410，动画生成模块420和动画调整模块430，其中：

数据获取模块410，用于获取机器人结构数据以及机器人的动作配置数据，其中，动作配置数据用于表示机器人的动作状态；

动画生成模块420，用于利用机器人结构数据和动作配置数据，生成机器人的初始肢体状态动画；

动画调整模块430，用于根据机器人的现实肢体状态与机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，视觉变换关系用于描述现实肢体状态与模拟肢体状态之间的展示差异。

可选的，展现差异包括关节转动差异和平移差异。

可选的，不同的机器人对应不同的视觉变换关系。

可选的，该装置还包括视觉变换关系确定模块，用于：

依据机器人执行目标动作的目标现实肢体状态与计算设备界面展示的机器人执行目标动作的目标模拟肢体状态，利用机器学习技术或者曲线拟合算法确定视觉变换关系，其中，目标现实肢体状态和目标模拟肢体状态对应的展示结果差异满足预设要求。

可选的，视觉变换关系确定模块包括：

第一特征点提取单元，用于从机器人执行目标动作的目标现实肢体状态上，提取机器人关节部位的预设数量的第一特征点；

第二特征点提取单元，用于从计算设备界面展示的机器人执行目标动作的目标模拟肢体状态上，提取机器人关节部位的预设数量的第二特征点，其中，第一特征点和第二特征点对应机器人关节部位的同一位置；

曲线拟合单元，用于利用曲线拟合算法，拟合关于第一特征点和第二特征点的曲线方程，以利用曲线方程表示视觉变换关系。

可选的，视觉变换关系确定模块包括：

目标现实肢体状态数据获取单元，用于获取机器人执行目标动作的目标现实肢体状态数据，并将目标现实肢体状态数据作为训练转换神经网络模型的输入，其中，目标现实肢体状态数据包括机器人关节的旋转角度和/或平移量；

目标模拟肢体状态数据获取单元，用于获取计算设备界面上展示的机器人执行目标动作的目标模拟肢体状态数据，并将目标模拟肢体状态数据作为训练转换神经网络模型的输出，其中，目标模拟肢体状态数据包括计算设备中模拟机器人关节的旋转角度和/或平移量；

神经网络模型训练单元，用于利用输入和输出，训练得到转换神经网络模型，以利用转换神经网络模型表示视觉变换关系。

可选的，该装置还包括：

表情配置数据获取模块410，用于获取机器人的表情配置数据；

表情渲染模块，用于将表情配置数据描述的表情状态渲染至机器人的面部。

可选的，表情配置数据的类型包括视频格式，视频格式的表情配置数据根据用户设计需求中的表情设计需求预先录制；

相应的，表情渲染模块具体用于：

将视频格式的表情配置数据转换为预设数据格式，将格式转化后的表情配置数据描述的表情状态渲染至机器人的面部。

可选的，该装置还包括：

通信连接建立模块，用于根据机器人的联机调试请求，与机器人建立通信连接；

系统控制数据同步运行模块，用于利用建立的通信连接，获取机器人的系统控制数据，并在计算设备上同步运行系统控制数据；

联机调试模块，用于基于计算设备上同步运行的系统控制数据，对机器人进行联机调试。

可选的，如果当前接收的机器人联机调试请求包括至少两个，则该装置还包括：

目标调试机器人确定模块，用于根据用户在通信连接列表中的选择操作，确定当前参与联机调试的目标机器人。

可选的，该装置还包括：

目标处理数据发送模块，用于根据目标肢体状态动画，生成目标处理数据，并发送至机器人，其中，目标处理数据是机器人系统可识别数据。

可选的，数据获取模块410具体用于：

分别响应于用户在计算设备界面触发的机器人结构数据设置请求与动作配置数据设置请求，获取机器人结构数据以及机器人的动作配置数据，其中，动作配置数据包括预先编写的文本格式的动作序列数据，动作序列数据中包括可供用户编辑的动作参数。

可选的，该装置还包括：

场景数据获取模块，用于响应于用户的场景设置请求，获取预先设置的场景数据，以在计算设备界面展示该场景下机器人的模拟肢体状态动画。

本发明实施例所提供的机器人状态处理装置可执行本发明任意实施例所提供的机器人状态处理方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。

实施例五

图6是本发明实施例五提供的一种计算设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算设备812的框图。图6显示的计算设备812仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。计算设备812可以包括但不限于笔记本、电脑、ipad或者机器人设计操控盘等

如图6所示，计算设备812以通用计算设备的形式表现。计算设备812的组件可以包括但不限于：一个或者多个处理器816，存储装置828，连接不同系统组件(包括存储装置828和处理器816)的总线818。

总线818表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。

计算设备812典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备812访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储装置828可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)830和/或高速缓存存储器832。计算设备812可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统834可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线818相连。存储装置828可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块842的程序/实用工具840，可以存储在例如存储装置828中，这样的程序模块842包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块842通常执行本发明所描述的实施例中的功能和/或方法。

计算设备812也可以与一个或多个外部设备814(例如键盘、指向终端、显示器824等)通信，还可与一个或者多个使得用户能与该计算设备812交互的终端通信，和/或与使得该计算设备812能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口822进行。并且，计算设备812还可以通过网络适配器820与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器820通过总线818与计算设备812的其它模块通信。应当明白，尽管图中未示出，可以结合计算设备812使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。

处理器816通过运行存储在存储装置828中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的机器人状态处理方法，该方法可以包括：

获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据用于表示所述机器人的动作状态；

利用所述机器人结构数据和所述动作配置数据，生成所述机器人的初始肢体状态动画；

根据所述机器人的现实肢体状态与所述机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对所述初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，所述视觉变换关系用于描述所述现实肢体状态与所述模拟肢体状态之间的展示差异。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的机器人状态处理方法，该方法可以包括：

获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据用于表示所述机器人的动作状态；

利用所述机器人结构数据和所述动作配置数据，生成所述机器人的初始肢体状态动画；

根据所述机器人的现实肢体状态与所述机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对所述初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，所述视觉变换关系用于描述所述现实肢体状态与所述模拟肢体状态之间的展示差异。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (26)

1.一种机器人状态处理方法，其特征在于，包括：

获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据用于表示所述机器人的动作状态；

利用所述机器人结构数据和所述动作配置数据，生成所述机器人的初始肢体状态动画；

从所述机器人执行目标动作的目标现实肢体状态上，提取所述机器人关节部位的预设数量的第一特征点；

从计算设备界面展示的所述机器人执行所述目标动作的目标模拟肢体状态上，提取所述机器人关节部位的所述预设数量的第二特征点，其中，所述第一特征点和所述第二特征点对应所述机器人关节部位的同一位置；

利用曲线拟合算法，拟合关于所述第一特征点和所述第二特征点的曲线方程，以利用所述曲线方程表示视觉变换关系；

根据所述机器人的现实肢体状态与所述机器人在计算设备界面上的模拟肢体状态之间的所述视觉变换关系，对所述初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，所述视觉变换关系用于描述所述现实肢体状态与所述模拟肢体状态之间的展示差异。

2.根据权利要求1所述的方法，其特征在于，所述目标现实肢体状态和所述目标模拟肢体状态对应的展示差异满足预设要求。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述机器人的表情配置数据；

将所述表情配置数据描述的表情状态渲染至所述机器人的面部。

4.根据权利要求3所述的方法，其特征在于，所述表情配置数据的类型包括视频格式，所述视频格式的表情配置数据根据用户设计需求中的表情设计需求预先录制；

相应的，将所述表情配置数据描述的表情状态渲染至所述机器人的面部，包括：

将所述视频格式的表情配置数据转换为预设数据格式，将格式转化后的表情配置数据描述的表情状态渲染至所述机器人的面部。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述机器人的联机调试请求，与所述机器人建立通信连接；

利用所述通信连接，获取所述机器人的系统控制数据，并在所述计算设备上同步运行所述系统控制数据；

基于所述计算设备上同步运行的系统控制数据，对所述机器人进行联机调试。

6.根据权利要求5所述的方法，其特征在于，如果当前接收的机器人联机调试请求包括至少两个，则所述方法还包括：

根据用户在通信连接列表中的选择操作，确定当前参与所述联机调试的目标机器人。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述目标肢体状态动画，生成目标处理数据，并发送至所述机器人，其中，所述目标处理数据是机器人系统可识别数据。

8.根据权利要求1所述的方法，其特征在于，所述展示差异包括关节转动差异和平移差异。

9.根据权利要求1所述的方法，其特征在于，不同的机器人对应不同的视觉变换关系。

10.根据权利要求1所述的方法，其特征在于，所述获取机器人结构数据以及所述机器人的动作配置数据，包括：

分别响应于用户在所述计算设备界面触发的所述机器人结构数据设置请求与所述动作配置数据设置请求，获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据包括预先编写的文本格式的动作序列数据，所述动作序列数据中包括可供用户编辑的动作参数。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于用户的场景设置请求，获取预先设置的场景数据，以在所述计算设备界面展示该场景下所述机器人的模拟肢体状态动画。

12.一种机器人状态处理方法，其特征在于，还包括：

获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据用于表示所述机器人的动作状态；

利用所述机器人结构数据和所述动作配置数据，生成所述机器人的初始肢体状态动画；

获取所述机器人执行目标动作的目标现实肢体状态数据，并将所述目标现实肢体状态数据作为训练转换神经网络模型的输入，其中，所述目标现实肢体状态数据包括机器人关节的旋转角度和/或平移量；

获取计算设备界面上展示的所述机器人执行所述目标动作的目标模拟肢体状态数据，并将所述目标模拟肢体状态数据作为训练所述转换神经网络模型的输出，其中，所述目标模拟肢体状态数据包括所述计算设备中模拟机器人关节的旋转角度和/或平移量；

利用所述输入和所述输出，训练得到所述转换神经网络模型，以利用所述转换神经网络模型表示视觉变换关系；

根据所述机器人的现实肢体状态与所述机器人在计算设备界面上的模拟肢体状态之间的所述视觉变换关系，对所述初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，所述视觉变换关系用于描述所述现实肢体状态与所述模拟肢体状态之间的展示差异。

13.根据权利要求12所述的方法，其特征在于，所述目标现实肢体状态和所述目标模拟肢体状态对应的展示差异满足预设要求。

14.根据权利要求12所述的方法，其特征在于，所述方法还包括：

获取所述机器人的表情配置数据；

将所述表情配置数据描述的表情状态渲染至所述机器人的面部。

15.根据权利要求14所述的方法，其特征在于，所述表情配置数据的类型包括视频格式，所述视频格式的表情配置数据根据用户设计需求中的表情设计需求预先录制；

相应的，将所述表情配置数据描述的表情状态渲染至所述机器人的面部，包括：

将所述视频格式的表情配置数据转换为预设数据格式，将格式转化后的表情配置数据描述的表情状态渲染至所述机器人的面部。

16.根据权利要求12所述的方法，其特征在于，所述方法还包括：

根据所述机器人的联机调试请求，与所述机器人建立通信连接；

利用所述通信连接，获取所述机器人的系统控制数据，并在所述计算设备上同步运行所述系统控制数据；

基于所述计算设备上同步运行的系统控制数据，对所述机器人进行联机调试。

17.根据权利要求16所述的方法，其特征在于，如果当前接收的机器人联机调试请求包括至少两个，则所述方法还包括：

根据用户在通信连接列表中的选择操作，确定当前参与所述联机调试的目标机器人。

18.根据权利要求12所述的方法，其特征在于，所述方法还包括：

根据所述目标肢体状态动画，生成目标处理数据，并发送至所述机器人，其中，所述目标处理数据是机器人系统可识别数据。

19.根据权利要求12所述的方法，其特征在于，所述展示差异包括关节转动差异和平移差异。

20.根据权利要求12所述的方法，其特征在于，不同的机器人对应不同的视觉变换关系。

21.根据权利要求12所述的方法，其特征在于，所述获取机器人结构数据以及所述机器人的动作配置数据，包括：

分别响应于用户在所述计算设备界面触发的所述机器人结构数据设置请求与所述动作配置数据设置请求，获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据包括预先编写的文本格式的动作序列数据，所述动作序列数据中包括可供用户编辑的动作参数。

22.根据权利要求12所述的方法，其特征在于，所述方法还包括：

响应于用户的场景设置请求，获取预先设置的场景数据，以在所述计算设备界面展示该场景下所述机器人的模拟肢体状态动画。

23.一种机器人状态处理装置，其特征在于，包括：

数据获取模块，用于获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据用于表示所述机器人的动作状态；

动画生成模块，用于利用所述机器人结构数据和所述动作配置数据，生成所述机器人的初始肢体状态动画；

视觉变换关系确定模块，包括：

第一特征点提取单元，用于从机器人执行目标动作的目标现实肢体状态上，提取机器人关节部位的预设数量的第一特征点；

第二特征点提取单元，用于从计算设备界面展示的机器人执行目标动作的目标模拟肢体状态上，提取机器人关节部位的预设数量的第二特征点，其中，第一特征点和第二特征点对应机器人关节部位的同一位置；

曲线拟合单元，用于利用曲线拟合算法，拟合关于第一特征点和第二特征点的曲线方程，以利用曲线方程表示视觉变换关系；

动画调整模块，用于根据所述机器人的现实肢体状态与所述机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对所述初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，所述视觉变换关系用于描述所述现实肢体状态与所述模拟肢体状态之间的展示差异。

24.一种机器人状态处理装置，其特征在于，包括：

数据获取模块，用于获取机器人结构数据以及所述机器人的动作配置数据，其中，所述动作配置数据用于表示所述机器人的动作状态；

动画生成模块，用于利用所述机器人结构数据和所述动作配置数据，生成所述机器人的初始肢体状态动画；

视觉变换关系确定模块，包括：

目标现实肢体状态数据获取单元，用于获取机器人执行目标动作的目标现实肢体状态数据，并将目标现实肢体状态数据作为训练转换神经网络模型的输入，其中，目标现实肢体状态数据包括机器人关节的旋转角度和/或平移量；

目标模拟肢体状态数据获取单元，用于获取计算设备界面上展示的机器人执行目标动作的目标模拟肢体状态数据，并将目标模拟肢体状态数据作为训练转换神经网络模型的输出，其中，目标模拟肢体状态数据包括计算设备中模拟机器人关节的旋转角度和/或平移量；

神经网络模型训练单元，用于利用输入和输出，训练得到转换神经网络模型，以利用转换神经网络模型表示视觉变换关系；

动画调整模块，用于根据所述机器人的现实肢体状态与所述机器人在计算设备界面上的模拟肢体状态之间的视觉变换关系，对所述初始肢体状态动画进行调整，得到目标肢体状态动画并展示，其中，所述视觉变换关系用于描述所述现实肢体状态与所述模拟肢体状态之间的展示差异。

25.一种计算设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11或12-22中任一所述的机器人状态处理方法。

26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11或12-22中任一所述的机器人状态处理方法。