CN111558937B - 基于深度学习的机器人运动控制方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的机器人运动控制方法，包括以下步骤：创建深度学习初始模型，并设定损失函数；采集据并输入到深度学习初始模型中，并根据损失函数进行深度学习初始模型训练，获取深度学习模型；获取实时外部环境数据、机器人状态数据和运动目标数据；将获取的实时外部环境数据、机器人状态数据和运动目标数据输入到深度学习模型中，获取深度学习模型的输出结果；根据深度学习模型的输出结果实时生成并发送相应的控制序列给相应的机器人运动控制部件。本发明可自动控制机器人针对不同3D环境及运动目标，产生步态、体态、手态等操作控制序列，极大的提高机器人的操作灵活性，以及减少工作量。

Description

基于深度学习的机器人运动控制方法

技术领域

本发明涉及机器人控制技术领域，特别是一种基于深度学习的机器人运动控制方法。

背景技术

一般的多足、双足机器人存在两个主要问题，第一、机器人的运动不够灵活；第二、机器人的步态、体态、手、足的控制自动化程度低，需要编制不同的控制模块程序进行控制，复杂且工作量大。

发明内容

基于此，针对上述问题，本发明提供了一种基于深度学习的机器人运动控制方法，通过将外部地环、本身姿态、运动目标当作输入，输入到深度学习模型从而产生对应的对运动部件控制的时序命令进而对机器人进行灵活控制，简单方便且提高了机器人运动的灵活性。

本发明采用的技术方案是：

一种基于深度学习的机器人运动控制方法，包括以下步骤：

S1、创建深度学习初始模型，并设定损失函数L；

S2、采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据并输入到深度学习初始模型中，并根据损失函数进行深度学习初始模型训练，获取深度学习模型；

S3、获取实时外部环境数据、运动要求数据、机器人状态数据和运动目标数据；

S4、将获取的实时外部环境数据、运动要求数据、机器人状态数据和运动目标数据输入到深度学习模型中，获取深度学习模型的输出结果；

S5、根据深度学习模型的输出结果实时生成并发送相应的控制序列给相应的机器人运动控制部件。

创建一个深度学习初始模型，构建一个损失函数，该损失函数包括电机的能耗、姿态的稳定性、防止碰撞的发生、运动部件范围的限制的权重占比等参数，损失函数可由与预定输出的距离，测量达到的速度、功耗、颠簸性、平衡性等综合评定，保证了数据的全面性，采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据并输入到深度学习初始模型中，并根据损失函数进行深度学习初始模型训练，获取深度学习模型，通过摄像头获取实时外部环境数据，通过设置在机器人各部件上的空间位置传感器、速度传感器、力传感器获取机器人状态数据，并获取需要实现的运动目标数据，如目标任务的紧迫性、速度的要求(快跑，慢跑，走动，踏步等)等，将获取到的实时外部环境数据、机器人状态数据和运动目标数据输入到深度学习模型中，获取深度学习模型的输出结果，进而根据深度学习模型的输出结果生成并发送相应的控制序列给相应的机器人运动控制部件进而控制机器人相应的部件进行运动。

本方法可自动控制机器人针对不同3D环境及运动目标，产生步态、体态、手态等操作控制序列，从而使得机器人的控制不再需要编写指定的代码，而是通过深度学习模型根据需要完成的目标自动生成控制序列，从而极大的提高机器人的操作灵活性，以及减少工作量。

在进一步的技术方案中，所述机器人状态数据包括机器人自身形态数据、运动状态数据和各部件受力数据。

通过多个空间位置传感器及多个速度传感器获取机器人的自身的形态及运动状态，如手部，足部，躯干部等，通过力学传感器获取机器人的自动重要节点或与地面或与其它物体的受力数据，进而保证数据的全面性与准确性。

在进一步的技术方案中，所述损失函数L的表达式为L＝S+V+P+Ε，其中，S为完成目标距离度量，V为速度损失量，P为功耗损失量，E为颠簸损失量。

在进一步的技术方案中，步骤S2包括以下步骤：

S21、采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据并输入到深度学习初始模型中；

S22、获取机器人各运动控制部件的运动完成数据，并根据损失函数生成奖惩规则对深度学习初始模型进行迭代学习训练，并生成学习训练结果；

S23、根据学习训练结果获取深度学习模型。

根据损失函数来决定奖惩，采用深度强化学习的方式对深度学习初始模型进行训练进而获取深度学习模型，以便实现对机器人的灵活控制。

在进一步的技术方案中，所述深度学习初始模型包括粗粒度深度学习初始模型和细粒度深度学习初始模型。

设定两个粒度的模型，对粗粒度深度学习初始模型和细粒度深度学习初始模型两个模型进行训练，以便后续对机器人运动部件进行精确控制。

在进一步的技术方案中，所述损失函数L的表达式为L＝A₂-A₀，其中，A₂为细粒度深度学习初始模型输出值，A₀为运动目标实际值。

在进一步的技术方案中，根据深度学习模型的输出结果实时生成并发送相应的细粒度运动点控制序列给相应的机器人运动控制部件。

当深度学习模型只有一个时，直接生成对应的细粒度运动点控制序列给相应的运动控制部件，进而快速控制机器人运动控制部件进行相应运动。

在进一步的技术方案中，所述损失函数L的表达式为L＝L₁+L₂，其中，L₁为粗粒度深度学习初始模型输出值与运动目标实际值之间的差值，L₂为细粒度深度学习初始模型输出值与运动目标实际值之间的差值。

在进一步的技术方案中，步骤S2包括以下步骤：

S24、采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据和输出结果并输入到深度学习初始模型进行训练并计算损失函数值；

S25、根据损失函数值，通过优化算法迭代更新模型参数；

S26、根据迭代更新的模型参数获取深度学习模型。

通过梯度下降的方式对深度学习初始模型进行学习训练，进而保证能够获取更加完善的深度学习模型，提高效率。

在进一步的技术方案中，步骤S5包括以下步骤：

S51、根据深度学习模型的输出结果实时生成并发送相应的粗粒度的运动点控制信息；

S52、根据粗粒度的运动点控制信息生成每个粗粒度运动点的对应的细粒度的运动点控制序列；

S53、将对应的细粒度的运动点控制序列发送给相应的运动控制部件。

粗粒度：为每个足或关节的位移量，每个足，手，节关的位移可能需要若干个控制单元的控制序列；细粒度：则为各个控制部件的具体移动量；当深度学习模型包含两个时，通过粗粒度和细粒度两个运动点控制序列实现对机器人的精确灵活的控制。

本发明的有益效果是：

1、通过将外部地环、本身姿态、运动目标当作输入，输入到深度学习模型从而产生对应的对运动部件控制的时序命令进而对机器人进行灵活控制，简单方便且提高了机器人运动的灵活性；

2、通过多个空间位置传感器及多个速度传感器获取机器人的自身的形态及运动状态，如手部，足部，躯干部等，通过力学传感器获取机器人的自动重要节点或与地面或与其它物体的接触力数据，进而保证数据的全面性与准确性；

3、根据损失函数来决定奖惩，采用深度强化学习的方式对深度学习初始模型进行训练进而获取深度学习模型，以便实现对机器人的灵活控制；

4、设定两个粒度的模型，对粗粒度深度学习初始模型和细粒度深度学习初始模型两个模型进行训练，以便后续对机器人运动部件进行精确控制；

5、当深度学习模型只有一个时，直接生成对应的细粒度运动点控制序列给相应的运动控制部件，进而快速控制机器人运动控制部件进行相应运动；

6、通过梯度下降的方式对深度学习初始模型进行学习训练，进而保证能够获取更加完善的深度学习模型，提高效率；

7、通过粗粒度和细粒度两个运动点控制序列实现对机器人的精确灵活的控制。

附图说明

图1为本发明实施例所述一种基于深度学习的机器人运动控制方法的流程图；

图2为本发明实施例所述一种基于深度学习的机器人运动控制方法中深度强化学习的流程图；

图3为本发明实施例所述一种基于深度学习的机器人运动控制方法中梯度下降学习的流程图；

图4为本发明实施例所述一种基于深度学习的机器人运动控制方法中生成控制序列的流程图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例

如图1所示，一种基于深度学习的机器人运动控制方法，包括以下步骤：

一、训练深度学习模型阶段：

S1、创建深度学习初始模型，并设定损失函数L；

S2、采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据并输入到深度学习初始模型中，并根据损失函数进行深度学习初始模型训练，获取深度学习模型；

二、使用深度学习模型阶段：

S3、在使用时获取实时外部环境数据、运动要求数据、机器人状态数据和运动目标数据；

S4、将获取的实时外部环境数据、运动要求数据、机器人状态数据和运动目标数据输入到深度学习模型中，获取深度学习模型的输出结果；深度学习模型实时输出控制结果；

S5、根据深度学习模型的输出结果实时生成并发送相应的控制序列给相应的机器人运动控制部件。根据深度学习模型的输出结果实时做相应的放大电路信号，线性变换等操作，并用变换后的控制序列控制机器人运动部件。

创建一个深度学习初始模型，构建一个损失函数，该损失函数包括电机的能耗、姿态的稳定性、防止碰撞的发生、运动部件范围的限制的权重占比等参数，损失函数可由与预定输出的距离，测量达到的速度、功耗、颠簸性、平衡性等综合评定，保证了数据的全面性，采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据并输入到深度学习初始模型中，并根据损失函数进行深度学习初始模型训练，获取深度学习模型，通过摄像头获取实时外部环境数据，通过设置在机器人各部件上的空间位置传感器、速度传感器、力传感器获取机器人状态数据，并获取需要实现的运动目标数据，如目标任务的紧迫性、速度的要求(快跑，慢跑，走动，踏步等)等，将获取到的实时外部环境数据、机器人状态数据和运动目标数据输入到深度学习模型中，获取深度学习模型的输出结果，将获取的深度学习模型的输出结果作为控制序列控制机器人运动控制部件取进行相应的运动，进而根据深度学习模型的输出结果生成并发送相应的控制序列给相应的机器人运动控制部件进而控制机器人相应的部件进行运动。

本方法可自动控制机器人针对不同3D环境及运动目标，产生步态、体态、手态等操作控制序列，从而使得机器人的控制不再需要编写指定的代码，而是通过深度学习模型根据需要完成的目标自动生成控制序列，从而极大的提高机器人的操作灵活性，以及减少工作量。

在其中一个实施例中，所述机器人状态数据包括机器人自身形态数据、运动状态数据和各部件受力数据。

通过多个空间位置传感器及多个速度传感器获取机器人的自身的形态及运动状态，如手部，足部，躯干部等，通过力学传感器获取机器人的自动重要节点或与地面或与其它物体的受力数据，进而保证数据的全面性与准确性。

在其中一个实施例中，所述损失函数L的表达式为L＝S+V+P+Ε，其中，S为完成目标距离度量，V为速度损失量，P为功耗损失量，E为颠簸损失量。

在其中一个实施例中，如图2所示，步骤S2包括以下步骤：

S21、实时采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据并输入到深度学习初始模型中；

S22、获取机器人各运动控制部件的运动完成数据，并根据损失函数生成奖惩规则对深度学习初始模型进行迭代学习训练，并生成学习训练结果；

S23、根据学习训练结果获取深度学习模型。

根据损失函数来决定奖惩，采用深度强化学习的方式对深度学习初始模型进行训练进而获取深度学习模型，以便实现对机器人的灵活控制。

在其中一个实施例中，所述深度学习初始模型包括粗粒度深度学习初始模型和细粒度深度学习初始模型。

设定两个粒度的模型，对粗粒度深度学习初始模型和细粒度深度学习初始模型两个模型进行训练，以便后续对机器人运动部件进行精确控制。

在其中一个实施例中，所述损失函数L的表达式为L＝A₂-A₀，其中，A₂为细粒度深度学习初始模型输出值，A₀为运动目标实际值。

在其中一个实施例中，步骤S5包括以下步骤：

根据深度学习模型的输出结果实时生成并发送相应的细粒度运动点控制序列给相应的运动控制部件。

当深度学习模型只有一个时，直接生成对应的细粒度运动点控制序列给相应的运动控制部件，进而快速控制机器人运动控制部件进行相应运动。

在其中一个实施例中，在两个粒度联合训练时，所述损失函数L的表达式为L＝L₁+L₂，其中，L₁为粗粒度深度学习初始模型输出值与运动目标实际值之间的差值，L₂为细粒度深度学习初始模型输出值与运动目标实际值之间的差值。

在其中一个实施例中，如图3所示，步骤S2包括以下步骤：

S24、预先采集大量的运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据和输出结果并输入到深度学习初始模型进行训练并计算损失函数值；

S25、根据损失函数值，通过优化算法迭代更新模型参数；

S26、根据迭代更新的模型参数获取深度学习模型。

通过优化算法迭代更新模型参数后获取最优模型参数进而得到深度学习模型。通过梯度下降的方式对深度学习初始模型进行学习训练，进而保证能够获取更加完善的深度学习模型，提高效率。通过深度学习的效果计算损失函数值；通过损失函数值，用各种优化算法进行优化(如SGD,ADAM等)，从而更新深度学习模型的参数，使损失函数向变小的方向发展；不断迭代训练从而得到最终的深度学习模型。

在其中一个实施例中，如图4所示，步骤S5包括以下步骤：

S51、根据深度学习模型的输出结果实时生成并发送相应的粗粒度的运动点控制信息；

S52、根据粗粒度的运动点控制信息生成每个粗粒度运动点的对应的细粒度的运动点控制序列；

S53、将对应的细粒度的运动点控制序列发送给相应的运动控制部件。

粗粒度：为每个足或关节的位移量，每个足，手，节关的位移可能需要若干个控制单元的控制序列；细粒度：则为各个控制部件的具体移动量，如有4个电机则每时刻为每个电机的控制步进量；通过粗粒度和细粒度两个运动点控制序列实现对机器人的精确灵活的控制。通过深度学习模型可能一个或两个，对于两个协同的深度学习模型，可以一个深度学习模型生成粗粒度的需要变化到下一步的姿态，而另一个深度学习模型则根据第一个模型生成的姿态，依据现在的状态生成要达成这个姿态需要对每个运动单元生成怎么样的实时细粒度的控制序列；如果是两个深度学习模型协同运行，那么粗粒度的是从一个模型发送给另一个模型，让另一个模型依据粗粒度的目标生成可直接控制各个运动器件的细粒度实时控制信号。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (4)

1.一种基于深度学习的机器人运动控制方法，其特征在于，包括以下步骤：

S1、创建深度学习初始模型，并设定损失函数L；

S2、采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据并输入到深度学习初始模型中，并根据损失函数进行深度学习初始模型训练，获取深度学习模型；

S3、获取实时外部环境数据、运动要求数据、机器人状态数据和运动目标数据；

S4、将获取的实时外部环境数据、运动要求数据、机器人状态数据和运动目标数据输入到深度学习模型中，获取深度学习模型的输出结果；

S5、根据深度学习模型的输出结果实时生成并发送相应的控制序列给相应的机器人运动控制部件；

所述机器人状态数据包括机器人自身形态数据、运动状态数据和各部件受力数据；

所述损失函数L的表达式为L＝S+V+P+E，其中，S为完成目标距离度量，V为速度损失量，P为功耗损失量，E为颠簸损失量；

步骤S2包括以下步骤：

S21、采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据并输入到深度学习初始模型中；

S22、获取机器人各运动控制部件的运动完成数据，并根据损失函数生成奖惩规则对深度学习初始模型进行迭代学习训练，并生成学习训练结果；

S23、根据学习训练结果获取深度学习模型；

所述深度学习初始模型包括粗粒度深度学习初始模型和细粒度深度学习初始模型；设定两个粒度的模型，对粗粒度深度学习初始模型和细粒度深度学习初始模型两个模型进行训练，以便后续对机器人运动部件进行精确控制；所述损失函数L的表达式为L＝A₂-A₀，其中，A₂为细粒度深度学习初始模型输出值，A₀为运动目标实际值；步骤S5包括以下步骤：根据深度学习模型的输出结果实时生成并发送相应的细粒度运动点控制序列给相应的机器人运动控制部件；粗粒度：为每个足或关节的位移量，每个足，手，关节 的位移可能需要若干个控制单元的控制序列；细粒度：则为各个控制部件的具体移动量。

2.根据权利要求1所述的基于深度学习的机器人运动控制方法，其特征在于，所述损失函数L的表达式为L＝L₁+L₂，其中，L₁为粗粒度深度学习初始模型输出值与运动目标实际值之间的差值，L₂为细粒度深度学习初始模型输出值与运动目标实际值之间的差值。

3.根据权利要求2所述的基于深度学习的机器人运动控制方法，其特征在于，步骤S2包括以下步骤：

S24、采集运动要求数据、运动目标、机器人自身的各种状态数据、外部环境数据和输出结果并输入到深度学习初始模型进行训练并计算损失函数值；

S25、根据损失函数值，通过优化算法迭代更新模型参数；

S26、根据迭代更新的模型参数获取深度学习模型。

4.根据权利要求3所述的基于深度学习的机器人运动控制方法，其特征在于，步骤S5包括以下步骤：

S51、根据深度学习模型的输出结果实时生成并发送相应的粗粒度的运动点控制信息；

S52、根据粗粒度的运动点控制信息生成每个粗粒度运动点的对应的细粒度的运动点控制序列；

S53、将对应的细粒度的运动点控制序列发送给相应的运动控制部件。

Images