CN112396653B

CN112396653B - 一种目标场景导向的机器人操作策略生成方法

Info

Publication number: CN112396653B
Application number: CN202011196264.0A
Authority: CN
Inventors: 赵丹; 孙富春
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2020-10-31
Filing date: 2020-10-31
Publication date: 2022-10-18
Anticipated expiration: 2040-10-31
Also published as: CN112396653A

Abstract

本发明提出的目标场景导向的机器人操作策略生成方法，包括：1)对初始任务场景、目标任务场景进行分析，得到操作任务场景中的物体个数及属性信息、物体位姿信息、物体间的相对位姿关系和操作任务场景的难度等级；对操作任务元素包括机器人操作类型和操作任务空间进行分析，得到机器人操作类型集合和多块操作任务空间；2)以步骤1)得到的结果作为输入，以每个操作所涉及的操作物体、操作类型和操作位姿以及各个操作在时间上的先后顺序所表征的操作任务策略作为输入，构建操作任务策略生成模型并设定其目标函数；3)求解得到操作任务策略。本发明通过目标场景导向的机器人操作策略生成方法，可以适应不同操作任务场景和操作任务需求。

Description

一种目标场景导向的机器人操作策略生成方法

技术领域

本发明涉及一种目标场景导向的机器人操作策略生成方法，属于智能机器人操作的技术领域。

背景技术

随着机器人技术的不断发展，各行各业对机器人应用的需求也越来越大，覆盖到了工业生产、物流配送、家庭服务、医疗健康、智能教育等多个技术领域。目前大多数的机器人应用主要集中在码垛搬运、物流分拣、生产流水线等场景，主要体现了自动化、数字化和信息化，但其智能化发展水平还远远不够。机器人操作技术作为一个应用广泛的多学科交叉技术，一定程度上体现机器人与人工智能技术的融合，其智能化发展将有效地推动整个智能机器人领域的发展。在实际应用中，机器人在执行操作任务时，通常需要针对一定的任务场景和任务需求，制定合理的操作步骤和操作方法，称为机器人操作策略。目前的应用案例中，机器人操作策略还基本停留在针对特定场景的规则制定和固定化的程序化层面，需要注入大量的人力成本，并且缺乏泛化性和自适应性，机器人在操作任务中经常存在重复和错误操作，降低了机器人操作过程的准确率和效率。复杂多元化的机器人应用场景，对合理、稳定、高效的机器人操作策略提出了更高的要求。

综上，为了适应日益复杂的操作任务场景和需求，使机器人操作具有更好的逻辑性和稳定性，传统机器人操作策略生成方法已无法满足智能机器人操作需求。

发明内容

本发明的目的是提出一种目标场景导向的机器人操作策略生成方法。本发明基于目标场景明确的操作任务要求，制定合理的操作策略，提高智能机器人操作的准确性和高效性，可为智能机器人操作提供理论指导和技术支撑。

为了实现上述目的，本发明采用如下技术方案：

本发明提出的一种目标场景导向的机器人操作策略生成方法，其特征在于，包括以下步骤：

1)对初始任务场景、目标任务场景以及操作任务元素进行分析，具体步骤如下：

1.1)对初始任务场景和目标任务场景进行分析

1.1.1)根据机器人的操作任务场景，分别对初始任务场景S_start和目标任务场景S_target，采用视觉传感器进行相应操作任务场景的图像采集；

1.1.2)对采集的图像进行处理，识别初始任务场景S_start和目标任务场景S_target中的所有物体，记为O_i，scene，其中，i表示物体的编号，i＝1，2，…，n，n为操作任务场景中物体的总个数，设初始任务场景和目标任务场景中的物体个数相等；scene为操作任务场景，取start或者target，前者对应初始任务场景，后者对应目标任务场景；将操作任务场景中物体O_i，scene的属性值记为Q_i，scene；定义O(O_i，scene，Q_i，scene)为操作任务场景scene中的物体个数和属性信息；

1.1.3)对初始任务场景S_start和目标任务场景S_target中的各物体进行位姿估计，得到每个物体的初始位姿T_i，start和目标位姿T_i，target；其中，物体位姿是指其在三维空间中的位置和姿态；定义T(T_i，start，T_i，target)为操作任务场景中物体i的位姿信息；

1.1.4)根据初始任务场景S_start和目标任务场景S_target中各物体的位姿信息，对同一操作任务场景中物体间的相对位姿关系进行分析，以反映该操作任务场景中各物体的叠放关系，具体为：定义R_ij，scene表示某一操作任务场景scene中物体O_i和物体O_j的相对位姿量，即R_ij，scene＝T_i，scene-T_j，scene，i，j＝1，2，…，n，且i≠j；定义R_{ij，scene，c}表示物体O_i和物体O_j在某一操作任务场景scene中的相对位姿关系类别，反映某一操作任务场景scene中物体O_i相对于物体O_j的叠放关系；定义R(R_ij，scene，R_{ij，scene，c})为某一操作任务场景中物体间的相对位姿关系；

1.1.5)根据初始任务场景S_start和目标任务场景S_target中物体的个数、各物体的位姿状态和相对位姿关系，对操作任务场景的难度等级进行分析，定义L(l)为操作任务场景的操作任务难度等级；

1.1.6)根据步骤1.1.1)～1.1.5)得到的相关参数定义操作任务场景分析结果为D(O(O_i，scene，Q_i，scene)，T(T_i，start，T_i，target)，R(R_ij，scene，R_{ij，scene，c})，L(l))；

1.2)对操作任务元素包括机器人操作类型和操作任务空间进行分析，具体步骤如下：

1.2.1)根据操作任务场景中所需的机器人操作类型，定义机器人操作类型集合 M＝{M₁，M₂，…，M_k，…M_m}，其中，k＝1，2，…，m，m为操作任务场景中涉及的机器人操作类型总个数，M_k为第k个机器人操作类型；

1.2.2)在机器人操作任务场景中，定义操作任务空间为Ω，表示由任务场景限制可以进行操作任务的空间，将操作任务空间进行分块处理：首先，根据操作任务空间内是否存在物体，可以将操作任务空间Ω分为两部分：物体区域Ω₀和空白区域Ω_b，其中，物体区域Ω₀表示存在物体的操作任务空间，空白区域Ω_b表示不存在物体的操作任务空间，随着操作任务的不断进行，物体区域Ω₀和空白区域Ω_b是动态变化的；空白区域Ω_b用于操作任务中物体的暂时摆放；根据目标任务场景S_target中各物体的目标位姿T_i，target，将操作任务空间Ω分为两部分：目标任务区域Ω_target和非目标任务区域Ω_non-target，其中，目标任务区域Ω_target对应目标任务场景S_target中各物体的所在区域；

2)构建操作任务策略生成模型并设定目标函数，具体步骤如下：

2.1)构建操作任务策略生成模型，该模型的输入为：步骤1)得到的操作任务场景分析结果，即D(O(O_i，scene，Q_i，scene，T(T_i，start，T_i，target)，R(R_ij，scene，R_{ij，scene，c})，L(l))和操作任务元素分析结果，即机器人操作类型M_k和操作任务空间Ω，操作任务策略生成模型的输出为：生成的操作任务策略P，体现为操作序列W，包括每个操作所涉及的操作物体O_h、操作类型M_h和操作位姿T_h以及各个操作在时间上的先后顺序U_h(·)，即P＝W{U_h(O_h，M_h，T_h)}；

2.2)根据操作任务需求，设定操作任务策略生成模型的目标函数，具体如下：

以由初始任务场景至目标任务场景过程中目标位姿匹配程度、操作时间和机器人操作空间匹配程度之和

最小为生成操作任务策略的目标函数，计算公式如下：

其中：

J₁为机器人目标位姿匹配程度，

T_i，real和T_i，target分别表示操作任务完成后，物体O_i的实际位姿和目标位姿；

J₂为机器人完成所有操作任务所花费的操作时间，

其中，t_h表示机器人完成操作任务类型M_h对应的操作任务所需要的时间，h＝1，2，…，q，q为操作任务场景中所需机器人操作的总数；

J₃为机器人操作空间匹配程度，

B_h为操作任务场景中机器人完成操作任务类型M_h对应的操作任务时涉及的实际操作任务空间边界值B_{Ω，h，real}与给定操作任务空间边界值B_Ω，h的差值，当B_{Ω，h，real}-B_Ω，h＜0时，令B_h＝0；当B_{Ω，h，real}-B_Ω，h＞0时，令 B_h＝B_{Ω，h，real}-B_Ω，h；

α_w为权重系数；

3)利用动态规划或强化学习方法对操作任务策略生成模型进行求解，最终得到操作任务策略P。

本发明的特点及有益效果为：

本发明方法首先通过对操作任务的初始场景和目标场景进行分析，对场景中的物体个数及属性信息、物体位姿信息、物体间的相对位姿关系和操作任务场景的难度等级进行描述；然后，对操作任务元素进行分解，对机器人操作任务场景中涉及的主要元素即机器人操作类型和操作任务空间进行定义和描述；最后，进行操作任务策略生成，根据机器人操作任务场景需求，制定机器人操作任务中的操作顺序选取标准和操作任务评价函数，进而求解得到目标场景导向的机器人操作策略。

本发明通过目标场景导向的机器人操作策略生成方法，可以对不同操作任务场景和操作任务需求下的机器人操作策略进行制定生成，弥补了传统方法存在的适应场景单一、泛化性和自适应性差等问题，提高了机器人操作策略的场景适应性。同时，本发明提出的目标场景导向的机器人操作策略生成方法，能够有效减少机器人操作中的重复和错误操作，提高机器人操作过程的准确率和效率，可为复杂多元化的机器人操作任务实现提供有力的理论指导和方法支撑，有助于推进智能机器人操作和应用的不断发展。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了更好地理解本发明，以下详细阐述本发明提出的一种目标场景导向的机器人操作策略生成方法的应用实例。

本发明提出的一种目标场景导向的机器人操作策略生成方法所涉及的机器人操作平台主要包括机械臂、机械手、视觉传感器以及主控计算机。其中，机械手安装于机械臂末端；视觉传感器安装于机械臂的斜上方，保证其视野范围完全覆盖机械手的操作区域。本发明的目标场景导向的机器人操作策略生成方法，包括以下步骤：

1)对初始任务场景、目标任务场景以及操作任务元素进行分析作为已知条件，具体步骤如下：

1.1)对初始任务场景和目标任务场景进行分析

1.1.1)根据机器人的操作任务场景，分别对初始任务场景S_start和目标任务场景S_target，采用视觉传感器进行相应任操作务场景的图像采集，将获得的图像数据以一定速率传送至主控计算机；所述初始任务场景S_start指机器人操作开始前的原始场景，目标任务场景S_target指机器人按要求完成操作后的最终场景，均为已知条件。

1.1.2)主控计算机对采集的图像数据进行处理，通过目标检测、实例分割和特征匹配等方法，识别初始任务场景S_start和目标任务场景S_target中的所有物体(本文中所述物体均指机器人的操作对象)，记为O_i，scene，其中，i表示物体的编号，i＝1，2，…，n，n为操作任务场景中物体的总个数，一般情况下初始任务场景和目标任务场景中的物体个数相等；scene为操作任务场景，取start或者target，前者对应初始任务场景，后者对应目标任务场景；将操作任务场景中物体O_i，scene的属性值记为Q_i，scene，可包括几何特征、材质等；定义O(O_i，scene，Q_i，scene)为操作任务场景scene中的物体个数和属性信息，其中i＝1，2，…，n。

1.1.3)对初始任务场景S_start和目标任务场景S_target中的各物体进行位姿估计，得到每个物体的初始位姿T_i，start和目标位姿T_i，target。其中，物体位姿是指其在三维空间中的位置和姿态；定义T(T_i，start，T_i，target)为操作任务场景中物体i的位姿信息，其中i表示物体的编号，i＝1，2，…，n，n为操作任务场景中物体的个数。

1.1.4)根据初始任务场景S_start和目标任务场景S_target中各物体的位姿信息，对同一操作任务场景中物体间的相对位姿关系进行分析，以反映该操作任务场景中各物体的叠放关系。具体为：定义R_ij，scene表示某一操作任务场景scene中物体O_i和物体O_j的相对位姿量，即R_ij，scene＝T_i，scene-T_j，scene，其中i和j表示不同物体的编号，i，j＝1，2，…，n，且i≠j， n为操作任务场景中物体的个数；定义R_{ij，scene，c}表示物体O_i和物体O_j在某一操作任务场景 scene中的相对位姿关系类别，反映某一操作任务场景scene中物体O_i相对于物体O_j的叠放关系。根据操作任务场景中常见的物体分布，可以将物体间的相对位姿关系类别R_{ij，scene，c}分为上方/(此处“/”表示或，余同)下方/在内部/在外部/平行/垂直/相交等；定义 R(R_ij，scene，R_{ij，scene，c})为某一操作任务场景中物体间的相对位姿关系；

1.1.5)根据初始任务场景S_start和目标任务场景S_target中物体的个数、各物体的位姿状态和相对位姿关系，对操作任务场景的难度等级进行分析。由易到难，将操作任务场景的难度等级划分为l档，记为levell，其中l值可以根据实际情况设定，如l＝1，2，3。定义L(l)为操作任务场景的操作任务难度等级；例如，物体数目较少，形状规则、单一或相近，分散摆放的场景难度等级较低；而物体数目较多，形状不规则、多样，堆叠摆放的场景难度等级较高。对于操作任务难度等级，认为某一项操作任务，从初始其到操作任务结束，操作任务难度等级保持不变。

1.1.6)根据步骤1.1.1)～1.1.5)得到的相关参数定义操作任务场景分析结果为D(O(O_i，scene，Q_i，scene)，T(T_i，start，T_i，target)，R(R_ij，scene，R_{ij，scene，c})，L(l))，记录操作任务场景信息，包括操作任务场景中的物体个数及属性信息O(O_{i_scene}，Q_{i_scene})、物体位姿信息 T(T_i，start，T_i，target)、物体间的相对位姿关系R(R_ij，scene，R_{ij，scene，c})和操作任务场景的难度等级 L(l)。其中，i和j表示不同物体的编号，i，j＝1，2，…，n，n为操作任务场景中物体的个数。

至此，机器人操作平台完成了操作任务场景分析。

1.2)对操作任务元素进行分析

在机器人的操作任务场景中，涉及的主要元素为机器人操作类型和操作任务空间，分别对机器人操作类型和操作任务空间进行分析，具体步骤如下：

1.2.1)根据操作任务场景中所需的机器人操作类型，定义机器人操作类型集合 M＝{M₁，M₂，…，M_k，…M_m}，其中，k＝1，2，…，m，m为操作任务场景中涉及的机器人操作类型总个数。在机器人操作任务场景中，常见的机器人操作类型有两种：抓取和推动。其中，抓取操作可用于对单一物体的操作或多个叠放物体的整体操作，通过三维空间中的运动，改变物体的位置姿态；推动操作可用于对单一物体或多个叠放物体的整体操作，通过二维平面上的运动，改变物体的位置姿态。

1.2.2)在机器人操作任务场景中，定义操作任务空间为Ω，表示由任务场景限制可以进行操作任务的空间。将操作任务空间进行分块处理：首先，根据操作任务空间内是否存在物体，可以将操作任务空间Ω分为两部分：物体区域Ω₀和空白区域Ω_b。其中，物体区域Ω₀表示存在物体的操作任务空间，空白区域Ω_b表示不存在物体的操作任务空间。随着操作任务的不断进行，物体区域Ω₀和空白区域Ω_b是动态变化的。空白区域Ω_b可用于操作任务中物体的暂时摆放。另外，根据目标任务场景S_target中各物体的目标位姿T_i，target，可以将操作任务空间Ω分为两部分：目标任务区域Ω_target和非目标任务区域Ω_non-target。其中，目标任务区域Ω_target对应目标任务场景S_target中各物体的所在区域。

至此，机器人操作平台完成了操作任务元素分析。

2.1)构建操作任务策略生成模型，该模型的输入为：步骤1)得到的操作任务场景分析结果，即D(O(O_i，scene，Q_i，scene)，T(T_i，start，T_i，target)，R(R_ij，scene，R_{ij，scene，c})，L(l))和操作任务元素分析结果，即机器人操作类型M_k和操作任务空间Ω。操作任务策略生成模型的输出为：生成的操作任务策略P，主要体现为操作序列W，包括每个操作所涉及的操作物体O_h、操作类型M_h和操作位姿T_h以及各个操作在时间上的先后顺序U_h(·)，即P＝W{U_h(O_h，M_h，T_h)}。其中，各操作在时间上的先后顺序根据操作任务场景需求并按照以下标准选取：

a)根据目标任务场景S_target中的目标区域Ω_target，优先选择移开Ω_target区域中的物体，可对物体O_i，target逐一操作或对多个物体整体操作，选择合适的机器人操作类型M_h，M_h∈M；

b)根据初始任务场景S_start和初始物体位姿T_i，start，优先选择可操作的物体O_i，start，如杂乱物体的最上层；可对物体O_i逐一操作或对多个物体整体操作，选择合适的机器人操作类型M_h，M_h∈M；

c)根据目标任务场景S_target中各物体间的相对关系R(R_ij，target，R_{ij，target，c})，在空间上自下而上，优先选择操作物体O_i，target；

d)根据物体Q_i，scene的属性如材质是否易碎等，判断该物体是否可以推动或越层抓取，选择合适的机器人操作类型M_h，M_h∈M；

e)根据操作任务场景的难度等级L(l)，选择优先标准。如果操作任务场景为较简单的场景，可以优先选择标准b)；如果操作任务场景为较复杂的场景，可以优先选择标准a)。

2.2)根据操作任务需求，设定操作任务策略生成模型的目标函数。具体如下：

最小为生成操作任务策略的目标函数，计算公式如下：

式中：

J₁为机器人目标位姿匹配程度，

T_i，real和T_i，target分别表示操作任务完成后，物体O_i的实际位姿和目标位姿，用于衡量操作任务的完成度；

J₂为机器人完成所有操作任务所花费的操作时间，

J₃为机器人操作空间匹配程度，

B_h为操作任务场景中机器人完成操作任务类型M_h对应的操作任务时涉及的实际操作任务空间边界值B_{Ω，h，real}与给定操作任务空间边界值B_Ω，h的差值，当B_{Ω，h，real}-B_Ω，h＜0时，B_h＝0；当B_{Ω，h，real}-B_Ω，h＞0时， B_h＝B_{Ω，h，real}-B_Ω，h；

α_w为权重系数，根据实际操作任务需求设定。

3)利用动态规划或强化学习等方法对操作任务策略生成模型进行求解(具体求解过程可参见Zhou Zhi-hua.Machine Learning.Beijing：Tsinghua University Press，2016.或者 Schulman J，Wolski F，Dhariwal P，Radford A，Klimov O.Proximal PolicyOptimization Algorithms，arXiv：1707.06347，2017.)，最终得到操作任务策略P。

至此，机器人操作平台完成了操作任务策略生成。

经过上述步骤，即可实现目标场景导向的机器人操作策略生成，为智能机器人操作平台实现复杂操作任务奠定基础。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种目标场景导向的机器人操作策略生成方法，其特征在于，包括以下步骤：

1.1)对初始任务场景和目标任务场景进行分析

1.2.1)根据操作任务场景中所需的机器人操作类型，定义机器人操作类型集合M＝{M₁，M₂，…，M_k，…M_m}，其中，k＝1，2，…，m，m为操作任务场景中涉及的机器人操作类型总个数，M_k为第k个机器人操作类型；

2.1)构建操作任务策略生成模型，该模型的输入为：步骤1)得到的操作任务场景分析结果，即D(O(O_i，scene，Q_i，scene)，T(T_i，start，T_i，target)，R(R_ij，scene，R_{ij，scene，c})，L(l))和操作任务元素分析结果，即机器人操作类型M_k和操作任务空间Ω，操作任务策略生成模型的输出为：生成的操作任务策略P，体现为操作序列W，包括每个操作所涉及的操作物体O_h、操作类型M_h和操作位姿T_h以及各个操作在时间上的先后顺序U_h(·)，即P＝W{U_h(O_h，M_h，T_h)}；

最小为生成操作任务策略的目标函数，计算公式如下：

其中：

J₁为机器人目标位姿匹配程度，

J₂为机器人完成所有操作任务所花费的操作时间，

J₃为机器人操作空间匹配程度，

B_h为操作任务场景中机器人完成操作任务类型M_h对应的操作任务时涉及的实际操作任务空间边界值B_{Ω，h，real}与给定操作任务空间边界值B_Ω，h的差值，当B_{Ω，h，real}-B_Ω，h＜0时，令B_h＝0；当B_{Ω，h，real}-B_Ω，h＞0时，令B_h＝B_{Ω，h，real}-B_Ω，h；

α_w为权重系数；

2.根据权利要求1所述的机器人操作策略生成方法，其特征在于，步骤1.1.2)中涉及的图像处理方法包括目标检测、实例分割和特征匹配。

3.根据权利要求1所述的机器人操作策略生成方法，其特征在于，步骤1.1.4)中物体O_i和物体O_j在某一操作任务场景scene中的相对位姿关系类别R_{ij，scene，c}包括上方、下方、在内部、在外部、平行、垂直或相交。