CN113427486A - 机械臂控制方法、装置、计算机设备、存储介质和机械臂 - Google Patents

Abstract

本申请涉及一种机械臂控制方法、装置、计算机设备、存储介质和机械臂。该方法包括：获取对象参数化模型，对象参数化模型包括通过标准参数表示的标准化模板模型及在标准化模板模型中标注的待操作位置和对应的操作参数；采集初始对象图像，对初始对象图像进行对象检测得到目标对象；根据目标对象进行三维建模得到对象参数，根据对象参数调整标准化模板模型中的标准参数得到对象三维模型；采集目标对象的点云数据，根据点云数据对对象三维模型进行匹配校准；根据所标准化模板模型与对象三维模型的对应关系，结合待操作位置确定匹配校准后的对象三维模型中的目标位置，并根据操作参数控制机械臂在目标位置执行预设操作。采用本方法能够提高操作效率。

Description

机械臂控制方法、装置、计算机设备、存储介质和机械臂

技术领域

本申请涉及人工智能技术领域，特别是涉及一种机械臂控制方法、装置、计算机设备、存储介质和机械臂。

背景技术

热玛吉是通过电磁波产生的热能，作用于肌肤，其产生的热量可到达肌肤真皮层和部分皮下层，激活皮肤胶原与纤维，重构胶原支架，从而实现紧肤、提拉及抗皱的功效。

传统技术中，首先护士会在治疗前把热玛吉紧肤特制的网格纸用酒精转印到面部。印到面部的每一个格子都有特定的序号标记，使医生可以根据皮肤状况，个性化地分配能量。在每一次的热玛吉操作过程中，首先医生会按照转印在脸上的网格进行固定的全脸打点治疗过程，目的是为了第一次脸部能量能够均匀受热，在完成一遍全脸治疗后，会根据每个人的情况进行后续个性化治疗。

然而，目前的热玛吉操作过程，每次一均需要将网格纸进行转印，且人工进行操作，这样导致热玛吉操作效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高操作效率的机械臂控制方法、装置、计算机设备、存储介质和机械臂。

一种机械臂控制方法，所述方法包括：

获取对象参数化模型，所述对象参数化模型包括通过标准参数表示的标准化模板模型以及在所述标准化模板模型中标注的待操作位置和对应的操作参数；

采集初始对象图像，并对所述初始对象图像进行对象检测得到目标对象；

根据所述目标对象进行三维建模得到对象参数，并根据对象参数调整标准化模板模型中的标准参数以得到对象三维模型；

采集目标对象的点云数据，根据所述点云数据对所述对象三维模型进行匹配校准；

根据所述标准化模板模型与所述对象三维模型的对应关系，并结合所述待操作位置确定匹配校准后的所述对象三维模型中的目标位置，并根据所述操作参数控制机械臂在所述目标位置执行预设操作。

在其中一个实施例中，所述获取对象参数化模型，包括：

获取所述标准化模板模型；

在所述标准化模板模型上，确定与预设操作关联的所述待操作位置和对应的所述操作参数，从而生成所述对象参数化模型。

在其中一个实施例中，所述根据所述标准化模板模型与所述对象三维模型的对应关系，并结合所述待操作位置确定匹配校准后的所述对象三维模型中的目标位置，包括：

根据所述标准化模板模型与所述对象三维模型的对应关系，确定所述待操作位置在所述对象三维模型中的对应位置；

根据所述点云数据对所述对象三维模型的匹配校准关系，确定所述对应位置在所述对象三维模型中的目标位置。

在其中一个实施例中，所述根据所述目标位置控制机械臂，包括：

判断所述目标对象是否移动及所述机械臂是否与所述目标对象接触，当确定所述目标对象移动且所述机械臂与目标对象接触时，根据所述机械臂的力觉感知，控制所述机械臂跟随所述目标对象移动。

在其中一个实施例中，所述方法还包括：

当确定所述目标对象移动且所述机械臂未与目标对象接触时，则重新采集对象图像，并根据所述重新采集的对象图像对所述对象三维模型进行匹配校准，以获得匹配校准后的所述目标位置；

根据所述操作参数控制机械臂在所述匹配校准后的所述目标位置执行预设操作。

在其中一个实施例中，所述根据所述机械臂的力觉感知控制所述机械臂跟随所述目标对象移动，包括：

根据所述目标位置和所述对象三维模型得到机械臂末端的接触方向和与所述接触方向垂直的切向；

在所述接触方向上，控制所述机械臂与所述目标对象保持接触并保持接触力基本恒定；

在所述切向方向上，控制所述机械臂沿所述机械臂受到的切向力的方向运动。

一种机械臂控制装置，所述装置包括：

对象参数化模型获取模块，用于获取对象参数化模型，所述对象参数化模型包括通过标准参数表示的标准化模板模型以及在所述标准化模板模型中标注的待操作位置和对应的操作参数；

采集模块，用于采集初始对象图像，并对所述初始对象图像进行对象检测得到目标对象；

对象三维模型生成模块，用于根据所述目标对象进行三维建模得到对象参数，并根据对象参数调整标准化模板模型中的标准参数以得到对象三维模型；

匹配校准模块，用于采集目标对象的点云数据，根据所述点云数据对所述对象三维模型进行匹配校准；

控制模块，用于根据所述标准化模板模型与所述对象三维模型的对应关系，并结合所述待操作位置确定匹配校准后的所述对象三维模型中的目标位置，并根据所述操作参数控制机械臂在所述目标位置执行预设操作。

在其中一个实施例中，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

一种机械臂，所述机械臂用于执行上述的方法的步骤。

上述机械臂控制方法、装置、计算机设备、存储介质和机械臂，根据初始对象图像识别得到目标对象，并通过目标对象来进行三维建模得到对象参数，从而可以对对象参数化模型中的标准参数进行调整，从而得到符合目标对象的对象三维模型，这样与目标对象的点云数据进行匹配校准，且由于对象参数化模型中包括了与对象参数化模型对应的待操作位置，这样也即实现了在匹配校准后的对象三维模型上定位待操作位置，不再需要护士进行网格纸的转印，提高效率，且根据目标位置控制机械臂实现操作，不再需要人控制机械臂操作，更进一步地提高了效率。

附图说明

图1为一个实施例中机械臂控制方法的应用环境示意图；

图2为一个实施例中机械臂控制方法的流程示意图；

图3为一个搭建的设备的示意图；

图4为一个实施例中网格纸的示意图；

图5为图2所示实施例中的步骤S204的流程示意图；

图6为另一个实施例中机械臂控制方法的流程示意图；

图7为一个实施例中机械臂控制装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的机械臂控制方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与机械臂104进行通信。其中，终端可以通过图像采集设备106采集初始对象图像，并对初始对象图像进行对象检测得到目标对象，然后根据目标对象进行三维建模得到对象参数，这样根据这些对象参数调整标准化模板模型中的标准参数以得到对象三维模型，其中，对象三维参数模型包括通过标准参数表示的标准化模板模型以及在标准化模板模型中标注的待操作位置和对应的操作参数。终端采集目标对象的点云数据，根据点云数据对对象三维模型进行匹配校准，然后确定匹配校准后的对象三维模型中待操作位置的目标位置，并根据目标位置和操作参数控制机械臂104。当受治疗人员进行热玛吉处理时，不再需要护士进行网格纸的转印，提高效率，且根据目标位置控制机械臂实现操作，不再需要人控制机械臂操作，更进一步地提高了效率。

其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，机械臂104可以是单独的机械臂，或者是机器人的手臂等，在此不做具体限定。图像采集设备106可以为3D相机。

在一个实施例中，如图2所示，提供了一种机械臂控制方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

S202：获取对象参数化模型，对象参数化模型包括通过标准参数表示的标准化模板模型以及在标准化模板模型中标注的待操作位置和对应的操作参数。

具体地，对象三维参数模型也是在对机械臂进行控制之前准备工作时所生成的，该对象三维参数模型包括通过标准参数表示的标准化模板模型以及在标准化模板模型中标注的待操作位置和对应的操作参数。其中标准化模板模型是标准模板，其无形态变化，且通过标准参数来进行表征，例如该标准化模板模型是由用于表征人脸表面的若干点所形成的人脸模型，后续的对象三维模型则是根据每个人的不同调整标准化模板模型得到的，例如调整脸型、表情、姿态等，但所构成的点的数量不变，该标准化模板模型通过参数表征了对象包含的不同部位的位置以及姿态等的标准状态。待操作位置则是用于预先定义的每个操作阶段中机械臂的执行机构与对象接触的位置，而对应的操作参数则是在这些对应位置处需要执行的操作的相应参数。例如在热玛吉项目中，待操作位置可表征操作枪所发射能量的点的位置和顺序，而操作参数则可表征在对应的点上的操作枪能量级别。其中该待操作位置可以是通过网格来进行表示的。在准备阶段，待操作位置和对应的操作参数可以通过预设的指令或者操作人员的输入指令来对应到标准化模板模型上的点。

S204：采集初始对象图像，并对初始对象图像进行对象检测得到目标对象。

在一个实施例中，初始对象图像是RGB图像，其可以是图像采集设备所采集的。其中在对机械臂进行控制之前，先搭建图像采集设备，例如搭建RGB相机或3D相机以使得目标对象在该图像采集设备的视野下，此处以目标对象为人脸为例进行说明，移动相机使得人脸能在相机的视野下。此外还需要将操作枪绑定于机械臂的末端，同时标定操作枪的位置，具体可以参见图3所示。其中标定操作枪的位置是指确定操作枪相对机械臂的位置，操作枪与机械臂的位置关系可以在世界坐标系中体现，也可在机械臂的坐标系中体现，在此不做限定。

在将各个设备搭建完成后，终端控制图像采集设备采集初始对象图像，然后对初始对象图像进行对象检测得到目标对象。其中对象检测的方法可以是检测得到多个候选框，当候选框的置信度达到要求时，确定对应的目标对象。

其中仍以人脸为例，终端对初始对象图像进行人脸检测，并将人脸检测的候选框进行筛选，当人脸检测的候选框的置信度达到要求时，则输出该候选框的位置作为目标对象的位置。

S206：根据目标对象进行三维建模得到对象参数，并根据对象参数调整标准化模板模型中的标准参数得到对象三维模型。

终端对目标对象进行三维建模得到对象参数，该对象参数即是表征了目标对象的形态变化的参数，以人脸为例，标准化模板模型是无表情的模板，而对象参数则是表征了人脸的形态和表情变化，这样根据该对象参数调整标准化模板模型中的标准参数即可以得到对象三维模型，即得到当前时刻目标对象的脸部的变化。

其中，三维建模的过程可以是通过任意用于人体参数化人脸模型的算法得到，例如采用3DDFA算法进行人脸三维建模，通过深度神经网络预测出参数化人脸模型的表情和形态参数，并进行三维建模。3DDFA是一种构建3D参数化人脸建模的算法，可以将图像中的人脸转化为三维人脸模型的算法。

在其中一个实施例中，终端还对对象三维模型进行坐标转换以得到世界坐标系下的对象三维模型。

具体地，对象三维模型是以RGB图像进行三维建模得到的，其是在相机坐标系下的，也即以相机内参数表征的，相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等。为了与真实人脸对象，终端将对象三维模型进行坐标转换以得到世界坐标系下的对象三维模型。

其中坐标转换是根据相机坐标系与世界坐标系的转换矩阵进行的，即根据相机外参来进行转换的，相机外参数是在世界坐标系中的参数，比如相机的位置、旋转方向等。

S208：采集目标对象的点云数据，根据点云数据对对象三维模型进行匹配校准。

具体地，点云数据是通过3D相机采集的目标对象的点云，其给出了目标对象的深度信息，其中根据目标对象的特定点的对应关系，终端将点云数据与世界坐标系下的对象三维模型进行匹配校准，以使得对象三维模型和真实世界中的目标对象校准，进而匹配校准后的对象三维模型可以表征真实世界中的目标对象的位置和姿态信息。

S210：根据标准化模板模型与对象三维模型的对应关系，并结合待操作位置确定匹配校准后的对象三维模型中的目标位置，并根据操作参数控制机械臂在目标位置执行预设操作。

具体地，由于终端根据对象参数调整了标准化模板模型中的标准参数，而标准化模板模型又与待操作位置对应，因此待操作位置也随对象参数而进行了位置调整，即在对象三维模型中的待操作位置是根据对象参数进行调整后的。这样匹配校准的过程中，终端根据对象参数的改变，也对应调整了待操作位置，也即匹配校准后的对象三维模型中的目标位置。具体地，终端在三维建模时，根据对象参数对标准参数进行了调整，由于标准参数与待操作位置是相关的，因此标准参数调整后，待操作位置也发生了改变。而在进行坐标转换时，对对象参数和待操作位置均进行了坐标转换，进而在匹配校准时，若标准参数发生了改变，则对应的待操作位置也发生了改变，从而得到了匹配校准后的对象三维模型中的目标位置。

进而终端根据操作参数控制机械臂移动至目标位置以执行预设操作，例如发射射频能量等。

上述机械臂控制方法，根据初始对象图像识别得到目标对象，并通过目标对象来进行三维建模得到对象参数，从而可以对对象三维参数模型中的标准参数进行调整，从而得到符合目标对象的对象三维模型，这样与目标对象的点云数据进行匹配校准，且由于对象三维参数模型中包括了与对象参数化模型对应的待操作位置，这样也即实现了在匹配校准后的对象三维模型上定位待操作位置，不再需要护士进行网格纸的转印，提高效率，且根据目标位置控制机械臂实现操作，不再需要人控制机械臂操作，更进一步地提高了效率。

在其中一个实施例中，在获取对象参数化模型之前，包括：获取标准化模板模型，在标准化模板模型上，确定与预设操作关联的待操作位置和对应的操作参数，从而生成对象参数化模型。

其中，终端可以显示该标准化模板模型，从而护士等根据需要在标准化模板模型中确定待操作位置以及对应的操作参数，其中待操作位置可以是指所需要注入射频能量的位置，操作参数则用于表征注入射频能量的多少等。

具体地，参见图4所示，图4为一个实施例中的网格纸的示意图，在该实施例中，结合网格纸的方式进行说明，其中在对机械臂进行控制之前的准备工作除了搭建设备外，还需要建立标准化模板模型和对应的网格的对应关系，通过将网格纸模型化，建立网格与标准化模板模型中的位置的对应关系。其中每个网格对应一个目标操作点，用户可以先根据需求对网格进行配置，即输入配置参数，从而根据配置参数确定待操作位置以及操作参数，即定义每一阶段操作中操作枪所发射能量的点的位置、顺序和能量级别，这样得到对象参数化模型，后续终端根据目标对象的真实位置来调整对象参数化模型中的标准参数以及待操作位置的位置，从而使得对象三维参数模型，也即对象三维模型可以表征真实世界中的目标对象。

在其中一个实施例中，参见图5所示，上述步骤S210，即根据标准化模板模型与对象三维模型的对应关系，并结合待操作位置确定匹配校准后的对象三维模型中的目标位置，包括：

S2102：根据标准化模板模型与对象三维模型的对应关系，确定待操作位置在对象三维模型中的对应位置。

具体地，标准化模板模型是标准模板，其无形态变化，且通过标准参数来进行表征，例如通过固定点和三角面片形成。对象参数是对应的实际用户的脸型、表情、姿态的参数，通过该对象参数调整标准化模板模型的中的标准参数以得到符合实际用户的目标对象的三维模型。

其中，标准化模板模型与待操作位置的对应关系是预先设置的，如上文所述，将网格纸模型化以建立与标准化模板模型的对应关系，从而每个网格的位置可以通过对应的标准参数来表征，这样当标准参数发生改变时，由其表征的待操作位置也发生了改变。因此终端根据标准化模板模型与待操作位置的对应关系可以调整待操作位置的位置，以得到在对象三维模型中的对应位置。

S2104：根据点云数据对对象三维模型的匹配校准关系，确定对应位置在对象三维模型中的目标位置。

具体地，终端根据点云数据对对象三维模型匹配校准后，此时对象参数发生了变化，进而根据变化的对象参数可以确定待操作位置在匹配校准后的对象三维模型中的目标位置，也即获得了实际要操作的位置。

在其中一个实施例中，根据操作参数控制机械臂在目标位置执行预设操作，包括：判断目标对象是否移动以及机械臂是否与目标对象接触；当目标对象移动且机械臂与目标对象接触，则通过机械臂的力觉感知，控制机械臂跟随目标对象移动。

在其中一个实施例中，当目标对象移动且机械臂未与目标对象接触，则继续采集初始对象图像，并根据重新采集的对象图像对对象三维模型进行匹配校准，以获得匹配校准后的所述目标位置；根据操作参数控制机械臂在匹配校准后的目标位置执行预设操作。

具体地，对于机械臂与目标对象是否接触可以通过机械臂位置和目标对象位置的位置关系来进行判断，或者是通过机械臂末端的受力来进行判断，在此不做具体限制。

具体地，在实际机械臂操作过程中，目标对象可能会发生移动，若是机械臂已经与目标对象接触，则通过机械臂末端安装的力与力矩传感器获取到目标对象相对于机械臂的移动方向和移动距离，这样通过力觉感知控制机械臂跟随目标对象进行相应的移动，保证在操作过程中，目标对象的移动不会导致操作枪触发的失败，提升了操作头耗材使用率。

当目标对象移动时，机械臂未与目标对象接触，而是朝向目标位置移动，则终端重新根据3D相机采集初始对象图像，然后重新建立对象三维模型，并与实际中的目标对象的点云数据进行匹配校正，从而重新确定目标位置，并且发送新的目标位置到机械臂，使得机械臂在移动过程中能及时跟随目标对象的目标位置进行校正移动。

上述实施例中，在操作过程中，根据目标对象的移动来确定机械臂的移动，不会导致操作枪触发失败。

在其中一个实施例中，根据机械臂的力觉感知控制机械臂跟随目标对象移动，包括：根据目标位置和对象三维模型得到机械臂末端的接触方向和与接触方向垂直的切向；在接触方向上，控制机械臂与目标对象保持接触并保持接触力基本恒定；在切向方向上，控制机械臂沿机械臂受到的切向力的方向运动。

具体地，对于每个待操作位置所对应的世界坐标系下匹配校准的目标位置，其表征了机械臂相对于机器人底座的相对位置，因此终端根据该目标位置可以计算得到机械臂末端法向量方向。对象参数模型中包含表征对象表面的多个点，若需获取其中一个点的接触方向，则通过分析该点与其周边点所构成的面可以得到，此方法是本领域技术人员所熟知的，在此不再进一步展开说明。

其中，在接触方向上，即法向方向上，终端控制机械臂与目标对象保持接触并保持接触力基本恒定；在切向方向上，控制机械臂沿机械臂受到的切向力的方向运动。

具体地，为了方便理解，提供一个热玛吉操作的实施例，需要说明的是，在该实施例中以热玛吉为例进行介绍，但是本申请所涉及的机械臂操作方法并不限于热玛吉操作，该实施例中目标对象为人脸，具体可以包括准备步骤和实际处理步骤，其中准备步骤包括搭建3D相机以使得人脸位于3D相机的视野下，将操作枪绑定于机械臂的末端，并通过机械臂的底座的坐标系来标定操作枪的位置。获取人脸标准化模板模型，将网格纸模型化，以建立网格纸中每个网格与人脸标准化模板模型的对应关系，具体地，人脸标准化模板模型通过各种标准参数表征，建立标准参数中表征位置的参数与每个网格的对应关系。其中为了保证网格的唯一性，每个网格均编写有不同的顺序编号。通过终端来设置每个网格所对应的待操作位置所需要的不同能量等级、顺序以及连续打点的次数，这样在后续的操作过程中只需在预先定义的人脸标准化模板模型上提前编写好待操作位置的情况，便可启动机械臂进行治疗打点。

实际处理步骤则包括：首先获取到初始人脸图像，然后对该初始人脸图像进行识别得到目标人脸，进而根据目标人脸进行三维重建以得到对象参数，这样根据该对象参数即可以调整人脸标准化模板模型中的标准参数，进而根据调整后的标准参数可以计算得到调整后的待操作位置，从而得到与用户符合的三维人脸模型。

由于此时是以相机坐标系进行位置的表示，因此为了与实际中的人脸建立关联，将三维人脸模型转换为世界坐标系下，即将调整后的标准参数以及调整后的待操作位置均进行坐标转换至世界坐标系下。

终端通过3D相机采集到真实人脸的点云数据，并通过真实人脸的点云数据与世界坐标系下的三维人脸模型进行匹配校准，以使得世界坐标系下的三维人脸模型可以准确表征真实人脸，其中匹配校准包括对世界坐标系下的调整后的标准参数以及调整后的待操作位置进行校准，为了方便，匹配校准后的世界坐标系下的调整后的待操作位置称为目标位置。

终端根据目标位置来计算得到机械臂末端法向量方向和切向范围，即XY方向，确保操作枪的探头和网格完全贴合。从而终端根据机械臂末端法向量方向和切向范围控制机械臂的工作。

可选地，若在工作过程中，人脸发生移动，若是机械臂已经与目标对象接触，则通过机械臂末端安装的力与力矩传感器获取到目标对象相对于机械臂的移动方向和移动距离，这样通过力觉感知控制机械臂跟随目标对象进行相应的移动，保证在操作过程中，目标对象的移动不会导致操作枪触发的失败，提升了操作头耗材使用率。

当目标对象移动时，机械臂未与目标对象接触，而是朝向目标位置移动，则终端重新根据3D相机采集初始对象图像，然后重新建立对象三维模型，并与实际中的目标对象的点云数据进行匹配校正，从而重新确定目标位置，并且发送新的目标位置到机械臂，使得机械臂在移动过程中能及时跟随目标对象的目标位置进行校正移动。

上述实施例中，自动化机械臂来进行热玛吉操作，节省医生人力重复相同的操作，为后续个性化操作提高了效率。且舍弃传统酒精转印网格的步骤，使得做热玛吉的人体验感上升，对于脸部酒精过敏的人群也能使用热玛吉进行操作。在操作过程中，人脸的移动不会导致热玛吉枪头触发的失败，提升了操作头耗材使用率。

应该理解的是，虽然图2、图5和图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图5和图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种机械臂控制装置，包括：对象参数化模型获取模块701、采集模块702、对象三维模型生成模块703、匹配校准模块704和控制模块705，其中：

对象参数化模型获取模块701，用于获取对象参数化模型，对象参数化模型包括通过标准参数表示的标准化模板模型以及在表转化模板模型中标注的待操作位置和对应的操作参数；

采集模块702，用于采集初始对象图像，并对初始对象图像进行对象检测得到目标对象；

对象三维模型生成模块703，用于根据目标对象进行三维建模得到对象参数，并根据对象参数调整标准化模板模型中的标准参数以得到对象三维模型；

匹配校准模块704，用于采集目标对象的点云数据，根据点云数据对对象三维模型进行匹配校准；

控制模块705，用于根据标准化模板模型与对象三维模型的对应关系，并结合待操作位置确定匹配校准后的对象三维模型中的目标位置，并根据操作参数控制机械臂在目标位置执行预设操作。

在其中一个实施例中，上述的对象参数化模型获取模块701包括：

标准化模板模型获取单元，用于获取标准化模板模型；

生成单元，用于在标准化模板模型上，确定与预设操作关联的待操作位置和对应的操作参数，从而生成对象参数化模型。

在其中一个实施例中，上述的控制模块705包括：

第一位置确定单元，用于根据标准化模板模型与对象三维模型的对应关系，确定待操作位置在对象三维模型中的对应位置；

第二位置确定单元，用于根据点云数据对对象三维模型的匹配校准关系，确定对应位置在对象三维模型中的目标位置。

在其中一个实施例中，上述的控制模块705用于判断目标对象是否移动及机械臂是否与目标对象接触，当确定目标对象移动且机械臂与目标对象接触时，根据机械臂的力觉感知，控制机械臂跟随目标对象移动。

在其中一个实施例中，上述的控制模块705用于当确定目标对象移动且机械臂未与目标对象接触时，则重新采集对象图像，并根据重新采集的对象图像对对象三维模型进行匹配校准，以获得匹配校准后的目标位置；根据操作参数控制机械臂在匹配校准后的目标位置执行预设操作。

在其中一个实施例中，上述的控制模块705包括：

方向确定单元，用于根据目标位置和对象三维模型得到机械臂末端的接触方向和与接触方向垂直的切向；

控制单元，用于在接触方向上，控制机械臂与目标对象保持接触并保持接触力基本恒定；在切向方向上，控制机械臂沿机械臂受到的切向力的方向运动。

关于机械臂控制装置的具体限定可以参见上文中对于机械臂控制方法的限定，在此不再赘述。上述机械臂控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

其中，本申请还提供一种机械臂，机械臂用于执行上述任意一个实施例中的方法的步骤。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种机械臂控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取对象参数化模型，对象参数化模型包括通过标准参数表示的标准化模板模型以及在标准化模板模型中标注的待操作位置和对应的操作参数；采集初始对象图像，并对初始对象图像进行对象检测得到目标对象；根据目标对象进行三维建模得到对象参数，并根据对象参数调整标准化模板模型中的标准参数以得到对象三维模型；采集目标对象的点云数据，根据点云数据对对象三维模型进行匹配校准；根据标准化模板模型与对象三维模型的对应关系，并结合待操作位置确定匹配校准后的对象三维模型中的目标位置，并根据操作参数控制机械臂在目标位置执行预设操作。

在一个实施例中，处理器执行计算机程序时所实现的获取对象参数化模型，包括：获取标准化模板模型；在标准化模板模型上，确定与预设操作关联的待操作位置和对应的操作参数，从而生成对象参数化模型。

在一个实施例中，处理器执行计算机程序时所实现的根据标准化模板模型与对象三维模型的对应关系，并结合待操作位置确定匹配校准后的对象三维模型中的目标位置，包括：根据标准化模板模型与对象三维模型的对应关系，确定待操作位置在对象三维模型中的对应位置；根据点云数据对对象三维模型的匹配校准关系，确定对应位置在对象三维模型中的目标位置。

在一个实施例中，处理器执行计算机程序时所实现的根据操作参数控制机械臂在目标位置执行预设操作，包括：判断目标对象是否移动及机械臂是否与目标对象接触，当确定目标对象移动且机械臂与目标对象接触时，根据机械臂的力觉感知，控制机械臂跟随目标对象移动。

在一个实施例中，处理器执行计算机程序时还执行以下步骤：当确定目标对象移动且机械臂未与目标对象接触时，则重新采集对象图像，并根据重新采集的对象图像对对象三维模型进行匹配校准，以获得匹配校准后的目标位置；根据操作参数控制机械臂在匹配校准后的目标位置执行预设操作。

在一个实施例中，处理器执行计算机程序时所实现的根据机械臂的力觉感知控制机械臂跟随目标对象移动，包括：根据目标位置和对象三维模型得到机械臂末端的接触方向和与接触方向垂直的切向；在接触方向上，控制机械臂与目标对象保持接触并保持接触力基本恒定；在切向方向上，控制机械臂沿机械臂受到的切向力的方向运动。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取对象参数化模型，对象参数化模型包括通过标准参数表示的标准化模板模型以及在标准化模板模型中标注的待操作位置和对应的操作参数；采集初始对象图像，并对初始对象图像进行对象检测得到目标对象；根据目标对象进行三维建模得到对象参数，并根据对象参数调整标准化模板模型中的标准参数以得到对象三维模型；采集目标对象的点云数据，根据点云数据对对象三维模型进行匹配校准；根据标准化模板模型与对象三维模型的对应关系，并结合待操作位置确定匹配校准后的对象三维模型中的目标位置，并根据操作参数控制机械臂在目标位置执行预设操作。

在一个实施例中，计算机程序被处理器执行时所实现的获取对象参数化模型，包括：获取标准化模板模型；在标准化模板模型上，确定与预设操作关联的待操作位置和对应的操作参数，从而生成对象参数化模型。

在一个实施例中，计算机程序被处理器执行时所实现的根据标准化模板模型与对象三维模型的对应关系，并结合待操作位置确定匹配校准后的对象三维模型中的目标位置，包括：根据标准化模板模型与对象三维模型的对应关系，确定待操作位置在对象三维模型中的对应位置；根据点云数据对对象三维模型的匹配校准关系，确定对应位置在对象三维模型中的目标位置。

在一个实施例中，计算机程序被处理器执行时所实现的根据操作参数控制机械臂在目标位置执行预设操作，包括：判断目标对象是否移动及机械臂是否与目标对象接触，当确定目标对象移动且机械臂与目标对象接触时，根据机械臂的力觉感知，控制机械臂跟随目标对象移动。

在一个实施例中，计算机程序被处理器执行时还执行以下步骤：当确定目标对象移动且机械臂未与目标对象接触时，则重新采集对象图像，并根据重新采集的对象图像对对象三维模型进行匹配校准，以获得匹配校准后的目标位置；根据操作参数控制机械臂在匹配校准后的目标位置执行预设操作。

在一个实施例中，计算机程序被处理器执行时所实现的根据机械臂的力觉感知控制机械臂跟随目标对象移动，包括：根据目标位置和对象三维模型得到机械臂末端的接触方向和与接触方向垂直的切向；在接触方向上，控制机械臂与目标对象保持接触并保持接触力基本恒定；在切向方向上，控制机械臂沿机械臂受到的切向力的方向运动。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机械臂控制方法，其特征在于，所述方法包括：

获取对象参数化模型，所述对象参数化模型包括通过标准参数表示的标准化模板模型以及在所述标准化模板模型中标注的待操作位置和对应的操作参数；

采集初始对象图像，并对所述初始对象图像进行对象检测得到目标对象；

根据所述目标对象进行三维建模得到对象参数，并根据对象参数调整标准化模板模型中的标准参数以得到对象三维模型；

采集目标对象的点云数据，根据所述点云数据对所述对象三维模型进行匹配校准；

根据所述标准化模板模型与所述对象三维模型的对应关系，并结合所述待操作位置确定匹配校准后的所述对象三维模型中的目标位置，并根据所述操作参数控制机械臂在所述目标位置执行预设操作。

2.根据权利要求1所述的方法，其特征在于，所述获取对象参数化模型，包括：

获取所述标准化模板模型；

在所述标准化模板模型上，确定与预设操作关联的所述待操作位置和对应的所述操作参数，从而生成所述对象参数化模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述标准化模板模型与所述对象三维模型的对应关系，并结合所述待操作位置确定匹配校准后的所述对象三维模型中的目标位置，包括：

根据所述标准化模板模型与所述对象三维模型的对应关系，确定所述待操作位置在所述对象三维模型中的对应位置；

根据所述点云数据对所述对象三维模型的匹配校准关系，确定所述对应位置在所述对象三维模型中的目标位置。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据所述操作参数控制机械臂在所述目标位置执行预设操作，包括：

判断所述目标对象是否移动及所述机械臂是否与所述目标对象接触，当确定所述目标对象移动且所述机械臂与目标对象接触时，根据所述机械臂的力觉感知，控制所述机械臂跟随所述目标对象移动。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当确定所述目标对象移动且所述机械臂未与目标对象接触时，则重新采集对象图像，并根据所述重新采集的对象图像对所述对象三维模型进行匹配校准，以获得匹配校准后的所述目标位置；

根据所述操作参数控制机械臂在所述匹配校准后的所述目标位置执行预设操作。

6.根据权利要求4所述的方法，其特征在于，所述根据所述机械臂的力觉感知控制所述机械臂跟随所述目标对象移动，包括：

根据所述目标位置和所述对象三维模型得到机械臂末端的接触方向和与所述接触方向垂直的切向；

在所述接触方向上，控制所述机械臂与所述目标对象保持接触并保持接触力基本恒定；

在所述切向方向上，控制所述机械臂沿所述机械臂受到的切向力的方向运动。

7.一种机械臂控制装置，其特征在于，所述装置包括：

对象参数化模型获取模块，用于获取对象参数化模型，所述对象参数化模型包括通过标准参数表示的标准化模板模型以及在所述表转化模板模型中标注的待操作位置和对应的操作参数；

采集模块，用于采集初始对象图像，并对所述初始对象图像进行对象检测得到目标对象；

对象三维模型生成模块，用于根据所述目标对象进行三维建模得到对象参数，并根据对象参数调整标准化模板模型中的标准参数以得到对象三维模型；

匹配校准模块，用于采集目标对象的点云数据，根据所述点云数据对所述对象三维模型进行匹配校准；

控制模块，用于根据所述标准化模板模型与所述对象三维模型的对应关系，并结合所述待操作位置确定匹配校准后的所述对象三维模型中的目标位置，并根据所述操作参数控制机械臂在所述目标位置执行预设操作。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种机械臂，其特征在于，所述机械臂用于执行权利要求1至6任一项所述的方法的步骤。

Images