CN110210367B - 一种训练数据的获取方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及数据处理领域，公开了一种训练数据的获取方法、电子设备及存储介质。本申请的部分实施例中，获取方法包括：获取第一训练图像；确定第一训练图像中的第一训练物体的初始抓取位置信息；根据第一训练物体的初始抓取位置信息，抓取第一训练物体，并根据抓取结果，确定实际抓取信息，实际抓取信息包括第一训练物体的实际抓取位置信息，或，实际抓取信息包括第一训练物体的实际抓取位置信息和第一训练物体的初始抓取位置信息之间的抓取误差信息；根据实际抓取信息，确定预估模型的训练数据。该实现中，使得训练数据更为准确，预估模型的准确度更高。

Description

一种训练数据的获取方法、电子设备及存储介质

技术领域

本发明实施例涉及数据处理领域，特别涉及一种训练数据的获取方法、电子设备及存储介质。

背景技术

物体抓取是机器人领域被广泛研究的问题，主要包括几何分析方法或者数据驱动的推理方法。几何分析方法通常假定物体以及抓握点都是已知，研究机器人不使用额外扳手抓取物体的能力。数据驱动的推理方法通常使用机器学习算法直接或间接推理出机器人成功抓取的姿态。

然而，发明人发现现有技术中至少存在如下问题：当前方法在真实物理抓取上的误差较大，表现效果并不好。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施方式的目的在于提供一种训练数据的获取方法、电子设备及存储介质，使得训练数据更为准确，预估模型的准确度更高。

为解决上述技术问题，本发明的实施方式提供了一种训练数据的获取方法，包括以下步骤：获取第一训练图像；确定第一训练图像中的第一训练物体的初始抓取位置信息；根据第一训练物体的初始抓取位置信息，抓取第一训练物体，并根据抓取结果，确定实际抓取信息，实际抓取信息包括第一训练物体的实际抓取位置信息，或，实际抓取信息包括第一训练物体的实际抓取位置信息和第一训练物体的初始抓取位置信息之间的抓取误差信息；根据实际抓取信息，确定预估模型的训练数据。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施方式提及的训练数据的获取方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的训练数据的获取方法。

本发明实施方式相对于现有技术而言，电子设备根据实际抓取第一训练物体过程中产生的实际抓取信息，确定电子设备的预估模型的训练数据，可以排除由于电子设备的传感器的误差等因素导致的初始抓取位置不准确的问题，提高了训练数据的准确度。由于训练数据更为准确，使得通过该训练数据训练得到的预估模型的准确度更高，提高了电子设备成功抓取物体的概率。

另外，根据第一训练物体的初始抓取位置信息，抓取第一训练物体，并根据抓取结果，确定实际抓取信息，具体包括：在一次抓取过程中，将抓取器移动至第一训练物体的初始抓取位置信息所指示的位置；移动抓取器的位置，并抓取第一训练物体；确定抓取结果；判断抓取结果是否指示抓取成功；若确定是，根据抓取器的移动信息，确定实际抓取信息；若确定不是，进行下一次的抓取过程，直至抓取结果指示抓取成功；其中，抓取器的移动信息包括抓取器的偏移量或抓取器移动后的位置信息。该实现中，电子设备能够自动确认抓取结果，提高了电子设备的智能性。

另外，确定抓取结果，具体包括：若确定检测到的力反馈数值大于第一预设值，且，抓取器之间的距离大于第二预设值，则确定抓取结果指示抓取成功；若确定力反馈数值不大于第一预设值，或，抓取器之间的距离不大于第二预设值，则确定抓取结果指示抓取失败。

另外，实际抓取信息为抓取误差信息，预估模型为误差预估模型；在将抓取器移动至第一训练物体的初始抓取位置信息所指示的位置之后，训练数据的获取方法还包括：对第一训练物体进行拍摄，得到第一训练物体的第二训练图像；根据实际抓取信息，确定预估模型的训练数据，具体包括：根据抓取误差信息和第二训练图像，确定误差预估模型的训练数据。该实现中，使得训练过程中能够提取更多的有用特征，提高了训练得到的误差预估模型的准确性。

另外，根据所述抓取误差信息和所述第二训练图像，确定所述误差预估模型的训练数据，具体包括：使用所述第一训练物体的蒙板，对所述第二训练图像进行处理；将处理后的第二训练图像作为所述误差预估模型的训练数据中的输入数据，将所述抓取误差信息作为所述误差预估模型的训练数据中的输出数据；基于所述误差预估模型的训练数据，对所述误差预估模型进行训练。该实现中，进一步去除了第二训练图像中的背景像素，减少了第二训练图像中的干扰因素。

另外，在基于误差预估模型的训练数据，对误差预估模型进行训练之后，训练数据的训练方法还包括：获取目标物体的第一图像；根据第一图像，确定目标物体的初始抓取位置信息；将抓取器移动至初始抓取位置信息所指示的位置，对目标物体进行拍摄，得到目标物体的第二图像；根据目标物体的第二图像和训练后的误差预估模型，得到目标物体的抓取误差信息；根据目标物体的抓取误差信息，确定目标物体的实际抓取位置信息。该实现中，使得可以提高成功抓取物体的概率。

另外，在基于误差预估模型的训练数据，对误差预估模型进行训练之后，训练数据的训练方法还包括：获取第三训练图像；确定第三训练图像中的第二训练物体的初始抓取位置信息；根据第三训练图像和训练后的误差预估模型，得到第二训练物体的抓取误差信息；根据第二训练物体的抓取误差信息和第二训练物体的初始抓取位置信息，确定第二训练物体的实际抓取位置信息；根据第三训练图像和第二训练物体的实际抓取位置信息，确定位置预估模型的训练数据，对位置预估模型进行训练。该实现中，使用误差预估模型对位置预估模型的训练数据进行修正，减少了位置预估模型的训练数据的误差，进而提高了位置预估模型的准确性。

另外，实际抓取信息为第一训练物体的实际抓取位置信息，预估模型为位置预估模型，预估模型的训练数据包括第一训练图像和第一训练物体的实际抓取位置信息。在根据实际抓取信息，确定预估模型的训练数据之后，训练数据的获取方法还包括：根据第一训练图像和第一训练物体的实际抓取位置信息，对位置预估模型进行训练。该实现中，使用实际抓取位置信息对位置预估模型进行训练，减少了训练数据的误差，提高了位置预估模型的准确性。

另外，在对位置预估模型进行训练之后，训练数据的获取方法还包括：获取目标物体的第一图像；将第一图像输入训练后的位置预估模型，得到目标物体的实际抓取位置信息。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明的第一实施方式的训练数据的获取方法的流程图；

图2是本发明的第一实施方式的使用误差预估模型修正位置预估模型的训练数据的方法示意图；

图3是本发明的第二实施方式的确定实际抓取位置的具体实现示意图；

图4是本发明的第三实施方式的训练数据的获取装置的结构示意图；

图5是本发明的第四实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种训练数据的获取方法，应用于电子设备，例如，机器人。如图1所示，训练数据的获取方法包括：

步骤101：获取第一训练图像。

具体地说，电子设备可以通过图像传感器采集第一训练物体的第一训练图像，也可以通过自身的通信装置，从外界获得的训练数据中的训练图像，本实施方式不限制第一训练图像的获取方式。

步骤102：确定第一训练图像中的第一训练物体的初始抓取位置信息。

具体地说，电子设备可以通过识别第一训练图像中的标记，来确定第一训练物体的初始抓取位置信息。由于电子设备中的传感器可能存在误差，例如深度摄像头等，即使第一训练图像中的标记正确，电子设备有可能仍然无法成功抓取第一训练物体，即第一训练图像的初始抓取位置信息对于该电子设备而言是不准确的。因此，电子设备需要通过执行本实施方式提及的训练数据的获取方法，对重新确定适用于本电子设备，或者，与本电子设备使用相同传感器的其他电子设备的训练数据。

需要说明的是，本领域技术人员可以理解，实际应用中，电子设备也可以将第一训练图像与预先建立的标记有抓取位置的第一训练物体的3D模型进行比较，确定第一训练物体的初始抓取位置信息，本实施方式不限制电子设备确定第一训练物体的初始抓取位置信息的方法。

步骤103：根据第一训练物体的初始抓取位置信息，抓取第一训练物体，并根据抓取结果，确定实际抓取信息。

具体地说，实际抓取信息包括第一训练物体的实际抓取位置信息，或，实际抓取信息包括第一训练物体的实际抓取位置信息和第一训练物体的初始抓取位置信息之间的抓取误差信息。

在一个例子中，电子设备确定实际抓取信息的过程如下：在一次抓取过程中，将抓取器移动至第一训练物体的初始抓取位置信息所指示的位置；移动抓取器的位置，并抓取第一训练物体；确定抓取结果；判断抓取结果是否指示抓取成功；若确定是，根据抓取器的移动信息，确定实际抓取信息；若确定不是，进行下一次的抓取过程，直至抓取结果指示抓取成功；其中，抓取器的移动信息包括抓取器的偏移量或抓取器移动后的位置信息。

需要说明的是，本领域技术人员可以理解，实际应用中，也可以通过其他方式来确定实际抓取位置信息，例如，电子设备根据第一训练物体的初始抓取位置信息，随机生成一系列的候选抓取位置信息，依次将抓取器移动至每个候选抓取位置信息，直至抓取结果指示抓取成功，根据候选抓取位置信息，确定实际抓取信息。本实施方式不限制确定实际抓取信息的方式。

在一个例子中，电子设备确定抓取结果的方式为：电子设备若确定检测到的力反馈数值大于第一预设值，且，抓取器之间的距离大于第二预设值，则确定抓取结果指示抓取成功；若确定力反馈数值不大于第一预设值，或，抓取器之间的距离不大于第二预设值，则确定抓取结果指示抓取失败。

值得一提的是，电子设备能够自动确认抓取结果，提高了电子设备的智能性。

需要说明的是，本领域技术人员可以理解，第一预设值和第二预设值可以根据电子设备的构造或第一训练物体的结构特征确定。例如，若第一训练物体的质量为n KG(千克)，则可以将第一预设值设置为n*9.8*0.2N(牛顿)，其中，n为正数。又如，若第一训练物体的宽度范围为[m1，m2]cm(厘米)，可以将第二预设值设置为m1cm，本实施方式不限制第一预设值和第二预设值的具体数值。

需要说明的是，电子设备也可以通过其他方式确定抓取结果，例如，电子设备为机器人时，可以通过在机器人的抓取器上设置接触传感器，若接触传感器传输的信号指示抓取器与第一训练物体接触，则认为抓取成功，否则，认为抓取失败。本领域技术人员可以理解，实际应用中，可以从机器人的结构、成本等角度，根据需要来设置确定抓取结果的方法。

需要说明的是，本领域技术人员可以理解，电子设备可以随机移动抓取器的位置，也可以按照预设的规则移动抓取器的位置，本实施方式不限制移动抓取器的位置的方式。

步骤104：根据实际抓取信息，确定预估模型的训练数据。

具体地说，预估模型可以是误差预估模型，也可以是位置预估模型。误差预估模型用于根据输入的目标物体的图像，确定目标物体的抓取误差信息，进而使得电子设备可以根据该抓取误差信息以及目标物体的初始抓取位置信息，确定目标物体的实际抓取位置信息。位置预估模型用于根据输入的目标物体的图像，确定目标物体的实际抓取位置。

通过上述内容可知，相对于直接使用第一训练图像和使用初始抓取位置信息作为训练数据的方法而言，本实施方式中，电子设备根据实际抓取第一训练物体过程中产生的实际抓取信息，确定电子设备的预估模型的训练数据，可以排除由于电子设备的传感器的误差等因素导致的初始抓取位置不准确的问题，提高了训练数据的准确度。由于训练数据更为准确，使得通过该训练数据训练得到的预估模型的准确度更高。

以下针对实际抓取信息为抓取误差信息，预估模型为误差预估模型的情况，电子设备可以有选择地执行的操作进行举例说明。

在一个例子中，电子设备在将抓取器移动至第一训练物体的初始抓取位置信息所指示的位置(简称初始抓取位置)之后，对第一训练物体进行拍摄，得到第一训练物体的第二训练图像。电子设备根据抓取误差信息和第二训练图像，确定误差预估模型的训练数据。

在一个例子中，电子设备在得到第一训练物体的第二训练图像后，使用所述第一训练物体的蒙板，对所述第二训练图像进行处理；将处理后的第二训练图像作为所述误差预估模型的训练数据中的输入数据，将所述抓取误差信息作为所述误差预估模型的训练数据中的输出数据；基于所述误差预估模型的训练数据，对所述误差预估模型进行训练。

需要说明的是，本领域技术人员可以理解，误差预估模型可以是神经网络模型。该情况下，误差预估模型的训练过程主要为对输入图像数据进行多次卷积、池化及全连接操作，建立与输出数据的联系，得到误差预估模型中的训练参数。

值得一提的是，由于初始抓取位置距离第一训练物体更近，在初始抓取位置处拍摄的第二训练图像中，第一训练物体对应的像素在第二训练图像的总像素中的占比更高，减少了第二训练图像中的干扰因素，将第二训练图像作为训练数据，提高了训练得到的误差预估模型准确性。

值得一提的是，电子设备使用第一训练物体的蒙板，对第二预设图像进行处理，去除第二训练图像中除所述第一训练物体以外像素，可以减少背景像素在误差训练模型的训练过程中产生的干扰。

以下结合实际情况，对电子设备确定误差预估模型的训练数据的方法进行举例说明。

假设，电子设备为机器人。为了训练误差预估模型，需要大量已知误差的训练数据。首先，将机器人的抓取器移动到初始抓取位置(x，y)，有选择地，可以将抓取器中轴与水平轴的夹角调整为θ。其中，x表示初始抓取位置的横坐标，y表示初始抓取位置的纵坐标。θ为机器人根据第一训练图像确定的抓取器抓取第一训练物体时的抓取器中轴与水平轴的夹角的角度。机器人记录当前视角下的第一训练物体的第二训练图像，使用第一训练物体的蒙板，对第二训练图像进行处理，以去除第二训练图像中的背景图像。其次，机器人在初始抓取位置的邻域随机移动抓取器，满足Δx∈[-2cm,2cm]，Δy∈[-2cm,2cm]，其中，Δx表示抓取器沿x轴正方向移动的距离，Δy表示抓取器沿y轴正方向移动的距离，cm表示厘米。机器人控制抓取器从移动后的位置出发，进行抓取。机器人判断抓取是否成功；如果抓取成功，则记录(Δx，Δy)，将(Δx，Δy)作为抓取误差信息；否则，重新将抓取器移动到初始抓取位置，尝试下一次抓取。机器人针对不同的训练图像，不断重复以上训练数据的获取方法，生成训练数据。

在一个例子中，电子设备在完成误差预估模型的训练后，可以使用误差预估模型来预估目标物体的实际抓取位置。

在一个例子中，电子设备在对误差预估模型进行训练之后，使用误差预估模型来修正产生位置预估模型的训练数据。具体地说，电子设备使用误差预估模型修正位置预估模型的训练数据的方法示意图如图2所示，包括以下步骤：

步骤201：获取第三训练图像，确定第三训练图像中的第二训练物体的初始抓取位置信息。

具体地说，第三训练图像可以是原有的训练图像集中的图像，第三训练图像中标记有初始抓取位置。电子设备通过识别第三训练图像中的标记，确定第二训练物体的初始抓取位置信息。

在一个例子中，电子设备根据第三训练图像中的标记，确定第二训练物体的抓取角度，以便电子设备能够有效抓取第二训练物体，避免出现由于抓取角度错误而物体滑落或无法抓取的情况。

步骤202：根据第三训练图像和训练后的误差预估模型，得到第二训练物体的抓取误差信息。

具体地说，由于电子设备中的传感器可能存在误差，例如深度摄像头等，即使第三训练图像中的标记正确，电子设备有可能仍然无法成功抓取第二训练物体，即该训练数据集对于该电子设备而言是不准确的。基于该情况，电子设备使用误差预估模型，确定第二训练物体的抓取误差信息。

在一个例子中，电子设备可以使用第二训练物体的蒙板对第三训练图像进行处理，去除第三训练图像中的背景图像的像素，以排除背景图像的像素所产生的干扰。将处理后的第三训练图像输入训练后的误差预估模型，得到第二训练物体的抓取误差信息。

步骤203：根据第二训练物体的抓取误差信息和第二训练物体的初始抓取位置信息，确定第二训练物体的实际抓取位置信息。

例如，第二训练物体的初始抓取位置信息为(c，d)，抓取误差信息为(e，f)，则实际抓取位置信息为(c+e，d+f)。其中，c为第二训练物体的初始抓取位置的横坐标，d为第二训练物体的初始抓取位置的纵坐标，e为第二训练物体的实际抓取位置的横坐标和第二训练物体的初始抓取位置的横坐标的差，f为第二训练物体的实际抓取位置的纵坐标和第二训练物体的初始抓取位置的纵坐标的差。

步骤204：根据第三训练图像和第二训练物体的实际抓取位置信息，确定位置预估模型的训练数据，对位置预估模型进行训练。

在一个例子中，电子设备可以将第三训练图像作为位置预估模型的输入，第二训练物体的抓取角度和第二训练物体的实际抓取位置信息作为位置预估模型的输出，对位置预估模型进行训练。

值得一提的是，使用误差预估模型对位置预估模型的训练数据进行修正，减少了位置预估模型的训练数据的误差，进而提高了位置预估模型的准确性。

需要说明的是，本领域技术人员可以理解，实际应用中，误差预估模型也可以应用于其他场景，此处不一一列举。

以下针对实际抓取信息为第一训练物体的实际抓取位置信息，预估模型为位置预估模型的情况，电子设备可以有选择地执行的操作进行举例说明。

在一个例子中，实际抓取信息为第一训练物体的实际抓取位置信息，预估模型为位置预估模型，预估模型的训练数据包括第一训练图像和第一训练物体的实际抓取位置信息。电子设备在根据实际抓取信息，确定预估模型的训练数据之后，根据第一训练图像和第一训练物体的实际抓取位置信息，对位置预估模型进行训练。

在一个例子中，电子设备将第一训练图像和第一训练物体的实际抓取位置信息，作为位置预估模型的训练数据。

以下结合实际情况，对电子设备获取位置预估模型的训练数据的方法进行举例说明。

假设，电子设备为机器人。机器人通过执行误差预估模型的训练数据的获取方法中所提及的方法，记录(Δx，Δy)，根据(Δx，Δy)，以及(x，y)，确定实际抓取位置信息(x’，y’)，其中，x’表示第一训练物体的实际抓取位置的横坐标，y’表示第一训练物体的实际抓取位置的纵坐标。

在一个例子中，电子设备在位置预估模型完成训练后，使用位置预估模型来确定目标物体的实际抓取位置信息。具体地说，电子设备获取目标物体的第一图像；将第一图像输入训练后的位置预估模型，得到目标物体的实际抓取位置信息。

在一个例子中，位置预估模型包括5个卷积层和2个全连接层。电子设备在完成位置预估模型的训练后，输入目标物体的第一图像后，经过5个卷积层和2个全连接层，回归出目标物体的实际抓取位置。由于我们使用通过误差预估模型消除传感器误差后的训练数据训练得到位置预估模型，因而，该位置预估模型能够避免了传感器误差等因素对实际抓取位置的影响，能够保证更高的实际抓取成功率。

例如，电子设备为机器人。首先，准备好机器人，包括机器人底座、机械臂和深度摄像头等，然后将目标物体放置在机器人的机械臂前方的桌面上，采集当前位置下的RGB图像和深度(Depth)图像。机器人针对目标物体的RGB图像和Depth图像，使用位置预估模型，估计得到实际抓取位置和机械臂的中心轴与水平轴夹角，实际抓取位置的中心点坐标为(a，b)，其中，a表示实际抓取位置的横坐标，b表示实际抓取位置的纵坐标，将机械臂上的抓取器移动至该位置，执行抓取。

值得一提的是，使用实际抓取位置信息对位置预估模型进行训练，减少了训练数据的误差，提高了位置预估模型的准确性。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的训练数据的获取方法，电子设备根据实际抓取第一训练物体过程中产生的实际抓取信息，确定电子设备的预估模型的训练数据，可以排除由于电子设备的传感器的误差等因素导致的初始抓取位置不准确的问题，提高了训练数据的准确度。由于训练数据更为准确，使得通过该训练数据训练得到的预估模型的准确度更高，提高了电子设备成功抓取物体的概率。

本发明的第二实施方式涉及一种训练数据的获取方法。第二实施方式是对第一实施方式的进一步细化，具体说明了：第一实施方式中提及的电子设备使用误差预估模型来预估目标物体的实际抓取位置的过程。

具体的说，在完成误差预估模型的训练之后，电子设备确定实际抓取位置的示意图如图3所示，包括以下步骤：

步骤301：获取目标物体的第一图像。

具体地说，电子设备通过自身的深度摄像头，拍摄目标物体的第一图像。

步骤302：根据第一图像，确定目标物体的初始抓取位置信息。

具体地说，电子设备可以基于第一图像，通过使用一些已有的确定抓取位置信息的方法，确定目标物体的初始抓取位置信息。

在一个例子中，抓取位置信息可以通过将第一训练图像与预先建立的标记抓取位置的第一训练物体的3D模型进行比较，确定第一训练物体的初始抓取位置信息。

需要说明的是，本领域技术人员可以理解，电子设备可以在确定初始抓取位置信息的同时，计算成功抓取目标物体时，抓取器的中轴与水平轴的预估夹角，以保证抓取器能够成功抓起目标物体。

在一个例子中，在确定初始抓取位置信息时，电子设备可以使用目标物体的蒙板区域，对第一图像进行处理，以得到只包含目标物体的图像。电子设备根据只包含目标物体的图像，来确定目标物体的初始抓取位置信息，使得初始抓取位置信息更为准确。

步骤303：将抓取器移动至初始抓取位置信息所指示的位置，对目标物体进行拍摄，得到目标物体的第二图像。

具体地说，电子设备在移动到初始抓取位置信息所指示的位置后，从当前视角下，拍摄目标物体的第二图像。

需要说明的是，本领域技术人员可以理解，实际应用中，电子设备可以在移动到初始抓取位置信息所指示的位置后，且将抓取器的中轴与水平轴的夹角调整为预估夹角后，再对目标物体进行拍摄。

步骤304：根据目标物体的第二图像和训练后的误差预估模型，得到目标物体的抓取误差信息。

在一个例子中，电子设备使用目标物体的蒙板对第二图像进行处理，去除第二图像中的背景图像，保留第二物体的图像。将处理后的第二图像输入误差预估模型，得到目标物体的抓取误差信息。

值得一提的是，去除第二图像中的背景图像，可以减少背景图像的干扰。

步骤305：根据目标物体的抓取误差信息，确定目标物体的实际抓取位置信息。

具体地说，电子设备根据目标物体的抓取误差信息和目标物体的初始抓取位置信息，确定目标物体的实际抓取位置信息。

在一个例子中，误差预估模型的网络结构依次包括卷积层-池化层-卷积层-池化层-全连接层。该情况下，电子设备确定由于传感器误差等导致的初始抓取位置和实际抓取位置的误差的过程如下：电子设备先给定目标物体的第一图像，有选择地，电子设备可以给定目标物体的蒙板区域，电子设备基于第一图像和目标物体的蒙板区域，可以得到只包含目标物体的图像，基于只包含目标物体的图像，确定目标物体的初始抓取位置。之后，电子设备将抓取器移动到目标物体的初始抓取位置，拍摄目标物体的第三图像，对第三图像进行图像裁剪，得到以初始抓取位置为中心的目标物体的第二图像，将第二图像作为误差预估模型的输入，其后经过2对卷积层和池化层，以及1个全连接层，回归出目标物体的抓取误差信息。

需要说明的是，本领域技术人员可以理解，实际应用中，误差预估模型也可以采用其他网络架构，本实施方式不限制误差预估模型的具体架构。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的训练数据的获取方法，使用抓取误差信息和第二训练图像对误差预估模型进行训练，并在电子设备抓取目标物体的过程中，使用该误差预估模型来预估初始抓取位置信息的抓取误差信息，对初始抓取位置信息进行修正，提高了电子设备成功抓取物体的概率。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的第三实施方式涉及一种训练数据的获取装置，如图4所示，包括：获取模块401、第一确定模块402、第二确定模块403和第三确定模块404。获取模块401用于获取第一训练图像。第一确定模块402用于确定第一训练图像中的第一训练物体的初始抓取位置信息。第二确定模块403用于根据第一训练物体的初始抓取位置信息，抓取第一训练物体，并根据抓取结果，确定实际抓取信息，实际抓取信息包括第一训练物体的实际抓取位置信息，或，实际抓取信息包括第一训练物体的实际抓取位置信息和第一训练物体的初始抓取位置信息之间的抓取误差信息。第三确定模块404用于根据实际抓取信息，确定预估模型的训练数据。

在一个例子中，第二确定模块403具体用于：在一次抓取过程中，将抓取器移动至第一训练物体的初始抓取位置信息所指示的位置；移动抓取器的位置，并抓取第一训练物体；确定抓取结果；判断抓取结果是否指示抓取成功；若确定是，根据抓取器的移动信息，确定实际抓取信息；若确定不是，进行下一次的抓取过程，直至抓取结果指示抓取成功；其中，抓取器的移动信息包括抓取器的偏移量或抓取器移动后的位置信息。

在一个例子中，确定抓取结果，具体包括：若确定检测到的力反馈数值大于第一预设值，且，抓取器之间的距离大于第二预设值，则确定抓取结果指示抓取成功；若确定力反馈数值不大于第一预设值，或，抓取器之间的距离不大于第二预设值，则确定抓取结果指示抓取失败。

在一个例子中，实际抓取信息为抓取误差信息，预估模型为误差预估模型。在将抓取器移动至第一训练物体的初始抓取位置信息所指示的位置之后，还包括：对第一训练物体进行拍摄，得到第一训练物体的第二训练图像。第三确定模块404具体用于：根据抓取误差信息和第二训练图像，确定误差预估模型的训练数据。

在一个例子中，根据抓取误差信息和第二训练图像，确定误差预估模型的训练数据，具体包括：使用第一训练物体的蒙板，对第二训练图像进行处理；将处理后的第二训练图像作为误差预估模型的训练数据中的输入数据，将抓取误差信息作为误差预估模型的训练数据中的输出数据；基于误差预估模型的训练数据，对误差预估模型进行训练。

在一个例子中，训练数据的获取装置还包括抓取模块。在基于误差预估模型的训练数据，对误差预估模型进行训练之后，抓取模块用于获取目标物体的第一图像；根据第一图像，确定目标物体的初始抓取位置信息；将抓取器移动至初始抓取位置信息所指示的位置，对目标物体进行拍摄，得到目标物体的第二图像；根据目标物体的第二图像和训练后的误差预估模型，得到目标物体的抓取误差信息；根据目标物体的抓取误差信息，确定目标物体的实际抓取位置信息。

在一个例子中，训练数据的获取装置还包括修正模块。训练模块对误差预估模型进行训练之后，修正模块用于获取第三训练图像；确定第三训练图像中的第二训练物体的初始抓取位置信息；根据第三训练图像和训练后的误差预估模型，得到第二训练物体的抓取误差信息；根据第二训练物体的抓取误差信息和第二训练物体的初始抓取位置信息，确定第二训练物体的实际抓取位置信息；根据第三训练图像和第二训练物体的实际抓取位置信息，确定位置预估模型的训练数据，对位置预估模型进行训练。

在一个例子中，实际抓取信息为第一训练物体的实际抓取位置信息，预估模型为位置预估模型，预估模型的训练数据包括第一训练图像和第一训练物体的实际抓取位置信息。在根据实际抓取信息，确定预估模型的训练数据之后，还包括：根据第一训练图像和第一训练物体的实际抓取位置信息，对位置预估模型进行训练。

在一个例子中，在对位置预估模型进行训练之后，训练数据的获取方法还包括：获取目标物体的第一图像；将第一图像输入训练后的位置预估模型，得到目标物体的实际抓取位置信息。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明的第四实施方式涉及一种电子设备，如图5所示，包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述实施方式提及的训练数据的获取方法。

该电子设备包括：一个或多个处理器501以及存储器502，图5中以一个处理器501为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述训练数据的获取方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施方式中的训练数据的获取方法。

上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本发明的第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种训练数据的获取方法，其特征在于，包括：

获取第一训练图像；

确定所述第一训练图像中的第一训练物体的初始抓取位置信息；

根据所述第一训练物体的初始抓取位置信息，抓取所述第一训练物体，并根据抓取结果，确定实际抓取信息，所述实际抓取信息包括所述第一训练物体的实际抓取位置信息，或，所述实际抓取信息包括所述第一训练物体的实际抓取位置信息和所述第一训练物体的初始抓取位置信息之间的抓取误差信息；

根据所述实际抓取信息，确定预估模型的训练数据；

其中，所述根据所述第一训练物体的初始抓取位置信息，抓取所述第一训练物体，并根据抓取结果，确定实际抓取信息，具体包括：

在一次抓取过程中，将抓取器移动至所述第一训练物体的初始抓取位置信息所指示的位置；移动所述抓取器的位置，并抓取所述第一训练物体；确定所述抓取结果；判断所述抓取结果是否指示抓取成功；若确定是，根据所述抓取器的移动信息，确定所述实际抓取信息；若确定不是，进行下一次的抓取过程，直至所述抓取结果指示抓取成功；其中，所述抓取器的移动信息包括所述抓取器的偏移量或所述抓取器移动后的位置信息；

所述实际抓取信息为所述抓取误差信息，所述预估模型为误差预估模型；

在所述将抓取器移动至所述第一训练物体的初始抓取位置信息所指示的位置之后，所述训练数据的获取方法还包括：

对所述第一训练物体进行拍摄，得到所述第一训练物体的第二训练图像；

所述根据所述实际抓取信息，确定所述预估模型的训练数据，具体包括：

根据所述抓取误差信息和所述第二训练图像，确定所述误差预估模型的训练数据。

2.根据权利要求1所述的训练数据的获取方法，其特征在于，所述确定所述抓取结果，具体包括：

若确定检测到的力反馈数值大于第一预设值，且，抓取器之间的距离大于第二预设值，则确定所述抓取结果指示抓取成功；

若确定所述力反馈数值不大于所述第一预设值，或，所述抓取器之间的距离不大于所述第二预设值，则确定所述抓取结果指示抓取失败。

3.根据权利要求1所述的训练数据的获取方法，其特征在于，所述根据所述抓取误差信息和所述第二训练图像，确定所述误差预估模型的训练数据，具体包括：

使用所述第一训练物体的蒙板，对所述第二训练图像进行处理；

将处理后的第二训练图像作为所述误差预估模型的训练数据中的输入数据，将所述抓取误差信息作为所述误差预估模型的训练数据中的输出数据；

基于所述误差预估模型的训练数据，对所述误差预估模型进行训练。

4.根据权利要求3所述的训练数据的获取方法，其特征在于，在所述基于所述误差预估模型的训练数据，对所述误差预估模型进行训练之后，所述训练数据的训练方法还包括：

获取目标物体的第一图像；

根据所述第一图像，确定所述目标物体的初始抓取位置信息；

将所述抓取器移动至所述初始抓取位置信息所指示的位置，对所述目标物体进行拍摄，得到所述目标物体的第二图像；

根据所述目标物体的第二图像和训练后的所述误差预估模型，得到所述目标物体的抓取误差信息；

根据所述目标物体的抓取误差信息，确定所述目标物体的实际抓取位置信息。

5.根据权利要求3所述的训练数据的获取方法，其特征在于，在所述基于所述误差预估模型的训练数据，对所述误差预估模型进行训练之后，所述训练数据的训练方法还包括：

获取第三训练图像；

确定所述第三训练图像中的第二训练物体的初始抓取位置信息；

根据所述第三训练图像和所述误差预估模型，得到所述第二训练物体的抓取误差信息；

根据所述第二训练物体的抓取误差信息和所述第二训练物体的初始抓取位置信息，确定所述第二训练物体的实际抓取位置信息；

根据所述第三训练图像和所述第二训练物体的实际抓取位置信息，确定位置预估模型的训练数据，对所述位置预估模型进行训练。

6.根据权利要求1所述的训练数据的获取方法，其特征在于，所述实际抓取信息为所述第一训练物体的实际抓取位置信息，所述预估模型为位置预估模型，所述预估模型的训练数据包括所述第一训练图像和所述第一训练物体的实际抓取位置信息；

在所述根据所述实际抓取信息，确定预估模型的训练数据之后，所述训练数据的获取方法还包括：

根据所述第一训练图像和所述第一训练物体的实际抓取位置信息，对所述位置预估模型进行训练。

7.根据权利要求5或6所述的训练数据的获取方法，其特征在于，在对所述位置预估模型进行训练之后，所述训练数据的获取方法还包括：

获取目标物体的第一图像；

根据所述第一图像和训练后的位置预估模型，得到所述目标物体的实际抓取位置信息。

8.一种电子设备，其特征在于，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的训练数据的获取方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的训练数据的获取方法。

Images