CN115213890A - 抓取的控制方法、装置、服务器、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及控制技术领域，公开了一种抓取的控制方法、装置、电子设备及存储介质。抓取的控制方法，包括：获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和在三维图像中的预测抓取点；根据预测抓取姿态和预测抓取点，预测成功抓取目标物体的置信度；在置信度小于预设阈值时，通知用户对所述预测抓取姿态和所述预测抓取点进行调整，以按照调整后的所述预测抓取姿态和所述预测抓取点控制末端执行器完成抓取任务。使得在执行抓取任务时，能够不受如环境复杂度等因素的影响，成功完成抓取任务。

Description

抓取的控制方法、装置、服务器、电子设备及存储介质

技术领域

本发明实施例涉及机器人技术领域，特别涉及一种抓取的控制方法、装置、服务器、电子设备及存储介质。

背景技术

在机器人、机械臂等设备执行抓取任务时，需要先从摄像头获取被抓取的目标物体的图像，然后将图像交由设备内部的计算机视觉模块进行识别，计算机视觉模块通过计算和决策，得到抓取策略，接着按照抓取策略控制设备上的末端执行器完成抓取目标物体的任务。

然而，目标物体所在的环境可能会受到各种各样的影响，例如受到不同的环境复杂度和光照复杂度的影响，计算机视觉模块得到的抓取策略的准确率和抓取的成功率会存在不同幅度的波动，在环境情况较为复杂或光照情况较为复杂等情况下，可能会抓取失败。

发明内容

本发明实施例的目的在于提供一种抓取的控制方法、装置、服务器、电子设备及存储介质，使得在执行抓取任务时，设备能够不受如环境复杂度等因素的影响，成功利用末端执行器完成抓取任务，提高抓取成功率。

为达到上述目的，本发明的实施例提供了一种抓取的控制方法，包括：获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和预测抓取点；根据所述预测抓取姿态和所述预测抓取点，预测成功抓取所述目标物体的置信度；在所述置信度小于预设阈值时，通知用户对所述预测抓取姿态和所述预测抓取点进行调整，以按照调整后的所述预测抓取姿态和所述预测抓取点控制末端执行器完成抓取任务。

为达到上述目的，本发明的实施例还提供了一种抓取的控制装置，包括：获取模块，用于获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和在所述三维图像中的预测抓取点；预测模块，用于根据所述预测抓取姿态和所述预测抓取点，预测成功抓取所述目标物体的置信度；交互模块，用于通知用户对所述预测抓取姿态和所述预测抓取点进行调整，以按照调整后的所述预测抓取姿态和所述预测抓取点控制末端执行器完成抓取任务。为达到上述目的，本发明的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的抓取的控制方法。

为达到上述目的，本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的抓取的控制方法。

本发明实施例提供的抓取的控制方法，在获取到需要抓取的目标物体所在场景的三维图像中的预测抓取姿态和在三维图像中的预测抓取点后，能够根据预测抓取姿态和预测抓取点，对成功抓取目标物体的置信度进行预测，并在置信度小于预设阈值，即抓取成功的可能性不能满足要求的情况下，通知用户对预测抓取姿态和预测抓取点进行调整，以按照调整后的预测抓取姿态和预测抓取点控制末端执行器完成抓取任务，这样通过用户人工调整使得调整后的预测抓取姿态和预测抓取点能够满足要求，从而末端执行器按照根据调整后的预测抓取姿态和预测抓取点为目标进行目标物体的抓取，提高完成抓取任务的成功率。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明一实施例中提供的抓取的控制方法的流程图；

图2是本发明另一实施例中提供的抓取的控制装置的结构示意图；

图3是本发明另一实施例中提供的服务器的结构示意图；

图4是本发明另一实施例中提供的电子设备的结构示意图。

具体实施方式

由背景技术可知，机器人、机械臂等设备在执行抓取任务时，会受到各种因素的影响，如环境中的光照等，可能会出现抓取失败的情况。

为解决上述问题，本发明实施例提供了一种抓取的控制方法，包括：获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和预测抓取点；根据所述预测抓取姿态和所述预测抓取点，预测成功抓取所述目标物体的置信度；在所述置信度小于预设阈值时，通知用户对所述预测抓取姿态和所述预测抓取点进行调整，以按照调整后的所述预测抓取姿态和所述预测抓取点控制末端执行器完成抓取任务。

本发明实施例提供的抓取的控制方法，在获取到需要抓取的目标物体所在场景的三维图像中的预测抓取姿态和在三维图像中的预测抓取点后，能够根据预测抓取姿态和预测抓取点，对成功抓取目标物体的置信度进行预测，并在置信度小于预设阈值，即抓取成功的可能性不能满足要求的情况下，通知用户对预测抓取姿态和预测抓取点进行调整，以按照调整后的预测抓取姿态和预测抓取点控制末端执行器完成抓取任务，这样通过用户人工调整使得调整后的预测抓取姿态和预测抓取点能够满足要求，从而末端执行器按照根据调整后的预测抓取姿态和预测抓取点为目标进行目标物体的抓取，提高完成抓取任务的成功率。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施例中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本发明所要求保护的技术方案。

以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明实施例一方面提供了一种抓取的控制方法，应用于计算机、服务器等设备。具体流程如图1所示，其中，被控制的用于完成抓取的末端执行器可以是机械臂上的末端执行器，也可以是机器人上的末端执行器，当然还可以是其他设备上装配的末端执行器，此处就不再一一赘述了。为了便于本领域技术人员对抓取的控制方法进行理解，以下将以末端执行器装配在机器人上为例进行说明。

步骤101，获取需要抓取的目标物体所在场景的对应三维图像中的预测抓取姿态和在三维图像中的预测抓取点。

具体地说，在确定了目标物体所在场景对应的三维图像后，根据目标物体所在场景对应的三维图像和目标物体进行路径规划，得到预测抓取姿态和预测抓取点，其中，三维图像可以认为是通过三维重建等技术构建的三维虚拟世界，本实施例不对实现路径规划的算法进行限定。

需要说明的是，确定目标物体所在场景的三维图像可以是从预设的若干三维图像中确定出目标物体所在场景对应的三维图像，也可以是当前通过摄像机拍摄的场景图像进行深度恢复等方式重建的三维图像等。

在一个例子中，从预设的若干三维图像中确定出目标物体所在场景对应的三维图像实际包括：确定目标物体，然后根据目标物体通过匹配等方式从预设的若干三维图像中选择。其中，确定目标物体的方式可以是通过用户下达指令的方式进行确定，如：接收用户指令，其中，用户指令携带目标物体的指示信息，指示信息可以是物体名称，如水杯、苹果等，指示信息还可以是特定位置+物体名称，如桌子上的水杯、客厅内的遥控器等，还可以特定条件+物体名称，如距离最近的水杯、客厅内的花盆等；根据指示信息确定目标物体，如根据指示信息在所在环境中进行匹配。此外，用户指令中还可以包括使用如何完成抓取任务的条件，如使用机器人的哪只手进行抓取、需要在多长时间内完成等。预设的若干三维图像可以是预先存储的一个或多个场景的三维图像，得到预存的若干三维图像的方式可以是在确定需要机器人执行某项抓取任务之前，控制机器人对其所在能接触到的环境进行三维重建，即在至少一个场景下，控制机器人通过内置的摄像头对机器人所在场景进行拍摄，得到场景二维图像和场景深度图；然后根据场景深度图对场景二维图像进行深度恢复，得到若干三维图像并存储；若是需要获取多个场景的三维图像，则还需要控制机器人进行运动，并控制机器人通过内置的摄像头对机器人运动过程经过的各种不同场景进行拍摄，得到场景二维图像和场景深度图；然后根据场景深度图对场景二维图像进行深度恢复，得到若干三维图像并存储。

需要说明的是，用户指令可以是用户通过用户终端直接下达给计算机或服务器等设备，还可以是用户通过用户终端直接下达给机器人，经由机器人传达给计算机或服务器等设备，从而利用接收到用户指令的设备确定机器人完成抓取任务的需要执行的动作并生成下达给机器人的指令。当然，以上仅为具体的举例说明，用户指令还可以是通过其他方式下达给计算机或服务器等设备，此处就不再一一赘述了。

还需要说明的是，上述以利用机器人内置的摄像头得到预设的若干三维图像进行举例说明，在其他例子中，预设的若干三维图像还可以是通过利用场景中自带的摄像头进行三维重建得到，或者是，用户上传的数据得到等，本实施例不对预设的若干三维图像的获取方式和预设的若干三维图像的数量进行限定，此处就不再一一赘述了。

可以理解的是，预设的三维图像不是实时的，而抓取任务指定的需要抓取的目标物体所在的场景或者说是环境不是一成不变的，一方面，通过机器人内置的摄像头或环境中的摄像头的拍摄角度也会导致三维重建得到的预设的三维图像与当前需要完成抓取任务的机器人所观察到的实际场景存在差异，基于预设的三维图像进行抓取分析时，指令指示的机器人动作的预期结果与在实际场景之间中实际执行存在偏差；另一方面，可能会有外部干扰导致环境发生改变，如某个人可能在环境中增添物体、安装某些设备等可能会成为执行抓取任务的干扰甚至是阻碍，从而基于预设的三维图像得到的指令在实际完成抓取任务时存在一定偏差。进一步地，还需要实时更新三维图像，具体地，在一个例子中，获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和预测抓取点之前，抓取的控制方法还包括：检测目标物体所在场景对应的三维图像是否需要更新；在检测到目标物体所在场景对应的三维图像需要更新的情况下，根据摄像头对目标物体所在场景实时拍摄得到的实时图像，对目标物体所在场景对应的三维图像进行更新。其中，检测目标物体所在场景对应的三维图像是否需要更新可以通过如下方式实现：获取实时图像，如控制机器人通过内置的摄像头进行实时拍摄，得到实时图像，然后检测实时图像和目标物体所在场景对应的三维图像是否存在差异，需要说明的是，检测图像是否存在差异主要是比对图像内容是否一致，如对进行图像中的物体等进行匹配，在检测到实时图像和目标物体所在场景对应的三维图像存在差异的情况下，确定目标物体所在场景对应的三维图像需要更新，在检测到实时图像和目标物体所在场景对应的三维图像不存在差异的情况下，确定目标物体所在场景对应的三维图像不需要更新；对目标物体所在场景对应的三维图像进行更新可以通过如下方式实现：在实时图像中确定与目标物体所在场景对应的三维图像不同的差异区域；确定差异区域中的差异物体；获取差异物体对应的三维点云图、机器人与差异物体的距离和差异物体的高度信息；根据三维点云图、距离和高度信息对三维图像进行更新，即将三维点云图通过数字孪生技术还原三维图像中。

需要说明的是，以上仅为以实时场景中出现新增物体为例进行说明，在其他例子中，实际还可以是控制机器人通过内置的摄像头进行实时拍摄，得到实时图像；检测实时图像和目标物体所在场景对应的三维图像是否存在差异；在检测到实时图像和目标物体所在场景对应的三维图像存在差异的情况下，在实时图像中确定与目标物体所在场景对应的三维图像不同的差异区域；确定差异区域中相对于目标物体所在场景对应的三维图缺失的差异物体；从三维图像中去除差异物体对应的图像内容，实现对目标物体所在场景对应的三维图像地更新。

特别地，由于拍摄视角的不同，基于拍摄得到的图像对实际场景进行三维重建得到三维图像时，可能会与机器人的实际视角之间存在偏差，因此，还可以进一步地对三维图像中的物体等进行微调，使其能够与机器人内置摄像头的视角匹配一致。

还需要说明的是，控制机器人通过内置的摄像头对机器人所在场景进行拍摄时，调用的摄像头包括普通摄像头和深度摄像头，其中，普通摄像头用于对场景进行拍摄得到二维图像或二维彩色图像，深度摄像头可以是结构光相机等，用于对场景进行拍摄得到深度信息，特别地，机器人还可以根据控制指令对内置的摄像头进行移动，如左右移动、上下移动等，从而得到更加全面丰富的三维重建信息。

步骤102，根据预测抓取姿态和预测抓取点，预测成功抓取目标物体的置信度。

具体地说，获取末端执行器所属设备的状态信息，其中，状态信息可以包括网络流畅度、是否存在网络、所处环境中的光照条件、所处环境中的障碍物复杂程度、两只手臂的关节执行器的损坏程度；根据预测抓取姿态、预测抓取点和状态信息确定成功抓取目标物体的可能性作为置信度，如对抓取过程进行多次模拟，对多次模拟结果进行统计并将统计出来的抓取成功的概率作为置信度。

步骤103，在置信度小于预设阈值时，通知用户对预测抓取姿态和预测抓取点进行调整，以按照调整后的预测抓取姿态和预测抓取点控制末端执行器完成抓取任务。

具体地说，将目标物体所在场景对应的三维图像及其中的预测抓取姿态和预测抓取点呈现给用户，供用户在目标物体所在场景对应的三维图像中调整预测抓取姿态和预测抓取点，然后获取经用户调整后的预测抓取姿态和预测抓取点，接着根据调整后的预测抓取姿态和预测抓取点生成抓取指令，然后下发抓取指令，以控制末端执行器按照抓取指令完成抓取任务。

进一步地，将目标物体所在场景对应的三维图像及其中的预测抓取姿态和预测抓取点呈现给用户可以通过如下方式实现：将末端执行器所属的设备，通过数字孪生复制到目标物体所在场景对应的三维图像中，然后将标记有预测抓取姿态、预测抓取点和末端执行器所属的设备的目标物体所在场景对应的三维图像呈现给用户，供用户调整预测抓取姿态和预测抓取点并对控制末端执行器的抓取过程进行模拟，获取经用户调整完成后的预测抓取姿态和预测抓取点，接着根据调整后的预测抓取姿态和预测抓取点生成抓取指令，然后下发抓取指令，以控制末端执行器按照抓取指令完成抓取任务。

需要说明的是，在计算机等设备具备和用户进行交互的界面的情况下，可以将三维图像、预测抓取姿态和预测抓取点呈现在用户交互界面上，其中，用户交互界面可以通过弹出框、声音提示等方式提醒用户需要用户介入，对机器人的抓取任务进行人工干预，还可以是用户预先在计算机等设备中存留有某些人员的通信信息，通过该通信信息与用户的某些终端进行绑定，然后可以通过短信提醒等方式告知用户及时进行人工干预；或者，在计算机等设备不具备和用户进行交互的界面的情况下，通过服务器将三维图像、预测抓取姿态和预测抓取点发送给用户终端，用户终端可以通过相关的应用程序(Application，App)进行呈现，并通过弹出框、声音提示等方式提醒用户需要用户介入。当然，以上仅为具体的举例说明，实际上将三维图像、预测抓取姿态和预测抓取点呈现给用户还可以通过其他方式进行实现。

还需要说明的是，不论是否需要服务器参与，实际呈现给用户时还需要同时呈现其他信息以帮助用户更好地进行调整，如还提供用户手册、对话框、弹出框等以告知用户如何对三维图像中的预测抓取姿态和三维图像中的预测抓取点进行左右或上下调整、如何查看查看调整前后的数据、如何验证调整是否可行、如何对三维图像的呈现方式进行调整等。

在一个例子中，为了便于用户更好地对三维图像中的预测抓取姿态和三维图像中的预测抓取点进行调整以达到满意的预测抓取姿态和预测抓取点，可以在呈现给用户的三维图像中的预测抓取姿态和三维图像中的预测抓取点进行颜色标记，如将三维图像中的预测抓取姿态设置为红色、将三维图像中的预测抓取点设置为蓝色等，还可以对调整前后的三维图像的关键数据以弹出框的形式进行显示，或者，提供验证按钮，当用户点击验证按钮之后，读取用户调整后的预测抓取点和用户调整后的预测抓取姿态，根据机器人的状态信息、用户调整后的预测抓取点和用户调整后的预测抓取姿态对是否能够成功抓取目标物体的概率进行预测，并判断是否小于预设阈值，在成功抓取目标物体的概率小于预设阈值的情况下，通过弹出框等形式提示用户继续对预测抓取姿态和预测抓取点进行调整，在成功抓取目标物体的概率大于等于预设阈值的情况下，通过弹出框等形式告知用户成功抓取目标物体的概率以供用户判断是否还需继续调整，或者，通过弹出框等形式提示用户对预测抓取姿态和预测抓取点的调整已经完成，将要生成相关指令，以控制机器人执行抓取任务。当然，以上仅为具体的距离说明，将三维图像、预测抓取姿态和预测抓取点呈现给用户以供用户在三维图像中调整预测抓取姿态和预测抓取点还可以通过其他方式实现，此处就不再一一赘述了。

进一步地，根据调整后的预测抓取姿态和预测抓取点生成抓取指令可以通过如下方式实现：当用户对预测抓取姿态和预测抓取点进行调整后，读取用户调整后的预测抓取姿态和预测抓取点，然后以用户调整后的预测抓取姿态和预测抓取点对机器人在抓取过程中的路径和动作重新进行规划，得到控制机器人如何进行抓取的指令，例如机器人如何移动、手部如何动作、手指关节什么时候弯曲进行抓取等。

需要说明的是，若是机器人的抓取任务中还指定了需要采用哪只手、在什么时间内完成等信息，在生成抓取指令时，还需要考虑上述因素，综合进行分析。

进一步地，以末端执行器所属的设备为机器人为例，下发抓取指令包括：向机器人发送抓取指令，以控制机器人按照抓取指令完成抓取任务。具体地说，在计算机等设备能够与机器人直接通信的情况下，直接向机器人发送抓取指令；在计算机等设备不能够与机器人直接通信的情况下，通过服务器等间接向机器人发送抓取指令，如在机器人都是由机器人供应商提供时，先下发给机器人供应商提供的服务器，在经由机器人供应商提供的服务器转发给机器人。当机器人接收到抓取指令之后，对指令进行解析，然后根据解析结果进行动作，执行抓取任务。

需要说明的是，机器人实际还可以在根据抓取指令完成相关动作之后，对是否成功完成抓取任务进行检测，并将检测的结果通知到用户，如机器人对抓取目标物体的目标手进行压力分析，若是存在压力，则认为成功抓取，或者，机器人调用内置摄像头对抓取目标物体的目标手进行拍摄，然后对拍摄图像进行图像分析，确定是否抓取成功等。

还需要说明的是，在置信度不小于预设阈值时，可以直接根据预测抓取姿态和预测抓取点生成抓取指令。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明实施例另一方面还提供了一种抓取的控制装置，如图2所示，包括：

获取模块201，用于获取需要抓取的目标物体所在场景的三维图像中的预测抓取姿态和预测抓取点。

预测模块202，用于根据预测抓取姿态和预测抓取点，预测成功抓取目标物体的置信度。

交互模块203，用于通知用户对预测抓取姿态和预测抓取点进行调整，以按照调整后的预测抓取姿态和预测抓取点控制末端执行器完成抓取任务。

不难发现，本实施例为与方法实施例相对应的装置实施例，本实施例可与方法实施例互相配合实施。方法实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在方法实施例中。

值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。

本发明实施例另一方面还提供了一种服务器，如图3所示，服务器301包括抓取的控制装置302，机器人抓取的控制装置302包括：获取模块、预测模块和交互模块，

其中，获取模块，用于获取需要抓取的目标物体所在场景的三维图像中的预测抓取姿态和预测抓取点；预测模块，用于根据预测抓取姿态和预测抓取点，预测成功抓取目标物体的置信度；交互模块，用于通知用户对预测抓取姿态和预测抓取点进行调整，以按照调整后的预测抓取姿态和预测抓取点控制末端执行器完成抓取任务。

本发明实施例另一方面还提供了一种电子设备，如图4所示，包括：至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述任一方法实施例所描述的抓取的控制方法。

其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传输给处理器401。

处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。

本发明实施方式另一方面还提供了一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例所描述的抓取的控制方法。

即，本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (13)

1.一种抓取的控制方法，其特征在于，包括：

获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和预测抓取点；

根据所述预测抓取姿态和所述预测抓取点，预测成功抓取所述目标物体的置信度；

在所述置信度小于预设阈值时，通知用户对所述预测抓取姿态和所述预测抓取点进行调整，以按照调整后的所述预测抓取姿态和所述预测抓取点控制末端执行器完成抓取任务。

2.根据权利要求1所述的抓取的控制方法，其特征在于，所述通知用户对所述预测抓取姿态和所述预测抓取点进行调整，以按照调整后的所述预测抓取姿态和所述预测抓取点控制末端执行器完成抓取任务，包括：

将所述目标物体所在场景对应的三维图像及其中的所述预测抓取姿态和所述预测抓取点呈现给用户，供所述用户在所述目标物体所在场景对应的三维图像中调整所述预测抓取姿态和所述预测抓取点；

根据调整后的所述预测抓取姿态和所述预测抓取点生成抓取指令；

下发所述抓取指令，以控制所述末端执行器按照所述抓取指令完成抓取任务。

3.根据权利要求2所述的抓取的控制方法，其特征在于，所述将所述目标物体所在场景对应的三维图像及其中的所述预测抓取姿态和所述预测抓取点呈现给用户，包括：

将所述末端执行器所属的设备，通过数字孪生复制到所述目标物体所在场景对应的三维图像中；

将标记有所述预测抓取姿态、所述预测抓取点和所述末端执行器所属的设备的所述目标物体所在场景对应的三维图像呈现给所述用户，供所述用户调整所述预测抓取姿态和所述预测抓取点并对控制所述末端执行器的抓取过程进行模拟。

4.根据权利要求1所述的抓取的控制方法，其特征在于，所述获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和预测抓取点之前，所述方法还包括：

检测所述目标物体所在场景对应的三维图像是否需要更新；

在检测到所述目标物体所在场景对应的三维图像需要更新的情况下，根据摄像头对所述目标物体所在场景实时拍摄得到的实时图像，对所述目标物体所在场景对应的三维图像进行更新。

5.根据权利要求4所述的抓取的控制方法，其特征在于，所述检测所述目标物体所在场景对应的三维图像是否需要更新，包括：

获取所述实时图像；

检测所述实时图像和所述目标物体所在场景对应的三维图像是否存在差异；在检测到所述实时图像和所述目标物体所在场景对应的三维图像存在差异的情况下，确定所述目标物体所在场景对应的三维图像需要更新；

在检测到所述实时图像和所述目标物体所在场景对应的三维图像不存在差异的情况下，确定所述目标物体所在场景对应的三维图像不需要更新。

6.根据权利要求4或5所述的抓取的控制方法，其特征在于，所述根据摄像机对所述目标物体所在场景实时拍摄得到的实时图像对所述目标物体所在场景对应的三维图像进行更新，包括：

在所述实时图像中确定与所述目标物体所在场景对应的三维图像不同的差异区域；

确定所述差异区域中的差异物体；

获取所述差异物体对应的三维点云图、所述末端执行器所属的设备与所述差异物体的距离和所述差异物体的高度信息；

根据所述三维点云图、所述距离和所述高度信息对所述目标物体所在场景对应的三维图像进行更新。

7.根据权利要求1所述的抓取的控制方法，其特征在于，所述获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和预测抓取点之前，所述方法还包括：

利用摄像头对真实场景进行拍摄，得到场景二维图像和场景深度图；

根据所述场景深度图对所述场景二维图像进行深度恢复，得到若干三维图像；

所述获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和预测抓取点，包括：

从若干三维图像中确定出一个三维图像作为所述目标物体所在场景对应的三维图像；

根据所述目标物体所在场景对应的三维图像和所述目标物体进行路径规划，得到所述预测抓取姿态和所述预测抓取点。

8.根据权利要求1所述的抓取的控制方法，其特征在于，所述根据所述预测抓取姿态和所述预测抓取点，预测成功抓取所述目标物体的置信度，包括：

获取所述末端执行器所属设备的状态信息；

根据所述预测抓取姿态、所述预测抓取点和所述状态信息确定成功抓取所述目标物体的可能性作为所述置信度。

9.根据权利要求1所述的抓取的控制方法，其特征在于，所述根据所述预测抓取姿态和所述预测抓取点，预测成功抓取所述目标物体的置信度之后，所述方法还包括：

在所述置信度不小于所述预设阈值时，根据所述预测抓取姿态和所述预测抓取点生成所述抓取指令。

10.一种抓取的控制装置，其特征在于，包括：

获取模块，用于获取需要抓取的目标物体所在场景对应的三维图像中的预测抓取姿态和在所述三维图像中的预测抓取点；

预测模块，用于根据所述预测抓取姿态和所述预测抓取点，预测成功抓取所述目标物体的置信度；

交互模块，用于通知用户对所述预测抓取姿态和所述预测抓取点进行调整，以按照调整后的所述预测抓取姿态和所述预测抓取点控制末端执行器完成抓取任务。

11.一种服务器，其特征在于，所述服务器包括如权利要求10所述的抓取的控制装置。

12.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至9中任一项所述的机器人抓取的控制方法。

13.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的机器人抓取的控制方法。

Images