CN111716358A - 一种控制机械臂的方法及装置 - Google Patents

Abstract

本发明公开了一种控制机械臂的方法，用以准确确定夹取点的三维坐标，从而实现稳定的、具有鲁棒性的夹取过程。所述方法，包括：获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；根据所述红外热图像确定所述烹调对象的边缘；根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

Description

一种控制机械臂的方法及装置

技术领域

本发明涉及机器人技术领域，更具体地，涉及一种控制机械臂的方法。

背景技术

随着工业机械臂在工业生产线分拣技术的成熟应用，以及近年来在立体化仓储和医疗上的成功扩展，各行业对于工业机械臂智能化的需求越来越大，机械臂也将越来越多替代人的双臂来完成更复杂更精密的流程化工作，智能家居、智慧厨房等行业细分领域，将无疑是机械臂大展拳脚的重要舞台。例如可以利用机械臂夹取烤盘上的食物。目前，可以通过可见光图像以及指尖力传感器来夹取食物，然而，通过这类图像通常无法很精准地区别烤盘和其上的食物，并且，指尖力传感器在高温环境下无法进行可靠的反馈，以及成本较高。

发明内容

鉴于上述问题，本发明提出了一种控制机械臂的方法及装置，该方法可以精准地控制机械臂夹取烹调的食物。

根据本发明实施例的第一方面，提供一种控制机械臂的方法，包括：

获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；

根据所述红外热图像确定所述烹调对象的边缘；

根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；

根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

本发明的实施例提供的技术方案可以包括以下有益效果：本实施例利用红外热图像和深度图像，准确地确定烹调对象的边缘，准确确定夹取点的三维坐标，从而实现稳定的、具有鲁棒性的夹取过程。

在一个实施例中，优选地，所述根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标，包括：

根据所述烹调对象的边缘，确定所述烹调对象的夹取点投影到烹调对象所在平面的平面坐标；

根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标。

本发明的实施例提供的技术方案可以包括以下有益效果：本实施例通过烹调对象的边缘准确地确定夹取点的平面坐标，在平面坐标基础上确定夹取点的三维坐标，实现了准确确定夹取点的三维坐标。

在一个实施例中，优选地，所述根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标，包括：

根据所述平面坐标，结合所述深度图像的点云单应变换计算夹取点的三维坐标。

本发明的实施例提供的技术方案可以包括以下有益效果：在各种烹调环境中，计算点云投影单应矩阵和图像边缘进行匹配会极大的提高计算效率，也可避免由于物体遮挡所产生的匹配错误，提高算法的鲁棒性。

在一个实施例中，优选地，所述根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象，包括：

根据所述夹取点的三维坐标和机械臂末端连接的夹具，计算机械臂末端坐标；

向机械臂操控设备发送指令，以使所述机械臂操控设备控制所述机械臂移动至所述末端坐标，并使所述夹具在所述夹取点夹取所述烹调对象。

本发明的实施例提供的技术方案可以包括以下有益效果：在机械臂末端连接任何不同夹具时，通过计算机械臂末端的坐标，使机械臂操控设备控制机械臂移动至计算出的末端坐标，从而可以使夹具精确地在夹取点夹取所述烹调对象。

在一个实施例中，优选地，所述方法还包括：

根据红外热图像生成对应的棋盘格图像；

生成棋盘格图像后利用张正友进行标定。

本发明的实施例提供的技术方案可以包括以下有益效果：利用张正友平面标定方法对红外热图像进行标定，避免了传统方法设备要求高，操作繁琐等缺点，且精度高。

根据本发明实施例的第二方面，提供一种控制机械臂的装置，包括：

获取模块，用于获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；

第一确定模块，用于根据所述红外热图像确定所述烹调对象的边缘；

第二确定模块，用于根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；

发送模块，用于根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

在一个实施例中，优选地，所述第二确定模块包括：

第一确定子模块，用于根据所述烹调对象的边缘，确定所述烹调对象的夹取点投影到烹调对象所在平面的平面坐标；

第一计算子模块，用于根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标。

在一个实施例中，优选地，所述第一计算子模块，用于根据所述平面坐标，结合所述深度图像的点云单应变换计算夹取点的三维坐标。

在一个实施例中，优选地，所述发送模块包括：

第二计算子模块，用于根据所述夹取点的三维坐标和机械臂末端连接的夹具，计算机械臂末端坐标；

发送子模块，用于向机械臂操控设备发送指令，以使所述机械臂操控设备控制所述机械臂移动至所述末端坐标，并使所述夹具在所述夹取点夹取所述烹调对象。

在一个实施例中，优选地，所述装置还包括：

生成模块，用于根据红外热图像生成对应的棋盘格图像；

标定模块，用于生成棋盘格图像后利用张正友进行标定。

根据本发明实施例的第三方面，提供一种控制机械臂的装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；

根据所述红外热图像确定所述烹调对象的边缘；

根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；

根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述方法的步骤。

根据本发明实施例的第五方面，提供一种控制机械臂的系统，包括：

数据生成设备，用于获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；根据所述红外热图像确定所述烹调对象的边缘；根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

机械臂操控设备，用于根据所述指令控制机械臂移动并夹取所述烹调对象。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中控制机械臂的方法流程图。

图2是本发明实施例中控制机械臂的方法流程图。

图3是本发明实施例中控制机械臂的方法流程图。

图4是本发明实施例中控制机械臂的装置结构图。

图5为本发明实施例中第二确定模块的结构图；

图6为本发明实施例中发送模块的结构图；

图7为本发明实施例中控制机械臂的装置结构图；

图8为本发明实施例中控制机械臂的系统结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，通过可见光图像以及指尖力传感器来夹取食物，然而，该方法无法很精准地区别烤盘和其上的食物，在高温环境下无法进行可靠的反馈，并且成本较高。

为了解决上述问题，本发明利用红外热图像和深度图像，准确地确定烹调对象的边缘，准确确定夹取点的三维坐标，从而实现稳定的、具有鲁棒性的夹取过程。

图1是本发明一个实施例的一种控制机械臂的方法流程图，如图1所示，控制机械臂的方法包括：

步骤S101，获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图。

步骤S102，根据所述红外热图像确定烹调对象的边缘。

步骤S103，根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标。

步骤S104，根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备根据该指令控制机械臂移动并夹取该烹调对象。

本实施例中，烹调对象所处环境包括烹调对象以及其所在的厨具，例如烤盘、平底锅等。可以对烹调对象所处环境使用红外热像仪生成红外热图像。红外热像仪是利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外线热像图，红外热像图与物体表面的热分布场相对应。因此，使用红外热图像可以准确地确定烹调对象的边缘，特别是当烹调对象与厨具颜色相近的时候，由于烹调对象和厨具的温度不同，红外热图像可以显著地区分烹调对象和厨具。

使用红外热像仪通常还需要进行标定，传统标定方法分为：线性标定方法，其运算速度快，但是标定精度不高，解决不了相机畸变的非线性问题；非线性标定方法：标定精度高，但模型复杂计算量过大；两步标定法，结合了线性标定和非线性标定，参数求解简易，但标定成本高。

在本发明一实施例中，对红外热像仪进行标定可以包括：从红外热图像生成对应的棋盘格图像，生成棋盘格图像后利用张正友进行标定。此标定目的是标定红外热像仪的摄像头的内参数、外参数、畸变参数等。该标定用于解决由于相机自身造成的图像变形，将图像矫正成标准图像。张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它避免了传统方法设备要求高，操作繁琐等缺点，并且精度高。

对烹调对象所处环境使用深度摄像头生成深度图像。深度图像的像素值反映场景中物体到相机的距离，获取深度图像的方法可以包括被动测距传感和主动深度传感。被动测距传感中最常用的方法是双目立体视觉，该方法通过两个相隔一定距离的摄像机同时获取同一场景的两幅图像，通过立体匹配算法找到两幅图像中对应的像素点，随后根据三角原理计算出时差信息，而视差信息通过转换可用于表征场景中物体的深度信息。主动测距传感是设备本身需要发射能量来完成深度信息的采集。

在本实施例中，还需要将红外热像仪摄像头和深度摄像头以及机械臂都标定到同一坐标系，用于将所有传感器建立一个统一的世界坐标系。机械臂标定是把机械臂坐标系转换为世界坐标系，红外热像仪摄像头和深度摄像头标定是把图像坐标系转换到了摄像头坐标系，再转换到世界坐标系。在实际的标定过程中，可以直接将摄像头坐标系转换到机械臂坐标系。

本实施例可以由一个数据生成设备来实现，该数据生成设备可以与红外热像仪摄像头和深度摄像头的应用接口连接，以获取烹调对象所处环境的图像。数据生成设备还可以与机械臂操控设备的应用接口连接，以向机械臂操控设备发送指令，机械臂操控设备根据所述指令控制机械臂移动并夹取所述烹调对象。

可选的，上述步骤S103包括：步骤A1-A2，

步骤A1，根据所述烹调对象的边缘，确定所述烹调对象的夹取点投影到其所在平面的平面坐标。

步骤A2，根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标。

本实施例中，首先根据红外热图像确定的烹调对象的边缘来确定夹取点的平面坐标。通常，烹调对象被放置在烤盘或平底锅等进行烹调。可以将烹调对象的边缘的任意一点确定为夹取点。由于红外热图像记录了烹调对象以及其所在平面的平面图像，因此，根据红外热图像，可以得到夹取点投影到烹调对象所在平面的平面坐标。然后，根据该平面坐标以及深度摄像头获取的深度图像，计算该夹取点的三维坐标。

本实施例中，先通过烹调对象的边缘来确定夹取点的平面坐标，再根据深度图像确定夹取点的三维坐标，使得夹取点的坐标的确定更加精准。

在本发明的一实施例中，在计算夹取点的三维坐标时，可以根据所述平面坐标，结合所述深度图像的点云单应变换计算夹取点的三维坐标。这种方法的有益效果在于：在各种烹调环境中，通过点云单应变换使深度图像和红外热图像进行匹配，会极大的提高计算效率，也可避免由于物体遮挡所产生的匹配错误，提高算法的鲁棒性。

计算夹取点的三维坐标的过程描述如下：获取深度图像的点云数据，计算深度图像的点云数据和红外热图像之间的单应变换，然后，根据计算出的单应矩阵，计算得到红外热图像中的夹取点的二维坐标对应到深度图像中的三维坐标。

有时，机械臂末端可以连接不同的夹具，例如根据要夹取的食物的特点匹配不同的夹具。不同的夹具具有不同的尺寸，因此，还需要考虑机械臂连接不同的夹具时，如何对机械臂进行控制。可选的，上述步骤S104包括：

步骤B1：根据所述夹取点的三维坐标和机械臂末端连接的夹具，计算机械臂末端坐标。

步骤B2：向机械臂操控设备发送指令，以使所述机械臂操控设备控制所述机械臂移动至所述末端坐标，并使所述夹具在所述夹取点夹取所述烹调对象。

本实施例中，由于三维坐标是夹取点的坐标，也就是机械臂末端连接的夹具要移动到的坐标，该坐标并非是机械臂末端要移动到的坐标。也就是说，同样的夹取点的三维坐标，当机械臂末端连接不同的夹具时，机械臂末端所要移动到的坐标是不同的。需要根据夹取点的三维坐标和所连接的夹具的模型计算机械臂末端的坐标，从而可以在机械臂末端连接任何不同夹具时，都可以通过计算机械臂末端的坐标，使机械臂操控设备控制机械臂移动至计算出的末端坐标，从而可以使不同的夹具都可以精确地在同一夹取点夹取所述烹调对象。

下面通过几个实施例详细介绍实现过程。

参见图2，本实施例中控制机械臂的方法包括：

步骤201：获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像。

步骤202：根据所述红外热图像确定所述烹调对象的边缘。

步骤203：根据所述烹调对象的边缘，确定所述烹调对象的夹取点投影到其所在平面的平面坐标。

步骤204：根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标。

步骤205：根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

参见图3，本实施例中控制机械臂的方法包括：

步骤301：获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像。

步骤302：根据所述红外热图像确定所述烹调对象的边缘。

步骤303：根据所述烹调对象的边缘，确定所述烹调对象的夹取点投影到其所在平面的平面坐标。

步骤304：根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标。

步骤305：根据所述夹取点的三维坐标和机械臂末端连接的夹具，计算机械臂末端坐标。

步骤306：向机械臂操控设备发送指令，以使所述机械臂操控设备控制所述机械臂移动至所述末端坐标，并使所述夹具在所述夹取点夹取所述烹调对象。

上述实施例可根据实际需要进行自由组合。

通过以上描述介绍了控制机械臂的方法的实现过程，该过程可由装置实现，下面对该装置的内部结构和功能进行介绍。

参见图4，本实施例中控制机械臂的装置包括：获取模块401、第一确定模块402、第二确定模块403以及发送模块404。

获取模块401，用于获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像。

第一确定模块402，用于根据所述红外热图像确定所述烹调对象的边缘。

第二确定模块403，用于根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标。

发送模块404，用于根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

可选的，如图5所示，所述第二确定模块403包括：第一确定子模块501和第一计算子模块502。

第一确定子模块501，用于根据所述烹调对象的边缘，确定所述烹调对象的夹取点投影到烹调对象所在平面的平面坐标。

第一计算子模块502，用于根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标。

可选的，所述第一计算子模块502，用于根据所述平面坐标，结合所述深度图像的点云单应变换计算夹取点的三维坐标。

可选的，如图6所示，所述发送模块404包括：第二计算子模块601和发送子模块602。

第二计算子模块601，用于根据所述夹取点的三维坐标和机械臂末端连接的夹具，计算机械臂末端坐标；

发送子模块602，用于向机械臂操控设备发送指令，以使所述机械臂操控设备控制所述机械臂移动至所述末端坐标，并使所述夹具在所述夹取点夹取所述烹调对象。

可选的，如图7所示，所述装置还包括：生成模块701和标定模块702。

生成模块701，用于根据红外热图像生成对应的棋盘格图像；

标定模块702，用于生成棋盘格图像后利用张正友进行标定。

一种控制机械臂的装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；

根据所述红外热图像确定所述烹调对象的边缘；

根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；

根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述方法的步骤。

如图8所示，一种控制机械臂的系统，包括：数据生成设备801和机械臂操控设备802。

数据生成设备801，用于获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；根据所述红外热图像确定所述烹调对象的边缘；根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

机械臂操控设备802，用于根据所述指令控制机械臂移动并夹取所述烹调对象。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种控制机械臂的方法，其特征在于，包括：

获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；

根据所述红外热图像确定所述烹调对象的边缘；

根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；

根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

2.根据权利要求1所述的方法，其特征在于，所述根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标，包括：

根据所述烹调对象的边缘，确定所述烹调对象的夹取点投影到烹调对象所在平面的平面坐标；

根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标。

3.根据权利要求1所述的方法，其特征在于，所述根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标，包括：

根据所述平面坐标，结合所述深度图像的点云单应变换计算夹取点的三维坐标。

4.根据权利要求1所述的方法，其特征在于，所述根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象，包括：

根据所述夹取点的三维坐标和机械臂末端连接的夹具，计算机械臂末端坐标；

向机械臂操控设备发送指令，以使所述机械臂操控设备控制所述机械臂移动至所述末端坐标，并使所述夹具在所述夹取点夹取所述烹调对象。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据红外热图像生成对应的棋盘格图像；

生成棋盘格图像后利用张正友进行标定。

6.一种控制机械臂的装置，其特征在于，包括：

获取模块，用于获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；

第一确定模块，用于根据所述红外热图像确定所述烹调对象的边缘；

第二确定模块，用于根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；

发送模块，用于根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

7.根据权利要求6所述的装置，其特征在于，所述第二确定模块包括：

第一确定子模块，用于根据所述烹调对象的边缘，确定所述烹调对象的夹取点投影到烹调对象所在平面的平面坐标；

第一计算子模块，用于根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标。

8.根据权利要求6所述的装置，其特征在于，所述第一计算子模块，用于根据所述平面坐标，结合所述深度图像的点云单应变换计算夹取点的三维坐标。

9.根据权利要求6所述的装置，其特征在于，所述发送模块包括：

第二计算子模块，用于根据所述夹取点的三维坐标和机械臂末端连接的夹具，计算机械臂末端坐标；

发送子模块，用于向机械臂操控设备发送指令，以使所述机械臂操控设备控制所述机械臂移动至所述末端坐标，并使所述夹具在所述夹取点夹取所述烹调对象。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

生成模块，用于根据红外热图像生成对应的棋盘格图像；

标定模块，用于生成棋盘格图像后利用张正友进行标定。

11.一种控制机械臂的装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；

根据所述红外热图像确定所述烹调对象的边缘；

根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；

根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备根据所述指令控制机械臂移动并夹取所述烹调对象。

12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至5任意一项权利要求所述方法的步骤。

13.一种控制机械臂的系统，其特征在于，包括：

数据生成设备，用于获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；根据所述红外热图像确定所述烹调对象的边缘；根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

机械臂操控设备，用于根据所述指令控制机械臂移动并夹取所述烹调对象。

Images