CN111724444B - 目标物的抓取点的确定方法、装置及抓取系统 - Google Patents

Abstract

本申请提供一种目标物的抓取点的确定方法、装置及抓取系统，涉及图像处理技术领域，通过将圆状标识作为特征信息，可以更为准确的确定出针对目标物的抓取点，所以相比现有港口吊车抓取货箱的方法更为可靠，鲁棒性更好。该方法包括：获取包含有目标物的目标区域；目标物上设有至少三个圆状标识；确定所述目标区域中每个所述圆状标识所在区域；确定每个所述圆状标识所在区域的中心点；根据确定出的所述中心点确定所述目标物的抓取点。

Description

目标物的抓取点的确定方法、装置及抓取系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种目标物的抓取点的确定方法、装置及抓取系统。

背景技术

在港口吊车抓取货箱的场景中，可以利用港口摄像机等图像采集设备获取包含有待抓取货箱的图像。然后利用该图像的特征信息(通常为贴在货箱上的二维码)与数据库中存储的特征信息进行模板匹配，以确定货箱的位置信息。之后，可根据货箱的位置信息确定针对该货箱的抓取路径。

但是，港口摄像机与货箱之间的距离通常较远，且二维码中含有的信息点较多，港口摄像机获取的图像中常会出现阴影、光斑等信息影响图像识别。所以，现有港口吊车抓取货箱的方法的鲁棒性较差。

发明内容

本申请提供一种目标物的抓取点的确定方法、装置及抓取系统，通过将圆状标识作为特征信息，可以在不受周围环境影响的情况下准确确定出目标物的抓取点，所以相比现有港口吊车抓取货箱的方法鲁棒性更好。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种目标物的抓取点的确定方法，目标物的抓取点的确定装置先获取到包含有目标物的目标图像。其中，目标物上设有至少三个圆状标识。目标物的抓取点的确定装置确定出目标图像中每个圆状标识所在区域。目标物的抓取点的确定装置确定出每个圆状标识所在区域的中心点，最后根据确定出的中心点确定目标物的抓取点。

本申请提供的技术方案中，根据确定出的目标图像中每个圆状标识所在区域的中心点确定目标物的抓取点，所以，可以通过确定出的抓取点确定针对目标物的抓取路径。由于目标物上设有的圆状标识是一种圆对称图形，而圆对称图形的形心相比其他图形(比如矩形，三角形)更容易拟合，即便在港口等环境较为复杂的场景中，也可以较为准确的确定出圆状标识的形心。因此，本申请中目标物的抓取点的确定方法，不易受环境影响，更为可靠，也即是本申请提供的目标物的抓取点的确定方法的鲁棒性较好。

第二方面，本申请提供一种目标物的抓取点的确定装置，包括：获取模块和确定模块。其中，获取模块，用于获取包含有目标物的目标图像，目标物上设有至少三个圆状标识。确定模块，用于确定获取模块获取的目标图像中每个圆状标识所在区域。确定模块，还用于确定每个圆状标识所在区域的中心点。确定模块，还用于根据确定出的中心点确定目标物的抓取点。

第三方面，本申请提供一种目标物的抓取点的确定装置，包括处理器，其中，处理器用于与存储器耦合，读取并执行存储器中的指令，以实现上述第一方面提供的目标物的抓取点的确定方法。

可选地，该目标物的抓取点的确定装置还可以包括存储器，该存储器用于保存该目标物的抓取点的确定装置的程序指令和数据。进一步可选地，该目标物的抓取点的确定装置还可以包括收发器，该收发器用于在目标物的抓取点的确定装置的处理器的控制下，执行收发数据、信令或信息的步骤，例如，获取包含有目标物的目标图像。

可选地，该目标物的抓取点的确定装置可以是服务器，也可以是服务器中的一部分装置，例如可以是服务器中的芯片系统。该芯片系统用于支持目标物的抓取点的确定装置实现第一方面中所涉及的功能，例如，接收，发送或处理上述目标物的抓取点的确定方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，以实现如第一方面提供的目标物的抓取点的确定方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在计算机上运行时，使得所述计算机执行如第一方面所述的目标物的抓取点的确定方法。

第六方面，本申请提供一种抓取系统，该抓取系统包括抓取设备、第五代移动通信技术(5th generation mobile networks，5G)通信网络、第一服务器以及目标物的抓取点的确定装置。其中，抓取设备通过5G通信网络与目标物的抓取点的确定装置连接，目标物的抓取点的确定装置与第一服务器连接。5G通信网络包括5G网关，5G网关用于将抓取设备接入5G通信网络。抓取设备上设置有摄像机及控制装置，摄像机与控制装置连接。第一服务器，用于根据目标物的抓取点的确定装置确定的抓取点确定目标物的抓取路径，并通过5G通信网络向控制装置发送抓取路径。控制装置，用于根据第一服务器发送的抓取路径控制抓取设备实施对目标物的抓取。

需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与目标物的抓取点的确定装置的处理器封装在一起的，也可以与目标物的抓取点的确定装置的处理器单独封装，本申请对此不作限定。

本申请中第二方面、第三方面、第四方面、第五方面以及第六方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面、第五方面以及第六方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

在本申请中，上述目标物的抓取点的确定装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本发明类似，属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的一种目标物的抓取点的确定方法的流程示意图；

图2为本申请实施例提供的一种视频帧的示意图；

图3为本申请实施例提供的一种掩码图；

图4为本申请实施例提供的另一种掩码图；

图5为本申请实施例提供的又一种掩码图；

图6为本申请实施例提供的一种拟合多边形处理后的图像；

图7为本申请实施例提供的另一种拟合多边形处理后的图像；

图8为本申请实施例提供的一种圆状标识的示意图；

图9为本申请实施例提供的一种仿真示意图；

图10为本申请实施例提供的一种抓取系统的架构示意图；

图11为本申请实施例提供的另一种目标物的抓取点的确定方法的流程示意图；

图12为本申请实施例提供的又一种目标物的抓取点的确定方法的流程示意图；

图13为本申请实施例提供的又一种目标物的抓取点的确定方法的流程示意图；

图14为本申请实施例提供的一种目标物的抓取点的确定装置的结构示意图；

图15为本申请实施例提供的另一种目标物的抓取点的确定装置的结构示意图。

具体实施方式

下面结合附图对本申请实施例提供的目标物的抓取点的确定方法、装置及抓取系统进行详细地描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

目前，在港口吊车抓取货箱的场景中，常采用二维特征信息进行模板匹配，确定出针对货箱的抓取路径。具体地，可以利用港口摄像机等图像采集设备获取包含有待抓取货箱的图像。然后利用该图像的特征信息(比如贴在货箱上的二维码)与数据库中存储的特征信息进行模板匹配，以确定货箱的位置信息。之后，可根据货箱的位置信息确定针对该货箱的抓取路径。

然而，港口摄像机与货箱之间的距离通常较远，且二维码中含有的信息点较多，港口摄像机获取的图像中常会出现阴影、光斑等信息影响图像识别。所以，现有港口吊车抓取货箱的方法的鲁棒性较差。虽然目前出现了一些采用三维空间特征信息进行模板匹配的实现方案，但是，在通过双目摄像机，红外线或激光雷达等三维传感器采集图像时，三维传感器采集图像的距离有限，并不适用与港口吊车抓取货箱的场景中。并且，在采用三维空间特征信息进行模板匹配时，对于时延的要求也较高。

针对上述现有技术中存在的问题，本申请实施例提供了一种目标物的抓取点的确定方法。通过将圆状标识作为特征信息，可以在不受周围环境影响的情况下更为准确的确定出针对目标物的抓取点。所以，本申请实施例提供了一种目标物的抓取点的确定方法相比现有技术更为可靠，鲁棒性更好。

本申请实施例提供的目标物的抓取点的确定方法可以适用于目标物的抓取点的确定装置。其中，目标物的抓取点的确定装置可以为物理机(如服务器)，也可以为部署在物理机上的虚拟机(virtual machine，VM)。目标物的抓取点的确定装置可以确定出目标图像中每个圆状标识所在区域，并确定出每个圆状标识所在区域的中心点。

下面结合上述目标物的抓取点的确定装置对本申请实施例提供的目标物的抓取点的确定方法进行说明。

参照图1所示，本申请实施例提供的目标物的抓取点的确定方法可以包括S101-S104：

S101、目标物的抓取点的确定装置获取包含有目标物的目标图像。

示例性地，本申请实施例提供的目标物的抓取点的确定方法可以适用于港口吊车抓取货箱的场景中。其中，目标物可以为货箱。当然，在实际应用中，本申请实施例也可应用于其他环境较为复杂中的物流或工业等场景中，对应的目标物也可以为其他的待抓取物，本申请对此不做限定。

可选地，目标物的抓取点的确定装置可以先获取视频帧，然后采用实例分割算法对视频帧进行处理，确定出用于表征视频帧中箱体所在的第一区域的掩码位置信息。之后，目标物的抓取点的确定装置对第一区域进行多边形检测，确定出所有多边形，再根据第二预设规则从所有多边形中确定出目标多边形。最终，将视频帧中目标多边形所在区域的图像确定为目标图像。

示例性地，如图2所示，提供了一种目标物的抓取点的确定装置获取到的视频帧。以港口吊车实施抓取箱体(比如货箱)任务为例，目标物的抓取点的确定装置可以从港口摄像机处获取到如图2所示的视频帧。之后，目标物的抓取点的确定装置可以采用实例分割算法对该视频帧进行像素级别的分类，确定出用于表征箱体所在的区域(即第一区域)的掩码位置信息。如图3所示，为采用实例分割算法对图2所示的视频帧进行处理后得到的掩码图，该掩码图中共确定出了箱体1、箱体2、箱体3、箱体4、箱体5、箱体6共6个箱体所在的第一区域。

由于采用实例分割算法确定出的掩码图中，可能会出现如图4所示的箱体所在的第一区域重叠，也即是箱体在实际摆放时可能会叠放的情况。所以，目标物的抓取点的确定装置可以采用多边形检测的方式，确定出完整的箱体所在的第一区域。另外，在实际应用中，采用实例分割算法得到的掩码图如图5所示，即箱体所在的第一区域的边缘不平整的。而采用多边形检测可以重新拟合出原视频帧中存在的所有多边形，并可记录每一个多边形的连通域(即围成的封闭区域)。

目标物的抓取点的确定装置可以根据第二预设规则从所有多边形中确定出包含有目标物的目标图像的目标多边形。具体地，第二预设规则可以为：首先筛除掉所有多边形中的四边形，然后筛除掉剩余有内角大于180°的多边形；其次，筛除掉剩余的多边形中有内角大于预设角度的多边形；最后，将剩余的多边形中面积最大的确定为目标多边形。

由于通过实例分割算法可以确定出视频帧中的每个箱体，每个箱体与港口摄像机的距离不同。所以，在实际应用中，为了提高抓取精确度，可以将距离港口摄像机的视野最近的箱体确定为目标物(也即是，将所有多边形面积最大的确定为目标多边形)。

其中，预设角度可以为90°±a°。a°为人为事先确定的度数，比如，a°可以为1°。

示例性地，参照图6，提供了一种拟合多边形处理后的图像，其中，箱体A拟合出的多边形不是四边形，不符合条件，箱体B的面积大于箱体C，所以，可以将箱体B拟合出的多边形确定为目标多边形，最后将原视频帧中目标多边形所在区域的图像确定为目标图像。

示例性地，参照图7，还提供了一种拟合多边形处理后的图像，其中，箱体C拟合出的多边形中不是四边形，不符合条件；箱体D拟合出的多边形中有内角远大于90°，不符合条件，所以，可以将箱体E拟合出的多边形确定为目标多边形，最后将原视频帧中目标多边形所在区域的图像确定为目标图像。

S102、目标物的抓取点的确定装置确定目标图像中每个圆状标识所在区域。

需要说明的是，本申请实施例提供的目标物的抓取点的确定方法需要根据目标物上提前设有的圆状标识的中心点确定目标物的抓取点，其中，在确定圆状标识的中心点时，是根据获取到的目标图像确定的。由于目标图像的像素坐标是二维坐标，确定目标物的抓取点时需要根据圆状标识的中心点的世界坐标确定，而世界坐标是一个三维坐标，至少需要三个点才可以确定三维坐标。所以，本申请实施例提供的目标物的抓取点的确定方法在具体实施时，目标物至少设有三个圆状标识，才可以确定出至少需要三个中心点，从而确定出目标物的抓取点。

可选地，目标物可以设有四个圆状标识，这样，目标物的抓取点的确定装置在确定出四个圆状标识的中心点后，可直接将四个中心点在目标图像的中心(即四个中心点围成的四边形的两个对角线的交点)确定为抓取点。当然，在实际应用中，也可将四个圆状标识中任意一个的中心点确定为抓取点，此处不做限定。示例性地，如图2所示，目标物的抓取点的确定装置获取到的视频帧中，每个目标物上都设有四个圆状标识。

可选地，本申请实施例提供的目标物的抓取点的确定方法中，一般在设圆状标识时，会采用与目标物颜色差异较大的圆状标识来做以区分。所以，目标图像中每个圆状标识所在区域与其他非圆状标识所在区域的像素点的亮度值不同。

因此，目标物的抓取点的确定装置可以先确定目标图像中各个像素点的亮度值，再将亮度值满足预设条件的像素点所在区域确定为圆状标识所在区域。

其中，亮度值可以为以红、绿、蓝(red、green、blue，RGB)色彩模式为标准确定的图像的颜色值。预设条件可以是大于人为事先确定的RGB阈值，也可以是小于人为事先确定的RGB阈值，具体可以根据圆状标识的颜色来确定。

示例性地，可以在白色的目标物上设有如图8所示的黑色圆状标识。其中，黑色对应的RGB值为0、0、0，白色对应的RGB值为255、255、255。此时，可以将预设条件设置为：小于RGB阈值。RGB阈值可以为白色的RGB值与黑色的RGB值的平均值。这样，由于圆状标识所在区域的像素点的亮度值均为小于0、0、0，所以小于RGB阈值，满足预设条件。而非圆状标识所在区域的像素点的亮度值均大于RGB阈值，不满足预设条件，因此，可以以此为依据确定出目标图像中每个圆状标识所在区域。

当然，在实际应用中，还可以通过其他方式确定目标图像中每个圆状标识所在区域，本申请对此不做限定。

S103、目标物的抓取点的确定装置确定每个圆状标识所在区域的中心点。

示例性地，目标物的抓取点的确定装置可以根据斑点检测算法计算每个圆状标识所在区域的中心点。

具体地，目标物的抓取点的确定装置可以根据第一预设规则将圆状标识所在区域划分为多个像素块，然后获取每个像素块的像素矩阵，再将每个像素矩阵与预设矩阵做卷积运算，最后将目标像素矩阵对应的像素块确定为中心点所在的像素块。

其中，将圆状标识所在区域划分的像素块的大小是人为事先确定的(即第一预设规则是人为事先确定的)；目标像素矩阵为获取到的每个像素矩阵中，与预设矩阵做卷积运算的运算值最大的像素矩阵。

预设矩阵可以为二维高斯卷积核矩阵。比如，目标物的抓取点的确定装置可以将高斯拉普拉斯算子(二维高斯卷积核矩阵的一种)与预先划分的多个像素块对应的像素矩阵分别做卷积运算，将每个像素矩阵中与高斯拉普拉斯算子做卷积运算的运算值最大的像素矩阵对应的像素块确定为中心点所在的像素块，然后获取该像素块的中心坐标，即可将该中心坐标确定为圆状标识所在区域的中心点所在位置。

本申请实施例具体实施时，还可以采用仿真软件(可以以斑点检测算法为依据)确定每个圆状标识所在区域的中心点。示例性地，参照图9，提供了一种仿真示意图，如图9所示，可以采用高斯拉普拉斯算子在目标图像上进行滑动卷积操作，当圆状标识所在区域的中心点与高斯拉普拉斯算子滑动框重合时，仿真软件会输出最大的响应值。

S104、目标物的抓取点的确定装置根据确定出的中心点确定目标物的抓取点。

目标物的抓取点的确定装置在确定出圆状标识所在区域的中心点后，即可以根据确定出的中心点确定目标物的抓取点。以港口吊车抓取货箱的场景为例。可以先根据港口摄像机的内参(焦距、像素尺寸、成像尺寸等)将圆状标识所在区域的中心点的像素坐标(二维坐标)转换为图像坐标(二维坐标)。再以港口摄像机镜头中心为坐标系原点建立相机坐标系，并确定相机坐标系下的中心点的坐标(三维坐标)。然后，可以根据圆状标识的实际尺寸确定出中心点的世界坐标(三维坐标)，即可以获取相机坐标系与目标物的抓取点的世界坐标转换矩阵R1。之后，可以通过手眼标定方式获取港口吊车的抓手相对于港口摄像机的的转换矩阵R2。那么，港口吊车的抓手相对于目标物的抓取点的R则为R1*R2。

可选地，在确定出目标物的抓取点的矩阵R之后，可以将该矩阵R输入至港口吊车的控制系统中，控制系统即可确定出针对目标物的抓取路径，并控制港口吊车的抓手实现对于目标物的抓取。

需要说明的是，在本申请实施例中，采集视频帧的设备可以为单目摄像机。

现有港口吊车抓取货箱的方法一般采用双目摄像机，可通过“标定”得到相机的内参和外参，由左右两个摄像机获得的图像“视差”，从而获取视差图，该视差图包含有视野内的物体离相机的距离信息，即深度信息。但是，双目摄像机的有效距离很短，一般为0.5m-10m，而港口桥吊上的摄像机拍摄的视频帧图像的视野距离要超过此有效距离，所以双目摄像机在港口吊车抓取货箱的场景并不适用。

单目摄像机虽然不具有测距的功能，但是，本申请中，由于目标物上的圆状标识与目标物的相对位置是固定的，所以可以通过前述中坐标转换的方式确定出相机坐标系与目标物的抓取点的世界坐标转换矩阵R1。因此，在本申请实施例中，采集视频帧的设备可以为有效拍摄距离更长的单目摄像机。

另外，参照图10，本申请实施例还提供了一种抓取系统。本申请实施例提供的目标物的抓取点的确定方法，可应用于图10所示的抓取系统。

如图10所示，该抓取系统包括：抓取设备、5G通信网络、目标物的抓取点的确定装置以及第一服务器。其中，抓取设备通过5G通信网络与目标物的抓取点的确定装置连接，目标物的抓取点的确定装置与第一服务器连接。5G通信网络包括5G网关，5G网关用于将抓取设备接入5G通信网络。抓取设备上设置有摄像机及控制装置，摄像机与控制装置连接。其中，目标物的抓取点的确定装置用于执行上述实施例提供的目标物的抓取点的确定方法。

需要说明的是，本申请提供的抓取系统，仅对本申请中用到的主要设备做以介绍，在实际应用中，该抓取系统还包括其他设备，比如，5G通信网络还应包括基站(如图10所示)等设备，此处不再一一介绍。

示例性地，抓取设备可以为港口吊车，控制装置可以为可编程控制器(programmable controller，PLC)，港口吊车上可以设置有港口摄像机与PLC。第一服务器可设置在中控室中，目标物的抓取点的确定装置可以为MEC服务器，可以部署在港口。如图10所示，可在MEC服务器上部署有视觉伺服系统，港口摄像机采集的视频帧通过5G通信网络传输至MEC服务器中，MEC服务器中的视觉伺服系统可以根据传输的视频帧确定出目标物的抓取点的矩阵R，然后将该矩阵R传输至中控室中的第一服务器，第一服务器可以根据抓取点的矩阵R确定出针对目标物的抓取路径。第一服务器在确定出抓取路径后进行自动化调度，通过5G通信网络将确定的抓取路径发送给PLC，并下发控制信号，PLC根据控制信号的指示控制港口吊车的抓手实现对目标物的自动化抓取。

本申请实施例提供的目标物的抓取点的确定方法，根据确定出的目标图像中每个圆状标识所在区域的中心点确定出目标物的抓取点，所以，可以通过确定出的抓取点确定针对目标物的抓取路径。由于目标物上设有的圆状标识是一种圆对称图形，而圆对称图形的形心相比其他图形(比如矩形，三角形)更容易拟合，即便在港口等环境较为复杂的场景中，也可以较为准确的确定出圆状标识的形心。因此，本申请中目标物的抓取点的确定方法，不易受环境影响，更为可靠，也即是本申请提供的目标物的抓取点的确定方法的鲁棒性很好。

综合上述描述，如图11所示，图1中的步骤S101可以替换为S1011-S1015：

S1011、目标物的抓取点的确定装置获取视频帧。

S1012、目标物的抓取点的确定装置采用实例分割算法对视频帧进行处理，确定掩码位置信息。

其中，掩码位置信息用于表征视频帧中箱体所在的第一区域。

S1013、目标物的抓取点的确定装置根据掩码位置信息对第一区域进行多边形检测，确定出所有多边形。

S1014、目标物的抓取点的确定装置根据第二预设规则从所有多边形中确定出目标多边形。

S1015、目标物的抓取点的确定装置将视频帧中目标多边形所在区域的图像确定为目标图像。

可选地，如图12所示，图1中的步骤S102可以替换为S1021-S1022：

S1021、目标物的抓取点的确定装置确定目标图像中各个像素点的亮度值。

S1022、目标物的抓取点的确定装置将亮度值满足预设条件的像素点所在区域确定为圆状标识所在区域。

可选地，如图12所示，图1中的步骤S103可以替换为S1031：

S1031、目标物的抓取点的确定装置根据斑点检测算法计算每个圆状标识所在区域的中心点。

可选地，如图13所示，图1中的步骤S103可以替换为S10311-S10314：

S10311、目标物的抓取点的确定装置根据第一预设规则将圆状标识所在区域划分为多个像素块。

S10312、目标物的抓取点的确定装置获取每个像素块的像素矩阵。

S10313、目标物的抓取点的确定装置将每个像素矩阵与预设矩阵做卷积运算。

S10314、目标物的抓取点的确定装置将目标像素矩阵对应的像素块确定为中心点所在的像素块。

其中，目标像素矩阵为每个像素矩阵中，与预设矩阵做卷积运算的运算值最大的像素矩阵。

如图14所示，本申请实施例还提供了一种目标物的抓取点的确定装置，该目标物的抓取点的确定装置可以包括：获取模块11和确定模块12。

其中，获取模块11执行上述方法实施例中的S101，确定模块12执行上述方法实施例中的S102、S103和S104。

具体地，获取模块11，用于获取包含有目标物的目标图像，目标物上设有至少三个圆状标识。

确定模块12，用于确定获取模块11获取的目标图像中每个圆状标识所在区域。

确定模块12，还用于确定每个圆状标识所在区域的中心点。

确定模块12，还用于根据确定出的中心点确定目标物的抓取点。

可选地，确定模块12具体用于：确定获取模块11获取的目标图像中各个像素点的亮度值，然后将亮度值满足预设条件的像素点所在区域确定为圆状标识所在区域。

可选地，确定模块12包括确定子模块，确定子模块用于：根据斑点检测算法计算每个圆状标识所在区域的中心点。

可选地，确定子模块具体用于：根据第一预设规则将圆状标识所在区域划分为多个像素块，然后获取每个像素块的像素矩阵，再将每个像素矩阵与预设矩阵做卷积运算，最后将目标像素矩阵对应的像素块确定为中心点所在的像素块。其中，目标像素矩阵为每个像素矩阵中，与预设矩阵做卷积运算的运算值最大的像素矩阵。

可选地，获取模块11具体用于：获取视频帧，然后采用实例分割算法对视频帧进行处理，确定用于表征视频帧中箱体所在的第一区域掩码位置信息，再根据掩码位置信息对第一区域进行多边形检测，确定出所有多边形。之后，根据第二预设规则从所有多边形中确定出目标多边形，最后将视频帧中目标多边形所在区域的图像确定为目标图像。

可选地，目标物的抓取点的确定装置还包括存储模块。存储模块用于存储该目标物的抓取点的确定装置的程序代码等。

如图15所示，本申请实施例还提供一种目标物的抓取点的确定装置，包括存储器41、处理器42、总线43和通信接口44；存储器41用于存储计算机执行指令，处理器42与存储器41通过总线43连接；当目标物的抓取点的确定装置运行时，处理器42执行存储器41存储的计算机执行指令，以使目标物的抓取点的确定装置执行如上述实施例提供的目标物的抓取点的确定方法。

在具体的实现中，作为一种实施例，处理器42(42-1和42-2)可以包括一个或多个中央处理器(central processing unit，CPU)，例如图15中所示的CPU0和CPU1。且作为一种实施例，目标物的抓取点的确定装置可以包括多个处理器42，例如图15中所示的处理器42-1和处理器42-2。这些处理器42中的每一个CPU可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器41可以是只读存储器41(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器41可以是独立存在，通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。

在具体的实现中，存储器41，用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序，以及调用存储在存储器41内的数据，目标物的抓取点的确定装置的各种功能。

通信接口44，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如控制系统、无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。通信接口44可以包括接收单元实现接收功能，以及发送单元实现发送功能。

总线43，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

作为一个示例，结合图14，目标物的抓取点的确定装置中的获取模块实现的功能与图15中的接收单元实现的功能相同，目标物的抓取点的确定装置中的确定模块实现的功能与图15中的处理器实现的功能相同，目标物的抓取点的确定装置中的存储模块实现的功能与图15中的存储器实现的功能相同。

本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，使得计算机执行上述实施例提供的目标物的抓取点的确定方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性地存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specificintegrated circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种目标物的抓取点的确定方法，其特征在于，包括：

获取包含有目标物的目标图像；所述目标物上设有至少三个圆状标识；

确定所述目标图像中每个所述圆状标识所在区域；

确定每个所述圆状标识所在区域的中心点；

根据确定出的所述中心点确定所述目标物的抓取点；

所述确定每个所述圆状标识所在区域的中心点，包括：

根据斑点检测算法计算每个所述圆状标识所在区域的中心点；

所述根据斑点检测算法计算每个所述圆状标识所在区域的中心点，包括：

根据第一预设规则将所述圆状标识所在区域划分为多个像素块；所述圆状标识为圆对称图形；

获取每个所述像素块的像素矩阵；

将每个所述像素矩阵与预设矩阵做卷积运算；

将目标像素矩阵对应的像素块确定为所述中心点所在的像素块；所述目标像素矩阵为所述每个所述像素矩阵中，与所述预设矩阵做卷积运算的运算值最大的像素矩阵。

2.根据权利要求1所述的目标物的抓取点的确定方法，其特征在于，所述确定所述目标图像中每个所述圆状标识所在区域，包括：

确定所述目标图像中各个像素点的亮度值；

将亮度值满足预设条件的像素点所在区域确定为所述圆状标识所在区域。

3.根据权利要求1或2所述的目标物的抓取点的确定方法，其特征在于，所述获取包含有目标物的目标图像，包括：

获取视频帧；

采用实例分割算法对所述视频帧进行处理，确定掩码位置信息；所述掩码位置信息用于表征所述视频帧中箱体所在的第一区域；

根据所述掩码位置信息对所述第一区域进行多边形检测，确定出所有多边形；

根据第二预设规则从所述所有多边形中确定出目标多边形；

将所述视频帧中所述目标多边形所在区域的图像确定为所述目标图像。

4.一种目标物的抓取点的确定装置，其特征在于，包括：获取模块和确定模块；

所述获取模块，用于获取包含有目标物的目标图像；所述目标物上设有至少三个圆状标识；

所述确定模块，用于确定所述获取模块获取的所述目标图像中每个所述圆状标识所在区域；

所述确定模块，还用于确定每个所述圆状标识所在区域的中心点；

所述确定模块，还用于根据确定出的所述中心点确定所述目标物的抓取点；

所述确定模块包括确定子模块，所述确定子模块用于：

根据斑点检测算法计算每个所述圆状标识所在区域的中心点；

所述确定子模块具体用于：

根据第一预设规则将所述圆状标识所在区域划分为多个像素块；

获取每个所述像素块的像素矩阵；

将每个所述像素矩阵与预设矩阵做卷积运算；

将目标像素矩阵对应的像素块确定为所述中心点所在的像素块；所述目标像素矩阵为所述每个所述像素矩阵中，与所述预设矩阵做卷积运算的运算值最大的像素矩阵。

5.根据权利要求4所述的目标物的抓取点的确定装置，其特征在于，所述确定模块具体用于：

确定所述获取模块获取的所述目标图像中各个像素点的亮度值；

将亮度值满足预设条件的像素点所在区域确定为所述圆状标识所在区域。

6.根据权利要求4或5所述的目标物的抓取点的确定装置，其特征在于，所述获取模块具体用于：

获取视频帧；

采用实例分割算法对所述视频帧进行处理，确定掩码位置信息；所述掩码位置信息用于表征所述视频帧中箱体所在的第一区域；

根据所述掩码位置信息对所述第一区域进行多边形检测，确定出所有多边形；

根据第二预设规则从所述所有多边形中确定出目标多边形；

将所述视频帧中所述目标多边形所在区域的图像确定为所述目标图像。

7.一种目标物的抓取点的确定装置，其特征在于，包括存储器、处理器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；

当所述目标物的抓取点的确定装置运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述目标物的抓取点的确定装置执行如权利要求1-3任意一项所述的目标物的抓取点的确定方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行所述指令时，使得所述计算机执行如权利要求1-3任意一项所述的目标物的抓取点的确定方法。

9.一种抓取系统，其特征在于，应用于权利要求1-3中任一项所述的目标物的抓取点的确定方法，包括抓取设备、第五代移动通信技术5G通信网络、第一服务器以及如权利要求4-6任意一项所述的目标物的抓取点的确定装置；

所述抓取设备通过所述5G通信网络与所述目标物的抓取点的确定装置连接，所述目标物的抓取点的确定装置与所述第一服务器连接；所述5G通信网络包括5G网关，所述5G网关用于将所述抓取设备接入所述5G通信网络；

所述抓取设备上设置有摄像机及控制装置，所述摄像机与所述控制装置连接；

所述第一服务器，用于根据所述目标物的抓取点的确定装置确定的抓取点确定所述目标物的抓取路径，并通过所述5G通信网络向所述控制装置发送所述抓取路径；

所述控制装置，用于根据所述第一服务器发送的所述抓取路径控制所述抓取设备实施对所述目标物的抓取。