CN111242240B - 物料检测方法、装置及终端设备 - Google Patents

Abstract

本申请适用于图像处理技术领域，提供了物料检测方法、装置及终端设备，包括：获取待测图片；根据所述待测图片的轮廓特征信息及预加载的目标模板，确定第一物料位置及对应的匹配模板；根据所述待测图片中所述第一物料位置对应的目标颜色特征信息及所述匹配模板携带的模板颜色特征信息，从所述第一物料位置中筛选出第二物料位置；根据所述待测图片中所述第二物料位置对应的目标细节特征信息及所述匹配模板携带的模板细节特征信息，从所述第二物料位置中筛选出第三物料位置；根据所述第三物料位置及所述第三物料位置对应的匹配模板，确定目标物料的信息。本申请实施例能够提高物料检测的准确性和灵活性。

Description

物料检测方法、装置及终端设备

技术领域

本申请属于图像处理技术领域，尤其涉及一种物料检测方法、装置及终端设备。

背景技术

随着工业制造智能化的推进，在自动化分拣领域，柔性分拣技术不断发展，特别是基于机械臂和机器视觉系统的柔性自动化分拣技术。基于机械臂及机器视觉的柔性分拣技术，主要是指使用机器视觉系统对待分拣的物料完成识别及抓取点定位，然后由机械臂调用视觉系统输出的信息，抓取物料完成分拣任务。

在上述的分拣任务中，对待分拣的物料进行检测识别为十分关键的一个环节。然而，在现有技术中，由于物料种类繁杂且不同物料间存在相互干扰，导致物料检测不准确。

发明内容

有鉴于此，本申请实施例提供了物料检测方法、装置及终端设备，以解决现有技术中如何提高物料检测的准确性和灵活性的问题。

本申请实施例的第一方面提供了一种物料检测方法，包括：

获取待测图片；

根据所述待测图片的轮廓特征信息及预加载的目标模板，确定第一物料位置及对应的匹配模板，其中所述第一物料位置为初步确定的所述待测图片中的物料图像的位置，所述匹配模板为从所述目标模板中确定出的与所述轮廓特征信息匹配的模板；

根据所述待测图片中所述第一物料位置对应的目标颜色特征信息及所述匹配模板携带的模板颜色特征信息，从所述第一物料位置中筛选出所述目标颜色特征信息与所述模板颜色特征信息相匹配的位置作为第二物料位置；

根据所述待测图片中所述第二物料位置对应的目标细节特征信息及所述匹配模板携带的模板细节特征信息，从所述第二物料位置中筛选出目标细节特征信息与模板细节特征信息相匹配的位置作为第三物料位置，所述第三物料位置用于指示目标物料在所述待测图片中的图像位置；

根据所述第三物料位置及所述第三物料位置对应的匹配模板，确定目标物料的信息，其中所述目标物料的信息至少包括目标物料的位姿信息。

本申请实施例的第二方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，使得终端设备实现如所述物料检测方法的步骤。

本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得终端设备实现如所述物料检测方法的步骤。

本申请实施例的第四方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述所述物料检测方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，由于在根据待检测图片的轮廓特征信息和目标模板确定出第一物料位置及对应的匹配模板后，还进一步根据待测图片中的目标颜色特征信息、目标细节特征信息，以及匹配模板中的模板颜色特征信息、模板细节特征信息进行比对筛选，最终准确确定出指示目标物料在待测图片中的图像位置的第三物料位置，使得根据第三物料位置及对应的匹配模板确定出的目标物料的信息更加准确，因此能够提高物料检测的准确性。并且，由于根据预加载的目标模板便可自动实现相应的目标物料的特征提取和比对，从而能够灵活准确地完成不同目标物料的检测，提高了物料检测的灵活性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的第一种物料检测方法的实现流程示意图；

图2是本申请实施例提供的一种物料检测方法的应用场景示意图；

图3是本申请实施例提供的一种待测图片的示意图；

图4a是本申请实施例提供的一种待测图片中的目标物料图像的示意图；

图4b是本申请实施例提供的一种模板图像的示意图；

图5a是本申请实施例提供的一种未经非极大值抑制前的轮廓特征信息匹配的图像示意图；

图5b是本申请实施例提供的一种经过非极大值抑制的轮廓特征信息匹配的图像示意图；

图6是本申请实施例提供的第二种物料检测方法的实现流程示意图；

图7是本申请实施例提供的一种样本物料图像的轮廓特征信息标注示意图；

图8是本申请实施例提供的一种样本物料图像的模板细节特征块标注示意图；

图9是本申请实施例提供的一种样本物料图像的模板颜色特征区域标注示意图；

图10是本申请实施例提供的一种样本物料图像的颜色直方图；

图11是本申请实施例提供的一种样本物料图像的抓取点标注示意图；

图12是本申请实施例提供的物料检测装置的示意图；

图13是本申请实施例提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一：

图1示出了本申请实施例提供的第一种物料检测方法的流程示意图，详述如下：

在S101中，获取待测图片。

本申请实施例中的待测图片为相机在目标检测区域拍摄的图片，该目标检测区域具体可以为物料在传送过程中经过的区域。示例性地，如图2所示，给出了本申请实施例一种应用场景示意图，其中，物料通过机械装置分散地放置在传动带上，图中的遮光幕布围成的区域为目标检测区域，在该目标检测区域上方安装有光源板及相机；当物料随着传动带的传送到达目标检测区域时，相机启动拍摄目标检测区域，得到待测图片，该待测图片包含若干物料的图像。示例性地，如图3所示，为一张待测图片的示意图。

在S102中，根据所述待测图片的轮廓特征信息及预加载的目标模板，确定第一物料位置及对应的匹配模板，其中所述第一物料位置为初步确定的所述待测图片中的物料图像的位置，所述匹配模板为从所述目标模板中确定出的与所述轮廓特征信息匹配的模板。

本申请实施例中的目标模板为从提前根据物料的图像构建的模板中加载得到的物料图像模板，每个目标模板对应一种物料图像，该目标模板至少包括该物料图像的轮廓特征信息、颜色特征信息以及细节特征信息(为了以示区别，以下将目标模板包含的这三个信息分别称为模板轮廓特征信息、模板颜色特征信息以及模板细节特征信息)；进一步地，该目标模板还可以包括预设的模板颜色特征区域、模板细节特征块及抓取信息。本申请实施例中的目标模板可以根据所需检测的目标物料相应灵活地进行加载，当需要更换所需检测的目标物料时，只需更新对应的目标模板即可，而无需根据目标物料的特性重新编写相应的物料检测程序，从而灵活有效地实现对不同类型的目标物料的检测。

通过预设的图像处理算法提取待测图片的轮廓特征信息，并将预加载的目标模板中的模板轮廓特征信息与待测图片的轮廓特征信息一一比对，从待测图片中确定与目标模板的轮廓特征信息相匹配的位置为第一物料位置，即初步确定的待测图片中的物料图像的位置，将与该第一物料位置对应匹配的目标模板记为该第一物料位置上的匹配模板。即，该匹配模板为从目标模板中确定出的与待测图片上的第一物料位置对应的轮廓特征信息相匹配的模板，确定出的待测图片上的每个第一物料位置都对应着一个匹配模板。具体地，若待测图片中包含的物料图像为多个，则相应地第一物料位置也为多个。

可选地，本申请实施例中具体通过Linemod算法提取待测图片的轮廓特征信息。由于Linemod算法的鲁棒性好，容错度较高，因此能够使得在初步识别时有较大可能性为物料图像的位置均被匹配、确定为第一物料位置，减少漏匹配的情况，提高物料检测的效率。可选地，在匹配确定第一物料位置的同时，确定对应的第一物料姿态信息，即识别出的物料图像的方向相对于预设的标准方向的偏移角度。

在S103中，根据所述待测图片中所述第一物料位置对应的目标颜色特征信息及所述匹配模板携带的模板颜色特征信息，从所述第一物料位置中筛选出所述目标颜色特征信息与所述模板颜色特征信息相匹配的位置作为第二物料位置。

根据步骤S102中确定的第一物料位置以及与该第一物料位置对应的匹配模板，确定与该第一物料位置对应的物料图像的目标颜色特征区域，在待测图片中提取该目标颜色特征区域的颜色特征信息，得到第一物料位置对应的目标颜色特征信息。具体地，匹配模板中包含预设的模板颜色特征区域，根据该模板颜色特征区域确定待测图片中与第一物料位置对应的目标颜色特征区域。

在得到待测图片中与第一物料位置对应的目标颜色特征信息后，将该目标颜色特征信息与该第一物料位置对应的匹配模板中携带的模板颜色特征信息进行比较，从第一物料位置中筛选出目标颜色特征信息和模板颜色特征信息相匹配的位置作为第二物料位置。由于每个第一物料位置都存在对应的一个匹配模板，而第二物料位置为从第一物料位置中选择出的位置，因此，同样地，每个第二物料位置都有对应的一个匹配模板。具体地，目标颜色特征信息和模板颜色特征信息均分别用一个特征向量表示，若这两个特征向量的余弦相似度高于预设的第一阈值，则判定该目标颜色特征信息和模板颜色特征信息相匹配。

可选地，本申请实施例的模板颜色特征信息为预设颜色特征区域上的颜色直方图信息，目标颜色特征信息为目标颜色特征区域上的颜色直方图信息。由于颜色直方图信息为对一个图像区域的特征统计，不会因光照或者其它因素带来太大的信息偏差，因此以颜色直方图作为颜色特征信息能够提高颜色特征匹配时的鲁棒性。

在S104中，根据所述待测图片中所述第二物料位置对应的目标细节特征信息及所述匹配模板携带的模板细节特征信息，从所述第二物料位置中筛选出目标细节特征信息与模板细节特征信息相匹配的位置作为第三物料位置，所述第三物料位置用于指示目标物料在所述待测图片中的图像位置。

根据步骤S103中筛选出的第二物料位置以及与该第二物料位置对应的匹配模板，确定与第二物料位置对应的物料图像的目标细节特征块，在待测图片中提取该目标细节特征块的细节特征信息，得到第二物料位置对应的目标细节特征信息。具体地，匹配模板中包含预设的模板细节特征块，根据该预设的模板细节特征块，确定待测图片中与第二物料位置对应的目标细节特征块。

在得到待测图片中与第二物料位置对应的目标细节特征信息后，将该目标细节特征信息与该第二物料位置对应的匹配模板中携带的模板细节特征信息进行比较，从第二物料位置中筛选出目标细节特征信息和模板细节特征信息相匹配的位置作为第三物料位置，同样地，每个第三物料位置对应一个匹配模板。具体地，目标细节特征信息和模板细节特征信息均用矩阵表示，若这两个特征信息的余弦相似度高于预设的第一阈值，则判定该目标细节特征信息和模板细节特征信息相匹配。本申请实施例中识别得到的第三物料位置为经过轮廓特征信息匹配、颜色特征信息匹配、细节特征信息匹配后得到的物料图像在待测图片中的位置，该位置可以准确地用于表示目标物料在待测图片中的图像位置，目标物料为在拍摄待测图片时相机视野范围内存在的物料。

示例性地，图4a为待测图片的第二物料位置上的目标物料图像，图4b为第二物料位置上对应的匹配模板的模板图像，如图所示，虽然该目标物料图像与模板图像的轮廓及颜色信息均相同，但是二者的细节纹理信息并不相同，因此第二物料位置上的目标物料图像因细节特征信息不匹配而判定为误识别。即，本申请实施例中，由于在进行轮廓特征信息和颜色特征信息匹配后，还进一步进行细节特征信息的识别匹配，从而能够更加准确地检测出目标物料。

可选地，本申请实施例的模板细节特征信息为预设的模板细节特征块上的方向梯度直方图(Histogram of Oriented Gradient，HOG)特征信息，目标细节特征信息为目标细节特征块上的HOG特征信息。由于HOG特征信息对图像几何和光学的形变都能保持较好的不变形，因此以HOG特征信息作为细节特征信息能够提高物料识别检测的准确性。

在S105中，根据所述第三物料位置及所述第三物料位置对应的匹配模板，确定目标物料的信息，其中所述目标物料的信息至少包括目标物料的位姿信息。

可选地，本申请实施例中目标物料的位姿信息为目标物料在待测图片中的图像坐标信息和姿态角信息。将第三物料位置确定为目标物料最终的图像坐标信息，并将第三物料位置对应的匹配模板携带的姿态信息确定为目标物料的姿态角信息。

可选地，本申请实施例中目标物料的位姿信息还可以为目标物料在目标坐标系中的位置坐标信息及姿态角信息。其中，目标坐标系可以为预先标定的世界坐标系，用于表示相机和物料在实际物理空间上的位置。或者，该目标坐标系也可以为需用到目标物料的位置信息的指定器械标定的坐标系，例如为用于抓取目标物料的机械臂的坐标系。具体地，根据上述识别匹配得到的第三物料位置和匹配模板，以及通过待测图片的图像坐标与目标坐标的映射关系，利用仿射变换矩阵计算得到目标物料的位姿信息。

可选地，所述目标物料的信息还包括目标物料的抓取信息和/或类别信息。

具体地，本申请实施例中，与第三物料位置对应的匹配模板中还包括预设的抓取信息，该抓取信息可包括提前设定的抓取点、吸取点、抓取高度和抓取夹爪张开宽度等信息中的一项或多项，以使抓取器械根据该抓取信息对目标物料进行抓取操作。可选地，该抓取器械可以为机械臂，该机械臂可以携带吸盘和/或抓取夹爪。通过本申请实施例的方法，可以准确地识别确定目标物料的抓取信息，提高对目标物料进行抓取操作的准确度和效率。

具体地，本申请实施例中的目标物料的信息还可以包括目标物料的类别信息，用于标识目标物料所属种类或者对应的名称。具体地，该类别信息由与第三物料位置对应的匹配模板中携带的模板类别信息确定。通过本申请实施例的方法，可以准确地获悉目标物料的类别，以便对目标物料进行分类。

本申请实施例中，由于在根据待检测图片的轮廓特征信息和目标模板确定出第一物料位置及对应的匹配模板后，还进一步根据待测图片中的目标颜色特征信息、目标细节特征信息，以及匹配模板中的模板颜色特征信息、模板细节特征信息进行比对筛选，最终准确确定出指示目标物料在待测图片中的图像位置的第三物料位置，使得根据第三物料位置及对应的匹配模板确定出的目标物料的信息更加准确，因此能够提高物料检测的准确性。并且，由于根据预加载的目标模板便可自动实现相应的目标物料的特征提取和比对，从而能够灵活准确地完成不同目标物料的检测，提高了物料检测的灵活性。

可选地，在步骤S105之后，目标物料通过传送带从目标检测区域传送到下游的机械臂工作区域，并同时将识别得到的目标物料的信息发送给抓取器械(例如机械臂)，由抓取器械完成对物料的抓取和分拣。

可选地，所述步骤S102包括：

根据Linemod算法提取所述待测图片的轮廓特征信息，并与预加载的目标模板进行匹配，确定第一物料位置及对应的匹配模板；

对应地，所述步骤S104包括：

步骤S10401：根据与第二物料位置对应的匹配模板上的模板细节特征块，确定待测图片中与第二物料位置对应的目标细节特征块；

步骤S10402：通过方向梯度直方图HOG算法在所述待测图片上的所述目标细节特征块提取目标细节特征信息，并与所述匹配模板中的模板细节特征信息作比较，确定第三物料位置。

本申请实施例中，步骤S102所述的待测图片的轮廓特征信息提取和匹配具体通过Linemod算法实现，具体地，包括以下步骤：

A1：计算待测图片中每个像素点8个梯度方向的梯度值；

A2：对于每个像素点，分别从其对应的8个梯度方向中确定梯度值最大的方向为该像素点的Linemod特征方向；

A3：根据每个像素点在标定的图像坐标系的位置坐标和Linemod特征方向，组成待测图片的Linemod特征点信息(x，y，r)，其中x表示待测图片中的像素点的横坐标，y表示像素点的纵坐标，r表示该像素点的Linemod特征方向，以该Linemod特征点信息作为待测图片的轮廓特征信息；

A4：将待测图片的Linemod特征点信息进行梯度扩散并和目标模板中存储的Linemod特征点信息进行Linemod算法匹配，确定待测图片中的第一物料位置以及第一物料位置对应的匹配模板。

对应地，在步骤S104中，具体通过HOG算法提取待测图片中的目标细节特征信息，具体包括以下步骤：

在步骤S10401中，根据第二物料位置对应的匹配模板上预设的模板细节特征块，确定待测图片中和第二物料位置对应的目标细节特征块。

在步骤S10402中，通过HOG算法在待测图片上的目标细节特征块提取HOG特征信息作为目标细节特征信息，并与匹配模板中的HOG特征信息作比较，确定第二物料位置中目标细节特征块上的HOG特征信息与匹配模板中的HOG特征信息相匹配的位置为第三物料位置。具体地，若两个HOG特征信息的余弦相似度高于预设的第二阈值，则判定这两个HOG特征信息相匹配。可选地，先分别求的两个HOG特征信息各自的HOG特征累加值，若两个HOG特征累加值的差值大于设定差值，则判定两个HOG特征信息差别较大，判定这两个HOG特征信息不匹配；若两个HOG特征累加值的差值小于或者等于设定差值，再进一步求两者的余弦相似度，若两个HOG特征信息的余弦相似度高于预设的第二阈值，则判定这两个HOG特征信息相匹配。在进行余弦相似度计算前通过HOG特征累加值初步判定是否匹配，由于HOG特征累加值的比较计算的复杂度远远小于余弦相似度的计算复杂度，因此能够节省计算资源，提高匹配判定的效率。

可选地，本申请实施例在运用HOG算法提取HOG特征信息时，包括以下步骤：

B1：将待测图片中的目标细节特征块划分为若干个预设大小的单元格cell，每个cell中包含第一预设数量的像素点；并且，在得到cell后，每第二预设数量个cell又组成一个HOG特征区块block；可选地，该第一预设数量可以为1，即目标细节特征块中的一个像素点划分为一个cell；可选地，一个目标细节特征块即为以一个block。

B2：根据步骤S102中通过Linemod算法提取轮廓特征信息时的步骤A1计算得到的梯度信息(即每个像素点的8个梯度方向的梯度值)，将每个cell中包含的像素点的每个梯度方向的梯度值分别进行累加，得到每个cell对应的梯度信息，该梯度信息为一个8维向量，每个向量对应一个方向的梯度值；

B3：根据每个block中的cell的梯度信息，确定目标细节特征块对应的HOG特征信息。

可选地，所述步骤B3可以包括：

将每个block中的cell的所有梯度信息串联，构成该block的特征，并进行归一化处理，得到每个block对应的特征信息；

将每个block对应的特征信息串联，得到目标细节特征块对应的HOG特征信息，并以该HOG特征信息作为该目标细节特征块的目标细节特征信息。

本申请实施例中，具体通过Linemod算法提取Linemod特征作为待测图片的轮廓特征信息，通过HOG算法提取HOG特征作为待测图片的目标细节特征块的目标细节特征信息，由于通过Linemod算法进行轮廓特征信息提取匹配时的鲁棒性好，容错度较高而HOG算法能够更加精确地提取细节特征信息，因此通过Linemod算法和HOG算法的配合能够更加高效准确地完成物料匹配检测；并且，由于Linemod算法和HOG算法均需用到待测图片上像素点的梯度信息，HOG算法能够利用Linemod算法处理过程中已经得到的像素点的梯度信息，因此能够减少计算量，提高物料检测效率。

可选地，所述步骤A4，具体包括：

将待测图片的Linemod特征点信息进行梯度扩散并和目标模板中存储的Linemod特征点信息进行Linemod算法匹配，并采用非极大值抑制算法对Linemod算法匹配的结果进行处理，剔除重复识别匹配的信息。

由于Linemod算法中采用了梯度扩散的方法来应对物体的微小形变和偏移，同时也因为场景图像上可能出现的随机噪声，和一个相对宽松的相似度阈值，对于同一个物料图像可能会出现多次重复匹配，如图5a所示，同一个物料图像的同一个位置可能出现相近多个角度的重复匹配，某个位置中心周围偏移几个像素的区域也会出现重复匹配。为了解决这个问题，本申请采用非极大值抑制方法去除重复识别，即遍历Linemod算法匹配的结果，将所有匹配类别相同且距离不超过10个像素的结果划定为一组对同一个目标的匹配，比较组内各个结果的相似度，最后只保留组内最大相似度的结果作为最终的匹配结果，抑制非极大值，得到如图5b所示的匹配结果。

可选地，在所述步骤S104之后，还包括：

C1：根据所述第三物料位置及所述第三物料位置对应的匹配模板，在所述待测图片中划定识别区域；

C2：若所述识别区域中存在重合的第一识别区域和第二识别区域，则将所述第二识别区域对应的物料位置从所述第三物料位置中剔除，其中，所述第一识别区域的面积大于所述第二识别区域的面积。

在C1中，根据第三物料位置和第三物料位置对应的匹配模板，在待测图片中确定物料图像在待测图片中所占的区域为识别区域。

在C2中，设第一识别区域和第二识别区域为识别区域中的两个区域，且第一识别区域的面积大于第二识别区域的面积。若第一识别区域和第二识别区域存在区域重合，则说明第一识别区域为一个附着有小物料的完整大物料对应的物料图像，而第二识别区域为该大物料上附着的小物料对应的物料图像。由于对于附着小物料的大物料实际上是一个完整的物料，只需对该大物料进行识别定位即可，而对该附着的小物料的识别则判定为误识别，因此，此时将第二识别区域对应的物料位置从第三物料位置中剔除，得到最终的第三物料位置及对应的匹配模板作为最终的物料图像识别结果。可选地，在步骤C2中，具体将步骤C1中的识别区域按照面积从大到小的顺序进行识别区域标记(即先标记的识别区域的面积大于后标记的识别区域的面积)，若在标记时发现当前待标记的识别区域和已标记的识别区域存在重合区域，则舍去对该待标记的识别区域的标记，从而以最终标记的识别区域作为识别结果，每一个标记的识别区域对应一个第三物料位置及匹配模板。

本申请实施例中，由于能够将附着在大物料上的小物料的识别结果判定为误识别并从确定的第三物料位置中剔除，因此能够提高对物料的定位识别的准确性，从而提高后续的物料抓取、分拣效率。

实施例二：

图6示出了本申请实施例提供的第二种物料检测方法的流程示意图，本申请实施例中的执行主体为终端设备。具体地，本实施例在上一实施例的基础上增加了目标模板的加载步骤S601，本申请实施例中S602-S606与上一实施例中的S101-S105完全相同，具体请参阅上一实施例中S101-S105的相关描述，此处不赘述。如图6所示的物料检测方法中的步骤S601详述如下：

在S601中，获取物料表，根据所述物料表从预建的物料模板中加载目标模板。

本申请实施例中预建的物料模板为提前根据多种物料的图像构建存储的多个模板，具体地，该预建的物料模板可以存储于数据库(例如基于分布式文件存储的数据库MongoDB)中以便进行管理。具体地，在数据库中，将预建的物料模板与其对应的物料标识信息(可以为物料名称或者物料编码)对应存储。

本申请实施例中物料表包含本次运行所需检测的物料的物料标识信息，该物料表可以根据操作员输入的物料标识信息构建得到，也可以从预存的存储单元获取，还可以从其它设备发送的信息中接收得到。在获取物料表之后，根据物料表中的物料标识信息从数据库中加载对应的预建的物料模板至内存中，以供之后进行待测图片的识别匹配。

本申请实施例中，由于运行时，提前将存储于数据库中的物料模板加载到内存中，因此能够降低输入/输出接口IO的访问量，加快之后模板匹配的速度；并且，由于物料种类繁多，预建的物料模板的数量大，因此根据物料表获取本次检测所需的目标模板，使得算法在每次匹配时只会匹配需要的几十个模板而不是所有种类物料的模板，从而加快了算法执行速度，提高了物料检测效率；另外，由于能够根据实际所需检测的物料来加载对应的物料模板，使得本申请实施例的物料检测方法能够灵活地切换适应各种不同类型的物料检测，从而提高物料检测的灵活性与便捷性。

可选地，在所述步骤S601之前，还包括：

获取样本物料图像；

标记所述样本物料图像的轮廓特征信息、细节特征信息及颜色特征信息，构建物料模板。

本申请实施例中的样本物料图像为提前拍摄的与待测物料属性相同(即各项特征信息相同)的样本物料的图像。具体地，对于一种物料，放置在目标检测区域时存在着若干个的稳定拍摄面，该稳定拍摄面为物料在传送过程中正对着相机的面，因此相应地，本申请实施例中样本物料图像通过采集样本物料的所有稳定拍摄面的图像得到。具体地，在采集样本物料图像时的相机安装高度及光照条件均与实际运行进行物料检测时的相同，从而保证之后物料检测的准确性。

获取样本物料图像之后，在样本物料图像上标记轮廓特征信息、细节特征信息和颜色特征信息，构建包含这三个特征信息的物料模板。具体地，在样本物料图像上标记轮廓特征像素点，通过第一预设算法提取轮廓特征像素点上的信息作为轮廓特征信息；在样本物料图像上标记模板细节特征块，通过第二预设算法提取细节特征块上的信息作为细节特征信息；在样本物料图像上标记模板颜色特征区域，通过第三预设算法提取颜色特征区域的信息作为颜色特征信息(该颜色特征区域具体可以为由样本物料图像的边缘线围成的区域，使得颜色特征信息为一整个物料完整的颜色信息)；之后，根据以上标记的位置及提取的特征，构建物料模板，该物料模板具体为包含轮廓特征像素点、模板细节特征块、模板颜色特征区域、模板轮廓特征信息、模板细节特征信息、模板颜色特征信息等信息的物料图像。

本申请实施例中，在加载目标模板前获取样本物料图像灵活标记样本物料图像的轮廓特征信息、细节特征信息及颜色特征信息，构建包含多个特征信息的物料模板，为之后的目标模板加载和待测图片的模板匹配提供准确的物料模板来源。由于只需获取与待测物料属性相同的样本物料图像便可按照设定的步骤灵活地提取特征信息、构建物料模板，并根据该物料模板准确地实现待测物料的检测识别，而无需人为重新为新的待测物料编写新的检测程序，从而提高物料检测的灵活性与准确性。

可选地，所述标记所述样本物料图像的轮廓特征信息、细节特征信息及获取目标区域的颜色特征信息，构建物料模板，包括：

D1：计算所述样本物料图像上每个像素点的梯度信息；

D2：获取轮廓特征信息标注指令，在所述样本物料图像上标注轮廓特征像素点，并根据所述轮廓特征像素点上的梯度信息及Linemod算法，确定所述样本物料图像的轮廓特征信息；

D3：获取细节特征信息标注指令，在所述样本物料图像上标注细节特征块，并根据所述细节特征块上的像素点的梯度信息及HOG算法，确定所述样本物料图像的细节特征信息；

D4：获取颜色特征信息标注指令，在所述样本物料图像上选定模板颜色特征区域，并计算所述模板颜色特征区域的颜色直方图信息，确定所述样本物料图像的颜色特征信息；

D5：根据所述轮廓特征信息、所述细节特征信息及所述颜色特征信息，构建物料模板。

在D1中，计算样本物料图像上每个像素点的梯度信息，具体地，该梯度信息包括8个梯度方向的梯度值。

在D2中，获取轮廓特征信息标注指令，在样本物料图像上标注轮廓特征像素点。具体地，可通过获取用户在样本物料图像上的像素点的点击操作作为轮廓特征信息标注指令，将样本物料图像上逐一标注点击到的像素点作为轮廓特征像素点。或者，通过获取在样本物料图像上的磁性套索操作作为轮廓特征信息标注指令，在样本物料图像上实现轮廓特征像素点的半自动标注，即在鼠标停留位置或者触摸点停留附近自动查找梯度值较大的像素点作为轮廓特征点，这种磁性套索操作标注方法的操作更加简便且标注出的轮廓特征像素点更加准确。

在标注轮廓特征像素点之后，根据轮廓特征像素点上的梯度信息和Linemod算法，计算出每个轮廓特征像素点对应的Linemod特征信息，并将该Linemod特征信息作为样本物料图像的轮廓特征信息。该Linemod特征信息包括每个轮廓特征像素点通过Linemod算法确定的Linemod梯度方向。如图7所示，为样本物料图像上轮廓特征像素点的标注示意图，图中物料图像边缘的圆点表示轮廓特征像素点，轮廓特征像素点上的箭头表示Linemod梯度方向。

本申请实施例中，一方面，样本物料图像的轮廓特征信息具体是通过标注轮廓特征像素点及在轮廓特征像素点计算Linemod特征信息得到的，由于Linemod算法具有较好的鲁棒性，因此以Linemod特征信息作为轮廓特征信息能够提高后续模板匹配的容错率。另一方面，本申请实施例中Linemod特征信息是根据获取手动操作的标注指令进行标注得到的，使得在构建物料模板时的轮廓特征信息能够更加灵活可控地标注，提高物料模板构建时的灵活性及准确性，从而提高物料检测的灵活性及准确性；并且，本申请实施例中Linemod特征信息具体是根据标注指令标注的轮廓特征像素点上的梯度信息计算得到的，相对于现有的需要Linemod算法提取图像中所有像素点的Linemod特征信息后再自动确定轮廓特征像素点的方式，本申请实施例的轮廓特征像素点更加准确，并且减少了Linemod特征信息提取占用的运算资源，从而提高了物料模板构建时的效率和准确性。

在D3中，通过获取细节特征信息标注指令，在样本物料图像上标注指定的区域作为模板细节特征块，并根据该模板细节特征块上的像素点的梯度信息和HOG算法，计算模板细节特征块上的HOG特征信息作为样本物料图像的细节特征信息。如图8所示，为一种标注了模板细节特征块的样本物料图像示意图，图中的方块81即为模板细节特征块。

在D4中，获取颜色特征信息标注指令，在样本物料图像上选定模板颜色特征区域。具体地，该颜色特征信息标注指令可以为多边形绘画指令，根据该多边形绘画指令，在样本物料图像上确定画出的多边形围成的区域为模板颜色特征区域。具体地，该多边形可以由样本物料图像的边缘线组成，此时模板颜色特征区域即为样本物料图像的有效图像区域。如图9所示，为选定了多边形围成的模板颜色特征区域的示意图。在选定模板颜色特征区域后，计算样本物料图像上的模板颜色特征区域的颜色直方图信息作为样本物料图像的颜色特征信息。如图10所示，为图9的模板颜色特征区域对应的颜色直方图的示意图。

在D5中，根据标注的轮廓像素点及对应的Linmod特征信息、标注的模板细节特征块及对应的HOG特征信息、标注的模板颜色特征区域及对应的颜色直方图信息，构建物料模板，该物料模板包含了上述标注的特征信息。

可选地，在所述步骤D5之前，还包括：

获取抓取信息标注指令，在所述样本物料图像上标注抓取信息。

对应地，所述步骤D5中构建的物料模板还包括样本物料的抓取信息。

通过在构建物料模板时标注抓取点，使得之后待测图片中在进行模板匹配后能够根据该抓取信息准确高效地实现目标物料的抓取。该抓取信息至少包括抓取点或者吸取点信息，如图11所示为一种吸取点信息的标注示意图。

本申请实施例中，通过Linemod算法、HOG算法及颜色直方图信息提取，准确地构建包含轮廓特征信息、细节特征信息及颜色特征信息的物料模板，为之后的目标模板加载和待测图片的模板匹配提供准确的物料模板来源。

可选地，所述标记所述样本物料图像的轮廓特征信息、细节特征信息及获取目标区域的颜色特征信息，构建物料模板，包括：

标记所述样本物料图像的轮廓特征信息、细节特征信息及颜色特征信息，构建样本物料的初始模板；

根据所述初始模板依次进行预设角度的旋转，得到所述样本物料在对应角度的物料模板。

具体地，本申请实施例中，对于一种物料，放置在目标检测区域时存在着n个的稳定拍摄面(n为不小于1的正整数)，该稳定拍摄面为物料在传送过程中正对着相机的面；并且，对于一个稳定拍摄面，相应存在着m个放置角度，因此，一种物料对应存在着n×m个不同形态的物料图像。对应地，本申请实施例中，对于一种物料，存在着分别与这n×m个物料图像对应的n×m个目标模板。例如，设一个物料为一个正方体，则它对应的稳定拍摄面有6个，设将该物料存在着360个放置角度，即0度到360度之间的360个整数角度(由于0度和360度重合，所以这里的360个角度包括0度而不包括360度)，则对应地，该物料存在着6×360个目标模板。

相应地，本申请实施例中的样本物料图像为样本物料的n个稳定拍摄面对应的n张图像。分别在这n张上进行轮廓特征信息、细节特征信息及颜色特征信息提取，构建样本物料对应的n个初始模板。

之后，将每个初始模板分别依次进行预设角度的(m-1)次旋转，得到所述样本物料在对应角度的(m-1)个物料模板，最终一张样本物料图像(与样本物料的一个稳定拍摄面对应的图像)对应一个初始模板和(m-1)个物料模板，共同组成m个物料模板，即一个稳定拍摄面对应m个物料模板，对于存在n个稳定拍摄面的样本物料，最终构建生成n×m个对应的物料模板。

本申请实施例中，由于在构建物料模板时，能够根据一个姿态构建的初始模板旋转生成对应的其它姿态角度的物料模板，无需对每个姿态的物料模板分别进行特征信息标注再次构建，因此能够节省物料模板构建所需的时间及运算资源，提高物料模板构建效率。

应理解地，在物料模板构建过程中，步骤D2-D4的顺序可以任意调整，即样本物料图像的轮廓特征信息、细节特征信息、颜色特征信息的提取顺序可以任意调整。可选地，在物料检测时，即在步骤S602-S606中，按照轮廓特征信息识别匹配、颜色特征信息识别匹配、细节特征信息识别匹配的顺序进行匹配和筛选，由于轮廓特征信息匹配的鲁棒性好，颜色特征信息匹配的计算量少，而细节特征信息匹配的精确性较高但计算量相对较大，因此按照这个识别顺序，将细节特征信息匹配步骤放在最后，既能够保证物料检测的准确性，又能够减少不必要的计算量(即轮廓特征信息和/或颜色特征信息不匹配的物料位置已经被筛除，无需进行细节特征信息匹配计算)，从而进一步提高物料检测的效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例三：

图12示出了本申请实施例提供的一种物料检测装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分：

该物料检测装置包括：图片获取单元121、第一物料位置确定单元122、第二物料位置确定单元123、第三物料位置确定单元124、目标物料信息确定单元125。其中：

图片获取单元121，用于获取待测图片。

第一物料位置确定单元122，用于根据所述待测图片的轮廓特征信息及预加载的目标模板，确定第一物料位置及对应的匹配模板，其中所述第一物料位置为初步确定的所述待测图片中的物料图像的位置，所述匹配模板为从所述目标模板中确定出的与所述轮廓特征信息匹配的模板。

第二物料位置确定单元123，用于根据所述待测图片中所述第一物料位置对应的目标颜色特征信息及所述匹配模板携带的模板颜色特征信息，从所述第一物料位置中筛选出所述目标颜色特征信息与所述模板颜色特征信息相匹配的位置作为第二物料位置。

第三物料位置确定单元124，用于根据所述待测图片中所述第二物料位置对应的目标细节特征信息及所述匹配模板携带的模板细节特征信息，从所述第二物料位置中筛选出目标细节特征信息与模板细节特征信息相匹配的位置作为第三物料位置，所述第三物料位置用于指示目标物料在所述待测图片中的图像位置。

可选地，所述物料检测装置还包括：

剔除单元，用于根据所述第三物料位置及所述第三物料位置对应的匹配模板，在所述待测图片中划定识别区域；若所述识别区域中存在重合的第一识别区域和第二识别区域，则将所述第二识别区域对应的物料位置从所述第三物料位置中剔除，其中，所述第一识别区域的面积大于所述第二识别区域的面积。

目标物料信息确定单元125，用于根据所述第三物料位置及所述第三物料位置对应的匹配模板，确定目标物料的信息，其中所述目标物料的信息至少包括目标物料的位姿信息。

可选地，所述目标物料的信息还包括目标物料的抓取点和/或类别信息。

可选地，所述第一物料位置确定单元，具体用于根据Linemod算法提取所述待测图片的轮廓特征信息，并与预加载的目标模板进行匹配，确定第一物料位置及对应的匹配模板；

对应地，所述第三物料位置确定单元，具体用于根据与第二物料位置对应的匹配模板上的模板细节特征块，确定待测图片中与第二物料位置对应的目标细节特征块；通过方向梯度直方图HOG算法在所述待测图片上的所述目标细节特征块提取目标细节特征信息，并与所述匹配模板中的模板细节特征信息作比较，确定第三物料位置。

可选地，所述物料检测装置还包括：

目标模板加载单元，用于获取物料表，根据所述物料表从预建的物料模板中加载目标模板。

可选地，所述物料检测装置还包括样本物料图像获取单元和物料模板构建单元：

样本物料图像获取单元，用于获取样本物料图像；

物料模板构建单元，用于标记所述样本物料图像的轮廓特征信息、细节特征信息及颜色特征信息，构建物料模板。

可选地，所述物料模板构建单元，具体用于计算所述样本物料图像上每个像素点的梯度信息；获取轮廓特征信息标注指令，在所述样本物料图像上标注轮廓特征像素点，并根据所述轮廓特征像素点上的梯度信息及Linemod算法，确定所述样本物料图像的轮廓特征信息；获取细节特征信息标注指令，在所述样本物料图像上标注模板细节特征块，并根据所述模板细节特征块上的像素点的梯度信息及HOG算法，确定所述样本物料图像的细节特征信息；获取颜色特征信息标注指令，在所述样本物料图像上选定模板颜色特征区域，并计算所述模板颜色特征区域的颜色直方图信息，确定所述样本物料图像的颜色特征信息；根据所述轮廓特征信息、所述细节特征信息及所述颜色特征信息，构建物料模板。

可选地，所述物料模板构建单元，具体用于标记所述样本物料图像的轮廓特征信息、细节特征信息及获取目标区域的颜色特征信息，构建样本物料的初始模板；根据所述初始模板依次进行预设角度的旋转，得到所述样本物料在对应角度的物料模板。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

实施例四：

图13是本申请一实施例提供的终端设备的示意图。如图13所示，该实施例的终端设备13包括：处理器130、存储器131以及存储在所述存储器131中并可在所述处理器130上运行的计算机程序132，例如物料检测程序。所述处理器130执行所述计算机程序132时实现上述各个物料检测方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，所述处理器130执行所述计算机程序132时实现上述各装置实施例中各模块/单元的功能，例如图12所示单元121至125的功能。

示例性的，所述计算机程序132可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器131中，并由所述处理器130执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序132在所述终端设备13中的执行过程。例如，所述计算机程序132可以被分割成图片获取单元、第一物料位置确定单元、第二物料位置确定单元、第三物料位置确定单元和目标物料信息确定单元，各单元具体功能如下：

图片获取单元，用于获取待测图片。

第一物料位置确定单元，用于根据所述待测图片的轮廓特征信息及预加载的目标模板，确定第一物料位置及对应的匹配模板，其中所述第一物料位置为初步确定的所述待测图片中的物料图像的位置，所述匹配模板为从所述目标模板中确定出的与所述轮廓特征信息匹配的模板。

第二物料位置确定单元，用于根据所述待测图片中所述第一物料位置对应的目标颜色特征信息及所述匹配模板携带的模板颜色特征信息，从所述第一物料位置中筛选出所述目标颜色特征信息与所述模板颜色特征信息相匹配的位置作为第二物料位置。

第三物料位置确定单元，用于根据所述待测图片中所述第二物料位置对应的目标细节特征信息及所述匹配模板携带的模板细节特征信息，从所述第二物料位置中筛选出目标细节特征信息与模板细节特征信息相匹配的位置作为第三物料位置，所述第三物料位置用于指示目标物料在所述待测图片中的图像位置。

目标物料信息确定单元，用于根据所述第三物料位置及所述第三物料位置对应的匹配模板，确定目标物料的信息，其中所述目标物料的信息至少包括目标物料的位姿信息。

所述终端设备13可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器130、存储器131。本领域技术人员可以理解，图13仅仅是终端设备13的示例，并不构成对终端设备13的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器130可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器131可以是所述终端设备13的内部存储单元，例如终端设备13的硬盘或内存。所述存储器131也可以是所述终端设备13的外部存储设备，例如所述终端设备13上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器131还可以既包括所述终端设备13的内部存储单元也包括外部存储设备。所述存储器131用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器131还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种物料检测方法，其特征在于，包括：

获取待测图片；

根据所述待测图片的轮廓特征信息及预加载的目标模板，确定第一物料位置及对应的匹配模板，其中所述第一物料位置为初步确定的所述待测图片中的物料图像的位置，所述匹配模板为从所述目标模板中确定出的与所述轮廓特征信息匹配的模板；

根据所述待测图片中所述第一物料位置对应的目标颜色特征信息及所述匹配模板携带的模板颜色特征信息，从所述第一物料位置中筛选出所述目标颜色特征信息与所述模板颜色特征信息相匹配的位置作为第二物料位置；

根据所述待测图片中所述第二物料位置对应的目标细节特征信息及所述匹配模板携带的模板细节特征信息，从所述第二物料位置中筛选出目标细节特征信息与模板细节特征信息相匹配的位置作为第三物料位置，所述第三物料位置用于指示目标物料在所述待测图片中的图像位置；

根据所述第三物料位置及所述第三物料位置对应的匹配模板，确定目标物料的信息，其中所述目标物料的信息至少包括目标物料的位姿信息。

2.如权利要求1所述的物料检测方法，其特征在于，所述根据所述待测图片的轮廓特征信息及预加载的目标模板，确定第一物料位置及对应的匹配模板，包括：

根据Linemod算法提取所述待测图片的轮廓特征信息，并与预加载的目标模板进行匹配，确定第一物料位置及对应的匹配模板；

对应地，所述根据所述待测图片中所述第二物料位置对应的第一细节特征信息及所述匹配模板携带的第二细节特征信息，从所述第二物料位置中筛选出第一细节特征信息与第二细节特征信息相匹配的位置作为第三物料位置，包括：

根据与第二物料位置对应的匹配模板上的模板细节特征块，确定待测图片中与第二物料位置对应的目标细节特征块；

通过方向梯度直方图HOG算法在所述待测图片上的所述目标细节特征块提取目标细节特征信息，并与所述匹配模板中的模板细节特征信息作比较，确定第三物料位置。

3.如权利要求1所述的物料检测方法，其特征在于，在所述根据所述待测图片的轮廓特征信息及预加载的目标模板，确定第一物料位置之前，还包括：

获取物料表，根据所述物料表从预建的物料模板中加载目标模板。

4.如权利要求3所述的物料检测方法，其特征在于，在所述获取物料表，根据所述物料表从预建的物料模板中加载目标模板之前，还包括：

获取样本物料图像；

标记所述样本物料图像的轮廓特征信息、细节特征信息及颜色特征信息，构建物料模板。

5.如权利要求4所述的物料检测方法，其特征在于，所述标记所述样本物料图像的轮廓特征信息、细节特征信息及颜色特征信息，构建物料模板，包括：

计算所述样本物料图像上每个像素点的梯度信息；

获取轮廓特征信息标注指令，在所述样本物料图像上标注轮廓特征像素点，并根据所述轮廓特征像素点上的梯度信息及Linemod算法，确定所述样本物料图像的轮廓特征信息；

获取细节特征信息标注指令，在所述样本物料图像上标注模板细节特征块，并根据所述模板细节特征块上的像素点的梯度信息及HOG算法，确定所述样本物料图像的细节特征信息；

获取颜色特征信息标注指令，在所述样本物料图像上选定模板颜色特征区域，并计算所述模板颜色特征区域的颜色直方图信息，确定所述样本物料图像的颜色特征信息；

根据所述轮廓特征信息、所述细节特征信息及所述颜色特征信息，构建物料模板。

6.如权利要求4所述的物料检测方法，其特征在于，所述标记所述样本物料图像的轮廓特征信息、细节特征信息及颜色特征信息，构建物料模板，包括：

标记所述样本物料图像的轮廓特征信息、细节特征信息及获取目标区域的颜色特征信息，构建样本物料的初始模板；

根据所述初始模板依次进行预设角度的旋转，得到所述样本物料在对应角度的物料模板。

7.如权利要求1所述的物料检测方法，其特征在于，在所述根据所述待测图片中所述第二物料位置对应的目标细节特征信息及所述匹配模板携带的模板细节特征信息，从所述第二物料位置中筛选出目标细节特征信息与模板细节特征信息相匹配的位置作为第三物料位置之后，还包括：

根据所述第三物料位置及所述第三物料位置对应的匹配模板，在所述待测图片中划定识别区域；

若所述识别区域中存在重合的第一识别区域和第二识别区域，则将所述第二识别区域对应的物料位置从所述第三物料位置中剔除，其中，所述第一识别区域的面积大于所述第二识别区域的面积。

8.如权利要求1所述的物料检测方法，其特征在于，所述目标物料的信息还包括目标物料的抓取信息和/或类别信息。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，使得终端设备实现如权利要求1至8任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，使得终端设备实现如权利要求1至8任一项所述方法的步骤。

Images