CN116883321A - 一种堆叠荧光免疫层析试剂卡的分拣整理方法及系统 - Google Patents

Abstract

本发明涉及工业自动化物体分拣领域，为了解决传统的机械结构方案，例如震动和卡位等方法存在的会对物体造成损伤、缺乏感知能力以及分拣能力有限等问题。本发明提供一种堆叠荧光免疫层析试剂卡的分拣整理方法及系统，包括图像分割、优先度评价和边缘检测。荧光免疫层析试剂卡在拾取环境中是杂乱无序且堆叠摆放的，通过视觉技术的指导，机器人进行拾取从而实现分拣整理。该方法具有高鲁棒性和强感知能力的特点，从而能实现对堆叠荧光免疫层析试剂卡的合理有序的拾取操作。

Description

一种堆叠荧光免疫层析试剂卡的分拣整理方法及系统

技术领域

本发明涉及工业自动化物体分拣技术领域，具体涉及一基于机器视觉的堆叠荧光免疫层析试剂卡的分拣整理方法及系统。

背景技术

传统生产线上，机械臂在拾取任务中应用时，拾取目标的初始位姿和终止位姿都是预先严格规定的，利用示教编程实现。而近年来机器视觉在流水线上应用也越来越多，往往是通过控制传送带速度将工件以一定间隔分离传送。当需要拾取时，停止传送带运输，相机拍照计算物体位姿，机械臂进行拾取。采取这种方法可以使得图片中仅有1个物体或物体间无堆叠，可以降低图像处理难度。但实际应用中存在很多场景，需要分拣物体之间相互堆叠，物体在三维空间中放置位置非结构化且6自由度不确定。因此，本领域需要寻求一种的有效的解决方案来对针对堆叠场景进行拾取。

拾取前需要从一副图像中，把一个或多个完整的未被遮挡的目标从背景中分离出来，以便后续利用分离出来的结果对该目标三维位姿进行估计。传统的图像分割算法大多基于统计数据或匹配，这些方法在物品堆叠环境下效果较差，无法形成有效的分割图像。因此，需要一种针对特定拾取场景的高鲁棒性的图像分割方法为后续拾取操作打下基础。

在图像分割得到目标实例后，会得到诸多实例，如何确定需要拾取的实例也是亟需解决的问题。

温志杰等在CN115816442A公开的“基于单目视觉和激光的三轴机械臂2D平面安全抓取方法及系统”方案中的不足有两点，第一是需要激光传感器进行测距，实际上激光传感器得到的距离信息是冗余的，第二点是该方案仅实现了2D平面的抓取，即目标物体受平面约束仅有3自由度不确定性。

发明内容

为了至少解决现有技术存在的问题之一，本发明提供一种堆叠荧光免疫层析试剂卡的分拣的整理方法，具有高鲁棒性和强感知能力的特点，从而能实现对堆叠物体的合理有序的拾取操作。

为了实现本发明目的，本发明提供的一种堆叠荧光免疫层析试剂卡的分拣整理方法，包括以下步骤：

采用图像分割算法对堆叠荧光免疫层析试剂卡进行图像分割，得到多个实例；

通过优先度评价对图像分割结果进行筛选，选取得到最优拾取目标作为当前拾取目标；

采用边缘检测算法对最优拾取目标进行边缘检测，得到荧光免疫层析试剂卡的边缘，并求出荧光免疫层析试剂卡的边的交点；

基于荧光免疫层析试剂卡的边的交点计算出位姿，并通过安全保护算法对位姿进行再确认，得到最终的位姿并发送到机械臂进行拾取。

优选的，深度学习中实例分割算法模型使用YOLOv7。

优选的，深度学习中实例分割算法模型利用ONNXruntime对训练模型进行部署。

优选的，所述最优拾取目标为一个不受遮挡的，边缘清晰的实例。

所述通过优先度评价对图像分割结果进行筛选，是根据掩码的长宽比、像素面积进行筛选。

优选的，所述长宽比≥5且长宽比≤7.5，且所述像素面积倒序筛选。

优选的，所述边缘检测算法为结合了多尺度边缘检测的直线检测算法，进行边缘检测的步骤包括：

通过radon变换得到radon变换图，再对radon变换图的各行作一维小波变换；

使用多尺度小波分析，先用5阶小波对边缘进行粗定位，后通过定位信息使用低阶小波不断进行边缘的细化，直到1阶小波结束；

对得到的结果求全局极值，得到直线边缘的尺度、角度、位置和强度信息。

优选的，脊波变换所用的小波母函数使用haar小波母函数。

优选的，脊波变换所用的小波分解阶数为1。

优选的，采用PnP算法计算位姿。

优选的，所述安全保护算法通过输入解算得到的位姿信息，也即机械臂的运动目标坐标值和欧拉角，通过设定机械臂的安全运动范围，也即坐标值和欧拉角的上下限，排除位姿计算超过该范围的坐标。

本发明还提供一种堆叠荧光免疫层析试剂卡的分拣整理系统，用于实现前述方法，所述系统包括以下模块：

图像分割模块，用于对堆叠荧光免疫层析试剂卡进行图像分割，将图像划分成若干个互不相交的区域，得到多个实例；

优先度评价模块，用于对图像分割结果进行筛选，选取得到最优拾取目标作为当前拾取目标；

边缘检测模块，用于对最优拾取目标进行边缘检测，得到荧光免疫层析试剂卡的边缘，并求出荧光免疫层析试剂卡的边的交点；

位姿计算确认模块，用于基于荧光免疫层析试剂卡的边的交点计算出位姿，并通过安全保护算法对位姿进行再确认，得到最终的位姿并发送到机械臂进行拾取。

本发明所提供的整理方法和系统，包括图像分割、优先度评价和直线检测。所述图像分割利用深度学习中的实例分割算法将图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性。所述优先度评价对图像分割得到的结果进行筛选并选取最优拾取目标进行拾取。所述直线检测算法基于脊波变换对直线边缘进行检测，通过检测脊波变换形成的二维离散点极值检测直线边缘。

与现有技术相比，本发明能够实现的有益效果至少如下：

(1)经过图像分割算法后，形成多个由二值图掩码描述的实例图。通过优先度评价，筛选出最适合拾取的目标物体，最后通过直线边缘检测算法检测目标物体的直线边缘。应用在机械臂吸取系统中，实验结果堆叠场景的拾取实验单次拾取成功率达到95％，在面对不同堆叠复杂度场景下稳定保持拾取的成功率在90％以上，展现了该拾取方法对堆叠场景分拣整理的有效性。

(2)本申请提供了一种基于PNP算法的位姿估计算法，该算法通过获取特征点即可计算目标物体的位姿从而得到距离信息，无需通过激光传感器进行测距。

(3)本申请针对的拾取场景是堆叠的，即目标物体具有6自由度不确定性。在很多的工业生产环境中，需要分拣的物体都是堆叠放置的，因此本发明所提方法更贴近工业实际生产环境，可以处理更复杂的拾取场景，可以实现更高的自动化程度。

附图说明

为了更清楚地说明发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1为本发明实施例提供的荧光免疫层析试剂卡三维视图。

图2为所采用的机械臂的结构示意图。

图3为本发明实施例提供的一种堆叠荧光免疫层析试剂卡的分拣整理方法的流程图。

具体实施方式

为了更加清晰明确地描述本发明的目的、技术方案和优点，下面将结合附图和实施例进行详细说明。需要注意的是，这里描述的具体实施例仅用于阐述本发明的原理，并不用于对本发明进行限定。

本发明的说明书和权利要求书中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块或单元。

本发明所拾取对象为荧光免疫层析试剂卡。

本发明所提供方法总体路线是先用实例分割对图片进行分割，然后利用优先度评价体系对分割出来的多个实例选取一个不受遮挡的，边缘清晰的实例作为当前拾取目标。然后图片裁剪后交给边缘检测算法进行特征矩形面四条边的检测，最后求出边的交点求解位姿。求解位姿后使用安全保护算法对位姿进行再确认，通过安全保护算法排查的位姿即可发送到机械臂进行拾取。具体地，参阅图3，本发明提供的一种一种堆叠荧光免疫层析试剂卡的分拣整理方法，包括以下步骤：

步骤1：采用图像分割算法对堆叠荧光免疫层析试剂进行图像分割，得到掩码候选池。所述掩码候选池是指经过图像分割算法后，形成由二值图掩码描述的多个实例图。

本发明中，所述图像分割算法采用基于深度学习中实例分割算法，所述图像分割利用深度学习中的实例分割算法将图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性。

在本发明的其中一些实施例中，实例分割算法模型使用YOLOv7。YOLO实例分割算法相比于Mask RCNN算法对不完整个体的抑制更强烈，同时，Mask RCNN由于网络结构复杂，计算量大，它的平均推理时间也比YOLOv7长。进一步优选地，利用ONNXruntime对训练模型YOLOV7进行部署。

步骤2：通过优先度评价对图像分割结果进行筛选，选取得到最优拾取目标作为当前拾取目标。

在图像分割得到目标实例后，会得到诸多实例，而拾取时仅需要单个实例，为了能够准确得到单个实例，本发明基于图像分割结果提出了一个优先度评价准则，确定一个不受遮挡的，边缘清晰的实例作为当前拾取目标。

所述通过优先度评价对图像分割结果进行筛选，是根据掩码的长宽比、像素面积进行筛选。

在优先度评价中，先利用边界跟踪算法寻找各连通域轮廓，再计算各连通域轮廓包围面积，计算轮廓凸包用于计算最小包围矩形面积和长宽比。筛选条件为长宽比≥5且长宽比≤7.5。最终顺序按长宽比降序。具体来说，在本发明的其中一些实施例中，是先通过长宽比降序获得前20％的实例，若实例数低于10则仅排序，后根据像素面积排序选择像素面积最大的实例，像素面积指的是掩码图中像素值为255的像素数量。进一步优选地，所述边界跟踪算法采用OpenCV中的FindContours函数。

步骤3：采用边缘检测算法对最优拾取目标进行边缘检测，得到荧光免疫层析试剂卡的边缘，并得到荧光免疫层析试剂卡的边的交点。

其中，利用所得四条直线边缘之间求两两交点获得交点的坐标。

本发明拾取目标荧光免疫层析试剂卡的具有类长方体的形状特征，因此，利用直线检测算法对边缘进行检测。传统的直线检测算法是霍夫(Hough)直线检测算法，其在检测得到的直线的连续性上略显不足，本发明针对该问题提出了一种新的直线检测算法。

本发明中，边缘检测算法为结合了多尺度边缘检测的直线检测算法，所述直线检测算法通过检测脊波变换形成的二维离散点极值来检测直线边缘。

在本发明的其中一些实施例中，基于脊波变换的直线检测先通过radon变换得到radon变换图，再对radon变换图的各行作一维小波变换，小波母函数选择haar小波，使用多尺度小波分析，先用5阶小波对边缘进行粗定位，后通过定位信息使用低阶小波不断进行边缘的细化，直到1阶小波结束。此时得到的结果求全局极值即可以得知直线边缘的尺度、角度、位置和强度信息，具有很好的方向辨认能力。通过多尺度的边缘检测，提高了检测算法的稳定性，加快了边缘检测的速度，同时也获得了单像素宽度的细腻边缘，有利于保证后续位姿估计的精度。

步骤4：基于荧光免疫层析试剂卡的边的交点计算出位姿，并通过安全保护算法对位姿进行再确认，得到最终的位姿并发送到机械臂进行拾取。

在本发明的其中一些实施例中，采用PnP算法计算位姿。

由于边缘检测算法不可避免地受光照、遮挡等影响，边缘检测可能会有误，导致位姿计算错误。如果仍然强行发送坐标至机械臂进行拾取，可能会发生撞击等危险。因此，在本发明的其中一些实施例中，采用安全保护算法进行一定程度的保护，排除掉位姿计算明显有误的坐标。其中，安全保护算法是以机械臂基座坐标系划定工作区域以及欧拉角最大偏转角，通过输入解算得到的位姿信息，也即机械臂的运动目标坐标值和欧拉角，安全保护算法通过设定机械臂的安全运动范围，也即坐标值和欧拉角的上下限，排除位姿计算超过该范围的坐标。

本发明前述实施例提供的分拣整理方法，先通过图像分割算法得到掩码侯选池，然后通过优先度评价筛选出最适合拾取的目标物体，最后通过边缘检测算法检测目标物体的边缘。应用在机械臂吸取系统中，实验结果堆叠场景的拾取实验单次拾取成功率达到95％，在面对不同堆叠复杂度场景下稳定保持拾取的成功率在90％以上，展现了该拾取方法对堆叠场景分拣整理的有效性。

本发明还提供一种基于机器视觉的堆叠荧光免疫层析试剂卡的分拣整理系统，用于实现前述实施例提供的分拣整理方法，所述系统包括以下模块：

图像分割模块，用于对堆叠荧光免疫层析试剂卡进行图像分割，将图像划分成若干个互不相交的区域，得到多个实例；

优先度评价模块，用于对图像分割结果进行筛选，选取得到最优拾取目标作为当前拾取目标；

边缘检测模块，用于对最优拾取目标进行边缘检测，得到荧光免疫层析试剂卡的边缘，并求出荧光免疫层析试剂卡的边的交点；

位姿计算确认模块，用于基于荧光免疫层析试剂卡的边的交点计算出位姿，并通过安全保护算法对位姿进行再确认，得到最终的位姿并发送到机械臂进行拾取。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的一种堆叠荧光免疫层析试剂卡的分拣整理系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

上述内容仅为本发明的优选实施例，不应被视为对本发明的限制。任何在本发明的技术原则和精神范围内所做的修改、等效替代和改进等，都应被视为本发明保护范围的一部分。

Claims (10)

1.一种堆叠荧光免疫层析试剂卡的分拣整理方法，其特征在于，包括以下步骤：

采用图像分割算法对堆叠荧光免疫层析试剂卡进行图像分割，得到多个实例；

通过优先度评价对图像分割结果进行筛选，选取得到最优拾取目标作为当前拾取目标；

采用边缘检测算法对最优拾取目标进行边缘检测，得到荧光免疫层析试剂卡的边缘，并求出荧光免疫层析试剂卡的边的交点；

基于荧光免疫层析试剂卡的边的交点计算出位姿，并通过安全保护算法对位姿进行再确认，得到最终的位姿并发送到机械臂进行拾取。

2.根据权利要求1所述的一种堆叠荧光免疫层析试剂卡的分拣整理方法，其特征在于，所述图像分割算法采用YOLOv7。

3.根据权利要求2所述的一种堆叠荧光免疫层析试剂卡的分拣整理方法，其特征在于，利用ONNXruntime对YOLOv7进行部署。

4.根据权利要求1所述的一种堆叠荧光免疫层析试剂卡的分拣整理方法，其特征在于，所述最优拾取目标为一个不受遮挡的，边缘清晰的实例。

5.根据权利要求1所述的一种堆叠荧光免疫层析试剂卡的分拣整理方法，其特征在于，所述通过优先度评价对图像分割结果进行筛选，是根据掩码的长宽比、像素面积进行筛选。

6.根据权利要求5所述的一种堆叠荧光免疫层析试剂卡的分拣整理方法，其特征在于，掩码的长宽比≥5且且长宽比≤7.5，且所述像素面积倒序筛选。

7.根据权利要求1所述的一种堆叠荧光免疫层析试剂卡的分拣整理方法，其特征在于，所述边缘检测算法为结合了多尺度边缘检测的直线检测算法，进行边缘检测的步骤包括：

通过radon变换得到radon变换图，再对radon变换图的各行作一维小波变换；

使用多尺度小波分析，先用5阶小波对边缘进行粗定位，后通过定位信息使用低阶小波不断进行边缘的细化，直到1阶小波结束；

对得到的结果求全局极值，得到直线边缘的尺度、角度、位置和强度信息。

8.根据权利要求1所述的一种堆叠荧光免疫层析试剂卡的分拣整理方法，其特征在于，采用PnP算法计算位姿。

9.根据权利要求1-8任一所述的一种堆叠荧光免疫层析试剂卡的分拣整理方法，其特征在于，所述安全保护算法通过输入解算得到的位姿信息，也即机械臂的运动目标坐标值和欧拉角，通过设定机械臂的安全运动范围，也即坐标值和欧拉角的上下限，排除位姿计算超过该范围的坐标。

10.一种堆叠荧光免疫层析试剂卡的分拣整理系统，其特征在于，用于实现权利要求1-9任一所述的方法，所述系统包括以下模块：

图像分割模块，用于对堆叠荧光免疫层析试剂卡进行图像分割，将图像划分成若干个互不相交的区域，得到多个实例；

优先度评价模块，用于对图像分割结果进行筛选，选取得到最优拾取目标作为当前拾取目标；

边缘检测模块，用于对最优拾取目标进行边缘检测，得到荧光免疫层析试剂卡的边缘，并求出荧光免疫层析试剂卡的边的交点；

位姿计算确认模块，用于基于荧光免疫层析试剂卡的边的交点计算出位姿，并通过安全保护算法对位姿进行再确认，得到最终的位姿并发送到机械臂进行拾取。