CN113501167A - 一种基于双目视觉的中药小包装定位方法 - Google Patents

Abstract

本发明提供了一种基于双目视觉的中药小包装定位方法，该方法包括：双目相机采集中药小包装的图像；利用基于深度学习的YOLO‑V4目标识别算法对左图像进行识别，得到中药小包装中心点的坐标；选择ORB算法进行特征点提取，并使用改进的RANSAC算法进行单应性矩阵计算，以获得中心点在右图像中的匹配坐标；根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标；将三维坐标传递给PLC，控制真空吸附泵完成药包的抓取。本发明基于深度学习的目标检测算法来实现对中药小包装在图像中位置的识别，具有定位精度高、检测速度快的特点。

Description

一种基于双目视觉的中药小包装定位方法

技术领域

本发明涉及中药小包装识别技术领域，特别是涉及一种基于双目视觉的中药小包装定位方法。

背景技术

随着科学技术的不断发展，药品生产和加工领域的自动化水平不断提升，目前在中药小包装运输以及抓取生产线上，采用图像识别算法代替人工识别，提高了生产效率。但是，中药小包装由于塑料材质，在摆放过程中易出现堆叠、变形等现象，使用传统的图像识别算法解决这一类问题识别结果较差。传统算法通过提取图像的特征，如纹理、色彩等，然后使用分类器训练提取到的特征，得出类别，卷积神经网络可以使用卷积操作提取特征，使得特征的提取和分类一步到位，被广泛应用于图像的识别和分类中。针对中药小包装识别主要任务是将表层的、包装较为完整的药袋识别出来，以便后续的抓取，而针对于可识别和不可识别的目标，二者之间没有明确的界限，因此针对这类边界模糊的图片较难识别出来。此外，运用传统的算法，实时性较差，不能够很好的从大量的药包中正确定位出药包的位置。

发明内容

本发明的目的是提供一种基于双目视觉的中药小包装定位方法，基于深度学习的目标检测算法来实现对中药小包装在图像中位置的识别，具有定位精度高、检测速度快的特点。

为实现上述目的，本发明提供了如下方案：

一种基于双目视觉的中药小包装定位方法，应用于基于双目视觉的中药小包装定位系统，所述系统包括运输中药小包装的传送带以及设置在传送带上的双目相机和用于抓取中药小包装的真空吸附泵，所述双目摄像机和真空吸附泵均与PLC控制器电性连接，所述方法包括以下步骤：

S1，双目相机采集中药小包装的图像；

S2，利用基于深度学习的YOLO-V4目标识别算法对左图像进行识别，得到中药小包装中心点的坐标；

S3，对左、右两张图像进行立体匹配：选择ORB算法进行特征点提取，并使用改进的RANSAC算法进行单应性矩阵计算，以获得中心点在右图像中的匹配坐标；

S4，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标；

S5，将三维坐标传递给PLC，控制真空吸附泵完成药包的抓取。

进一步的，所述步骤S1还包括双目相机标定，具体包括：

采用张定友标定法，使用Matlab中的立体相机标定模块对双目相机标定，获得畸变矩阵和相机内外参数。

进一步的，所述使用Matlab中的立体相机标定模块对双目相机标定，具体包括：

1)，分别使用左右相机分别拍摄33张不同角度的棋盘格，作为标定图片，并分别存储于两个文件夹中；

2)，Matlab工具箱中分别导入两个文件夹即输入标定板的网格尺寸；

3)，自动提取角点，并开始标定，删除误差较大的图片；

4)，重复步骤，直至得到理想结果。

进一步的，所述步骤S3中，选择ORB算法进行特征点提取，具体包括：

1)，设P为特征点，以其为中心选取大小为S*S的方形邻域进行高斯平滑；

2)，在领域内用随机算法生成N个点对，定义判定函数T；

式中，p(x)、p(y)表示x、y的灰度值；

3)，从随机生成的点对中选取一对(x，y)，比较其灰度值大小；

4)，重复步骤3)N次，得到二进制码组成的N维描述符：

将关键点周围要用来计算的坐标组成的采样矩阵S如式(3)：

式(3)给出特征点方向参数θ，其对应的旋转矩阵R_θ:

对矩阵S进行校正:

S_θ＝R_θS (5)

最后旋转的描述子表示为：

G_n(P,θ)＝f_N(P)|(x_i,y_i)∈S_θ (6)

进一步的，所述步骤S3中，使用改进的RANSAC算法进行单应性矩阵计算，具体包括：

1)，定义匹配质量E：

E＝γ*r

式中，γ为Lowe’s算法通过计算最邻近距离和次邻近距离的比值；r为ORB算法提取到的特征向量的距离；

2)，根据匹配质量E对特征点对进行升序排序组成特征点对匹配集合；

3)，选取E值最小的四个点初始化单应性矩阵，然后依次从排好序的特征点集合中选取4个点计算单应矩阵H；

4)，若使用单应性矩阵计算得到的内点个数大于m时，则认为H为最优的单应性矩阵，其中m＝αN，α为内点个数占总特征点个数的比值，取0.8。

进一步的，所述步骤S4中，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标，具体包括：

设左图像平面中的像素坐标P_left(X_left,Y_left)，在右图像平面中匹配的像素坐标P_right(X_right,Y_right)，根据下式求出该点在相机坐标系下在Z轴坐标，即深度信息：

式中，B为左右图像平面投影中线点之间的距离，f表示相机焦距，在平行双目视觉模型中P点在左右图像平面中的Y轴上的坐标相等，即Y_left＝Y_right＝Y，视差d＝X_left-X_right。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于双目视觉的中药小包装定位方法，使用双目相机对中药小包装进行图像采集后，利用基于深度学习的目标识别算法对左图像进行识别，选择YOLO-V4算法作为图像识别的核心算法，得到中药小包装中心点坐标，具有检测精度高、检测速度快的特点；对图像识别部分输出的中药小包装中心点二维坐标，经过与双目视觉系统中的右图像进行匹配，即可得出该点在空间中的坐标，本发明提出的对比匹配算法选择ORB算法进行特征点提取，并使用改进的RANSAC算法进行单应性矩阵计算，以获得中心点的匹配坐标，最后根据双目视觉测距原理实现中药小包装的定位，再根据双目视觉模型对中药小包装的中心点进行三维重建，最后将三维坐标传递给PLC，完成药包的抓取。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于双目视觉的中药小包装定位方法的流程示意图；

图2为本发明实施例Matlab相机标定结果；

图3为本发明实施例双目相机成像模型图；

图4为本发明实施例中改进的RANSAC算法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于双目视觉的中药小包装定位方法，基于深度学习的目标检测算法来实现对中药小包装在图像中位置的识别，具有定位精度高、检测速度快的特点。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明实施例提供的基于双目视觉的中药小包装定位方法，应用于基于双目视觉的中药小包装定位系统，所述系统包括运输中药小包装的传送带以及设置在传送带上的双目相机和用于抓取中药小包装的真空吸附泵，所述双目摄像机和真空吸附泵均与PLC控制器电性连接，所述方法包括以下步骤：

S1，双目相机采集中药小包装的图像；

S2，利用基于深度学习的YOLO-V4目标识别算法对左图像进行识别，得到中药小包装中心点的坐标；

S3，对左、右两张图像进行立体匹配：选择ORB算法进行特征点提取，并使用改进的RANSAC算法进行单应性矩阵计算，以获得中心点在右图像中的匹配坐标；

S4，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标；

S5，将三维坐标传递给PLC，控制真空吸附泵完成药包的抓取。

其中，所述步骤S1还包括双目相机标定：采用张定友标定法，使用Matlab中的立体相机标定模块对双目相机标定，获得畸变矩阵和相机内外参数；具体包括：

1)，分别使用左右相机分别拍摄33张不同角度的棋盘格，作为标定图片，并分别存储于两个文件夹中；

2)，Matlab工具箱中分别导入两个文件夹即输入标定板的网格尺寸；

3)，自动提取角点，并开始标定，删除误差较大的图片；

4)，重复步骤，直至得到理想结果，如图2所示。

所述步骤S3中，选择ORB算法进行特征点提取，具体包括：

1)，设P为特征点，以其为中心选取大小为S*S的方形邻域进行高斯平滑；

2)，在领域内用随机算法生成N个点对，定义判定函数T；

式中，p(x)、p(y)表示x、y的灰度值；

3)，从随机生成的点对中选取一对(x，y)，比较其灰度值大小；

4)，重复步骤3)N次，得到二进制码组成的N维描述符：

将关键点周围要用来计算的坐标组成的采样矩阵S如式(3)：

式(3)给出特征点方向参数θ，其对应的旋转矩阵R_θ:

对矩阵S进行校正:

S_θ＝R_θS (5)

最后旋转的描述子表示为：

G_n(P,θ)＝f_N(P)|(x_i,y_i)∈S_θ (6)

ORB(Oriented Fast and Rotated Brief)算法，可以用来对图像中的关键点快速创建特征向量，该算法检测速度高于SIFT和SURF的根本原因是采用FAST关键点和BRIEF描述子。特征点提取后需对其建立特征描述符，ORB算法采用rBRIEF描述子对提取的特征点进行描述，利用特征点主方向对描述符加入旋转信息，即可获得旋转不变性。ORB算法使用二进制串对特征点进行描述，相较于SURF算法128维的特征向量，ORB算法由于二进制串描述，降低了的内存资源，计算速度有了明显的提高。

从算法运行效率上来说，ORB算法效率上占据优势，匹配速度比SURF算法快。考虑到ORB算法检测得到的特征点在中药小包装附近更为聚集，且ORB算法是的实时性更高，因此本发明选择ORB算法，进行特征点匹配。

如图4所示，所述步骤S3中，使用改进的RANSAC算法进行单应性矩阵计算，具体包括：

1)，定义匹配质量E：

E＝γ*r

式中，γ为Lowe’s算法通过计算最邻近距离和次邻近距离的比值；r为ORB算法提取到的特征向量的距离；

2)，根据匹配质量E对特征点对进行升序排序组成特征点对匹配集合；

3)，选取E值最小的四个点初始化单应性矩阵，然后依次从排好序的特征点集合中选取4个点计算单应矩阵H；单应性矩阵H定义如下：

4)，若使用单应性矩阵计算得到的内点个数大于m时，则认为H为最优的单应性矩阵，其中m＝αN，α为内点个数占总特征点个数的比值，取0.8。

RANSAC算法中随机选取4个点进行计算单应性矩阵，并使用单应性矩阵判断集合中的点为内点和外点，随机选取四个点的为内点的概率大于95％，则构造出正确的单应性矩阵，否则需要继续迭代计算单应性矩阵。迭代次数的增加会影响RANSAC算法的计算效率，因此本发明借鉴PROSAC思想对RANSAC算法的改进优化。

PROSAC算法通过对匹配质量进行排序，匹配质量高的匹配点用来计算单应性矩阵。从而使得计算出的单应性矩阵能够更快的计算出算法的内点和外点，有效地加快算法的计算速度。

在进行特征匹配时，Lowe’s算法通过计算最邻近距离和次邻近距离的比值γ来筛选误匹配点，若γ＜T(T为设定阈值)，则认为是正确匹配点。使用Lowe’s算法时，我们希望二者的比值r时较小的，在进行匹配质量衡量时，认为若两个特征点是匹配的，那么ORB算法提取到的特征向量的距离r应该是非常小的，因此,将这二者相结合作为匹配质量依据定义匹配质量E。

如图3所示，双目立体视觉主要分为平行双目视觉和非平行双目视觉，本发明实施例选取平行双目视觉作为研究对象，在该模式下，两相机成像平面平行，即左右两摄像头在同一平面中。空间中一点P(X_C,Y_C,Z_C)与其在左右两个成像平面上的投影点构成一个三角形，其模型如图2所示。若已知该点在左右两成像图中的像素坐标，基于三角几何原理即可计算出P点在世界坐标系下的三维坐标。

本发明对改进后的RANSAC算法进行实验，发现其对特征点的匹配效果相差较小，但是在运行时间上，改进后的RANSAC算法迭代次数明显下降，运行时间更少，运行结果如表1所示。

表1 RANSAC算法改进前后

本发明对计算单应性矩阵进行跟踪，统计该步骤改进前后的迭代次数和运行时间。统计结果表明，改进后的RANSAC算法基本能够在一次计算中就得到准确的单应性矩阵，在运行时间上较原有算法更快，更符合本发明实时性的需求。

所述步骤S4中，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标，具体包括：

设左图像平面中的像素坐标P_left(X_left,Y_left)，在右图像平面中匹配的像素坐标P_right(X_right,Y_right)，根据下式求出该点在相机坐标系下在Z轴坐标，即深度信息：

式中，B为左右图像平面投影中线点之间的距离，f表示相机焦距，在平行双目视觉模型中P点在左右图像平面中的Y轴上的坐标相等，即Y_left＝Y_right＝Y，视差d＝X_left-X_right。

由平行双目视觉原理可知，针对左摄像机采集的图片中的某一点，若找到其在右摄像机采集到的图片对应的点，即可计算得出该点在相机坐标系下的三维坐标，故本发明选用双目视觉模型作为定位方法的基本原理。

此外，本发明采用的YOLO-V4算法是目前为止在目标检测领域综合性能较为出色的算法，不仅检测精度高，在检测速度上也强于其他算法，可以保证本发明实时性的要求，而且YOLO-V4算法在小物体检测以及目标分布及目标分布集中的情况下也有出色的表现，符合了本发明对多尺度和药袋检测的要求，因此选用YOLO-V4作为中药小包装识别的核心算法。

YOLO-V4的Anchorbox是在COCO数据集上通过聚类得到的，本发明实施例的样本为药房的中药小包装，样本差异较小，因此，YOLO-V4得到的Anchor box在本发明中并不适用。针对这一问题，本发明实施例使用K-means++算法对药袋样本重新进行聚类，得到适合本发明应用场景的Anchor box。本发明采用K-means++重新计算Anchorbox的宽高，具体步骤为：

Step1：随机从归一化后的标签样本GT中选择一个样本作为第一个聚类中心；

Step2：对于标签样本GT中的剩余标签中的位置框，计算它与现有的聚类中心的IoU距离d(j)；

Step3：选择IoU距离d(j)较大的坐标框，作为新的聚类中心；

Step4：重复步骤Step2和Step3，直到K个聚类中心被确定；

Step5：遍历除了K个聚类中心的其余样本标签GT，将坐标框划分到与其聚类距离d最小的聚类中心所属的类；

Step6：计算各类的坐标框的宽高均值，作为新的聚类中心；

Step7：重复步骤Step5和Step6。直到新的聚类中心与原来的聚类中心相等或者两者的距离小于阈值就停止重新划分。

本发明实施例所针对的药包识别，主要任务是将表层的、包装较为完整的药包识别出来，以便后续的抓取，而针对于可识别和不可识别的目标，二者之间没有明确的界限，因此针对这类边界模糊的图片较难识别出来。本发明制作的数据集样本中，不可抓取的标签较多，且在制作数据集时，将满足抓取条件但是稍微遮挡的样本，都设置成不可抓取标签，因此针对不可抓取的样本，YOLO-V4算法能够准确的识别出来，而可抓取样本识别效果较差。此外，由于药包与药包之间是堆叠放置的，导致实际场景中不可抓取的药包数量大于可抓取的药包数量，导致训练样本的类别不均衡。针对这一问题，本发明基于Focal Loss对YOLO-V4的损失函数进行优化，优化后的损失函数表示如下：

其中，α因子使得训练能够平衡可抓取样本和不可抓取样本比例不均的问题。添加一个γ(γ＞0)因子，可以使得训练关注于这些较难正确识别的药包，γ调节简单样本权重降低的速率，当γ为0时即为交叉损失熵函数，当γ增加时，调整因子的影响也在增加。

本发明实施例从两个方面对YOLO-V4算法进行了优化和实现：一是使用k-means++算法重新设置了自定数据集的Anchorbox，使得训练的loss下降更快，准确率也有所提高；二是对YOLO-V4算法的损失函数进行了改进，分析了原有的模型在自定义数据集上存在的问题，使用Focal loss优化YOLO-V4的损失函数，使得对于分类的loss有所下降，对于可抓取和不可抓取的药袋分类更加准确。

本发明提供的基于双目视觉的中药小包装定位方法，使用双目相机对中药小包装进行图像采集后，利用基于深度学习的目标识别算法对左图像进行识别，选择YOLO-V4算法作为图像识别的核心算法，得到中药小包装中心点坐标，具有检测精度高、检测速度快的特点；对图像识别部分输出的中药小包装中心点二维坐标，经过与双目视觉系统中的右图像进行匹配，即可得出该点在空间中的坐标，本发明提出的对比匹配算法选择ORB算法进行特征点提取，并使用改进的RANSAC算法进行单应性矩阵计算，以获得中心点的匹配坐标，最后根据双目视觉测距原理实现中药小包装的定位，再根据双目视觉模型对中药小包装的中心点进行三维重建，最后将三维坐标传递给PLC，完成药包的抓取。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于双目视觉的中药小包装定位方法，应用于基于双目视觉的中药小包装定位系统，所述系统包括运输中药小包装的传送带以及设置在传送带上的双目相机和用于抓取中药小包装的真空吸附泵，所述双目摄像机和真空吸附泵均与PLC控制器电性连接，其特征在于，包括以下步骤：

S1，双目相机采集中药小包装的图像；

S2，利用基于深度学习的YOLO-V4目标识别算法对左图像进行识别，得到中药小包装中心点的坐标；

S3，对左、右两张图像进行立体匹配：选择ORB算法进行特征点提取，并使用改进的RANSAC算法进行单应性矩阵计算，以获得中心点在右图像中的匹配坐标；

S4，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标；

S5，将三维坐标传递给PLC，控制真空吸附泵完成药包的抓取。

2.根据权利要求1所述的基于双目视觉的中药小包装定位方法，其特征在于，所述步骤S1还包括双目相机标定，具体包括：

采用张定友标定法，使用Matlab中的立体相机标定模块对双目相机标定，获得畸变矩阵和相机内外参数。

3.根据权利要求2所述的基于双目视觉的中药小包装定位方法，其特征在于，所述使用Matlab中的立体相机标定模块对双目相机标定，具体包括：

1)，分别使用左右相机分别拍摄33张不同角度的棋盘格，作为标定图片，并分别存储于两个文件夹中；

2)，Matlab工具箱中分别导入两个文件夹即输入标定板的网格尺寸；

3)，自动提取角点，并开始标定，删除误差较大的图片；

4)，重复步骤，直至得到理想结果。

4.根据权利要求1所述的基于双目视觉的中药小包装定位方法，其特征在于，所述步骤S3中，选择ORB算法进行特征点提取，具体包括：

1)，设P为特征点，以其为中心选取大小为S*S的方形邻域进行高斯平滑；

2)，在领域内用随机算法生成N个点对，定义判定函数T；

式中，p(x)、p(y)表示x、y的灰度值；

3)，从随机生成的点对中选取一对(x，y)，比较其灰度值大小；

4)，重复步骤3)N次，得到二进制码组成的N维描述符：

将关键点周围要用来计算的坐标组成的采样矩阵S如式(3)：

式(3)给出特征点方向参数θ，其对应的旋转矩阵R_θ:

对矩阵S进行校正:

S_θ＝R_θS (5)

最后旋转的描述子表示为：

G_n(P,θ)＝f_N(P)|(x_i,y_i)∈S_θ (6)

5.根据权利要求1所述的基于双目视觉的中药小包装定位方法，其特征在于，所述步骤S3中，使用改进的RANSAC算法进行单应性矩阵计算，具体包括：

1)，定义匹配质量E：

E＝γ*r (7)

式中，γ为Lowe’s算法通过计算最邻近距离和次邻近距离的比值；r为ORB算法提取到的特征向量的距离；

2)，根据匹配质量E对特征点对进行升序排序组成特征点对匹配集合；

3)，选取E值最小的四个点初始化单应性矩阵，然后依次从排好序的特征点集合中选取4个点计算单应矩阵H；

4)，若使用单应性矩阵计算得到的内点个数大于m时，则认为H为最优的单应性矩阵，其中m＝αN，α为内点个数占总特征点个数的比值，取0.8。

6.根据权利要求1所述的基于双目视觉的中药小包装定位方法，其特征在于，所述步骤S4中，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标，具体包括：

设左图像平面中的像素坐标P_left(X_left,Y_left)，在右图像平面中匹配的像素坐标P_right(X_right,Y_right)，根据下式求出该点在相机坐标系下在Z轴坐标，即深度信息：

式中，B为左右图像平面投影中线点之间的距离，f表示相机焦距，在平行双目视觉模型中P点在左右图像平面中的Y轴上的坐标相等，即Y_left＝Y_right＝Y，视差d＝X_left-X_right。

Images