CN114565848B - 一种复杂场景的药液液位检测方法及系统 - Google Patents

Abstract

一种复杂场景的药液液位检测方法及系统，所述方法包括如下步骤：步骤A：设定光源、光源照明方向和照明方式；步骤B：设定相机、相机镜头和相机内参；步骤C：基于步骤A和B采集药瓶的图像；步骤D：通过图像标注工具对所采集的药瓶的图像中的药液液面进行标注，将标注后的数据作为数据集；步骤E：通过yolov5对数据集进行模型训练得到检测模型；步骤F：使用检测模型对待检测图像进行药液液面检测，得到药液液面的液面检测框，根据液面检测框和液面上下限值判断待检测图像中药瓶是否存在药液超量或缺量，以及药瓶是否缺支。本发明提出一种复杂场景的药液液位检测方法，以解决传统图像处理方法无法适应复杂场景药液液位检测的问题。

Description

一种复杂场景的药液液位检测方法及系统

技术领域

本发明涉及液位检测技术领域，尤其涉及一种复杂场景的药液液位检测方法及系统。

背景技术

在传统的药液灌装工序中，药液液位高度通常采用的是人工去目测液位高度。随着生产的规模的不断扩大，采用人工的方法效率低，因此药液液位全自动检测的需求越来越大。目前市面上已有光电传感器检测、超声波检测和机器视觉液位检测等液位检测方法，其中机器视觉液位检测是一种非接触式、无损的检测方法。它具有效率高、检测精度高、设备维护简单等优点，被广泛应用于液位检测项目中。

目前机器视觉检测药液液位通常使用模板匹配等传统图像处理方法，传统图像处理方法很难适应复杂场景药液液位检测

发明内容

本发明的目的在于针对背景技术中的缺陷，提出一种复杂场景的药液液位检测方法及系统，以解决传统图像处理方法无法适应复杂场景药液液位检测的问题。

为了解决上述问题，本发明提出一种复杂场景的药液液位检测方法，包括如下步骤：

步骤A：设定光源、光源照明方向和照明方式；

步骤B：设定相机、相机镜头和相机内参；

步骤C：基于步骤A和B采集药瓶的图像；

步骤D：通过图像标注工具对所采集的药瓶的图像中的药液液面进行标注，将标注后的数据作为数据集；

步骤E：通过yolov5对数据集进行模型训练得到检测模型；

步骤F：使用检测模型对待检测图像进行药液液面检测，得到药液液面的液面检测框，根据液面检测框和液面上下限值判断待检测图像中药瓶是否存在药液超量或缺量，以及药瓶是否缺支。

优选的，在所述步骤A中，包括选择背向照明的白光板型光源，以频闪的方式对药瓶进行打光。

优选的，在所述步骤D中，包括使用labelimg图像标注工具对药瓶的图像中的药液液面进行标注；

标注数据时，以液面凹面的顶点作为纵坐标的起点，以液面凹面的底部作为纵坐标的终点。

优选的，对标注后的图像，通过裁剪、镜像、增强噪声的图像增强方式扩充数据，并根据对应的图像增强方式对数据集进行同步修改。

优选的，在所述步骤F中，使用检测模型对待检测图像进行药液液面检测，得到药液液面的液面检测框，判断待检测图像中药瓶是否存在药液超量或缺量，以及药瓶是否缺支，包括：

步骤F1：通过形态学滤波对待检测图像进行去噪，并对去噪后的图像进行边缘点搜索；

步骤F2：通过最小二乘法对搜索到的边缘点进行直线拟合，得到拟合后的直线的斜率和截距，拟合后的直线即为药瓶的侧边，拟合后的直线的斜率即为药瓶的倾斜度；

步骤F3：通过拟合后的直线与药液液面的垂直关系，根据药瓶倾斜度动态调整药液液面的上下限值；

步骤F4：根据液面检测框的数量判定待检测图像中的药瓶是否缺支，根据药液液面的上下限值判定待检测图像中的药瓶的药量是否超量或缺量。

优选的，在所述步骤F1中，通过形态学滤波对待检测图像进行去噪，包括：

使用开闭滤波方式，对待检测图像执行腐蚀和膨胀操作；

将待检测图像的原始信号设置为x(n)，其中n=1,2,……,N，n表示原始信号序号；

设置结构元素为g(m)，其中m=1,2，……，M，且N≥M，m表示结构元素序号；

则x(n)关于g(m)的腐蚀和膨胀操作包括：

(xΘg)(n)=min[x(n+m)-g(m)]m∈0,1,……,M-1；

(x⊕g)(n)=max[x(n-m)+g(m)]m∈0,1, ……,M-1；

x(n)关于g(m)的开运算操作为：

(x◦g)(n)=(xΘg)⊕g；

x(n)关于g(m)的闭运算操作为：

(x●g)(n)=(x⊕g)Θg；

对去噪后的图像进行边缘点搜索，包括：

从去噪后的图像的y方向等距取20个点，往去噪后的图像的x方向搜索，当搜索到像素值小于设定阈值时，表示搜索到边缘点。

优选的，在步骤F2中，通过最小二乘法对搜索到的边缘点进行直线拟合，得到拟合后的直线的斜率和截距，包括：

根据公式一和公式二得到拟合后的直线的斜率和截距；

--公式一；

--公式二；

其中：

A表示拟合后的直线的斜率；

B表示拟合后的直线的截距；

x表示待观察的边缘点的横坐标；

y表示待观察边缘的纵坐标；

表示待观察边缘点的横坐标的均值；

表示待观察边缘点的纵坐标的均值。

优选的，在所述步骤F3：通过拟合后的直线与药液液面垂直的关系，根据药瓶倾斜度动态调整药液液面的上下限值，包括：

根据拟合后的直线的斜率，基于拟合后的直线与药液液面垂直的关系，获取药液液面上限值和下限值所在直线的斜率，以此获得上限值所在直线和下限值所在直线；

上限值所在直线表示为公式三；

--公式三；

下限值所在直线表示为公式四；

--公式四；

其中：

A表示拟合后的直线的斜率，

表示上限值所在直线

的斜率，

表示下限 值所在直线

的斜率；

B1表示上限值的纵坐标，B2表示下限值的纵坐标。

优选的，在所述步骤F4中，根据动态调整后的药液液面的上下限值判定待检测图像中的药瓶的药量是否超量或缺量，包括：

液面检测框的中心坐标为

，动态调整后的液面的上限值的纵坐标为

， 上限值的纵坐标为

；

当

时，判定药瓶的药量为超量；

当

时，判定药瓶的药量为缺量。

一种复杂场景的药液液位检测系统，应用于所述一种复杂场景的药液液位检测方法，所述系统包括图像采集模块、液面检测模块、药瓶倾斜度计算模块和液面缺陷判定模块；

图像采集模块，用于通过设定后的相机在设定种类的光源、光源照明方向、光源照明方式下获取待检测药瓶图像；

液面检测模块，用于通过yolov5训练的检测模型，根据检测模型检测待检测图像，并提取药瓶的液面检测框。

药瓶倾斜度计算模块，用于通过形态学滤波进行所述待检测图像的去噪，并对去噪后的图像进行边缘点搜索，通过最小二乘法对上述搜索到的边缘点进行直线拟合，得到拟合后直线的斜率，拟合后直线的斜率就是药瓶倾斜度；

液面缺陷判定模块，用于配置液面上限和下限值，通过上述拟合后直线与药液液面垂直的关系，根据药瓶倾斜度，动态调整液位上下限的值；再通过液面检测模块提取的药瓶液面的液面检测框和动态调整液位上下限的值判定药量超量还是缺量；根据液面检测模块提取的液面检测框数量判定是否缺支。

本发明实施例具有以下有益效果：

1、本发明以白光板型光源作为采集图像的背景光源，以频闪方式进行打光，充分利用频闪发光强度大、色温稳定的特点，获得高对比度的图像；

2、本发明采集药品的图像，对采集图像中的药液液面进行标注，得到药液液面数据集；通过yolov5对数据集进行模型训练，使用训练后的模型对药液液面进行检测，得到液面检测框；本方法相比于传统的图像处理检测药液液面的方法，适应性、泛化性、鲁棒性更强能更好检测药瓶倾斜的液面、下方有气泡的液面、上方有泡沫的液面、倾斜的液面；

3、本发明在瓶身倾斜的情况下，搜索药瓶边缘点，再通过最小二乘法对搜索到的边缘点进行直线拟合，通过拟合后直线与药液液面垂直的关系，动态调整液位上下限的值；结合液位检测结果与调整后的液位上下限的值，从而判断药液是否超量、缺量、缺支的问题。

附图说明

图1是本发明的一种复杂场景的药液液面检测方法的流程示意图；

图2是本发明的一种实施例的前向照明示意图；

图3是本发明的一种实施例的背向照明示意图；

图4是本发明的一种实施例的边缘搜索示意图；

图5是本发明的一种实施例的直线拟合示意图；

图6是本发明的一种实施例的液面上下限调整后的效果图；

图7是本发明的一种实施例的药瓶倾斜状态液位检测和判定效果图；

图8是本发明的一种实施例的液面上方有液泡的液位检测和判定效果图；

图9是本发明的一种实施例的液面下方有气泡的液位检测和判定效果图；

图10是本发明的一种实施例的液面倾斜的液位检测和判定效果图；

图11时本发明的一种复杂场景的液面液位检测系统的框架图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明提出的一种复杂场景的药液液位检测方法，如图1所示，包括如下步骤：

步骤A：设定光源、光源照明方向和照明方式；

优选的，在所述步骤A中，包括选择背向照明的白光板型光源，以频闪的方式对药瓶进行打光。

白色光源适用性普遍且亮度高，而频闪发光强度大、色温稳定，如图2所示，前向照明适用于凸显物体表面细节，如图3所示，背向照明适合用于凸显物体的轮廓信息，本实施例中，采用背向照明的白光板型光源，以频闪的方式对药瓶进行打光。

步骤B：设定相机、相机镜头和相机内参；

在本实施例中，所设定的相机、镜头和相机内参分别为：海康200w像素相机；镜头为25mm焦距镜头；相机内参为曝光时间100us，伽马值0.7。

步骤C：基于步骤A和B采集药瓶的图像；

步骤D：通过图像标注工具对所采集的药瓶的图像中的药液液面进行标注，将标注后的数据作为数据集；

优选的，在所述步骤D中，包括使用labelimg图像标注工具对药瓶的图像中的药液液面进行标注，所标注的数据集中应包含形态丰富的药液液面，本实施例中形态丰富的药液液面可以如图7所示的整个瓶倾斜时的液面；如图8所示的液面上有泡沫；如图9所示的液面下有气泡；如图10所示液面倾斜；

只有数据集里包含各种形态的液面，训练后的模型才能准确检测到液面，不然会出现液面漏检而导致误判；

标注数据时，以液面凹面的顶点作为纵坐标的起点，以液面凹面的底部作为纵坐标的终点。

标注数据的目的在于标注清楚的数据集关系到检测模型的最终效果以及最后的判定；只有标注准确，训练后的检测模型才能在待检测图片上得到准确的液面检测框；只有得到准确的液面检测框，后续的超量/缺量判定才能准确。

优选的，对标注后的图像，通过裁剪、镜像、增强噪声的图像增强方式扩充数据，并根据对应的图像增强方式对数据集进行同步修改。

在本实施例中，图像增强方式具体可以为：

裁剪：将图像上下各裁掉10%，然后保存裁掉后的图像，同时相应修改其标注数据集xml文件里的图像宽高和标注框起止点坐标信息；

镜像：对图像左右镜像变换，然后保存变换后的图像，同时相应修改其标注数据xml文件里的图像标注框起止点坐标信息；

噪声：对图像加椒盐噪声或者高斯噪声，然后保存加噪后的图像，其标注数据xml文件不用修改。

步骤E：通过yolov5对数据集进行模型训练得到检测模型；

在本实施例中，使用yolov5作为检测器；训练时以yolov5m.pt作为预训练模型，所述训练过程如下所示：

对数据集按照4：1的比例，划分训练集和验证集；

以yolov5m.pt作为预训练模型；

将img_size设为640*640，学习率设为0.01，最大迭代次数epochs设为600，同时关闭垂直镜像的数据增强功能；

迭代600次后得到训练后的模型。

步骤F：使用检测模型对待检测图像进行药液液面检测，得到药液液面的液面检测框，根据液面检测框和液面上下限值判断待检测图像中药瓶是否存在药液超量或缺量，以及药瓶是否缺支。

优选的，具体包括：

步骤F1：通过形态学滤波对待检测图像进行去噪，并对去噪后的图像进行边缘点搜索；

由于光源板上易占有灰尘等异物，以及采集到的图像往往包含噪声，因此需要对图像去噪，以便给下一步边缘搜索提供高质量图像。

形态学开闭运算是一对对偶变换，形态开运算可以抑制信号中的正脉冲噪声，而形态闭运算可以抑制信号中的负脉冲噪声。由于形态开、闭运算存在统计偏倚现象，导致单独使用他们的滤波效果并不是很好，因此本发明采用开闭滤波方法。

优选的，在所述步骤F1中，通过形态学滤波对待检测图像进行去噪，包括：

使用开闭滤波方式，对待检测图像执行腐蚀和膨胀操作；

将待检测图像的原始信号设置为x(n)，其中n=1,2,……,N，n表示原始信号序号；

设置结构元素为g(m)，其中m=1,2，……，M，且N≥M，m表示结构元素序号；

则x(n)关于g(m)的腐蚀和膨胀操作包括：

(xΘg)(n)=min[x(n+m)-g(m)]m∈0,1,……,M-1；

(x⊕g)(n)=max[x(n-m)+g(m)]m∈0,1, ……,M-1；

x(n)关于g(m)的开运算操作为：

(x◦g)(n)=(xΘg)⊕g；

x(n)关于g(m)的闭运算操作为：

(x●g)(n)=(x⊕g)Θg；

背光源照明让药瓶的边缘和背景有明显的区分，因此为了提高计算速率，使用像素搜索的方式搜索边缘点；

具体的，如图4所示，对去噪后的图像进行边缘点搜索，包括：

从去噪后的图像的y方向等距取20个点，往去噪后的图像的x方向搜索，当搜索到像素值小于设定阈值时，表示搜索到边缘点。

步骤F2：通过最小二乘法对搜索到的边缘点进行直线拟合，得到拟合后的直线的斜率和截距，拟合后的直线即为药瓶的侧边，拟合后的直线的斜率即为药瓶的倾斜度；

如图5所示，步骤F1中搜索得到的边缘点为离散的点，为此本申请采用最小二乘法对上述边缘点进行直线拟合；

具体过程如下：

设置拟合直线y=a+bx；

y=a+bx为回归直线方程，待观察的离散点的x值为

,待观察的离 散点的y值为

；

误差：

；

表示离散点与回归直线方程的偏离距离；

最小二乘法：

；

求偏导可得：

=

=0；

=

=0；

整理后可得到：

--公式一；

--公式二；

其中：

A表示拟合后的直线的斜率；

B表示拟合后的直线的截距；

x表示待观察的边缘点的横坐标；

y表示待观察边缘的纵坐标；

表示待观察边缘点的横坐标的均值；

表示待观察边缘点的纵坐标的均值。

步骤F3：通过拟合后的直线与药液液面的垂直关系，根据药瓶倾斜度动态调整药液液面的上下限值；

在本实施例中，拟合后的直线为药瓶的侧边，由于药瓶的侧边与瓶底垂直，而瓶底与液面平行，故此得出拟合后直线与药液液面垂直的关系；

优选的，如图6所示，首先设定液面的(Upper_limit)和下限(Lower_limit)，通过拟合后的直线与液面上下限垂直的关系，动态调整液位上下限的值，具体效果如图6中的线所示，在所述步骤F3中，通过拟合后的直线与药液液面垂直的关系，动态调整药液液面的上下限值，包括：

根据拟合后的直线的斜率，基于拟合后的直线与药液液面垂直的关系，获取药液液面上限值和下限值所在直线的斜率，以此获得上限值所在直线和下限值所在直线；

上限值所在直线表示为公式三；

--公式三；

下限值所在直线表示为公式四；

--公式四；

其中：

A表示拟合后的直线的斜率，

表示上限值所在直线

的斜率，

表示下限 值所在直线

的斜率；

B1表示上限值的纵坐标，B2表示下限值的纵坐标。

步骤F4：根据液面检测框的数量判定待检测图像中的药瓶是否缺支，根据动态调整后的药液液面的上下限值判定待检测图像中的药瓶的药量是否超量或缺量。

在将待检测图像输入检测模型后，会得到液面检测框，液面检测框的数量可以判定待检测图像中的药瓶是否存在缺支现象，液面检测框如图6中的方框所示，药液液面的上下限值所在直线如图6中的直线所示；

优选的，在所述步骤F4中，根据药液液面的上下限值判定待检测图像中的药瓶的药量是否超量或缺量，包括：

液面检测框的中心坐标为

，动态调整后的液面的上限值的纵坐标为

， 上限值的纵坐标为

；

当

时，判定药瓶的药量为超量；

当

时，判定药瓶的药量为缺量。

一种复杂场景的药液液位检测系统，应用于所述一种复杂场景的药液液位检测方法，如图11所示，所述系统包括图像采集模块、液面检测模块、药瓶倾斜度计算模块和液面缺陷判定模块；

图像采集模块，用于通过设定后的相机在设定种类的光源、光源照明方向、光源照明方式下获取待检测药瓶图像；

液面检测模块，用于通过yolov5训练的检测模型，根据检测模型检测待检测图像，并提取药瓶的液面检测框。

药瓶倾斜度计算模块，用于通过形态学滤波进行所述待检测图像的去噪，并对去噪后的图像进行边缘点搜索，通过最小二乘法对上述搜索到的边缘点进行直线拟合，得到拟合后直线的斜率，拟合后直线的斜率就是药瓶倾斜度；

液面缺陷判定模块，用于配置液面上限和下限值，通过上述拟合后直线与药液液面垂直的关系，根据药瓶倾斜度，动态调整液位上下限的值；再通过液面检测模块提取的药瓶液面的液面检测框和动态调整液位上下限的值判定药量超量还是缺量；根据液面检测模块提取的液面检测框数量判定是否缺支。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (9)

1.一种复杂场景的药液液位检测方法，其特征在于：

包括如下步骤：

步骤A：设定光源、光源照明方向和照明方式；

步骤B：设定相机、相机镜头和相机内参；

步骤C：基于步骤A和B采集药瓶的图像；

步骤D：通过图像标注工具对所采集的药瓶的图像中的药液液面进行标注，将标注后的数据作为数据集；

步骤E：通过yolov5对数据集进行模型训练得到检测模型；

步骤F：使用检测模型对待检测图像进行药液液面检测，得到药液液面的液面检测框，根据液面检测框和液面上下限值判断待检测图像中药瓶是否存在药液超量或缺量，以及药瓶是否缺支，包括：

步骤F1：通过形态学滤波对待检测图像进行去噪，并对去噪后的图像进行边缘点搜索；

其中，对去噪后的图像进行边缘点搜索，包括：

从去噪后的图像的y方向等距取20个点，往去噪后的图像的x方向搜索，当搜索到像素值小于设定阈值时，表示搜索到边缘点；

步骤F2：通过最小二乘法对搜索到的边缘点进行直线拟合，得到拟合后的直线的斜率和截距，拟合后的直线即为药瓶的侧边，拟合后的直线的斜率即为药瓶的倾斜度；

步骤F3：根据拟合后的直线的斜率，基于拟合后的直线与药液液面垂直的关系，获取动 态调整之后的药液液面上限值和下限值所在直线的斜率，以此获得动态调整之后的上限值 所在直线和下限值所在直线，并基于动态调整之后的上限值和下限值所在直线计算动态调 整之后的药液液面的上下限值的纵坐标，动态调整后的液面的上限值的纵坐标为

，下限 值的纵坐标为

；

步骤F4：根据液面检测框的数量判定待检测图像中的药瓶是否缺支，根据动态调整后的药液液面的上下限值的纵坐标和液面检测框的中心坐标的纵坐标判定待检测图像中的药瓶的药量是否超量或缺量。

2.根据权利要求1所述一种复杂场景的药液液位检测方法，其特征在于：

在所述步骤A中，包括选择背向照明的白光板型光源，以频闪的方式对药瓶进行打光。

3.根据权利要求1所述一种复杂场景的药液液位检测方法，其特征在于：

在所述步骤D中，包括使用labelimg图像标注工具对药瓶的图像中的药液液面进行标注；

标注数据时，以液面凹面的顶点作为纵坐标的起点，以液面凹面的底部作为纵坐标的终点。

4.根据权利要求3所述一种复杂场景的药液液位检测方法，其特征在于：

对标注后的图像，通过裁剪、镜像、增强噪声的图像增强方式扩充数据，并根据对应的图像增强方式对数据集进行同步修改。

5.根据权利要求1所述一种复杂场景的药液液位检测方法，其特征在于：

在所述步骤F1中，通过形态学滤波对待检测图像进行去噪，包括：

使用开闭滤波方式，对待检测图像执行腐蚀和膨胀操作；

将待检测图像的原始信号设置为x(n)，其中n=1,2,……,N，n表示原始信号序号；

设置结构元素为g(m)，其中m=1,2，……，M，且N≥M，m表示结构元素序号；

则x(n)关于g(m)的腐蚀和膨胀操作包括：

(xΘg)(n)=min[x(n+m)-g(m)]m∈0,1,……,M-1；

(x⊕g)(n)=max[x(n-m)+g(m)]m∈0,1, ……,M-1；

x(n)关于g(m)的开运算操作为：

(x◦g)(n)=(xΘg)⊕g；

x(n)关于g(m)的闭运算操作为：

(x●g)(n)=(x⊕g)Θg。

6.根据权利要求1所述一种复杂场景的药液液位检测方法，其特征在于：

在步骤F2中，通过最小二乘法对搜索到的边缘点进行直线拟合，得到拟合后的直线的斜率和截距，包括：

根据公式一和公式二得到拟合后的直线的斜率和截距；

--公式一；

--公式二；

其中：

A表示拟合后的直线的斜率；

B表示拟合后的直线的截距；

x表示待观察的边缘点的横坐标；

y表示待观察边缘的纵坐标；

表示待观察边缘点的横坐标的均值；

表示待观察边缘点的纵坐标的均值。

7.根据权利要求1所述一种复杂场景的药液液位检测方法，其特征在于：

在所述步骤F3：根据拟合后的直线的斜率，基于拟合后的直线与药液液面垂直的关系，获取药液液面上限值和下限值所在直线的斜率，以此获得上限值所在直线和下限值所在直线，包括：

上限值所在直线表示为公式三；

--公式三；

下限值所在直线表示为公式四；

--公式四；

其中：

A表示拟合后的直线的斜率，

表示上限值所在直线和下限值所在直线的斜率；

B1表示上限值的纵坐标，B2表示下限值的纵坐标。

8.根据权利要求1所述一种复杂场景的药液液位检测方法，其特征在于：

在所述步骤F4中，根据动态调整后的药液液面的上下限值判定待检测图像中的药瓶的药量是否超量或缺量，包括：

液面检测框的中心坐标为

，动态调整后的液面的上限值的纵坐标为

，下限值 的纵坐标为

；

当

时，判定药瓶的药量为超量；

当

时，判定药瓶的药量为缺量。

9.一种复杂场景的药液液位检测系统，其特征在于：应用于如权利要求1-8任一项所述一种复杂场景的药液液位检测方法，所述系统包括图像采集模块、液面检测模块、药瓶倾斜度计算模块和液面缺陷判定模块；

图像采集模块，用于通过设定后的相机在设定种类的光源、光源照明方向、光源照明方式下获取待检测药瓶图像；

液面检测模块，用于通过yolov5训练的检测模型，根据检测模型检测待检测图像，并提取药瓶的液面检测框；

药瓶倾斜度计算模块，用于通过形态学滤波进行所述待检测图像的去噪，并对去噪后的图像进行边缘点搜索，包括从去噪后的图像的y方向等距取20个点，往去噪后的图像的x方向搜索，当搜索到像素值小于设定阈值时，表示搜索到边缘点，通过最小二乘法对上述搜索到的边缘点进行直线拟合，得到拟合后直线的斜率，拟合后直线的斜率就是药瓶倾斜度；

液面缺陷判定模块，用于根据拟合后的直线的斜率，基于拟合后的直线与药液液面垂直的关系，获取动态调整之后的药液液面上限值和下限值所在直线的斜率，以此获得动态调整之后的上限值所在直线和下限值所在直线；

上限值所在直线表示为公式三；

--公式三；

下限值所在直线表示为公式四；

--公式四；

其中：

A表示拟合后的直线的斜率，

表示上限值所在直线和下限值所在直线的斜率；

B1表示上限值的纵坐标，B2表示下限值的纵坐标；

并基于动态调整之后的上限值和下限值所在直线计算动态调整之后的药液液面的上下限值的纵坐标；

根据动态调整后的药液液面的上下限值的纵坐标和液面检测框的中心坐标的纵坐标判定待检测图像中的药瓶的药量是否超量或缺量；

液面检测框的中心坐标为

，动态调整后的液面的上限值的纵坐标为

，下限值 的纵坐标为

；

当

时，判定药瓶的药量为超量；

当

时，判定药瓶的药量为缺量；

根据液面检测框数量判定是否缺支。

Images