CN114998209A - 用于输液药瓶灯检工艺的异物检测方法 - Google Patents

Abstract

本发明涉及用于输液药瓶灯检工艺的异物检测方法，属于应用电子设备对异物进行检测的技术领域；该方法步骤包括：获取输液药瓶灰度图像，根据灰度图像建立灰度直方图，并根据灰度直方图建立累计直方图；根据累计直方图确定分区点，根据分区点确定多段变换区间；根据由每个像素点和周围邻域内全部像素点组成区域内灰度对比度和各像素点灰度值方差计算出邻域变异度；根据每段变换区间内全部像素点的邻域变异度均值和灰度值均值确定每段变换区间的变换参数；基于变换参数利用分段线性增强的方法对灰度图像进行增强得到增强后图像；本发明对增强后图像进行阈值分割得到药瓶和异物的分割图，准确识别输液药瓶内的异物。

Description

用于输液药瓶灯检工艺的异物检测方法

技术领域

本发明涉及应用电子设备对异物进行检测的技术，具体涉及用于输液药瓶灯检工艺的异物检测方法。

背景技术

输液药瓶是用于病人输液时装所输人体内医用配置的液体的瓶子。输液药瓶在生产过程中，特别是在药液罐装的过程中，可能会将碎屑、毛发、纤维和不溶物质等微小的可见不溶性异物带入到药瓶中。而这些异物一旦随着血管进入到人体中，对病人身体造成极大伤害。因此，在药瓶罐装完成后，对药瓶内的可见不溶性异物检测是必不可少的。

目前对药瓶内的可见不溶性异物检测依然采用人工灯检的方法。灯检是将罐装完的药瓶放在黑色背景下，灯检工依靠眼睛对每个输液药瓶的异物进行检测。这种方法不仅存在劳动强度大、评测标准不一以及效率低等缺点，并且误检率还很高，很容易造成药瓶内异物的漏检。

发明内容

本发明提供用于输液药瓶灯检工艺的异物检测方法，旨在解决目前输液药瓶内异物检测全靠人工灯检劳动强度大、效率低，并且误检率还高的技术问题。

本发明的用于输液药瓶灯检工艺的异物检测方法采用如下技术方案：该方法包括：

获取输液药瓶灰度图像；

根据所述灰度图像建立灰度直方图，并根据所述灰度直方图建立累计直方图；

对所述累计直方图进行曲线拟合得到分布曲线，根据所述分布曲线中相邻两个灰度值所对应斜率值的差值确定分区点，并根据所述分区点确定多段变换区间；

获取所述灰度图像内由每个像素点和周围邻域内全部像素点组成的各区域，根据每个所述区域内灰度对比度和各像素点灰度值的方差计算出每个所述像素点的邻域变异度；

根据每段所述变换区间内全部像素点的邻域变异度均值和灰度值均值确定每段变换区间的变换参数；

基于所述多段变换区间和所述每段变换区间的变换参数利用分段线性增强的方法对所述灰度图像进行增强得到增强后图像；

对所述增强后图像进行阈值分割得到药瓶和异物的分割图。

进一步地，所述根据每个所述区域内灰度对比度和各像素点灰度值的方差计算出每个所述像素点的邻域变异度，包括：

获取每个所述区域内由全部像素点的灰度值组成的各灰度值序列；

根据每个所述灰度值序列内最大灰度值和最小灰度值计算每个所述区域内灰度对比度；

根据每个所述灰度值序列内各像素点灰度值计算每个所述区域内各像素点灰度值的方差；

根据每个所述区域内灰度对比度和各像素点灰度值的方差计算出每个所述像素点的邻域变异度。

进一步地，任一所述区域内灰度对比度的计算公式如下式所示：

其中，IC表示该区域内灰度对比度；m表示该区域内全部像素点的总数；G_max为该区域所对应的灰度值序列中最大灰度值；G_min为该区域所对应的灰度值序列中的最小灰度值。

进一步地，任一所述区域内各像素点灰度值的方差的计算公式如下式所示：

其中，σ²表示该区域内各像素点灰度值的方差；AVE表示该区域内全部像素点灰度值的均值；G_j表示该区域内第j像素点的灰度值。

进一步地，每个所述像素点的邻域变异度的计算公式如下式所示：

ω＝γ(IC×σ²)

其中，ω表示该像素点的邻域变异度；IC表示该像素点所在区域内灰度对比度；σ²表示该像素点所在区域内各像素点灰度值方差；γ表示自行设置的超参数用于调整ω的值。

进一步地，每段所述变换区间的变换参数包括变换参数一和变换参数二，所述变换参数一α_s的计算如下式所示：

其中，[i_b,i]表示该段变换区间的范围为i_b到i；

表示在变换区间[i_b,i]内全部像素点的总数；ω_q表示在变换区间[i_b,i]内第q个像素点的邻域变异度；

所述变换参数二β_s的计算如下式所示：

其中，[i_b,i]表示该段变换区间的范围为i_b到i；

表示在变换区间[i_b,i]内全部像素点的总数；G_q表示在变换区间[i_b,i]内第q个像素点的灰度值。

进一步地，所述根据所述分布曲线中相邻两个灰度值所对应斜率值的差值确定分区点，包括：

获取所述分布曲线上每个灰度值所对应斜率值；

计算相邻两个所述灰度值所对应斜率值的差值；

当所述差值大于预设第一阈值时，该差值所对应的相邻两个所述灰度值中数值最大的灰度值作为分区点。

进一步地，所述对所述增强后图像进行阈值分割得到药瓶和异物的分割图，包括：

将所述增强后图像内像素点灰度值大于预设第二阈值的像素点设置为1，将所述增强后图像内像素点灰度值小于预设第二阈值的像素点设置为0，得到所述增强后图像的二值图；

对所述增强后图像的二值图进行阈值分割得到药瓶和异物的分割图。

本发明的有益效果是：

本发明提供用于输液药瓶灯检工艺的异物检测方法，根据输液药瓶灰度图像的累计直方图和输液药瓶灰度图像内各像素点的邻域变异度，对输液药瓶经过语义分割后的图像进行分段线性增强得到增强后图像。对增强后的图像进行阈值分割得到药瓶和异物的分割图。本发明利用输液药瓶内异物的特征对增强后的输液药瓶图像进行阈值分割，提高了异物和药瓶分割的准确率，同时检测效率高、误检率低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的用于输液药瓶灯检工艺的异物检测方法的实施例总体步骤的流程图；

图2为本发明的用于输液药瓶灯检工艺的异物检测方法的实施例步骤S3的累计直方图所对应的分布曲线上存在分区点的示意图；

图3为本发明的用于输液药瓶灯检工艺的异物检测方法的实施例步骤S4的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的用于输液药瓶灯检工艺的异物检测方法的实施例，如图1所示，该方法包括：

S1、获取输液药瓶灰度图像。

本发明设置输液药瓶图像采集系统对图像进行采集。输液药瓶图像采集系统包括药瓶、光源、相机、旋转机、黑色背景板以及支架等结构。由于输液药瓶内的异物在药液静止时，一般沉在瓶底，在检测过程中需将输液药瓶进行旋转，使输液药瓶内异物进行转动，转动之后再进行检测。当旋转到一定速度时，停止旋转，药瓶静止，但是瓶内液体由于惯性仍在旋转，在这时进行图像采集，进行后续分析。其中输液药瓶的旋转速度是实施者根据使用情况自行设置的。

本发明对采集后的输液药瓶进行灰度化处理。由于采集的图像为RGB图像，是三通道图像，因此采用加权平均法将RGB图像变换为灰度图像，其计算公式如下式(1)所示：

Gray(i,j)＝0.299R(i,j)+0.587G(i,j)+0.114B(i,j)#(1)

其中，Gray(i,j)表示经过加权平均计算后的像素点(i,j)的灰度值，R(i,j)、G(i,j)、B(i,j)分别表示像素点(i,j)在三通道内的数值。

对采集后的输液药瓶进行灰度化处理后得到输液药瓶灰度图像，得到输液药瓶灰度图像后采用DNN网络语义分割的方式提取输液药瓶分割后图像。语义分割使用的数据集为采集的输液药瓶图像集，语义分割网络需要分割两类像素，分别为药瓶主体类和背景类。其中药瓶主体类包括药瓶主体(瓶盖以下但不包括瓶盖)，背景类包括药瓶盖、黑色背景板以及其他背景等。

S2、根据所述灰度图像建立灰度直方图，并根据所述灰度直方图建立累计直方图。

根据分割后输液药瓶灰度图像内全部像素点的灰度值建立灰度直方图，通过提取灰度直方图的特征能判断分割后图像的对比度情况。本发明所采集的输液药瓶图像的灰度直方图为单峰结构，而单峰所处位置位于灰度范围黑色区域(即瓶身及瓶内液体)，灰度直方图中数量较少的区域为较亮区域(即异物、气泡、刻度线及瓶身污物等)和中间缓冲区域(即瓶内较亮区域与黑色区域的边缘区域)。而本发明对于输液药瓶内的异物检测主要针对于瓶内的高亮区域，拉伸其灰度范围。

根据灰度直方图建立累计直方图。累计直方图代表着图像灰度值的累计概率分布情况，即每一级的灰度值频率累加的过程，每一个累加频率值代表小于等于此灰度值的概率。其中，累计直方图的横坐标表示[0-255]灰度值，累计直方图的纵坐标表示累计灰度值相对应的累计频率值。

S3、对所述累计直方图进行曲线拟合得到分布曲线，根据所述分布曲线中相邻两个灰度值所对应斜率值的差值确定分区点，并根据所述分区点确定多段变换区间。

其中，通过多项式曲线拟合得到所述累计直方图的分布曲线y。

分布曲线y的表达式如下式(2)所示：

y＝Ax²+Bx+C (2)

其中，A、B、C分别表示多项式曲线拟合的参数。

分布曲线y斜率的表达式如下式(3)所示：

其中，k表示分布曲线y的斜率。

其中，根据所述分布曲线中相邻两个灰度值所对应斜率值的差值确定分区点，包括：获取所述分布曲线上每个灰度值所对应斜率值；计算相邻两个所述灰度值所对应斜率值的差值；当所述差值大于预设第一阈值时，该差值所对应的相邻两个所述灰度值中数值最大的灰度值作为分区点。

相邻两个所述灰度值所对应斜率值的差值Δk，Δk的表达式如下式(4)所示：

Δk＝k_i-k_i-1,i∈[1,255] (4)

其中，k_i表示灰度值i点对应的分布曲线y上的斜率；Δk表示灰度值i-1和灰度值i所对应斜率值的差值；当Δk>k_T时灰度值i为分布曲线y上的分区点，k_T表示第一阈值。

如图2所示，本发明的累计直方图所对应的分布曲线上存在两个分区点i_a，i_b。至此，根据两个分区点i_a，i_b得到了分段线性增强的多段变换区间为[0,i_a]、[i_a,i_b]、[i_b,i]。本发明中将累计直方图分为三段区间，第一段区间为黑色区域，像素点数量最多，因此其在累计直方图中表现为第一段斜率最大。第二段区间为中间缓冲区域，像素点数量最少，因此其在累计直方图中表现为第二段斜率最小。第三段区间为较亮区域，像素点数量高于中间缓冲区域，且远低于黑色区域，因此其在累计直方图中表现为第三段斜率高于第二段、远低于第一段。

S4、获取所述灰度图像内由每个像素点和周围邻域内全部像素点组成的各区域，根据每个所述区域内灰度对比度和各像素点灰度值的方差计算出每个所述像素点的邻域变异度。

如图3所示：S41、获取每个所述区域内由全部像素点的灰度值组成的各灰度值序列。

本发明中各灰度值序列为{G₁,G₂,…,G_m}。

S42、根据每个所述灰度值序列内最大灰度值和最小灰度值计算每个所述区域内灰度对比度。

任一区域内灰度对比度的计算公式如下式(5)所示：

其中，IC表示该区域内灰度对比度；m表示该区域内全部像素点的总数；G_max为该区域所对应的灰度值序列中最大灰度值；G_min为该区域所对应的灰度值序列中的最小灰度值。

S43、根据每个所述灰度值序列内各像素点灰度值计算每个所述区域内各像素点灰度值的方差。

任一区域内各像素点灰度值的方差的计算公式如下式(6)所示：

其中，σ²表示该区域内各像素点灰度值的方差；m表示该区域内全部像素点的总数；AVE表示该区域内全部像素点灰度值的均值；G_j表示该区域内第j像素点的灰度值。

S44、根据每个所述区域内灰度对比度和各像素点灰度值的方差计算出每个所述像素点的邻域变异度。

本发明优选每个像素点和周围八邻域内全部像素点组成每个像素点的八邻域区域，若每个像素点的邻域区域存在灰度变异点(即邻域区域内存在灰度值差异较大的点)，则该区域内对比度IC较大，方差σ²较大，变异度ω越大。若该区域内不存在灰度变异点(即任一像素点和周围邻域内全部像素点的灰度值差异不大)，则该区域内对比度IC较小，方差σ²较小，变异度越小。

每个所述像素点的邻域变异度的计算公式如下式(7)所示：

ω＝γ(IC×σ²) (7)

其中，ω表示该像素点的邻域变异度；IC表示该像素点所在区域内灰度对比度；σ²表示该像素点所在区域内各像素点灰度值方差；γ表示自行设置的超参数用于调整ω的值。

S5、根据每段所述变换区间内全部像素点的邻域变异度均值和灰度值均值确定每段变换区间的变换参数。其中，在S3步骤中已经根据分区点确定分段线性增强的多段变换区间为[0,i_a]、[i_a,i_b]、[i_b,i]。

对于在[0,i_a]范围内的像素点区域，该范围主要为黑色背景区域像素点，本发明需要抑制该区域的像素点，因此该区域的变换系数较小。该区域的像素点邻域内对比度低、方差低、变异度低，且像素点邻域内均值较小。

对于在[i_a,i_b]范围内的像素点区域，该范围主要为较亮像素点，本发明需要增强该区域的像素点，因此该区域的变换系数较大。该区域的像素点邻域内对比度高、方差高、变异度高，且像素点邻域内均值较大。

对于在[i_b,i]范围内的像素点区域，该范围主要为较亮区域(即异物、气泡等)像素点，本发明需要增强该区域的像素点，因此该区域的变换系数较大。该区域的像素点邻域内对比度高、方差高、变异度高，且像素点邻域内均值较大。

下面以分段线性增强的变换区间[i_b,i]为例，根据变换区间[i_b,i]内全部像素点的邻域变异度均值确定该段变换区间的变换参数一α_s。

每段变换区间的变换参数一α_s的计算如下式(8)所示：

其中，[i_b,i]表示该段变换区间的范围为i_b到i；

表示在变换区间[i_b,i]内全部像素点的总数；ω_q表示在变换区间[i_b,i]内第q个像素点的邻域变异度。

根据变换区间[i_b,i]内全部像素点的灰度值均值确定该段所述变换区间的变换参数二β_s。

每段变换区间的变换参数二β_s的计算如下式(9)所示：

其中，[i_b,i]表示该段变换区间的范围为i_b到i；

表示在变换区间[i_b,i]内全部像素点的总数；G_q表示在变换区间[i_b,i]内第q个像素点的灰度值。

S6、基于所述多段变换区间和所述每段变换区间的变换参数利用分段线性增强的方法对所述灰度图像进行增强得到增强后图像。

分段线性增强的表达式如下式(10)所示：

其中，根据变换区间[0,i_a]内全部像素点的邻域变异度均值确定该段变换区间的变换参数一α1_s；根据变换区间[0,i_a]内全部像素点的灰度值均值确定该段所述变换区间的变换参数二β1_s；根据变换区间[i_a,i_b]内全部像素点的邻域变异度均值确定该段变换区间的变换参数一α2_s；根据变换区间[i_a,i_b]内全部像素点的灰度值均值确定每段所述变换区间的变换参数二β2_s；根据变换区间[i_b,i]内全部像素点的邻域变异度均值确定该段变换区间的变换参数一α_s；根据变换区间[i_b,i]内全部像素点的灰度值均值确定该段所述变换区间的变换参数二β_s。

利用上述分段线性增强表达式对输液药瓶灰度图像进行增强得到增强后图像。

S7、对所述增强后图像进行阈值分割得到药瓶和异物的分割图。

将所述增强后图像内像素点灰度值大于预设第二阈值的像素点设置为1，将所述增强后图像内像素点灰度值小于预设第二阈值的像素点设置为0，得到所述增强后图像的二值图；

对所述增强后图像的二值图进行阈值分割得到药瓶和异物的分割图。

综上所述，本发明提供用于输液药瓶灯检工艺的异物检测方法，根据输液药瓶灰度图像的累计直方图和输液药瓶灰度图像内各像素点的邻域变异度，对输液药瓶经过语义分割后的图像进行分段线性增强得到增强后图像。对增强后的图像进行阈值分割得到药瓶和异物的分割图。本发明利用输液药瓶内异物的特征对增强后的输液药瓶图像进行阈值分割，提高了异物和药瓶分割的准确率，同时检测效率高、误检率低。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.用于输液药瓶灯检工艺的异物检测方法，其特征在于，该方法包括：

获取输液药瓶灰度图像；

根据所述灰度图像建立灰度直方图，并根据所述灰度直方图建立累计直方图；

对所述累计直方图进行曲线拟合得到分布曲线，根据所述分布曲线中相邻两个灰度值所对应斜率值的差值确定分区点，并根据所述分区点确定多段变换区间；

获取所述灰度图像内由每个像素点和周围邻域内全部像素点组成的各区域，根据每个所述区域内灰度对比度和各像素点灰度值的方差计算出每个所述像素点的邻域变异度；

根据每段所述变换区间内全部像素点的邻域变异度均值和灰度值均值确定每段变换区间的变换参数；

基于所述多段变换区间和所述每段变换区间的变换参数利用分段线性增强的方法对所述灰度图像进行增强得到增强后图像；

对所述增强后图像进行阈值分割得到药瓶和异物的分割图。

2.根据权利要求1所述的用于输液药瓶灯检工艺的异物检测方法，其特征在于，所述根据每个所述区域内灰度对比度和各像素点灰度值的方差计算出每个所述像素点的邻域变异度，包括：

获取每个所述区域内由全部像素点的灰度值组成的各灰度值序列；

根据每个所述灰度值序列内最大灰度值和最小灰度值计算每个所述区域内灰度对比度；

根据每个所述灰度值序列内各像素点灰度值计算每个所述区域内各像素点灰度值的方差；

根据每个所述区域内灰度对比度和各像素点灰度值的方差计算出每个所述像素点的邻域变异度。

3.根据权利要求2所述的用于输液药瓶灯检工艺的异物检测方法，其特征在于，任一所述区域内灰度对比度的计算公式如下式所示：

其中，IC表示该区域内灰度对比度；m表示该区域内全部像素点的总数；G_max为该区域所对应的灰度值序列中最大灰度值；G_min为该区域所对应的灰度值序列中的最小灰度值。

4.根据权利要求2所述的用于输液药瓶灯检工艺的异物检测方法，其特征在于，任一所述区域内各像素点灰度值的方差的计算公式如下式所示：

其中，σ²表示该区域内各像素点灰度值的方差；m表示该区域内全部像素点的总数；AVE表示该区域内全部像素点灰度值的均值；G_j表示该区域内第j像素点的灰度值。

5.根据权利要求2所述的用于输液药瓶灯检工艺的异物检测方法，其特征在于，每个所述像素点的邻域变异度的计算公式如下式所示：

ω＝γ(IC×σ²)

其中，ω表示该像素点的邻域变异度；IC表示该像素点所在区域内灰度对比度；σ²表示该像素点所在区域内各像素点灰度值方差；γ表示自行设置的超参数用于调整ω的值。

6.根据权利要求1所述的用于输液药瓶灯检工艺的异物检测方法，其特征在于，每段所述变换区间的变换参数包括变换参数一和变换参数二，所述变换参数一α_s的计算如下式所示：

其中，[i_b,i]表示该段变换区间的范围为i_b到i；N_[ib,i]表示在变换区间[i_b,i]内全部像素点的总数；ω_q表示在变换区间[i_b,i]内第q个像素点的邻域变异度；

所述变换参数二β_s的计算如下式所示：

其中，[i_b,i]表示该段变换区间的范围为i_b到i；

表示在变换区间[i_b,i]内全部像素点的总数；G_q表示在变换区间[i_b,i]内第q个像素点的灰度值。

7.根据权利要求1所述的用于输液药瓶灯检工艺的异物检测方法，其特征在于，所述根据所述分布曲线中相邻两个灰度值所对应斜率值的差值确定分区点，包括：

获取所述分布曲线上每个灰度值所对应斜率值；

计算相邻两个所述灰度值所对应斜率值的差值；

当所述差值大于预设第一阈值时，该差值所对应的相邻两个所述灰度值中数值最大的灰度值作为分区点。

8.根据权利要求1所述的用于输液药瓶灯检工艺的异物检测方法，其特征在于，所述对所述增强后图像进行阈值分割得到药瓶和异物的分割图，包括：

将所述增强后图像内像素点灰度值大于预设第二阈值的像素点设置为1，将所述增强后图像内像素点灰度值小于预设第二阈值的像素点设置为0，得到所述增强后图像的二值图；

对所述增强后图像的二值图进行阈值分割得到药瓶和异物的分割图。

Images