CN116597127A - 无菌眼膏封装完整度图像识别系统 - Google Patents

Abstract

本发明公开了一种无菌眼膏封装完整度图像识别系统，涉及图像检测技术领域，包括检测平台、拍摄单元、图像筛选单元、图案信息去除单元、封装识别单元、分拣模块；所述检测平台用于放置眼膏封装，且放置眼膏封装的承载面为透明材质；该无菌眼膏封装完整度图像识别系统，通过设置图案信息去除单元、封装识别单元、分拣模块，可实现对通过输入并分析药膏封装上的原始图案，与拍摄的眼膏封装的图片进行对比，过滤掉拍摄的眼膏封装上与原始图案相同的信息，再对眼膏封装的完整度进行检测，减小了检测的干扰，提高了检测的精度，且可通过分拣模块自动按照设定好的完整度标签将相同完整度的眼膏封装分拣到一起，使得分拣更便捷、快速。

Description

无菌眼膏封装完整度图像识别系统

技术领域

本发明涉及图像检测技术领域，具体涉及一种无菌眼膏封装完整度图像识别系统。

背景技术

无菌眼膏一般指药物与适宜基质制成的供眼用的灭菌软膏制剂，适用于配制对水不稳定的药物，如某些抗生素。因其不影响角膜上皮或角膜基质损伤的愈合，常作为眼科手术后用药。其在进行封装时需要保证封装完整，封装破损、泄露会导致眼膏与外界接触，破坏了眼膏的无菌储存环境，导致眼膏受到污染，需要将眼膏作为不合格品回收。

公开号为CN112396599A的中国专利，公开了一种透明封装IC缺陷的视觉检测方法，首先将待检测的产品放置到检测设备上，根据产品的各个面的不同而选用不同视觉器件，以此采集产品各个面的图像信息，并上传到处理器中；处理器将图像信息与OK品的标准图像进行对比，找出存在缺陷的产品，并根据缺陷在图像中的形态对产品每个缺陷选用对应的算法；随后对存在缺陷的产品的每个面的缺陷特征进行提取，判断缺陷的形态和存在的位置；接着再次通过算法进行检测，得到产品OK与NG的具体信息，以及NG品带有的缺陷类型；最后处理器将检测获得的产品信息发送给PLC，PLC将OK与NG产品准确分开。本发明的视觉检测方法可快速实现对透明封装IC进行检测，且检测速度更快，检测效率及检测精度更高。

然而上述现有技术的视觉检测方法是针对透明封装的IC的，而一些无菌药膏的封装上印刷有商标图案、生产信息等，将上述视觉检测方法利用到无菌眼膏的封装检测上可能会出现药膏封装表面的图案、信息作为干扰信息输入到算法中，影响算法的准确性，使得无菌眼膏的封装完整度检测误差增大。

发明内容

本发明的目的是提供一种无菌眼膏封装完整度图像识别系统，以解决现有技术中的上述不足之处。

为了实现上述目的，本发明提供如下技术方案：一种无菌眼膏封装完整度图像识别系统，包括检测平台、拍摄单元、图像筛选单元、图案信息去除单元、封装识别单元、分拣模块；所述检测平台用于放置眼膏封装，且放置眼膏封装的承载面为透明材质；所述拍摄单元包括多个用于拍摄眼膏封装的拍摄模块，且有不少于一个拍摄模块设置在所述承载面下方，用于透过承载面拍摄眼膏封装；所述图像筛选单元用于获取拍摄单元的原始拍摄信息，对原始拍摄信息的清晰度进行检测，设定清晰度阈值，筛选出清晰度大于等于清晰度阈值的原始拍摄信息，得到高清拍摄信息；所述图案信息去除单元用于获取眼膏封装的原始图案信息，并获取高清拍摄信息，将高清拍摄信息与原始图案信息对比，将高清拍摄信息中与原始图案信息相同的部分去除，得到白板封装信息；所述封装识别单元用于获取白板封装信息，并利用图像分析算法模型对白板封装信息进行分析，输出白板封装信息的完整度；所述分拣模块用于根据白板封装信息的完整度对白板封装信息对应的眼膏封装进行分拣分类。

进一步的，多个所述拍摄模块用于从不同的角度拍摄眼膏封装。

进一步的，所述拍摄模块通过录制视频的方式得到原始拍摄信息。

进一步的，所述图像筛选单元包括清晰度检测模块、图像筛选模块所述清晰度检测模块用于获取原始拍摄信息，将原始拍摄信息输入清晰度检测算法输出与清晰度正相关的第一检测值所述图像筛选模块用于设定清晰度阈值，对比第一检测值与清晰度阈值，筛选出与大于等于清晰度阈值的第一检测值对应的原始拍摄信息，作为高清拍摄信息。

进一步的，所述高清拍摄信息包括视频形式和图片形式，所述图像筛选模块还用于将高清拍摄信息全部转换为图片形式，并设置图片阈值，随机选择图片阈值数量的图片形式的高清拍摄信息。

进一步的，所述图像筛选单元还包括拍摄调整模块，所述拍摄调整模块用于在所述第一检测值小于清晰度阈值时调整拍摄模块焦距。

进一步的，所述图案信息去除单元包括图案输入模块、拍摄信息处理模块、图像分析模块、图案删除模块所述图案输入模块用于导入眼膏封装的原始图案，并将原始图案输入到图像分析模块，所述图像分析模块对原始图案进行分析，得到原始图案信息所述拍摄信息处理模块用于获取高清拍摄信息，对高清拍摄信息的角度进行平行矫正，然后输入到图像分析模块，所述图像分析模块对平行矫正后的高清拍摄信息进行分析，检索与原始图案信息相同的部分所述图案删除模块用于将平行矫正后的高清拍摄信息中与原始图案信息相同的部分删除，得到白板封装信息。

进一步的，所述封装识别单元包括完整度标签模块、学习模块、封装判断模块；所述完整度标签模块用于预设多个完整度标签与不同完整度的眼膏封装关联；所述学习模块用于利用图像分析算法分析不同完整度的眼膏封装的白板封装信息，得到第二检测值，将不同完整度的眼膏封装对应的第二检测值与该完整度的眼膏封装关联的完整度标签关联；所述学习模块还用于根据得到的第二检测值输出与得到的第二检测值关联的完整度标签；所述学习模块还用于利用已知完整度的眼膏封装的白板封装信息对应的第二检测值及与该第二检测值关联的完整度标签，对图像分析算法进行训练和验证；所述封装判断模块用于利用学习模块训练和验证后的图像分析算法分析需要检测的白板封装信息，并输出对应的完整度标签。

与现有技术相比，本发明提供的一种无菌眼膏封装完整度图像识别系统，通过设置检测平台、拍摄单元，通过设置透明承载面放置药膏封装，且拍摄单元通过多个拍摄模块多角度拍摄药膏封装，使得眼膏封装的拍摄无死角，避免因药膏封装因放置在不透明承载面上有拍摄死角而造成的检测误差。

与现有技术相比，本发明提供的一种无菌眼膏封装完整度图像识别系统，通过设置图像筛选单元，可检测拍摄单元拍摄的清晰度，并自动调节拍摄单元使之拍摄清晰，同时可挑选出清晰的图片，进行分析处理提高检测的准确性，防止选用不清晰的图片影响检测结果。

与现有技术相比，本发明提供的一种无菌眼膏封装完整度图像识别系统，通过设置图案信息去除单元、封装识别单元、分拣模块，可实现对通过输入并分析药膏封装上的原始图案，与拍摄的眼膏封装的图片进行对比，过滤掉拍摄的眼膏封装上与原始图案相同的信息，再对眼膏封装的完整度进行检测，减小了检测的干扰，提高了检测的精度，且可通过分拣模块自动按照设定好的完整度标签将相同完整度的眼膏封装分拣到一起，使得分拣更便捷、快速。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的系统框图；

图2为本发明实施例提供的拍摄单元框图；

图3为本发明实施例提供的拍摄模块与检测平台位置关系示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

请参阅图1-图3，一种无菌眼膏封装完整度图像识别系统，包括检测平台、拍摄单元、图像筛选单元、图案信息去除单元、封装识别单元、分拣模块。

检测平台用于放置眼膏封装，且放置眼膏封装的承载面为透明材质，优选的，透明材质的透明率不小于百分之九十二，可采用钢化透明玻璃。

拍摄单元包括多个用于拍摄眼膏封装的拍摄模块，且有不少于一个拍摄模块设置在承载面下方，用于透过承载面拍摄眼膏封装，拍摄模块可采用高清摄像机，在承载面的下方安装一到四个拍摄模块，承载面的上方安装有一到四个拍摄模块，用于从不同角度拍摄放置在承载面上眼膏封装，使得拍摄无死角。拍摄模块通过录制视频的方式得到原始拍摄信息。优选的，录制的视频帧率为三十帧，且可将视频按帧分解转换成图片形式，且三十帧的视频可使得系统获取足够的样本（视频按帧分解成的图片），和保证样本高清的情况下占用较小的储存空间，相同清晰度下视频帧率越高占用的内存空间越高。

图像筛选单元用于获取拍摄单元的原始拍摄信息，对原始拍摄信息的清晰度进行检测，设定清晰度阈值，优选的，清晰度阈值设置为90%，对比时首先，将清晰度检测值除以清晰度最大值乘以100%，将清晰度检测值转换成百分比形式，筛选出清晰度大于等于清晰度阈值的原始拍摄信息，得到高清拍摄信息；图像筛选单元包括清晰度检测模块、图像筛选模块。

清晰度检测模块用于获取原始拍摄信息，将原始拍摄信息输入清晰度检测算法输出与清晰度正相关的第一检测值；图像筛选模块用于设定清晰度阈值，对比第一检测值与清晰度阈值，筛选出与大于等于清晰度阈值的第一检测值对应的原始拍摄信息，作为高清拍摄信息。高清拍摄信息包括视频形式和图片形式，图像筛选模块还用于将高清拍摄信息全部转换为图片形式，并设置图片阈值，随机选择图片阈值数量的图片形式的高清拍摄信息，设图片阈值为P，优选的图片阈值为2-5，即P为2-5，即图像筛选模块随机挑选P张图片形式的高清拍摄信息，用于输入拍摄信息处理模块。图像筛选单元还包括拍摄调整模块，拍摄调整模块用于在第一检测值小于清晰度阈值时调整拍摄模块焦距，优选的，焦距调整时自动从远到近或从近到远往复调整，直至第一检测值大于等于清晰度阈值。

其中清晰度检测算法采用TenenGrad 函数，该函数采用sobel算子，在图像处理中，一般认为对焦好的图像具有更尖锐的边缘，故具有更大的梯度函数值。Tenengrad函数使用sobel算子提取水平和垂直方向的梯度值，求其平方和作为评价函数：

设Sobel卷积核为，则图像在像素点（x，y）处的像素灰度的梯度/>可表示为：

；

其中和/>分别代表像素点（x，y）与水平、垂直方向模板上卷积的梯度值；

图像清晰度评价值可表示为：

；

，

其中T为预设阈值，通过预设阈值，可以对噪声产生一定的抑制作用。

图案信息去除单元用于获取眼膏封装的原始图案信息，并获取高清拍摄信息，将高清拍摄信息与原始图案信息对比，将高清拍摄信息中与原始图案信息相同的部分去除，得到白板封装信息；图案信息去除单元包括图案输入模块、拍摄信息处理模块、图像分析模块、图案删除模块。

图案输入模块用于导入眼膏封装的原始图案，并将原始图案输入到图像分析模块，图像分析模块对原始图案进行分析，得到原始图案信息，其中图案输入模块对原始图案进行分析前还会对原始图案进行预处理，优选的，预处理采用高斯滤波去噪。

拍摄信息处理模块用于获取高清拍摄信息，对高清拍摄信息的角度进行平行矫正，优选的，通过仿射变换和透视变换将高清拍摄信息内的图像平行于画面，然后输入到图像分析模块，图像分析模块对平行矫正后的高清拍摄信息进行分析，检索与原始图案信息相同的部分。图案删除模块用于将平行矫正后的高清拍摄信息中与原始图案信息相同的部分删除，得到白板封装信息。

封装识别单元用于获取白板封装信息，并利用图像分析算法模型对白板封装信息进行分析，输出白板封装信息的完整度；封装识别单元包括完整度标签模块、学习模块、封装判断模块。

完整度标签模块用于预设多个完整度标签与不同完整度的眼膏封装关联；在一个实施例中，完整度标签包括优品、瑕疵品、不合格品。

学习模块用于利用图像分析算法分析不同完整度的眼膏封装的白板封装信息，且在分析白板封装信息前还会对白板封装信息进行预处理，预处理包括灰度处理，用于去除白板封装信息中的彩色，以黑色为基准色，不同的饱和度的黑色来显示白板封装信息，得到第二检测值，将不同完整度的眼膏封装对应的第二检测值与该完整度的眼膏封装关联的完整度标签关联，相互关联的第二检测值与完整度标签组成样本集，将样本集随机划分成训练集和验证集两部分，且训练集和验证集两部分分布相似；学习模块还用于根据得到的第二检测值输出与得到的第二检测值关联的完整度标签；学习模块还用于利用已知完整度的眼膏封装的白板封装信息对应的第二检测值及与该第二检测值关联的完整度标签，对图像分析算法的分类器进行训练和验证，其中利用训练集对图像分析算法进行训练，利用验证集进行验证，保证图像分析算法精度达到预设的精确度；

封装判断模块用于利用学习模块训练和验证后的图像分析算法分析需要检测的白板封装信息，并输出对应的完整度标签。

分拣模块用于根据白板封装信息的完整度对白板封装信息对应的眼膏封装进行分拣分类，将相同的完整度标签关联的第二检测值对应的眼膏封装分拣到一起。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (8)

1.一种无菌眼膏封装完整度图像识别系统，其特征在于：包括检测平台、拍摄单元、图像筛选单元、图案信息去除单元、封装识别单元、分拣模块；

所述检测平台用于放置眼膏封装，且放置眼膏封装的承载面为透明材质；

所述拍摄单元包括多个用于拍摄眼膏封装的拍摄模块，且有不少于一个拍摄模块设置在所述承载面下方，用于透过承载面拍摄眼膏封装；

所述图像筛选单元用于获取拍摄单元的原始拍摄信息，对原始拍摄信息的清晰度进行检测，设定清晰度阈值，筛选出清晰度大于等于清晰度阈值的原始拍摄信息，得到高清拍摄信息；

所述图案信息去除单元用于获取眼膏封装的原始图案信息，并获取高清拍摄信息，将高清拍摄信息与原始图案信息对比，将高清拍摄信息中与原始图案信息相同的部分去除，得到白板封装信息；

所述封装识别单元用于获取白板封装信息，并利用图像分析算法模型对白板封装信息进行分析，输出白板封装信息的完整度；

所述分拣模块用于根据白板封装信息的完整度对白板封装信息对应的眼膏封装进行分拣分类。

2.根据权利要求1所述的一种无菌眼膏封装完整度图像识别系统，其特征在于：多个所述拍摄模块用于从不同的角度拍摄眼膏封装。

3.根据权利要求1所述的一种无菌眼膏封装完整度图像识别系统，其特征在于：所述拍摄模块通过录制视频的方式得到原始拍摄信息。

4.根据权利要求1所述的一种无菌眼膏封装完整度图像识别系统，其特征在于：所述图像筛选单元包括清晰度检测模块、图像筛选模块；

所述清晰度检测模块用于获取原始拍摄信息，将原始拍摄信息输入清晰度检测算法输出与清晰度正相关的第一检测值；

所述图像筛选模块用于设定清晰度阈值，对比第一检测值与清晰度阈值，筛选出与大于等于清晰度阈值的第一检测值对应的原始拍摄信息，作为高清拍摄信息。

5.根据权利要求4所述的一种无菌眼膏封装完整度图像识别系统，其特征在于：所述高清拍摄信息包括视频形式和图片形式，所述图像筛选模块还用于将高清拍摄信息全部转换为图片形式，并设置图片阈值，随机选择图片阈值数量的图片形式的高清拍摄信息。

6.根据权利要求4所述的一种无菌眼膏封装完整度图像识别系统，其特征在于：所述图像筛选单元还包括拍摄调整模块，所述拍摄调整模块用于在所述第一检测值小于清晰度阈值时调整拍摄模块焦距。

7.根据权利要求4所述的一种无菌眼膏封装完整度图像识别系统，其特征在于：所述图案信息去除单元包括图案输入模块、拍摄信息处理模块、图像分析模块、图案删除模块；

所述图案输入模块用于导入眼膏封装的原始图案，并将原始图案输入到图像分析模块，所述图像分析模块对原始图案进行分析，得到原始图案信息；

所述拍摄信息处理模块用于获取高清拍摄信息，对高清拍摄信息的角度进行平行矫正，然后输入到图像分析模块，所述图像分析模块对平行矫正后的高清拍摄信息进行分析，检索与原始图案信息相同的部分；

所述图案删除模块用于将平行矫正后的高清拍摄信息中与原始图案信息相同的部分删除，得到白板封装信息。

8.根据权利要求4所述的一种无菌眼膏封装完整度图像识别系统，其特征在于：所述封装识别单元包括完整度标签模块、学习模块、封装判断模块；

所述完整度标签模块用于预设多个完整度标签与不同完整度的眼膏封装关联；

所述学习模块用于利用图像分析算法分析不同完整度的眼膏封装的白板封装信息，得到第二检测值，将不同完整度的眼膏封装对应的第二检测值与该完整度的眼膏封装关联的完整度标签关联；

所述学习模块还用于根据得到的第二检测值输出与得到的第二检测值关联的完整度标签；

所述学习模块还用于利用已知完整度的眼膏封装的白板封装信息对应的第二检测值及与该第二检测值关联的完整度标签，对图像分析算法进行训练和验证；

所述封装判断模块用于利用学习模块训练和验证后的图像分析算法分析需要检测的白板封装信息，并输出对应的完整度标签。