CN110147792B - 基于内存优化的药品包装字符高速检测系统及方法 - Google Patents
基于内存优化的药品包装字符高速检测系统及方法 Download PDFInfo
- Publication number
- CN110147792B CN110147792B CN201910430480.8A CN201910430480A CN110147792B CN 110147792 B CN110147792 B CN 110147792B CN 201910430480 A CN201910430480 A CN 201910430480A CN 110147792 B CN110147792 B CN 110147792B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensionality reduction
- medicine package
- operator
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003814 drug Substances 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 title claims description 38
- 229940079593 drug Drugs 0.000 title description 12
- 230000009467 reduction Effects 0.000 claims abstract description 153
- 238000012545 processing Methods 0.000 claims abstract description 77
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000003860 storage Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 81
- 238000012549 training Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 238000009776 industrial production Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000012856 packing Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 16
- 238000003672 processing method Methods 0.000 abstract description 12
- 238000007689 inspection Methods 0.000 abstract description 7
- 230000002950 deficient Effects 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000011897 real-time detection Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 239000011521 glass Substances 0.000 description 12
- 238000007796 conventional method Methods 0.000 description 11
- 238000009512 pharmaceutical packaging Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本公开提出了一种基于内存优化的药品包装字符高速检测系统和方法，通过采用随机贪心图像降维处理算法和链式分组处理方法对内存中的图像数据进行降维处理，并在降维后的图像上进行字符识别和产品完整性判定，减少了识别处理过程中的内存占用，有效提升药品三期字符识别的速度和精度，节省了图像处理时间，提高了系统的检测效率，满足高速生产线药品包装的“三期”字符实时检测与在线分拣要求。系统根据药品包装识别结果对合格的药品包装，删除其原始图像以降低内存占用，而对存在问题的包装图像启动存储线程，保存瑕疵图像以供事后检查和分析；通过仅保留缺陷产图像品的方法，可以有效节省服务器的内存空间使用效率，提高系统的运行速度。
Description
技术领域
本公开涉及药品包装检测相关技术领域，具体的说，是涉及基于内存优化的药品包装字符高速检测系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
在药品包装行业，药品的生产日期、生产批次以及有效期(简称“三期”)信息至关重要，一旦标识出错的药品流通到市场不但会影响患者的身体健康，严重时会引发医疗事故甚至生命，药品的“三期”信息检测的重要性不言而喻。为提高医药包装检测的工作效率，开展药品包装“三期”字符高速检测技术的研究势在必行。
目前大多数医药生产厂家采用人工视觉进行药品包装质量检测，由于人眼视觉一致性差，易于疲劳，导致检测效率低下，可靠性不高。少数厂家采用机器视觉技术实现产品瑕疵检测或印刷缺陷检测，由于算法的复杂度较高，检测速度慢，内存空间需求大，导致在具体检测过程中存在产品检测耗时长，检测精度较低等问题，无法满足流水线产品快速检测的要求。
因而，研究一种药品包装“三期”信息高速检测方法和装置，满足药品包装高速、准确检测的要求，是本领域亟需解决的问题。
发明内容
本公开为了解决上述问题，提出了一种基于内存优化的药品包装字符高速检测系统及方法，通过采用随机贪心图像降维处理算法和链式分组处理方法对内存中的图像数据进行降维处理，并在降维后的图像上进行字符识别和产品完整性判定，减少了识别处理过程中的内存占用，有效提升药品三期字符识别的速度和精度，节省了图像处理时间，提高了系统的检测效率，满足高速生产线药品包装的“三期”字符实时检测与在线分拣要求。系统根据药品包装识别结果对合格的药品包装，删除其原始图像以降低内存占用，而对存在问题的包装图像启动存储线程，保存瑕疵图像以供事后检查和分析；通过仅保留缺陷产品图像的方法，可以有效节省服务器的内存空间使用效率，提高系统的运行速度。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了基于内存优化的药品包装字符高速检测方法，包括如下步骤：
步骤1、采集药品包装图像，将采集的图像存储形成待处理图像队列；
步骤2、根据采用随机贪心图像降维处理算法训练获得的图像降维算子矩阵，对待处理图像队列进行降维处理；
步骤3、对降维后的图像进行预处理，并提取图像中的“三期”字符数据；
步骤4、匹配提取的字符数据与标准字符数据，如果一致，更新药品包装采集记录并删除当前图像，执行步骤2处理待处理图像队列中的下一图像；否则，更新药品包装采集记录，保存不合格品的图像，执行步骤2处理待处理图像队列中的下一图像。
一个或多个实施例提供了基于内存优化的药品包装字符高速检测系统，包括上位机、同轴光源、工业相机、传送带、光电传感器和上位机，所述工业光源用于为需检测的药品包装产生均匀的照度；所述工业相机用于在工业生产环境下采集待测药品包装的照片；所述上位机与工业相机进行连接，工业相机用于实时采集工业相机拍摄的待测药品包装照片，并将采集的图像传输至上位机，所述上位机执行上述基于内存优化的药品包装字符高速检测方法。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
本公开通过采用随机贪心图像降维处理算法和链式分组处理方法对内存中的图像数据进行降维处理，并在降维后的图像上进行字符识别和产品完整性判定，减少了识别处理过程中的内存占用，有效提升药品三期字符识别的速度和精度，节省了图像处理时间，提高了系统的检测效率，满足高速生产线药品包装的“三期”字符实时检测与在线分拣要求。
与现有技术相比，本公开的有益效果为：
(1)本公开通过采用随机贪心图像降维处理算法和链式分组处理方法对内存中的图像数据进行降维处理，并在降维后的图像上进行字符识别和产品完整性判定，减少了识别处理过程中的内存占用，有效提升药品三期字符识别的速度和精度，节省了图像处理时间，提高了系统的检测效率，满足高速生产线药品包装的“三期”字符实时检测与在线分拣要求。
(2)本公开基于随机贪心内存优化算法所产生图像降维算子。针对采集到的图像设计最优降维算子矩阵实现原始图像的降维表示，选取误差最小(即降维图像与原始图像具有最大化的结构相似度Structural SIMilarity Index)的线性变换矩阵作为降维算子，并在药品包装三期识别过程中使用此算子实现目标图像的高保真降维处理。
(3)本公开基于DMA算法将采集到的目标图像存放在系统内存中，并基于链式分组降维缓存优化方法实现目标图像的降维优化处理，每次只需要向高速缓存中输入原始图像的N行数据进行线性降维变换，而不是将整张图像的信息发送至缓存中，从而降低药品包装图像处理过程中的内存占用，提升图像处理速度。
(3)本公开对实时采集的图像采用改进的Sobel方向滤波器进行边缘滤波处理，获取消除干扰噪声后的药品包装字符清晰图像，根据图像中的灰度值分布直方图自适应确定二值化阈值的选择，最大化保留图像内容中“三期”信息。
(4)根据包装上检测对象的识别结果，将合格图像直接删除，而仅将不合格图像数据存储于内存，并记录相应的批次和序号，用于图像缺陷的进一步分析处理。本公开通过仅保留缺陷产图像品的方法，可以有效节省服务器的内存空间使用效率，提高系统的运行速度。
(5)根据图像识别结果，启动生产线继电相应装置，将不合格的产品包装剔出生产线，可以有效保障药品生产的良品率。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是本公开实施例1的检测内存优化检测方法的流程图；
图2是本公开实施例1的检测系统结构示意图；
图3是本公开实施例1的采集的原始药品包装图像；
图4是本公开实施例1采用本公开的药品包装“三期”字符识别结果图像；
图5是采用传统方法实现不同大小的纸质药品包装识别结果图；
图6是采用传统方法实现不同大小的玻璃药品包装识别结果图；
图7是采用本公开实施例1中的基于内存优化检测方法实现不同大小的纸质药品包装识别结果图；
图8是采用本公开实施例1中的基于内存优化检测方法实现不同大小的玻璃药品包装识别结果图；
图9是采用传统方法和本公开实施例1中的基于内存优化检测方法识别大小相同纸质药品包装图像(128*128像素)时间消耗对比图；
图10是采用传统方法和本公开实施例1中的基于内存优化检测方法识别大小相同纸质药品包装图像(256*256像素)时间消耗对比图；
图11是采用传统方法和本公开实施例1中的基于内存优化检测方法识别大小相同纸质药品包装图像(512*512像素)时间消耗对比图；
图12是采用传统方法和本公开实施例1中的基于内存优化检测方法识别大小相同玻璃药品包装图像(128*128像素)时间消耗对比图；
图13是采用传统方法和本公开实施例1中的基于内存优化检测方法识别大小相同玻璃药品包装图像(256*256像素)时间消耗对比图；
图14是采用传统方法和本公开实施例1中的基于内存优化检测方法识别大小相同玻璃药品包装图像(512*512像素)时间消耗对比图；
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
在一个或多个实施方式中公开的技术方案中，下述实施例为本申请的一种典型的实施方式，本实施例所识别的字符以“三期”字符为例进行说明，三期指生产日期，生产批次和保质期。
基于内存优化的药品包装“三期”字符高速检测系统是对工业生产线上药品盒上印刷的生产日期、生产批次以及有效期等信息进行采集与实时识别处理。如图2所示，基于内存优化的药品包装“三期”字符高速检测系统的硬件构成包括同轴光源、工业相机、传送带、光电传感器和上位机，所述工业光源用于为需检测的药品包装产生均匀的照度；所述工业相机用于在工业生产环境下待测药品包装的照片采集；所述上位机与工业相机进行连接，工业相机用于实时采集工业相机拍摄的待测药品包装照片，并将采集的图像传输至上位机。
上位机是指可以直接发出操控命令的计算机，一般是PC/host computer/mastercomputer/upper computer，在上位机屏幕上可以显示各种信号变化(字符，图像，结果等)。
本实施例工业相机和工业镜头选用迈迪维视高速GIGE130万像素的快门工业相机和15mm标准定焦镜头，当喷码后的药品盒在传送带上经过检测区域时，光电传感器会产生触发信号，控制CCD工业相机进行图像采集。工业光源根据药品的位置采用同轴激光光源，为需检测的药品包装提供均匀照度，提高采集图像清晰度。
还包括光源调节器，所述工业光源为漫反射同轴光源，所述光源调节器与漫反射同轴光源连接，用于为需检测的药品包装提供均匀照度；所述光电传感器可以采用德国leuze劳易测漫反射光电传感器，用于检测待测药品包装的位置，激活工业相机的拍照响应。
基于内存优化的药品包装字符高速检测方法，如图1所示，在药品包装检测过程中，将上位机系统采集到的图像数据直接存储到系统内存中形成待处理图像队列，系统按照预先训练好的图像降维算子矩阵，采取链式分组处理方法对内存中的图像数据进行降维处理，并在降维后的图像上进行字符识别和产品完整性判定。具体步骤为：
步骤1、采集药品包装图像，将采集的图像存储形成待处理图像队列；
步骤2、根据采用随机贪心图像降维处理算法训练获得的图像降维算子矩阵，对待处理图像队列进行降维处理；
步骤3、对降维后的图像进行预处理，并提取图像中的“三期”字符数据；
步骤4、匹配提取的字符数据与标准字符数据，如果一致，更新药品包装采集记录并删除当前图像，执行步骤2处理待处理图像队列中的下一图像；否则，更新药品包装采集记录，保存不合格品的图像，执行步骤2处理待处理图像队列中的下一图像。
所述步骤2中采用随机贪心图像降维处理算法训练获得的图像降维算子矩阵的方法，具体为：根据目标图像的像素分布特征，随机选取不同分布的非零系数矩阵与预先设计好的图像子块进行点乘处理，计算每个子块的特征值，实现原始图像的降维表示。以SSIM的值作为最优随机导向，采用随机贪心算法实现算子矩阵的产生与迭代优化，在每次生成的随机数上对原始随机矩阵进行加权生成新的优化随机矩阵算子。算子优化方法的具体方法是将弱SSIM的算子矩阵的符号表示与高性能算子矩阵进行加权叠加运算，生成新的算子矩阵，强化算法正向优化趋势。最终获得的最大SSIM值对应的算子矩阵为所求，即为训练获得的图像降维算子矩阵。SSIM图像的结构相似度是structural similarity indexmeasurement system的缩写，一种衡量两幅图像结构相似度的新指标，其值越大说明图像越接近，最大为1。
所述步骤2中采用随机贪心图像降维处理算法训练获得的图像降维算子矩阵的方法，具体包括如下步骤：
步骤21、采集药品包装的图像数据作为样本集；
样本集的建立可以直接采集生产线数据也可以采用历史图像作为样本集。
将样本集中的药品包装图像，采用随机贪心内存优化算法训练生成图像降维优化算子，具体步骤为：
步骤22、将样本集中的原始图像进行图像分块处理，获得分块图像及分块图像的像素值；
图像分块处理可以根据原始图像的大小和图像压缩效率的不同要求可以设计为3×3,5×5或7×7等不同大小的矩阵，本实施例中以3×3的分块为例进行说明。
步骤23、随机选取不同分布的非零系数矩阵作为初始随机算子矩阵，并作为第一算子矩阵；
步骤24、将第一算子矩阵与获得分块图像进行分块点乘降维处理获得第一降维图像，计算第一降维图像与原始图像的结构相似度SSIM，获得第一结构相似度值；
步骤25、随机选取非零系数矩阵作为第二算子矩阵；将第二算子矩阵与获得分块图像进行分块点乘降维处理获得第二降维图像，计算第二降维图像与原始图像的结构相似度值SSIM，获得第二结构相似度值；
步骤26、将第一结构相似度值和第二结构相似度值分别与设定的结构相似度阈值比较，如果都小于设定的阈值，执行下一步，否则，如果有大于设定的阈值的结构相似度值，取其中最大的结构相似度值对应的算子矩阵为训练获得的图像降维算子矩阵。
步骤27、将其中较大的结构相似度值对应的算子矩阵乘以系数α与另一结构相似度值对应的算子矩阵加权叠加，获得新的算子矩阵，将新的算子矩阵作为第一算子矩阵执行步骤24；其中系数α大于1。
通过上述方法，将弱SSIM的算子矩阵与高性能算子矩阵进行加权叠加运算，生成新的算子矩阵，强化算法正向优化趋势。
下面以具体的算例进行说明图像降维优化算子矩阵的生成算法。
设xm,n是分块图像的像素值，其预测特征值使用yi,j表示。则分块图像的特征值可以使用如下公式表示：
其中，xm-1,n-1,xm-1,n,…xm+1,n,xm,n分别是分块图像的像素值。β1,β2,…βk-1,βk为线性回归系数，取值为{0,1}，N为系数β的个数。
采用矩阵的表示方法：
I＝AX
其中I为分块矩阵的特征值，A为行算子矩阵，X为列像素块。
以3×3降维算子为例，具体的训练获得的图像降维算子矩阵的方法实现过程如下所示：
设降维算子矩阵为：
图像像素矩阵为：
设初始的随机降维算子为
像素矩阵为
在第一次点乘运算后，像素矩阵的预测值为
系统继续产生随机降维算子矩阵
计算
计算降维图像与原始图像的结构相似度(SSIM)；
如果第一次降维效果与第二次降维效果都没有达到设定的阈值即结构相似度阈值。并且，如果第二次的降维效果优于第一次的话，产生新的降维算子Ab1＝A1+αA2,重新计算
的值。
继续随机生成第三个随机算子矩阵A3,计算降维图像与原始图像的结构相似度(SSIM)，比较新的降维算子与第三个随机算子矩阵A3降维后的效果，并循环上述步骤生成新的降维算子。继续产生新的随机降维算子，直到降维图像与原始图像的结构相似度达到期望相似度，保留最终的降维矩阵作为最优降维算子，实现原始图像的高保真降维处理。
即为设初始随机算子矩阵为A，将初始算子矩阵与原始图像进行分块点乘降维处理后，计算降维图像与原始图像的SSIM；然后随机生成第二个算子矩阵，重新计算降维图像，比较两次生成的降维图像的SSIM，对取得较大的SSIM的算子进行保留。然后继续随机生成第三个随机算子矩阵，按照以上的方法进行比较。当SSIM达到预设的区域后，本算法停止运算。伪随机代码可以如下所示：
本实施例通过采用SSIM算子，计算降维后的图像与原始图像的结构相似度，选取最优的一组降维算子作为药品包装图像检测过程中的图像降维算子，提升在线图像处理速度。基于上述算法找到结构相似度(SSIM)最优的一组线性变换系数矩阵，用于药品包装三期识别过程中的图像降维处理，在提升字符识别速度的同时，保障三期字符识别的精度。
本实施例采用图像结构相似度SSIM指标来衡量处理后的图像质量，从而确定目标图像的降维算子矩阵，从亮度、对比度和结构相似度三个方面确定最优降维矩阵。图像结构相似度SSIM可以通过公式(2)计算：
1-SSIM(a,b)≤ε (3)
其中，a为原图像，b降维后的图像，C1和C2是常量，在计算图像结构相似度SSIM时，C1＝(K1L)2、C2＝(K2L)2,在实验中L为灰度级数，K1＝0.01,K2＝0.03。μ为标准值，σ为方差，ε为误差容忍度。当所得的降维图像满足公式(3)所描述的条件时，所取得的线性回归系数即为满足要求的一组降维算子。
所述步骤1、采集药品包装图像，将采集的图像存储形成待处理图像队列；采用直接存储器访问方式将药品包装图像采集到系统内存中保存。可以采用本实施例如图2所示的机器视觉检测系统的硬件结构，采用DMA(直接存储器访问)直接数据传递策略，将药品包装图像采集到系统内存中保存。
DMA是允许不同速度的硬件装置来沟通，而不需要依于CPU的大量中断负载。DMA传输将数据从一个内存区从一个装置复制到另外一个。CPU仅仅初始化这个传输动作，传输动作本身是由DMA控制器来实行和完成。在本实施例中通过DMA控制器移动工业相机中的图像数据直接到上位机内存中去，操作并没有让上位机处理器工作拖延，反而可以被重新排进程去处理其他的工作。因而，本实施例中采用DMA传输方式，提高了检测系统的数据存储和系统响应性能。
所述步骤2的采用链式分组降维优化方法对采集的图像进行降维处理，降低图像降维过程中的内存占用。具体的步骤如下：
步骤2-1、采集的待处理图像为目标图像，提取目标图像的像素值；
步骤2-2、按照链式分组将目标图像的像素值输入至缓存中：判断是否是当前图像像素值的首次输入，如果是，将目标图像的前N行像素值传递到缓存中，N为降维算子的行数和列数；否则，将目标图像的前N-1行像素值传递到缓存中；
步骤2-3、按照链式分组将缓存中的像素值进行降维处理：按照训练获得的图像降维算子矩阵的大小，从缓存中选取对应大小的像素矩阵，以N-1为步长移动降维算子，将提取的像素矩阵与降维算子卷积计算，并将卷积计算获得的降维处理结果保存；
步骤2-4、删除缓存中的前N-1行像素值，判断是否处理完当前的目标图像，如果是，完成当前的目标图像降维处理步骤，直接执行步骤3；否则直接执行步骤2-2。
如训练获得的图像降维算子为N×N矩阵，将目标图像的像素值从内存输入到缓存中，缓存中一直保持N行像素值，当通过降维算子降维后，删除缓存中的前N-1行，将目标图像在内存中相邻的N-1行像素值输入至缓存中，与缓存中上次降维处理完的像素值的最后一行形成N行像素值，直到处理完当前目标图像的所有像素值，当前的目标图像处理完毕。
具体的降维处理过程为：将缓存中的相邻N列元素组成一组。采用训练好的优化降维矩阵算子对目标图像进行优化降维处理。基于链式分组优化处理方法中，在分组降维处理过程中以N-1为步长移动降维算子，以避免图像降维过程中产生分块效应，提升降维后的图像质量。在图像处理过程中，将原始图像的前N行传递到高速缓存中(N为降维算子的行数)，按照降维算子矩阵的大小，从目标图像中产生对应大小的像素矩阵进行降维处理。处理完当前像素矩阵后，降维算子向前移动N-1像素位，与下一组像素矩阵进行卷积操作，实现原始图像前N行数据的降维处理。在初始N行像素降维处理完毕后，系统从缓存中删除前N-1行原始数据，从内存中自动调入相邻的N-1行数据继续进行降维处理，处理过程中生成的降维数据自动保存在高速缓存中，以此类推。基于以上图像件为处理措施，可以求出原始图像在一次降维后，图像的大小变为原来的的1/(N-1)2。本方法可有效降低原始图像的大小，提升了原始图像的处理速度，可以实现药品包装在线采集和识别处理。
本实施例中将目标图像按照链式分组降维处理的方法，不但解决了降维过程中可能出现的分块边缘效应问题，保障降维后的图像与原始图像的结构相似度，同时降低图像处理对内存的占用，提升了数据处理的速度。由于图像处理缓存中只需要保存N行图像数据，目标图像每次只需要向缓存中传递N-1行像素，降低了图像处理对内存的需求，大大提升了内存的调用效率，在上位机和智能终端中都可以使用。
下面以具体的示例对链式分组降维处理的方法进行说明：
以3×3降维算子为例，链式分组降维处理的方法具体的实现过程如下：
设降维算子矩阵为
图像像素矩阵为
降维后的图像矩阵为：I＝A·X
具体的降维算法为：
当计算机内存中的图像前三行调取到缓存区后，首先采用降维算子A和像素矩阵
进行卷积(点乘)操作，得到降维后的第一个像素i11,然后，利用降维算子A和像素矩阵
进行卷积操作，得到第二个降维图像的像素i12，以此类推，每次降维矩阵卷积操作的步长为3-1＝2；当前三行卷积操作完成后，系统自动删除原始图像的前两行像素数据，重新从内存中载入原始图像的第4,5行数据，与高速缓存中的第三行数据构成像素矩阵，与降维算子进行卷积运算，形成降维图像的第二行像素，以此类推，知道完成整幅图像的降维运算。
由以上降维运算步骤可知，当我们取3×3的矩阵进行降维运算时，原始图像降维后的大小为
原始图像的大小降维原来的1/4,从而实现了目标图像的快速降维处理。减少了系统内存的消耗，优化了内存使用效率。根据原始图像的大小和图像识别的精度的不同要求，通过调节降维矩阵的大小，可以实现原始图像降维强度的自由调节，优化系统内存的使用，提升药品包装三期字符识别的速度。
目标图像降维处理的伪代码可以如下：
所述步骤3、对降维后的图像进行预处理，并提取图像中的“三期”字符数据；
对降维后的图像进行预处理包括在降维后的图像上进行去噪和二值化处理。
降维后的图像去噪可以采用改进的Sobel算子对降维图像进行边缘滤波。水平算子Gx用于检测图像水平边缘；竖直算子Gy用于检测图像垂直边缘。本实施例中Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果更好。改进的Sobel边缘滤波的算子核如下：
Gx方向的相关模板可以为：
Gy方向的相关模板可以为
改进的Sobel算子是滤波算子的形式，用于提取边缘，可以利用快速卷积函数，简单有效提取药品包装图像中的字符信息。
对进行边缘滤波后的图像，根据图像的内容自适应的设定阈值进行二值化处理，所述自适应的设定阈值是指根据图像中的灰度值分布直方图自适应确定二值化阈值的选择。
提取图像中的“三期”字符数据的步骤包括：
步骤31：基于仿射变换原理对图像进行位置矫正，设置图像基准点对待识别区域进行定位；所述对待识别的区域进行定位的方法具体为：选取药品包装显著特征点，将显著特征点作为图像基准点，测量药品包装图像显著特征点与“三期”字符间的相对位置及距离，对待识别区域进行矩形定位，在最大程度上实现前景区域和背景区域的分离，分离出的“三期”字符区域；
步骤32：对分离出的“三期”字符区域进行腐蚀和膨胀处理，采用基于面积的目标对象分割算法，提取药品包装上的“三期”字符。
所述步骤4中比较数据处理后提取的字符数据与标准字符是否相同的方法具体为：采用特征匹配算法将图像数据处理后提取的字符与标准字符是否相同。
调用药品包装字符标准图像“三期”字符文件，采用特征匹配算法将图像数据处理后提取的字符与标准字符是否相同。所述标准图像是指包含“三期”标识的完好药品包装的图像，标准字符是根据标准图像进行采集与处理后生成的标准的无缺陷“三期”字符。
所述步骤4还包括如下步骤：根据待检测包装的识别结果，记录识别的结果数据做好采集记录，可以建立检测信息表格，在表格中记录检测的情况，如检测的总数量、合格数和不合格数等，对应包装的批次和序号等关键信息，删除合格的包装图像数据以节约内存空间占用，将不合格的图像存储，便于后期分析。根据检测的结果，生产线上的相应执行设备将不合格包装剔除出生产线，再进行下一图像的采集。
还可以包括对最终存储的不合格品的图像进行管理的步骤：通过计数内存中的瑕疵产品图像数量，当瑕疵图像数量达到设定上限时，启动新的数据处理线程存储缺陷图像。
基于以上方法，本公开可以在很大程度上降低内存空间的占用与图像信息的读写次数，提升系统字符识别效率。
为验证本发明的效果，将本发明效果与传统的检测方法进行了对比。本实施例采集到的原始药品包装图像如图3所示，识别结果如图4所示。
本实施例使用工业相机实时采集纸质药品包装和玻璃药品包装图像作为识别对象，分别采用传统方法和本实施例所述方法处理130幅128*128、256*256、512*512像素大小的纸质药品包装和玻璃药品包装图像，传统方法所耗费的时间如图5、6所示；基于本实施例提出的内存优化算法所耗费的时间如图7、8所示。从整体的实验结果对比来看，图像数据的大小对系统的检测效率的影响较大，无论纸质药品包装还是玻璃药品包装图像，512*512大小的图像检测所耗费的时间要明显大于128*128和256*256大小的两种图像；基于本实施例提出的内存优化算法所耗费的时间明显低于传统方法所耗费的时间。
图9-图11是分别采用传统的图像处理方法和本实施例所提出的基于内存优化的图像处理方法处理相同大小纸质药品包装图像所耗费的时间对比图。
图12-图14是分别采用传统的图像处理方法和本实施例所提出的基于内存优化的图像处理方法处理的同大小玻璃药品包装图像所耗费的时间对比图。
从实验结果的对比来看，本实施例所提出的基于内存优化的图像处理方式和传统方法相比具有明显的优势，相比于传统方法本实施例的内存优化方法对128*128大小的纸质药品包装的检测效率提升了17.11％；对256*256大小的纸质药品包装的检测效率提升了9.71％；对512*512大小的纸质药品包装图像的检测效率提升了15.72％；同时，相比于传统方法本实施例的内存优化方法对于130幅128*128大小的玻璃药品包装图像数据的检测效率提升了16.55％；对于256*256大小的玻璃药品包装图像的检测效率提升了17.7％；对于512*512大小的玻璃药品包装图像的检测效率提升了14.24％。对比采用传统的图像处理方式和采用内存优化算法的图像处理方式，基于本实施例改进后的检测系统每分钟可处理1136张图像，整体的检测效率提升了12.5％左右。
实施例2
本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中方法所述的步骤。
实施例3
本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中方法所述的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.基于内存优化的药品包装字符高速检测方法，其特征是，包括如下步骤：
步骤1、采集药品包装图像，将采集的图像存储形成待处理图像队列；
步骤2、根据采用随机贪心图像降维处理算法训练获得的图像降维算子矩阵，对待处理图像队列进行降维处理；
步骤3、对降维后的图像进行预处理，并提取图像中的“三期”字符数据；
步骤4、匹配提取的字符数据与标准字符数据，如果一致，更新药品包装采集记录并删除当前图像，执行步骤2处理待处理图像队列中的下一图像；否则，更新药品包装采集记录，保存不合格品的图像，执行步骤2处理待处理图像队列中的下一图像；
所述采用随机贪心图像降维处理算法训练获得的图像降维算子矩阵，训练方法具体为：
步骤21、采集药品包装的图像数据作为样本集；
步骤22、将样本集中的原始图像进行图像分块处理，获得分块图像及分块图像的像素值；
步骤23、根据目标图像的像素分布特征，随机选取不同分布的非零系数矩阵作为初始随机算子矩阵，并作为第一算子矩阵；
步骤24、将第一算子矩阵与获得的分块图像进行分块点乘降维处理获得第一降维图像，计算第一降维图像与原始图像的结构相似度SSIM，获得第一结构相似度值；
步骤25、根据目标图像的像素分布特征，随机选取非零系数矩阵作为第二算子矩阵；将第二算子矩阵与获得的分块图像进行分块点乘降维处理获得第二降维图像，计算第二降维图像与原始图像的结构相似度值SSIM，获得第二结构相似度值；
步骤26、将第一结构相似度值和第二结构相似度值分别与设定的结构相似度阈值比较，如果都小于设定的阈值，执行下一步，否则，如果有大于设定的阈值的结构相似度值，取其中最大的结构相似度值对应的算子矩阵为训练获得的图像降维算子矩阵；
步骤27、将其中较大的结构相似度值对应的算子矩阵乘以系数α与另一结构相似度值对应的算子矩阵加权叠加，获得新随机降维算子矩阵，将新随机降维算子矩阵作为第一算子矩阵执行步骤24；其中系数α大于1。
2.如权利要求1所述的基于内存优化的药品包装字符高速检测方法，其特征是：所述结构相似度SSIM为：
1-SSIM(a,b)≤ε (3)
其中，a为原图像，b降维后的图像，C1和C2是常量，在计算图像结构相似度SSIM时，C1＝(k1L)2、C2＝(K2L)2,在实验中L为灰度级数，K1＝0.01,K2＝0.03，μ为标准值，σ为方差，ε为误差容忍度。
3.如权利要求1所述的基于内存优化的药品包装字符高速检测方法，其特征是，采用链式分组处理的方式对待处理图像队列进行降维处理，包括如下步骤：
步骤2-1、采集的待处理图像为目标图像，提取目标图像的像素值；
步骤2-2、按照链式分组将目标图像的像素值输入至缓存中：判断是否是当前图像像素值的首次输入，如果是，将目标图像的前N行像素值传递到缓存中，N为降维算子的行数和列数；否则，将目标图像的前N-1行像素值传递到缓存中；
步骤2-3、按照链式分组将缓存中的像素值进行降维处理：按照训练获得的图像降维算子矩阵的大小，从缓存中选取对应大小的像素矩阵，以N-1为步长移动降维算子，将提取的像素矩阵与降维算子卷积计算，并将卷积计算获得的降维处理结果保存；
步骤2-4、删除缓存中的前N-1行像素值，判断是否处理完当前的目标图像，如果是，完成当前的目标图像降维处理步骤，直接执行步骤3；否则直接执行步骤2-2。
4.如权利要求1所述的基于内存优化的药品包装字符高速检测方法，其特征是：所述步骤1中采用直接存储器访问方式将药品包装图像采集并保存。
5.如权利要求1所述的基于内存优化的药品包装字符高速检测方法，其特征是：所述步骤3对降维后的图像进行预处理包括边缘滤波和二值化处理。
6.如权利要求1所述的基于内存优化的药品包装字符高速检测方法，其特征是：所述步骤3对降维后的图像进行边缘滤波采用Sobel算子对降维图像进行边缘滤波，所述Sobel算子具体为对于像素的边缘位置的影响做了加权计算的算子。
7.如权利要求1所述的基于内存优化的药品包装字符高速检测方法，其特征是，所述步骤3中提取图像中的“三期”字符数据,包括如下步骤：
步骤31：基于仿射变换原理对图像进行位置矫正，设置图像基准点对待识别区域进行矩形定位，分离出的“三期”字符区域；
步骤32：对分离出的“三期”字符区域进行腐蚀和膨胀处理，采用基于面积的目标对象分割算法，提取药品包装上的“三期”字符数据。
8.基于内存优化的药品包装字符高速检测系统，其特征是：包括上位机、同轴光源、工业相机、传送带、光电传感器，所述同轴光源用于为需检测的药品包装产生均匀的照度；所述工业相机用于在工业生产环境下采集待测药品包装的照片；所述上位机与工业相机进行连接，工业相机用于实时采集工业相机拍摄的待测药品包装照片，并将采集的图像传输至上位机，所述上位机执行权利要求1-7所述的基于内存优化的药品包装字符高速检测方法。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910430480.8A CN110147792B (zh) | 2019-05-22 | 2019-05-22 | 基于内存优化的药品包装字符高速检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910430480.8A CN110147792B (zh) | 2019-05-22 | 2019-05-22 | 基于内存优化的药品包装字符高速检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110147792A CN110147792A (zh) | 2019-08-20 |
| CN110147792B true CN110147792B (zh) | 2021-05-28 |
Family
ID=67592776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910430480.8A Active CN110147792B (zh) | 2019-05-22 | 2019-05-22 | 基于内存优化的药品包装字符高速检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110147792B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610000B (zh) * | 2021-08-09 | 2023-07-07 | 东南数字经济发展研究院 | 一种包装漏件检测的方法和装置 |
| CN114264668A (zh) * | 2022-03-03 | 2022-04-01 | 心鉴智控(深圳)科技有限公司 | 一种运用图像处理检测医用包装盒三期瑕疵的方法及系统 |
| CN117692791B (zh) * | 2023-07-27 | 2024-10-18 | 荣耀终端有限公司 | 一种图像抓拍方法、终端、存储介质及程序产品 |
| CN117036340B (zh) * | 2023-09-28 | 2023-12-15 | 山洋自动化设备(苏州)有限公司 | 一种用于高速输送场景的计数方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105320948A (zh) * | 2015-11-19 | 2016-02-10 | 北京文安科技发展有限公司 | 一种基于图像的性别识别方法、装置及系统 |
| CN105989352A (zh) * | 2015-03-06 | 2016-10-05 | 华为技术有限公司 | 图像识别加速器、终端设备及图像识别方法 |
| CN107038456A (zh) * | 2017-03-23 | 2017-08-11 | 北京工业大学 | 一种基于l1范数的概率线性判别分析的图像分类方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0719616B1 (pt) * | 2006-12-28 | 2019-07-16 | Nuctech Company Limited | Método e sistema para a formação de imagem radiográfica por varredura esteroscópica binocular |
| CN101281142B (zh) * | 2007-12-28 | 2011-06-29 | 深圳先进技术研究院 | 一种测量大气能见度的方法 |
| CN101853504B (zh) * | 2010-05-07 | 2012-04-25 | 厦门大学 | 基于视觉特性与结构相似度的图像质量评测方法 |
| CN103870828B (zh) * | 2012-12-17 | 2018-06-15 | 富泰华工业（深圳）有限公司 | 图像相似度判断系统及方法 |
| CN203512149U (zh) * | 2013-08-23 | 2014-04-02 | 天津森茂科技有限公司 | 药品包装三期码图像检验系统 |
| CN104077240A (zh) * | 2014-06-26 | 2014-10-01 | 桂林长海发展有限责任公司 | 一种用于内外网隔离的卡口数据调用的方法及装置 |
| CN105913413B (zh) * | 2016-03-31 | 2019-02-22 | 宁波大学 | 一种基于在线流形学习的彩色图像质量客观评价方法 |
| CN106204510B (zh) * | 2016-07-08 | 2018-09-18 | 中北大学 | 一种基于结构相似度约束的红外偏振与光强图像融合方法 |
| CN107368778A (zh) * | 2017-06-02 | 2017-11-21 | 深圳奥比中光科技有限公司 | 人脸表情的捕捉方法、装置及存储装置 |
-
2019
- 2019-05-22 CN CN201910430480.8A patent/CN110147792B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989352A (zh) * | 2015-03-06 | 2016-10-05 | 华为技术有限公司 | 图像识别加速器、终端设备及图像识别方法 |
| CN105320948A (zh) * | 2015-11-19 | 2016-02-10 | 北京文安科技发展有限公司 | 一种基于图像的性别识别方法、装置及系统 |
| CN107038456A (zh) * | 2017-03-23 | 2017-08-11 | 北京工业大学 | 一种基于l1范数的概率线性判别分析的图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 高维多目标优化中基于稀疏特征选择的目标降维方法;陈小红;《电子学报》;20150731;第43卷(第7期);第1300-1307页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110147792A (zh) | 2019-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147792B (zh) | 基于内存优化的药品包装字符高速检测系统及方法 | |
| CN110314854B (zh) | 一种基于视觉机器人的工件检测分拣的装置及方法 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN103424409B (zh) | 一种基于dsp的视觉检测系统 | |
| WO2020253508A1 (zh) | 异常细胞检测方法、装置及计算机可读存储介质 | |
| WO2017120796A1 (zh) | 路面病害的检测方法及其装置、电子设备 | |
| CN111047609A (zh) | 肺炎病灶分割方法和装置 | |
| CN109409210B (zh) | 一种基于ssd框架的人脸检测方法及系统 | |
| CN108318773B (zh) | 一种输电导线断股检测方法及系统 | |
| CN112308854B (zh) | 一种芯片表面瑕疵的自动检测方法、系统及电子设备 | |
| CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
| CN116778482B (zh) | 胚胎图像卵裂球目标检测方法、计算机设备及存储介质 | |
| CN111552837A (zh) | 基于深度学习的动物视频标签自动生成方法、终端及介质 | |
| CN109598200B (zh) | 一种铁水罐罐号的图像智能识别系统及方法 | |
| Niu et al. | Data augmentation on defect detection of sanitary ceramics | |
| CN107194414A (zh) | 一种基于局部敏感哈希的svm快速增量学习算法 | |
| CN111241966A (zh) | 一种发票目标区域的定位方法、装置、设备及介质 | |
| CN110570425B (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
| CN109712134B (zh) | 虹膜图像质量评价方法、装置及电子设备 | |
| WO2020050973A2 (en) | Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input | |
| TWI815492B (zh) | 鋼帶表面缺陷辨識方法與系統 | |
| CN109299743A (zh) | 手势识别方法及装置、终端 | |
| CN110264488B (zh) | 一种二值图像边缘提取装置 | |
| CN111598184B (zh) | 一种基于DenseNet的图像噪声识别方法和装置 | |
| CN114550069A (zh) | 一种基于深度学习的仔猪乳头计数方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee after: Qilu University of Technology (Shandong Academy of Sciences) Country or region after: China Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee before: Qilu University of Technology Country or region before: China |