CN117649404A - 一种基于图像数据分析的药品包装盒质量检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像数据分析的药品包装盒质量检测方法及系统，涉及药品包装盒质量检测技术领域，该系统通过引入深度学习模型和多尺度卷积技术，显著提高了对包装盒缺陷的准确检测能力，降低了人为判断误差。同时，结合点云数据的三维特征分析，通过对第一图像数据集和第二图像数据集的处理，促进多角度地捕捉包装盒存在的缺陷，包括划痕、凹槽、破损和变形，从而提高了缺陷检测的全面性。综合使用图像数据和点云数据，提高了检测系统的维度，进一步增强了对质量问题的敏感性；采用图像增强处理和自动化监控，提高了系统的鲁棒性和实时性，有效减少了质量问题导致的不良品数量，从而降低了生产成本，提升了生产效率。

Description

一种基于图像数据分析的药品包装盒质量检测方法及系统

技术领域

本发明涉及药品包装盒质量检测技术领域，具体为一种基于图像数据分析的药品包装盒质量检测方法及系统。

背景技术

药品包装盒作为药品生产中不可或缺的一环，其质量直接关系到药品的安全性和有效性。传统的药品包装盒质量检测主要依赖于人工视觉检查，这种方式存在一系列显著的缺点，限制了检测的精确性和效率。以下是传统检测方法的主要缺点：

传统的人工视觉检测依赖于操作员的主观判断，存在主观性和个体差异。不同的操作员对缺陷的识别标准和程度可能存在差异，导致检测结果的不一致性。

随着药品产能的提高和生产线的自动化程度的不断提升，传统的人工检测方法已经难以满足高速生产线的需求。人工检测速度慢，无法适应大规模、高效率的生产环境。

人工检测无法实现对生产线的实时监控，因为操作员需要周期性地进行视觉检查。在某些情况下，质量问题可能在大量产品已经生产后才被发现，增加了不良品的数量和生产成本。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种基于图像数据分析的药品包装盒质量检测方法及系统，以解决背景技术中提到的问题。

（二）技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于图像数据分析的药品包装盒质量检测系统，包括第一图像获取单元、第二图像获取单元、第三点云数据获取单元、图像处理单元、包装盒检测模型分析单元、验证单元和评估单元；

所述第一图像获取单元用于采用工业相机拍摄药品包装盒的图像数据，获取为第一图像数据集；所述第二图像获取单元采用红外线传感器采集药品包装盒表面反射的灰度图像信息，获取第二图像数据集；所述第三点云数据获取单元用于采用激光雷达采集药品包装盒表面点云数据，获取第三点云数据集；

所述图像处理单元用于将第一图像数据集和第二图像数据集进行翻转、旋转、亮度调整增强后；并由包装盒检测模型分析单元，使用深度学习模型，包括ResNet、Inception、或EfficientNet其中的一种，建立包装盒检测模型，引入多尺度卷积技术，将第一图像数据集和第二图像数据集输入至包装盒检测模型中，提取缺陷特征，并分析计算获得：变形系数Bx、包装破损系数Ps、包装污染系数Wr和第一平整度系数Pzd1；并对第三点云数据进行处理和分析，获取：封口位置偏移系数Py和第二平整度系数Pzd2；

所述验证单元用于将第一平整度系数Pzd1和第二平整度系数Pzd2进行验证，获得误差值Wc，并用误差值Wc对第一平整度系数Pzd1进行修正，获得综合平整度系数PZD；

所述评估用于将所述变形系数Bx、包装破损系数Ps、包装污染系数Wr、综合平整度系数PZD与封口位置偏移系数Py分别和第一变形阈值Q1、第二破损阈值Q2、第三污染阈值Q3、第四平整度阈值Q4和第五封口偏移阈值Q5进行对比，获得相对应的评估结果；并依据相对应的评估结果生成相对应的调整策略。

优选的，所述图像处理单元用于对第一图像数据集和第二图像数据集进行增强处理，包括：

S11、将第一图像数据集中的图像沿垂直中轴线进行水平翻转，采用二阶矩阵对n×m的图像矩阵A，水平翻转的矩阵通过以下公式表示：

；

其中，B是水平翻转后的图像矩阵，F_h是水平翻转矩阵；

S12、筛选识别，提取第一图像数据集中的缺陷特征，获得第一缺陷特征，所述第一缺陷特征包括：包括包装盒上划痕特征、凹槽特征、破损特征和包装变形特征；

在识别第一图像数据集中含有第一缺陷特征时，将翻转后的图像B进行旋转处理，所述旋转处理的角度取决于第一缺陷特征的相对应的方向角度；若未识别到第一缺陷特征，则将翻转后的图像B进行统一90°旋转处理；在两种方式的旋转处理后获得图像C；

S13、在旋转处理对图像C进行亮度调整处理，对于图像C中每个像素点（R，G，Y)，通过以下线性变换来调整获得：

；

其中，表示缩放因子，用于调整颜色得对比度；/>表示偏移量，用于调整图像得整体亮度，/>表示调整后的像素值。

优选的，所述第三点云数据获取单元具体工作的步骤包括：

S21、采用激光雷达设备对药品包装盒表面进行扫描，通过发射激光束并测量激光束的反射获取物体表面的三维坐标信息，获得点云数据；

S22、对采集到的点云数据进行预处理，包括去除噪声、滤波和配准；建立第三点云数据集。

优选的，所述包装盒检测模型分析单元包括图像二次处理单元、模型训练单元和第一特征提取单元；

所述图像二次处理单元用于对于增强处理后的第一图像数据集和第二图像数据集进行二次处理，所述二次处理包括图像大小调整和归一化；

所述模型训练单元用于对二次处理后的第一图像数据集和第二图像数据集，训练深度学习模型后，获取到包装盒检测模型；

所述第一特征提取单元用于在完成训练后，通过包装盒检测模型的特征提取中间层，提取图像中第一缺陷特征。

优选的，所述包装盒检测模型分析单元还包括第一计算单元，所述第一计算单元用于依据提取获取的第一缺陷特征，由以下公式计算生成变形系数Bx、包装破损系数Ps、包装污染系数Wr和第一平整度系数Pzd1：

；

式中，XzBH表示包装盒变形的形状差值，QLBH表示为曲率变形差值，A1和A2表示权重值，A1=0.6，A2=0.4；

；

式中，D表示凹槽深度，K_g表示为凹槽总面积，S表示划痕深度，K_S表示为划痕总面积，P表示破损间隙边缘延伸长度，K_d表示为破损总面积，BoxZMJ表示药品包装盒总表面积；

；

式中，WgMJ表示污垢面积，BoxZMJ表示药品包装盒总表面积；

；

式中，GD1表示药品包装盒实际高度值，PJGD表示药品包装盒的平均高度值，通过第一图像数据集和第二图像数据集提取获得，N1表示高于平均平度值的第一数量，Q1L表示包装实际盒曲率，PJQL表示包装盒标准曲率值，N2表示不在包装盒标准曲率的第二数量，通过第一图像数据集和第二图像数据集提取获得。

优选的，所述包装盒检测模型分析单元还包括分割单元和第二特征提取单元；所述分割单元用于将点云数据分割成不同的区域；

所述第二特征提取单元用于从点云数据中提取药品包装盒的特征信息，所述特征信息包括表面形状、曲率和高度。

优选的，所述包装盒检测模型分析单元还包括封口位置偏移单元和第二平整度计算单元；

所述封口位置偏移单元用于将通过分析点云数据中封口位置的相对偏移，获取封口位置的标准坐标值为(X₁，Y₁，Z₁)，再通过点云数据中获取实际封口位置的三个坐标值为(X₂，Y₂，Z₂)，并计算封口位置偏移系数Py，所述封口位置偏移系数Py通过以下公式计算获得：

；

；

式中，Fs表示为封口位置偏移特征值，表示封口位置坐标与标准封口位置坐标之间的欧式距离，NOR表示为归一化偏移特征值的因子；

所述第二平整度计算单元用于依据点云数据分析计算获得第二平整度系数Pzd2；通过以下公式生成：

；

式中，GD2表示药品包装盒实际高度值，通过第三点云数据集提取获得；PJGD表示药品包装盒的平均高度值，通过第一图像数据集和第二图像数据集提取获得，N1表示高于平均平度值的第一数量，QL2表示包装实际盒曲率，通过第三点云数据集提取获得；PJQL表示包装盒标准曲率值，N2表示不在包装盒标准曲率的第二数量，通过第一图像数据集和第二图像数据集提取获得。

优选的，所述综合平整度系数PZD的验证方式包括：

S31、计算误差值Wc：；Wc表示了第一平整度系数Pzd1和第二平整度系数Pzd2之间的差异值；

S32、修正第一平整度系数Pzd1：；其中/>表示修正幅度系数；

S33、计算平整度缺陷系数PZD：

；

其中，修正后的第一平整度系数和第二平整度系数Pzd2的平均值，作为最终平整度缺陷系数PZD。

优选的，所述评估单元用于生成相对应评估结果包括：

将变形系数Bx与第一变形阈值Q1对比，当变形系数Bx≤第一变形阈值Q1，表示产品包装盒合格；当变形系数Bx＞第一变形阈值Q1，表示产品质量不合格时，并生成第一报警信息，且生成第一调整策略，包括调整生产过程中的机械压力参数和温度，进行校准，以达到规范设计工艺；

将包装破损系数Ps与第二破损阈值Q2对比，当包装破损系数Ps≤第二破损阈值Q2，表示产品包装盒合格；当包装破损系数Ps＞第二破损阈值Q2，表示产品质量不合格时，并生成第二报警信息，且生成第二调整策略，包括检测包装材料的质量和耐久性，优化包装流程，控制无碰撞和挤压；

将包装污染系数Wr与第三污染阈值Q3对比，当包装污染系数Wr≤第三污染阈值Q3，表示产品包装盒合格；当包装污染系数Wr＞第三污染阈值Q3，表示产品质量不合格时，并生成第三报警信息，且生成第三调整策略，包括完善生产环境的清洁措施，优化形成无污染环境；

将综合平整度系数PZD与第四平整度阈值Q4对比，当综合平整度系数PZD≤第四平整度阈值Q4，表示产品包装盒合格；当综合平整度系数PZD＞第四平整度阈值Q4，表示产品质量不合格时，并生成第四报警信息，且生成第四调整策略，包括对涉及到传送带和包装设备的机械部分进行设备维护；

将封口位置偏移系数Py与第五封口偏移阈值Q5对比，当封口位置偏移系数Py≤第五封口偏移阈值Q5，表示产品包装盒合格；当封口位置偏移系数Py＞第五封口偏移阈值Q5，表示产品质量不合格时，并生成第五报警信息，且生成第五调整策略，包括重新调整封口设备的校准和对齐，引入视觉系统或自动控制系统来监测和调整封口位置。

一种基于图像数据分析的药品包装盒质量检测方法，包括以下步骤：

步骤一、使用工业相机拍摄药品包装盒的图像，获取第一图像数据集；利用红外线传感器采集药品包装盒表面反射的灰度图像信息，获取第二图像数据集；使用激光雷达设备对药品包装盒表面进行扫描，获取点云数据，建立第三点云数据集；

步骤二、对第一图像数据集和第二图像数据集进行增强处理，包括水平翻转、旋转、亮度调整；水平翻转使用水平翻转矩阵进行处理；旋转根据第一缺陷特征的方向角度进行旋转，或者统一90°旋转；亮度调整用于对每个像素点进行线性变换，调整颜色对比度和整体亮度；

步骤三、使用深度学习模型，包括ResNet、Inception、EfficientNet其中一种，建立包装盒检测模型，引入多尺度卷积技术；将增强处理后的第一图像数据集和第二图像数据集输入至包装盒检测模型中，提取缺陷特征；分析并计算变形系数Bx、包装破损系数Ps、包装污染系数Wr和第一平整度系数Pzd1；并；对第三点云数据集进行预处理，包括去除噪声、滤波和配准后，分割点云数据成不同的区域，提取表面形状、曲率和高度特征信息；计算封口位置偏移系数Py和第二平整度系数Pzd2；

步骤四、通过计算误差值Wc验证第一平整度系数Pzd1和第二平整度系数Pzd2之间的差异，修正第一平整度系数Pzd1，获得综合平整度系数PZD；

步骤五、将变形系数Bx、包装破损系数Ps、包装污染系数Wr、综合平整度系数PZD与封口位置偏移系数Py与相应的阈值Q1-Q5进行对比，根据对比结果生成相应的评估信息和调整策略。

（三）有益效果

本发明提供了一种基于图像数据分析的药品包装盒质量检测方法及系统。具备以下有益效果：

（1）采用深度学习模型，结合多尺度卷积技术，该方法能够自动学习药品包装盒的缺陷特征，减少了对传统规则和特征工程的依赖，提高了检测的准确性。通过对第一图像数据集和第二图像数据集的处理，该系统能够更全面、多角度地捕捉包装盒可能存在的缺陷，包括划痕、凹槽、破损和变形，从而提高了药品包装盒质量检测的全面性。

（2）引入第三点云数据集，通过激光雷达扫描获取的三维坐标信息，可以更加精准地分析包装盒的表面形状、曲率和高度特征，有助于深度学习模型更全面地理解包装盒的状态。这样的综合使用图像数据和点云数据，提高了检测系统的维度，进一步增强了对质量问题的敏感性。

（3）该一种基于图像数据分析的药品包装盒质量检测方法及系统，通过综合分析图像数据和点云数据，对多个质量因素进行综合评估，如变形、破损、污染、平整度以及封口位置偏移。系统通过与预设阈值进行对比，能够快速、准确地判断产品包装的质量合格性，降低了人为主观判断的误差。通过引入自动化和实时监控，该系统能够满足高速生产线的需求，提高了检测的效率。相比传统的人工检测方法，这种基于图像数据分析的系统具有更短的响应时间，有助于实时监测生产线上的质量状况，及时发现和处理问题，减少不良品数量，提高了生产效率。

（4）采用图像增强处理，包括水平翻转、旋转和亮度调整，有效地提高了模型对不同角度和光照条件下图像的鲁棒性，使其更适应实际生产环境的变化。这一步骤的引入有助于提高系统在复杂场景下的稳定性，确保其在实际生产线上的可靠性。

附图说明

图1为本发明一种基于图像数据分析的药品包装盒质量检测系统框图流程示意图；

图2为本发明一种基于图像数据分析的药品包装盒质量检测方法步骤示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明提供一种基于图像数据分析的药品包装盒质量检测系统，请参阅图1，包括第一图像获取单元、第二图像获取单元、第三点云数据获取单元、图像处理单元、包装盒检测模型分析单元、验证单元和评估单元；

所述第一图像获取单元用于采用工业相机拍摄药品包装盒的图像数据，获取为第一图像数据集；所述第二图像获取单元采用红外线传感器采集药品包装盒表面反射的灰度图像信息，获取第二图像数据集；所述第三点云数据获取单元用于采用激光雷达采集药品包装盒表面点云数据，获取第三点云数据集；

所述图像处理单元用于将第一图像数据集和第二图像数据集进行翻转、旋转、亮度调整增强后；并由包装盒检测模型分析单元，使用深度学习模型，包括ResNet、Inception、或EfficientNet其中的一种，建立包装盒检测模型，引入多尺度卷积技术，将第一图像数据集和第二图像数据集输入至包装盒检测模型中，提取缺陷特征，并分析计算获得：变形系数Bx、包装破损系数Ps、包装污染系数Wr和第一平整度系数Pzd1；并对第三点云数据进行处理和分析，获取：封口位置偏移系数Py和第二平整度系数Pzd2；

所述验证单元用于将第一平整度系数Pzd1和第二平整度系数Pzd2进行验证，获得误差值Wc，并用误差值Wc对第一平整度系数Pzd1进行修正，获得综合平整度系数PZD；

所述评估用于将所述变形系数Bx、包装破损系数Ps、包装污染系数Wr、综合平整度系数PZD与封口位置偏移系数Py分别和第一变形阈值Q1、第二破损阈值Q2、第三污染阈值Q3、第四平整度阈值Q4和第五封口偏移阈值Q5进行对比，获得相对应的评估结果；并依据相对应的评估结果生成相对应的调整策略。

本实施例中，本发明基于图像数据分析，通过使用工业相机、红外线传感器和激光雷达先进设备，从不同维度采集图像和点云数据，全面检测包装盒的缺陷，包括形状变形、破损、污染多种问题。实现了对药品包装盒的自动化检测，提高了检测的效率。采用深度学习模型进行图像分析，消除了人工检测中的主观性和个体差异，提高了检测结果的客观性和一致性；通过多尺度卷积技术，提高了对药品包装盒缺陷特征的提取和分析能力。这使得系统可以更准确地识别和评估不同的缺陷。利用激光雷达采集的点云数据，不仅可以获取表面形状和高度信息，还可以进行区域分割，更好地提取药品包装盒的特征。这种多传感器数据的融合增强了系统对包装盒质量的综合分析能力。通过验证单元对检测结果进行误差修正，同时生成相应的调整策略。这意味着系统可以自动校准相关生产参数，提高了检测的稳定性和可靠性。

本发明实现对生产线的实时监控，通过快速处理图像数据，及时发现并警示潜在的质量问题，有助于防止不良品的批量生产，减少了生产成本和资源浪费。深度学习模型能够精准提取不同缺陷的特征，提高了检测的准确性。在检测过程中，通过与预设阈值的比较，实时生成报警信息和相应的调整策略。这有助于制造商及时发现和解决生产中的问题，提高生产效率。

实施例2，本实施例是在实施例1中进行的解释说明，请参阅图1，具体的，所述图像处理单元用于对第一图像数据集和第二图像数据集进行增强处理，包括：

S11、将第一图像数据集中的图像沿垂直中轴线进行水平翻转，采用二阶矩阵对n×m的图像矩阵A，水平翻转的矩阵通过以下公式表示：

；

其中，B是水平翻转后的图像矩阵，F_h是水平翻转矩阵；这个步骤的有益效果在于提供了更多角度的信息，增加了图像数据的多样性，有助于更全面地捕捉和分析药品包装盒的特征。

S12、筛选识别，提取第一图像数据集中的缺陷特征，获得第一缺陷特征，所述第一缺陷特征包括：包括包装盒上划痕特征、凹槽特征、破损特征和包装变形特征；

在识别第一图像数据集中含有第一缺陷特征时，将翻转后的图像B进行旋转处理，所述旋转处理的角度取决于第一缺陷特征的相对应的方向角度；若未识别到第一缺陷特征，则将翻转后的图像B进行统一90°旋转处理；在两种方式的旋转处理后获得图像C；这一步骤的有益效果在于对缺陷特征的方向进行更准确的调整，以便更好地进行后续处理和分析。

S13、在旋转处理对图像C进行亮度调整处理，对于图像C中每个像素点（R，G，Y)，通过以下线性变换来调整获得：

；

其中，表示缩放因子，用于调整颜色得对比度；/>表示偏移量，用于调整图像得整体亮度，/>表示调整后的像素值。通过缩放因子/>和偏移量/>来调整颜色的对比度和整体亮度，从而获得调整后的像素值。这个步骤的有益效果在于进一步优化图像的质量，确保后续的特征提取和分析过程更为准确。

本实施例中，所述图像处理单元为药品包装盒质量检测系统提供了图像数据增强能力，有助于系统更全面、准确地捕捉并分析包装盒的缺陷特征，提高了检测的精度和鲁棒性。

实施例3，本实施例是在实施例1中进行的解释说明，请参阅图1，具体的，所述第三点云数据获取单元具体工作的步骤包括：

S21、采用激光雷达设备对药品包装盒表面进行扫描，通过发射激光束并测量激光束的反射获取物体表面的三维坐标信息，获得点云数据；

S22、对采集到的点云数据进行预处理，包括去除噪声、滤波和配准；建立第三点云数据集。

本实施例中，采集到的点云数据可能包含一些噪声，为了提高数据质量和分析的准确性，需要进行预处理。在这一步骤中，对采集到的点云数据进行去噪声、滤波和配准处理。去噪声操作有助于去除由于系统误差或环境干扰引入的不必要的点，以获得更干净的数据。滤波操作可以进一步平滑点云数据，使其更具连贯性。配准操作用于将不同扫描位置的点云数据进行匹配，确保它们在同一坐标系下，从而建立一致的三维模型。通过上述处理步骤，得到经过预处理的点云数据。这些数据构成了第三点云数据集，其中包含了药品包装盒表面的高精度三维坐标信息。这个数据集将成为后续药品包装盒质量检测系统中分析、计算封口位置偏移系数Py和第二平整度系数Pzd2的重要基础。

实施例4，本实施例是在实施例1中进行的解释说明，请参阅图1，具体的，所述包装盒检测模型分析单元包括图像二次处理单元、模型训练单元和第一特征提取单元；

所述图像二次处理单元用于对于增强处理后的第一图像数据集和第二图像数据集进行二次处理，所述二次处理包括图像大小调整和归一化；图像大小调整有助于统一输入图像的尺寸，以适应深度学习模型的输入要求。归一化操作则有助于将图像的像素值映射到一个固定的范围内，提高模型的稳定性和训练效果。

所述模型训练单元用于对二次处理后的第一图像数据集和第二图像数据集，训练深度学习模型后，获取到包装盒检测模型；使用深度学习模型进行训练。模型训练单元通过学习图像数据的特征和缺陷信息，使模型能够准确地识别药品包装盒的各种缺陷。深度学习模型的选择，例如ResNet、Inception或EfficientNet，以及引入多尺度卷积技术，有助于模型学习更丰富、复杂的特征表示，提高检测性能。

所述第一特征提取单元用于在完成训练后，通过包装盒检测模型的特征提取中间层，提取图像中第一缺陷特征。深度学习模型的中间层通常包含了对图像进行抽象表示的特征，通过提取这些特征，可以更准确地描述图像中的缺陷信息。这些特征将被用于后续的缺陷分析和计算，有助于系统对药品包装盒质量进行全面评估。

本实施例中，包装盒检测模型分析单元实现了对图像数据的深度学习分析和特征提取，为后续的质量评估提供了准确而丰富的信息，从而提高了药品包装盒质量检测系统的准确性和可靠性。

实施例5，本实施例是在实施例1中进行的解释说明，请参阅图1，具体的，所述包装盒检测模型分析单元还包括第一计算单元，所述第一计算单元用于依据提取获取的第一缺陷特征，由以下公式计算生成变形系数Bx、包装破损系数Ps、包装污染系数Wr和第一平整度系数Pzd1：

；

式中，XzBH表示包装盒变形的形状差值，QLBH表示为曲率变形差值，A1和A2表示权重值，A1=0.6，A2=0.4；

；

式中，D表示凹槽深度，K_g表示为凹槽总面积，S表示划痕深度，K_S表示为划痕总面积，P表示破损间隙边缘延伸长度，K_d表示为破损总面积，BoxZMJ表示药品包装盒总表面积；

；

式中，WgMJ表示污垢面积，BoxZMJ表示药品包装盒总表面积；

；

式中，GD1表示药品包装盒实际高度值，PJGD表示药品包装盒的平均高度值，通过第一图像数据集和第二图像数据集提取获得，N1表示高于平均平度值的第一数量，Q1L表示包装实际盒曲率，PJQL表示包装盒标准曲率值，N2表示不在包装盒标准曲率的第二数量，通过第一图像数据集和第二图像数据集提取获得。

本实施例中，变形系数Bx有助于量化包装盒的形状变形程度，包装破损系数Ps评估了包装盒的破损情况。这有助于检测可能影响药品包装的破损问题；包装污染系数Wr评估包装的清洁程度；第一平整度系数Pzd1评估了包装盒的平整度，有助于检测可能影响包装外观和功能的平整度问题。使得药品包装盒的质量检测更为全面、准确。通过引入这些评估参数，基于图像数据分析的药品包装盒质量检测系统可以更有效地发现和定位各种缺陷，提高了检测的精确性和可靠性。

实施例6，本实施例是在实施例1中进行的解释说明，请参阅图1，具体的，所述包装盒检测模型分析单元还包括分割单元和第二特征提取单元；所述分割单元用于将点云数据分割成不同的区域；通过将点云分割成不同的区域，系统能够对药品包装盒的各个部分进行独立分析，有助于提高模型的精确度和鲁棒性。

所述第二特征提取单元用于从点云数据中提取药品包装盒的特征信息，所述特征信息包括表面形状、曲率和高度。系统可以学习到药品包装盒的更复杂、抽象的特征，而不仅仅局限于传统的形状和外观特征。

引入分割单元和第二特征提取单元的好处在于提高了系统对点云数据的理解和抽象能力。通过更详细、全面地分析点云中的各个方面，系统可以更准确地捕捉到药品包装盒的特征信息，从而更可靠地进行质量检测。这些模块的引入使得整个系统更具适应性，能够处理更为复杂和多样化的药品包装盒情况。

具体的，所述包装盒检测模型分析单元还包括封口位置偏移单元和第二平整度计算单元；

所述封口位置偏移单元用于将通过分析点云数据中封口位置的相对偏移，获取封口位置的标准坐标值为(X₁，Y₁，Z₁)，再通过点云数据中获取实际封口位置的三个坐标值为(X₂，Y₂，Z₂)，并计算封口位置偏移系数Py，所述封口位置偏移系数Py通过以下公式计算获得：

；

；

式中，Fs表示为封口位置偏移特征值，表示封口位置坐标与标准封口位置坐标之间的欧式距离，NOR表示为归一化偏移特征值的因子；封口位置偏移系数Py提供有关封口位置是否偏移的信息，有助于检测是否存在封口不准确的情况。公式中的Fs表示封口位置偏移特征值，NOR表示归一化偏移特征值的因子。通过这个计算，系统可以更准确地评估封口位置的质量。

所述第二平整度计算单元用于依据点云数据分析计算获得第二平整度系数Pzd2；通过以下公式生成：

；

式中，GD2表示药品包装盒实际高度值，通过第三点云数据集提取获得；PJGD表示药品包装盒的平均高度值，通过第一图像数据集和第二图像数据集提取获得，N1表示高于平均平度值的第一数量，QL2表示包装实际盒曲率，通过第三点云数据集提取获得；PJQL表示包装盒标准曲率值，N2表示不在包装盒标准曲率的第二数量，通过第一图像数据集和第二图像数据集提取获得。第二平整度系数Pzd2提供关于药品包装盒整体平整度的详细信息，且和第一图像数据集和第二图像数据集提取特征计算的第一平整度系数Pzd1是不同的，有助于检测包装盒的整体质量。

第一平整度系数Pzd1计算和第二平整度系数Pzd2计算都是用于评估药品包装盒的平整度，但它们关注的数据来源和计算方式可能略有不同。第一平整度计算主要从图像数据中提取缺陷特征，而第二平整度计算则通过激光雷达采集的点云数据来进行整体的三维分析。两者结合使用，可以更全面地评估药品包装盒的平整度和质量。

实施例7，本实施例是在实施例6中进行的解释说明，请参阅图1，具体的，所述综合平整度系数PZD的验证方式包括：

S31、计算误差值Wc：；Wc表示了第一平整度系数Pzd1和第二平整度系数Pzd2之间的差异值；

S32、修正第一平整度系数Pzd1：；其中/>表示修正幅度系数；

S33、计算平整度缺陷系数PZD：

；

其中，修正后的第一平整度系数和第二平整度系数Pzd2的平均值，作为最终平整度缺陷系数PZD。

本实施例中，这一过程的目的是通过综合考虑第一平整度系数Pzd1计算和第二平整度系数Pzd2，修正并计算最终的平整度缺陷系数PZD。整个过程的目标是通过综合考虑不同来源的平整度信息，提高对包装盒质量的准确评估。

实施例8，本实施例是在实施例1中进行的解释说明，请参阅图1，具体的，所述评估单元用于生成相对应评估结果包括：

将变形系数Bx与第一变形阈值Q1对比，当变形系数Bx≤第一变形阈值Q1，表示产品包装盒合格；当变形系数Bx＞第一变形阈值Q1，表示产品质量不合格时，并生成第一报警信息，且生成第一调整策略，包括调整生产过程中的机械压力参数和温度，进行校准，以达到规范设计工艺；

将包装破损系数Ps与第二破损阈值Q2对比，当包装破损系数Ps≤第二破损阈值Q2，表示产品包装盒合格；当包装破损系数Ps＞第二破损阈值Q2，表示产品质量不合格时，并生成第二报警信息，且生成第二调整策略，包括检测包装材料的质量和耐久性，优化包装流程，控制无碰撞和挤压；

将包装污染系数Wr与第三污染阈值Q3对比，当包装污染系数Wr≤第三污染阈值Q3，表示产品包装盒合格；当包装污染系数Wr＞第三污染阈值Q3，表示产品质量不合格时，并生成第三报警信息，且生成第三调整策略，包括完善生产环境的清洁措施，优化形成无污染环境；

将综合平整度系数PZD与第四平整度阈值Q4对比，当综合平整度系数PZD≤第四平整度阈值Q4，表示产品包装盒合格；当综合平整度系数PZD＞第四平整度阈值Q4，表示产品质量不合格时，并生成第四报警信息，且生成第四调整策略，包括对涉及到传送带和包装设备的机械部分进行设备维护；

将封口位置偏移系数Py与第五封口偏移阈值Q5对比，当封口位置偏移系数Py≤第五封口偏移阈值Q5，表示产品包装盒合格；当封口位置偏移系数Py＞第五封口偏移阈值Q5，表示产品质量不合格时，并生成第五报警信息，且生成第五调整策略，包括重新调整封口设备的校准和对齐，引入视觉系统或自动控制系统来监测和调整封口位置。

本实施例中，这样的评估和调整策略体系有助于在生产过程中及时发现和纠正药品包装盒的质量问题，提高生产效率和产品质量。

实施例9，请参照图2，一种基于图像数据分析的药品包装盒质量检测方法，包括以下步骤：

步骤一、使用工业相机拍摄药品包装盒的图像，获取第一图像数据集；利用红外线传感器采集药品包装盒表面反射的灰度图像信息，获取第二图像数据集；使用激光雷达设备对药品包装盒表面进行扫描，获取点云数据，建立第三点云数据集；

步骤二、对第一图像数据集和第二图像数据集进行增强处理，包括水平翻转、旋转、亮度调整；水平翻转使用水平翻转矩阵进行处理；旋转根据第一缺陷特征的方向角度进行旋转，或者统一90°旋转；亮度调整用于对每个像素点进行线性变换，调整颜色对比度和整体亮度；

步骤三、使用深度学习模型，包括ResNet、Inception、EfficientNet其中一种，建立包装盒检测模型，引入多尺度卷积技术；将增强处理后的第一图像数据集和第二图像数据集输入至包装盒检测模型中，提取缺陷特征；分析并计算变形系数Bx、包装破损系数Ps、包装污染系数Wr和第一平整度系数Pzd1；并；对第三点云数据集进行预处理，包括去除噪声、滤波和配准后，分割点云数据成不同的区域，提取表面形状、曲率和高度特征信息；计算封口位置偏移系数Py和第二平整度系数Pzd2；

步骤四、通过计算误差值Wc验证第一平整度系数Pzd1和第二平整度系数Pzd2之间的差异，修正第一平整度系数Pzd1，获得综合平整度系数PZD；

步骤五、将变形系数Bx、包装破损系数Ps、包装污染系数Wr、综合平整度系数PZD与封口位置偏移系数Py与相应的阈值Q1-Q5进行对比，根据对比结果生成相应的评估信息和调整策略。

本实施例中，该方法通过综合利用图像数据和点云数据，结合深度学习模型和多尺度卷积技术，能够高效地检测药品包装盒的质量问题，提高检测的准确性和效率。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：包括第一图像获取单元、第二图像获取单元、第三点云数据获取单元、图像处理单元、包装盒检测模型分析单元、验证单元和评估单元；

所述第一图像获取单元用于采用工业相机拍摄药品包装盒的图像数据，获取为第一图像数据集；所述第二图像获取单元采用红外线传感器采集药品包装盒表面反射的灰度图像信息，获取第二图像数据集；所述第三点云数据获取单元用于采用激光雷达采集药品包装盒表面点云数据，获取第三点云数据集；

所述图像处理单元用于将第一图像数据集和第二图像数据集进行翻转、旋转和亮度调整增强后；并由包装盒检测模型分析单元，使用深度学习模型，包括ResNet、Inception、或EfficientNet其中的一种，建立包装盒检测模型，引入多尺度卷积技术，将第一图像数据集和第二图像数据集输入至包装盒检测模型中，提取缺陷特征，并分析计算获得：变形系数Bx、包装破损系数Ps、包装污染系数Wr和第一平整度系数Pzd1；并对第三点云数据进行处理和分析，获取：封口位置偏移系数Py和第二平整度系数Pzd2；

所述验证单元用于将第一平整度系数Pzd1和第二平整度系数Pzd2进行验证，获得误差值Wc，并用误差值Wc对第一平整度系数Pzd1进行修正，获得综合平整度系数PZD；

所述评估用于将所述变形系数Bx、包装破损系数Ps、包装污染系数Wr、综合平整度系数PZD与封口位置偏移系数Py分别和第一变形阈值Q1、第二破损阈值Q2、第三污染阈值Q3、第四平整度阈值Q4和第五封口偏移阈值Q5进行对比，获得相对应的评估结果；并依据相对应的评估结果生成相对应的调整策略。

2.根据权利要求1所述的一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：所述图像处理单元用于对第一图像数据集和第二图像数据集进行增强处理，包括：

S11、将第一图像数据集中的图像沿垂直中轴线进行水平翻转，采用二阶矩阵对n×m的图像矩阵A，水平翻转的矩阵通过以下公式表示：

；

其中，B是水平翻转后的图像矩阵，F_h是水平翻转矩阵；

S12、筛选识别，提取第一图像数据集中的缺陷特征，获得第一缺陷特征，所述第一缺陷特征包括：包括包装盒上划痕特征、凹槽特征、破损特征和包装变形特征；

在识别第一图像数据集中含有第一缺陷特征时，将翻转后的图像B进行旋转处理，所述旋转处理的角度取决于第一缺陷特征的相对应的方向角度；若未识别到第一缺陷特征，则将翻转后的图像B进行统一90°旋转处理；在两种方式的旋转处理后获得图像C；

S13、在旋转处理对图像C进行亮度调整处理，对于图像C中每个像素点（R，G，Y)，通过以下线性变换来调整获得：

；

其中，表示缩放因子，用于调整颜色得对比度；/>表示偏移量，用于调整图像得整体亮度，/>表示调整后的像素值。

3.根据权利要求1所述的一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：所述第三点云数据获取单元具体工作的步骤包括：

S21、采用激光雷达设备对药品包装盒表面进行扫描，通过发射激光束并测量激光束的反射获取物体表面的三维坐标信息，获得点云数据；

S22、对采集到的点云数据进行预处理，包括去除噪声、滤波和配准；建立第三点云数据集。

4.根据权利要求1所述的一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：所述包装盒检测模型分析单元包括图像二次处理单元、模型训练单元和第一特征提取单元；

所述图像二次处理单元用于对于增强处理后的第一图像数据集和第二图像数据集进行二次处理，所述二次处理包括图像大小调整和归一化；

所述模型训练单元用于对二次处理后的第一图像数据集和第二图像数据集，训练深度学习模型后，获取到包装盒检测模型；

所述第一特征提取单元用于在完成训练后，通过包装盒检测模型的特征提取中间层，提取图像中第一缺陷特征。

5.根据权利要求4所述的一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：所述包装盒检测模型分析单元还包括第一计算单元，所述第一计算单元用于依据提取获取的第一缺陷特征，由以下公式计算生成变形系数Bx、包装破损系数Ps、包装污染系数Wr和第一平整度系数Pzd1：

；

式中，XzBH表示包装盒变形的形状差值，QLBH表示为曲率变形差值，A1和A2表示权重值，A1=0.6，A2=0.4；

；

式中，D表示凹槽深度，K_g表示为凹槽总面积，S表示划痕深度，K_S表示为划痕总面积，P表示破损间隙边缘延伸长度，K_d表示为破损总面积，BoxZMJ表示药品包装盒总表面积；

；

式中，WgMJ表示污垢面积，BoxZMJ表示药品包装盒总表面积；

；

式中，GD1表示药品包装盒实际高度值，PJGD表示药品包装盒的平均高度值，通过第一图像数据集和第二图像数据集提取获得，N1表示高于平均平度值的第一数量，Q1L表示包装实际盒曲率，PJQL表示包装盒标准曲率值，N2表示不在包装盒标准曲率的第二数量，通过第一图像数据集和第二图像数据集提取获得。

6.根据权利要求1所述的一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：所述包装盒检测模型分析单元还包括分割单元和第二特征提取单元；所述分割单元用于将点云数据分割成不同的区域；

所述第二特征提取单元用于从点云数据中提取药品包装盒的特征信息，所述特征信息包括表面形状、曲率和高度。

7.根据权利要求6所述的一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：所述包装盒检测模型分析单元还包括封口位置偏移单元和第二平整度计算单元；

所述封口位置偏移单元用于将通过分析点云数据中封口位置的相对偏移值，首先获取封口位置的标准坐标值为(X₁，Y₁，Z₁)，再通过点云数据中获取实际封口位置的三个坐标值为(X₂，Y₂，Z₂)，并计算封口位置偏移系数Py，所述封口位置偏移系数Py通过以下公式计算获得：

；

；

式中，Fs表示为封口位置偏移特征值，表示封口位置坐标与标准封口位置坐标之间的欧式距离，NOR表示为归一化偏移特征值的因子；

所述第二平整度计算单元用于依据点云数据分析计算获得第二平整度系数Pzd2；通过以下公式生成：

；

式中，GD2表示药品包装盒实际高度值，通过第三点云数据集提取获得；PJGD表示药品包装盒的平均高度值，通过第一图像数据集和第二图像数据集提取获得，N1表示高于平均平度值的第一数量，QL2表示包装实际盒曲率，通过第三点云数据集提取获得；PJQL表示包装盒标准曲率值，N2表示不在包装盒标准曲率的第二数量，通过第一图像数据集和第二图像数据集提取获得。

8.根据权利要求1所述的一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：所述综合平整度系数PZD的验证方式包括：

S31、计算误差值Wc：；Wc表示了第一平整度系数Pzd1和第二平整度系数Pzd2之间的差异值；

S32、修正第一平整度系数Pzd1：；其中/>表示修正幅度系数；

S33、计算平整度缺陷系数PZD：

；

其中，修正后的第一平整度系数和第二平整度系数Pzd2的平均值，作为最终平整度缺陷系数PZD。

9.根据权利要求1所述的一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：所述评估单元用于生成相对应评估结果包括：

将变形系数Bx与第一变形阈值Q1对比，当变形系数Bx≤第一变形阈值Q1，表示产品包装盒合格；当变形系数Bx＞第一变形阈值Q1，表示产品质量不合格时，并生成第一报警信息，且生成第一调整策略，包括调整生产过程中的机械压力参数和温度，进行校准，以达到规范设计工艺；

将包装破损系数Ps与第二破损阈值Q2对比，当包装破损系数Ps≤第二破损阈值Q2，表示产品包装盒合格；当包装破损系数Ps＞第二破损阈值Q2，表示产品质量不合格时，并生成第二报警信息，且生成第二调整策略，包括检测包装材料的质量和耐久性，优化包装流程，控制无碰撞和挤压；

将包装污染系数Wr与第三污染阈值Q3对比，当包装污染系数Wr≤第三污染阈值Q3，表示产品包装盒合格；当包装污染系数Wr＞第三污染阈值Q3，表示产品质量不合格时，并生成第三报警信息，且生成第三调整策略，包括完善生产环境的清洁措施，优化形成无污染环境；

将综合平整度系数PZD与第四平整度阈值Q4对比，当综合平整度系数PZD≤第四平整度阈值Q4，表示产品包装盒合格；当综合平整度系数PZD＞第四平整度阈值Q4，表示产品质量不合格时，并生成第四报警信息，且生成第四调整策略，包括对涉及到传送带和包装设备的机械部分进行设备维护；

将封口位置偏移系数Py与第五封口偏移阈值Q5对比，当封口位置偏移系数Py≤第五封口偏移阈值Q5，表示产品包装盒合格；当封口位置偏移系数Py＞第五封口偏移阈值Q5，表示产品质量不合格时，并生成第五报警信息，且生成第五调整策略，包括重新调整封口设备的校准和对齐，引入视觉系统或自动控制系统来监测和调整封口位置。

10.一种基于图像数据分析的药品包装盒质量检测方法，包括上述权利要求1~9中任一项所述的一种基于图像数据分析的药品包装盒质量检测系统，其特征在于：包括以下步骤：

步骤一、使用工业相机拍摄药品包装盒的图像，获取第一图像数据集；利用红外线传感器采集药品包装盒表面反射的灰度图像信息，获取第二图像数据集；使用激光雷达设备对药品包装盒表面进行扫描，获取点云数据，建立第三点云数据集；

步骤二、对第一图像数据集和第二图像数据集进行增强处理，包括水平翻转、旋转、亮度调整；水平翻转使用水平翻转矩阵进行处理；旋转根据第一缺陷特征的方向角度进行旋转，或者统一90°旋转；亮度调整用于对每个像素点进行线性变换，调整颜色对比度和整体亮度；

步骤三、使用深度学习模型，包括ResNet、Inception、EfficientNet其中一种，建立包装盒检测模型，引入多尺度卷积技术；将增强处理后的第一图像数据集和第二图像数据集输入至包装盒检测模型中，提取缺陷特征；分析并计算变形系数Bx、包装破损系数Ps、包装污染系数Wr和第一平整度系数Pzd1；并；对第三点云数据集进行预处理，包括去除噪声、滤波和配准后，分割点云数据成不同的区域，提取表面形状、曲率和高度特征信息；计算封口位置偏移系数Py和第二平整度系数Pzd2；

步骤四、通过计算误差值Wc验证第一平整度系数Pzd1和第二平整度系数Pzd2之间的差异，修正第一平整度系数Pzd1，获得综合平整度系数PZD；

步骤五、将变形系数Bx、包装破损系数Ps、包装污染系数Wr、综合平整度系数PZD与封口位置偏移系数Py与相应的阈值Q1-Q5进行对比，根据对比结果生成相应的评估信息和调整策略。