CN117455918A - 基于图像分析的防堵送料方法及系统 - Google Patents

Abstract

本申请涉及图像分析技术领域，公开了一种基于图像分析的防堵送料方法及系统。所述方法包括：对目标生产线进行图像采集，得到目标生产线运行图像；进行图像特征提取，得到设备运动轨迹数据以及物料运动轨迹数据；进行流量计算，得到设备流量数据以及物料流量数据并进行送料影响系数分析，得到目标送料影响系数；进行瓶颈识别和瓶颈影响度分析，得到目标瓶颈区域和瓶颈影响度数据；构建第一防堵送料策略，并通过多岛遗传算法对第一防堵送料策略进行策略优化，得到第二防堵送料策略；采用序列二次规划法对第二防堵送料策略进行二次规划求解，得到目标防堵送料策略，本申请提高了防堵送料的准确率。

Description

基于图像分析的防堵送料方法及系统

技术领域

本申请涉及图像分析领域，尤其涉及一种基于图像分析的防堵送料方法及系统。

背景技术

在制造业和生产领域，生产线的流畅运行对于提高生产效率和降低生产成本至关重要。然而，生产线常常受到设备故障、物料堵塞等问题的影响，导致生产线停滞或产生瓶颈。为了解决这些问题，许多研究和技术应用了图像分析和优化方法，以监测和改善生产线的运行。这些方法在一定程度上提高了生产线的可视化和监控能力，但仍然存在许多问题需要解决。

现有研究在图像采集和预处理方面已取得了显著进展，但在复杂工厂环境中，仍然面临图像质量不稳定、光线条件不佳等挑战，导致图像处理的稳健性和可靠性不足。其次，对于大规模生产线，实时的图像特征提取和运动跟踪需要高度的计算资源，导致实时性不够，尤其是在高速运行的情况下，进而导致现有技术的准确率低。

发明内容

本申请提供了一种基于图像分析的防堵送料方法及系统，用于提高了防堵送料的准确率。

第一方面，本申请提供了一种基于图像分析的防堵送料方法，所述基于图像分析的防堵送料方法包括：

对目标生产线进行图像采集，得到初始生产线运行图像，并对所述初始生产线运行图像进行图像预处理，得到目标生产线运行图像；

对所述目标生产线运行图像进行图像特征提取，得到特征生产线运行图像，并对所述特征生产线运行图像进行设备和物料运动跟踪，得到设备运动轨迹数据以及物料运动轨迹数据；

对所述设备运动轨迹数据以及所述物料运动轨迹数据进行流量计算，得到设备流量数据以及物料流量数据，并对所述设备流量数据以及所述物料流量数据进行送料影响系数分析，得到目标送料影响系数；

根据所述目标送料影响系数对所述设备流量数据以及所述物料流量数据进行瓶颈识别和瓶颈影响度分析，得到目标瓶颈区域和瓶颈影响度数据；

基于所述目标瓶颈区域和所述瓶颈影响度数据构建所述目标生产线的第一防堵送料策略，并通过预置的多岛遗传算法对所述第一防堵送料策略进行策略优化，得到第二防堵送料策略；

采用序列二次规划法对所述第二防堵送料策略进行二次规划求解，得到目标防堵送料策略。

第二方面，本申请提供了一种基于图像分析的防堵送料系统，所述基于图像分析的防堵送料系统包括：

采集模块，用于对目标生产线进行图像采集，得到初始生产线运行图像，并对所述初始生产线运行图像进行图像预处理，得到目标生产线运行图像；

提取模块，用于对所述目标生产线运行图像进行图像特征提取，得到特征生产线运行图像，并对所述特征生产线运行图像进行设备和物料运动跟踪，得到设备运动轨迹数据以及物料运动轨迹数据；

计算模块，用于对所述设备运动轨迹数据以及所述物料运动轨迹数据进行流量计算，得到设备流量数据以及物料流量数据，并对所述设备流量数据以及所述物料流量数据进行送料影响系数分析，得到目标送料影响系数；

分析模块，用于根据所述目标送料影响系数对所述设备流量数据以及所述物料流量数据进行瓶颈识别和瓶颈影响度分析，得到目标瓶颈区域和瓶颈影响度数据；

优化模块，用于基于所述目标瓶颈区域和所述瓶颈影响度数据构建所述目标生产线的第一防堵送料策略，并通过预置的多岛遗传算法对所述第一防堵送料策略进行策略优化，得到第二防堵送料策略；

求解模块，用于采用序列二次规划法对所述第二防堵送料策略进行二次规划求解，得到目标防堵送料策略。

本申请提供的技术方案中，通过实时图像采集和处理，能够实时监控生产线的运行状态。这意味着任何潜在的设备故障、物料堵塞或瓶颈问题都可以即时检测到，从而可以迅速采取行动，减少生产中断的风险，提高生产线的稳定性。采用了多岛遗传算法和序列二次规划法等自动化优化技术，能够根据实时数据自动调整送料策略。这意味着生产线的优化不再需要人工干预，可以更高效地适应生产环境的变化，提高生产线的性能。通过图像特征提取和运动跟踪，该方法能够提供有关设备和物料流动的详细信息。这有助于生产管理者更好地理解生产线的运行情况，精确识别瓶颈区域，并制定针对性的改进策略，以提高整体生产效率。利用流量数据和影响系数分析，以及基于图像分析的特征提取，使决策过程更具数据支持。这有助于降低主观决策的风险，提高决策的科学性和准确性。通过连续监控设备运动轨迹和物料流动，该方法还可以帮助预测设备的维护需求，减少未计划的停机时间，降低维护成本，提高设备可靠性，进而提高了防堵送料的准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以基于这些附图获得其他的附图。

图1为本申请实施例中基于图像分析的防堵送料方法的一个实施例示意图；

图2为本申请实施例中基于图像分析的防堵送料系统的一个实施例示意图。

具体实施方式

本申请实施例提供了一种基于图像分析的防堵送料方法及系统。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本申请实施例的具体流程进行描述，请参阅图1，本申请实施例中基于图像分析的防堵送料方法的一个实施例包括：

步骤S101、对目标生产线进行图像采集，得到初始生产线运行图像，并对初始生产线运行图像进行图像预处理，得到目标生产线运行图像；

可以理解的是，本申请的执行主体可以为基于图像分析的防堵送料系统，还可以是终端或者服务器，具体此处不做限定。本申请实施例以服务器为执行主体为例进行说明。

具体的，通过预置的图像采集终端对目标生产线进行实时监控，安装高分辨率、高帧率的摄像头，以便实时捕捉生产线的运作情况，从而获得初始的生产线运行图像。为了提升图像质量并减少后续处理中的误差，对初始生产线运行图像进行高斯滤波去噪，通过应用高斯平滑算法来减少图像中的随机噪声，保留重要的结构信息，得到更加清晰的第一生产线运行图像。对第一生产线运行图像进行直方图均衡化处理，使图像中的明暗部分更加分明，从而得到第二生产线运行图像，通过调整图像的直方图分布来增强图像的全局对比度。对第二生产线运行图像进行图像锐化处理，通过增强图像中的边缘和细节，使得第二生产线运行图像中的设备边界、物料轮廓等更加明显，从而得到第三生产线运行图像。对第三生产线运行图像进行亮度调整及对比度调整，通过调整图像的光照强度和色彩对比，使得图像更适合后续的特征提取和分析处理，最终得到符合预期的目标生产线运行图像。

步骤S102、对目标生产线运行图像进行图像特征提取，得到特征生产线运行图像，并对特征生产线运行图像进行设备和物料运动跟踪，得到设备运动轨迹数据以及物料运动轨迹数据；

具体的，通过预置的卷积神经网络（CNN）模型对目标生产线运行图像进行卷积运算，卷积神经网络通过其多层结构对图像进行深入分析，提取出生产线上设备和物料的重要特征，如形状、大小、纹理等，这些特征是后续运动跟踪和分析的基础。通过光流法对特征生产线运行图像进行设备运动跟踪，光流法是一种基于每个像素运动的估计方法，它可以精确地追踪图像中的运动对象，如生产线上的机械设备。通过分析这些设备的运动状态和位置变化，服务器能够实时监测并记录设备的运动轨迹，这有助于理解生产线的运作模式和识别的堵塞点。根据设备的运动状态位置，进行设备运动轨迹分析，将光流法得到的位置数据转化为可解释的运动轨迹信息，这些数据将反映设备的运动特性和的异常模式。通过KLT跟踪器对特征生产线运行图像进行物料运动跟踪。通过KLT跟踪器，准确地跟踪生产线上物料的运动状态和位置，这有助于确保物料流的连续性和预防送料堵塞。KLT跟踪器的优势在于其对小型和快速移动物料的高敏感性，以及对光照变化和遮挡的良好适应性。根据这些物料的运动状态位置，对目标生产线进行物料运动轨迹分析，将物料的运动特征转化为系统可以理解和分析的轨迹数据，为整个生产线的流畅运行提供重要的数据支持，确保物料按预定路径和速度移动，从而有效地防止生产线上的物料堵塞和送料问题。

步骤S103、对设备运动轨迹数据以及物料运动轨迹数据进行流量计算，得到设备流量数据以及物料流量数据，并对设备流量数据以及物料流量数据进行送料影响系数分析，得到目标送料影响系数；

具体的，对设备和物料的运动轨迹数据进行路径长度计算，分析设备和物料在生产过程中的移动路径，并计算出它们的总路径长度。设备路径长度数据反映了设备在生产过程中的移动总距离，而物料路径长度数据则显示了物料在整个生产线上的移动距离。根据设备路径长度数据对设备运动轨迹进行流量计算，从而得到设备流量数据。同样地，根据物料路径长度数据对物料运动轨迹进行流量计算，得到物料流量数据。设备流量数据和物料流量数据提供了关于生产线上设备和物料移动速度和频率的信息。分别对设备流量数据和物料流量数据进行曲线转换，形成设备流量曲线和物料流量曲线。将流量数据可视化，通过曲线图展现出设备和物料流量随时间的变化趋势，更直观地展示出生产过程中的动态变化。分别对这两种流量曲线进行特征提取，得到设备流量特征集合和物料流量特征集合。特征提取旨在从流量曲线中提取出关键信息，如峰值、波动频率、趋势变化等，这些特征是分析流量变化和预测生产线状况的重要依据。采用皮尔逊相关系数方法对设备流量特征集合和物料流量特征集合进行送料影响系数分析。通过这种分析，可以量化地评估设备流量和物料流量之间的相互关系，了解二者之间的相互影响程度，并得到目标送料影响系数。这个系数是对生产线送料过程中设备与物料之间相互作用的量化表示，有助于识别生产线上出现的堵塞点和效率问题，并为改进生产流程提供数据支持。

步骤S104、根据目标送料影响系数对设备流量数据以及物料流量数据进行瓶颈识别和瓶颈影响度分析，得到目标瓶颈区域和瓶颈影响度数据；

具体的，对设备流量数据和物料流量数据进行瓶颈识别，以得到初始瓶颈区域。通过分析生产线上流量数据的异常点或拥堵区域，识别导致生产效率下降的区域。例如，如果某个区域的物料流量远低于设备流量，表明该区域存在物料堵塞。根据目标送料影响系数对这些初始瓶颈区域进行校正，得到更准确的目标瓶颈区域。目标送料影响系数反映了设备流量和物料流量之间的相互影响程度。利用这一系数，可以对初始识别的瓶颈区域进行微调，确保识别出的瓶颈区域是影响生产效率的关键点。进行时间序列分析，对设备和物料流量数据随时间变化的趋势进行分析。时间序列分析结果揭示了流量数据随时间的变化规律，有助于理解生产线上流量变化的周期性和趋势性特征，为后续的瓶颈影响度分析提供依据。对设备和物料的流量数据进行熵计算，以得到目标熵。熵计算是一种衡量数据随机性和不确定性的方法，通过这一计算可以评估流量数据的复杂度和不稳定性。得到的目标熵可以用来估计生产线上瓶颈区域的影响力，因为高熵值通常表明高度的不确定性和潜在的风险。之后，根据目标熵对设备和物料流量数据进行瓶颈影响度分析，从而得到初始影响度数据，量化瓶颈区域对整个生产流程的影响程度，评估这些区域造成的生产延迟或效率损失。根据时间序列分析结果对这些初始影响度数据进行优化，进一步提高分析的准确性和可靠性，最终得到瓶颈影响度数据。

步骤S105、基于目标瓶颈区域和瓶颈影响度数据构建目标生产线的第一防堵送料策略，并通过预置的多岛遗传算法对第一防堵送料策略进行策略优化，得到第二防堵送料策略；

具体的，对目标瓶颈区域和瓶颈影响度数据进行防堵送料策略分析，评估哪些生产线区域最容易发生堵塞，以及这些堵塞对整个生产流程的影响程度。通过这些信息，制定出针对特定瓶颈区域的第一防堵送料策略，该策略包括调整设备运行速度、优化物料运输路径、改变物料供给频率等措施。通过预置的多岛遗传算法对这个初步策略进行优化。多岛遗传算法是一种先进的遗传算法，它将种群分散到不同的“岛屿”上，每个岛屿上有不同的初始种群，这有助于维持种群多样性，防止算法过早收敛到局部最优解。在每个岛屿上，根据预先设定的适应度函数计算每个第一候选策略的适应度值，其中适应度函数考虑了不同策略特征的重要性和实际效果。根据这些适应度值，对第一候选策略进行选择、交叉和变异操作。这些遗传操作模拟了自然选择和遗传变异的过程，有助于产生新的、更优的策略。通过这种方式，每个岛屿上的初始种群会演化出多个第二候选策略。对这些第二候选策略进行策略选取，以得到每个岛屿的第三候选策略。通过进一步筛选和优化策略，确保只有最有潜力的策略被保留下来。进行岛屿间迁移和局部搜索操作，在不同岛屿间交换策略，并在局部区域内进行深入搜索，以寻找的最优解。通过这些操作，得到第二防堵送料策略。这个策略是在多次迭代和优化后得到的，更加精细、高效，能够针对特定的生产线状况提供有效的防堵解决方案。

步骤S106、采用序列二次规划法对第二防堵送料策略进行二次规划求解，得到目标防堵送料策略。

具体的，采用序列二次规划法定义生产线的目标函数和约束条件。目标函数被设定为一个优化问题，它旨在最小化或最大化某个特定的性能指标。例如，目标函数旨在最大化生产线的整体效率，同时最小化物料堵塞的风险。这个函数通常由多个变量组成，每个变量代表生产线的一个特定方面，如设备速度、物料流量等，而每个变量的系数则反映了该变量对整体目标的影响程度。将第二防堵送料策略作为初始解，并通过目标函数对这个初始解进行迭代计算。通过评估初始解对目标函数的贡献，并根据结果调整策略以更好地符合目标函数的要求。通过这种方法，可以从初始策略出发，逐渐靠近最优解。根据当前解计算目标函数和约束条件的梯度。梯度计算是找出当前解改进的方向和幅度的关键，它指示了如何调整策略参数以最有效地改善目标函数值。梯度的每个分量代表了对应变量在当前点上的目标函数变化率。基于这些梯度定义二次规划子问题。二次规划子问题是一个简化的优化问题，它用于确定当前解的最佳更新方向和步长。通过解决这个子问题，可以找到一种方式，使得下一次迭代的解更接近最优解。根据这个最佳更新方向和步长，对第二防堵送料策略进行迭代更新求解。这个过程涉及不断调整策略参数，逐步改进策略以更好地满足目标函数的要求。迭代过程会一直进行，直至满足预设的终止条件，比如达到了最大迭代次数或解的改善程度低于某个阈值。

本申请实施例中，通过实时图像采集和处理，能够实时监控生产线的运行状态。这意味着任何潜在的设备故障、物料堵塞或瓶颈问题都可以即时检测到，从而可以迅速采取行动，减少生产中断的风险，提高生产线的稳定性。采用了多岛遗传算法和序列二次规划法等自动化优化技术，能够根据实时数据自动调整送料策略。这意味着生产线的优化不再需要人工干预，可以更高效地适应生产环境的变化，提高生产线的性能。通过图像特征提取和运动跟踪，该方法能够提供有关设备和物料流动的详细信息。这有助于生产管理者更好地理解生产线的运行情况，精确识别瓶颈区域，并制定针对性的改进策略，以提高整体生产效率。利用流量数据和影响系数分析，以及基于图像分析的特征提取，使决策过程更具数据支持。这有助于降低主观决策的风险，提高决策的科学性和准确性。通过连续监控设备运动轨迹和物料流动，该方法还可以帮助预测设备的维护需求，减少未计划的停机时间，降低维护成本，提高设备可靠性，进而提高了防堵送料的准确率。

在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：

（1）通过预置的图像采集终端，对目标生产线进行生产线实时图像采集，得到初始生产线运行图像；

（2）对初始生产线运行图像进行高斯滤波去噪，得到第一生产线运行图像；

（3）对第一生产线运行图像进行直方图均衡化处理，得到第二生产线运行图像，并对第二生产线运行图像进行图像锐化处理，得到第三生产线运行图像；

（4）对第三生产线运行图像进行亮度调整，得到第四生产线运行图像，并对第四生产线运行图像进行对比度调整，得到目标生产线运行图像。

具体的，通过预置的图像采集终端，如高清摄像头，对目标生产线进行实时图像采集，捕捉生产线的当前状态，包括设备的运行情况、物料的流动等，所得到的初始生产线运行图像包含了生产线运行的关键视觉信息。对初始生产线运行图像进行高斯滤波去噪处理。高斯滤波是一种常用的图像去噪技术，它通过平滑图像来减少噪点和不必要的细节，从而使图像更加清晰。对第一生产线运行图像进行直方图均衡化处理。直方图均衡化是一种改善图像对比度的方法，它通过调整图像的直方图分布来增强图像的全局对比度，适用于在背光或光照不均的环境下拍摄的图像。经过直方图均衡化处理的图像，即第二生产线运行图像，将具有更好的对比度和明暗细节。对第二生产线运行图像进行图像锐化处理。图像锐化是通过增强图像中的边缘和细节来提高图像清晰度的过程，使生产线上的设备、物料和其他关键元素的轮廓更加清晰，便于后续的图像识别和分析。锐化处理后得到的第三生产线运行图像在视觉上将更加锋利和清晰。对第三生产线运行图像进行亮度调整。亮度调整有助于改善图像的整体亮度水平，使图像更加符合人眼的观察习惯。这有助于识别不同光照条件下捕获的图像，因为生产环境的光照条件会极大地影响图像的可见性。经过亮度调整的图像，即第四生产线运行图像，在亮度上将更加均衡和自然。对第四生产线运行图像进行对比度调整。对比度调整能够进一步改善图像中明暗部分的区分度，使图像中的重要特征更加突出。这可以帮助准确识别生产线上的机器和物料状态。对比度调整后得到的目标生产线运行图像在视觉效果上将更为清晰和准确，更适合用于生产线的监控和分析。

在一具体实施例中，执行步骤S102的过程可以具体包括如下步骤：

（1）通过预置的CNN模型对目标生产线运行图像进行卷积运算，得到卷积运算结果，并根据卷积运算结果对目标生产线运行图像进行图像特征提取，得到特征生产线运行图像；

（2）通过光流法对特征生产线运行图像进行设备运动跟踪，得到特征生产线运行图像中的设备运动状态位置；

（3）根据设备运动状态位置，对目标生产线进行设备运动轨迹分析，得到设备运动轨迹数据；

（4）通过KLT跟踪器对特征生产线运行图像进行物料运动跟踪，得到特征生产线运行图像中的物料运动状态位置；

（5）根据物料运动状态位置，对目标生产线进行物料运动轨迹分析，得到物料运动轨迹数据。

具体的，通过预置的CNN模型对目标生产线运行图像进行卷积运算。卷积神经网络是一种图像处理工具，通过卷积层来提取图像中的重要特征。在这个过程中，网络会应用多个滤波器来处理图像，每个滤波器都能够捕捉图像中的特定特征，如边缘、纹理或特定形状。这些卷积运算的结果是一系列特征图，它们代表了原始图像在不同层次上的抽象表示。根据这些卷积运算结果，对目标生产线运行图像进行图像特征提取，从卷积运算得到的特征图中识别出对生产线监控最为关键的视觉信息。例如，可以识别出机器设备的位置、物料的形态和生产线上的重要标记。这样提取出的特征生产线运行图像包含了更加丰富和精确的信息。通过光流法对特征生产线运行图像进行设备运动跟踪。光流法是一种基于图像序列变化的运动估计方法，它通过分析连续帧之间的像素变化来计算物体的运动。光流法可以用来追踪设备在图像中的运动，从而确定设备的实时位置和运动状态。根据这些设备的运动状态位置，对目标生产线进行设备运动轨迹分析。这个步骤涉及综合分析连续图像帧中设备位置的变化，以得到设备的完整运动轨迹。设备运动轨迹数据不仅显示了设备在生产线上的具体路径，还能反映设备的运动特性，如速度和运动模式。同时，通过KLT（Kanade-Lucas-Tomasi）跟踪器对特征生产线运行图像进行物料运动跟踪。KLT跟踪器是一种基于特征点的跟踪方法，它能够准确追踪图像中的特定点或物体在序列帧中的运动。在生产线监控中，KLT跟踪器可以用来追踪物料的运动，识别物料在生产线上的位置变化。根据这些物料的运动状态位置，对目标生产线进行物料运动轨迹分析。通过分析这些运动轨迹数据，可以详细了解物料在生产过程中的运输路径、停留点和运动速度等信息。例如，如果发现某个组装点物料的运动速度突然变慢，预示着该点存在生产堵塞的风险。

在一具体实施例中，执行步骤S103的过程可以具体包括如下步骤：

（1）对设备运动轨迹数据进行路径长度计算，得到设备路径长度数据，并对物料运动轨迹数据进行路径长度计算，得到物料路径长度数据；

（2）根据设备路径长度数据，对设备运动轨迹数据进行流量计算，得到设备流量数据，并根据物料路径长度数据，对物料运动轨迹数据进行流量计算，得到物料流量数据；

（3）分别对设备流量数据和物料流量数据进行曲线转换，得到设备流量曲线和物料流量曲线；

（4）分别对设备流量曲线和物料流量曲线进行特征提取，得到设备流量特征集合和物料流量特征集合；

（5）采用皮尔逊相关系数，对设备流量特征集合和物料流量特征集合进行送料影响系数分析，得到目标送料影响系数。

具体的，对设备运动轨迹数据进行路径长度计算，量化设备在一定时间内在生产线上的运动总距离。跟踪设备在生产线上的位置变化，并累加这些变化以得到设备的总运动路径长度。类似地，对物料运动轨迹数据也进行路径长度计算，这可以通过跟踪物料在生产线上的移动来实现。通过这种方式，可以得到物料在生产过程中的运动总距离。根据设备路径长度数据对设备运动轨迹数据进行流量计算，得到设备流量数据。这个计算涉及考虑设备的运行速度、停机时间等因素。同样，基于物料路径长度数据对物料运动轨迹数据进行流量计算，以得到物料流量数据。这些数据反映了生产线上设备和物料的运动强度和频率，有助于评估生产线的运行效率。分别对设备流量数据和物料流量数据进行曲线转换，以得到设备流量曲线和物料流量曲线。将流量数据转化为更直观的图形表示，通过曲线图，可以直观地观察到设备和物料流量随时间的变化，识别出的高峰期或低效区间。对这些流量曲线进行特征提取，得到设备流量特征集合和物料流量特征集合。特征提取的目的是从流量曲线中识别出关键的信息点，例如流量的峰值、波动频率或趋势变化等。这些特征集合为后续的分析提供了详细的数据支持。采用皮尔逊相关系数对设备流量特征集合和物料流量特征集合进行送料影响系数分析，从而得到目标送料影响系数。皮尔逊相关系数是一种度量两个变量间线性相关程度的方法，它可以揭示设备流量与物料流量之间的关系强度和方向。通过这种分析，可以量化地评估设备的运动如何影响物料流动，以及在不同生产阶段这种影响的变化情况。例如，如果某个机器臂的运动频率突然增加，意味着在该区域的物料供应存在问题。通过将这些流量数据转换为曲线，并提取关键特征，可以更深入地分析这些变化背后的原因。通过皮尔逊相关系数分析设备运动与物料流动之间的关系，比如发现某个机器臂的运动变化与传送带上物料堵塞有较高的相关性。

在一具体实施例中，执行步骤S104的过程可以具体包括如下步骤：

（1）对设备流量数据以及物料流量数据进行瓶颈识别，得到初始瓶颈区域；

（2）根据目标送料影响系数，对初始瓶颈区域进行瓶颈区域校正，得到目标瓶颈区域；

（3）对设备流量数据以及物料流量数据进行时间序列分析，得到时间序列分析结果；

（4）对设备流量数据以及物料流量数据进行熵计算，得到目标熵；

（5）根据目标熵，对设备流量数据以及物料流量数据进行瓶颈影响度分析，得到初始影响度数据；

（6）根据时间序列分析结果，对初始影响度数据进行影响度优化，得到瓶颈影响度数据。

具体的，对设备流量数据和物料流量数据进行瓶颈识别，得到初始瓶颈区域。分析生产线上的流量分布，识别出流量异常或低效的区域，这些区域通常是生产堵塞或延迟发生的地方。例如，如果某段生产线上的物料流量持续低于设备的处理能力，这表明该区域存在物料供给不足或设备效率低下的问题。根据目标送料影响系数对这些初始瓶颈区域进行校正，以得到目标瓶颈区域。目标送料影响系数反映了设备流量和物料流量之间的相互作用和影响程度。利用这一系数，可以对初步识别的瓶颈区域进行微调，确保所确定的瓶颈区域确实是影响生产效率的关键点。对设备流量数据和物料流量数据进行时间序列分析。时间序列分析是一种统计技术，用于分析数据点随时间的变化趋势。这一分析有助于揭示生产线上流量的周期性变化和长期趋势，例如，某些时间段内流量的增减与生产调度或原材料供应有关。对这些流量数据进行熵计算，以得到目标熵。熵是衡量系统随机性或不确定性的指标，用于评估生产线上流量的不稳定性和复杂度。高熵值通常表示流量数据的高度不确定性，是由生产线上的随机事件或不规则操作引起的。根据这个目标熵对设备流量数据和物料流量数据进行瓶颈影响度分析，以得到初始影响度数据。这一分析旨在评估识别的瓶颈区域对整个生产流程的影响程度。例如，一个高影响度的瓶颈区域会导致整个生产线的延迟，而一个低影响度的瓶颈区域对生产流程的影响较小。根据时间序列分析的结果对这些初始影响度数据进行优化，以得到瓶颈影响度数据。这一步骤涉及考虑流量变化的时间因素，优化影响度评估，使其更准确地反映不同时间点或时间段内瓶颈区域的实际影响。

在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：

（1）对目标瓶颈区域和瓶颈影响度数据进行防堵送料策略分析，得到目标生产线的第一防堵送料策略；

（2）通过预置的多岛遗传算法对第一防堵送料策略进行岛屿初始化，得到多个目标岛屿，并分别在每个目标岛屿上生产不同的初始种群，其中，初始种群包括多个第一候选策略；

（3）通过预置的适应度函数，分别计算每个第一候选策略的适应度值，适应度函数为：D，D(x)表示个体的适应度值，/>表示第/>个特征的权重，/>表示第/>个特征值；

（4）根据每个第一候选策略的适应度值，对多个第一候选策略进行选择、交叉和变异，得到每个目标岛屿多个第二候选策略；

（5）对每个目标岛屿多个第二候选策略进行策略选取，得到每个目标岛屿的多个第三候选策略；

（6）对每个目标岛屿的多个第三候选策略进行岛屿间迁移和局部搜索，得到第二防堵送料策略。

具体的，对目标瓶颈区域和瓶颈影响度数据进行防堵送料策略分析，得到目标生产线的第一防堵送料策略。评估识别的瓶颈区域对整个生产流程的影响，并考虑如何通过调整生产流程或设备设置来减轻这些瓶颈的影响。例如，如果分析表明某个区域的物料堵塞是由于供料速度不匹配导致的，那么第一防堵送料策略包括调整相关设备的供料速度或改变物料输送路径。通过预置的多岛遗传算法对这个初步策略进行优化。多岛遗传算法是一种高级的遗传算法，它通过在不同的“岛屿”上维持多个种群来增加种群的多样性，并防止算法过早收敛到局部最优解。在这个过程中，进行岛屿初始化，创建多个目标岛屿，并在每个岛屿上生成不同的初始种群，其中每个种群包括多个第一候选策略。通过预置的适应度函数分别计算每个第一候选策略的适应度值。这个适应度函数是一个量化函数，用于评估每个策略的有效性和适应性。函数中的每个特征值代表策略的一个方面，如成本效益、实施难度或预期效果，而特征的权重反映了这些方面对整体策略效果的重要性。根据这些适应度值，对第一候选策略进行选择、交叉和变异操作，以产生新的候选策略。选择操作涉及挑选出适应度最高的策略，交叉操作则涉及将两个策略的特征组合以产生新策略，变异操作则是对策略的某些特征进行随机改变。通过这些操作，每个岛屿上的初始种群将演化出多个第二候选策略。对每个岛屿上的第二候选策略进行策略选取，以得到每个岛屿的第三候选策略。这个步骤进一步筛选和优化策略，确保保留下来的是最有潜力的策略。对每个岛屿上的第三候选策略进行岛屿间迁移和局部搜索。岛屿间迁移允许不同岛屿上的优秀策略相互交换信息，而局部搜索则是对策略进行微调，以探索附近的更优解。通过这些操作，最终得到了经过优化的第二防堵送料策略。

在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：

（1）采用序列二次规划法，定义目标生产线的目标函数和约束条件，其中，目标函数为：，f(x)表示优化问题的目标函数，/>表示第i个变量的系数，/>表示第/>个变量；

（2）将第二防堵送料策略作为初始解，并通过目标函数对初始解进行迭代计算，得到当前解；

（3）根据当前解，计算目标函数和约束条件的梯度；

（4）基于梯度定义二次规划子问题，并基于二次规划子问题确定当前解的最佳更新方向和步长；

（5）根据最佳更新方向和步长，对第二防堵送料策略进行迭代更新求解，直至满足预设终止条件，得到目标防堵送料策略。

具体的，采用序列二次规划法，定义目标生产线的目标函数和约束条件。目标函数是优化问题的核心，用于量化策略的性能。目标函数可以设计为量化生产效率、减少物料堵塞或优化生产成本等。这个函数通常包含多个变量，每个变量代表生产线上的一个关键因素，如设备速度、物料流量或供料时间。每个变量的系数则反映了该变量对整体目标的贡献程度。将已有的第二防堵送料策略作为优化过程的初始解，并通过目标函数对这个初始解进行迭代计算。通过评估当前策略对目标函数的贡献，并根据结果调整策略参数，以逐步提高目标函数的值。通过这种方法，可以从初始策略出发，逐渐接近最优解。根据当前解计算目标函数和约束条件的梯度。梯度计算是优化过程的关键，它提供了关于如何调整策略参数以改进目标函数值的重要信息。梯度的每个分量代表了对应变量在当前点上的目标函数变化率，指明了改善策略的方向。基于这些梯度信息定义一个二次规划子问题。二次规划子问题是优化过程的一个重要组成部分，它简化了原始问题，使得可以更高效地找到当前解的最佳更新方向和步长。通过解决这个子问题，可以确定如何调整策略参数，以便最有效地改善目标函数值。根据确定的最佳更新方向和步长，对第二防堵送料策略进行迭代更新求解。这个过程涉及不断调整策略参数，以逐步改进策略，直至满足预设的终止条件，如达到最大迭代次数或解的改善程度低于某个阈值。通过这种迭代更新，最终得到的目标防堵送料策略将是在当前生产线条件下最优化的策略。

例如，初始的第二防堵送料策略包括调整包装机的速度和改变物料输送的时间间隔。采用序列二次规划法后，通过定义目标函数（如最大化包装速度同时最小化堵塞事件），并对策略进行迭代计算和优化，可以逐渐调整包装机的运行参数，最终找到减少堵塞同时保持高效率的最佳策略。这个过程不仅考虑了包装线的即时运行状况，还考虑了如何在满足约束条件（例如设备能力和安全标准）的情况下优化整体的生产流程。

上面对本申请实施例中基于图像分析的防堵送料方法进行了描述，下面对本申请实施例中基于图像分析的防堵送料系统进行描述，请参阅图2，本申请实施例中基于图像分析的防堵送料系统一个实施例包括：

采集模块201，用于对目标生产线进行图像采集，得到初始生产线运行图像，并对所述初始生产线运行图像进行图像预处理，得到目标生产线运行图像；

提取模块202，用于对所述目标生产线运行图像进行图像特征提取，得到特征生产线运行图像，并对所述特征生产线运行图像进行设备和物料运动跟踪，得到设备运动轨迹数据以及物料运动轨迹数据；

计算模块203，用于对所述设备运动轨迹数据以及所述物料运动轨迹数据进行流量计算，得到设备流量数据以及物料流量数据，并对所述设备流量数据以及所述物料流量数据进行送料影响系数分析，得到目标送料影响系数；

分析模块204，用于根据所述目标送料影响系数对所述设备流量数据以及所述物料流量数据进行瓶颈识别和瓶颈影响度分析，得到目标瓶颈区域和瓶颈影响度数据；

优化模块205，用于基于所述目标瓶颈区域和所述瓶颈影响度数据构建所述目标生产线的第一防堵送料策略，并通过预置的多岛遗传算法对所述第一防堵送料策略进行策略优化，得到第二防堵送料策略；

求解模块206，用于采用序列二次规划法对所述第二防堵送料策略进行二次规划求解，得到目标防堵送料策略。

通过上述各个组成部分的协同合作，通过实时图像采集和处理，能够实时监控生产线的运行状态。这意味着任何潜在的设备故障、物料堵塞或瓶颈问题都可以即时检测到，从而可以迅速采取行动，减少生产中断的风险，提高生产线的稳定性。采用了多岛遗传算法和序列二次规划法等自动化优化技术，能够根据实时数据自动调整送料策略。这意味着生产线的优化不再需要人工干预，可以更高效地适应生产环境的变化，提高生产线的性能。通过图像特征提取和运动跟踪，该方法能够提供有关设备和物料流动的详细信息。这有助于生产管理者更好地理解生产线的运行情况，精确识别瓶颈区域，并制定针对性的改进策略，以提高整体生产效率。利用流量数据和影响系数分析，以及基于图像分析的特征提取，使决策过程更具数据支持。这有助于降低主观决策的风险，提高决策的科学性和准确性。通过连续监控设备运动轨迹和物料流动，该方法还可以帮助预测设备的维护需求，减少未计划的停机时间，降低维护成本，提高设备可靠性，进而提高了防堵送料的准确率。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random acceS memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种基于图像分析的防堵送料方法，其特征在于，所述基于图像分析的防堵送料方法包括：

对目标生产线进行图像采集，得到初始生产线运行图像，并对所述初始生产线运行图像进行图像预处理，得到目标生产线运行图像；

对所述目标生产线运行图像进行图像特征提取，得到特征生产线运行图像，并对所述特征生产线运行图像进行设备和物料运动跟踪，得到设备运动轨迹数据以及物料运动轨迹数据；

对所述设备运动轨迹数据以及所述物料运动轨迹数据进行流量计算，得到设备流量数据以及物料流量数据，并对所述设备流量数据以及所述物料流量数据进行送料影响系数分析，得到目标送料影响系数；

根据所述目标送料影响系数对所述设备流量数据以及所述物料流量数据进行瓶颈识别和瓶颈影响度分析，得到目标瓶颈区域和瓶颈影响度数据；

基于所述目标瓶颈区域和所述瓶颈影响度数据构建所述目标生产线的第一防堵送料策略，并通过预置的多岛遗传算法对所述第一防堵送料策略进行策略优化，得到第二防堵送料策略；

采用序列二次规划法对所述第二防堵送料策略进行二次规划求解，得到目标防堵送料策略。

2.根据权利要求1所述的基于图像分析的防堵送料方法，其特征在于，所述对目标生产线进行图像采集，得到初始生产线运行图像，并对所述初始生产线运行图像进行图像预处理，得到目标生产线运行图像，包括：

通过预置的图像采集终端，对目标生产线进行生产线实时图像采集，得到初始生产线运行图像；

对所述初始生产线运行图像进行高斯滤波去噪，得到第一生产线运行图像；

对所述第一生产线运行图像进行直方图均衡化处理，得到第二生产线运行图像，并对所述第二生产线运行图像进行图像锐化处理，得到第三生产线运行图像；

对所述第三生产线运行图像进行亮度调整，得到第四生产线运行图像，并对所述第四生产线运行图像进行对比度调整，得到目标生产线运行图像。

3.根据权利要求1所述的基于图像分析的防堵送料方法，其特征在于，所述对所述目标生产线运行图像进行图像特征提取，得到特征生产线运行图像，并对所述特征生产线运行图像进行设备和物料运动跟踪，得到设备运动轨迹数据以及物料运动轨迹数据，包括：

通过预置的CNN模型对所述目标生产线运行图像进行卷积运算，得到卷积运算结果，并根据所述卷积运算结果对所述目标生产线运行图像进行图像特征提取，得到特征生产线运行图像；

通过光流法对所述特征生产线运行图像进行设备运动跟踪，得到所述特征生产线运行图像中的设备运动状态位置；

根据所述设备运动状态位置，对所述目标生产线进行设备运动轨迹分析，得到设备运动轨迹数据；

通过KLT跟踪器对所述特征生产线运行图像进行物料运动跟踪，得到所述特征生产线运行图像中的物料运动状态位置；

根据所述物料运动状态位置，对所述目标生产线进行物料运动轨迹分析，得到物料运动轨迹数据。

4.根据权利要求1所述的基于图像分析的防堵送料方法，其特征在于，所述对所述设备运动轨迹数据以及所述物料运动轨迹数据进行流量计算，得到设备流量数据以及物料流量数据，并对所述设备流量数据以及所述物料流量数据进行送料影响系数分析，得到目标送料影响系数，包括：

对所述设备运动轨迹数据进行路径长度计算，得到设备路径长度数据，并对所述物料运动轨迹数据进行路径长度计算，得到物料路径长度数据；

根据所述设备路径长度数据，对所述设备运动轨迹数据进行流量计算，得到设备流量数据，并根据所述物料路径长度数据，对所述物料运动轨迹数据进行流量计算，得到物料流量数据；

分别对所述设备流量数据和所述物料流量数据进行曲线转换，得到设备流量曲线和物料流量曲线；

分别对所述设备流量曲线和所述物料流量曲线进行特征提取，得到设备流量特征集合和物料流量特征集合；

采用皮尔逊相关系数，对所述设备流量特征集合和所述物料流量特征集合进行送料影响系数分析，得到目标送料影响系数。

5.根据权利要求4所述的基于图像分析的防堵送料方法，其特征在于，所述根据所述目标送料影响系数对所述设备流量数据以及所述物料流量数据进行瓶颈识别和瓶颈影响度分析，得到目标瓶颈区域和瓶颈影响度数据，包括：

对所述设备流量数据以及所述物料流量数据进行瓶颈识别，得到初始瓶颈区域；

根据所述目标送料影响系数，对所述初始瓶颈区域进行瓶颈区域校正，得到目标瓶颈区域；

对所述设备流量数据以及所述物料流量数据进行时间序列分析，得到时间序列分析结果；

对所述设备流量数据以及所述物料流量数据进行熵计算，得到目标熵；

根据所述目标熵，对所述设备流量数据以及所述物料流量数据进行瓶颈影响度分析，得到初始影响度数据；

根据所述时间序列分析结果，对所述初始影响度数据进行影响度优化，得到瓶颈影响度数据。

6.根据权利要求1所述的基于图像分析的防堵送料方法，其特征在于，所述基于所述目标瓶颈区域和所述瓶颈影响度数据构建所述目标生产线的第一防堵送料策略，并通过预置的多岛遗传算法对所述第一防堵送料策略进行策略优化，得到第二防堵送料策略，包括：

对所述目标瓶颈区域和所述瓶颈影响度数据进行防堵送料策略分析，得到所述目标生产线的第一防堵送料策略；

通过预置的多岛遗传算法对所述第一防堵送料策略进行岛屿初始化，得到多个目标岛屿，并分别在每个目标岛屿上生产不同的初始种群，其中，初始种群包括多个第一候选策略；

通过预置的适应度函数，分别计算每个第一候选策略的适应度值，所述适应度函数为：D，D(x)表示个体的适应度值，/>表示第/>个特征的权重，/>表示第/>个特征值；

根据每个第一候选策略的适应度值，对所述多个第一候选策略进行选择、交叉和变异，得到每个目标岛屿多个第二候选策略；

对每个目标岛屿多个第二候选策略进行策略选取，得到每个目标岛屿的多个第三候选策略；

对每个目标岛屿的多个第三候选策略进行岛屿间迁移和局部搜索，得到第二防堵送料策略。

7.根据权利要求1所述的基于图像分析的防堵送料方法，其特征在于，所述采用序列二次规划法对所述第二防堵送料策略进行二次规划求解，得到目标防堵送料策略，包括：

采用序列二次规划法，定义所述目标生产线的目标函数和约束条件，其中，目标函数为：，f(x)表示优化问题的目标函数，/>表示第i个变量的系数，/>表示第/>个变量；

将所述第二防堵送料策略作为初始解，并通过所述目标函数对所述初始解进行迭代计算，得到当前解；

根据所述当前解，计算所述目标函数和所述约束条件的梯度；

基于所述梯度定义二次规划子问题，并基于所述二次规划子问题确定所述当前解的最佳更新方向和步长；

根据所述最佳更新方向和步长，对所述第二防堵送料策略进行迭代更新求解，直至满足预设终止条件，得到目标防堵送料策略。

8.一种基于图像分析的防堵送料系统，其特征在于，所述基于图像分析的防堵送料系统包括：

采集模块，用于对目标生产线进行图像采集，得到初始生产线运行图像，并对所述初始生产线运行图像进行图像预处理，得到目标生产线运行图像；

提取模块，用于对所述目标生产线运行图像进行图像特征提取，得到特征生产线运行图像，并对所述特征生产线运行图像进行设备和物料运动跟踪，得到设备运动轨迹数据以及物料运动轨迹数据；

计算模块，用于对所述设备运动轨迹数据以及所述物料运动轨迹数据进行流量计算，得到设备流量数据以及物料流量数据，并对所述设备流量数据以及所述物料流量数据进行送料影响系数分析，得到目标送料影响系数；

分析模块，用于根据所述目标送料影响系数对所述设备流量数据以及所述物料流量数据进行瓶颈识别和瓶颈影响度分析，得到目标瓶颈区域和瓶颈影响度数据；

优化模块，用于基于所述目标瓶颈区域和所述瓶颈影响度数据构建所述目标生产线的第一防堵送料策略，并通过预置的多岛遗传算法对所述第一防堵送料策略进行策略优化，得到第二防堵送料策略；

求解模块，用于采用序列二次规划法对所述第二防堵送料策略进行二次规划求解，得到目标防堵送料策略。