CN117523296A - 智能物流叠件检测方法 - Google Patents

Abstract

本发明提供了一种智能物流叠件检测方法，包括有如下步骤：步骤一：将检测设备安装至传送带上，将检测区域对准传送带，然后通过启动检测设备；步骤二：检测区域内存在包裹，通过传感器系统对包裹进行拍照，生成包裹的图像；步骤三：将采集到的图像传递给检测算法模型，通过卷积神经网络提取出包裹的特征信息,在图片上定位包裹的位置，并将包裹区域的图片信息提取；步骤四：将提取的包裹区域的图片信息递给分类算法模型，分类算法模型对包裹的状态进行预测，在预测完成后，将预测值与预先定义的阈值进行比较，以确定包裹的状态；步骤五：输出检测结果；步骤六：根据检测结果，对被检测的包裹进行分选；解决了传统的检测方法泛用性不足的问题。

Description

智能物流叠件检测方法

技术领域

本发明属于物流技术领域，更具体地说，特别涉及智能物流叠件检测方法。

背景技术

最早的叠件检测技术主要采用人工方式，通过肉眼观察叠放情况，判断是否出现异常。这种方式效率低下，人工进行叠件检测需要大量的人力成本和时间成本。检测人员需要仔细观察物品的叠放情况，判断是否出现异常，这需要花费大量的时间和精力；其次，精度有限，人工进行叠件检测时，由于疲劳、注意力不集中等因素，会存在一定的误差和误判；而且，具有难以处理多任务和不确定性问题，在实际的物流场景中，需要同时进行多种任务的检测，如形状、颜色、尺寸等。人工进行检测时，需要针对不同任务进行观察和分析，工作量巨大。

如202011499123.6的中国发明专利，提供了异常件检测与调流分拣方法,该方法中，提出了利用视觉识别装置逐一进行拍照以生成图像信息，获取每一包裹的三维尺寸数据与实时位置坐标，根据包裹图像进行传统的机器视觉算法识别异形件，而机器视觉算法需要通过人工设计特征和算法来进行检测，因此会存在一定的误差和误判。此外，传统的机器视觉算法需要进行复杂的图像处理和计算，不光需要更多的计算资源，而且难以处理多任务。

发明内容

为了解决上述技术问题，本发明提供了智能物流叠件检测方法，以解决现有技术中，传统的检测方法需要通过人工设计特征和算法来进行检测，会存在一定的误差和误判，导致其泛用性不足的技术问题。

本发明的智能物流叠件检测方法目的与功效，由以下具体技术手段所达成：

一种智能物流叠件检测方法，包括有以下步骤：

步骤一：将检测设备安装至传送带上，在安装过程中，需要确保检测设备的检测区域对准所述传送带，然后启动所述检测设备；

步骤二：所述检测区域内存在包裹时，通过传感器系统对所述包裹进行拍照，生成所述包裹的彩色图像，所述彩色图像作为后续分析和检测的基础数据；

步骤三：将采集到的所述彩色图像传递到检测算法模型中，通过卷积神经网络对所述彩色图像进行分析，根据包裹的特征信息，定位到包裹在图片上的位置，并裁剪出包裹区域的图片信息；

步骤四：将所述裁剪出包裹区域的图片信息传递到分类算法模型中，通过所述分类算法模型对包裹的状态进行预测，在预测完成后，将预测值与预先定义的阈值进行比较，以确定所述包裹的状态；

步骤五：输出检测结果；

所述检测结果包括有包裹位置信息、包裹外包围盒信息与包裹状态信息；

步骤六：根据所述检测结果对被检测的包裹进行分选。

作为本发明的进一步方案，在步骤二中，所述传感器系统还包括有光电触发器、多组光源与相机，所述检测设备上设置有所述相机，所述相机两侧分别设置有所述光源。

作为本发明的进一步方案，多组所述光源均朝向所述检测区域，所述检测区域内设置有所述光电触发器，所述光电触发器检测到所述包裹，p l c控制器收到光电信号，通过所述相机对所述包裹拍照，生成所述彩色图像。

作为本发明的进一步方案，在步骤四中，所述算法模型基于深度学习技术，所述算法模型包括有检测模型与分类模型，所述分类模型可根据所述包裹特征信息，将所述包裹进行单件或叠件的分类；

作为本发明的进一步方案，所述叠件的分类标准为：两组或多组所述包裹在所述传送带上处于并排或重叠状态；两组或多组所述包裹在所述传送带上前后布置，且两组或多组所述包裹之间的间距小于设定值；所述包裹特征信息为叠件；

作为本发明的进一步方案，基于所述两组或多组包裹的重叠状态，需要下方的所述包裹露出超过自身面积的10％，即可被所述检测模型所检测。

作为本发明的进一步方案，所述深度学习包括有数据采集、数据处理与模型训练。

作为本发明的进一步方案，在步骤六中，所述检测结果的发送方式为以太网或串口通信。

与现有技术相比，本发明具有如下有益效果：

1.与现有技术相比，通过传感器系统的设置，通过光电触发器来检测包裹，然后通过相机对包裹进行拍照，实现了对包裹的高效拍照和图像采集；能够确保在检测区域内存在包裹时能够及时触发相机拍摄，生成高质量的彩色图像作为后续分析和检测的基础数据，解决了传统的检测方法需要通过人工设计特征和算法来进行检测的问题，提高了检测的准确性和可靠性，为后续的分析和处理提供了可靠的数据基础。

2.通过算法模型的设置，算法模型采用基于深度学习技术，包括有检测模型与分类模型，能够实现对包裹状态的高效预测和分类；检测模型能够基于采集到的包裹高清彩色图片，检测图片上每个包裹的实时位置，而分类模型能够对包裹的特征信息进行准确提取，并将包裹进行单件或叠件的分类；提高了对包裹状态的准确性和可靠性，为后续的处理提供了可靠的判断依据。

3.通过采用以太网或串口通信作为检测结果的发送方式，实现了对底层PLC控制系统的快速响应和控制；这种通信方式能够确保检测结果能够及时准确地传送至PLC控制系统，使其能够根据包裹的检测结果进行相应的控制措施，提高了该检测方法的响应速度和处理效率，实现了对被检测的包裹的快速处理和管理。

4.通过采用深度学习技术的算法模型进行训练与迭代优化，能够不断提升对包裹特征信息的识别和分类能力；能够使该检测方法具备更强的自适应能力，能够适应不同类型、形状和尺寸的包裹，提高了该检测方法的适用性和普适性。

5.通过基于叠件的分类标准和对重叠状态的要求，能够有效地减少误检率，提高了该检测方法的准确性和可靠性；通过要求下方的包裹露出超过自身面积的10％，并结合传感器系统的高效拍照和图像采集，能够有效减少漏检和误检的情况，提高了检测的精准度和可信度，这样的设计能够有效提高该检测方法的工作效率和准确性，为物流叠件的自动化管理提供了可靠的技术支持。

附图说明

图1是本发明智能物流叠件检测方法的检测流程示意图；

图2是本发明智能物流叠件检测方法中深度学习的流程示意图；

图3是本发明智能物流叠件检测方法中检测设备的结构示意图；

图4是本发明智能物流叠件检测方法中传感器系统的原理框图；

图5是本发明智能物流叠件检测方法中包裹并排的特征示意图；

图6是本发明智能物流叠件检测方法中包裹重叠的特征示意图；

图7是本发明智能物流叠件检测方法中包裹间距过小的特征示意图。

图中，部件名称与附图编号的对应关系为：

1、相机；2、光源；3、电控箱；D、最小间距。

具体实施方式

为了进一步理解本发明，下面结合附图与实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

在本发明的描述中，除非另有说明，“多组”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例：

请参阅如图1至图7所示，本发明提供了一种智能物流叠件检测方法，包括有以下步骤:

步骤一：将检测设备安装至传送带上，需要确保设备的检测区域能够准确对准传送带；在安装过程中，必须进行精确的校准和调整，以确保设备能够准确捕捉传送带上的包裹并进行有效的检测，当设备安装到位并且校准完成，接下来需要通过电控箱3启动检测设备；电控箱3是设备的控制中心，能够对设备进行启动、停止和调整参数等操作，通过电控箱3启动设备后，检测设备将开始对传送带上的包裹进行检测和监测，确保包裹的状态符合要求，并能够及时发出检测结果；因此，在安装和启动过程中的精确性和准确性至关重要，这将直接影响到后续的检测效果和运行稳定性；

步骤二：当检测区域内存在包裹时，传感器系统立即触发对这些包裹进行拍照，生成它们的彩色图像；这些彩色图像将作为后续分析和检测的基础数据，为系统提供了丰富的视觉信息；通过这些图像，系统能够获取关于包裹外观、形状、颜色等多方面的详细信息，为后续的分析和检测提供了可靠的数据基础；这样的设计能够确保系统对包裹的状态进行全面而准确的分析，提高了系统对包裹的识别和分类能力。同时，利用彩色图像作为基础数据，还能够为后续的图像处理和分析提供更多的信息；

步骤三：将采集到的彩色图像传递给检测算法模型中进行运算，通过卷积神经网络对这些彩色图像进行分析，能够准确地提取出包裹的特征信息；卷积神经网络是一种深度学习技术，能够模拟人类视觉系统的工作原理，通过多层次的卷积和池化操作，从图像中提取出丰富的特征信息；这些特征信息包括包裹的外形、纹理、颜色等多方面的特征，为后续的包裹识别和分类提供了重要的数据支持；使得该检测方法能够准确而高效地对包裹进行特征提取，为后续的分析和决策提供了可靠的基础，能够有效提高识别和分类能力，为物流叠件的自动化管理提供了可靠的技术支持；

步骤四：将检测模型定位到的包裹区域图片信息传递到分类算法模型中进行处理，通过分类算法模型对包裹的状态进行预测，当预测完成，将预测值与预先定义的阈值进行比较，以确定包裹的状态；分类算法模型能够根据提取的特征信息，对包裹进行准确的状态预测，例如包裹的完好程度、尺寸、重量等。通过与预先定义的阈值进行比较，系统能够准确地判断包裹的状态，如正常、异常、损坏等。这一步骤能够为后续的包裹处理和分拣提供重要的决策依据，确保包裹能够得到及时而准确的处理。这样的设计不仅提高了系统的自动化处理能力，也能够有效降低人工干预的需求，提高了物流处理的效率和准确性；

步骤五：输出检测结果，检测结果包括包裹的位置信息、包裹外包围盒信息以及包裹的状态信息；包裹的位置信息能够准确指示包裹在物流系统中的具体位置，这对于后续的包裹处理和跟踪非常重要。包裹外包围盒信息提供了包裹在图像中的准确边界框信息，这有助于后续的包裹识别和定位；同时，包裹的状态信息能够清晰地表明包裹的当前状态，例如完好、损坏、异常等，为后续的处理和决策提供了重要的参考依据；通过输出这些综合信息，系统能够为物流管理和运输提供准确而全面的包裹信息，提高了物流处理的效率和可靠性；这样的设计能够确保系统对包裹的状态进行全面而准确的分析，提高了系统对包裹的识别和分类能力；

步骤六：将检测结果发送至底层PLC控制系统，当PLC控制系统接收到检测结果时，它将根据包裹的状态进行相应的控制措施，包括自动分拣、包裹的运输路径调整、异常包裹的拦截和处理等；通过将检测结果传递给PLC控制系统，通过机械手对包裹进行分选，PLC控制系统能够根据检测结果进行快速而准确的反应，提高了物流系统的自动化处理能力，减少了人工干预的需求，提高了整个物流系统的处理效率和可靠性。

其中，请参阅如图3与图4所示，在步骤二中，传感器系统还包括光电触发器、多组光源2与相机1，在检测设备上设置有相机1，在相机1的两侧分别设置有光源2，光电触发器能够精确地感知包裹的到达和离开，并且触发相机1对包裹进行图像采集，而多组光源2的设置能够提供不同角度和强度的光照，以确保在不同环境下都能够获得清晰、准确的包裹图像，提高了彩色图像的精确性；通过在检测设备设置的相机1，能够实现对包裹的高速、高精度的拍摄，而两侧设置光源2则能够有效地减少阴影和提高图像的清晰度；这样的设计能够确保传感器系统能够在不同条件下对包裹进行准确的检测和识别，为后续的包裹处理提供可靠的数据支持；同时，光电触发器的应用也能够提高系统的实时性和响应速度，确保包裹的检测和采集能够在最短的时间内完成，提高了整个物流系统的处理效率和准确性。

其中，请参阅如图3与图4所示，多组光源2均朝向检测区域，检测区域内设置有光电触发器，当光电触发器检测到包裹进入检测区域时，向PLC控制器发送光电信号，而PLC控制器在接收到信号后，控制相机1对包裹进行拍照，生成彩色图像，多组光源2的设置能够提供充足的光照，确保包裹在不同角度下都能够被准确地拍摄；同时，光电触发器的应用能够精确地感知包裹的到达和离开，保证相机1能够在包裹进入检测区域时及时进行拍照，提高了系统的实时性和响应速度；为后续的包裹处理和分析提供了可靠的基础数据支持。

其中，请参阅如图2所示，在步骤四中，所述算法模型基于深度学习技术，可以通过大量的数据训练神经网络，从而获得更高的准确性在叠件检测的问题上，深度学习算法可以更准确地识别叠件的数量和位置，避免漏检和误检的情况；还可以通过多层次的特征提取和抽象，从而获得更强的鲁棒性，在叠件检测的问题上，深度学习算法可以更好地适应不同的光照、角度和尺度变化，从而提高检测的鲁棒性；深度学习算法可以通过GPU等硬件加速，从而获得更快的速度，在叠件检测的问题上，深度习算法可以更快地处理大量的数据，从而提高检测的速度，并且，增加网络深度和宽度，从而获得更好的可扩展性，在叠件检测的问题上，深度学习算法可以更好地适应不同的场景和应用需求，从而提高检测的可扩展性。

其中，请参阅如图2所示，所述深度学习包括有数据采集，数据处理与模型训练；

数据采集：采集不同应用场景下，以皮带面为背景的包裹图片，包括单件、叠件等不同状态下的包裹，将数据分为检测模型和分类模型使用的两部分数据集，每个数据集再分为训练集、验证集和测试集，对于检测模型使用的数据集，，需要对图片进行标注，对于分类模型使用的数据集，需要对图片进行单件、叠件分类；

数据处理：对于检测数据集，需要进行以下处理操作，随机裁剪、随机缩放、随机旋转、随机增亮等，以增强检测模型的泛化能力，对于分类数据集，需要进行以下预处理操作：随机三通道变换、随机反转、随机旋转、模糊、随机增亮、对比度增强等，以突出包裹的边缘特征信息，提高分类模型的准确率；

模型训练、优化与部署：分别使用检测数据集中的训练集和分类数据集中的训练集，对检测和分类模型进行训练。训练完成后，利用相应的测试集对模型进行评估，并针对评估结果，对模型进行优化，包括调整模型的超参数，如学习率、正则化系数等；将模型的权重和偏置量化为低精度的数值，以减少模型的计算量；对模型进行剪枝，去除不必要的神经元和连接，以减少模型的大小和计算量。然后，训练好的模型转换为基于TensorRT加速的推理文件。

分类模型能够根据包裹的特征信息，对包裹进行单件或叠件的分类，通过深度学习技术，算法模型能够自动学习和识别不同包裹的特征，从而实现对包裹的快速而准确的分类；能够大大提高包裹分类的自动化水平，减少人工干预的需求，提高整个物流系统的处理效率和可靠性，同时，深度学习技术的应用也能够不断优化算法模型，使其在处理复杂情况时具有更好的鲁棒性和准确性，为物流系统的智能化发展提供了可靠的技术支持。

通过深度学习训练，使得该算法模型具有训练与迭代优化的能力；可以通过训练，算法模型根据输入的数据不断学习和调整参数，从而提高对包裹特征的识别和分类能力，随着不断的迭代优化，算法模型可以逐渐提升其性能，使其在处理各种复杂情况时具有更高的准确性和鲁棒性。这种训练与迭代优化的过程能够不断提升算法模型的智能化水平，使其能够适应不同的物流环境和包裹特征，为物流系统的自动化和智能化发展提供了可靠的技术基础。

其中，请参阅如图5与图6所示，所述叠件的分类标准包括以下几个方面：当两组或多组包裹在传送带上处于并排或重叠状态时，可以被归类为叠件；其次，当两组或多组包裹在传送带上前后布置，且两组或多组包裹之间的间距小于设定值时，也可以被判定为叠件；这些分类标准和特征信息的分析，能够帮助系统准确地识别和分类叠件，从而实现对不同类型包裹的自动化处理和管理。

其中，请参阅如图7所示，基于所述两组或多组包裹的重叠状态，需要下方的所述包裹露出超过自身面积的10％才能被所述检测模型所检测，这意味着当包裹在重叠时，只有当下方的包裹露出的面积超过自身的10％时，检测模型才能够准确地检测到该包裹；这一设计考虑到了包裹在重叠状态下的特殊情况，确保了检测模型能够准确地识别和检测到重叠的包裹，从而实现对包裹的精准分类和处理。

在步骤六中，检测结果的发送方式可以通过以太网或串口通信进行，这意味着检测结果可以通过网络传输的方式，例如以太网协议，将结果发送到指定的目标设备或系统中，另外，也可以利用串口通信的方式，将检测结果以串口通信的形式发送给相关的操作人员或监控系统；这种灵活的发送方式可以确保检测结果能够及时地传输到指定的接收端，从而实现对包裹状态的实时监测和处理。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种智能物流叠件检测方法，其特征在于：包括有以下步骤：

步骤一：将检测设备安装至传送带上，在安装过程中，需要确保检测设备的检测区域对准所述传送带，然后启动所述检测设备；

步骤二：所述检测区域内存在包裹，通过传感器系统对所述包裹进行拍照，生成所述包裹的彩色图像，所述彩色图像作为后续分析和检测的基础数据；

步骤三：将采集到的所述彩色图像传递给检测算法模型，通过卷积神经网络对所述彩色图像进行分析，根据包裹的特征信息，定位到包裹在图片上的位置，并裁剪出包裹区域的图片信息；

步骤四：将所述裁剪出包裹区域的图片信息传递给分类算法模型，通过所述分类算法模型对包裹的状态进行预测，在预测完成后，将预测值与预先定义的阈值进行比较，以确定所述包裹的状态；

步骤五：输出检测结果；

所述检测结果包括有包裹位置信息、包裹外包围盒信息与包裹状态信息；

步骤六：根据检测结果对被检测的包裹进行分选。

2.根据权利要求1所述的智能物流叠件检测方法，其特征在于：在步骤二中，所述传感器系统还包括有光电触发器、多组光源(2)与相机(1)，所述检测设备上设置有所述相机(1)，所述相机(1)两侧分别设置有所述光源(2)。

3.根据权利要求2所述的智能物流叠件检测方法，其特征在于：多组所述光源(2)均朝向所述检测区域，所述检测区域内设置有所述光电触发器，所述光电触发器检测到所述包裹，plc控制器收到光电信号，通过所述相机(1)对所述包裹拍照，生成所述彩色图像。

4.根据权利要求1所述的智能物流叠件检测方法，其特征在于：在步骤四中，所述算法模型基于深度学习技术，所述算法模型包括有检测模型与分类模型，所述分类模型可根据所述包裹特征信息，将所述包裹进行单件或叠件的分类。

5.根据权利要求4所述的智能物流叠件检测方法，其特征在于：所述叠件的分类标准为：两组或多组所述包裹在所述传送带上处于并排或重叠状态；两组或多组所述包裹在所述传送带上前后布置，且两组或多组所述包裹之间的间距小于设定值；所述包裹特征信息为叠件。

6.根据权利要求5所述的智能物流叠件检测方法，其特征在于：基于所述两组或多组包裹的重叠状态，需要下方的所述包裹露出超过自身面积的10％，即可被所述检测模型所检测。

7.根据权利要求4所述的智能物流叠件检测方法，其特征在于：所述深度学习包括有数据采集、数据处理与模型训练。

8.根据权利要求1任一项所述的智能物流叠件检测方法，其特征在于：在步骤六中，所述检测结果的发送方式为以太网或串口通信。