CN115641357A - 基于机器学习的智慧仓储人员跟踪算法与视频监控系统 - Google Patents

Abstract

本发明涉及一种基于机器学习的智慧仓储人员跟踪算法与视频监控系统，相较于传统人员跟踪算法能较好地适应跟踪目标的遮挡变化，跟踪精度和处理速度都得到了提高，算法的抗干扰能力和鲁棒性都得到了验证。其中，系统包括：系统功能设置模块、监控信息管理模块、异常行为管理模块、综合统计查询模块。方法包括：检测出运动目标，使用YOLO算法初始化跟踪窗口，使用Camshift算法跟踪目标，对目标是否被遮挡进行判断，若遮挡，则利用遮挡前n帧图像二次拟合的位置作为观测值，若没有遮挡，则使用Camshift计算值作为观测值，最后更新目标位置，输出跟踪结果。最终完成对人员目标的跟踪。

Description

基于机器学习的智慧仓储人员跟踪算法与视频监控系统

技术领域

本发明属于智慧仓储管理领域，尤其涉及一种基于机器学习的智慧仓储人员跟踪算法与视频监控系统。

背景技术

随着经济全球化的持续深化与发展，现代供应链连接上下游企业，围绕产品全生命周期，打破业务边界，成为优化经济结构、促进经济转型的强大引擎，也成为提升行业竞争力、增强发展新动能的重要依托。物流仓储安全是物流企业至关重要的生产作业环节。随着机器学习技术的兴起，物流仓储安防视频监控的方式正悄悄发生转变。传统的视频安防监控己不能满足物流企业日益增长的安防需求，正在向基于机器学习的视频监控的方向寻求发展。

在仓储安防领域，绝大部分应用依然属于传统视频监控研究范畴，视频监控未实现智能化、精准化，对仓储场景的分析判断需要依靠监控人员人工判断，仅停滞在“远程监视”的能力水平，无法为实现“仓储状况一目了然、风险管控一线贯穿”起到强有力的支撑作用，亟需技术改革与升级。

目标检测与跟踪算法是智能仓储人员跟踪系统的重点，需要基于机器学习的目标跟踪系统来智能地为用户提供帮助，同时实时有效、准确地检测和跟踪用户感兴趣目标的运动轨迹。

针对以上需求，本发明提出了一种基于机器学习的智慧仓储人员跟踪算法与视频监控系统，旨在提升目标跟踪的准确率，提高智慧仓储系统服务质量。

发明内容

本发明的目的在于提出一种基于机器学习的智慧仓储人员跟踪算法与视频监控系统，针对智慧仓储系统的人员跟踪需求，提出一种合理有效的机器学习算法。

本发明提供的一种基于机器学习的智慧仓储人员跟踪算法，其特征在于，所述算法包括：

根据在视频图像中目标区域在相邻视频帧之间的变化率来确定遮挡程度，然后使用一种基于差分滤波的YOLO目标检测算法，将运动目标提取出来进行跟踪。

在严重遮挡的情况下，本发明设计了一种将Camshift算法与改进的YOLO 检测相结合的方法来跟踪运动目标。

在视频图像序列中，YOLO检测算法是不断地进行回归，提取目标候选框，把输入的图像视频使用卷积神经网络，然后查找目标，来进行特征提取。最后对目标候选框来进行选择，接着过滤，得到最终的候选框。

使用YOLO目标检测算法通过检测候选区域来预测每个候选区域中是否有目标对象。如果区域中有目标，则置信度等于候选框和目标框的交并比；没有目标，则置信度为零。表达式如下：

其中，Pr(Object)指示网格中是否有对象：

表示候选框和目标框的交并比，表达式如下：

假设视频图像中每一个视频帧的像素值序列是{X₁,X₂,L,X_n}。当前视频帧的像素值概率密度计算公式如下：

ω_i,n表示在时间序列为n，第i个图像像素点，它的高斯函数模型的占比系数；μ_i,n实在时间序列为n时，第i个图像像素点的平均期望值；∑_i,n是在时间序列为 n时，第i个图像像素点的协方差矩阵；η是概率密度公式。

当像素值与K高斯函数分布不匹配时，剔除最低权重，高斯分布函数的权重如下：

ω_i,n＝(1-α)ω_i,n-1+α(L_i,n) (6)

在上面的公式中，α表示学习率。表示模型是否匹配，匹配时设置其值为1，否则设置其值为0；ω_i,n是当前视频图像像素值随着时间顺序的第i个高斯分布的概率的平均值，背景模型的估计由以下公式获得：

其中B分布被确定为当前时间视频帧的背景模型；T是判决阈值。

对于视频帧的检测和筛选策略，首先利用差分后的概率值结果图提取目标检测候选框。当该帧没有候选框时，该帧被标记为0，当有候选框时，该帧被标记为1。执行下一候选框距离度量确定。当确定结果小于标准值时，执行交叉帧处理。候选框框匹配；假设当前视频帧候选框T的左下角坐标为(X₀,Y₀)，右上角坐标为(X₁,Y₁)；后续视频帧框架候选框G的左下角坐标为(A₀,B₀)，右上角坐标为(A₁,B₁)，a为标准阈值。

接下来计算当前的视频帧，与接下来的视频图像帧中的每一帧的目标候选框，它们之间的的IOU值，然后将得到的最大值，来计算欧几里德距离，进行度量比较。判断公式如下：

当Dis<α时，然后跨越当前帧，不发送到YOLO框架进行检测。假设I_i和 B_i分别是当前视频帧和背景图像；T_i,t是最小阈值；对于当前视频帧的像素点 (x,y)，当|I_i(x,y)-B_i(x,y)|>T_i,t时，这个像素点就会被确定为前一帧的视频像素点。

传统的目标检测算法精度低，不能提供准确的检测结果，难以达到较髙的跟踪精度，甚至造成较多的失配，将YOLO目标检测算法集成到CamShift跟踪算法框架中，以YOLO检测到的目标候选框作为跟踪的基础，完成端到端的多目标视觉跟踪任务。CamShift算法寻找最佳目标候选区域，目标跟踪是从搜索窗口中获取下一帧视频图像。

首先在处理第一帧图像时，将它进行图像增强的预处理，此时把图像视为两个变量，入射图像和反射图像：

M(x,y)＝R(x,y)×L(x,y) (10)

在视频图像中M(x,y)是初始图像，反射分量记作R(x,y)，入射分量记作 L(x,y)；然后取对数简化计算。

log M＝(R×L)＝log R+log L (11)

令m＝log M,r＝log R,l＝log L，即r＝m-l。在这里，先来计算入射分量，用高斯函数模型和初始图像视频帧的概率值，然后相互卷积运算，即：

其中r(x,y)为输出图像，

为卷积公式，F(x,y)为图像的中心位置，即：

∫∫F(x,y)dxdy＝1 (14)

在跟踪过程中，目标与背景之间的遮挡往往会引发严重的跟踪误差。因此，检测遮挡并区分遮挡程度至关重要。目标的区域面积在不同的帧中都有细微的变化，此外，当发生遮挡时，目标面积会发生明显的变化。因此，利用区域面积变化的值作为特征来估计遮挡程度。将运动目标在时刻t和时刻t+1的面积分别定义为S_t和S_t+1。这里可以来计算相邻视频帧之间，它们的目标区域的面积相互遮挡后的变化率F_s，如式(15)。

然后根据变化率定义三个遮挡级别：F_s<α₁表示在可接受的误差范围内没有遮挡或目标区域的变化率相对较小；α₁<F_s<α₂表示部分遮挡；F_s>α₂表示严重遮挡。其中，α₁是相对较低的阈值，而α₂是相对较高的阈值。

最后按照是否遮挡，执行不同的算法方案，更新目标位置，输出人员跟踪结果。

本发明提供的一种基于机器学习的智慧仓储人员跟踪算法与监控管理系统，其特征在于，所述系统包括：

系统功能设置模块，此模块含有系统管理中常用的基本功能，比如常用的公司信息管理、企业部门信息管理、使用人员角色信息管理、系统用户信息管理等。可以管理员依靠此模块配置系统功能，设置系统数据。

监控信息管理模块，此模块含有智慧仓储实时视频监控数据、历史监控数据、监控设备管理、仓储设备参数的设置、仓储预警级别设置等功能。智慧仓储实时监控数据可以保存、查看和查询当前监控设备采集的监控视频信息。历史监控数据通过输入查询日期查看前一台监控设备采集的视频信息。在监控设备管理中，可以增加新的监控设备，也可以删除已经保存的监控设备。设备参数设置中可以对监控设备的系统参数进行配置。预警等级包括预警类型、预警输出等设置信息。

异常行为管理模块，此模块负责预警异常行为，收集并存储历史预警数据，设置预警等级，保存异常行为标准库与目标库。要实现异常行为预警的功能，首先把实时视频监控数据进行读取出来，接着预处理视频监控数据，然后分析，得出当前视频中是否存在异常行为。历史预警数据中保存了之前物流仓储监控视频中的人员异常预警信息，是可以对所有预警信息进行综合统计分析的基础。异常行为词库对物流仓储中经常出现的，非常典型的异常行为，比如摔倒、盗窃等异常行为建立了标准库，可以与实时的监控视频数据进行对比。异常行为特征库中存储了异常特征分析算法所提取的典型异常行为特征，可以和实时视频数据或历史视频数据中所提取的行为特征进行比较，来判断是否发生了异常行为。异常人员数据库用于保存经历过异常行为的人员的基本信息，作为异常行为监测的人员对象。疑似异常人群库中的人员也需要监控，但不能完全确定他们是否发生了异常行为，但在特征分析中有发生异常行为的倾向。

综合统计查询模块，此模块可以根据公司属性、企业部门的属性、监控视频起止日期时间等相应条件，对视频数据、预警信息、异常信息、人员信息等进行全面过滤查询。

本发明的有益效果是：本发明公开一种基于机器学习的智慧仓储人员跟踪算法与视频监控系统，首先需要检测出运动目标，然后使用YOLO算法初始化跟踪窗口，使用Camshift算法跟踪目标，判断是否遮挡，更新目标位置，输出跟踪结果。本发明能有效提高智慧仓储人员跟踪系统的跟踪精度，同时在处理速度方面也具有较好的优势。

附图说明

下面结合附图和实例对本发明作进一步说明

图1为本发明提供的一种混合YOLO和Camshift算法流程图；

图2为本发明提供的一种智慧仓储人员跟踪与监控管理系统功能结构图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的解释说明，但应当理解为本发明的保护范围并不受具体实施例的限制。

图1为本发明提供的一种混合YOLO和Camshift算法流程图。具体包括：

在这一部分中，本发明设计了一种结合Camshift算法和基于改进的YOLO 检测的抗遮挡目标跟踪方法。这是一种寻找概率分布的模式的稳健统计方法。这是一种非常快速和简单的跟踪方法，因为Camshift跟踪的是一个目标的概率分布的中心和大小，而且它的性能只和这个目标产生的概率分布一样。通常情况下，概率分布是通过直方图从颜色中得到的，虽然它可以从相关性和识别分数中产生，也可以通过帧差、运动检测方案、不同颜色/运动的联合概率等方法得到增强。首先，利用该检测方法提取视频序列中的运动目标。测量每个移动目标以获得其运动位置参数。根据遮挡检测结果，反遮挡目标跟踪算法可以采用两种不同的策略来应对两种情况：无遮挡或部分遮挡和严重遮挡。在无遮挡或部分遮挡的情况下，采用基于改进的YOLO检测跟踪运动目标，并利用目标的位置更新YOLO 检测的状态。在严重遮挡的情况下，将迭代Camshift算法与基于改进的YOLO 检测预测机制相结合来搜索运动目标，而不需要更新YOL0检测的状态。最后，确定目标在图像中的实际位置。设位于移动目标区域中的像素点为 {x_i},i＝1,2,L,n，其中n，它是移动目标的像素数，x它是想要得到的目标的质心。混合跟踪算法，它的具体的计算步骤如下：

步骤1，建立YOLO检测器，对每个新的目标建立基于改进的YOLO检测器，并使用YOLO检测器预测目标的位置x。

步骤2，计算目标区域的变化率F_s，估计目标的遮挡程度。如果F_s<α₁或者α₁<F_s<α₂，则利用距离特征得到目标的位置。如果Camshift己初始化,就继续执行步骤3。否则，在初始化无遮挡情况下，运行Camshift运算,计算p_u(x)，如式(16)所示。

式中C是单位密度系数，K(x)是核函数，h是像素采样期间的步长，m是特征的数量，b(x_i)是x_i的一系列级数δ(x)是Kronecker函数。如果x_i的特征值是u，则δ(x)＝1，否则δ(x)＝0。

步骤3，如果F_s>α₂，则使用YOLO检测预测目标位置，去搜索运动目标可能所在的区域。然后作为候选目标区域，目标区域的质心坐标是x_c。然后，候选目标区域的概率分布直方图q_u(x_c)以式(17)计算所得。

视频图像中的跟踪目标，它和候选目标区域，它们两者之间的ρ(x)，也就是上文中的巴氏系数，可以定义为式(18)：

然后，目标的中心位置由式(19)计算所得，其中w_i是第i个像素的权重。

步骤4，如果x₁-x₀≤α，则满足迭代条件。然后，将x₁确定为目标位置，并更新YOLO检测器。如果迭代条件不匹配，则不需要更新YOLO检测器，并将x₁定义为当前帧中的目标位置。返回步骤1继续处理下一个视频帧。

图2为本发明提供的一种智慧仓储人员跟踪与监控管理系统功能结构图。具体包括：

系统功能设置模块，此模块含有系统管理中常用的基本功能。

监控信息管理模块，此模块含有智慧仓储实时视频监控数据、历史监控数据、监控设备管理、仓储设备参数的设置等功能。

异常行为管理模块，此模块负责预警异常行为，收集并存储历史预警数据，设置预警等级，保存异常行为标准库与目标库。

综合统计查询模块，此模块可以根据相应条件，对各种信息等进行全面过滤查询。

已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同的落在本发明的范围内。

Claims (12)

1.基于机器学习的智慧仓储人员跟踪算法与视频监控系统，其特征在于，所述算法包括：使用基于差分滤波的YOLO目标检测算法，将运动目标提取出来进行跟踪；使用Camshift-改进YOLO混合跟踪算法来跟踪运动目标。

2.根据权利要求1所述的基于机器学习的智慧仓储人员跟踪算法，其特征在于，若判断目标被遮挡，则利用遮挡前n帧图像二次拟合的位置作为观测值；若目标没有被遮挡，则使用Camshift计算值作为观测值。最后更新目标位置，输出跟踪结果。

3.根据权利要求1所述的使用基于差分滤波的YOLO目标检测算法，其特征在于，在视频图像序列中，不断地进行回归，提取目标候选框，将输入的图像视频使用卷积神经网络，然后查找目标，来进行特征提取，最后对目标候选框来进行选择，接着过滤，得到最终的候选框。

4.根据权利要求3所述的基于差分滤波的YOLO目标检测算法，其特征在于，使用YOLO目标检测算法通过检测候选区域来预测每个候选区域中是否有目标对象。如果区域中有目标，则置信度等于候选框和目标框的交并比；没有目标，则置信度为零。计算公式为：

其中，Pr(Object)指示网格中是否有对象，

表示候选框和目标框的交并比，它们的表达式入下：

5.根据权利要求3所述的基于差分滤波的YOLO目标检测算法，其特征在于，假设视频图像中每一个视频帧的像素值序列是{X₁,X₂,L,X_n}，那么当前视频帧的像素值概率密度计算公式如下：

ω_i,n表示在时间序列为n，第i个图像像素点，它的高斯函数模型的占比系数；μ_i,n实在时间序列为n时，第i个图像像素点的平均期望值；∑_i,n是在时间序列为n时，第i个图像像素点的协方差矩阵；η是概率密度公式。

6.根据权利要求1所述的Camshift-改进YOLO混合跟踪算法，其特征在于，将图像视为两个变量，入射图像和反射图像：

M(x,y)＝R(x,y)×L(x,y)

在视频图像中M(x,y)是初始图像，反射分量记作R(x,y)，入射分量记作L(x,y)；然后取对数简化计算。

logM＝(R×L)＝logR+logL

令m＝logM,r＝logR,l＝logL，即r＝m-l。在这里，先来计算入射分量，用高斯函数模型和初始图像视频帧的概率值，然后相互卷积运算，即：

其中r(x,y)为输出图像，

为卷积公式，F(x,y)为图像的中心位置，即：

∫∫F(x,y)dxdy＝1

7.根据权利要求3所述的Camshift-改进YOLO混合跟踪算法，其特征在于，定义相邻视频帧之间，它们的目标区域的面积相互遮挡后的变化率F_s：

然后根据变化率定义三个遮挡级别：F_s<α₁表示在可接受的误差范围内没有遮挡或目标区域的变化率相对较小；α₁<F_s<α₂表示部分遮挡；F_s>α₂表示严重遮挡。其中，α₁是相对较低的阈值，而α₂是相对较高的阈值。

8.基于机器学习的智慧仓储人员跟踪算法与监控管理系统，其特征在于，所述系统包括：系统功能设置模块，监控信息管理模块，异常行为管理模块，综合统计查询模块。

9.根据权利要求8所述的系统功能设置模块，其特征在于，含有系统管理中常用的基本功能，比如常用的公司信息管理、企业部门信息管理、使用人员角色信息管理、系统用户信息管理等。可以管理员依靠此模块配置系统功能，设置系统数据。

10.根据权利要求8所述的监控信息管理模块，其特征在于，含有智慧仓储实时视频监控数据、历史监控数据、监控设备管理、仓储设备参数的设置、仓储预警级别设置等功能。智慧仓储实时监控数据可以保存、查看和查询当前监控设备采集的监控视频信息。历史监控数据通过输入查询日期查看前一台监控设备采集的视频信息。在监控设备管理中，可以增加新的监控设备，也可以删除已经保存的监控设备。设备参数设置中可以对监控设备的系统参数进行配置。预警等级包括预警类型、预警输出等设置信息。

11.根据权利要求8所述的异常行为管理模块，其特征在于，此模块负责预警异常行为，收集并存储历史预警数据，设置预警等级，保存异常行为标准库与目标库。要实现异常行为预警的功能，首先把实时视频监控数据进行读取出来，接着预处理视频监控数据，然后分析，得出当前视频中是否存在异常行为。历史预警数据中保存了之前物流仓储监控视频中的人员异常预警信息，是可以对所有预警信息进行综合统计分析的基础。异常行为词库对物流仓储中经常出现的，非常典型的异常行为，比如摔倒、盗窃等异常行为建立了标准库，可以与实时的监控视频数据进行对比。异常行为特征库中存储了异常特征分析算法所提取的典型异常行为特征，可以和实时视频数据或历史视频数据中所提取的行为特征进行比较，来判断是否发生了异常行为。异常人员数据库用于保存经历过异常行为的人员的基本信息，作为异常行为监测的人员对象。疑似异常人群库中的人员也需要监控，但不能完全确定他们是否发生了异常行为，但在特征分析中有发生异常行为的倾向。

12.根据权利要求8所述的综合统计查询模块，其特征在于，此模块可以根据公司属性、企业部门的属性、监控视频起止日期时间等相应条件，对视频数据、预警信息、异常信息、人员信息等进行全面过滤查询。

Images