CN113553992A - 一种面向电扶梯的复杂场景目标跟踪方法及系统 - Google Patents

Abstract

本发明提供一种面向电扶梯的复杂场景目标跟踪方法及系统，该方法包括：S1获取电扶梯的视频图像；S2检测视频图像中的人体目标，获取包含人体目标的矩形标注区域作为待跟踪区域；S3针对视频图像中检测到的人体目标，基于核相关滤波跟踪法对人体目标进行跟踪，在跟踪的过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小，获取核相关滤波跟踪结果；S4获取当前核相关滤波跟踪结果的响应强度，获取有效跟踪判断结果；S5当有效跟踪判断结果为跟踪失败时，进一步基于金字塔Lucas‑Kanade光流法对人体目标进行跟踪，获取光流法跟踪结果。本发明有助于提高基于视频图像对电扶梯乘客进行检测跟踪的鲁棒性和准确性。

Description

一种面向电扶梯的复杂场景目标跟踪方法及系统

技术领域

本发明涉及视频监控技术领域，特别是一种面向电扶梯的复杂场景目标跟踪方法及系统。

背景技术

随着经济的增长，电扶梯的使用已经越来越频繁，而随之而来的电扶梯上的安全事故也越来越多。电扶梯上安全事故的发生大多是因为当电扶梯上乘客的状态或者行为出现异常情况时，电扶梯不能及时地反应与应对，而是机械地维持同一种工作模式，从而造成异常情况的放大及恶化。而在每个电扶梯旁都设置应急工作人员监控电扶梯及乘客的状态是不可能的。因此，能让电扶梯在异常情况发生时，自动地调整工作模式就显得非常重要。采用视频监控图像对电扶梯上的乘客行为进行分析处理，当出现异常情况时，能快速反应，自动让电扶梯切换工作模式，这样能大大降低电扶梯上的安全事故，使异常情况的危害降到最低。

电扶梯的智能监控系统通过实时获取电扶梯上的视频图像，并通过分析该视频图像来判断电扶梯上乘客的行为是否异常，当出现异常情况时能及时把异常情况反馈给电扶梯控制器，电扶梯控制器能根据不同的异常状态对电扶梯的工作模式进行调整。该系统包括图像采集、目标检测、目标跟踪、异常情况识别和异常情况报警。其中，当从视频图像中检测到乘客目标后，针对乘客目标进行跟踪，获取乘客的移动轨迹等特征，是后续判断乘客乘坐电扶梯过程中是否出现异常行为的依据。但是，目前针对电扶梯场景下视频图像进行乘客跟踪的研究比较少。因此提出一种针对电扶梯场景下视频图像的乘客目标跟踪技术方案亟具需要。

发明内容

针对上述问题，本发明旨在提供一种面向电扶梯的复杂场景目标跟踪方法及系统。

本发明的目的采用以下技术方案来实现：

第一方面，本发明示出一种面向电扶梯的复杂场景目标跟踪方法，包括：

S1获取电扶梯的视频图像；

S2检测视频图像中的人体目标，获取包含人体目标的矩形标注区域作为待跟踪区域；

S3针对视频图像中检测到的人体目标，基于核相关滤波跟踪法对人体目标进行跟踪，在跟踪的过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小，获取核相关滤波跟踪结果；

S4获取当前核相关滤波跟踪结果的响应强度，获取有效跟踪判断结果；

S5当有效跟踪判断结果为跟踪失败时，进一步基于金字塔Lucas-Kanade光流法对人体目标进行跟踪，获取光流法跟踪结果。

一种实施方式中，步骤S1中具体包括：接收由摄像头拍摄的电扶梯的视频流数据，其中摄像头通过支架或支撑杆安装在电扶梯的上方或斜上方，其视觉覆盖整个电扶梯载客区，以采集电扶梯的视频图像。

一种实施方式中，步骤S2之前，该方法还包括：

SC1针对获取的视频图像进行预处理，获取预处理后的视频图像；

步骤S2包括，基于预处理后的视频图像进行人体目标检测。

一种实施方式中，步骤S2中具体包括：

提取视频图像中的前景部分和背景部分，根据获取的前景部分，利用SVM+HOG分类器检测视频图像中的人体目标；

并采用矩形标识对检测到的人体目标进行标注，获取包含人体目标的矩形标注区域。

一种实施方式中，步骤S3还包括：

基于检测到的人体目标初始化目标模板和分类器参数矩阵；和/或

基于核相关滤波跟踪结果中的最大响应值的跟踪区域位置和大小，对目标模板和分类器参数矩阵进行更新。

一种实施方式中，步骤S4具体包括：

获取当前核相关滤波跟踪结果的响应强度，如果响应强度小于设定的阈值时，则判断核相关滤波跟踪法的有效跟踪判断结果为跟踪失败，停止继续基于核相关滤波跟踪法对人体目标进行跟踪；如果响应强度大于等于设定的阈值时，则判断核相关滤波跟踪法的有效跟踪判断结果为跟踪成功，继续基于核相关滤波跟踪法对人体目标进行跟踪。

一种实施方式中，步骤S5具体包括：当有效跟踪判断结果为跟踪失败时，基于前一帧人体目标区域的光流场，预测人体目标在当前帧中的位置，具体包括：

计算前一帧人体目标区域的中每个像素点的梯度和曲率，以得到人体目标对象的角点，根据获取的角点基于金字塔Lucas-Kanade光流法跟踪当前帧图像中相应的角点，得到人体目标在当前帧的每个角点的速度矢量即角点光流的大小和方向；

根据角点光流的大小和方向预测人体目标在当前帧的位置，获取人体目标跟踪结果。

第二方面，本发明示出一种面向电扶梯的复杂场景目标跟踪系统，包括：

获取模块，用于获取电扶梯的视频图像；

目标检测模块，用于检测视频图像中的人体目标，获取包含人体目标的矩形标注区域作为待跟踪区域；

核相关滤波跟踪模块，用于针对视频图像中检测到的人体目标，基于核相关滤波跟踪法对人体目标进行跟踪，在跟踪的过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小，获取核相关滤波跟踪结果；

判断模块，用于获取当前核相关滤波跟踪结果的响应强度，获取有效跟踪判断结果；

光流跟踪模块，用于当有效跟踪判断结果为跟踪失败时，进一步基于金字塔Lucas-Kanade光流法对人体目标进行跟踪，获取光流法跟踪结果。

本发明的有益效果为：提出一种针对电扶梯场景下采集的视频监控图像进行电扶梯乘客进行跟踪的技术方案，其中基于核相关滤波跟踪法和金字塔Lucas-Kanade光流法构建进行跟踪，能够在乘客相对视频画面移动速度较慢(例如是乘客静止站在扶梯上)的情况下，基于核相关滤波跟踪法对乘客进行跟踪，能够在保证可靠跟踪的情况下，降低了跟踪处理的运算复杂度和效率，而当乘客相对视频画面移动速度较快(例如是乘客在电扶梯上奔跑或者受到遮挡等不稳定情况)从而导致基于核相关滤波跟踪法丢失乘客目标时，能够自动切换至基于金字塔Lucas-Kanade光流对乘客进行跟踪，有助于提高基于视频图像对电扶梯乘客进行检测跟踪的鲁棒性和准确性，同时尽可能低降低视频图像数据处理的复杂度，为后续进一步根据乘客的运动轨迹和速度判断乘客的异常行为奠定基础。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明实施例所示目标跟踪方法的方法流程图；

图2为本发明实施例所示目标跟踪系统的框架结构图。

具体实施方式

结合以下应用场景对本发明作进一步描述。

参见图1，其示出本发明示出一种面向电扶梯的复杂场景目标跟踪方法，包括：

S1获取电扶梯的视频图像；

S2检测视频图像中的人体目标，获取包含人体目标的矩形标注区域作为待跟踪区域；

S3针对视频图像中检测到的人体目标，基于核相关滤波跟踪法对人体目标进行跟踪，在跟踪的过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小，获取核相关滤波跟踪结果；

S4获取当前核相关滤波跟踪结果的响应强度，获取有效跟踪判断结果；

S5当有效跟踪判断结果为跟踪失败时，进一步基于金字塔Lucas-Kanade光流法对人体目标进行跟踪，获取光流法跟踪结果。

本发明上述实施方式，提出一种针对电扶梯场景下采集的视频监控图像进行电扶梯乘客进行跟踪的技术方案，其中基于核相关滤波跟踪法和金字塔Lucas-Kanade光流法构建进行跟踪，能够在乘客相对视频画面移动速度较慢(例如是乘客静止站在扶梯上)的情况下，基于核相关滤波跟踪法对乘客进行跟踪，能够在保证可靠跟踪的情况下，降低了跟踪处理的运算复杂度和效率，而当乘客相对视频画面移动速度较快(例如是乘客在电扶梯上奔跑或者受到遮挡等不稳定情况)从而导致基于核相关滤波跟踪法丢失乘客目标时，能够自动切换至基于金字塔Lucas-Kanade光流对乘客进行跟踪，有助于提高基于视频图像对电扶梯乘客进行检测跟踪的鲁棒性和准确性，同时尽可能低降低视频图像数据处理的复杂度，为后续进一步根据乘客的运动轨迹和速度判断乘客的异常行为奠定基础。

一种实施方式中，步骤S1中具体包括：接收由摄像头拍摄的电扶梯的视频流数据，其中摄像头通过支架或支撑杆安装在电扶梯的上方或斜上方，其视觉覆盖整个电扶梯载客区，以采集电扶梯的视频图像。

一种实施方式中，步骤S2之前，该方法还包括：

SC1针对获取的视频图像进行预处理，获取预处理后的视频图像；

步骤S2包括，基于预处理后的视频图像进行人体目标检测。

一种实施方式中，步骤SC1中，针对获取的视频图像进行预处理，具体包括：

获取的视频图像包括多个视频图像帧画面；

根据获取的当前视频图像帧画面，将视频图像帧画面从RGB颜色空间转换到LAB颜色空间，分别获取视频图像帧画面亮度分量L、颜色分量A和颜色分量B；

针对获取的亮度分量L进行自适应亮度调节处理，其中采用的亮度调节函数为：

式中，δ_slt(x,y)表示亮度分量中像素点(x,y)处的自适应亮度映射分量，δ_lg(x,y)表示亮度分量中像素点(x,y)处的对数映射分量，其中

L(x,y)表示亮度分量中像素点(x,y)处的亮度分量值，L_max表示亮度分量中各像素点的亮度分量最大值，L_3，3(x，y)表示表示亮度分量中以像素点(x，y)为中心的3×3范围内各像素点的亮度分量平均值，N表示像素点的总数，mean(δ_lg)表示亮度分量中各像素点的对数映射分量平均值，max(δ_lg)表示亮度分量中各像素点的对数映射分量最大值；

基于获取的亮度分量中各像素点的自适应亮度映射分量，获取亮度调节后的亮度分量L′，其中

式中，L′(x,y)表示亮度调节后的亮度分量中像素点(x,y)处的亮度分量值，δ_slt(x,y)表示亮度分量中像素点(x,y)处的自适应亮度映射分量，max(δ_slt)和min(δ_slt)分别表示各像素点的自适应亮度映射分量的最大值和最小值；

基于亮度调节后的亮度分量L′、颜色分量A和颜色分量B进行重构并重新转换至RGB颜色空间，得到亮度调节后的视频图像帧画面；

采用sym3小波基和2层分解尺度对亮度调节后的视频图像帧画面进行小波分解，获取亮度调节后的视频图像帧画面的高频小波系数和低频小波系数；

针对获取的高频小波系数进行除噪声增强处理，其中采用的除噪声增强处理函数为：

式中，w′_j,k表示除噪声增强处理后的第j层第k个高频小波系数，w_j，k表示获取的第j层第k个高频小波系数，Z表示设定的阈值，α表示设定的抑制调节参量，β表示设定的补偿调节参量，γ表示平滑调节参量，sgn(*)表示符号函数；

基于获取的低频小波系数逆变换获取低频灰度图像，其中低频灰度图像的尺寸与视频图像帧画面的尺寸相同，针对低频灰度图像进行灰度增强处理，其中采用的灰度增强处理函数为：

式中，h′_d(x，y)表示增强处理后低频灰度图像中对应像素点(x,y)处的灰度值，h_d(x,y)表示低频灰度图像中对应像素点(x,y)处的灰度值，mean(h_d)表示低频灰度图像中各像素点的灰度均值；

基于除噪声增强处理后的高频小波系数和灰度增强处理后低频灰度图像进行重构，得到预处理后的视频图像帧画面。

提供了一种针对视频图像进行预处理的技术方案，能够自适应调节视频图像画面的亮度，从而针对电扶梯环境中出现的反光或者突亮点导致的画面过渡曝光、或者现场环境亮度不足导致的画面过暗的情况进行自适应调节，有助于提高视频图像画面的清晰度，同时针对视频图像画面中受到的噪声干扰进行去除，同时针对图像中的有用信息进行增强显示，有助于提高视频图像的整体和细节显示效果，为后续根据视频画面进行进一步的人体目标识别和人体目标跟踪奠定基础。

一种实施方式中，步骤S2中具体包括：

提取预处理后的视频图像中的前景部分和背景部分，根据获取的前景部分，利用SVM+HOG分类器检测视频图像中的人体目标；

并采用矩形标识对检测到的人体目标进行标注，获取包含人体目标的矩形标注区域。

其中，SVM+HOG分类器可以采用现有技术中已经训练好的SVM+HOG分类器，本申请在此不作具体限定。

一种实施方式中，步骤S3还包括：

基于检测到的人体目标初始化目标模板和分类器参数矩阵；和/或

基于核相关滤波跟踪结果中的最大响应值的跟踪区域位置和大小，对目标模板和分类器参数矩阵进行更新。

一种实施方式中，S3中，获取核相关滤波跟踪结果，具体包括：

以上一帧输出的人体目标坐标位置为中心，确定当前帧的兴趣区域中心，提取与上一帧相同半径大小的跟踪框区域的特征信息；

利用分类器模型进行目标位置检测，通过核函数进行映射，得到窗口样本的分类器响应；

对图像块进行循环移位，构造候选图像块；

利用候选图像块的循环结构，计算出分类器模型对待跟踪目标区域中的所有位置的响应，即得到所有候选图像块的分类器响应；

根据各候选图像块的分类器响应，确定最大响应值的跟踪区域位置和大小，作为当前帧的核相关滤波跟踪结果。

一种实施方式中，窗口样本的分类器响应f(z)可以表示如下：

其中，z表示窗口样本，κ(z,x_i)表示核函数，f(z)表示窗口样本的分类器响应值，α表示分类器参数，α＝[α₀,α₁,…,α_n-1]^T，x_i表示目标样本矩阵循环矩阵的第i行，即人体目标图像进行i次循环移位得到的位移图，K^z表示训练样本x和所有候选图像块之间的核矩阵，K^z＝C(k^xz)，k^xz表示x和z之间的核相关。

一种场景中，可以分别以上一帧人体目标跟踪位置为中心，以上一帧人体目标跟踪区域的0.95倍、1.05倍、1.1倍、1.05倍及1.2倍区域建立兴趣区域，并提取兴趣区域内的图像特征信息；利用分类器对5个尺度的窗口样本分别进行目标检测，通过核函数进行映射，得到5个分类器响应值；选择原始尺度和5个尺度中响应值最大的跟踪框为本帧KCF跟踪方法的结果，输出该尺度跟踪框的跟踪位置和跟踪框半径。

一种实施方式中，步骤S4具体包括：

获取当前核相关滤波跟踪结果的响应强度，如果响应强度小于设定的阈值时，则判断核相关滤波跟踪法的有效跟踪判断结果为跟踪失败，停止继续基于核相关滤波跟踪法对人体目标进行跟踪；如果响应强度大于等于设定的阈值时，则判断核相关滤波跟踪法的有效跟踪判断结果为跟踪成功，继续基于核相关滤波跟踪法对人体目标进行跟踪。

其中，当判断到基于核相关滤波跟踪法对人体目标进行跟踪失败后，自此不再采用核相关滤波跟踪法对同一人体目标进行跟踪，而采用金字塔Lucas-Kanade光流法对该人体目标进行二次检测跟踪，直到该人体目标离开视频图像拍摄区域。

一种实施方式中，响应强度可以通过以下函数计算所得为：

其中PSR表示响应强度，g_max表示响应峰值，μ和σ表示响应强度的平均值和标准差。其中响应值表示核相关响应值。

一种实施方式中，步骤S5具体包括：当有效跟踪判断结果为跟踪失败时，基于前一帧人体目标区域的光流场，预测人体目标在当前帧中的位置，具体包括：

计算前一帧人体目标区域的中每个像素点的梯度和曲率，以得到人体目标对象的角点，根据获取的角点基于金字塔Lucas-Kanade光流法跟踪当前帧图像中相应的角点，得到人体目标在当前帧的每个角点的速度矢量即角点光流的大小和方向；

根据角点光流的大小和方向预测人体目标在当前帧的位置，获取人体目标跟踪结果。

基于金字塔Lucas-Kanade光流法能够适应人体目标移动速度较快或者发生遮挡的情况下进行跟踪，跟踪结果的准确度较高，能够保证人体目标跟踪的准确性和可靠性。

参见图2，其示出一种面向电扶梯的复杂场景目标跟踪系统，包括：

获取模块，用于获取电扶梯的视频图像；

目标检测模块，用于检测视频图像中的人体目标，获取包含人体目标的矩形标注区域作为待跟踪区域；

核相关滤波跟踪模块，用于针对视频图像中检测到的人体目标，基于核相关滤波跟踪法对人体目标进行跟踪，在跟踪的过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小，获取核相关滤波跟踪结果；

判断模块，用于获取当前核相关滤波跟踪结果的响应强度，获取有效跟踪判断结果；

光流跟踪模块，用于当有效跟踪判断结果为跟踪失败时，进一步基于金字塔Lucas-Kanade光流法对人体目标进行跟踪，获取光流法跟踪结果。

一种实施方式中，该系统还包括：

预处理模块，用于针对获取的视频图像进行预处理，获取预处理后的视频图像。

其中，上述提出的目标跟踪系统中的各模块，还用于对应实现上述一种面向电扶梯的复杂场景目标跟踪方法中各实施例对应的方法步骤，在此不重复叙述。

需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (8)

1.一种面向电扶梯的复杂场景目标跟踪方法，其特征在于，包括：

S1获取电扶梯的视频图像；

S2检测视频图像中的人体目标，获取包含人体目标的矩形标注区域作为待跟踪区域；

S3针对视频图像中检测到的人体目标，基于核相关滤波跟踪法对人体目标进行跟踪，在跟踪的过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小，获取核相关滤波跟踪结果；

S4获取当前核相关滤波跟踪结果的响应强度，获取有效跟踪判断结果；

S5当有效跟踪判断结果为跟踪失败时，进一步基于金字塔Lucas-Kanade光流法对人体目标进行跟踪，获取光流法跟踪结果。

2.根据权利要求1所述的一种面向电扶梯的复杂场景目标跟踪方法，其特征在于，步骤S1中具体包括：接收由摄像头拍摄的电扶梯的视频流数据，其中摄像头通过支架或支撑杆安装在电扶梯的上方或斜上方，其视觉覆盖整个电扶梯载客区，以采集电扶梯的视频图像。

3.根据权利要求1所述的一种面向电扶梯的复杂场景目标跟踪方法，其特征在于，步骤S2之前，还包括：

SC1针对获取的视频图像进行预处理，获取预处理后的视频图像；

步骤S2包括，基于预处理后的视频图像进行人体目标检测。

4.根据权利要求1所述的一种面向电扶梯的复杂场景目标跟踪方法，其特征在于，步骤S2中具体包括：

提取视频图像中的前景部分和背景部分，根据获取的前景部分，利用SVM+HOG分类器检测视频图像中的人体目标；

并采用矩形标识对检测到的人体目标进行标注，获取包含人体目标的矩形标注区域。

5.根据权利要求1所述的一种面向电扶梯的复杂场景目标跟踪方法，其特征在于，步骤S3还包括：

基于检测到的人体目标初始化目标模板和分类器参数矩阵；和/或

基于核相关滤波跟踪结果中的最大响应值的跟踪区域位置和大小，对目标模板和分类器参数矩阵进行更新。

6.根据权利要求1所述的一种面向电扶梯的复杂场景目标跟踪方法，其特征在于，步骤S4具体包括：

获取当前核相关滤波跟踪结果的响应强度，如果响应强度小于设定的阈值时，则判断核相关滤波跟踪法的有效跟踪判断结果为跟踪失败，停止继续基于核相关滤波跟踪法对人体目标进行跟踪；如果响应强度大于等于设定的阈值时，则判断核相关滤波跟踪法的有效跟踪判断结果为跟踪成功，继续基于核相关滤波跟踪法对人体目标进行跟踪。

7.根据权利要求1所述的一种面向电扶梯的复杂场景目标跟踪方法，其特征在于，步骤S5具体包括：当有效跟踪判断结果为跟踪失败时，基于前一帧人体目标区域的光流场，预测人体目标在当前帧中的位置，具体包括：

计算前一帧人体目标区域的中每个像素点的梯度和曲率，以得到人体目标对象的角点，根据获取的角点基于金字塔Lucas-Kanade光流法跟踪当前帧图像中相应的角点，得到人体目标在当前帧的每个角点的速度矢量即角点光流的大小和方向；

根据角点光流的大小和方向预测人体目标在当前帧的位置，获取人体目标跟踪结果。

8.一种面向电扶梯的复杂场景目标跟踪系统，其特征在于，包括：

获取模块，用于获取电扶梯的视频图像；

目标检测模块，用于检测视频图像中的人体目标，获取包含人体目标的矩形标注区域作为待跟踪区域；

核相关滤波跟踪模块，用于针对视频图像中检测到的人体目标，基于核相关滤波跟踪法对人体目标进行跟踪，在跟踪的过程中，比较多尺度候选区域的核相关响应值，确定最大响应值的跟踪区域位置和大小，获取核相关滤波跟踪结果；

判断模块，用于获取当前核相关滤波跟踪结果的响应强度，获取有效跟踪判断结果；

光流跟踪模块，用于当有效跟踪判断结果为跟踪失败时，进一步基于金字塔Lucas-Kanade光流法对人体目标进行跟踪，获取光流法跟踪结果。

Images