CN112907975A - 一种基于毫米波雷达与视频进行异常停车的检测方法 - Google Patents

Abstract

本发明公开了一种基于毫米波雷达与视频进行异常停车的检测方法，通过毫米波雷异常停车检测和视频分析异常停车检测，分别获取其概率值；再映射到(0，1]区间后得到其映射概率值；通过协调器投票机制获取最终停车结果概率，分析最终概率结果是否大于预设定概率数值，从而判定目标车辆是否处于异常停车状态。本发明针对异常停车事件，通过技术互补及数据的精确处理，大大提高了监测准确率，且可在不同场景中分情况进行判定，满足多场景应用。

Description

一种基于毫米波雷达与视频进行异常停车的检测方法

技术领域

本发明涉及车辆监测技术领域，具体涉及一种基于毫米波雷达与视频进行异常停车的检测方法。

背景技术

在高速公路应用的车辆行驶状态监测中，对于异常停车事件的监测一直是一个非常重要的关注点。

目前传统技术手段通常是基于雷达进行监测，存在一定误报率的情况，而单纯通过视频进行分析，又存在夜晚条件下视频清晰度不够的缺陷。

发明内容

基于此，针对上述问题，有必要提出一种基于毫米波雷达与视频进行异常停车的检测方法，通过技术互补及数据的精确处理，大大提高了异常停车事件的监测准确率，且可针对不同场景进行异常停车触发概率的控制，满足多场景应用。

本发明的技术方案是：

一种基于毫米波雷达与视频进行异常停车的检测方法，包括毫米波雷异常停车检测，其步骤如下：

S10、基于毫米波雷达获取目标车辆原始数据，整理形成待处理数据；

S20、进行数据处理，从每帧雷达采集到的数据中提取目标描述序列，并关联至同一目标中；

S30、当检测到一个稳定目标序列，进行目标维护。

在本技术方案中，使用毫米波雷达进行车辆检测的程序可分为数据获取、数据处理、目标维护三部分。其中数据获取部分为前期基础工作，旨在取得毫米波雷达采集到的原始数据并整理成供后期处理使用的数据结构。数据处理部分目的在于从每帧雷达采集到的目标中提取出目标描述序列，把同一个目标关联起来。目标维护部分则是维护一个检测到的稳定存在的目标序列，该目标序列就是最终的检测结果。基于以上技术方案，可有效检测出车辆是否处于异常停车状态，尤其在夜间情况下，更体现了其相对于视觉处理方法的优越性。通过对于车速的分析，异常停车事件会通常出现5-20公里的减速数据模型，可以较为准确的分析出异常停车事件。

优选的，所述步骤S10包括以下步骤：

S101、基于多普勒测速原理，获取信号采样率；

S102、基于连续波雷达测距基本原理，分别获取向三个目标发出的信号数据，根据目标反射回来的信号及相对发射信号的延迟时间，计算出目标的速度。

多普勒测速原理的公式如下：

Δf_{d max}＝max|f_m-f_d|＝f_s/2N

Δv_{r max}＝λΔf_{d max}/2＝λf_s/4N＝λ/4T

依据芯片参数，发射频率为24GHz，由上式可以得出，当测速精度达到0.1m/s时，三角调频波的调制周期可以计算得T＝0.0325s；而信号的采样率

根据发射频率及采样定理可设fs＝96GHz。

再根据连续波雷达测距基本原理，设天线发射的连续波信号为公式(1)：

则接收的信号为公式(2)：R(t)＝R_o-v_r t，

目标距离与时间关系为公式(3)：

则延迟时间应满足以下公式(4)所述关系:

将公式(4)代入公式(2)中得到

其中

当得到目标不同位置之间的时间差Δt，便可以实现测距，要得到Δt，就需测得f_d。已知三个目标距离及速度，则可以通过公式(2)和公式(3)分别计算出向三个目标发出去信号，由目标反射回来的信号相对发射信号的延迟时间，可以计算出目标的速度。

优选的，所述步骤S20包括以下步骤：

S201、制定量测规则，基于GPDA算法关联目标集合和量测集合，并定义目标的状态方程和量测方程；

S202、进行初始化，预设定初始时刻目标的状态初值；

S203、计算各目标的状态预测值及预测协方差；

S204、确定各目标的有效量测；

S205、将检测到的目标和量测进行关联；

S206、根据最新检测到的目标数据，在目标集合中进行状态更新。

本技术方案基于MHT模型进行数据处理，考虑每个新接收到的量测可能来自新目标、虚警或者已有目标，通过一个有限长度的时间滑窗，建立多个候选假设，并通过假设评估来实现多目标数据关联。

首先制定如下规则：

(1)每个目标都拥有量测；

(2)每个量测都有目标来源；

(3)任一目标(量测)与量测(目标)一一对应关联事件的概率不应小于满足前两条规则的其他关联事件概率。

根据上述规则，假设k时刻的确认量测集合Z(k)＝{z_i(k)}，i＝1，…，M；k-1时刻检测到的目标集合为T(k-1)＝{t_j(k-1)}，j＝1，…，N。

根据MHT模型，Z(k)和T(k-1)可以形成三种关联关系：

(1)Z(k)中任一z_i(k)与T(k-1)中任一t_j(k-1)没有关联；

(2)T(k-1)中任一t_j(k-1)与Z(k)中任一z_i(k)没有关联，即有新目标出现；

(3)T(k-1)中某一t_j(k-1)与Z(k)中某一z_i(k)形成关联。

在MHT模型下，采用GPDA算法来关联目标集合与量测集合，定义目标的状态方程和量测方程；算法流程处理如下所述：

(1)初始化。设在初始时刻t₀，目标的状态初值；

(2)计算各目标的状态预测及预测协方差；

(3)确定各目标的有效量测；然后将检测到的目标和量测进行关联起来，根据g的取值，便可以完成Z(k)和T(k-1)的关联关系。

(4)状态更新。

根据新的检测到的目标T(k)更新状态。

优选的，所述步骤S30包括以下步骤：

S301、获取一个稳定目标序列，当检测到该目标，则其概率为1；

S302、预设定阈值K，判断某一时刻目标概率是否小于阈值K，如果是，则判定目标不存在；反之，则目标仍存在。

当雷达出现漏检或者已有目标不在检测范围内的时候，需要使用一种机制来维护检测到的目标，以保证检测系统的稳定。本技术方案为目标集合T(k)中的每个元素设置一个概率，通过检验该概率来达到维护的目的。

优选的，还包括视频分析异常停车检测，其步骤如下：

P10、基于yolov5，检测出目标车辆；

P20、采用sort算法进行多目标追踪；

P30、获取目标车辆第1帧到第t帧的状态序列S_1：t＝(S₁，S₂，…，S_t)；

P40、判断目标车辆状态序列是否大于预设L值，如果是，则进入步骤P50；反之，则目标车辆处于运动状态；

P50、判断目标车辆第1帧到第t帧的位置变化是否小于预设D值，如果是，则判定目标车辆处于停车状态；反之，则处于运动状态。

在本技术方案中，车辆出现异常行为时车辆位置变化、速度变化及运动方向变化较大。通过背景差分法检测运动车辆，并采用均值漂移算法跟踪运动车辆，获取车辆位置、速度、运动方向等车辆异常行为判别参数，对3种判别参数的状态函数加权融合检测车辆行为。

优选的，还包括以下步骤：

Q10、获取将毫米波雷异常停车检测概率映射到(0，1]区间内的概率值P_r，

其中，K为预设定阈值，P_r′为毫米波雷异常停车检测中t时刻停车的概率，P_r为停车概率映射到(0，1]区间后的概率；

Q20、获取将视频分析异常停车检测概率映射到(0，1]区间内的概率值P_c；

Q30、采用协调器整合毫米波雷异常停车检测和视频分析异常停车检测结果，获取最终停车结果概率P，

其中，λ>1-α。

通过协调器投票机制，综合两种分析结果，获得最终判定结果。有效结合了两种技术特点，既可在夜间实现精确监测，又可相互印证提高准确率，较单一技术手段的检测准确率大大提高。

优选的，所述步骤Q20包括以下步骤：

Q201、设

其中，L′为t时刻目标状态序列的长度，P_CL为出现停车时，目标状态序列长度作为判断停车的权重；

Q202、设

其中，P_CD为目标位置变化作为判断停车的权重；

Q203、计算视频分析异常停车检测概率映射到(0，1]区间内的概率值P_c，则得出P_c＝0.5P_CL+0.5P_CD。

优选的，所述步骤Q30包括以下步骤：

预设定概率判定值P_s＝0.5，并判断概率P是否大于P_s，如果是，则最终判定为目标车辆处于停车状态；反之，则目标车辆运动状态。

P_s为预设定概率数值，可根据不同场景进行调控，当最终结果的概率值大于预设定概率值P_s，即判定为停车状态。

本发明的有益效果是：

1、本发明既可在夜间实现精确监测，又可相互印证提高准确率，较单一技术手段的检测准确率大大提高。

2、可针对不同场景进行异常停车触发概率的控制，满足多场景应用。

3、数据处理效率高，在保证准确率的情况下，快速进行处理判断，及时反馈目标车辆信息。

附图说明

图1是本发明实施例所述毫米波雷异常停车检测的流程图；

图2是本发明实施例所述视频分析异常停车检测的流程图；

图3是本发明实施例所述协调毫米波雷异常停车检测和视频分析异常停车检测的流程图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例

如图1所示，一种基于毫米波雷达与视频进行异常停车的检测方法，包括毫米波雷异常停车检测，其步骤如下：

S10、基于毫米波雷达获取目标车辆原始数据，整理形成待处理数据；

S20、进行数据处理，从每帧雷达采集到的数据中提取目标描述序列，并关联至同一目标中；

S30、当检测到一个稳定目标序列，进行目标维护。

在本实施例中，使用毫米波雷达进行车辆检测的程序可分为数据获取、数据处理、目标维护三部分。其中数据获取部分为前期基础工作，旨在取得毫米波雷达采集到的原始数据并整理成供后期处理使用的数据结构。数据处理部分目的在于从每帧雷达采集到的目标中提取出目标描述序列，把同一个目标关联起来。目标维护部分则是维护一个检测到的稳定存在的目标序列，该目标序列就是最终的检测结果。基于上述方案，可有效检测出车辆是否处于异常停车状态，尤其在夜间情况下，更体现了其相对于视觉处理方法的优越性。通过对于车速的分析，异常停车事件会通常出现5-20公里的减速数据模型，可以较为准确的分析出异常停车事件。

在其中一个实施例中，如图1所示，所述步骤S10包括以下步骤：

S101、基于多普勒测速原理，获取信号采样率；

S102、基于连续波雷达测距基本原理，分别获取向三个目标发出的信号数据，根据目标反射回来的信号及相对发射信号的延迟时间，计算出目标的速度。

多普勒测速原理的公式如下：

Δf_{d max}＝max|f_m-f_d|＝f_s/2N

Δv_{r max}＝λΔf_{d max}/2＝λf_s/4N＝λ/4T

依据芯片参数，发射频率为24GHz，由上式可以得出，当测速精度达到0.1m/s时，三角调频波的调制周期可以计算得T＝0.0325s；而信号的采样率

根据发射频率及采样定理可设fs＝96GHz。

再根据连续波雷达测距基本原理，设天线发射的连续波信号为公式(1)：

则接收的信号为公式(2)：R(t)＝R_o-V_r t，

目标距离与时间关系为公式(3)：

则延迟时间应满足以下公式(4)所述关系:

将公式(4)代入公式(2)中得到

其中

当得到目标不同位置之间的时间差Δt，便可以实现测距，要得到Δt，就需测得f_d。已知三个目标距离及速度，则可以通过公式(2)和公式(3)分别计算出向三个目标发出去信号，由目标反射回来的信号相对发射信号的延迟时间，可以计算出目标的速度。

在另一个实施例中，如图1所示，所述步骤S20包括以下步骤：

S201、制定量测规则，基于GPDA算法关联目标集合和量测集合，并定义目标的状态方程和量测方程；

S202、进行初始化，预设定初始时刻目标的状态初值；

S203、计算各目标的状态预测值及预测协方差；

S204、确定各目标的有效量测；

S205、将检测到的目标和量测进行关联；

S206、根据最新检测到的目标数据，在目标集合中进行状态更新。

本实施例基于MHT模型进行数据处理，考虑每个新接收到的量测可能来自新目标、虚警或者已有目标，通过一个有限长度的时间滑窗，建立多个候选假设，并通过假设评估来实现多目标数据关联。

首先制定如下规则：

(1)每个目标都拥有量测；

(2)每个量测都有目标来源；

(3)任一目标(量测)与量测(目标)一一对应关联事件的概率不应小于满足前两条规则的其他关联事件概率。

根据上述规则，假设k时刻的确认量测集合Z(k)＝{z_i(k)}，i＝1，…，M；

k-1时刻检测到的目标集合为T(k-1)＝{t_j(k-1)}，j＝1，…，N。

根据MHT模型，Z(k)和T(k-1)可以形成三种关联关系：

(1)Z(k)中任一z_i(k)与T(k-1)中任一t_j(k-1)没有关联；

(2)T(k-1)中任一t_j(k-1)与Z(k)中任一z_i(k)没有关联，即有新目标出现；

(3)T(k-1)中某一t_j(k-1)与Z(k)中某一z_i(k)形成关联。

在MHT模型下，采用GPDA算法来关联目标集合与量测集合，定义目标的状态方程和量测方程；算法流程处理如下所述：

(1)初始化。设在初始时刻t₀，目标的状态初值；

(2)计算各目标的状态预测及预测协方差；

(3)确定各目标的有效量测；然后将检测到的目标和量测进行关联起来，根据g的取值，便可以完成Z(k)和T(k-1)的关联关系。

(4)状态更新。

根据新的检测到的目标T(k)更新状态。

在另一个实施例中，如图1所示，所述步骤S30包括以下步骤：

S301、获取一个稳定目标序列，当检测到该目标，则其概率为1；

S302、预设定阈值K，判断某一时刻目标概率是否小于阈值K，如果是，则判定目标不存在；反之，则目标仍存在。

当雷达出现漏检或者已有目标不在检测范围内的时候，需要使用一种机制来维护检测到的目标，以保证检测系统的稳定。本实施例为目标集合T(k)中的每个元素设置一个概率，通过检验该概率来达到维护的目的。

在另一个实施例中，如图2所示，还包括视频分析异常停车检测，其步骤如下：

P10、基于yolov5，检测出目标车辆；

P20、采用sort算法进行多目标追踪；

P30、获取目标车辆第1帧到第t帧的状态序列S_1：t＝(S₁，S₂，…，S_t)；

P40、判断目标车辆状态序列是否大于预设L值，如果是，则进入步骤P50；反之，则目标车辆处于运动状态；

P50、判断目标车辆第1帧到第t帧的位置变化是否小于预设D值，如果是，则判定目标车辆处于停车状态；反之，则处于运动状态。

在本实施例中，车辆出现异常行为时车辆位置变化、速度变化及运动方向变化较大。通过背景差分法检测运动车辆，并采用均值漂移算法跟踪运动车辆，获取车辆位置、速度、运动方向等车辆异常行为判别参数，对3种判别参数的状态函数加权融合检测车辆行为。

在另一个实施例中，如图3所示，还包括以下步骤：

Q10、获取将毫米波雷异常停车检测概率映射到(0，1]区间内的概率值P_r，

其中，K为预设定阈值，P_r′为毫米波雷异常停车检测中t时刻停车的概率，P_r为停车概率映射到(0，1]区间后的概率；

Q20、获取将视频分析异常停车检测概率映射到(0，1]区间内的概率值P_c；

Q30、采用协调器整合毫米波雷异常停车检测和视频分析异常停车检测结果，获取最终停车结果概率P，

其中，λ>1-α。

通过协调器投票机制，综合两种分析结果，获得最终判定结果。有效结合了两种技术特点，既可在夜间实现精确监测，又可相互印证提高准确率，较单一技术手段的检测准确率大大提高。

在另一个实施例中，所述步骤Q20包括以下步骤：

Q201、设

其中，L′为t时刻目标状态序列的长度，P_CL为出现停车时，目标状态序列长度作为判断停车的权重；

Q202、设

其中，P_CD为目标位置变化作为判断停车的权重；

Q203、计算视频分析异常停车检测概率映射到(0，1]区间内的概率值P_c，则得出P_c＝0.5P_CL+0.5P_CD。

在另一个实施例中，如图3所示，所述步骤Q30包括以下步骤：

预设定概率判定值P_s＝0.5，并判断概率P是否大于P_s，如果是，则最终判定为目标车辆处于停车状态；反之，则目标车辆运动状态。

P_s为预设定概率数值，可根据不同场景进行调控，当最终结果的概率值大于预设定概率值P_s，即判定为停车状态。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (8)

1.一种基于毫米波雷达与视频进行异常停车的检测方法，其特征在于，包括毫米波雷异常停车检测，其步骤如下：

S10、基于毫米波雷达获取目标车辆原始数据，整理形成待处理数据；

S20、进行数据处理，从每帧雷达采集到的数据中提取目标描述序列，并关联至同一目标中；

S30、当检测到一个稳定目标序列，进行目标维护。

2.根据权利要求1所述的基于毫米波雷达与视频进行异常停车的检测方法，其特征在于，所述步骤S10包括以下步骤：

S101、基于多普勒测速原理，获取信号采样率；

S102、基于连续波雷达测距基本原理，分别获取向三个目标发出的信号数据，根据目标反射回来的信号及相对发射信号的延迟时间，计算出目标的速度。

3.根据权利要求1或2所述的基于毫米波雷达与视频进行异常停车的检测方法，其特征在于，所述步骤S20包括以下步骤：

S201、制定量测规则，基于GPDA算法关联目标集合和量测集合，并定义目标的状态方程和量测方程；

S202、进行初始化，预设定初始时刻目标的状态初值；

S203、计算各目标的状态预测值及预测协方差；

S204、确定各目标的有效量测；

S205、将检测到的目标和量测进行关联；

S206、根据最新检测到的目标数据，在目标集合中进行状态更新。

4.根据权利要求3所述的基于毫米波雷达与视频进行异常停车的检测方法，其特征在于，所述步骤S30包括以下步骤：

S301、获取一个稳定目标序列，当检测到该目标，则其概率为1；

S302、预设定阈值K，判断某一时刻目标概率是否小于阈值K，如果是，则判定目标不存在；反之，则目标仍存在。

5.根据权利要求4所述的基于毫米波雷达与视频进行异常停车的检测方法，其特征在于，还包括视频分析异常停车检测，其步骤如下：

P10、基于yolov5，检测出目标车辆；

P20、采用sort算法进行多目标追踪；

P30、获取目标车辆第1帧到第t帧的状态序列S_1：t＝(S₁，S₂，…，S_t)；

P40、判断目标车辆状态序列是否大于预设L值，如果是，则进入步骤P50；反之，则目标车辆处于运动状态；

P50、判断目标车辆第1帧到第t帧的位置变化是否小于预设D值，如果是，则判定目标车辆处于停车状态；反之，则处于运动状态。

6.根据权利要求5所述的基于毫米波雷达与视频进行异常停车的检测方法，其特征在于，还包括以下步骤：

Q10、获取将毫米波雷异常停车检测概率映射到(0，1]区间内的概率值P_r，

其中，K为预设定阈值，P′_r为毫米波雷异常停车检测中t时刻停车的概率，P_r为停车概率映射到(0，1]区间后的概率；

Q20、获取将视频分析异常停车检测概率映射到(0，1]区间内的概率值P_c；

Q30、采用协调器整合毫米波雷异常停车检测和视频分析异常停车检测结果，获取最终停车结果概率P，

其中，λ>1-α。

7.根据权利要求6所述的基于毫米波雷达与视频进行异常停车的检测方法，其特征在于，所述步骤Q20包括以下步骤：

Q201、设

其中，L′为t时刻目标状态序列的长度，P_CL为出现停车时，目标状态序列长度作为判断停车的权重；

Q202、设

其中，P_CD为目标位置变化作为判断停车的权重；

Q203、计算视频分析异常停车检测概率映射到(0，1]区间内的概率值P_c，则得出P_c＝0.5P_CL+0.5P_CD。

8.根据权利要求7所述的基于毫米波雷达与视频进行异常停车的检测方法，其特征在于，所述步骤Q30包括以下步骤：

预设定概率判定值P_s＝0.5，并判断概率P是否大于P_s，如果是，则最终判定为目标车辆处于停车状态；反之，则目标车辆运动状态。

Images