CN104504400A - 一种基于在线行为建模的驾驶员异常行为检测方法 - Google Patents

Abstract

本发明涉及一种基于在线行为建模的驾驶员异常行为检测方法，属于图像识别及监测技术领域。该方法基于视频分析技术，通过对驾驶员的正常行为建模来检测驾驶员的异常行为，主要包括以下步骤：一、初始化，建立初始模型或对已有的模型进行更新；二、对驾驶过程中驾驶员的行为进行特征提取；三、结合初始模型和驾驶员的行为特征判断驾驶员的行为是否正常；四、对模型进行更新。本发明提供的一种基于在线行为建模的驾驶员异常行为检测方法，采用novelty detection的方式检测异常行为，采用多模态建模的方法，能对多种正常行为和多种异常行为进行处理，辅以人工标注的方法排除虚警，增加了方案的稳定性，减少了方案的错误率。

Description

一种基于在线行为建模的驾驶员异常行为检测方法

技术领域

本发明涉及一种驾驶员异常行为检测方法，特别涉及一种基于在线行为建模的驾驶员异常行为检测方法。

背景技术

车载视觉系统已成为图像处理、视频分析领域的新兴应用方向，对驾驶员异常行为检测的研究，属于智能交通领域，是智能辅助驾驶的一项关键技术,此技术通过检测驾驶员异常行为并发出警告，避免交通事故的发生，有重要应用价值和社会意义。

现阶段国内外诸多国家在此领域的研发都受限于异常行为自身特点，比如异常行为种类多，包括驾驶员长时间闭眼、打哈欠、揉眼、点头等疲劳行为；不正当驾驶行为类别复杂，包括打电话、吃零食、抽烟、左顾右盼等；数据采集较难，由于驾驶员绝大部分时间行为正常，因此异常行为出现次数一般较少。因此，已有技术基本分为两类：一种是只是针对某个特定异常行为进行检测，这种方法只针对疲劳驾驶行为进行检测，但不同驾驶员的异常行为具体表现可能不同；另一种是训练的方式单一，由于异常行为次数少，样本采集较难，所以绝大多是方案都是利用人为模拟的数据，采用离线方式进行训练，但模拟的数据又通常不够真实，因此训练的模型在使用过程中出现问题的可能性较大，这也给离线训练方法的使用造成了困难。

发明内容

有鉴于此，本发明的目的在于提供一种基于在线行为建模的驾驶员异常行为检测方法。

为达到上述目的，本发明提供如下技术方案：

一种基于在线行为建模的驾驶员异常行为检测方法，该方法基于视频分析技术，通过对驾驶员的正常行为建模来检测驾驶员的异常行为，具体包括以下步骤：

步骤一：初始化，初始化过程中驾驶员的行为为正常行为，对驾驶员的行为进行特征提取，对模型进行训练，建立初始模型或对已有的模型进行更新；

步骤二：对驾驶过程中驾驶员的行为进行特征提取；

步骤三：结合初始模型和驾驶员的行为特征判断驾驶员的行为是否正常；

步骤四：对模型进行更新。

进一步，所述步骤一中的初始模型为：

其中，P(F_t)为t时刻特征F_t发生的概率，K为分布数量，η(F_t,μ_i,t,Σ_i,t)为时刻t第i个高斯分布，ω_i,t为其权重，μ_i,t,Σ_i,t分别为其均值和协方差矩阵。

进一步，所述步骤二中对驾驶员的行为进行特征提取的方法是，对连续n帧图像提取特征，n>＝1，t时刻像素(x,y)处的特征F_t(x,y)＝[I_t(x,y),I_t-1(x,y),...,I_t-n+1(x,y)]，其中I_t(x,y)为时刻t位置(x,y)的像素值，共n维。

进一步，所述步骤二中对驾驶员的行为进行特征提取的方法还可以为，把图像分成有交叠的图像块，对每一块区域内连续n帧提取特征(如SIFT特征)，然后将特征组合起来构成最后的特征。

进一步，所述步骤三具体包括以下步骤：

1)通过以下公式判断F_t是否和K个高斯混合模型中的第i个高斯模型匹配，i＝1,…,K；

(F_t-μ_i,t)^TΣ^-1(F_t-μ_i,t)≤τ；

τ为匹配阈值，小于等于此阈值说明特征属于此高斯模型；

若果满足上述公式，则跳转至步骤2)，否则跳转至步骤3)；

2)判断与F_t匹配的模型i是否为正常行为模型，若是则判定驾驶员的行为是正常行为；

否则，判定驾驶员的行为为异常行为，发出报警；

3)F_t不与K个高斯混合模型中的任何一个模型匹配，判定驾驶员行为为异常行为，发出

报警，并增加一个高斯模型并将其权重置为一个不满足的较小值。

进一步，正常行为模型获取方法为：选取K个高斯混合模型根据ω/trace(Σ)由高到低排序，取前B个高斯模型为正常行为模型，其中B满足：T为选取正常行为模型的阈值，即正常行为模型的权重和必须大于T。

进一步，所述步骤四具体包括以下步骤：

1)更新第i个模型的均值和协方差矩阵，

μ_i,t＝(1-α)μ_i,t-1+αF_t，

${\mathrm{\Σ}}_{i,t}^2=(1-\mathrm{\α}){\mathrm{\Σ}}_{i,t-1}^2+\mathrm{\α}{(F_t-{\mathrm{\μ}}_{i,t})}^T(F_t-{\mathrm{\μ}}_{i,t}),$

其中α为学习率；

2)更新第i个模型的权重，

ω_i,t＝(1-β)ω_i,t-1+β(M_i,t)，

其中β为学习率，M_i,t＝1，i为被匹配模型；M_j,t＝0，j为其它行为模型，即j≠i。

进一步，当驾驶员的行为正常，而被检测为异常行为时，可以人工设定F_t为虚警，并将它和其相匹配的模型i设置为正常模型，提高权重使其满足当驾驶员的行为异常，而被检测为正常行为时，可以人工设定该行为为异常行为，并将降低和其匹配的模型权重。

进一步，模型建立的方法包括GMM建模方法、online boosting、非参数方法。

进一步，异常行为检测方法还可以通过判定在概率模型中概率较低者为异常行为。

本发明的有益效果在于：本发明提供的一种基于在线行为建模的驾驶员异常行为检测方法，具有以下优点：(1)由于异常行为数据少，采集难，而本方法不依赖于异常行为数据的采集，而采用novelty detection的方式检测异常行为；(2)采用多模态建模的方法使模型能描述多种行为，因此能对多种正常行为和多种异常行为进行处理，而不限定于只对某种异常行为报警；(3)辅以人工标注的方法排除虚警，增加了方案的稳定性，使采用本方案的系统越用错误率越少。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明所述方法的流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明基于视频分析技术中的通过背景建模的检测前景的方法，提出了一种基于在线行为建模的驾驶员异常行为检测方法，该方法通过对驾驶员的正常行为建模来检测驾驶员异常行为。

本方法考虑到以下情况：(1)驾驶员的绝大部分行为是正常行为，只有少数行为是异常的；(2)正常行为和异常行为在特征空间中是可分的。因此，假设大部分输入数据属于正常行为这一类，对正常行为类的数据进行建模，这样少数的异常行为就可以通过是否满足正常行为模型来判断。

该方法的主要思路如下：建立初始模型；对驾驶过程中驾驶员的行为进行特征提取；结合初始模型和驾驶员的行为特征判断驾驶员的行为是否正常；然后对模型进行更新。

需要注意的是，为了使模型能自适应环境变化、驾驶员变化等情况，需要引入初始化过程和在线学习更新过程。在初始化过程中，假设驾驶员的所有行为动作均为正常，利用这些数据建立模型或更新已有的模型。

本发明所述方法的流程如图(1)所示。

本方法主要包括以下步骤：

步骤一：初始化，初始化过程中驾驶员的行为为正常行为，对驾驶员的行为进行特征提取，对模型进行训练，建立初始模型或对已有的模型进行更新；

初始模型为：

$P\left(F_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}\·\mathrm{\η}(F_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})---\left(1\right)$

其中，K为分布数量，可以通过正常行为种类数来估计，η(F_t,μ_i,t,Σ_i,t)为时刻t第i个高斯分布，ω_i,t为其权重，μ_i,t,Σ_i,t分别为其均值和协方差矩阵。为了计算方便，Σ_i,t＝Λ^TΛ

步骤二：对驾驶过程中驾驶员的行为进行特征提取；

假设驾驶员的基本行为在n帧内完成，则对连续n(n>＝1)帧图像提取特征：t时刻像素(x,y)处的特征F_t(x,y)＝[I_t(x,y),I_t+1(x,y),...,I_t+n-1(x,y)]，其中I_t(x,y)为时刻t位置(x,y)的像素值，共n维。

另外，还可以把图像分成有交叠的图像块，对每一块区域内连续n帧提特征(如SIFT特征)，然后将特征组合起来构成最后的特征。

步骤三：结合初始模型和驾驶员的行为特征判断驾驶员的行为是否正常；

1)通过以下公式判断F_t是否和K个高斯混合模型中的第i个高斯模型匹配，i＝1,…,K；

(F_t-μ_i,t)^TΣ^-1(F_t-μ_i,t)≤τ    (3)

τ为匹配阈值，小于等于此阈值说明特征和模型i相匹配；

若果满足上述公式，则跳转至步骤2)，否则跳转至步骤3)；

2)判断与F_t匹配的模型i是否为正常行为模型，若是则判定驾驶员的行为是正常行为；否则，判定驾驶员的行为为异常行为，发出报警；

正常行为模型获取方法为：选取K个高斯混合模型根据ω/trace(Σ)由高到低排序，取前B个高斯模型为正常行为模型，其中B满足：

$B=\arg {\min }_b(\underset{i=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_i>T)---\left(3\right)$

T为选取正常行为模型的阈值，即正常行为模型的权重和必须大于T。

3)F_t不与K个高斯混合模型中的任何一个模型匹配，判定驾驶员行为为异常行为，发出报警，并增加一个高斯模型并将其权重置为一个不满足的较小值。

步骤四：对模型进行更新。

1)更新第i个模型的均值和协方差矩阵，

μ_i,t＝(1-α)μ_i,t-1+αF_t    (4)

${\mathrm{\Σ}}_{i,t}^2=(1-\mathrm{\α}){\mathrm{\Σ}}_{i,t-1}^2+\mathrm{\α}{(F_t-{\mathrm{\μ}}_{i,t})}^T(F_t-{\mathrm{\μ}}_{i,t})---\left(5\right)$

其中α为学习率；

2)更新第i个模型的权重，

ω_i,t＝(1-β)ω_i,t-1+α(M_i,t)    (6)

其中β为学习率，M_i,t＝1，i为被匹配模型；M_j,t＝0，j为其它行为模型，即j≠i。

如果驾驶员的行为正常，而被检测为异常行为时，可以人工设定F_t为虚警(错误的警告)，并将它和其相匹配的模型i设置为正常模型，提高权重使其满足当驾驶员的行为异常，而被检测为正常行为时，可以人工设定该行为为异常行为，并将降低和其匹配的模型权重。

需要注意的是，为了使模型能自适应环境变化、驾驶员变化等情况，需要引入初始化过程和在线学习更新过程。在初始化过程中，假设驾驶员的所有行为动作均为正常，利用这些数据建立模型或更新已有的模型。

本发明方案提出了一种基于在线行为建模的驾驶员异常行为检测方法，采用noveltydetection的方式检测异常行为，利用多帧视频数据提取描述行为的特征，并对此特征进行在线学习的多模态建模，使正常行为特征在此模型中有较高分数，异常行为特征在此模型中有较低分数。

特征提取方法不限定于上文举例提出的特征，任何一种描述行为的特征都可以应用于此框架。

建模的方法不限定于上文举例提出的GMM建模方法，任何一种建模方法都可以应用于此框架，如online boosting，非参数方法(直方图)等。

异常行为检测方法还可以是其他的novelty detection的检测方法，如判定在概率模型中概率较低者为异常行为。

对于虚警可以采用人工设定的方法标注，并自动提供虚警对应模型的权重，避免下次虚警。

利用在线学习的方法使模型描述能力增强，能处理的行为增多，虚警越来越少，并使其能适应环境的变化。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (10)

1.一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：该方法基于视频分析技术，通过对驾驶员的正常行为建模来检测驾驶员的异常行为，具体包括以下步骤：

步骤一：初始化，初始化过程中驾驶员的行为为正常行为，对驾驶员的行为进行特征提取，对模型进行训练，建立初始模型或对已有的模型进行更新；

步骤二：对驾驶过程中驾驶员的行为进行特征提取；

步骤三：结合初始模型和驾驶员的行为特征判断驾驶员的行为是否正常；

步骤四：对模型进行更新。

2.根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：所述步骤一中的模型为： $P\left(F_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}\·\mathrm{\η}(F_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t}),$

其中，P(F_t)为t时刻特征F_t发生的概率，K为分布数量，η(F_t,μ_i,t,Σ_i,t)为时刻t第i个高斯分布，ω_i,t为其权重，μ_i,t,Σ_i,t分别为其均值和协方差矩阵。

3.根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：所述步骤二中对驾驶过程中驾驶员的行为进行特征提取的方法是，对连续n帧图像提取特征，n>＝1，t时刻像素(x,y)处的特征F_t(x,y)＝[I_t(x,y),I_t-1(x,y),...,I_t-n+1(x,y)]，其中I_t(x,y)为时刻t位置(x,y)的像素值，共n维。

4.根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：所述步骤二中对驾驶过程中驾驶员的行为进行特征提取的方法还可以为，把图像分成有交叠的图像块，对每一块区域内连续n帧图像提取特征，然后将特征组合起来构成最后的特征。

5.根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：所述步骤三具体包括以下步骤：

1)通过以下公式判断F_t是否和K个高斯混合模型中的第i个高斯模型匹配，i＝1,…,K；

(F_t-μ_i,t)^TΣ^-1(F_t-μ_i,t)≤τ；

τ为匹配阈值，小于等于此阈值说明特征和模型i相匹配；

若果满足上述公式，则跳转至步骤2)，否则跳转至步骤3)；

2)判断与F_t匹配的模型i是否为正常行为模型，若是则判定驾驶员的行为是正常行为；否则，判定驾驶员的行为为异常行为，发出报警；

3)F_t不与K个高斯混合模型中的任何一个模型匹配，判定驾驶员行为为异常行为，发出报警，并增加一个高斯模型并将其权重置为一个不满足的较小值。

6.根据权利要求5所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：正常行为模型获取方法为：在模型中K个高斯混合模型中，根据ω/trace(Σ)由高到低排序，取前B个高斯模型为正常行为模型，其中B满足：T为选取正常行为模型的阈值。

7.根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：所述步骤四具体包括以下步骤：

1)更新第i个模型的均值和协方差矩阵，

μ_i,t＝(1-α)μ_i,t-1+αF_t，

${\mathrm{\Σ}}_{i,t}^2=(1-\mathrm{\α}){\mathrm{\Σ}}_{i,t-1}^2+\mathrm{\α}{(F_t-{\mathrm{\μ}}_{i,t})}^T(F_t-{\mathrm{\μ}}_{i,t}),$

其中α为学习率；

2)更新第i个模型的权重，

ω_i,t＝(1-β)ω_i,t-1+β(M_i,t)，

其中β为学习率，M_i,t＝1，i为被匹配模型；M_j,t＝0，j为其它行为模型，即j≠i。

8.根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：当驾驶员的行为正常，而被检测为异常行为时，可以人工设定F_t为虚警，并将它和其相匹配的模型i设置为正常模型，提高权重使其满足当驾驶员的行为异常，而被检测为正常行为时，可以人工设定该行为为异常行为，并将降低和其匹配的模型权重。

9.根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：模型建立的方法包括GMM建模方法、online boosting、非参数方法。

10.根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：异常行为检测方法还可以通过判定在概率模型中概率较低者为异常行为。