CN106570444A - 基于行为识别的车载智能提醒方法及系统 - Google Patents

Abstract

本发明提供一种基于行为识别的车载智能提醒方法及系统，所述方法包括以下步骤：获取车载监控的视频流；对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；对视频流进行行为识别并判断所述视频流的行为特征是否属于异常行为，在判断所述视频流的行为特征属于异常行为的情况下向驾驶员或乘客发出提醒。本发明通过智能行为识别实现了分别对乘客和驾驶员的不良行为进行监控和提醒，实时性强，及时防止可能的交通事故的发生，提升了驾驶的安全性。

Description

基于行为识别的车载智能提醒方法及系统

技术领域

本发明涉及计算机视觉的技术领域，特别涉及一种基于行为识别的车载智能提醒方法及系统。

背景技术

随着社会经济的快速发展，人均汽车保有量迅速增长，交通环境日趋复杂，汽车的安全驾驶变得越来越重要。

现有的汽车安全监控方法通常是记录保存驾驶员及车辆附近的视频图像，或者将记录的视频图像通过传输模块传送到监控中心，以供事后分析事故原因，该方法未对驾驶员的行为进行实时分析和提醒，因此无法及时制止不良后果的发生。

发明内容

为克服现有的缺陷，本发明提出一种基于行为识别的车载智能提醒方法及系统，其能及时防止可能不良事件或交通事故的发生，提升驾驶的安全性。

根据本发明的一个方面，提出了一种基于行为识别的车载智能提醒方法，包括以下步骤：

获取车载监控的视频流；

对所述视频流进行人脸识别并判断出所述视频流属于驾驶员还是乘客；

对视频流进行行为识别并判断所述视频流的行为特征是否属于异常行为，在判断所述视频流的行为特征属于异常行为的情况下向驾驶员或乘客发出提醒。

根据本发明的另一个方面，提出了一种基于行为识别的车载智能提醒系统，所述系统包括：

车载摄像头及连接于所述车载摄像头的车载智能设备；

所述车载摄像头用于采集车载监控的视频流，所述车载智能设备用于对所述视频流进行人脸识别，并判断所述视频流属于驾驶员或乘客；对所述视频流进行行为识别，并在判断识别的行为特征属于异常行为的情况下，向驾驶员或乘客发出提醒。

根据本发明的另一个方面，提出了一种基于行为识别的车载智能提醒系统，包括：

车载摄像头、连接于所述车载摄像头的车载智能设备及连接于所述车载智能设备的提醒装置；

所述车载摄像头用于采集车载监控的视频流；

所述车载智能设备用于对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客，对视频流进行行为识别并判断所述视频流的行为特征是否属于异常行为；

所述提醒装置用于在车载智能设备判判断所述视频流的行为特征属于异常行为的情况下向驾驶员或乘客发出提醒。

本发明通过智能行为识别实现了分别对乘客和驾驶员的不良行为进行监控和提醒，实时性强，及时防止可能的交通事故的发生，提升了驾驶的安全性。

附图说明

图1为本发明基于行为识别的车载智能提醒方法的流程示意图；

图2为本发明基于行为识别的车载智能提醒方法一实施例的具体流程示意图；

图3为本发明基于行为识别的车载智能提醒系统一实施例的结构示意图；

图4为本发明基于行为识别的车载智能提醒系统另一实施例的结构示意图。

为了能明确实现本发明的实施例的结构，在图中标注了特定的尺寸、结构和器件，但这仅为示意需要，并非意图将本发明限定在该特定尺寸、结构、器件和环境中，根据具体需要，本领域的普通技术人员可以将这些器件和环境进行调整或者修改，所进行的调整或者修改仍然包括在后附的权利要求的范围中。

具体实施方式

下面结合附图和具体实施例对本发明进行详细描述。

在以下的描述中，将描述本发明的多个不同的方面，然而，对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其他情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。

请参阅图1，本发明提供了一种基于行为识别的车载智能提醒方法，所述方法包括以下步骤：S1：获取车载监控的视频流；S2：对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；S3：对视频流进行行为识别并判断所述视频流的行为特征是否属于异常行为，在判断所述视频流的行为特征属于异常行为的情况下向驾驶员或乘客发出提醒。这样，本发明通过智能行为识别实现了分别对乘客和驾驶员的不良行为进行监控和提醒，实时性强，及时防止可能的交通事故的发生，提升了驾驶的安全性。

请参阅图2，图2为本发明基于行为识别的车载智能提醒方法一实施例的流程示意图。本发明基于行为识别的车载智能提醒方法具体包括以下步骤：

步骤S101：通过车载摄像头采集车载监控的视频流，并将所述视频流发送给车载智能设备；

在具体实现时，请参阅图3，所述车载摄像头1可固定于车辆的前车窗内侧，对准驾驶员及乘客，可适当调整摄像头的高度视角，以使得该摄像头可拍摄采集到车内人员的行为状况。需要说明的是，本发明的摄像头无法监控到车内所有人员的行为状况，只能监控到不被遮挡的乘客的行为状况。本实施例中，所述车载摄像头为CMOS摄像头，也可以为其他类型的摄像头。

所述车载摄像头1通过有线或无线通信的方式连接于车载智能设备2，通过所述车载智能设备2对该视频流进行分析处理。

步骤S102：所述车载智能设备对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；

在具体实现时，所述车载智能设备2获取到车载监控的视频流后，通过其内设的人脸识别模块21对所述视频流进行人脸识别，以识别该视频流属于乘客还是驾驶员，以确定周围区域作为行为识别模块的输入。

人脸识别的方法可以为多种，本实施例采用基于像素灰度值对比特征(pixelintensity)的级联(cascade)决策树分类器的方法，此方法的优势在于速度快，识别率高，特别适用于智能设备。

所述车载智能设备对所述视频流进行人脸识别的步骤具体包括：

搜索视频图像中不同的位置及不同尺度，生成多个识别候选区域；

对于每一识别候选区域提取像素对比特征；

将提取到的像素对比特征输入到训练化的级联决策树分类器，通过所述级联决策树分类器判断该识别候选区域是否为人脸区域；

根据所述人脸区域在视频图像的位置及人脸区域的大小判断所述视频流属于驾驶员还是乘客。

所述像素对比特征(pixel intensity)定义为：

pixel intensity(I；i1,i2)＝0，I(i1)<＝I(i2)；

pixel intensity(I；i1,i2)＝1，I(i1)>I(i2)；

其中i1，i2分别是归一化后的像素位置，I(＊)表示像素亮度。

所述级联决策树分类器的训练步骤具体包括：

对于一个训练集{I_s,c_s}，I_s为图像集，c_s∈{-1,1}图像为是否为人脸的标注集，-1表示不是人脸，1代表人脸，其中s＝1,2,3…，S,为图像样本的个数。

(1)首先初始化每个训练样本的重要性因子W_s；

(2)对于每一个k＝1,2,3，…，K决策树，

a、以最小化基于权重的最小二乘误差WMSE，训练决策树Tk

其中，C₀和C₁是决策树中的每个节点中标注分别是-1和1的训练集的集合，和是两个集合的基于权重的标注真值的均值。

b、更新每个样本的权重；

c、归一化权重，使所有权重的和为1。

(3)输出级联决策树。

在得到所述视频流的人脸区域后，可进一步判断该视频流是属于乘客还是驾驶员。默认情况下，驾驶员离镜头相对于乘客离镜头更近，所以人脸检测框相对更大一些，而且驾驶员固定坐在车内左侧，因此，本实施例中，采用基于人脸的大小以及人脸相对摄像头的位置来从综合判断区分驾驶员和乘客。

可以理解，本步骤中人脸识别还可以采用例如harr-like特征、local binarypatterns(LBP)特征等其他人脸识别技术来实现。

步骤S103：所述车载智能设备对所述视频流进行行为识别；

在具体实现时，所述车载智能设备2通过其内设的行为识别模块22对所述视频流进行行为识别，以识别该视频流对应乘客或驾驶员的行为。

所述行为识别模块22对视频流中的行为进行识别，包括特征提取子模块，特征编码子模块，分类子模块。

本实施例中考虑到运行速度要求，首先提取输入视频流的3D梯度方向直方图(HOG3D)特征，然后采用fisher向量(fisher vector)特征编码技术对3D梯度方向直方图特征进行编码，最后采用支持向量机(SVM)分类器进行分类。

即，所述步骤S103具体包括：

对于每一视频流通过密集采样得到感兴趣点集；

将每一个感兴趣点周围的立方体分割出多个子立方体，并在立方体中计算梯度直方图；

根据所述立方体的梯度直方图统计得到子立方体的平均梯度直方图；

每个梯度方向用正多面体进行量化(每个方向都有一个角度，处于0～360度，量化成n个角度区域，一般是8个)；

归一化每个子立方体的特征向量；

联合每个子立方体的特征向量组合成该立方体的特征向量；

采用fisher向量编码技术对多个3D梯度方向直方图特征进行编码得到最终的特征；

采用线性SVM一对多分类器进行分类。

所述立方体中计算梯度大小计算公式如下：

其中，g_t，g_x，g_y是t,x,y分量的梯度；

所述立方体中计算梯度方向计算公式如下：

需要说明的是，一个视频可能采样不同个数的感兴趣点，一个感兴趣点得到相同维数的HOG3D特征，fisher vector处理之后，每个视频就可以最终得到相同维数的特征向量；一对多的SVM的训练方法是，训练当前类别时，其他类别都当做负样本。这样的话，要分多少个行为类别，就会有多少个SVM模型训练出来。当样本测试时，每个类别的SVM模型都要进行一遍，分数最高的则判断为该类别。

本发明中行为识别模块中不限于使用3D梯度方向直方图特征，还可以采用基于稠密采样的轨迹特征，SIFT3D等；特征编码技术不局限于fisher向量，还包括：码本编码bag of words，局部聚集描述向量编码(VLAD)等。

步骤S104：所述车载智能设备判断识别的行为特征是否属于异常行为，若是，则向驾驶员或乘客发出提醒。

在具体实现时，所述车载智能设备2内设有异常行为识别库23，其存储有驾驶员或乘客的异常行为类别，本发明中，乘客的异常行为包括但不限于：丢随身物品，打架，偷盗，吃东西，打闹等；驾驶员的异常行为包括但不限于：打电话，吃东西，发呆，抽烟，打闹，打瞌睡等。

所述车载智能设备将识别到的行为特征与异常行为识别库23中的异常行为类别进行比对，从而判断识别的行为特征是否属于异常行为，若是，则向驾驶员或乘客发出提醒。

所述车载智能设备的提醒方式可为多样，可以为声光、振动或是发送短信。

可以理解，也可通过单独的提醒装置来向驾驶员或乘客发出提醒，即所述车载智能设备连接于一提醒装置，所述车载智能设备在判断识别的行为特征属于异常行为的情况下，控制所述提醒装置通过声光、振动或是发送短信的方式向驾驶员或乘客发出提醒。

请参阅图3，本发明还提供一种基于行为识别的车载智能提醒系统，包括：车载摄像头1及连接于所述车载摄像头1的车载智能设备2，所述车载摄像头1用于采集车载监控的视频流，所述车载智能设备2用于对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；对所述视频流进行行为识别，并在判断识别的行为特征属于异常行为的情况下，向驾驶员或乘客发出提醒。

进一步，所述车载智能设备2包括：

人脸识别模块21，用于对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；

行为识别模块22，用于对所述视频流进行行为识别，并判断识别的行为特征是否属于异常行为；

异常行为识别库23，用于存储驾驶员或乘客的异常行为类别；

提醒模块24，用于在判断识别的行为特征属于异常行为的情况下，向驾驶员或乘客发出提醒。

请参阅图4，本发明还提供另一种基于行为识别的车载智能提醒系统，包括：

车载摄像头1、连接于所述车载摄像头1的车载智能设备2及连接于所述车载智能设备2的提醒装置3，所述车载摄像头1用于采集车载监控的视频流，所述车载智能设备2用于对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；对所述视频流进行行为识别，并判断识别的行为特征是否属于异常行为；所述提醒装置3用于在车载智能设备2判断识别的行为特征属于异常行为的情况下，向驾驶员或乘客发出提醒。

进一步，所述车载智能设备2包括：

人脸识别模块21，用于对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；

行为识别模块22，用于对所述视频流进行行为识别，并判断识别的行为特征是否属于异常行为；

异常行为识别库23，用于存储驾驶员或乘客的异常行为类别。

相比于现有技术，本发明通过智能行为识别实现了分别对乘客和驾驶员的不良行为进行监控和提醒，实时性强，及时防止可能的交通事故的发生，提升了驾驶的安全性。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其他的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (11)

1.一种基于行为识别的车载智能提醒方法，其特征在于，所述方法包括以下步骤：

获取车载监控的视频流；

对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；

对视频流进行行为识别并判断所述视频流的行为特征是否属于异常行为，在判断所述视频流的行为特征属于异常行为的情况下向驾驶员或乘客发出提醒。

2.根据权利要求1所述的基于行为识别的车载智能提醒方法，其特征在于，所述对所述视频流进行人脸识别并判断出所述视频流属于驾驶员还是乘客的步骤具体包括：

搜索视频图像中不同的位置及不同尺度，生成多个识别候选区域；

对于每一识别候选区域提取像素对比特征；

将提取到的像素对比特征输入到训练化的级联决策树分类器，通过所述级联决策树分类器判断该识别候选区域是否为人脸区域；

根据所述人脸区域在视频图像的位置及人脸区域的大小判断所述视频流属于驾驶员还是乘客。

3.根据权利要求2所述的基于行为识别的车载智能提醒方法，其特征在于，所述像素对比特征定义为：

pixel intensity(I；i1,i2)＝0，I(i1)<＝I(i2)；

pixel intensity(I；i1,i2)＝1，I(i1)>I(i2)；

其中，i1，i2分别是归一化后的像素位置，I(＊)表示像素亮度。

4.根据权利要求3所述的基于行为识别的车载智能提醒方法，其特征在于，所述级联决策树分类器的训练中，对于一个训练集{I_s,c_s}，I_s为图像集，c_s∈{-1,1}图像为是否为人脸的标注集，-1表示不是人脸，1代表人脸，其中s＝1,2,3…，S,为图像样本的个数；所述训练步骤具体包括：

初始化每个训练样本的重要性因子W_s；

对于每一个k＝1,2,3，…，K决策树，

a、以最小化基于权重的最小二乘误差WMSE，训练决策树Tk

$WMSE=\underset{(I,c,w)\&Element;C_0}{\&Sigma;}w*{(c-{\stackrel{\&OverBar;}{c}}_0)}^2+\underset{(I,c,w)\&Element;C_1}{\&Sigma;}w*{(c-{\stackrel{\&OverBar;}{c}}_1)}^2$

其中，C₀和C₁是决策树中的每个节点中标注分别是-1和1的训练集的集合，和是两个集合的基于权重的标注真值的均值。

b、更新每个样本的权重；

c、归一化权重，使所有权重的和为1；

输出级联决策树。

5.根据权利要求1所述的基于行为识别的车载智能提醒方法，其特征在于，所述对所述视频流进行行为识别的步骤具体包括：

对于每一视频流通过密集采样得到感兴趣点集；

将每一个感兴趣点周围的立方体分割出多个子立方体，并在立方体中计算梯度直方图；

根据所述立方体的梯度直方图统计得到子立方体的平均梯度直方图；

每个梯度方向用正多面体进行量化；

归一化每个子立方体的特征向量；

联合每个子立方体的特征向量组合成该立方体的特征向量；

采用fisher向量编码技术对多个3D梯度方向直方图特征进行编码得到最终的特征；

采用线性支持向量机一对多分类器进行分类。

6.根据权利要求1所述的基于行为识别的车载智能提醒方法，其特征在于，所述在判断识别的行为特征属于异常行为的情况下，向驾驶员或乘客发出提醒的步骤具体包括：

将识别到的行为特征与存储的异常行为类别进行比对，并在判断识别的行为特征属于异常行为的情况下，向驾驶员或乘客发出提醒。

7.根据权利要求1所述的基于行为识别的车载智能提醒方法，其特征在于，所述在判断识别的行为特征属于异常行为的情况下，向驾驶员或乘客发出提醒的步骤具体包括：

将识别到的行为特征与存储的异常行为类别进行比对，并在判断识别的行为特征属于异常行为的情况下，控制与其连接的提醒装置向驾驶员或乘客发出提醒。

8.一种基于行为识别的车载智能提醒系统，其特征在于，所述系统包括：车载摄像头及连接于所述车载摄像头的车载智能设备；

所述车载摄像头用于采集车载监控的视频流，所述车载智能设备对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客，对视频流进行行为识别并判断所述视频流的行为特征是否属于异常行为，在判断所述视频流的行为特征属于异常行为的情况下向驾驶员或乘客发出提醒。

9.根据权利要求8所述的基于行为识别的车载智能提醒系统，其特征在于，所述车载智能设备包括：

人脸识别模块，用于对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；

行为识别模块，用于对所述视频流进行行为识别，并判断识别的行为特征是否属于异常行为；

异常行为识别库，用于存储驾驶员或乘客的异常行为类别；

提醒模块，用于在判断识别的行为特征属于异常行为的情况下，向驾驶员或乘客发出提醒。

10.一种基于行为识别的车载智能提醒系统，其特征在于，包括：

车载摄像头、连接于所述车载摄像头的车载智能设备及连接于所述车载智能设备的提醒装置；

所述车载摄像头用于采集车载监控的视频流；

所述车载智能设备用于对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客，对视频流进行行为识别并判断所述视频流的行为特征是否属于异常行为；

所述提醒装置用于在车载智能设备判判断所述视频流的行为特征属于异常行为的情况下向驾驶员或乘客发出提醒。

11.根据权利要求10所述的基于行为识别的车载智能提醒系统，其特征在于，所述车载智能设备包括：

人脸识别模块，用于对所述视频流进行人脸识别并判断所述视频流属于驾驶员还是乘客；

行为识别模块，用于对所述视频流进行行为识别，并判断识别的行为特征是否属于异常行为；

异常行为识别库，用于存储驾驶员或乘客的异常行为类别。