CN109306834A - 一种基于视觉的汽车电动尾门开启方法 - Google Patents

Abstract

本发明涉及一种基于视觉的汽车电动尾门开启方法，用于对车辆外部人员的特定动作进行识别以判断是否开启电动尾门，包括步骤：1)预先利用车身自有的车载环视摄像头获取车辆外部人员的特定动作视频作为训练数据；2)进行预处理及特征提取，获取训练动作基元序列；3)开启车载环视摄像头，对当前动作进行拍摄及处理；4)对当前视频图像获取动作特征序列，并计算当前动作序列；5)对当前动作序列与训练动作基元序列进行匹配，获取两个序列的平均距离；6)将平均距离与设定的阈值作比较，若平均距离小于设定的阈值，则判定动作发生，开启尾门，否则，判定未检测到特定动作。与现有技术相比，本发明具有降低成本、识别准确率高等优点。

Description

一种基于视觉的汽车电动尾门开启方法

技术领域

本发明涉及汽车电子技术领域，尤其是涉及一种基于视觉的汽车电动尾门开启方法。

背景技术

传统的汽车电动尾门开启主要为电容式，即需要安装专门的电容，且需要离车较近才可打开尾门。申请号为CN201621351899.2的专利设计了一种新型的脚踢感应自动开启汽车尾门装置，该装置包括脚踢感应装置和电动尾门控制ECU。该专利设计的脚踢感应器基于电容方式，人需要站在合适的位置才能踢脚，距离车太近或太远均不能触发，不够灵敏，且后保险杠属于易损部位，被碰撞几率大。这种电动尾门开启方式识别准确率较差，操作不够智能，且由于需要专门的电容进行检测，设备成本较高。

为解决上述问题，申请号为CN201710157339.6的专利采用传感器模块检测其探测区域内的脚踢动作，判断脚踢动作是否正确。车身控制模块接收尾门开启请求，控制汽车的尾门解锁。然而，该专利需要车辆安装额外的动作感应模块才能智能控制尾门，成本较高，且限制了其在各类汽车上的广泛应用。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于视觉的汽车电动尾门开启方法。

本发明的目的可以通过以下技术方案来实现：

一种基于视觉的汽车电动尾门开启方法，用于对车辆外部人员的特定动作进行识别以判断是否开启电动尾门，该方法包括以下步骤：

S1：预先利用车身自有的车载环视摄像头获取车辆外部人员的特定动作视频，并将视频图像作为训练数据。

特定动作为预先设置的可触发开启尾门的动作。本发明将特定动作设定为正对尾门抬腿动作、抬手动作。正对尾门抬腿动作为正对车载环视摄像头站直，脚尖方向面向车载环视摄像头，腿伸直抬起角度大于45度，上半身保持不动，抬腿后收回。正对尾门抬腿动作表示即将利用踢腿动作开启尾门，当后续图像处理识别到该动作时，表示即将开启尾门，动作确认后尾门自动开启。

抬手动作为正对车载环视摄像头站直，单手大臂保持不动，小臂由下往上垂直抬起后放下。抬手动作表示即将用手臂开启尾门的动作，当后续图像处理识别到该动作时，表示即将开启尾门，动作确认后尾门自动开启。

S2：对训练数据进行预处理，包括视频图像矫正、图像噪点处理和阴影检测处理，获取训练动作基元序列。具体包括下列步骤：

201)读取训练视频；

202)获取当前帧，并对当前帧进行灰度化；

203)判断当前帧是否为第一帧，若是，则保存该帧作为背景帧，返回步骤202)，否则，利用背景差分法对其获取前景，执行下一步；

204)对获取的前景进行阴影检测，并定位人体的动作范围；

205)提取光流特征和形状特征，获取并保存动作特征序列；

206)判断当前帧是否为最后一帧，若是，则对动作特征序列进行聚类，否则，返回步骤202)；

207)将聚类中心作为动作基元，计算训练动作基元序列并保存。

S3：对当前动作进行拍摄，并对拍摄的视频图像获取动作特征序列，计算当前动作序列。具体包括以下步骤：

301)对车载环视摄像头进行判断，若摄像头可用，则开启摄像头，否则，判断摄像头异常；

302)判断车载环视摄像头的拍摄是否结束，若未结束，则获取拍摄视频的当前帧，对当前帧进行灰度化；

303)判断灰度化后的当前帧是否为第一帧，若是，则保存该帧作为背景帧，返回步骤302)，否则，利用背景差分法对其获取前景，执行下一步；

304)对获取的前景进行阴影检测，并定位人体的动作范围；

305)提取光流特征和形状特征，获取动作特征序列，并计算动作基元序列。

S4：采用DTW算法对当前动作序列与训练动作基元序列进行匹配，获取两个序列的平均距离。

S5：将平均距离与设定的阈值作比较，若平均距离小于设定的阈值，则判定特定动作发生，开启尾门，否则，判定未检测到特定动作，返回步骤S3继续进行检测。

与现有技术相比，本发明具有以下优点：

(1)本发明通过动作识别算法对车辆外部的人员动作进行实时识别，对特定动作做出响应，自动开启尾门，实现车辆的智能交互功能，即利用计算机视觉技术使用车辆自有的环视摄像头完成动作感应，无需增加额外的动作传感器，大大降低了智能测试的设备成本；

(2)本发明预先设定了开启尾门的触发动作，包括正对尾门抬腿和抬手动作，传统尾门需要手动打开尾门，且在某些情况下，需要先把箱子放地上然后手动打开尾门，本发明通过人体做出正对尾门抬腿或抬手动作，利用计算机视觉技术完成识别即可直接将尾门打开，实现方式简单、方便；

(3)本发明方法提出了适用于车载环境下的基于动作基元序列匹配的人体动作识别算法，识别速度快、训练样本需求少，能够保证较高的识别准确率，此外，该算法的计算资源少，极大提高了实时性，能够满足实时交互需求，有助于其在各类汽车的广泛应用。

附图说明

图1为本发明方法中获取训练动作基元序列的流程示意图；

图2为本发明方法中对电动尾门的开启进行匹配测试的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明涉及一种基于视觉的汽车电动尾门开启方法，该方法利用车身自有的车载环视摄像头对电动尾门的开启动作进行检测及识别，该方法包括以下步骤：

步骤一、预先利用车载环视摄像头获取车辆外部人员的特定动作视频，将获取的特定动作视频图像作为训练数据。特定动作为预先定义的可以触发开启尾门的动作。考虑到实际使用需求，本发明定义两个可以触发开启尾门的特定动作，具体包括：

(1)正对尾门抬腿动作：正车载环视摄像头站直，腿伸直抬起，脚尖方向对着摄像头，抬起角度大于45度，上半身保持不动。一个完整抬腿动作包括抬起和收回。

(2)抬手动作：正对车载环视摄像头站直，单手大臂保持不动，小臂由下往上垂直抬起，然后放下。

车辆外部人员做出正对尾门抬腿或抬手动作后，利用计算机视觉技术完成识别即可直接将尾门打开。

步骤二、对训练数据进行预处理，并获取训练动作基元序列。如图1所示，具体内容包括：

(201)读取训练视频；

(202)获取当前帧，并对当前帧进行灰度化；

(203)判断当前帧是否为第一帧，若是，则保存该帧作为背景帧，返回上一步，否则，利用背景差分法对其获取前景，执行下一步；

(204)对获取的前景进行阴影检测，并定位人体的动作范围；

(205)提取光流特征和形状特征，获取并保存动作特征序列；

(206)判断当前帧是否为最后一帧，若是，则对动作特征序列进行聚类，否则，返回步骤(202)；

一个人体动作可以表示为一个动作单元集合。这些动作单元可称为动作基元。为了学习动作基元集合，对从训练数据中抽取的联合形状-运动描述符进行聚类。

其中联合形状-运动描述符分别由形状描述符和运动描述符组成。形状描述符通过计算前景区域(形状观测量)中的像素数量以形成原始形状特征向量，该特征向量经过L2归一化以形成形状描述符。运动描述符通过光流运动特征计算方法得到。给定一个动作兴趣区域，首先计算它的光流场，然后分为水平成分和垂直成分。之后通过减去光流场的中值来去除背景运动成分以得到中值补偿的流场。最后再通过半波校正和高斯平滑处理，并经过L2归一化形成运动描述符。连结形状描述符Ds和运动描述符Dm形成联合形状-运动描述符，对抽取的联合形状-运动描述符进行聚类，得到动作基元。

(207)根据动作基元计算训练动作基元序列并保存。

步骤三、获取当前拍摄图像，并进行运动目标检测。

视频序列中运动目标检测一般主要通过背景相减法以及相邻帧差分法实现。但实际环境中由于光线和背景行人车辆等干扰使得传统的背景差分法很难有效使用，相邻帧差分法也会有很多不足，本发明采用了改进的更适合复杂背景条件下的运动目标检测方法。该方法的主要内容为：通过投影方法确定图像中的运动目标位置，根据实际情况设定阈值，去除不连续的目标区域。如图2所示，具体步骤包括：

(301)判断当前状态下的车载环视摄像头是否可用，若可用，则开启车载环视摄像头，对当前电动尾门处的动作进行拍摄，否则，判断车载环视摄像头异常。

由于车载环视摄像头采用的是大范围视角的鱼眼摄像头，视频中的图像边缘会有较大的畸变，因此需要对图像进行一定程度矫正。同时需要去除图像因为光线等原因产生的噪点、去除阴影等。

(302)判断车载环视摄像头的拍摄是否结束，若未结束，则获取拍摄视频的当前帧，对当前帧进行灰度化。

(303)判断当前帧是否为第一帧，若是，则保存该帧作为背景帧，返回步骤(2)，否则，利用背景差分法对其获取前景，执行下一步；

(304)对获取的前景进行阴影检测，并定位人体的动作范围；

(305)对定位后的图像进行特征提取，包括形状特征和运动信息特征。其中，形状特征为采用背景相减法得到的二值轮廓形成的形状观测量以及hog特征。运动信息为光流特征，该特征通过计算每一帧图像的光流场获取。根据提取光流特征和形状特征，获取动作特征序列，并计算当前动作序列。

(306)利用DTW算法对步骤(305)中的当前动作序列与步骤二中得到的训练动作基元序列进行匹配，获取两个序列的平均距离。

DTW算法(Dynamic Time Warping，动态时间规整算法)是一种衡量两个时间序列之间的相似度的方法。在时间序列中，需要比较相似性的两段时间序列的长度可能并不相等，另外，不同时间序列可能仅仅存在时间轴上的位移，亦即在还原位移的情况下，两个时间序列是一致的。在这些复杂情况下，使用传统的欧几里得距离无法有效地求的两个时间序列之间的距离(或者相似性)。DTW算法通过把时间序列进行延伸和缩短，来计算两个时间序列性之间的相似性。计算过程包括：

令要计算相似度的两个时间序列为X和Y，长度分别为|X|和|Y|；

(1)归整路径(Warp Path)

归整路径的形式为W＝w1，w2，...，wK，其中Max(|X|，|Y|)＜＝K＜＝|X|+|Y|。

wk的形式为(i，j)，其中i表示的是X中的i坐标，j表示的是Y中的j坐标。归整路径W必须从w1＝(1，1)开始，到wK＝(|X|，|Y|)结尾，以保证X和Y中的每个坐标都在W中出现。

另外，W中w(i，j)的i和j必须是单调增加的，所谓单调增加是指：

w_k＝(i，j)，w_k+1＝(i′，j′)i≤i′≤i+1，j≤j′≤j+1

最后要得到的归整路径是距离最短的一个归整路径：

D(i，j)＝Dist(i，j)+min[D(i-1，j)，D(i，j-1)，D(i-1，j-1)]

(2)最后求得的归整路径距离为D(|X|，|Y|)，使用动态规划来进行求解。在得到最低损耗路径以后，通过移除路径开始段和结束短的冗余部分(不匹配部分)来估计最优规整路径(最低损耗路径的一小部分)。

(3)基于最优规整路径，动作序列X和Y的距离是规整路径上的平均距离，即：

(4)给定从最优规整路径中得到的动作到动作距离。这里通过建立动作到动作距离的阈值来拒绝非建模的动作，并且通过在训练集中运用交叉验证法来估计阈值。

为证明本发明方法的有效性和准确性，本实施例对基于动作识别的智能电动尾门系统进行了实验测试，主要测试系统的识别率和实时性。实验选择5个不同的人作为测试对象，每个人依次站在距离汽车尾门正面约1米的位置，各进行10次抬腿动作，测试尾门是否能准确识别到抬腿动作并开启，以及识别的响应时间。

实验结果：

通过对5个人共计50次的抬腿测试，正确识别并开启次数为46次。识别正确率为92％。同时识别过程中摄像头的平均帧率为12fps，平均响应时间约为83ms。

步骤四、将平均距离与设定的阈值作比较，若平均距离小于设定的阈值，则判定动作发生，尾门上的继电器接收到确认信号后开启尾门，否则，判定未检测到特定动作，返回步骤303)继续进行检测。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于视觉的汽车电动尾门开启方法，用于对车辆外部人员的特定动作进行识别以判断是否开启电动尾门，其特征在于，该方法包括以下步骤：

1)预先利用车身自有的车载环视摄像头获取车辆外部人员的特定动作视频，并将视频图像作为训练数据；

2)对训练数据进行预处理后进行运动目标检测和特征提取，根据提取的特征获取训练动作基元序列；

3)利用车身自有的车载环视摄像头对当前动作进行拍摄，并对拍摄的视频图像获取动作特征序列，计算当前动作序列；

4)对步骤3)中的当前动作序列与步骤2)中的训练动作基元序列进行匹配，获取两个序列的平均距离；

5)将平均距离与设定的阈值作比较，若平均距离小于设定的阈值，则判定特定动作发生，开启尾门，否则，判定未检测到特定动作，返回步骤3)继续进行检测。

2.根据权利要求1所述的一种基于视觉的汽车电动尾门开启方法，其特征在于，特定动作包括正对尾门抬腿动作、抬手动作，所述的正对尾门抬腿动作为正对车载环视摄像头站直，脚尖方向面向车载环视摄像头，腿伸直抬起角度大于45度，上半身保持不动，抬腿后收回，所述的抬手动作为正对车载环视摄像头站直，单手大臂保持不动，小臂由下往上垂直抬起后放下。

3.根据权利要求1所述的一种基于视觉的汽车电动尾门开启方法，其特征在于，对训练数据进行预处理包括视频图像矫正、图像噪点处理和阴影检测处理。

4.根据权利要求1所述的一种基于视觉的汽车电动尾门开启方法，其特征在于，特征提取包括形状特征提取和运动信息特征提取，形状特征包括形状观测量和hog特征，运动信息特征为光流特征。

5.根据权利要求4所述的一种基于视觉的汽车电动尾门开启方法，其特征在于，步骤2)具体包括以下步骤：

201)读取训练视频；

202)获取当前帧，并对当前帧进行灰度化；

203)判断当前帧是否为第一帧，若是，则保存该帧作为背景帧，返回步骤202)，否则，利用背景差分法对其获取前景，执行下一步；

204)对获取的前景进行阴影检测，并定位人体的动作范围；

205)提取光流特征和形状特征，获取并保存动作特征序列；

206)判断当前帧是否为最后一帧，若是，则对动作特征序列进行聚类，否则，返回步骤202)；

207)将聚类中心作为动作基元，计算训练动作基元序列并保存。

6.根据权利要求5所述的一种基于视觉的汽车电动尾门开启方法，其特征在于，步骤3)具体包括以下步骤：

301)对车载环视摄像头进行判断，若摄像头可用，则开启摄像头，否则，判断摄像头异常；

302)判断车载环视摄像头的拍摄是否结束，若未结束，则获取拍摄视频的当前帧，对当前帧进行灰度化；

303)判断灰度化后的当前帧是否为第一帧，若是，则保存该帧作为背景帧，返回步骤302)，否则，利用背景差分法对其获取前景，执行下一步；

304)对获取的前景进行阴影检测，并定位人体的动作范围；

305)提取光流特征和形状特征，获取动作特征序列，并计算动作基元序列。

7.根据权利要求1所述的一种基于视觉的汽车电动尾门开启方法，其特征在于，采用DTW算法对步骤3)中的当前动作序列与步骤2)中的训练动作基元序列进行匹配。

8.根据权利要求4所述的一种基于视觉的汽车电动尾门开启方法，其特征在于，形状观测量采用背景相减法获取的二值轮廓形成。