CN110096973A - 一种基于orb算法和深度级可分离卷积网络的交警手势识别方法 - Google Patents

Abstract

本发明提出了一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，步骤如下：S1、采用摄像机拍摄含有交警的图像；S2、预处理图像，利用ORB算法检测预处理后的图像中的关键点；S3、利用BRIED特征描述子描述S2中的关键点特征；S4、通过随机一致性采样算法和关键点匹配图像中交警制服所在区域；S5、计算交警制服中心点，结合交警制服与交警身体的比例关系膨胀出交警所在区域；S6、将交警区域图像输入手势识别网络，手势识别网络利用深度级可分离卷积结构精简模型，并通过支持向量机或者一层全连接层得到手势分类结果，完成交警手势识别。本发明方法模型规模小，运算量少，运算速度快，识别精度高，可以部署在手机等低功耗设备上，方便推广。

Description

一种基于ORB算法和深度级可分离卷积网络的交警手势识别 方法

技术领域

本发明涉及一种高精度的交警手势识别方法，属于高级汽车驾驶员辅助技术领域。

背景技术

驾驶环境感知功能是ADAS(Advanced Driver Assistance System，高级汽车驾驶员辅助系统)的一项重要功能。交警作为维护交通秩序的重要人员，对于驾驶员的驾驶决策有着重要的影响，识别交警的手势作为驾驶环境感知的重要部分，有着迫切的需求。交警手势识别模型及其方法可以用于辅助驾驶决策，减少交通事故的发生。

目前，市面上主要采用两种方法来完成识别交警手势的任务：一种是基于传统的统计学习方法，依赖繁琐复杂的特征工程来得到交警手势信息；另外一种方法是使用深度学习方法，依赖卷积网络提取图像信息，对特征图输出设计合适的损失函数来训练模型，最终达到识别交警手势的目的。传统的基于特征工程的统计学习方法虽然计算量较小，简便易行，但是由于特征工程过于复杂，导致识别精度差；而基于深度卷积网络的模型虽然识别精度高，但是大多需要高性能的GPU才能达到勉强的实时识别效果，成本较高。

公开号为CN108132710A的中国专利申请提出了一种基于Kinect的交警手势识别方法，该方法通过在交警的衣服上安装红外线发射器，使Kinect对交警的感知强度大于其它事物。该方法算法实现比较简单，也可以达到实时识别，但是需要专用的设备Kinect并且需要对交警制服进行改造，在现实生活中难以推广。公开号为CN105893951A的中国专利申请提出了一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统，该系统从安置于道口的四台深度传感器获取交警手势四维数据源，并提取具有描述性和区分性的交警手势特征，结合交警手势特征字典库识别当前交警手势以及指令朝向，并将当前地理位置坐标、交警手势识别结果、指令所属方向经无线广播一并传输至道口的无人驾驶车，车辆对接收到的信息进行解析提取行驶方向上的相应交警指令，并根据指令进行辅助驾驶决策；该方法需要对车辆进行统一的接收器安装，难以大规模普及。公开号为CN108830148A的中国专利申请提出了一种基于RNN的交警手势识别模型，该模型首先通过相机获取当前采集到的图片帧中的手势信息；当手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配、且目标交警手势包括多个连续分解动作时，获取N个连续的目标图片帧中的M个手势信息；判断M个手势信息中是否存在与第一个分解动作所属交警手势的P个后续分解动作一一相匹配的P个手势信息，且P个手势信息各自对应的目标图片帧的采集时间顺序是否与P个后续分解动作的先后顺序一致；在满足上述条件时，将目标交警手势作为识别结果。该模型识别精度高，但是运行速度慢，需要GPU的设备加速计算，难以大规模推广。

综上所述，目前研发的大部分交警手势识别方法往往对硬件有较高要求，需要对现有的车辆或交警制服等设备进行改造，成本较高，难以大规模推广使用。

发明内容

针对现有技术存在的模型运算量大、设备成本高、识别速度慢、设备功耗高、设备安装不方便等问题，本发明提出了一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，利用ORB算法提取关键点，利用深度级可分离卷积结构精简模型，模型体积小，运算量相对较少，运算速度更快，不仅可以实现实时检测，还可以直接部署在手机登低功耗设备上，降低成本。

为解决上述技术问题，本发明采用了如下技术手段：

一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，具体包括以下步骤：

S1、采用安装在车辆前方的摄像机拍摄车辆前方含有交警的图像。

S2、对图像进行预处理，利用ORB算法检测预处理后的图像中的关键点，当某一像素点与其领域像素点的8位灰度图的数值差值在设定阈值以上时，该像素点为关键点，并且图像中的轮廓点也是关键点。

S3、利用BRIED特征描述子描述S2中检测到的关键点的特征，BRIEF特征描述子可以快速地得到二进制码关键点特征描述。

S4、通过随机一致性采样算法和关键点匹配图像中交警制服所在区域；采用随机一致性采样算法优化关键点集合，滤除噪声，得到准确的交警制服区域。

S5、计算交警制服中心点，并结合交警制服与交警身体的比例关系膨胀出交警所在区域。

S6、将交警区域图像输入手势识别网络，手势识别网络利用深度级可分离卷积结构精简模型，并通过支持向量机或者一层全连接层得到手势分类结果，完成交警手势识别。

进一步的，所述的步骤S2的具体操作如下：

S21、采用最大最小值滤波法处理原始图像，得到初步光照图；

S22、采用均值滤波处理初步光照图，得到滤波后的光照图；

S23、将原始图像与S22得到的光照图相减得到预处理后的图像；

S24、利用ORB算法检测预处理后的图像中的关键点，即图像中的轮廓点、与领域像素点的8位灰度图的数值差值在50以上的像素点。

进一步的，步骤S5中的交警制服中心点为S2检测出的所有关键点的几何中心点，即分别求解所有关键点的x坐标的均值x’和y坐标的均值y’，得到的坐标(x’，y’)就是中心点坐标。

进一步的，步骤S5中交警制服与交警的比例关系的取值范围为1:4到1:3之间。

进一步的，步骤S6的具体操作如下：

S61、将交警区域图像输入手势识别网络；

S62、通过n个深度级可分离卷积模块级联，构建人体关节点的特征提取网络，从交警区域图像中获取每个像素点的人体关节点分布特征图和偏移向量特征图；

S63、根据人体关节点分布特征图的置信度结合S62中各像素点的偏移向量特征图，得到图像中人体关节点的坐标；

S64、计算人体左右肩部关节点连线的中心点，将S63得到的所有关节点坐标依次减去中心点坐标，进行归一化处理；

S65、通过支持向量机或者一层全连接层处理归一化后的数据，对交警手势进行分类，得到最终的交警手势识别结果。

采用以上技术手段后可以获得以下优势：

本发明提出了一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，通过ORB算法提取图像中的关键点，进而得到交警制服所在区域，根据交警制服与交警身体的比例关系得到交警所在区域的图像，利用深度级可分离卷积网络处理图像，获得交警手势识别结果。与现有技术相比，本发明手势识别网络中输入的是交警所在区域的图像，缩小了输入图像的尺寸，深度级可分离卷积结构分为深度卷积和点卷积，可以在保证识别效果的前提下成倍缩小模型规模和参数规模，运算量较小，运算速度较快，可以实现实时检测。同时，本发明方法可以直接部署在手机等低功耗设备上使用，大大降低了应用成本，并且可以保证识别精度，易于推广使用。

附图说明

图1为本发明一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法的步骤流程图。

图2为本发明交警制服区域与交警身体区域的比例关系图。

图3为本发明深度级可分离卷积网络的结构示意图。

图4为八种交警手势示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明：

一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，如图1所示，具体包括以下步骤：

S1、采用安装在车辆前方的摄像机拍摄车辆前方含有交警的图像，本发明使用的前视相机采集的视频数据的参数为1280×720@60FPS，视频帧为彩色图像，包含RGB三通道色彩信息，可以用(1280,720,3)维度的张量表示，张量中每个元素为整数，取值范围为[0,255]。

S2、对图像进行预处理，利用ORB算法检测预处理后的图像中的关键点，当某一像素点与其领域像素点的8位灰度图的数值差值在设定阈值以上时，该像素点为关键点，在本具体实施例中，阈值设定的是50；此外，图像中的轮廓点也是关键点。具体操作如下：

S21、采用最大最小值滤波法处理原始图像，得到初步光照图。

S22、采用均值滤波处理初步光照图，得到滤波后的光照图。

S23、将原始图像与S22得到的光照图相减得到预处理后的图像。

S24、利用ORB算法检测预处理后的图像中的关键点，关键点检测过程中，首先使用FAST9-16算法得到初始的关键点集合，并使用ID3决策树筛选最优关键点集合；然后使用非极大值抑制法去除局部过于密集的关键点，最后根据特征描述子的选用情况，确定是否需要使用矩法确定筛选之后的关键点的方向，得到最终的关键点集合。

S3、利用BRIED特征描述子描述步骤S2检测到的关键点的特征，BRIEF特征描述子可以快速地得到二进制码关键点特征描述。BRIEF特征描述子本身不需要关键点方向信息，但是考虑到有些情况下图像旋转角度较大，需要采用改进的rBRIEF特征描述子来描述关键点特征，此时需要在步骤S2中计算每个关键点的方向

S4、通过随机一致性采样算法和关键点匹配图像中交警制服所在区域；随机一致性采样算法，即RANSAC算法，该算法通过反复选择数据中的一组随机子集A，使用子集A的数据拟合模型，并利用子集A的补集B中的数据计算模型误差；不断重复这一过程，选择误差最小的模型。RANSAC算法可以优化关键点集合，滤除噪声，得到准确的交警制服区域。

S5、计算交警制服中心点，也就是交警制服区域的关键点的几何中心点，分别求解所有关键点的x坐标的均值x’和y坐标的均值y’，得到的坐标(x’，y’)就是中心点坐标。如图2所示，交警制服与交警的身体之间有一个比例关系，一般情况下这个比例关系的取值范围为1:4到1:3之间，通过交警制服中心点结合交警制服与交警身体的比例关系膨胀出交警所在区域。

S6、将交警区域图像输入手势识别网络，手势识别网络利用深度级可分离卷积结构精简模型，并通过支持向量机或者一层全连接层得到手势分类结果，完成交警手势识别。具体操作如下：

S61、根据S5的结果切割出交警所在区域图像，将交警区域图像输入手势识别网络。

S62、利用深度级可分离卷积结构，将传统的卷积结构分为深度卷积和点卷积两个步骤，这样划分可以在保证模型识别效果的前提下，成倍缩小模型体积。深度级可分离卷积网络结构如图3所示，深度卷积针对每个输入通道采用不同的卷积核，就是说一个卷积核对应一个输入通道；点卷积就是普通的卷积，只不过其采用1x1的卷积核。

通过n个深度级可分离卷积模块级联，构建人体关节点的特征提取网络，从交警区域图像中获取每个像素点的人体关节点分布特征图和偏移向量特征图。交警手势识别网络输出特征图包含S×S×36个特征，其中S代表输出特征图的尺寸，每个特征点由一个包含36个数据的特征向量组成。这36个数据包含12个人体关节点在该特征点存在的概率，以及每个关节点在该点的偏移向量。

S63、12个人体关节点在该特征点存在的概率即为置信度，比如，某一个特征点有90%的概率是人体的手肘位置，根据人体关节点分布特征图的置信度结合S62中各像素点的偏移向量特征图，得到图像中人体关节点的坐标。

S64、得到所有关节点坐标之后，计算人体左右肩部关节点连线的中心点，将S63得到的所有关节点坐标依次减去中心点坐标，进行归一化处理。

S65、通过支持向量机或者一层全连接层处理归一化后的数据，对交警手势进行分类，交警手势共可以分为8类，如图4所示，分别代表停止、直行、左转弯、右转弯、左转弯待转、变道、减速慢行和靠边停车，分析图像所属的类别得到最终的交警手势识别结果。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，其特征在于，包括以下步骤：

S1、采用安装在车辆前方的摄像机拍摄车辆前方含有交警的图像；

S2、对图像进行预处理，利用ORB算法检测预处理后的图像中的关键点，当某一像素点与其领域像素点的8位灰度图的数值差值在设定阈值以上时，该像素点为关键点，并且图像中的轮廓点也是关键点；

S3、利用BRIED特征描述子描述S2中检测到的关键点的特征；

S4、通过随机一致性采样算法和关键点匹配图像中交警制服所在区域；

S5、计算交警制服中心点，并结合交警制服与交警身体的比例关系膨胀出交警所在区域；

S6、将交警区域图像输入手势识别网络，手势识别网络利用深度级可分离卷积结构精简模型，并通过支持向量机或者一层全连接层得到手势分类结果，完成交警手势识别。

2.根据权利要求1所述的一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，其特征在于，所述的步骤S2的具体操作如下：

S21、采用最大最小值滤波法处理原始图像，得到初步光照图；

S22、采用均值滤波处理初步光照图，得到滤波后的光照图；

S23、将原始图像与S22得到的光照图相减得到预处理后的图像；

S24、利用ORB算法检测预处理后的图像中的关键点，即图像中的轮廓点、与领域像素点的8位灰度图的数值差值在50以上的像素点。

3.根据权利要求1所述的一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，其特征在于，步骤S5中的交警制服中心点为S2检测出的所有关键点的几何中心点。

4.根据权利要求1所述的一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，其特征在于，步骤S5中交警制服与交警身体的比例关系的取值范围为1:4到1:3之间。

5.根据权利要求1所述的一种基于ORB算法和深度级可分离卷积网络的交警手势识别方法，其特征在于，步骤S6的具体操作如下：

S61、将交警区域图像输入手势识别网络；

S62、通过n个深度级可分离卷积模块级联，构建人体关节点的特征提取网络，从交警区域图像中获取每个像素点的人体关节点分布特征图和偏移向量特征图；

S63、根据人体关节点分布特征图的置信度结合S62中各像素点的偏移向量特征图，得到图像中人体关节点的坐标；

S64、计算人体左右肩部关节点连线的中心点，将S63得到的所有关节点坐标依次减去中心点坐标，进行归一化处理；

S65、通过支持向量机或者一层全连接层处理归一化后的数据，对交警手势进行分类，得到最终的交警手势识别结果。