CN108846387A - 一种交警手势识别方法及装置 - Google Patents

Abstract

本申请公开了一种交警手势识别方法及装置，涉及计算机领域，该方法通过对包含交警手势的图像进行处理，根据预先建立的交警手势分割模型，即可对所述交警手势进行识别。通过该方法，在不需要交警佩戴传感器设备的情况下，即可进行交警手势的实时识别，识别成本较低，实施比较方便，通过交警手势分割的方式建立交警手势分割模型，再根据该交警手势分割模型时实时图像识别交警手势，其识别准确率也较高。

Description

一种交警手势识别方法及装置

技术领域

本公开一般涉及计算机领域，具体涉及图像识别领域，尤其涉及一种交警手势识别方法及装置。

背景技术

随着无人驾驶汽车技术的飞速发展，手势识别技术也正在不断的引入其中。若想要真正实现无人驾驶汽车的道路可行性，最重要的条件之一就是保障无人驾驶汽车行驶的安全性。只有当它能像人类一样对周围物体都做出准确无误的感知，并实现理解、判断和做出相对应反映动作时，才可能避让危险物，实现行驶安全性。

在无人驾驶汽车发展过程中，若进入无人驾驶车与有人驾驶车混行阶段，对于在道路上行驶的无人驾驶汽车而言当交通流密度较小时行车较为通顺，车辆可以通过对交通灯的识别决定启动或停止；而当出现一些突发情况路段或车流量较大的高峰小时路段，交警的手势指挥显得十分必要。这时，如何让无人汽车看懂交警的手势识是保证道路通行顺利的条件之一。

在深度学习技术得到发展之前，最常使用的对于交警手势的识别主要是通过配置对手臂动作轨迹的采集设备来获得手势的执行信息。此类方法需要在交警手臂上佩戴传感器设备，这会给交警的工作造成不便，此外加速度传感器价格成本较高。同时其信息处理的方法复杂，使得无法满足手势指挥的实时性传递。于是，如何使整个交警手势识别过程能即高效简单又使成本降低，是一项十分值得研究的内容。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种交警手势识别方法及装置，以实现对交警手势的识别。

第一方面，本发明实施例提供一种交警手势识别方法，包括：

获取包含交警手势的图像；

根据所述包含交警手势的图像，以及预先建立的交警手势分割模型，对所述交警手势进行识别。

进一步，在获取包含交警手势的图像之前还包括：

建立交警手势分割模型。

更进一步，所述建立交警手势分割模型，具体包括：

采集交警手势图像，建立交警手势样本库；

对所述交警手势样本库的中的图像按照设定比例进行划分，确定训练集和测试集；

对所述训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型；

通过所述测试集中的图像对所述图像分割模型进行测试和调整；

基于所述训练集和测试集中的图像分割结果，进行交警手势分类，得到交警手势分割模型。

更进一步，所述对所述训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型前，还包括：

对所述交警手势样本库的中的图像的格式进行预处理。

更进一步，所述根据所述包含交警手势的图像，以及预先建立的交警手势分割模型，对所述交警手势进行识别，具体包括：

对所述包含交警手势的图像进行图像分割处理，根据所述交警手势分割模型筛选出指定颜色值的区域；

将筛选出的区域与背景二值化；

确定筛选出的区域的轮廓；

确定所述轮廓的正外接矩形；

绘制所述正外接矩形并标注文字说明。

第二方面，本发明实施例还提供一种交警手势识别装置，包括：

获取单元，用于获取包含交警手势的图像；

识别单元，用于根据所述包含交警手势的图像，以及预先建立的交警手势分割模型，对所述交警手势进行识别。

进一步，还包括：

模型建立单元，用于建立交警手势分割模型。

更进一步，所述模型建立单元具体用于：

采集交警手势图像，建立交警手势样本库；

对所述交警手势样本库的中的图像按照设定比例进行划分，确定训练集和测试集；

对所述训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型；

通过所述测试集中的图像对所述图像分割模型进行测试和调整；

基于所述训练集和测试集中的图像分割结果，进行交警手势分类，得到交警手势分割模型。

更进一步，所述模型建立单元还用于：

对所述训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型前，对所述交警手势样本库的中的图像的格式进行预处理。

更进一步，所述识别单元具体用于：

对所述包含交警手势的图像进行图像分割处理，根据所述交警手势分割模型筛选出指定颜色值的区域；

将筛选出的区域与背景二值化；

确定筛选出的区域的轮廓；

确定所述轮廓的正外接矩形；

绘制所述正外接矩形并标注文字说明。

本发明实施例提供一种交警手势识别方法及装置，通过对包含交警手势的图像进行处理，根据预先建立的交警手势分割模型，即可对所述交警手势进行识别。通过该方法，在不需要交警佩戴传感器设备的情况下，即可进行交警手势的实时识别，识别成本较低，实施比较方便，通过交警手势分割的方式建立交警手势分割模型，再根据该交警手势分割模型时实时图像识别交警手势，其识别准确率也较高。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的交警手势识别方法流程图；

图2为本发明实施例提供的交警手势分割模型建立方法流程图；

图3a和图3b为本发明实施例提供的交警手势分割效果示意图；

图4为本发明实施例提供的图像分割模型示意图；

图5为本发明实施例提供的交警手势识别结果示意图；

图6为本发明实施例提供的交警手势识别装置结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，本发明实施例提供的交警手势识别方法，包括：

步骤S101、获取包含交警手势的图像；

步骤S102、根据包含交警手势的图像，以及预先建立的交警手势分割模型，对交警手势进行识别。

通过该方法，在不需要交警佩戴传感器设备的情况下，即可进行交警手势的实时识别，识别成本较低，实施比较方便，通过交警手势分割的方式建立交警手势分割模型，再根据该交警手势分割模型时实时图像识别交警手势，其识别准确率也较高。

如何建立交警手势分割模型，对交警手势识别的准确性影响较大，下面对建立交警手势分割模型进行具体说明：

在交警手势识别开始使用之前，需要建立交警手势分割模型，建立交警手势分割模型的步骤，如图2所示，具体包括：

步骤S201、采集交警手势图像，建立交警手势样本库；

步骤S202、对交警手势样本库的中的图像按照设定比例进行划分，确定训练集和测试集；

步骤S203、对训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型；

步骤S204、通过测试集中的图像对图像分割模型进行测试和调整；

步骤S205、基于训练集和测试集中的图像分割结果，进行交警手势分类，得到交警手势分割模型。

进一步，为使得识别效果更佳，在步骤S203，对训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型前，还包括：

对交警手势样本库的中的图像的格式进行预处理。

在步骤S201中，数据样本库中交警手势种类包括手势信号标准中的8种手势，分别是：停止信号示意、直行信号示意、左转弯信号示意、左转弯待转信号示意、右转弯信号、变道信号示意、减速慢行信号示意、示意车辆靠边停车信号示意。

在实际操作中，由于交警手势的现场实拍视频不易获取，可采用由研究人员身着交警服饰模仿相应动作而录制的视频，通过截图手势视频中的单帧图像作为样本库数据。

在步骤S202中，可以随机选取数据集中的80％用作训练集，10％用作测试集，10％用作模型结果对新数据集的验证；优选的，训练集中包含全部种类的手势，且比重一致。

基于深度学习的图像分割方法通过监督学习来预测像素级别的类标注，因此对于输入图像的数据集要给予相应的颜色标注。标注图像是单通道，每个像素标有其类。具体的，可以通过Photoshop软件与数位板结合进行数据标注。

在对交警手势样本库的中的图像的格式进行预处理时，由于图像分割算法要求输入数据格式一致，因此将原始数据与标注后数据更改大小为“480*360”并将标注图片在Photoshop软件中以Web所有格式储存，通过颜色按普及度排序，删除其中过渡颜色，保证存储格式为RGB模式用于符合网络输入要求。

在步骤S203中，选用基于SegNet的神经网络结构，SegNet由编码器和相应的解码器组成，其后是最终的像素分类层；编码器由13个卷积层组成，用于对象分类；每个编码器层具有对应的解码器层，因此解码器网络也具有13层；最终的解码器输出被馈送到多类soft-max分类器独立地为每个像素产生类概率。编码器中的每个编码器与滤波器组执行卷积以产生一组特征图，然后批量归一化，施加非线性ReLU激活函数。之后，执行具有2×2窗口和步幅2的最大汇集，并且将所得到的输出以因子2进行子采样。解码器中的适当解码器使用来自相应编码器特征图的存储的最大汇总索引来上采样其输入特征图，此步骤产生稀疏特征图。然后，这些特征图与可训练的解码器滤波器组卷积以产生密集的特征图，然后将批量归一化步骤应用于这些映射中的每一个，对应于第一编码器(最接近输入图像)的解码器产生多声道特征图，其编码器输入有3个通道(RGB)，在最终解码器的输出处的高维特征表示被馈送到可训练的soft-max分类器，soft-max独立地分类每个像素。soft-max分类器的输出是K通道图像的概率，其中K是类的数量，预测的分割对应于在每个像素处具有最大概率的类。

在步骤S204中，经过训练数据得到模型后向其中输入新数据帧组成的视频，可观察看到模型对新数据的分割效果。

在步骤S205中，图像分割结果是针对不同的手势动作产生不同的颜色分割，根据分割结果，使用OpenCV对指定手势RGB进行特征提取，并进行框图与文字标注出相应手势名称以示分类。

例如，可以通过自行拍摄照片，建立一份具有2000张图片的数据集，八种手势各拍摄250张；数据集的选择按照二八原则，随机选择其中400张作为测试集合，剩余1600张作为训练集；标注阶段通过Photoshop软件与数位板结合使用，双手、躯干、警帽单独标注，八个手势执行动作的胳膊分别标记为八种RGB；标注结果如图3a和图3b所示。

对标注后的图像与原图像进行预处理，更改图像的大小为480*360像素，确保数据格式为RGB图像，并且不存在除标注RGB值以外的多余RGB，使之符合神经网络的输入格式；

将标注后的训练集数据输入到如图4所示的SegNet图像分割网络中，训练模型，得到图像分割模型，图4中，未填充的矩形表示卷积+批量标准化+LeRU，斜线填充的矩形表示池化，格子填充的矩形表示上采样，横线填充的矩形表示SoftMax；

对模型进行测试，使用新的手势图像帧构成视频输入模型结果中，观察分割效果；训练过程硬件GPU可以选择使用NVidia Jetson TX1，环境配置为Ubuntu 16.04、Caffe、SegNet，对小数据集的训练上百张数据需要8小时左右，经过约50-100个循环迭代，可看到结果收敛，达到90％以上的训练准确性；得到分割效果如图3a和图3b所示；

基于图象分割RGB结果进行手势分类；经过图像分割，八种交警手势的执行动作手臂都由不同单一RGB值的颜色表示，通过对每一帧中八种颜色的识别表示出不同的手势内容。其中，具体实现步骤如下：1筛选出指定颜色值的区域、2将筛选出区域与背景二值化、3查找区域轮廓、4查找轮廓的正外接矩形、5绘制正外接矩形并标注文字说明；其结果如图5中所示。

在进行识别时，也同样根据颜色识别表示出不同的手势内容，步骤S102中，根据包含交警手势的图像，以及预先建立的交警手势分割模型，对交警手势进行识别，具体包括：

对包含交警手势的图像进行图像分割处理，根据交警手势分割模型筛选出指定颜色值的区域；

将筛选出的区域与背景二值化；

确定筛选出的区域的轮廓；

确定轮廓的正外接矩形；

绘制正外接矩形并标注文字说明。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本发明实施例还相应提供一种交警手势识别装置，如图6所示，包括：

获取单元601，用于获取包含交警手势的图像；

识别单元602，用于根据包含交警手势的图像，以及预先建立的交警手势分割模型，对交警手势进行识别。

进一步，该装置还包括：

模型建立单元，用于建立交警手势分割模型。

更进一步，模型建立单元具体用于：

采集交警手势图像，建立交警手势样本库；

对交警手势样本库的中的图像按照设定比例进行划分，确定训练集和测试集；

对训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型；

通过测试集中的图像对图像分割模型进行测试和调整；

基于训练集和测试集中的图像分割结果，进行交警手势分类，得到交警手势分割模型。

更进一步，模型建立单元还用于：

对训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型前，对交警手势样本库的中的图像的格式进行预处理。

进一步，识别单元602具体用于：

对包含交警手势的图像进行图像分割处理，根据交警手势分割模型筛选出指定颜色值的区域；

将筛选出的区域与背景二值化；

确定筛选出的区域的轮廓；

确定轮廓的正外接矩形；

绘制正外接矩形并标注文字说明。

应当理解，该装置中记载的诸单元或模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于该装置及其中包含的单元，在此不再赘述。该装置可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。该装置中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种交警手势识别方法，其特征在于，包括：

获取包含交警手势的图像；

根据所述包含交警手势的图像，以及预先建立的交警手势分割模型，对所述交警手势进行识别。

2.如权利要求1所述的方法，其特征在于，在获取包含交警手势的图像之前还包括：

建立交警手势分割模型。

3.如权利要求2所述的方法，其特征在于，所述建立交警手势分割模型，具体包括：

采集交警手势图像，建立交警手势样本库；

对所述交警手势样本库的中的图像按照设定比例进行划分，确定训练集和测试集；

对所述训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型；

通过所述测试集中的图像对所述图像分割模型进行测试和调整；

基于所述训练集和测试集中的图像分割结果，进行交警手势分类，得到交警手势分割模型。

4.如权利要求3所述的方法，其特征在于，所述对所述训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型前，还包括：

对所述交警手势样本库的中的图像的格式进行预处理。

5.如权利要求3所述的方法，其特征在于，所述根据所述包含交警手势的图像，以及预先建立的交警手势分割模型，对所述交警手势进行识别，具体包括：

对所述包含交警手势的图像进行图像分割处理，根据所述交警手势分割模型筛选出指定颜色值的区域；

将筛选出的区域与背景二值化；

确定筛选出的区域的轮廓；

确定所述轮廓的正外接矩形；

绘制所述正外接矩形并标注文字说明。

6.一种交警手势识别装置，其特征在于，包括：

获取单元，用于获取包含交警手势的图像；

识别单元，用于根据所述包含交警手势的图像，以及预先建立的交警手势分割模型，对所述交警手势进行识别。

7.如权利要求6所述的装置，其特征在于，还包括：

模型建立单元，用于建立交警手势分割模型。

8.如权利要求7所述的装置，其特征在于，所述模型建立单元具体用于：

采集交警手势图像，建立交警手势样本库；

对所述交警手势样本库的中的图像按照设定比例进行划分，确定训练集和测试集；

对所述训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型；

通过所述测试集中的图像对所述图像分割模型进行测试和调整；

基于所述训练集和测试集中的图像分割结果，进行交警手势分类，得到交警手势分割模型。

9.如权利要求8所述的装置，其特征在于，所述模型建立单元还用于：

对所述训练集中的图像进行图像分割处理，得到通过指定颜色填充手势的图像分割模型前，对所述交警手势样本库的中的图像的格式进行预处理。

10.如权利要求8所述的装置，其特征在于，所述识别单元具体用于：

对所述包含交警手势的图像进行图像分割处理，根据所述交警手势分割模型筛选出指定颜色值的区域；

将筛选出的区域与背景二值化；

确定筛选出的区域的轮廓；

确定所述轮廓的正外接矩形；

绘制所述正外接矩形并标注文字说明。