CN110858295B - 一种交警手势识别方法、装置、整车控制器及存储介质 - Google Patents

Abstract

本发明公开了一种交警手势识别方法、装置、整车控制器及计算机可读存储介质，其方法包括：实时获取车辆前方的路况图像；当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置；根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向；当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型；本发明实现自动识别道路交警指挥动作含义的功能，提升驾驶智能化水平。

Description

一种交警手势识别方法、装置、整车控制器及存储介质

技术领域

本发明涉及图像识别领域，尤其涉及一种交警手势识别方法、装置、整车控制器及计算机可读存储介质。

背景技术

随着社会经济的快速发展，城市交通拥挤已日趋全球化，日益恶劣的交通拥堵现象严重影响人们的日常生活，阻碍经济的发展。在遇到交通拥堵的情况下，信号灯不能智能地针对各个方向车辆的多少有针对性地进行交通疏导，为了尽快疏导交通，维护交通秩序，就需要交通警察来指挥交通，尤其是随着社会经济的发展，交通拥堵现象日益严重，交通信号灯的协调能力大大降低，很多路口都需要交通警察的协调。利用交通警察手势控制的方式，将很好的弥补红绿灯在某些大型路口控制方面的不足，特别是在发生交通堵塞时，交警能根据现场的交通状况并通过交通手势来控制车流，使交通要道畅通、减少环境污染、节约能源、提高驾驶安全性等。近年来，骨骼关键点检测广泛应用在VR、安防、人机交互中，随着自动驾驶技术的兴起和快速发展，有关法规提出了对自动驾驶车辆增加理解交警指挥手势动作含义的需求。

目前针对交警指挥手势的识别技术主要有以下两种，第一种便是通过在交警身上佩戴数据衣或者数据手套等动作捕捉设备来获取手势数据的方式。第二种便是通过机器视觉设备来获取交警指挥手势数据的方式。

但在实现本发明的过程中，发明人发现：上述的第一种方式中，由于动作捕捉设备能获得精度很高的数据，因此采用这种方式的识别效果很好。然而，这类仪器往往价格也很昂贵，增加了系统的复杂程度且普适度低，加上这种方式需要在使用者的身上佩戴一定数量的传感器，从而造成使用者的舒适性降低，甚至会影响动作完成的质量；在上述的第二种实现方式中，虽然可以大大减少对交通警察指挥手势的限制，自然性和便携性比更好，但其识别误差较大，不能兼顾计算的复杂度和结果可靠性。

发明内容

针对上述问题，本发明的目的在于提供一种交警手势识别方法、装置、整车控制器及计算机可读存储介质，实现自动识别道路交警指挥动作含义的功能，提升驾驶智能化水平。

第一方面，本发明实施例提供了一种交警手势识别方法，包括以下步骤：

实时获取车辆前方的路况图像；

当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置；

根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向；

当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型。

在第一方面的第一种实现方式中，在所述获取车辆前方的路况图像之后，还包括：

根据预先建立的交警目标检测模型，检测所述路况图像中是否存在交警目标；

当从所述路况图像中检测到交警目标时，从所述路况图像获取所述交警目标，以生成交警目标图像。

根据第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述目标检测模型通过以下方式进行训练：

以预设的样本库作为输入，通过监督学习方式对预设的卷积神经网络模型进行训练，从而生成所述交警目标检测模型；其中，所述样本库包括第一预设数量的不同服装样式及站姿的交警目标图片，以及第二预设数量的普通行人图片。

根据第一方面的第一种实现方式，在第一方面的第三种实现方式中，所述当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置，具体为：

当从所述路况图像中检测到交警目标时，将所述交警目标图像作为预先建立的骨骼关键点检测模型的输入参量，从而从所述骨骼关键点检测模型中获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置。

根据第一方面的第一种实现方式，在第一方面的第四种实现方式中，所述根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置，具体为：

根据所述交警目标图像，获取所述交警目标的至少一个二维坐标分布热力图；其中，所述二维坐标分布热力图用于表征特征点在所述交警目标图像上的置信度；

获取在所述二维坐标分布热力图上置信度最高的特征点，以作为所述骨骼关键点；

根据各个所述骨骼关键点，获取骨架线连接图；其中，所述骨架线连接图包括各个所述骨骼关键点在预设坐标系的坐标位置；所述骨骼关键点包括鼻子关键点、脖子关键点、右肩关键点、左肩关键点、右肘关键点、左肘关键点、右腕关键点、左腕关键点以及腰腹中心关键点。

根据第一方面的第三种实现方式或者第四种实现方式，在第一方面的第五种实现方式中，所述根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向，具体为：

根据所述交警目标的右肩关键点、左肩关键点、脖子关键点、腰腹中心关键点以及鼻子关键点的坐标位置及预设阈值，获取所述交警目标的身体朝向；其中，设(x₃,y₃)为右肩位置坐标，(x₄,y₄)为左肩位置坐标，(x₂,y₂)为脖子位置坐标，(x₁,y₁)为鼻子位置坐标，T₀为预设阈值，当满足

且x₁>0时，所述交警目标的身体朝向为面向所述车辆的车道方向。

根据第一方面的第五种实现方式，在第一方面的第六种实现方式中，所述当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型，具体为：

当所述交警目标的身体朝向为面向所述车辆的车道方向时，将所述骨架线连接图作为预先建立的交警指挥动作识别模型的输入参量，从而从所述交警指挥动作识别模型中识别所述交警目标的指挥手势类型。

根据第一方面的第五种实现方式，在第一方面的第七种实现方式中，所述根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型，具体为：计算所述骨架线连接图中各个骨骼关键点之间的相对位置；

根据所述骨骼关键点的相对位置、相应的判断阈值以及预先存储的指挥手势类型数据，识别所述交警目标的指挥手势类型；其中，所述指挥手势类型包括停止动作、直行动作、左转弯动作、左转弯待转动作、右转弯动作、右转弯待转动作、便道动作、减速慢行动作及靠边停车动作中的任意一种。

在第一方面的第八种实现方式中，还包括：

根据所述交警目标的指挥手势类型，控制所述车辆的运行模式。

第二方面，本发明实施例提供了一种交警手势识别装置，包括：

路况图像获取模块，用于实时获取车辆前方的路况图像；

骨骼关键点获取模块，用于当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置；

目标朝向获取模块，用于根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向；

指挥手势类型识别模块，用于当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型。

第三方面，本发明实施例提供了一种整车控制器，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的交警手势识别方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行第二方面中任意一项所述的交警手势识别方法。

以上实施例具有如下有益效果：

通过实时获取车辆前方的路况图像，当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置，再根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向，当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型，实现自动识别道路交警指挥动作含义的功能，提升驾驶智能化水平，而且本发明的实现方案能够搭载于车辆中，不受路口设备和交警穿戴限制，硬件资源投入少，不仅减轻了道路基建负担，降低了成本，而且因其高效快捷的实现过程，更具有普适性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的交警手势识别方法的流程示意图。

图2是本发明第一实施例提供的交警的骨骼关键点的示意图。

图3是本发明第一实施例提供的判断交警目标的身体朝向的示意图、

图4是本发明第一实施例提供的预先存储的交警指挥数据的示意图。

图5是本发明第七实施例提供的交警手势识别装置的结构示意图。

图6是本发明第八实施例提供的整车控制器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明第一实施例提供了一种交警手势识别方法，其可由整车控制器来执行，并包括以下步骤：

S11，实时获取车辆前方的路况图像。

在本发明实施例中，所述交警手势识别方法可集成于自动驾驶车辆的感知子功能模块，并嵌入自动驾驶车辆的感知识别装置中，以便由自动驾驶车辆的整车控制器控制运行。

在本发明实施例中，在自动驾驶车辆前方的挡风玻璃中上方安装前视摄像头，由所述前视摄像头在行驶过程中实时采集车辆前方的路况图像，并将所述路况图像通过无线传输方式或者有线传输图像传输给所述整车控制器，由所述整车控制器实时接收自动驾驶车辆在行驶过程中其前方的路况图像，需要说明的是，本发明对于采集的路况图像的大小以及采集帧率不做任何限制，可依据实际情况进行具体设置，例如可设置采集的路况RGB图像大小为1280×720×3，采集帧率为30FPS等等。

S12，当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置。

在本发明实施例中，所述整车控制器在获取到所述路况图像时，检测所述路况图像中是否存在交警目标，当从所述路况图像中检测到交警目标时，所述整车控制器从所述路况图像中获取检测到的交警目标，以生成交警目标图像，然后将所述交警目标图像作为预先建立的骨骼关键点检测模型的输入参量，从而从所述骨骼关键点检测模型中获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置，具体地，从所述骨骼关键点检测模型中输出由各个骨骼关键点连接而成的骨架线连接图，所述骨架线连接图包括各个所述骨骼关键点在预设坐标系的坐标位置，如图2所示，考虑现实情况中，交警在进行的交通指挥手势仅与上肢动作相关，所以本发明将交警骨骼模型关键点简化为上肢部分的骨骼关键点，所述骨骼关键点包括1、鼻子关键点；2、脖子关键点；3、右肩关键点；4、左肩关键点；5、右肘关键点；6、左肘关键点；7、右腕关键点；8、左腕关键点；9、腰腹中心关键点，从而实现在实现相同检测效果的情况下简化了计算的复杂度，提高程序运行效率。

S13，根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向。

在本发明实施例中，需要说明的是，实际情况中，交警的动作识别不一定都是针对本车道方向，有可能是在其他车道方向，因此为了排除交警针对于其他车道方向的指挥手势，提高识别的准确率，所述整车控制器根据所述骨骼关键点的坐标位置进行估算，以判断所述交警目标的身体朝向是否面向所述车辆的车道方向进行指挥，如图3所示，选取脖子关键点的坐标位置作为所述交警目标的身体位置基准，并选取鼻子关键点的坐标位置作为朝向基准，当检测到所述交警目标的脖子关键点与本车所形成的角度在预先设置的角度阈值之内，且所述鼻子关键点的坐标位置大于0时，判定所述交警目标的身体朝向为面向所述车辆的车道方向进行指挥的，需要说明的是，本发明对与角度阈值的设置不做任何限制，可依据实际的车道宽度情况机型具体设置。

S14，当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型。

在本发明实施例中，所述整车控制器在判断所述交警目标的身体朝向为面向所述车辆的车道方向之后，则所述交警目标的指挥手势为有效手势，所述整车控制器将从所述预先建立的骨骼关键点检测模型输出的骨架线连接图作为预先建立的交警指挥动作识别模型的输入参量，从而从所述交警指挥动作识别模型中识别所述交警目标的指挥手势类型，请参阅图4，所述交警指挥动作识别模型预先存储了交警基本8类指挥动作骨骼关键点相对位置数据，包括停止动作、直行动作、左转弯动作、左转弯待转动作、右转弯动作、右转弯待转动作、便道动作、减速慢行动作及靠边停车动作，当所述整车控制器获取到交警目标的指挥动作的骨骼点与模型中存储的指挥动作数据满足匹配时可判断出所述交警目标的指挥手势类型。

综上所述，本发明第一实施例提供了一种交警手势识别方法，通过实时获取车辆前方的路况图像，当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置，再根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向，当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型，实现自动识别道路交警指挥动作含义的功能，提升驾驶智能化水平，而且本发明的实现方案能够搭载于车辆中，不受路口设备和交警穿戴限制，硬件资源投入少，不仅减轻了道路基建负担，降低了成本，而且因其高效快捷的实现过程，更具有普适性。

本发明第二实施例：

在本发明第一实施例的基础上，在所述S11之后，还包括：

根据预先建立的交警目标检测模型，检测所述路况图像中是否存在交警目标。

当从所述路况图像中检测到交警目标时，从所述路况图像获取所述交警目标，以生成交警目标图像。

在本发明实施例中，所述整车控制器根据预先建立的交警目标检测模型，检测所述路况图像中是否存在交警目标，并在检测到交警目标时获取交警目标图像，所述目标检测模型通过以下方式进行训练：以预设的样本库作为输入，通过监督学习方式对预设的卷积神经网络模型进行训练，从而生成所述交警目标检测模型，所述样本库包括第一预设数量的不同服装样式及站姿的交警目标图片，以及第二预设数量的普通行人图片，因为交警的制服和普通行人是有较大差别的，而且交警常穿戴的荧光服和制服帽也比较容易通过计算机视觉检测出，所以将第一预设数量的包括了不同站姿和服装特点的交警图片作为正样本，所述不同的站姿例如站立时头部、手臂、站立姿势的不同角度等等，所述不同服装特点根据具体的交警服饰获取，另外将第二预设数量的普通行人图片做负样本，通过监督卷积网络模型训练，以生成所述交警目标检测模型，需要说明的是，本发明对于所述第一预设数量以及所述第二预设数量的具体数值设置不做任何限制，在满足所述第二预设数量大于所述第一预设数量的情况下，可依据实际情况进行具体设置。

本发明第三实施例：

在本发明第二实施例的基础上，所述根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置，具体为：

根据所述交警目标图像，获取所述交警目标的至少一个二维坐标分布热力图；其中，所述二维坐标分布热力图用于表征特征点在所述交警目标图像上的置信度。

获取在所述二维坐标分布热力图上置信度最高的特征点，以作为所述骨骼关键点。

根据各个所述骨骼关键点，获取骨架线连接图；其中，所述骨架线连接图包括各个所述骨骼关键点在预设坐标系的坐标位置；所述骨骼关键点包括鼻子关键点、脖子关键点、右肩关键点、左肩关键点、右肘关键点、左肘关键点、右腕关键点、左腕关键点以及腰腹中心关键点。

在本发明实施例中，骨骼关键点检测模型是基于VGG19网络，通过caffe深度学习框架和OpenCV视觉库进行搭建，将第三预设数量的已标注的带有骨骼关键点坐标的人体图像作为样本对预设的模型进行训练，以生成骨骼关键点检测模型。

在本发明实施例中，所述整车服务器将所述交警目标图像作为预先建立的骨骼关键点检测模型的输入参量，然后所述骨骼关键点检测模型首先会根据所述交警目标图像，获取所述交警目标的9个二维坐标分布热力图，然后对于每一张二维坐标分布热力图，获取在所述二维坐标分布热力图上置信度最高的特征点作为骨骼关键点，再根据人体关键点之间的连接的顺序关系(例如肩膀连接着脖子和手肘等)，进而输出包含骨骼关键点坐标位置信息的骨架线连接图。

本发明第四实施例：

在本发明以上实施例的基础上，为所述交警目标的身体朝向提供另一种判断方法，所述S13，具体为：

根据所述交警目标的右肩关键点、左肩关键点、脖子关键点、腰腹中心关键点以及鼻子关键点的坐标位置及预设阈值，获取所述交警目标的身体朝向；其中，设(x₃,y₃)为右肩位置坐标，(x₄,y₄)为左肩位置坐标，(x₂,y₂)为脖子位置坐标，(x₁,y₁)为鼻子位置坐标，T₀为预设阈值，当满足

且x₁>0时，所述交警目标的身体朝向为面向所述车辆的车道方向。

在本发明实施例中，所述整车控制器根据所述交警目标的右肩关键点、左肩关键点、脖子关键点、腰腹中心关键点以及鼻子关键点的坐标位置及预设阈值，计算

当满足大于或者等于预设阈值的条件时，判定所述交警目标的身体朝向为面向所述车辆的车道方向，从而实现更为精确的判断结果，减少误差的发生，提高判断的准确率。

本发明第五实施例：

在本发明以上实施例的基础上，所述根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型，具体为：

计算所述骨架线连接图中各个骨骼关键点之间的相对位置。

根据所述骨骼关键点的相对位置、相应的判断阈值以及预先存储的指挥手势类型数据，识别所述交警目标的指挥手势类型；其中，所述指挥手势类型包括停止动作、直行动作、左转弯动作、左转弯待转动作、右转弯动作、右转弯待转动作、便道动作、减速慢行动作及靠边停车动作中的任意一种。

在本发明实施例中，所述整车控制器计算所述骨架线连接图中各个骨骼关键点之间的相对位置，例如计算左腕与左肘、左肩之间的相对位置，计算右腕与右肘、右肩之间的相对位置等等，然后整车控制器根据所述骨骼关键点的相对位置、相应的判断阈值以及预先存储的指挥手势类型数据，识别所述交警目标的指挥手势类型，需要说明的是，所述相应的判断阈值可依据实际情况进行具体设置，例如判断手臂摆动幅度通过手腕和手肘关键点位置坐标变化率设定了判断阈值，手腕与肩部位置关系通过两者坐标位置相对高度差设定了判断阈值等等。

本发明第六实施例：

在本发明以上实施例的基础上，所述交警手势识别方法，还包括：

根据所述交警目标的指挥手势类型，控制所述车辆的运行模式。

在本发明实施例中，所述整车控制器在识别出所述交警目标的指挥手势类型之后，根据所述指挥手势类型所代表的信号信息与其他感知结果，控制自动驾驶车辆运行，从而完成在交警指挥作用下的自动驾驶功能。

请参阅图5，本发明第七实施例提供了一种交警手势识别装置，包括：

路况图像获取模块11，用于实时获取车辆前方的路况图像。

骨骼关键点获取模块12，用于当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置。

目标朝向获取模块13，用于根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向。

指挥手势类型识别模块14，用于当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型。

在第七实施例的第一种实现方式中，在所述路况图像获取模块11之后，还包括：

交警目标检测模块，用于根据预先建立的交警目标检测模型，检测所述路况图像中是否存在交警目标。

交警目标图像生成模块，用于当从所述路况图像中检测到交警目标时，从所述路况图像获取所述交警目标，以生成交警目标图像。

根据第七实施例的第一种实现方式，在第七实施例的第二种实现方式中，所述目标检测模型通过以下方式进行训练：

以预设的样本库作为输入，通过监督学习方式对预设的卷积神经网络模型进行训练，从而生成所述交警目标检测模型；其中，所述样本库包括第一预设数量的不同服装样式及站姿的交警目标图片，以及第二预设数量的普通行人图片。

根据第七实施例的第一种实现方式，在第七实施例的第三种实现方式中，所述骨骼关键点获取模块12具体包括：

当从所述路况图像中检测到交警目标时，将所述交警目标图像作为预先建立的骨骼关键点检测模型的输入参量，从而从所述骨骼关键点检测模型中获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置。

根据第七实施例的第一种实现方式，在第七实施例的第四种实现方式中，所述骨骼关键点获取模块12具体包括：

分布热力图获取单元，用于根据所述交警目标图像，获取所述交警目标的至少一个二维坐标分布热力图；其中，所述二维坐标分布热力图用于表征特征点在所述交警目标图像上的置信度。

骨骼关键点获取单元，用于获取在所述二维坐标分布热力图上置信度最高的特征点，以作为所述骨骼关键点。

骨架线连接图获取单元，用于根据各个所述骨骼关键点，获取骨架线连接图；其中，所述骨架线连接图包括各个所述骨骼关键点在预设坐标系的坐标位置；所述骨骼关键点包括鼻子关键点、脖子关键点、右肩关键点、左肩关键点、右肘关键点、左肘关键点、右腕关键点、左腕关键点以及腰腹中心关键点。

根据第七实施例的第三种实现方式或者第四种实现方式，在第七实施例的第五种实现方式中，所述目标朝向获取模块13具体包括：

根据所述交警目标的右肩关键点、左肩关键点、脖子关键点、腰腹中心关键点以及鼻子关键点的坐标位置及预设阈值，获取所述交警目标的身体朝向；其中，设(x₃,y₃)为右肩位置坐标，(x₄,y₄)为左肩位置坐标，(x₂,y₂)为脖子位置坐标，(x₁,y₁)为鼻子位置坐标，T₀为预设阈值，当满足

且x₁>0时，所述交警目标的身体朝向为面向所述车辆的车道方向。

根据第七实施例的第五种实现方式，在第七实施例的第六种实现方式中，所述指挥手势类型识别模块14具体包括：

当所述交警目标的身体朝向为面向所述车辆的车道方向时，将所述骨架线连接图作为预先建立的交警指挥动作识别模型的输入参量，从而从所述交警指挥动作识别模型中识别所述交警目标的指挥手势类型。

根据第七实施例的第五种实现方式，在第七实施例的第七种实现方式中，所述指挥手势类型识别模块14具体包括：

相对位置计算单元，用于计算所述骨架线连接图中各个骨骼关键点之间的相对位置。

指挥手势类型识别单元，用于根据所述骨骼关键点的相对位置、相应的判断阈值以及预先存储的指挥手势类型数据，识别所述交警目标的指挥手势类型；其中，所述指挥手势类型包括停止动作、直行动作、左转弯动作、左转弯待转动作、右转弯动作、右转弯待转动作、便道动作、减速慢行动作及靠边停车动作中的任意一种。

在第七实施例的第八种实现方式中，还包括：

运行模式控制模块，用于根据所述交警目标的指挥手势类型，控制所述车辆的运行模式。

参见图6，本发明第八实施例提供的整车控制器的示意图。该实施例的整车控制器包括：至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。

在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

程序152。

具体地，处理器11用于调用存储器15中存储的程序152，执行上述实施例所述的碰撞检测方法，例如图1所示的步骤S11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如路况图像获取模块11。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器15中，并由所述处理器11执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述整车控制器中的执行过程。

所述整车控制器可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是整车控制器的示例，并不构成对整车控制器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述整车控制器还可以包括输入输出设备、网络接入设备、总线等。

所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器11是所述整车控制器的控制中心，利用各种接口和线路连接整个整车控制器的各个部分。

所述存储器15可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述整车控制器的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据整车控制器的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述整车控制器集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种交警手势识别方法，其特征在于，包括以下步骤：

实时获取车辆前方的路况图像；

当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置；

根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向；

当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型；

在实时获取车辆前方的路况图像之后，还包括：

根据预先建立的交警目标检测模型，检测所述路况图像中是否存在交警目标；

当从所述路况图像中检测到交警目标时，从所述路况图像获取所述交警目标，以生成交警目标图像；

所述根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置，具体为：

根据所述交警目标图像，获取所述交警目标的至少一个二维坐标分布热力图；其中，所述二维坐标分布热力图用于表征特征点在所述交警目标图像上的置信度；

获取在所述二维坐标分布热力图上置信度最高的特征点，以作为所述骨骼关键点；

根据各个所述骨骼关键点，获取骨架线连接图；其中，所述骨架线连接图包括各个所述骨骼关键点在预设坐标系的坐标位置；所述骨骼关键点包括鼻子关键点、脖子关键点、右肩关键点、左肩关键点、右肘关键点、左肘关键点、右腕关键点、左腕关键点以及腰腹中心关键点。

2.根据权利要求1所述的交警手势识别方法，其特征在于，所述目标检测模型通过以下方式进行训练：

以预设的样本库作为输入，通过监督学习方式对预设的卷积神经网络模型进行训练，从而生成所述交警目标检测模型；其中，所述样本库包括第一预设数量的不同服装样式及站姿的交警目标图片，以及第二预设数量的普通行人图片。

3.根据权利要求1所述的交警手势识别方法，其特征在于，所述当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置，具体为：

当从所述路况图像中检测到交警目标时，将所述交警目标图像作为预先建立的骨骼关键点检测模型的输入参量，从而从所述骨骼关键点检测模型中获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置。

4.根据权利要求1或3任意一项所述的交警手势识别方法，其特征在于，所述根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向，具体为：

根据所述交警目标的右肩关键点、左肩关键点、脖子关键点、腰腹中心关键点以及鼻子关键点的坐标位置及预设阈值，获取所述交警目标的身体朝向；其中，设(x₃,y₃)为右肩位置坐标，(x₄,y₄)为左肩位置坐标，(x₂,y₂)为脖子位置坐标，(x₁,y₁)为鼻子位置坐标，T₀为预设阈值，当满足

且x₁>0时，所述交警目标的身体朝向为面向所述车辆的车道方向。

5.根据权利要求4所述的交警手势识别方法，其特征在于，所述当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型，具体为：

当所述交警目标的身体朝向为面向所述车辆的车道方向时，将所述骨架线连接图作为预先建立的交警指挥动作识别模型的输入参量，从而从所述交警指挥动作识别模型中识别所述交警目标的指挥手势类型。

6.根据权利要求4所述的交警手势识别方法，其特征在于，所述根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型，具体为：计算所述骨架线连接图中各个骨骼关键点之间的相对位置；

根据所述骨骼关键点的相对位置、相应的判断阈值以及预先存储的指挥手势类型数据，识别所述交警目标的指挥手势类型；其中，所述指挥手势类型包括停止动作、直行动作、左转弯动作、左转弯待转动作、右转弯动作、右转弯待转动作、便道动作、减速慢行动作及靠边停车动作中的任意一种。

7.根据权利要求1所述的交警手势识别方法，其特征在于，还包括：

根据所述交警目标的指挥手势类型，控制所述车辆的运行模式。

8.一种交警手势识别装置，其特征在于，包括：

路况图像获取模块，用于实时获取车辆前方的路况图像；

骨骼关键点获取模块，用于当从所述路况图像中检测到交警目标时，根据预先建立的骨骼关键点检测模型，获取所述交警目标的骨骼关键点及所述骨骼关键点在预设坐标系的坐标位置；

目标朝向获取模块，用于根据所述骨骼关键点的坐标位置，获取所述交警目标的身体朝向；

指挥手势类型识别模块，用于当所述交警目标的身体朝向为面向所述车辆的车道方向时，根据所述骨骼关键点以及预先建立的交警指挥动作识别模型，识别所述交警目标的指挥手势类型；

还包括：

交警目标检测模块，用于根据预先建立的交警目标检测模型，检测所述路况图像中是否存在交警目标；

交警目标图像生成模块，用于当从所述路况图像中检测到交警目标时，从所述路况图像获取所述交警目标，以生成交警目标图像；

所述骨骼关键点获取模块具体包括：

分布热力图获取单元，用于根据所述交警目标图像，获取所述交警目标的至少一个二维坐标分布热力图；其中，所述二维坐标分布热力图用于表征特征点在所述交警目标图像上的置信度；

骨骼关键点获取单元，用于获取在所述二维坐标分布热力图上置信度最高的特征点，以作为所述骨骼关键点；

骨架线连接图获取单元，用于根据各个所述骨骼关键点，获取骨架线连接图；其中，所述骨架线连接图包括各个所述骨骼关键点在预设坐标系的坐标位置；所述骨骼关键点包括鼻子关键点、脖子关键点、右肩关键点、左肩关键点、右肘关键点、左肘关键点、右腕关键点、左腕关键点以及腰腹中心关键点。

9.一种整车控制器，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的交警手势识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的交警手势识别方法。

Images