CN111907520B - 行人姿态识别方法、装置及无人驾驶汽车 - Google Patents

Abstract

本发明提供了一种行人姿态识别方法、装置及无人驾驶汽车，涉及无人驾驶技术领域，包括；确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。以此，可以实现对行人姿态的分析，当行人处于过马路的状态时，虽然人未在马路中，也可以对于行驶中的车辆可以采取刹车或者减速等操作，提高安全性。

Description

行人姿态识别方法、装置及无人驾驶汽车

技术领域

本发明涉及无人驾驶技术领域，尤其是涉及一种行人姿态识别方法、装置及无人驾驶汽车。

背景技术

随着自动驾驶技术的发展，可以依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作车辆。自动驾驶技术可以能够避免出现人工驾驶中由于操作错误、疲劳驾驶等原因导致的交通事故，从而提高交通安全性。

然后，现有的自动驾驶车辆在对行人的感知识别上，只能识别到人或者车辆，并不能判断车行人的动作意图，仅将行人当成静止行人控制车辆的行驶，而事实上，行人可能是运动的，即使前一秒是静止不动的，但是下一秒有可能往前走、往后走，仅仅将行人当成静止行人控制车辆的行驶就可能造成交通事故，从而降低了交通安全性。

发明内容

本发明的目的在于提供一种行人姿态识别方法、装置及无人驾驶汽车，以缓解了现有技术中存在的安全性低的技术问题。

第一方面，本发明实施例提供一种行人姿态识别方法。所述方法应用于无人驾驶汽车；所述方法包括：

确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；

对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；

当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。

在一个可选的实现中，确定处于感兴趣区域且当前姿态符合预设姿态的第一行人的步骤，包括：

在第一时刻获取所述无人驾驶汽车的行驶方向上的第一图像；

对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人；

针对所述第二行人进行关键点检测，确定所述第二行人的关键点；

基于所述第二行人的关键点进行姿态划分，确定所述第二行人中符合预设姿态的目标行人。

在一个可选的实现中，对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人的步骤，包括：

基于预先训练的识别模型，对所述第一图像进行识别，确定第三行人；

确定每个所述第三行人的位置；

基于预设的感兴趣区域确定所述第三行人中处于所述感兴趣区域的第二行人。

在一个可选的实现中，所述过马路的动作包括下述一项或多项，胳膊抬起动作、腿抬起动作。

在一个可选的实现中，所述第二行人的关键点包括预先设置的人脸关键点、胳膊关键点、腿关键点以及躯干关键点；

所述第二行人的朝向根据所述第二行人的人脸关键点的位置关系确定；

所述第二行人的动作根据所述第二行人的胳膊关键点、腿关键点以及躯干关键点之间的位置关系确定。

在一个可选的实现中，还包括：

基于所述第一行人与所述无人驾驶汽车之间的距离，进行车辆行驶规划。

第二方面，提供了一种行人姿态识别装置。所述装置应用于无人驾驶汽车；所述装置包括：

第一确定模块，用于确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；

跟踪模块，用于对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；

第二确定模块，用于当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。

在一个可选的实现中，第一确定模块用于：

在第一时刻获取所述无人驾驶汽车的行驶方向上的第一图像；

对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人；

针对所述第二行人进行关键点检测，确定所述第二行人的关键点；

基于所述第二行人的关键点进行姿态划分，确定所述第二行人中符合预设姿态的目标行人。

第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器以及摄像头；存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述前述实施方式任一项的方法的步骤。

第四方面，本发明实施例提供一种无人无人驾驶汽车。该无人驾驶汽车包括前述计算机设备。

第五方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行前述实施方式任一项的方法。

本发明提供的一种行人姿态识别方法、装置及无人驾驶汽车；通过确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。以此，可以实现对行人姿态的分析，当行人处于过马路的状态时，虽然人未在马路中，也可以对于行驶中的车辆可以采取刹车或者减速等操作，以此提高安全性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种行人姿态识别方法流程示意图；

图2为本申请实施例提供的一种行人姿态识别方法的一个示例；

图3为本申请实施例提供的一种行人姿态识别装置结构示意图；

图4为本申请实施例提供的一种计算机设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种行人姿态识别方法流程示意图。其中，该方法应用于无人驾驶汽车，该方法包括：

S110，确定处于感兴趣区域且当前姿态符合预设姿态的第一行人。

该预设姿态可以包括朝向马路方向且存在过马路的动作；

其中，可以对感兴趣区域内的行人进行姿态识别，判断该感兴趣区域内的行人是否存符合预设姿态，该姿态可以包括行人相对于马路的朝向以及行人的动作。

该行人相对于马路的朝向可以根据行人相对于无人驾驶汽车的朝向确定。由于该行人的图像为无人驾驶汽车拍摄，基于该图像确定的朝向即为相对于无人驾驶汽车的朝向，由于该无人驾驶汽车的行人方向与马路的方向是一致的，或者其相对关系是固定的，所以，可以将该行人相对于无人驾驶汽车的朝向转换到相对于马路的朝向。

该过马路的动作可以包括下述一项或多项，胳膊抬起动作、腿抬起动作。

S120，对第一行人进行跟踪，并确定第一行人在当前姿态后且与当前姿态连续的至少一个下一姿态；

其中，对于行人的追踪方式，本发明实施例并不进行限定，例如，采用目标视觉跟踪(Visual Object Tracking)算法确定。

在确定第一行人存在朝向马路行走的动作后，可以对该第一行人进行监控，以便判断该行人是否一致保持该朝向马路行走的趋势。

对于该趋势的确定可以为检测到多个连续的朝向马路行走的姿态。

其中，对于姿态的获取可以根据无人驾驶汽车实时获取的图像确定。

S130，当至少一个下一姿态符合预设姿态时，确定第一行人处于马路中。

如果连续的多个姿态符合预设姿态，则确定该第一行人朝向马路行走。进一步结合道路红绿灯，可以判断出将要闯红灯的行人，以此提前做出避障，提升安全性。

该方法可以结合斑马线或者红绿灯的状态综合进行判断，以进一步，明确行人的状态。例如，如果行人处于斑马线上，且连续的多个姿态符合预设姿态，则确定该第一行人朝向马路行走，且该判断结果的置信度提高。

基于第一行人与无人驾驶汽车之间的距离，进行车辆行驶规划。例如，可以进行避障行驶，该避障行驶的方式可以包括多种，此处并不进行限定，例如，可以将第一行人的位置应用于路径的规划，例如导航等等。

在一些实施例中，如图2所示，上述步骤S110具体可以包括：

S210，在第一时刻获取无人驾驶汽车的行驶方向上的第一图像；

对于正向行驶，该第一图像可以为无人驾驶汽车前方的图像。对于倒车情况，该第一图像可以为无人驾驶汽车后方的图像。

S220，对第一图像进行行人识别，确定第一图像中处于感兴趣区域的第二行人；

可以基于预先训练的识别模型，对第一图像进行识别，确定第三行人；确定每个第三行人的位置；并基于预设的感兴趣区域确定第三行人中处于感兴趣区域的第二行人。

对于行人的检测以及位置的确定，通常是将行人作为一个整体进行检测，具体来讲，可以利用包围盒(bounding box)算法，将行人作为一个整体进行标记，即，将整个行人标记在一个方框中，形成2D包围盒；然后，再将该2D包围盒的顶点坐标进行2D到3D的转换，得到对应的3D坐标，该3D坐标对应于三维坐标系，例如，该三维坐标系可以为世界坐标系下坐标，基于该3D坐标可以确定行人的位置。

S230，针对第二行人进行关键点检测，确定第二行人的关键点；

第二行人的关键点包括预先设置的人脸关键点、胳膊关键点、腿关键点以及躯干关键点；

作为一个示例，该第二行人的关键点可以包括该人脸关键点可以包括眼睛(2个)、鼻子以及耳朵(2个)等等。该胳膊关键点、腿关键点以及躯干关键点可以包括，手肘(2个)、手(2个)、脖子(1个)、膝盖(2个)、脚(2个)以及躯干关键点等等。

S240，基于第二行人的关键点进行姿态划分，确定第二行人中符合预设姿态的目标行人。

该第二行人的朝向根据第二行人的人脸关键点的位置关系确定；

该第二行人的动作根据第二行人的胳膊关键点、腿关键点以及躯干关键点之间的位置关系确定。

基于上述逻辑，可以根据关键点进行姿态划分。例如朝向可以分为面朝车辆、侧着、背对车辆等，动作可以包括胳膊抬起或腿抬起等等。

对于朝向可以根据检测到的人脸关键点的数量以及位置关系来确定，例如，如果未检测到眼睛、鼻子以及耳朵中的任意一个，则可以认为该朝向为背对车辆。如果未检测到一个耳朵，则可以认为是侧对车辆，根据鼻子相对于眼睛或耳朵的位置，可以确定该行人是面向马路还是背向马路。

通过本申请实施例可以实现对行人姿态的分析，当行人处于过马路的状态时，虽然人未在马路中，也可以对于行驶中的车辆可以采取刹车或者减速等操作，以此提高安全性。

图3为本发明实施例提供的一种行人姿态识别装置结构示意图。如图3所示，该装置应用于无人驾驶汽车；该装置包括：

第一确定模块301，用于确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，预设姿态包括朝向马路方向且存在过马路的动作；

跟踪模块302，用于对第一行人进行跟踪，并确定第一行人在当前姿态后且与当前姿态连续的至少一个下一姿态；

第二确定模块303，用于当至少一个下一姿态符合预设姿态时，确定第一行人处于马路中。

在一些实施例中，第一确定模块301用于：

在第一时刻获取无人驾驶汽车的行驶方向上的第一图像；

对第一图像进行行人识别，确定第一图像中处于感兴趣区域的第二行人；

针对第二行人进行关键点检测，确定第二行人的关键点；

基于第二行人的关键点进行姿态划分，确定第二行人中符合预设姿态的目标行人。

在一些实施例中，第一确定模块301用于：

基于预先训练的识别模型，对第一图像进行识别，确定第三行人；

确定每个第三行人的位置；

基于预设的感兴趣区域确定第三行人中处于感兴趣区域的第二行人。

在一些实施例中，过马路的动作包括下述一项或多项，胳膊抬起动作、腿抬起动作。

在一些实施例中，第二行人的关键点包括预先设置的人脸关键点、胳膊关键点、腿关键点以及躯干关键点；

第二行人的朝向根据第二行人的人脸关键点的位置关系确定；

第二行人的动作根据第二行人的胳膊关键点、腿关键点以及躯干关键点之间的位置关系确定。

在一些实施例中，还包括控制模块，用于：

基于第一行人与无人驾驶汽车之间的距离，进行车辆行驶规划。

本申请实施例提供的行人姿态识别装置，与上述实施例提供的行人姿态识别方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

如图4所示，本申请实施例提供的一种计算机设备700，包括：处理器701、存储器702和总线，存储器702存储有处理器701可执行的机器可读指令，当电子设备运行时，处理器701与存储器702之间通过总线通信，处理器701执行机器可读指令，以执行如上述行人姿态识别方法、装置及无人驾驶汽车方法的步骤。

具体地，上述存储器702和处理器701能够为通用的存储器和处理器，这里不做具体限定，当处理器701运行存储器702存储的计算机程序时，能够执行上述行人姿态识别方法。

本申请实施例还提供了一种无人驾驶汽车，该无人驾驶汽车可以包括如图前述图4所示的计算机设备700，该计算机设备700可以控制该无人驾驶汽车中各个部件的运行，例如，控制车门的开关，控制车内语音系统与乘客的交互，控制灯光系统的开关，控制显示系统与乘客的交互以及控制车辆的行驶等等。

对应于上述行人姿态识别方法，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行上述行人姿态识别方法、装置及无人驾驶汽车方法的步骤。

本申请实施例所提供的行人姿态识别方法、装置及无人驾驶汽车可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台无人驾驶汽车执行本申请各个实施例移动控制方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。

Claims (6)

1.一种行人姿态识别方法，其特征在于，所述方法应用于无人驾驶汽车；所述方法包括：

确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态为朝向马路方向且存在过马路的动作；

对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；

当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中；

基于所述第一行人与所述无人驾驶汽车之间的距离，进行车辆行驶规划；

所述确定处于感兴趣区域且当前姿态符合预设姿态的第一行人的步骤，包括：

在第一时刻获取所述无人驾驶汽车的行驶方向上的第一图像；

对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人；

针对所述第二行人进行关键点检测，确定所述第二行人的关键点；

基于所述第二行人的关键点进行姿态划分，确定所述第二行人中符合预设姿态的目标行人；

其中，所述过马路的动作包括下述一项或多项，胳膊抬起动作、腿抬起动作；

所述第二行人的关键点包括预先设置的人脸关键点、胳膊关键点、腿关键点以及躯干关键点，所述人脸关键点包括两个眼睛关键点、一个鼻子关键点以及两个耳朵关键点；

所述第二行人的朝向根据所述第二行人的人脸关键点的位置关系确定，如果未检测到眼睛、鼻子以及耳朵中的任意一个，则确定朝向为背对车辆；如果未检测到一个耳朵，则确定是侧对车辆，根据鼻子相对于眼睛或耳朵的位置，确定该行人是面向马路还是背向马路；

所述第二行人的动作根据所述第二行人的胳膊关键点、腿关键点以及躯干关键点之间的位置关系确定。

2.根据权利要求1所述的方法，其特征在于，对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人的步骤，包括：

基于预先训练的识别模型，对所述第一图像进行识别，确定第三行人；

确定每个所述第三行人的位置；

基于预设的感兴趣区域确定所述第三行人中处于所述感兴趣区域的第二行人。

3.一种行人姿态识别装置，其特征在于，所述装置应用于无人驾驶汽车；所述装置包括：

第一确定模块，用于确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；

跟踪模块，用于对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；

第二确定模块，用于当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中；

控制模块，用于基于所述第一行人与所述无人驾驶汽车之间的距离，进行车辆行驶规划；

所述第一确定模块具体用于，在第一时刻获取所述无人驾驶汽车的行驶方向上的第一图像；对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人；针对所述第二行人进行关键点检测，确定所述第二行人的关键点；基于所述第二行人的关键点进行姿态划分，确定所述第二行人中符合预设姿态的目标行人；

其中，所述过马路的动作包括下述一项或多项，胳膊抬起动作、腿抬起动作；

所述第二行人的关键点包括预先设置的人脸关键点、胳膊关键点、腿关键点以及躯干关键点，所述人脸关键点包括两个眼睛关键点、一个鼻子关键点以及两个耳朵关键点；

所述第二行人的朝向根据所述第二行人的人脸关键点的位置关系确定，如果未检测到眼睛、鼻子以及耳朵中的任意一个，则确定朝向为背对车辆；如果未检测到一个耳朵，则确定是侧对车辆，根据鼻子相对于眼睛或耳朵的位置，确定该行人是面向马路还是背向马路；

所述第二行人的动作根据所述第二行人的胳膊关键点、腿关键点以及躯干关键点之间的位置关系确定。

4.一种计算机设备，其特征在于，包括存储器、处理器以及摄像头，所述摄像头用于拍摄图像；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至2任一项所述的方法的步骤。

5.一种无人驾驶汽车，其特征在于，包括如权利要求4所述的计算机设备。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至2任一项所述的方法。

Images