CN111907520A - 行人姿态识别方法、装置及无人驾驶汽车 - Google Patents

行人姿态识别方法、装置及无人驾驶汽车 Download PDF

Info

Publication number
CN111907520A
CN111907520A CN202010765907.2A CN202010765907A CN111907520A CN 111907520 A CN111907520 A CN 111907520A CN 202010765907 A CN202010765907 A CN 202010765907A CN 111907520 A CN111907520 A CN 111907520A
Authority
CN
China
Prior art keywords
pedestrian
determining
posture
key points
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010765907.2A
Other languages
English (en)
Other versions
CN111907520B (zh
Inventor
苏英菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority to CN202010765907.2A priority Critical patent/CN111907520B/zh
Publication of CN111907520A publication Critical patent/CN111907520A/zh
Application granted granted Critical
Publication of CN111907520B publication Critical patent/CN111907520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种行人姿态识别方法、装置及无人驾驶汽车，涉及无人驾驶技术领域，包括；确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。以此，可以实现对行人姿态的分析，当行人处于过马路的状态时，虽然人未在马路中，也可以对于行驶中的车辆可以采取刹车或者减速等操作，提高安全性。

Description

行人姿态识别方法、装置及无人驾驶汽车
技术领域
本发明涉及无人驾驶技术领域，尤其是涉及一种行人姿态识别方法、装置及无人驾驶汽车。
背景技术
随着自动驾驶技术的发展，可以依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作车辆。自动驾驶技术可以能够避免出现人工驾驶中由于操作错误、疲劳驾驶等原因导致的交通事故，从而提高交通安全性。
然后，现有的自动驾驶车辆在对行人的感知识别上，只能识别到人或者车辆，并不能判断车行人的动作意图，仅将行人当成静止行人控制车辆的行驶，而事实上，行人可能是运动的，即使前一秒是静止不动的，但是下一秒有可能往前走、往后走，仅仅将行人当成静止行人控制车辆的行驶就可能造成交通事故，从而降低了交通安全性。
发明内容
本发明的目的在于提供一种行人姿态识别方法、装置及无人驾驶汽车，以缓解了现有技术中存在的安全性低的技术问题。
第一方面，本发明实施例提供一种行人姿态识别方法。所述方法应用于无人驾驶汽车；所述方法包括：
确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；
对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；
当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。
在一个可选的实现中，确定处于感兴趣区域且当前姿态符合预设姿态的第一行人的步骤，包括：
在第一时刻获取所述无人驾驶汽车的行驶方向上的第一图像；
对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人；
针对所述第二行人进行关键点检测，确定所述第二行人的关键点；
基于所述第二行人的关键点进行姿态划分，确定所述第二行人中符合预设姿态的目标行人。
在一个可选的实现中，对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人的步骤，包括：
基于预先训练的识别模型，对所述第一图像进行识别，确定第三行人；
确定每个所述第三行人的位置；
基于预设的感兴趣区域确定所述第三行人中处于所述感兴趣区域的第二行人。
在一个可选的实现中，所述过马路的动作包括下述一项或多项，胳膊抬起动作、腿抬起动作。
在一个可选的实现中，所述第二行人的关键点包括预先设置的人脸关键点、胳膊关键点、腿关键点以及躯干关键点；
所述第二行人的朝向根据所述第二行人的人脸关键点的位置关系确定；
所述第二行人的动作根据所述第二行人的胳膊关键点、腿关键点以及躯干关键点之间的位置关系确定。
在一个可选的实现中，还包括：
基于所述第一行人与所述无人驾驶汽车之间的距离，进行车辆行驶规划。
第二方面，提供了一种行人姿态识别装置。所述装置应用于无人驾驶汽车；所述装置包括：
第一确定模块，用于确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；
跟踪模块，用于对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；
第二确定模块，用于当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。
在一个可选的实现中，第一确定模块用于：
在第一时刻获取所述无人驾驶汽车的行驶方向上的第一图像；
对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人；
针对所述第二行人进行关键点检测，确定所述第二行人的关键点；
基于所述第二行人的关键点进行姿态划分，确定所述第二行人中符合预设姿态的目标行人。
第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器以及摄像头；存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述前述实施方式任一项的方法的步骤。
第四方面，本发明实施例提供一种无人无人驾驶汽车。该无人驾驶汽车包括前述计算机设备。
第五方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行前述实施方式任一项的方法。
本发明提供的一种行人姿态识别方法、装置及无人驾驶汽车；通过确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。以此，可以实现对行人姿态的分析，当行人处于过马路的状态时，虽然人未在马路中，也可以对于行驶中的车辆可以采取刹车或者减速等操作，以此提高安全性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种行人姿态识别方法流程示意图；
图2为本申请实施例提供的一种行人姿态识别方法的一个示例；
图3为本申请实施例提供的一种行人姿态识别装置结构示意图；
图4为本申请实施例提供的一种计算机设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种行人姿态识别方法流程示意图。其中，该方法应用于无人驾驶汽车，该方法包括：
S110，确定处于感兴趣区域且当前姿态符合预设姿态的第一行人。
该预设姿态可以包括朝向马路方向且存在过马路的动作；
其中，可以对感兴趣区域内的行人进行姿态识别，判断该感兴趣区域内的行人是否存符合预设姿态，该姿态可以包括行人相对于马路的朝向以及行人的动作。
该行人相对于马路的朝向可以根据行人相对于无人驾驶汽车的朝向确定。由于该行人的图像为无人驾驶汽车拍摄，基于该图像确定的朝向即为相对于无人驾驶汽车的朝向，由于该无人驾驶汽车的行人方向与马路的方向是一致的，或者其相对关系是固定的，所以，可以将该行人相对于无人驾驶汽车的朝向转换到相对于马路的朝向。
该过马路的动作可以包括下述一项或多项，胳膊抬起动作、腿抬起动作。
S120，对第一行人进行跟踪，并确定第一行人在当前姿态后且与当前姿态连续的至少一个下一姿态；
其中，对于行人的追踪方式，本发明实施例并不进行限定，例如，采用目标视觉跟踪(Visual Object Tracking)算法确定。
在确定第一行人存在朝向马路行走的动作后，可以对该第一行人进行监控，以便判断该行人是否一致保持该朝向马路行走的趋势。
对于该趋势的确定可以为检测到多个连续的朝向马路行走的姿态。
其中，对于姿态的获取可以根据无人驾驶汽车实时获取的图像确定。
S130，当至少一个下一姿态符合预设姿态时，确定第一行人处于马路中。
如果连续的多个姿态符合预设姿态，则确定该第一行人朝向马路行走。进一步结合道路红绿灯，可以判断出将要闯红灯的行人，以此提前做出避障，提升安全性。
该方法可以结合斑马线或者红绿灯的状态综合进行判断，以进一步，明确行人的状态。例如，如果行人处于斑马线上，且连续的多个姿态符合预设姿态，则确定该第一行人朝向马路行走，且该判断结果的置信度提高。
基于第一行人与无人驾驶汽车之间的距离，进行车辆行驶规划。例如，可以进行避障行驶，该避障行驶的方式可以包括多种，此处并不进行限定，例如，可以将第一行人的位置应用于路径的规划，例如导航等等。
在一些实施例中，如图2所示，上述步骤S110具体可以包括：
S210，在第一时刻获取无人驾驶汽车的行驶方向上的第一图像；
对于正向行驶，该第一图像可以为无人驾驶汽车前方的图像。对于倒车情况，该第一图像可以为无人驾驶汽车后方的图像。
S220，对第一图像进行行人识别，确定第一图像中处于感兴趣区域的第二行人；
可以基于预先训练的识别模型，对第一图像进行识别，确定第三行人；确定每个第三行人的位置；并基于预设的感兴趣区域确定第三行人中处于感兴趣区域的第二行人。
对于行人的检测以及位置的确定，通常是将行人作为一个整体进行检测，具体来讲，可以利用包围盒(bounding box)算法，将行人作为一个整体进行标记，即，将整个行人标记在一个方框中，形成2D包围盒；然后，再将该2D包围盒的顶点坐标进行2D到3D的转换，得到对应的3D坐标，该3D坐标对应于三维坐标系，例如，该三维坐标系可以为世界坐标系下坐标，基于该3D坐标可以确定行人的位置。
S230，针对第二行人进行关键点检测，确定第二行人的关键点；
第二行人的关键点包括预先设置的人脸关键点、胳膊关键点、腿关键点以及躯干关键点；
作为一个示例，该第二行人的关键点可以包括该人脸关键点可以包括眼睛(2个)、鼻子以及耳朵(2个)等等。该胳膊关键点、腿关键点以及躯干关键点可以包括，手肘(2个)、手(2个)、脖子(1个)、膝盖(2个)、脚(2个)以及躯干关键点等等。
S240，基于第二行人的关键点进行姿态划分，确定第二行人中符合预设姿态的目标行人。
该第二行人的朝向根据第二行人的人脸关键点的位置关系确定；
该第二行人的动作根据第二行人的胳膊关键点、腿关键点以及躯干关键点之间的位置关系确定。
基于上述逻辑，可以根据关键点进行姿态划分。例如朝向可以分为面朝车辆、侧着、背对车辆等，动作可以包括胳膊抬起或腿抬起等等。
对于朝向可以根据检测到的人脸关键点的数量以及位置关系来确定，例如，如果未检测到眼睛、鼻子以及耳朵中的任意一个，则可以认为该朝向为背对车辆。如果未检测到一个耳朵，则可以认为是侧对车辆，根据鼻子相对于眼睛或耳朵的位置，可以确定该行人是面向马路还是背向马路。
通过本申请实施例可以实现对行人姿态的分析，当行人处于过马路的状态时，虽然人未在马路中，也可以对于行驶中的车辆可以采取刹车或者减速等操作，以此提高安全性。
图3为本发明实施例提供的一种行人姿态识别装置结构示意图。如图3所示，该装置应用于无人驾驶汽车；该装置包括：
第一确定模块301，用于确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，预设姿态包括朝向马路方向且存在过马路的动作；
跟踪模块302，用于对第一行人进行跟踪，并确定第一行人在当前姿态后且与当前姿态连续的至少一个下一姿态；
第二确定模块303，用于当至少一个下一姿态符合预设姿态时，确定第一行人处于马路中。
在一些实施例中，第一确定模块301用于：
在第一时刻获取无人驾驶汽车的行驶方向上的第一图像；
对第一图像进行行人识别，确定第一图像中处于感兴趣区域的第二行人；
针对第二行人进行关键点检测，确定第二行人的关键点；
基于第二行人的关键点进行姿态划分，确定第二行人中符合预设姿态的目标行人。
在一些实施例中，第一确定模块301用于：
基于预先训练的识别模型，对第一图像进行识别，确定第三行人；
确定每个第三行人的位置；
基于预设的感兴趣区域确定第三行人中处于感兴趣区域的第二行人。
在一些实施例中，过马路的动作包括下述一项或多项，胳膊抬起动作、腿抬起动作。
在一些实施例中，第二行人的关键点包括预先设置的人脸关键点、胳膊关键点、腿关键点以及躯干关键点；
第二行人的朝向根据第二行人的人脸关键点的位置关系确定；
第二行人的动作根据第二行人的胳膊关键点、腿关键点以及躯干关键点之间的位置关系确定。
在一些实施例中，还包括控制模块，用于：
基于第一行人与无人驾驶汽车之间的距离，进行车辆行驶规划。
本申请实施例提供的行人姿态识别装置，与上述实施例提供的行人姿态识别方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
如图4所示，本申请实施例提供的一种计算机设备700，包括：处理器701、存储器702和总线，存储器702存储有处理器701可执行的机器可读指令，当电子设备运行时，处理器701与存储器702之间通过总线通信，处理器701执行机器可读指令，以执行如上述行人姿态识别方法、装置及无人驾驶汽车方法的步骤。
具体地，上述存储器702和处理器701能够为通用的存储器和处理器，这里不做具体限定，当处理器701运行存储器702存储的计算机程序时，能够执行上述行人姿态识别方法。
本申请实施例还提供了一种无人驾驶汽车，该无人驾驶汽车可以包括如图前述图4所示的计算机设备700，该计算机设备700可以控制该无人驾驶汽车中各个部件的运行，例如，控制车门的开关，控制车内语音系统与乘客的交互，控制灯光系统的开关，控制显示系统与乘客的交互以及控制车辆的行驶等等。
对应于上述行人姿态识别方法，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行上述行人姿态识别方法、装置及无人驾驶汽车方法的步骤。
本申请实施例所提供的行人姿态识别方法、装置及无人驾驶汽车可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台无人驾驶汽车执行本申请各个实施例移动控制方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种行人姿态识别方法，其特征在于，所述方法应用于无人驾驶汽车；所述方法包括：
确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；
对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；
当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。
2.根据权利要求1所述的方法，其特征在于，确定处于感兴趣区域且当前姿态符合预设姿态的第一行人的步骤，包括：
在第一时刻获取所述无人驾驶汽车的行驶方向上的第一图像；
对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人；
针对所述第二行人进行关键点检测，确定所述第二行人的关键点；
基于所述第二行人的关键点进行姿态划分，确定所述第二行人中符合预设姿态的目标行人。
3.根据权利要求2所述的方法，其特征在于，对所述第一图像进行行人识别，确定所述第一图像中处于感兴趣区域的第二行人的步骤，包括：
基于预先训练的识别模型，对所述第一图像进行识别，确定第三行人；
确定每个所述第三行人的位置；
基于预设的感兴趣区域确定所述第三行人中处于所述感兴趣区域的第二行人。
4.根据权利要求2所述的方法，其特征在于，所述过马路的动作包括下述一项或多项，胳膊抬起动作、腿抬起动作。
5.根据权利要求4所述的方法，其特征在于，所述第二行人的关键点包括预先设置的人脸关键点、胳膊关键点、腿关键点以及躯干关键点；
所述第二行人的朝向根据所述第二行人的人脸关键点的位置关系确定；
所述第二行人的动作根据所述第二行人的胳膊关键点、腿关键点以及躯干关键点之间的位置关系确定。
6.根据权利要求1所述的方法，其特征在于，还包括：
基于所述第一行人与所述无人驾驶汽车之间的距离，进行车辆行驶规划。
7.一种行人姿态识别装置，其特征在于，所述装置应用于无人驾驶汽车；所述装置包括：
第一确定模块，用于确定处于感兴趣区域且当前姿态符合预设姿态的第一行人，所述预设姿态包括朝向马路方向且存在过马路的动作；
跟踪模块，用于对所述第一行人进行跟踪，并确定所述第一行人在所述当前姿态后且与所述当前姿态连续的至少一个下一姿态；
第二确定模块，用于当所述至少一个下一姿态符合所述预设姿态时，确定所述第一行人处于马路中。
8.一种计算机设备，其特征在于，包括存储器、处理器以及摄像头，所述摄像头用于拍摄图像；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
9.一种无人驾驶汽车，其特征在于，包括如权利要求8所述的计算机设备。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至6任一项所述的方法。
CN202010765907.2A 2020-07-31 2020-07-31 行人姿态识别方法、装置及无人驾驶汽车 Active CN111907520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010765907.2A CN111907520B (zh) 2020-07-31 2020-07-31 行人姿态识别方法、装置及无人驾驶汽车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010765907.2A CN111907520B (zh) 2020-07-31 2020-07-31 行人姿态识别方法、装置及无人驾驶汽车

Publications (2)

Publication Number Publication Date
CN111907520A true CN111907520A (zh) 2020-11-10
CN111907520B CN111907520B (zh) 2022-03-15

Family

ID=73287811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010765907.2A Active CN111907520B (zh) 2020-07-31 2020-07-31 行人姿态识别方法、装置及无人驾驶汽车

Country Status (1)

Country Link
CN (1) CN111907520B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113715907A (zh) * 2021-09-27 2021-11-30 郑州新大方重工科技有限公司 一种适用于轮式设备的姿态调整方法、自动驾驶方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096803A (zh) * 2010-11-29 2011-06-15 吉林大学 基于机器视觉的行人安全状态识别系统
CN106428000A (zh) * 2016-09-07 2017-02-22 清华大学 一种车辆速度控制装置和方法
US9881503B1 (en) * 2016-09-08 2018-01-30 GM Global Technology Operations LLC Vehicle-to-pedestrian-communication systems and methods for using the same
DE102017010513A1 (de) * 2017-11-13 2018-05-09 Daimler Ag Verfahren zur Ermittlung einer Aufmerksamkeit einer in einer Umgebung eines Fahrzeuges erfassten Person
CN108263324A (zh) * 2016-12-30 2018-07-10 现代自动车株式会社 基于姿势信息的行人检测和行人碰撞预防装置及方法
WO2018128946A1 (en) * 2017-01-06 2018-07-12 Pcms Holdings, Inc. Method for providing vulnerable road user warnings in a blind spot of a parked vehicle
CN109165552A (zh) * 2018-07-14 2019-01-08 深圳神目信息技术有限公司 一种基于人体关键点的姿态识别方法、系统及存储器
US20190122037A1 (en) * 2017-10-24 2019-04-25 Waymo Llc Pedestrian behavior predictions for autonomous vehicles
US20190176820A1 (en) * 2017-12-13 2019-06-13 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
CN109878512A (zh) * 2019-01-15 2019-06-14 北京百度网讯科技有限公司 自动驾驶控制方法、装置、设备及计算机可读存储介质
CN110320911A (zh) * 2019-07-01 2019-10-11 百度在线网络技术（北京）有限公司 无人车控制方法、装置、无人车及存储介质
CN111178286A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 姿态轨迹预测方法、装置及电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096803A (zh) * 2010-11-29 2011-06-15 吉林大学 基于机器视觉的行人安全状态识别系统
CN106428000A (zh) * 2016-09-07 2017-02-22 清华大学 一种车辆速度控制装置和方法
US9881503B1 (en) * 2016-09-08 2018-01-30 GM Global Technology Operations LLC Vehicle-to-pedestrian-communication systems and methods for using the same
CN108263324A (zh) * 2016-12-30 2018-07-10 现代自动车株式会社 基于姿势信息的行人检测和行人碰撞预防装置及方法
WO2018128946A1 (en) * 2017-01-06 2018-07-12 Pcms Holdings, Inc. Method for providing vulnerable road user warnings in a blind spot of a parked vehicle
US20190122037A1 (en) * 2017-10-24 2019-04-25 Waymo Llc Pedestrian behavior predictions for autonomous vehicles
DE102017010513A1 (de) * 2017-11-13 2018-05-09 Daimler Ag Verfahren zur Ermittlung einer Aufmerksamkeit einer in einer Umgebung eines Fahrzeuges erfassten Person
US20190176820A1 (en) * 2017-12-13 2019-06-13 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
CN109165552A (zh) * 2018-07-14 2019-01-08 深圳神目信息技术有限公司 一种基于人体关键点的姿态识别方法、系统及存储器
CN109878512A (zh) * 2019-01-15 2019-06-14 北京百度网讯科技有限公司 自动驾驶控制方法、装置、设备及计算机可读存储介质
CN110320911A (zh) * 2019-07-01 2019-10-11 百度在线网络技术（北京）有限公司 无人车控制方法、装置、无人车及存储介质
CN111178286A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 姿态轨迹预测方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐耀建: "基于深度学习的视频多目标行人检测与追踪", 《现代信息科技》 *
李贤: "基于行人意图识别的智能车辆决策研究", 《中国优秀硕士学位论文全文数据库工程科技II辑》 *
王礼坤: "路侧行人运动预测方法研究", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技II辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113715907A (zh) * 2021-09-27 2021-11-30 郑州新大方重工科技有限公司 一种适用于轮式设备的姿态调整方法、自动驾驶方法

Also Published As

Publication number Publication date
CN111907520B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
US8055020B2 (en) Method for object tracking
US9734390B2 (en) Method and device for classifying a behavior of a pedestrian when crossing a roadway of a vehicle as well as passenger protection system of a vehicle
EP2860664B1 (en) Face detection apparatus
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
KR20180099280A (ko) 가상 차로 생성 장치 및 방법
CN108615407A (zh) 用于防止行人碰撞事故的设备及方法
CN104584102A (zh) 用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法
CN105128836A (zh) 自主紧急制动系统及其中识别行人的方法
CN112289067A (zh) 信号显示推定系统
CN111611853A (zh) 一种传感信息融合方法、装置及存储介质
US20150169980A1 (en) Object recognition device
KR20130007243A (ko) 차량 카메라를 이용한 전방 충돌 경보 방법 및 시스템
CN110341621B (zh) 一种障碍物检测方法及装置
CN111497741B (zh) 碰撞预警方法及装置
JP2022008854A (ja) 制御装置
KR101375765B1 (ko) 칼만 필터를 이용한 이동 물체 추적 장치 및 방법
CN111907520B (zh) 行人姿态识别方法、装置及无人驾驶汽车
JP5593217B2 (ja) 車両用外界認識装置およびそれを用いた車両システム
JP2007334511A (ja) 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
CN111976744A (zh) 基于打车的控制方法、装置及自动驾驶汽车
JP3562278B2 (ja) 環境認識装置
CN112735163B (zh) 确定目标物体静止状态的方法、路侧设备、云控平台
Hofmann et al. EMS-vision: Application to hybrid adaptive cruise control
CN117392611A (zh) 工地安全监测方法、系统、设备及存储介质
US20200342758A1 (en) Drive assistance device, drive assistance method, and recording medium in which drive assistance program is stored

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant