CN112249021B - 一种道路行人碰撞风险预测方法及其系统 - Google Patents

一种道路行人碰撞风险预测方法及其系统 Download PDF

Info

Publication number
CN112249021B
CN112249021B CN202011093486.XA CN202011093486A CN112249021B CN 112249021 B CN112249021 B CN 112249021B CN 202011093486 A CN202011093486 A CN 202011093486A CN 112249021 B CN112249021 B CN 112249021B
Authority
CN
China
Prior art keywords
pedestrian
vehicle
intention
collision risk
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011093486.XA
Other languages
English (en)
Other versions
CN112249021A (zh
Inventor
谷俊
何俏君
钟力阳
徐梓峰
张志德
郭继舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202011093486.XA priority Critical patent/CN112249021B/zh
Publication of CN112249021A publication Critical patent/CN112249021A/zh
Application granted granted Critical
Publication of CN112249021B publication Critical patent/CN112249021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种道路行人碰撞风险预测方法及其系统，所述方法包括：步骤S1、获取当前本车前视图像；步骤S2、检测所述图像中是否存在行人；若存在，则获取行人与本车之间的距离信息，并判断是否需要进行行人意图预测；若需要，则进入步骤S3，若不需要，则进入步骤S4；步骤S3、根据所述图像对行人进行姿态检测，得到行人的骨骼关键点坐标信息；根据行人的骨骼关键点坐标信息确定行人的行为类型和身体朝向；并根据距离信息、行为类型和身体朝向预测行人的意图；进入步骤S5；步骤S4、确定行人碰撞风险为低级；步骤S5、根据预测得到的行人的意图，确定行人碰撞风险为高级、中级或低级。本发明能够提高自动驾驶安全性。

Description

一种道路行人碰撞风险预测方法及其系统
技术领域
本发明涉及自动驾驶感知技术领域，具体涉及一种道路行人碰撞风险预测方法及其系统。
背景技术
近年来，随着自动驾驶技术的兴起和快速发展，对道路的行人进行意图预测能更好地避免行人碰撞，提高自动驾驶安全。而现有的道路行人意图预测技术考虑的因素较为单一，缺少从行人行为动作、行人身体朝向、行人相对本车距离三个维度综合考虑，来预测道路行人意图，自动驾驶安全性还有待提高。
发明内容
本发明的目的在于提出一种道路行人碰撞风险预测方法及其系统，从行人行为动作、行人身体朝向、行人相对本车距离三个维度综合考虑，来预测道路行人意图，并输出对应的行人碰撞风险等级，以提高自动驾驶安全性。
根据第一方面，本发明的实施例提出一种道路行人碰撞风险预测方法，包括：
步骤S1、获取当前本车前视图像；
步骤S2、检测所述当前本车前视图像中是否存在行人；若存在行人，则获取所述行人与本车之间的距离信息，并根据所述距离信息判断是否需要进行行人意图预测；若需要，则进入步骤S3，若不需要，则进入步骤S4；
步骤S3、根据所述当前本车前视图像对所述行人进行姿态检测，得到所述行人的骨骼关键点坐标信息；根据所述行人的骨骼关键点坐标信息确定所述行人的行为类型和身体朝向；并根据所述距离信息、行为类型和身体朝向预测所述行人的意图；进入步骤S5；
步骤S4、确定行人碰撞风险为低级；
步骤S5、根据预测得到的所述行人的意图，确定行人碰撞风险为高级、中级或低级。
可选地，在所述步骤S2中，根据所述距离信息判断是否需要进行行人意图预测，包括：
获取所述行人与本车的纵向距离，并根据所述纵向距离判断所述行人是否位于危险区内；若位于危险区外，则进入步骤S4；若位于危险区内，则获取所述行人与本车的横向距离，根据所述横向距离判断所述行人是否位于车道区内，若位于车道区内，则进入步骤S3；若位于车道区外，则进入步骤S4。
可选地，所述当前本车前视图像的下边界与地面参考矩形框的下边界平行，所述地面参考矩形框为位于本车前方地面的预设虚拟矩形框；
所述当前本车前视图像为通过一前视摄像头获取得到，所述前视摄像头设置于本车前部且位于中轴线上，且本车中轴线的延长线与所述地面参考矩形框的中心轴线重合。
可选地，所述步骤S2，包括：
对所述当前本车前视图像进行行人检测，获取行人检测方框；获取所述地面参考矩形框和行人检测方框在当前本车前视图像中的各角点坐标信息；并且，根据所述各角点坐标信息计算得到所述行人与本车的纵向距离、横向距离。
可选地，根据所述行人的骨骼关键点坐标信息确定所述行人的行为类型，包括：
将所述行人的骨骼关键点坐标信息输入预先训练好的SVM分类模型，输出所述行人的行为类型；所述行为类型包括移动行走、站立停留。
可选地，根据所述行人的骨骼关键点坐标信息确定所述行人的身体朝向，包括：
将所述行人的骨骼关键点坐标信息输入预先训练好的机器学习模型或规则模型，输出所述行人的身体朝向；其中，当所述行人位于本车所在车道区内时，所述身体朝向包括侧向本车、背向本车、左侧向本车、右侧向本车。
可选地，其中，所述车道区包括本车所在的当前车道区；
在所述步骤S3中，根据所述距离信息、行为类型和身体朝向预测所述行人的意图，包括：
当所述行人位于所述当前车道区时，若所述行人的行为类型为移动行走，并且身体朝向为左侧向本车或右侧向本车，则所述行人的意图为行人横穿车道；
当所述行人位于所述当前车道区时，若所述行人的行为类型为移动行走，并且身体朝向为面向本车，则所述行人的意图为行人占道逆行；
当所述行人位于所述当前车道区时，若所述行人的行为类型为移动行走，并且身体朝向为背向本车，则所述行人的意图为行人占道同行；
当所述行人位于所述当前车道区时，若所述行人的行为类型为站立停留，则所述行人的意图为行人占道停留。
可选地，其中，所述车道区还包括：与所述当前车道区相邻的邻近左车道区和临近右车道区；
在所述步骤S3中，根据所述距离信息、行为类型和身体朝向预测所述行人的意图，包括：
当所述行人位于所述邻近左车道区时，若所述行人的行为类型为站立停留，并且身体朝向为左侧向本车、面向本车或背向本车，则所述行人的意图为行人停留且无横穿车道倾向；
当所述行人位于所述邻近右车道区时，若所述行人的行为类型为站立停留，并且身体朝向为右侧向本车、面向本车或背向本车，则所述行人的意图为行人停留且无横穿车道倾向；
当所述行人位于所述邻近左车道区时，若所述行人的行为类型为站立停留，并且身体朝向为右侧向本车，则所述行人的意图为行人停留且有横穿车道倾向；
当所述行人位于所述邻近右车道区时，若所述行人的行为类型为站立停留，并且身体朝向为左侧向本车，则所述行人的意图为行人停留且有横穿车道倾向；
当所述行人位于所述邻近左车道区时，若所述行人的行为类型为移动行走，并且身体朝向为左侧向本车、面向本车或背向本车，则所述行人的意图为行人行走且无横穿车道倾向；
当所述行人位于所述邻近右车道区时，若所述行人的行为类型为移动行走，并且身体朝向为右侧向本车、面向本车或背向本车，则所述行人的意图为行人行走且无横穿车道倾向；
当所述行人位于所述邻近左车道区时，若所述行人的行为类型为移动行走，并且身体朝向为右侧向本车，则所述行人的意图为行人行走且将要横穿车道；
当所述行人位于所述邻近右车道区时，若所述行人的行为类型为移动行走，并且身体朝向为左侧向本车，则所述行人的意图为行人行走且将要横穿车道。
可选地，所述步骤S5，包括：
当所述行人的意图为行人横穿车道时，确定行人碰撞风险为高级；
当所述行人的意图为行人占道逆行时，确定行人碰撞风险为高级；
当所述行人的意图为行人占道同行时，确定行人碰撞风险为高级；
当所述行人的意图为行人占道停留时，确定行人碰撞风险为中级。
可选地，所述步骤S5，包括：
当所述行人的意图为行人停留且无横穿车道倾向时，确定行人碰撞风险为低级；
当所述行人的意图为行人停留且有横穿车道倾向时，确定行人碰撞风险为中级；
当所述行人的意图为行人行走且将要横穿车道时，确定行人碰撞风险为高级；
当所述行人的意图为行人行走且无横穿车道倾向时，确定行人碰撞风险为低级。
根据第二方面，本发明的实施例提出一种道路行人碰撞风险预测系统，用于实现第一方面所述的道路行人碰撞风险预测方法，所述系统包括：
图像获取单元，用于获取当前本车前视图像；
行人检测单元，用于检测所述当前本车前视图像中是否存在行人；若存在行人，则获取所述行人与本车之间的距离信息，并根据所述距离信息判断是否需要进行行人意图预测；若需要，则生成第一指令，若不需要，则生成第二指令；
意图预测单元，用于响应接收到所述行人检测单元的第二指令，根据所述当前本车前视图像对所述行人进行姿态检测，得到所述行人的骨骼关键点坐标信息；根据所述行人的骨骼关键点坐标信息确定所述行人的行为类型和身体朝向；并根据所述距离信息、行为类型和身体朝向预测所述行人的意图；以及
输出单元，用于响应于接收到所述行人检测单元的第一指令，确定行人碰撞风险为低级；以及用于响应接收到所述意图预测单元的所述行人的意图预测结果，根据预测得到的所述行人的意图，确定行人碰撞风险为高级、中级或低级。
本发明的实施例提出一种道路行人碰撞风险预测方法及其系统，其通过获取当前本车前视图像，首先根据所述当前本车前视图像对行人相对本车距离进行分析，当行人相对本车距离满足预设的意图预测条件时，进行预测道路行人意图，进一步根据当前本车前视图像进行行人姿态检测，获得骨骼关键点坐标信息，并根据所述骨骼关键点坐标信息确定所述行人的行为动作和身体朝向，最终根据所述行人的行人相对本车距离、行为动作和身体朝向，从三个维度综合考虑，对所述行人的意图进行预测，最后根据预测得到的所述行人的意图输出对应的行人碰撞风险等级，以供自动驾驶决策系统进行决策，执行相应的驾驶指令，从而提高自动驾驶安全性。
本发明的其它特征和优点将在说明书的具体实施方式部分中进一步阐述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中一种道路行人碰撞风险预测方法的流程图。
图2为本发明一实施例中一种地面参考矩形框示意图。
图3为本发明一实施例中一种前视摄像头拍摄得到的车辆前视图像的示例图。
图4为图3所示车辆前视图像所对应的图像坐标系。
图5为本发明一实施例中行人纵坐标侧视示意图。
图6为本发明一实施例中消失点H的图像坐标示意图。
图7为本发明一实施例中行人身体朝向示意图。
图8为本发明一实施例中八种行人意图与行人当时的距离信息、行为类型、身体朝向之间关系的示意图。
图9为本发明一实施例中一种道路行人碰撞风险预测方法的流程图具体流程示意图。
图10为本发明一实施例中一种道路行人碰撞风险预测系统的框架示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。另外，为了更好的说明本发明，在下文的具体的实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
本发明一实施例提出一种道路行人碰撞风险预测方法，其可以应用自动驾驶过程中的道路道路行人碰撞风险预测，以为自动驾驶决策提供依据，参阅图1，本实施例方法包括如下步骤S1～S5：
步骤S1、获取当前本车前视图像。
步骤S2、检测所述当前本车前视图像中是否存在行人；若存在行人，则获取所述行人与本车之间的距离信息，并根据所述距离信息判断是否需要进行行人意图预测；若需要，则进入步骤S3，若不需要，则进入步骤S4。
具体而言，所述距离信息包括所述行人与本车之间的相对纵向距离和相对横向距离。
步骤S3、根据所述当前本车前视图像对所述行人进行姿态检测，得到所述行人的骨骼关键点坐标信息；根据所述行人的骨骼关键点坐标信息确定所述行人的行为类型和身体朝向；并根据所述距离信息、行为类型和身体朝向预测所述行人的意图；进入步骤S5。
具体而言，随着近年来深度学习卷积神经网络的飞速发展，基于已公开的OpenPose或AlphaPose姿态检测网络模型进行样本的训练学习，可以对行人图像进行姿态检测，能够从采集的行人图像中得到行人身体骨骼关键点的坐标信息。
在本实施例中，所述骨骼关键点坐标信息包括但不限于以下几种：鼻子、脖子、左肩、右肩、左髋、右髋、左膝、右膝、左脚踝、右脚踝、左肘、右肘、左腕、右腕等等。
可以理解的是，根据所述行人的骨骼关键点坐标信息，可以确定所述行人的身体动作状态，从而确定其行为类型和身体朝向。
步骤S4、确定行人碰撞风险为低级。
步骤S5、根据预测得到的所述行人的意图，确定行人碰撞风险为高级、中级或低级。
需说明的是，本实施例方法在本车自动驾驶过程中，通过获取当前本车前视图像，首先根据所述当前本车前视图像对行人相对本车距离进行分析，当行人相对本车距离满足预设的意图预测条件时，进行预测道路行人意图，进一步根据当前本车前视图像进行行人姿态检测，获得骨骼关键点坐标信息，根据所述骨骼关键点坐标信息可以进一步确定所述行人的行为动作和身体朝向，然后根据所述行人的行人相对本车距离、行为动作和身体朝向，从三个维度综合考虑，对所述行人的意图进行预测，最后根据预测得到的所述行人的意图输出对应的行人碰撞风险等级，即高级、中级或低级，风险等级越高，表示继续按当前车速和方向行驶，发生行人碰撞的概率越高，自动驾驶决策系统实时接收步骤S4和S5的行人碰撞风险预测结果，根据接收到行人碰撞风险预测结果进行决策，然后执行相应的驾驶指令，从而提高自动驾驶安全性。
可选地，在本实施例步骤S2中，根据所述距离信息判断是否需要进行行人意图预测，包括：
获取所述行人与本车的纵向距离，并根据所述纵向距离判断所述行人是否位于危险区内；若位于危险区外，则进入步骤S4；若位于危险区内，则获取所述行人与本车的横向距离，根据所述横向距离判断所述行人是否位于车道区内，若位于车道区内，则进入步骤S3；若位于车道区外，则进入步骤S4。
具体而言，所述危险区为一个预先设置的离本车一定距离的区域，当行人处于该区域中时，本车继续行驶有可能发生行人碰撞；可以理解的是，所述危险区为本车前方的区域，具体地，危险区的区域范围是可以适当调整的，具体实施本实施例的技术方案时可以根据实际安全性要求来设置。在本实施例中，行人是否位于所述危险区中，是通过行人与本车的纵向距离来确定的。
进一步地，当确定检测到的行人当前为与所述危险区中时，则通过行人与本车的横向距离，来确定行人是否位于车道区，如果行人在车道区之外，则表明本车继续行驶，发生行人碰撞的可能性是很低的，因此进入步骤S4确定行人碰撞风险为低级；如果行人在车道区之内，则需要进入步骤S3预测行人的意图，来进一步确定发生行人碰撞的可能性。
需说明的是，行人与本车的相对纵向距离和横向距离的检测，可以选用任一种合适的检测方法实现，本实施例方法中并不限定某一种检测方法。
基于以上实施例内容，在一具体实施例中，所述当前本车前视图像的下边界与地面参考矩形框的下边界平行，所述地面参考矩形框为位于本车前方地面的预设虚拟矩形框。其中，所述当前本车前视图像为通过一前视摄像头获取得到，所述前视摄像头设置于本车前部且位于中轴线上，且本车中轴线的延长线与所述地面参考矩形框的中心轴线重合。
具体而言，参阅图2，图2中矩形框ABCD为本实施例的地面参考矩形框，点O为前视摄像头的安装位置，点S2为车辆的车头中心位置，点S1为矩形框ABCD的下边界AD的中心点位置。其中，点S1至点S2有一定距离，可以理解的是，点S1至点S2距离LS1S2具体可以根据实际技术要求进行设定，本实施例中不进行具体限定。
需说明的是，当在车辆前视图像上生成一地面参考矩形框时，具体为根据前视摄像头与车头中心点的连线与所述地面参考矩形框的中心轴线重合、以及点O到边界AD的设定距离以及地面参考矩形框的预设参数来生成。
可选地，在本具体实施例中，所述步骤S1包括如下子步骤：
步骤S11、通过前视摄像头采集当前车辆前视图像；
步骤S12、判断所述当前车辆前视图像的下边界与地面参考矩形框的下边界是否平行，若否，则调整前视摄像头拍摄角度，使得当前车辆前视图像的下边界与地面参考矩形框的下边界平行。
具体而言，实际应用过程中，保持前视摄像头光轴与地面平行，摄像头采集的RGB图像尺寸为W×H，例如W＝1280，H＝720，采集帧率可以设置为30FPS。
参阅图3，图3为一种前视摄像头拍摄得到的车辆前视图像的示例图，在图3中，由于拍摄角度的关系，可以看到图3中的地面参考矩形框实际上为一个等腰梯形。
需说明的是，本实施例方法的距离计算需要保证当前车辆前视图像的下边界与地面参考矩形框的下边界平行，否则，无法进行行人距离计算。
进一步地，在本具体实施例中，所述步骤S2，包括：
对所述当前本车前视图像进行行人检测，获取行人检测方框；获取所述地面参考矩形框和行人检测方框在当前本车前视图像中的各角点坐标信息；并且，根据所述各角点坐标信息计算得到所述行人与本车的纵向距离、横向距离。
可选地，参阅图4，图4为图3所示车辆前视图像所对应的图像坐标系，图4中，以摄像头安装位置O点为坐标原点构建图像坐标系，在该图像坐标系中，地面参考矩形框左下角点A、左上角点B、右上角点C、右下角点D的坐标分别为(XA,YA)、(XB,YB)、(XC,YC)、(XD,YD)，行人检测方框下边界中心点P的坐标为(XP,YP)，行人检测方框下边界延长线与地面参考矩形框的两个交点M、N的坐标分别为(XM,YM)、(XN,YN)。
其中，所述地面参考矩形框的实际长度参数和宽度参数为预先设置的已知参数。
其中，所述步骤S2，包括：
设A’为世界坐标系下地面参考矩形框的下边界AD位置，A为A’对应的当前本车前视图像切面上对应位置，H为前视摄像头光轴消失点在当前本车前视图像切面上对应位置，WHAy为图像坐标系中上点H到A的纵向距离，WPAy为图像坐标系中点P到A的纵向距离，LPy为行人到前视摄像头实际纵向距离，LAy地面参考矩形框的下边界AD到前视摄像头实际纵向距离，LAy为预设参数；
参阅图5-6，图5为行人纵坐标侧视示意图，图5中，点A’为世界坐标系下地面参考矩形框的下边界AD位置，点A为点A’对应的当前车辆前视图像切面上对应位置，WHAy为图像坐标系中上点H到A的纵向距离，WPAy为图像坐标系中点P到A的纵向距离，LPy为行人到前视摄像头实际纵向距离，LAy地面参考矩形框的下边界AD到前视摄像头实际纵向距离，其中，LAy为预先设置的已知参数；点H为前视摄像头光轴消失点在当前车辆前视图像切面上对应位置，即在前视图像中AB和CD所在直线的边长的相交点，图6为消失点H的图像坐标示意图；
由于拍摄图像切面与地面垂直，则有：
A’P/OH＝AP/AH
即：
(LPy-LAy)/LPy＝WPAy/WHAy
因此，得出行人在世界坐标系的横向距离Lpx为：
LPy＝LAy×WHAy/(WHAy-WPAy)
根据上述公式可以求得行人到前视摄像头实际纵向距离LPy。
其中，所述步骤S3，包括：
在图像坐标系中，行人与前视摄像头的横向像素距离为：
WP＝XP–(XA+XB)/2
其中，当WP>0时，行人位于车前右侧，当WP<0时，行人位于车前左侧；
在图像坐标系中，点M与N的距离为：
WMN＝XN-XM
在世界坐标系中，点M与N的实测距离LMN＝LAD，其中，LAD为预设参数，则有：
LPX/WP＝LMN/WMN
LPX/WP＝LAD/WMN
因此，得出行人在世界坐标系的横向距离Lpx为：
LPX＝(LAD×WP)/WMN
根据上述公式可以求得行人到前视摄像头实际横向距离LPX。
可选地，本实施例步骤S3中，根据所述行人的骨骼关键点坐标信息确定所述行人的行为类型，包括：
将所述行人的骨骼关键点坐标信息输入预先训练好的SVM分类模型，输出所述行人的行为类型；所述行为类型包括移动行走、站立停留。
本实施例中需识别的动作类别较少，包括“移动行走”和“站立停留”两种，在分类识别算法选择上采用二分类算法即可。下面以传统的机器学习算法支持向量机(supportvector machine)为例，训练行人动作识别模型的步骤如下(1)～(4)：
(1)数据预处理，获取人体骨骼关键点检测结果，即多组关键点坐标信息作为原始数据，首先采用中值和平滑滤波方式处理原始数据，其次将骨骼关键点位置信息做归一化处理。
(2)训练数据集制作，根据得到的行人骨骼关键点位置坐标数据，可以从中计算提取到与行走站立的强相关的特征量{x1、x2、x3…}，例如两小腿夹角变化量和变化率、两脚横、纵坐标方向相对变化等。对连续单位时间长度N，对应行走动作的连续特征量作为正样本(y＝1)；站立停留动作的连续特征量作为负样本(y＝-1)。最终得到的每个样本数据的格式为N行M列的矩阵，其中N表示连续N帧的数据，M列则对应输出每行的特征量{x1、x2、x3…}.
(3)训练SVM模型，可以基于已公开的LibSVM训练框架，完成训练数据集和超参数设置后可进行训练模型。
(4)测试SVM模型，将训练好的SVM模型，放入编写的测试程序执行行人动作分类测试。
可选地，本实施例步骤S3中，根据所述行人的骨骼关键点坐标信息确定所述行人的身体朝向，包括：
将所述行人的骨骼关键点坐标信息输入预先训练好的机器学习模型或规则模型，输出所述行人的身体朝向；其中，当所述行人位于本车所在车道区内时，所述身体朝向包括侧向本车、背向本车、左侧向本车、右侧向本车。
具体而言，身体朝向识别可以身体关键点例如脖子、左肩、右肩、左髋、右髋，基于关键点之间模长比、夹角阈值等参数来建立规则模型或者机器学习模型来实现身体朝向识别，其中，以身体四个朝向为例，识别结果如图7所示，图7中从左往右分别为左侧向本车、背向本车、面向本车、右侧向本车。
可选地，其中，所述车道区包括本车所在的当前车道区以及与所述当前车道区相邻的邻近车道区，所述邻近车道区包括左车道区和临近右车道区。
在所述步骤S3中，根据所述距离信息、行为类型和身体朝向预测所述行人的意图，包括：
参阅图8，图8为八种行人意图与行人当时的距离信息、行为类型、身体朝向之间关系的示意图。其中，向右箭头→表示身体朝向为右侧向本车，向左箭头←表示身体朝向为左侧向本车，向上箭头↑表示身体朝向为背向本车，向下箭头↓表示身体朝向为面向本车；距离信息通过当前车道区域或邻近车道区域来表示；其中序号①②④⑦⑧为移动行走类型，序号③⑤⑥为站立停留类型。
图8的意图预测结果如下表所示：
Figure BDA0002722900860000151
具体地，本实施例中行人意图预测的规则如下1～12所示：
1、当所述行人位于所述当前车道区时，若所述行人的行为类型为移动行走，并且身体朝向为左侧向本车或右侧向本车，则所述行人的意图为行人横穿车道。
2、当所述行人位于所述当前车道区时，若所述行人的行为类型为移动行走，并且身体朝向为面向本车，则所述行人的意图为行人占道逆行。
3、当所述行人位于所述当前车道区时，若所述行人的行为类型为移动行走，并且身体朝向为背向本车，则所述行人的意图为行人占道同行。
4、当所述行人位于所述当前车道区时，若所述行人的行为类型为站立停留，则所述行人的意图为行人占道停留。
5、当所述行人位于所述邻近左车道区时，若所述行人的行为类型为站立停留，并且身体朝向为左侧向本车、面向本车或背向本车，则所述行人的意图为行人停留且无横穿车道倾向。
6、当所述行人位于所述邻近右车道区时，若所述行人的行为类型为站立停留，并且身体朝向为右侧向本车、面向本车或背向本车，则所述行人的意图为行人停留且无横穿车道倾向。
7、当所述行人位于所述邻近左车道区时，若所述行人的行为类型为站立停留，并且身体朝向为右侧向本车，则所述行人的意图为行人停留且有横穿车道倾向。
8、当所述行人位于所述邻近右车道区时，若所述行人的行为类型为站立停留，并且身体朝向为左侧向本车，则所述行人的意图为行人停留且有横穿车道倾向。
9、当所述行人位于所述邻近左车道区时，若所述行人的行为类型为移动行走，并且身体朝向为左侧向本车、面向本车或背向本车，则所述行人的意图为行人行走且无横穿车道倾向。
10、当所述行人位于所述邻近右车道区时，若所述行人的行为类型为移动行走，并且身体朝向为右侧向本车、面向本车或背向本车，则所述行人的意图为行人行走且无横穿车道倾向。
11、当所述行人位于所述邻近左车道区时，若所述行人的行为类型为移动行走，并且身体朝向为右侧向本车，则所述行人的意图为行人行走且将要横穿车道。
12、当所述行人位于所述邻近右车道区时，若所述行人的行为类型为移动行走，并且身体朝向为左侧向本车，则所述行人的意图为行人行走且将要横穿车道。
可选地，所述步骤S5，包括：
当所述行人的意图为行人横穿车道时，确定行人碰撞风险为高级。
当所述行人的意图为行人占道逆行时，确定行人碰撞风险为高级。
当所述行人的意图为行人占道同行时，确定行人碰撞风险为高级。
当所述行人的意图为行人占道停留时，确定行人碰撞风险为中级。
当所述行人的意图为行人停留且无横穿车道倾向时，确定行人碰撞风险为低级。
当所述行人的意图为行人停留且有横穿车道倾向时，确定行人碰撞风险为中级。
当所述行人的意图为行人行走且将要横穿车道时，确定行人碰撞风险为高级。
当所述行人的意图为行人行走且无横穿车道倾向时，确定行人碰撞风险为低级。
其中，本实施例的一个具体流程示意图可以参阅图9。
示例性地，根据行人碰撞风险等级，执行的自动驾驶策略如下表所示：
Figure BDA0002722900860000171
Figure BDA0002722900860000181
参阅图10，本发明另一实施例提出一种道路行人碰撞风险预测系统，用于实现上述实施例所述的道路行人碰撞风险预测方法，所述系统包括：
图像获取单元1，用于获取当前本车前视图像；即用于执行上述实施例方法的步骤S1；
行人检测单元2，用于检测所述当前本车前视图像中是否存在行人；若存在行人，则获取所述行人与本车之间的距离信息，并根据所述距离信息判断是否需要进行行人意图预测；若需要，则生成第一指令，若不需要，则生成第二指令；即用于执行上述实施例方法的步骤S2；
意图预测单元3，用于响应接收到所述行人检测单元的第二指令，根据所述当前本车前视图像对所述行人进行姿态检测，得到所述行人的骨骼关键点坐标信息；根据所述行人的骨骼关键点坐标信息确定所述行人的行为类型和身体朝向；并根据所述距离信息、行为类型和身体朝向预测所述行人的意图；即用于执行上述实施例方法的步骤S3；
输出单元4，用于响应于接收到所述行人检测单元的第一指令，确定行人碰撞风险为低级；以及用于响应接收到所述意图预测单元的所述行人的意图预测结果，根据预测得到的所述行人的意图，确定行人碰撞风险为高级、中级或低级。即用于执行上述实施例方法的步骤S4和S5。
以上所描述的道路行人碰撞风险预测系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需说明的是，上述实施例所述道路行人碰撞风险预测系统与上述实施例所述道路行人碰撞风险预测方法对应，因此，上述实施例所述道路行人碰撞风险预测系统未详述部分可以参阅上述实施例所述道路行人碰撞风险预测方法的内容得到，此处不再赘述。
并且，上述实施例所述道路行人碰撞风险预测系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
本发明的另一实施例提出一种计算机可读存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在的一个或多个设备执行如上述实施例所述的道路行人碰撞风险预测方法。
具体而言，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种道路行人碰撞风险预测方法，其特征在于，包括：
步骤S1、获取当前本车前视图像；
步骤S2、检测所述当前本车前视图像中是否存在行人；若存在行人，则获取所述行人与本车之间的距离信息，并根据所述距离信息判断是否需要进行行人意图预测；若需要，则执行步骤S3和步骤S5，若不需要，则执行步骤S4；
步骤S3、根据所述当前本车前视图像对所述行人进行姿态检测，得到所述行人的骨骼关键点坐标信息；根据所述行人的骨骼关键点坐标信息确定所述行人的行为类型和身体朝向；并根据所述距离信息、行为类型和身体朝向预测所述行人的意图，其中，当所述行人位于本车所在的当前车道区时，若所述行人的行为类型为移动行走，并且身体朝向为左侧向本车或右侧向本车，则所述行人的意图为行人横穿车道；或者，若所述行人的行为类型为移动行走，并且身体朝向为面向本车，则所述行人的意图为行人占道逆行；或者，若所述行人的行为类型为移动行走，并且身体朝向为背向本车，则所述行人的意图为行人占道同行；或者，若所述行人的行为类型为站立停留，则所述行人的意图为行人占道停留；
步骤S4、确定行人碰撞风险为低级；
步骤S5、根据预测得到的所述行人的意图，确定行人碰撞风险为高级、中级或低级。
2.根据权利要求1所述的道路行人碰撞风险预测方法，其特征在于，在所述步骤S2中，根据所述距离信息判断是否需要进行行人意图预测，包括：
获取所述行人与本车的纵向距离，并根据所述纵向距离判断所述行人是否位于危险区内；若位于危险区外，则进入步骤S4；若位于危险区内，则获取所述行人与本车的横向距离，根据所述横向距离判断所述行人是否位于车道区内，若位于车道区内，则进入步骤S3；若位于车道区外，则进入步骤S4。
3.根据权利要求2所述的道路行人碰撞风险预测方法，其特征在于，所述当前本车前视图像的下边界与地面参考矩形框的下边界平行，所述地面参考矩形框为位于本车前方地面的预设虚拟矩形框；
所述当前本车前视图像为通过一前视摄像头获取得到，所述前视摄像头设置于本车前部且位于中轴线上，且本车中轴线的延长线与所述地面参考矩形框的中心轴线重合。
4.根据权利要求3所述的道路行人碰撞风险预测方法，其特征在于，所述步骤S2，包括：
对所述当前本车前视图像进行行人检测，获取行人检测方框；获取所述地面参考矩形框和行人检测方框在当前本车前视图像中的各角点坐标信息；并且，根据所述各角点坐标信息计算得到所述行人与本车的纵向距离、横向距离。
5.根据权利要求2所述的道路行人碰撞风险预测方法，其特征在于，根据所述行人的骨骼关键点坐标信息确定所述行人的行为类型，包括：
将所述行人的骨骼关键点坐标信息输入预先训练好的SVM分类模型，输出所述行人的行为类型；所述行为类型包括移动行走、站立停留。
6.根据权利要求5所述的道路行人碰撞风险预测方法，其特征在于，根据所述行人的骨骼关键点坐标信息确定所述行人的身体朝向，包括：
将所述行人的骨骼关键点坐标信息输入预先训练好的机器学习模型或规则模型，输出所述行人的身体朝向；其中，当所述行人位于本车所在车道区内时，所述身体朝向包括侧向本车、背向本车、左侧向本车、右侧向本车。
7.根据权利要求1所述的道路行人碰撞风险预测方法，其特征在于，其中，所述车道区包括：本车所在的当前车道区、与所述当前车道区相邻的邻近左车道区和邻近右车道区；
在所述步骤S3中，根据所述距离信息、行为类型和身体朝向预测所述行人的意图，包括：
当所述行人位于所述邻近左车道区时，若所述行人的行为类型为站立停留，并且身体朝向为左侧向本车、面向本车或背向本车，则所述行人的意图为行人停留且无横穿车道倾向；
当所述行人位于所述邻近右车道区时，若所述行人的行为类型为站立停留，并且身体朝向为右侧向本车、面向本车或背向本车，则所述行人的意图为行人停留且无横穿车道倾向；
当所述行人位于所述邻近左车道区时，若所述行人的行为类型为站立停留，并且身体朝向为右侧向本车，则所述行人的意图为行人停留且有横穿车道倾向；
当所述行人位于所述邻近右车道区时，若所述行人的行为类型为站立停留，并且身体朝向为左侧向本车，则所述行人的意图为行人停留且有横穿车道倾向；
当所述行人位于所述邻近左车道区时，若所述行人的行为类型为移动行走，并且身体朝向为左侧向本车、面向本车或背向本车，则所述行人的意图为行人行走且无横穿车道倾向；
当所述行人位于所述邻近右车道区时，若所述行人的行为类型为移动行走，并且身体朝向为右侧向本车、面向本车或背向本车，则所述行人的意图为行人行走且无横穿车道倾向；
当所述行人位于所述邻近左车道区时，若所述行人的行为类型为移动行走，并且身体朝向为右侧向本车，则所述行人的意图为行人行走且将要横穿车道；
当所述行人位于所述邻近右车道区时，若所述行人的行为类型为移动行走，并且身体朝向为左侧向本车，则所述行人的意图为行人行走且将要横穿车道。
8.根据权利要求1所述的道路行人碰撞风险预测方法，其特征在于，所述步骤S5，包括：
当所述行人的意图为行人横穿车道时，确定行人碰撞风险为高级；
当所述行人的意图为行人占道逆行时，确定行人碰撞风险为高级；
当所述行人的意图为行人占道同行时，确定行人碰撞风险为高级；
当所述行人的意图为行人占道停留时，确定行人碰撞风险为中级。
9.根据权利要求7所述的道路行人碰撞风险预测方法，其特征在于，所述步骤S5，包括：
当所述行人的意图为行人停留且无横穿车道倾向时，确定行人碰撞风险为低级；
当所述行人的意图为行人停留且有横穿车道倾向时，确定行人碰撞风险为中级；
当所述行人的意图为行人行走且将要横穿车道时，确定行人碰撞风险为高级；
当所述行人的意图为行人行走且无横穿车道倾向时，确定行人碰撞风险为低级。
10.一种道路行人碰撞风险预测系统，其特征在于，用于实现权利要求1～9任一项所述的道路行人碰撞风险预测方法，所述系统包括：
图像获取单元，用于获取当前本车前视图像；
行人检测单元，用于检测所述当前本车前视图像中是否存在行人；若存在行人，则获取所述行人与本车之间的距离信息，并根据所述距离信息判断是否需要进行行人意图预测；若需要，则生成第一指令，若不需要，则生成第二指令；
意图预测单元，用于响应接收到所述行人检测单元的第二指令，根据所述当前本车前视图像对所述行人进行姿态检测，得到所述行人的骨骼关键点坐标信息；根据所述行人的骨骼关键点坐标信息确定所述行人的行为类型和身体朝向；并根据所述距离信息、行为类型和身体朝向预测所述行人的意图；以及
输出单元，用于响应于接收到所述行人检测单元的第一指令，确定行人碰撞风险为低级；以及用于响应接收到所述意图预测单元的所述行人的意图预测结果，根据预测得到的所述行人的意图，确定行人碰撞风险为高级、中级或低级。
CN202011093486.XA 2020-10-14 2020-10-14 一种道路行人碰撞风险预测方法及其系统 Active CN112249021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011093486.XA CN112249021B (zh) 2020-10-14 2020-10-14 一种道路行人碰撞风险预测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011093486.XA CN112249021B (zh) 2020-10-14 2020-10-14 一种道路行人碰撞风险预测方法及其系统

Publications (2)

Publication Number Publication Date
CN112249021A CN112249021A (zh) 2021-01-22
CN112249021B true CN112249021B (zh) 2022-06-24

Family

ID=74242996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011093486.XA Active CN112249021B (zh) 2020-10-14 2020-10-14 一种道路行人碰撞风险预测方法及其系统

Country Status (1)

Country Link
CN (1) CN112249021B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156725A (zh) * 2016-06-16 2016-11-23 江苏大学 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法
WO2018008314A1 (ja) * 2016-07-07 2018-01-11 株式会社デンソー 歩行者検出装置、歩行者検出方法
CN109117701A (zh) * 2018-06-05 2019-01-01 东南大学 基于图卷积的行人意图识别方法
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法
CN110378202A (zh) * 2019-06-05 2019-10-25 魔视智能科技(上海)有限公司 一种基于鱼眼镜头的全方位行人碰撞预警方法
US10528047B1 (en) * 2019-01-31 2020-01-07 Chongqing Jinkang New Energy Automobile Co., Ltd. Method and system for monitoring user activity
CN110858295A (zh) * 2018-08-24 2020-03-03 广州汽车集团股份有限公司 一种交警手势识别方法、装置、整车控制器及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361648B (zh) * 2014-10-10 2017-02-01 江苏科技大学 一种具有信号灯提示其他车辆的行车记录仪及其控制方法
CN104361649B (zh) * 2014-10-14 2017-02-15 江苏科技大学 一种具有信号灯提示其他车辆的行车记录仪及其控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156725A (zh) * 2016-06-16 2016-11-23 江苏大学 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法
WO2018008314A1 (ja) * 2016-07-07 2018-01-11 株式会社デンソー 歩行者検出装置、歩行者検出方法
CN109117701A (zh) * 2018-06-05 2019-01-01 东南大学 基于图卷积的行人意图识别方法
CN110858295A (zh) * 2018-08-24 2020-03-03 广州汽车集团股份有限公司 一种交警手势识别方法、装置、整车控制器及存储介质
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法
US10528047B1 (en) * 2019-01-31 2020-01-07 Chongqing Jinkang New Energy Automobile Co., Ltd. Method and system for monitoring user activity
CN110378202A (zh) * 2019-06-05 2019-10-25 魔视智能科技(上海)有限公司 一种基于鱼眼镜头的全方位行人碰撞预警方法

Also Published As

Publication number Publication date
CN112249021A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN110427905B (zh) 行人跟踪方法、装置以及终端
Song et al. Lane detection and classification for forward collision warning system based on stereo vision
EP2243125B1 (en) Vision based real time traffic monitoring
US8750567B2 (en) Road structure detection and tracking
CN109375618A (zh) 清洁机器人的导航避障方法及终端设备
CN109334563A (zh) 一种基于道路前方行人和骑行者的防碰撞预警方法
CN105512618B (zh) 视频跟踪方法
JP5874831B2 (ja) 立体物検出装置
CN110379168A (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN111414826A (zh) 一种地标箭头的识别方法、设备及存储介质
CN104915642B (zh) 前方车辆测距方法及装置
CN107292917A (zh) 一种基于视频图像处理的船舶走锚识别方法
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
Samadzadegan et al. Automatic lane detection in image sequences for vision-based navigation purposes
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
Kuan et al. Pothole detection and avoidance via deep learning on edge devices
CN112249021B (zh) 一种道路行人碰撞风险预测方法及其系统
CN114898306B (zh) 一种检测目标朝向的方法、装置及电子设备
CN108830248B (zh) 一种行人局部特征大数据混合提取方法
JP5871069B2 (ja) 立体物検出装置及び立体物検出方法
KR100976142B1 (ko) 차량검출방법
CN112183214A (zh) 车辆弯道行驶状态判别方法、装置、计算机设备和介质
Zhang et al. Integration of scanning and image processing algorithms for lane detection based on fuzzy method
Chen et al. An evolutionary computation approach for lane detection and tracking
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant