CN114852055B - 一种停车场环境下的危险行人感知认知方法及系统 - Google Patents
一种停车场环境下的危险行人感知认知方法及系统 Download PDFInfo
- Publication number
- CN114852055B CN114852055B CN202210458909.6A CN202210458909A CN114852055B CN 114852055 B CN114852055 B CN 114852055B CN 202210458909 A CN202210458909 A CN 202210458909A CN 114852055 B CN114852055 B CN 114852055B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- shielding
- target
- pedestrians
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008447 perception Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000019771 cognition Effects 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 97
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 230000000903 blocking effect Effects 0.000 claims description 37
- 230000009191 jumping Effects 0.000 claims description 14
- 230000001149 cognitive effect Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 5
- 210000005079 cognition system Anatomy 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 239000003054 catalyst Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 6
- 239000000523 sample Substances 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种停车场环境下的危险行人感知认知方法，将车外行人的识别分为目标行人识别路线和遮挡行人识别路线，两条路线互为补充来降低遮挡行人横穿时的碰撞事故率。还提供按此方法设计的系统，由感知模块和认知模块组成；所述感知模块通过前雷达和前视摄像头获取目标行人和遮挡行人探测信号，由感知融合模块对前雷达和前视摄像头的目标行人识别路线和遮挡行人识别路线得到的结果进行关联融合，认知模块基于关联融合信息判断当前场景下危险区域是否存在目标行人和/或遮挡行人，同时结合二者的相关信息进行当前车辆危险行人的综合决策，得到危险行人认知策略。
Description
技术领域
本发明涉及智能驾驶辅助技术，具体涉及一种停车场环境下的危险行人感知认知方法及系统。
背景技术
远程代客泊车APA(Automatic Parking Assist)系统采用多传感器(超声波、毫米波、摄像头、激光雷达等)融合探测技术，实现最后一公里代客泊车、远程代客泊车、远程挪车、一键召唤等限定区域内的L4级无人驾驶功能。远程代客泊车APA系统的使用场景为地面或地下的停车场非公共道路，其工作速度区间为0～15Km/h。由于远程代客泊车APA系统的定位为L4级，即车内无驾驶员且无需用户远程监督，因此系统在工作过程中的“观察”能力完全依赖传感器的探测。在停车场环境中，静止障碍物(车辆)密度大，行人停车、取车操作频繁，行人被静止障碍物(车辆)遮挡后，造成行人遮挡比例大，摄像头和毫米波雷达识别困难，极易出现行人在遮挡期间未识别，突然穿出的鬼探头场景，该场景下碰撞事故率极高，车外行人的生命安全很难得到有效保障。
国际上第一个针对具体的L4级自动驾驶系统的技术标准ISO22737，主要针对运行速度在32km/h以下的预定义路线的低速自动驾驶(LSAD)进行了规范限制，其中明确指出需要实现有遮挡的横穿行人的探测和保护，并能在与行人发生碰撞前停车。
当前，智能汽车领域中的各个传感器针对遮挡行人的探测均存在较大难度，基于当前传感器的布置方案，本车前行过程中，本车前方遮挡行人的识别主要依赖前毫米波雷达(简称：前雷达)和前视摄像头。其中，前(毫米波)雷达对遮挡行人探测难点为：车外行人由于被静止障碍物(车辆)遮挡，导致行人遮挡比例越大被前(毫米波)雷达探测到的点云个数越少，此时点云个数太少后会淹没在停车场环境噪点中，因此遮挡行人较难聚类形成稳定的行人目标，检出率极低。前视摄像头对遮挡行人探测难点为：车外行人由于被静止障碍物(车辆)遮挡，导致行人被前视摄像头拍下的比例较小，有时甚至仅有头部，此时前视摄像头能捕捉到的行人特征较少，很难确定行人目标。
目前，安防领域具有行人头肩检测算法和人头检测算法，即仅凭行人的头肩特征或者头部特征来检测行人，此时虽可检测出行人，但行人由于遮挡比例较大，拍摄的图像中缺少行人接地点，需要根据行人的比例“脑补”行人的接地点来计算其横纵向距离，由于“脑补”部分过大，导致此时行人的横纵向距离严重失真，因此针对遮挡比例较大的行人前视摄像头无法作为行人目标输出。
由于当前行业现状中前雷达和前视摄像头对遮挡行人的探测存在上述难点，因此本领域技术人员对于遮挡行人的方面进行了大量的研究；但是，目前基本上都集中在采用不同的算法来提升传感器的遮挡行人检测能力。例如，CN202111255008.9公开的“一种基于多粒度遮挡感知的遮挡行人重识别方法”(申请人为重庆邮电大学大学)；CN202110942302.0公开的“一种基于头部和可见区域线索的遮挡行人检测方法”(申请人为北京计算机技术及应用研究所)；CN201810269305.0公开的“一种基于集中学习与深度网络学习的遮挡行人再识别方法”(申请人为中山大学)等等；这些技术主要是通过改进算法来提升单一传感器的遮挡行人检出率，然而采用改进算法来提升检出率的效果有限，并且大多算法较为复杂对芯片算力要求较高，鲁棒性不好，因此实际应用存在一定的难度。
目前，关于解决横穿遮挡行人检出策略主要有两种常见思路，一种是通过场端的改造，安装场端全方位监控摄像头，通过场端的摄像头来提前识别被静止车辆遮挡的行人，并通知车辆提前预警，但是该解决方案对场端依赖性较大，目前满足该建设要求的停车场极少。另一种是通过对行人的避撞策略来避免与遮挡行人发生碰撞。例如CN202010344141.0公开的“车辆-行人碰撞风险域的计算方法及安全评价系统”(申请人为清华大学)，提供了探测并输出车辆信息和行人信息，判断行人是否注意到车辆，根据行人是否采取主动避让行为和车辆是否采取即时反应动作的假设结果，确定车辆与行人的碰撞风险域，可以有效提高车辆与行人交互过程中行人的安全性及车辆行驶的舒适性。属于在碰撞发生前进行目标的有效探测和行为的合理预测，但针对严重遮挡的行人，尤其是只露头和肩膀、只露头的情况下车端传感器较难探测，因此无法对遮挡行人目标进行有效的应对。
综上，现有技术存在以下缺点：
1.通过改进单一传感器的行人检测算法提升遮挡行人检出率，该方法提升效果有限，且大多算法复杂对芯片算力要求较高，鲁棒性不佳，因此工程应用存在难度。
2.通过场端的改造，安装场端全方位监控摄像头，通过场端的摄像头来提前识别被静止车辆遮挡的行人，并通知车辆提前预警，该解决方案对场端依赖性较大，目前满足该建设要求的停车场极少。
3.通过对行人的避撞策略来避免与遮挡行人发生碰撞的前提是传感器已识别遮挡行人，但针对严重遮挡的行人，尤其是只露头和肩膀、只露头的情况下车端传感器较难探测，因此无法对遮挡行人目标进行有效的应对。
发明内容
针对现有技术存在的上述不足，本发明的目的在于提供一种停车场环境下的危险行人感知认知方法及系统，通过本车前行过程中车外目标行人和遮挡行人的感知认知策略，有效避免遮挡行人突然穿出后(鬼探头场景)的碰撞事故，有效保障车外行人的生命安全。
为实现上述目的，本发明采用如下技术方案：
一种停车场环境下的危险行人感知认知方法，其特征在于，将车外行人的识别分为目标行人识别路线和遮挡行人识别路线，两条路线互为补充来降低遮挡行人横穿时的碰撞事故率。
进一步，所述遮挡行人识别路线采用遮挡行人感知融合策略，即将前雷达遮挡行人输出信号和前视摄像头遮挡行人输出信号进行融合；并结合车外目标行人和遮挡行人的信号，对车外危险行人目标进行筛选。
本发明还提供一种停车场环境下的危险行人感知认知系统，由感知模块和认知模块组成；所述感知模块通过前雷达和前视摄像头获取目标行人和遮挡行人探测信号，由感知融合模块对前雷达和前视摄像头的目标行人识别路线和遮挡行人识别路线得到的结果进行关联融合，认知模块基于关联融合信息判断当前场景下危险区域是否存在目标行人和/或遮挡行人，同时结合二者的相关信息进行当前车辆危险行人的综合决策，得到危险行人认知策略；
其中，所述前雷达获取行人探测信号包括前雷达目标行人输出信号、前雷达遮挡行人输出信号；所述前视摄像头获取行人探测信号包括前视摄像头目标行人输出信号、前视摄像头遮挡行人输出信号。
进一步，所述车外行人感知融合模块包括目标行人感知融合模块、单雷达目标行人感知融合模块、单前视摄像头目标行人感知融合模块和遮挡行人感知融合模块；
其中，所述目标行人感知融合模块、单雷达目标行人感知融合模块和单前视摄像头目标行人感知融合模块输出的目标行人结果集成，输出车外目标行人的集合；
所述遮挡行人感知融合模块针对前雷达遮挡行人输出信号和前视摄像头遮挡行人输出信号进行融合，输出遮挡行人的相关信息。
进一步，所述单雷达目标行人感知融合模块，收取前雷达目标行人输出信号和前视摄像头遮挡行人输出信号，以前雷达的目标行人信息为基础，利用前视摄像头的遮挡行人信息校验前雷达的目标行人，如果二者关联成功，则单雷达的目标行人可较早释放，缩短行人目标的感知时间，为行人安全提供保障；所述单前视摄像头目标行人感知融合模块，收取前视摄像头目标行人输出信号。
进一步，所述危险区域定义为本车前保前15m范围内。
进一步，所述遮挡行人识别路线中的遮挡行人感知融合模块中，感知融合方法包括：
1)前雷达识别遮挡行人输出的遮挡行人标志位信号为“无”，且前视摄像头识别遮挡行人输出的遮挡行人标志位信号为“有”，则采用单前视摄像头融合策略，即遮挡行人感知融合后完全用前视摄像头的遮挡行人信号，此时由于前视摄像头无法给出遮挡行人的准确位置，因此感知融合后：(1)遮挡行人标志位为有；(2)遮挡行人纵向位置为0m；(3)遮挡行人方位＝前视摄像头遮挡行人方位(4)遮挡行人探测传感器为V；
2)前雷达识别遮挡行人输出的遮挡行人标志位信号为“有”，且前视摄像头识别遮挡行人输出的遮挡行人标志位信号为“有”，则采用双检融合策略，即遮挡行人感知融合后以前雷达遮挡行人信号为主，采用前视摄像头的遮挡行人信号校验前雷达，因此感知融合后：(1)遮挡行人标志位为有；(2)遮挡行人纵向位置＝前雷达遮挡行人纵向位置；(3)遮挡行人方位＝前雷达遮挡行人方位(4)遮挡行人探测传感器为R+V；
3)前雷达识别遮挡行人输出的遮挡行人标志位信号为“有”，且前视摄像头识别遮挡行人输出的遮挡行人标志位信号为“无”，则采用单雷达融合策略，即遮挡行人感知融合后完全用前雷达的遮挡行人信号，因此感知融合后：(1)遮挡行人标志位为有；(2)遮挡行人纵向位置＝前雷达遮挡行人纵向位置；(3)遮挡行人方位＝前雷达遮挡行人方位(4)遮挡行人探测传感器为R。
进一步，所述危险行人认知策略包括：1)当前无危险行人；2)选取碰撞TTC最小的目标行人作为危险行人目标；3)以遮挡行人目标作为当前危险行人目标。
相比现有技术，本发明具有如下有益效果：
1.本发明提出一种停车场环境下的危险行人感知认知策略，创造性的提出新增遮挡行人识别路线，其与目标行人识别路线并行互补，提高车外遮挡行人的检出率；通过设计对本车前行过程中车外目标行人和遮挡行人的感知认知策略，有效避免遮挡行人突然穿出后(鬼探头场景)的碰撞事故，有效保障车外行人的生命安全。
2.本发明针对前雷达和前视摄像头对遮挡行人的探测特点，在遮挡行人识别路线中重现定义前雷达遮挡行人输出信号和前视摄像头遮挡行人输出信号，将两种传感器的遮挡行人信号进行融合，有效提高车外遮挡行人的检出率；将车外行人的识别分为目标行人识别路线和遮挡行人识别路线，两条路线互为补充可有效降低遮挡行人横穿时的碰撞事故率，降低遮挡行人横穿时的碰撞事故率，保障车外行人的生命安全；并且，不依赖场端建设，较为准确的识别横穿的遮挡行人，并在综合考虑车外遮挡行人和目标行人的前提下进行车外危险行人目标的筛选。
3.本发明在遮挡行人识别路线中提出遮挡行人感知融合策略，定义了车外危险行人目标的认知逻辑，并详细定义了遮挡行人的融合逻辑，综合考虑车外遮挡行人和目标行人的前提下进行车外危险行人目标的筛选，可有效解决传统危险行人仅在目标行人中筛选导致危险行人目标检出时机晚，甚至漏检，带来危险行人漏制动或鬼探头场景下的行人碰撞问题。可有效解决停车场环境中被静止车辆遮挡的横穿行人的识别，弥补前雷达和前视摄像头对大比例遮挡行人检出率的不足。
4.本发明基于现有传感器硬件配置，不必额外增加其他传感器和硬件设施，同时不依赖场端，该方案在有效解决车外行人识别的前提下，节约成本，减少硬件开发、匹配的时间。
5.使用本发明方法或系统，无论是否开启自动驾驶(L4级)，即便驾驶员在车内(L2级或L3级)同样可实现遮挡行人的检测，此时可提示驾驶员前方可能存在遮挡行人，作为驾驶辅助的功能。并且，本发明不仅在“远程代客泊车”功能中使用，也可推广到停车场的其他使用功能，比如泊车辅助、自动泊车、用户自驾车的功能等。
附图说明
图1为停车场环境下的遮挡行人场景说明图；
图2为本发明停车场环境下的危险行人感知认知策略图；
图3为本发明停车场环境下的车外行人感知融合策略图；
图4为本发明停车场环境下的感知模块遮挡行人信号传递图；
图5为本发明停车场环境下的车外遮挡行人感知融合策略图；
图6为本发明停车场环境下的车外危险行人认知策略图。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案，下面结合具体实施例对本发明作进一步详细说明，但本发明的实施方式不仅限于此。
本发明中，相关术语定义如下：
目标行人：当前传感器(前雷达和前视摄像头)根据各自当前的识别能力将无遮挡和轻微遮挡的行人识别为行人目标输出，具有目标类的相关属性信息。
遮挡行人：在停车场环境中，行人被静止障碍物(车辆)遮挡后，造成传感器无法探测完整的行人。
手机端交互：用户通过手机观察车辆周边环境，并可通过手机控制车辆的行为。
车外交互：车辆通过车外的声音、喇叭、灯光等对车外行人或其他车辆进行警示的行为。
感知范围：车辆传感器(超声波、毫米波、摄像头、激光雷达等)的综合探测范围。
横向行车距离：车辆在行驶过程中与两侧静止障碍物保持的横向最小距离。
参见图1，在停车场环境下，本车在停车场根据当前传感器(前雷达和前视摄像头)的感知范围对各自当前的识别能力将无遮挡和轻微遮挡的行人识别为目标行人，将被静止障碍物(车辆)遮挡后，造成传感器无法探测完整的行人为遮挡行人。车辆通过车外的声音、喇叭、灯光等对车外行人或其他车辆进行车外交互。
用户通过手机观察车辆周边环境，并可通过手机控制车辆进行手机端交互。
本发明提供一种停车场环境下的危险行人感知认知方法，具体为将车外行人的识别分为目标行人识别路线和遮挡行人识别路线，两条路线互为补充来降低遮挡行人横穿时的碰撞事故率。其中，所述遮挡行人识别路线采用遮挡行人感知融合策略，即将前雷达遮挡行人输出信号和前视摄像头遮挡行人输出信号进行融合；并结合车外目标行人和遮挡行人的信号，对车外危险行人目标进行筛选。
具体为停车场环境下的遮挡行人解决策略主要面向停车场内的远程代客泊车功能，其为限定区域内的无人驾驶功能，此时用户可通过手机端远程激活代客泊车功能，车辆可在用户远程监管的情况下完成最后1KM的无人代客泊车。
如图2所示，本发明还提供一种停车场环境下的危险行人感知认知系统，包括感知模块、认知模块两部分。感知模块包括前雷达行人探测、前视摄像头行人探测、前雷达目标行人输出信号、前雷达遮挡行人输出信号、前视摄像头目标行人输出信号、前视摄像头遮挡行人输出信号、车外行人感知融合。认知模块包括危险行人认知策略处理。
本发明所述感知模块的作用为重新定义外部传感器(前雷达和前视摄像头)针对车外行人的探测方式和输出信号，将前雷达和前视摄像头针对车外行人的探测分为遮挡行人识别路线和目标行人识别路线，两条路线互为补充，提高车外行人的检出率。目标行人识别路线主要面向车外无遮挡或者轻度遮挡的行人，该类行人当前传感器的技术可识别为行人目标，通过目标行人识别路线输出前雷达目标行人输出信号和前视摄像头目标行人输出信号。遮挡行人识别路线主要面向车外遮挡较为严重的行人，针对该类行人当前传感器的技术无法将其识别为行人目标，但可根据传感器各自的特点分别输出前雷达遮挡行人输出信号和前视摄像头遮挡行人输出信号。车外行人感知融合模块将前雷达和前视摄像头的遮挡行人识别路线和目标行人识别路线得到的结果进行关联融合，分别输出目标行人的相关信息和遮挡行人的相关信息。
所述认知模块的作用为基于目标行人的相关信息和遮挡行人的相关信息判断当前场景下是否存在目标行人和遮挡行人，同时结合二者的相关信息进行当前车辆危险行人的综合决策，筛选出当前用于规划和控制的危险行人目标。
如图3所示，本发明所述的车外行人感知融合模块包括如下子模块：目标行人感知融合、单雷达目标行人感知融合、单前视摄像头目标行人感知融合、遮挡行人感知融合、目标行人集合和遮挡行人。其中，所述的目标行人感知融合模块收取前雷达目标行人输出信号和前视摄像头目标行人输出信号，基于传统的目标关联融合方法(该方法已成熟，形式多样，不在本发明的保护范围)将同时被两个传感器检测为目标的行人信息进行融合，获取车外行人目标。
当前行业的目标感知方法中，当目标行人仅被前雷达探测为目标而未被前视摄像头探测为目标时，由于停车场环境封闭，雷达虚目标较多，故此时单雷达目标行人需经过较为严苛的条件方能作为目标行人输出，如需连续跟踪20个周期，且目标位置、速度、位置变化率、速度变化率均符合要求。
所述的单雷达目标行人感知融合模块收取前雷达目标行人输出信号和前视摄像头遮挡行人输出信号，以前雷达的目标行人信息为基础，利用前视摄像头的遮挡行人信息校验前雷达的目标行人，如果二者关联成功，则单雷达的目标行人可较早释放，缩短行人目标的感知时间，为行人安全提供保障。
所述的单前视摄像头目标行人感知融合模块，针对目标行人仅被前视摄像头探测为目标而未被前雷达探测为目标的情况，该情况下由于前视摄像头目标分类较准确，且前雷达遮挡行人输出信号稳定性和准确性稍差，因此此时单前视摄像头目标行人感知融合模块仅收取前视摄像头目标行人输出信号，不必采用前雷达遮挡行人输出信号对其进行校验。
所述的目标行人模块，将目标行人感知融合模块、单雷达目标行人感知融合模块和单前视摄像头目标行人感知融合模块输出的目标行人结果进行集成，输出车外目标行人的集合。
所述的遮挡行人识别路线中的遮挡行人感知融合模块针对前雷达遮挡行人输出信号和前视摄像头遮挡行人输出信号进行融合，输出遮挡行人的相关信息。
本发明基于前雷达传统的行人识别策略，遮挡行人检出率较低，且目标需要完全走出遮挡物后方能稳定检测，因此提出利用前雷达的微多普勒效应效探测本车前向危险区域内的遮挡人。其中本车前向危险区域定义为本车前保前15m范围内。
如图4所示，前雷达输出遮挡行人的相关信号，具体包括前雷达遮挡行人标志位：有/无；前雷达遮挡行人纵向位置：Xm；前雷达遮挡行人方位：无/左/右。
停车场中的常见遮挡物为静止车辆，因此成年的遮挡行人通常只露上半身，儿童类的遮挡行人一般只露出肩膀和头部，甚至可能只露出头部，上述遮挡情况下遮挡行人无接地点且可检测比例较小，因此前视摄像头无法给出遮挡行人的准确位置信息。因此本发明提出针对无法形成目标的车外行人，在能准确检测其头部的情况下，根据行人头部像素框的大小(需根据经验和实验标定，本车近处0～15m范围内人头像素框的尺寸范围)判断行人的存在状态和所在区域。
所述的前视摄像头识别遮挡行人输出信号包括前视摄像头遮挡行人标志位：有/无；前视摄像头遮挡行人方位：无/左前-近/左前-远/右前-近/右前-远。
如图4所示，基于前雷达识别遮挡行人输出信号和前视摄像头识别遮挡行人输出信号，所述的遮挡行人经过感知融合后输出信号包括：遮挡行人标志位：有/无；遮挡行人纵向位置：Xm；遮挡行人方位：无/左/右；遮挡行人探测传感器：R+V(前雷达+前视摄像头)/R(前雷达)/V(前视摄像头)/无。
如图5所示，基于前雷达识别遮挡行人输出信号和前视摄像头识别遮挡行人输出信号，所述的遮挡行人识别路线中的遮挡行人感知融合模块针对遮挡行人的感知融合逻辑为：
1)前雷达识别遮挡行人输出的遮挡行人标志位信号为“无”，且前视摄像头识别遮挡行人输出的遮挡行人标志位信号为“有”，则采用单前视摄像头融合策略，即遮挡行人感知融合后完全用前视摄像头的遮挡行人信号，此时由于前视摄像头无法给出遮挡行人的准确位置，因此感知融合后：(1)遮挡行人标志位为有；(2)遮挡行人纵向位置为0m；(3)遮挡行人方位＝前视摄像头遮挡行人方位(4)遮挡行人探测传感器为V。
2)前雷达识别遮挡行人输出的遮挡行人标志位信号为“有”，且前视摄像头识别遮挡行人输出的遮挡行人标志位信号为“有”，则采用双检融合策略，即遮挡行人感知融合后以前雷达遮挡行人信号为主，采用前视摄像头的遮挡行人信号校验前雷达，因此感知融合后：(1)遮挡行人标志位为有；(2)遮挡行人纵向位置＝前雷达遮挡行人纵向位置；(3)遮挡行人方位＝前雷达遮挡行人方位(4)遮挡行人探测传感器为R+V。
3)前雷达识别遮挡行人输出的遮挡行人标志位信号为“有”，且前视摄像头识别遮挡行人输出的遮挡行人标志位信号为“无”，则采用单雷达融合策略，即遮挡行人感知融合后完全用前雷达的遮挡行人信号，因此感知融合后：(1)遮挡行人标志位为有；(2)遮挡行人纵向位置＝前雷达遮挡行人纵向位置；(3)遮挡行人方位＝前雷达遮挡行人方位(4)遮挡行人探测传感器为R。
如图6所示，基于目标行人和遮挡行人的相关信号，所述的危险行人认知策略包括3种结果：1)当前无危险行人；2)选取碰撞TTC最小的目标行人作为危险行人目标；3)以遮挡行人目标作为当前危险行人目标。
本发明所述的危险行人认知策略的详细逻辑为：
(1)判断：遮挡行人标志位为：有/无，
a)为“无”则跳(2)；
b)为“有”则跳(4)；
(2)判断：是否存在目标行人，
a)为“否”，则当前无危险行人；
b)为“是”则跳(3)；
(3)计算目标行人碰撞TTC，选取碰撞TTC最小的目标行人作为危险行人目标；
(4)判断：遮挡行人纵向位置≤15m，
a)为“否”，则跳(2)；
b)为“是”则跳(5)；
(5)判断：是否存在目标行人，
a)为“否”，则以遮挡行人目标作为当前危险行人目标；
b)为“是”则跳(6)；
(6)计算目标行人碰撞TTC，选取碰撞TTC最小的目标行人，跳(7)；
(7)判断：遮挡行人纵向位置≤目标行人纵向位置，是否成立，
a)为“否”，碰撞TTC最小的目标行人作为危险行人目标；
b)为“是”则以遮挡行人目标作为当前危险行人目标；
(8)结束
综上，本发明基于现有传感器硬件配置，不必额外增加其他传感器和硬件设施，同时不依赖场端，该方案在有效解决车外行人识别的前提下，节约成本，减少硬件开发、匹配的时间。采用在遮挡行人识别路线中提出遮挡行人感知融合策略，定义了车外危险行人目标的认知逻辑，并详细定义了遮挡行人的融合逻辑，综合考虑车外遮挡行人和目标行人的前提下进行车外危险行人目标的筛选，有效解决停车场环境中被静止车辆遮挡的横穿行人的识别，弥补前雷达和前视摄像头对大比例遮挡行人检出率的不足；并有效解决传统危险行人仅在目标行人中筛选导致危险行人目标检出时机晚，甚至漏检，带来危险行人漏制动或鬼探头场景下的行人碰撞问题。
本发明针对车外遮挡行人的识别和保护需求，基于车辆现有的感知传感器(前雷达+前视摄像头是本发明实施的必要传感器)，目标行人识别路线中前雷达和前视摄像头根据各自当前的识别能力将无遮挡和轻微遮挡的行人识别为行人目标输出，并在感知融合层面进行信息融合，输出目标行人的相关信息。遮挡行人识别路线根据前雷达和前视摄像头对遮挡行人的探测特性，不再强求各传感器将遮挡行人识别为行人目标，而是退一步，令前雷达和前视摄像头分别输出遮挡行人相关信号，并在感知融合层面进行信息融合，输出遮挡行人的相关信息。并且，本发明主要面向停车场环境，主要考虑：一是因为该环境下遮挡物较为固定，大部分为静止车辆遮挡行人，方便前雷达和前视摄像头训练遮挡行人的识别；二是停车场中行人遮挡元素较为单一(基本都是被静止车辆遮挡)，此时前雷达和前视摄像头也是针对横穿行人被静止车辆遮挡后进行了强化特殊的训练，而非停车场环境(如城市工况)较为复杂，该方法的遮挡行人覆盖度可能不足以支撑量产功能。三是停车场环境下的无人驾驶功能的运行速度区间较低(32km/h以下)，满足L4级自动驾驶系统的技术标准ISO22737的使用需求，因此遮挡行人的识别在该场景下成为必须，也是本发明的出发点和最终意义。
事实上，本发明不限于高级别的“远程代客泊车”功能中使用，停车场内的其他功能也可采用本发明技术路线和相关功能，例如自动泊车、遥控泊车、远程挪车、用户自驾车的功能等；并且无论是否开启自动驾驶(L4级)，即便驾驶员在车内(L2级或L3级)同样可实现遮挡行人的检测，此时可提示驾驶员前方可能存在遮挡行人，作为驾驶辅助的功能。
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。
Claims (11)
1.一种停车场环境下的危险行人感知认知系统，其特征在于，由感知模块和认知模块组成；所述感知模块通过前雷达和前视摄像头获取目标行人和遮挡行人探测信号，由车外行人感知融合模块对前雷达和前视摄像头的目标行人识别路线和遮挡行人识别路线得到的结果进行关联融合，认知模块基于关联融合信息判断当前场景下危险区域是否存在目标行人和/或遮挡行人，同时结合二者的相关信息进行当前车辆危险行人的综合决策，得到危险行人认知策略；
其中，所述前雷达获取行人探测信号包括前雷达目标行人输出信号、前雷达遮挡行人输出信号；所述前视摄像头获取行人探测信号包括前视摄像头目标行人输出信号、前视摄像头遮挡行人输出信号；
所述车外行人感知融合模块包括目标行人感知融合模块、单雷达目标行人感知融合模块、单前视摄像头目标行人感知融合模块和遮挡行人感知融合模块；
所述车外行人感知融合模块包括目标行人感知融合模块、单雷达目标行人感知融合模块、单前视摄像头目标行人感知融合模块和遮挡行人感知融合模块；
其中，所述目标行人感知融合模块、单雷达目标行人感知融合模块和单前视摄像头目标行人感知融合模块输出的目标行人结果集成，输出车外目标行人的集合；
所述遮挡行人感知融合模块针对前雷达遮挡行人输出信号和前视摄像头遮挡行人输出信号进行融合，输出遮挡行人的相关信息。
2.一种停车场环境下的危险行人感知认知方法，其特征在于，将车外行人的识别分为目标行人识别路线和遮挡行人识别路线，两条路线互为补充来降低遮挡行人横穿时的碰撞事故率；采用权利要求1所述系统。
3.根据权利要求1所述停车场环境下的危险行人感知认知系统，其特征在于，所述单雷达目标行人感知融合模块，收取前雷达目标行人输出信号和前视摄像头遮挡行人输出信号，以前雷达的目标行人信息为基础，利用前视摄像头的遮挡行人信息校验前雷达的目标行人，如果二者关联成功，则单雷达的目标行人可较早释放，缩短行人目标的感知时间，为行人安全提供保障；所述单前视摄像头目标行人感知融合模块，收取前视摄像头目标行人输出信号。
4.根据权利要求1所述停车场环境下的危险行人感知认知系统，其特征在于，所述危险区域定义为本车前保前15m范围内。
5.根据权利要求1所述停车场环境下的危险行人感知认知系统，其特征在于，所述前雷达遮挡行人输出信号，包括前雷达遮挡行人标志位：有/无；前雷达遮挡行人纵向位置：Xm；前雷达遮挡行人方位：无/左/右。
6.根据权利要求1所述停车场环境下的危险行人感知认知系统，其特征在于，所述前视摄像头遮挡行人输出信号，包括前视摄像头遮挡行人标志位：有/无；前视摄像头遮挡行人方位：无/左前-近/左前-远/右前-近/右前-远。
7.根据权利要求1所述停车场环境下的危险行人感知认知系统，其特征在于，所述遮挡行人感知融合模块的输出信号，包括：遮挡行人标志位：有/无；遮挡行人纵向位置：Xm；遮挡行人方位：无/左/右；遮挡行人探测传感器：R+V(前雷达+前视摄像头)/R(前雷达)/V(前视摄像头)/无。
8.根据权利要求7所述停车场环境下的危险行人感知认知系统，其特征在于，所述遮挡行人识别路线中的遮挡行人感知融合模块中，感知融合方法包括：
1)前雷达识别遮挡行人输出的遮挡行人标志位信号为“无”，且前视摄像头识别遮挡行人输出的遮挡行人标志位信号为“有”，则采用单前视摄像头融合策略，即遮挡行人感知融合后完全用前视摄像头的遮挡行人信号，此时由于前视摄像头无法给出遮挡行人的准确位置，因此感知融合后：(1)遮挡行人标志位为有；(2)遮挡行人纵向位置为0m；(3)遮挡行人方位＝前视摄像头遮挡行人方位(4)遮挡行人探测传感器为V；
2)前雷达识别遮挡行人输出的遮挡行人标志位信号为“有”，且前视摄像头识别遮挡行人输出的遮挡行人标志位信号为“有”，则采用双检融合策略，即遮挡行人感知融合后以前雷达遮挡行人信号为主，采用前视摄像头的遮挡行人信号校验前雷达，因此感知融合后：(1)遮挡行人标志位为有；(2)遮挡行人纵向位置＝前雷达遮挡行人纵向位置；(3)遮挡行人方位＝前雷达遮挡行人方位(4)遮挡行人探测传感器为R+V；
3)前雷达识别遮挡行人输出的遮挡行人标志位信号为“有”，且前视摄像头识别遮挡行人输出的遮挡行人标志位信号为“无”，则采用单雷达融合策略，即遮挡行人感知融合后完全用前雷达的遮挡行人信号，因此感知融合后：(1)遮挡行人标志位为有；(2)遮挡行人纵向位置＝前雷达遮挡行人纵向位置；(3)遮挡行人方位＝前雷达遮挡行人方位(4)遮挡行人探测传感器为R。
9.根据权利要求1所述停车场环境下的危险行人感知认知系统，其特征在于，所述危险行人认知策略包括：1)当前无危险行人；2)选取碰撞TTC最小的目标行人作为危险行人目标；3)以遮挡行人目标作为当前危险行人目标。
10.根据权利要求9所述停车场环境下的危险行人感知认知系统，其特征在于，危险行人认知策略的方法为：
(1)判断：遮挡行人标志位为：有/无，
a)为“无”则跳(2)；
b)为“有”则跳(4)；
(2)判断：是否存在目标行人，
a)为“否”，则当前无危险行人；
b)为“是”则跳(3)；
(3)计算目标行人碰撞TTC，选取碰撞TTC最小的目标行人作为危险行人目标；
(4)判断：遮挡行人纵向位置≤15m，
a)为“否”，则跳(2)；
b)为“是”则跳(5)；
(5)判断：是否存在目标行人，
a)为“否”，则以遮挡行人目标作为当前危险行人目标；
b)为“是”则跳(6)；
(6)计算目标行人碰撞TTC，选取碰撞TTC最小的目标行人，跳(7)；
(7)判断：遮挡行人纵向位置≤目标行人纵向位置，是否成立，
a)为“否”，碰撞TTC最小的目标行人作为危险行人目标；
b)为“是”则以遮挡行人目标作为当前危险行人目标；
(8)结束。
11.根据权利要求2所述停车场环境下的危险行人感知认知方法，其特征在于，所述遮挡行人识别路线采用遮挡行人感知融合策略，即将前雷达遮挡行人输出信号和前视摄像头遮挡行人输出信号进行融合；并结合车外目标行人和遮挡行人的信号，对车外危险行人目标进行筛选。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210458909.6A CN114852055B (zh) | 2022-04-27 | 2022-04-27 | 一种停车场环境下的危险行人感知认知方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210458909.6A CN114852055B (zh) | 2022-04-27 | 2022-04-27 | 一种停车场环境下的危险行人感知认知方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114852055A CN114852055A (zh) | 2022-08-05 |
| CN114852055B true CN114852055B (zh) | 2024-05-24 |
Family
ID=82634313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210458909.6A Active CN114852055B (zh) | 2022-04-27 | 2022-04-27 | 一种停车场环境下的危险行人感知认知方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114852055B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014016815A1 (de) * | 2014-11-14 | 2016-05-19 | Daimler Ag | Verfahren zum Betrieb eines Fahrzeuges |
| CN108501949A (zh) * | 2017-02-27 | 2018-09-07 | 松下电器（美国）知识产权公司 | 信息处理装置以及程序 |
| CN110402371A (zh) * | 2017-03-01 | 2019-11-01 | 御眼视觉技术有限公司 | 用于利用感测不确定性导航的系统和方法 |
| DE102019219658A1 (de) * | 2019-12-16 | 2021-06-17 | Volkswagen Aktiengesellschaft | System und Verfahren zur Darstellung einer durch ein Objekt für einen Verkehrsteilnehmer verdeckten Sicht |
| WO2021131597A1 (ja) * | 2019-12-24 | 2021-07-01 | 日立Astemo株式会社 | 車両制御システム、および、車両制御方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10093247B2 (en) * | 2013-05-23 | 2018-10-09 | GM Global Technology Operations LLC | Enhanced front curb viewing system |
| US10407061B2 (en) * | 2016-08-29 | 2019-09-10 | Mazda Motor Corporation | Vehicle control system |
| US10196058B2 (en) * | 2016-11-28 | 2019-02-05 | drive.ai Inc. | Method for influencing entities at a roadway intersection |
| KR101996414B1 (ko) * | 2016-12-30 | 2019-07-04 | 현대자동차주식회사 | 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법 |
| US11420621B2 (en) * | 2019-03-31 | 2022-08-23 | Gm Cruise Holdings Llc | Autonomous vehicle maneuvering based upon risk associated with occluded regions |
| JP7268629B2 (ja) * | 2020-03-23 | 2023-05-08 | トヨタ自動車株式会社 | 運転支援システム |
| KR20220033653A (ko) * | 2020-09-09 | 2022-03-17 | 현대모비스 주식회사 | 차량의 보행자 충돌 방지 시스템 및 방법 |
| CN112650243B (zh) * | 2020-12-22 | 2023-10-10 | 北京百度网讯科技有限公司 | 车辆控制方法、装置、电子设备和自动驾驶车辆 |
-
2022
- 2022-04-27 CN CN202210458909.6A patent/CN114852055B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014016815A1 (de) * | 2014-11-14 | 2016-05-19 | Daimler Ag | Verfahren zum Betrieb eines Fahrzeuges |
| CN108501949A (zh) * | 2017-02-27 | 2018-09-07 | 松下电器（美国）知识产权公司 | 信息处理装置以及程序 |
| CN110402371A (zh) * | 2017-03-01 | 2019-11-01 | 御眼视觉技术有限公司 | 用于利用感测不确定性导航的系统和方法 |
| DE102019219658A1 (de) * | 2019-12-16 | 2021-06-17 | Volkswagen Aktiengesellschaft | System und Verfahren zur Darstellung einer durch ein Objekt für einen Verkehrsteilnehmer verdeckten Sicht |
| WO2021131597A1 (ja) * | 2019-12-24 | 2021-07-01 | 日立Astemo株式会社 | 車両制御システム、および、車両制御方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多线激光雷达与视觉信息的实时行人检测;陆怡悦;蔡云飞;石庭敏;;计算机与数字工程;20171120(第11期);2256-2262 * |
| 视觉和毫米波雷达信息融合行人识别算法;徐伟;周培义;张芬;黄亮;;同济大学学报(自然科学版);20171215(第S1期);37-42+91 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114852055A (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113276769B (zh) | 车辆盲区防撞预警系统及方法 | |
| CN111554124B (zh) | 交叉路口大货车右转弯防撞预警系统及预警方法 | |
| CN102632839B (zh) | 一种基于后视图像认知的车载盲区预警系统及方法 | |
| CN111267734A (zh) | 大型运输车辆安全防护系统及其预警方法 | |
| CN111252066A (zh) | 紧急制动控制方法、装置、车辆及存储介质 | |
| CN109001743B (zh) | 有轨电车防撞系统 | |
| CN111231827B (zh) | 一种雨雾天气显示车辆前方碰撞风险区域的装置和方法 | |
| JP2018054470A (ja) | 車両用物標検出システム | |
| CN112172663A (zh) | 一种基于开车门的危险报警方法及相关设备 | |
| CN102685516A (zh) | 立体视觉主动安全辅助驾驶方法 | |
| CN109367529B (zh) | 毫米波雷达组合安装结构及虚拟隧道构建与障碍判断方法 | |
| CN109733283A (zh) | 基于ar的被遮挡障碍物识别预警系统及识别预警方法 | |
| US12054141B2 (en) | Device and method for reducing collision risk | |
| CN101349562A (zh) | 车辆行驶偏向的警报方法及装置 | |
| CN114932902B (zh) | 一种基于车联网技术的鬼探头预警避让方法及系统 | |
| CN116052472A (zh) | 基于道路感知信息融合的车载v2x碰撞预警方法 | |
| CN114537374A (zh) | 一种基于可行驶区域的车辆前方防碰撞系统 | |
| CN208847836U (zh) | 有轨电车防撞系统 | |
| CN113221638B (zh) | 一种车辆目标感知方法及系统 | |
| CN109435847A (zh) | 一种基于摄像头与毫米波雷达的车辆防追尾预警方法 | |
| CN114852055B (zh) | 一种停车场环境下的危险行人感知认知方法及系统 | |
| CN115424474B (zh) | 一种基于v2x和rsu的左转辅助预警方法 | |
| CN216684409U (zh) | 一种基于摄像头与雷达融合的变道辅助装置 | |
| CN111845560B (zh) | 一种车头冲出物体警示系统 | |
| CN115167367A (zh) | 基于主动安全和v2x技术的倒车避撞系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |