CN117944671A - 一种目标行为预测方法、智能设备及车辆 - Google Patents
一种目标行为预测方法、智能设备及车辆 Download PDFInfo
- Publication number
- CN117944671A CN117944671A CN202211329915.8A CN202211329915A CN117944671A CN 117944671 A CN117944671 A CN 117944671A CN 202211329915 A CN202211329915 A CN 202211329915A CN 117944671 A CN117944671 A CN 117944671A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- target
- target object
- priority
- collision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000033001 locomotion Effects 0.000 claims abstract description 76
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 230000006399 behavior Effects 0.000 claims description 44
- 230000015654 memory Effects 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 abstract description 23
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000005070 sampling Methods 0.000 description 48
- 230000006870 function Effects 0.000 description 31
- 238000011156 evaluation Methods 0.000 description 15
- 230000003993 interaction Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种目标行为预测方法、智能设备及车辆,涉及人工智能领域。智能设备能够根据碰撞风险程度,将智能设备的周边环境中的物体划分为不同的优先级,并且针对不同优先级的物体,智能设备能够采用不同计算复杂度的预测模型进行未来运动轨迹的预测,实现了对周边环境内物体的行为预测的同时,也减少了计算资源的消耗,降低了预测时延。该方案中,智能设备能够根据目标物的运动状态进行碰撞分析,得到目标物的风险系数。其中,风险系数用于指示目标物与智能设备发生碰撞的可能性大小。然后智能设备能够根据目标物的风险系数,确定该目标物的优先级,从而采用与该优先级匹配的目标预测模型,预测该目标物的运动轨迹。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种目标行为预测方法、智能设备及车辆。
背景技术
人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
自动驾驶是人工智能领域的一种主流应用,自动驾驶技术依靠计算机视觉、雷达、监控装置和全球定位系统等协同合作,让智能设备(如自动驾驶车辆、机器人(robot)、或其他自主行驶装置)可以在不需要人类主动操作下,实现自动行驶。
目前,智能设备通常需要感知周围的环境信息,以对周围环境内的目标物体(如行人、车辆等)进行行为预测,即进行未来运动轨迹的预测,使得智能设备能够及时应对并执行相应的操作,如规划智能设备未来的行驶路径以避免碰撞、筛选智能设备可能的交互对象以提高交互效率等。然而,当周围环境中存在大量的目标物体时,由于智能设备的处理能力非常有限,智能设备无法及时对所有的目标物体进行行为预测,导致预测时延较大,影响了响应速度。
发明内容
本申请提供一种目标行为预测方法、智能设备及车辆,能够对智能设备的周边环境中不同碰撞风险程度的目标物体,采用不同计算复杂度的预测模型进行未来运动轨迹的预测,实现了对周边环境内物体的行为预测的同时,也减少了计算资源的消耗,降低了预测时延,提高了响应效率。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种目标行为预测方法,可以应用于智能设备,该目标行为预测方法包括:根据目标物的运动状态进行碰撞分析,确定目标物的风险系数,风险系数用于指示目标物与智能设备发生碰撞的可能性大小;根据风险系数,确定目标物的优先级;根据预设的优先级级别与预测模型的对应关系,确定与优先级匹配的目标预测模型;根据目标预测模型,预测目标物的运动轨迹。
上述第一方面提供的方案,智能设备能够根据周边环境中的不同物体的运动状态,对智能设备的周边环境中的不同物体进行碰撞分析,以确定每个物体的碰撞风险程度。然后智能设备可以根据碰撞风险程度,将周边环境中的物体划分为不同的优先级,并且针对不同优先级的物体,智能设备能够采用不同的预测模型进行未来运动轨迹的预测。例如,针对高优先级的物体,可以采用精细化、计算复杂度高的预测模型进行未来运动轨迹的预测,而对于低优先级的物体,可以采用简单化、计算复杂度低的预测模型进行未来运动轨迹的预测。实现了智能设备对周边环境内不同物体的行为轨迹的分级预测。这样,即使周围环境中存在大量的目标物体,但由于存在部分物体的行为轨迹是采用简单化、计算复杂度低的预测模型进行预测,因此可以大大减少智能设备的计算资源的消耗,降低了预测时延的同时,也提高了智能设备的响应效率。
在一种可能的实现中,上述根据目标物的运动状态进行碰撞分析,确定目标物的风险系数,可以包括:获取智能设备的行驶路线上的多个行驶位置;根据目标物的运动状态,确定多个行驶位置中每个行驶位置对应的风险系数,每个行驶位置对应的风险系数用于指示目标物与智能设备在每个行驶位置处发生碰撞的可能性大小;根据每个行驶位置对应的风险系数中的最小值,确定目标物的风险系数。如此,智能设备可以从自车的行驶路线上,选取多个行驶位置作为自车与周围环境中的目标物未来可能碰撞的评估点,从而智能设备可以综合多个评估点发生碰撞的可能性大小,准确确定目标物的碰撞风险程度。
在一种可能的实现中,上述根据目标物的运动状态,确定多个行驶位置中每个行驶位置对应的风险系数,可以包括:根据目标物的运动状态,确定指定时间段后目标物与目标行驶位置之间的第一距离,其中,目标行驶位置为多个行驶位置中的任一行驶位置;确定指定时间段后智能设备与目标行驶位置之间的第二距离;获取第一距离与第二距离之和,作为目标行驶位置对应的风险系数。如此,针对自车行驶路线上的每个评估点,智能设备可以根据目标物和自车在行驶一段时间后,各自离评估点的剩余碰撞距离,准确分析评估点的发生碰撞的可能性大小。可以理解,剩余碰撞距离越小,目目标物和自车在行驶一段时间后,在评估点附近越容易发生碰撞。
在一种可能的实现中,上述获取智能设备的行驶路线上的多个行驶位置,可以包括:获取智能设备在未来预设时间段内的行驶路线;每间隔指定距离,获取行驶路线上的一个行驶位置,得到行驶路线上的多个行驶位置。如此,智能设备可以通过对自车的目标行驶路线进行定距采样,得到多个未来可能会发生碰撞的评估位置点。
在一种可能的实现中,上述获取智能设备的行驶路线上的多个行驶位置,可以包括:获取智能设备在未来预设时间段内的行驶路线;每间隔指定时间,获取行驶路线上的一个行驶位置,得到行驶路线上的多个行驶位置。如此,智能设备可以通过对自车的目标行驶路线进行定时采样,得到多个未来可能会发生碰撞的评估位置点。
在一种可能的实现中,上述根据目标物的运动状态进行碰撞分析,确定目标物的风险系数,可以包括:根据目标物的运动状态,确定目标物与智能设备发生碰撞的碰撞时间;根据碰撞时间,确定目标物的风险系数。如此,智能设备也可以根据自车与周围环境中的目标物未来可能碰撞的时间,准确确定目标物的碰撞风险程度。
在一种可能的实现中,智能设备的周边环境中存在多个目标物,上述根据风险系数,确定目标物的优先级,可以包括:根据多个目标物中每个目标物的风险系数,对多个目标物进行排序;根据排序后的多个目标物,确定每个目标物的优先级。如此,智能设备可以根据周围环境内不同物体的碰撞风险程度大小,对目标物进行重要程度或紧急程度的优先级划分。以将越容易发生碰撞的目标物划分至越高的优先级,将越不容易发生碰撞的目标物划分至越低的优先级。
在一种可能的实现中,上述根据排序后的多个目标物,确定每个目标物的优先级,可以包括:按照预设的优先级个数,将排序后的多个目标物划分至不同优先级,得到每个目标物的优先级。如此,智能设备可以不限定划分的优先级个数,当需要划分更多或更少的优先级时,智能设备调整优先级个数的参数大小即可。从而无需改变碰撞风险分析的方法,也能实现优先级级别的扩展。
在一种可能的实现中,该目标行为预测方法还可以包括:显示第一界面,第一界面用于输入优先级个数;响应于用户的输入操作,获取用户输入的优先级个数,作为预设的优先级个数。如此,用户可以根据需要自定义划分的优先级个数,提升了用户的使用体验。
在一种可能的实现中,该目标行为预测方法还可以包括:根据预设的优先级级别与颜色的对应关系,以及每个目标物的优先级,确定每个目标物对应的颜色;基于每个目标物对应的颜色显示多个目标物。如此,智能设备可以在显示屏上使用不同的颜色显示不同优先级的目标物,从而用户可以直接看出智能设备对周边环境内的目标物的优先级分级效果。
在一种可能的实现中,上述预设的优先级级别与预测模型的对应关系,可以包括:第一优先级对应第一预测模型,第二优先级对应第二预测模型,第一优先级高于第二优先级,第一预测模型的计算复杂度高于第二预测模型的计算复杂度。如此,智能设备可以对周边环境中不同优先级的目标物体,采用不同计算复杂度的预测模型进行未来运动轨迹的预测。实现了对周边环境内物体的行为预测的同时,也减少了计算资源的消耗,降低了预测时延。
第二方面,本申请提供一种智能设备,包括:分析单元、评级单元、匹配单元和预测单元。其中,分析单元,用于根据目标物的运动状态进行碰撞分析,确定目标物的风险系数,风险系数用于指示目标物与智能设备发生碰撞的可能性大小;评级单元,用于根据风险系数,确定目标物的优先级;匹配单元,用于根据预设的优先级级别与预测模型的对应关系,确定与优先级匹配的目标预测模型;预测单元,用于根据目标预测模型,预测目标物的运动轨迹。
在一种可能的实现中,上述分析单元可以用于:获取智能设备的行驶路线上的多个行驶位置;根据目标物的运动状态,确定多个行驶位置中每个行驶位置对应的风险系数,每个行驶位置对应的风险系数用于指示目标物与智能设备在每个行驶位置处发生碰撞的可能性大小;根据每个行驶位置对应的风险系数中的最小值,确定目标物的风险系数。如此,智能设备可以从自车的行驶路线上,选取多个行驶位置作为自车与周围环境中的目标物未来可能碰撞的评估点,从而智能设备可以综合多个评估点发生碰撞的可能性大小,准确确定目标物的碰撞风险程度。
在一种可能的实现中,上述分析单元可以用于:根据目标物的运动状态,确定指定时间段后目标物与目标行驶位置之间的第一距离,其中,目标行驶位置为多个行驶位置中的任一行驶位置;确定指定时间段后智能设备与目标行驶位置之间的第二距离;获取第一距离与第二距离之和,作为目标行驶位置对应的风险系数。如此,针对自车行驶路线上的每个评估点,智能设备可以根据目标物和自车在行驶一段时间后,各自离评估点的剩余碰撞距离,准确分析评估点的发生碰撞的可能性大小。可以理解,剩余碰撞距离越小,目目标物和自车在行驶一段时间后,在评估点附近越容易发生碰撞。
在一种可能的实现中,上述分析单元可以用于:获取智能设备在未来预设时间段内的行驶路线;每间隔指定距离,获取行驶路线上的一个行驶位置,得到行驶路线上的多个行驶位置。如此,智能设备可以通过对自车的目标行驶路线进行定距采样,得到多个未来可能会发生碰撞的评估位置点。
在一种可能的实现中,上述分析单元可以用于:获取智能设备在未来预设时间段内的行驶路线;每间隔指定时间,获取行驶路线上的一个行驶位置,得到行驶路线上的多个行驶位置。如此,智能设备可以通过对自车的目标行驶路线进行定时采样,得到多个未来可能会发生碰撞的评估位置点。
在一种可能的实现中,上述分析单元也可以用于:根据目标物的运动状态,确定目标物与智能设备发生碰撞的碰撞时间;根据碰撞时间,确定目标物的风险系数。如此,智能设备也可以根据自车与周围环境中的目标物未来可能碰撞的时间,准确确定目标物的碰撞风险程度。
在一种可能的实现中,智能设备的周边环境中存在多个目标物,上述评级单元可以用于:根据多个目标物中每个目标物的风险系数,对多个目标物进行排序;根据排序后的多个目标物,确定每个目标物的优先级。如此,智能设备可以根据周围环境内不同物体的碰撞风险程度大小,对目标物进行重要程度或紧急程度的优先级划分。以将越容易发生碰撞的目标物划分至越高的优先级,将越不容易发生碰撞的目标物划分至越低的优先级。
在一种可能的实现中,上述评级单元可以用于:按照预设的优先级个数,将排序后的多个目标物划分至不同优先级,得到每个目标物的优先级。如此,智能设备可以不限定划分的优先级个数,当需要划分更多或更少的优先级时,智能设备调整优先级个数的参数大小即可。从而无需改变碰撞风险分析的方法,也能实现优先级级别的扩展。
在一种可能的实现中,智能设备还可以包括:显示单元和获取单元。其中,显示单元,用于显示第一界面,第一界面用于输入优先级个数;获取单元,用于响应于用户的输入操作,获取用户输入的优先级个数,作为预设的优先级个数。如此,用户可以根据需要自定义划分的优先级个数,提升了用户的使用体验。
在一种可能的实现中,智能设备还可以包括:取色单元和显示单元。其中,取色单元,用于根据预设的优先级级别与颜色的对应关系,以及每个目标物的优先级,确定每个目标物对应的颜色;显示单元,用于基于每个目标物对应的颜色显示多个目标物。如此,智能设备可以在显示屏上使用不同的颜色显示不同优先级的目标物,从而用户可以直接看出智能设备对周边环境内的目标物的优先级分级效果。
在一种可能的实现中,上述预设的优先级级别与预测模型的对应关系,可以包括:第一优先级对应第一预测模型,第二优先级对应第二预测模型,第一优先级高于第二优先级,第一预测模型的计算复杂度高于第二预测模型的计算复杂度。如此,智能设备可以对周边环境中不同优先级的目标物体,采用不同计算复杂度的预测模型进行未来运动轨迹的预测。实现了对周边环境内物体的行为预测的同时,也减少了计算资源的消耗,降低了预测时延。
第三方面,本申请提供了一种智能设备,包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得智能设备执行上述第一方面任一项可能的实现中的目标行为预测方法。
第四方面,本申请提供了一种车载设备,包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得车载设备执行上述第一方面任一项可能的实现中的目标行为预测方法。
第五方面,本申请提供了一种车辆,该车辆包含如本申请前述第四方面的车载设备。该车辆可以用于实现如上述第一方面任一项可能的实现方式中的目标行为预测方法。
第六方面,本申请提供了一种机器人,包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得机器人执行上述第一方面任一项可能的实现中的目标行为预测方法。
第七方面,本申请提供了一种目标行为预测装置,该装置包含在智能设备、机器人、车辆或车载设备中,该装置具有实现上述第一方面及第一方面的可能实现方式中任一方法中智能设备行为的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。
第八方面,本申请提供了一种芯片系统,该芯片系统应用于智能设备。该芯片系统包括一个或多个接口电路和一个或多个处理器。该接口电路和处理器通过线路互联。该接口电路用于从智能设备的存储器接收信号,并向处理器发送该信号,该信号包括存储器中存储的计算机指令。当处理器执行计算机指令时,智能设备执行上述第一方面任一项可能的实现中的目标行为预测方法。
第九方面,本申请提供了一种计算机存储介质,包括计算机指令,当计算机指令在智能设备上运行时,使得智能设备执行上述第一方面任一项可能的实现中的目标行为预测方法。
第十方面,本申请提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第一方面任一项可能的实现中的目标行为预测方法。
可以理解地,上述提供的第二方面及其任一种可能的实现的智能设备,第三方面的智能设备,第四方面的车载设备,第五方面的车辆,第六方面的机器人,第七方面的目标行为预测装置,第八方面的芯片系统,第九方面的计算机存储介质,第十方面的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的实现中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种车辆的结构示意图一;
图2为本申请实施例提供的一种车辆的结构示意图二;
图3为本申请实施例提供的一种计算机系统的结构示意图;
图4为本申请实施例提供的一种云侧指令自动驾驶车辆的应用示意图一;
图5为本申请实施例提供的一种云侧指令自动驾驶车辆的应用示意图二;
图6为本申请实施例提供的一种目标行为预测方法的方法流程图;
图7为本申请实施例提供的一种碰撞分析的示意图;
图8为本申请实施例提供的一种车载显示屏的界面示意图一;
图9为本申请实施例提供的一种车载显示屏的界面示意图二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。应当理解,在本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。
本申请实施例的方案可以应用于智能设备。其中,智能设备可以是自动驾驶车辆、机器人、或其他具有自主行驶能力的电子设备,本申请实施例对此并不做限定。在一些实施例中,本申请实施例的方案也可以应用于具有控制上述智能设备的功能的其他设备(比如云端服务器、手机终端等)中。智能设备或者其他设备可以通过其包含的组件(包括硬件和软件),实施本申请实施例提供的目标行为预测方法,根据传感器采集到的数据,对智能设备的周边环境中的目标物进行碰撞风险检测,从而确定目标物的碰撞风险程度优先级,使得智能设备或者其他设备可以对高优先级的目标物,采用精细化、计算复杂度高的预测模型进行未来运动轨迹的预测,对低优先级的目标物,采用简单化、计算复杂度低的预测模型进行未来运动轨迹的预测。
可以理解,本申请实施例提供的目标行为预测方法,并非对智能设备的周边环境中的所有目标物,都采用精细化、计算复杂度高的预测模型进行未来运动轨迹的预测,而是根据碰撞风险程度,将智能设备的周边环境中的目标物划分为不同的优先级,从而可以将处于低优先级的目标物,采用简单化、计算复杂度低的预测模型进行未来运动轨迹的预测,大大减少了计算资源的消耗,降低了预测时延。
以下将以智能设备为自动驾驶车辆(以下简称车辆)为例,对本申请实施例提供的方案进行示意性说明。
请参阅图1,图1示出了本申请实施例提供的一种车辆100的功能框图。其中,车辆100可以包括设置于车辆100中和/或车辆100的车身的各种设备、部件等。在一个实施例中,设置于车辆100中的设备、部件可以包括但不限于自动驾驶系统、自动驾驶功能应用。可以理解,具备一定自动驾驶能力的车辆中通常设置有自动驾驶系统。
车辆100可以包括各种子系统,例如行进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112、分级预测系统114和用户接口116。可选地,车辆100可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,车辆100的每个子系统和元件可以通过有线或者无线互连。
其中,行进系统102可包括用于为车辆100提供动力运动的组件。在一个实施例中,行进系统102可包括引擎、能量源、传动装置和车轮/轮胎。其中,引擎可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。
引擎可以将能量源转换成机械能量。能量源的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源也可以为车辆100的其他系统提供能量。
传动装置可以将来自引擎的机械动力传送到车轮。传动装置可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置还可以包括其他器件,比如离合器。其中,驱动轴可以包括可耦合到一个或多个车轮的一个或多个轴。
传感器系统104(又称“采集设备”)可包括用于感知关于车辆100周边环境信息的若干个传感器。例如,传感器系统104可包括定位系统(定位系统可以是全球定位系统(global positioning system,GPS)系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)、雷达、激光测距仪以及相机。传感器系统104还可包括被监视车辆100的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(如位置、形状、方向、速度等)。这种检测和识别是车辆100自动驾驶的安全操作的关键功能。
其中,定位系统可用于估计车辆100的地理位置。IMU可用于基于惯性加速度来感测车辆100的位置和朝向变化。在一个实施例中,IMU可以是加速度计和陀螺仪的组合。
雷达可利用无线电信号来感测车辆100的周边环境内的物体,如行人、骑行人(即骑自行车的人)、摩托车、其他车辆等各种类型的障碍物。在一些实施例中,除了感测物体以外,雷达还可用于感测物体的速度、位置、前进方向中的一种或多种状态。
激光测距仪可利用激光来感测车辆100所位于的环境中的物体。在一些实施例中,激光测距仪可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。
相机可用于捕捉车辆100的周边环境的多个图像。相机可以是静态相机或视频相机。
控制系统106为控制车辆100及其组件的操作。控制系统106可包括各种元件,如转向系统、油门、制动单元、计算机视觉系统、路线控制系统以及障碍规避系统等。其中,转向系统可操作来调整车辆100的前进方向。可选地,转向系统可以为方向盘系统。油门可用于控制引擎的操作速度并进而控制车辆100的速度。制动单元可用于控制车辆100减速。
计算机视觉系统可以处理和分析相机捕捉到的图像,以便识别车辆100周边环境中的各种类型的物体和/或特征。计算机视觉系统可使用物体识别算法、运动中恢复结构(structure from motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统可以用于为环境绘制地图、跟踪物体、估计物体的速度等。
路线控制系统用于确定车辆100的行驶路线。在一些实施例中,路线控制系统可结合来自传感器、GPS和一个或多个预定地图的数据,为车辆100确定行驶路线。
障碍规避系统用于识别、评估和避免或者以其他方式越过车辆100的环境中的障碍物。
当然,在一个实例中,控制系统106可以增加或替换地包括除了上述组件以外的组件。或者也可以减少一部分上述组件。
车辆100通过外围设备108与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统、车载电脑、麦克风和/或扬声器。在一些实施例中,外围设备108提供车辆100的用户与用户接口116交互手段。例如,车载电脑可向车辆100的用户提供信息。用户接口116还可操作车载电脑来接收用户的输入。车载电脑可以通过触摸屏进行操作。在其他情况中,外围设备108可提供用于车辆100与位于车内的其它设备通信的手段。例如,麦克风可接收车辆100的用户输入的音频(例如,语音命令或其他音频输入)。类似地,扬声器可向车辆100的用户输出音频。
车辆100的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器,处理器执行存储在例如数据存储器这样的非暂态计算机可读介质中的指令。计算机系统112还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。
处理器可以包括一个或多个处理单元,例如:处理器可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
在一些实施例中,存储器可包含指令(例如,程序逻辑),指令可被处理器执行来执行车辆100的各种功能,包括以上描述的那些功能。存储器也可包含额外的指令,包括行进系统102、传感器系统104、控制系统106、外围设备108和分级预测系统114中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。除了指令以外,存储器还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度等车辆数据,以及其他信息,如车辆周围环境中的各种物体的位置、方位、速度等。这些信息可在车辆100在自主、半自主和/或手动模式中操作期间被车辆100、计算机系统112和分级预测系统114使用。
示例性地,存储器可以获取车辆100基于传感器系统104中的传感器获取到的周围环境中的物体信息,例如其他车辆、行人等障碍物的位置,障碍物与车辆100的距离等信息。存储器还可以从传感器系统104或车辆100的其他组件获取环境信息,环境信息例如可以为车辆当前所处环境附近是否有绿化带、车道、行人等,或者车辆通过机器学习算法计算当前所处环境附近是否存在绿化带、车道、行人等。除上述内容外,存储器还可以存储该车辆自身的状态信息,以及与该车辆有交互的目标物(行人、其他车辆等)的状态信息,其中,车辆的状态信息包括但不限于车辆的位置、速度、加速度、航向角等。
在一些实施例中,上述处理器还可以执行本申请实施例的目标行为预测方法,以减少计算资源、降低预测时延。示例性地,处理器可从存储器获取上述信息,并基于车辆所处环境的环境信息、车辆自身的状态信息、目标物的状态信息等确定目标物的优先级级别,以基于该优先级级别确定用于预测该目标物的运动轨迹的预测模型,从而控制车辆100对高优先级的目标物,采用精细化、计算复杂度高的预测模型进行未来运动轨迹的预测,对低优先级的目标物,采用简单化、计算复杂度低的预测模型进行未来运动轨迹的预测。其中具体的目标行为预测方法可以参照下文介绍。
计算机系统112可基于从各种子系统(例如,行进系统102、传感器系统104、控制系统106和分级预测系统114)以及从用户接口116接收的输入来控制车辆100的功能。例如,计算机系统112可利用来自控制系统106的输入,以便控制转向单元来避免由传感器系统104和障碍规避系统检测到的障碍物。在一些实施例中,计算机系统112可对车辆100及其子系统的许多方面提供控制。
分级预测系统114可基于从各种子系统(例如,行进系统102、传感器系统104、控制系统106)输入的车辆数据以及目标物的运动状态,判断车辆100周边环境中的行人、骑行人、摩托车、其他车辆等目标物的碰撞风险程度将其划分为不同优先级,以采用不同的预测模型预测不同优先级的目标物的未来运动轨迹,实现车辆100的分级预测功能。
可以理解的是,图1所示的结构仅为示意,其并不对本申请实施例中车辆的结构造成限定。在本申请另一些实施例中,车辆100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
在道路行进的自动驾驶汽车,如上面的车辆100,可以根据其周围环境内的物体确定对当前速度的调整指令。其中,车辆100周围环境内的物体可以是交通控制设备、或者绿化带等其它类型的静态物体,也可以是行人、骑行人、摩托车、其他车辆等各种类型的动态物体。在一些示例中,车辆100可以独立地考虑周围环境内的每个物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,来确定车辆100的速度调整指令。
可选地,作为自动驾驶汽车的车辆100或者与其相关联的计算机设备(如计算机系统112、计算机视觉系统、存储器)可以基于所识别的物体的特性和车辆100未来一段时间的行驶路线,评估所识别的物体与车辆100之间发生碰撞的风险系数,然后基于该评估得到风险系数,将所识别的物体划分为不同的优先级,从而可以使用不同的预测模型预测不同优先级的物体的未来运动轨迹,达到减少计算资源、降低预测时延的目的。
可选地,车辆100能够基于预测的物体的未来运动轨迹,来调整它的驾驶策略。换句话说,自动驾驶汽车能够基于预测的物体的未来运动轨迹,确定车辆需要调整到什么稳定状态(例如,加速、减速、转向或者停止等)。在这个过程中,也可以考虑其它因素来确定车辆100的速度调整指令,诸如,车辆100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外,计算机设备还可以提供修改车辆100的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持自动驾驶汽车与附近的物体(例如相邻车道中的轿车)的安全横向和纵向距离。
可以理解,上述车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等,本申请实施例不做特别的限定。例如,车辆100也可以是智能家居领域中具备自主行驶能力的智能车、智能机器人等。
在本申请的另一些实施例中,自动驾驶车辆还可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
参见图2,示例性地,车辆200中可以包括以下模块:
环境感知模块201:用于通过车载传感器和/或路侧传感器获取车辆200周边环境中的其他车辆、行人的信息等。可选地,车辆200也可以是图1中的车辆100。其中,路侧传感器和车载传感器可以是激光雷达、毫米波雷达、视觉传感器等。感知模块201获取传感器原始采集的视频流数据、雷达的点云数据等,然后对这些原始的视频流数据、雷达的点云数据进行处理,得到可识别的结构化的人和其他车辆的位置、大小、速度、前进方向等数据。其中,由于传感器的种类多样,感知模块201可以根据所有或者某一类或者某一个传感器采集到的数据,来确定车辆200周边环境中的其他车辆、行人的位置、速度、前进方向等信息。感知模块201,还用于将其根据传感器获取到的数据,确定的周边环境中的其他车辆、行人的位置、速度、前进方向等信息发送给分级模块203。
路线获取模块202,用于根据车辆200的规划路线,获取车辆200未来一段时间的行驶路线。可选地,可以通过道路导航(route)模块获取车辆200的规划路线。当车辆200需要前往某个地方时,route模块可以根据现有的地图或路网信息、起始地的位置信息以及目的地的位置信息,指导车辆200按照什么样的道路行驶,以便顺利完成从起始地到目的地的行驶。也即,route模块能够导航出一条从起始地到目的地的规划路线。可选地,route模块可以通过导航请求获取车辆200的规划路线。导航请求可以包括车辆200的起始地的位置信息以及目的地的位置信息。比如车辆200可以通过用户点击或者触控车载导航的屏幕获取导航请求,也可以通过用户的语音指令获取导航请求。然后route模块可以利用车载GPS配合电子地图来进行路线规划,进而可以获得车辆200的规划路线,并根据车辆200的规划路线,获取车辆200未来一段时间的行驶路线。
需要说明的是,本申请提供的方案可以通过多种方式获取车辆200的规划路线,相关技术中关于获取车辆的导航信息的方式,本申请实施例均可以采用。例如,在没有地图时,也可以通过道路结构认知模块提供的车辆200所在车道等效路由,获取车辆200的规划路线。其中,道路结构认知模块用于通过车载传感器和/或路侧传感器获取道路信息,如道路边界信息、车辆200所在的车道信息、车道边界信息等,以根据道路信息确定车辆200所在车道的道路结构,从而车辆200可以根据道路结构,生成车辆200的行驶路线。
风险分级模块203,用于从环境感知模块201获取车辆200周边环境中的其他车辆、行人的位置、速度、前进方向等信息,并用于从路线获取模块202获取车辆200未来一段时间的行驶路线,然后根据获取到的车辆200未来一段时间的行驶路线以及其他车辆、行人的位置、速度、前进方向等信息,对其他车辆、行人进行碰撞分析,得到其他车辆、行人与车辆200未来发生碰撞的可能性大小即风险系数,以根据风险系数将其他车辆、行人划分为不同的优先级。该风险分级模块203,还用于根据预设的参数n(n为正整数),确定要划分的优先级级别为等级1、等级2、等级3、……等级n。从而可以通过调整预设的参数n的数值大小,来改变要划分的优先级级别的多少。例如,增大预设的参数n的数值,即可实现优先级级别的扩展。该风险分级模块203还用于将其最终得到的周边环境中的其他车辆、行人的优先级,发送给轨迹预测模块204。
轨迹预测模块203,用于接收风险分级模块203发送的车辆200周边环境中的其他车辆、行人的优先级,并根据接收到的其他车辆、行人的优先级,采用匹配的预测模型进行未来运动轨迹的预测。例如,对周边环境中的高优先级的其他车辆1、行人1,采用精细化、计算复杂度高的预测模型进行未来运动轨迹的预测,对周边环境中的低优先级的其他车辆2、行人2,采用简单化、计算复杂度低的预测模型进行未来运动轨迹的预测。可选地,当要划分的优先级级别为等级1、等级2、等级3、……等级n时,轨迹预测模块203还可以根据优先级级别,确定一一对应的预测模型类型为预测模型1、预测模型2、预测模型3、……预测模型n。从而可以使用不同的预测模型预测不同优先级的其他车辆、行人,达到减少计算资源、降低预测时延的目的。
在一些实施例中,车辆200也可以包括显示模块(图2中未示出),用于接收风险分级模块203发送的车辆200周边环境中的其他车辆、行人的优先级,并使用不同的颜色显示不同优先级的其他车辆、行人,以更加方便直观的查看到车辆200周边环境中的其他车辆、行人的分级效果。
在一些实施例中,车辆200还可以包括存储组件(图2未示出),用于存储上述各个模块的可执行代码,运行这些可执行代码可实现本申请实施例的部分或全部方法流程。
在一种可能的实现方式中,如图3所示,图1所示的计算机系统112可以包括处理器301,处理器301和系统总线302耦合,处理器301可以是一个或者多个处理器,其中每个处理器都可以包括一个或多个处理器核。显示适配器(video adapter)303可以驱动显示器324,显示器324和系统总线302耦合。系统总线302通过总线桥304和输入输出(input/output,I/O)总线(bus)305耦合,I/O接口306和I/O总线305耦合,I/O接口306和多种I/O设备进行通信,比如输入设备307(如:键盘,鼠标,触摸屏等),多媒体盘(media tray)308(例如多媒体接口)。收发器309(可以发送和/或接收无线电通信信号),摄像头310(可以捕捉静态和动态数字视频图像)和外部通用串行总线(universal serial bus,USB)端口311。其中,可选地,和I/O接口306相连接的接口可以是USB接口。
其中,处理器301可以是任何传统处理器,包括精简指令集计算(reducedinstruction set computer,RISC)处理器、复杂指令集计算(complex instruction setcomputer,CISC)处理器或上述的组合。可选地,处理器301还可以是诸如专用集成电路(application specific integrated circuit,ASIC)的专用装置。可选地,处理器301还可以是神经网络处理器或者是神经网络处理器和上述传统处理器的组合。
可选地,在本申请所述的各种实施例中,计算机系统112可位于远离自动驾驶车辆的地方,且与自动驾驶车辆无线通信。在其它方面,本申请所述的一些过程可设置在自动驾驶车辆内的处理器上执行,其它一些过程由远程处理器执行,包括采取执行单个操纵所需的动作。
计算机系统112可以通过网络接口312和软件部署服务器(deploying server)313通信。可选的,网络接口312可以是硬件网络接口,比如网卡。网络(network)314可以是外部网络,比如因特网,也可以是内部网络,比如以太网或者虚拟私人网络(virtual privatenetwork,VPN),可选地,network314还可以为无线网络,比如无线保真(wirelessfidelity,Wi-Fi)网络、蜂窝网络等。
硬盘驱动器接口315和系统总线302耦合。硬盘驱动器接口315和硬盘驱动器316相连接。系统内存317和系统总线302耦合。运行在系统内存317的数据可以包括计算机系统112的操作系统(OS)318和应用程序319。
操作系统(OS)318包括但不限于壳(shell)320和内核(kernel)321。shell 320是介于使用者和操作系统318的kernel 321间的一个接口。shell 320是操作系统318最外面的一层。shell管理使用者与操作系统318之间的交互:等待使用者的输入,向操作系统318解释使用者的输入,并且处理各种各样的操作系统318的输出结果。
内核321由操作系统318中用于管理存储器、文件、外设和系统资源的部分组成,直接与硬件交互。操作系统318的内核321通常运行进程,并提供进程间的通信,提供CPU时间片管理、中断、内存管理、IO管理等功能。
应用程序319包括自动驾驶相关的程序323,比如,管理自动驾驶汽车和路上障碍物交互的程序,控制自动驾驶汽车的行驶路线或者速度的程序,控制自动驾驶汽车和路上其他汽车/自动驾驶汽车交互的程序等。应用程序319也存在于deploying server 313的系统上。在一个实施例中,在需要执行应用程序319时,计算机系统112可以从deployingserver 313下载应用程序319。
在本申请实施例中,应用程序319可以包括控制车辆根据分级预测系统114预测周边环境中目标物的未来运动轨迹的应用程序。计算机系统112的处理器301调用该应用程序319以执行如下步骤:根据目标物的运动状态进行碰撞分析,确定目标物的风险系数,风险系数用于指示目标物与车辆发生碰撞的可能性大小;根据风险系数,确定目标物的优先级;根据预设的优先级级别与预测模型的对应关系,确定与优先级匹配的目标预测模型;根据目标预测模型,预测目标物的运动轨迹。
传感器322和计算机系统112关联。传感器322用于探测计算机系统112周围的环境。举例来说,传感器322可以探测周围的动物,汽车,人等物体。进一步传感器322还可以探测上述动物,汽车,人等物体周围的环境。比如:汽车周围的环境,例如,汽车所在的车道等。可选地,如果计算机系统112位于自动驾驶的汽车上,传感器322可以是摄像头,红外线感应器,化学检测器,麦克风等器件中的至少一项。
在本申请的另一些实施例中,计算机系统112还可以从其它计算机系统接收信息或转移信息到其它计算机系统。或者,从车辆100的传感器系统120收集的传感器数据可以被转移到另一个计算机,由另一计算机对此数据进行处理。如图4所示,来自计算机系统112的数据可以经由网络被传送到云侧的计算机系统410用于进一步的处理。网络以及中间节点可以包括各种配置和协议,包括因特网、万维网、内联网、虚拟专用网络、广域网、局域网、使用一个或多个公司的专有通信协议的专用网络、以太网、WiFi和HTTP、以及前述的各种组合。这种通信可以由能够传送数据到其它计算机和从其它计算机传送数据的任何设备执行,诸如调制解调器和无线接口。
在一个示例中,计算机系统112可以包括具有多个计算机的服务器,例如负载均衡服务器群。为了从计算机系统112接收、处理并传送数据,服务器420与网络的不同节点交换信息。该计算机系统410可以具有类似于计算机系统112的配置,并具有处理器430、存储器440、指令450、和数据460。
在一个示例中,服务器420的数据460可以包括提供天气相关的信息。例如,服务器420可以接收、监视、存储、更新、以及传送与周边环境中目标物相关的各种信息。该信息可以包括例如以报告形式、雷达信息形式、预报形式等的目标类别、目标形状信息以及目标跟踪信息。
参见图5,为自主驾驶车辆和云服务中心(云服务器)交互的示例。云服务中心可以经诸如无线通信网络的网络511,从其操作环境500内的车辆513、车辆512接收信息(诸如车辆传感器收集到数据或者其它信息)。其中,车辆513和车辆512可为自动驾驶车辆。
云服务中心520根据接收到的数据,运行其存储的控制汽车自动驾驶相关的程序对车辆513、车辆512进行控制。控制汽车自动驾驶相关的程序可以为:管理自动驾驶汽车和路上障碍物交互的程序,或者控制自动驾驶汽车路线或者速度的程序,或者控制自动驾驶汽车和路上其他自动驾驶汽车交互的程序。
示例性的,云服务中心520通过网络511可将地图的部分提供给车辆513、车辆512。在其它示例中,可以在不同位置之间划分操作。例如,多个云服务中心可以接收、证实、组合和/或发送信息报告。在一些示例中还可以在车辆之间发送信息报告和/传感器数据。其它配置也是可能的。
在一些示例中,云服务中心520向自动驾驶车辆发送关于环境内可能的驾驶情况所建议的解决方案(如,告知前方障碍物,并告知如何绕开它))。例如,云服务中心520可以辅助车辆确定当面对环境内的特定障碍时如何行进。云服务中心520向自动驾驶车辆发送指示该车辆应当在给定场景中如何行进的响应。例如,云服务中心520基于收集到的传感器数据,可以确认道路前方具有临时停车标志的存在,又比如,基于“车道封闭”标志和施工车辆的传感器数据,确定该车道由于施工而被封闭。相应地,云服务中心520发送用于车辆通过障碍的建议操作模式(例如:指示车辆变道另一条道路上)。云服务中心520观察其操作环境500内的视频流,并且已确认自动驾驶车辆能安全并成功地穿过障碍时,对该自动驾驶车辆所使用的操作步骤可以被添加到驾驶信息地图中。相应地,这一信息可以发送到该区域内可能遇到相同障碍的其它车辆,以便辅助其它车辆不仅识别出封闭的车道还知道如何通过。
以下实施例中的方法均可以在具有上述硬件结构的车辆或具有控制车辆的功能的其他设备中实现。例如自动驾驶车辆,也可以是车辆或者具有控制车辆的功能的其他设备中的处理器,例如上述内容中提到的计算机系统112中的处理器301以及处理器430等。
目前,车辆通常需要对周围环境内的行人、骑行人、摩托车或其他车辆等目标物体,进行未来运动轨迹的预测,使得车辆能够及时应对并执行相应的操作,如规划车辆当前时间的行驶路径以避免碰撞。然而为了保证轨迹预测的准确性,用于预测轨迹的预测模型的计算复杂度通常都比较高。而当周围有大量的目标物体需要预测轨迹时,对于计算资源有限的车辆而言,不仅会消耗大量的计算资源,导致车辆的整体性能受到影响,而且无法及时地对所有的目标物体都进行行为预测,导致预测时延较大,影响了车辆的响应速度。
为了解决上述问题,本申请提供了一种解决方案,可以通过模拟车辆真实行驶数据以获取地面实况的重要性得分,并训练神经网络,以利用训练好的神经网络预测周边环境中的目标物的重要性得分,从而可以按照重要性得分排名,对周边环境中的目标物进行行为预测。然而这种方案数据获取困难,且神经网络本身消耗的计算资源大。
本申请还提供了一种解决方案,可以将车辆周围空间根据一定规则划分不同区域,结合道路拓扑关系,将周边环境中的目标物分为注意(caution)、正常(normal)、忽略(ignore)三个等级。然而这种划分方式依赖道路拓扑关系,且规则复杂,较难维护。且不同的等级依赖不同的规则,不具有统一的对比指标,也无法划分更多的等级,等级拓展性差。
基于此,本申请实施例提供一种目标行为预测方法以及智能设备,智能设备能够根据对周边环境中的目标物进行碰撞风险检测,从而确定目标物的优先级,然后针对高优先级的目标物,可以采用精细化、计算复杂度高的预测模型进行未来运动轨迹的预测,而对于低优先级的目标物,可以采用简单化、计算复杂度低的预测模型进行未来运动轨迹的预测。如此,并非对周边环境中的所有目标物,都采用精细化、计算复杂度高的预测模型进行未来运动轨迹的预测,而是根据碰撞风险程度,将周边环境中的目标物划分为不同的优先级,从而可以将处于低优先级的目标物,采用简单化、计算复杂度低的预测模型进行未来运动轨迹的预测,大大减少了计算资源的消耗的同时,也降低了预测时延。
可以理解,由于本申请实施例提供的方案,通过计算碰撞风险系数来划分周边环境内的目标物的优先级,因此不同目标物的风险系数可以直接对比,具有统一的对比指标。且本申请实施例提供的方案不依赖于地图,不需要数据驱动,在有地图和无地图的场景下都可以使用,计算复杂度也低。
以下将以智能设备为自动驾驶车辆(以下简称车辆)为例,并结合附图介绍本申请实施例提供的一种目标行为预测方法。如图6所示,该目标行为预测方法可以包括:
S610、车辆获取周围环境中的目标物的运动状态。
其中,目标物可以是车辆周围环境中的行人、骑行人、摩托车或其他车辆等障碍物。可选地,目标物可以是车辆周围环境内可以移动的物体,也可以是车辆周围环境内静止的物体,如路障、路边垃圾桶等。本申请实施例中,为了便于区分,可以将目标行为预测方法所应用的车辆称为自车,自车周围环境内的其他车辆称为他车。
本申请实施例中,目标物的运动状态可以包括目标物的位置、目标物的速度、目标物的前进方向也即速度方向等。可选地,目标物的运动状态也可以包括目标物与自车之间的距离。
可选地,目标物的运动状态可以由图2中的环境感知模块检测得到。作为一种实施方式,环境感知模块可以包括雷达、激光测距仪或者相机等。作为一种实施方式,环境感知模块可以包括图3中的传感器322。
在一些实施例中,步骤S610还可以包括获取自车的目标行驶路线。
其中,目标行驶路线可以是指从当前时刻开始,未来预设时间段内自车的行驶路线。预设时间段可以预先根据应用场景合理设置,本申请实施例并不对预设时间段的长度进行限制。例如,预设时间段可以为10秒(S)。
可选地,车辆可以根据自车的规划路线、自车的位置和自车的速度等参数确定自车的目标行驶路径。例如,车辆根据自车的位置和自车的速度,可以确定未来预设时间段内自车在规划路线上大致的行驶长度,从而可以从自车的规划路线上确定出自车的目标行驶路径。
可选地,自车的目标行驶路线可以由图2中的路线获取模块202获取得到。作为一种实施方式,路线获取模块202可以包括图1中控制系统106中的路线控制系统。
可选地,路线获取模块202可以基于自车的规划路线、自车的位置和自车的速度等参数确定自车的目标行驶路径。示例性地,自车的速度可以由速度传感器检测得到。自车的位置可以由定位系统确定,例如,可以由图1的车辆100中的定位系统确定。自车的规划路线可以由道路导航(route)模块确定。
在一些实施例中,当不存在自车的规划路线时,车辆也可以根据自车所在车道的道路结构,确定自车的目标行驶路线。其中,车道的道路结构包括车道行驶方向,车道的边界信息等。可选地,自车所在车道的道路结构可以由道路结构认知模块确定。
S620、车辆根据目标物的运动状态进行碰撞分析,确定目标物的风险系数。
其中,风险系数用于指示目标物与自车发生碰撞的可能性大小。本申请实施例中,车辆可以根据目标物的运动状态进行碰撞分析,以评估未来目标物与自车发生碰撞的风险。
本申请实施例中,步骤S620还可以包括对自车的目标行驶路线进行采样,得到目标行驶路线上的多个采样位置。可选地,车辆可以将采样位置作为未来自车与目标物可能发生碰撞的位置,进行碰撞分析。如此,通过利用自车的未来行驶路线来评估发生碰撞的风险,使得车辆可以考虑到自车与目标物未来的交互关系,避免后续优先级的误划分所引起的预测轨迹精度低问题。
其中,对自车的目标行驶路线进行采样,可以理解为,在自车的目标行驶路线上选取多个行驶位置点,作为多个采样位置。可选地,车辆可以在自车的目标行驶路线上,每隔指定距离或者每隔指定时间选取一个位置点作为一个采样位置,从而车辆可以得到目标行驶路线上的多个采样位置。可选地,车辆也可以在自车的目标行驶路线上,随机选取多个位置点,作为多个采样位置。
可选地,采样位置的个数可以是固定个数,即车辆对自车的目标行驶路线进行固定个数的采样时,可以得到固定个数的采样位置。例如,采样位置的个数固定为8个时,车辆可以在自车的目标行驶路线上,随机选取8个行驶位置点,作为8个采样位置。
可选地,采样位置的个数也可以随机生成。例如,从5~10里任意抽取一个数作为车辆需要采样的个数。
作为一种实施方式,针对目标行驶路线上的每个采样位置,车辆可以根据目标物的运动状态,确定目标物和自车在指定时间段后相对于采样位置的剩余碰撞距离,并将该剩余碰撞距离作为该采样位置的碰撞风险系数。车辆可以根据目标行驶路线上的每个采样位置的碰撞风险系数,确定目标物的风险系数。
其中,指定时间段可以预先根据应用场景合理设置,本申请实施例并不对指定时间段的长度进行限制。例如,指定时间段可以为3秒(S)。
可选地,车辆可以根据目标物的运动状态,确定指定时间段后该目标物与目标采样位置之间的第一距离,其中,目标采样位置为多个采样位置中的任一采样位置。同时车辆也可以确定指定时间段后自车与该目标采样位置之间的第二距离。车辆可以将第一距离与第二距离的和值,作为目标物和自车在指定时间段后相对于目标采样位置的剩余碰撞距离,该剩余碰撞距离即可作为该目标采样位置的碰撞风险系数。
示例性地,请参阅图7,假设自车701的行驶速度为ve,目标物702的行驶速度为vo,自车的目标行驶路线703上的多个黑点为采样位置,以目标行驶路线703上第i个采样位置pi为例,车辆可以先计算目标物702在指定时间段tp内朝采样位置pi运动的距离do:
v′o=max(vo*cosθ,0);
do=v′o*tp。
其中,θ为目标物702的速度方向与目标物702到采样位置pi连线的夹角。max()函数用于输出最大值,v′o为目标物702在目标物702到采样位置pi连线方向上的速度。
接着,车辆可以计算在指定时间段tp后,目标物702与采样位置pi之间的剩余距离d1:
d1=max(doi-do,0)。
其中,doi为目标物702在本次碰撞分析开始时,与采样位置pi之间的初始距离。
然后车辆可以计算自车701在指定时间段tp内朝采样位置pi运动的距离de:
de=ve*tp。
同理,车辆可以计算在指定时间段tp后,自车701与采样位置pi之间的剩余距离d2:
d2=max(dei-de,0)。
其中,dei为自车701在本次碰撞分析开始时,与采样位置pi之间的初始距离。
车辆可以根据在指定时间段tp后,目标物702与采样位置pi之间的剩余距离d1以及自车701与采样位置pi之间的剩余距离d2,确定目标物和自车在指定时间段tp后相对于采样位置pi的剩余碰撞距离dpi:
dpi=d1+d2。
该剩余碰撞距离dpi可以作为采样位置pi对应的碰撞风险系数。可以理解,当该剩余碰撞距离dpi的值越小时,即采样位置pi对应的碰撞风险系数越小时,车辆可以认为目标物和自车在指定时间段tp后,在采样位置pi附近越容易发生碰撞。
本申请实施例中,当车辆对自车的目标行驶路线进行采样,得到目标行驶路线上的n个采样位置时,车辆可以采用上述方式,计算n个采样位置中每个采样位置对应的碰撞风险系数即dp0、dp1、dp2、……、dpn。
可选地,车辆可以将n个采样位置中最小的碰撞风险系数作为目标物的风险系数。也即目标物的风险系数
由于碰撞风险系数越小时,目标物和自车在指定时间段tp后越容易发生碰撞,因此可以理解,目标物的风险系数越小,目标物和自车在指定时间段tp后越容易发生碰撞。
可选地,车辆也可以将n个采样位置中最小的碰撞风险系数与安全系数进行比较,将最小的碰撞风险系数与安全系数的比值作为目标物的风险系数。可以理解,安全系数可以预先根据历史数据分析,并结合自车的实际情况来确定。
在一些实施例中,车辆也可以根据目标物的运动状态以及物体运动学模型,计算目标物与自车可能发生碰撞的碰撞时间,以根据碰撞时间确定目标物的风险系数。作为一种实施方式,车辆可以将碰撞时间与预设时间进行比较,以将碰撞时间与预设时间的比值作为目标物的风险系数。可以理解,预设时间可以预先根据历史数据分析,并结合自车的实际情况来确定。
在一些实施例中,车辆可以根据目标的运动状态,预测本车与目标物的行驶轨迹是否相交。如果相交,分别计算本车与目标物从当前位置至两条轨迹交点的时间,计算二者时间差的绝对值,以根据该绝对值确定目标物的风险系数。作为一种实施方式,车辆可以将将该时间差的绝对值与预设时间进行比较,以将时间差的绝对值与预设时间的比值作为目标物的风险系数。可以理解,预设时间可以预先根据历史数据分析,并结合自车的实际情况来确定。
S630、车辆根据风险系数,确定目标物的优先级。
本申请实施例中,车辆在确定出周边环境中的每个目标物的风险系数后,可以根据风险系数对周边环境中的每个目标物进行优先级划分。以区分出周边环境中处于不同优先级的目标物。
可选地,车辆可以根据预设的参数n,确定要划分的优先级级别,该优先级级别包括等级1、等级2、等级3、……等级n。其中,参数n可以理解为自车周边环境中的目标物要划分的优先级个数(即等级个数),当需要改变目标物分级的等级个数时,车辆调整参数n的大小即可。例如,增大预设的参数n的数值,即可实现优先级级别的扩展。如此,无需改变风险系数的计算方式,也能实现优先级级别的扩展。
可选地,预设的参数n可以预先存储于车辆,也可以实时获取。作为一种实施方式,车辆可以通过车载显示屏显示第一界面,该第一界面用于向用户提供优先级个数的快捷输入。
可选地,第一界面可以提供多种优先级个数的选项,如3个优先级、5个优先级等。用户可以从中选取一个选项进行确认。车辆可以响应用户的确认操作,获取用户确认的优先级个数作为预设的参数n。
可选地,第一界面也可以提供优先级个数的输入框。用户可以在输入框中输入具体的数值,然后车辆可以响应用户的输入操作,获取用户输入的优先级个数作为预设的参数n。
本申请实施例中,车辆可以根据周边环境中的每个目标物的风险系数,以及预设的参数n,将周边环境中的目标物划分为不同的优先级。
作为一种方式,可以根据周边环境中的每个目标物的风险系数大小,按照从小到大的顺序,将周围环境中的目标物进行排序。其中,排序越靠前的目标物,其对应的风险系数越小,也即该目标物与自车在指定时间段后越容易发生碰撞。此时,可以根据预设的参数n,按照从等级高(等级n)到等级低(等级1)的顺序,将排序好的目标物进行优先级级别划分。其中,越靠前的目标物划分的等级越高,也即优先级越高,从而实现了将越容易发生碰撞的目标物划分至越高的优先级。
可选地,等级越高也可以表示优先级越低,即等级1为最高优先级,等级n为最低优先级。此时,可以根据预设的参数n,按照从等级低(等级1)到等级高(等级n)的顺序,将排序好的目标物进行优先级级别划分。其中,越靠前的目标物划分的等级越低,也即优先级越高,从而实现了将越容易发生碰撞的目标物划分至越高的优先级。
作为另一种方式,也可以根据周边环境中的每个目标物的风险系数大小,按照从大到小的顺序,将周围环境中的目标物进行排序。其中,排序越靠后的目标物,其对应的风险系数越小,也即该目标物与自车在指定时间段后越容易发生碰撞。此时,可以根据预设的参数n,按照从等级高(等级1)到等级低(等级n)的顺序,将排序好的目标物进行优先级级别划分。其中,越靠后的目标物划分的等级越高,也即优先级越高,从而实现了将越容易发生碰撞的目标物划分至越高的优先级。
可选地,车辆也可以根据预设的参数n,确定不同等级对应的风险系数范围,车辆可以将周边环境中的每个目标物的风险系数,分别与不同等级对应的风险系数范围进行匹配。当某个目标物的风险系数落入某个等级对应的风险系数范围内时,即可以将该目标物划分为该等级。从而实现对周边环境中的目标物的优先级划分。
在一些实施例中,车辆还可以在车载显示屏上使用不同的颜色显示不同优先级的目标物,从而可以直观显示出车辆周边环境内的目标物的优先级分级效果。
可选地,车辆可以根据预设的颜色与优先级级别的对应关系,确定与目标物的优先级匹配的目标颜色,并将目标物以目标颜色进行显示。其中,颜色与优先级级别的对应关系可以预先根据实际应用情况合理设定。该颜色与优先级级别的对应关系可以预先存储于车辆,也可以从其他设备如云服务器处获取。
可选地,车辆也可以根据要划分的优先级等级数,随机生成对应的颜色。其中,随机生成的颜色与优先级一一对应,以区分出不同优先级的目标物。
作为一种示例性场景,请参阅图8,图8示出了车辆800左转的路口场景。其中,场景中的方框代表机动车、摩托车、行人等不同类型的目标物。每个目标物上的虚线箭头代表目标物的速度方向,实线箭头代表目标物的朝向。可选地,车辆也可以显示目标物的信息,如在每个目标物的下方显示目标物的身份标识、速度大小等信息。其中,目标物的身份标识可以是目标物的类型,如非机动车、摩托车、行人、轿车等;也可以是目标物的唯一标识(identity document,ID)。
如图8所示,场景中出现了大量的目标物均需要预测运动轨迹。其中,图8中的车辆800左前方斑马线上的目标物801为过马路的行人A;车辆800右后方的目标物802为骑行人A;车辆800前方路口拐角处的目标物803为行人B;车辆800出路口后距离较近的目标物804为车辆A(即他车);车辆800出路口后离车辆800当前位置较远的目标物805为车辆B;车辆800后方、速度方向远离车辆800的目标物806为车辆C;车辆800右前方、朝向远离车辆800的目标物807为骑行人B。
可选地,通过本申请实施例的目标行为预测方法,对车辆800周围的目标物进行碰撞分析后,可以将车辆800周围的目标物划分为三个优先级等级。其中,目标物801(即过马路的行人A)、目标物802(即骑行人A)的优先级最高,目标物803(即行人B)、目标物804(即车辆A)的优先级次之,目标物805(即车辆B)、目标物806(即车辆C)、目标物807(即骑行人B)的优先级最低。
可选地,车辆还可以在车载显示屏上使用三种的颜色显示上述三个优先级的目标物。例如,假设最高优先级对应红色,次优先级对应黄色,最低优先级对应蓝色,则车辆可以在车载显示屏上将目标物801(即过马路的行人A)、目标物802(即骑行人A)以红色进行显示,将目标物803(即行人B)、目标物804(即车辆A)以黄色进行显示,将目标物805(即车辆B)、目标物806(即车辆C)、目标物807(即骑行人B)以蓝色进行显示。
作为另一种示例性场景,请参阅9,图9示出了车辆900直行场景。其中,场景中的方框代表机动车、摩托车、行人等不同类型的目标物。每个目标物上的虚线箭头代表目标物的速度方向,实线箭头代表目标物的朝向。
如图9所示,场景中也出现了大量的目标物均需要预测运动轨迹。其中,图9中的车辆900右前方且速度与车辆900朝向相同的目标物901为骑行人C;车辆900后方且与车辆900同向行驶的目标物902为车辆D;车辆900右前方、机动车道外的目标物903为骑行人D;车辆900左前方、机动车道外的目标物904为骑行人E;车辆900左后方、机动车道外的目标物905为行人C;车辆900左后方且与车辆900反向行驶的目标物906为骑行人F。
可选地,通过本申请实施例的目标行为预测方法,对车辆900周围的目标物进行碰撞分析后,可以将车辆900周围的目标物划分为三个优先级等级。其中,目标物901(即骑行人C)、目标物902(即车辆D)的优先级为等级1,目标物903(即骑行人D)、目标物904(即骑行人E)的优先级为等级2,目标物905(即行人C)、目标物906(即骑行人F)的优先级为等级3。同理,车辆也可以在车载显示屏上使用三种的颜色显示上述三个优先级的目标物。
S640、车辆根据预设的优先级级别与预测模型的对应关系,确定与目标物的优先级匹配的目标预测模型。
本申请实施例中,车辆在划分出周边环境中的每个目标物的优先级级别后,可以使用不同的预测模型预测不同优先级的目标物的未来运动轨迹。
可选地,车辆可以存储有预设的优先级级别与预测模型的对应关系,当车辆在划分出周边环境中的某个目标物的优先级级别时,可以根据该预设的对应关系,确定出与该目标物的优先级匹配的目标预测模型。
可选地,预设的优先级级别与预测模型的对应关系可以是一一对应的关系,即每个优先级级别都对应一种预测模型。不同的预测模型的计算复杂度不同。作为一种实施方式,预设的优先级级别与预测模型的对应关系可以包括:第一优先级对应第一预测模型,第二优先级对应第二预测模型。其中,第一优先级高于第二优先级,第一预测模型的计算复杂度高于第二预测模型的计算复杂度。
可选地,预测模型的计算复杂度可以根据预测模型的处理时间、运算指令数量和内存交互指令数量、消耗的性能等确定。本申请实施例对此并不作限定。作为一种实施方式,本申请提供的预测模型可以是恒定速度(constant velocity,CV)模型、马尔可夫模型等基于规则的预测模型,这类预测模型通常比较简单且计算复杂度也比较低。作为另一种实施方式,本申请提供的预测模型也可以是基于神经网络的预测模型,这类预测模型通常计算复杂度比较高。
可选地,预设的优先级级别与预测模型的对应关系也可以是多对一的关系,即可以存在多个优先级级别都对应一种预测模型。例如,假设优先级的等级数n为6,等级6为最低优先级,等级1为最高优先级。其中,预测模型1可以对应等级1、2、3的优先级级别,预测模型2可以对应等级4、5的优先级级别,预测模型3可以仅对应最高优先级等级6。
本申请实施例中,优先级越高,其对应的预测模型的计算复杂度越高,优先级越低,其对应的预测模型的计算复杂度越低。从而在将越容易发生碰撞的目标物划分至越高的优先级时,可以采用更精确化、计算复杂度更高的预测模型,快速、精准地预测该目标物的未来运动轨迹。在将越不容易发生碰撞的目标物划分至越低的优先级时,可以采用更简单化、计算复杂度更低的预测模型,快速、准确地预测该目标物的未来运动轨迹。如此,通过合理使用不同复杂度的预测模型,能够减少计算资源的消耗,降低预测时延,同时也能实现大量目标物的运动轨迹的准确预测。
S650、车辆根据目标预测模型,预测目标物的运动轨迹。
本申请实施例中,车辆在确定与目标物的优先级匹配的目标预测模型后,可以采样该预测模型预测该目标物的未来运动轨迹。从而可以实现对智能设备的周边环境中不同优先级的目标物体,采用不同计算复杂度的预测模型进行未来运动轨迹的预测。实现了对周边环境内物体的行为预测的同时,也减少了计算资源的消耗,降低了预测时延。
可选地,车辆在预测出目标物的运动轨迹后,可以执行相应的操作。例如,车辆可以对自车当前时刻或未来指定时间段的行驶路径进行规划,以避免碰撞。又例如,车辆可以播放喇叭,以提醒目标物注意。
综上所述,本申请实施例的目标行为预测方法,通过分层次预测大量目标物的运动轨迹的方式,解决算力瓶颈问题,即高优先级的目标物,可以使用精细化、计算复杂度高的预测模型进行轨迹预测,低优先级的目标物,使用计算复杂度低的预测模型进行轨迹预测。以达到减少计算资源、降低预测时延的目的,也间接提升了大量目标物的预测准确率。
可以理解,本申请实施例的目标行为预测方法,也可以应用于机器人、或其他具有自主行驶能力的电子设备,本申请实施例对此并不做限定。
示例性地,当本申请实施例的目标行为预测方法应用于智能家居领域的扫地机器人时,扫地机器人可以对周边环境中的多个人物进行碰撞分析,得到每个人物的风险系数,以根据风险系数,确定每个人物的优先级。当根据每个人物的优先级采用对应的预测模型预测出人物的未来运动轨迹时,扫地机器人可以对自身当前时刻或未来指定时间段的行驶路径进行规划以避免碰撞,或者扫地机器人可以根据每个人物的未来运动轨迹,筛选出可能需要进行交互的人物以提供交互效率。
可以理解,本申请实施例的目标行为预测方法,可以应用于各自场景。例如,可以应用于需要感知周围目标并判断碰撞风险的场景;又例如,可以应用于需要判断周围物体与自身在运动学上产生交互关系强弱的场景。
可以理解的是,车辆为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对智能手表进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例还提供了一种车载设备,包括存储器、处理器以及存储在该存储器中并可在处理器上运行的计算机程序,处理器执行所述计算机程序时,使得车载设备实现上述各个方法实施例中车辆执行的各个功能或者步骤。
本申请实施例还提供一种目标行为预测装置,该装置可以应用于上述车载设备。该装置用于执行上述方法实施例中车辆执行的各个功能或者步骤。
本申请实施例还提供了一种车辆,该车辆包括上述车载设备或目标定位装置。
本申请实施例还提供了一种智能设备,该智能设备包括上述目标定位装置。其中,该智能设备可以是机器人或其他具有自主行驶能力的电子设备。
本申请实施例还提供一种芯片系统,该芯片系统包括至少一个处理器和至少一个接口电路。处理器和接口电路可通过线路互联。接口电路可读取存储器中存储的指令,并将该指令发送给处理器。当所述指令被处理器执行时,可使得车载设备执行上述方法实施例中车辆执行的各个功能或者步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述车载设备上运行时,使得该车载设备执行上述方法实施例中车机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中车机执行的各个功能或者步骤。
其中,本实施例提供的车载设备、车辆、机器人、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (18)
1.一种目标行为预测方法,其特征在于,应用于智能设备,所述方法包括:
根据目标物的运动状态进行碰撞分析,确定所述目标物的风险系数,所述风险系数用于指示所述目标物与所述智能设备发生碰撞的可能性大小;
根据所述风险系数,确定所述目标物的优先级;
根据预设的优先级级别与预测模型的对应关系,确定与所述优先级匹配的目标预测模型;
根据所述目标预测模型,预测所述目标物的运动轨迹。
2.根据权利要求1所述的方法,其特征在于,所述根据目标物的运动状态进行碰撞分析,确定所述目标物的风险系数,包括:
获取所述智能设备的行驶路线上的多个行驶位置;
根据所述目标物的运动状态,确定所述多个行驶位置中每个行驶位置对应的风险系数,所述每个行驶位置对应的风险系数用于指示所述目标物与所述智能设备在所述每个行驶位置处发生碰撞的可能性大小;
根据所述每个行驶位置对应的风险系数中的最小值,确定所述目标物的风险系数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标物的运动状态,确定所述多个行驶位置中每个行驶位置对应的风险系数,包括:
根据所述目标物的运动状态,确定指定时间段后所述目标物与目标行驶位置之间的第一距离,其中,所述目标行驶位置为所述多个行驶位置中的任一行驶位置;
确定所述指定时间段后所述智能设备与所述目标行驶位置之间的第二距离;
获取所述第一距离与所述第二距离之和,作为所述目标行驶位置对应的风险系数。
4.根据权利要求2所述的方法,其特征在于,所述获取所述智能设备的行驶路线上的多个行驶位置,包括:
获取所述智能设备在未来预设时间段内的行驶路线;
每间隔指定距离,获取所述行驶路线上的一个行驶位置,得到所述行驶路线上的多个行驶位置。
5.根据权利要求2所述的方法,其特征在于,所述获取所述智能设备的行驶路线上的多个行驶位置,包括:
获取所述智能设备在未来预设时间段内的行驶路线;
每间隔指定时间,获取所述行驶路线上的一个行驶位置,得到所述行驶路线上的多个行驶位置。
6.根据权利要求1所述的方法,其特征在于,所述根据目标物的运动状态进行碰撞分析,确定所述目标物的风险系数,包括:
根据所述目标物的运动状态,确定所述目标物与所述智能设备发生碰撞的碰撞时间;
根据所述碰撞时间,确定所述目标物的风险系数。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述智能设备的周边环境中存在多个目标物,所述根据所述风险系数,确定所述目标物的优先级,包括:
根据所述多个目标物中每个目标物的所述风险系数,对所述多个目标物进行排序;
根据排序后的所述多个目标物,确定所述每个目标物的优先级。
8.根据权利要求7所述的方法,其特征在于,所述根据排序后的所述多个目标物,确定所述每个目标物的优先级,包括:
按照预设的优先级个数,将排序后的所述多个目标物划分至不同优先级,得到所述每个目标物的优先级。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
显示第一界面,所述第一界面用于输入优先级个数;
响应于用户的输入操作,获取用户输入的优先级个数,作为预设的优先级个数。
10.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据预设的优先级级别与颜色的对应关系,以及所述每个目标物的优先级,确定所述每个目标物对应的颜色;
基于所述每个目标物对应的颜色显示所述多个目标物。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述预设的优先级级别与预测模型的对应关系包括:第一优先级对应第一预测模型,第二优先级对应第二预测模型,所述第一优先级高于所述第二优先级,所述第一预测模型的计算复杂度高于所述第二预测模型的计算复杂度。
12.一种智能设备,其特征在于,所述智能设备包括存储器和一个或多个处理器;所述存储器和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述智能设备执行如权利要求1-11中任一项所述的方法。
13.一种车载设备,其特征在于,所述车载设备包括存储器和一个或多个处理器;所述存储器和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述车载设备执行如权利要求1-11中任一项所述的方法。
14.一种车辆,其特征在于,所述车辆包含车载设备,所述车载设备执行如权利要求1-11中任一项所述的方法。
15.一种机器人,其特征在于,所述机器人包括存储器和一个或多个处理器;所述存储器和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述机器人执行如权利要求1-11中任一项所述的方法。
16.一种芯片系统,其特征在于,所述芯片系统应用于智能设备;所述芯片系统包括一个或多个接口电路和一个或多个处理器;所述接口电路和所述处理器通过线路互联;所述接口电路用于从所述智能设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括所述存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,所述智能设备执行如权利要求1-11中任一项所述的方法。
17.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在智能设备上运行时,使得所述智能设备执行如权利要求1-11中任一项所述的方法。
18.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-11中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211329915.8A CN117944671A (zh) | 2022-10-27 | 2022-10-27 | 一种目标行为预测方法、智能设备及车辆 |
PCT/CN2023/104261 WO2024087712A1 (zh) | 2022-10-27 | 2023-06-29 | 一种目标行为预测方法、智能设备及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211329915.8A CN117944671A (zh) | 2022-10-27 | 2022-10-27 | 一种目标行为预测方法、智能设备及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117944671A true CN117944671A (zh) | 2024-04-30 |
Family
ID=90798899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211329915.8A Pending CN117944671A (zh) | 2022-10-27 | 2022-10-27 | 一种目标行为预测方法、智能设备及车辆 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117944671A (zh) |
WO (1) | WO2024087712A1 (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008062916A1 (de) * | 2008-12-23 | 2010-06-24 | Continental Safety Engineering International Gmbh | Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeuges mit einem Lebewesen |
US11260855B2 (en) * | 2018-07-17 | 2022-03-01 | Baidu Usa Llc | Methods and systems to predict object movement for autonomous driving vehicles |
US11034348B2 (en) * | 2018-11-20 | 2021-06-15 | Waymo Llc | Agent prioritization for autonomous vehicles |
CN114179713A (zh) * | 2020-09-14 | 2022-03-15 | 华为技术有限公司 | 一种车辆提醒方法、系统及相关设备 |
US20210009121A1 (en) * | 2020-09-24 | 2021-01-14 | Intel Corporation | Systems, devices, and methods for predictive risk-aware driving |
EP4001042A1 (en) * | 2020-11-23 | 2022-05-25 | Aptiv Technologies Limited | System and method for predicting road collisions with a host vehicle |
CN113012469A (zh) * | 2021-03-16 | 2021-06-22 | 浙江亚太机电股份有限公司 | 一种基于目标识别的智能交通预警系统 |
CN115042782A (zh) * | 2022-06-27 | 2022-09-13 | 重庆长安汽车股份有限公司 | 一种车辆巡航控制方法、系统、设备及介质 |
-
2022
- 2022-10-27 CN CN202211329915.8A patent/CN117944671A/zh active Pending
-
2023
- 2023-06-29 WO PCT/CN2023/104261 patent/WO2024087712A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024087712A1 (zh) | 2024-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109901574B (zh) | 自动驾驶方法及装置 | |
CN110379193B (zh) | 自动驾驶车辆的行为规划方法及行为规划装置 | |
CN110641472B (zh) | 基于神经网络的用于自主车辆的安全监控系统 | |
CN108068815B (zh) | 用于自动驾驶车辆的基于规划反馈的决策改进系统 | |
WO2021135371A1 (zh) | 一种自动驾驶方法、相关设备及计算机可读存储介质 | |
WO2021000800A1 (zh) | 道路可行驶区域推理方法及装置 | |
WO2022016457A1 (zh) | 控制车辆驾驶模式切换的方法和装置 | |
CN113460042B (zh) | 车辆驾驶行为的识别方法以及识别装置 | |
WO2021212379A1 (zh) | 车道线检测方法及装置 | |
CN113160547B (zh) | 一种自动驾驶方法及相关设备 | |
CN113156927A (zh) | 自动驾驶车辆的安全控制方法及安全控制装置 | |
EP4316935A1 (en) | Method and apparatus for obtaining lane change area | |
WO2022062825A1 (zh) | 车辆的控制方法、装置及车辆 | |
US20230048680A1 (en) | Method and apparatus for passing through barrier gate crossbar by vehicle | |
CN114693540A (zh) | 一种图像处理方法、装置以及智能汽车 | |
CN113525373A (zh) | 一种车辆的变道控制系统、控制方法 | |
CN114531913A (zh) | 车道线检测方法、相关设备及计算机可读存储介质 | |
WO2022017307A1 (zh) | 自动驾驶场景生成方法、装置及系统 | |
CN114440908A (zh) | 一种规划车辆驾驶路径的方法、装置、智能车以及存储介质 | |
CN112654547A (zh) | 驾驶提醒的方法、装置及系统 | |
CN114261404A (zh) | 一种自动驾驶方法及相关装置 | |
EP4159564A1 (en) | Method and device for planning vehicle longitudinal motion parameters | |
US20220388534A1 (en) | Method and system for predicting behavior of actors in an environment of an autonomous vehicle | |
WO2024087712A1 (zh) | 一种目标行为预测方法、智能设备及车辆 | |
WO2022001432A1 (zh) | 推理车道的方法、训练车道推理模型的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |