CN116534052B - 行驶场景感知数据处理方法、装置、控制器及存储介质 - Google Patents

行驶场景感知数据处理方法、装置、控制器及存储介质 Download PDF

Info

Publication number
CN116534052B
CN116534052B CN202310522542.4A CN202310522542A CN116534052B CN 116534052 B CN116534052 B CN 116534052B CN 202310522542 A CN202310522542 A CN 202310522542A CN 116534052 B CN116534052 B CN 116534052B
Authority
CN
China
Prior art keywords
risk
predicted
dynamic
dynamic target
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310522542.4A
Other languages
English (en)
Other versions
CN116534052A (zh
Inventor
梁晶晶
王斌
请求不公布姓名
孙巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Baolong Automotive Corp
Original Assignee
Shanghai Baolong Automotive Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Baolong Automotive Corp filed Critical Shanghai Baolong Automotive Corp
Priority to CN202310522542.4A priority Critical patent/CN116534052B/zh
Publication of CN116534052A publication Critical patent/CN116534052A/zh
Application granted granted Critical
Publication of CN116534052B publication Critical patent/CN116534052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开实施例中提供行驶场景感知数据处理方法、装置、控制器及存储介质，方法包括：在每个当前时刻，获取行动装置在行驶场景中的行驶场景感知数据；基于行驶场景感知数据形成相关于各场景目标的多种风险场；多种风险场包括至少一种基于时间预测的风险场，至少一种基于时间预测的风险场根据动态目标的第一预测运动轨迹、和/或基于第一预测运动轨迹与行动装置的第二预测运动轨迹之间的相干性所构建；叠加各风险场以得到当前时刻的总风险场；将总风险场显示通过对应行驶场景的风险热力图显示。实现可视化的行驶环境的风险程度的风险热力图的呈现，且一些风险场包含了对未来风险预测的信息，有助于提升进一步的自动驾驶的行动规划决策的精准性。

Description

行驶场景感知数据处理方法、装置、控制器及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及行驶场景感知数据处理方法、装置、控制器及存储介质。
背景技术
自动驾驶是当下火热的智能汽车技术发展方向。在自动驾驶技术中，依靠车辆的感知系统(如视觉、雷达、监控等)来感知车辆及外部交通环境的数据，进行智能分析以作出对车辆运动的规划决策。
然而，传统的规划决策所用的信息是感知目标输出的实时的环境数据，没有关于可视、未来预测的数据。但实际上，这两种信息对自动驾驶车辆的行为规划决策有着很重要的辅助作用。
发明内容
鉴于以上所述现有技术的缺点，本公开的目的在于提供行驶场景感知数据处理方法、装置、控制器及存储介质，解决相关技术中的问题。
本公开第一方面提供一种行驶场景感知数据处理方法，包括：在每个当前时刻，获取行动装置在行驶场景中的行驶场景感知数据；所述行驶场景中还具有多个场景目标，所述多个场景目标包括静态目标和动态目标；基于所述行驶场景感知数据形成相关于所述多个场景目标的多种风险场，每个风险场由场景中赋有风险值的各位置点构成，所述多种风险场包括至少一种基于时间预测的风险场，所述基于时间预测的风险场根据所述行动装置的参考轨迹点分别与动态目标所在的每个第一预测轨迹点之间的相关性所构建、和/或根据动态目标在每个第一预测轨迹点的预测运动状态信息所构建；所述参考轨迹点包括当前时刻的轨迹点、和/或未来时刻的第二预测轨迹点；叠加各所述风险场以得到当前时刻的总风险场；将所述总风险场显示通过对应所述行驶场景的风险热力图显示。
在第一方面的实施例中，所述行驶场景感知数据包括各场景目标的当前轨迹点的位置信息及运动状态信息；所述方法包括：基于每个动态目标的历史轨迹和所述行驶场景感知数据进行时序预测，得到所述动态目标在预设时长内的各第一预测轨迹点及相应的第一预测运动状态信息；和/或，基于所述行动装置的历史轨迹和当前运动状态信息进行时序预测，得到所述行动装置在所述预设时长内的每个未来时刻的第二预测轨迹点。
在第一方面的实施例中，所述至少一种基于时间预测的风险场包括风险动态场；根据所述行动装置的参考轨迹点与动态目标所在的每个第一预测轨迹点之间的相关性构建风险场，包括：对于每个动态目标，基于每个所述参考轨迹点同预设未来时长内每个未来时刻的第一预测轨迹点之间的预测间距，得到每个未来时刻的第一预测轨迹点的动态风险值，以形成每个动态风险场；其中，各所述参考轨迹点分别为所述行动装置在当前时刻的轨迹点、及在所述预设时长内的每个未来时刻的第二预测轨迹点；所述动态风险值负相关于所述预测间距、以及未来时刻距离参考时刻的时差。
在第一方面的实施例中，根据动态目标在每个第一预测轨迹点的预测运动状态信息构建风险场，包括：获得动态目标在第一预测轨迹点的第一预测运动状态信息；所述第一预测运动状态信息包括预测速度和预测航向角；基于所述动态目标的第一预测运动状态信息，得到动态目标所在第一预测轨迹点周围扩散点的扩散风险值；其中，所述扩散风险值与所述扩散点偏离动态目标的运动方向的角度负相关、与动态目标的预测速度正相关、以及与扩散点同预测轨迹点的间距负相关。
在第一方面的实施例中，所述动态目标包括行人；所述基于所述动态目标的第一预测运动状态信息，得到动态目标所在第一预测轨迹点周围扩散点的扩散风险值，还包括：基于所述动态目标的预测运动状态信息、以及行人类别和/或姿态，得到行人所在预测轨迹点周围扩散点的扩散风险值。
在第一方面的实施例中，所述静态目标包括车道线，所述多种风险场包括车道线的静态风险场；所述基于所述行驶场景感知数据形成相关于每个场景目标的至少一种风险场，包括：基于每条车道线的类型得到车道线上各位置点的静态风险值，以形成当前时刻的静态风险场。
在第一方面的实施例中，所述多种风险场包括动态目标的基础风险场；所述基于所述行驶场景感知数据形成相关于每个场景目标的至少一种风险场，包括：基于每个动态目标与所述行动装置的当前间距，得到所述每个所述动态目标当前所在位置的各位置点的基础风险值以形成当前时刻的基础风险场；其中，所述基础风险值负相关于所述当前间距。
在第一方面的实施例中，所述多种风险场还包括：补偿风险场，由基于各所述场景目标以外其它因素影响赋予补偿风险值的位置点构成；所述其它因素包括以下至少一种：交通规则；交通标识装置；运动装置和/或动态目标的导航信息。
本公开第二方面提供一种行驶场景感知数据处理装置，包括：行驶场景感知模块，用于在每个当前时刻，获取行动装置在行驶场景中的行驶场景感知数据；所述行驶场景中还具有多个场景目标，所述多个场景目标包括静态目标和动态目标；风险场构建模块，用于基于所述行驶场景感知数据形成相关于所述多个场景目标的多种风险场，每个风险场由场景中赋有风险值的各位置点构成，所述多种风险场包括至少一种基于时间预测的风险场，所述基于时间预测的风险场根据所述行动装置的参考轨迹点分别与动态目标所在的每个第一预测轨迹点之间的相关性所构建、和/或根据动态目标在每个第一预测轨迹点的预测运动状态信息所构建；所述参考轨迹点包括当前时刻的轨迹点、和/或未来时刻的第二预测轨迹点；风险场叠加模块，用于叠加各所述风险场以得到当前时刻的总风险场；显示模块，用于将所述总风险场显示通过对应所述行驶场景的风险热力图显示。
本公开第三方面提供一种控制器，包括：处理器及存储器；所述存储器存储有程序指令；所述处理器，用于运行所述程序指令，以执行如第一方面任一项所述的行驶场景感知数据处理方法。
本公开第四方面提供一种计算机可读存储介质，存储有程序指令，所述程序指令被运行执行如第一方面任一项所述的行驶场景感知数据处理方法。
如上所述，本公开实施例中提供行驶场景感知数据处理方法、装置、控制器及存储介质，方法包括：在每个当前时刻，获取行动装置在行驶场景中的行驶场景感知数据；所述行驶场景中还具有多个场景目标，所述多个场景目标包括静态目标和动态目标；基于所述行驶场景感知数据形成相关于所述多个场景目标的多种风险场，每个风险场由场景中赋有风险值的各位置点构成，所述多种风险场包括至少一种基于时间预测的风险场，所述基于时间预测的风险场根据所述行动装置的参考轨迹点分别与动态目标所在的每个第一预测轨迹点之间的相关性所构建、和/或根据动态目标在每个第一预测轨迹点的预测运动状态信息所构建；所述参考轨迹点包括当前时刻的轨迹点、和/或未来时刻的第二预测轨迹点；叠加各所述风险场以得到当前时刻的总风险场；将所述总风险场显示通过对应所述行驶场景的风险热力图显示。实现可视化的行驶环境的风险程度的风险热力图的呈现，且一些风险场包含了对未来风险预测的信息，有助于提升进一步的自动驾驶的行动规划决策的精准性。
附图说明
图1展示本公开一实施例中行驶场景感知数据处理方法的流程示意图。
图2展示本公开一实施例中扩散风险场的原理示意图。
图3展示本公开一实施例中总风险场的原理示意图。
图4A所示展示一个示例中当前场景下车辆向后拍摄的场景图像。
图4B展示对应图4A场景的鸟瞰视角下总风险场的的风险热力图。
图5展示本公开一实施例中行驶场景感知数据处理装置的模块示意图。
图6展示本公开一实施例中控制器的结构示意图。
具体实施方式
以下通过特定的具体示例说明本公开的实施方式，本领域技术人员可由本公开所揭露的消息轻易地了解本公开的其他优点与功效。本公开还可以通过另外不同的具体实施方式加以实施或应用模块，本公开中的各项细节也可以根据不同观点与应用模块，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
下面以附图为参考，针对本公开的实施例进行详细说明，以便本公开所属技术领域的技术人员能够容易地实施。本公开可以以多种不同形态体现，并不限定于此处说明的实施例。
在本公开的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或一组实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本公开中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的表示中，“一组”的含义是两个或两个以上，除非另有明确具体的限定。
为了明确说明本公开，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
虽然在一些示例中术语第一、第二等在本文中用来表示各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等表示。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、模块、项目、种类、和/或组，但不排除一个或一组其他特征、步骤、操作、元件、模块、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例，并非意在限定本公开。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本公开所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的消息相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。
目前，自动驾驶成为各方厂商争相研究的技术。但是，以往传统的自动驾驶的运动决策中，都是基于实时感知的数据进行分析得到的。实际上，如果能包含更多的关于未来的行驶风险信息，可以有助于提升决策的效果。另外，目前对于所感知环境数据对于行驶风险的可视化方式也很欠缺，不利于后续的决策。
鉴于此，本公开实施例中提供行驶场景感知数据处理方法，提供风险场的显示，以解决以上可视化和未来预测信息不足的问题。
如图1所示，展示本公开实施例中行驶场景感知数据处理方法的流程示意图。
在图1中，所述行驶场景感知数据处理方法包括：
步骤S101：在每个当前时刻，获取行动装置在行驶场景中的行驶场景感知数据；
在一些实施例中，所述行驶场景可以例如为道路交通场景。所述行动装置可以示例为机动车辆或者非机动车。所述行驶场景中还具有多个场景目标，所述多个场景目标包括静态目标和动态目标。静态目标即始终静止的目标。示例性地，所述静态目标包括例如车道线。车道线可以分为各种类型，比如实线、虚线、道路边界线等类型。动态目标即可以运动的目标。示例性地，在道路交通场景中，所述动态目标也可以定义为道路交通参与者，道路交通参与者的类型包括：机动车辆、非机动车辆、行人等。
在一些实施例中，所述行驶场景感知数据可以是在地图坐标系的鸟瞰视角(Bird’s Eye View，BEV)的感知结果，即包含各个目标物的信息的鸟瞰视图。各个目标物包括所述道路交通参与者和车道线。其中，BEV感知即通过车辆上的相机、激光雷达、及毫米波雷达等中的一种或多种传感器采集的点云数据生成俯视图(地图)坐标系下感知结果的算法，包括检测、分割等任务。当前在BEV下进行感知方法有很多，根据当下比较主流的构建方式划分为两大类。
第一类是自下而上的BEV空间特征构建方法(也被称为基于深度的方法)，这类方法大体的思路是利用人工设计的深度预测网络对图像像素的深度信息进行预测，进而实现将网络提取到的2D图像特征转换为3D的相机视锥特征，实现2D空间特征到3D空间特征的转换，然后，再利用后续的体素池化(Voxel Pooling)等操作实现BEV空间特征的构建，体素池化是将3D多视图特征聚合为一个完整的BEV特征。常见的自下而上的BEV空间特征构建方法有LSS、BEVDet、BEVDepth等。
第二类是自上而下的BEV空间特征构建方法，这类方法大体的思路是先在BEV空间下，根据点云的感知范围以及体素大小预先构建一组3D空间网格，然后利用相机内外参变换矩阵将3D空间网格点投影到图像坐标系下，接着对相应位置处的二维图像特征(通常为环视图像特征)进行采样，最终实现BEV空间特征的构建。或者，利用最近比较火的Transformer中的的查询(Query)思想，在3D空间下初始一组Object Query，通过交叉关注(Cross-Attention)的思想将Object Query与图像特征进行交互，得到BEV特征从而预测感知结果。如DETR3D、BEV Former、PETR等。
在BEV感知结果中，每个道路交通参与者可以分配有唯一ID，以及记录每个道路交通参与者在当前数据帧的关联的运动状态信息，其中可包括位置、速度、朝向、加速度等信息，即形成例如{ID，位置、速度，朝向，加速度...}的一条数据记录。在BEV感知结果中，对车道线记录车道线信息，包含每条车道线的类型、位置坐标等信息。需说明的是，在一些实施例中，在考虑交通标志对于行车风险的情况下，也可以在BEV感知结果中增加交通标志的信息感知，比如人行横道线、停止线、减速线等交通标志线。或者，还可以包含其它交通标志。这些都可以基于对目标物的识别得到。
步骤S102：基于所述行驶场景感知数据形成相关于所述多个场景目标的多种风险场。
在一些实施例中，每个风险场由场景中赋有风险值的各位置点构成，所述风险值的大小表示该位置点对于行动装置的交通风险的大小。示例性地，各位置点可位于BEV坐标系下，通过BEV坐标系中的坐标点表示，则风险场可呈现在鸟瞰视图中。
每个场景目标皆可有对应的至少一种风险场。即，所述多种风险场可以包括对应静态目标的风险场，也可以包含对应动态目标的风险场。静态目标的风险场基本是固定的，而动态目标的风险场随其运动产生变化。虽然实时的风险场对于行动装置的行为决策具有非常高的参考价值，但是时序信息同样对行为决策也有很高的价值。比如，在当前时刻，行动装置需要进行规避车辆的动作(比如刹车、转向)时，如果考虑相关的其它动态目标在未来几个时刻的轨迹，相比于只考虑实时规避而言，对规避动作的方式、参数等可能会有较大差异以减小或消除该规避动作可能所导致的不良后果。
因此，所述多种风险场中可以包括至少一种基于时间预测的风险场。所述基于时间预测的风险场根据所述行动装置的参考轨迹点分别与动态目标所在的每个第一预测轨迹点之间的相关性所构建、和/或根据动态目标在每个第一预测轨迹点的预测运动状态信息所构建。所述参考轨迹点可以包括当前时刻的轨迹点、和/或未来时刻的第二预测轨迹点。在一个或者多个未来时刻，动态目标所在的第一预测轨迹点的位置、预测运动状态信息(如方向、速度、加速度)等对于行动装置而言会产生潜在交通风险。行动装置由于自身的运动属性，其在未来时刻也会具有第二预测轨迹点和预测运动状态信息，则动态目标的风险也会随相对位置变化而变化。由此，分析动态目标未来时刻的第一预测轨迹点相对于的行动装置的当前时刻或未来时刻的第二预测轨迹点的潜在风险，对于后续决策分析很有价值。
在一些示例中，可先对每个动态目标以及行动装置在未来时刻的运动轨迹点进行预测。或者，也可以利用已有的预测结果。运动轨迹预测的实现可以基于物理的方法、基于经典机器学习的方法、深度学习的方法、或基于强化学习的方法等。
作为示例的，基于物理的方法采用车辆动力学或运动学模型，例如单轨迹方法、卡尔曼滤波方法和蒙特卡罗方法。基于物理的模型限于短期预测和静态场景，但简单且响应快速。
作为示例的，基于机器学习的方法应用数据驱动模型来预测轨迹。基于经典机器学习的AV轨迹预测方法包括高斯过程(GP)、支持向量机(SVM)、隐马尔可夫模型(HMM)、动态贝叶斯网络(DBN)、K最近邻(KNN)、决策树等。与基于物理的方法相比，这类方法能够考虑更多的因素，其精度相对较高，预测长度较长，但由于车辆操纵是多样的且不同场景变化大，导致泛化能力差。
作为示例的，基于深度学习的轨迹预测方法可以考虑物理相关因素和道路相关因素，还可以考虑交互相关因素，并适应更复杂的场景。一种基于深度学习的轨迹预测方法可以是通过构建轨迹预测序列网络来实现，该网络包括例如递归神经网络(RNN)、卷积神经网络(CNN)和注意力机制(AM)等或它们的各种组合。除了轨迹预测序列网络以外，基于深度学习的轨迹预测方法也可以通过图网络实现，包括图卷积网络(GCN)、使用矢量地图的图网络、其他图网络等。适用于简单场景和短期预测，但基于深度学习的方法可以在更长的预测范围内进行准确预测。
作为示例的，基于强化学习(RL)的方法用于轨迹预测领域时，大多数方法使用马尔可夫决策过程(MDP)来最大化预期的累积奖励。使用MDP，基于RL的方法可以分为InverseReinforcement Learning(IRL)方法、生成对抗模仿学习(GAIL)方法和深度IRL(DIRL)方法。
通过在以上各种方法中加以选择，以用于实现对动态目标/行动装置的轨迹预测。在一些实施例中，可以基于每个动态目标的历史轨迹和所述行驶场景感知数据进行时序预测，得到所述动态目标在预设时长内的各第一预测轨迹点及相应的第一预测运动状态信息；和/或，基于所述行动装置的历史轨迹和当前运动状态信息进行时序预测，得到所述行动装置在所述预设时长内的每个未来时刻的第二预测轨迹点。
示例性地，从行驶场景感知数据可以得到动态目标的当前轨迹点的位置信息和当前运动状态信息，从所记录的历史行驶场景感知数据可得到历史轨迹(包括各历史轨迹点)和对应的历史运动状态信息集合，具体可呈现为多条历史数据，每条历史数据包括一个历史轨迹点的位置信息和对应在该历史轨迹点的历史运动状态信息。构建用于动态目标的时序预测模型(如RNN或其变种模型)，输入动态目标的多条历史数据的集合至时序预测模型。通过时序预测模型预测下一时刻的动态目标的一条预测数据，该条预测数据包括预测轨迹点和预测运动状态信息。示例性地，之后可以结合历史数据的集合、以及该条预测数据来预测再下一时刻的预测数据。示例性地，在得到足够数量的多条预测数据的集合后，还可以根据多条预测数据的集合来进行下一时刻的一条预测数据的预测。
原理类似的，行动装置的第二预测轨迹点及相应预测状态信息的预测方式与以上的动态目标类似，构建用于行动装置的时序预测模型，利用历史数据和当前数据来预测未来的预测数据。示例性地，所述行动装置的历史轨迹和历史运动状态信息、以及当前轨迹点和当前运动状态信息，可以通过其传感器采集得到。比如，通过行动装置的定位模块(如GPS、LBS等)、速度传感器、加速度传感器的历史及当前采集数据得到。
举例来说，设当前时刻为t，t-1为上一时刻，t+1为未来的下一时刻。t时刻的运动装置或动态目标在BEV坐标系下轨迹点的坐标为Pt，运动状态信息为St，可以根据历史数据{(Pt-m，St-m)，(Pt-m+1，St-m+1).....(Pt，St)}预测(Pt+1，St+1)，再根据例如{(Pt-m+1，St-m+1).....(Pt，St)，(Pt+1，St+1)}预测(Pt+2，St+2)。可选的，可以一直预测至{(Pt+1，St+1).....(Pt+m，St+m)}预测(Pt+m+1，St+m+1)。
在一些实施例中，行动装置、动态目标的轨迹点可以由选自它们本体上的一个参考点来代表。例如，所述参考点可以是行动装置、动态目标的中心点，如质心等。
在一些实施例中，所述至少一种基于时间预测的风险场包括风险动态场RT。作为实现示例，可以对于每个动态目标，基于每个参考轨迹点同预设未来时长内每个未来时刻的第一预测轨迹点之间的预测间距，得到每个未来时刻的第一预测轨迹点的动态风险值以形成每个动态风险场。其中，所述动态风险值负相关于所述预测间距、以及未来时刻距离参考时刻的时差。可以理解的，即离行动装置越近的动态目标上的点风险值越大，离当前时刻越远的未来的风险值越小。
举一实例进行说明，对感知获得的每个交通参与者，根据其历史轨迹数据，预测每个动态目标i在当前时刻的未来n秒内的第一预测轨迹点集合，表示为Track(i)＝{(AS,BS),...,(AE,BE)}，其中(AS,BS)为车辆中心在BEV坐标系下的坐标，(AE,BE)为BEV坐标系下车辆未来n秒轨迹的终点。n为整数，比如3。
根据行动装置的历史轨迹以及当前运动状态信息，预测行动装置未来p秒的第二预测运动轨迹点的第二预测轨迹点集合。所述当前运动状态信息包括车辆速度v、车辆航向角heading、车辆加速度a、车辆轮轴转角angle，所预测的未来p秒的第二预测轨迹点集合，表示为Track_Host＝{(MS,NS),...,(ME,NE)}，其中(MS,NS)为行动装置中心点在BEV下的坐标，(ME,NE)为BEV坐标下行动装置未来n秒轨迹的终点。
通过构建动态目标的动态风险的数学模型，来行动装置在当前时刻的位置与动态目标i的预测轨迹的向量Ti上任意第二预测轨迹点(a,b)的距离为d_Ti(a,b)，Ti基于Track(i)得到；动态目标i的第一预测轨迹点(a,b)的风险值计算公式(1)可示例为：
其中，f(t)与是与预测轨迹点的未来时刻有关的函数，t表示第一预测轨迹点(a,b)对应的未来时刻t，t≤n。示例性地定义f(t)＝m/t，m为整数，比如10。
由此类推，根据场景中的每个交通参与者的预测轨迹点都如式(1)计算风险值，并赋给每个动态目标的轮廓范围的每个点，可以得到当前时刻的动态风险场RT。
以上当前时刻的动态风险场RT的计算方式为例，基于{(MS,NS),...,(ME,NE)}中的每个未来时刻的第二预测轨迹点分别与{(AS,BS),...,(AE,BE)}中各个第一预测轨迹点，利用式(1)进行计算，以得到n秒中每个未来时刻的动态风险场。
在步骤S103的风险场叠加中，每个第一预测轨迹点在各个风险场中的风险值得到累加以形成各第一预测轨迹点的最终的风险值。通过未来时刻预测的风险值的叠加，能更准确地反映随着行动装置的未来运动各第一预测轨迹点的潜在风险变化。
在一些实施例中，根据动态目标在每个第一预测轨迹点的预测运动状态信息，可以构建扩散风险场Rs。作为示例，可先获得动态目标在第一预测轨迹点的第一预测运动状态信息，所述第一预测运动状态信息包括预测速度和预测航向角。进一步地，基于所述动态目标的第一预测运动状态信息，得到动态目标所在第一预测轨迹点周围扩散点的扩散风险值。其中，所述扩散风险值与所述扩散点偏离动态目标的运动方向的角度负相关、与动态目标的预测速度正相关、以及与扩散点同预测轨迹点的间距负相关。详细而言，由于运动中的动态目标对行动装置所构成的行车危险程度与动态目标的运动方向和运动速度都有关，相同距离下，行动装置从运动中的他车前方相向接近时，行车危险值较大，并且随着运动速度的增大，行车危险程度也逐渐增大。因此，偏离动态目标的运动方向(一般定义为前方)的角度小，则风险值越大；反之，则风险值越小。在一些实施例中，通过构建扩散风险的数学模型，来计算扩散风险值。
举例说明扩散风险的数学模型的实现。可以参考图2所示，展示本公开一实施例中扩散风险场的原理示意图。对于当前时刻下的动态目标i，设从所述行驶场景感知数据(即当前时刻的BEV感知结果)获取的动态目标i的预测运动状态信息包括速度v、航向角heading。动态目标在其周围所形成的风险扩散点场如下式(2)所示：
其中，k为大于0的自定义常量。dij＝(xj-xi,yj-yi)表示动态目标i中心点(xi,yi)与扩散点(xj,yj)之间的距离矢量。θi为目标车辆的运动方向(可以根据heading确定)与dij的夹角。该夹角越小，其cos值越大，也就表明行车危险值越大。R_spreadmax为θi＝0时，动态目标自身的边界点(xl,yl)计算得到的
由于所述动态目标包括行人、车辆等。由于行人有不同类型，比如成人、儿童，也可以进一步区分老人、青中年人、残疾人等等。而且，行人也有不同姿态，比如行走、蹲坐、躺着等，这些因素都会影响到其周围风险场的大小与风险值。比如，成人的反应比儿童好，则风险就比儿童要低；行走的话移动的概率、范围比蹲坐大，出现碰撞的风险比蹲坐要高。
式(2)中的效益参数α，可以用于衡量这些因素。故式(2)中引入α时，式(2)的数学模型实现基于所述动态目标的预测运动状态信息、以及行人类别和/或姿态，得到行人所在预测轨迹点周围扩散点的扩散风险值。对于车辆而言，α＝0，因为车辆没有这些姿态。因此，在不考虑行人的场景中，也可以将α直接置0。对于行人而言，效益参数α可如下表设置：
α 成人 儿童
行走 0.8 0.9
蹲坐 0.3 0.4
躺着 0.2 0.3
对环境中的所有交通参与者分别计算其风险扩散点场后，可以得到整体环境的扩散风险场RS。
结合之前实施例中预测到的每个动态目标i的第一预测轨迹点集合{(MS,NS),...,(ME,NE)}，根据其中每个未来时刻的第一预测轨迹点所对应的第一预测运动状态参数，可以输入公式(2)以得到每个未来时刻的每个动态目标i周围的扩散点的扩散风险值，从而得到每个未来时刻的扩散风险场RS。
在一些实施例中，除了所述动态风险场RT，扩散风险场RS等基于时间预测的风险场以外还可以根据场景目标或交通风险因素设置其它类型风险场，比如当前时刻下的场景中车道线的静态风险场RL，又比如动态目标的基础风险场RB。
作为示例，说明静态风险场RL的构建原理。基于每条车道线的类型得到车道线上各位置点的静态风险值，以形成当前时刻的静态风险场。
具体而言，由于车道线包含实线、虚线、道路边界线等类型，基于它们不同压触的交通风险高低不同，可以设置场景中每条车道线在行动装置的自身坐标系下的函数表达式信息。示例性地，所述行动装置为车辆，则所述自身坐标系指的是以行驶装置后轴中心为原点，车头方向为x坐标轴，向左为y坐标轴。
该模块将所获取到的车道线信息，根据车道线种类不同，其对于行驶的限制及影响亦不同。
对一条车道线L_i而言，其类型为L_type，其经过的位置点的函数表达式为y＝F_Li(x)，根据车道线类型不同，其经过的位置点的风险值可以计算为R(x,y)＝F_L(l_type)。其中：
由此完成当前时刻的BEV下所有车道线的风险构建，得到当前时刻的各条车道线的静态风险场RL。在一些实施例中，如果考虑到横道线和停止线的风险，也可以增加对这些交通标志线的风险场的构建。
作为示例，说明所述基础风险场的构建原理。可以基于每个动态目标与所述行动装置的当前间距，得到所述每个所述动态目标当前所在位置的各位置点的基础风险值以形成当前时刻的基础风险场；其中，所述基础风险值负相关于所述当前间距。
具体而言，已知每个感知到的动态目标i，无论它的状态信息如何，只要存在在正常道路中，那么该动态目标i对行动装置都是有影响的，所以对于每个动态目标i当前所在位置赋予基础风险值，该基础风险值和行动装置与其他动态目标i的距离di负相关，故对于每个动态目标i，其轮廓范围内每个位置点(x,y)的风险值：
由此完成BEV视角下基础风险模型的构建，得到当前时刻的基础风险场RB。
在一些实施例中，考虑到环境中除了车道线、车辆、行人以外，还有很多其他可能存在的风险场影响因子，比如红绿灯信息，导航信息等。故而，对于这类环境因素，所述多种风险场还可包括补偿风险场RE，其形成因素可以包括以下至少一种：交通规则；交通标识装置(比如交通灯、交通标志牌等)；运动装置和/或动态目标的导航信息等。作为示例，可以根据形成因素的风险大小的特点，比如闯红灯风险值最高、前方学校注意减速的交通标志牌对应风险较高、导航信息偏差交通风险值较低等等特点，进行数学建模以构建风险补偿模型。利用风险补偿模型即可计算相应坐标点的补偿风险值，从而构建补偿风险场RE。
步骤S103：叠加各所述风险场以得到当前时刻的总风险场。
例如，将当前时刻t下的静态风险场RL、基础风险场RB、各个预测的动态风险场RT以及各个预测的扩散风险场RS进行叠加，可选的，亦可叠加补偿风险场RE得到当前时刻的总风险场Rt。其中，每个未来时刻tc下的各动态风险场RT之间实现了叠加，每个未来时刻tc下的各扩散风险场RS之间实现了沿时序的纵向叠加，并与所述当前时刻t下的静态风险场RL、基础风险场RB、和补偿风险场RE之间实现不同类型风险场的横向叠加。相比于单一通过实时数据去分析风险并进行运动决策而言，本公开实施例中得到的总风险场能提供更多有价值的预测风险信息，使得得到的运动决策更加准确可靠。
还可以参考图3所示，展示结合以上实施例以得到总风险场的原理示意图。如该图3所展示，通过初始化静态风险区域(包含车道线)并得到静态风险场RL、构建基础风险模型得到基础风险场RB、构建风险动态模型以得到各动态风险场RT、构建风险扩散模型以得到各扩散风险场RS，并可以通过构建风险补偿模型以得到补偿风险场RE，再进行风险场叠加以得到总风险场。
对时间序列中每一当前时刻按此方法叠加处理，便可得到时间序列下每一当前时刻的总风险场R。
步骤S104：将所述总风险场显示通过对应所述行驶场景的风险热力图显示。
在一些实施例中，所述风险热力图基于BEV视角下的鸟瞰视图呈现，即鸟瞰视图上每个位置点的风险值的呈现即形成所述风险热力图。示例性地，风险热力图可以冷暖色调来区分每个风险场中每个位置点的风险值的大小。例如，较大的风险值由较深的颜色表示，较小的风险值由较浅的颜色表示。或者，较大的风险值由偏暖的颜色表示，较小的风险值由较冷的颜色表示等等。
示例性地，可以参考图4A所示，展示一个示例中当前场景下车辆向后拍摄的场景图像。图4B展示对应图4A场景的鸟瞰视角下总风险场的的风险热力图。从中，可以看到两边路沿和中间双线的3条车道线的风险场，以及左、右两个车辆的风险场。示例性地，两个车辆在向其前进方向形成尖锐的凸出，即图中A、B框所选择，这是由于基于两辆车的预测轨迹点形成的动态风险场、扩散风险场叠加下的结果，其所对应的风险值高低对应的暖冷色情况可以提示预测轨迹点的风险大小。
如图5所示，展示本公开一实施例中行驶场景感知数据处理装置的模块示意图。需说明的是，所述行驶场景感知数据处理装置的原理、技术实现可以参考之前实施例中的行驶场景感知数据处理方法，因此本实施例中不作重复赘述。
所述行驶场景感知数据处理装置500包括：
行驶场景感知模块501，用于在每个当前时刻，获取行动装置在行驶场景中的行驶场景感知数据；所述行驶场景中还具有多个场景目标，所述多个场景目标包括静态目标和动态目标。
风险场构建模块502，用于基于所述行驶场景感知数据形成相关于所述多个场景目标的多种风险场，每个风险场由场景中赋有风险值的各位置点构成，所述多种风险场包括至少一种基于时间预测的风险场，所述基于时间预测的风险场根据所述行动装置的参考轨迹点分别与动态目标所在的每个第一预测轨迹点之间的相关性所构建、和/或根据动态目标在每个第一预测轨迹点的预测运动状态信息所构建；所述参考轨迹点包括当前时刻的轨迹点、和/或未来时刻的第二预测轨迹点。
风险场叠加模块503，用于叠加各所述风险场以得到当前时刻的总风险场。
显示模块504，用于将所述总风险场显示通过对应所述行驶场景的风险热力图显示。
需特别说明的是，在图5实施例中的各个功能模块，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以程序指令产品的形式实现。程序指令产品包括一个或一组程序指令。在计算机上加载和执行程序指令指令时，全部或部分地产生按照本公开的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
并且，图5实施例所揭露的装置，可通过其它的模块划分方式实现。以上所表示的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如一组模块或模块可以结合或者可以动态到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接于可以是通过一些接口，装置或模块的间接耦合或通信连接于，可以是电性或其它的形式。
另外，图5实施例中的各功能模块及子模块可以动态在一个处理部件中，也可以是各个模块单独物理存在，也可以两个或两个以上模块动态在一个部件中。上述动态的部件既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述动态的部件如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
需特别说明的是，本公开上述实施例的流程图表示的流程或方法表示可以被理解为，表示包括一个或更一组被配置成实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
例如，图1等方法实施例中的各个步骤的顺序可能可以在具体场景中加以变化，并非以上述表示为限。
图1中的方法可以运行在控制器中。示例性地，所述控制器可以是车载控制器。
如图6所示，展示本公开一实施例中控制器的结构示意图。
所述控制器600包括总线601、处理器602、存储器603。处理器602、存储器603之间可以通过总线601通信。所述存储器603中可以存储有程序指令。所述处理器602通过运行存储器603中的程序指令来实现之前实施例中相机标定方法中的步骤。
总线601可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，虽然图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在一些实施例中，处理器602可以为中央处理器(Central Processing Unit，CPU)、微处理单元(MCU)、片上系统(System On Chip)、或现场可编程逻辑阵列(FPGA)等实现。存储器603可以包括易失性存储器(Volatile Memory)以用于运行程序时的数据暂存使用，例如随机存取存储器(Random Access Memory，RAM)。
存储器603还可以包括非易失性存储器(non-volatile memory)以用于数据存储，例如只读存储器(Read-Only Memory，ROM)，快闪存储器，硬盘驱动器(Hard DiskDrive，HDD)或固态盘(Solid-State Disk，SSD)。
在一些实施例中，所述控制器600还可以包括通信器604。所述通信器604用于与外部通信。在具体实例中，所述通信器604可以包括一个或一组有线和/或无线通信电路模块。举例来说，所述通信器604可以包括例如有线网卡、USB模块、串行接口模块等中的一种或多种。无线通信模块所遵循的无线通信协议包括：例如近距离无线通信(Nearfieldcommunication，NFC)技术、红外(Infared，IR)技术、全球移动通讯系统(Global Systemfor Mobile communications，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址引入(Code Division MultipleAccess，CDMA)、宽带码分多址(WidebandCode division multiple access，WCDMA)、时分码分多址(Time-Division Code DivisionMultiple Access，TD-SCDMA)、长期演进(Long Term Evolution，LTE)、蓝牙(BlueTooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)等中的一种或多种。
本申请实施例中还可提供一种车辆，包括：图6中的控制器。
本公开实施例中还可以提供一种计算机可读存储介质，存储有程序指令，所述程序指令被运行时实现之前任一实施例中的行驶场景感知数据处理方法。
即上述实施例中的方法步骤被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此表示的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。
综上所述，如上所述，本公开实施例中提供行驶场景感知数据处理方法、装置、控制器及存储介质，方法包括：在每个当前时刻，获取行动装置在行驶场景中的行驶场景感知数据；所述行驶场景中还具有多个场景目标，所述多个场景目标包括静态目标和动态目标；基于所述行驶场景感知数据形成相关于所述多个场景目标的多种风险场，每个风险场由场景中赋有风险值的各位置点构成，所述多种风险场包括至少一种基于时间预测的风险场，所述基于时间预测的风险场根据所述行动装置的参考轨迹点分别与动态目标所在的每个第一预测轨迹点之间的相关性所构建、和/或根据动态目标在每个第一预测轨迹点的预测运动状态信息所构建；所述参考轨迹点包括当前时刻的轨迹点、和/或未来时刻的第二预测轨迹点；叠加各所述风险场以得到当前时刻的总风险场；将所述总风险场显示通过对应所述行驶场景的风险热力图显示。实现可视化的行驶环境的风险程度的风险热力图的呈现，且一些风险场包含了对未来风险预测的信息，有助于提升进一步的自动驾驶的行动规划决策的精准性。
上述实施例仅例示性说明本公开的原理及其功效，而非用于限制本公开。任何熟悉此技术的人士皆可在不违背本公开的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本公开所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本公开的权利要求所涵盖。

Claims (10)

1.一种行驶场景感知数据处理方法，其特征在于，包括：
在每个当前时刻，获取行动装置在行驶场景中的行驶场景感知数据；所述行驶场景中还具有多个场景目标，所述多个场景目标包括静态目标和动态目标；
基于所述行驶场景感知数据形成相关于所述多个场景目标的多种风险场，每个风险场由场景中赋有风险值的各位置点构成，所述多种风险场包括至少一种基于时间预测的风险场，所述基于时间预测的风险场根据所述行动装置的参考轨迹点分别与动态目标所在的每个第一预测轨迹点之间的相关性所构建、和/或根据动态目标在每个第一预测轨迹点的预测运动状态信息所构建；所述参考轨迹点包括当前时刻的轨迹点、和/或未来时刻的第二预测轨迹点；根据动态目标在每个第一预测轨迹点的预测运动状态信息构建风险场，包括：获得动态目标在第一预测轨迹点的第一预测运动状态信息；所述第一预测运动状态信息包括预测速度和预测航向角；基于所述动态目标的第一预测运动状态信息，得到动态目标所在第一预测轨迹点周围扩散点的扩散风险值以构成扩散风险场；其中，所述扩散风险值与所述扩散点偏离动态目标的运动方向的角度负相关、与动态目标的预测速度正相关、以及与扩散点同预测轨迹点的间距负相关；
叠加各所述风险场以得到当前时刻的总风险场；
将所述总风险场通过对应所述行驶场景的风险热力图显示。
2.根据权利要求1所述的行驶场景感知数据处理方法，其特征在于，所述行驶场景感知数据包括各场景目标的当前轨迹点的位置信息及运动状态信息；所述方法包括：
基于每个动态目标的历史轨迹和所述行驶场景感知数据进行时序预测，得到所述动态目标在预设时长内的各第一预测轨迹点及相应的第一预测运动状态信息；和/或，基于所述行动装置的历史轨迹和当前运动状态信息进行时序预测，得到所述行动装置在所述预设时长内的每个未来时刻的第二预测轨迹点。
3.根据权利要求1所述的行驶场景感知数据处理方法，其特征在于，所述至少一种基于时间预测的风险场包括风险动态场；根据所述行动装置的参考轨迹点与动态目标所在的每个第一预测轨迹点之间的相关性构建风险场，包括：
对于每个动态目标，基于每个所述参考轨迹点同预设时长内每个未来时刻的第一预测轨迹点之间的预测间距，得到每个未来时刻的第一预测轨迹点的动态风险值，以形成每个动态风险场；
其中，各所述参考轨迹点分别为所述行动装置在当前时刻的轨迹点、及在所述预设时长内的每个未来时刻的第二预测轨迹点；所述动态风险值负相关于所述预测间距、以及未来时刻距离参考时刻的时差。
4.根据权利要求1所述的行驶场景感知数据处理方法，其特征在于，所述动态目标包括行人；所述基于所述动态目标的第一预测运动状态信息，得到动态目标所在第一预测轨迹点周围扩散点的扩散风险值，还包括：
基于所述动态目标的预测运动状态信息、以及行人类别和/或姿态，得到行人所在预测轨迹点周围扩散点的扩散风险值。
5.根据权利要求1所述的行驶场景感知数据处理方法，其特征在于，所述静态目标包括车道线，所述多种风险场包括车道线的静态风险场；所述基于所述行驶场景感知数据形成相关于每个场景目标的至少一种风险场，包括：
基于每条车道线的类型得到车道线上各位置点的静态风险值，以形成当前时刻的静态风险场。
6.根据权利要求1所述的行驶场景感知数据处理方法，其特征在于，所述多种风险场包括动态目标的基础风险场；所述基于所述行驶场景感知数据形成相关于每个场景目标的至少一种风险场，包括：
基于每个动态目标与所述行动装置的当前间距，得到所述每个所述动态目标当前所在位置的各位置点的基础风险值以形成当前时刻的基础风险场；其中，所述基础风险值负相关于所述当前间距。
7.根据权利要求1所述的行驶场景感知数据处理方法，其特征在于，所述多种风险场还包括：补偿风险场，由基于各所述场景目标以外其它因素影响赋予补偿风险值的位置点构成；所述其它因素包括以下至少一种：交通规则；交通标识装置；运动装置和/或动态目标的导航信息。
8.一种行驶场景感知数据处理装置，其特征在于，包括：
行驶场景感知模块，用于在每个当前时刻，获取行动装置在行驶场景中的行驶场景感知数据；所述行驶场景中还具有多个场景目标，所述多个场景目标包括静态目标和动态目标；
风险场构建模块，用于基于所述行驶场景感知数据形成相关于所述多个场景目标的多种风险场，每个风险场由场景中赋有风险值的各位置点构成，所述多种风险场包括至少一种基于时间预测的风险场，所述基于时间预测的风险场根据所述行动装置的参考轨迹点分别与动态目标所在的每个第一预测轨迹点之间的相关性所构建、和/或根据动态目标在每个第一预测轨迹点的预测运动状态信息所构建；所述参考轨迹点包括当前时刻的轨迹点、和/或未来时刻的第二预测轨迹点；根据动态目标在每个第一预测轨迹点的预测运动状态信息构建风险场，包括：获得动态目标在第一预测轨迹点的第一预测运动状态信息；所述第一预测运动状态信息包括预测速度和预测航向角；基于所述动态目标的第一预测运动状态信息，得到动态目标所在第一预测轨迹点周围扩散点的扩散风险值以构成扩散风险场；其中，所述扩散风险值与所述扩散点偏离动态目标的运动方向的角度负相关、与动态目标的预测速度正相关、以及与扩散点同预测轨迹点的间距负相关；
风险场叠加模块，用于叠加各所述风险场以得到当前时刻的总风险场；
显示模块，用于将所述总风险场通过对应所述行驶场景的风险热力图显示。
9.一种控制器，其特征在于，包括：
处理器及存储器；
所述存储器存储有程序指令；
所述处理器，用于运行所述程序指令，以执行如权利要求1至7中任一项所述的行驶场景感知数据处理方法。
10.一种计算机可读存储介质，其特征在于，存储有程序指令，所述程序指令被运行执行如权利要求1至7中任一项所述的行驶场景感知数据处理方法。
CN202310522542.4A 2023-05-10 2023-05-10 行驶场景感知数据处理方法、装置、控制器及存储介质 Active CN116534052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310522542.4A CN116534052B (zh) 2023-05-10 2023-05-10 行驶场景感知数据处理方法、装置、控制器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310522542.4A CN116534052B (zh) 2023-05-10 2023-05-10 行驶场景感知数据处理方法、装置、控制器及存储介质

Publications (2)

Publication Number Publication Date
CN116534052A CN116534052A (zh) 2023-08-04
CN116534052B true CN116534052B (zh) 2023-12-05

Family

ID=87446654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310522542.4A Active CN116534052B (zh) 2023-05-10 2023-05-10 行驶场景感知数据处理方法、装置、控制器及存储介质

Country Status (1)

Country Link
CN (1) CN116534052B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118506300B (zh) * 2024-07-22 2024-10-18 浙江鼎奕科技发展有限公司 用于行车危险自动识别的图像处理系统及方法
CN118545046B (zh) * 2024-07-29 2024-10-18 武汉理工大学 基于数字孪生和预测风险场的车辆行车风险辨识方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113635897A (zh) * 2021-09-24 2021-11-12 北京航空航天大学 一种基于风险场的安全驾驶预警方法
CN113793534A (zh) * 2021-09-09 2021-12-14 清华大学 一种确定车路协同环境下行车风险场的方法和装置
CN113822593A (zh) * 2021-09-30 2021-12-21 中国第一汽车股份有限公司 一种安全态势评估方法、装置、存储介质及电子设备
CN114419874A (zh) * 2021-11-25 2022-04-29 山东高速建设管理集团有限公司 基于路侧感知设备数据融合的目标行车安全风险预警方法
CN115140034A (zh) * 2022-06-27 2022-10-04 阿里巴巴达摩院(杭州)科技有限公司 碰撞风险检测方法、装置及设备
CN115683145A (zh) * 2022-11-03 2023-02-03 北京踏歌智行科技有限公司 一种基于轨迹预测的自动驾驶安全避障方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2950294B1 (en) * 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis
JP2021142788A (ja) * 2020-03-10 2021-09-24 トヨタ自動車株式会社 運転支援システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793534A (zh) * 2021-09-09 2021-12-14 清华大学 一种确定车路协同环境下行车风险场的方法和装置
CN113635897A (zh) * 2021-09-24 2021-11-12 北京航空航天大学 一种基于风险场的安全驾驶预警方法
CN113822593A (zh) * 2021-09-30 2021-12-21 中国第一汽车股份有限公司 一种安全态势评估方法、装置、存储介质及电子设备
CN114419874A (zh) * 2021-11-25 2022-04-29 山东高速建设管理集团有限公司 基于路侧感知设备数据融合的目标行车安全风险预警方法
CN115140034A (zh) * 2022-06-27 2022-10-04 阿里巴巴达摩院(杭州)科技有限公司 碰撞风险检测方法、装置及设备
CN115683145A (zh) * 2022-11-03 2023-02-03 北京踏歌智行科技有限公司 一种基于轨迹预测的自动驾驶安全避障方法

Also Published As

Publication number Publication date
CN116534052A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
US11521009B2 (en) Automatically generating training data for a lidar using simulated vehicles in virtual space
CN113228042B (zh) 自主机器应用中障碍物检测的距离
CN111133447B (zh) 适于自主驾驶的对象检测和检测置信度的方法和系统
CN110007675B (zh) 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法
CN111095291B (zh) 由自动驾驶车辆实时检测车道和边界
CN110588653B (zh) 自主车辆的控制系统、控制方法以及控制器
JP6741107B2 (ja) 交通状況のリアルタイム検出
US11042157B2 (en) Lane/object detection and tracking perception system for autonomous vehicles
US11593950B2 (en) System and method for movement detection
EP3759700B1 (en) Method for determining driving policy
CN116534052B (zh) 行驶场景感知数据处理方法、装置、控制器及存储介质
US10837788B1 (en) Techniques for identifying vehicles and persons
US10872228B1 (en) Three-dimensional object detection
CN114902295A (zh) 用于自主驾驶应用的三维路口结构预测
CN110389583A (zh) 生成自动驾驶车辆的轨迹的方法
CN113632095A (zh) 使用适合停车位检测的倾斜多边形进行对象检测
CN110618678A (zh) 自主机器应用中的行为引导路径规划
US11520347B2 (en) Comprehensive and efficient method to incorporate map features for object detection with LiDAR
CN110388931A (zh) 将对象的二维边界框转换成自动驾驶车辆的三维位置的方法
US11699237B2 (en) Bounding box embedding for object identifying
CN111986128A (zh) 偏心图像融合
JPWO2007083494A1 (ja) 図形認識装置、図形認識方法および図形認識プログラム
CN117440908A (zh) 用于自动驾驶系统中基于图神经网络的行人动作预测的方法和系统
US11537819B1 (en) Learned state covariances
CN110390240A (zh) 自动驾驶车辆中的车道后处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant