CN111428759A - 数据融合方法、电子设备及存储介质 - Google Patents

数据融合方法、电子设备及存储介质 Download PDF

Info

Publication number
CN111428759A
CN111428759A CN202010161962.0A CN202010161962A CN111428759A CN 111428759 A CN111428759 A CN 111428759A CN 202010161962 A CN202010161962 A CN 202010161962A CN 111428759 A CN111428759 A CN 111428759A
Authority
CN
China
Prior art keywords
data fusion
weight coefficient
data
filter
credibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010161962.0A
Other languages
English (en)
Inventor
宋聚宝
原诚寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing New Energy Vehicle Technology Innovation Center Co Ltd
Original Assignee
Beijing New Energy Vehicle Technology Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing New Energy Vehicle Technology Innovation Center Co Ltd filed Critical Beijing New Energy Vehicle Technology Innovation Center Co Ltd
Priority to CN202010161962.0A priority Critical patent/CN111428759A/zh
Publication of CN111428759A publication Critical patent/CN111428759A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开实施例公开了一种数据融合方法方法、电子设备及存储介质。其中数据融合方法，包括：建立数据融合滤波模型，所述数据融合滤波模型包括主滤波器和多个局部滤波器；获取每个所述局部滤波器的权重系数；将所述权重系数与预设置的阈值进行比较，当所述权重系数小于阈值时，则将该权重系数对应的局部滤波器剔除数据融合滤波模型，所述主滤波器不对该局部滤波器进行反馈纠正，当所述权重系数大于阈值时，所述主滤波器对该权重系数对应的局部滤波器进行反馈纠正。实现在不同的传感器组合在不同环境下能够稳定可靠的输出感知结果，实现环境感知的自适应，增强系统的鲁棒性。

Description

数据融合方法、电子设备及存储介质
技术领域
本公开属于自动驾驶技术领域，更具体地，涉及一种数据融合方法方法、电子设备及存储介质。
背景技术
自动驾驶的三大工作内容分别是环境感知、规划决策和执行控制。环境感知主要包括三个方面，路面、静态物体和动态物体。环境感知作为第一环节，处于智能驾驶车辆与外界环境信息交互的关键位置，其关键在于使智能驾驶车辆更好地模拟人类驾驶员的感知能力，从而理解自身和周边的驾驶态势。
相机、雷达、定位导航系统等为智能驾驶车辆提供了海量的周边环境及自身状态数据，这些以图像、点云等形式呈现的数据包含了大量与驾驶活动无关的信息。选择性作为人类自然感知的重要特征，可以帮助智能驾驶车辆聚焦当前驾驶行为，确保智能驾驶的安全性和实时性。环境感知需要遵照近目标优先、大尺度优先、动目标优先、差异性优先等原则，采用相关感知技术对环境信息进行选择性处理。
由于道路环境、天气环境的多样性、复杂性以及智能驾驶车辆本身的运动特性，没有完美的感知设备，设备不理想是常态，也不存在完美无缺的设备组合方案。然而对于不同的驾驶任务而言，需要不同的感知设备种类和类型，并非要配置最全、最多、最贵的感知设备才能完成驾驶任务，而是要以任务需求为导向，有针对性地选取合适的感知设备，组合实现优化配置。
现有技术自动驾驶中的传感器单独工作，车辆在不同环境条件下使用时，因不同的传感器数据单独感知，从而存在不同环境下输出感知结果不够稳定可靠，且环境感知的自适应差，系统的鲁棒性差的问题。
发明内容
有鉴于此，本公开实施例提供了一种数据融合方法方法、电子设备及存储介质，至少解决不同环境下输出感知结果不够稳定可靠，且环境感知的自适应差，系统的鲁棒性差的问题。
第一方面，本公开实施例提供了一种数据融合方法，包括：
建立数据融合滤波模型，所述数据融合滤波模型包括主滤波器和多个局部滤波器；
获取每个所述局部滤波器的权重系数；
将所述权重系数与预设置的阈值进行比较，当所述权重系数小于阈值时，则将该权重系数对应的局部滤波器剔除数据融合滤波模型，所述主滤波器不对该局部滤波器进行反馈纠正，
当所述权重系数大于阈值时，所述主滤波器对该权重系数对应的局部滤波器进行反馈纠正。
可选的，所述获取每个所述局部滤波器的权重系数，包括：
获取数据融合滤波模型各个输入子系统的预估可信度；
基于所述预估可信度生成权重系数A；
获取数据融合滤波模型运行时，输入子系统对应的自适应的权重系数B；
将所述权重系数A和所述权重系数B进行加权平均，行的得到权重系数C。
可选的，所述获取数据融合滤波模型各个输入子系统的预估可信度，包括：
根据输入子系统的所处环境获取所述输入子系统不同状态下的可信度；
基于不同状态下的可信性建立可信度列表。
可选的，根据输入子系统的所处环境获取所述输入子系统不同状态下的可信度，还包括：
将最好的状态和最差的状态之间做百分比。
可选的，所述基于所述预估可信度生成权重系数A，包括：
基于可信度列表获取多组权重系数；
将多组权重系数按照加权统计进行计算，生成权重系数A。
可选的，所述数据融合滤波模型为：联邦卡尔曼滤波模型。
可选的，所述数据融合滤波模型的参考系统为IMU。
第二方面，本公开实施例还提供了一种用于智能网联汽车的数据融合方法，包括：
使用第一方面任一所述的数据融合方法对车载环境感知传感器获取的数据进行数据融合，得到第一数据融合结果；
使用第一方面任一所述的数据融合方法车载V2X设备获取的数据进行数据融合，得到第二数据融合结果；
使用第一方面任一所述的数据融合方法对第一数据融合结果和第二数据融合结果进行数据融合得到目标融合数据。
第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
存储器，存储有可执行指令；
处理器，所述处理器运行所述存储器中的所述可执行指令，以实现第一方面任一的数据融合方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现以实现第一方面任一的数据融合方法。
本公开通过获取每个所述局部滤波器的权重系数，并将权重系数与设定的阈值相比较，对于权重系数小于阈值的局部滤波器，主滤波器不进行反馈纠正，权重系数大于阈值的局部滤波器，主滤波器才进行反馈纠正。从而融合多种传感器的数据，实现在不同的传感器组合在不同环境下能够稳定可靠的输出感知结果，实现环境感知的自适应，增强系统的鲁棒性。
本公开的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了根据本公开的一个实施例的多传感器融合的流程图；
图2示出了根据本公开的一个实施例的融合系统的结构框图；
图3示出了根据本公开的一个实施例的数据融合方法的流程图；
图4示出了根据本公开的一个实施例的联邦卡尔曼滤波模型的原理框图；
图5示出了根据本公开的一个实施例的无反馈联邦卡尔曼滤波模型的原理框图；
图6示出了根据本公开的一个实施例的传感器数据融合的原理框图；
图7示出了根据本公开的一个实施例的传感器数据融合中权重系数分配的原理框图；
图8示出了根据本公开的一个实施例的V2X数据融合的原理框图；
图9示出了根据本公开的一个实施例的V2X数据融合中权重系数分配的原理框图；
图10示出了根据本公开的一个实施例的目标数据融合的原理框图；
图11示出了根据本公开的一个实施例的目标数据融合中权重系数分配的原理框图。
具体实施方式
下面将更详细地描述本公开的优选实施方式。虽然以下描述了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。
传感器感知领域存在着以下几大挑战：
1、在恶劣天气条件下(如雪，大雨和雾)的感知：
在极端恶劣天气条件下的感知是如今自动驾驶感知领域所面临的一个重要挑战。因为即使对于人类驾驶员来说，这些情景也是十分具有挑战性的。在白雪皑皑的条件下，无论是基于视觉的系统还是基于LiDAR的系统都存在感知困难。雪的“沉重感”或密度会影响激光雷达光束的反射效果，产生“幻影障碍(Phantom obstacles)”。这些“幻影障碍”可以抑制自动驾驶车辆正确判断环境的能力，并可能导致车辆误停。在多雨或多雾的条件下，会出现类似的不同情况。飞溅的雨水会影响激光雷达的反射效果，雾可能会遮挡摄像机的视线，从而抑制了可靠地感知车辆周围环境的能力。
雷达通常在恶劣天气条件下表现良好。但是，由于雷达无法执行稳健的分类和检测道路标记，自动驾驶不能完全依赖雷达来感知。视觉算法的改进是一条潜在的解决方案。因为人类可以只用眼睛进行感知，就能在雨雪中安全驾驶。模拟生物视觉的算法有可能在恶劣环境中大幅提高自动驾驶的可靠性。与此同时，相机、激光雷达和雷达传感器等多传感器融合的方法也可以用于检测阴天，晴天，雪，雨和黑暗条件下的行人和车辆。同时，基于车辆无线数据传输(V2V)和车联网(V2L)的车辆通讯系统可以协助验证传感器数据的准确性。
2、在变化和不利的照明条件下的感知：
镜头光斑(Lens-flares)，大阴影(Large shadows)和其他不利的照明条件也会对感知产生不同的影响。例如，视觉系统可能会将大阴影混淆成其他物体的一部分。还有一些方法可以依赖于有源传感器，例如LiDAR，以克服糟糕照明条件。这种传感器不需要外部光线，因此可以在光线不足和夜间探测障碍物。但是，激光雷达数据在观察复杂或深度纹理的物体(如灌木丛)时通常会产生噪声，从而阻碍系统的感知。因此，为了更好地解决照明条件问题，可以组合来自多个传感器的数据，在不良照明条件下提供不同的优势以获得更好的结果。
3、驾驶员对于自动驾驶系统功能的正确认知：
驾驶员对于自动驾驶系统功能的正确认知，是保证自动驾驶系统正确运行的一大重要条件。但是实际上，普罗大众对于自动驾驶分级中每一级别间的差别知之甚少，对于不同厂商的自动驾驶系统的功能也不甚了解。这就造成了，驾驶员可能过分依赖传感器或完全忽略传感器的状态数据，从而导致恶劣后果。
为了弥补个体缺点，传感器可以通过“多传感器融合”进行耦合。多传感器融合的好处，包括提高感知准确性，可靠性和稳健性。传感器融合不限于融合来自多个传感器的数据，传感器融合还可以通过V2X数据获取更加可靠和更大范围的感知数据。对于自动驾驶商业化来说，多传感器融合可以有效降低成本。多个低精度传感器融合下的精度通常优于使用单个高精度传感器。而单个高精度传感器的成本通常明显高于两个低成本传感器的成本，这些传感器通常可以通过传感器融合实现与单传感器算法类似或更好的结果。本发明实施例通过融合多传感器和V2X设备的数据，增加传感器和设备对于外界环境感知的可信度数据，实现更准确和更完整的自动驾驶感知。
环境感知，即通过摄像头、激光雷达、毫米波雷达、超声波雷达、陀螺仪、加速度计等多种传感器，感知周围的环境信息和车辆状态信息。环境信息包括：道路的形状、方向、曲率、坡度、车道，交通标志，信号灯，其他车辆或行人的位置、大小、前进方向和速度等；车辆状态信息包括：车辆的前进速度、加速度、转向角度、车身位置及姿态等。
多种传感器虽然可以获得丰富、细致的环境信息，但如何对多种传感器的信息进行融合统一处理，也是其中的难题之一，本发明实施例就是实现多传感器融合。其系统流程图如图1所示：
本实施例使用的传感器有激光雷达、毫米波雷车载摄像头、超声波雷达四种环境感知传感器，使用V2P、V2V、V2N和V2I四种类型的V2X设备，还是用了IMU惯性导航设备和时间同步设备等辅助设备，通过多级融合实现目标的检测和跟踪，使用联邦卡尔曼滤波作为系统融合的框架。整个融合系统包含三个融合方案，下面会对三个方案进行详细描述。本系统整体技术方案如图2所示：
如图3所示，一种数据融合方法，包括：
步骤S301：建立数据融合滤波模型，所述数据融合滤波模型包括主滤波器和多个局部滤波器；
可选的，所述数据融合滤波模型为：联邦卡尔曼滤波模型。
本实施例采用联邦卡尔曼滤波作为融合框架，联邦卡尔曼滤波(FederatedKalman Filter，FKF)的主要思想是先分散处理、再全局融合，得到基于所有观测量的全局最优或次优估计。FKF的一般结构如图4所示：
FKF算法主要分为两部分：局部估计和全局估计。图4中的局部滤波器输出的值是局部估计值，同一时刻的局部估计值又传递给主滤波器，并与参考系统输出值进行融合输出全局最优估计。主滤波器分为两步：时间更新和最优估计。其中时间更新主要是基于上个时刻的估计结果，而最优估计主要是融合了主滤波器自身的时间更新值和各子滤波器的传递值。主滤波器的全局最优估计和估计误差方差矩阵通过某种系数比例的方式，分别反馈到了各子滤波器中去。除此以外，参考系统还需同时接受主滤波器的全局最优估计和估计误差方差阵的反馈。需要说明的是参考系统的输出值传递给主滤波器不是必须的。
假设状态向量从k-1时刻到k时刻按照以下状态方程进行传递：
Xk＝Fk,k-1Xk-1+Wk-1，
第i个子系统的观测方程为：
Zik＝HikXik+Vik，
其中Xk为k时刻的状态，Zik为第i个子系统的观测值，Wk-1为k-1时刻的噪声，Vik为第i个子系统的观测噪声，Fk和Hik表示系数，为预设的常量。通过以上公式可以发现FKF的两个方程与线性KF类似，且FKF方程的噪声统计特性与KF也是一致的，都是高斯噪声。
假设这N个子滤波器的局部估计值是
Figure BDA0002406120060000091
相应的估计误差的方差矩阵为P1、P2……PN和系统噪声的协方差矩阵是Q1、Q2……QN。同时，主滤波器的时间更新值是状态估计
Figure BDA0002406120060000092
估计误差的方差矩阵Pm、系统噪声协方差矩阵Qm，全局最优估计可以根据公式计算得到，全局数据是为各子系统之和。其中Pg -1、Qg -1为状态估计值，Pg、Qg为最优值，子滤波器的重要作用是根据观测值对状态估计值进行修正，得到最优值。
Figure BDA0002406120060000093
Qg -1＝Q1 -1+Q2 -1+……+QN -1+Qm -1，
Pg -1＝P1 -1+P2 -1+……+Pm -1，
反馈给局部滤波器的值则按照以下规则将整体信息分配，子滤波系统的状态估计值、协方差矩阵更新则使用全局系统反馈的数据进行，可以实现全局系统对子滤波系统的纠正和反馈，具体全局系统对子系统的干预多少，则根据信息分配策略进行调整。
Figure BDA0002406120060000094
Qi -1＝ξiQg -1，
Pi -1＝ξiPg -1，
根据信息分配策略的不同及主滤波器对局部滤波器是否存在反馈，FKF有以下两大类模型：
1、无反馈模型：
在这种模式下，信息分配系数确定方法为：ξm＝0,
Figure BDA0002406120060000101
Figure BDA0002406120060000102
如图5所示，这种模式下主滤波器只起到简单融合的作用，不再将输出值反馈给各局部滤波器，没有反馈值，局部滤波器的估计精度和单独使用该子系统的精度几乎一样，系统的容错性得到大大提高。
2、有反馈模型：
有反馈模式的滤波往往精度可以得到提高，但是因为引入反馈机制，各局部滤波器之间会有影响，因此容错性会下降。该模式的结构图4所示。
本实施例的融合方案使用的信息反馈策略使用混合反馈模型，主滤波器通过各子系统的可信度权重系数调整参与滤波的子系统，通过权重系数分析模型调整各子滤波器的权重系数。每个子滤波器系统都设置一个阈值(是一个数值区间)，如果该滤波子系统的可信度一旦小于该阈值，则主滤波器把该子系统剔除出融合系统，不对其进行反馈纠正；如果该滤波子系统可信度都大于阈值，则主滤波器通过“权重系数分配模型”对子系统进行反馈纠正。
权重分配机制：融合系统在运行时，从车载传感器状态、路侧传感器状态、车身传感器数据、设备通信数据、高精度地图数据等处获取到传感器和V2X设备对于外界的感知能力，通过加权统计和运算可以得到每一个子滤波器系统此时的感知可信度，该可信度并不会直接用于融合系统，而是结合主滤波器反馈给子滤波器系统的权重数据，经过两级调整后才反馈给子滤波器系统。
总的来讲，子滤波器系统是真正的输入数据源，权重分配机制是对子滤波器系统在当前环境下分配合适的权重系数，以达到更实时和更准确的感知外界信息。
步骤S302：获取每个所述局部滤波器的权重系数；
步骤S303：将所述权重系数与预设置的阈值进行比较，当所述权重系数小于阈值时，则将该权重系数对应的局部滤波器剔除数据融合滤波模型，所述主滤波器不对该局部滤波器进行反馈纠正，
当所述权重系数大于阈值时，所述主滤波器对该权重系数对应的局部滤波器进行反馈纠正。
当所述权重系数等于阈值时，可以根据需要选择将相应的局部滤波器剔除或进行反馈纠正。
可选的，所述获取每个所述局部滤波器的权重系数，包括：
获取数据融合滤波模型各个输入子系统的预估可信度；
基于所述预估可信度生成权重系数A；
获取数据融合滤波模型运行时，输入子系统对应的自适应的权重系数B；
将所述权重系数A和所述权重系数B进行加权平均，行的得到权重系数C。该处的A、B和C只是为了用来区分不同的权重系数，其没有具体的含义，在具体实施中如用其他字母或数字代替应视为相同的技术方案。
可选的，所述获取数据融合滤波模型各个输入子系统的预估可信度，包括：
根据输入子系统的所处环境获取所述输入子系统不同状态下的可信度；
基于不同状态下的可信性建立可信度列表。
可选的，根据输入子系统的所处环境获取所述输入子系统不同状态下的可信度，还包括：
将最好的状态和最差的状态之间做百分比。
可选的，所述基于所述预估可信度生成权重系数A，包括：
基于可信度列表获取多组权重系数；
将多组权重系数按照加权统计进行计算，生成权重系数A。
可选的，所述数据融合滤波模型的参考系统为IMU。
本实施例公开一种用于智能网联汽车的数据融合方法，包括：
使用本实施例的数据融合方法对车载环境感知传感器获取的数据进行数据融合，得到第一数据融合结果；
使用本实施例的的数据融合方法车载V2X设备获取的数据进行数据融合，得到第二数据融合结果；
使用本实施例的数据融合方法对第一数据融合结果和第二数据融合结果进行数据融合得到目标融合数据。
传感器融合：
1)融合方案技术框架:
如图6所示，本传感器融合系统使用四组不同的传感器进行感知，正常运行情况下主滤波器使用四组滤波子系统进行融合，当某一个子滤波器系统受到干扰，比如车载摄像头由于光线变暗、遮挡等影响，其输出的感知可信度小于了该子系统的阈值，则主滤波器将其剔除出融合系统，大幅降低其权重比例到0，同时增加其它激光雷达、毫米波雷达、超声波雷达等子系统的权重比例。每一个子滤波器系统对应都对应自己的权重系数分配模块，按照统一的模型进行计算和分配权重系数。
2)权重系数获取：
系统方案中的权重系数主要类型有三种，车载传感器状态、车身传感器数据和高精度地图数据，根据不同环境和预先测算结果可以转换为系统可信度。车载传感器受环境影响比较大，比如在杨柳絮飞舞、雾霾天气时激光雷达受影响严重，其感知检测的可信度较低；在空旷场地比如广场、或者杂草树木较多的地方毫米波检测效果不好，其感知检测的可信度较低；在隧道、林荫道等光线较暗或者明暗交替区域，车载摄像头受影响比较严重，其感知检测的可信度较低。车身传感器用来检测当前外部环境状态，通过检测外部环境数据用来判断对传感器的影响，比如光线传感器可以用来感知光线强弱，给车载摄像头提供其可信度的依据；比如雾霾传感器可以提供给激光雷达其可信度的依据。高精度地图数据可以提供已经存在的固定物体信息，通过和传感器感知的物体进行匹配，可以过滤掉这些固定目标物。
不同的权重系数获取方式得到的可信度是不一样的，其可信度根据不同的状态、数据综合统计、计算得来。最好的状态和最差的状态之间做一个百分比，获取不同状态下的不同可信度，该可信度列表作为权重系数获取的一部分预先统计得出并设置。
3)权重系数分配模型
系统在运行时，从车载传感器状态、车身传感器、高精度地图数据获取的预估可信度并不会直接用于子滤波器系统，而是结合主滤波器自身反馈的权重数据，经过两级调整后才反馈给子滤波器系统。如图7所示，比如激光雷达滤波子系统，从激光雷达传感器状态、车身传感器数据、高精度地图数据，按照预设权重系数列表转换为三组权重系数，然后按照加权统计进行计算，生成一个权重系数A，该系数可认为是该传感器在此种外部环境时的理想权重；联邦卡尔曼滤波框架在运行时，参与计算的激光雷达数据也会有一个自适应的权重系数B，该系数可以认为是在融合系统中已经分配给激光雷达的权重系数，这两个权重系数进行二级加权平均，形成一个新的权重系数C，该权重系数C则为主滤波器反馈给子滤波器系统的βi值。通常权重系数A和B很接近，一旦A突然和B相差太多，说明激光雷达的感知环境发生较大变化，此时通过反馈给子滤波器系统的权重系数C能够反应出这种变化，增加了系统的准确性和鲁棒性。
V2X融合方案：
1)V2X融合系统框架:
如图8所示，V2X融合系统使用四组不同类型的设备连接进行感知，正常运行情况下主滤波器使用四组滤波子系统进行融合。当某一个子滤波器系统受到干扰，比如路侧设备由于光线变暗、遮挡、雾霾等影响，其输出的感知可信度小于了该子系统的阈值，则主滤波器将其剔除出融合系统，大幅降低其权重比例到0，同时增加其它V2P、V2V、V2N等子系统的权重比例。每一个子滤波器系统对应都对应自己的权重系数分配模块，按照统一的模型进行计算和分配权重系数。
2)权重系数获取：
本系统方案中影响设备感知检测的因素类型有三种，路测设备状态、设备通信数据和高精度地图数据，对每一个不同子滤波器子系统，这三种类型的影响都是不同的，每一种类型根据不同环境和预先测算结果可以转换为子滤波器系统可信度。
路测设备受环境影响比较大，比如在杨柳絮飞舞、雾霾天气时路侧激光雷达受影响严重，其感知检测的可信度较低；在杂草树木较多的地方路侧毫米波检测效果不好，其感知检测的可信度较低；在隧道、林荫道等光线较暗或者明暗交替区域，路侧摄像头受影响比较严重，其感知检测的可信度较低。设备通信数据用来判断感知检测延时情况等，可以提供各感知设备的可信度依据；高精度地图数据可以提供已经存在的固定物体信息，通过和路侧传感器感知的物体进行匹配，可以过滤掉这些固定目标物。
不同的权重系数获取方式得到的可信度是不一样的，其可信度根据不同的状态、数据综合统计、计算得来。最好的状态和最差的状态之间做一个百分比，获取不同状态下的不同可信度，该可信度列表作为权重系数获取的一部分预先统计得出并设置。
3)权重系数分配模型：
系统在运行时，从路侧传感器状态、设备通信数据、高精度地图数据获取的预估可信度并不会直接用于子滤波器系统，而是结合主滤波器自身反馈的权重数据，经过两级调整后才反馈给子滤波器系统。如图9所示，比如路侧设备滤波子系统，从路侧传感器状态、设备通信数据、高精度地图数据，按照预设权重系数列表转换为三组权重系数，然后按照加权统计进行计算，生成一个权重系数A，该系数可认为是该传感器在此种外部环境时的理想权重；联邦卡尔曼滤波框架在运行时，参与计算的激光雷达数据也会有一个自适应的权重系数B，该系数可以认为是在融合系统中已经分配给激光雷达的权重系数，这两个权重系数进行二级加权平均，形成一个新的权重系数C，该权重系数C则为主滤波器反馈给子滤波器系统的βi值。通常权重系数A和B很接近，一旦A突然和B相差太多，说明激光雷达的感知环境发生较大变化，此时通过反馈给子滤波器系统的权重系数C能够反应出这种变化，增加了系统的准确性和鲁棒性。
目标融合方案(即将第一数据融合结果和第二数据融合结果进行数据融合得到目标融合数据)：
1)目标融合系统框架：
如图10所示，本目标融合系统对上一级传感器目标数据和V2X目标数据进行融合，正常运行情况下主滤波器使用两组滤波子系统进行融合，当某一个子滤波器系统受到干扰，其输出的感知可信度小于了该子系统的阈值，则主滤波器将其剔除出融合系统，大幅降低其权重比例到0，同时增加另一个子滤波器系统的权重比例。每一个子滤波器系统对应都对应自己的权重系数分配模块，按照统一的模型进行计算和分配权重系数。
2)权重系数获取：
本系统方案中影响设备感知检测的因素类型有三种，上一级目标检测状态、车身传感器数据和高精度地图数据，对每一个不同子滤波器子系统，这三种类型的影响都是不同的，每一种类型根据不同环境和预先测算结果可以转换为子滤波器系统可信度，也就是说每一个子滤波器系统都会产生三个权重系数。
车载传感器和路侧传感器受环境影响比较大，比如在杨柳絮飞舞、雾霾天气时激光雷达受影响严重，其感知检测的可信度较低；在杂草树木较多的地方毫米波检测效果不好，其感知检测的可信度较低；在隧道、林荫道等光线较暗或者明暗交替区域，摄像头受影响比较严重，其感知检测的可信度较低。设备通信数据用来判断感知检测延时情况等，可以提供各感知设备的可信度依据；高精度地图数据可以提供已经存在的固定物体信息，通过和路侧传感器感知的物体进行匹配，可以过滤掉这些固定目标物。
不同的权重系数获取方式得到的可信度是不一样的，其可信度根据不同的状态、数据综合统计、计算得来。最好的状态和最差的状态之间做一个百分比，获取不同状态下的不同可信度，该可信度列表作为权重系数获取的一部分预先统计得出并设置。
3)权重系数分配模型：
系统在运行时，从上一级目标检测状态、车身传感器数据、高精度地图数据获取的预估可信度并不会直接用于子滤波器系统，而是结合主滤波器自身反馈的权重数据，经过两级调整后才反馈给子滤波器系统。如图11所示，比如传感器目标滤波子系统，从车载传感器状态、车身传感器数据、高精度地图数据，按照预设权重系数列表转换为三组权重系数，然后按照加权统计进行计算，生成一个权重系数A，该系数可认为是车载传感器在此种外部环境时的理想权重；联邦卡尔曼滤波框架在运行时，参与计算的车载传感器融合目标数据也会有一个自适应的权重系数B，该系数可以认为是在融合系统中已经分配给车载传感器融合目标数据的权重系数，这两个权重系数进行二级加权平均，形成一个新的权重系数C，该权重系数C则为主滤波器反馈给子滤波器系统的βi值。通常权重系数A和B很接近，一旦A突然和B相差太多，说明激光雷达的感知环境发生较大变化，此时通过反馈给子滤波器系统的权重系数C能够反应出这种变化，增加了系统的实时性和鲁棒性。
本实施例采用两级融合架构，使用了车载传感器、车身传感器、V2X设备、惯性导航单元等感知、连接、惯导设备，输入为感知设备和连接设备的数据，输出感知检测的目标结果，两级融合是最目标级的数据进行融合。
传感器融合算法：传感器融合算法使用联邦卡尔曼滤波其算法作为框架，设计了不同环境下的权重系数获取方法，和权重系数分配模型，增强了传感器融合的实时性和鲁棒性。使用的传感器设备包括但不限于激光雷达、毫米波雷达、车载摄像头、超声波雷达等。
V2X融合算法：V2X融合算法使用联邦卡尔曼滤波其算法作为框架，设计了不同环境下的权重系数获取方法，和权重系数分配模型，增强了V2X数据融合的实时性和鲁棒性。使用的V2X连接设备包括但不限于V2P、V2V、V2I、V2N等。
目标融合算法：目标融合算法是二级数据融合，通过对前一级目标可信度进行分析，结合外部环境的影响，融合出的目标可靠性更高，外界环境的影响贯穿着整个融合方案的始终。
本公开实施例提供一种电子设备包括存储器和处理器,
存储器，存储有可执行指令；
处理器，处理器运行存储器中的可执行指令，以实现前述的本公开实施例数据融合方法的全部或部分步骤。
该存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
该处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器用于运行该存储器中存储的该计算机可读指令。
本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
本公开实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现本公开实施例数据融合方法的全部或部分步骤。
根据本公开实施例的计算机可读存储介质，其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时，执行前述的本公开实施例数据融合方法的全部或部分步骤。
上述计算机可读存储介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (10)

1.一种数据融合方法，其特征在于，包括：
建立数据融合滤波模型，所述数据融合滤波模型包括主滤波器和多个局部滤波器；
获取每个所述局部滤波器的权重系数；
将所述权重系数与预设置的阈值进行比较，当所述权重系数小于阈值时，则将该权重系数对应的局部滤波器剔除数据融合滤波模型，所述主滤波器不对该局部滤波器进行反馈纠正，
当所述权重系数大于阈值时，所述主滤波器对该权重系数对应的局部滤波器进行反馈纠正。
2.根据权利要求1所述的数据融合方法，其特征在于，所述获取每个所述局部滤波器的权重系数，包括：
获取数据融合滤波模型各个输入子系统的预估可信度；
基于所述预估可信度生成权重系数A；
获取数据融合滤波模型运行时，输入子系统对应的自适应的权重系数B；
将所述权重系数A和所述权重系数B进行加权平均，行的得到权重系数C。
3.根据权利要求2所述的数据融合方法，其特征在于，所述获取数据融合滤波模型各个输入子系统的预估可信度，包括：
根据输入子系统的所处环境获取所述输入子系统不同状态下的可信度；
基于不同状态下的可信性建立可信度列表。
4.根据权利要求3所述的数据融合方法，其特征在于，根据输入子系统的所处环境获取所述输入子系统不同状态下的可信度，还包括：
将最好的状态和最差的状态之间做百分比。
5.根据权利要求3所述的数据融合方法，其特征在于，所述基于所述预估可信度生成权重系数A，包括：
基于可信度列表获取多组权重系数；
将多组权重系数按照加权统计进行计算，生成权重系数A。
6.根据权利要求1所述的数据融合方法，其特征在于，所述数据融合滤波模型为：联邦卡尔曼滤波模型。
7.根据权利要求1所述的数据融合方法，其特征在于，所述数据融合滤波模型的参考系统为IMU。
8.一种用于智能网联汽车的数据融合方法，其特征在于，包括：
使用所述权利要求1至6任一所述的数据融合方法对车载环境感知传感器获取的数据进行数据融合，得到第一数据融合结果；
使用所述权利要求1至6任一所述的数据融合方法车载V2X设备获取的数据进行数据融合，得到第二数据融合结果；
使用所述权利要求1至6任一所述的数据融合方法对第一数据融合结果和第二数据融合结果进行数据融合得到目标融合数据。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有可执行指令；
处理器，所述处理器运行所述存储器中的所述可执行指令，以实现权利要求1-7中任一项所述的数据融合方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现1-7中任一项所述的数据融合方法。
CN202010161962.0A 2020-03-10 2020-03-10 数据融合方法、电子设备及存储介质 Pending CN111428759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010161962.0A CN111428759A (zh) 2020-03-10 2020-03-10 数据融合方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010161962.0A CN111428759A (zh) 2020-03-10 2020-03-10 数据融合方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111428759A true CN111428759A (zh) 2020-07-17

Family

ID=71546271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010161962.0A Pending CN111428759A (zh) 2020-03-10 2020-03-10 数据融合方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111428759A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307890A (zh) * 2020-09-22 2021-02-02 西人马帝言(北京)科技有限公司 一种物体识别方法、装置、物体识别设备及存储介质
CN112597122A (zh) * 2020-09-03 2021-04-02 禾多科技（北京）有限公司 自动驾驶车辆的车载数据处理方法、装置和电子设备
WO2022115993A1 (en) * 2020-12-01 2022-06-09 Robert Bosch Gmbh Method and apparatus for tuning sensor fusion weights
CN115928810A (zh) * 2022-11-09 2023-04-07 中国十七冶集团有限公司 一种基于多传感器数据融合的基坑智能监测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012009703A1 (de) * 2012-05-16 2013-11-21 Volkswagen Ag Verfahren und Vorrichtung zur Personenerkennung im Umfeld eines Kraftfahrzeugs
CN107499262A (zh) * 2017-10-17 2017-12-22 芜湖伯特利汽车安全系统股份有限公司 基于机器学习的acc/aeb系统及车辆
CN110646825A (zh) * 2019-10-22 2020-01-03 北京新能源汽车技术创新中心有限公司 定位方法、定位系统及汽车
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012009703A1 (de) * 2012-05-16 2013-11-21 Volkswagen Ag Verfahren und Vorrichtung zur Personenerkennung im Umfeld eines Kraftfahrzeugs
CN107499262A (zh) * 2017-10-17 2017-12-22 芜湖伯特利汽车安全系统股份有限公司 基于机器学习的acc/aeb系统及车辆
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法
CN110646825A (zh) * 2019-10-22 2020-01-03 北京新能源汽车技术创新中心有限公司 定位方法、定位系统及汽车

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597122A (zh) * 2020-09-03 2021-04-02 禾多科技（北京）有限公司 自动驾驶车辆的车载数据处理方法、装置和电子设备
CN112307890A (zh) * 2020-09-22 2021-02-02 西人马帝言(北京)科技有限公司 一种物体识别方法、装置、物体识别设备及存储介质
WO2022115993A1 (en) * 2020-12-01 2022-06-09 Robert Bosch Gmbh Method and apparatus for tuning sensor fusion weights
CN115928810A (zh) * 2022-11-09 2023-04-07 中国十七冶集团有限公司 一种基于多传感器数据融合的基坑智能监测方法

Similar Documents

Publication Publication Date Title
CN111428759A (zh) 数据融合方法、电子设备及存储介质
US10696301B2 (en) Vehicle control device
US10684133B2 (en) Route generator, route generation method, and route generation program
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US9740942B2 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
Sotelo et al. A color vision-based lane tracking system for autonomous driving on unmarked roads
US10489664B2 (en) Image processing device, device control system, and computer-readable storage medium
CN113514806B (zh) 自动驾驶过程中障碍物确定方法、装置及电子设备
JP6838285B2 (ja) レーンマーカ認識装置、自車両位置推定装置
US11845471B2 (en) Travel assistance method and travel assistance device
WO2005013025A1 (en) Sensing apparatus for vehicles
US11796331B2 (en) Associating perceived and mapped lane edges for localization
US20200125861A1 (en) Road line detection device and road line detection method
WO2019208101A1 (ja) 位置推定装置
US20210231460A1 (en) Change point detection device and map information distribution system
CN111226094A (zh) 信息处理装置、信息处理方法、程序和移动体
CN113195323A (zh) 经在检测到目标对象的情况下保障安全的自主驾驶
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
JP2024503671A (ja) 可視光カメラ情報と熱カメラ情報とを組合せて処理を行うシステム及び方法
CN117056153A (zh) 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品
US20230014570A1 (en) Route generation device, method, and program
JP7056379B2 (ja) 車両用走行制御装置
US11845429B2 (en) Localizing and updating a map using interpolated lane edge data
CN115379408A (zh) 基于场景感知的v2x多传感器融合方法及装置
JP6992344B2 (ja) ランドマーク選定方法及びランドマーク選定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100176 floor 10, building 1, zone 2, yard 9, Taihe 3rd Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Beijing National New Energy Vehicle Technology Innovation Center Co.,Ltd.

Address before: 102600 1705, block a, building 1, No. 10, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: BEIJING NEW ENERGY VEHICLE TECHNOLOGY INNOVATION CENTER Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200717