CN114114241A - 一种数据融合方法及装置 - Google Patents

一种数据融合方法及装置 Download PDF

Info

Publication number
CN114114241A
CN114114241A CN202111422761.2A CN202111422761A CN114114241A CN 114114241 A CN114114241 A CN 114114241A CN 202111422761 A CN202111422761 A CN 202111422761A CN 114114241 A CN114114241 A CN 114114241A
Authority
CN
China
Prior art keywords
radar
target
data
tracking sequence
outputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111422761.2A
Other languages
English (en)
Inventor
孟庆磊
杨广达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tiantong Weishi Electronic Technology Co ltd
Original Assignee
Tianjin Tiantong Weishi Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiantong Weishi Electronic Technology Co ltd filed Critical Tianjin Tiantong Weishi Electronic Technology Co ltd
Priority to CN202111422761.2A priority Critical patent/CN114114241A/zh
Publication of CN114114241A publication Critical patent/CN114114241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供一种数据融合方法及装置，应用于毫米波雷达与视觉融合系统，该系统由前视相机与毫米波雷达组成，在获取图像数据和雷达数据后；先对图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列；然后根据雷达数据对目标物体进行检测，并进行置信度滤出，输出目标物体的雷达目标跟踪序列；之后按照预设匹配规则，以距离参数为标准，对视觉目标跟踪序列和雷达目标跟踪序列进行关联匹配；最后对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。本申请可提高距离、速度等参数的准确度，该方法运算量小、应用范围广，可用于前方车辆预警、自动驾驶等方面。

Description

一种数据融合方法及装置
技术领域
本申请涉及智能驾驶控制技术领域，特别的，尤其涉及一种数据融合方法及装置，用于高级智能辅助驾驶或自动驾驶。
背景技术
自动驾驶车辆感知环境是自动驾驶系统自动驾驶车辆感知环境通过传感器来获取信息，目前主流的传感器有激光雷达、毫米波雷达、超声波雷达以及相机等，然而各种传感器都有其各自的优缺点，传感器对环境的适应性不同，例如，由于传感器自身的缺陷，在雾天、雨天、夜晚等恶劣环境下，单类传感器性能受限，无法准确检测障碍物；由于激光雷达、毫米波雷达都有较好的测距效果，根据传感器标定得到的坐标变换融合车辆检测的信息。
目前，为了提高距离、速度等参数的准确度，需要通过多传感器融合进行互补感知环境，提高自动驾驶车辆检测的环境适应能力。但是现有的多传感器融合系统大多占用大量算力，普通的计算平台算力不足，达不到实时性的要求。
发明内容
鉴于上述内容中的问题，本申请提供了一种数据融合方法及装置，利用相机检测的目标数据与雷达检测的目标数据进行数据关联以提高距离、速度等参数的准确度，该方法运算量小、应用范围广，可用于前方车辆预警、自动驾驶等方面。
为了实现上述目的，本申请提供了以下技术方案：
一种数据融合方法，应用于毫米波雷达与视觉融合系统，该系统由前视相机与毫米波雷达组成，该方法包括：
获取所述前视相机采集的图像数据和所述毫米波雷达采集的雷达数据；
对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列；
根据所述雷达数据对所述目标物体进行检测，并进行置信度滤出，输出所述目标物体的雷达目标跟踪序列；
按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，所述距离参数包括：视觉方面的测量输出距离与雷达传感器的测量输出距离，所述预设匹配规则为速度、加速度和纵向距离参数采用毫米波雷达确定的数据，横向距离、目标分类和时间戳参数采用所述前视相机确定的数据；
对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。
进一步的，所述对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列，包括：
获取所述前视相机采集的图像数据；
对所述图像数据中的前方目标进行检测和分类，确定所述图像数据中的目标物体；
对所述目标物体进行检测跟踪，确定所述目标物体对应的视觉目标跟踪序列。
进一步的，所述按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标，具体为：
利用匈牙利匹配算法以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标。
进一步的，该方法还包括：
对所述融合后的数据以单个目标为单位进行卡尔曼平滑滤波，输出滤波后的融合数据。
一种数据融合装置，应用于毫米波雷达与视觉融合系统，该系统由前视相机与毫米波雷达组成，该装置包括：
获取单元，用于获取所述前视相机采集的图像数据和所述毫米波雷达采集的雷达数据；
预处理单元，用于对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列；
检测单元，用于根据所述雷达数据对所述目标物体进行检测，并进行置信度滤出，输出所述目标物体的雷达目标跟踪序列；
匹配单元，用于按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，所述距离参数包括：视觉方面的测量输出距离与雷达传感器的测量输出距离，所述预设匹配规则为速度、加速度和纵向距离参数采用毫米波雷达确定的数据，横向距离、目标分类和时间戳参数采用所述前视相机确定的数据；
融合单元，用于对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。
进一步的，所述预处理单元具体用于：
获取所述前视相机采集的图像数据；
对所述图像数据中的前方目标进行检测和分类，确定所述图像数据中的目标物体；
对所述目标物体进行检测跟踪，确定所述目标物体对应的视觉目标跟踪序列。
进一步的，所述匹配单元具体用于：
利用匈牙利匹配算法以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标。
进一步的，该装置还包括：
滤波单元，用于对所述融合后的数据以单个目标为单位进行卡尔曼平滑滤波，输出滤波后的融合数据。
一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如上述所述的数据融合方法。
一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述所述的数据融合方法。
本申请所述的数据融合方法及装置，应用于毫米波雷达与视觉融合系统，该系统由前视相机与毫米波雷达组成，在获取图像数据和雷达数据后；先对图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列；然后根据雷达数据对目标物体进行检测，并进行置信度滤出，输出目标物体的雷达目标跟踪序列；之后按照预设匹配规则，以距离参数为标准，对视觉目标跟踪序列和雷达目标跟踪序列进行关联匹配；最后对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。本申请可提高距离、速度等参数的准确度，该方法运算量小、应用范围广，可用于前方车辆预警、自动驾驶等方面。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种数据融合方法的流程示意图；
图2为本申请实施例公开的一种数据融合估装置的结构示意图；
图3为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
本申请提供一种数据融合方法及装置，应用于毫米波雷达与视觉融合系统，该系统由前视相机与77GHZ毫米波雷达组成，通过对前视目标与雷达目标进行追踪匹配，实现前视系统与毫米波雷达的数据融合。其中，前视系统(Front Camera Modules，FCM)是一套基于深度学习的人工智能视觉系统，能够识别与追踪动静态目标，实现驾驶场景实时理解、驾驶行为实时分析，为汽车主动安全系统与自动驾驶技术提供环境感知与视觉平台，融合系统中前视模块主要用于前方目标的检测与分类，毫米波雷达主要用于精准测距、测速。其中，前视模块能弥补毫米波雷达对目标的分类与横向测距不准的问题；毫米波雷达能弥补前视相机在测距、测速方面不稳定并且易受天气和光照条件的影响的缺陷。
本申请提供了一种数据融合方法及装置，利用相机检测的目标数据与雷达检测的目标数据进行数据关联以提高距离、速度等参数的准确度，该方法运算量小、应用范围广，可用于前方车辆预警、自动驾驶等方面。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见附图1，为本申请实施例提供的一种数据融合方法流程示意图。如图1所示，本申请实施例提供了一种数据融合方法，应用于毫米波雷达与视觉融合系统，该系统由前视相机与毫米波雷达组成，该方法包括如下步骤：
S101：获取所述前视相机采集的图像数据和所述毫米波雷达采集的雷达数据。
本申请实施例中，上述前视相机采集前方目标的图像数据，所述毫米波雷达采集前方目标的雷达数据。
S102：对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列。
本申请实施例中，上述所述对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列，包括：获取所述前视相机采集的图像数据；对所述图像数据中的前方目标进行检测和分类，确定所述图像数据中的目标物体；对所述目标物体进行检测跟踪，确定所述目标物体对应的视觉目标跟踪序列。
S103：根据所述雷达数据对所述目标物体进行检测，并进行置信度滤出，输出所述目标物体的雷达目标跟踪序列。
S104：按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配。
所述距离参数包括：视觉方面的测量输出距离与雷达传感器的测量输出距离，所述预设匹配规则为速度、加速度和纵向距离参数采用毫米波雷达确定的数据，横向距离、目标分类和时间戳参数采用所述前视相机确定的数据。
本申请实施例中，上述所述按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标，具体为：利用匈牙利匹配算法以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标。
需要说明的是，本申请实施例可以针对不同种类的目标设定不同的匹配阈值与匹配距离，使算法具有更好的适应性与融合精度。
S105：对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。
S106：对所述融合后的数据以单个目标为单位进行卡尔曼平滑滤波，输出滤波后的融合数据。
本申请实施例中，卡尔曼平滑滤波的目的是让雷达融合算法输出的距离信息在多帧的状态下更加稳定平滑和稳定可靠，减少距离跳变的出现。
本申请实施例提供一种数据融合方法，应用于毫米波雷达与视觉融合系统，该系统由前视相机与毫米波雷达组成，在获取所述前视相机采集的图像数据和所述毫米波雷达采集的雷达数据后；先对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列；然后根据所述雷达数据对所述目标物体进行检测，并进行置信度滤出，输出所述目标物体的雷达目标跟踪序列；之后按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配；最后对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。与单传感器检测相比，视觉雷达融合方案弥补了前视相机在测距和测量相对速度方面的不足和易受天气和光照条件影响的缺陷，从而提高距离、速度等参数的准确度，该方法运算量小、应用范围广，可用于前方车辆预警、自动驾驶等方面。
请参阅图2，基于上述实施例公开的一种数据融合方法，本实施例对应公开了一种数据融合装置，应用于毫米波雷达与视觉融合系统，该系统由前视相机与毫米波雷达组成，该装置包括：
获取单元201，用于获取所述前视相机采集的图像数据和所述毫米波雷达采集的雷达数据；
预处理单元202，用于对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列；
检测单元203，用于根据所述雷达数据对所述目标物体进行检测，并进行置信度滤出，输出所述目标物体的雷达目标跟踪序列；
匹配单元204，用于按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，所述距离参数包括：视觉方面的测量输出距离与雷达传感器的测量输出距离，所述预设匹配规则为速度、加速度和纵向距离参数采用毫米波雷达确定的数据，横向距离、目标分类和时间戳参数采用所述前视相机确定的数据；
融合单元205，用于对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。
进一步的，所述预处理单元202具体用于：
获取所述前视相机采集的图像数据；
对所述图像数据中的前方目标进行检测和分类，确定所述图像数据中的目标物体；
对所述目标物体进行检测跟踪，确定所述目标物体对应的视觉目标跟踪序列。
进一步的，所述匹配单元204具体用于：
利用匈牙利匹配算法以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标。
进一步的，该装置还包括：
滤波单元206，用于对所述融合后的数据以单个目标为单位进行卡尔曼平滑滤波，输出滤波后的融合数据。
所述数据融合装置包括处理器和存储器，上述获取单元、预处理单元、检测单元、匹配单元、融合单元和滤波单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现提高距离、速度等参数的准确度，该方法运算量小、应用范围广，可用于前方车辆预警、自动驾驶等方面。。
本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据融合方法。
本申请实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据融合方法。
本申请实施例提供了一种电子设备，如图3所示，该电子设备30包括至少一个处理器301、以及与所述处理器连接的至少一个存储器302、总线303；其中，所述处理器301、所述存储器302通过所述总线303完成相互间的通信；处理器301用于调用所述存储器302中的程序指令，以执行上述的所述数据融合方法。
本文中的电子设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
获取所述前视相机采集的图像数据和所述毫米波雷达采集的雷达数据；
对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列；
根据所述雷达数据对所述目标物体进行检测，并进行置信度滤出，输出所述目标物体的雷达目标跟踪序列；
按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，所述距离参数包括：视觉方面的测量输出距离与雷达传感器的测量输出距离，所述预设匹配规则为速度、加速度和纵向距离参数采用毫米波雷达确定的数据，横向距离、目标分类和时间戳参数采用所述前视相机确定的数据；
对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。
进一步的，所述对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列，包括：
获取所述前视相机采集的图像数据；
对所述图像数据中的前方目标进行检测和分类，确定所述图像数据中的目标物体；
对所述目标物体进行检测跟踪，确定所述目标物体对应的视觉目标跟踪序列。
进一步的，所述按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标，具体为：
利用匈牙利匹配算法以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标。
进一步的，该方法还包括：
对所述融合后的数据以单个目标为单位进行卡尔曼平滑滤波，输出滤波后的融合数据。
本申请是根据本申请实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据融合方法，其特征在于，应用于毫米波雷达与视觉融合系统，该系统由前视相机与毫米波雷达组成，该方法包括：
获取所述前视相机采集的图像数据和所述毫米波雷达采集的雷达数据；
对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列；
根据所述雷达数据对所述目标物体进行检测，并进行置信度滤出，输出所述目标物体的雷达目标跟踪序列；
按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，所述距离参数包括：视觉方面的测量输出距离与雷达传感器的测量输出距离，所述预设匹配规则为速度、加速度和纵向距离参数采用毫米波雷达确定的数据，横向距离、目标分类和时间戳参数采用所述前视相机确定的数据；
对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列，包括：
获取所述前视相机采集的图像数据；
对所述图像数据中的前方目标进行检测和分类，确定所述图像数据中的目标物体；
对所述目标物体进行检测跟踪，确定所述目标物体对应的视觉目标跟踪序列。
3.根据权利要求1所述的方法，其特征在于，所述按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标，具体为：
利用匈牙利匹配算法以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标。
4.根据权利要求1所述的方法，其特征在于，还包括：
对所述融合后的数据以单个目标为单位进行卡尔曼平滑滤波，输出滤波后的融合数据。
5.一种数据融合装置，其特征在于，应用于毫米波雷达与视觉融合系统，该系统由前视相机与毫米波雷达组成，该装置包括：
获取单元，用于获取所述前视相机采集的图像数据和所述毫米波雷达采集的雷达数据；
预处理单元，用于对所述图像数据进行图像预处理和检测跟踪，输出目标物体以及对应的视觉目标跟踪序列；
检测单元，用于根据所述雷达数据对所述目标物体进行检测，并进行置信度滤出，输出所述目标物体的雷达目标跟踪序列；
匹配单元，用于按照预设匹配规则，以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，所述距离参数包括：视觉方面的测量输出距离与雷达传感器的测量输出距离，所述预设匹配规则为速度、加速度和纵向距离参数采用毫米波雷达确定的数据，横向距离、目标分类和时间戳参数采用所述前视相机确定的数据；
融合单元，用于对匹配后的相机与雷达的关联目标进行数据融合，输出融合后的数据。
6.根据权利要求5所述的装置，其特征在于，所述预处理单元具体用于：
获取所述前视相机采集的图像数据；
对所述图像数据中的前方目标进行检测和分类，确定所述图像数据中的目标物体；
对所述目标物体进行检测跟踪，确定所述目标物体对应的视觉目标跟踪序列。
7.根据权利要求5所述的装置，其特征在于，所述匹配单元具体用于：
利用匈牙利匹配算法以距离参数为标准，对所述视觉目标跟踪序列和所述雷达目标跟踪序列进行关联匹配，输出相机与雷达的关联目标。
8.根据权利要求5所述的装置，其特征在于，还包括：
滤波单元，用于对所述融合后的数据以单个目标为单位进行卡尔曼平滑滤波，输出滤波后的融合数据。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如权利要求1至4中任一项所述的数据融合方法。
10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至4中任一项所述的数据融合方法。
CN202111422761.2A 2021-11-26 2021-11-26 一种数据融合方法及装置 Pending CN114114241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111422761.2A CN114114241A (zh) 2021-11-26 2021-11-26 一种数据融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111422761.2A CN114114241A (zh) 2021-11-26 2021-11-26 一种数据融合方法及装置

Publications (1)

Publication Number Publication Date
CN114114241A true CN114114241A (zh) 2022-03-01

Family

ID=80370098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111422761.2A Pending CN114114241A (zh) 2021-11-26 2021-11-26 一种数据融合方法及装置

Country Status (1)

Country Link
CN (1) CN114114241A (zh)

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111712731B (zh) 目标检测方法、系统及可移动平台
CN113158864B (zh) 卡车车头与挂车之间的夹角的确定方法与确定装置
CN106295459A (zh) 基于机器视觉和级联分类器的车辆检测和预警方法
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN115792945B (zh) 一种浮空障碍物检测方法、装置和电子设备、存储介质
CN114296095A (zh) 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
CN111612818A (zh) 新型双目视觉多目标跟踪方法及系统
CN115205803A (zh) 自动驾驶环境感知方法、介质及车辆
CN115962774A (zh) 点云地图更新方法、装置及电子设备、存储介质
CN114675295A (zh) 一种障碍物判定的方法、装置、设备及存储介质
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
CN116433715A (zh) 基于多传感器前融合结果的时序追踪方法、装置及介质
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
CN115331447B (zh) 基于传感器融合的数据关联方法以及装置
CN114114241A (zh) 一种数据融合方法及装置
CN112016366A (zh) 一种障碍物定位方法及装置
CN116164763A (zh) 目标航向角确定方法、装置及电子设备、存储介质
CN113744518B (zh) 一种车辆可行驶区域的检测方法及装置
CN115116034A (zh) 一种夜间行人检测方法、装置及系统
CN114359346A (zh) 点云数据处理方法、装置、非易失性存储介质及处理器
CN116433712A (zh) 基于多传感器时序感知结果前融合的融合追踪方法及装置
CN108416305B (zh) 连续型道路分割物的位姿估计方法、装置及终端
CN116381698B (zh) 道路遗撒物的检测方法、装置及电子设备
CN116228820B (zh) 一种障碍物检测方法、装置和电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination