CN113325415B - 车辆雷达数据和相机数据的融合方法及系统 - Google Patents

车辆雷达数据和相机数据的融合方法及系统 Download PDF

Info

Publication number
CN113325415B
CN113325415B CN202110426996.2A CN202110426996A CN113325415B CN 113325415 B CN113325415 B CN 113325415B CN 202110426996 A CN202110426996 A CN 202110426996A CN 113325415 B CN113325415 B CN 113325415B
Authority
CN
China
Prior art keywords
target
data
camera
radar
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110426996.2A
Other languages
English (en)
Other versions
CN113325415A (zh
Inventor
程德心
张家豪
张伟
王伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kotei Informatics Co Ltd
Original Assignee
Wuhan Kotei Informatics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kotei Informatics Co Ltd filed Critical Wuhan Kotei Informatics Co Ltd
Priority to CN202110426996.2A priority Critical patent/CN113325415B/zh
Publication of CN113325415A publication Critical patent/CN113325415A/zh
Application granted granted Critical
Publication of CN113325415B publication Critical patent/CN113325415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种车辆雷达数据和相机数据的融合方法及系统，在获取目标的融合数据时，没有采用复杂的算法对目标的雷达数据和目标数据融合，而是直接将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，降低了融合过程中的算力要求，对硬件的性能要求比较低，提高了目标数据融合的效率。

Description

车辆雷达数据和相机数据的融合方法及系统
技术领域
本发明涉及数据融合领域，更具体地，涉及一种车辆雷达数据和相机数据的融合方法及系统。
背景技术
高级驾驶员辅助系统(ADAS)通过毫米波雷达和单目相机等传感器对车辆行驶周边环境进行感知，并根据感知的结果对车辆进行控制，以达到提高驾驶体验及安全性的目的。毫米波雷达测距准确、不受光线等环境因素影响但测量数据无语义，单目相机能够准确识别行人车辆等目标，但测距精度较差，易受光线影响。融合算法可以有效弥补二者的缺陷，发挥二者专长，提高感知的精准度和抗干扰能力。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种车辆雷达数据和相机数据的融合方法及系统。
根据本发明的第一方面，提供了一种车辆雷达数据和相机数据的融合方法，包括：接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
在上述技术方案的基础上，本发明实施例还可以作出如下改进。
可选的，所述ADAS控制器接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准，包括：ADAS控制器接收用于检测目标的雷达数据和相机数据，根据雷达和相机在车辆上的安装位置，将雷达数据和相机数据统一到车身坐标系；利用内插外推法对转换后的雷达数据和相机数据进行时空配准。
可选的，所述将雷达检测的目标与相机检测的目标进行匹配之前包括：构建融合目标列表，所述融合目标列表中包括每一个目标在历史的各个计算周期内的数据，所述每一个目标在历史的各个计算周期内的数据包括每一个目标在历史的各个计算周期内对应的融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据。
可选的，所述构建融合目标列表之后包括：根据每一个目标在历史的各个计算周期内的数据，推算每一个目标在当前周期内的数据，并更新到融合目标列表中，所述每一个目标在当前周期内的数据包括每一个目标在当前计算周期内。
可选的，所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：根据ADAS控制器接收的当前计算周期内的雷达数据和相机数据，计算雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与雷达检测的目标为同一个目标；计算相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与相机检测的目标为同一个目标；利用雷达检测的目标数据和相机检测的目标数据更新融合目标列表中相同目标的数据。
可选的，所述所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：若雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则作为新目标更新融合目标列表中的雷达数据；和/或，若相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则作为新目标更新融合目标列表中的相机数据。
可选的，所述将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，包括：对于任一个目标，若在融合目标列表中找到所述任一个目标的雷达数据和/或相机数据，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，和/或将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
根据本发明的第二方面，提供了一种雷达数据和相机数据的融合系统，包括ADAS控制器，所述ADAS控制器包括：配准模块，用于接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；匹配模块，用于将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；融合模块，用于将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
根据本发明第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现车辆雷达数据和相机数据的融合方法的步骤。
根据本发明第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现车辆雷达数据和相机数据的融合方法步骤。
本发明提供一种车辆雷达数据和相机数据的融合方法及系统，在获取目标的融合数据时，没有采用复杂的算法对目标的雷达数据和目标数据融合，而是直接将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，降低了融合过程中的算力要求，对硬件的性能要求比较低，提高了目标数据融合的效率。
附图说明
图1为本发明实施例提供的一种车辆雷达数据和相机数据的融合方法流程图；
图2为本发明实施例的雷达检测的目标与相机检测的目标匹配的流程图；
图3为本发明实施例提供的一种车辆雷达数据和相机数据的融合系统结构图；
图4为本发明提供的一种可能的电子设备的硬件结构示意图；
图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例提供的一种车辆雷达数据和相机数据的融合方法流程图，如图1所示，方法包括：101、接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；102、将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；103、将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
可以理解的是，基于毫米波雷达测距准确、不受光线等环境因素影响但测量数据无语义，单目相机能够准确识别行人车辆等目标，但测距精度较差，易受光线影响的缺陷，本发明实施例提出了将车辆上的检测的周围环境中目标的毫米波雷达数据(以下简称为雷达数据)和单目相机数据(以下简称相机数据)进行融合，并且融合的方式简单。
具体的，当高级驾驶员辅助系统ADAS控制器接收到检测目标的雷达数据和相机数据，首先，将雷达数据和相机数据进行时空配准。然后将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据。在进行数据融合时，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
本发明实施例在获取目标的融合数据时，没有采用复杂的算法对目标的雷达数据和目标数据融合，而是直接将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，降低了融合过程中的算力要求，对硬件的性能要求比较低，提高了目标数据融合的效率。
在一种可能的实施例方式中，ADAS控制器接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准，包括：ADAS控制器接收用于检测目标的雷达数据和相机数据，根据雷达和相机在车辆上的安装位置，将雷达数据和相机数据统一到车身坐标系；利用内插外推法对转换后的雷达数据和相机数据进行时空配准。
可以理解的是，当ADAS控制器接收到当前的一帧雷达数据和一帧相机数据时，根据当前雷达在车辆上的安装位置和相机数据，将雷达数据和相机数据统一到车身坐标系。对于坐标转换后的雷达数据和相机数据，采用内插外推法对雷达数据和相机数据进行时空配准。
在一种可能的实施例方式中，将雷达检测的目标与相机检测的目标进行匹配之前包括：构建融合目标列表，所述融合目标列表中包括每一个目标在历史的各个计算周期内的数据，所述每一个目标在历史的各个计算周期内的数据包括每一个目标在历史的各个计算周期内对应的融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据。
可以理解的是，在对当前雷达数据和相机数据进行处理前，对于每一个目标的历史数据，构建一个融合目标列表，融合目标列表中包括历史的各个计算周期内的每一个目标的目标数据，目标数据包括融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据。
在一种可能的实施例方式中，构建融合目标列表之后包括：根据每一个目标在历史的各个计算周期内的数据，推算每一个目标在当前周期内的数据，并更新到融合目标列表中，所述每一个目标在当前周期内的数据包括每一个目标在当前计算周期内。
可以理解的是，构建了融合目标列表后，根据其中的每一个目标在历史的各个计算周期内的数据，比如，位置数据和速度数据，来推算当前计算周期内，每一个目标的位置数据和速度数据。
其中，每一个目标在历史的各个计算周期内的数据包括融合后的数据、使用的雷达数据和使用的相机数据，那么推算的当前计算周期内的每一个目标的数据也包括融合后的每一个目标的数据、使用的雷达数据和使用的相机数据。
在根据每一个目标在历史的各个计算周期内的数据推算每一个目标在当前计算周期内的数据时，由于每一个计算周期时间比较短，认为每一个目标在不同的计算周期之内为匀速运动。
在一种可能的实施例方式中，将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：根据ADAS控制器接收的当前计算周期内的雷达数据和相机数据，计算雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与雷达检测的目标为同一个目标；计算相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与相机检测的目标为同一个目标；利用雷达检测的目标数据和相机检测的目标数据更新融合目标列表中相同目标的数据。
可以理解的是，可参见图2，当ADAS控制器接收到当前计算周期内的雷达数据和相机数据时，为了在融合目标列表中找到与雷达检测到的目标以及与相机检测到的目标为同一个目标的数据。对于雷达数据，计算当前计算周期内的雷达检测到的目标位置与融合目标列表中当前计算周期内的每一个目标的融合后的目标位置之间的欧式距离，得到多个欧式距离，比如，融合目标列表中存在20个目标的数据，那么计算出来的欧式距离为20个，其中，设定一个预设距离阈值，从20个欧式距离中选出小于该预设距离阈值的多个欧式距离，从这多个欧式距离中找到做小的欧式距离，将该最小的欧式距离对应的目标认为是与雷达数据检测的目标相同的目标。
同样的，对于相机数据，计算当前计算周期内的相机检测到的目标位置与融合目标列表中当前计算周期内的每一个目标的融合后的目标位置之间的欧式距离，得到多个欧式距离，比如，融合目标列表中存在20个目标的数据，那么计算出来的欧式距离为20个，其中，设定一个预设距离阈值，从20个欧式距离中选出小于该预设距离阈值的多个欧式距离，从这多个欧式距离中找到做小的欧式距离，将该最小的欧式距离对应的目标认为是与相机数据检测的目标相同的目标。
在融合目标列表中找到与雷达检测的目标相同的目标以及找到与相机检测的目标相同的目标，利用雷达数据和/或相机数据更新融合目标列表中相同目标的相关数据。
在一种可能的实施例方式中，将雷达检测的目标与相机检测的目标进行匹配时，可能在融合目标列表中找不到相同目标的数据，具体的，若雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则将雷达检测的目标作为新目标，且用检测的雷达数据更新融合目标列表中的该新目标的雷达数据；和/或，若相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则将相机检测的目标作为新目标，且用检测的相机数据更新融合目标列表中的该新目标的相机数据。
在一种可能的实施例方式中，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，包括：对于任一个目标，若在融合目标列表中找到所述任一个目标的雷达数据和/或相机数据，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，和/或将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
可以理解的是，逐一检查融合目标列表的目标，如果该目标数据中雷达数据和相机数据均已更新或均为新增，则雷达检测的该目标的纵向距离和纵向相对速度即为融合后目标的纵向距离和纵向速度，相机检测的横向距离和横向速度为融合后的目标的横向距离和横向速度。
如果融合目标列表中的目标数据中只有雷达数据更新或新增，则融合后的目标的横纵向距离及相对速度为雷达检测的目标的横纵向距离及相对速度。如果融合目标列表中的目标数据中只有相机数据更新或新增，则融合后的目标的横纵向距离及相对速度为相机检测的目标的横纵向距离及相对速度。
如果融合数据表中的目标数据既没有雷达更新也没有相机数据更新，则删除该融合目标。
本发明实施例在获取目标的融合数据时，没有采用复杂的算法对目标的雷达数据和目标数据融合，而是直接将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，降低了融合过程中的算力要求，对硬件的性能要求比较低，提高了目标数据融合的效率。
参见图3，提供了一种车辆雷达数据与相机数据的融合系统，包括ADAS控制器，ADAS控制器包括：配准模块301，用于接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；匹配模块302，用于将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；融合模块303，用于将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
可以理解的是，本发明实施例提供的车辆雷达数据和相机数据的融合系统与前述各实施例提供的车辆雷达数据与相机数据的融合方法相对应，车辆雷达数据和相机数据的融合系统的相关技术特征可参考车辆雷达数据和相机数据的融合方法的相关技术特征，在此不再赘述。
请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备，包括存储器410、处理器420及存储在存储器420上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现以下步骤：接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
请参阅图5，图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (7)

1.一种车辆雷达数据与相机数据的融合方法，其特征在于，包括：
接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；
将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；
将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度；
所述将雷达检测的目标与相机检测的目标进行匹配之前包括：
构建融合目标列表，所述融合目标列表中包括每一个目标在历史的各个计算周期内的数据，所述每一个目标在历史的各个计算周期内的数据包括每一个目标在历史的各个计算周期内对应的融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据；
所述构建融合目标列表之后包括：
根据每一个目标在历史的各个计算周期内的数据，推算每一个目标在当前周期内的数据，并更新到融合目标列表中，所述每一个目标在当前周期内的数据包括每一个目标在当前计算周期内融合后的目标数据；
所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：
根据ADAS控制器接收的当前计算周期内的雷达数据和相机数据，计算雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与雷达检测的目标为同一个目标；
计算相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与相机检测的目标为同一个目标；
利用雷达检测的目标数据和相机检测的目标数据更新融合目标列表中相同目标的数据。
2.根据权利要求1所述的融合方法，其特征在于，所述接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准，包括：
ADAS控制器接收用于检测目标的雷达数据和相机数据，根据雷达和相机在车辆上的安装位置，将雷达数据和相机数据统一到车身坐标系；
利用内插外推法对转换后的雷达数据和相机数据进行时空配准。
3.根据权利要求1所述的融合方法，其特征在于，所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：
若雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则作为新目标更新融合目标列表中的雷达数据；
和/或，
若相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离均大于预设距离阈值，则在融合目标列表中找不到相同的目标，则作为新目标更新融合目标列表中的相机数据。
4.根据权利要求1或3所述的融合方法，其特征在于，所述将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度，包括：
对于任一个目标，若在融合目标列表中找到所述任一个目标的雷达数据和/或相机数据，将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，和/或将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度。
5.一种车辆雷达数据和相机数据的融合系统，其特征在于，包括ADAS控制器，所述ADAS控制器包括：
配准模块，用于接收用于检测目标的雷达数据和相机数据，将所述雷达数据和所述相机数据进行时空配准；
匹配模块，用于将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据；
融合模块，用于将雷达数据中目标的纵向距离和纵向相对速度作为融合后的目标的纵向距离和纵向速度，将相机数据中的横向距离和横向相对速度作为融合目标的横向距离和横向速度；
所述将雷达检测的目标与相机检测的目标进行匹配之前包括：
构建融合目标列表，所述融合目标列表中包括每一个目标在历史的各个计算周期内的数据，所述每一个目标在历史的各个计算周期内的数据包括每一个目标在历史的各个计算周期内对应的融合后的目标数据、融合使用的目标的雷达数据和目标的相机数据；
所述构建融合目标列表之后包括：
根据每一个目标在历史的各个计算周期内的数据，推算每一个目标在当前周期内的数据，并更新到融合目标列表中，所述每一个目标在当前周期内的数据包括每一个目标在当前计算周期内融合后的目标数据；
所述将雷达检测的目标与相机检测的目标进行匹配，获取同一目标的雷达数据和相机数据，包括：
根据ADAS控制器接收的当前计算周期内的雷达数据和相机数据，计算雷达检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与雷达检测的目标为同一个目标；
计算相机检测的目标位置与融合目标列表中当前计算周期内的融合后的每一个目标位置之间的欧式距离，确定欧式距离在预设距离阈值内且欧式距离最小的融合后的目标与相机检测的目标为同一个目标；
利用雷达检测的目标数据和相机检测的目标数据更新融合目标列表中相同目标的数据。
6.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-4任一项所述的车辆雷达数据和相机数据的融合方法的步骤。
7.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-4任一项所述的车辆雷达数据和相机数据的融合方法的步骤。
CN202110426996.2A 2021-04-20 2021-04-20 车辆雷达数据和相机数据的融合方法及系统 Active CN113325415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110426996.2A CN113325415B (zh) 2021-04-20 2021-04-20 车辆雷达数据和相机数据的融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110426996.2A CN113325415B (zh) 2021-04-20 2021-04-20 车辆雷达数据和相机数据的融合方法及系统

Publications (2)

Publication Number Publication Date
CN113325415A CN113325415A (zh) 2021-08-31
CN113325415B true CN113325415B (zh) 2023-10-13

Family

ID=77415004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110426996.2A Active CN113325415B (zh) 2021-04-20 2021-04-20 车辆雷达数据和相机数据的融合方法及系统

Country Status (1)

Country Link
CN (1) CN113325415B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888602B (zh) * 2021-12-03 2022-04-05 深圳佑驾创新科技有限公司 一种雷达车辆目标与视觉车辆目标的关联方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009019914A (ja) * 2007-07-10 2009-01-29 Toyota Motor Corp 物体検出装置
JP2011047882A (ja) * 2009-08-28 2011-03-10 Toshiba Corp 目標追跡装置
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109839634A (zh) * 2019-01-25 2019-06-04 中国汽车技术研究中心有限公司 一种车载摄像头与雷达的目标融合方法
CN109886308A (zh) * 2019-01-25 2019-06-14 中国汽车技术研究中心有限公司 一种基于目标级别的双传感器数据融合方法和装置
CN109901156A (zh) * 2019-01-25 2019-06-18 中国汽车技术研究中心有限公司 一种车辆毫米波雷达和摄像头的目标融合方法和装置
CN110095770A (zh) * 2019-04-26 2019-08-06 东风柳州汽车有限公司 车辆周边目标物的检测方法
WO2020014685A1 (en) * 2018-07-13 2020-01-16 Waymo Llc Vehicle sensor verification and calibration
CN111967498A (zh) * 2020-07-20 2020-11-20 重庆大学 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN112070807A (zh) * 2020-11-11 2020-12-11 湖北亿咖通科技有限公司 多目标跟踪方法和电子装置
CN112130136A (zh) * 2020-09-11 2020-12-25 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
CN112540352A (zh) * 2019-09-20 2021-03-23 初速度（苏州）科技有限公司 一种基于无人驾驶车辆的评测目标检测算法的方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009019914A (ja) * 2007-07-10 2009-01-29 Toyota Motor Corp 物体検出装置
JP2011047882A (ja) * 2009-08-28 2011-03-10 Toshiba Corp 目標追跡装置
WO2020014685A1 (en) * 2018-07-13 2020-01-16 Waymo Llc Vehicle sensor verification and calibration
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109839634A (zh) * 2019-01-25 2019-06-04 中国汽车技术研究中心有限公司 一种车载摄像头与雷达的目标融合方法
CN109886308A (zh) * 2019-01-25 2019-06-14 中国汽车技术研究中心有限公司 一种基于目标级别的双传感器数据融合方法和装置
CN109901156A (zh) * 2019-01-25 2019-06-18 中国汽车技术研究中心有限公司 一种车辆毫米波雷达和摄像头的目标融合方法和装置
CN110095770A (zh) * 2019-04-26 2019-08-06 东风柳州汽车有限公司 车辆周边目标物的检测方法
CN112540352A (zh) * 2019-09-20 2021-03-23 初速度（苏州）科技有限公司 一种基于无人驾驶车辆的评测目标检测算法的方法及装置
CN111967498A (zh) * 2020-07-20 2020-11-20 重庆大学 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN112130136A (zh) * 2020-09-11 2020-12-25 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
CN112070807A (zh) * 2020-11-11 2020-12-11 湖北亿咖通科技有限公司 多目标跟踪方法和电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多传感器信息融合的车辆目标识别方法;孙宁 等;《汽车工程》;第39卷(第11期);全文 *

Also Published As

Publication number Publication date
CN113325415A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN109074085B (zh) 一种自主定位和地图建立方法、装置和机器人
CN113715814B (zh) 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆
US10145690B2 (en) Map information generation system, method, and program
JP6544908B2 (ja) 予測的運転者支援システムのための複合信頼度推定
CN110867132B (zh) 环境感知的方法、装置、电子设备和计算机可读存储介质
JP2015081083A (ja) 予測的運転者支援システムのための、妥当性規則に基づく信頼度推定
CN110834642B (zh) 车辆跑偏识别方法、装置、车辆及存储介质
CN109099920B (zh) 基于多传感器关联的传感器目标精确定位方法
CN112445222B (zh) 导航方法、装置、存储介质以及终端
JP5796597B2 (ja) 車両判定方法及び車両判定装置
US12066299B2 (en) Method, device and system for perceiving multi-site roadbed network and terminal
JP2020003463A (ja) 自車位置推定装置
JP2020537800A (ja) 車両の車線変更検出のためのシステム及び方法
EP2910897A1 (en) Stereo image processing device and stereo image processing method
CN110426714B (zh) 一种障碍物识别方法
CN111612818A (zh) 新型双目视觉多目标跟踪方法及系统
CN113325415B (zh) 车辆雷达数据和相机数据的融合方法及系统
US20200118285A1 (en) Device and method for determining height information of an object in an environment of a vehicle
CN111627249B (zh) 驾驶辅助系统、驾驶辅助方法和非暂时性计算机可读介质
CN116088538A (zh) 车辆轨迹信息生成方法、装置、设备和计算机可读介质
CN115575942A (zh) 激光雷达数据和毫米波雷达数据的融合方法及融合系统
JP2019106166A (ja) 情報処理方法、情報処理装置およびプログラム
JP7308141B2 (ja) 自己位置推定方法及び自己位置推定装置
JP7099531B2 (ja) 機械装置の動作を制御する方法とデータの信頼性を判定する方法及び装置
JP2012137362A (ja) 走行道路推定装置、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant