CN111695619A - 一种多传感器目标融合方法、装置、车辆及存储介质 - Google Patents
一种多传感器目标融合方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN111695619A CN111695619A CN202010506926.3A CN202010506926A CN111695619A CN 111695619 A CN111695619 A CN 111695619A CN 202010506926 A CN202010506926 A CN 202010506926A CN 111695619 A CN111695619 A CN 111695619A
- Authority
- CN
- China
- Prior art keywords
- signal
- radar
- camera
- target
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 91
- 238000012216 screening Methods 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims description 77
- 230000006798 recombination Effects 0.000 claims description 58
- 238000005215 recombination Methods 0.000 claims description 58
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 10
- 230000004044 response Effects 0.000 abstract description 5
- 230000001133 acceleration Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 102000057593 human F8 Human genes 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 229940047431 recombinate Drugs 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种多传感器目标融合方法、装置、车辆及存储介质。该方法包括：获取多个前向毫米波雷达采集到的原始雷达信号和摄像头采集到的原始摄像头信号，所述前向毫米波雷达和摄像头设置在车辆前方；对比所述原始雷达信号和所述原始摄像头信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号；将所述雷达匹配信号和所述摄像头匹配信号融合，输出目标融合信息。本发明解决车辆上多个传感器采集到的不同信息产生冗余和矛盾，造成车辆无法正确判断周围环境状况的问题，实现车辆多传感器采集的信息可以互补和融合，使车辆提高环境感知能力，能够在复杂环境下准确实时的做出正确反应。
Description
技术领域
本发明实施例涉及车辆信息处理技术领域，尤其涉及一种多传感器目标融合方法、装置、车辆及存储介质。
背景技术
自动驾驶车辆所处的交通环境具有复杂性和动态变化性，提高自动驾驶系统环境感知能力，使自动驾驶车辆在复杂环境下能够准确实时的做出正确反应，这是实现车辆自动驾驶的技术基础。
针对单一传感器设计的感知系统，已无法满足自动驾驶车辆对复杂环境的探测要求，因此需要为自动驾驶车辆配置多传感器以实现车辆的高感知能力。
目前，自动驾驶感知系统的传感器包括摄像头、激光雷达、毫米波雷达、超声波雷达、定位系统等，这些传感器收集车辆周围的信息，为感知系统提供全面的环境数据。而多个不同类传感器分别获得不同局部和类别的信息，这些信息之间可能相互补充，但也可能存在冗余和矛盾，造成自动驾驶车辆无法正确判断周围环境状况。
发明内容
本发明提供一种多传感器目标融合方法、装置、车辆及存储介质，以实现车辆多传感器采集的信息可以互补和融合，使车辆提高环境感知能力，能够在复杂环境下准确实时的做出正确反应。
第一方面，本发明实施例提供了一种多传感器目标融合方法，包括：
获取多个前向毫米波雷达采集到的原始雷达信号和摄像头采集到的原始摄像头信号，所述前向毫米波雷达和摄像头设置在车辆前方；
对比所述原始雷达信号和所述原始摄像头信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号；
将所述雷达匹配信号和所述摄像头匹配信号融合，输出目标融合信息。
第二方面，本发明实施例还提供了一种多传感器目标融合装置，该装置包括：
信号获取模块，用于获取多个前向毫米波雷达采集到的原始雷达信号和摄像头采集到的原始摄像头信号，所述前向毫米波雷达和摄像头设置在车辆前方；
信号筛选模块，用于对比所述原始雷达信号和所述原始摄像头信号，筛选出目标相同的雷达匹配信号和摄像头匹配信号；
信号融合模块，用于将所述雷达匹配信号和所述摄像头匹配信号融合，输出目标融合信息。
第三方面，本发明实施例还提供了一种车辆，包括：
多个前向毫米波雷达和摄像头，用于采集所述车辆前方道路信息；
存储器，用于存储可执行指令；
控制器，用于执行存储在所述存储器中的可执行指令时，实现如本发明任意实施例所述的多传感器目标融合方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的多传感器目标融合方法。
本发明通过对比采集到的原始雷达信号和原始摄像头信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号，将雷达匹配信号和摄像头匹配信号融合后输出目标融合信息，解决车辆上多个传感器采集到的不同信息产生冗余和矛盾，造成车辆无法正确判断周围环境状况的问题，实现车辆多传感器采集的信息可以互补和融合，使车辆提高环境感知能力，能够在复杂环境下准确实时的做出正确反应。
附图说明
图1是本发明实施例一提供的一种多传感器目标融合方法的流程图；
图2是本发明实施例二提供的一种多传感器目标融合方法的流程图；
图3是本发明实施例三提供的一种多传感器目标融合装置的结构框图；
图4是本发明实施例四提供的一种车辆的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种多传感器目标融合方法的流程图，本实施例可适用于多种传感器信息融合的情况，该方法可以由多传感器目标融合装置来执行，该装置可以通过软件和/或硬件实现。
如图1所示，该方法具体包括如下步骤：
步骤110、获取多个前向毫米波雷达采集到的原始雷达信号和摄像头采集到的原始摄像头信号。
其中，前向毫米波雷达和摄像头可以设置在车辆前方，用于采集车辆行驶前方和车辆周围的道路信息，前向毫米波雷达可以是多个，例如，前向毫米波雷达可以分为前方长距离毫米波雷达、前左侧中距离毫米波雷达、前右侧中距离毫米波雷达等等。
具体的，可以分别获取设置在车辆前方的多个前向毫米波雷达和摄像头采集到的车辆道路信号，分别将其定义为原始雷达信号和原始摄像头信号。
步骤120、对比原始雷达信号和原始摄像头信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号。
其中，目标匹配可以理解为原始雷达信号和原始摄像头信号中出现的某目标物体信息基本一致，可以认为是同一目标。相应的，雷达匹配信号可以理解为由前向毫米波雷达采集到的与原始摄像头信号中有目标匹配的物体信息。摄像头匹配信号则可以理解为由摄像头采集到的与原始雷达信号中有目标匹配的物体信息。
具体的，可以在获取原始雷达信号和原始摄像头信号后，通过对比原始雷达信号和原始摄像头信号中出现的目标的信息，将信息基本吻合的目标确定为同一目标，可以将该目标对应的原始雷达信号和原始摄像头信号分别确定为雷达匹配信号和摄像头匹配信号。因为采集器不同，前向毫米波雷达和摄像头采集到的信号格式和参数类型可能不同，因此可以将原始雷达信号和原始摄像头信号进行数据格式的统一化，然后再进行目标匹配操作。在进行目标匹配时，可以对两个组信号中的目标进行多组参数的比较，例如目标的移动速度、目标的加速度、目标的体积大小形状等。
步骤130、将雷达匹配信号和摄像头匹配信号融合，输出目标融合信息。
其中，目标融合信息可以理解为同时被前向毫米波雷达和摄像头采集到的目标的信息。
具体的，通过步骤120筛选后的雷达匹配信号和摄像头匹配信号可以认为包含相同的目标信息，但是由于采集器不同，相同目标被不同采集器监测到时，所采集的数据值会存在差异，因此需要将雷达匹配信号和摄像头匹配信号进行融合。在信号融合时，可以对同一目标的各个参数值分别进行求取，最后将所有参数值集合形成该目标的目标融合信息。各个参数值的融合可以根据预设规则进行计算。对雷达匹配信号和摄像头匹配信号中所有目标的信号进行融合，输出所有目标融合信息。
本实施例的技术方案，通过对比采集到的原始雷达信号和原始摄像头信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号，将雷达匹配信号和摄像头匹配信号融合后输出目标融合信息，解决车辆上多个传感器采集到的不同信息产生冗余和矛盾，造成车辆无法正确判断周围环境状况的问题，实现车辆多传感器采集的信息可以互补和融合，使车辆提高环境感知能力，能够在复杂环境下准确实时的做出正确反应。
在上述技术方案的基础上，可选的，步骤120可以包括：
将原始雷达信号和原始摄像头信号统一化，形成雷达重组信号和摄像头重组信号；对雷达重组信号和摄像头重组信号中的目标进行匹配，筛选出目标匹配的雷达匹配信号和摄像头匹配信号。
其中，雷达重组信号可以理解为原始雷达信号根据预设规则将信号标准化后形成的信号数据。摄像头重组信号可以理解为原始摄像头信号根据预设规则将信号标准化后形成的信号数据。
具体的，可以将原始雷达信号和原始摄像头信号根据预设规则将信号中包含的参数的表达形式统一标准化，在进行目标匹配时，就可以准确地对比相应目标的各项参数值。通过对比雷达重组信号和摄像头重组信号中出现的目标的信号值，将可以认定包含相同目标的两组信号分别确定为雷达匹配信号和摄像头匹配信号。
步骤120这样设置的好处在于将原始雷达信号和原始摄像头信号统一化，可以在目标匹配的时候更加方便快捷的对比信号值，并且可以提高匹配的准确率。
实施例二
图2为本发明实施例二提供的一种多传感器目标融合方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述多传感器目标融合方法。
如图2所示，该方法具体包括：
步骤201、获取多个前向毫米波雷达采集到的原始雷达信号和摄像头采集到的原始摄像头信号。
具体的，可以分别获取设置在车辆前方的多个前向毫米波雷达和摄像头采集到的车辆道路信号，分别将其定义为原始雷达信号和原始摄像头信号。
步骤202、提取原始雷达信号和原始摄像头信号中的参数值，将各参数值根据预设标准进行重组，形成包含相同参数类型的雷达重组信号和摄像头重组信号。
其中，雷达重组信号可以理解为原始雷达信号根据预设规则将信号标准化后形成的信号数据。摄像头重组信号可以理解为原始摄像头信号根据预设规则将信号标准化后形成的信号数据。
具体的，原始雷达信号和原始摄像头信号中都有多个参数值，但是由于采集器不同，参数类型的划分规则和表达形式不同，在目标匹配时不能准确对比两组信号，因此需要将原始雷达信号和原始摄像头信号中的各参数值进行重组，形成标准化的雷达重组信号和摄像头重组信号，雷达重组信号和摄像头重组信号中包含相同的参数类型。
示例性的，原始雷达信号可以包含14个参数值：毫米波雷达目标相对速度、毫米波雷达目标探测距离模式、毫米波雷达目标加速度、毫米波雷达目标宽度、毫米波雷达目标滚动计数、毫米波雷达目标桥梁目标、毫米波雷达目标距离、毫米波雷达目标角度、毫米波雷达目标状态信息、毫米波雷达目标对向同向信息、毫米波雷达目标聚类更改信息、毫米波雷达目标横向速度、毫米波雷达目标运动状态信息、毫米波雷达目标反射截面积。
原始摄像头信号可以包含9个参数值：视觉目标ID、视觉目标纵向距离、视觉目标横向距离、视觉目标纵向相对速度、视觉目标横向速度、视觉目标刹车灯信息、视觉目标转向灯信息、视觉目标纵向加速度信息、视觉目标类别信息。
通过提取原始雷达信号和原始摄像头信号中的参数值，将各参数值根据预设标准进行重组，雷达重组信号可以包括12个参数值：毫米波雷达目标ID、毫米波雷达目标类别信息、毫米波雷达目标纵向距离、毫米波雷达目标横向距离、毫米波雷达目标纵向速度、毫米波雷达目标横向速度、毫米波雷达目标纵向加速度、毫米波雷达目标横向加速度、毫米波雷达目标融合状态信息、毫米波雷达目标ID、毫米波雷达目标反射截面积、毫米波雷达目标变道趋势。
摄像头重组信号也可以包括12个参数值：视觉目标ID、视觉目标类别信息、视觉目标纵向距离、视觉目标横向距离、视觉目标纵向速度、视觉目标横向速度、视觉目标纵向加速度、视觉目标横向加速度、视觉目标融合状态信息、视觉目标ID,视觉目标雷达反射截面积，视觉目标变道趋势。
步骤203、获取雷达重组信号和摄像头重组信号中的若干组匹配参数。
其中，匹配参数可以理解为用于确定雷达重组信号和摄像头重组信号中是否包括相同目标的参数值。
具体的，可以预先设置用于确定雷达重组信号和摄像头重组信号中是否包括相同目标的参数值，获取雷达重组信号和摄像头重组信号中对应的匹配参数。例如，可以通过目标纵向距离、目标横向距离与目标纵向速度三个方面确定雷达重组信号和摄像头重组信号中的目标是否是同一目标，对应的，雷达重组信号中匹配参数为毫米波雷达目标纵向距离、毫米波雷达目标横向距离和毫米波雷达目标纵向速度，摄像头重组信号中匹配参数为视觉目标纵向距离、视觉目标横向距离和视觉目标纵向速度。
步骤204、判断雷达重组信号和摄像头重组信号中同一参数类型的匹配参数的差值是否都小于匹配预设值。
其中，参数类型可以理解为对目标物体参数的类型划分，例如，毫米波雷达目标纵向距离和视觉目标纵向距离是雷达重组信号和摄像头重组信号中分别形容目标与车辆纵向距离的参数，毫米波雷达目标纵向距离和视觉目标纵向距离则为同一参数类型。
具体的，可以提取雷达重组信号中某目标的匹配参数和摄像头重组信号中某目标的匹配参数，将同一参数类型的匹配参数的做差值，判断差值是否小于预先设置的匹配预设值，若小于，则进行步骤205；否则，进行步骤209。例如，可以将毫米波雷达目标纵向距离与视觉目标纵向距离做差值、毫米波雷达目标横向距离和视觉目标横向距离做差值，毫米波雷达目标纵向速度和视觉目标纵向速度做差值，若三个差值分别小于对应的匹配预设值，则进行205；否则，进行步骤209。
步骤205、确定雷达重组信号和摄像头重组信号为雷达匹配信号和摄像头匹配信号。
其中，雷达匹配信号和摄像头匹配信号可以理解为包含同一目标的信号数据。
具体的，通过步骤204的判断，若雷达重组信号中某目标和摄像头重组信号中某目标的同一参数类型的的差值都小于匹配预设值，那么可以确定这两个目标信号为同一目标的信号数据，那么则确定该目标对应的信号数据为雷达匹配信号和摄像头匹配信号。
步骤206、提取同一目标雷达匹配信号和摄像头匹配信号中的若干组融合参数。
其中，融合参数可以理解为用于融合雷达匹配信号和摄像头匹配信号的参数值。
具体的，可以预先设置用于融合雷达匹配信号和摄像头匹配信号的参数值，获取雷达匹配信号和摄像头匹配信号中对应的融合参数。例如，可以将目标纵向距离、目标横向距离、目标纵向速度和目标横向速度设置为用于融合雷达匹配信号和摄像头匹配信号的参数值，相应的，雷达匹配信号中的融合参数为毫米波雷达目标纵向距离、毫米波雷达目标横向距离、毫米波雷达目标纵向速度和毫米波雷达目标横向速度，摄像头匹配信号中的融合参数为视觉目标纵向距离、视觉目标横向距离、视觉目标纵向速度和视觉目标横向速度。
步骤207、将同一参数类型的融合参数增加融合权重后求和，得到目标融合参数。
其中，融合权重可以由摄像头匹配信号中的视觉目标纵向距离确定。
具体的，可以根据摄像头匹配信号中的视觉目标纵向距离确定各个参数类型进行信息融合时的权重值，将雷达匹配信号和摄像头匹配信号中的若干组融合参数分别增加对应的权重后进行融合，计算得到目标融合参数。
示例性的，目标纵向距离的融合，可以根据毫米波雷达目标纵向距离和视觉目标纵向距离值计算输出目标融合纵向距离。
目标融合纵向距离＝视觉目标纵向距离*视觉目标纵向距离权重+毫米波雷达目标纵向距离*毫米波雷达目标纵向距离权重。
其中，毫米波雷达目标纵向距离权重＝1-视觉目标纵向距离权重。
融合权重可以根据视觉目标纵向距离取值确定，当匹配上的视觉目标纵向距离小于近距离阈值时，视觉目标纵向距离权重为近距离权重，视觉目标纵向距离大于近距离阈值并小于长距离阈值时，视觉目标纵向距离权重为中距离权重，视觉目标纵向距离大于长距离阈值时，视觉目标纵向距离权重为长距离权重。
目标横向距离的融合，可以根据毫米波雷达目标横向距离和视觉目标横向距离值计算输出目标融合横向距离。
目标融合横向距离＝视觉目标横向距离*视觉目标横向距离权重+毫米波雷达目标横向距离*毫米波雷达目标横向距离权重。
其中，毫米波雷达目标横向距离权重＝1-视觉目标横向距离权重。
融合权重可以根据视觉目标纵向距离取值确定，当匹配上的视觉目标纵向距离小于近距离阈值时，视觉目标横向距离权重为近距离权重，视觉目标纵向距离大于近距离阈值并小于长距离阈值时，视觉目标横向距离权重为中距离权重，视觉目标纵向距离大于长距离阈值时，视觉目标横向距离权重为长距离权重。
目标纵向速度的融合，可以根据毫米波雷达目标纵向速度和视觉目标纵向速度值计算输出目标融合纵向速度。
目标融合纵向速度＝视觉目标纵向速度*视觉目标纵向速度权重+毫米波雷达目标纵向速度*毫米波雷达目标纵向速度权重。
其中，毫米波雷达目标纵向速度权重＝1-视觉目标纵向速度权重。
融合权重可以根据视觉目标纵向距离取值确定，当匹配上的视觉目标纵向距离小于近距离阈值时，视觉目标纵向速度权重为近距离权重，视觉目标纵向距离大于近距离阈值并小于长距离阈值时，视觉目标纵向速度权重为中距离权重，视觉目标纵向距离大于长距离阈值时，视觉目标纵向速度权重为长距离权重。
目标横向速度的融合，可以根据毫米波雷达目标横向速度和视觉目标横向速度值计算输出目标融合横向速度。
目标融合横向速度＝视觉目标横向速度*视觉目标横向速度权重+毫米波雷达目标横向速度*毫米波雷达目标横向速度权重。
其中，毫米波雷达目标横向速度权重＝1-视觉目标横向速度权重。
融合权重可以根据视觉目标纵向距离取值确定，当匹配上的视觉目标纵向距离小于近距离阈值时，视觉目标横向速度权重为近距离权重，视觉目标纵向距离大于近距离阈值并小于长距离阈值时，视觉目标横向速度权重为中距离权重，视觉目标纵向距离大于长距离阈值时，视觉目标横向速度权重为长距离权重。
步骤208、将同一目标的所有目标融合参数集合成目标融合信息并输出。
其中，目标融合信息可以理解为同一目标的原始雷达信号和原始摄像头信号融合后的数据信息。
具体的，可以将步骤207得到的目标融合参数集合成目标融合信息，并将该目标融合信息输出，使车辆在复杂环境下准确实时的做出正确反应。在集合信息时，还可以包括不是融合参数的其他参数类型的参数值。
步骤209、确定雷达重组信号中不属于雷达匹配信号的单一雷达信号。
其中，单一雷达信号可以理解为没有匹配到摄像头重组信号中对应目标的信号数据。
具体的，通过步骤204的判断，若雷达重组信号中某目标和摄像头重组信号中某目标的同一参数类型的的差值并不是都小于匹配预设值，那么可以确定这两个目标信号不是同一目标的信号数据，那么则确定该雷达重组信号中的该目标对应的信号为单一雷达信号。
步骤210、确定单一雷达信号中的各目标的威胁度，根据威胁度对各目标进行降序排列。
其中，威胁度可以理解为信号中目标物体对车辆的影响程度。
具体的，可以通过单一雷达信号中某目标的各个参数值计算该目标相对于车辆的威胁度，在计算单一雷达信号中所有目标的威胁度后，根据威胁度对各目标进行降序排列。
可选的，单一雷达信号中的各目标的威胁度的确定方式可以如下所示：
其中，
A＝1，
其中，可以定义毫米波雷达目标i的威胁度Ti,Rix为毫米波雷达目标纵向距离，Riy为毫米波雷达目标横向距离，Vix为毫米波雷达目标纵向速度，Viy为毫米波雷达目标横向速度,Vhost为本车车速，A、B、C、D为常数系数，在特定条件下才具备威胁度的贡献值。
可以经过上述公式计算，根据威胁度对各目标进行降序排列。
步骤211、输出前预设数量的目标对应的单一雷达信号。
具体的，可以根据各目标威胁度的计算值，选出预设数量的威胁度高的单一雷达信号，并将这些单一雷达信号输出。示例性的，可以选择出上述事例中15个威胁度最高的单一雷达信号。
本实施例的技术方案，通过统一采集到的原始雷达信号和原始摄像头信号，形成雷达重组信号和摄像头重组信号，通过对比雷达重组信号和摄像头重组信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号，将雷达匹配信号和摄像头匹配信号融合后输出目标融合信息，同时，确定雷达重组信号中未匹配到相同目标的单一雷达信号的威胁度，输出威胁度高的单一雷达信号，解决车辆上多个传感器采集到的不同信息产生冗余和矛盾，造成车辆无法正确判断周围环境状况的问题，实现车辆多传感器采集的信息可以互补和融合，使车辆提高环境感知能力，能够在复杂环境下准确实时的做出正确反应。
实施例三
本发明实施例所提供的多传感器目标融合装置可执行本发明任意实施例所提供的多传感器目标融合方法，具备执行方法相应的功能模块和有益效果。图3是本发明实施例三提供的一种多传感器目标融合装置的结构框图，如图3所示，该装置包括：信号获取模块310、信号筛选模块320和信号融合模块330。
信号获取模块310，用于获取多个前向毫米波雷达采集到的原始雷达信号和摄像头采集到的原始摄像头信号，所述前向毫米波雷达和摄像头设置在车辆前方。
信号筛选模块320，用于对比所述原始雷达信号和所述原始摄像头信号，筛选出目标相同的雷达匹配信号和摄像头匹配信号。
信号融合模块330，用于将所述雷达匹配信号和所述摄像头匹配信号融合，输出目标融合信息。
本实施例的技术方案，通过对比采集到的原始雷达信号和原始摄像头信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号，将雷达匹配信号和摄像头匹配信号融合后输出目标融合信息，解决车辆上多个传感器采集到的不同信息产生冗余和矛盾，造成车辆无法正确判断周围环境状况的问题，实现车辆多传感器采集的信息可以互补和融合，使车辆提高环境感知能力，能够在复杂环境下准确实时的做出正确反应。
可选的，所述信号筛选模块包括：
信号重组单元，用于将所述原始雷达信号和所述原始摄像头信号统一化，形成雷达重组信号和摄像头重组信号；
信号匹配单元，用于对所述雷达重组信号和所述摄像头重组信号中的目标进行匹配，筛选出目标匹配的雷达匹配信号和摄像头匹配信号。
可选的，所述信号重组单元，具体用于提取所述原始雷达信号和所述原始摄像头信号中的参数值，将各参数值根据预设标准进行重组，形成包含相同参数类型的所述雷达重组信号和所述摄像头重组信号。
可选的，所述信号匹配单元，具体用于：
获取所述雷达重组信号和所述摄像头重组信号中的若干组匹配参数；
判断所述雷达重组信号和所述摄像头重组信号中同一参数类型的匹配参数的差值是否都小于匹配预设值；
若是，确定所述雷达重组信号和所述摄像头重组信号为所述雷达匹配信号和所述摄像头匹配信号。
可选的，信号融合模块330，具体用于：
提取同一目标雷达匹配信号和摄像头匹配信号中的若干组融合参数；
将同一参数类型的融合参数增加融合权重后求和，得到目标融合参数，所述融合权重由所述摄像头匹配信号中的视觉目标纵向距离确定；
将同一目标的所有目标融合参数集合成所述目标融合信息并输出。
可选的，所述装置还包括，单一雷达信号输出模块340，所述单一雷达信号输出模块340具体用于：
确定所述雷达重组信号中不属于所述雷达匹配信号的单一雷达信号；
确定所述单一雷达信号中的各目标的威胁度，根据所述威胁度对各目标进行降序排列；
输出前预设数量的目标对应的单一雷达信号。
本实施例的技术方案，通过统一采集到的原始雷达信号和原始摄像头信号，形成雷达重组信号和摄像头重组信号，通过对比雷达重组信号和摄像头重组信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号，将雷达匹配信号和摄像头匹配信号融合后输出目标融合信息，同时，确定雷达重组信号中未匹配到相同目标的单一雷达信号的威胁度，输出威胁度高的单一雷达信号，解决车辆上多个传感器采集到的不同信息产生冗余和矛盾，造成车辆无法正确判断周围环境状况的问题，实现车辆多传感器采集的信息可以互补和融合，使车辆提高环境感知能力，能够在复杂环境下准确实时的做出正确反应。
实施例四
图4为本发明实施例四提供的一种车辆的结构框图，如图4所示，该车辆包括控制器410、存储器420、多个前向毫米波雷达430和摄像头440；车辆中控制器410的数量可以是一个或多个，图4中以一个控制器410为例；车辆中的控制器410、存储器420、多个前向毫米波雷达430和摄像头440可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的多传感器目标融合方法对应的程序指令/模块(例如，多传感器目标融合装置中的信号获取模块310、信号筛选模块320和信号融合模块330)。控制器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行车辆的各种功能应用以及数据处理，即实现上述的多传感器目标融合方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于控制器410远程设置的存储器，这些远程存储器可以通过网络连接至车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
前向毫米波雷达430和摄像头440，可以用于采集所述车辆前方道路信息。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种多传感器目标融合方法，该方法包括：
获取多个前向毫米波雷达采集到的原始雷达信号和摄像头采集到的原始摄像头信号，所述前向毫米波雷达和摄像头设置在车辆前方；
对比所述原始雷达信号和所述原始摄像头信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号；
将所述雷达匹配信号和所述摄像头匹配信号融合，输出目标融合信息。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的多传感器目标融合方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述多传感器目标融合装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种多传感器目标融合方法，其特征在于，包括：
获取多个前向毫米波雷达采集到的原始雷达信号和摄像头采集到的原始摄像头信号，所述前向毫米波雷达和摄像头设置在车辆前方；
对比所述原始雷达信号和所述原始摄像头信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号；
将所述雷达匹配信号和所述摄像头匹配信号融合，输出目标融合信息。
2.根据权利要求1所述的多传感器目标融合方法，其特征在于，所述对比所述原始雷达信号和所述原始摄像头信号，筛选出目标匹配的雷达匹配信号和摄像头匹配信号，包括：
将所述原始雷达信号和所述原始摄像头信号统一化，形成雷达重组信号和摄像头重组信号；
对所述雷达重组信号和所述摄像头重组信号中的目标进行匹配，筛选出目标匹配的雷达匹配信号和摄像头匹配信号。
3.根据权利要求2所述的多传感器目标融合方法，其特征在于，所述将所述原始雷达信号和所述原始摄像头信号统一化，形成雷达重组信号和摄像头重组信号，包括：
提取所述原始雷达信号和所述原始摄像头信号中的参数值，将各参数值根据预设标准进行重组，形成包含相同参数类型的所述雷达重组信号和所述摄像头重组信号。
4.根据权利要求2所述的多传感器目标融合方法，其特征在于，所述对所述雷达重组信号和所述摄像头重组信号中的目标进行匹配，筛选出目标匹配的雷达匹配信号和摄像头匹配信号，包括：
获取所述雷达重组信号和所述摄像头重组信号中的若干组匹配参数；
判断所述雷达重组信号和所述摄像头重组信号中同一参数类型的匹配参数的差值是否都小于匹配预设值；
若是，确定所述雷达重组信号和所述摄像头重组信号为所述雷达匹配信号和所述摄像头匹配信号。
5.根据权利要求1所述的多传感器目标融合方法，其特征在于，所述将所述雷达匹配信号和所述摄像头匹配信号融合，输出目标融合信息，包括：
提取同一目标雷达匹配信号和摄像头匹配信号中的若干组融合参数；
将同一参数类型的融合参数增加融合权重后求和，得到目标融合参数，所述融合权重由所述摄像头匹配信号中的视觉目标纵向距离确定；
将同一目标的所有目标融合参数集合成所述目标融合信息并输出。
6.根据权利要求2所述的多传感器目标融合方法，其特征在于，还包括：
确定所述雷达重组信号中不属于所述雷达匹配信号的单一雷达信号；
确定所述单一雷达信号中的各目标的威胁度，根据所述威胁度对各目标进行降序排列；
输出前预设数量的目标对应的单一雷达信号。
7.一种多传感器目标融合装置，其特征在于，包括：
信号获取模块，用于获取多个前向毫米波雷达采集到的原始雷达信号和摄像头采集到的原始摄像头信号，所述前向毫米波雷达和摄像头设置在车辆前方；
信号筛选模块，用于对比所述原始雷达信号和所述原始摄像头信号，筛选出目标相同的雷达匹配信号和摄像头匹配信号；
信号融合模块，用于将所述雷达匹配信号和所述摄像头匹配信号融合，输出目标融合信息。
8.根据权利要求7所述的多传感器目标融合装置，其特征在于，所述信号筛选模块包括：
信号重组单元，用于将所述原始雷达信号和所述原始摄像头信号统一化，形成雷达重组信号和摄像头重组信号；
信号匹配单元，用于对所述雷达重组信号和所述摄像头重组信号中的目标进行匹配，筛选出目标匹配的雷达匹配信号和摄像头匹配信号。
9.一种车辆，其特征在于，包括：
多个前向毫米波雷达和摄像头，用于采集所述车辆前方道路信息；
存储器，用于存储可执行指令；
控制器，用于执行存储在所述存储器中的可执行指令时，实现如权利要求1-6中任一所述的多传感器目标融合方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的多传感器目标融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010506926.3A CN111695619A (zh) | 2020-06-05 | 2020-06-05 | 一种多传感器目标融合方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010506926.3A CN111695619A (zh) | 2020-06-05 | 2020-06-05 | 一种多传感器目标融合方法、装置、车辆及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111695619A true CN111695619A (zh) | 2020-09-22 |
Family
ID=72479590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010506926.3A Pending CN111695619A (zh) | 2020-06-05 | 2020-06-05 | 一种多传感器目标融合方法、装置、车辆及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111695619A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112180364A (zh) * | 2020-09-25 | 2021-01-05 | 华人运通(上海)自动驾驶科技有限公司 | 获取车辆周围环境的方法、装置、电子设备及存储介质 |
| CN112379674A (zh) * | 2020-11-26 | 2021-02-19 | 中国第一汽车股份有限公司 | 一种自动驾驶设备及系统 |
| CN112406687A (zh) * | 2020-10-16 | 2021-02-26 | 常州通宝光电股份有限公司 | 一种“人-车-路”协同的可编程矩阵式前照灯系统及方法 |
| CN113296100A (zh) * | 2021-06-09 | 2021-08-24 | 中国第一汽车股份有限公司 | 单一毫米波雷达目标输出方法、装置、设备及存储介质 |
| CN113611112A (zh) * | 2021-07-29 | 2021-11-05 | 中国第一汽车股份有限公司 | 一种目标关联方法、装置、设备及存储介质 |
| CN114624711A (zh) * | 2020-12-11 | 2022-06-14 | 中寰卫星导航通信有限公司 | 一种不同雷达信息的融合方法、装置、存储介质及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120081544A1 (en) * | 2010-10-01 | 2012-04-05 | Jay Young Wee | Image Acquisition Unit, Acquisition Method, and Associated Control Unit |
| CN109886308A (zh) * | 2019-01-25 | 2019-06-14 | 中国汽车技术研究中心有限公司 | 一种基于目标级别的双传感器数据融合方法和装置 |
| CN109885056A (zh) * | 2019-03-07 | 2019-06-14 | 格陆博科技有限公司 | 一种基于单目摄像头和毫米波雷达融合的多场景挑选方法 |
| CN109901156A (zh) * | 2019-01-25 | 2019-06-18 | 中国汽车技术研究中心有限公司 | 一种车辆毫米波雷达和摄像头的目标融合方法和装置 |
| CN110095770A (zh) * | 2019-04-26 | 2019-08-06 | 东风柳州汽车有限公司 | 车辆周边目标物的检测方法 |
| CN110888135A (zh) * | 2018-08-15 | 2020-03-17 | 比亚迪股份有限公司 | 目标识别的方法、装置以及存储介质和车辆 |
-
2020
- 2020-06-05 CN CN202010506926.3A patent/CN111695619A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120081544A1 (en) * | 2010-10-01 | 2012-04-05 | Jay Young Wee | Image Acquisition Unit, Acquisition Method, and Associated Control Unit |
| CN110888135A (zh) * | 2018-08-15 | 2020-03-17 | 比亚迪股份有限公司 | 目标识别的方法、装置以及存储介质和车辆 |
| CN109886308A (zh) * | 2019-01-25 | 2019-06-14 | 中国汽车技术研究中心有限公司 | 一种基于目标级别的双传感器数据融合方法和装置 |
| CN109901156A (zh) * | 2019-01-25 | 2019-06-18 | 中国汽车技术研究中心有限公司 | 一种车辆毫米波雷达和摄像头的目标融合方法和装置 |
| CN109885056A (zh) * | 2019-03-07 | 2019-06-14 | 格陆博科技有限公司 | 一种基于单目摄像头和毫米波雷达融合的多场景挑选方法 |
| CN110095770A (zh) * | 2019-04-26 | 2019-08-06 | 东风柳州汽车有限公司 | 车辆周边目标物的检测方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112180364A (zh) * | 2020-09-25 | 2021-01-05 | 华人运通(上海)自动驾驶科技有限公司 | 获取车辆周围环境的方法、装置、电子设备及存储介质 |
| CN112180364B (zh) * | 2020-09-25 | 2022-07-15 | 华人运通(上海)自动驾驶科技有限公司 | 获取车辆周围环境的方法、装置、电子设备及存储介质 |
| CN112406687A (zh) * | 2020-10-16 | 2021-02-26 | 常州通宝光电股份有限公司 | 一种“人-车-路”协同的可编程矩阵式前照灯系统及方法 |
| CN112379674A (zh) * | 2020-11-26 | 2021-02-19 | 中国第一汽车股份有限公司 | 一种自动驾驶设备及系统 |
| CN114624711A (zh) * | 2020-12-11 | 2022-06-14 | 中寰卫星导航通信有限公司 | 一种不同雷达信息的融合方法、装置、存储介质及设备 |
| CN114624711B (zh) * | 2020-12-11 | 2024-05-17 | 中寰卫星导航通信有限公司 | 一种不同雷达信息的融合方法、装置、存储介质及设备 |
| CN113296100A (zh) * | 2021-06-09 | 2021-08-24 | 中国第一汽车股份有限公司 | 单一毫米波雷达目标输出方法、装置、设备及存储介质 |
| CN113296100B (zh) * | 2021-06-09 | 2024-03-26 | 中国第一汽车股份有限公司 | 单一毫米波雷达目标输出方法、装置、设备及存储介质 |
| CN113611112A (zh) * | 2021-07-29 | 2021-11-05 | 中国第一汽车股份有限公司 | 一种目标关联方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111695619A (zh) | 一种多传感器目标融合方法、装置、车辆及存储介质 | |
| CN112693466A (zh) | 一种车辆环境感知传感器性能测评系统及方法 | |
| CN112824931A (zh) | 使用参考数据改善雷达数据的方法和设备 | |
| KR20150028258A (ko) | 정보 이용을 위한 방법 및 시스템 | |
| US20190039612A1 (en) | Technologies To Facilitate Automated Driving Assistance Based On Objects Sensed And Reported By Remote Senders | |
| CN112147635B (zh) | 一种检测系统、方法及装置 | |
| CN115618932A (zh) | 基于网联自动驾驶的交通事件预测方法、装置及电子设备 | |
| CN114488072A (zh) | 障碍物检测方法、装置及存储介质 | |
| CN114296095A (zh) | 自动驾驶车辆的有效目标提取方法、装置、车辆及介质 | |
| CN111813105A (zh) | 一种车路协同方法、装置、电子设备及可读存储介质 | |
| CN111959515A (zh) | 一种基于视觉检测的前向目标选择方法、装置及系统 | |
| CN117130010B (zh) | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 | |
| CN113792598B (zh) | 基于车载摄像头的汽车碰撞预测系统和方法 | |
| CN111352111A (zh) | 对象的定位和/或分类 | |
| CN114675295A (zh) | 一种障碍物判定的方法、装置、设备及存储介质 | |
| JP7418476B2 (ja) | 運転可能な領域情報を決定するための方法及び装置 | |
| CN115359332A (zh) | 基于车路协同的数据融合方法、装置、电子设备及系统 | |
| CN115116034A (zh) | 一种夜间行人检测方法、装置及系统 | |
| CN114882458A (zh) | 一种目标跟踪方法、系统、介质及设备 | |
| CN111090105B (zh) | 一种车载激光雷达点云信号地面点分离方法 | |
| CN116863325A (zh) | 一种用于多个目标检测的方法和相关产品 | |
| CN110969058B (zh) | 用于环境目标的融合方法及装置 | |
| CN111723866A (zh) | 点云聚类的方法及装置、无人车、可读存储介质 | |
| CN114627442B (zh) | 基于后融合的车路协同三维目标检测方法及系统 | |
| Sierra-González et al. | Leveraging dynamic occupancy grids for 3d object detection in point clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200922 |