CN111505624B - 一种基于机器视觉和毫米波雷达数据融合的环境感知方法 - Google Patents

一种基于机器视觉和毫米波雷达数据融合的环境感知方法 Download PDF

Info

Publication number
CN111505624B
CN111505624B CN202010367064.0A CN202010367064A CN111505624B CN 111505624 B CN111505624 B CN 111505624B CN 202010367064 A CN202010367064 A CN 202010367064A CN 111505624 B CN111505624 B CN 111505624B
Authority
CN
China
Prior art keywords
target object
data
target
fusion
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010367064.0A
Other languages
English (en)
Other versions
CN111505624A (zh
Inventor
赵鹏云
夏芹
吴慧敏
邓长帧
李晓晖
黎延熹
熊永伟
杜宏建
赵树廉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Commercial Vehicle Co Ltd
China Automotive Engineering Research Institute Co Ltd
Original Assignee
Dongfeng Commercial Vehicle Co Ltd
China Automotive Engineering Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Commercial Vehicle Co Ltd, China Automotive Engineering Research Institute Co Ltd filed Critical Dongfeng Commercial Vehicle Co Ltd
Priority to CN202010367064.0A priority Critical patent/CN111505624B/zh
Publication of CN111505624A publication Critical patent/CN111505624A/zh
Application granted granted Critical
Publication of CN111505624B publication Critical patent/CN111505624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及传感器数据处理技术领域，具体为一种基于机器视觉和毫米波雷达数据融合的环境感知方法，包括以下内容：数据获取步骤，获取雷达系统和视觉系统的数据；数据关联匹配步骤，获取两个传感系统检测到的目标物数据列表，并对两个传感系统检测到的目标物数据进行匹配关联；目标物跟踪步骤，对目标物进行匹配跟踪，更新目标物的生命周期状态；目标物数据融合步骤，对雷达系统和视觉系统的输出的目标物的数据信号进行融合。本申请的一种基于机器视觉和毫米波雷达数据融合的环境感知方法，能够融合视觉系统和雷达系统两个传感系统的优缺点来达到精确感知环境信息的目的，解决单特性传感器难以满足感知系统的精度及可靠性要求的问题。

Description

一种基于机器视觉和毫米波雷达数据融合的环境感知方法
技术领域
本发明涉及传感器数据处理技术领域，具体为一种基于机器视觉和毫米波雷达数据融合的环境感知方法。
背景技术
汽车已成为交通中的重要组成部分，是民众出行的重要选择。随着汽车持有量持续增加，交通安全、能源消耗越来越成为制约汽车产业发展的主要因素。汽车新能源、智能化、网联化技术的出现，为解决上述问题提供了解决手段。“智能网联汽车”是未来的重要发展方向，智能网联电动车已成为汽车行业的研究热点。
智能驾驶汽车突破的关键点在于构建高精度、高可靠性及实时的环境感知模型。环境感知模型是汽车与外界环境交互的媒介，是汽车决策系统的前提条件。目前毫米波雷达系统、视觉相机系统以及激光雷达系统是感知系统主要应用的传感器。毫米波雷达能够可靠的检测远距离目标并测速，扩展感知范围提高跟踪精度；视觉传感器能够提供丰富的环境语义信息，对感知系统对环境的理解提供支持。
但是，单特性传感器由于其工作原理的限制，难以满足感知系统的精度及可靠性要求。
发明内容
本发明意在提供一种基于机器视觉和毫米波雷达数据融合的环境感知方法，能够融合视觉系统和雷达系统两个传感系统的优缺点来达到精确感知环境信息的目的，解决现有技术难以满足感知系统的精度及可靠性要求的问题。
本申请提供如下技术方案：
一种基于机器视觉和毫米波雷达数据融合的环境感知方法，包括以下内容：
数据获取步骤，获取雷达系统和视觉系统的数据；
数据关联匹配步骤，获取两个传感系统检测到的目标物数据列表，并对两个传感系统检测到的目标物数据进行匹配关联；
目标物跟踪步骤，对目标物进行匹配跟踪，更新目标物的生命周期状态；
目标物数据融合步骤，对雷达系统和视觉系统的输出的目标物的数据信号进行融合。
进一步，所述数据关联匹配步骤包括：
S100：将两个传感系统的坐标统一，对目标物进行筛选；
S101：通过使用点迹关联方法和航迹关联方法将一个传感系统的前后帧的目标物信息或两个传感系统的目标物数据列表中对应同一个目标物的目标物数据进行关联。
通过使用点迹关联可以将目标物快速的进行关联和匹配，但是当目标物距离较远时，点迹关联会存在较大的误差，此时使用航迹关联方法，可以很好的弥补点迹关联的不足，通过本方法可以针对距离较远和距离较近的目标物都实现关联匹配。在目标物刚进入两个传感系统的探测范围中时，可以先使用点迹关联确定关联矩阵，关联完成后，后续的周期中可以使用航迹进行关联，省去计算关联矩阵的计算消耗。
进一步，所述S101包括：
S1011：判断目标物是否是第一次出现在传感系统的探测范围内，若是则执行S1013-S1014，若否则执行S1012；
S1012：根据前后帧的目标物的航迹信息，确定关联目标物，若无法使用航迹信息进行关联的目标物则继续执行S1013-S1014；
S1013：无法使用航迹信息进行关联的目标物，根据两个传感系统输出的目标物的位置数据，计算两个障碍物之间的欧式距离和余弦相似度；
S1014：根据欧式距离和余弦相似度构建数据关联矩阵，根据关联矩阵和预设阈值进行两个传感系统输出的目标物数据的关联。
两个传感系统对同一目标物的观测值具有一定的相似性，因此在坐标统一之后，通过目标物位置关系的计算即可实现对目标物的关联匹配。
在对目标物的前后帧数据进行关联时，使用目标物对应的系统ID及目标物生命周期情况进行匹配可增加跟踪的稳定性，并减小计算量。
进一步，所述航迹信息包括跟踪ID和跟踪状态。
进一步，所述航迹关联方法中根据目标物ID和生命周期状态来进行目标物数据的关联。
进一步，所述目标物跟踪步骤包括：
S200：对目标物数据应用卡尔曼滤波，形成下一时刻的预测状态值和与状态值对应的预测协方差；
S201：对当前时刻的各个目标物数据与上个时刻的目标物数据进行关联匹配得到匹配结果，所述匹配结果包括完全匹配的目标物数据、新目标物数据以及当前时刻不存在目标物数据；
S202：对完全匹配的目标物数据则使用当前时刻的目标物数据对S200中的预测结果进行修正和更新。
通过卡尔曼滤波算法根据当前的目标物的相对运动状态，预测下一周期目标物的可行区域，并根据实际目标物信息进行修正，从而实现前后数据的连续跟踪，形成对目标物的生命周期的管理，方便对目标物的有效性进行评价，提高检测的可靠性和有效性。
进一步，所述目标物跟踪步骤中，若一个目标物仅在一个传感系统中有对应的目标物数据，则由对应的传感系统对其进行持续跟踪，当目标物进入两个传感系统共同的探测范围内时，直接进行目标物数据融合。
如果一个传感系统先检测到目标位，比如目标物先被雷达系统检测到然后才被视觉系统检测到。则现有技术中会把这一段的数据删除而过滤掉。本申请中，则在只有一个传感系统检测到目标物时就进行跟踪，当目标进入两个传感器共同探测范围时，进行融合。进而实现目标物的稳定跟踪，这个过程中，目标物对应的系统ID不变，也不需要进行关联匹配。提高处理速度，同时相比现有技术可以利用和保留更多的数据信息。
进一步，所述目标物跟踪步骤中，若S201的检测结果为当前时刻不存在目标物数据时，会记录对应目标物连续未出现帧数，当所述连续未出现帧数大于帧数阈值时，则判定目标物消失；所述帧数阈值根据目标物的连续存在时长以及目标物位置数据进行调整；目标物已存在的时长越长，帧数阈值越大，目标物已存在时长越短，帧数阈值越小，若目标物位于目标区域以内，则增大帧数阈值，若目标物位于目标区域以外，则减小帧数阈值。
在实际情况下由于传感器误差等原因，可能会出现目标物短暂消失或目标物本身就是一个误差造成的等情况，因此设置帧数阈值可以避免错误的将目标物移除，目标物已存在的时长越长，则目标物本身是误差造成的可能性就越小，因此为其预留更长的帧数阈值；相反，目标物存在的时长越短，则其是误差造成的可能性就越大，因此为其预留的帧数阈值更小，若目标物出现目标区域内，如正前方或与传感系统距离非常近，则代表对当前系统可能有一定的威胁，则应当重点关注，帧数阈值应该适当调大。
进一步，所述目标物数据融合步骤包括：
S300：根据上一时刻的融合结果预测当前时刻的预测状态值及对应的预测协方差矩阵；
S301：使用以下公式对两个传感系统的数据进行融合：
K1＝PHT(HPHT+R1)-1
X1＝X+K1(Z1-HX)
P1＝(I-K1H)P
K2＝P1HT(HP1HT+R2)-1
Xf＝X1+K2(Z2-HX1)
Pf＝(I-K2H)P1
其中：X表示预测状态值，P表示预测协方差矩阵，Z1和Z2分别表示对应时刻两个传感系统对同一目标物的观测值，R1和R2为对应的噪声矩阵，Xf和Pf为融合后的状态值和协方差矩阵。
进一步，所述S301中，通过调整噪声矩阵中的参数来调节两个传感系统的观测值对融合结果的影响程度。
通过调整噪声矩阵来调节各个传感系统对最终的融合结果的影响。
进一步，所述目标物数据包括横向信息、纵向信息、速度信息和类别信息，所述S301中，当融合得到目标物的横向信息或类别信息时，通过调节噪声矩阵增大视觉系统的观测值的影响程度；当融合得到目标物的纵向信息或速度信息时，通过调节噪声矩阵增大雷达系统的观测值的影响程度。
由于雷达系统对纵向信息以及速度信息的检测更加准确、视觉系统对横向信息以及类别信息的检测识别更加准确，因此在进行数据融合时，动态的调整噪声矩阵来对两个传感系统的对融合结果的影响程度进行调节，可以把两个传感器的优势进行互补，实现充分的数据利用，提高融合后数据的精准度。
附图说明
图1为本发明中一种基于机器视觉和毫米波雷达数据融合的环境感知方法实施例的流程图；
图2为本发明中一种基于机器视觉和毫米波雷达数据融合的环境感知方法实施例中目标物跟踪步骤的流程图；
图3为本发明中一种基于机器视觉和毫米波雷达数据融合的环境感知方法实施例中数据关联匹配步骤的流程图；
图4为本发明实施中数据融合后的目标物的纵向信息与各个传感系统的测量值对比图；
图5为本发明实施中数据融合后的目标物的横向信息与各个传感系统的测量值对比图；
图6为本发明实施例中卡尔曼滤波器的计算流程图；
图7为本发明实施例中噪声矩阵调整前后的融合结果的位置对比图；
图8为本发明实施例中噪声矩阵调整前后的融合结果的速度对比图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例
如图1、图2和图3所示，本实施例的一种基于机器视觉和毫米波雷达数据融合的环境感知方法，包括以下内容：
数据获取步骤，获取毫米波雷达系统和视觉系统(Mobileye)的数据；
数据关联匹配步骤，获取两个传感系统检测到的目标物数据列表，并对两个传感系统检测到的目标物数据进行匹配关联；
目标物跟踪步骤，对目标物进行匹配跟踪，更新目标物的生命周期状态；
目标物数据融合步骤，对毫米波雷达系统和视觉系统的输出的目标物的数据信号进行融合。
具体的，数据关联匹配步骤包括：
S100：将Mobileye和毫米波雷达的坐标统一，并对目标物进行筛选，初始化目标物状态信息；
S101：通过使用点迹关联方法和航迹关联方法将一个传感系统的前后帧的目标物信息或两个传感系统的目标物数据列表中对应同一个目标物的目标物数据进行关联，具体的，包括：
S1011：判断目标物是否是第一次出现在传感系统的探测范围内，若是则执行S1013-S1014，若否则执行S1012；
S1012：根据前后帧的目标物的航迹信息，确定关联目标物，若无法使用航迹信息进行关联的目标物则继续执行S1013-S1014；
S1013：无法使用航迹信息进行关联的目标物，根据两个传感系统输出的目标物的位置数据，计算两个障碍物之间的欧式距离和余弦相似度；
S1014：根据欧式距离和余弦相似度构建数据关联矩阵，根据关联矩阵和预设阈值进行两个传感系统输出的目标物数据的关联。
航迹关联方法中航迹信息包括目标物ID和生命周期状态。Mobileye和雷达均对各自探测的目标进行了跟踪，并在系统中赋予对应的ID，在对前后帧数据进行关联时，使用跟踪的ID及目标物生命周期情况进行匹配可增加融合结果跟踪的稳定性，并减小计算量。在目标物刚进入两个传感系统的探测范围中时，可以先使用点迹关联确定关联矩阵，关联完成后，后续的周期中可以使用航迹进行关联，省去计算关联矩阵的计算消耗。
目标物跟踪步骤主要是用于形成对目标物的生命周期的管理，方便对目标物的有效性进行评价，及时剔除失效的或虚假的目标，提高检测的可靠性和有效性。目标物跟踪步骤包括：
S200：对目标物数据应用卡尔曼滤波，形成下一时刻的预测状态值和与状态值对应的预测协方差；卡尔曼滤波算法主要是根据当前的相对运动状态，预测下一周期目标物的可行区域，并根据实际目标物信息进行修正，从而实现前后数据的连续跟踪，本实施中，采用的卡尔曼滤波器的计算过程如图6所示。
S201：对当前时刻的各个目标物数据与上个时刻的目标物数据进行关联匹配得到匹配结果，匹配结果包括完全匹配的目标物数据、新目标物数据以及当前时刻不存在目标物数据；
S202：对完全匹配的目标物数据则使用当前时刻的目标物数据对S200中的预测结果进行修正和更新，得到目标新的状态值，并赋予同一ID。
对当前时刻不存在目标物数据的目标物，即S201的检测结果为当前时刻不存在目标物数据时，会记录对应目标物连续未出现帧数，当连续未出现帧数大于帧数阈值时，则判定目标物消失；帧数阈值根据目标物的连续存在时长以及目标物位置数据进行调整；目标物已存在的时长越长，帧数阈值越大，目标物已存在时长越短，帧数阈值越小，若目标物位于目标区域以内，则增大帧数阈值，若目标物位于目标区域以外，则减小帧数阈值。在实际情况下由于传感器误差等原因，可能会出现目标物短暂消失或目标物本身就是一个误差造成的等情况，因此设置帧数阈值可以避免错误的将目标物移除，目标物已存在的时长越长，则目标物本身是误差造成的可能性就越小，因此为其预留更长的帧数阈值；相反，目标物存在的时长越短，则其是误差造成的可能性就越大，因此为其预留的帧数阈值更小，若目标物出现目标区域内，如正前方或与传感系统距离非常近，则代表对当前系统可能有一定的威胁，则应当重点关注，帧数阈值应该适当调大。
目标物跟踪步骤中，若一个目标物仅在一个传感系统中有对应的目标物数据，则由对应的传感系统对其进行持续跟踪，当目标物进入两个传感系统共同的探测范围内时，直接进行目标物数据融合。如果一个传感系统先检测到目标位，比如目标物先被毫米波雷达系统检测到然后才被Mobileye检测到。则现有技术中会把这一段的数据删除而过滤掉。本申请中，则在只有一个传感系统检测到目标物时就进行跟踪，当目标进入两个传感器共同探测范围时，进行融合。进而实现目标物的稳定跟踪，这个过程中，目标物对应的系统ID不变，也不需要进行关联匹配。提高处理速度，同时相比现有技术可以利用和保留更多的数据信息。
目标物的生命周期用来对目标物从形成到消亡的整个过程进行描述。不同目标的生命周期值反应了该目标的有效性，从而为后续的传感器信息融合提供依据。为描述目标生命周期，引入下表所示的参数。目标跟踪算法流程图见图2。
表1目标物周期管理参数
Figure BDA0002476846360000071
目标物数据融合步骤包括：
S300：根据上一时刻的融合结果预测当前时刻的预测状态值及对应的预测协方差矩阵；
S301：使用以下公式对两个传感系统的数据进行融合：
K1＝PHT(HPHT+R1)-1
X1＝X+K1(Z1-HX)
P1＝(I-K1H)P
K2＝P1HT(HP1HT+R2)-1
Xf＝X1+K2(Z2-HX1)
Pf＝(I-K2H)P1
其中：X表示预测状态值，P表示预测协方差矩阵，Z1和Z2分别表示对应时刻两个传感系统对同一目标物的观测值，R1和R2为对应的噪声矩阵，Xf和Pf为融合后的状态值和协方差矩阵。
S301中，通过调整噪声矩阵中的参数来调节两个传感系统的观测值对融合结果的影响程度。如图7和图8所示，具体的，目标物数据包括横向信息、纵向信息、速度信息和类别信息，S301中，当融合得到目标物的横向信息或类别信息时，通过调节噪声矩阵增大Mobileye的观测值的影响程度；当融合得到目标物的纵向信息或速度信息时，通过调节噪声矩阵增大毫米波雷达系统的观测值的影响程度。
由于毫米波雷达系统对纵向信息以及速度信息的检测更加准确，Mobileye对横向信息以及类别信息的检测识别更加准确，因此在进行数据融合时，动态的调整噪声矩阵来对两个传感系统的对融合结果的影响程度进行调节，可以把两个传感器的优势进行互补，实现充分的数据利用，提高融合后数据的精准度。即本实施例中，融合的原则是相对横向距离方面更相信Mobileye的测量结果，相对纵向距离和相对横纵向速度方面则更相信雷达的测量结果，对于融合的目标物类别全部采用Mobileye的识别结果。对应的实际实验的检测结果如图4和图5所示，可见，相对纵向距离方面，融合结果和雷达的测量数据曲线接近；相对横向方面，融合结果和视觉系统的测量结果接近。
以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (8)

1.一种基于机器视觉和毫米波雷达数据融合的环境感知方法，其特征在于：包括以下内容：
数据获取步骤，获取雷达系统和视觉系统的数据；
数据关联匹配步骤，获取两个传感系统检测到的目标物数据列表，并对两个传感系统检测到的目标物数据进行匹配关联；
目标物跟踪步骤，对目标物进行匹配跟踪，更新目标物的生命周期状态；
目标物数据融合步骤，对雷达系统和视觉系统的输出的目标物的数据信号进行融合；
所述数据关联匹配步骤包括：
S100：将两个传感系统的坐标统一，对目标物进行筛选；
S101：通过使用点迹关联方法和航迹关联方法将一个传感系统的前后帧的目标物信息或两个传感系统的目标物数据列表中对应同一个目标物的目标物数据进行关联；
所述S101包括：
S1011：判断目标物是否是第一次出现在传感系统的探测范围内，若是则执行S1013-S1014，若否则执行S1012；
S1012：根据前后帧的目标物的航迹信息，确定关联目标物，若无法使用航迹信息进行关联的目标物则继续执行S1013-S1014；
S1013：无法使用航迹信息进行关联的目标物，根据两个传感系统输出的目标物的位置数据，计算两个障碍物之间的欧式距离和余弦相似度；
S1014：根据欧式距离和余弦相似度构建数据关联矩阵，根据关联矩阵和预设阈值进行两个传感系统输出的目标物数据的关联。
2.根据权利要求1所述的一种基于机器视觉和毫米波雷达数据融合的环境感知方法，其特征在于：所述航迹信息包括跟踪ID和跟踪状态。
3.根据权利要求1所述的一种基于机器视觉和毫米波雷达数据融合的环境感知方法，其特征在于：所述目标物跟踪步骤包括：
S200：对目标物数据应用卡尔曼滤波，形成下一时刻的预测状态值和与状态值对应的预测协方差；
S201：对当前时刻的各个目标物数据与上个时刻的目标物数据进行关联匹配得到匹配结果，所述匹配结果包括完全匹配的目标物数据、新目标物数据以及当前时刻不存在目标物数据；
S202：对完全匹配的目标物数据则使用当前时刻的目标物数据对S200中的预测结果进行修正和更新。
4.根据权利要求3所述的一种基于机器视觉和毫米波雷达数据融合的环境感知方法，其特征在于：所述目标物跟踪步骤中，若一个目标物仅在一个传感系统中有对应的目标物数据，则由对应的传感系统对其进行持续跟踪，当目标物进入两个传感系统共同的探测范围内时，直接进行目标物数据融合。
5.根据权利要求4所述的一种基于机器视觉和毫米波雷达数据融合的环境感知方法，其特征在于：所述目标物跟踪步骤中，若S201的检测结果为当前时刻不存在目标物数据时，会记录对应目标物连续未出现帧数，当所述连续未出现帧数大于帧数阈值时，则判定目标物消失；所述帧数阈值根据目标物的连续存在时长以及目标物位置数据进行调整；目标物已存在的时长越长，帧数阈值越大，目标物已存在时长越短，帧数阈值越小，若目标物位于目标区域以内，则增大帧数阈值，若目标物位于目标区域以外，则减小帧数阈值。
6.根据权利要求1所述的一种基于机器视觉和毫米波雷达数据融合的环境感知方法，其特征在于：所述目标物数据融合步骤包括：
S300：根据上一时刻的融合结果预测当前时刻的预测状态值及对应的预测协方差矩阵；
S301：使用以下公式对两个传感系统的数据进行融合：
K1＝PHT(HPHT+R1)-1
X1＝X+K1(Z1-HX)
P1＝(I-K1H)P
K2＝P1HT(HP1HT+R2)-1
Xf＝X1+K2(Z2-HX1)
Pf＝(I-K2H)P1
其中：X表示预测状态值，P表示预测协方差矩阵，Z1和Z2分别表示对应时刻两个传感系统对同一目标物的观测值，R1和R2为对应的噪声矩阵，Xf和Pf为融合后的状态值和协方差矩阵。
7.根据权利要求6所述的一种基于机器视觉和毫米波雷达数据融合的环境感知方法，其特征在于：所述S301中，通过调整噪声矩阵中的参数来调节两个传感系统的观测值对融合结果的影响程度。
8.根据权利要求7所述的一种基于机器视觉和毫米波雷达数据融合的环境感知方法，其特征在于：所述目标物数据包括横向信息、纵向信息、速度信息和类别信息，所述S301中，当融合得到目标物的横向信息或类别信息时，通过调节噪声矩阵增大视觉系统的观测值的影响程度；当融合得到目标物的纵向信息或速度信息时，通过调节噪声矩阵增大雷达系统的观测值的影响程度。
CN202010367064.0A 2020-04-30 2020-04-30 一种基于机器视觉和毫米波雷达数据融合的环境感知方法 Active CN111505624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367064.0A CN111505624B (zh) 2020-04-30 2020-04-30 一种基于机器视觉和毫米波雷达数据融合的环境感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367064.0A CN111505624B (zh) 2020-04-30 2020-04-30 一种基于机器视觉和毫米波雷达数据融合的环境感知方法

Publications (2)

Publication Number Publication Date
CN111505624A CN111505624A (zh) 2020-08-07
CN111505624B true CN111505624B (zh) 2022-07-01

Family

ID=71878378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367064.0A Active CN111505624B (zh) 2020-04-30 2020-04-30 一种基于机器视觉和毫米波雷达数据融合的环境感知方法

Country Status (1)

Country Link
CN (1) CN111505624B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185034A (zh) * 2020-09-15 2022-03-15 郑州宇通客车股份有限公司 一种毫米波雷达目标跟踪方法及系统
CN112162275B (zh) * 2020-09-29 2024-05-14 安徽江淮汽车集团股份有限公司 目标物识别方法、装置、设备及存储介质
CN112731371B (zh) * 2020-12-18 2024-01-23 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪系统及方法
CN113807168A (zh) * 2021-08-05 2021-12-17 北京蜂云科创信息技术有限公司 一种车辆行驶环境感知方法、车载设备和存储介质
CN113466850A (zh) * 2021-09-01 2021-10-01 北京智行者科技有限公司 一种环境感知方法、装置及移动工具
CN115993597A (zh) * 2021-10-18 2023-04-21 长沙中车智驭新能源科技有限公司 一种视觉雷达感知融合方法及终端设备
CN113888602B (zh) * 2021-12-03 2022-04-05 深圳佑驾创新科技有限公司 一种雷达车辆目标与视觉车辆目标的关联方法及装置
CN114637003A (zh) * 2022-03-16 2022-06-17 中国第一汽车股份有限公司 一种车辆的目标识别方法、装置、汽车及存储介质
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN115183782B (zh) * 2022-09-13 2022-12-09 毫末智行科技有限公司 基于联合空间损失的多模态传感器融合方法及装置
CN117093872B (zh) * 2023-10-19 2024-01-02 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107238834A (zh) * 2016-01-19 2017-10-10 德尔福技术有限公司 用于自动车辆的使用雷达/视觉融合的目标跟踪系统
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107238834A (zh) * 2016-01-19 2017-10-10 德尔福技术有限公司 用于自动车辆的使用雷达/视觉融合的目标跟踪系统
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于激光雷达和相机信息融合的目标检测及跟踪;常昕等;《光电工程》;20190731;第46卷(第7期);第180420-1至180420-11页 *

Also Published As

Publication number Publication date
CN111505624A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111505624B (zh) 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
US20110025548A1 (en) System and method for vehicle sensor fusion
CN111090095A (zh) 信息融合环境感知系统及其感知方法
KR102569900B1 (ko) 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
CN113591618B (zh) 前方道路形状估算方法、系统、车辆及存储介质
CN110929796B (zh) 基于多源传感器决策层数据融合方法、系统及存储介质
CN105160356A (zh) 一种车辆主动安全系统传感器数据融合方法及系统
CN110163270B (zh) 多传感器数据融合方法及系统
CN115856872A (zh) 一种车辆运动轨迹连续跟踪方法
CN109035121B (zh) 单传感器数据关联前处理方法
CN107480592B (zh) 一种多车道检测方法及跟踪方法
US20210339750A1 (en) Methods and Systems for Tracking an Object
CN110426714A (zh) 一种障碍物识别方法
EP3467545A1 (en) Object classification
CN105730330B (zh) 行车安全系统及其障碍物筛选方法
CN116394892A (zh) 车辆的横向制动方法、装置、设备及存储介质
WO2023108932A1 (zh) 一种基于毫米波雷达的车辆异常行驶行为识别方法
JP2004150912A (ja) 車両用外界認識装置
KR102198810B1 (ko) 오브젝트 추적 장치 및 방법
CN115303288A (zh) 一种车辆控制方法、控制装置及摄像头装置
JP2019219180A (ja) 車両用物体検知装置
JP2003178398A (ja) 車両用運転支援装置
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
JP6834020B2 (ja) 物体認識装置および物体認識方法
JP2012137362A (ja) 走行道路推定装置、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant