CN116755081A - 视觉与雷达融合的目标检测技术 - Google Patents

视觉与雷达融合的目标检测技术 Download PDF

Info

Publication number
CN116755081A
CN116755081A CN202310602524.7A CN202310602524A CN116755081A CN 116755081 A CN116755081 A CN 116755081A CN 202310602524 A CN202310602524 A CN 202310602524A CN 116755081 A CN116755081 A CN 116755081A
Authority
CN
China
Prior art keywords
target
interest
radar
information
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310602524.7A
Other languages
English (en)
Inventor
许恩永
张林俊
何水龙
朱纪洪
林长波
朱斌
展新
冯海波
袁夏明
王善超
陈志刚
冯高山
许家毅
李超
郑伟光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Guilin University of Electronic Technology
Dongfeng Liuzhou Motor Co Ltd
Original Assignee
Tsinghua University
Guilin University of Electronic Technology
Dongfeng Liuzhou Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Guilin University of Electronic Technology, Dongfeng Liuzhou Motor Co Ltd filed Critical Tsinghua University
Priority to CN202310602524.7A priority Critical patent/CN116755081A/zh
Publication of CN116755081A publication Critical patent/CN116755081A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明属于图像处理技术领域，公开了一种视觉与雷达融合的目标检测技术。本发明通过获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息，根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域，将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比，在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。本发明通过将计算机视觉生成的感知区域与毫米波雷达生成的感知区域共同对目标进行检测，根据两个感兴趣区域的交并比，确定检测目标，相对现有技术在毫米波雷达生成的感兴趣区域进行视觉检测，本发明能更准确地检测目标。

Description

视觉与雷达融合的目标检测技术
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视觉与雷达融合的目标检测技术。
背景技术
在目前的ADAS智能驾驶辅助感知方案中，常以摄像头与毫米波雷达数据融合进行车辆前方目标信息的识别，现有的视觉与毫米波雷达的融合方案主要为：毫米波雷达捕获目标的同时将目标投影至图像中，并在图像中生成ROI区域，视觉目标检测部分采用的机器学习方法在毫米波雷达捕获的ROI中执行检测，从而完成车辆与行人等其他交通参与者的识别，这种融合方法虽然能够显著降低视觉计算的计算强度，但是当前现有传感器融合的检测精度并不能令人满意，常常出现漏检、误检等问题，且传统机器学习提取的特征都是较低层次特征，因此传统的机器视觉检测算法检测准确度不高，位置预测不准确并且检测速度比较低，鲁棒性较差，尤其是在需要更高可靠性场景中，目前的融合感知方法无法正常使用。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种视觉与雷达融合的目标检测技术，旨在解决现有技术中机器视觉检测准确度不高，不适应高可靠性需求环境检测的技术问题。
为实现上述目的，本发明提供了一种视觉与雷达融合的目标检测技术，所述方法包括以下步骤：
获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息；
根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域；
将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比；
在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。
可选地，所述根据所述目标信息生成雷达感兴趣区域，包括：
通过CAN分析设备提取所述目标信息的CAN报文信息；
通过解析协议获取所述报文信息中的有效目标的位置信息与速度信息；
通过帧间跟踪信息对所述报文信息进行噪声滤波和无效目标过滤，得到有效目标；
对根据所述有效目标的位置信息与速度信息得到雷达感兴趣区域。
可选地，所述无效目标包括空目标、虚假目标和静止目标，所述通过帧间跟踪信息对所述报文信息进行噪声滤波和无效目标过滤，包括：
根据所述报文信息获取所述报文信息中的目标，并获取各目标的相对距离；
对所述相对距离进行检测，在所述当前目标的相对距离为零时，将当前目标判定为空目标；
在所述当前目标的相对距离不为零时，获取所述当前目标的检测信息，在所述检测信息满足跟踪条件时，对所述当前目标进行帧间跟踪，得到帧间跟踪信息；
在所述当前目标的帧间跟踪信息为预设帧间跟踪信息时，将所述当前的目标判定为虚假目标；
获取所述当前目标的回波强度，在所述回波强度不在所述回波强度阈值内，将所述当前目标判定为静止目标；
将所述空目标、虚假目标或静止目标过滤。
可选地，所述根据所述视觉信息生成视觉感兴趣区域，包括：
将所述视觉信息输入至视觉处理模型，通过聚类算法得到最优锚；
根据所述最优锚与所述视觉信息提取车辆与车道线；
根据所述车辆与所述车道线得到视觉感兴趣区域。
可选地，所述雷达感兴趣区域与所述视觉感兴趣区域包括世界坐标系、雷达坐标系、相机坐标系、图像坐标系和像素坐标系，所述将所述雷达感兴趣区域与所述视觉感兴趣区域融合，包括：
获取所述雷达坐标系中目标的相对角度与相对距离，根据所述相对角度、相对距离和第一转换关系实现所述世界坐标系与所述雷达坐标系的转换；
定义旋转矩阵和平移向量矩阵，根据所述旋转矩阵、所述平移向量矩阵、相机的外参矩阵和第二转换关系所述实现世界坐标系与所述相机坐标系的转换；
获取相机的焦距，根据所述相机坐标系中的点与所述相机的焦距通过第三转换关系实现所述相机坐标系与所述图像坐标系的转换；
确定所述图像坐标系与所述像素坐标系的原点位置；根据所述原点位置得到位置偏量；根据所述位置偏量与第四转换关系实现所述图像坐标系与所述像素坐标系的转换；
根据第五转换关系实现所述像素坐标系与所述世界坐标系的转换，实现将所述雷达感兴趣区域与所述视觉感兴趣区域融合。
可选地，所述定义旋转矩阵和平移向量矩阵，根据所述旋转矩阵、所述平移向量矩阵、相机的外参矩阵和第二转换关系所述实现世界坐标系与所述相机坐标系的转换，还包括：
根据张正友标定法获取相机的内参；
根据联合标定关系以及所述相机的内参和世界坐标系中的三维坐标得到所述像素坐标系中的像素坐标。
可选地，所述在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出，包括：
在所述交并比大于预设阈值时，提取所述视觉感兴趣区域内目标的目标类别；
提取所述雷达感兴趣内目标的属性信息，所述属性信息包括速度信息和距离信息；
将所述目标类别与所述属性信息进行输出。
此外，为实现上述目的，本发明还提出一种视觉与雷达融合的目标检测装置，所述视觉与雷达融合的目标检测装置包括：
信息获取模块，用于获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息；
区域生成模块，用于根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域；
融合判断模块，用于将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比；
目标输出模块，用于在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。
此外，为实现上述目的，本发明还提出一种视觉与雷达融合的目标检测设备，所述视觉与雷达融合的目标检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉与雷达融合的目标检测程序，所述视觉与雷达融合的目标检测程序配置为实现如上文所述的视觉与雷达融合的目标检测技术的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有视觉与雷达融合的目标检测程序，所述视觉与雷达融合的目标检测程序被处理器执行时实现如上文所述的视觉与雷达融合的目标检测技术的步骤。
本发明通过获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息，根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域，将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比，在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。本发明通过将计算机视觉生成的感知区域与毫米波雷达生成的感知区域共同对目标进行检测，根据两个感兴趣区域的交并比，确定检测目标，相对现有技术在毫米波雷达生成的感兴趣区域进行视觉检测，本发明能更准确的检测目标。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视觉与雷达融合的目标检测设备的结构示意图；
图2为本发明视觉与雷达融合的目标检测技术第一实施例的流程示意图；
图3为本发明视觉与雷达融合的目标检测技术一实施例的目标检测流程图；
图4为本发明视觉与雷达融合的目标检测技术第二实施例的流程示意图；
图5为本发明视觉与雷达融合的目标检测技术一实施例的目标过滤示意图；
图6为本发明视觉与雷达融合的目标检测技术一实施例的各坐标轴的方向示意图；
图7为本发明视觉与雷达融合的目标检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的视觉与雷达融合的目标检测设备结构示意图。
如图1所示，该视觉与雷达融合的目标检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对视觉与雷达融合的目标检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视觉与雷达融合的目标检测程序。
在图1所示的视觉与雷达融合的目标检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明视觉与雷达融合的目标检测设备中的处理器1001、存储器1005可以设置在视觉与雷达融合的目标检测设备中，所述视觉与雷达融合的目标检测设备通过处理器1001调用存储器1005中存储的视觉与雷达融合的目标检测程序，并执行本发明实施例提供的视觉与雷达融合的目标检测技术。
本发明实施例提供了一种视觉与雷达融合的目标检测技术，参照图2，图2为本发明一种视觉与雷达融合的目标检测技术第一实施例的流程示意图。
本实施例中，所述视觉与雷达融合的目标检测技术包括以下步骤：
步骤S10：获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息。
需要说明的是，本实施例的执行主体是视觉与雷达融合的目标检测设备，其中，该视觉与雷达融合的目标检测设备具有数据处理，数据通信及程序运行等功能，所述视觉与雷达融合的目标检测设备可以为集成控制器，控制计算机等设备，当然还可以为其他具备相似功能的设备，本实施例对此不做限制。
可以理解的是，所述目标信息与所述视觉信息指的是通过车辆上安装的毫米波雷达与摄像头对车辆前方进行识别所得到的信息，由于雷达与摄像头的工作原理不同，所述目标信息与所述视觉信息中包含的内容存在区别，例如所述目标信息中包括位置信息、速度信息等，所述视觉信息包括位置信息、道路信息等。
在具体实现中，参照图3，图3为目标检测流程图。在车辆启动时，能够同时开启车辆上的毫米波雷达与摄像头，所述毫米波雷达获取前方的目标信息，所述摄像头获取前方的视觉信息，并将所述目标信息与所述视觉信息存储，并由后续流程进行信息处理。
步骤S20：根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域。
需要说明的是，所述感兴趣区域指的是在图像处理过程中，用特定的区域勾勒出需要进行处理的区域，例如圆形、方形、椭圆等本实施例对此不作限制。
在具体实现中，所述目标信息为毫米波雷达所接收到的反射信号，根据所述毫米波雷达所发射出的信号进行比较，可以得到所述反射信号中包含的信息，其中所述目标信息中可以包括车辆的位置信息和车辆数量，根据所述目标信息中的位置信息，能够得到目标车辆与自身所在位置的相对位置关系，并根据所述自身位置与目标车辆位置，可以生成感兴趣区域，勾勒出目标车辆所在位置。所述视觉信息包括车道信息以及车道上的车辆信息，通过所述摄像头拍摄的图片进行识别检测，确定所述图片中目标车辆的位置以及车辆数量，并将所述车辆所在的区域进行勾勒，得到视觉感兴趣区域。
步骤S30：将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比。
需要说明的是，所述交并比指的是所述雷达感兴趣区域与所述视觉感兴趣区域重合的比例。
在具体实现中，将所述雷达感兴趣区域与所述视觉感兴趣区域进行融合，将所述雷达感兴趣区域与所述视觉感兴趣区域生成对应的坐标系，将所述雷达感兴趣区域与所述视觉感兴趣区域各自的坐标系进行融合，将所述雷达感兴趣区域的位置坐标与所述视觉感兴趣区域的坐标位置坐标对应，融合为一个图像，形成了一个图像上包括两种方式获得的感兴趣区域，其中所述雷达感兴趣区域与所述视觉感兴趣区域存在独特标记，用于进行感兴趣区域区分。对该图像上的感兴趣区域进行检测，当在该图像上存在两个存在交并关系的感兴趣区域时，获取到所述感兴趣区域占据的面积，以及所述感兴趣区域面积与另一感兴趣区域重合的交并面积，并将所述交并面积得到所述雷达感兴趣区域与视觉感兴趣区域的交并比。
步骤S40：在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。
需要说明的是，所述预设阈值为限定毫米波雷达与摄像头所识别到的目标车辆是否为同一车辆的感兴趣区域交并比，可以根据实际情况进行设置，本实施例对此不做限制，所述相关属性可以包括车辆的车宽、车高、速度、位置信息等。
在具体实现中，本实施例以预设阈值为0.5进行说明，若所述毫米波雷达与摄像头两者生成的感兴趣区域的交并比大于0.5时，说明两种方式检测到的目标的重合度较高，在交并比大于0.5时，此时可以将两个感兴趣区域内的车辆信息作为一个车辆的相关属性进行输出，此时将毫米波雷达检测到的目标的位置、速度信息作为该目标的位置、速度信息作为输出，将摄像头检测到的目标的车辆车宽、车高、位置信息进行输出。在所述交并比小于0.5时，视为所述两种检测方式所检测到的目标未匹配成功，将未匹配的目标按照其原有信息进行输出，并将所述信息输出至车辆控制端，进行下一步控制。
本实施例通过获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息，根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域，将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比，在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。本发明通过将计算机视觉生成的感知区域与毫米波雷达生成的感知区域共同对目标进行检测，根据两个感兴趣区域的交并比，确定检测目标，相对现有技术在毫米波雷达生成的感兴趣区域进行视觉检测，本发明能更准确的检测目标。
参考图4，图4为本发明一种视觉与雷达融合的目标检测技术第二实施例的流程示意图。
基于上述第一实施例，本实施例视觉与雷达融合的目标检测技术在所述步骤S20，包括：
步骤S201：通过CAN分析设备提取所述目标信息的CAN报文信息。
步骤S202：通过解析协议获取所述报文信息中的有效目标的位置信息与速度信息。
步骤S203：通过帧间跟踪信息对所述报文信息进行噪声滤波和无效目标过滤，得到有效目标。
步骤S204：对根据所述有效目标的位置信息与速度信息得到雷达感兴趣区域。
需要说明的是，所述CAN报文信息是所述毫米波雷达接收到的目标信息经过CAN报文分析后得到的报文信息，所述报文信息中包括有效目标的位置信息以及速度信息。
在具体实现中，将毫米波雷达信息映射到图像中。毫米波雷达主要实现对车辆、行人的距离和速度等信息进行采集。首先将毫米波雷达设置为object输出模式，随后通过can分析设备获取毫米波雷达的can报文信息，通过解析协议获取毫米波雷达检测到的有效目标的位置、速度等信息。通过设置阈值、利用帧内聚类和帧间跟踪信息等方式进行噪声滤波和有效目标提取，并对雷达传感器传回的空目标、虚假目标、静止目标等无效目标进行过滤。最后输出目标类别及对应的ROI区域并利用透视变换将该区域投影到图像中。所述CAN分析设备会对所述毫米波雷达接收到的目标信息进行CAN分析，将雷达的信号转为车辆能够处理的CAN报文数据，所述CAN报文数据中包括所述雷达检测到的目标信息中的全部信息，其中所述报文信息中为未经处理的报文信息，因此所述报文信息中存在较大噪声，在经过信息过滤之后，将所保留下的有效目标的目标信息进行分析，得到有效目标的位置信息与所述速度信息，在进行报文信息噪声滤波时，采用帧间跟踪信息所述报文信息进行滤波，同时筛除无效目标，保留有效目标。在确定出有效目标的位置信息之后，能够对所述有效目标位置进行确认，得到有效目标位置的感兴趣区域。
进一步地，所述无效目标包括空目标、虚假目标和静止目标，所述通过帧间跟踪信息对所述报文信息进行噪声滤波和无效目标过滤，包括：
根据所述报文信息获取所述报文信息中的目标，并获取各目标的相对距离；
对所述相对距离进行检测，在所述当前目标的相对距离为零时，将当前目标判定为空目标；
在所述当前目标的相对距离不为零时，获取所述当前目标的检测信息，在所述检测信息满足跟踪条件时，对所述当前目标进行帧间跟踪，得到帧间跟踪信息；
在所述当前目标的帧间跟踪信息为预设帧间跟踪信息时，将所述当前的目标判定为虚假目标；
获取所述当前目标的回波强度，在所述回波强度不在所述回波强度阈值内，将所述当前目标判定为静止目标；
将所述空目标、虚假目标或静止目标过滤。
需要说明的是，所述无效目标为雷达噪声目标的总称，其中所述无效目标包括空目标、虚假目标以及静止目标。
在具体实现中，参照图5，图5为目标过滤示意图，首先将所述报文信息中所有已识别出的目标进行标记，并获得各个目标的相对距离，并对所述相对距离进行判断。在进行相对距离检测时，若得到相对距离为0时，将此目标定义为空目标，并将所述空目标删除，在判断虚假目标时，可以采用跟踪目标生命周期的方法进行判断，包括形成、持续、消失，通过统计目标点云的出现次数和丢失次数，设定阈值进行过滤。毫米波识别到目标后开始统计，当目标累计出现的次数Det_Num大于5并且连续丢失的次数Mis_Num小于10时，对目标进行跟踪。当检测到的次数小于5或者连续丢失的次数大于10的目标暂且判定为虚假目标。在判断静止目标时，需要判断目标的类型，确定静止车辆目标与静止非车辆目标，静止非车辆目标的过滤方式主要设置毫米波雷达的回波强度雷达散射截面(Radar Cross section,RCS)的阈值进行过滤。其中所述阈值可通过阈值训练模型训练得到，在所述空目标、虚假目标。静止目标识别出之后将其过滤，保留有效目标。
进一步地，所述根据所述视觉信息生成视觉感兴趣区域，包括：
将所述视觉信息输入至视觉处理模型，通过聚类算法得到最优锚；
根据所述最优锚与所述视觉信息提取车辆与车道线；
根据所述车辆与所述车道线得到视觉感兴趣区域。
在具体实现中，所述通过视觉信息生成感兴趣区域时，可以通过yolov5算法对车辆目标及车道线进行检测，在进行检测之前，需要根据所述yolov5算法训练检测模型，使用BDD100k作为训练数据集，通过K-Means++算法聚类计算最优锚Anchors，在进行训练时设置不同的训练尺度以及调整batch_size、学习率等参数对三尺度yolov5算法进行了训练。最后对算法进行了对车辆及车道线的识别，得到检测模型。在摄像头获取到视觉图像之后，能够将所述视觉图像输入至所述检测模型中，使训练好的检测模型对所述视觉图像进行检测，得到车辆、车道线以及生成车辆所在的感兴趣区域。
进一步地，所述雷达感兴趣区域与所述视觉感兴趣区域包括世界坐标系、雷达坐标系、相机坐标系、图像坐标系和像素坐标系，所述将所述雷达感兴趣区域与所述视觉感兴趣区域融合，包括：
获取所述雷达坐标系中目标的相对角度与相对距离，根据所述相对角度、相对距离和第一转换关系实现所述世界坐标系与所述雷达坐标系的转换；
定义旋转矩阵和平移向量矩阵，根据所述旋转矩阵、所述平移向量矩阵、相机的外参矩阵和第二转换关系所述实现世界坐标系与所述相机坐标系的转换；
获取相机的焦距，根据所述相机坐标系中的点与所述相机的焦距通过第三转换关系实现所述相机坐标系与所述图像坐标系的转换；
确定所述图像坐标系与所述像素坐标系的原点位置；根据所述原点位置得到位置偏量；根据所述位置偏量与第四转换关系实现所述图像坐标系与所述像素坐标系的转换；
根据第五转换关系实现所述像素坐标系与所述世界坐标系的转换，实现将所述雷达感兴趣区域与所述视觉感兴趣区域融合。
在具体实现中，在确定出毫米波雷达与所述摄像头的目标信息与图像之后，需要对所述信息进行时空同步，其中包括时间同步与空间同步。在进行空间同步中，毫米波雷达和相机的空间同步即为将雷达检测到的目标投影到相机的像素坐标系上。在雷达系统和相机系统中，存在世界坐标系、雷达坐标系、相机坐标系、图像坐标系和像素坐标系。本发明定义的世界坐标系和雷达坐标系原点重合，其为车辆中轴线和车头横向轴线的交点。相机坐标系的原点在挡风玻璃和中轴线的交点。参照图6，图6为各坐标轴的方向示意图。其中毫米波雷达坐标系为XRORZR,相机坐标系为OC-XCYCZC,三维世界坐标系为OW-XWYWZW,OR、OC、OW分别为三个坐标系的原点，Z轴为车辆前进方向，Y轴为垂直向下，X轴为车辆前进方向右侧。毫米波雷达的安装在车辆中轴线标志牌上，相机的安装位置在车辆中轴面与前挡风玻璃交接处。
在世界坐标系与雷达坐标系的转换中，雷达坐标系中表示为相对角度为α、相对距离为R，两者间转换关系为：
在世界坐标系与相机坐标系转换：世界坐标系和相机坐标系二者的变换可以看作平移运动加旋转运动，定义旋转矩阵为R(3*3矩阵)，平移向量为T(1*3矩阵)，M为相机的外参矩阵。转换公式为：
在相机坐标系和图像物理坐标系之间的转换：从相机坐标系到图像物理坐标系，属于逆透视关系。设f为相机焦距，为相机坐标系中一点，P(XC,YC,ZC),p(x,y)为点P投影到图像物理坐标系中的一点从3D空间转换到2D空间，转换关系为：
在图像坐标系和像素坐标系之间的转换：图像坐标系为目标成相平面所在的坐标系，原点通常定义为光轴与成像平面的交点，像素坐标系是以成像图像平面的左上角顶点O1为原点，u轴和v轴分别平行于图像坐标系的x轴和y轴,原点为O点，用(u,v)表示其坐标值，像素坐标系即为以像素作为单位的图像坐标系，两坐标系只有原点位置不同，涉及伸缩变换和平移变换，无坐标系之间的旋转。转换公式为：
式中u0、v0为图像物理坐标系在像素坐标系中的坐标，dx和dy为每个像素在图像平面x和y方向上的物理尺寸。
根据上述公式，得到像素坐标系和世界坐标系的关系：
通过内参矩阵和外参矩阵可以获得像素坐标系到世界坐标系的关系，二者通过相机的标定获取。
进一步的，在进行所述定义旋转矩阵和平移向量矩阵，根据所述旋转矩阵、所述平移向量矩阵、相机的外参矩阵和第二转换关系所述实现世界坐标系与所述相机坐标系的转换，还包括：
根据张正友标定法获取相机的内参；
根据联合标定关系以及所述相机的内参和世界坐标系中的三维坐标得到所述像素坐标系中的像素坐标。
需要说明的是，相机的外参是相机坐标系相对世界坐标系的位置关系，包括旋转向量和平移向量。旋转向量包括相机安装时的侧倾角、俯仰角和横摆角。
对所述位置进行联合标定，可以得到简化的计算公式为：
式中u0、v0为相机内参，通过上述标定获得，XC、YC、ZC为雷达坐标转换到世界坐标系下得三维坐标，u、v为雷达点最终转换到像素坐标系下得像素坐标。
在进行时间融合时采用近序抽帧方法，由于毫米波雷达数据和摄像机数据采样频率不同，且摄像机的采样频率较高，为了保证数据的同步，需要对摄像机采集到的图像序列进行抽帧处理来匹配毫米波雷达的采样速率。毫米波雷达每采集到数据时刻时候，抽取摄像机图像这一时刻前后两帧中更为接近的一帧。
随后根据坐标转换关系将毫米波雷达检测到的目标投影至二维图像中，并根据目标的可能类别生成感兴趣区域。将雷达探测到的目标P位置信息(r,θ)通过转标转换投影到像素坐标系上的位置为(u,v)，以该点为中心生成一个矩形框即为雷达探测到的图像感兴趣区域，车辆尾部的宽高比系数α一般为0.7≤α≤1.3。为了能够包含绝大部分车辆的尾部，本实施例选取矩形框宽W＝2.3m，高H＝1.9m为例进行说明，本实施例对此不作限制，生成一个W×H＝2.6m×1.9m的矩形框表示雷达探测到的车辆目标所在区域，根据小孔成像原理，可以确定该矩形框尺寸与目标位置信息之间的关系：
w和h表示在图像中矩形框的宽和高，(x0,y0)为该感兴趣区域的左上角坐标。
进一步地，所述在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出，包括：
在所述交并比大于预设阈值时，提取所述视觉感兴趣区域内目标的目标类别；
提取所述雷达感兴趣内目标的属性信息，所述属性信息包括速度信息和距离信息；
将所述目标类别与所述属性信息进行输出。
在具体实现中，将所述交并比与预设阈值进行比较，若当前的预设阈值设置为0.5，若当前的感兴趣区域的交并比为0.7，此时0.7>0.5，此时说明为同一目标，也即匹配成功，将通过摄像头识别出的类别作为输出，将毫米波雷达识别到的车辆速度，距离信息等作为目标的属性，输出值自动驾驶规划与控制部分，在未匹配成功时，即两个感兴趣区域的交并比小于0.5，则将摄像头视觉处理得到的信息与所述毫米波雷达所获取到的信息按照原始信息进行输出。
本实施例通过摄像头与毫米波雷达同时对外界环境进行识别，并分别生成其各自的感兴趣区域，并将所述各自的感兴趣区域进行时间和空间上的融合，形成一个双感兴趣区域的检测图像，通过对两个感兴趣区域的交并比，来表示识别的准确度，在所述准确度达到一定时，结合两个识别方式所获得到的信息进行输出，本实施例所描述的方法能够对一个目标同时使用两种识别方式，并且在输出之前能够结合两种识别到的信息进行输出，相较于在雷达获得的目标信息中进行视觉检测，本实施例具有更高的准确性，能够适应更高精度需求的环境。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有视觉与雷达融合的目标检测程序，所述视觉与雷达融合的目标检测程序被处理器执行时实现如上文所述的视觉与雷达融合的目标检测技术的步骤。
参照图7，图7为本发明视觉与雷达融合的目标检测装置第一实施例的结构框图。
如图7所示，本发明实施例提出的视觉与雷达融合的目标检测装置包括：
信息获取模块10，用于获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息；
区域生成模块20，用于根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域；
融合判断模块30，用于将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比；
目标输出模块40，用于在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。
本实施例通过获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息，根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域，将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比，在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。本发明通过将计算机视觉生成的感知区域与毫米波雷达生成的感知区域共同对目标进行检测，根据两个感兴趣区域的交并比，确定检测目标，相对现有技术在毫米波雷达生成的感兴趣区域进行视觉检测，本发明能更准确的检测目标。
在一实施例中，所述区域生成模块20，还用于通过CAN分析设备提取所述目标信息的CAN报文信息；通过解析协议获取所述报文信息中的有效目标的位置信息与速度信息；通过帧间跟踪信息对所述报文信息进行噪声滤波和无效目标过滤，得到有效目标；对根据所述有效目标的位置信息与速度信息得到雷达感兴趣区域。
在一实施例中，所述区域生成模块20，还用于根据所述报文信息获取所述报文信息中的目标，并获取各目标的相对距离；对所述相对距离进行检测，在所述当前目标的相对距离为零时，将当前目标判定为空目标；在所述当前目标的相对距离不为零时，获取所述当前目标的检测信息，在所述检测信息满足跟踪条件时，对所述当前目标进行帧间跟踪，得到帧间跟踪信息；在所述当前目标的帧间跟踪信息为预设帧间跟踪信息时，将所述当前的目标判定为虚假目标；获取所述当前目标的回波强度，在所述回波强度不在所述回波强度阈值内，将所述当前目标判定为静止目标；将所述空目标、虚假目标或静止目标过滤。
在一实施例中，所述区域生成模块20，还用于将所述视觉信息输入至视觉处理模型，通过聚类算法得到最优锚；根据所述最优锚与所述视觉信息提取车辆与车道线；根据所述车辆与所述车道线得到视觉感兴趣区域。
在一实施例中，所述融合判断模块30，还用于获取所述雷达坐标系中目标的相对角度与相对距离，根据所述相对角度、相对距离和第一转换关系实现所述世界坐标系与所述雷达坐标系的转换；定义旋转矩阵和平移向量矩阵，根据所述旋转矩阵、所述平移向量矩阵、相机的外参矩阵和第二转换关系所述实现世界坐标系与所述相机坐标系的转换；获取相机的焦距，根据所述相机坐标系中的点与所述相机的焦距通过第三转换关系实现所述相机坐标系与所述图像坐标系的转换；确定所述图像坐标系与所述像素坐标系的原点位置；根据所述原点位置得到位置偏量；根据所述位置偏量与第四转换关系实现所述图像坐标系与所述像素坐标系的转换；根据第五转换关系实现所述像素坐标系与所述世界坐标系的转换，实现将所述雷达感兴趣区域与所述视觉感兴趣区域融合。
在一实施例中，所述融合判断模块30，还用于根据张正友标定法获取相机的内参；根据联合标定关系以及所述相机的内参和世界坐标系中的三维坐标得到所述像素坐标系中的像素坐标。在一实施例中，所述目标输出模块40，还用于在所述交并比大于预设阈值时，提取所述视觉感兴趣区域内目标的目标类别；提取所述雷达感兴趣内目标的属性信息，所述属性信息包括速度信息和距离信息；将所述目标类别与所述属性信息进行输出。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视觉与雷达融合的目标检测技术，其特征在于，所述视觉与雷达融合的目标检测技术包括：
获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息；
根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域；
将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比；
在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。
2.如权利要求1所述的技术，其特征在于，所述根据所述目标信息生成雷达感兴趣区域，包括：
通过CAN分析设备提取所述目标信息的CAN报文信息；
通过解析协议获取所述报文信息中的有效目标的位置信息与速度信息；
通过帧间跟踪信息对所述报文信息进行噪声滤波和无效目标过滤，得到有效目标；
对根据所述有效目标的位置信息与速度信息得到雷达感兴趣区域。
3.如权利要求2所述的技术，其特征在于，所述无效目标包括空目标、虚假目标和静止目标，所述通过帧间跟踪信息对所述报文信息进行噪声滤波和无效目标过滤，包括：
根据所述报文信息获取所述报文信息中的目标，并获取各目标的相对距离；
对所述相对距离进行检测，在所述当前目标的相对距离为零时，将当前目标判定为空目标；
在所述当前目标的相对距离不为零时，获取所述当前目标的检测信息，在所述检测信息满足跟踪条件时，对所述当前目标进行帧间跟踪，得到帧间跟踪信息；
在所述当前目标的帧间跟踪信息为预设帧间跟踪信息时，将所述当前的目标判定为虚假目标；
获取所述当前目标的回波强度，在所述回波强度不在所述回波强度阈值内，将所述当前目标判定为静止目标；
将所述空目标、虚假目标或静止目标过滤。
4.如权利要求1所述的技术，其特征在于，所述根据所述视觉信息生成视觉感兴趣区域，包括：
将所述视觉信息输入至视觉处理模型，通过聚类算法得到最优锚；
根据所述最优锚与所述视觉信息提取车辆与车道线；
根据所述车辆与所述车道线得到视觉感兴趣区域。
5.如权利要求1所述的技术，其特征在于，所述雷达感兴趣区域与所述视觉感兴趣区域包括世界坐标系、雷达坐标系、相机坐标系、图像坐标系和像素坐标系，所述将所述雷达感兴趣区域与所述视觉感兴趣区域融合，包括：
获取所述雷达坐标系中目标的相对角度与相对距离，根据所述相对角度、相对距离和第一转换关系实现所述世界坐标系与所述雷达坐标系的转换；
定义旋转矩阵和平移向量矩阵，根据所述旋转矩阵、所述平移向量矩阵、相机的外参矩阵和第二转换关系所述实现世界坐标系与所述相机坐标系的转换；
获取相机的焦距，根据所述相机坐标系中的点与所述相机的焦距通过第三转换关系实现所述相机坐标系与所述图像坐标系的转换；
确定所述图像坐标系与所述像素坐标系的原点位置；根据所述原点位置得到位置偏量；根据所述位置偏量与第四转换关系实现所述图像坐标系与所述像素坐标系的转换；
根据第五转换关系实现所述像素坐标系与所述世界坐标系的转换，实现将所述雷达感兴趣区域与所述视觉感兴趣区域融合。
6.如权利要求5所述的技术，其特征在于，所述定义旋转矩阵和平移向量矩阵，根据所述旋转矩阵、所述平移向量矩阵、相机的外参矩阵和第二转换关系所述实现世界坐标系与所述相机坐标系的转换，还包括：
根据张正友标定法获取相机的内参；
根据联合标定关系以及所述相机的内参和世界坐标系中的三维坐标得到所述像素坐标系中的像素坐标。
7.如权利要求1所述的技术，其特征在于，所述在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出，包括：
在所述交并比大于预设阈值时，提取所述视觉感兴趣区域内目标的目标类别；
提取所述雷达感兴趣内目标的属性信息，所述属性信息包括速度信息和距离信息；
将所述目标类别与所述属性信息进行输出。
8.一种视觉与雷达融合的目标检测装置，其特征在于，所述视觉与雷达融合的目标检测装置包括：
信息获取模块，用于获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息；
区域生成模块，用于根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域；
融合判断模块，用于将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比；
目标输出模块，用于在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。
9.一种视觉与雷达融合的目标检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉与雷达融合的目标检测程序，所述视觉与雷达融合的目标检测程序配置为实现如权利要求1至7中任一项所述的视觉与雷达融合的目标检测技术的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有视觉与雷达融合的目标检测程序，所述视觉与雷达融合的目标检测程序被处理器执行时实现如权利要求1至7任一项所述的视觉与雷达融合的目标检测技术的步骤。
CN202310602524.7A 2023-05-25 2023-05-25 视觉与雷达融合的目标检测技术 Pending CN116755081A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310602524.7A CN116755081A (zh) 2023-05-25 2023-05-25 视觉与雷达融合的目标检测技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310602524.7A CN116755081A (zh) 2023-05-25 2023-05-25 视觉与雷达融合的目标检测技术

Publications (1)

Publication Number Publication Date
CN116755081A true CN116755081A (zh) 2023-09-15

Family

ID=87950529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310602524.7A Pending CN116755081A (zh) 2023-05-25 2023-05-25 视觉与雷达融合的目标检测技术

Country Status (1)

Country Link
CN (1) CN116755081A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN109143221A (zh) * 2018-07-23 2019-01-04 奇瑞汽车股份有限公司 目标跟踪方法及装置
CN109367480A (zh) * 2018-09-14 2019-02-22 合肥工业大学 一种基于毫米波雷达的车辆防追尾预警方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111965636A (zh) * 2020-07-20 2020-11-20 重庆大学 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN112406687A (zh) * 2020-10-16 2021-02-26 常州通宝光电股份有限公司 一种“人-车-路”协同的可编程矩阵式前照灯系统及方法
CN112633176A (zh) * 2020-12-24 2021-04-09 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN112924950A (zh) * 2021-01-26 2021-06-08 森思泰克河北科技有限公司 静止人物区分方法、装置及终端设备
CN113239753A (zh) * 2021-04-23 2021-08-10 哈尔滨理工大学 基于YOLOv4改进的交通标志检测与识别方法
CN113392852A (zh) * 2021-04-30 2021-09-14 浙江万里学院 一种基于深度学习的车辆检测方法及系统
CN114296095A (zh) * 2021-12-17 2022-04-08 芜湖雄狮汽车科技有限公司 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
CN114814763A (zh) * 2022-03-03 2022-07-29 中路云网(福建)信息科技有限公司 一种基于soc体系芯片的毫米波雷达长距离目标识别方法
CN115272810A (zh) * 2022-07-05 2022-11-01 西安电子科技大学青岛计算技术研究院 一种基于雷视融合的目标检测方法及系统、设备及介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN109143221A (zh) * 2018-07-23 2019-01-04 奇瑞汽车股份有限公司 目标跟踪方法及装置
CN109367480A (zh) * 2018-09-14 2019-02-22 合肥工业大学 一种基于毫米波雷达的车辆防追尾预警方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111965636A (zh) * 2020-07-20 2020-11-20 重庆大学 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN112406687A (zh) * 2020-10-16 2021-02-26 常州通宝光电股份有限公司 一种“人-车-路”协同的可编程矩阵式前照灯系统及方法
CN112633176A (zh) * 2020-12-24 2021-04-09 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN112924950A (zh) * 2021-01-26 2021-06-08 森思泰克河北科技有限公司 静止人物区分方法、装置及终端设备
CN113239753A (zh) * 2021-04-23 2021-08-10 哈尔滨理工大学 基于YOLOv4改进的交通标志检测与识别方法
CN113392852A (zh) * 2021-04-30 2021-09-14 浙江万里学院 一种基于深度学习的车辆检测方法及系统
CN114296095A (zh) * 2021-12-17 2022-04-08 芜湖雄狮汽车科技有限公司 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
CN114814763A (zh) * 2022-03-03 2022-07-29 中路云网(福建)信息科技有限公司 一种基于soc体系芯片的毫米波雷达长距离目标识别方法
CN115272810A (zh) * 2022-07-05 2022-11-01 西安电子科技大学青岛计算技术研究院 一种基于雷视融合的目标检测方法及系统、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
秦汉: ""基于视觉和毫米波雷达融合的前方车辆检测算法研究"", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, 15 July 2020 (2020-07-15), pages 24 - 64 *
陈影: ""基于YOLOv5 算法的道路场景目标检测应用研究"", 《现代计算机》, 15 September 2021 (2021-09-15), pages 2 *

Similar Documents

Publication Publication Date Title
WO2021223368A1 (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
JP4203512B2 (ja) 車両周辺監視装置
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN111045000A (zh) 监测系统和方法
CN112562093B (zh) 目标检测方法、电子介质和计算机存储介质
CN113034586B (zh) 道路倾角检测方法和检测系统
CN116229408A (zh) 一种图像信息与激光雷达点云信息融合的目标识别方法
JPWO2017134936A1 (ja) 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
CN111881832A (zh) 车道目标检测方法、装置、设备及计算机可读存储介质
CN113989766A (zh) 道路边缘检测方法、应用于车辆的道路边缘检测设备
CN111723723A (zh) 一种图像检测方法及装置
JP2022045947A5 (zh)
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
WO2022166606A1 (zh) 一种目标检测方法及装置
CN111368883B (zh) 基于单目摄像头的避障方法、计算装置及存储装置
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN116755081A (zh) 视觉与雷达融合的目标检测技术
CN114814810A (zh) 行人检测方法
CN111339840B (zh) 人脸检测方法和监控系统
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN110488320B (zh) 一种利用立体视觉检测车辆距离的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination