CN111965636A - 一种基于毫米波雷达和视觉融合的夜间目标检测方法 - Google Patents

一种基于毫米波雷达和视觉融合的夜间目标检测方法 Download PDF

Info

Publication number
CN111965636A
CN111965636A CN202010699510.8A CN202010699510A CN111965636A CN 111965636 A CN111965636 A CN 111965636A CN 202010699510 A CN202010699510 A CN 202010699510A CN 111965636 A CN111965636 A CN 111965636A
Authority
CN
China
Prior art keywords
image
millimeter wave
wave radar
target
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010699510.8A
Other languages
English (en)
Inventor
唐小林
张志强
徐正平
胡晓松
邓忠伟
李佳承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010699510.8A priority Critical patent/CN111965636A/zh
Publication of CN111965636A publication Critical patent/CN111965636A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于毫米波雷达和视觉融合的夜间目标检测方法，具体为：预处理基于毫米波雷达检测的原始数据；利用摄像头采集与所述原始数据对应的原始图像；将毫米波雷达检测的有效目标点投影至原始图像上，生成感兴趣区域；针对感兴趣区域内的图像进行图像增亮；基于视觉深度学习，对图像中的有效目标进行分类；将目标类别与毫米波雷达所测定的所述有效目标的航迹相匹配。本发明利用相机采集原始图像数据，同时结合毫米波雷达的全天候工作特性，利用目标反射点在图像上生成感兴趣区域内进行图像增亮和目标检测，利用视觉深度学习的优势，实现对夜间行人、摩托车、汽车等目标的检测，同时有效增强夜间目标检测与跟踪的准确度。

Description

一种基于毫米波雷达和视觉融合的夜间目标检测方法
技术领域
本发明涉及无人驾驶环境感知领域，具体的，涉及一种基于毫米波雷达和视觉融合的夜间目标检测方法。
背景技术
实现无人驾驶的首要前提是从环境中完美检测出车辆和行人等交通参与者，因此基于摄像头和毫米波雷达融合感知已经成为无人驾驶感知系统必不可少的部分。近年来，计算机视觉目标检测技术飞速发展，通过对摄像头采集的画面进行特征提取和分析，快速分类出图像中的目标种类和边界框，同时进行跟踪与运动分析，对目标未来状态进行一定的预测，从而更好地规划自车的行车轨迹。目前，大部分学者的研究主要集中在光线良好的日间图像，然而夜间和照度低的行车场景比例很大，交通事故频繁发生，给人们的生命财产带来很大的损失。因此，研究夜间目标检测对于提升无人驾驶安全性，减少交通事故有着重要的意义。
目前大部分夜间目标检测的研究都集中在车辆检测，主要是针对车灯特征分析进行车辆检测，然而，夜间行车环境十分复杂，道路上还存在行人、摩托车、自行车等交通参与者，只针对汽车检测根本不可能实现无人驾驶的任务。
发明内容
有鉴于此，本发明的目的是提供一种基于毫米波雷达和视觉融合的夜间目标检测方法，1)采用毫米波雷达提供感兴趣区域，减少计算量，提高识别速度；2)采集原始图像数据，能够获得更丰富的图像信息；3)同时对夜间行车环境中汽车、行人、摩托车、自行车等多种目标检测；4)采用深度学习对图像进行图像增亮，图像画质佳。
本发明的目的是通过以下技术方案实现的：
一种基于毫米波雷达和视觉融合的夜间目标检测方法，检测方法具体为：
预处理基于毫米波雷达检测的原始数据，针对有效目标的航迹进行初始化和跟踪；
利用摄像头采集与所述原始数据对应的原始图像；
将毫米波雷达检测的有效目标点投影至原始图像上，生成感兴趣区域；
针对感兴趣区域内的图像进行图像增亮；
基于视觉深度学习，对图像中的有效目标进行分类；
将目标类别与毫米波雷达所测定的所述有效目标的航迹相匹配。
利用目标反射点在图像上生成感兴趣区域，在感兴趣区域内进行图像增亮和目标检测，能够检测行人、汽车、摩托车、自行车等多种交通参与者。
进一步，所述原始图像为通过CMOS或者CCD图像感应器根据拜耳阵列将捕捉到的光源信号转化为数字信号的原始数据。
拜耳阵列模拟人眼对色彩的敏感程度，采用1红2绿1蓝的排列方式将灰度信息转换成彩色信息，具有可靠性高的优点。
进一步，所述针对感兴趣区域内的图像进行图像增亮的方法具体为：
将所述原始图像的拜耳阵列图按照颜色拆解为四通道图像；
对四通道图像数据范围进行调整，减去黑电平使其最小值为零；
利用全卷积神经网络将调整后的四通道图像进行处理；
通过亚像素卷积，将全卷积神经网络输出的图像信息经过亚像素卷积生成的高分辨率的彩色图像。
进一步，所述基于视觉深度学习，对图像中的有效目标进行分类的方法具体为：
采集各交通参与者的图像信息，并且将上述数据集随机分为训练数据集，验证数据集和测试数据集；
基于训练数据集，验证数据集和测试数据集以及ResNet101神经网络，建立ResNet101模型，保存权重文件；
将所述感兴趣区域的图像作为输入图片输入至ResNet101模型中，经过权重文件计算输出目标的种类。
进一步，所述预处理基于雷达检测的原始数据，针对有效目标的航迹进行初始化和跟踪的方法具体为：
去除所述原始数据中的无效目标、静止目标以及冗余数据；
通过数据关联的方式确定所述有效目标，并初始化所述有效目标的航迹，所述数据关联的方式具体为：
Figure BDA0002592513140000021
式中:D为毫米波雷达测量的目标相对距离；
V为毫米波雷达测量的目标相对速度；
Φ为毫米波雷达测量的目标角度；
d,v,
Figure BDA0002592513140000022
为距离阈值，速度阈值，角度阈值；
m为每一周期雷达测量的目标总数；
i为时间，j为每一周期的第j个雷达数据；
对已经形成的航迹进行跟踪。
进一步，所述检测方法还包括：
进行摄像机标定，建立图像像素坐标系和世界坐标系的关系，根据雷达的安装位置建立雷达坐标系和世界坐标系的转换关系以及雷达坐标到图像像素坐标的转换关系；
其中，所述图像像素坐标系和世界坐标系的转换关系可表示为：
Figure BDA0002592513140000031
式中:RC为镜头旋转矩阵；
TC为镜头平移矩阵；
f为镜头焦距；
uv为像素坐标系；
XwYwZw为世界坐标系；
(u0,v0)为像素坐标系中的图像平面中心点坐标；
dx,dy表示感光芯片上像素的实际大小；
所述雷达坐标系和世界坐标系的转换关系可表示为：
Figure BDA0002592513140000032
式中:XRYRZR为毫米波雷达坐标系；
RR为毫米波雷达旋转矩阵；
TR为毫米波雷达平移矩阵；
所述雷达坐标到图像像素坐标的转换关系可表示为：
Figure BDA0002592513140000041
本发明的有益效果是：
1)采用毫米波雷达提供感兴趣区域，减少计算量，提高识别速度；2)采集原始图像数据，能够获得更丰富的图像信息；3)同时对夜间行车环境中汽车，行人，摩托车，自行车等多种目标检测；4)采用深度学习对图像进行图像增亮，图像画质佳。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
附图1为本发明原理图；
附图2是拜耳阵列示意图；
附图3为图像增亮原理图；
附图4是拜耳阵列拆解示意图；
附图5是黑电平校正前后示意图；
附图6是ConvNet结构示意图；
附图7为图像增亮对比图。
具体实施方式
以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
本实施例提出了一种基于毫米波雷达和视觉融合的夜间目标检测方法，本方法能够检测感兴趣区域内的行人、汽车、摩托车、自行车等多种交通参与者，如图1所示，具体为：
进行摄像机标定，建立图像像素坐标系和世界坐标系的关系，根据雷达的安装位置建立雷达坐标系和世界坐标系的转换关系，建立雷达坐标到图像像素坐标的转换关系。
其中，图像像素坐标系和世界坐标系的转换关系可表示为：
Figure BDA0002592513140000051
式中:RC为镜头旋转矩阵；
TC为镜头平移矩阵；
f为镜头焦距；
uv为像素坐标系；
XwYwZw为世界坐标系；
(u0,v0)为像素坐标系中的图像平面中心点坐标；
dx,dy表示感光芯片上像素的实际大小；
雷达坐标系和世界坐标系的转换关系可表示为：
Figure BDA0002592513140000052
式中:XRYRZR为毫米波雷达坐标系；
RR为毫米波雷达旋转矩阵；
TR为毫米波雷达平移矩阵；
雷达坐标到图像像素坐标的转换关系可表示为：
Figure BDA0002592513140000053
预处理基于毫米波雷达检测的原始数据，针对有效目标的航迹进行初始化和跟踪。具体可分为以下步骤：
去除原始数据中的无效目标、静止目标，由于同一目标会反射多个雷达点，通过聚类方法消除冗余数据，减少计算量。
通过数据关联的方式确定有效目标，并初始化有效目标的航迹，本实施例中连续关联3次即认定为有效目标，数据关联的方式具体为：
Figure BDA0002592513140000061
式中:D为毫米波雷达测量的目标相对距离；
V为毫米波雷达测量的目标相对速度；
Φ为毫米波雷达测量的目标角度；
d,v,
Figure BDA0002592513140000062
为距离阈值，速度阈值，角度阈值；
m为每一周期雷达测量的目标总数；
i为时间，j为每一周期的第j个雷达数据；
利用卡尔曼滤波算法对已经形成的航迹进行跟踪。
利用摄像头采集与原始数据对应的原始图像，其中原始图像为通过CMOS或者CCD图像感应器根据拜耳阵列将捕捉到的光源信号转化为数字信号的原始数据，一个像素点只记录一种颜色。
如图2所示，拜耳阵列(Bayer Pattern)CMOS或者CCD拍摄彩色图像的主要技术，它是一个4×4阵列，由8个绿色、4个蓝色和4个红色像素组成。
利用摄像头采集原始图像和利用毫米波雷达采集原始数据同步进行。
将毫米波雷达检测的有效目标点投影至原始图像上，生成感兴趣区域。具体为：
根据毫米波雷达坐标系到图像像素坐标系的转换关系，将雷达坐标系中的目标点和以目标点为中心且边长为2m的正方形框投影到图像上。
针对感兴趣区域内的图像进行图像增亮。具体如图3所示。
首先，需要先获取曝光比，具体步骤为：
1.计算当前帧的曝光量
Figure BDA0002592513140000063
式中：N是光圈值；
t是曝光时间，单位秒。
2.计算曝光比
Figure BDA0002592513140000064
式中：γ为曝光比；
EVtest为实验测试的正常曝光值。
曝光比是图像增亮的放大系数，不同的暗光场景需要不同的放大系数进行增亮，可以避免原图像在增亮后出现欠曝和过曝。
将原始图像的拜耳阵列图(H×W×1)按照颜色拆解为四通道图像
Figure BDA0002592513140000071
具体来说，以拜耳图像2×2阵列为一个基本单元，Bayer(1，1)-R(1，1)；Bayer(1，2)-G2(1，1)；Bayer(2，1)-G4(1，1)；Bayer(2，2)-B(1，1)，其他拜耳单元同理。如图4所示，其中R为红色通道；G2为位于第二张的绿色通道；G4为位于第四张的绿色通道；(1，1)代表坐标，表示第一行第一列的像素位置；B为蓝色通道。
如图5所示，对四通道图像数据范围进行调整，减去黑电平使其最小值为零。
利用全卷积神经网络将调整后的四通道图像进行处理，如图6所示，全卷积神经网络是将U-Net所有通道数减半，最后一层卷积层为1×1的卷积核，输出12通道的图像信息。
通过亚像素卷积，将全卷积神经网络输出的图像信息经过亚像素卷积生成的高分辨率的彩色图像，低分辨率图像通过亚像素卷积生成高分辨率图像，实现了图像的超分辨率，将全卷积神经网络输出的图像信息经过亚像素卷积生成H×W×3的RGB彩色图像。
其中增亮前与增亮后的对比如图7所示。
基于视觉深度学习，对图像中的有效目标进行分类，具体为：
采集各交通参与者的图像信息，交通参与者包括道路上汽车、行人、自行车、摩托车等，其中每个图片只包含一个目标且占画面比例超过60％，将上述数据集随机分为训练数据集，验证数据集和测试数据集。
基于训练数据集，验证数据集和测试数据集以及ResNet101神经网络，训练ResNet101模型。采用ResNet101网络提取标注数据集的图像特征信息，然后对特征信息进行分类任务训练，通过动态计算ResNet101在训练集和测试集上的误差，不断重复前向传播-误差计算-反向传播-权重会更新的过程，直到误差值达到期望值，保存模型和权重文件。
将感兴趣区域的图像作为输入图片输入至ResNet101模型中，经过权重文件计算输出目标的种类。
其中，本方法不局限于ResNet101神经网络，也可采用其他图像分类模型，也可以达到本实施例实现的技术效果。
将目标类别与毫米波雷达所测定的有效目标的航迹相匹配，并标注目标类别，存储航迹的类别，速度，距离，角度信息。
本发明利用相机采集原始图像数据(拜耳阵列)，同时结合毫米波雷达的全天候工作特性，利用目标反射点在图像上生成感兴趣区域，在感兴趣区域内进行图像增亮和目标检测，利用视觉深度学习的优势，实现夜间行人、摩托车、汽车等目标的检测，同时有效增强夜间目标检测与跟踪的准确度。该方法实用性强，效果好。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于毫米波雷达和视觉融合的夜间目标检测方法，其特征在于：检测方法具体为：
预处理基于毫米波雷达检测的原始数据，针对有效目标的航迹进行初始化和跟踪；
利用摄像头采集与所述原始数据对应的原始图像；
将毫米波雷达检测的有效目标点投影至原始图像上，生成感兴趣区域；
针对感兴趣区域内的图像进行图像增亮；
基于视觉深度学习，对图像中的有效目标进行分类；
将目标类别与毫米波雷达所测定的所述有效目标的航迹相匹配。
2.根据权利要求1所述的基于毫米波雷达和视觉融合的夜间目标检测方法，其特征在于：
所述原始图像为通过CMOS或者CCD图像感应器根据拜耳阵列将捕捉到的光源信号转化为数字信号的数据。
3.根据权利要求2所述的基于毫米波雷达和视觉融合的夜间目标检测方法，其特征在于：所述针对感兴趣区域内的图像进行图像增亮的方法具体为：
将所述原始图像的拜耳阵列图按照颜色拆解为四通道图像；
对四通道图像数据范围进行调整，减去黑电平使其最小值为零；
利用全卷积神经网络将调整后的四通道图像进行处理；
通过亚像素卷积，将全卷积神经网络输出的图像信息经过亚像素卷积生成高分辨率的彩色图像。
4.根据权利要求1所述的基于毫米波雷达和视觉融合的夜间目标检测方法，其特征在于：所述基于视觉深度学习，对图像中的有效目标进行分类的方法具体为：
采集各交通参与者的图像信息，并且将上述数据集随机分为训练数据集，验证数据集和测试数据集；
基于训练数据集，验证数据集和测试数据集以及ResNet101神经网络，训练ResNet101模型，保存权重文件；
将所述感兴趣区域的图像作为输入图片输入至ResNet101模型中，经过权重文件计算输出目标的种类。
5.根据权利要求1所述的基于毫米波雷达和视觉融合的夜间目标检测方法，其特征在于：所述预处理基于雷达检测的原始数据，针对有效目标的航迹进行初始化和跟踪的方法具体为：
去除所述原始数据中的无效目标、静止目标以及冗余数据；
通过数据关联的方式确定所述有效目标，并初始化所述有效目标的航迹，所述数据关联的方式具体为：
Figure FDA0002592513130000021
式中:D为毫米波雷达测量的目标相对距离；
V为毫米波雷达测量的目标相对速度；
Φ为毫米波雷达测量的目标角度；
d,v,
Figure FDA0002592513130000022
为距离阈值，速度阈值，角度阈值；
m为每一周期雷达测量的目标总数；
i为时间，j为每一周期的第j个雷达数据；
对已经形成的航迹进行跟踪。
6.根据权利要求1所述的基于毫米波雷达和视觉融合的夜间目标检测方法，其特征在于：所述检测方法还包括：
进行摄像机标定，建立图像像素坐标系和世界坐标系的关系，根据雷达的安装位置建立雷达坐标系和世界坐标系的转换关系以及雷达坐标到图像像素坐标的转换关系；
其中，所述图像像素坐标系和世界坐标系的转换关系可表示为：
Figure FDA0002592513130000023
式中:RC为镜头旋转矩阵；
TC为镜头平移矩阵；
f为镜头焦距；
uv为像素坐标系；
XwYwZw为世界坐标系；
(u0,v0)为像素坐标系中的图像平面中心点坐标；
dx,dy表示感光芯片上像素的实际大小；
所述雷达坐标系和世界坐标系的转换关系可表示为：
Figure FDA0002592513130000031
式中:XRYRZR为毫米波雷达坐标系；
RR为毫米波雷达旋转矩阵；
TR为毫米波雷达平移矩阵；
所述雷达坐标到图像像素坐标的转换关系可表示为：
Figure FDA0002592513130000032
CN202010699510.8A 2020-07-20 2020-07-20 一种基于毫米波雷达和视觉融合的夜间目标检测方法 Pending CN111965636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699510.8A CN111965636A (zh) 2020-07-20 2020-07-20 一种基于毫米波雷达和视觉融合的夜间目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699510.8A CN111965636A (zh) 2020-07-20 2020-07-20 一种基于毫米波雷达和视觉融合的夜间目标检测方法

Publications (1)

Publication Number Publication Date
CN111965636A true CN111965636A (zh) 2020-11-20

Family

ID=73360802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699510.8A Pending CN111965636A (zh) 2020-07-20 2020-07-20 一种基于毫米波雷达和视觉融合的夜间目标检测方法

Country Status (1)

Country Link
CN (1) CN111965636A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801928A (zh) * 2021-03-16 2021-05-14 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN113438449A (zh) * 2021-06-07 2021-09-24 西安恒盛安信智能技术有限公司 一种视频图像传输方法
CN113505732A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 视觉目标的确定方法及装置、存储介质、电子装置
CN113892931A (zh) * 2021-10-14 2022-01-07 重庆大学 一种基于深度学习的fmcw雷达提取分析腹内压力方法
CN114137513A (zh) * 2021-11-30 2022-03-04 联陆智能交通科技(上海)有限公司 视觉辅助毫米波雷达进行目标检测装置、方法及系统
CN114155501A (zh) * 2021-12-03 2022-03-08 北京理工大学 一种无人车在烟雾遮挡环境下的目标检测方法
CN114581944A (zh) * 2022-02-18 2022-06-03 杭州睿影科技有限公司 一种毫米波图像处理方法、装置及电子设备
CN116106895A (zh) * 2023-02-21 2023-05-12 郑州大学 基于视觉与无线感知融合的多点微动智能监测系统与方法
CN116755081A (zh) * 2023-05-25 2023-09-15 东风柳州汽车有限公司 视觉与雷达融合的目标检测技术

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166137A (zh) * 2014-08-19 2014-11-26 东北电力大学 一种基于雷达告警态势图显示的目标综合参数跟踪测量方法
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN107945580A (zh) * 2017-11-17 2018-04-20 武汉理工大学 海上拖带系统ais虚拟警戒标标示系统及方法
CN108733042A (zh) * 2017-04-19 2018-11-02 上海汽车集团股份有限公司 自动驾驶车辆的目标跟踪方法及装置
CN109143241A (zh) * 2018-07-26 2019-01-04 清华大学苏州汽车研究院（吴江） 雷达数据和图像数据的融合方法及系统
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109920185A (zh) * 2019-04-16 2019-06-21 中科九度(北京)空间信息技术有限责任公司 一种基于毫米波雷达与视频数据融合检测移动目标的方法
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN110361741A (zh) * 2019-07-16 2019-10-22 扬州瑞控汽车电子有限公司 一种基于视觉和雷达融合的前方碰撞预警方法及其系统
CN110570664A (zh) * 2019-09-23 2019-12-13 山东科技大学 一种高速公路交通事件自动检测系统
US20200025877A1 (en) * 2018-07-18 2020-01-23 Qualcomm Incorporated Object verification using radar images
WO2020053148A1 (en) * 2018-09-10 2020-03-19 Iee International Electronics & Engineering S.A. Removing noise caused by vehicular movement from sensor signals using deep neural networks
US20200097092A1 (en) * 2018-09-21 2020-03-26 International Business Machines Corporation Gesture recognition using 3d mm-wave radar
CN111175735A (zh) * 2019-12-31 2020-05-19 苏州豪米波技术有限公司 一种抑制雷达监测系统误报的方法
CN111401453A (zh) * 2020-03-18 2020-07-10 西安电子科技大学 一种马赛克图像分类识别方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166137A (zh) * 2014-08-19 2014-11-26 东北电力大学 一种基于雷达告警态势图显示的目标综合参数跟踪测量方法
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
CN108733042A (zh) * 2017-04-19 2018-11-02 上海汽车集团股份有限公司 自动驾驶车辆的目标跟踪方法及装置
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN107945580A (zh) * 2017-11-17 2018-04-20 武汉理工大学 海上拖带系统ais虚拟警戒标标示系统及方法
US20200025877A1 (en) * 2018-07-18 2020-01-23 Qualcomm Incorporated Object verification using radar images
CN109143241A (zh) * 2018-07-26 2019-01-04 清华大学苏州汽车研究院（吴江） 雷达数据和图像数据的融合方法及系统
WO2020053148A1 (en) * 2018-09-10 2020-03-19 Iee International Electronics & Engineering S.A. Removing noise caused by vehicular movement from sensor signals using deep neural networks
US20200097092A1 (en) * 2018-09-21 2020-03-26 International Business Machines Corporation Gesture recognition using 3d mm-wave radar
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN109920185A (zh) * 2019-04-16 2019-06-21 中科九度(北京)空间信息技术有限责任公司 一种基于毫米波雷达与视频数据融合检测移动目标的方法
CN110361741A (zh) * 2019-07-16 2019-10-22 扬州瑞控汽车电子有限公司 一种基于视觉和雷达融合的前方碰撞预警方法及其系统
CN110570664A (zh) * 2019-09-23 2019-12-13 山东科技大学 一种高速公路交通事件自动检测系统
CN111175735A (zh) * 2019-12-31 2020-05-19 苏州豪米波技术有限公司 一种抑制雷达监测系统误报的方法
CN111401453A (zh) * 2020-03-18 2020-07-10 西安电子科技大学 一种马赛克图像分类识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
秦瑜: "基于卷积神经网络的低照度图像去噪与增强研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
谭力凡: "机器视觉与毫米波雷达融合的前方车辆检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801928A (zh) * 2021-03-16 2021-05-14 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN112801928B (zh) * 2021-03-16 2022-11-29 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN113438449A (zh) * 2021-06-07 2021-09-24 西安恒盛安信智能技术有限公司 一种视频图像传输方法
CN113505732A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 视觉目标的确定方法及装置、存储介质、电子装置
CN113892931A (zh) * 2021-10-14 2022-01-07 重庆大学 一种基于深度学习的fmcw雷达提取分析腹内压力方法
CN113892931B (zh) * 2021-10-14 2023-08-22 重庆大学 一种基于深度学习的fmcw雷达提取分析腹内压力方法
CN114137513A (zh) * 2021-11-30 2022-03-04 联陆智能交通科技(上海)有限公司 视觉辅助毫米波雷达进行目标检测装置、方法及系统
CN114155501A (zh) * 2021-12-03 2022-03-08 北京理工大学 一种无人车在烟雾遮挡环境下的目标检测方法
CN114581944A (zh) * 2022-02-18 2022-06-03 杭州睿影科技有限公司 一种毫米波图像处理方法、装置及电子设备
CN116106895A (zh) * 2023-02-21 2023-05-12 郑州大学 基于视觉与无线感知融合的多点微动智能监测系统与方法
CN116106895B (zh) * 2023-02-21 2024-01-26 郑州大学 基于视觉与无线感知融合的多点微动智能监测系统与方法
CN116755081A (zh) * 2023-05-25 2023-09-15 东风柳州汽车有限公司 视觉与雷达融合的目标检测技术

Similar Documents

Publication Publication Date Title
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN111967498A (zh) 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN111209810B (zh) 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN105930822A (zh) 一种人脸抓拍方法及系统
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN110766020A (zh) 一种面向多语种自然场景文本检测与识别的系统及方法
CN112365462B (zh) 一种基于图像的变化检测方法
Várkonyi-Kóczy et al. Gradient-based synthesized multiple exposure time color HDR image
CN111539980B (zh) 一种基于可见光的多目标追踪方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
CN115375991A (zh) 一种强/弱光照和雾环境自适应目标检测方法
CN111444916A (zh) 面向无约束条件下的车牌定位及识别方法、系统
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN112085018A (zh) 基于神经网络的车牌识别系统
CN114266993A (zh) 一种基于图像的道路环境检测方法及装置
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN112528994A (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN111898427A (zh) 一种基于特征融合深度神经网络的多光谱行人检测方法
CN111881924B (zh) 结合光照不变性与短曝光光照增强的暗光车照识别方法
CN116189136A (zh) 一种基于深度学习的雨雪天气下交通信号灯检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201120

RJ01 Rejection of invention patent application after publication