CN113343849A - 一种基于雷达和视频的融合感知设备 - Google Patents

一种基于雷达和视频的融合感知设备 Download PDF

Info

Publication number
CN113343849A
CN113343849A CN202110631247.3A CN202110631247A CN113343849A CN 113343849 A CN113343849 A CN 113343849A CN 202110631247 A CN202110631247 A CN 202110631247A CN 113343849 A CN113343849 A CN 113343849A
Authority
CN
China
Prior art keywords
radar
image
module
data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110631247.3A
Other languages
English (en)
Inventor
杨永锋
范晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Hengsheng Anxin Intelligent Technology Co ltd
Original Assignee
Xi'an Hengsheng Anxin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Hengsheng Anxin Intelligent Technology Co ltd filed Critical Xi'an Hengsheng Anxin Intelligent Technology Co ltd
Priority to CN202110631247.3A priority Critical patent/CN113343849A/zh
Publication of CN113343849A publication Critical patent/CN113343849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开提供了一种基于雷达和视频的融合感知设备，涉及道路监控技术领域，能够获取高准确度信息。包括数据采集单元、数据处理单元和数据输出单元，数据采集单元包括雷达模块和相机模块，雷达模块采集雷达图像，相机模块采集的相机图像；数据处理单元与雷达模块和相机模块连接，数据处理单元对雷达模块采集的雷达图像标定目标后针对目标跟踪和目标检测；数据处理单元对相机图像去畸变处理后依次通过图像增加、道路标识识别和目标识别出目标图像；数据输出单元与数据处理单元连接，数据处理单元通过不同接口连接不同后端平台。本公开采集道路上来往目标的实时位置、速度信息，对目标进行精准检测。

Description

一种基于雷达和视频的融合感知设备
技术领域
本公开涉及道路监控领域，尤其涉及一种基于雷达和视频的融合感知设备。
背景技术
随着社会经济的高速增长和科技的快速发展，城市化进程的加快导致交通问题日益突出，城市交通面临着沉重的压力，道路拥挤、车辆堵塞、交通安全、交通秩序混乱成为中国交通长期面临的严峻问题。
为有效减少道路交通中的安全隐患，当前各个城市道路沿线均部署了视频监控系统。交通电子眼虽然可以通过相机图像监控道路交通安全，但一方面，传统的道路监控只能做到实时查看、实时录像、事后回放等功能，通过 “人眼盯视频”方式发现异常或突发事件，安全盲点多、交通运营管理效率低下；另一方面，视频监控一般都是用于事后追查或者事中报警，无法进行事前预警功能，而且视频监控对于全天候要求难以满足，在大雾、大雨等低照度情况下，摄像头难以看清，视频监控无法充分发挥作用。
因此，智能交通对前端信息的获取提出了更高的要求，包括互联网大数据、地磁、视频和雷达等多模式的检测方法也成为获取高准确度信息的重要手段之一。有必要研究出一种基于雷达和视频的融合感知设备，将毫米波雷达的高精度数据和视频的基于深度学习的目标检测技术相结合，更好地满足智能化交通管理系统的需要。
发明内容
本发明的实施例提供一种基于雷达和视频的融合感知设备，通过雷达模块和相机模块采集道路上来往目标，通过数据处理单元获取来往目标的实时位置、速度信息，以此实现对目标进行精准检测。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于雷达和视频的融合感知设备，包括：
数据采集单元，所述数据采集单元包括雷达模块和相机模块，所述雷达模块采集雷达图像，所述相机模块采集的相机图像；
数据处理单元，所述数据处理单元与所述雷达模块和所述相机模块连接，所述数据处理单元对所述雷达模块采集的雷达图像标定目标后针对目标跟踪和目标检测；所述数据处理单元对相机图像去畸变处理后依次通过图像增加、道路标识识别和目标识别出目标图像；所述数据处理单元还融合雷达图像和相机图像的目标，并对该目标实时逻辑处理得到交通量统计和交通事件检测；
数据输出单元，所述数据输出单元与所述数据处理单元连接，所述数据处理单元通过不同接口连接不同后端平台，所述数据处理单元将交通量统计和交通事件检测发送给不同后端平台。
在一种可能的实现方式中，所述数据采集单元还包括第一处理模块、第二处理模块和第三处理模块；
所述第一处理模块与所述雷达模块连接，将雷达图像处理成雷达压缩图像；
所述第二处理模块与所述第二处理模块连接，将相机图像处理成多个低照度图像；
所述第三处理模块与所述第一处理模块和所述第二处理模块连接，将雷达压缩图像和多个低照度相机图像处理成传输数据；
所述第三处理模块还与所述数据处理单元连接，所述第三处理模块把传输数据发送给所述数据处理单元。
在一种可能的实现方式中，所述第一处理模块包括第一图像压缩芯片和第二图像压缩芯片，第一图像压缩芯片和第二图像压缩芯片并联设置，第一图像压缩芯片和第二图像压缩芯片均与所述雷达模块连接；
所述第二处理模块包括第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片，第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片并联设置，第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片均与所述相机模块连接；
第一图像压缩芯片、第二图像压缩芯片、第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片均与所述第三处理模块电连接。
在一种可能的实现方式中，所述第一处理模块还包括第一FPGA芯片，第一图像压缩芯片和第二图像压缩芯片均与第一FPGA芯片连接；
所述第二处理模块还包括第二FPGA芯片，第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片均与第二FPGA芯片连接。
在一种可能的实现方式中，所述数据采集单元还包括GPS模块，所述GPS模块与所述第一处理模块和所述第三处理模块连接，所述GPS模块向所述第一处理模块和所述第三处理模块发送所述雷达模块的位置信息；
所述第一处理模块将雷达图像处理成雷达压缩图像的同时，还在雷达压缩图像中标记有对应该雷达模块位置信息；
所述第三处理模块将雷达压缩图像和多个低照度相机图像处理成传输数据的同时，还在传输数据中标记有对应该雷达模块位置信息。
在一种可能的实现方式中，所述数据处理单元基于雷达模块位置信息标定雷达图像的目标，雷达图像的目标位置为雷达坐标系；
所述数据处理单元标记相机图像的目标，相机图像的目标位置为图像坐标系；
所述数据处理单元还将雷达坐标系中的目标位置转化到图像坐标系，所述数据处理单元在图像坐标系下基于雷达图像的目标位置找到相机图像中对应的目标；
所述数据处理单元将雷达图像的目标与相机图像识别的目标进行融合，从而对多个目标形成的车流进行统计。
在一种可能的实现方式中，所述数据处理单元标定雷达图像的目标，先建立第一模型，再利用第一模型将实际图片与模型图片比对、以达到目标识别；
所述数据处理单元标定相机图像的目标，先建立第二模型，再利用第二模型将实际图片与模型图片比对、以达到目标识别；
第一模型和第二模型利用深度学习通过神经网络进行模型训练，第一模型和第二模型通过大量基础图片的训练后，通过第一模型对实时的雷达图像进行目标识别及跟踪，通过第二模型对实时的相机图像进行目标识别及跟踪。
在一种可能的实现方式中，所述数据处理单元通过对相机的内外参进行标定来确定相机像素坐标系与实际世界坐标系的关系；
所述数据处理单元利用融合算法，将不同帧率的雷达与相机两种传感器的数据进行滤波、融合，为每一帧雷达图像匹配同一时刻的视觉图像，获得该时刻下最准确的探测信息。
在一种可能的实现方式中，一个所述雷达模块对应多个所述相机模块，多个所述相机模块位于道路的多个断面处；
所述数据采集单元向所述数据处理单元发送多个所述相机模块实时采集的相机图像，所述数据采集单元还向所述数据处理单元发送所述雷达模块实时采集的雷达图像，所述数据采集单元为所述数据处理单元提供数据支撑；
所述数据处理单元实时检测各车道经过断面的过车信息、周期内的流量数据、周期内的占有率数据；
所述数据输出单元输出车道经过断面的过车信息、周期内的流量数据、周期内的占有率数据。
在一种可能的实现方式中，还包括GPS模块，所述GPS模块与所述数据采集单元和所述数据处理单元连接；
所述GPS模块还与所述雷达模块和多个所述相机模块连接，所述GPS模块利用授时功能控制所述雷达模块和多个所述相机模块同时采集图像数据；
所述GPS模块利用授时功能控制所述数据采集单元向所述数据处理单元传输同一帧且同一时刻的雷达图像和雷达图像。
在本公开中，至少具有如下技术效果或优点：
1、本发明的实施例采集道路上来往目标的实时位置、速度信息，对目标进行精准检测。
2、本发明的实施例获得检测区域内多车道多目标的实时信息，通过数据关联，实现目标的轨迹跟踪检测。
3、本发明的实施例支持多种类目标以及道路环境的识别, 包括车辆、行人、道路标识等。
4、本发明的实施例通过设置多个检测断面，实时检测并输出各车道经过断面的过车信息、周期内的流量数据、周期内的占有率数据，为信号控制提供数据支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开的一些实施例提供的基于雷达和视频的融合感知设备原理框图；
图2为根据本公开的一些实施例提供的数据采集单元与数据处理单元之间的连接详图。
具体实施方式
下面结合附图所示的各实施方式对本公开进行详细说明，但应当说明的是，这些实施方式并非对本公开的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本公开的保护范围之内。
请参阅图1，本公开实施例提供了一种基于雷达和视频的融合感知设备，包括：
数据采集单元，数据采集单元包括雷达模块和相机模块，雷达模块采集雷达图像，相机模块采集的相机图像；
数据处理单元，数据处理单元与雷达模块和相机模块连接，数据处理单元对雷达模块采集的雷达图像标定目标后针对目标跟踪和目标检测；数据处理单元对相机图像去畸变处理后依次通过图像增加、道路标识识别和目标识别出目标图像；数据处理单元还融合雷达图像和相机图像的目标，并对该目标实时逻辑处理得到交通量统计和交通事件检测；
数据输出单元，数据输出单元与数据处理单元连接，数据处理单元通过不同接口连接不同后端平台，数据处理单元将交通量统计和交通事件检测发送给不同后端平台。
本公开实施例的雷达模块和相机模块将采集的数据传输至数据处理单元，数据处理单元将采集的数据进行解析后首先完成时间域和空间域的对准，然后对接收到的图像数据进行预处理，包括裁剪、平滑、增强、边缘检测等，根据从雷达获取的经过时间、空间对准后的目标位置、速度等信息，提取相机图像相应的区域，通过深度学习算法进行目标识别，并根据目标信息完成业务逻辑的判定，最终获得目标的速度、状态、统计数据、违章判定等结果。
更具体地，本公开实施例的雷达模块连续采集雷达图像，对每帧雷达图像逐一压缩得到压缩雷达图像；本公开实施例的相机模块连续采集道路沿线的相机图像，数据处理单元将每帧相机图像处理成一个基础低照度图像和至少一个增强低照度图像。数据处理单元将压缩雷达图像、基础低照度图像和增强低照度图像基于帧时间标记时间戳；数据处理单元将同一时间戳的压缩雷达图像、基础低照度图像和增强低照度图像融合。
本公开实施例的数据处理单元与数据输出单元连接，更具体地，数据输出单元包括数据接口和信号控制接口，数据接口为用户提供了车流量数据、车道车辆分布信息等用于统计分析的数据，同时提供了可供用户查看的监控信息和车辆违章信息；信号控制接口可根据道路统计情况，及时控制信号灯时长，以此缓解道路拥堵。本公开实施例的数据接口包括雷达数据接口、视频接口、GPS定位信息接口、硬盘接口和地图接入接口。
请参阅图2，本公开实施例的数据采集单元还包括第一处理模块、第二处理模块和第三处理模块；第一处理模块与雷达模块连接，将雷达图像处理成雷达压缩图像；第二处理模块与第二处理模块连接，将相机图像处理成多个低照度图像；第三处理模块与第一处理模块和第二处理模块连接，将雷达压缩图像和多个低照度相机图像处理成传输数据；第三处理模块还与数据处理单元连接，第三处理模块把传输数据发送给数据处理单元。
请继续参阅图2，本公开实施例的第一处理模块包括第一图像压缩芯片和第二图像压缩芯片，第一图像压缩芯片和第二图像压缩芯片并联设置，第一图像压缩芯片和第二图像压缩芯片均与雷达模块连接；
第二处理模块包括第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片，第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片并联设置，第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片均与相机模块连接；
第一图像压缩芯片、第二图像压缩芯片、第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片均与第三处理模块电连接。
本公开实施例的数据采集单元对每帧雷达图像划分时间域和空间域；根据时间域和空间域裁剪每帧雷达图像，得到多张雷达时间域裁剪图像和多张雷达空间域裁剪图像；压缩多张雷达时间域裁剪图像，得到时间域压缩图像；压缩多张雷达空间域裁剪图像，得到空间域压缩图像。
本公开实施例的数据采集单元获取每帧相机图像；基于时间域和空间域匹配同一帧的雷达图像和相机图像；基于雷达图像提取相机图像的基础信息和至少一个增强信息；根据基础信息将相机图像处理成基础低照度图像，根据至少一个增强信息将相机图像处理成对应数量的增强低照度图像。
请继续参阅图2，本公开实施例的第一处理模块还包括第一FPGA芯片，第一图像压缩芯片和第二图像压缩芯片均与第一FPGA芯片连接；请继续参阅图2，本公开实施例的第二处理模块还包括第二FPGA芯片，第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片均与第二FPGA芯片连接。
本公开实施例的数据采集单元还包括GPS模块，GPS模块与第一处理模块和第三处理模块连接，GPS模块向第一处理模块和第三处理模块发送雷达模块的位置信息；第一处理模块将雷达图像处理成雷达压缩图像的同时，还在雷达压缩图像中标记有对应该雷达模块位置信息；第三处理模块将雷达压缩图像和多个低照度相机图像处理成传输数据的同时，还在传输数据中标记有对应该雷达模块位置信息。
在一种可能的实现方式中，数据处理单元基于雷达模块位置信息标定雷达图像的目标，雷达图像的目标位置为雷达坐标系；数据处理单元标记相机图像的目标，相机图像的目标位置为图像坐标系；数据处理单元还将雷达坐标系中的目标位置转化到图像坐标系，数据处理单元在图像坐标系下基于雷达图像的目标位置找到相机图像中对应的目标；数据处理单元将雷达图像的目标与相机图像识别的目标进行融合，从而对多个目标形成的车流进行统计。
本公开实施例使用雷达对探测到的数据点进行聚类分析，找到确定的目标聚类，同时保留可能是异常点的目标聚类，如果一个异常点一直出现,那么就认为其是目标点，以此实现毫米波雷达的感兴趣区域提取；本公开实施例在图像坐标系对应的感兴趣区域中找到车辆目标,首先雷达找到的感兴趣区域内进行扫描,如果没有发现车辆，则向左向右移动，渐进的扫描图像。
本公开实施例的数据处理单元还进行模型训练，在训练的第一阶段和第二阶段中均额外引入单纯负样本采样机制，即通过在不含有车辆的图像中随机采样一定尺寸大小的窗口作为负样本参加训练。
更具体地，本公开实施例的数据处理单元标定雷达图像的目标，先建立第一模型，再利用第一模型将实际图片与模型图片比对、以达到目标识别；数据处理单元标定相机图像的目标，先建立第二模型，再利用第二模型将实际图片与模型图片比对、以达到目标识别；第一模型和第二模型利用深度学习通过神经网络进行模型训练，第一模型和第二模型通过大量基础图片的训练后，通过第一模型对实时的雷达图像进行目标识别及跟踪，通过第二模型对实时的相机图像进行目标识别及跟踪。
本公开实施例通过雷达模块获得雷达图像数据，通过相机模块获得相机图像，对雷达图像数据和相机图像进行标定后，使雷达图像数据和相机图像空间坐标对应一致，即雷达图像数据中每个点都和相机图像中每个像素代表的是实际道路场景中同一坐标位置；本公开实施例融合雷达模块的高度信息和相机图像信息，基于聚类模型获得车道数据，对车道数据进行拟合得到车道曲面，获得车道候选区域；本公开实施例将雷达模块中目标数据与相机图像的目标数据融合，得到道路信息。
本公开实施例的数据处理单元通过对相机的内外参进行标定来确定相机像素坐标系与实际世界坐标系的关系；数据处理单元利用融合算法，将不同帧率的雷达与相机两种传感器的数据进行滤波、融合，为每一帧雷达图像匹配同一时刻的视觉图像，获得该时刻下最准确的探测信息。
本公开实施例将雷达坐标系中的目标点位置转化到图像坐标系；坐标系转换过程中考虑到雷达提取的坐标只有x，y轴。
雷达坐标系先与地心坐标系采用公式进行转换，根据目标的雷达坐标计算出目标的地心坐标。再将目标的地心坐标转换成目标的图像坐标。
需要说明的是，本公开实施例的一个雷达模块对应多个相机模块，多个相机模块位于道路的多个断面处；数据采集单元向数据处理单元发送多个相机模块实时采集的相机图像，数据采集单元还向数据处理单元发送雷达模块实时采集的雷达图像，数据采集单元为数据处理单元提供数据支撑；数据处理单元实时检测各车道经过断面的过车信息、周期内的流量数据、周期内的占有率数据；数据输出单元输出车道经过断面的过车信息、周期内的流量数据、周期内的占有率数据。
本公开实施例还包括GPS模块，GPS模块与数据采集单元和数据处理单元连接；GPS模块还与雷达模块和多个相机模块连接，GPS模块利用授时功能控制雷达模块和多个相机模块同时采集图像数据；GPS模块利用授时功能控制数据采集单元向数据处理单元传输同一帧且同一时刻的雷达图像和雷达图像。
本公开的实施例通过设置多个检测断面，实时检测并输出各车道经过断面的过车信息、周期内的流量数据、周期内的占有率数据，为信号控制提供数据支撑。
上文所列出的一系列的详细说明仅仅是针对本公开的可行性实施方式的具体说明，它们并非用以限制本公开的保护范围，凡未脱离本公开技艺精神所作的等效实施方式或变更均应包含在本公开的保护范围之内。
对于本领域技术人员而言，显然本公开不限于上述示范性实施例的细节，而且在不背离本公开的精神或基本特征的情况下，能够以其他的具体形式实现本公开。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本公开的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本公开内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于雷达和视频的融合感知设备，其特征在于，包括：
数据采集单元，所述数据采集单元包括雷达模块和相机模块，所述雷达模块采集雷达图像，所述相机模块采集的相机图像；
数据处理单元，所述数据处理单元与所述雷达模块和所述相机模块连接，所述数据处理单元对所述雷达模块采集的雷达图像标定目标后针对目标跟踪和目标检测；所述数据处理单元对相机图像去畸变处理后依次通过图像增加、道路标识识别和目标识别出目标图像；所述数据处理单元还融合雷达图像和相机图像的目标，并对该目标实时逻辑处理得到交通量统计和交通事件检测；
数据输出单元，所述数据输出单元与所述数据处理单元连接，所述数据处理单元通过不同接口连接不同后端平台，所述数据处理单元将交通量统计和交通事件检测发送给不同后端平台。
2.根据权利要求1所述的基于雷达和视频的融合感知设备，其特征在于，所述数据采集单元还包括第一处理模块、第二处理模块和第三处理模块；
所述第一处理模块与所述雷达模块连接，将雷达图像处理成雷达压缩图像；
所述第二处理模块与所述第二处理模块连接，将相机图像处理成多个低照度图像；
所述第三处理模块与所述第一处理模块和所述第二处理模块连接，将雷达压缩图像和多个低照度相机图像处理成传输数据；
所述第三处理模块还与所述数据处理单元连接，所述第三处理模块把传输数据发送给所述数据处理单元。
3.根据权利要求2所述的基于雷达和视频的融合感知设备，其特征在于，所述第一处理模块包括第一图像压缩芯片和第二图像压缩芯片，第一图像压缩芯片和第二图像压缩芯片并联设置，第一图像压缩芯片和第二图像压缩芯片均与所述雷达模块连接；
所述第二处理模块包括第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片，第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片并联设置，第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片均与所述相机模块连接；
第一图像压缩芯片、第二图像压缩芯片、第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片均与所述第三处理模块电连接。
4.根据权利要求3所述的基于雷达和视频的融合感知设备，其特征在于，所述第一处理模块还包括第一FPGA芯片，第一图像压缩芯片和第二图像压缩芯片均与第一FPGA芯片连接；
所述第二处理模块还包括第二FPGA芯片，第三图像压缩芯片、第四图像压缩芯片和第五图像压缩芯片均与第二FPGA芯片连接。
5.根据权利要求2所述的基于雷达和视频的融合感知设备，其特征在于，所述数据采集单元还包括GPS模块，所述GPS模块与所述第一处理模块和所述第三处理模块连接，所述GPS模块向所述第一处理模块和所述第三处理模块发送所述雷达模块的位置信息；
所述第一处理模块将雷达图像处理成雷达压缩图像的同时，还在雷达压缩图像中标记有对应该雷达模块位置信息；
所述第三处理模块将雷达压缩图像和多个低照度相机图像处理成传输数据的同时，还在传输数据中标记有对应该雷达模块的位置信息。
6.根据权利要求1所述的基于雷达和视频的融合感知设备，其特征在于，所述数据处理单元基于雷达模块位置信息标定雷达图像的目标，雷达图像的目标位置为雷达坐标系；
所述数据处理单元标记相机图像的目标，相机图像的目标位置为图像坐标系；
所述数据处理单元还将雷达坐标系中的目标位置转化到图像坐标系，所述数据处理单元在图像坐标系下基于雷达图像的目标位置找到相机图像中对应的目标；
所述数据处理单元将雷达图像的目标与相机图像识别的目标进行融合，从而对多个目标形成的车流进行统计。
7.根据权利要求6所述的基于雷达和视频的融合感知设备，其特征在于，所述数据处理单元标定雷达图像的目标，先建立第一模型，再利用第一模型将实际图片与模型图片比对、以达到目标识别；
所述数据处理单元标定相机图像的目标，先建立第二模型，再利用第二模型将实际图片与模型图片比对、以达到目标识别；
第一模型和第二模型利用深度学习通过神经网络进行模型训练，第一模型和第二模型通过大量基础图片的训练后，通过第一模型对实时的雷达图像进行目标识别及跟踪，通过第二模型对实时的相机图像进行目标识别及跟踪。
8.根据权利要求6所述的基于雷达和视频的融合感知设备，其特征在于，所述数据处理单元通过对相机的内外参进行标定来确定相机像素坐标系与实际世界坐标系的关系；
所述数据处理单元利用融合算法，将不同帧率的雷达与相机两种传感器的数据进行滤波、融合，为每一帧雷达图像匹配同一时刻的视觉图像，获得该时刻下最准确的探测信息。
9.根据权利要求1所述的基于雷达和视频的融合感知设备，其特征在于，一个所述雷达模块对应多个所述相机模块，多个所述相机模块位于道路的多个断面处；
所述数据采集单元向所述数据处理单元发送多个所述相机模块实时采集的相机图像，所述数据采集单元还向所述数据处理单元发送所述雷达模块实时采集的雷达图像，所述数据采集单元为所述数据处理单元提供数据支撑；
所述数据处理单元实时检测各车道经过断面的过车信息、周期内的流量数据、周期内的占有率数据；
所述数据输出单元输出车道经过断面的过车信息、周期内的流量数据、周期内的占有率数据。
10.根据权利要求1所述的基于雷达和视频的融合感知设备，其特征在于，还包括GPS模块，所述GPS模块与所述数据采集单元和所述数据处理单元连接；
所述GPS模块还与所述雷达模块和多个所述相机模块连接，所述GPS模块利用授时功能控制所述雷达模块和多个所述相机模块同时采集图像数据；
所述GPS模块利用授时功能控制所述数据采集单元向所述数据处理单元传输同一帧且同一时刻的雷达图像和雷达图像。
CN202110631247.3A 2021-06-07 2021-06-07 一种基于雷达和视频的融合感知设备 Pending CN113343849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110631247.3A CN113343849A (zh) 2021-06-07 2021-06-07 一种基于雷达和视频的融合感知设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110631247.3A CN113343849A (zh) 2021-06-07 2021-06-07 一种基于雷达和视频的融合感知设备

Publications (1)

Publication Number Publication Date
CN113343849A true CN113343849A (zh) 2021-09-03

Family

ID=77474552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110631247.3A Pending CN113343849A (zh) 2021-06-07 2021-06-07 一种基于雷达和视频的融合感知设备

Country Status (1)

Country Link
CN (1) CN113343849A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114002669A (zh) * 2021-10-21 2022-02-01 北京理工大学重庆创新中心 一种基于雷达和视频融合感知的道路目标检测系统
CN114694123A (zh) * 2022-05-30 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN118068357A (zh) * 2024-04-19 2024-05-24 智道网联科技(北京)有限公司 路沿融合处理方法、装置及电子设备、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统
CN109686108A (zh) * 2019-02-19 2019-04-26 山东科技大学 一种车辆目标轨迹跟踪系统及车辆轨迹跟踪方法
CN110068818A (zh) * 2019-05-05 2019-07-30 中国汽车工程研究院股份有限公司 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN111477010A (zh) * 2020-04-08 2020-07-31 图达通智能科技(苏州)有限公司 一种用于路口全息感知的装置及其控制方法
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN111967498A (zh) * 2020-07-20 2020-11-20 重庆大学 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN112099040A (zh) * 2020-09-15 2020-12-18 浙江省机电设计研究院有限公司 基于激光雷达网络的全程连续轨迹车辆追踪系统及方法
CN112179362A (zh) * 2019-07-03 2021-01-05 深动科技（北京）有限公司 高精度地图数据采集系统和采集方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统
CN109686108A (zh) * 2019-02-19 2019-04-26 山东科技大学 一种车辆目标轨迹跟踪系统及车辆轨迹跟踪方法
CN110068818A (zh) * 2019-05-05 2019-07-30 中国汽车工程研究院股份有限公司 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法
CN112179362A (zh) * 2019-07-03 2021-01-05 深动科技（北京）有限公司 高精度地图数据采集系统和采集方法
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN111477010A (zh) * 2020-04-08 2020-07-31 图达通智能科技(苏州)有限公司 一种用于路口全息感知的装置及其控制方法
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN111967498A (zh) * 2020-07-20 2020-11-20 重庆大学 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN112099040A (zh) * 2020-09-15 2020-12-18 浙江省机电设计研究院有限公司 基于激光雷达网络的全程连续轨迹车辆追踪系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114002669A (zh) * 2021-10-21 2022-02-01 北京理工大学重庆创新中心 一种基于雷达和视频融合感知的道路目标检测系统
CN114694123A (zh) * 2022-05-30 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN118068357A (zh) * 2024-04-19 2024-05-24 智道网联科技(北京)有限公司 路沿融合处理方法、装置及电子设备、存储介质
CN118068357B (zh) * 2024-04-19 2024-07-12 智道网联科技(北京)有限公司 路沿融合处理方法、装置及电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN110738846B (zh) 基于雷达与视频组群的车辆行为监测系统及其实现方法
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CA2747337C (en) Multiple object speed tracking system
CN110660222B (zh) 一种智能环保道路黑烟车辆电子抓拍系统
CN113343849A (zh) 一种基于雷达和视频的融合感知设备
CN111461088B (zh) 一种基于图像处理与目标识别的轨道交通避障系统
CN102867417B (zh) 一种出租车防伪系统及方法
CN114170580B (zh) 一种面向高速公路的异常事件检测方法
CN104616502B (zh) 基于组合式车路视频网络的车牌识别与定位系统
CN102759347B (zh) 一种高铁接触网在线巡检装置、巡检方法以及其检测系统
CN216873319U (zh) 一种雷视融合道路监控系统
CN103646544B (zh) 基于云台和相机设备的车辆行为分析识别方法
JP2018022220A (ja) 挙動データ解析システム及び挙動データ解析装置及び挙動データ解析方法
CN114445803A (zh) 驾驶数据的处理方法、装置及电子设备
CN103164958B (zh) 车辆监控方法及系统
CN116461571B (zh) 基于视觉、射频定位、多线激光相融合的障碍物感知系统
CN114818819A (zh) 一种基于毫米波雷达与视觉信号的道路障碍物检测方法
CN115294757A (zh) 一种车道级车流量和交通事件的识别和发布系统
CN114530042A (zh) 一种基于物联网技术的城市交通大脑监控系统
CN111627224A (zh) 车辆速度异常检测方法、装置、设备及存储介质
US20210279480A1 (en) Data collection apparatus
CN202887450U (zh) 一种出租车防伪系统
CN104077566B (zh) 基于颜色差分的卡口图片人脸检测方法
CN113850112A (zh) 基于孪生神经网络的路况识别方法和系统
CN111427038A (zh) 车库环境下基于视觉与77GHz雷达的目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination