CN118711368B - 一种多目雷视融合感知数据的监测方法及系统 - Google Patents

一种多目雷视融合感知数据的监测方法及系统

Info

Publication number
CN118711368B
CN118711368B CN202410866009.4A CN202410866009A CN118711368B CN 118711368 B CN118711368 B CN 118711368B CN 202410866009 A CN202410866009 A CN 202410866009A CN 118711368 B CN118711368 B CN 118711368B
Authority
CN
China
Prior art keywords
radar
target vehicle
data
vehicle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410866009.4A
Other languages
English (en)
Other versions
CN118711368A (zh
Inventor
闫昊
王永飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Intercommunication Technology Co ltd
Original Assignee
Smart Intercommunication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Intercommunication Technology Co ltd filed Critical Smart Intercommunication Technology Co ltd
Priority to CN202410866009.4A priority Critical patent/CN118711368B/zh
Publication of CN118711368A publication Critical patent/CN118711368A/zh
Application granted granted Critical
Publication of CN118711368B publication Critical patent/CN118711368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/042—Detecting movement of traffic to be counted or controlled using inductive or magnetic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请公开了一种多目雷视融合感知数据的监测方法及系统，涉及交通路况监管技术领域，包括：S1、确定待测路口信息，所述路口信息包括：路口名称、路口进口数量、路口经纬度、各进出口车辆方向及数量、路口安装的设备信息；根据路口信息，确定当前路口的车辆信息对应的雷达原始数据、雷达视频原始数据、多目视频数据、电警视频原始数据；S2、将获取的雷达原始数据和雷达视频原始数据进行初次处理，得到处理后的第一雷视处理数据，确定目标车辆和目标车辆的车辆ID、时间戳，并提取出目标车辆关于速度、距离、方向的第一特征；能够实现在复杂场景下对车辆精准的定位。

Description

一种多目雷视融合感知数据的监测方法及系统
技术领域
本发明涉及交通路况监管技术领域，尤其涉及一种多目雷视融合感知数据的监测方法及系统。
背景技术
多目雷视一体机是一种将多个摄像头、毫米波雷达和高性能处理器结合为一体的交通传感器，可实现雷达与视频数据的融合计算。多目雷视一体机能同时输出多种目标的位置以及道路事件，其一般将雷达与视频的识别结果融合后输出。在全息路口数字孪生的应用中，为了还原整个路口的交通运行状态，雷达、视频数据往往需要多次融合。然而，在融合的过程难免会有丢失数据的情况，但由于融合环节较多，问题定位难度较大。一种多目雷视融合数据的监测方法及系统旨在精准定位问题出现位置，为开发人员优化融合算法提供优化方向。
发明内容
本申请实施例通过提供一种多目雷视融合感知数据的监测方法及系统，解决了现有技术中追踪车辆在场景复杂区域容易丢失目标的问题，实现了车辆追踪定位的准确性。
本申请实施例提供了一种多目雷视融合感知数据的监测方法，包括：
S1、确定待测路口信息，所述路口信息包括：路口名称、路口进口数量、路口经纬度、各进出口车辆方向及数量、路口安装的设备信息；根据路口信息，确定当前路口的车辆信息对应的雷达原始数据、雷达视频原始数据、多目视频数据、电警视频原始数据；
S2、将获取的雷达原始数据和雷达视频原始数据进行初次处理，得到处理后的第一雷视处理数据，确定目标车辆和目标车辆的车辆ID、时间戳，并提取出目标车辆关于速度、距离、方向的第一特征；
S3，当目标车辆的位置发生变化时，使用多目视频数据和第一雷视处理数据对目标车辆进行追踪，得到第二雷视处理数据，并识别在追踪目标车辆时，目标车辆的车辆类型、速度，获取关于车辆行为信息对应的第二特征；
S4，将第一雷视处理数据、第二雷视处理数据、电警视频原始数据进行融合处理，对目标车辆进行关联，基于第一特征和第二特征，确定融合后的目标车辆。
步骤S2还包括以下实现方式：
S21、通过雷达对场景进行检测，确定当前路口上目标车辆关于雷达坐标系的坐标值；
S22、通过摄像头对场景进行拍摄，获取目标车辆的图像，并确定目标车辆关于图像坐标系的坐标值；
S23、将得到的雷达坐标系的坐标值与图像坐标系的坐标值进行融合，确定目标车辆的位置和角度；
S24、根据目标车辆在不同时间戳下位置的变化，确定目标车辆对应的速度和目标车辆相对路口、周围车辆之间的距离，并根据当前路口信息与目标车辆在路口中的距离，预测目标车辆的方向。
步骤S3还包括以下实现方式：
S31，获取多目摄像头对应的采样率和视野，确定多目摄像头中的车辆与雷达视频原始数据中的目标车辆为同一个；
S32，获取目标车辆的视觉特征，所述视觉特征包括目标车辆的轮廓、颜色、纹理；
S33，将第一雷视处理数据分割成不同的区域，并提取每个区域中目标车辆的形状、大小、速度的特征，作为第一雷视特征；
S34，根据第一雷视特征和视觉特征，对目标车辆进行特征匹配，并识别出在不同时间和环境光线下保持高度相似的第一雷视特征和视觉特征，输出为第二特征。
步骤S4中对于第一雷视处理数据、第二雷视处理数据、电警视频原始数据进行融合处理的实现方式包括：
S41，获取电警原始数据中对应的车牌信息；
S42，将车牌信息与识别到的目标车辆进行绑定，确定绑定后目标车辆的移动轨迹是否与车牌信息的移动轨迹相同；
S43，对第一特征和第二特征添加车牌信息对应的特征，作为目标车辆的最终特征。
一种多目雷视融合感知数据的监测系统，包括：信息获取模块，用于获取路口信息和路口信息对应的雷达原始数据、雷达视频原始数据、多目视频数据、电警视频原始数据；
第一处理模块，用于将雷达原始数据和雷达视频原始数据进行初次处理，得到目标车辆对应的第一特征，并将初次处理后的数据输出为第一雷视处理数据；
第二处理模块，用于多目视频数据和第一雷视处理数据，对目标车辆进行追踪，确定目标车辆对应的第二特征；
最终处理模块，用于将第一雷视处理数据、第二雷视处理数据、电警视频原始数据进行融合处理，确定融合后数据追踪的目标车辆。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
通过融合了雷达原始数据、雷达视频原始数据、多目视频数据以及电警视频原始数据，这种多模态数据的结合使得监测系统在各种天气和光照条件下都能保持较高的性能。
通过初次处理和二次处理，系统能够准确追踪目标车辆，并提取出关于速度、距离、方向等关键特征，同时还能识别车辆类型和行为信息。
系统通过多步验证和特征匹配，确保在不同时间和环境光线下对目标车辆的准确识别，提高了系统的鲁棒性。
通过将车牌信息与识别到的目标车辆进行绑定，进一步增强了追踪的准确性，并可用于后续的数据分析和交通管理。
附图说明
图1为本发明一种多目雷视融合感知数据的监测方法的步骤S1-S4的流程示意图；
图2为本发明一种多目雷视融合感知数据的监测方法的步骤S21-S24的流程示意图；
图3为本发明一种多目雷视融合感知数据的监测方法的步骤S31-S34的流程示意图；
图4为本发明一种多目雷视融合感知数据的监测方法的步骤S41-S43的流程示意图；
图5为本发明一种多目雷视融合感知数据的监测系统的系统框架图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本申请进行更全面的描述；附图中给出了本发明的较佳实施方式，但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式；相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
需要说明的是，本文所使用的术语“垂直”、“水平”、“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明；本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
假设多目雷视一体机对于识别的位置结果并未加以判断就直接输出，当此时识别效果不佳时，往往容易输出一些不符合常理的位置结果，导致后端用户将其位置还原后，会出现卡顿、跳变等问题。例如，在某场景下，多目雷视一体机主要识别的目标是车辆，由于车辆速度变化等原因，在进行目标追踪识别的过程中，多目雷视一体机容易跟丢目标，导致识别结果偏差等问题。但由于融合环节较多，问题定位难度较大。
为了解决问题定位难度大的问题，本发明通过设置五个部分对当前监测到的数据进行处理，包括：路口信息配置、数据检测位置、监测任务配置、场景阈值配置、数据监测及问题定位。
1、获取路口信息配置；路口信息配置包括：配置路口名称、路口进口数量、路口经纬度、各进出口车辆方向及数量、路口安装的设备信息。
2、确定数据检测位置。
在全息路口的应用中，多目雷视一体机感知数据的数据流转依次经过感知设备、边缘计算单元、设备数据接入、大数据平台和全息路口平台5个阶段。其中本申请主要涉及感知设备、边缘计算单元、设备数据接入3个环节的数据监测。
其中智能感知设备中完成雷达数据的加工、视频数据的加工、视频数据的远近融合、车牌等车辆信息识别等工作。在边缘计算单元中完成单进口的雷达、视频数据融合，以及整个路口的雷达、视频数据融合。在设备数据接入环节完成设备数据的接入和图片格式转换。系统会在每个数据ID发生变化的位置前后进行埋点，获取埋点位置的车辆ID、时间戳、原车辆ID、车牌号、车辆类型信息，其中埋点位置的车辆ID、时间戳、原车辆ID为必需项。
3、监测任务配置。
监测任务配置主要完成数据监测位置及数据监测提取时间的配置。数据监测位置配置功能用于选择本次数据监测任务的监测位置，数据监测提取时间配置功能配置数据提取时长和数据提取开始时间。
4、场景阈值配置。
在实际应用中，往往需要根据路口渠化、立杆情况等因素来决定多目雷视一体机设备安装位置，不同的设备安装位置将直接影响数据的采集精度和融合效果。场景阈值配置主要完成多目雷视一体机设备安装场景配置。
5、数据监测及问题定位。
数据监测主要完成各埋点位置的数据质量监测，支持分别对整个路口及各进口方向数据进行监测。并统计各埋点监测到的数据量及过车数据详情，通过对各埋点数据的对比分析，进行问题定位。
实施例一
如图1所示，本申请一种多目雷视融合感知数据的监测方法包括：
S1、确定待测路口信息，所述路口信息包括：路口名称、路口进口数量、路口经纬度、各进出口车辆方向及数量、路口安装的设备信息；根据路口信息，确定当前路口的车辆信息对应的雷达原始数据、雷达视频原始数据、多目视频数据、电警视频原始数据；
S2、将获取的雷达原始数据和雷达视频原始数据进行初次处理，得到处理后的第一雷视处理数据，确定目标车辆和目标车辆的车辆ID、时间戳，并提取出目标车辆关于速度、距离、方向的第一特征；
S3，当目标车辆的位置发生变化时，使用多目视频数据和第一雷视处理数据对目标车辆进行追踪，得到第二雷视处理数据，并识别在追踪目标车辆时，目标车辆的车辆类型、速度，获取关于车辆行为信息对应的第二特征；
S4，将第一雷视处理数据、第二雷视处理数据、电警视频原始数据进行融合处理，对目标车辆进行关联，基于第一特征和第二特征，确定融合后的目标车辆。
上述的雷达原始数据是用于使用雷达接收附近车辆发送的回波信号，包括回波信号的时间、幅度、相位、频率等信息；并将这些接收到的信息转化为可视的雷达图像，对于雷达图像上每个点均视为识别的目标车辆，并赋予其位置相关的车辆ID和时间戳。
雷达视频原始数据采用录像设备，来找到雷达图像上对应目标车辆的类型和速度，多目视频数据是采用多目摄像头或多个设置的摄像头，将多个图像中对应的目标车辆进行关联起来，并识别在多个图像中目标车辆是如何调整方向和速度变化的，以此识别出目标车辆的行驶意图，从而便于在路口及时预警，减少交通事故。
电警视频原始数据是指由电子警察系统(通常安装在交通路口)捕捉的、未经处理的视频数据。这些视频数据主要用于交通监控、违章检测和记录，以提供道路交通的实时画面和事后取证。
首先在使用雷达原始数据和雷达视频原始数据对出现的车辆进行识别，它结合了雷达的高精度测距测速能力和视频数据的直观视觉信息，从而提供更全面、准确的目标检测和识别结果。
实施例二
为了提高雷达原始数据的处理效果，在对雷达原始数据和雷达视频原始数据进行初次处理时，如图2所示，步骤S2还包括：
S21、通过雷达对场景进行检测，确定当前路口上目标车辆关于雷达坐标系的坐标值；
S22、通过摄像头对场景进行拍摄，获取目标车辆的图像，并确定目标车辆关于图像坐标系的坐标值；
S23、将得到的雷达坐标系的坐标值与图像坐标系的坐标值进行融合，确定目标车辆的位置和角度。
对于雷达坐标系和图像坐标系进行融合时，还包括，确定雷达和摄像头对应的时间戳和路口信息，确定包含目标车辆的数据为同一空间时间下。
将获取的目标车辆的图像，根据图像的位置获取各个目标车辆的中心点，以及中心点具车辆边缘部分的距离，对车辆边缘部分在图像坐标系中的角度，获取目标车辆对应的方向，并根据当前路口信息与目标车辆在路口中的相对位置，确定目标车辆的预测方向。
S24、根据目标车辆在不同时间戳下位置的变化，确定目标车辆对应的速度和目标车辆相对路口、周围车辆之间的距离，并根据当前路口信息与目标车辆在路口中的距离，预测目标车辆的方向。
通过雷达和雷达视频的数据融合，能够准确地确定目标车辆在路口的位置和角度，克服了单一传感器可能存在的误差和局限性，将此时处理后的数据做出初次处理的第一雷视处理数据。
通过分析目标车辆在不同时间戳下的位置变化，可以计算出车辆的实时速度。同时，通过测量目标车辆与路口和周围车辆之间的距离，可以评估车辆之间的相对位置和潜在的风险。
优选的，在获取到目标车辆在不同时间戳下位置的变化时，生成目标车辆的移动轨迹，选择移动轨迹上斜率最大的点，并将斜率最大的点对应的方向作为目标车辆预测的方向。
结合当前路口信息和目标车辆在路口中的距离，可以对目标车辆未来的行驶方向进行预测。这对于交通管理和自动驾驶系统来说至关重要，可以帮助提前规划路径和避免潜在的碰撞。
实施例三
如果当前对图像采集，采用的是多目摄像头的话，将多目摄像头采集的数据与雷达视频数据进行结合，来确定在正常拍摄的图像下，追踪的目标车辆的位置和相对情况是如何变化的。
具体的，如图3所示，步骤S3还包括以下实现方式：
S31，获取多目摄像头对应的采样率和视野，确定多目摄像头中的车辆与雷达视频原始数据中的目标车辆为同一个。
S32，获取目标车辆的视觉特征，所述视觉特征包括目标车辆的轮廓、颜色、纹理。
在本步骤中，轮廓提取使用边缘检测算法(如Canny边缘检测)来识别车辆的轮廓，颜色特征通过颜色空间转换(如RGB到HSV)和颜色直方图统计来提取颜色特征，纹理特征利用灰度共生矩阵、局部二值模式(LBP)等方法提取纹理信息。
S33，将第一雷视处理数据分割成不同的区域，并提取每个区域中目标车辆的形状、大小、速度的特征，作为第一雷视特征。
在本步骤中，通过聚类算法(如DBSCAN)将雷达点云分割成不同的目标，并提取目标的形状、大小、速度等特征，在获取到第一雷视特征后，确定目标车辆在运动时，其特征的变化值，以及目标车辆的移动轨迹，便于对准目标车辆在雷达和视频的位置。
S34，根据第一雷视特征和视觉特征，对目标车辆进行特征匹配，并识别出在不同时间和环境光线下保持高度相似的第一雷视特征和视觉特征，输出为第二特征，以验证匹配的目标车辆的准确性。
由于此时采用的是多目摄像头采集的多目视频数据，由于每个摄像头的坐标系都是不同，同时这些采集到的数据容易出现相同或者相似的目标，每个不同的视角都存在一部分细节信息，那么此时在进行比对时，需要确定当前目标以及当前目标的细节，来实现对采集数据的控制。
步骤S34中对于目标车辆匹配还包括：基于第一雷视特征中目标车辆的形状和大小与视觉特征中轮廓特征进行比较，获取待识别车辆；
基于第一雷视特征中的速度特征结合视觉特征中待识别车辆的移动轨迹，判断待识别车辆是否为目标车辆。
优选的，在车辆追踪场景中，由于车辆的移动速度和方向会发生变化，导致在不同时间提取到的轮廓纹理也会随着变化，为了识别车辆在移动时特征可能发现的变化，判断待识别车辆是否为目标车辆还包括，确定第一雷视特征、视觉特征对应时间序列之间的相似性。
对第一雷视特征、视觉特征对应时间序列之间的相似性的实现方式包括：
从视觉特征提取出随时间变化的第一特征序列、从第一雷达特征提取出随时间变化的第二特征序列；
计算第一特征序列与第二特征序列之间所有点对的距离，生成距离矩阵；
从距离矩阵上找到一条通过距离矩阵的路径，且路径上所有点对之间的距离总和最小，并输出为最佳对齐路径，基于输出的最佳对齐路径，得到第一雷视特征、视觉特征对应时间序列之间的相似性。
优选的，在本申请的一种具体实施情况下，判断待识别车辆是否为目标车辆时，还包括确定不同光源下的场景阈值，令提取的第一特征序列、第二特征序列中颜色的特征值均大于场景阈值。
对于提取的场景阈值的获取方式为：
设定一个初始阈值T_init。
监测到的光照强度记作L，使用一个映射函数f(L)来调整阈值，公式表示为：
T_adj＝T_init+k*f(L)，其中k是一个调整系数，用于控制光照对阈值的影响程度，T_adj为当前环境的场景阈值。
设置的场景阈值是根据颜色形状、大小或其他有效特征进行设置的，用于追踪目标，如随着环境中光源的不经意改变，例如从早上到晚上的光线变化，原本设定的阈值可能就不再适用。早上取的阈值到了晚上可能就无法准确追踪到目标，因为目标的颜色特征在不同光照条件下会有所变化；场景阈值的设置是为了减少在追踪目标车辆时受光线影响产生的误差。
当第一雷视特征、视觉特征对应时间序列之间的相似性的特征值大于场景阈值时，当前待检测车辆为目标车辆，并将输出的第一雷视特征、视觉特征对应的数据作为第二雷视处理数据。
实施例四
在本实施例中，获取电子警察系统捕获的原始视频数据，并从电子警察系统的数据中识别到当前目标车辆的车牌信息，并将得到的车牌信息与第一雷视处理数据和第二雷视处理数据中识别到的目标车辆进行绑定，从而得到目标车辆在移动时更全面的信息。
具体的，如图4所示，步骤S4中对于第一雷视处理数据、第二雷视处理数据、电警视频原始数据进行融合处理的实现方式包括：
S41，获取电警原始数据中对应的车牌信息；
S42，将车牌信息与识别到的目标车辆进行绑定，确定绑定后目标车辆的移动轨迹是否与车牌信息的移动轨迹相同；
S43，对第一特征和第二特征添加车牌信息对应的特征，作为目标车辆的最终特征。
这一步是在已经识别并验证的目标车辆特征基础上，进一步增加与车牌信息相关的特征。这样做可以丰富目标车辆的特征集，提高车辆识别的精度和稳定性。同时，这些综合特征也可以用于更复杂的场景分析，如交通拥堵预测、异常行为检测等。
根据得到的最终特征来对目标车辆进行追踪，以确定目标车辆在不同时间戳下的移动方向和轨迹。
优选的，在进行融合处理时，为了防止丢失目标车辆，步骤S4中对于目标车辆处理时还包括：
确定目标车辆的车辆ID，当车辆ID消失时，对当前采集的图像进行一次填补，并进行数据埋点；若一次填补后车辆ID仍不可见，则进行二次填补，若二次填补后车辆ID消失，则删除，重新获取图像；
当在上述步骤中采集到车辆ID后，根据车辆ID，确定对应的目标车辆的移动状态，并展示目标车辆的移动轨迹。
在本步骤中，一次填补为填充一帧的图像，并对填充的图像进行识别，确定识别的图像内是否存在当前车辆，二次填充与一次填充的方式一致，目的是为了确定在相邻帧的图像内，是否追踪到了目标车辆，以此准确定位识别到的车辆信息，是的后续方便根据相应的时间戳进行追踪。
一种多目雷视融合感知数据的监测系统，如图5所示，包括：
信息获取模块，用于获取路口信息和路口信息对应的雷达原始数据、雷达视频原始数据、多目视频数据、电警视频原始数据；
第一处理模块，用于将雷达原始数据和雷达视频原始数据进行初次处理，得到目标车辆对应的第一特征，并将初次处理后的数据输出为第一雷视处理数据；
第二处理模块，用于多目视频数据和第一雷视处理数据，对目标车辆进行追踪，确定目标车辆对应的第二特征；
最终处理模块，用于将第一雷视处理数据、第二雷视处理数据、电警视频原始数据进行融合处理，确定融合后数据追踪的目标车辆。
以上所述仅为本发明的优选实施方式，并不用于限制本发明，对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明精神和原则内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多目雷视融合感知数据的监测方法，其特征在于，包括：S1、确定待测路口信息，所述路口信息包括：路口名称、路口进口数量、路口经纬度、各进出口车辆方向及数量、路口安装的设备信息；根据路口信息，确定当前路口的车辆信息对应的雷达原始数据、雷达视频原始数据、多目视频数据、电警视频原始数据；
S2、将获取的雷达原始数据和雷达视频原始数据进行初次处理，得到处理后的第一雷视处理数据，确定目标车辆和目标车辆的车辆ID、时间戳，并提取出目标车辆关于速度、距离、方向的第一特征；
S3，当目标车辆的位置发生变化时，使用多目视频数据和第一雷视处理数据对目标车辆进行追踪，得到第二雷视处理数据，并识别在追踪目标车辆时，目标车辆的车辆类型、速度，获取关于车辆行为信息对应的第二特征；所述的步骤S3还包括：
S31，获取多目摄像头对应的采样率和视野，确定多目摄像头中的车辆与雷达视频原始数据中的目标车辆为同一个；
S32，获取目标车辆的视觉特征，所述视觉特征包括目标车辆的轮廓、颜色、纹理；
S33，将第一雷视处理数据分割成不同的区域，并提取每个区域中目标车辆的形状、大小、速度的特征，作为第一雷视特征；
S34，根据第一雷视特征和视觉特征，对目标车辆进行特征匹配，并识别出在不同时间和环境光线下保持高度相似的第一雷视特征和视觉特征，输出为第二特征；
S4，将第一雷视处理数据、第二雷视处理数据、电警视频原始数据进行融合处理，对目标车辆进行关联，基于第一特征和第二特征，确定融合后的目标车辆。
2.如权利要求1所述的一种多目雷视融合感知数据的监测方法，其特征在于，所述的步骤S2还包括以下实现方式：
S21、通过雷达对场景进行检测，确定当前路口上目标车辆关于雷达坐标系的坐标值；
S22、通过摄像头对场景进行拍摄，获取目标车辆的图像，并确定目标车辆关于图像坐标系的坐标值；
S23、将得到的雷达坐标系的坐标值与图像坐标系的坐标值进行融合，确定目标车辆的位置和角度；
S24、根据目标车辆在不同时间戳下位置的变化，确定目标车辆对应的速度和目标车辆相对路口、周围车辆之间的距离，并根据当前路口信息与目标车辆在路口中的距离，预测目标车辆的方向。
3.如权利要求1所述的一种多目雷视融合感知数据的监测方法，其特征在于，所述的步骤S34中对于目标车辆匹配还包括：基于第一雷视特征中目标车辆的形状和大小与视觉特征中轮廓特征进行比较，获取待识别车辆；
基于第一雷视特征中的速度特征结合视觉特征中待识别车辆的移动轨迹，判断待识别车辆是否为目标车辆。
4.如权利要求3所述的一种多目雷视融合感知数据的监测方法，其特征在于，所述的判断待识别车辆是否为目标车辆还包括，确定第一雷视特征、视觉特征对应时间序列之间的相似性；
对第一雷视特征、视觉特征对应时间序列之间的相似性的实现方式包括：
从视觉特征提取出随时间变化的第一特征序列、从第一雷达特征提取出随时间变化的第二特征序列；
计算第一特征序列与第二特征序列之间所有点对的距离，生成距离矩阵；
从距离矩阵上找到一条通过距离矩阵的路径，且路径上所有点对之间的距离总和最小，并输出为最佳对齐路径，基于输出的最佳对齐路径，得到第一雷视特征、视觉特征对应时间序列之间的相似性。
5.如权利要求3所述的一种多目雷视融合感知数据的监测方法，其特征在于，判断待识别车辆是否为目标车辆时，还包括确定不同光源下的场景阈值，令提取的第一特征序列、第二特征序列中颜色的特征值均大于场景阈值。
6.如权利要求1所述的一种多目雷视融合感知数据的监测方法，其特征在于，所述的步骤S4中对于第一雷视处理数据、第二雷视处理数据、电警视频原始数据进行融合处理的实现方式包括：
S41，获取电警原始数据中对应的车牌信息；
S42，将车牌信息与识别到的目标车辆进行绑定，确定绑定后目标车辆的移动轨迹是否与车牌信息的移动轨迹相同；
S43，对第一特征和第二特征添加车牌信息对应的特征，作为目标车辆的最终特征。
7.如权利要求1所述的一种多目雷视融合感知数据的监测方法，其特征在于，所述的步骤S4中对于目标车辆处理时还包括：
确定目标车辆的车辆ID，当车辆ID消失时，对当前采集的图像进行一次填补，并进行数据埋点；若一次填补后车辆ID仍不可见，则进行二次填补，若二次填补后车辆ID消失，则删除，重新获取图像；
当在上述步骤中采集到车辆ID后，根据车辆ID，确定对应的目标车辆的移动状态，并展示目标车辆的移动轨迹。
8.如权利要求5所述的一种多目雷视融合感知数据的监测方法，其特征在于，所述的场景阈值的获取方式为：
设定一个初始阈值T_init；
监测到的光照强度记作L，使用一个映射函数f(L)来调整阈值，公式表示为：
T_adj=T_init+k*f(L)，其中k是一个调整系数，用于控制光照对阈值的影响程度，T_adj为当前环境的场景阈值。
9.一种多目雷视融合感知数据的监测系统，使用如权利要求1所述的一种多目雷视融合感知数据的监测方法，其特征在于，包括：信息获取模块，用于获取路口信息和路口信息对应的雷达原始数据、雷达视频原始数据、多目视频数据、电警视频原始数据；
第一处理模块，用于将雷达原始数据和雷达视频原始数据进行初次处理，得到目标车辆对应的第一特征，并将初次处理后的数据输出为第一雷视处理数据；
第二处理模块，用于使用多目视频数据和第一雷视处理数据，对目标车辆进行追踪，确定目标车辆对应的第二特征；
最终处理模块，用于将第一雷视处理数据、第二雷视处理数据、电警视频原始数据进行融合处理，确定融合后数据追踪的目标车辆。
CN202410866009.4A 2024-07-01 2024-07-01 一种多目雷视融合感知数据的监测方法及系统 Active CN118711368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410866009.4A CN118711368B (zh) 2024-07-01 2024-07-01 一种多目雷视融合感知数据的监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410866009.4A CN118711368B (zh) 2024-07-01 2024-07-01 一种多目雷视融合感知数据的监测方法及系统

Publications (2)

Publication Number Publication Date
CN118711368A CN118711368A (zh) 2024-09-27
CN118711368B true CN118711368B (zh) 2026-02-24

Family

ID=92819302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410866009.4A Active CN118711368B (zh) 2024-07-01 2024-07-01 一种多目雷视融合感知数据的监测方法及系统

Country Status (1)

Country Link
CN (1) CN118711368B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798232A (zh) * 2022-11-01 2023-03-14 智慧互通科技股份有限公司 基于雷视一体机与多目相机结合的全息路口交通管理系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101925293B1 (ko) * 2015-12-30 2018-12-05 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
CN108596129B (zh) * 2018-04-28 2022-05-06 武汉盛信鸿通科技有限公司 一种基于智能视频分析技术的车辆越线检测方法
CN112562405A (zh) * 2020-11-27 2021-03-26 山东高速建设管理集团有限公司 一种雷达视频智能融合与预警方法及系统
CN114298163B (zh) * 2021-12-09 2025-03-25 连云港杰瑞电子有限公司 一种基于多源信息融合的在线路况检测系统及方法
KR102456151B1 (ko) * 2022-01-07 2022-10-20 포티투닷 주식회사 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법
US12236786B2 (en) * 2022-09-23 2025-02-25 GM Global Technology Operations LLC Calibration of time to collision threshold in low light conditions
CN116165654A (zh) * 2023-02-22 2023-05-26 江苏恒超智能技术有限公司 一种毫米波雷达与视频结合的车辆轨迹监测方法
CN116434056B (zh) * 2023-03-02 2025-12-23 中数兴盛科技有限责任公司 一种基于雷视融合的目标识别方法、系统及电子设备
CN116935631A (zh) * 2023-06-25 2023-10-24 河北交通职业技术学院 基于雷视融合的异常交通态势检测方法、装置及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798232A (zh) * 2022-11-01 2023-03-14 智慧互通科技股份有限公司 基于雷视一体机与多目相机结合的全息路口交通管理系统

Also Published As

Publication number Publication date
CN118711368A (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
Javadi et al. Vehicle speed measurement model for video-based systems
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN102354457B (zh) 基于广义霍夫变换的交通信号灯位置检测方法
Tak et al. Development of AI‐Based Vehicle Detection and Tracking System for C‐ITS Application
EP2709066A1 (en) Concept for detecting a motion of a moving object
CN115965655A (zh) 一种基于雷视一体的交通目标跟踪方法
US11645838B2 (en) Object detection system, object detection method, and program
KR20210158037A (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
CN113505638B (zh) 车流量的监测方法、监测装置及计算机可读存储介质
Luo et al. Enhanced YOLOv5s+ DeepSORT method for highway vehicle speed detection and multi-sensor verification
CN120726825B (zh) 融合多终端非连续性车辆违停检测方法及系统
CN111291722A (zh) 一种基于v2i技术的车辆重识别系统
KR20190134303A (ko) 영상 인식 장치 및 그 방법
Lashkov et al. Edge-computing-empowered vehicle tracking and speed estimation against strong image vibrations using surveillance monocular camera
Kamil et al. Vehicle speed estimation using consecutive frame approaches and deep image homography for image rectification on monocular videos
CN117994295A (zh) 一种基于时空约束的跨相机轨迹拼接方法
EP2709065A1 (en) Concept for counting moving objects passing a plurality of different areas within a region of interest
CN111627224A (zh) 车辆速度异常检测方法、装置、设备及存储介质
CN117406212A (zh) 一种交通多要素雷达视觉融合检测方法
CN117130010A (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
Rodríguez et al. An adaptive, real-time, traffic monitoring system
Deshpande et al. Automatic two-wheeler rider identification and triple-riding detection in surveillance systems using deep-learning models
CN120032522B (zh) 基于ai和多源数据融合的交通事件违法行为预警系统
Tayeb et al. Vehicle speed estimation using gaussian mixture model and kalman filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant