CN117473456A - 一种雷视智能融合的方法及系统 - Google Patents

一种雷视智能融合的方法及系统 Download PDF

Info

Publication number
CN117473456A
CN117473456A CN202311830316.9A CN202311830316A CN117473456A CN 117473456 A CN117473456 A CN 117473456A CN 202311830316 A CN202311830316 A CN 202311830316A CN 117473456 A CN117473456 A CN 117473456A
Authority
CN
China
Prior art keywords
disturbed
sampling time
sampling
radar
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311830316.9A
Other languages
English (en)
Other versions
CN117473456B (zh
Inventor
吴柯维
朱小平
何晓罡
吴银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinoits Tech Co ltd
Original Assignee
Beijing Sinoits Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinoits Tech Co ltd filed Critical Beijing Sinoits Tech Co ltd
Priority to CN202311830316.9A priority Critical patent/CN117473456B/zh
Publication of CN117473456A publication Critical patent/CN117473456A/zh
Application granted granted Critical
Publication of CN117473456B publication Critical patent/CN117473456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及雷达和视频融合技术领域，具体涉及一种雷视智能融合的方法及系统，该方法包括：获取各采样时刻的视频数据和雷达数据；根据雷达数据发射、接收时间差构建距离图；获取雷达数据频谱图中各频率分量及其能量、脉冲信号频率和能量得到回波受扰因子；根据采样时刻及其前N个采样时刻对应位置的回波受扰因子得到受扰置信度系数；根据采样时刻及其上一采样时刻相同位置的距离值以及受扰置信度系数得到采样时刻位置的最优距离估计；将采样时刻各位置的最优距离估计组成采样时刻的最优距离估计图；将各采样时刻的最优距离估计图与视频数据进行融合得到各采样时刻的雷视融合数据。本发明降低了环境对雷达数据的干扰，达到与视频数据的有效融合。

Description

一种雷视智能融合的方法及系统
技术领域
本申请涉及雷达和视频融合技术领域，具体涉及一种雷视智能融合的方法及系统。
背景技术
雷视融合是指将雷达数据和视频数据的信息整合在一起的方式，旨在提供更全面更准确的环境感知。雷达是利用无线电波进行探测和定位目标的技术，有着不受光照影响、长距离探测以及测量精准的优点，但是其存在分辨率有限和目标识别困难的缺点。视频数据是使用摄像机将捕捉到的光信号转化为电信号呈现的数据，视频数据的优点在于拥有高分辨率，能够提供丰富信息，同样存在容易受到光照条件限制和易被遮挡的缺点。由此雷视融合是将两种数据之间的优势互补，主要应用于自动驾驶、无人机和军事系统中。
由于雷达数据和视频数据具有不同的特性和表示方式，由此为两种异构的数据融合带来困难。特别是在数据采集的过程中，视频数据容易受到光照因素的影响，造成像素点不准确等问题；雷达数据容易受回波噪声和电波散射的影响，造成回波强度和回波频率发生改变。
发明内容
为了解决上述技术问题，本发明提供一种雷视智能融合的方法及系统，所采用的技术方案具体如下：
第一方面，本发明实施例提供了一种雷视智能融合的方法，该方法包括以下步骤：
获取各采样时刻的视频数据和雷达数据，所述雷达数据为与视频数据相同大小的数据，雷达数据各位置对应视频数据各位置的像素点；
对于各采样时刻各位置的雷达数据，根据雷达数据的发射时刻和接收时刻的时间差构建与视频数据相同大小的距离图；将雷达数据进行傅里叶变换得到频谱图，获取频谱图中各频率分量及其对应的能量；根据频谱图中各频率分量及其对应的能量之间的差异得到频率紊乱系数；根据频谱图中的基波频率、基波能量以及雷达发射的脉冲信号频率和脉冲信号能量得到基波偏移系数；根据频率紊乱系数以及基波偏移系数得到回波受扰因子；
根据采样时刻位置及其前N个采样时刻对应位置的回波受扰因子之间的差异得到采样时刻位置的受扰前溯判定系数；根据采样时刻位置的回波受扰因子和受扰前溯判定系数得到受扰置信度系数；根据采样时刻及其上一采样时刻相同位置的距离值以及受扰置信度系数得到采样时刻位置的最优距离估计；将采样时刻各位置的最优距离估计组成采样时刻的最优距离估计图；
将各采样时刻的最优距离估计图与视频数据进行融合得到各采样时刻的雷视融合数据。
优选的，所述获取频谱图中各频率分量及其对应的能量，包括：
将频谱图中各包络的最大能量对应的频率作为各包络的频率分量；
将频谱图中所有包络的最大能量对应的频率分量作为基波频率，将基波频率对应的能量记为基波能量；
将基波能量的预设倍数下的能量作为筛选标准，将频谱图中大于筛选标准的最大能量对应包络的频率分量筛选出来，得到频谱图中各频率分量及其对应的能量。
优选的，所述根据频谱图中各频率分量及其对应的能量之间的差异得到频率紊乱系数，包括：
计算频率分量与基波频率的差值作为第一差值，计算频率分量对应的能量与基波能量的差值作为第二差值，计算所述第二差值与所述第一差值的比值的绝对值；
将频谱图中所有频率分量的所述绝对值的均值作为频率紊乱系数。
优选的，所述根据频谱图中的基波频率、基波能量以及雷达发射的脉冲信号频率和脉冲信号能量得到基波偏移系数，包括：
计算雷达发射的脉冲信号能量与基波能量的比值；
计算雷达发射的脉冲信号频率与基波频率的差值绝对值，将所述差值绝对值作为以自然常数为底数的指数函数的指数；
将指数函数的计算结果与所述比值的乘积作为基波偏移系数。
优选的，所述根据频率紊乱系数以及基波偏移系数得到回波受扰因子，包括：
计算频率紊乱系数与第一权重调节因子的乘积，计算基波偏移系数与第二权重调节因子的乘积，将两个乘积的和值作为回波受扰因子。
优选的，所述根据采样时刻位置及其前N个采样时刻对应位置的回波受扰因子之间的差异得到采样时刻位置的受扰前溯判定系数，包括：
将采样时刻位置的前N个采样时刻对应位置的回波受扰因子组成采样时刻位置的前溯受扰序列的各元素；
对于前溯受扰序列各元素，计算元素值与采样时刻位置的回波受扰因子的差值绝对值，将前溯受扰序列中所有元素的所述差值绝对值的均值作为采样时刻位置的前溯受扰序列差异系数；
获取前溯受扰序列中的最大值和最小值，计算采样时刻位置的回波受扰因子与最小值的差值作为第三差值，计算最大值与最小值的差值作为第四差值；
计算所述第三差值与所述第四差值的比值的绝对值，将所述绝对值与前溯受扰序列差异系数的乘积作为采样时刻位置的受扰前溯判定系数。
优选的，所述根据采样时刻位置的回波受扰因子和受扰前溯判定系数得到受扰置信度系数，包括：
将采样时刻位置的回波受扰因子和受扰前溯判定系数的乘积作为采样时刻位置的受扰置信度系数。
优选的，所述根据采样时刻及其上一采样时刻相同位置的距离值以及受扰置信度系数得到采样时刻位置的最优距离估计，包括：
将第一采样时刻位置的上一采样时刻对应位置的最优距离估计设置为0；
根据采样时刻的时间顺序，从前往后依次计算各采样时刻位置的最优距离估计，所述采样时刻位置的最优距离估计的计算方法为：
将采样时刻的受扰置信度系数与预设受扰缩放因子的比值的相反数作为以自然常数为底数的指数函数的指数；
获取采样时刻位置的上一采样时刻对应位置的最优距离估计，获取采样时刻位置在距离图中的距离值，计算所述距离值与上一采样时刻对应位置的最优距离估计的差值；
计算所述差值与所述指数函数的计算结果的乘积，将所述乘积与上一采样时刻对应位置的最优距离估计的和值作为采样时刻位置的最优距离估计。
优选的，所述将各采样时刻的最优距离估计图与视频数据进行融合得到各采样时刻的雷视融合数据，包括：
对于各采样时刻的最优距离估计图和图像数据，将图像数据采用二维伽马函数进行校正得到校正图像数据；
采用神经网络对最优距离估计图和校正图像数据进行融合得到雷视融合数据。
第二方面，本发明实施例还提供了一种雷视智能融合的系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
本发明至少具有如下有益效果：
本发明通过雷达回波信号在频率响应上与发射信号之间的差异，通过计算频率紊乱系数和基波偏移系数，从而得到对应位置的回波受扰因子，从频域层面分析了回波信号中受到外界干扰导致能量衰减、频率偏移的程度，使得对后续距离图中对应位置的距离值可以初步判别其异常波动情况；
根据采样时刻及其前溯时刻的回波受扰因子确定前溯受扰序列，根据采样时刻的回波受扰因子与前溯受扰序列中各个元素之间差异计算得到受扰前溯判定因子，以此为基础确定当前位置的受扰置信度系数，在时间层面上分析同一位置下连续时间段内出现的异常受扰情况，使得对异常采样时刻的异常受扰位置可以进行精准定位；
根据前后两个时刻的雷达数据进行迭代得到对应位置的最优距离估计图，最终通过神经网络实现将雷达信号的最优距离估计图和视频数据的图像融合得到融合数据。与传统算法相比，本发明重点在于根据雷达回波信号的频率分析得到干扰情况，并且划分时间窗口对干扰情况进行判定，最终实时动态调整距离估计时的前后权重，能够有效降低环境影响对雷达数据的干扰，达到与视频数据的有效融合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明提供的一种雷视智能融合的方法的流程图；
图2为雷视数据智能融合框架图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种雷视智能融合的方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种雷视智能融合的方法及系统的具体方案。
本发明一个实施例提供的一种雷视智能融合的方法及系统。
具体的，提供了如下的一种雷视智能融合的方法，请参阅图1，该方法包括以下步骤：
步骤S001，获取视频数据和雷达数据，并进行数据预处理。
雷达数据拥有较高的空间准确度，视频数据拥有较高的空间分辨率，由此雷视融合的目的就是结合两种数据的优点，提高融合数据的准确度和分辨率，有利于后续的分析决策。雷视融合有广泛的应用场景，本实施例以应用最广的自动驾驶车载雷视融合为例。在车辆上部署视频获取单元和雷达获取单元，将采集到的数据信息传输到数据处理单元，数据处理单元最终输出雷视融合数据，具体的雷视数据智能融合框架图如图2所示。
本实施例以自动驾驶的车载雷视融合为示例场景，在视频获取单元通过工业CCD相机得到车辆行驶时道路的视频数据。在雷达获取单元通过相控雷达发射脉冲雷达方式，在接收端能够获得与视频数据分辨率相同大小的雷达数据，只是每个像素点位置对应的是雷达回波信号。
为了更加准确实时地获取道路数据信息，本实施例将视频获取单元和雷达获取单元设置采样间隔为10ms，对于视频单元是以100fps获取视频数据，对于雷达单元在采样时刻发射脉冲雷达信号，在采样间隔内接收回波信号。视频获取单元和雷达获取单元同频率采集数据，由此做到时间同步。
用表示在第i个采样时刻获取得到的视频数据，用/>表示在第i个采样时刻获取得到的雷达数据，其中/>，/>表示在该采样时刻得到与视频对应的雷达数据在/>坐标处接收的回波信号，/>表示视频数据的高和宽。由于视频数据和雷达数据的单位并不一致，为了简化分析，将二者进行归一化操作。
步骤S002，通过分析各采样时刻的雷达数据中回波信号受到干扰的情况，构建各采样时刻的最优距离估计图。
在自动驾驶中需要将车辆获取得到的视频信号和雷达信号进行综合分析，由于雷达数据容易受到电磁干扰和环境噪声的影响，视频数据容易受到环境光照的影响，由此需要将视频数据和雷达数据进行双向认证，最终实现雷视数据的融合。
由于雷达数据能够提供较高的数据精准度，但是极易受到环境的影响，因此需要重点针对雷达数据进行分析处理。通过接收端接收到的雷达数据，雷达数据中包含与视频数据对应的各个像素点位置接收得到的回波信号，由此利用雷达信号的发射时刻和接收时刻的时间差得到与视频数据同大小的距离图，将其记作/>，具体可以通过TOF飞行时间法获得/>。其中，TOF飞行时间法为公知技术，本实施例不再赘述。
但是由于雷达信号容易受到电磁干扰和环境噪声的影响，使得通过TOF算法得到的距离图，需要结合雷达的回波信号对得到的距离图进一步优化。即电磁干扰和环境噪声能够影响雷达回波信号的波形和频率，由此可以通过回波信号的频率响应对雷达数据的干扰情况进行一定的评估。
雷达单元在每个采样时刻向各个方向发射脉冲信号，该脉冲信号表现为固定频率和能量/>的正弦信号。理论上雷达单元接收到的是与原有发射信号同频能量经过距离衰减的回波信号，但是由于物体运动、噪声干扰以及环境噪声等因素的影响，实际接收到的回波信号会发生一定变化。
由此针对视频数据中坐标位置像素点对应的雷达回波信号/>进行傅里叶变换，得到其对应的频率响应，用/>表示回波信号/>的频谱图。/>为在采样间隔内连续的频谱图，其中受环境噪声的影响会存在许多包络，将各包络中最大能量对应的频率记作各包络的频率分量，用/>表示，并且将所有包络中的最大能量对应的频率分量标记为基波频率，用/>表示。本实施例以基波能量的十分之一为频率分量的筛选条件，只统计大于基波能量十分之一的频率分量。其中，傅里叶变换为公知技术，本实施例不再赘述。
由此结合雷达单元发射的脉冲信号的能量和频率，能够得到对应位置的回波受扰因子，以第i个采样时刻与视频数据中的坐标位置相同的雷达数据的回波受扰因子为例：
，
，
，
式中，表示针对第i个采样时刻雷达数据在坐标/>位置上的回波受扰因子，表示针对第i个采样时刻在坐标/>位置上回波信号的频率紊乱系数，/>表示针对第i个采样时刻在坐标/>位置上回波信号的基波偏移系数，/>和/>分别表示第一、第二权重调节因子，根据经验分别设置为0.4、0.6，实施者可根据实际情况自行调节，/>表示雷达回波信号频率分量的个数，/>和/>分别表示雷达回波信号频域响应中的基波频率和第j个频率分量的频率，/>和/>分别表示对应坐标/>位置上雷达回波信号的基波能量和第j个频率分量的能量，/>和/>分别表示雷达单元发射的脉冲信号频率和能量，其中，/>为第一差值，/>为第二差值。
当环境噪声、电磁干扰和物体运动对雷达信号干扰较大时，得到的回波信号能量将得到严重的衰减，并且接收回波信号的基波频率和发射信号频率会出现较大的偏移，使得基波偏移系数的值增大；同时也将影响接收回波信号频率响应的频率分量，使得频率分量增多，由此得到的频率紊乱系数/>值增大，最终使得回波受扰因子/>的值增大。相反，当雷达信号完全不受任何干扰时，接收到的回波信号只是能量经过衰减，基波频率不会存在偏移，而且不会存在多余的频率分量，由此使得/>的值减小。
回波受扰因子能够反映接收到的回波信号受干扰的情况，但是仅能够反映当前时刻的环境干扰情况。通过观察能够发现电磁干扰和环境噪声的影响具有一定的随机性，回波信号的受扰情况在时间刻度上具有间断性。
因此以采样时刻i为时间终点往前回溯N个采样时刻，将N个采样时刻的在坐标位置下的回波受扰因子共同组成该采样时刻的前溯受扰序列/>，由此，将前数受扰序列与采样时刻i的回波受扰因子/>进行综合分析能够得到第i个采样时刻在坐标/>位置的受扰前溯判定系数：
，
，
式中，表示针对第i个采样时刻在坐标/>位置的受扰前溯判定系数，/>表示针对第i个采样时刻在坐标/>位置的前溯受扰序列差异系数，/>表示在坐标/>位置以第i个采样时刻为终点向前回溯N个采样点组成的前溯受扰序列，/>和/>分别表示序列的最大值和最小值，N表示前溯受扰序列中采样点的个数，根据经验设置N=20，表示针对第i个采样时刻雷达数据在坐标/>位置上的回波受扰因子，/>表示针对第i个采样时刻雷达数据在坐标/>位置得到前溯受扰序列中第k个位置的回波受扰因子，其中，/>为第三差值，/>为第四差值。
由于环境的干扰具备一定的随机性，因此在序列中大部分采样点受扰较轻。当第i个采样时刻当前位置受扰严重时，当前时刻得到的回波受扰因子应当距离前溯受扰序列中大部分元素值较远，由此得到的前溯受扰序列差异系数/>的值较大。此外，当当前时刻得到的回波受扰因子/>与前溯受扰序列最小值的差异相对于前溯受扰序列最大值和最小值之间的差异较为接近，由此/>接近于1，最终使得受扰前溯判定系数/>的值增大。相反如果第i个采样时刻当前位置受扰较轻时，得到前溯判定系数/>的值减小。
因此结合第i个采样时刻的回波受扰因子和受扰前溯判定系数/>能够得到第i个采样时刻在当前位置的受扰置信度系数：
，
式中，表示针对第i个采样时刻在坐标/>位置上的受扰置信度系数，/>表示针对第i个采样时刻雷达数据在坐标/>位置上的回波受扰因子，/>表示针对第i个采样时刻在坐标/>位置上的受扰前溯判定系数。
当对应位置的雷达信号受到环境干扰较大时，首先当前采样时刻接收到回波信号会出现较大的基波频率漂移，并且存在较多因干扰噪声出现的频率分量，由此得到回波受扰因子的值较大。同时针对当前采样时刻得到前溯受扰序列/>中的回波受扰因子与/>存在较大差异的情况，使得受扰前溯判定系数/>的值较大，最终通过两项认证得到当前位置的受扰置信度系数值增大。
通过受扰置信度系数能够确定雷达回波信号检测后得到的距离图/>中坐标位置像素点的距离值的可信度，由此需要结合相邻两个采样时刻的距离图对当前采样位置的距离图像进行校正，对第i个采样时刻在坐标/>位置上的像素点的校正公式如下：
，
式中，和/>表示对第i个和第i-1个采样时刻雷达数据在坐标/>位置上距离值的最优距离估计，/>表示以自然常数e为底数的指数函数，/>表示针对第i个采样时刻在坐标/>位置上的受扰置信度系数，/>表示受扰缩放因子，根据经验设置，/>表示对第i个采样时刻在坐标/>位置上根据雷达回波信号得到的距离值。
是对第i个采样时刻距离值的最优距离估计，即雷达单元在第i个采样时刻在坐标/>位置上最终输出的距离值，其最主要由两部分组成，前一时刻距离值的最优距离估计、第i个采样时刻观察距离值与上一时刻最优距离估计的差异。当环境干扰较大时，得到的受扰置信度系数/>值较大，表明当前时刻观测得到的距离值并不准确，因此在估计当前时刻的距离值时更倾向于相信前一时刻的最优距离估计。相反在当前时刻雷达数据受环境干扰较小时，得到/>值较小，此时则更倾向于相信当前时刻的数据。
由此，实现对当前时刻当前位置雷达回波信号距离数据的最优距离估计，由于该方式有较好的收敛特性，因此针对初始时刻的最优距离估计，即可以将。
通过上述方式能够得到坐标位置在第i个时刻距离的最优距离估计/>，由此雷达数据中每个像素点的雷达回波信号，最终组成第i个时刻雷达距离最优距离估计图用/>表示，/>能反映当前采样时刻车辆监测环境中接近真实的距离值。
步骤S003，根据雷达数据的各采样时刻的最优距离估计图和视频数据图像，通过神经网络特征融合。
根据上述步骤能够得到各采样时刻的最优距离估计图，排除掉环境干扰后能够较为真实的反映真实的环境距离数据。
此外通过工业摄像头得到的视频数据可能受到光照的影响，为排除光照因素对视频数据图片质量的影响，本实施例采用二维伽马函数实现图像光照校正，最终得到接近真实环境的校正图像数据/>。其中，二维伽马函数为公知技术，本实施例不再赘述。
本实施例采用GAN神经网络进行雷达数据和视频数据的融合，在网络模型中主要由生成器和判别器组成，生成器的作用是生成与真实数据相似的合成数据，判别器的作用是对生成器生成的数据进行判断分类。其中，GAN神经网络为公知技术，本实施例不再赘述。
本实施例将专业深度相机获得的RGBD数据作为监督数据，网络模型的输入是和，其中生成器和判别器都采用交叉熵损失函数，采用Adam优化器，网络模型的输出为/>，具体表示为RGBD的四通道数据。
最终将得到的雷视融合数据实时输送给车机决策系统，决策系统可以根据模型输出的雷视融合数据，通过ADAS高级驾驶辅助系统实现路线规划和行车避让等决策分析。
基于与上述方法相同的发明构思，本发明实施例还提供了一种雷视智能融合的系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种雷视智能融合的方法中任意一项所述方法的步骤。
本发明实施例通过雷达回波信号在频率响应上与发射信号之间的差异，通过计算频率紊乱系数和基波偏移系数，从而得到对应位置的回波受扰因子，从频域层面分析了回波信号中受到外界干扰导致能量衰减、频率偏移的程度，使得对后续距离图中对应位置的距离值可以初步判别其异常波动情况；
根据采样时刻及其前溯时刻的回波受扰因子确定前溯受扰序列，根据采样时刻的回波受扰因子与前溯受扰序列中各个元素之间差异计算得到受扰前溯判定因子，以此为基础确定当前位置的受扰置信度系数，在时间层面上分析同一位置下连续时间段内出现的异常受扰情况，使得对异常采样时刻的异常受扰位置可以进行精准定位；
根据前后两个时刻的雷达数据进行迭代得到对应位置的最优距离估计图，最终通过神经网络实现将雷达信号的最优距离估计图和视频数据的图像融合得到融合数据。与传统算法相比，本发明实施例重点在于根据雷达回波信号的频率分析得到干扰情况，并且划分时间窗口对干扰情况进行判定，最终实时动态调整距离估计时的前后权重，能够有效降低环境影响对雷达数据的干扰，达到与视频数据的有效融合。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种雷视智能融合的方法，其特征在于，该方法包括以下步骤：
获取各采样时刻的视频数据和雷达数据，所述雷达数据为与视频数据相同大小的数据，雷达数据各位置对应视频数据各位置的像素点；
对于各采样时刻各位置的雷达数据，根据雷达数据的发射时刻和接收时刻的时间差构建与视频数据相同大小的距离图；将雷达数据进行傅里叶变换得到频谱图，获取频谱图中各频率分量及其对应的能量；根据频谱图中各频率分量及其对应的能量之间的差异得到频率紊乱系数；根据频谱图中的基波频率、基波能量以及雷达发射的脉冲信号频率和脉冲信号能量得到基波偏移系数；根据频率紊乱系数以及基波偏移系数得到回波受扰因子；
根据采样时刻位置及其前N个采样时刻对应位置的回波受扰因子之间的差异得到采样时刻位置的受扰前溯判定系数；根据采样时刻位置的回波受扰因子和受扰前溯判定系数得到受扰置信度系数；根据采样时刻及其上一采样时刻相同位置的距离值以及受扰置信度系数得到采样时刻位置的最优距离估计；将采样时刻各位置的最优距离估计组成采样时刻的最优距离估计图；
将各采样时刻的最优距离估计图与视频数据进行融合得到各采样时刻的雷视融合数据。
2.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述获取频谱图中各频率分量及其对应的能量，包括：
将频谱图中各包络的最大能量对应的频率作为各包络的频率分量；
将频谱图中所有包络的最大能量对应的频率分量作为基波频率，将基波频率对应的能量记为基波能量；
将基波能量的预设倍数下的能量作为筛选标准，将频谱图中大于筛选标准的最大能量对应包络的频率分量筛选出来，得到频谱图中各频率分量及其对应的能量。
3.如权利要求2所述的一种雷视智能融合的方法，其特征在于，所述根据频谱图中各频率分量及其对应的能量之间的差异得到频率紊乱系数，包括：
计算频率分量与基波频率的差值作为第一差值，计算频率分量对应的能量与基波能量的差值作为第二差值，计算所述第二差值与所述第一差值的比值的绝对值；
将频谱图中所有频率分量的所述绝对值的均值作为频率紊乱系数。
4.如权利要求2所述的一种雷视智能融合的方法，其特征在于，所述根据频谱图中的基波频率、基波能量以及雷达发射的脉冲信号频率和脉冲信号能量得到基波偏移系数，包括：
计算雷达发射的脉冲信号能量与基波能量的比值；
计算雷达发射的脉冲信号频率与基波频率的差值绝对值，将所述差值绝对值作为以自然常数为底数的指数函数的指数；
将指数函数的计算结果与所述比值的乘积作为基波偏移系数。
5.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述根据频率紊乱系数以及基波偏移系数得到回波受扰因子，包括：
计算频率紊乱系数与第一权重调节因子的乘积，计算基波偏移系数与第二权重调节因子的乘积，将两个乘积的和值作为回波受扰因子。
6.如权利要求5所述的一种雷视智能融合的方法，其特征在于，所述根据采样时刻位置及其前N个采样时刻对应位置的回波受扰因子之间的差异得到采样时刻位置的受扰前溯判定系数，包括：
将采样时刻位置的前N个采样时刻对应位置的回波受扰因子组成采样时刻位置的前溯受扰序列的各元素；
对于前溯受扰序列各元素，计算元素值与采样时刻位置的回波受扰因子的差值绝对值，将前溯受扰序列中所有元素的所述差值绝对值的均值作为采样时刻位置的前溯受扰序列差异系数；
获取前溯受扰序列中的最大值和最小值，计算采样时刻位置的回波受扰因子与最小值的差值作为第三差值，计算最大值与最小值的差值作为第四差值；
计算所述第三差值与所述第四差值的比值的绝对值，将所述绝对值与前溯受扰序列差异系数的乘积作为采样时刻位置的受扰前溯判定系数。
7.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述根据采样时刻位置的回波受扰因子和受扰前溯判定系数得到受扰置信度系数，包括：
将采样时刻位置的回波受扰因子和受扰前溯判定系数的乘积作为采样时刻位置的受扰置信度系数。
8.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述根据采样时刻及其上一采样时刻相同位置的距离值以及受扰置信度系数得到采样时刻位置的最优距离估计，包括：
将第一采样时刻位置的上一采样时刻对应位置的最优距离估计设置为0；
根据采样时刻的时间顺序，从前往后依次计算各采样时刻位置的最优距离估计，所述采样时刻位置的最优距离估计的计算方法为：
将采样时刻的受扰置信度系数与预设受扰缩放因子的比值的相反数作为以自然常数为底数的指数函数的指数；
获取采样时刻位置的上一采样时刻对应位置的最优距离估计，获取采样时刻位置在距离图中的距离值，计算所述距离值与上一采样时刻对应位置的最优距离估计的差值；
计算所述差值与所述指数函数的计算结果的乘积，将所述乘积与上一采样时刻对应位置的最优距离估计的和值作为采样时刻位置的最优距离估计。
9.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述将各采样时刻的最优距离估计图与视频数据进行融合得到各采样时刻的雷视融合数据，包括：
对于各采样时刻的最优距离估计图和图像数据，将图像数据采用二维伽马函数进行校正得到校正图像数据；
采用神经网络对最优距离估计图和校正图像数据进行融合得到雷视融合数据。
10.一种雷视智能融合的系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项所述方法的步骤。
CN202311830316.9A 2023-12-28 2023-12-28 一种雷视智能融合的方法及系统 Active CN117473456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311830316.9A CN117473456B (zh) 2023-12-28 2023-12-28 一种雷视智能融合的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311830316.9A CN117473456B (zh) 2023-12-28 2023-12-28 一种雷视智能融合的方法及系统

Publications (2)

Publication Number Publication Date
CN117473456A true CN117473456A (zh) 2024-01-30
CN117473456B CN117473456B (zh) 2024-02-27

Family

ID=89624231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311830316.9A Active CN117473456B (zh) 2023-12-28 2023-12-28 一种雷视智能融合的方法及系统

Country Status (1)

Country Link
CN (1) CN117473456B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118276035A (zh) * 2024-03-04 2024-07-02 云南大学 局部地区的土壤-植被-大气垂向结构同步监测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109473166A (zh) * 2018-11-14 2019-03-15 山东中医药大学 一种基于多网融合的智能远程医疗护理系统及方法
WO2020151468A1 (zh) * 2019-01-22 2020-07-30 岳秀兰 主次无线设备通过物联网连接建立的车辆远程驾驶体系
CN113655471A (zh) * 2015-10-06 2021-11-16 谷歌有限责任公司 用于支持雷达的传感器融合的方法、装置和片上系统
CN115393681A (zh) * 2022-08-11 2022-11-25 浙江大华技术股份有限公司 一种目标融合方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655471A (zh) * 2015-10-06 2021-11-16 谷歌有限责任公司 用于支持雷达的传感器融合的方法、装置和片上系统
CN109473166A (zh) * 2018-11-14 2019-03-15 山东中医药大学 一种基于多网融合的智能远程医疗护理系统及方法
WO2020151468A1 (zh) * 2019-01-22 2020-07-30 岳秀兰 主次无线设备通过物联网连接建立的车辆远程驾驶体系
CN115393681A (zh) * 2022-08-11 2022-11-25 浙江大华技术股份有限公司 一种目标融合方法、装置、电子设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JABER MOGHADDASI 等: "Multifunctional Transceiver for Future Radar Sensing and Radio Communicating Data-Fusion Platform", 《IEEE ACCESS》, vol. 4, 18 February 2016 (2016-02-18), pages 818 - 838, XP011602805, DOI: 10.1109/ACCESS.2016.2530979 *
YINGQI WANG 等: "Vital Sign Monitoring in Dynamic Environment via mmWave Radar and Camera Fusion", 《IEEE TRANSACTIONS ON MOBILE COMPUTING》, 3 June 2023 (2023-06-03), pages 1 - 17 *
ZHANGJING WANG 等: "Multi-Sensor Fusion in Automated Driving: A Survey", 《IEEE ACCESS》, vol. 8, 31 December 2019 (2019-12-31), pages 2847 - 2868, XP011766201, DOI: 10.1109/ACCESS.2019.2962554 *
段涛伟 等: "雷达与视频融合的复杂环境目标检测方法", 《单片机与嵌入式系统应用》, no. 2, 1 February 2023 (2023-02-01), pages 61 - 65 *
汪新坤 等: "基于iForest与KDE的雷达目标最优距离门估计", 《导航定位学报》, vol. 10, no. 3, 10 June 2022 (2022-06-10), pages 78 - 86 *
王银波: "多雷达视频融合系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 8, 15 August 2009 (2009-08-15), pages 136 - 381 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118276035A (zh) * 2024-03-04 2024-07-02 云南大学 局部地区的土壤-植被-大气垂向结构同步监测方法

Also Published As

Publication number Publication date
CN117473456B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
Brodeski et al. Deep radar detector
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
CN117473456B (zh) 一种雷视智能融合的方法及系统
CN109085570A (zh) 基于数据融合的车辆检测跟踪算法
CN108089167B (zh) 一种合成孔径雷达跨脉冲干扰信号检测方法
US20240125934A1 (en) Annotation cross-labeling for autonomous control systems
CN105137408B (zh) 一种最优天线方向图选取的雷达角超分辨方法
CN112867939A (zh) 光探测和测距的直流偏置和噪声功率的实时估计
CN111856445B (zh) 一种目标检测方法、装置、设备及系统
CN111652914A (zh) 一种多传感器目标融合、追踪方法及系统
CN109541585B (zh) 一种基于峰度评估的人体穿墙检测成像方法
CN111352121B (zh) 飞行时间测距系统及其测距方法
CN103528562A (zh) 一种基于单摄像头检测人眼与显示终端距离的方法
CN112528763B (zh) 一种目标检测方法、电子设备和计算机存储介质
CN111598028A (zh) 一种基于遥感成像原理识别地表植被分布方法
CN115855079A (zh) 一种时间异步的感知传感器融合方法
CN113156396A (zh) 一种优化干扰源对激光雷达影响的方法与装置
CN116148801A (zh) 一种基于毫米波雷达的目标检测方法及系统
EP3276576A1 (en) Disparity estimation by fusion of range data and stereo data
CN117113284A (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
CN107783111A (zh) 一种基于最大熵准则的雷达前视超分辨成像方法
CN113792755B (zh) 一种小波深度图像融合环境感知与目标识别方法
CN115328131A (zh) 一种无人船的避障方法、装置、无人船及存储介质
CN110045374B (zh) 一种基于Chirp Scaling的多角度超长聚束SAR超分辨率成像算法
JPH0843539A (ja) 埋設物探知に用いる受信信号の処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant