CN117113284A - 多传感器融合的数据处理方法、装置与多传感器融合方法 - Google Patents

多传感器融合的数据处理方法、装置与多传感器融合方法 Download PDF

Info

Publication number
CN117113284A
CN117113284A CN202311390768.XA CN202311390768A CN117113284A CN 117113284 A CN117113284 A CN 117113284A CN 202311390768 A CN202311390768 A CN 202311390768A CN 117113284 A CN117113284 A CN 117113284A
Authority
CN
China
Prior art keywords
sensor
data
distance
fusion
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311390768.XA
Other languages
English (en)
Other versions
CN117113284B (zh
Inventor
盛志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Shunyun Smart City Technology Co ltd
Original Assignee
Nanjing Shunyun Smart City Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Shunyun Smart City Technology Co ltd filed Critical Nanjing Shunyun Smart City Technology Co ltd
Priority to CN202311390768.XA priority Critical patent/CN117113284B/zh
Publication of CN117113284A publication Critical patent/CN117113284A/zh
Application granted granted Critical
Publication of CN117113284B publication Critical patent/CN117113284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明涉及传感器数据处理技术领域，尤其涉及多传感器融合的数据处理方法、装置与多传感器融合方法，包括：采集多传感器数据，对视觉传感器生成图像进行畸变校正，对距离传感器数据进行滤波处理，对位姿传感器生成数据进行去噪处理。本发明将多传感器融合的数据进行处理，能更有利于实现有效的特征提取与分析，并且将不同传感器测得的多个不同维度的数据用多维矩阵结构的形式组合在一起，解决了传感器探测到的数据未能深度融合的问题。

Description

多传感器融合的数据处理方法、装置与多传感器融合方法
技术领域
本发明涉及传感器数据处理技术领域，尤其涉及多传感器融合的数据处理方法、装置与多传感器融合方法。
背景技术
传感器是一种从环境中感受、测量指定信息的采集设备，其作用主要是将它采集到的对象信息通过特定的转换过程进行输出。传统方法中通常是由单独一种传感器采集信息，但这样一来采集到的对象信息过于孤立，无法全面、细致地对目标进行描述。因此根据实际场景，多种传感器同时对目标进行信息采集并将采集信息统一处理，就像人体通过眼睛、耳朵等多种器官对外界环境进行感知，这就是多传感器感知。如今，计算机信息应用领域中的技术发展尤为突出，其硬件基础和软件应用都得到了飞速发展，计算机也逐渐成为各类工业进行正常运转的基石，而在信息处理方面，针对多传感器融合技术的探讨研究获得了愈来愈多的关注。计算机的计算能力与速度的大幅度提升，能够同时对各类传感器采集的信息进行统一处理，因此促进了传感器信息融合技术的发展，此项技术综合了各类传感器的特有优势，能够更加准确、形象的描述观测对象，可以为生物科学信息技术、环境环保监测等领域的进步发展提供新的思路。
近年来，随着传感器技术的不断发展，多传感器融合数据技术已成为研究热点。对多个传感器数据综合处理后的结果比单一传感器采集的数据更完整、更精确，对数据的处理和利用更合理；在多传感器系统中，实现数据融合的关键是使用数据处理算法协调所有传感器，将信息组合形成一个整体，进而获得高质量、有用的测量数据。
如授权公告号为CN109655825B的中国专利公开了多传感器融合的数据处理方法、装置与多传感器融合方法，能够将不同传感器测得的多个不同维度的数据以像素元素为基础，用多维矩阵结构的形式组合在一起，进而，可有利于对取得的数据做多层面的数据融合与深度学习，其可有利于实现更多样更有效的数据挖掘与特征提取，从而产生更有效的环境感知与目标检测的能力。
如申请公开号为CN113514863A的中国专利公开了一种多传感器融合定位方法，包括：车辆的车载系统获取车辆的定位信息和姿态信息；根据定位信息和姿态信息进行动力学解算，得到预测位置信息和预测姿态信息；根据车辆的规划路径信息和预设的高精度地图信息判断车辆前方区域的定位信号等级；当定位信号等级为第一等级时，获取车辆的速度信息；根据定位信息和速度信息修正预测位置信息和预测姿态信息，得到车辆的第一实时定位数据和第一实时姿态数据；当定位信号等级为第二等级时，获取激光点云数据；根据高精度地图信息匹配激光点云数据，得到激光定位数据；根据激光定位数据修正预测位置信息和预测姿态信息，得到车辆的第二实时定位数据和第二实时姿态数据。
以上专利均存在本背景技术提出的问题：多传感器包括：视觉传感器、距离传感器和位姿传感器，在进行处理未根据传感器得到的数据进行相应的去噪或滤波处理；在多传感器融合时，未协调所有传感器，不能将信息组合形成一个整体。为了解决这些问题，本申请设计了多传感器融合的数据处理方法、装置与多传感器融合方法。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供了多传感器融合的数据处理方法、装置与多传感器融合方法。
为实现上述目的，本发明提供如下技术方案：
多传感器融合的数据处理方法，包括：
采集多传感器数据，所述多传感器包括：视觉传感器、距离传感器和位姿传感器，其中，所述视觉传感器包括：摄像头和红外传感器，所述距离传感器包括：毫米波雷达和激光雷达，所述位姿传感器包括：惯性测量传感器IMU；
对视觉传感器生成图像进行畸变校正；
对距离传感器生成点云数据进行滤波处理；
对位姿传感器生成数据进行去噪处理。
进一步地，所述对视觉传感器生成图像进行畸变校正包括以下步骤：
设定视觉传感器生成图像中点的初始像素坐标为；
基于径向畸变参数计算得出视觉传感器径向畸变校正后点的像素坐标为；
基于切向畸变参数计算得出视觉传感器切向畸变校正后点的像素坐标为；
计算视觉传感器畸变矫正后点的像素坐标，计算公式为：
，
其中，、/>、/>和/>表示视觉传感器中内参矩阵的参数，/>和/>分别表示像素坐标系下在/>两个方向上以像素为单位的焦距，/>和/>分别表示像素坐标系相比于相机坐标系进行原点平移的尺寸。
进一步地，所述对距离传感器数据进行滤波处理包括以下步骤：
计算所有点的强度的均值及标准差，设定强度阈值，将强度低于阈值/>的点剔除掉，完成初级滤波；
查找初级滤波后每一个点的临近点，根据高斯分布模型化距离参数，计算所有初级滤波后的点与临近点的距离的均值与距离的标准差，遍历所有初级滤波后的点，设定高斯分布的指定置信度，如果该点距离的均值大于高斯分布的指定置信度/>，则将该点剔除掉，完成二次滤波；
设置滤波器的搜索半径，在设定半径范围内进行点云搜索，统计其内部的点云数量，设定点云数量阈值，将半径范围内点云数量低于阈值/>的点剔除掉，完成三次滤波。
进一步地，所述对位姿传感器生成数据进行去噪处理包括：
对位姿传感器生成数据进行六层小波分解得到六层子序列；
对第一层和第二层高频子序列使用小波阈值去噪；
对第五层和第六层低频子序列基于神经网络训练去噪；
将去噪后的子序列和未去噪的子序列连接起来，得到降噪后的位姿传感器数据。
多传感器融合的数据处理装置，包括：
视觉传感器，用于基于可见光或者红外线来获取图像信息并量化图像信息；
距离传感器，用于基于无线电回波与发射信号进行比较，处理后获得目标信息；
位姿传感器，用于基于MEMS技术来进行获取三维运动姿态信息；
处理器，用于对视觉传感器、距离传感器和位姿传感器信息进行数据处理；
传输模块，用于传输采集到的视觉传感器、距离传感器和位姿传感器信息。
多传感器融合方法，包括：
基于时间的距离传感器数据和视觉传感器数据融合；
基于距离的毫米波雷达和激光雷达数据融合；
基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合。
进一步地，所述基于时间的距离传感器数据和视觉传感器数据融合包括：距离传感器与视觉传感器采集数据信息均带有时间戳，以距离传感器信号时间戳为基准，设定最大时间阈值/>，从小到大依次遍历视觉传感器生成图像时间戳缓存直到搜寻/>，满足时，将两个时间戳信息匹配。
进一步地，所述基于距离的毫米波雷达和激光雷达数据融合包括：
将毫米波雷达和激光雷达基于惯性测量传感器IMU转换到二维坐标系下，通过提取关键点进行毫米波雷达、激光雷达和惯性测量传感器IMU的坐标对齐；
对毫米波雷达和激光雷达的数据分别进行点云数据的特征提取；
在第一类探测距离下，设置激光雷达数据权重为0.8，毫米波雷达数据权重为0.2，进行加权平均融合；
在第二类探测距离下，设置激光雷达数据权重为0.5，毫米波雷达数据权重为0.5，进行加权平均融合；
在第三类探测距离下，设置激光雷达数据权重为0.2，毫米波雷达数据权重为0.8，进行加权平均融合。
进一步地，所述第一类探测距离包括：距离传感器的距离为0至40米；所述第二类探测距离包括：距离传感器的距离为40至100米；所述第三类探测距离包括：距离传感器的距离为100至200米。
进一步地，所述基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合包括：
获取距离传感器的点云数据和视觉传感器内参；
将距离传感器的点云数据通过利用视觉传感器外参进行坐标变换实现从世界坐标系转换到相机坐标系；
将相机坐标系中的点云数据进行透视投影，得到在归一化平面上的坐标；
将透视投影得到的坐标转换为归一化平面坐标，将归一化平面坐标转换为最终的像素坐标；
把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起，建立以像素为颗粒度的立体多维感知矩阵。
进一步地，所述多维感知矩阵包括：距离数据、速度数据、加速度数据、方位数据、雷达散射截面RCS数据，亮度数据、灰度数据、RGB数据以及热红外温度数据。
与现有技术相比，本发明的有益效果是：
1.本发明提出的多传感器融合的数据处理方法，涉及到视觉传感器、距离传感器和位姿传感器，通过采集多传感器数据，可以使得对多个传感器数据综合处理后的结果比单一传感器采集的数据更完整、更精确。
2.本发明提出的多传感器融合的数据处理方法，通过对视觉传感器生成图像进行畸变校正，对距离传感器生成点云数据进行滤波处理，对位姿传感器生成数据进行去噪处理，使得传感器数据更加请准，更利于特征提取与分析。
3.本发明提出的多传感器融合方法，基于毫米波雷达和激光雷达根据距离不同导致的可信度不同，设置了三类探测距离，为毫米波雷达和激光雷达设置不同的权重，能使得对环境感知数据更有效。
4.本发明提出的多传感器融合方法，把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起，建立以像素为颗粒度的立体多维感知矩阵，将信息组合形成一个整体，获得了高质量的测量数据。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例1中多传感器融合的数据处理方法流程示意图；
图2为本发明实施例2中多传感器融合的数据处理方法径向畸变图；
图3为本发明实施例2中多传感器融合的数据处理方法切向畸变图；
图4为本发明实施例3中多传感器融合的数据处理方法去噪处理流程图；
图5为本发明实施例4中多传感器融合的数据处理装置图；
图6为本发明实施例5中多传感器融合方法流程示意图；
图7为本发明实施例6中多传感器融合方法探测距离分类图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。
实施例1
请参阅图1，多传感器融合的数据处理方法，包括：
采集多传感器数据，所述多传感器包括：视觉传感器、距离传感器和位姿传感器，其中，所述视觉传感器包括：摄像头和红外传感器，所述距离传感器包括：毫米波雷达和激光雷达，所述位姿传感器包括：惯性测量传感器IMU；
对视觉传感器生成图像进行畸变校正；
对距离传感器生成点云数据进行滤波处理；
对位姿传感器生成数据进行去噪处理。
实施例2
请参阅图2和图3，所述对视觉传感器生成图像进行畸变校正包括以下步骤：
设定视觉传感器生成图像中点的初始像素坐标为；
基于径向畸变参数计算得出视觉传感器径向畸变校正后点的像素坐标为；
基于切向畸变参数计算得出视觉传感器切向畸变校正后点的像素坐标为；
计算视觉传感器畸变矫正后点的像素坐标，计算公式为：
，
其中，、/>、/>和/>表示视觉传感器中内参矩阵的参数，/>和/>分别表示像素坐标系下在/>两个方向上以像素为单位的焦距，/>和/>分别表示像素坐标系相比于相机坐标系进行原点平移的尺寸。
径向畸变的特点是成像中心的畸变为零，在成像的边缘能产生显著地畸变，越靠近边缘，畸变越严重，切向畸变是由于透镜本身与相机传感器平面或图像平面不平行而产生的，这种情况多是由于透镜安装误差导致。
视觉传感器中内参矩阵的参数计算步骤：首先载入拍摄的不同角度的棋盘格标定板的图像，其次提取出图像中棋盘格标定板的角点，然后根据提取的角点的位置信息，通过张正友标定法原理可得估算得到相机内参。
所述所述对距离传感器进行滤波处理包括以下步骤：
计算所有点的强度的均值及标准差，设定强度阈值，将强度低于阈值/>的点剔除掉，完成初级滤波；
查找初级滤波后每一个点的临近点，根据高斯分布模型化距离参数，计算所有初级滤波后的点与临近点的距离的均值与距离的标准差，遍历所有初级滤波后的点，设定高斯分布的指定置信度，如果该点距离的均值大于高斯分布的指定置信度/>，则将该点剔除掉，完成二次滤波；
设置滤波器的搜索半径，在设定半径范围内进行点云搜索，统计其内部的点云数量，设定点云数量阈值，将半径范围内点云数量低于阈值/>的点剔除掉，完成三次滤波。
所述强度阈值的计算公式为：
，
其中，表示初级滤波前所有点的强度均值，/>表示阈值系数，/>表示初级滤波前所有点的强度标准差；
所述距离高斯分布的指定置信度设定为95%；
所述点云数量阈值根据传感器融合数据具体应用场景确定。
实施例3
请参阅图4，所述对位姿传感器生成数据进行去噪处理包括：
对位姿传感器生成数据进行六层小波分解得到六层子序列；
对第一层和第二层高频子序列使用小波阈值去噪；
对第五层和第六层低频子序列基于神经网络训练去噪；
将去噪后的子序列和未去噪的子序列连接起来，得到降噪后的位姿传感器数据。
IMU随机误差主要为随机游走误差和零偏不稳定性。随机游走误差表现为高频白噪声，对误差的高频部分进行小波阈值去噪；而零偏不稳定性表现为与时间相关的低频误差，通过LSTM神经网络时序建模来消除。
其中，选取固定的小波阈值，计算公式为：
，
其中，表示小波去噪的阈值，/>表示信号的标准差，/>表示自然对数是以常数e为底数的对数函数，/>表示信号的长度。
LSTM神经网络的损失函数采用均方误差MSE，时间步长设为15，迭代次数设为20次。
实施例4
请参阅图5，多传感器融合的数据处理装置，包括：
视觉传感器，用于基于可见光或者红外线来获取图像信息并量化图像信息；
距离传感器，用于基于无线电回波与发射信号进行比较，作适当处理后获得目标信息；
位姿传感器，用于基于MEMS技术来进行获取三维运动姿态信息；
处理器，用于对视觉传感器、距离传感器和位姿传感器信息进行数据处理；
传输模块，用于传输采集到的视觉传感器、距离传感器和位姿传感器信息。
实施例5
请参阅图6，多传感器融合方法，包括：
基于时间的距离传感器数据和视觉传感器数据融合；
基于距离的毫米波雷达和激光雷达数据融合；
基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合。
所述基于时间的距离传感器数据和视觉传感器数据融合包括：距离传感器与视觉传感器采集数据信息均带有时间戳，以距离传感器信号时间戳为基准，设定最大时间阈值，从小到大依次遍历视觉传感器生成图像时间戳缓存直到搜寻/>，满足/>时，将两个时间戳信息匹配。
实施例6
请参阅图7，所述基于距离的毫米波雷达和激光雷达数据融合包括：
将毫米波雷达和激光雷达基于惯性测量传感器IMU转换到二维坐标系下，通过提取关键点进行毫米波雷达、激光雷达和惯性测量传感器IMU的坐标对齐；
对毫米波雷达和激光雷达的数据分别进行点云数据的特征提取；
在第一类探测距离下，设置激光雷达数据权重为0.8，毫米波雷达数据权重为0.2，进行加权平均融合；
在第二类探测距离下，设置激光雷达数据权重为0.5，毫米波雷达数据权重为0.5，进行加权平均融合；
在第三类探测距离下，设置激光雷达数据权重为0.2，毫米波雷达数据权重为0.8，进行加权平均融合，
其中，如图7所示，1表示多传感器融合装置，A表示第一类探测距离，B表示第二类探测距离，C表示第三类探测距离。
所述第一类探测距离包括：距离传感器的距离为0至40米；所述第二类探测距离包括：距离传感器的距离为40至100米；所述第三类探测距离包括：距离传感器的距离为100至200米。
所述基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合包括：
获取距离传感器的点云数据和视觉传感器内参；
将距离传感器的点云数据通过利用视觉传感器外参进行坐标变换实现从世界坐标系转换到相机坐标系；
将相机坐标系中的点云数据进行透视投影，得到在归一化平面上的坐标；
将透视投影得到的坐标转换为归一化平面坐标，将归一化平面坐标转换为最终的像素坐标；
把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起，建立以像素为颗粒度的立体多维感知矩阵。
距离传感器数据类型为点云，视觉传感器数据为图像，二者联合标定即求解距离传感器与视觉传感器坐标系的外参，需要找到多帧之间的同一特征，然后构建超定方程优化求解：
根据距离传感器与视觉传感器的外参，经旋转变换和平移变换可将该点转换至相机坐标系下三维坐标；根据相机内参，相机坐标系下坐标，经相机焦距的变换转换至像平面，然后根据光心偏差，经过平移至像素坐标系下，当相机内参已知时，每有一个匹配的点都可构建一个方程，联立多个方程可求解距离传感器与视觉传感器的外参矩阵，并往往将多对点的对应关系采用最小二乘法求解，以获得较为精确的外参。
所述多维感知矩阵包括：距离数据、速度数据、加速度数据、方位数据、雷达散射截面RCS数据，亮度数据、灰度数据、RGB数据以及热红外温度数据。

Claims (11)

1.多传感器融合的数据处理方法，其特征在于，包括：
采集多传感器数据，所述多传感器包括：视觉传感器、距离传感器和位姿传感器，其中，所述视觉传感器包括：摄像头和红外传感器，所述距离传感器包括：毫米波雷达和激光雷达，所述位姿传感器包括：惯性测量传感器IMU；
对视觉传感器生成图像进行畸变校正；
对距离传感器数据进行滤波处理；
对位姿传感器生成数据进行去噪处理。
2.根据权利要求1所述的多传感器融合的数据处理方法，其特征在于，所述对视觉传感器生成图像进行畸变校正包括以下步骤：
设定视觉传感器生成图像中点的初始像素坐标为；
基于径向畸变参数计算得出视觉传感器径向畸变校正后点的像素坐标为；
基于切向畸变参数计算得出视觉传感器切向畸变校正后点的像素坐标为；
计算视觉传感器畸变矫正后点的像素坐标，计算公式为：
，
其中，、/>、/>和/>表示视觉传感器中内参矩阵的参数，/>和/>分别表示像素坐标系下在/>两个方向上以像素为单位的焦距，/>和/>分别表示像素坐标系相比于相机坐标系进行原点平移的尺寸。
3.根据权利要求2所述的多传感器融合的数据处理方法，其特征在于，所述对距离传感器数据进行滤波处理包括以下步骤：
计算所有点的强度的均值及标准差，设定强度阈值，将强度低于阈值/>的点剔除掉，完成初级滤波；
查找初级滤波后每一个点的临近点，根据高斯分布模型化距离参数，计算所有初级滤波后的点与临近点的距离的均值与距离的标准差，遍历所有初级滤波后的点，设定高斯分布的指定置信度，如果该点距离的均值大于高斯分布的指定置信度/>，则将该点剔除掉，完成二次滤波；
设置滤波器的搜索半径，在设定半径范围内进行点云搜索，统计其内部的点云数量，设定点云数量阈值，将半径范围内点云数量低于阈值/>的点剔除掉，完成三次滤波。
4.根据权利要求3所述的多传感器融合的数据处理方法，其特征在于，所述对位姿传感器生成数据进行去噪处理包括：
对位姿传感器生成数据进行六层小波分解得到六层子序列；
对第一层和第二层高频子序列使用小波阈值去噪；
对第五层和第六层低频子序列基于神经网络训练去噪；
将去噪后的子序列和未去噪的子序列连接起来，得到降噪后的位姿传感器数据。
5.多传感器融合的数据处理装置，其特征在于，包括：
视觉传感器，用于基于可见光或者红外线来获取图像信息并量化图像信息；
距离传感器，用于基于无线电回波与发射信号进行比较，处理后获得目标信息；
位姿传感器，用于基于MEMS技术来进行获取三维运动姿态信息；
处理器，用于对视觉传感器、距离传感器和位姿传感器信息进行数据处理；
传输模块，用于传输采集到的视觉传感器、距离传感器和位姿传感器信息。
6.多传感器融合方法，其特征在于，包括：
基于时间的距离传感器数据和视觉传感器数据融合；
基于距离的毫米波雷达和激光雷达数据融合；
基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合。
7.根据权利要求6所述的多传感器融合方法，其特征在于，所述基于时间的距离传感器数据和视觉传感器数据融合包括：距离传感器与视觉传感器采集数据信息均带有时间戳，以距离传感器信号时间戳为基准，设定最大时间阈值/>，从小到大依次遍历视觉传感器生成图像时间戳缓存直到搜寻/>，满足/>时，将两个时间戳信息匹配。
8.根据权利要求7所述的多传感器融合方法，其特征在于，所述基于距离的毫米波雷达和激光雷达数据融合包括：
将毫米波雷达和激光雷达基于惯性测量传感器IMU转换到二维坐标系下，通过提取关键点进行毫米波雷达、激光雷达和惯性测量传感器IMU的坐标对齐；
对毫米波雷达和激光雷达的数据分别进行点云数据的特征提取；
在第一类探测距离下，设置激光雷达数据权重为0.8，毫米波雷达数据权重为0.2，进行加权平均融合；
在第二类探测距离下，设置激光雷达数据权重为0.5，毫米波雷达数据权重为0.5，进行加权平均融合；
在第三类探测距离下，设置激光雷达数据权重为0.2，毫米波雷达数据权重为0.8，进行加权平均融合。
9.根据权利要求8所述的多传感器融合方法，其特征在于，所述第一类探测距离包括：距离传感器的距离为0至40米；所述第二类探测距离包括：距离传感器的距离为40至100米；所述第三类探测距离包括：距离传感器的距离为100至200米。
10.根据权利要求9所述的多传感器融合方法，其特征在于，所述基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合包括：
获取距离传感器的点云数据和视觉传感器内参；
将距离传感器的点云数据通过利用视觉传感器外参进行坐标变换实现从世界坐标系转换到相机坐标系；
将相机坐标系中的点云数据进行透视投影，得到在归一化平面上的坐标；
将透视投影得到的坐标转换为归一化平面坐标，将归一化平面坐标转换为最终的像素坐标；
把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起，建立以像素为颗粒度的立体多维感知矩阵。
11.根据权利要求10所述的多传感器融合方法，其特征在于，所述多维感知矩阵包括：距离数据、速度数据、加速度数据、方位数据、雷达散射截面RCS数据，亮度数据、灰度数据、RGB数据以及热红外温度数据。
CN202311390768.XA 2023-10-25 2023-10-25 多传感器融合的数据处理方法、装置与多传感器融合方法 Active CN117113284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311390768.XA CN117113284B (zh) 2023-10-25 2023-10-25 多传感器融合的数据处理方法、装置与多传感器融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311390768.XA CN117113284B (zh) 2023-10-25 2023-10-25 多传感器融合的数据处理方法、装置与多传感器融合方法

Publications (2)

Publication Number Publication Date
CN117113284A true CN117113284A (zh) 2023-11-24
CN117113284B CN117113284B (zh) 2024-01-26

Family

ID=88811431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311390768.XA Active CN117113284B (zh) 2023-10-25 2023-10-25 多传感器融合的数据处理方法、装置与多传感器融合方法

Country Status (1)

Country Link
CN (1) CN117113284B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706626A (zh) * 2021-07-30 2021-11-26 西安交通大学 一种基于多传感器融合及二维码校正的定位与建图方法
CN113947134A (zh) * 2021-09-26 2022-01-18 南京邮电大学 一种复杂地形下多传感器配准融合系统及方法
CN114881215A (zh) * 2022-05-18 2022-08-09 福建鼎旸信息科技股份有限公司 一种毫米波雷达数据筛选性神经网络处理方法
CN115451948A (zh) * 2022-08-09 2022-12-09 中国科学院计算技术研究所 一种基于多传感器融合的农业无人车定位里程计方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706626A (zh) * 2021-07-30 2021-11-26 西安交通大学 一种基于多传感器融合及二维码校正的定位与建图方法
CN113947134A (zh) * 2021-09-26 2022-01-18 南京邮电大学 一种复杂地形下多传感器配准融合系统及方法
CN114881215A (zh) * 2022-05-18 2022-08-09 福建鼎旸信息科技股份有限公司 一种毫米波雷达数据筛选性神经网络处理方法
CN115451948A (zh) * 2022-08-09 2022-12-09 中国科学院计算技术研究所 一种基于多传感器融合的农业无人车定位里程计方法及系统

Also Published As

Publication number Publication date
CN117113284B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
TWI685798B (zh) 目標檢測系統、自動駕駛車輛以及其目標檢測方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN110675418A (zh) 一种基于ds证据理论的目标轨迹优化方法
CN106529538A (zh) 一种飞行器的定位方法和装置
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
CN113359097A (zh) 一种毫米波雷达和相机联合标定的方法
CN113358231B (zh) 红外测温方法、装置及设备
CN107909018B (zh) 一种稳健的多模态遥感影像匹配方法和系统
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN112683228A (zh) 单目相机测距方法及装置
CN111856445B (zh) 一种目标检测方法、装置、设备及系统
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN117113284B (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
CN113895482B (zh) 基于轨旁设备的列车测速方法及装置
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
WO2011047508A1 (en) Embedded vision tracker and mobile guiding method for tracking sequential double color beacons array with extremely wide-angle lens
CN114494039A (zh) 一种水下高光谱推扫图像几何校正的方法
Fei et al. Obstacle Detection for Agricultural Machinery Vehicle
CN114037968A (zh) 基于深度雷达点云和图像数据融合的车道线检测方法
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
Zhang et al. Research on binocular real-time ranging method in window area
CN116385502B (zh) 一种基于几何约束下区域搜索的图像配准方法
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant