CN116245961B - 一种基于多类传感器信息的融合感知方法及系统 - Google Patents

一种基于多类传感器信息的融合感知方法及系统 Download PDF

Info

Publication number
CN116245961B
CN116245961B CN202310218455.XA CN202310218455A CN116245961B CN 116245961 B CN116245961 B CN 116245961B CN 202310218455 A CN202310218455 A CN 202310218455A CN 116245961 B CN116245961 B CN 116245961B
Authority
CN
China
Prior art keywords
point cloud
dimensional
sensors
same
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310218455.XA
Other languages
English (en)
Other versions
CN116245961A (zh
Inventor
唐哲
陈文轩
李月华
陈烨恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310218455.XA priority Critical patent/CN116245961B/zh
Publication of CN116245961A publication Critical patent/CN116245961A/zh
Application granted granted Critical
Publication of CN116245961B publication Critical patent/CN116245961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

一种基于多类传感器信息的融合感知方法，包括硬件同步触发传感器在同一时刻采集数据；时间软同步对齐不同类型传感器发布信息的时间戳；空间同步计算传感器标定参数；利用双目深度恢复、点云滤波、点云配准等技术实现点云拼接；三维点云投影至二维像素平面，实现图像信息重合视野部分的融合；通过语义信息建立不同像素坐标系下像素点的映射关系，实现图像信息非重合视野部分的融合。还包括一种基于多类传感器信息的融合感知系统。本发明可自适应配准多组点云数据，使用先降采样再标记噪声点的方式对点云进行滤波，以结合点云投影与语义分割的方式实现大视差角度下非视野重合部分的融合，有效提升了算法的鲁棒性，降低算法运行时间，提高融合帧率。

Description

一种基于多类传感器信息的融合感知方法及系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于多类传感器信息的融合感知方法及系统。
背景技术
多类传感器信息融合是利用计算机技术，依据一定的准则对来自多传感器的多源多模态信息和数据进行自动分析和综合，最终生成对观测环境的一致性解释。需要基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。不仅利用了多个传感器相互协同操作的优势，也综合处理了其它信息源的数据，以此来提高整个传感器系统的智能化。
近年来，融合感知任务发展迅速，从更高级的跨模态特征表示，到更复杂、健壮的深度学习模型和多模态融合技术，极大提高了融合感知算法的精度和鲁棒性。传统的融合方法可分为三大类：早期融合、深度融合和后期融合，无论是在数据级、特征级还是提案级，都侧重于深度学习模型中融合特征的阶段。
然而，现有方法大多需要待融合数据存在大片视野重合部分，难以实现大视差下的多源信息融合。在实际应用场景中，针对不同类型的传感器，往往有不同的数据采集需求，难以保证安装角度满足融合算法的要求。
发明内容
针对现有技术难以满足大视差下的多源信息融合需求的不足，本发明提出一种基于多类传感器信息融合的方法及系统。
一种基于多类传感器信息的融合感知方法，包括以下步骤：
步骤一：通过唯一的时钟源给不同类型的传感器提供相同的基准时间，硬件同步触发不同类型传感器在同一时刻采集数据；
步骤二：获取不同类型传感器对应的多个输入信号，并通过时间软同步对齐不同类型传感器发布信息的时间戳，得到同一时刻来源于不同类型传感器的一组输入信号；
步骤三：控制图像传感器在同一时刻拍摄同一标定板，对拍摄到的图像分别提取特征点，根据特征点匹配结果，得到图像传感器的标定参数；
步骤四：利用可得到深度信息的传感器，如双目相机、TOF、激光雷达，获取多组点云数据，根据传感器的标定参数，将多组点云投影到同一相机坐标系下，得到拼接点云；
步骤五：以拼接点云为中介，建立图像传感器部分二维像素点之间的对应关系，将不同传感器视野范围重合部分的信息投影到同一像素坐标系下；
步骤六：针对不同传感器视野范围不重合的部分，分别分割拼接点云与图像数据，利用分割结果计算得到多组单应性矩阵并分别投影，结合步骤五的投影结果，生成完整的融合图像。
进一步，步骤一具体包括：通过脉冲发生器矫正不同类型传感器的基准时间，所有传感器都被同一个脉冲触发，并在每次触发时都矫正传感器独立的时钟，以消除时钟源的累计误差。
进一步，步骤二具体包括：通过插值法将多组输入信号与采集频率最低的信号对齐，得到来源于不同传感器、采集于同一时刻的一组信号。
进一步，步骤三具体包括：先计算不同信号之间的信息损失函数，再利用优化算法求解相对位姿。
进一步，所述步骤四具体通过以下子步骤实现：
(4.1)双目相机深度恢复：将左右目图像输入到神经网络模型中进行视差图推理，得到稠密的视差图，根据双目相机的畸变参数，对稠密视差图进行畸变矫正，再依据双目相机的焦距和基线长度，通过矫正后的视差图生成深度图；
(4.2)重建双目点云：根据双目相机内参，得到二维像素坐标系与三维相机坐标系的投影关系，将深度图投影至相机坐标系，生成只有三维坐标信息、没有RGB信息的无色点云，再将左右目相机采集到的原始RGB图像投影至相机坐标系，为无色点云赋上颜色信息，得到RGB点云；
(4.3)点云滤噪：首先对原始点云进行下采样，将下采样后的点云输入到点云滤波器，输出需要滤掉的噪声点，在原始点云中找到噪声点，剔除噪声点及噪声点附近的点，得到滤噪后的点云；
(4.4)点云配准：以某一个点云为基准，利用点云配准算法重新计算其他点云的投影矩阵，以矫正其他点云投影时的外参；
(4.5)点云拼接：利用上述步骤矫正后的点云外参，将多组点云数据投影到同一相机坐标系下，得到保留最大视野信息的拼接点云。
进一步，所述步骤五具体通过以下子步骤实现：
(5.1)三维点云投影至二维平面：以所述步骤四得到的拼接点云为输入，分别将拼接点云投影至不同图像传感器的像素坐标系下，得到多组三维点云到二维像素坐标的映射关系；
(5.2)二维像素点配准：根据上述步骤得到的多组三维点云到二维像素坐标系的映射关系，找到同一个三维坐标在不同二维坐标系下的投影，建立不同二维坐标系之间的映射关系，根据映射关系将不同图像传感器采集到的二维图像投影至同一像素坐标系下，得到不同传感器视野重合部分的融合图像。
进一步，所述步骤六具体通过以下子步骤实现：
(6.1)三维点云分割：以所述步骤四得到的拼接点云为输入，运行三维点云语义分割网络，得到针对拼接点云的三维分割结果，即给每一个点云赋予类别标签；
(6.2)二维图像分割：以不同图像传感器采集到的图片为输入，运行二维图像语义分割网络，得到针对不同图像的二维分割结果，即给每一个像素坐标赋予类别标签；
(6.3)匹配分割结果：基于所述步骤五得到的三维点云到二维像素坐标的映射关系及不同二维坐标之间的映射关系，按照点云类别，给二维坐标系之间的映射关系分组，即通过同一类别的点云计算得到的二维坐标属于同一组，得到多组二维坐标映射关系，组数与分割得到的点云类别数相同；
(6.4)计算多组单应性矩阵：根据上述步骤的分组结果，分别根据每组二维坐标的映射关系计算单应性矩阵，得到多个单应性矩阵，个数与分割得到的点云类别数相同；
(6.5)根据分割结果，分组重投影：根据图像的二维分割结果，对同一类别的像素点使用同一个单应性矩阵，实现图像信息中视野不重合部分的投影，结合所述步骤五得到的视野重合部分的融合图像，生成完整的融合图像。
本发明还包括实现所述的基于多类传感器信息的融合感知方法的系统，包括：
硬件同步触发模块，通过唯一的时钟源给不同类型的传感器提供相同的基准时间，同步触发不同类型的传感器在同一时刻采集数据；
时间软同步模块，获取不同类型传感器对应的多个输入信号，并通过时间软同步对齐不同类型传感器发布信息的时间戳，得到同一时刻来源于不同类型传感器的一组输入信号；
空间同步模块，控制图像传感器在同一时刻拍摄同一标定板，对拍摄到的图像分别提取特征点，根据特征点匹配结果，得到图像传感器的标定参数；
点云拼接模块，利用可得到深度信息的传感器，如双目相机、TOF、激光雷达，获取多组点云数据，根据传感器的标定参数，将多组点云投影到同一相机坐标系下，得到拼接点云；
重合视野图像重投影模块，以拼接点云为中介，建立图像传感器部分二维像素点之间的对应关系，将不同传感器视野范围重合部分的信息投影到同一像素坐标系下；
非重合视野图像重投影模块，针对不同传感器视野范围不重合的部分，分别分割拼接点云与图像数据，利用分割结果计算得到多组单应性矩阵并分别投影，结合步骤五的投影结果，生成完整的融合图像。
本发明还包括一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的基于多类传感器信息的融合感知方法。
一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本发明所述的基于多类传感器信息的融合感知方法。
本发明的有益效果是：
(1)本发明可自适应配准多组点云数据，避免因运动时的震动导致的外参变化对融合精度的影响，提升算法鲁棒性。
(2)本发明使用先降采样再标记噪声点的方式对点云进行滤波，有效降低算法运行时间，提高融合帧率。
(3)本发明使用结合点云投影与语义分割的方式，将传统方法与深度学习网络相结合，实现大视差角度下非视野重合部分的融合。
附图说明
图1是本发明的基于多类传感器信息的融合感知方法的流程图。
图2是本发明的点云拼接的流程图。
图3是本发明的融合不同传感器视野重合部分的流程图。
图4是本发明的融合不同传感器视野不重合部分的流程图。
图5是本发明的基于多类传感器信息的融合感知系统的示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1-图4所示，一种基于多类传感器信息的融合感知方法，包括以下步骤：
步骤一：硬件同步触发传感器采集数据。
通过唯一的时钟源给不同类型的传感器提供相同的基准时间，硬件同步触发不同类型传感器在同一时刻采集数据。
在本实施例中，通过脉冲发生器矫正不同类型传感器的基准时间，所有传感器都被同一个脉冲触发，并在每次触发时都矫正传感器独立的时钟，以消除时钟源的累计误差。
步骤二：软同步对齐传感器采集数据的时间戳。
获取不同类型传感器对应的多个输入信号，并通过时间软同步对齐不同类型传感器发布信息的时间戳，得到同一时刻来源于不同类型传感器的一组输入信号。
在本实施例中，通过插值法将多组输入信号与采集频率最低的信号对齐，得到来源于不同传感器、采集于同一时刻的一组信号。
步骤三：空间同步获取传感器的标定参数。
控制图像传感器在同一时刻拍摄同一标定板，对拍摄到的图像分别提取特征点，根据特征点匹配结果，得到图像传感器的标定参数。
在本实施例中，先计算不同信号之间的信息损失函数，再利用优化算法求解相对位姿。
步骤四：融合图像与点云数据生成拼接点云。
利用可得到深度信息的传感器，如双目相机、TOF、激光雷达，获取多组点云数据，根据传感器的标定参数，将多组点云投影到同一相机坐标系下，得到拼接点云。
如图2所示，步骤四具体通过以下子步骤实现：
(4.1)双目相机深度恢复：将左右目图像输入到基于Transformer的STTR(StereoTransformer)网络中进行视差图推理，得到稠密的视差图，根据双目相机的畸变参数，对稠密视差图进行畸变矫正，再依据双目相机的焦距和基线长度，通过矫正后的视差图生成深度图；
(4.2)重建双目点云：根据双目相机内参，得到二维像素坐标系与三维相机坐标系的投影关系，将深度图投影至相机坐标系，生成只有三维坐标信息、没有RGB信息的无色点云，再将左右目相机采集到的原始RGB图像投影至相机坐标系，为无色点云赋上颜色信息，得到RGB点云；
(4.3)点云滤噪：首先使用体素网格法对原始点云进行下采样，将下采样后的点云输入到统计分析滤波器，提取出需要滤掉的噪声点，在原始点云中找到噪声点，剔除噪声点及噪声点附近的点，得到滤噪后的点云；
(4.4)点云配准：以某一个点云为基准，利用RANSAC配准算法重新计算其他点云的投影矩阵，以矫正其他点云投影时的外参；
(4.5)点云拼接：利用上述步骤矫正后的点云外参，将多组点云数据投影到同一相机坐标系下，得到保留最大视野信息的拼接点云。
步骤五：融合不同传感器视野重合部分。
以拼接点云为中介，建立图像传感器部分二维像素点之间的对应关系，将不同传感器视野范围重合部分的信息投影到同一像素坐标系下。
如图3所示，步骤五具体通过以下子步骤实现：
(5.1)三维点云投影至二维平面：以所述步骤四得到的拼接点云为输入，分别将拼接点云投影至不同图像传感器的像素坐标系下，得到多组三维点云到二维像素坐标的映射关系；
(5.2)二维像素点配准：根据上述步骤得到的多组三维点云到二维像素坐标系的映射关系，找到同一个三维坐标在不同二维坐标系下的投影，建立不同二维坐标系之间的映射关系，根据映射关系将不同图像传感器采集到的二维图像投影至同一像素坐标系下，得到不同传感器视野重合部分的融合图像。
步骤六：融合不同传感器视野不重合部分。
针对不同传感器视野范围不重合的部分，分别分割拼接点云与图像数据，利用分割结果计算得到多组单应性矩阵并分别投影，结合步骤五的投影结果，生成完整的融合图像。
如图4所示，步骤六具体通过以下子步骤实现：
(6.1)三维点云分割：以所述步骤四得到的拼接点云为输入，运行LatticeNet对点云进行语义分割，得到针对拼接点云的三维分割结果，即给每一个点云赋予类别标签；
(6.2)二维图像分割：以不同图像传感器采集到的图片为输入，运行FCN对二维图像进行语义分割，得到针对不同图像的二维分割结果，即给每一个像素坐标赋予类别标签；
(6.3)匹配分割结果：基于所述步骤五得到的三维点云到二维像素坐标的映射关系及不同二维坐标之间的映射关系，按照点云类别，给二维坐标系之间的映射关系分组，即通过同一类别的点云计算得到的二维坐标属于同一组，得到多组二维坐标映射关系，组数与分割得到的点云类别数相同；
(6.4)计算多组单应性矩阵：根据上述步骤的分组结果，分别根据每组二维坐标的映射关系计算单应性矩阵，得到多个单应性矩阵，个数与分割得到的点云类别数相同；
(6.5)根据分割结果，分组重投影：根据图像的二维分割结果，对同一类别的像素点使用同一个单应性矩阵，实现图像信息中视野不重合部分的投影，结合所述步骤五得到的视野重合部分的融合图像，生成完整的融合图像。
本发明可自适应配准多组点云数据，使用先降采样再标记噪声点的方式对点云进行滤波，以结合点云投影与语义分割的方式实现大视差角度下非视野重合部分的融合，有效提升了算法的鲁棒性，降低算法运行时间，提高融合帧率。
实施例2
如图5所示，为实现实施例1所述的基于多类传感器信息的融合感知方法的系统的示意图，包括以下六个模块：
硬件同步触发模块，通过唯一的时钟源给不同类型的传感器提供相同的基准时间，同步触发不同类型的传感器在同一时刻采集数据。
时间软同步模块，获取不同类型传感器对应的多个输入信号，并通过时间软同步对齐不同类型传感器发布信息的时间戳，得到同一时刻来源于不同类型传感器的一组输入信号。
空间同步模块，控制图像传感器在同一时刻拍摄同一标定板，对拍摄到的图像分别提取特征点，根据特征点匹配结果，得到图像传感器的标定参数。
点云拼接模块，利用可得到深度信息的传感器，如双目相机、TOF、激光雷达，获取多组点云数据，根据传感器的标定参数，将多组点云投影到同一相机坐标系下，得到拼接点云。
重合视野图像重投影模块，以拼接点云为中介，建立图像传感器部分二维像素点之间的对应关系，将不同传感器视野范围重合部分的信息投影到同一像素坐标系下。
非重合视野图像重投影模块，针对不同传感器视野范围不重合的部分，分别分割拼接点云与图像数据，利用分割结果计算得到多组单应性矩阵并分别投影，结合步骤五的投影结果，生成完整的融合图像。
实施例3
实现实施例1所述的基于多类传感器信息的融合感知方法的一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现实施例1的基于多类传感器信息的融合感知方法。
一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现实施例1所述的基于多类传感器信息的融合感知方法。
在硬件层面，该计算包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现实施例1所述的方法。当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(ProgrammableLogic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware DescriptionLanguage，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced BooleanExpression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java HardwareDescription Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware DescriptionLanguage)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated CircuitHardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (10)

1.一种基于多类传感器信息的融合感知方法，其特征在于，包括以下步骤：
步骤一：通过唯一的时钟源给不同类型的传感器提供相同的基准时间，硬件同步触发不同类型传感器在同一时刻采集数据；
步骤二：获取不同类型传感器对应的多个输入信号，并通过时间软同步对齐不同类型传感器发布信息的时间戳，得到同一时刻来源于不同类型传感器的一组输入信号；
步骤三：控制图像传感器在同一时刻拍摄同一标定板，对拍摄到的图像分别提取特征点，根据特征点匹配结果，得到图像传感器的标定参数；
步骤四：利用可得到深度信息的传感器，传感器为双目相机、TOF、激光雷达，获取多组点云数据，根据传感器的标定参数，将多组点云投影到同一相机坐标系下，得到拼接点云；
步骤五：以拼接点云为中介，建立图像传感器部分二维像素点之间的对应关系，将不同传感器视野范围重合部分的信息投影到同一像素坐标系下；
步骤六：针对不同传感器视野范围不重合的部分，分别分割拼接点云与图像数据，利用分割结果计算得到多组单应性矩阵并分别投影，结合步骤五的投影结果，生成完整的融合图像。
2.根据权利要求1所述的基于多类传感器信息的融合感知方法，其特征在于，步骤一具体包括：通过脉冲发生器矫正不同类型传感器的基准时间，所有传感器都被同一个脉冲触发，并在每次触发时都矫正传感器独立的时钟，以消除时钟源的累计误差。
3.根据权利要求1所述的基于多类传感器信息的融合感知方法，其特征在于，步骤二具体包括：通过插值法将多组输入信号与采集频率最低的信号对齐，得到来源于不同传感器、采集于同一时刻的一组信号。
4.根据权利要求1所述的基于多类传感器信息的融合感知方法，其特征在于，步骤三具体包括：先计算不同信号之间的信息损失函数，再利用优化算法求解相对位姿。
5.根据权利要求1所述的基于多类传感器信息的融合感知方法，其特征在于，所述步骤四具体通过以下子步骤实现：
(4.1)双目相机深度恢复：将左右目图像输入到神经网络模型中进行视差图推理，得到稠密的视差图，根据双目相机的畸变参数，对稠密视差图进行畸变矫正，再依据双目相机的焦距和基线长度，通过矫正后的视差图生成深度图；
(4.2)重建双目点云：根据双目相机内参，得到二维像素坐标系与三维相机坐标系的投影关系，将深度图投影至相机坐标系，生成只有三维坐标信息、没有RGB信息的无色点云，再将左右目相机采集到的原始RGB图像投影至相机坐标系，为无色点云赋上颜色信息，得到RGB点云；
(4.3)点云滤噪：首先对原始点云进行下采样，将下采样后的点云输入到点云滤波器，输出需要滤掉的噪声点，在原始点云中找到噪声点，剔除噪声点及噪声点附近的点，得到滤噪后的点云；
(4.4)点云配准：以某一个点云为基准，利用点云配准算法重新计算其他点云的投影矩阵，以矫正其他点云投影时的外参；
(4.5)点云拼接：利用上述步骤矫正后的点云外参，将多组点云数据投影到同一相机坐标系下，得到保留最大视野信息的拼接点云。
6.根据权利要求1所述的基于多类传感器信息的融合感知方法，其特征在于，所述步骤五具体通过以下子步骤实现：
(5.1)三维点云投影至二维平面：以所述步骤四得到的拼接点云为输入，分别将拼接点云投影至不同图像传感器的像素坐标系下，得到多组三维点云到二维像素坐标的映射关系；
(5.2)二维像素点配准：根据上述步骤得到的多组三维点云到二维像素坐标系的映射关系，找到同一个三维坐标在不同二维坐标系下的投影，建立不同二维坐标系之间的映射关系，根据映射关系将不同图像传感器采集到的二维图像投影至同一像素坐标系下，得到不同传感器视野重合部分的融合图像。
7.根据权利要求1所述的基于多类传感器信息的融合感知方法，其特征在于，所述步骤六具体通过以下子步骤实现：
(6.1)三维点云分割：以所述步骤四得到的拼接点云为输入，运行三维点云语义分割网络，得到针对拼接点云的三维分割结果，即给每一个点云赋予类别标签；
(6.2)二维图像分割：以不同图像传感器采集到的图片为输入，运行二维图像语义分割网络，得到针对不同图像的二维分割结果，即给每一个像素坐标赋予类别标签；
(6.3)匹配分割结果：基于所述步骤五得到的三维点云到二维像素坐标的映射关系及不同二维坐标之间的映射关系，按照点云类别，给二维坐标系之间的映射关系分组，即通过同一类别的点云计算得到的二维坐标属于同一组，得到多组二维坐标映射关系，组数与分割得到的点云类别数相同；
(6.4)计算多组单应性矩阵：根据上述步骤的分组结果，分别根据每组二维坐标的映射关系计算单应性矩阵，得到多个单应性矩阵，个数与分割得到的点云类别数相同；
(6.5)根据分割结果，分组重投影：根据图像的二维分割结果，对同一类别的像素点使用同一个单应性矩阵，实现图像信息中视野不重合部分的投影，结合所述步骤五得到的视野重合部分的融合图像，生成完整的融合图像。
8.一种实现根据权利要求1-4中任意一项所述的基于多类传感器信息的融合感知方法的系统，其特征在于，包括：
硬件同步触发模块，通过唯一的时钟源给不同类型的传感器提供相同的基准时间，同步触发不同类型的传感器在同一时刻采集数据；
时间软同步模块，获取不同类型传感器对应的多个输入信号，并通过时间软同步对齐不同类型传感器发布信息的时间戳，得到同一时刻来源于不同类型传感器的一组输入信号；
空间同步模块，控制图像传感器在同一时刻拍摄同一标定板，对拍摄到的图像分别提取特征点，根据特征点匹配结果，得到图像传感器的标定参数；
点云拼接模块，利用可得到深度信息的传感器，如双目相机、TOF、激光雷达，获取多组点云数据，根据传感器的标定参数，将多组点云投影到同一相机坐标系下，得到拼接点云；
重合视野图像重投影模块，以拼接点云为中介，建立图像传感器部分二维像素点之间的对应关系，将不同传感器视野范围重合部分的信息投影到同一像素坐标系下；
非重合视野图像重投影模块，针对不同传感器视野范围不重合的部分，分别分割拼接点云与图像数据，利用分割结果计算得到多组单应性矩阵并分别投影，结合步骤五的投影结果，生成完整的融合图像。
9.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-7中任一项的基于多类传感器信息的融合感知方法。
10.一种计算设备，其特征在于：包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
CN202310218455.XA 2023-03-02 2023-03-02 一种基于多类传感器信息的融合感知方法及系统 Active CN116245961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310218455.XA CN116245961B (zh) 2023-03-02 2023-03-02 一种基于多类传感器信息的融合感知方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310218455.XA CN116245961B (zh) 2023-03-02 2023-03-02 一种基于多类传感器信息的融合感知方法及系统

Publications (2)

Publication Number Publication Date
CN116245961A CN116245961A (zh) 2023-06-09
CN116245961B true CN116245961B (zh) 2023-09-01

Family

ID=86631056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310218455.XA Active CN116245961B (zh) 2023-03-02 2023-03-02 一种基于多类传感器信息的融合感知方法及系统

Country Status (1)

Country Link
CN (1) CN116245961B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684028B (zh) * 2023-06-12 2024-05-28 广州宸境科技有限公司 一种多传感器时间同步方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754583A (zh) * 2020-05-29 2020-10-09 江苏大学 一种车载三维激光雷达和相机外参联合标定的自动化方法
CN113160375A (zh) * 2021-05-26 2021-07-23 郑健青 一种基于多任务学习算法的三维重建及相机位姿估计方法
CN113362247A (zh) * 2021-06-11 2021-09-07 山东大学 一种激光融合多目相机的语义实景三维重建方法及系统
CN113627473A (zh) * 2021-07-06 2021-11-09 哈尔滨工程大学 基于多模态传感器的水面无人艇环境信息融合感知方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
WO2022242465A1 (zh) * 2021-05-21 2022-11-24 魔门塔(苏州)科技有限公司 一种多传感器数据的融合方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754583A (zh) * 2020-05-29 2020-10-09 江苏大学 一种车载三维激光雷达和相机外参联合标定的自动化方法
WO2022242465A1 (zh) * 2021-05-21 2022-11-24 魔门塔(苏州)科技有限公司 一种多传感器数据的融合方法及装置
CN113160375A (zh) * 2021-05-26 2021-07-23 郑健青 一种基于多任务学习算法的三维重建及相机位姿估计方法
CN113362247A (zh) * 2021-06-11 2021-09-07 山东大学 一种激光融合多目相机的语义实景三维重建方法及系统
CN113627473A (zh) * 2021-07-06 2021-11-09 哈尔滨工程大学 基于多模态传感器的水面无人艇环境信息融合感知方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于激光雷达与工业相机数据融合的路面感知算法研究;汪世豪;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;全文 *

Also Published As

Publication number Publication date
CN116245961A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN112819944B (zh) 三维人体模型重建方法、装置、电子设备及存储介质
CN112884881B (zh) 三维人脸模型重建方法、装置、电子设备及存储介质
US10015469B2 (en) Image blur based on 3D depth information
CN112036236B (zh) 一种基于GhostNet的图像检测方法、设备及介质
CN111340922B (zh) 定位与地图构建的方法和电子设备
CN111311709A (zh) 一种生成高精地图的方法及装置
CN112750168B (zh) 事件相机内参的标定方法、装置、计算机设备和存储介质
CN110213491B (zh) 一种对焦方法、装置及存储介质
CN111882611A (zh) 一种地图构建方法及装置
CN116245961B (zh) 一种基于多类传感器信息的融合感知方法及系统
CN116977525B (zh) 一种图像渲染方法、装置、存储介质及电子设备
CN112861831A (zh) 一种目标物的识别方法、装置、存储介质及电子设备
CN116309823A (zh) 一种位姿的确定方法、装置、设备及存储介质
CN112818968A (zh) 一种目标物分类方法及装置
CN111476729B (zh) 一种目标识别的方法及装置
CN116977446A (zh) 一种多相机小目标识别、联合定位方法和系统
CN115097935A (zh) 一种手部定位方法和vr设备
CN114332189A (zh) 一种高精地图构建方法、装置、存储介质及电子设备
CN115862668B (zh) 机器人基于声源定位判断交互对象的方法和系统
CN116703952B (zh) 过滤遮挡点云的方法、装置、计算机设备及存储介质
CN117876610B (zh) 针对三维构建模型的模型训练方法、装置、存储介质
CN115908663B (zh) 一种虚拟形象的衣物渲染方法、装置、设备及介质
CN116188919B (zh) 一种测试方法、装置、可读存储介质及电子设备
CN116740197B (zh) 一种外参的标定方法、装置、存储介质及电子设备
CN118322192A (zh) 一种基于全局三维点云和局部视觉伺服的操作控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant