CN113362395A - 一种基于传感器融合的环境感知方法 - Google Patents

一种基于传感器融合的环境感知方法 Download PDF

Info

Publication number
CN113362395A
CN113362395A CN202110662153.2A CN202110662153A CN113362395A CN 113362395 A CN113362395 A CN 113362395A CN 202110662153 A CN202110662153 A CN 202110662153A CN 113362395 A CN113362395 A CN 113362395A
Authority
CN
China
Prior art keywords
ultrasonic
coordinate system
information
sensor
sensor fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110662153.2A
Other languages
English (en)
Inventor
蒋如意
马光林
于萌萌
田均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhuoshi Technology Co ltd
Original Assignee
Shanghai Zhuoshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhuoshi Technology Co ltd filed Critical Shanghai Zhuoshi Technology Co ltd
Priority to CN202110662153.2A priority Critical patent/CN113362395A/zh
Publication of CN113362395A publication Critical patent/CN113362395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于环境感知技术领域，公开了一种基于传感器融合的环境感知方法，包括步骤：利用矩阵变换获得环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系；通过若干个超声波传感器获取超声波原始信息，将所述超声波原始信息融合，生成车量360度的超声波信息；基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息；将所述叠加数据信息输入至深度网络模型进行模型推理，得到基本推理结果；对于所述基本推理结果进行后处理，提取目标信息。本发明充分利用传感器的信息，目标感知的精度能够很大程度的提高；简化环境感知的逻辑。

Description

一种基于传感器融合的环境感知方法
技术领域
本发明属于环境感知技术领域，具体涉及一种基于传感器融合的环境感知方法。
背景技术
环境感知在自动驾驶以及自主泊车等领域，有非常重要的作用，是这些领域的基础。基于车辆的功能越来越多，车身上安装的传感器个数以及种类也越来越多，如前视摄像头、环视相机、超声波、毫米波雷达、激光雷达、IMU等等，这些传感器有各自的应用优缺点。基于每种传感器都能开发某一种车辆功能，如ACC/AEB。自主泊车以及自动驾驶是一项复杂的系统功能，针对不同天气、不同光照、不同场景等，需要更精确的环境感知，因此需要融合多种传感器，增强优势，同时弥补不足，提升环境感知的精准度。
目前的传感器融合方案大都是基于各种传感器的结果做融合，如首先基于超声做目标检测得到超声结果，视觉做检测得到视觉结果，然后对这两种结果的信息做融合。这种方案能够一定程度上弥补各种传感器的缺点，但是在做环境感知时仍然是传感器各自做检测，没有充分的利用超声和视觉的信息。同时这种方案也有不足，对于各个传感器的误检测比较难以处理。
发明内容
本发明的目的在于提供一种基于传感器融合的环境感知方法，以解决现有的问题。
为实现上述目的，本发明提供如下技术方案：一种基于传感器融合的环境感知方法，包括步骤：
S100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息；
S200将所述叠加数据信息输入至深度网络模型进行模型推理，得到基本推理结果；
S300对于所述基本推理结果进行后处理，提取目标信息。
作为本发明一种基于传感器融合的环境感知方法优选地，所述后处理包括图像处理。
作为本发明一种基于传感器融合的环境感知方法优选地，所述图像处理包括连通域分析、边缘处理、视觉跟踪以及车辆运动模型跟踪。
作为本发明一种基于传感器融合的环境感知方法优选地，在所述的S100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前包括步骤：
S10对环视相机进行标定，标定出环视相机相对于靶标的外参数；
S20对超声波传感器进行标定，标定超声波传感器的世界坐标系与靶标坐标系之间的关系。
作为本发明一种基于传感器融合的环境感知方法优选地，在所述的S20对超声波传感器进行标定，标定超声波传感器的世界坐标系与靶标坐标系之间的关系之后包括步骤：
S30利用矩阵变换获得环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系。
作为本发明一种基于传感器融合的环境感知方法优选地，在所述的S100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前还包括步骤：
S40通过若干个超声波传感器获取超声波原始信息，将所述超声波原始信息融合，生成车量360度的超声波信息。
作为本发明一种基于传感器融合的环境感知方法优选地，所述环视相机设置有四个，所述超声波传感器设置有十二个。
作为本发明一种基于传感器融合的环境感知方法优选地，四个所述环视相机和十二个所述超声波传感器均安装于车辆上。
本发明与现有技术相比，具有以下有益效果：本发明充分利用传感器的信息，目标感知的精度能够很大程度的提高；简化环境感知的逻辑。
附图说明
图1为本发明的其中一个实施例的流程图；
图2为本发明的另一个实施例的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，本发明提供如下技术方案：一种基于传感器融合的环境感知方法，包括步骤：
S100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息；
S200将所述叠加数据信息输入至深度网络模型进行模型推理，得到基本推理结果；
S300对于所述基本推理结果进行后处理，提取目标信息。
值得说明的是，将所述叠加数据信息输入至深度网络模型进行模型推理，得到基本推理结果具体包括步骤：
步骤1：模型建立；
步骤2：模型训练；
步骤3：模型推理。
步骤1中，通过注意力机制学习像素点图像特征之间的关联性以及通过增加感受进一步捕获图像丰富的上下文语义信息，以加强同类别像素的关联性提高分割准确性；
首先，对图像进行特征提取，通过骨干网络ResNet-101提取图像特征F；
然后，建立特征集成模型(FIM)，通过增大感受野对图像特征F进行增强，得到具有增强语义信息的图像特征X；
最后，建立位置注意力模型(PAM)，通过位置注意力机制增强图像特征X空间位置的关联性，得到上下文关联性增强的特征图E；
步骤2中，首先对提供的数据集进行预处理操作，对图像I进行尺度随机缩放，水平旋转，将图像裁剪成固定尺寸大小的图像IC；
然后对步骤1建立的模型进行训练，将图像IC通过骨干网ResNet-101、特征集成模型(FIM)子模块、位置注意力模型(PAM)子模块得到特征图E，再经过上采样后进行图像语义类别预测，将得到的预测值Z与真实值GT进行交叉熵运算，度量预测值与真实值的误差；通过反向传播算法对步骤1定义的网络模型参数进行迭代优化训练，训练到整个模型收敛为止；
步骤3中，将测试集的图像输入到训练好的模型中，推理测试图像的语义类别预测值，计算测试预测值与真实值的平均交并比(MIoU)，评估预测准确度。
步骤3所述模型推理具体过程如下：
在步骤2训练完成模型以后，固定模型参数，输入测试集的图像得到测试预测值，推理测试图像的语义类别预测值，计算测试预测值与真实值的交并比，直到所有测试集测试完成，给出最终的预测准确度。
本实施例中，共用了4个环视相机、12个超声波。传感器标定包括环视相机的标定以及超声波的标定，同时相机和超声波的标定，建立环视相机和超声波世界坐标系的坐标转换关系；
基于12个超声波的原始信息，做超声波信息的融合，生成车身360的超声信息，基于上一个模块做的超声波和相机世界坐标转化关系，在环视图像中，叠加超声波的信息；
语义目标包含但不限于行人、车辆、方形立柱、路沿石、车位限位器、地锁、栅栏等。基于上一个模块生成的原始数据，送到设计好的深度网络模块，做模型推理，得到基本的推理结果。
基于得到的推理结果，做后处理，包括但不限于图像处理如连通域分析、边缘处理、视觉跟踪以及车辆运动模型跟踪等，提取稳定的目标信息。
具体地，所述后处理包括图像处理。
具体地，所述图像处理包括连通域分析、边缘处理、视觉跟踪以及车辆运动模型跟踪。
请参阅图2所示，具体地，在所述的S100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前包括步骤：
S10对环视相机进行标定，标定出环视相机相对于靶标的外参数；
S20对超声波传感器进行标定，标定超声波传感器的世界坐标系与靶标坐标系之间的关系。
具体地，在所述的S20对超声波传感器进行标定，标定超声波传感器的世界坐标系与靶标坐标系之间的关系之后包括步骤：
S30利用矩阵变换获得环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系。
具体地，在所述的S100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前还包括步骤：
S40通过若干个超声波传感器获取超声波原始信息，将所述超声波原始信息融合，生成车量360度的超声波信息。
具体地，所述环视相机设置有四个，所述超声波传感器设置有十二个。
具体地，四个所述环视相机和十二个所述超声波传感器均安装于车辆上。
本实施例中，基于超声波和相机传感器，分别做各自的标定，同时做相互的位姿的标定；基于融合逻辑，做超声波信息的融合以及超声波信息和图像信息的融合；基于深度学习推理，并做后处理得到所需要的目标。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于传感器融合的环境感知方法，其特征在于，包括步骤：
S100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息；
S200将所述叠加数据信息输入至深度网络模型进行模型推理，得到基本推理结果；
S300对于所述基本推理结果进行后处理，提取目标信息。
2.根据权利要求1所述的一种基于传感器融合的环境感知方法，其特征在于，所述后处理包括图像处理。
3.根据权利要求2所述的一种基于传感器融合的环境感知方法，其特征在于，所述图像处理包括连通域分析、边缘处理、视觉跟踪以及车辆运动模型跟踪。
4.根据权利要求1所述的一种基于传感器融合的环境感知方法，其特征在于，在所述的S100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前包括步骤：
S10对环视相机进行标定，标定出环视相机相对于靶标的外参数；
S20对超声波传感器进行标定，标定超声波传感器的世界坐标系与靶标坐标系之间的关系。
5.根据权利要求4所述的一种基于传感器融合的环境感知方法，其特征在于，在所述的S20对超声波传感器进行标定，标定超声波传感器的世界坐标系与靶标坐标系之间的关系之后包括步骤：
S30利用矩阵变换获得环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系。
6.根据权利要求1所述的一种基于传感器融合的环境感知方法，其特征在于，在所述的S100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前还包括步骤：
S40通过若干个超声波传感器获取超声波原始信息，将所述超声波原始信息融合，生成车量360度的超声波信息。
7.根据权利要求4所述的一种基于传感器融合的环境感知方法，其特征在于，所述环视相机设置有四个，所述超声波传感器设置有十二个。
8.根据权利要求7所述的一种基于传感器融合的环境感知方法，其特征在于，四个所述环视相机和十二个所述超声波传感器均安装于车辆上。
CN202110662153.2A 2021-06-15 2021-06-15 一种基于传感器融合的环境感知方法 Pending CN113362395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110662153.2A CN113362395A (zh) 2021-06-15 2021-06-15 一种基于传感器融合的环境感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110662153.2A CN113362395A (zh) 2021-06-15 2021-06-15 一种基于传感器融合的环境感知方法

Publications (1)

Publication Number Publication Date
CN113362395A true CN113362395A (zh) 2021-09-07

Family

ID=77534243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110662153.2A Pending CN113362395A (zh) 2021-06-15 2021-06-15 一种基于传感器融合的环境感知方法

Country Status (1)

Country Link
CN (1) CN113362395A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425828A (zh) * 2015-11-11 2016-03-23 山东建筑大学 基于传感器融合技术的机器人防碰撞冲击双臂协调控制系统
CN109657593A (zh) * 2018-12-12 2019-04-19 深圳职业技术学院 一种路侧信息融合方法及系统
CN109655825A (zh) * 2018-03-29 2019-04-19 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法
CN110188696A (zh) * 2019-05-31 2019-08-30 华南理工大学 一种水面无人装备多源感知方法及系统
DE102018220024B3 (de) * 2018-11-22 2020-03-12 Audi Ag Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren
CN112750129A (zh) * 2021-03-11 2021-05-04 湘潭大学 一种基于特征增强位置注意力机制的图像语义分割模型

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425828A (zh) * 2015-11-11 2016-03-23 山东建筑大学 基于传感器融合技术的机器人防碰撞冲击双臂协调控制系统
CN109655825A (zh) * 2018-03-29 2019-04-19 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法
DE102018220024B3 (de) * 2018-11-22 2020-03-12 Audi Ag Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren
CN109657593A (zh) * 2018-12-12 2019-04-19 深圳职业技术学院 一种路侧信息融合方法及系统
CN110188696A (zh) * 2019-05-31 2019-08-30 华南理工大学 一种水面无人装备多源感知方法及系统
CN112750129A (zh) * 2021-03-11 2021-05-04 湘潭大学 一种基于特征增强位置注意力机制的图像语义分割模型

Similar Documents

Publication Publication Date Title
US20220198806A1 (en) Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
WO2022012158A1 (zh) 一种目标确定方法以及目标确定装置
CN115082674B (zh) 基于注意力机制的多模态数据融合三维目标检测方法
CN115082924B (zh) 一种基于单目视觉和雷达伪图像融合的三维目标检测方法
WO2021218786A1 (zh) 一种数据处理系统、物体检测方法及其装置
CN113221740B (zh) 一种农田边界识别方法及系统
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN114782785A (zh) 多传感器信息融合方法及装置
CN114802261A (zh) 泊车控制方法、障碍物识别模型训练方法、装置
CN115620141A (zh) 一种基于加权可变形卷积目标检测方法和装置
Wu et al. Depth dynamic center difference convolutions for monocular 3D object detection
CN116664856A (zh) 基于点云-图像多交叉混合的三维目标检测方法、系统及存储介质
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN114332796A (zh) 一种多传感器融合体素特征图生成方法及系统
Dong et al. Intelligent pixel-level pavement marking detection using 2D laser pavement images
CN116935173A (zh) 图像、激光雷达和4d毫米波多模态融合的3d目标检测方法
CN113362395A (zh) 一种基于传感器融合的环境感知方法
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
Rasyidy et al. A Framework for Road Boundary Detection based on Camera-LIDAR Fusion in World Coordinate System and Its Performance Evaluation Using Carla Simulator
CN118269967B (zh) 一种车辆防撞控制方法、装置、存储介质及设备
US20240303838A1 (en) Absolute depth estimation from a single image using online depth scale transfer
CN117203678A (zh) 目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination