CN113506372A - 一种环境重建方法及装置 - Google Patents
一种环境重建方法及装置 Download PDFInfo
- Publication number
- CN113506372A CN113506372A CN202110847229.9A CN202110847229A CN113506372A CN 113506372 A CN113506372 A CN 113506372A CN 202110847229 A CN202110847229 A CN 202110847229A CN 113506372 A CN113506372 A CN 113506372A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- millimeter wave
- laser radar
- sensor
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000010586 diagram Methods 0.000 claims abstract description 58
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 238000011176 pooling Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 76
- 229910052698 phosphorus Inorganic materials 0.000 claims description 44
- 229910052799 carbon Inorganic materials 0.000 claims description 33
- 229910052757 nitrogen Inorganic materials 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 14
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 229940057373 c-time Drugs 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种环境重建方法及装置，涉及三维重建技术领域。用以解决环境检测重建中激光雷达和毫米波雷达在数据层的点云数据融合存在传感器误差、点云数据和像素数据的融合存在精度低的问题。包括：激光雷达传感器和毫米波雷达传感器依次对待检测物进行扫描，得到激光雷达点云张量、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像、毫米波雷达的二维点云伪图像、毫米波‑激光雷达数据的特征；将毫米波‑激光雷达数据的特征和双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到待检测物的融合特征图和待检测物的三维图像。
Description
技术领域
本发明涉及三维重建技术领域，更具体的涉及一种环境重建方法及装置。
背景技术
随着计算机技术的发展，环境检测数据越来越重要，并且广泛用于孪生城市、高精地图以及同步定位等领域。但由于视觉传感器在弱纹理环境下很难提取有效的特征，而且受光照影响较大，从而影响双目视觉传感器工作。
激光传感器在空旷环境等会出现退化问题，而且在雨雪等极端天气下会产生过多噪声。毫米波雷达对于静止的物体和运动的非金属物体不太敏感，不太容易得到障碍物的轮廓。
综上所述，现有环境检测重建中激光雷达和毫米波雷达在数据层的点云数据融合存在传感器误差、点云数据和像素数据的融合存在精度低的问题。
发明内容
本发明实施例提供一种环境重建方法及装置，用以解决现有环境检测重建中激光雷达和毫米波雷达在数据层的点云数据融合存在传感器误差、点云数据和像素数据的融合存在精度低的问题。
本发明实施例提供一种环境重建方法，包括：
根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；
所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；
将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；
所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。
优选地，所述根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器之前，还包括：
根据激光雷达传感器、毫米波雷达传感器、双目视觉传感器和标定板的位置，建立全局坐标系；其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和标定板之间的距离、角度均为固定值；
根据激光雷达传感器、毫米波传感器和双目视觉传感器在全局坐标系内的位置，依次得到激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标、毫米波坐标和双目视觉坐标；
依次将激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标、毫米波坐标和双目视觉坐标依次转换为全局坐标激光雷达矩阵、全局坐标毫米波矩阵和全局坐标双目视觉矩阵；
根据全局坐标激光雷达矩阵和全局坐标毫米波矩阵确定全局坐标系下激光雷达传感器和毫米波传感器之间的转换矩阵。
优选地，所述全局坐标激光雷达矩阵为：
其中，R表示表示旋转参数，T表示平移参数，K表示激光雷达坐标转换为全局坐标系的转换矩阵；
全局坐标双目视觉矩阵：
其中，f表示相机的焦距，S表示双目视觉坐标转换为全局坐标系的转换矩阵；
全局坐标毫米波矩阵为：
其中，θ表示毫米波雷达坐标系原点与全局坐标系原点和X坐标轴的角度， Q表示毫米波坐标转换为全局坐标系的转换矩阵。
优选地，所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量，具体包括：
将所述激光雷达点云数据进行编码，得到激光雷达点云张量；其中，激光雷达点云张量为(D，N，P)，D是激光雷达所对应的整体点云柱的特征维度， N为单点云柱中点云数据的个数，P是非空点云柱柱体的数量；
将毫米波雷达点云数据进行编码，得到毫米波雷达点云张量；其中，毫米波雷达点云张量为(M，N，P)，M是毫米波雷达所对应的整体点云柱的特征维度，N为单点云柱中点云数据的个数，P是非空点云柱柱体的数量。
优选地，所述将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像，具体包括：
将所述激光雷达点云张量(D，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到激光雷达特征矩阵(C， P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的激光雷达二维点云伪图像；
将所述毫米波雷达点云张量(M，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到毫米波雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的毫米波雷达二维点云伪图像；
其中，C为正整数，表示卷积次数；W表示最右侧点减去最左侧点得到的图像宽度，H表示最上侧点减去最下侧点得到的图像高度。
优选地，所述将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征，具体包括：
所述激光雷达二维点云伪图像经过下采样卷积层，BatchNorm层和RELU 激活层得到纬度为(2C，W/2，H/2)激光雷达二维点云伪图像特征图；
所述毫米波雷达二维点云伪图像经过下采样卷积层，BatchNorm层和 RELU激活层得到纬度为(2C，W/2，H/2)毫米波雷达二维点云伪图像特征图；
根据毫米波雷达二维点云伪图像特征图、全局坐标系下激光雷达传感器和毫米波传感器之间的转换矩阵，将毫米波雷达二维点云伪图像特征图所包括的特征点转换到所述激光雷达二维点云伪图像特征图上，得到毫米波-激光雷达数据的特征。
优选地，将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图，具体包括：
对双目视觉传感器得到左右双目图像进行卷积和池化处理，得到双目视觉特征；
采用注意力融合方法将所述毫米波-激光雷达数据的特征和所述双目视觉特征进行点乘，得到毫米波-激光雷达数据的特征图和双目视觉特征图的关系权重矩阵；
毫米波-激光雷达数据的特征和双目视觉特征的关系权重矩阵和双目视觉特征图相乘，得到所述待检测物的融合特征图。
本发明实施例还提供一种环境重建装置，包括：
设置单元，用于根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；
第一得到单元，用于所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；
第二得到单元，用于将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；
第三得到单元，用于所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。
优选地，所述第二得到单元具体用于：
将所述激光雷达点云张量(D，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到激光雷达特征矩阵(C， P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C， W，H)的激光雷达二维点云伪图像；
将所述毫米波雷达点云张量(M，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到毫米波雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的毫米波雷达二维点云伪图像；
其中，C为正整数，表示卷积次数；W表示最右侧点减去最左侧点得到的图像宽度，H表示最上侧点减去最下侧点得到的图像高度；
所述激光雷达二维点云伪图像经过下采样卷积层，BatchNorm层和RELU 激活层得到纬度为(2C，W/2，H/2)激光雷达二维点云伪图像特征图；
所述毫米波雷达二维点云伪图像经过下采样卷积层，BatchNorm层和 RELU激活层得到纬度为(2C，W/2，H/2)毫米波雷达二维点云伪图像特征图；
根据毫米波雷达二维点云伪图像特征图、全局坐标系下激光雷达传感器和毫米波传感器之间的转换矩阵，将毫米波雷达二维点云伪图像特征图所包括的特征点转换到所述激光雷达二维点云伪图像特征图上，得到毫米波-激光雷达数据的特征。
优选地，所述第二得到单元具体包括：
对双目视觉传感器得到左右双目图像进行卷积和池化处理，得到双目视觉特征；
采用注意力融合方法将所述毫米波-激光雷达数据的特征和所述双目视觉特征进行点乘，得到毫米波-激光雷达数据的特征图和双目视觉特征图的关系权重矩阵；
毫米波-激光雷达数据的特征和双目视觉特征的关系权重矩阵和双目视觉特征图相乘，得到所述待检测物的融合特征图。
本发明实施例提供一种环境重建方法及装置，该方法包括：根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。该方法对获取到的激光雷达数据和毫米波雷达数据进行数据层预融合，对融合雷达数据和视觉数据进行特征层融合，可以有效避免因为环境变化导致的传感器误差；以目标为中心的融合神经网络模型，通过对多传感器数据特征提取融合重建，获取到精度更高的点云数据，从而完成高分辨率的三维模型；结合三种传感器的优点，通过对传感器收集到的数据进行融合，从而获得高精度的三维模型，满足环境重建和探测要求。解决现有环境检测重建中激光雷达和毫米波雷达在数据层的点云数据融合存在传感器误差、点云数据和像素数据的融合存在精度低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种环境重建方法流程示意图；
图2为本发明实施例提供的毫米波-激光雷达数据的特征生成方法流程示意图；
图3为本发明实施例提供的待检测物的融合特征图生成方法流程示意图；
图4为本发明实施例提供的一种环境重建装置结构示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示例性的示出了本发明新型实施例提供的一种环境重建方法流程示意图，如图1所示，该方法主要包括以下步骤：
步骤101，根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；
步骤102，所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；
步骤103，将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；
步骤104，所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。
需要说明的是，本发明实施例所提供的环境重建方法，其主要应用了双目视觉传感器、激光雷达传感器、毫米波雷达传感器和机位。
在步骤101之前，需要先完成对双目视觉传感器的标定、建立全局坐标系和确定坐标系转换公式，以下分别介绍这几块内容：
1、对双目视觉传感器进行标定，其标定主要包括以下步骤：
步骤S01：使用双目视觉传感器对标定板进行不同角度不同位置的拍摄10 张照片。可以从正前方、左前方、右前方等不同方位拍摄，要求标定板全部都在摄像范围内即可。
步骤S02：针对双目视觉传感器的标定，本发明实施例采用的是张氏标定法，其已经在opencv库中进行集成，只需调用相关函数即可。因为标定图为黑白的正方形区域相互交替组成，其黑白边缘的角点便可定位区域边界，所以通过调用findChessboardCorners函数判断输入图像是否为棋盘图像，然后将整幅图像转化为黑白图像，从而提取标定图的角点信息，将标定图各个区域的定位。同时因为相机成像的两个像素间仍有实际物理像素，称为亚像素，使用 cornerSubPix函数针对每一张标定图片中的角点计算其周围的亚像素信息，可以更好的识别区域边缘信息，以提高标定精度。
步骤S03：使用calibrateCamera函数进行标定，计算相机内参和外参系数。其中内参数矩阵主要用于将摄像机坐标系中的点转化为像素点，外参数矩阵包括平移矩阵和旋转矩阵，主要用于将世界坐标系中的点转换到摄像机坐标系。
步骤S104：通过相机内外参系数，将标定板上的三维点重新投影在图像上，计算新的投影坐标，然后计算亚像素角点坐标和投影坐标之间的偏差，利用标定结果对标定参数进行矫正。
2、建立全局坐标系包括以下步骤：
将激光雷达传感器、毫米波雷达传感器、双目视觉传感器和目标物依次设置，并且确定激光雷达传感器、毫米波雷达传感器、双目视觉传感器和目标物之间的距离和角度。
根据上述激光雷达传感器、毫米波雷达传感器、双目视觉传感器和目标物确定的位置，先建立全局坐标系O0，然后根据激光雷达传感器、毫米波传感器和双目视觉传感器在全局坐标系内的位置，依次得到激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标O1、双目视觉坐标 O2和毫米波坐标O3。
进一步地，根据目标物的位置，得到目标物在全局坐标系内的坐标(x0， y0，z0)；然后根据目标物分别在激光雷达坐标O1、双目视觉坐标O2和毫米波坐标O3的位置，得到目标物在激光雷达坐标系内的坐标(x1，y1，z1)，双目视觉坐标系内的坐标(x2，y2，z2)，毫米波坐标系内的坐标(x3，y3，z3)。
进一步地，分别将激光雷达坐标O1、双目视觉坐标O2和毫米波坐标O3转换到全局坐标系，具体包括以下：
将激光雷达坐标O1转换为全局坐标系，如公式(1)所示：
其中，R表示表示旋转参数，T表示平移参数，该数值需多次标定进行矫正，K表示激光雷达坐标O1转换为全局坐标系的转换矩阵。
将双目视觉坐标O2转换为全局坐标系，如公式(2)所示：
其中，f表示相机的焦距，S表示双目视觉坐标O2转换为全局坐标系的转换矩阵。
将毫米波坐标O3转换为全局坐标系，如公式(3)所示：
其中，θ表示毫米波雷达坐标系原点与全局坐标系原点和X坐标轴的角度， Q表示毫米波坐标O3转换为全局坐标系的转换矩阵。
进一步地，通过下列公式(4)确定毫米波传感器和激光雷达传感器之间的转换矩阵，通过下列公式(5)激光雷达传感器和视觉传感器之间的转换矩阵：
其中，R＝K-1*Q，T＝K-1*S；
在步骤101中，根据上述确定的全局坐标和当前待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器。
需要说明的是，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值，即将待检测物的位置换到目标物的位置，激光雷达传感器、毫米波雷达传感器、双目视觉传感器保持原来位置不变即可。从而可以确定激光雷达传感器、毫米波雷达传感器、双目视觉传感器和目标检测物所组成的全局坐标系O0，激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标O1、双目视觉坐标O2和毫米波坐标O3。
进一步地，还可以确定在该全局坐标系下，激光雷达坐标O1、双目视觉坐标O2和毫米波坐标O3转换到全局坐标系时所对应的转换公式；毫米波传感器和激光雷达传感器之间的转换矩阵；激光雷达传感器和视觉传感器之间的转换矩阵。
在步骤102中，根据激光雷达传感器、毫米波雷达传感器、双目视觉传感器和目标检测物的位置，可以开始对目标检测物进行雷达扫描或者拍摄。
在实际应用中，激光雷达传感器与毫米波雷达传感器所产生的传感数据均以三维点云数据为主，由于激光雷达传感器和毫米波雷达传感器都是无序的稀疏点云数据，为了使激光雷达传感器和毫米波雷达传感器能够良好的融合，本发明实施例中对激光雷达传感器和毫米波雷达传感器采取了点云柱快速编码方法。
具体地，如图2所示，激光雷达传感器对待检测物进行扫描，得到激光雷达点云数据，在激光雷达点云数据中，以激光雷达传感器为中心，将激光雷达点云数据均匀划分为若干个立方柱体，每个点云柱中的点数约束为N个。
进一步地，从获取到的激光雷达点云数据中提取(x1，y1，z1，I，xc，yc) 六个维度，其中(x1，y1，z1)表示三维点云坐标，I表示点云强度，(xc，yc)表示单个点云柱中点云的平均坐标值。将所有激光雷达点云数据进行编码，得到激光雷达点云张量(D，N，P)，其中，D是激光雷达所对应的整体点云柱的特征维度，N为单点云柱中点云数据的个数，P是非空点云柱柱体的数量。
具体地，毫米波雷达对待检测物进行扫描，得到毫米波雷达点云数据，在毫米波雷达点云数据中，以毫米波雷达传感器为中心，将毫米波雷达点云数据均匀划分为若干个立方柱体，每个点云柱中的点数约束为N个。
进一步地，从获取到的激光雷达点云数据中提取(x2，y2，z2，Vx，Vy，RCS) 六个维度，其中(x2，y2，z2)表示三维点云坐标，(Vx，Vy)表示补偿速度，RCS 表示目标雷达散射面级。将所有激光雷达点云数据进行编码，得到激光雷达点云张量(M，N，P)，其中，M是毫米波雷达所对应的整体点云柱的特征维度， N为单点云柱中点云数据的个数，P是非空点云柱柱体的数量。
得到激光雷达点云张量为(D，N，P)和毫米波雷达点云张量(M，N，P) 之后，可以分别对激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化操作，然后依次得到激光雷达特征矩阵和毫米波雷达特征矩阵。
具体地，将激光雷达点云张量(D，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到激光雷达特征矩阵(C，P)；将毫米波雷达点云张量(M，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到毫米波雷达特征矩阵(C，P)。
举例来说，将张量(D，N，P)进行C次1X1卷积，得到张量(C，N， P)。对张量(C，N，P)进行最大池化操作，得到特征矩阵(C，P)。
C表示原有的特征维度经过C次卷积后得到的新的特征维度，可在实验中，尝试不同数据，观察效率最高的特征维度。最大池化操作表示为在同一个点云柱内的所有点，我们选取其最大值来表示该点云柱的点，针对张量(C，N，P)，选取N个点中的最大值，得到特征矩阵(C，P)。
针对张量(D，N，P)，以特征维度为6，单个点云柱中点云数为5，非空点云柱数量为4，进行1次1X1卷积举例。针对上述提取的六个维度信息，建立5X4的矩阵，每个点都可以唯一表示某点云的某一个维度信息。针对6个 5X4矩阵，对其进行1次1X1卷积，其中卷积核使用2，在实际训练中，可以尝试不同卷积核所带来的效果，选取最佳卷积核。生成1个5X4矩阵，表示该点云仅有一个特征维度，表示张量为(1，N，P)。
当得到激光雷达特征矩阵和毫米波雷达特征矩阵之后，可以根据激光雷达特征矩阵包括的非空点云柱数量、毫米波雷达特征矩阵包括的非空点云柱数量和检测范围内的原始位置，依次将激光雷达特征矩阵包括的非空点云柱和毫米波雷达特征矩阵包括的非空点云柱映射到检测范围内的原始位置，分别得到激光雷达二维点云伪图像和激光雷达二维点云伪图像。
具体地，将激光雷达点云张量(D，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到激光雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的激光雷达二维点云伪图像。将毫米波雷达点云张量(M， N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到毫米波雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的毫米波雷达二维点云伪图像；其中，C为正整数，表示卷积次数；W表示最右侧点减去最左侧点得到的图像宽度，H表示最上侧点减去最下侧点得到的图像高度。
映射方法采用下述公式：
其中，x_img和y_img表示特征点经过映射后生成二维点云伪图像的坐标， (x，y，z)表示特征点的三维坐标，h_res表示激光雷达(毫米波雷达)的水平角度分辨率(雷达自身参数，其分辨率取决于旋转速度)，v_res表示激光雷达 (毫米波雷达)的垂直角度分辨率，采用数据(d，z)填充二维点云伪图像中 (x_img，y_img)点处的数值。在二维点云伪图像中未出现的点，采用(0，0)填充。
在步骤103中，激光雷达二维点云伪图像经过下采样卷积层，BatchNorm 层和RELU激活层得到纬度为(2C，W/2，H/2)激光雷达二维点云伪图像特征图；毫米波雷达二维点云伪图像经过下采样卷积层，BatchNorm层和RELU 激活层得到纬度为(2C，W/2，H/2)毫米波雷达二维点云伪图像特征图。
具体地，大小为(C，W，H)的毫米波雷达二维点云伪图像经过1个大小1X1，采样步长设置为2的下采样卷积层，BatchNorm层和RELU激活层后得到维度为(2C，W/2，H/2)的特征图激光雷达点云图的特征，大小为(C， W，H)毫米波雷达二维点云伪图像经过1个大小1X1，采样步长设置为2的下采样卷积层，BatchNorm层和RELU激活层后得到维度为(2C，W/2，H/2)毫米波雷达点云图的特征。
在实际应用中，BatchNorm层通过将归一化作为模型体系结构的一部分，并针对每个训练小批量执行归一化来获得其优势，使得下一层的非线性激活函数的输入在合理的范围内。
BatchNorm先求出此次批量数据x的均值
m表示样本数。然后求出这一批次的方差
对x做归一化
∈是为防止出现除0的错误而设置的较小数，比如∈＝1e-8。引入缩放和平移变量γ和β计算归一化后的值
γ和β参数均由反向传播算法自动优化，实现网络层“按需”缩放平移数据的分布的目的。BatchNorm层已经在深度学习pytorch和tensorflow中集成，通过通过BatchNormalization()类可以非常方便地实现BN层。
RELU层主要是将BN层的输出结果做非线性映射。激活函数RELU如下式所示，
前向计算时只需输入值和0比较，即可得到输出值。RELU函数的导数为
反向传播时梯度要么为0，要么不变，所以梯度的衰减很小，即使网路层数很深，前边层的收敛速度也不会很慢。因为BN层和RELU层仅对数值做线性处理，所以特征图的维度仍为(2C，W/2，H/2)。
进一步地，如图3所示，针对毫米波雷达二维点云伪图像特征图和激光雷达二维点云伪图像特征图，采用相加融合的方法，首先，采用上述步骤确定的激光雷达和毫米波雷达坐标转换矩阵，将毫米波雷达二维点云伪图像特征图特征点的坐标乘以转换矩阵得到该点在激光雷达特征图上的坐标表示，将毫米波雷达特征图中所有特征点均转换到激光雷达特征图上，即得到毫米波-激光雷达数据的特征。
进一步地，将毫米波-激光雷达数据的特征和双目视觉特征输入到网络中进行特征融合，网络中将采用注意力融合方法，将毫米波-激光雷达数据的特征和双目视觉特征进行点乘，将其结果利用softmax进行归一化，可以计算出毫米波-激光雷达数据的特征图Q和双目视觉特征图V的关系权重矩阵A，A 中各项计算如公式(9)(10)所示。在得到关系权重矩阵A后，将权重矩阵和双目视觉特征图相乘，即得到融合特征O。
Oj＝∑jAij·Vj (10)
需要说明的是，在获得双目视觉特征之前，标定过的双目视觉传感器对待检测物进行拍摄，得到左右双目图像，将左右双目图像输入网络进行特征提取，该网络借鉴了语义分割网络Unet的结构，包含下采样和上采样模块两部分构成。采用连续两次的编码-解码结构相连接，能够有效的提取图像中的像素特征和空间信息，确保网络能够提取到图像中更宽泛的内容和更加全面的信息。其中下采样模块使用三个大小为3x3，步长为2的卷积核和池化层、全连接层组成，上采样模块使用大小为2x2，步长为2的转置卷积核进行上采样。残差式的网络结构能通过增加相当大的深度进而提高准确率，可以解决网络退化问题。将左右目图像分别输入到网络中，经过下采样模块后，再输入到上采样模块，将上采样模块输出的特征图与下采样模块输出的特征图通过拼接操作组合到一起，然后利用大小为3x3，步长为1的卷积层对拼接的数据结果进行整合，融合左右目图像信息，生成双目视觉特征图。
在步骤103中，当获取到待检测物的融合特征图之后，待检测物的融合特征图可以采用PCL Poisson表面重建法重建，得到待检测物的三维图像。
综上所述，本发明实施例提供一种环境重建方法及装置，该方法包括：根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。该方法对获取到的激光雷达数据和毫米波雷达数据进行数据层预融合，对融合雷达数据和视觉数据进行特征层融合，可以有效避免因为环境变化导致的传感器误差；以目标为中心的融合神经网络模型，通过对多传感器数据特征提取融合重建，获取到精度更高的点云数据，从而完成高分辨率的三维模型；结合三种传感器的优点，通过对传感器收集到的数据进行融合，从而获得高精度的三维模型，满足环境重建和探测要求。解决现有环境检测重建中激光雷达和毫米波雷达在数据层的点云数据融合存在传感器误差、点云数据和像素数据的融合存在精度低的问题。
基于同一发明构思，本发明实施例提供了一种环境重建装置，由于该装置解决技术问题的原理与一种环境重建方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。如图4所示，该装置主要包括设置单元201，第一得到单元202，第二得到单元203和第三得到单元204。
设置单元201，用于根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；
第一得到单元202，用于所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；
第二得到单元203，用于将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；
第三得到单元204，用于所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。
优选地，所述第二得到单元203具体用于：
将所述激光雷达点云张量(D，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到激光雷达特征矩阵(C， P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的激光雷达二维点云伪图像；
将所述毫米波雷达点云张量(M，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到毫米波雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的毫米波雷达二维点云伪图像；
其中，C为正整数，表示卷积次数；W表示最右侧点减去最左侧点得到的图像宽度，H表示最上侧点减去最下侧点得到的图像高度；
所述激光雷达二维点云伪图像经过下采样卷积层，BatchNorm层和RELU 激活层得到纬度为(2C，W/2，H/2)激光雷达二维点云伪图像特征图；
所述毫米波雷达二维点云伪图像经过下采样卷积层，BatchNorm层和 RELU激活层得到纬度为(2C，W/2，H/2)毫米波雷达二维点云伪图像特征图；
根据毫米波雷达二维点云伪图像特征图、全局坐标系下激光雷达传感器和毫米波传感器之间的转换矩阵，将毫米波雷达二维点云伪图像特征图所包括的特征点转换到所述激光雷达二维点云伪图像特征图上，得到毫米波-激光雷达数据的特征。
优选地，所述第二得到单元203具体包括：
对双目视觉传感器得到左右双目图像进行卷积和池化处理，得到双目视觉特征；
采用注意力融合方法将所述毫米波-激光雷达数据的特征和所述双目视觉特征进行点乘，得到毫米波-激光雷达数据的特征图和双目视觉特征图的关系权重矩阵；
毫米波-激光雷达数据的特征和双目视觉特征的关系权重矩阵和双目视觉特征图相乘，得到所述待检测物的融合特征图。
应当理解，以上确定一种环境重建装置包括的单元仅为根据该设备装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种环境重建装置所实现的功能与上述实施例提供的一种环境重建方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种环境重建方法，其特征在于，包括：
根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；
所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；
将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；
所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。
2.如权利要求1所述的方法，其特征在于，所述根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器之前，还包括：
根据激光雷达传感器、毫米波雷达传感器、双目视觉传感器和标定板的位置，建立全局坐标系；其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和标定板之间的距离、角度均为固定值；
根据激光雷达传感器、毫米波传感器和双目视觉传感器在全局坐标系内的位置，依次得到激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标、毫米波坐标和双目视觉坐标；
依次将激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标、毫米波坐标和双目视觉坐标依次转换为全局坐标激光雷达矩阵、全局坐标毫米波矩阵和全局坐标双目视觉矩阵；
根据全局坐标激光雷达矩阵和全局坐标毫米波矩阵确定全局坐标系下激光雷达传感器和毫米波传感器之间的转换矩阵。
3.如权利要求2所述的方法，其特征在于，所述全局坐标激光雷达矩阵为：
其中，R表示表示旋转参数，T表示平移参数，K表示激光雷达坐标转换为全局坐标系的转换矩阵；
全局坐标双目视觉矩阵：
其中，f表示相机的焦距，S表示双目视觉坐标转换为全局坐标系的转换矩阵；
全局坐标毫米波矩阵为：
其中，θ表示毫米波雷达坐标系原点与全局坐标系原点和X坐标轴的角度，Q表示毫米波坐标转换为全局坐标系的转换矩阵。
4.如权利要求1所述的方法，其特征在于，所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量，具体包括：
将所述激光雷达点云数据进行编码，得到激光雷达点云张量；其中，激光雷达点云张量为(D，N，P)，D是激光雷达所对应的整体点云柱的特征维度，N为单点云柱中点云数据的个数，P是非空点云柱柱体的数量；
将毫米波雷达点云数据进行编码，得到毫米波雷达点云张量；其中，毫米波雷达点云张量为(M，N，P)，M是毫米波雷达所对应的整体点云柱的特征维度，N为单点云柱中点云数据的个数，P是非空点云柱柱体的数量。
5.如权利要求1所述的方法，其特征在于，所述将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像，具体包括：
将所述激光雷达点云张量(D，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到激光雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的激光雷达二维点云伪图像；
将所述毫米波雷达点云张量(M，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到毫米波雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的毫米波雷达二维点云伪图像；
其中，C为正整数，表示卷积次数；W表示最右侧点减去最左侧点得到的图像宽度，H表示最上侧点减去最下侧点得到的图像高度。
6.如权利要求5所述的方法，其特征在于，所述将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征，具体包括：
所述激光雷达二维点云伪图像经过下采样卷积层，BatchNorm层和RELU激活层得到纬度为(2C，W/2，H/2)激光雷达二维点云伪图像特征图；
所述毫米波雷达二维点云伪图像经过下采样卷积层，BatchNorm层和RELU激活层得到纬度为(2C，W/2，H/2)毫米波雷达二维点云伪图像特征图；
根据毫米波雷达二维点云伪图像特征图、全局坐标系下激光雷达传感器和毫米波传感器之间的转换矩阵，将毫米波雷达二维点云伪图像特征图所包括的特征点转换到所述激光雷达二维点云伪图像特征图上，得到毫米波-激光雷达数据的特征。
7.如权利要求6所述的方法，其特征在于，将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图，具体包括：
对双目视觉传感器得到左右双目图像进行卷积和池化处理，得到双目视觉特征；
采用注意力融合方法将所述毫米波-激光雷达数据的特征和所述双目视觉特征进行点乘，得到毫米波-激光雷达数据的特征图和双目视觉特征图的关系权重矩阵；
毫米波-激光雷达数据的特征和双目视觉特征的关系权重矩阵和双目视觉特征图相乘，得到所述待检测物的融合特征图。
8.一种环境重建装置，其特征在于，包括：
设置单元，用于根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；
第一得到单元，用于所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；
第二得到单元，用于将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；
第三得到单元，用于所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。
9.如权利要求8所述的装置，其特征在于，所述第二得到单元具体用于：
将所述激光雷达点云张量(D，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到激光雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的激光雷达二维点云伪图像；
将所述毫米波雷达点云张量(M，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到毫米波雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的毫米波雷达二维点云伪图像；
其中，C为正整数，表示卷积次数；W表示最右侧点减去最左侧点得到的图像宽度，H表示最上侧点减去最下侧点得到的图像高度；
所述激光雷达二维点云伪图像经过下采样卷积层，BatchNorm层和RELU激活层得到纬度为(2C，W/2，H/2)激光雷达二维点云伪图像特征图；
所述毫米波雷达二维点云伪图像经过下采样卷积层，BatchNorm层和RELU激活层得到纬度为(2C，W/2，H/2)毫米波雷达二维点云伪图像特征图；
根据毫米波雷达二维点云伪图像特征图、全局坐标系下激光雷达传感器和毫米波传感器之间的转换矩阵，将毫米波雷达二维点云伪图像特征图所包括的特征点转换到所述激光雷达二维点云伪图像特征图上，得到毫米波-激光雷达数据的特征。
10.如权利要求8所述的装置，其特征在于，所述第二得到单元具体包括：
对双目视觉传感器得到左右双目图像进行卷积和池化处理，得到双目视觉特征；
采用注意力融合方法将所述毫米波-激光雷达数据的特征和所述双目视觉特征进行点乘，得到毫米波-激光雷达数据的特征图和双目视觉特征图的关系权重矩阵；
毫米波-激光雷达数据的特征和双目视觉特征的关系权重矩阵和双目视觉特征图相乘，得到所述待检测物的融合特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110847229.9A CN113506372A (zh) | 2021-07-26 | 2021-07-26 | 一种环境重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110847229.9A CN113506372A (zh) | 2021-07-26 | 2021-07-26 | 一种环境重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113506372A true CN113506372A (zh) | 2021-10-15 |
Family
ID=78014009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110847229.9A Pending CN113506372A (zh) | 2021-07-26 | 2021-07-26 | 一种环境重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113506372A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529886A (zh) * | 2022-04-24 | 2022-05-24 | 苏州挚途科技有限公司 | 障碍物的确定方法、装置和系统 |
| CN115082924A (zh) * | 2022-04-26 | 2022-09-20 | 电子科技大学 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
| CN115393680A (zh) * | 2022-08-08 | 2022-11-25 | 武汉理工大学 | 雾天场景下多模态信息时空融合的3d目标检测方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536154A (zh) * | 2018-05-14 | 2018-09-14 | 重庆师范大学 | 基于生物电信号控制的低速自动驾驶智能轮椅构建方法 |
| CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
| CN111242041A (zh) * | 2020-01-15 | 2020-06-05 | 江苏大学 | 基于伪图像技术的激光雷达三维目标快速检测方法 |
| WO2020119661A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种目标检测方法、装置以及行人检测方法、系统 |
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| CN111694010A (zh) * | 2020-05-27 | 2020-09-22 | 东南大学 | 一种基于视觉与激光雷达融合的路侧车辆识别方法 |
| CN112529965A (zh) * | 2020-12-08 | 2021-03-19 | 长沙行深智能科技有限公司 | 一种激光雷达与单目相机的标定方法及装置 |
| CN113111974A (zh) * | 2021-05-10 | 2021-07-13 | 清华大学 | 基于深度典型相关分析的视觉-激光雷达融合方法及系统 |
| CN113158763A (zh) * | 2021-02-23 | 2021-07-23 | 清华大学 | 4d毫米波和激光点云多视角特征融合的三维目标检测方法 |
-
2021
- 2021-07-26 CN CN202110847229.9A patent/CN113506372A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536154A (zh) * | 2018-05-14 | 2018-09-14 | 重庆师范大学 | 基于生物电信号控制的低速自动驾驶智能轮椅构建方法 |
| WO2020119661A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种目标检测方法、装置以及行人检测方法、系统 |
| CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
| CN111242041A (zh) * | 2020-01-15 | 2020-06-05 | 江苏大学 | 基于伪图像技术的激光雷达三维目标快速检测方法 |
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| CN111694010A (zh) * | 2020-05-27 | 2020-09-22 | 东南大学 | 一种基于视觉与激光雷达融合的路侧车辆识别方法 |
| CN112529965A (zh) * | 2020-12-08 | 2021-03-19 | 长沙行深智能科技有限公司 | 一种激光雷达与单目相机的标定方法及装置 |
| CN113158763A (zh) * | 2021-02-23 | 2021-07-23 | 清华大学 | 4d毫米波和激光点云多视角特征融合的三维目标检测方法 |
| CN113111974A (zh) * | 2021-05-10 | 2021-07-13 | 清华大学 | 基于深度典型相关分析的视觉-激光雷达融合方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王宇岚;孙韶媛;刘致驿;卜德飞;: "基于多视角融合的夜间无人车三维目标检测", 应用光学, no. 02 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529886A (zh) * | 2022-04-24 | 2022-05-24 | 苏州挚途科技有限公司 | 障碍物的确定方法、装置和系统 |
| CN115082924A (zh) * | 2022-04-26 | 2022-09-20 | 电子科技大学 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
| CN115082924B (zh) * | 2022-04-26 | 2024-03-29 | 电子科技大学 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
| CN115393680A (zh) * | 2022-08-08 | 2022-11-25 | 武汉理工大学 | 雾天场景下多模态信息时空融合的3d目标检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685842B (zh) | 一种基于多尺度网络的稀疏深度稠密化方法 | |
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN112132972B (zh) | 一种激光与图像数据融合的三维重建方法及系统 | |
| CN113506372A (zh) | 一种环境重建方法及装置 | |
| CN111563923A (zh) | 获得稠密深度图的方法及相关装置 | |
| Simarro et al. | ULISES: An open source code for extrinsic calibrations and planview generations in coastal video monitoring systems | |
| CA2711727C (en) | Method and camera for the real-time acquisition of visual information from three-dimensional scenes | |
| CN106780712B (zh) | 联合激光扫描和影像匹配的三维点云生成方法 | |
| CN113436258B (zh) | 基于视觉与激光雷达融合的海上浮码头检测方法及系统 | |
| CN105678757B (zh) | 一种物体位移测量方法 | |
| CN113052109A (zh) | 一种3d目标检测系统及其3d目标检测方法 | |
| CN113962858B (zh) | 一种多视角深度获取方法 | |
| Peña-Villasenín et al. | 3-D modeling of historic façades using SFM photogrammetry metric documentation of different building types of a historic center | |
| CN113963117B (zh) | 一种基于可变卷积深度网络的多视图三维重建方法及装置 | |
| CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
| CN115082450A (zh) | 基于深度学习网络的路面裂缝检测方法和系统 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN112766135A (zh) | 目标检测方法、装置、电子设备和存储介质 | |
| CN111145264B (zh) | 多传感器的标定方法、装置及计算设备 | |
| CN108305281A (zh) | 图像的校准方法、装置、存储介质、程序产品和电子设备 | |
| CN105352482A (zh) | 基于仿生复眼微透镜技术的3-3-2维目标检测方法及系统 | |
| CN116912675A (zh) | 一种基于特征迁移的水下目标检测方法及系统 | |
| CN115326025B (zh) | 一种用于海浪的双目影像测量与预测方法 | |
| CN116258832A (zh) | 基于铲装前后物料堆三维重构的铲装体积获取方法及系统 | |
| CN114663519A (zh) | 一种多相机标定方法、装置及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |