CN112085801B - 基于神经网络的三维点云和二维图像融合的校准方法 - Google Patents
基于神经网络的三维点云和二维图像融合的校准方法 Download PDFInfo
- Publication number
- CN112085801B CN112085801B CN202010932749.5A CN202010932749A CN112085801B CN 112085801 B CN112085801 B CN 112085801B CN 202010932749 A CN202010932749 A CN 202010932749A CN 112085801 B CN112085801 B CN 112085801B
- Authority
- CN
- China
- Prior art keywords
- matrix
- point cloud
- neural network
- extrinsic
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 122
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000003068 static effect Effects 0.000 claims abstract description 8
- 229940050561 matrix product Drugs 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于神经网络的三维点云和二维图像融合的校准方法，包括：获取图像的像素坐标，及激光雷达的体素坐标；建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；构建神经网络结构，所述神经网络结构包括矩阵乘积核和矩阵乘积层，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；将静态标定的外参矩阵作为初始值训练模型；使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。该方法可以得到更加精确的外参矩阵，使得三维点云到二维图像的融合更加准确。
Description
技术领域
本发明涉及传感器信息融合处理技术领域，具体地涉及一种基于神经网络的三维点云和二维图像融合的校准方法及系统。
背景技术
在无人驾驶环境感知设备中，激光雷达和摄像头分别有各自的优缺点。摄像头的优点是成本低廉，环境场景色彩辨识度高，技术相对比较成熟。劣势在于难以获取准确的三维信息、受环境光照等的限制比较大。
激光雷达的优点在于其探测距离较远，能够准确获取物体的三维信息，稳定性相当高，鲁棒性好。但目前激光雷达成本较高，而且产品的最终形态也还未确定。
就两种传感器应用特点来讲，摄像头和激光雷达摄像头都可用于进行道路目标检测识别。但两种传感器为基础的检测识别算法都不能达到100％的准确率和召回率。但是无人驾驶涉及人类生命财产安全问题，对感知识别精度要求即为严格。两种传感器融合的解决方案可以互相弥补各自的确定，大大提升检测识别目标的精确度。
实现激光雷达的三维点云和摄像头的二维图像融合需要获取激光雷达到图像的外参矩阵，和图像自身的内参矩阵。通过外参矩阵和内参矩阵可以达到二维三维融合的目的。也是目前的普遍的融合方法。具体原理如下：
设像素坐标为Y，点云坐标为X，则：
Prect是内参矩阵(相机标定得到)，是外参矩阵(velo≥cam)通过计算旋转矩阵和偏移量计算。
外参矩阵的获取原理如下：
首先定义世界坐标系(即激光坐标系)：(xw,yw,zw)和相机坐标系(cam0，彩色相机)：(xc,yc,zc)。
世界坐标系转换为相机坐标系公式如下：
其中，R为3*3的旋转矩阵，t为3*1的平移矢量(即从激光旋转并平移到cam0)，即为外参矩阵。
该方法存在的实际的棘手的问题有：实际应用时矩阵很难校准的特别准确，行驶状态下由于颠簸等原因会导致激光雷达和摄像头的位姿发生抖动和偏移，行驶目标拍摄延时，激光雷达和摄像头时间戳很难配准，相机本身存在畸变，畸变校准不精确等等都会导致融合结果存在偏差。本发明因而来。
发明内容
为了解决现有三维二维融合投影不准确的问题，特别是在运动状态下三维到二维的投影结果偏差很大，很难达到商用性的现状的技术问题，本发明提供了一种基于神经网络的三维点云和二维图像融合的校准方法及系统，可以得到更加精确的外参矩阵，使得三维点云到二维图像的融合更加准确。
本发明的技术方案是：
一种基于神经网络的三维点云和二维图像融合的校准方法，包括以下步骤：
S01：获取图像的像素坐标，及激光雷达的体素坐标；
S02：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；
S03：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；
S04：将静态标定的外参矩阵作为初始值训练模型；
S05：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。
优选的技术方案中，所述步骤S03中所述外参矩阵采用梯度下降法进行网络的反向传播，所述内参矩阵的学习率为0，不做反向传播。
优选的技术方案中，所述步骤S03中外参矩阵乘积核的乘积运算的步长为1，核大小为1个单位。
优选的技术方案中，所述步骤S04中还包括迭代一定数量后，对更新的外参矩阵进行测试，用更新的外参矩阵重新计算点云到图像的投影，计算误差，若误差小于设定阈值，判断训练完成。
本发明还公开了一种基于神经网络的三维点云和二维图像融合的校准系统，包括：
提取模块，获取图像的像素坐标，及激光雷达的体素坐标；
映射处理模块：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；
神经网络模块：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；
训练模块：将静态标定的外参矩阵作为初始值训练模型；
融合模块：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。
优选的技术方案中，所述神经网络模块中所述外参矩阵采用梯度下降法进行网络的反向传播，所述内参矩阵的学习率为0，不做反向传播。
优选的技术方案中，所述神经网络模块中外参矩阵乘积核的乘积运算的步长为1，核大小为1个单位。
优选的技术方案中，所述训练模块中还包括测试模块，用于迭代一定数量后，对更新的外参矩阵进行测试，用更新的外参矩阵重新计算点云到图像的投影，计算误差，若误差小于设定阈值，判断训练完成。
与现有技术相比，本发明的优点是：
1.本发明提供模拟神经网络学习方法优化外参矩阵的方案，解决现有三维二维融合投影不准确的问题，特别是在运动状态下三维到二维的投影结果偏差很大，很难达到商用性的现状的技术问题，该方法可以适配实际激光雷达和摄像头采集的情况，解决了真实设备采集时是动态的，而传统的标定时是静态的，时间戳的时间差会导致静态标定无法满足准确的三维点云到二维彩色融合投影的问题。可以为自动驾驶或者高级辅助驾驶提供更加精准的外参矩阵。
2.本发明的神经网络是一种基于外参核的乘积网络，采用的是乘积运算规律，该网络的设计简便，实现方便，运算速度快基本不耗时，可以应用与自动驾驶汽车运行过程中，实现动态自修订。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明基于神经网络的三维点云和二维图像融合的校准方法的流程图；
图2为本发明图像和点云坐标位置的一一对应关系示意图；
图3为本发明基于外参核的乘积网络结构示意图；
图4为本发明方法中像素和点云一一坐标对应的样例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例：
下面结合附图，对本发明的较佳实施例作进一步说明。
一种基于神经网络的三维点云和二维图像融合的校准方法，包括以下步骤：
S01：获取图像的像素坐标，及激光雷达的体素坐标；
S02：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；
S03：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；
S04：将静态标定的外参矩阵作为初始值训练模型；
S05：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。
如图2所示，为构建用于训练的数据集，采用百张以上的一一对应的点云和图像。点云和图像可以是实时的激光雷达和摄像头采集的数据。对于点云和图像进行坐标提取，该过程相当于标注，采用半自动的方式提取坐标对，图像中提取的较佳区域为纹理丰富，并且包含静态点和动态点的区域。提取的坐标组成N*N的矩阵，特别的本实施例中采用的是20*20*3的矩阵。
构建神经网络结构，首先框架的基准以回归正确的参数为目的，训练数据集为像素坐标点和雷达点云坐标点一一对齐的N*N矩阵，像素坐标点阵用Pic表示，雷达点云坐标点为Velo表示。网络结构设计为类似分割网络，输入为图像，输出为等尺寸的点云。网络的权重为外参矩阵形式，初始值初始化为初始标定的外参矩阵。
如图3所示，该网络主要由矩阵乘积核(初始化第二层为初始外参矩阵，第三层内参矩阵保持不变不做反向传播)和矩阵乘积层(第一层输入层，第二层输入层和外参矩阵计算后的特征层，第三层上述特征层和内参核计算后的特征层)部分组成。
该方法以外参矩阵的乘积为基础，运算方式如公式1所示，不同于常规的卷积神经网络，本发明根据外参矩阵和图像像素与点云体素之间的关系符合乘积规律，采用的乘积核做矩阵乘积运算，不同于常规的卷积神经网络用卷积核做卷积运算。
设A为m*p的矩阵，B为p*n的矩阵，那么称m*n的矩阵C为矩阵A与B的乘积，记作C＝AB，其中矩阵C中的第i行第j列元素可以表示为：矩阵乘积公式如下：
3*3的像素区域R与卷积核G的卷积运算,R5(中心像素)＝R1G1+R2G2+R3G3+R4G4+R5G5+R6G6+R7G7+R8G8+R9G9，而乘积运算的R5(中心像素)＝R4G2+R5G5+R6G8。对比公式3和公式4可以看出卷积核乘积运算的本质区别。
本发明设计了三层网络，第一层是输入层，点云体素组成的矩阵，第二层是经过点云体素矩阵和外参矩阵乘积后的特征层，第三层是第二层特征矩阵和内参矩阵乘积获得的输出层，像素坐标矩阵。本发明采用梯度下降法进行网络的反向传播，来优化外参矩阵，第三层参数不随训练次数改变，学习率为0。本实施例中外参矩阵4*4矩阵，内参矩阵3*4矩阵。
本发明的输入层的矩阵组成是N*N*3表示N*N个体素坐标。输出层是N*N*3表示N*N个像素坐标，坐标格式为(x,y,1)。然后每一步的外参矩阵核做的乘积运算的步长为1，然后核大小是1个单位。
用静态标定的外参矩阵作为初始值开始训练模型。迭代大概10个epcho后，用更新的外参矩阵做测试。测试方法为用上述更新的外参矩阵按照公式1重新计算点云到图像的投影，计算误差，若误差小于设定阈值，判断训练完成。
根据得到的外参矩阵对三维点云和二维图像进行融合，如图4所示。
实验证明，本发明设计的方法可以获得更加精确的投影位置，及获得了更优的外参矩阵。
另一实施例中，本发明还公开了一种基于神经网络的三维点云和二维图像融合的校准系统，该校准系统与上述实施例中校准方法一一对应，包括：
提取模块，获取图像的像素坐标，及激光雷达的体素坐标；
映射处理模块：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；
神经网络模块：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；
训练模块：将静态标定的外参矩阵作为初始值训练模型；
融合模块：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (4)
1.一种基于神经网络的三维点云和二维图像融合的校准方法，其特征在于，包括以下步骤：
S01：获取图像的像素坐标，及激光雷达的体素坐标；
S02：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；
S03：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；所述外参矩阵采用梯度下降法进行网络的反向传播，所述内参矩阵的学习率为0，不做反向传播；所述S03中外参矩阵乘积核的乘积运算的步长为1，核大小为1个单位；
S04：将静态标定的外参矩阵作为初始值训练模型；
S05：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合；
设像素坐标为Y，点云坐标为X，则：
其中，Prect是内参矩阵，由相机标定得到；
是外参矩阵，外参矩阵的获取原理如下：
首先定义激光坐标系：(xw,yw,zw)和相机坐标系：(xc,yc,zc)；
激光坐标系转换为相机坐标系公式如下：
其中，R为3*3的旋转矩阵，t为3*1的平移矢量，即为外参矩阵。
2.根据权利要求1所述的基于神经网络的三维点云和二维图像融合的校准方法，其特征在于，所述S04中还包括迭代一定数量后，对更新的外参矩阵进行测试，用更新的外参矩阵重新计算点云到图像的投影，计算误差，若误差小于设定阈值，判断训练完成。
3.一种基于神经网络的三维点云和二维图像融合的校准系统，其特征在于，包括：
提取模块，获取图像的像素坐标，及激光雷达的体素坐标；
映射处理模块：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；
神经网络模块：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；
所述外参矩阵采用梯度下降法进行网络的反向传播，所述内参矩阵的学习率为0，不做反向传播；所述外参矩阵乘积核的乘积运算的步长为1，核大小为1个单位；
训练模块：将静态标定的外参矩阵作为初始值训练模型；
融合模块：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合；
设像素坐标为Y，点云坐标为X，则：
其中，Prect是内参矩阵，由相机标定得到；
是外参矩阵，外参矩阵的获取原理如下：
首先定义激光坐标系：(xw,yw,zw)和相机坐标系：(xc,yc,zc)；
激光坐标系转换为相机坐标系公式如下：
其中，R为3*3的旋转矩阵，t为3*1的平移矢量，即为外参矩阵。
4.根据权利要求3所述的基于神经网络的三维点云和二维图像融合的校准系统，其特征在于，所述训练模块中还包括测试模块，用于迭代一定数量后，对更新的外参矩阵进行测试，用更新的外参矩阵重新计算点云到图像的投影，计算误差，若误差小于设定阈值，判断训练完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010932749.5A CN112085801B (zh) | 2020-09-08 | 2020-09-08 | 基于神经网络的三维点云和二维图像融合的校准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010932749.5A CN112085801B (zh) | 2020-09-08 | 2020-09-08 | 基于神经网络的三维点云和二维图像融合的校准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112085801A CN112085801A (zh) | 2020-12-15 |
| CN112085801B true CN112085801B (zh) | 2024-03-19 |
Family
ID=73732157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010932749.5A Active CN112085801B (zh) | 2020-09-08 | 2020-09-08 | 基于神经网络的三维点云和二维图像融合的校准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085801B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077523B (zh) * | 2021-03-31 | 2023-11-24 | 商汤集团有限公司 | 一种标定方法、装置、计算机设备及存储介质 |
| CN113160330B (zh) * | 2021-04-16 | 2023-04-07 | 上海交通大学 | 基于端到端的相机与激光雷达标定方法、系统及介质 |
| CN113610172B (zh) * | 2021-08-13 | 2023-08-18 | 北京地平线信息技术有限公司 | 神经网络模型训练方法和装置、传感数据融合方法和装置 |
| CN113920178B (zh) * | 2021-11-09 | 2022-04-12 | 广州柏视医疗科技有限公司 | 一种基于标记点的多视觉2d-3d图像配准方法及系统 |
| CN114758504B (zh) * | 2022-06-13 | 2022-10-21 | 之江实验室 | 一种基于滤波校正的网联车超速预警方法及系统 |
| CN115150564A (zh) * | 2022-09-05 | 2022-10-04 | 珠海翔翼航空技术有限公司 | 图像成像方法及装置 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011052842A1 (de) * | 2010-08-23 | 2012-02-23 | General Electric Co. | Bildverarbeitungsverfahren zur Bestimmung verdächtiger Regionen in einer Gewebematrix und dessen Verwendung zur 3D-Navigation durch die Gewebematrix |
| CN108875844A (zh) * | 2018-07-20 | 2018-11-23 | 清华大学苏州汽车研究院（吴江） | 激光雷达图像与摄像机图像的匹配方法及系统 |
| CN109003325A (zh) * | 2018-06-01 | 2018-12-14 | 网易（杭州）网络有限公司 | 一种三维重建的方法、介质、装置和计算设备 |
| CN109087393A (zh) * | 2018-07-23 | 2018-12-25 | 汕头大学 | 一种构建三维地图的方法 |
| CN109285215A (zh) * | 2018-08-28 | 2019-01-29 | 腾讯科技（深圳）有限公司 | 一种人体三维模型重建方法、装置和存储介质 |
| CN109308719A (zh) * | 2018-08-31 | 2019-02-05 | 电子科技大学 | 一种基于三维卷积的双目视差估计方法 |
| EP3462373A1 (en) * | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
| CN109584286A (zh) * | 2019-01-22 | 2019-04-05 | 东南大学 | 一种基于广义回归神经网络的沥青路面构造深度计算方法 |
| CN110060331A (zh) * | 2019-03-14 | 2019-07-26 | 杭州电子科技大学 | 一种基于全卷积神经网络的单目相机室外三维重建方法 |
| CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和系统 |
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
| CN110458957A (zh) * | 2019-07-31 | 2019-11-15 | 浙江工业大学 | 一种基于神经网络的图像三维模型构建方法及装置 |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| CN110992356A (zh) * | 2019-12-17 | 2020-04-10 | 深圳辰视智能科技有限公司 | 目标对象检测方法、装置和计算机设备 |
| CN111161338A (zh) * | 2019-12-26 | 2020-05-15 | 浙江大学 | 一种基于二维图像灰度进行深度预测的点云密度提升方法 |
| CN111311611A (zh) * | 2020-02-17 | 2020-06-19 | 清华大学深圳国际研究生院 | 一种实时三维大场景多对象实例分割的方法 |
| CN111563923A (zh) * | 2020-07-15 | 2020-08-21 | 浙江大华技术股份有限公司 | 获得稠密深度图的方法及相关装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10783639B2 (en) * | 2016-10-19 | 2020-09-22 | University Of Iowa Research Foundation | System and method for N-dimensional image segmentation using convolutional neural networks |
| CN109559349B (zh) * | 2017-09-27 | 2021-11-09 | 虹软科技股份有限公司 | 一种用于标定的方法和装置 |
| US11017550B2 (en) * | 2017-11-15 | 2021-05-25 | Uatc, Llc | End-to-end tracking of objects |
-
2020
- 2020-09-08 CN CN202010932749.5A patent/CN112085801B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011052842A1 (de) * | 2010-08-23 | 2012-02-23 | General Electric Co. | Bildverarbeitungsverfahren zur Bestimmung verdächtiger Regionen in einer Gewebematrix und dessen Verwendung zur 3D-Navigation durch die Gewebematrix |
| EP3462373A1 (en) * | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
| CN109003325A (zh) * | 2018-06-01 | 2018-12-14 | 网易（杭州）网络有限公司 | 一种三维重建的方法、介质、装置和计算设备 |
| CN108875844A (zh) * | 2018-07-20 | 2018-11-23 | 清华大学苏州汽车研究院（吴江） | 激光雷达图像与摄像机图像的匹配方法及系统 |
| CN109087393A (zh) * | 2018-07-23 | 2018-12-25 | 汕头大学 | 一种构建三维地图的方法 |
| CN109285215A (zh) * | 2018-08-28 | 2019-01-29 | 腾讯科技（深圳）有限公司 | 一种人体三维模型重建方法、装置和存储介质 |
| CN109308719A (zh) * | 2018-08-31 | 2019-02-05 | 电子科技大学 | 一种基于三维卷积的双目视差估计方法 |
| CN109584286A (zh) * | 2019-01-22 | 2019-04-05 | 东南大学 | 一种基于广义回归神经网络的沥青路面构造深度计算方法 |
| CN110060331A (zh) * | 2019-03-14 | 2019-07-26 | 杭州电子科技大学 | 一种基于全卷积神经网络的单目相机室外三维重建方法 |
| CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和系统 |
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
| CN110458957A (zh) * | 2019-07-31 | 2019-11-15 | 浙江工业大学 | 一种基于神经网络的图像三维模型构建方法及装置 |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| CN110992356A (zh) * | 2019-12-17 | 2020-04-10 | 深圳辰视智能科技有限公司 | 目标对象检测方法、装置和计算机设备 |
| CN111161338A (zh) * | 2019-12-26 | 2020-05-15 | 浙江大学 | 一种基于二维图像灰度进行深度预测的点云密度提升方法 |
| CN111311611A (zh) * | 2020-02-17 | 2020-06-19 | 清华大学深圳国际研究生院 | 一种实时三维大场景多对象实例分割的方法 |
| CN111563923A (zh) * | 2020-07-15 | 2020-08-21 | 浙江大华技术股份有限公司 | 获得稠密深度图的方法及相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| 二维和三维视觉传感集成系统联合标定方法;李琳;张旭;屠大维;;仪器仪表学报(11);第2473-2479页 * |
| 可见光图像与合成孔径雷达图像的快速配准;谢志华等;激光与光电子学进展;20200331;第57卷(第6期);0６２８０３－１至６２８０３－9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112085801A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112085801B (zh) | 基于神经网络的三维点云和二维图像融合的校准方法 | |
| CN107341814B (zh) | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 | |
| CN110570449B (zh) | 一种基于毫米波雷达与视觉slam的定位与建图方法 | |
| CN108198223A (zh) | 一种激光点云与视觉图像映射关系快速精确标定方法 | |
| CN111784778B (zh) | 基于线性求解非线性优化的双目相机外参标定方法和系统 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN110189400B (zh) | 一种三维重建方法、三维重建系统、移动终端及存储装置 | |
| CN111210478B (zh) | 一种无共同视野多相机系统外参标定方法、介质及系统 | |
| CN110942477B (zh) | 一种利用双目相机和激光雷达深度图融合的方法 | |
| CN111862180B (zh) | 一种相机组位姿获取方法、装置、存储介质及电子设备 | |
| CN114254696A (zh) | 基于深度学习的可见光、红外和雷达融合目标检测方法 | |
| CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
| CN112001958A (zh) | 基于有监督单目深度估计的虚拟点云三维目标检测方法 | |
| CN107527366B (zh) | 一种面向深度相机的相机跟踪方法 | |
| CN113393522A (zh) | 一种基于单目rgb相机回归深度信息的6d位姿估计方法 | |
| CN113160327A (zh) | 一种点云补全的实现方法和系统 | |
| CN113192646A (zh) | 目标检测模型构建方法及不同目标间距离监控方法、装置 | |
| CN114155501A (zh) | 一种无人车在烟雾遮挡环境下的目标检测方法 | |
| CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
| CN113449692A (zh) | 一种基于无人机的地图车道信息更新方法及其系统 | |
| CN110992429B (zh) | 一种单一场景大视场相机外参数标定方法 | |
| CN114777768A (zh) | 一种卫星拒止环境高精度定位方法、系统及电子设备 | |
| CN116576850B (zh) | 一种位姿确定方法、装置、计算机设备及存储介质 | |
| CN112419427A (zh) | 用于提高飞行时间相机精度的方法 | |
| CN115546216B (zh) | 一种托盘检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |