CN116863072A - 基于视觉-激光融合的单体三维重建方法及系统 - Google Patents
基于视觉-激光融合的单体三维重建方法及系统 Download PDFInfo
- Publication number
- CN116863072A CN116863072A CN202310752773.4A CN202310752773A CN116863072A CN 116863072 A CN116863072 A CN 116863072A CN 202310752773 A CN202310752773 A CN 202310752773A CN 116863072 A CN116863072 A CN 116863072A
- Authority
- CN
- China
- Prior art keywords
- camera
- point cloud
- image
- monomer
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了基于视觉‑激光融合的单体三维重建方法及系统，属于三维重建技术领域，本发明要解决的技术问题为如何实现高效且低成本的单体三维重建，技术方案为：将相机与激光雷达组合固定；开展相机标定，获取相机内参；开展相机和激光雷达的联合参数标定，获取相机外参；开启相机与激光雷达采集环境信息，基于相机获取图像，并对图像进行分割识别，确定待重建单体的图像位置区域；根据分割识别后的图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息；基于保留的单体所对应的点云信息，利用3D Delaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，生成单体三维模型。
Description
技术领域
本发明涉及三维重建技术领域，具体地说是一种基于视觉-激光融合的单体三维重建方法及系统。
背景技术
单体三维重建是指通过对单个物体进行扫描、拍照或测量等方式，将其表面信息转化为三维模型的过程。随着计算机技术、传感器技术和成像技术的不断发展，单体三维重建的应用越来越广泛，涉及到工业设计、文化遗产保护、医学影像重建、虚拟现实等领域，具有重要的研究背景和意义，将为各个领域的发展和进步提供重要的支持和推动。
一般单体三维重建方法往往需要对每个待重建物体单独进行信息采集，这将消耗大量的资源成本，并导致重建效率较低。
故如何实现高效且低成本的单体三维重建是目前亟待解决的技术问题。
发明内容
本发明的技术任务是提供一种基于视觉-激光融合的单体三维重建方法及系统，来解决如何实现高效且低成本的单体三维重建的问题。
本发明的技术任务是按以下方式实现的，一种基于视觉-激光融合的单体三维重建方法，该方法是利用激光雷达获取场景稠密点云信息，使用视觉识别场景中待重建单体并辅助滤波激光雷达点云，生成单体三维模型；具体如下：
将相机与激光雷达组合固定；
开展相机标定，获取相机内参；
开展相机和激光雷达的联合参数标定，获取相机外参；
开启相机与激光雷达采集环境信息，基于相机获取高分辨率图像，并对高分辨率图像进行分割识别，确定待重建单体的图像位置区域；
根据分割识别后的高分辨率图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息；
基于保留的单体所对应的点云信息，利用3D Delaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，从而生成单体三维模型。
作为优选，开展相机标定，获取相机内参具体如下：
使用相机从多个角度多距离拍摄相机标定板图像；
基于采集到的相机标定板图像，利用张正友标定法获取相机内参。
作为优选，开展相机和激光雷达的联合参数标定，获取相机外参具体如下：
将相机标定板作为目标，同步激光雷达和相机时间，纠正相机标定板图像；
在相机标定板图像中提取矩形标定板角点和边缘，在点云中提取相机标定板的边缘和平面点；
匹配矩形特征2D-3D；
采用point-to-line和point-inside-polygon约束进行优化，获取相机外参。
作为优选，开启相机与激光雷达采集环境信息，基于相机获取高分辨率图像，并对高分辨率图像进行分割识别，确定待重建单体的图像位置区域具体如下：
使用全卷积网络进行对高分辨率图像进行语义分割；
确定高分辨率图像中目标物体的分割范围，获取最终的待重建单体图像位置区域。
作为优选，根据分割识别后的高分辨率图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息具体如下：
通过相机和激光雷达的联合标定，将高分辨率图像分割后获得的待重建单体位置范围转换至激光雷达需要的点云数据位置范围；
根据获得的激光雷达点云数据位置范围，对激光雷达生成的点云数据进行滤波，去掉其他位置范围的点云数据，保留单体所对应的点云信息。
更优地，基于保留的单体所对应的点云信息，利用3D Delaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，从而生成单体三维模型具体如下：
将所有点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；
执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；
使用Graph Cut Max-Flow算法开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
过滤掉网格中不需要的元素以生成最终优化网格，从而生成单体三维模型。
一种基于视觉-激光融合的单体三维重建系统，该系统包括固定单元、内参获取单元、外参获取单元、分割识别单元、滤波单元以及生成单元；
固定单元用于将相机与激光雷达组合固定；
内参获取单元用于开展相机标定，获取相机内参；
外参获取单元用于开展相机和激光雷达的联合参数标定，获取相机外参；
分割识别单元用于开启相机与激光雷达采集环境信息，基于相机获取高分辨率图像，并对高分辨率图像进行分割识别，确定待重建单体的图像位置区域；
滤波单元用于根据分割识别后的高分辨率图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息；
生成单元用于基于保留的单体所对应的点云信息，利用3D Delaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，从而生成单体三维模型。
作为优选，所述内参获取单元包括拍摄模块和相机内参获取模块；
拍摄模块用于使用相机从多个角度多距离拍摄相机标定板图像；
相机内参获取模块用于基于采集到的相机标定板图像，利用张正友标定法获取相机内参；
所述外参获取单元包括纠正模块、提取模块、匹配模块及优化模块；
纠正模块用于将相机标定板作为目标，同步激光雷达和相机时间，纠正相机标定板图像；
提取模块用于在相机标定板图像中提取矩形标定板角点和边缘，在点云中提取相机标定板的边缘和平面点；
匹配模块用于匹配矩形特征2D-3D；
优化模块用于采用point-to-line和point-inside-polygon约束进行优化，获取相机外参；
分割识别单元包括语义分割模块及位置获取模块；
语义分割模块用于使用全卷积网络进行对高分辨率图像进行语义分割；
位置获取模块用于确定高分辨率图像中目标物体的分割范围，获取最终的待重建单体图像位置区域；
所述滤波单元包括转换模块及点云信息获取模块；
转换模块用于通过相机和激光雷达的联合标定，将高分辨率图像分割后获得的待重建单体位置范围转换至激光雷达需要的点云数据位置范围；
点云信息获取模块用于根据获得的激光雷达点云数据位置范围，对激光雷达生成的点云数据进行滤波，去掉其他位置范围的点云数据，保留单体所对应的点云信息；
所述生成单元包括合并模块、执行模块、切割模块及过滤模块；
合并模块用于将所有点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；
执行模块用于执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；
切割模块用于使用Graph Cut Max-Flow算法开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
过滤模块用于过滤掉网格中不需要的元素以生成最终优化网格，从而生成单体三维模型。
一种电子设备，包括：存储器和至少一个处理器；
其中，所述存储器上存储有计算机程序；
所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于视觉-激光融合的单体三维重建方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于视觉-激光融合的单体三维重建方法。
本发明的基于视觉-激光融合的单体三维重建方法及系统具有以下优点：
(一)本发明采用视觉-激光融合的方法实现单体三维重建，利用激光雷达获取场景稠密点云信息，使用视觉识别场景中待重建单体并辅助滤波激光雷达点云，可一次性对多个物体开展单体三维重建作业，并实现在复杂场景中单体模型的自动化重建提取；
(二)本发明有效提高了单体三维重建质量和效率，提升了单体三维重建的最终效果，并且在实际工作场景中能够解决传统单体三维重建方法建模效率低、资源消耗多等问题，具有较大的实际应用价值和技术推广作用；
(三)本发明利用激光雷达获取场景稠密点云信息，使用视觉识别场景中待重建单体并辅助滤波激光雷达点云，有效提高单体三维重建质量和效率，从而提升单体三维重建的最终效果；
(四)本发明采用视觉-激光融合的方法实现单体三维重建，利用激光雷达获取场景稠密点云信息，使用视觉识别场景中待重建单体并辅助滤波激光雷达点云，可一次性对多个物体开展单体三维重建作业，并实现在复杂场景中单体模型的自动化重建提取；
(五)本发明可一次性对多个物体开展单体三维重建作业，并实现在复杂场景中单体模型的自动化重建提取，有效提高了单体三维重建质量和效率，提升了单体三维重建的最终效果，并且在实际工作场景中能够解决传统单体三维重建方法建模效率低、资源消耗多等问题，具有较大的实际应用价值和技术推广作用。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于视觉-激光融合的单体三维重建方法的流程框图；
附图2为开展相机和激光雷达的联合参数标定，获取相机外参的流程框图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于视觉-激光融合的单体三维重建方法及系统作以下详细地说明。
实施例1：
如附图1所示，本实施例提供了一种基于视觉-激光融合的单体三维重建方法，该方法是利用激光雷达获取场景稠密点云信息，使用视觉识别场景中待重建单体并辅助滤波激光雷达点云，生成单体三维模型；具体如下：
S1、将相机与激光雷达组合固定；
S2、开展相机标定，获取相机内参；
S3、开展相机和激光雷达的联合参数标定，获取相机外参；
S4、开启相机与激光雷达采集环境信息，基于相机获取高分辨率图像，并对高分辨率图像进行分割识别，确定待重建单体的图像位置区域；
S5、根据分割识别后的高分辨率图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息；
S6、基于保留的单体所对应的点云信息，利用3D Delaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，从而生成单体三维模型。
本实施例步骤S2中的开展相机标定，获取相机内参具体如下：
S201、使用相机从多个角度多距离拍摄相机标定板图像；
S202、基于采集到的相机标定板图像，利用张正友标定法获取相机内参。
如附图2所示，本实施例步骤S3中的开展相机和激光雷达的联合参数标定，获取相机外参具体如下：
S301、将相机标定板作为目标，同步激光雷达和相机时间，纠正相机标定板图像；
S302、在相机标定板图像中提取矩形标定板角点和边缘，在点云中提取相机标定板的边缘和平面点；
S303、匹配矩形特征2D-3D；
S304、采用point-to-line和point-inside-polygon约束进行优化，获取相机外参。
本实施例步骤S4中的开启相机与激光雷达采集环境信息，基于相机获取高分辨率图像，并对高分辨率图像进行分割识别，确定待重建单体的图像位置区域具体如下：
S401、使用全卷积网络进行对高分辨率图像进行语义分割；
S402、确定高分辨率图像中目标物体的分割范围，获取最终的待重建单体图像位置区域。
本实施例步骤S5中的根据分割识别后的高分辨率图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息具体如下：
S501、通过相机和激光雷达的联合标定，将高分辨率图像分割后获得的待重建单体位置范围转换至激光雷达需要的点云数据位置范围；
S502、根据获得的激光雷达点云数据位置范围，对激光雷达生成的点云数据进行滤波，去掉其他位置范围的点云数据，保留单体所对应的点云信息。
本实施例步骤S6中的基于保留的单体所对应的点云信息，利用3DDelaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，从而生成单体三维模型具体如下：
S601、将所有点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；
S602、执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；
S603、使用Graph Cut Max-Flow算法开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
S604、过滤掉网格中不需要的元素以生成最终优化网格，从而生成单体三维模型。
实施例2：
本实施例提供了一种基于视觉-激光融合的单体三维重建系统，该系统包括固定单元、内参获取单元、外参获取单元、分割识别单元、滤波单元以及生成单元；
固定单元用于将相机与激光雷达组合固定；
内参获取单元用于开展相机标定，获取相机内参；
外参获取单元用于开展相机和激光雷达的联合参数标定，获取相机外参；
分割识别单元用于开启相机与激光雷达采集环境信息，基于相机获取高分辨率图像，并对高分辨率图像进行分割识别，确定待重建单体的图像位置区域；
滤波单元用于根据分割识别后的高分辨率图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息；
生成单元用于基于保留的单体所对应的点云信息，利用3D Delaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，从而生成单体三维模型。
本实施例中的内参获取单元包括拍摄模块和相机内参获取模块；
拍摄模块用于使用相机从多个角度多距离拍摄相机标定板图像；
相机内参获取模块用于基于采集到的相机标定板图像，利用张正友标定法获取相机内参。
本实施例中的外参获取单元包括纠正模块、提取模块、匹配模块及优化模块；
纠正模块用于将相机标定板作为目标，同步激光雷达和相机时间，纠正相机标定板图像；
提取模块用于在相机标定板图像中提取矩形标定板角点和边缘，在点云中提取相机标定板的边缘和平面点；
匹配模块用于匹配矩形特征2D-3D；
优化模块用于采用point-to-line和point-inside-polygon约束进行优化，获取相机外参。
本实施例中的分割识别单元包括语义分割模块及位置获取模块；
语义分割模块用于使用全卷积网络进行对高分辨率图像进行语义分割；
位置获取模块用于确定高分辨率图像中目标物体的分割范围，获取最终的待重建单体图像位置区域。
本实施例中的滤波单元包括转换模块及点云信息获取模块；
转换模块用于通过相机和激光雷达的联合标定，将高分辨率图像分割后获得的待重建单体位置范围转换至激光雷达需要的点云数据位置范围；
点云信息获取模块用于根据获得的激光雷达点云数据位置范围，对激光雷达生成的点云数据进行滤波，去掉其他位置范围的点云数据，保留单体所对应的点云信息。
本实施例中的生成单元包括合并模块、执行模块、切割模块及过滤模块；
合并模块用于将所有点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；
执行模块用于执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；
切割模块用于使用Graph Cut Max-Flow算法开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
过滤模块用于过滤掉网格中不需要的元素以生成最终优化网格，从而生成单体三维模型。
实施例3：
本实施例还提供了一种电子设备，包括：存储器和处理器；
其中，存储器存储计算机执行指令；
处理器执行所述存储器存储的计算机执行指令，使得处理器执行本发明任一实施例中的基于视觉-激光融合的单体三维重建方法。
处理器可以是中央处理单元(CPU)，还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通过处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器还可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，只能存储卡(SMC)，安全数字(SD)卡，闪存卡、至少一个磁盘存储期间、闪存器件、或其他易失性固态存储器件。
实施例4：
本实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于视觉-激光融合的单体三维重建方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RYM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于视觉-激光融合的单体三维重建方法，其特征在于，该方法是利用激光雷达获取场景稠密点云信息，使用视觉识别场景中待重建单体并辅助滤波激光雷达点云，生成单体三维模型；具体如下：
将相机与激光雷达组合固定；
开展相机标定，获取相机内参；
开展相机和激光雷达的联合参数标定，获取相机外参；
开启相机与激光雷达采集环境信息，基于相机获取图像，并对图像进行分割识别，确定待重建单体的图像位置区域；
根据分割识别后的图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息；
基于保留的单体所对应的点云信息，利用3D Delaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，从而生成单体三维模型。
2.根据权利要求1所述的基于视觉-激光融合的单体三维重建方法，其特征在于，开展相机标定，获取相机内参具体如下：
使用相机从多个角度多距离拍摄相机标定板图像；
基于采集到的相机标定板图像，利用张正友标定法获取相机内参。
3.根据权利要求1所述的基于视觉-激光融合的单体三维重建方法，其特征在于，开展相机和激光雷达的联合参数标定，获取相机外参具体如下：
将相机标定板作为目标，同步激光雷达和相机时间，纠正相机标定板图像；
在相机标定板图像中提取矩形标定板角点和边缘，在点云中提取相机标定板的边缘和平面点；
匹配矩形特征2D-3D；
采用point-to-line和point-inside-polygon约束进行优化，获取相机外参。
4.根据权利要求1所述的基于视觉-激光融合的单体三维重建方法，其特征在于，开启相机与激光雷达采集环境信息，基于相机获取图像，并对图像进行分割识别，确定待重建单体的图像位置区域具体如下：
使用全卷积网络进行对图像进行语义分割；
确定图像中目标物体的分割范围，获取最终的待重建单体图像位置区域。
5.根据权利要求1所述的基于视觉-激光融合的单体三维重建方法，其特征在于，根据分割识别后的图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息具体如下：
通过相机和激光雷达的联合标定，将图像分割后获得的待重建单体位置范围转换至激光雷达需要的点云数据位置范围；
根据获得的激光雷达点云数据位置范围，对激光雷达生成的点云数据进行滤波，去掉其他位置范围的点云数据，保留单体所对应的点云信息。
6.根据权利要求1-5中任一项所述的基于视觉-激光融合的单体三维重建方法，其特征在于，基于保留的单体所对应的点云信息，利用3D Delaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，从而生成单体三维模型具体如下：
将所有点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；
执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；
使用Graph Cut Max-Flow算法开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
过滤掉网格中不需要的元素以生成最终优化网格，从而生成单体三维模型。
7.一种基于视觉-激光融合的单体三维重建系统，其特征在于，该系统包括固定单元、内参获取单元、外参获取单元、分割识别单元、滤波单元以及生成单元；
固定单元用于将相机与激光雷达组合固定；
内参获取单元用于开展相机标定，获取相机内参；
外参获取单元用于开展相机和激光雷达的联合参数标定，获取相机外参；
分割识别单元用于开启相机与激光雷达采集环境信息，基于相机获取图像，并对图像进行分割识别，确定待重建单体的图像位置区域；
滤波单元用于根据分割识别后的图像中目标物体的位置区域和相机外参，实时对激光雷达点云数据进行滤波，保留单体所对应的点云信息；
生成单元用于基于保留的单体所对应的点云信息，利用3D Delaunay算法生成Mesh网格，并对Mesh网格进行滤波得到优化后网格，从而生成单体三维模型。
8.根据权利要求7所述的基于视觉-激光融合的单体三维重建系统，其特征在于，所述内参获取单元包括拍摄模块和相机内参获取模块；
拍摄模块用于使用相机从多个角度多距离拍摄相机标定板图像；
相机内参获取模块用于基于采集到的相机标定板图像，利用张正友标定法获取相机内参；
所述外参获取单元包括纠正模块、提取模块、匹配模块及优化模块；
纠正模块用于将相机标定板作为目标，同步激光雷达和相机时间，纠正相机标定板图像；
提取模块用于在相机标定板图像中提取矩形标定板角点和边缘，在点云中提取相机标定板的边缘和平面点；
匹配模块用于匹配矩形特征2D-3D；
优化模块用于采用point-to-line和point-inside-polygon约束进行优化，获取相机外参；
分割识别单元包括语义分割模块及位置获取模块；
语义分割模块用于使用全卷积网络进行对图像进行语义分割；
位置获取模块用于确定图像中目标物体的分割范围，获取最终的待重建单体图像位置区域；
所述滤波单元包括转换模块及点云信息获取模块；
转换模块用于通过相机和激光雷达的联合标定，将图像分割后获得的待重建单体位置范围转换至激光雷达需要的点云数据位置范围；
点云信息获取模块用于根据获得的激光雷达点云数据位置范围，对激光雷达生成的点云数据进行滤波，去掉其他位置范围的点云数据，保留单体所对应的点云信息；
所述生成单元包括合并模块、执行模块、切割模块及过滤模块；
合并模块用于将所有点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；
执行模块用于执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；
切割模块用于使用Graph Cut Max-Flow算法开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
过滤模块用于过滤掉网格中不需要的元素以生成最终优化网格，从而生成单体三维模型。
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
其中，所述存储器上存储有计算机程序；
所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如权利要求1至6任一项所述的基于视觉-激光融合的单体三维重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至6中任一项所述的基于视觉-激光融合的单体三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310752773.4A CN116863072A (zh) | 2023-06-25 | 2023-06-25 | 基于视觉-激光融合的单体三维重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310752773.4A CN116863072A (zh) | 2023-06-25 | 2023-06-25 | 基于视觉-激光融合的单体三维重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116863072A true CN116863072A (zh) | 2023-10-10 |
Family
ID=88222535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310752773.4A Pending CN116863072A (zh) | 2023-06-25 | 2023-06-25 | 基于视觉-激光融合的单体三维重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863072A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118035689A (zh) * | 2024-04-11 | 2024-05-14 | 中国信息通信研究院 | 基于实时三维模型重建的智能设备线上操作系统 |
-
2023
- 2023-06-25 CN CN202310752773.4A patent/CN116863072A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118035689A (zh) * | 2024-04-11 | 2024-05-14 | 中国信息通信研究院 | 基于实时三维模型重建的智能设备线上操作系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052066B (zh) | 三维目标检测中基于多视图和图像分割的多模态融合方法 | |
| CN110532985B (zh) | 目标检测方法、装置及系统 | |
| CN116051785A (zh) | 城市实景三维模型的构建方法、装置、设备及存储介质 | |
| CN113807451B (zh) | 全景图像特征点匹配模型的训练方法、装置以及服务器 | |
| CN112116639A (zh) | 一种图像配准方法、装置及电子设备和存储介质 | |
| CN104778697B (zh) | 基于快速定位图像尺度和区域的三维跟踪方法及系统 | |
| CN116824051A (zh) | 低照度场景下的三维重建方法、系统、设备及介质 | |
| CN116863072A (zh) | 基于视觉-激光融合的单体三维重建方法及系统 | |
| CN102096915B (zh) | 一种基于精准图像拼接的摄像机镜头去污方法 | |
| CN109754463B (zh) | 三维建模融合方法及装置 | |
| CN117197010A (zh) | 一种在激光熔覆加工中进行工件点云融合的方法及装置 | |
| CN116486020B (zh) | 一种三维重建方法及相关设备 | |
| Ebrahimikia et al. | True orthophoto generation based on unmanned aerial vehicle images using reconstructed edge points | |
| CN115937279B (zh) | 基于跨模态数据配准的点云密度上采样方法、系统及介质 | |
| KR100942271B1 (ko) | 깊이 정보를 이용한 집적 영상 복원 방법 및 장치 | |
| CN115410174A (zh) | 一种两阶段车险反欺诈图像采集质检方法、装置和系统 | |
| CN118710816A (zh) | 基于空间不变性的非编码点匹配与立体重建方法及系统 | |
| CN111899331B (zh) | 基于无人飞行器航拍的三维重建质量控制方法 | |
| CN118570379A (zh) | 设施三维重建的方法、装置、设备、介质及产品 | |
| CN118674790A (zh) | 一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法 | |
| CN117409149A (zh) | 基于立体约束的光束法平差方程的三维建模方法及系统 | |
| CN117745850A (zh) | 地图矢量化生成方法、装置和服务器 | |
| CN116681745A (zh) | 基于激光深度的三维重建方法、装置、服务器及存储介质 | |
| CN114898068A (zh) | 三维建模方法、装置、设备及存储介质 | |
| CN115082619A (zh) | 三维点云重建和补全方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |