CN113838213A - 一种基于激光和相机传感器的三维模型生成方法及其系统 - Google Patents
一种基于激光和相机传感器的三维模型生成方法及其系统 Download PDFInfo
- Publication number
- CN113838213A CN113838213A CN202111389979.2A CN202111389979A CN113838213A CN 113838213 A CN113838213 A CN 113838213A CN 202111389979 A CN202111389979 A CN 202111389979A CN 113838213 A CN113838213 A CN 113838213A
- Authority
- CN
- China
- Prior art keywords
- laser
- image
- camera
- point cloud
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
本申请涉及三维建模技术领域，特别涉及到一种基于激光和相机传感器的三维模型生成方法及其系统；本申请通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型。
Description
技术领域
本申请涉及三维建模技术领域，特别涉及到一种基于激光和相机传感器的三维模型生成方法及其系统。
背景技术
在游戏、影视甚至数字孪生应用中，需要构建大量的三维模型，这些三维模型通常是由专业的3D建模师通过专业软件手工搭建而成；生产成本，周期极高，还需大量的后期维护成本。
目前很多基于多角度对同一个物体拍摄多张图像或者视频来生成一个三维模型，这样的方法要么对拍摄场景有较多的限制，要么需要昂贵的专业的设备仪器才能满足建模要求，这种类似的方法几乎无法用于室内场景的建模。
发明内容
本申请主要解决的技术问题是提供一种基于激光和相机传感器的三维模型生成方法，通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型；还提供了一种基于激光和相机传感器的三维模型生成系统。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于激光和相机传感器的三维模型生成方法，其中，包括如下步骤：
步骤S1、采用棋盘格对相机模组进行标定，且使相机模组对准棋盘格，采集相机和激光数据，同时检测到图像和激光点云上对应在棋盘格上的点，从而得到激光相对于相机的位置和姿态变换关系；
步骤S2、通过标定好的相机模组扫描整个需要建模的空间，采集图像和激光点云数据，结合步骤S1的标定信息，对激光扫描过程中出现的重叠点和图像重叠区进行检测对比，从而获得相机模组在采集过程中运动姿态和轨迹；
步骤S3、将每帧采集到的激光点云数据投影到对应帧的图像上，从而和图像数据对齐，得到图像对应点的深度，生成原始深度图；
步骤S4、对原始深度图进行稠密化，得到完整深度图，再对完整深度图进行滤波，得到稠密点云；
步骤S5、对稠密点云网格化，得到粗网格，再对粗网格进行处理，得到优质网格；
步骤S6、将优质网格投影到相机视角中，得到每个面对应的图像信息，再将同一个面在不同相机视角中的图像信息进行融合，生成每一面融合后的纹理信息，再将所有面的纹理信息整合得到纹理图像，将纹理图像转成三维模型格式进行输出。
作为本申请的一种改进，在步骤S1内，制备一个已知尺寸的大型棋盘格，保证照明良好，采集大量数据，然后检测棋盘格内部的点，然后通过投影变换关系得到相机模组的标定结果。
作为本申请的进一步改进，在步骤S1内，相机模组对准棋盘格，同时采集相机和激光数据，并检测到图像和激光点云上对应在棋盘格上的点，通过这个匹配关系和得到的相机模组的标定结果，得到激光相对于相机的位置和姿态变换关系。
作为本申请的更进一步改进，在步骤S2内，得到的机模组在采集过程中运动姿态和轨迹进行离线存储。
作为本申请的更进一步改进，在步骤S4内，基于每帧的激光点云数据、RGB图以及得到相机模组的位置和姿态，对每帧构建相邻帧，然后根据相邻帧，对原始深度图进行稠密化，从而生成一张和RGB图同样大小的完整深度图，之后再将对完整深度图进行滤波，剔除错误的深度，从而得到稠密点云。
作为本申请的更进一步改进，在步骤S4内，有共同观测数据的帧互为相邻帧。
作为本申请的更进一步改进，在步骤S5内，对粗网格进行平滑、去噪、细分并基于观测图像进行优化，得到精细的优质网格。
作为本申请的更进一步改进，在步骤S6内，将所有面的纹理信息打包到一起整合得到纹理图像，然后转成通用的三维模型格式输出。
一种基于激光和相机传感器的三维模型生成系统，其中，包括：
标定模块，用于对相机模组进行标定；
位置姿态计算模块，用于计算得到相机模组的运动姿态和轨迹；
图像对齐模块，用于图像数据对齐，得到图像对应点的深度，生成原始深度图；
稠密化模块，用于构建相邻帧，对原始深度图进行稠密化；
网络化模块，用于对稠密点云网格化，得到粗网格，并对粗网格进行平滑、去噪、细分处理；
纹理映射模块，用于将同一个面在不同相机视角中的图像信息进行融合，生成每个面融合后的纹理信息。
本申请的有益效果是：与现有技术相比，本申请通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型。
附图说明
图1为本申请实施例的步骤框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参照图1，本申请的一种基于激光和相机传感器的三维模型生成方法，包括如下步骤：
步骤S1、采用棋盘格对相机模组进行标定，且使相机模组对准棋盘格，采集相机和激光数据，同时检测到图像和激光点云上对应在棋盘格上的点，从而得到激光相对于相机的位置和姿态变换关系；
步骤S2、通过标定好的相机模组扫描整个需要建模的空间，采集图像和激光点云数据，结合步骤S1的标定信息，对激光扫描过程中出现的重叠点和图像重叠区进行检测对比，从而获得相机模组在采集过程中运动姿态和轨迹；
步骤S3、将每帧采集到的激光点云数据投影到对应帧的图像上，从而和图像数据对齐，得到图像对应点的深度，生成原始深度图；
步骤S4、对原始深度图进行稠密化，得到完整深度图，再对完整深度图进行滤波，得到稠密点云；
步骤S5、对稠密点云网格化，得到粗网格，再对粗网格进行处理，得到优质网格；
步骤S6、将优质网格投影到相机视角中，得到每个面对应的图像信息，再将同一个面在不同相机视角中的图像信息进行融合，生成每一面融合后的纹理信息，再将所有面的纹理信息整合得到纹理图像，将纹理图像转成三维模型格式进行输出。
本申请通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型。
具体地讲在步骤S1内，制备一个已知尺寸的大型棋盘格，保证照明良好，采集大量数据，然后检测棋盘格内部的点，然后通过投影变换关系得到相机模组的标定结果；相机模组对准棋盘格，同时采集相机和激光数据，并检测到图像和激光点云上对应在棋盘格上的点，通过这个匹配关系和得到的相机模组的标定结果，得到激光相对于相机的位置和姿态变换关系。
在步骤S2内，得到的机模组在采集过程中运动姿态和轨迹进行离线存储。
在步骤S4内，基于每帧的激光点云数据、RGB图以及得到相机模组的位置和姿态，对每帧构建相邻帧，然后根据相邻帧，对原始深度图进行稠密化，从而生成一张和RGB图同样大小的完整深度图，之后再将对完整深度图进行滤波，剔除错误的深度，从而得到稠密点云；其中，有共同观测数据的帧互为相邻帧。
其中，在步骤S5内，对粗网格进行平滑、去噪、细分并基于观测图像进行优化，得到精细的优质网格。
在步骤S6内，将所有面的纹理信息打包到一起整合得到纹理图像，然后转成通用的三维模型格式输出。
本申请提供一个实施例，该实施例的方法主要分为六大部分：激光相机模组标定、采集数据过程中模组位置姿态计算、点云图像对齐、点云稠密化、点云网格化、纹理映射，具体如下：
一、激光相机模组标定
基于棋盘格方案对模组进行标定；先制备一个已知尺寸的大型棋盘格，保证照明良好，采集大量数据，然后检测棋盘格内部的点，然后通过投影变换关系得到相机模组的标定结果，然后将相机模组对准棋盘格，同时采集相机和激光数据，并检测到图像和激光点云上对应在棋盘格上的点，通过这个匹配关系和上一步标定得到的相机模组标定的结果，得出激光相对于相机的位置和姿态变换关系。
二、采集数据过程中模组位置姿态计算
用标定好的模组扫描整个需要建模的空间，从而采集图像和激光点云数据，并基于上一步得到的标定信息，激光扫描过程中重叠点检测和图像重叠区获取的关系，得到相机模组在采集过程中的运动姿态和轨迹，并离线存储到文件中。
三、点云图像对齐
完成位置姿态计算后，将每帧采集到的激光点云数据投影到对应帧的图像上，从而和图像数据对齐，得到图像对应点的深度，生成原始深度图。
四、点云稠密化
基于每帧的点云数据、RGB图以及计算出的位置和姿态，对每帧构建相邻帧，即有共同观测数据的帧互为相邻帧，然后根据相邻帧，对原始的深度图进行稠密化，从而生成一张和RGB 图同样大小的完整深度图，之后再将对深度图进行滤波，剔除错误的深度，得到稠密点云。
五、点云网格化
得到稠密点云后，对稠密点云网格化，得到粗网格，然后对粗网格进行平滑、去噪、细分并基于观测图像进行优化，得到精细的优质网格。
六、纹理映射，将处理后得到的优质网格投影到相机视角中，从而得到每个面对应的图像信息，然后将同一个面在不同相机视角中的图像信息进行融合，生成每个面融合后的纹理信息，最后将所有面的纹理信息打包到一起得到纹理图像，然后转成通用的三维模型格式输出。
本申请还提供了一种基于激光和相机传感器的三维模型生成系统，包括：
标定模块，用于对相机模组进行标定；
位置姿态计算模块，用于计算得到相机模组的运动姿态和轨迹；
图像对齐模块，用于图像数据对齐，得到图像对应点的深度，生成原始深度图；
稠密化模块，用于构建相邻帧，对原始深度图进行稠密化；
网络化模块，用于对稠密点云网格化，得到粗网格，并对粗网格进行平滑、去噪、细分处理；
纹理映射模块，用于将同一个面在不同相机视角中的图像信息进行融合，生成每个面融合后的纹理信息。
本申请一方面通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；另一方面将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (9)
1.一种基于激光和相机传感器的三维模型生成方法，其特征在于，包括如下步骤：
步骤S1、采用棋盘格对相机模组进行标定，且使相机模组对准棋盘格，采集相机和激光数据，同时检测到图像和激光点云上对应在棋盘格上的点，从而得到激光相对于相机的位置和姿态变换关系；
步骤S2、通过标定好的相机模组扫描整个需要建模的空间，采集图像和激光点云数据，结合步骤S1的标定信息，对激光扫描过程中出现的重叠点和图像重叠区进行检测对比，从而获得相机模组在采集过程中运动姿态和轨迹；
步骤S3、将每帧采集到的激光点云数据投影到对应帧的图像上，从而与图像数据对齐，得到图像对应点的深度，生成原始深度图；
步骤S4、对原始深度图进行稠密化，得到完整深度图，再对完整深度图进行滤波，得到稠密点云；
步骤S5、对稠密点云网格化，得到粗网格，再对粗网格进行处理，得到优质网格；
步骤S6、将优质网格投影到相机视角中，得到每个面对应的图像信息，再将同一个面在不同相机视角中的图像信息进行融合，生成每一面融合后的纹理信息，再将所有面的纹理信息整合得到纹理图像，将纹理图像转成三维模型格式进行输出。
2.根据权利要求1所述的一种基于激光和相机传感器的三维模型生成方法，其特征在于，在步骤S1内，制备一个已知尺寸的大型棋盘格，保证照明良好，采集大量数据，然后检测棋盘格内部的点，然后通过投影变换关系得到相机模组的标定结果。
3.根据权利要求2所述的一种基于激光和相机传感器的三维模型生成方法，其特征在于，在步骤S1内，相机模组对准棋盘格，同时采集相机和激光数据，并检测到图像和激光点云上对应在棋盘格上的点，通过这个匹配关系和得到的相机模组的标定结果，得到激光相对于相机的位置和姿态变换关系。
4.根据权利要求3所述的一种基于激光和相机传感器的三维模型生成方法，其特征在于，在步骤S2内，得到的机模组在采集过程中运动姿态和轨迹进行离线存储。
5.根据权利要求4所述的一种基于激光和相机传感器的三维模型生成方法，其特征在于，在步骤S4内，基于每帧的激光点云数据、RGB图以及得到相机模组的位置和姿态，对每帧构建相邻帧，然后根据相邻帧，对原始深度图进行稠密化，从而生成一张和RGB图同样大小的完整深度图，之后再将对完整深度图进行滤波，剔除错误的深度，从而得到稠密点云。
6.根据权利要求5所述的一种基于激光和相机传感器的三维模型生成方法，其特征在于，在步骤S4内，有共同观测数据的帧互为相邻帧。
7.根据权利要求6所述的一种基于激光和相机传感器的三维模型生成方法，其特征在于，在步骤S5内，对粗网格进行平滑、去噪、细分并基于观测图像进行优化，得到精细的优质网格。
8.根据权利要求7所述的一种基于激光和相机传感器的三维模型生成方法，其特征在于，在步骤S6内，将所有面的纹理信息打包到一起整合得到纹理图像，然后转成通用的三维模型格式输出。
9.一种基于激光和相机传感器的三维模型生成系统，其特征在于，包括：
标定模块，用于对相机模组进行标定；
位置姿态计算模块，用于计算得到相机模组的运动姿态和轨迹；
图像对齐模块，用于图像数据对齐，得到图像对应点的深度，生成原始深度图；
稠密化模块，用于构建相邻帧，对原始深度图进行稠密化；
网络化模块，用于对稠密点云网格化，得到粗网格，并对粗网格进行平滑、去噪、 细分处理；
纹理映射模块，用于将同一个面在不同相机视角中的图像信息进行融合，生成每个面融合后的纹理信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111389979.2A CN113838213A (zh) | 2021-11-23 | 2021-11-23 | 一种基于激光和相机传感器的三维模型生成方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111389979.2A CN113838213A (zh) | 2021-11-23 | 2021-11-23 | 一种基于激光和相机传感器的三维模型生成方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113838213A true CN113838213A (zh) | 2021-12-24 |
Family
ID=78971498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111389979.2A Pending CN113838213A (zh) | 2021-11-23 | 2021-11-23 | 一种基于激光和相机传感器的三维模型生成方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113838213A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132972A (zh) * | 2020-09-29 | 2020-12-25 | 凌美芯（北京）科技有限责任公司 | 一种激光与图像数据融合的三维重建方法及系统 |
| CN112669393A (zh) * | 2020-12-31 | 2021-04-16 | 中国矿业大学 | 一种激光雷达与相机联合标定方法 |
-
2021
- 2021-11-23 CN CN202111389979.2A patent/CN113838213A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132972A (zh) * | 2020-09-29 | 2020-12-25 | 凌美芯（北京）科技有限责任公司 | 一种激光与图像数据融合的三维重建方法及系统 |
| CN112669393A (zh) * | 2020-12-31 | 2021-04-16 | 中国矿业大学 | 一种激光雷达与相机联合标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
| CN109615652B (zh) | 一种深度信息获取方法及装置 | |
| CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
| CN110264567B (zh) | 一种基于标记点的实时三维建模方法 | |
| CN103810685B (zh) | 一种深度图的超分辨率处理方法 | |
| TWI555378B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| CN104537707A (zh) | 像方型立体视觉在线移动实时测量系统 | |
| CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
| CN111080709B (zh) | 基于轨迹特征配准的多光谱立体相机自标定算法 | |
| JP5845123B2 (ja) | ３次元モデル−インテグラル画像変換装置およびそのプログラム | |
| CN109470149B (zh) | 一种管路位姿的测量方法及装置 | |
| CN109147025B (zh) | 一种面向rgbd三维重建的纹理生成方法 | |
| CN111091076B (zh) | 基于立体视觉的隧道限界数据测量方法 | |
| KR102152436B1 (ko) | 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 | |
| CN106780629A (zh) | 一种三维全景数据采集、建模方法 | |
| CN108182722B (zh) | 一种三维物体边缘优化的真正射影像生成方法 | |
| Pathak et al. | Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification | |
| CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
| JP4354708B2 (ja) | 多視点カメラシステム | |
| CN111047678B (zh) | 一种三维人脸采集装置和方法 | |
| CN114820563A (zh) | 一种基于多视点立体视觉的工业部件尺寸估计方法及系统 | |
| CN113345084B (zh) | 三维建模系统及三维建模方法 | |
| CN104614372B (zh) | 一种太阳能硅片检测方法 | |
| CN113643436A (zh) | 一种深度数据拼接融合方法及装置 | |
| CN110148216B (zh) | 一种双球幕相机的三维建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211224 |