CN116563460A - 三维重建优化方法及装置、介质、设备 - Google Patents

三维重建优化方法及装置、介质、设备 Download PDF

Info

Publication number
CN116563460A
CN116563460A CN202310507362.9A CN202310507362A CN116563460A CN 116563460 A CN116563460 A CN 116563460A CN 202310507362 A CN202310507362 A CN 202310507362A CN 116563460 A CN116563460 A CN 116563460A
Authority
CN
China
Prior art keywords
image
dimensional
camera
dimensional model
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310507362.9A
Other languages
English (en)
Inventor
张雲策
王建华
郭运艳
孔令兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Science Research Institute Co Ltd
Original Assignee
Shandong Inspur Science Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Science Research Institute Co Ltd filed Critical Shandong Inspur Science Research Institute Co Ltd
Priority to CN202310507362.9A priority Critical patent/CN116563460A/zh
Publication of CN116563460A publication Critical patent/CN116563460A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种三维重建优化方法及装置、介质、设备。方法包括：S1、确定相机对应的相机参数；S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；S3、通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；S4、将当前的三维模型转换为在该相机位姿下二维的第二图像；S5、确定当前的三维模型中每一个三维点的置信度；S6、判断是否存在置信度低于预设阈值的三维点；若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至S4；否则，将当前的三维模型作为优化完毕的三维模型。本发明实施例可以提高重建结果的精度。

Description

三维重建优化方法及装置、介质、设备
技术领域
本发明涉及三维重建技术领域，尤其是涉及一种三维重建优化方法及装置、介质、设备。
背景技术
三维重建是一种利用计算机技术从现实世界数据中恢复三维结构的过程，可应用于建筑、工程、医学、文化遗产保护、虚拟现实、游戏等领域。其中，摄影测量三维重建技术是建立在计算机视觉、数字图像处理和测量学等多个领域的基础上，通过一系列二维图像可以快速、准确地获取物体的三维形态和几何信息，建立起数字孪生虚拟世界与真实物理世界之间的精确映射关系。
在实景三维重建过程中，生成的三维模型通常会存在一定程度的畸变、残缺以及其他与实际场景不符的缺陷，这些缺陷将导致无法精确刻画真实世界场景，并对后续基于所生成模型的开发利用过程产生不良影响。因此基于有限的图像信息优化重建模型以建立高保真的虚拟场景具有重要的理论价值与实际应用价值，有利于摄像测量三维重建优化方法的推广。
发明内容
针对以上至少一个技术问题，本发明实施例提供一种三维重建优化方法及装置、介质、设备。
根据第一方面，本发明实施例提供的三维重建优化方法，包括：
S1、确定相机对应的相机参数；
S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；
S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；
S4、根据每一个相机位姿，将当前的三维模型转换为在该相机位姿下二维的第二图像；
S5、根据在各个相机位姿下各自对应的所述第一图像和所述第二图像，确定当前的三维模型中每一个三维点的置信度；
S6、判断是否存在置信度低于预设阈值的三维点；
若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至S4；
否则，将当前的三维模型作为优化完毕的三维模型。
根据第二方面，本发明实施例提供的三维重建装置，包括：
参数确定模块，用于执行S1、确定相机对应的相机参数；
图像校正模块，用于执行S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；
三维重建模块，用于执行S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；
二维转换模块，用于执行S4、根据每一个相机位姿，将当前的三维模型转换为在该相机位姿下二维的第二图像；
置信确定模块，用于执行S5、根据在各个相机位姿下各自对应的所述第一图像和所述第二图像，确定当前的三维模型中每一个三维点的置信度；
置信判断模块，用于执行S6、判断是否存在置信度低于预设阈值的三维点；若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至所述二维转换模块中执行S4；否则，将当前的三维模型作为优化完毕的三维模型。
根据第三方面，本发明实施例提供计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现第一方面提供的方法。
根据第四方面，本发明实施例提供的计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面提供的方法。
本发明实施例提供的三维重建优化方法及装置、介质、设备，首先对第一图像进行畸变校正，在校正之后利用各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；然后将三维模型转换为在每一个相机位姿下的第二图像，基于同一个相机位姿的第一图像和第二图像确定三维模型中各个三维点的置信度，进而根据置信度评估三维点的保真度，对于三维模型中置信度较低的三维点所在的区域进行优化，重新进行迭代评估，直到得到一个不存在置信度低于预设阈值的三维点的三维模型。可见，在优化过程中充分利用了第一图像的信息，将第二图像和第一图像进行对比，并根据对比结果确定三维模型中各个三维点的综合的置信度，实现对各个三维点的保真度的评估。对于置信度低于预设阈值的区域重新开展模型重建与优化工作，如此迭代直到重建的三维模型满足标准。通过本发明实施例提供的方法可以摄影测量三维重建技术得到的三维模型的局部缺陷问题，提高三维模型的局部细节保真度，从而在有限图像信息输入的前提下提高重建结果的精度。
附图说明
图1为本发明一实施例中三维重建优化方法的流程示意图；
图2为本发明一实施例中三维重建优化方法中S3的具体流程示意图。
具体实施方式
第一方面，本发明实施例提供一种三维重建优化方法，参见图1，该方法包括如下步骤S1～S6：
S1、确定相机对应的相机参数；
其中，相机参数是指相机内参。相机在拍摄出来的图像实际上存在一些畸变，可以通过相机内参对畸变进行校正，从而得到比较真实的图像。
其中，相机可以采用高分辨率的相机。
在一个实施例中，所述确定相机对应的相机参数，具体可以包括：采用所述相机从多个角度多个距离拍摄相机标定板；基于拍摄的相机标定板图像，并利用张正友标定法确定该相机的相机参数。
也就是说，利用相机从多个角度和多个距离拍摄相机标定板，得到多个角度、多个距离的相机标定板图像，进而基于这些相机标定板图像，并采用张正友标定法获取相机内参。
其中，张正友标定法可以参考相关文献，此处不详细介绍。
S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；
其中，待重建场景是指需要重建三维模型的场景。
也就是说，利用相机在多个相机位姿下对待重建场景进行拍摄，得到多个第一图像。然后利用S1中确定的相机参数对第一图像进行畸变校正，从而得到畸变校正后的第一图像。
当然，除了拍摄第一图像之外，还可以利用相机进行视频录制，然后对视频按照一定的帧率进行提取，得到多个第一图像，将各个第一图像进行打包，得到用于三维模型重建的第一图像集。
S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；
也就是说，利用摄影测量三维重建技术建立的是一个初始的三维模型，后续需要对初始的三维模型进行调整优化，得到优化的三维模型。
在一个实施例中，参见图2，S3具体可以包括：
S31、对畸变校正后的各个第一图像分别进行特征提取，并将包含相同特征最多的每两个第一图像作为一个图像对；
例如，采用SIFT算法对畸变处理后的第一图像进行特征提取，SIFT算法是指Scale-invariant feature transform算法，中文为尺度不变特征转换算法。
在特征提取后，针对各个第一图像进行特征对比工作，从而得到多个图像对，一个图像对是指具有相同特征最多的两个第一图像。
S32、对每一个图像对进行特征匹配，以使该图像对中两个第一图像中的像素点通过所述待重建场景中的真实位置点进行映射；
其中，所谓的特征匹配是指将一个图像对中一个第一图像中一个位置的像素点、在待重建场景中的一个真实位置点、另一个第一图像中一个位置的像素点进行映射，形成一条映射关系。在这条映射关系中，两个第一图像中中的像素点通过在待重建场景中的真实位置点进行对应。
S33、根据每一个图像对的特征匹配结果，确定该图像对的两个第一图像之间的基础矩阵，并利用该基础矩阵确定该图像对对应的位姿矩阵；根据该位姿矩阵和相机参数，对该图像对进行校正；根据校正后的该图像对，生成三维点坐标对应的稀疏点云；
其中，根据每一个图像对的特征匹配结果，可以通过增量式的SfM算法来计算该图像对的基础矩阵。SfM的全称为Structure from Motion，即通过相机的移动来确定目标的空间和几何关系,是三维重建的一种常见方法。
在计算得到基础矩阵后，便可以利用该基础矩阵确定该图像对中两个第一图像的位姿矩阵，进而基于位姿矩阵和相机参数，实现对第一图像的校正，校正的目的是提高后续稀疏点云的位置的准确性。在校正之后，利用校正后的图像对中的两个第一图像中的图像特征，生成稀疏点云，实现从图像序列中恢复环境结构。
S34、根据各个图像对对应的稀疏点云，利用立体匹配算法进行稠密重建，得到各个图像对各自对应的深度图，将各个图像对对应的各个深度图进行融合，得到所述待重建场景的全部点云；
即，利用立体匹配算法进行稠密重建，获取到各个图像对各自的深度图，进而将各个深度图进行融合，得到待重建场景的全部点云。
S35、根据所述待重建场景的全部点云生成网格，并对所述网格进行滤波；
例如，基于融合后的全部点云，利用3D Delaunay算法生成Mesh网格，并对网格进行滤波，得到优化后网格。
S36、根据校正后的图像对和相机位姿，生成UV纹理贴图；
S37、通过空间位置匹配算法将所述UV纹理贴图和滤波后的网格进行融合，得到所述初始的三维模型。
通过上述S31～S37可以得到一个初始的三维模型。
S4、根据每一个相机位姿，将当前的三维模型转换为在该相机位姿下二维的第二图像；
也就是说，将当前的三维模型转换为在每一个相机位姿下的二维图像，该二维图像称为第二图像。
在一个实施例中，所述将当前的三维模型转换为在该相机位姿下二维的第二图像，具体可以包括：
S41、针对每一个相机位姿，构建对应的透视投影矩阵；
例如，在每个相机位姿点构建如下的透视投影矩阵，其中，FOV表示相机视场，r表示纵横比，f表示相机焦距，Z表示远裁切平面。
S42、根据每一个相机位姿对应的透视投影矩阵，将当前的三维模型中的各个三维点投影变换到相机焦平面上；
即，在每一个相机位姿点，利用构建的透视投影矩阵将三维模型中的三维点全部投影变换到相机焦平面中，并保留各个三维点的RGB信息。
S43、将所述相机焦平面中各个投影点保存为一个RGB图像，将该RGB图像作为在该相机位姿下二维的第二图像，所述第二图像和在该相机位姿下的第一图像具有相同的尺寸和分辨率。
也就是说，将相机焦平面中所有投影点保存为RGB图像，得到在特定视角下三维模型的二维平面投影，此投影图像即第二图像的尺寸和分辨率与相同位姿下的第一图像一致。
通过以上步骤，针对每一个相机位姿，使用与第一图像相同的透视投影矩阵生成三维模型对应的二维图像，即第二图像。
S5、根据在各个相机位姿下各自对应的所述第一图像和所述第二图像，确定当前的三维模型中每一个三维点的置信度；
也就是说，基于各个相机位姿下的第一图像和第二图像，可以确定三维模型中每一个三维点的置信度，从而得知每一个三维点的可信度。
在一个实施例中，所述确定当前的三维模型中每一个三维点的置信度，具体可以包括：
S51、将每一个相机位姿对应的第一图像和第二图像进行像素点对齐，并计算第一图像和第二图像中对应像素点之间的三通道颜色差值；
也就是说，将同一个相机位姿下的第二图像和第一图像进行像素点对齐，逐点计算两个图像上相同像素点的RGB差值，计算公式如下所示：
re＝r1-r2
ge＝g1-g2
be＝b1-b2
其中，re,ge,be分别表示第一图像和第二图像上相同像素点之间的R,G,B颜色差值。r1为第一图像的红色通道的颜色值，g1为第一图像的绿色通道的颜色值，b1为第一图像的蓝色通道的颜色值，r2为第二图像的红色通道的颜色值，g2为第二图像的绿色通道的颜色值，b2为第二图像的蓝色通道的颜色值。
S52、根据所述第二图像中每一个像素点对应的三通道颜色差值和三通道各自的误差权重，计算所述第二图像中每一个像素点的归一化置信度；
在一个实施例中，具体可以采用第一公式计算所述第二图像中每一个像素点的归一化置信度，所述第一公式为：
其中，αij为所述第二图像中第i行第j列的像素点的归一化置信度，γr为红色通道的误差权重，γg为绿色通道的误差权重，γb为蓝色通道的误差权重，re为所述第一图像和所述第二图像中第i行第j列的像素点在红色通道的颜色差值，ge为所述第一图像和所述第二图像中第i行第j列的像素点在绿色通道的颜色差值，be为所述第一图像和所述第二图像中第i行第j列的像素点在蓝色通道的颜色差值。
S53、将所述第二图像中每一个像素点的归一化置信度映射到三维模型中，得到所述三维模型中每一个三维点对应的置信度；
也就是说，将每一个第二图像上各个像素点的归一化置信度映射到三维模型中，得到在该第二图像的映射下三维模型中每一个三维点的置信度，三维点的置信度由表示，n表示三维点的索引，k表示第二图像的索引。
S54、对各个第二图像映射到的三维模型中每一个三维点的置信度进行加权处理，得到所述三维模型中每一个三维点的置信度。
由于有多个第二图像，在每一个第二图像的映射下，三维模型中的每一个三维点都对应一个置信度，因此将各个第二图像的映射下的同一个三维点的各个置信度进行加权求和，得到这个三维点的综合的置信度。
在一个实施例中，可以采用第二公式计算三维模型中每一个三维点的置信度，所述第二公式为：
其中，An为所述三维模型中第n个三维点的置信度，Γk为第k张第二图像的权重，为第k张第二图像映射到三维模型后的第n个三维点的置信度，K为第二图像的数量。
S6、判断是否存在置信度低于预设阈值的三维点；
若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至S4；
否则，将当前的三维模型作为优化完毕的三维模型。
也就是说，在得到三维模型中各个三维点的综合的置信度之后，判断是否存在置信度低于预设阈值的三维点，如果存在，则说明置信度低于预设阈值的三维点的可信度不高，因此需要对三维模型中这些三维点所在区域进行优化处理，在优化调整之后，返回到S4中，重新判断调整后的三维模型中是否存在置信度较低的三维点，经过多次迭代评估，直到三维模型中不存在置信度低于预设阈值的三维点，此时的三维模型是调整完毕的三维模型，可以真实的反映待重建场景，此时的三维模型满足所需标准。
可理解的是，本发明实施例提出的基于图像后验信息的三维重建迭代优化方法，在优化过程中充分利用了第一图像的信息，将第二图像和第一图像进行对比，并根据对比结果确定三维模型中各个三维点的综合的置信度，实现对各个三维点的保真度的评估。对于置信度低于预设阈值的区域重新开展模型重建与优化工作，如此迭代直到重建的三维模型满足标准。
可见，通过本发明实施例提供的方法可以摄影测量三维重建技术得到的三维模型的局部缺陷问题，提高三维模型的局部细节保真度，从而在有限图像信息输入的前提下提高重建结果的精度。
第二方面，本发明实施例提供一种三维重建优化装置，包括：
参数确定模块，用于执行S1、确定相机对应的相机参数；
图像校正模块，用于执行S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；
三维重建模块，用于执行S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；
二维转换模块，用于执行S4、根据每一个相机位姿，将当前的三维模型转换为在该相机位姿下二维的第二图像；
置信确定模块，用于执行S5、根据在各个相机位姿下各自对应的所述第一图像和所述第二图像，确定当前的三维模型中每一个三维点的置信度；
置信判断模块，用于执行S6、判断是否存在置信度低于预设阈值的三维点；若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至所述二维转换模块中执行S4；否则，将当前的三维模型作为优化完毕的三维模型。
在一个实施例中，参数确定模块具体用于：采用所述相机从多个角度多个距离拍摄相机标定板；基于拍摄的相机标定板图像，并利用张正友标定法确定该相机的相机参数。
在一个实施例中，三维重建模块具体用于：对畸变校正后的各个第一图像分别进行特征提取，并将包含相同特征最多的每两个第一图像作为一个图像对；对每一个图像对进行特征匹配，以使该图像对中两个第一图像中的像素点通过所述待重建场景中的真实位置点进行映射；根据每一个图像对的特征匹配结果，确定该图像对的两个第一图像之间的基础矩阵，并利用该基础矩阵确定该图像对对应的位姿矩阵；根据该位姿矩阵和相机参数，对该图像对进行校正；根据校正后的该图像对，生成三维点坐标对应的稀疏点云；根据各个图像对对应的稀疏点云，利用立体匹配算法进行稠密重建，得到各个图像对各自对应的深度图，将各个图像对对应的各个深度图进行融合，得到所述待重建场景的全部点云；根据所述待重建场景的全部点云生成网格，并对所述网格进行滤波；根据校正后的图像对和相机位姿，生成UV纹理贴图；通过空间位置匹配算法将所述UV纹理贴图和滤波后的网格进行融合，得到所述初始的三维模型。
在一个实施例中，二维转换模块具体用于：针对每一个相机位姿，构建对应的透视投影矩阵；根据每一个相机位姿对应的透视投影矩阵，将当前的三维模型中的各个三维点投影变换到相机焦平面上；将所述相机焦平面中各个投影点保存为一个RGB图像，将该RGB图像作为在该相机位姿下二维的第二图像，所述第二图像和在该相机位姿下的第一图像具有相同的尺寸和分辨率。
在一个实施例中，置信确定模块包括：
第一计算单元，用于将每一个相机位姿对应的第一图像和第二图像进行像素点对齐，并计算第一图像和第二图像中对应像素点之间的三通道颜色差值；
第二计算单元，用于根据所述第二图像中每一个像素点对应的三通道颜色差值和三通道各自的误差权重，计算所述第二图像中每一个像素点的归一化置信度；
第一映射单元，用于将所述第二图像中每一个像素点的归一化置信度映射到三维模型中，得到所述三维模型中每一个三维点对应的置信度；
第三计算单元，用于对各个第二图像映射到的三维模型中每一个三维点的置信度进行加权处理，得到所述三维模型中每一个三维点的置信度。
在一个实施例中，第二计算单元具体用于：采用第一公式计算所述第二图像中每一个像素点的归一化置信度，所述第一公式为：
其中，αij为所述第二图像中第i行第j列的像素点的归一化置信度，γr为红色通道的误差权重，γg为绿色通道的误差权重，γb为蓝色通道的误差权重，re为所述第一图像和所述第二图像中第i行第j列的像素点在红色通道的颜色差值，ge为所述第一图像和所述第二图像中第i行第j列的像素点在绿色通道的颜色差值，be为所述第一图像和所述第二图像中第i行第j列的像素点在蓝色通道的颜色差值。
在一个实施例中，第三计算单元具体用于采用第二公式计算三维模型中每一个三维点的置信度，所述第二公式为：
其中，An为所述三维模型中第n个三维点的置信度，Γk为第k张第二图像的权重，为第k张第二图像映射到三维模型后的第n个三维点的置信度，K为第二图像的数量。
可理解的是，本发明实施例提供的装置中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
第三方面，本发明实施例提供一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面提供的方法。
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
可理解的是，本发明实施例提供的计算机可读介质中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
第四方面，本说明书一个实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现执行说明书中任一个实施例中的方法。
可理解的是，本发明实施例提供的计算设备中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种三维重建优化方法，其特征在于，包括：
S1、确定相机对应的相机参数；
S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；
S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；
S4、根据每一个相机位姿，将当前的三维模型转换为在该相机位姿下二维的第二图像；
S5、根据在各个相机位姿下各自对应的所述第一图像和所述第二图像，确定当前的三维模型中每一个三维点的置信度；
S6、判断是否存在置信度低于预设阈值的三维点；
若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至S4；
否则，将当前的三维模型作为优化完毕的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述确定相机对应的相机参数，包括：
采用所述相机从多个角度多个距离拍摄相机标定板；
基于拍摄的相机标定板图像，并利用张正友标定法确定该相机的相机参数。
3.根据权利要求1所述的方法，其特征在于，所述通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型，包括：
对畸变校正后的各个第一图像分别进行特征提取，并将包含相同特征最多的每两个第一图像作为一个图像对；
对每一个图像对进行特征匹配，以使该图像对中两个第一图像中的像素点通过所述待重建场景中的真实位置点进行映射；
根据每一个图像对的特征匹配结果，确定该图像对的两个第一图像之间的基础矩阵，并利用该基础矩阵确定该图像对对应的位姿矩阵；根据该位姿矩阵和相机参数，对该图像对进行校正；根据校正后的该图像对，生成三维点坐标对应的稀疏点云；
根据各个图像对对应的稀疏点云，利用立体匹配算法进行稠密重建，得到各个图像对各自对应的深度图，将各个图像对对应的各个深度图进行融合，得到所述待重建场景的全部点云；
根据所述待重建场景的全部点云生成网格，并对所述网格进行滤波；
根据校正后的图像对和相机位姿，生成UV纹理贴图；
通过空间位置匹配算法将所述UV纹理贴图和滤波后的网格进行融合，得到所述初始的三维模型。
4.根据权利要求1所述的方法，其特征在于，所述将当前的三维模型转换为在该相机位姿下二维的第二图像，包括：
针对每一个相机位姿，构建对应的透视投影矩阵；
根据每一个相机位姿对应的透视投影矩阵，将当前的三维模型中的各个三维点投影变换到相机焦平面上；
将所述相机焦平面中各个投影点保存为一个RGB图像，将该RGB图像作为在该相机位姿下二维的第二图像，所述第二图像和在该相机位姿下的第一图像具有相同的尺寸和分辨率。
5.根据权利要求1所述的方法，其特征在于，所述确定当前的三维模型中每一个三维点的置信度，包括：
将每一个相机位姿对应的第一图像和第二图像进行像素点对齐，并计算第一图像和第二图像中对应像素点之间的三通道颜色差值；
根据所述第二图像中每一个像素点对应的三通道颜色差值和三通道各自的误差权重，计算所述第二图像中每一个像素点的归一化置信度；
将所述第二图像中每一个像素点的归一化置信度映射到三维模型中，得到所述三维模型中每一个三维点对应的置信度；
对各个第二图像映射到的三维模型中每一个三维点的置信度进行加权处理，得到所述三维模型中每一个三维点的置信度。
6.根据权利要求5所述的方法，其特征在于，采用第一公式计算所述第二图像中每一个像素点的归一化置信度，所述第一公式为：
其中，αij为所述第二图像中第i行第j列的像素点的归一化置信度，γr为红色通道的误差权重，γg为绿色通道的误差权重，γb为蓝色通道的误差权重，re为所述第一图像和所述第二图像中第i行第j列的像素点在红色通道的颜色差值，ge为所述第一图像和所述第二图像中第i行第j列的像素点在绿色通道的颜色差值，be为所述第一图像和所述第二图像中第i行第j列的像素点在蓝色通道的颜色差值。
7.根据权利要求5所述的方法，其特征在于，采用第二公式计算三维模型中每一个三维点的置信度，所述第二公式为：
其中，An为所述三维模型中第n个三维点的置信度，Γk为第k张第二图像的权重，为第k张第二图像映射到三维模型后的第n个三维点的置信度，K为第二图像的数量。
8.一种三维重建优化装置，其特征在于，包括：
参数确定模块，用于执行S1、确定相机对应的相机参数；
图像校正模块，用于执行S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；
三维重建模块，用于执行S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；
二维转换模块，用于执行S4、根据每一个相机位姿，将当前的三维模型转换为在该相机位姿下二维的第二图像；
置信确定模块，用于执行S5、根据在各个相机位姿下各自对应的所述第一图像和所述第二图像，确定当前的三维模型中每一个三维点的置信度；
置信判断模块，用于执行S6、判断是否存在置信度低于预设阈值的三维点；若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至所述二维转换模块中执行S4；否则，将当前的三维模型作为优化完毕的三维模型。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现实现权利要求1～7中的任一项所述的方法。
10.一种计算设备，其特征在于，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1～7中的任一项所述的方法。
CN202310507362.9A 2023-05-04 2023-05-04 三维重建优化方法及装置、介质、设备 Pending CN116563460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310507362.9A CN116563460A (zh) 2023-05-04 2023-05-04 三维重建优化方法及装置、介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310507362.9A CN116563460A (zh) 2023-05-04 2023-05-04 三维重建优化方法及装置、介质、设备

Publications (1)

Publication Number Publication Date
CN116563460A true CN116563460A (zh) 2023-08-08

Family

ID=87495898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310507362.9A Pending CN116563460A (zh) 2023-05-04 2023-05-04 三维重建优化方法及装置、介质、设备

Country Status (1)

Country Link
CN (1) CN116563460A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934728A (zh) * 2024-03-21 2024-04-26 海纳云物联科技有限公司 三维重建方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934728A (zh) * 2024-03-21 2024-04-26 海纳云物联科技有限公司 三维重建方法、装置、设备及存储介质
CN117934728B (zh) * 2024-03-21 2024-08-02 海纳云物联科技有限公司 三维重建方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
US7773799B2 (en) Method for automatic stereo measurement of a point of interest in a scene
CN106023302B (zh) 一种移动通信终端、服务器及其实现三维重建的方法
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
JP4435145B2 (ja) 幾何情報を校正してパノラマ映像を提供する方法および装置
US20060215935A1 (en) System and architecture for automatic image registration
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN111583119B (zh) 一种正射影像拼接方法、设备以及计算机可读介质
CN113643342B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN116563460A (zh) 三维重建优化方法及装置、介质、设备
CN114078093A (zh) 一种图像校正方法、智能终端及存储介质
CN112929626A (zh) 一种基于智能手机影像的三维信息提取方法
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
CN112184809A (zh) 相对位姿的估计方法、装置、电子设备及介质
CN117409149A (zh) 基于立体约束的光束法平差方程的三维建模方法及系统
CN117409087A (zh) 一种双目相机标定方法、装置、设备及存储介质
CN115311336A (zh) 多相机的图像配准方法、装置、设备及存储介质
CN115719320A (zh) 基于遥感影像的倾斜校正稠密匹配方法
JPH05101221A (ja) 画像歪補正装置
CN112233185B (zh) 相机标定方法、图像配准方法及摄像器件、存储装置
CN113421292A (zh) 一种三维建模细节增强方法及装置
CN112686962A (zh) 室内视觉定位方法、装置及电子设备
CN117422650B (zh) 全景影像畸变校正方法、装置、电子设备及介质
CN111739068A (zh) 一种光场相机相对位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination