CN117456114A - 基于多视图的三维图像重建方法及系统 - Google Patents

基于多视图的三维图像重建方法及系统 Download PDF

Info

Publication number
CN117456114A
CN117456114A CN202311799833.4A CN202311799833A CN117456114A CN 117456114 A CN117456114 A CN 117456114A CN 202311799833 A CN202311799833 A CN 202311799833A CN 117456114 A CN117456114 A CN 117456114A
Authority
CN
China
Prior art keywords
image
cost
pixel
dimensional
neighboring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311799833.4A
Other languages
English (en)
Other versions
CN117456114B (zh
Inventor
刘卫华
周舟
陈虹旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smart Yunzhou Technology Co ltd
Original Assignee
Beijing Smart Yunzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smart Yunzhou Technology Co ltd filed Critical Beijing Smart Yunzhou Technology Co ltd
Priority to CN202311799833.4A priority Critical patent/CN117456114B/zh
Publication of CN117456114A publication Critical patent/CN117456114A/zh
Application granted granted Critical
Publication of CN117456114B publication Critical patent/CN117456114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于多视图的三维图像重建方法及系统，涉及图像处理领域，包括采集多视角图像，结合图像匹配质量因子，选择覆盖全部三维点的最小影像集合，构成参考图像集，确定邻近图像候选集，从邻近图像候选集选择最优元素，作为邻近图像，组合成立体图像对；以每个像素为中心，设置搜索窗口，提取参考像素块，并搜索邻近像素块，计算参考像素块和邻近像素块的视差值和匹配代价，构建代价体积，进行代价聚合，针对代价体积中的每一个像素创建局部窗口，计算局部一致性代价，得到最终视差图；将像素点映射到三维空间，获得每个视角的三维点云，计算运动参数，利用运动参数，进行三维点云拼接，通过使误差最小化，得到三维图像重建结果。

Description

基于多视图的三维图像重建方法及系统
技术领域
本发明涉及图像处理领域技术，尤其涉及一种基于多视图的三维图像重建方法及系统。
背景技术
在现实世界中我们周围的物体都是三维的，但我们通过眼睛观察到的是物体的二维图像，需要再经过人的视觉系统来恢复所观测物体的三维信息，多视角重建就是要使计算机具有人类视觉系统的功能，能够通过拍摄到的二维图像信息，重建出物体的三维结构，重建受限于多视角图片数据的质量，而多视角数据集多是网络上开源的图像集，此类数据集需要在特定的环境和条件下进行采集，采用此类方式进行重建成本较高，无法广泛应用。
CN202310236023.1，公开了一种多视角三维图像重建方法，可以应用于人工智能技术领域。该多视角三维图像重建方法包括：分隔采集到的多张多视角图片中的目标区域和背景区域；对分隔后的多视角图片中的目标区域进行预处理，得到特征点；匹配多张多视角图片的特征点，得到匹配特征点；基于匹配特征点分别执行稀疏点云重建和稠密点云重建，得到稠密点云；按照第一预设过滤逻辑，过滤稠密点云，得到第一稠密点云；按照第二预设过滤逻辑，过滤第一稠密点云，得到第二稠密点云；以及基于第二稠密点云生成三维模型。
综上所述，图像的采集、多视角图像的匹配运算，对三维图像的重建至关重要，而现有技术中，在图像处理和匹配运算中，存在一些不足，本发明采集合适的多视角图像，经过对多视角图像执行优化，提高图像应用质量，通过执行多种迭代算法，择优进行图像关系处理，解决图像之间的匹配问题，为三维图像的重建奠定基础，本发明的应用至少能够解决现有技术的部分问题。
发明内容
本发明实施例提供一种基于多视图的三维图像重建方法及系统，至少能够解决现有技术中部分问题。
本发明实施例的第一方面，
提供一种基于多视图的三维图像重建方法，包括：
使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对；
以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图；
利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果。
在一种可选的实施例中，
使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对包括：
选择公共标识物，以所述公共标识物作为参照物，针对所述参照物使用双目相机，进行多视角图像采集；
从所述多视角图像中选择首个参考图像，计算所述首个参考图像对应的初始深度图，基于最小影像实现三维场景最优覆盖原则，结合图像匹配质量因子，选择最小影响集合，作为参考图像集，其中所述图像匹配质量因子包括：重叠率、重投影误差、图像尺度和图像角度；
针对所述参考图像集的每个参考图像，确定所述参考图像对应的邻近图像候选集，基于所述初始深度图，计算所述邻近图像候选集的每个候选邻近图像的深度图误差，结合所述图像匹配质量因子，从所述邻近图像候选集确定最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对。
在一种可选的实施例中，
以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图包括：
遍历每一个所述参考图像中的像素，以所述像素对应的像素位置为中心，设置搜索窗口；
从所述参考图像中提取与所述搜索窗口相对应的参考像素块，延视差方向，从所述邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，以所述像素位置和所述视差值的维度构建代价体积，将所述匹配代价存储在所述代价体积的相应位置；
创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，经过所述聚合代价的归一化，利用动态规划算法，确定代价最小路径，获得所述代价最小路径上的每个像素位置的最终视差值，构建最终视差图。
在一种可选的实施例中，
创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，经过所述聚合代价的归一化，利用动态规划算法，确定代价最小路径，获得所述代价最小路径上的每个像素位置的最终视差值，构建最终视差图包括：
创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，其中聚合代价的公式如下：
；
其中，i表示像素点i，d表示视差值，C'(i,d)表示在像素点i处的视差值为d时的聚合代价，j表示像素点j，N i 表示以像素点i为中心的代价聚合窗口，K(i,j)表示像素点i和像素点j的相似性评估值，C(i,d)表示像素点j处的视差值为d时的匹配代价；
对所述聚合代价进行归一化处理，其公式如下：
；
其中，V'(i,d)表示在像素点i处的视差值为d的标准化代价，d'表示视差值d'，C'(i,d')表示在像素点i处的视差值为d'的聚合代价；
利用动态规划算法，确定代价最小路径，其公式如下：
；
其中，D(i,j)表示到达像素点i且视差为d的最小代价路径的累积代价，d t 表示像素点i的邻近像素点的视差值，D(i-1,d t )表示到达像素点i上方邻近位置的累积代价，D(i, d t -1)表示到达像素点i左侧邻近位置的累积代价，D(i-1,d t -1)表示到达像素点i左上方邻近位置的累积代价，min{}表示取所述累积代价的最小值。
在一种可选的实施例中，
利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果包括：
基于所述双目相机的预设参数，将所述最终视差图中的像素点映射到三维空间中相对应的三维坐标系，得到三维像素点集合，组成三维点云；
根据所述公共标识物在各视角下的坐标，提取标识物对应关系，对所述双目相机进行外部参数标定，获得所述双目相机的位置和朝向信息，提取相机位置关系，将所述标识物对应关系和所述相机位置关系相结合，计算视角之间的运动参数；
应用所述运动参数，将所述三维点云的坐标系映射到公共坐标系，基于所述标识物对应关系，通过对齐各视角下的点云的公共连接点，使所述公共连接点相匹配，进行三维点云拼接；
解析所述公共连接点在拼接时产生的变换误差，建立误差函数，迭代调整运动参数，使所述误差函数结果最小化，最终得到三维图像重建结果。
在一种可选的实施例中，
，解析所述公共连接点在拼接时产生的变换误差，建立误差函数包括：
所述误差函数公示如下：
；
其中，F表示误差函数，m表示第m个公共连接点，n表示公共连接点的总数，P m 表示三维点云P中的第m个公共连接点，X表示运动参数，Q m 表示三维点云Q中的第m个公共连接点。
在一种可选的实施例中，
迭代调整运动参数，使所述误差函数结果最小化包括：
所述运动参数包括旋转矩阵R和平移矩阵S，对所述误差函数求旋转矩阵R的偏导数，得到旋转矩阵偏导数，对所述误差函数求平移矩阵S的偏导数，得到平移矩阵偏导数，控制所述旋转矩阵偏导数为0，同时平移矩阵偏导数为0，使所述误差函数结果最小化；
其公式如下：
；
其中，表示对误差函数求旋转矩阵R的偏导数，/>表示对误差函数求平移矩阵S的偏导数，/>表示三维点云P中的第m个公共连接点的转置，/>表示对三维点云Q中的第m个公共连接点求旋转矩阵R的偏导数，/>表示对三维点云Q中的第m个公共连接点求平移矩阵S的偏导数。
本发明实施例的第二方面，
提供一种基于多视图的三维图像重建系统，包括：
第一单元，用于使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对；
第二单元，用于以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图；
第三单元，用于利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果。
本发明实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本发明实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明实施例中，通过选择覆盖场景中全部三维点的最小影像集合，确保了在多个视角下捕捉到整个场景的信息，有助于构建全景的三维点云，使重建结果更加完整；利用最小影响集合原则和图像匹配质量因子，选择具有最佳信息的图像集合，有助于减小计算负担，提高算法效率；使用融合了重叠率、重投影误差、图像尺度和图像角度等的图像匹配质量因子，使图像匹配更加鲁棒，提高三维重建的精度和稳定性；通过匹配代价的计算和动态规划算法，能够实现对每个像素位置的精准深度估计，提供准确的三维场景深度信息；通过构建代价体积、代价聚合和动态规划等步骤，得到的最终视差图在几何结构和深度信息上具有更高的质量；运动参数的计算和三维点云的拼接使得来自不同视角的图像可以被精确地对齐；最终的三维图像重建结果包含了从不同视角获取的三维点云，提供了对场景的全方位视角；通过建立误差函数和迭代优化运动参数，最小化拼接时的变换误差，提高拼接结果的准确性。
附图说明
图1为本发明实施例基于多视图的三维图像重建方法的流程示意图；
图2为本发明实施例基于多视图的三维图像重建系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例基于多视图的三维图像重建方法的流程示意图，如图1所示，所述方法包括：
S101.使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对；
所述双目相机具体是指具有左右两个摄像头的成像设备，通过模拟人眼距离比例，获取左右两张具有视差的图像，从而解析出图像深度；
所述图像匹配质量因子具体是指用来衡量图像匹配的准确性和可靠性的指标，通常包括重叠率、重投影误差、图像尺度和图像角度等因素，涉及对图像的匹配精度、稳定性、鲁棒性等方面的评估；
针对预先确定的公共标识物，使用双目相机进行多视角的图像采集；
通过尽可能少的图像来获取整个场景中所有的三维点信息，这些图像组合成最小影像集合，这个集合应包含足够的信息，覆盖整个场景中的全部三维点，以最小影像集合作为参考图像集；
参考图像集的每一个图像，基于相机的为位置关系，选择出在一定视差范围内的其他图像组合成邻近图像集，这个邻近图像集作为邻近图像候选集；
基于图像匹配质量因子，从中筛选出最优元素，作为邻近图像，和参考图像相对应，构成立体图像对；
在本实施例中，通过选择覆盖场景中全部三维点的最小影像集合，确保了在多个视角下捕捉到整个场景的信息，有助于构建全景的三维点云，使重建结果更加完整；结合图像匹配质量因子，选择高质量匹配的图像，有助于减小匹配误差，提高三维重建的准确性；针对每个参考图像，通过基于图像匹配质量因子选择邻近图像候选集，并从中选择最优元素，形成立体图像对，有助于提高立体匹配的精度和效率；通过选择最小影像集合和最优邻近图像，有助于降低计算复杂度，提高重建效率；
在一种可选的实施例中，使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对包括：
选择公共标识物，以所述公共标识物作为参照物，针对所述参照物使用双目相机，进行多视角图像采集；
从所述多视角图像中选择首个参考图像，计算所述首个参考图像对应的初始深度图，基于最小影像实现三维场景最优覆盖原则，结合图像匹配质量因子，选择最小影响集合，作为参考图像集，其中所述图像匹配质量因子包括：重叠率、重投影误差、图像尺度和图像角度；
针对所述参考图像集的每个参考图像，确定所述参考图像对应的邻近图像候选集，基于所述初始深度图，计算所述邻近图像候选集的每个候选邻近图像的深度图误差，结合所述图像匹配质量因子，从所述邻近图像候选集确定最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对。
所述深度图具体是指图像中每个像素点对应的场景中物体的深度值，通过双目相机采集的多视角图像，可以计算出深度值；
所述重叠路具体是指两个图像之间重叠区域的比例，在图像匹配中，选择具有足够重叠区域的图像对是为了提高匹配精度和深度信息的一致性；
所述重投影误差具体是指通过将三维点投影回图像平面，计算其在图像上的投影点与实际图像中对应点的距离，如果重投影误差小，表示匹配结果与实际图像点的对应关系更好；
选取场景中具有独特特征、纹理明显的物体的公共标识物，使用双目相机，从不同视角拍摄多张图像，确保公共标识物在各个图像中都有良好的可见性；
从采集的多视角图像中选择首个参考图像，作为后续匹配的起始点，其中，首个参考图像的选择，优选地，选择具有良好纹理和视角的图像；优利用立体匹配方法，计算首个参考图像的初始深度图；
综合考虑最小影像集合原则和图像匹配质量因子，针对每个图像对首个参考图像，计算其匹配质量，选择覆盖场景中全部三维点的最小影像集合组成参考图像集；
对每个参考图像，通过计算深度信息和匹配质量，确定其邻近图像候选集，利用初始深度图，计算邻近图像候选集中每个候选邻近图像的深度图误差，评估深度信息上的一致性，结合深度信息的一致性，选择在场景中距离较近的图像作为候选邻近图像；综合考虑图像匹配质量因子，包括重叠率、重投影误差、图像尺度和图像角度等，选择在邻近图像候选集中最优的元素，作为参考图像对应的邻近图像；
将经过选择和匹配的参考图像和邻近图像组合，形成立体图像对；
在本实施例中，通过双目相机采集多视角图像，结合深度信息，使场景的三维重建可以获取更全面、更立体的场景信息；利用最小影响集合原则和图像匹配质量因子，选择具有最佳信息的图像集合，有助于减小计算负担，提高算法效率；使用融合了重叠率、重投影误差、图像尺度和图像角度等的图像匹配质量因子，使图像匹配更加鲁棒，提高三维重建的精度和稳定性；通过计算深度图误差，对邻近图像的深度信息进行一致性评估，有助于选择更一致的邻近图像，提高了深度信息的准确性；在邻近图像候选集中选择最优元素，结合深度信息和图像匹配质量，确保了最终选择的邻近图像与参考图像在深度和视差方面的一致性。
S102.以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图；
所述匹配代价具体是指在进行立体匹配时，衡量两个像素块之间相似度的值，通过计算两个像素块中对应像素之间的差异来衡量，差异越小表示匹配越好；
所述代价体积具体是指一个三维的数据结构，其中的每个元素表示由在搜索窗口内搜索的每个像素块对之间的匹配代价，代价体积的维度是图像的宽度、高度和视差范围；
以参考图像中的每个像素为中心，为每个像素设置一个搜索窗口，窗口的大小是预先定义的；
搜索窗口内对应的是参考像素块，从邻近图像中，以相对应搜索窗口，搜索与参考像素块相匹配的邻近像素块；
对每个像素计算一组视差假设下的匹配代价，形成代价体积，代价体积中的每个元素表示在对应的像素位置和视差下的匹配程度；
对代价体积进行代价聚合，以减少噪音并增强匹配结果，在局部范围内使代价体积平滑；
针对代价体积中的每一个像素，创建一个局部窗口，计算局部一致性代价，表示该像素在不同尺度下的匹配一致性；将经过代价聚合和局部一致性计算的结果整合，得到每个像素位置的最终视差值，形成最终视差图。
在本实施例中，通过构建代价体积、代价聚合和局部一致性计算，可以在不同视差假设下对每个像素进行匹配，从而实现对图像中相应点的深度信息估计，有助于准确还原场景的三维结构；代价聚合和局部一致性计算有助于减小匹配代价的噪音，提高了匹配结果的稳定性和准确性；通过构建代价体积和引入局部一致性计算，算法可以更好地适应不同纹理、深度变化和遮挡情况，增强了在复杂场景中的匹配性能；每个像素位置的最终视差值，形成了最终的视差图，为后续的三维点云重建提供了数据基础。
在一种可选的实施例中，以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图包括：
遍历每一个所述参考图像中的像素，以所述像素对应的像素位置为中心，设置搜索窗口；
从所述参考图像中提取与所述搜索窗口相对应的参考像素块，延视差方向，从所述邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，以所述像素位置和所述视差值的维度构建代价体积，将所述匹配代价存储在所述代价体积的相应位置；
创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，经过所述聚合代价的归一化，利用动态规划算法，确定代价最小路径，获得所述代价最小路径上的每个像素位置的最终视差值，构建最终视差图。
对于参考图像中的每个像素，以其像素位置为中心，设置一个搜索窗口，从参考图像中提取与搜索窗口相对应的参考像素块，该块大小与搜索窗口相匹配；在邻近图像中，沿着视差方向搜索与参考像素块相匹配的邻近像素块，其中，视差表示相邻图像之间的位移；
对于每个搜索位置，计算参考像素块和邻近像素块之间的视差值和匹配代价，根据像素位置和视差值，构建代价体积，在代价体积中，每个元素存储对应位置和视差的匹配代价；
设定一个代价聚合窗口大小，在代价体积中进行局部聚合，以减小匹配代价的噪音；利用动态规划算法，从左上角到右下角，选择代价最小路径。每个像素位置都选择其路径上具有最小匹配代价的视差值；得到每个像素位置的最终视差值，构建最终视差图。
在本实施例中，通过匹配代价的计算和动态规划算法，能够实现对每个像素位置的精准深度估计，提供准确的三维场景深度信息；代价聚合窗口的引入和局部一致性代价的计算有助于减少匹配代价的噪音，增强深度图的稳定性和抗噪性；通过构建代价体积、代价聚合和动态规划等步骤，得到的最终视差图在几何结构和深度信息上具有更高的质量；通过选择邻近图像候选集和利用图像匹配质量因子，在不同视角下获取更全面的深度信息；代价聚合窗口的创建和参数设置具有一定的灵活性，适应不同场景和图像特征，使方案的通用性得到增强，适用于更多应用场景。
在一种可选的实施例中，创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，经过所述聚合代价的归一化，利用动态规划算法，确定代价最小路径，获得所述代价最小路径上的每个像素位置的最终视差值，构建最终视差图包括：
创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，其中聚合代价的公式如下：
；
其中，i表示像素点i，d表示视差值，C'(i,d)表示在像素点i处的视差值为d时的聚合代价，j表示像素点j，N i 表示以像素点i为中心的代价聚合窗口，K(i,j)表示像素点i和像素点j的相似性评估值，C(i,d)表示像素点j处的视差值为d时的匹配代价；
对所述聚合代价进行归一化处理，其公式如下：
；
其中，V'(i,d)表示在像素点i处的视差值为d的标准化代价，d'表示视差值d'，C'(i,d')表示在像素点i处的视差值为d'的聚合代价；
利用动态规划算法，确定代价最小路径，其公式如下：
；
其中，D(i,j)表示到达像素点i且视差为d的最小代价路径的累积代价，d t 表示像素点i的邻近像素点的视差值，D(i-1,d t )表示到达像素点i上方邻近位置的累积代价，D(i, d t -1)表示到达像素点i左侧邻近位置的累积代价，D(i-1,d t -1)表示到达像素点i左上方邻近位置的累积代价，min{}表示取所述累积代价的最小值。
运用聚合代价公式，对于每个像素点和视差值，其中，聚合代价是通过在以像素点i为中心的代价聚合窗口中，对匹配代价进行加权聚合得到的，窗口中的其他每个像素点j的匹配代价被相似性评估值乘以权重加权，并求和；
运用聚合代价归一化公式，对于每个像素点i和视差值d，标准化代价是将聚合代价归一化得到的，通过将每个聚合代价除以所有视差值的聚合代价之和来实现，以确保每个像素位置的标准化代价在相同尺度下；
运用动态规划算法公式，用于确定代价最小路径，通过选择上方、左侧和左上方三个邻近位置的最小累积代价，并加上当前位置的匹配代价，得到到达像素点i且视差为d的最小代价路径的累积代价。
根据所述公式，通过代价聚合窗口，对局部信息进行有效聚合，增强了匹配的准确性；聚合代价的归一化处理有助于提高算法的鲁棒性，使在不同图像和场景下都能获得稳健的深度估计；动态规划算法有效地在代价体积中搜索最小路径，获得每个像素位置的最终视差值，提高了整体深度图的准确性和连续性；聚合代价中的相似性评估值在权衡对比度和相似性，提高了深度图的质量，适应不同场景的特征。
S103.利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果；
所述三维点云具体是指由一组三维坐标表示的点的集合，每个点代表场景中的一个空间位置，通过将最终视差图中的像素点映射到三维空间得到的，形成具有深度信息的场景模型；
所述运动参数具体是指描述相机在拍摄图像期间的运动状态的参数集合，通常情况下包括旋转矩阵和平移矩阵，用于将一个相机坐标系下的点映射到另一个相机坐标系中；
利用最终视差图，将每个像素点映射到三维空间，形成三维点云，通过视差值和相机内参进行三角测量来得到每个像素对应的空间坐标；
利用公共标识物的对应关系以及双目相机的位置关系，通过特征点匹配来估计相机之间的运动，计算相邻图像间的运动参数；将各个视角下的三维点云利用运动参数进行拼接，通过将三维点云变换到公共坐标系下，实现三维点云的对齐；通过调整运动参数，最小化拼接误差，使拼接后的三维点云与实际场景尽可能吻合。
在本实例中，通过视差图到三维点云的转换，结合运动参数，能够实现对场景的准确三维重建；运动参数的计算和三维点云的拼接使得来自不同视角的图像可以被精确地对齐；最终的三维图像重建结果包含了从不同视角获取的三维点云，提供了对场景的全方位视角。
在一种可选的实施例中，利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果包括：
基于所述双目相机的预设参数，将所述最终视差图中的像素点映射到三维空间中相对应的三维坐标系，得到三维像素点集合，组成三维点云；
根据所述公共标识物在各视角下的坐标，提取标识物对应关系，对所述双目相机进行外部参数标定，获得所述双目相机的位置和朝向信息，提取相机位置关系，将所述标识物对应关系和所述相机位置关系相结合，计算视角之间的运动参数；
应用所述运动参数，将所述三维点云的坐标系映射到公共坐标系，基于所述标识物对应关系，通过对齐各视角下的点云的公共连接点，使所述公共连接点相匹配，进行三维点云拼接；
解析所述公共连接点在拼接时产生的变换误差，建立误差函数，迭代调整运动参数，使所述误差函数结果最小化，最终得到三维图像重建结果。
利用所述双目相机的预设参数，将最终视差图中的像素点映射到相对应的三维坐标系，形成三维像素点集合，构成初步的三维点云，其中，双目相机的预设参数是指相机内部参数，包括焦距、光心等；
提取所述公共标识物在各视角下的坐标，建立标识物的对应关系，对相机进行外部参数标定，获取双目相机的位置、朝向信息、角度等信息；利用标识物对应关系和相机位置关系，计算视角之间的运动参数，包括旋转矩阵和平移矩阵；利用运动参数，将三维点云的坐标系映射到公共坐标系，结合标识物的对应关系，通过对齐各视角下的三维点云的公共连接点，实现三维点云的拼接，保证整体一致性；
通过对比公共连接点在不同视角下的实际坐标和在拼接后的三维点云中的坐标，计算变换误差，建立误差函数，描述连接点坐标之间的差异，以表示拼接过程中的整体误差；
利用优化算法，对运动参数进行迭代调整，通过最小化建立的误差函数，使得拼接后的三维点云与实际情况更为吻合，调整运动参数以最优化整体拼接结果。
在本实施例中，利用公共标识物和双目相机的位置关系，计算视角之间的运动参数，包括旋转矩阵和平移矩阵，实现对场景的准确建模；通过标识物对应关系和运动参数，实现不同视角下的三维点云的拼接，保证拼接后的点云具有整体一致性；通过建立误差函数和迭代优化运动参数，最小化拼接时的变换误差，提高拼接结果的准确性；
在一种可选的实施例中，解析所述公共连接点在拼接时产生的变换误差，建立误差函数包括：
所述误差函数公示如下：
；
其中，F表示误差函数，m表示第m个公共连接点，n表示公共连接点的总数，P m 表示三维点云P中的第m个公共连接点，X表示运动参数，Q m 表示三维点云Q中的第m个公共连接点。
误差函数表示为F，通过对所有公共连接点的误差平方和进行求和，每个公共连接点的误差计算是该点在两个三维点云中的位置差的平方，公共连接点的数量由n表示，误差函数的目标是通过调整运动参数X，使得所有公共连接点的误差最小化；
在一种可选的实施例中，迭代调整运动参数，使所述误差函数结果最小化包括：
所述运动参数包括旋转矩阵R和平移矩阵S，对所述误差函数求旋转矩阵R的偏导数，得到旋转矩阵偏导数，对所述误差函数求平移矩阵S的偏导数，得到平移矩阵偏导数，控制所述旋转矩阵偏导数为0，同时平移矩阵偏导数为0，使所述误差函数结果最小化；
其公式如下：
；
其中，表示对误差函数求旋转矩阵R的偏导数，/>表示对误差函数求平移矩阵S的偏导数，/>表示三维点云P中的第m个公共连接点的转置，/>表示对三维点云Q中的第m个公共连接点求旋转矩阵R的偏导数，/>表示对三维点云Q中的第m个公共连接点求平移矩阵S的偏导数。
通过偏导数公式，寻找能够使误差函数最小化的旋转矩阵和平移矩阵的数值，在公式中，为了综合考虑整体误差，求和项覆盖所有公共连接点；为了最小化误差函数的目标，控制偏导数为零；通过迭代，不断调整旋转矩阵和平移矩阵，逐步优化数值，使误差函数逐渐趋近于最小值；
根据所述公式，通过最小化误差函数，优化拼接过程中的三维点云匹配，使得拼接后的三维图像更加真实、准确，有助于提高重建结果的质量，使其更符合实际场景，同时，通过调整旋转和平移参数，实现不同视角下的图像在三维空间的无缝连接，从而产生更一致的整体场景。
图2为本发明实施例基于多视图的三维图像重建系统的结构示意图，如图2所示，所述系统包括：
第一单元，用于使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对；
第二单元，用于以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图；
第三单元，用于利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果。
本发明实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本发明实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.基于多视图的三维图像重建方法，其特征在于，包括：
使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对；
以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图；
利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果。
2.根据权利要求1所述的方法，其特征在于，使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对包括：
选择公共标识物，以所述公共标识物作为参照物，针对所述参照物使用双目相机，进行多视角图像采集；
从所述多视角图像中选择首个参考图像，计算所述首个参考图像对应的初始深度图，基于最小影像实现三维场景最优覆盖原则，结合图像匹配质量因子，选择最小影响集合，作为参考图像集，其中所述图像匹配质量因子包括：重叠率、重投影误差、图像尺度和图像角度；
针对所述参考图像集的每个参考图像，确定所述参考图像对应的邻近图像候选集，基于所述初始深度图，计算所述邻近图像候选集的每个候选邻近图像的深度图误差，结合所述图像匹配质量因子，从所述邻近图像候选集确定最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对。
3.根据权利要求1所述的方法，其特征在于，以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图包括：
遍历每一个所述参考图像中的像素，以所述像素对应的像素位置为中心，设置搜索窗口；
从所述参考图像中提取与所述搜索窗口相对应的参考像素块，延视差方向，从所述邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，以所述像素位置和所述视差值的维度构建代价体积，将所述匹配代价存储在所述代价体积的相应位置；
创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，经过所述聚合代价的归一化，利用动态规划算法，确定代价最小路径，获得所述代价最小路径上的每个像素位置的最终视差值，构建最终视差图。
4.根据权利要求3所述的方法，其特征在于，创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，经过所述聚合代价的归一化，利用动态规划算法，确定代价最小路径，获得所述代价最小路径上的每个像素位置的最终视差值，构建最终视差图包括：
创建代价聚合窗口，在所述代价体积中进行局部聚合，得到聚合代价，其中聚合代价的公式如下：
；
其中，i表示像素点i，d表示视差值，C'(i,d)表示在像素点i处的视差值为d时的聚合代价，j表示像素点j，N i 表示以像素点i为中心的代价聚合窗口，K(i,j)表示像素点i和像素点j的相似性评估值，C(i,d)表示像素点j处的视差值为d时的匹配代价；
对所述聚合代价进行归一化处理，其公式如下：
；
其中，V'(i,d)表示在像素点i处的视差值为d的标准化代价，d'表示视差值d'，C'(i, d')表示在像素点i处的视差值为d'的聚合代价；
利用动态规划算法，确定代价最小路径，其公式如下：
；
其中，D(i,j)表示到达像素点i且视差为d的最小代价路径的累积代价，d t 表示像素点i的邻近像素点的视差值，D(i-1,d t )表示到达像素点i上方邻近位置的累积代价，D(i,d t -1)表示到达像素点i左侧邻近位置的累积代价，D(i-1,d t -1)表示到达像素点i左上方邻近位置的累积代价，min{}表示取所述累积代价的最小值。
5.根据权利要求1所述的方法，其特征在于，利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果包括：
基于所述双目相机的预设参数，将所述最终视差图中的像素点映射到三维空间中相对应的三维坐标系，得到三维像素点集合，组成三维点云；
根据所述公共标识物在各视角下的坐标，提取标识物对应关系，对所述双目相机进行外部参数标定，获得所述双目相机的位置和朝向信息，提取相机位置关系，将所述标识物对应关系和所述相机位置关系相结合，计算视角之间的运动参数；
应用所述运动参数，将所述三维点云的坐标系映射到公共坐标系，基于所述标识物对应关系，通过对齐各视角下的点云的公共连接点，使所述公共连接点相匹配，进行三维点云拼接；
解析所述公共连接点在拼接时产生的变换误差，建立误差函数，迭代调整运动参数，使所述误差函数结果最小化，最终得到三维图像重建结果。
6.根据权利要求5所述的方法，其特征在于，解析所述公共连接点在拼接时产生的变换误差，建立误差函数包括：
所述误差函数公示如下：
；
其中，F表示误差函数，m表示第m个公共连接点，n表示公共连接点的总数，P m 表示三维点云P中的第m个公共连接点，X表示运动参数，Q m 表示三维点云Q中的第m个公共连接点。
7.根据权利要求6所述的方法，其特征在于，迭代调整运动参数，使所述误差函数结果最小化包括：
所述运动参数包括旋转矩阵R和平移矩阵S，对所述误差函数求旋转矩阵R的偏导数，得到旋转矩阵偏导数，对所述误差函数求平移矩阵S的偏导数，得到平移矩阵偏导数，控制所述旋转矩阵偏导数为0，同时平移矩阵偏导数为0，使所述误差函数结果最小化；
其公式如下：
；
其中，表示对误差函数求旋转矩阵R的偏导数，/>表示对误差函数求平移矩阵S的偏导数，/>表示三维点云P中的第m个公共连接点的转置，/>表示对三维点云Q中的第m个公共连接点求旋转矩阵R的偏导数，/>表示对三维点云Q中的第m个公共连接点求平移矩阵S的偏导数。
8.基于多视图的三维图像重建系统，用于实现前述权利要求1-7中任一项所述的基于多视图的三维图像重建方法，其特征在于，包括：
第一单元，用于使用双目相机，以公共标识物为参照物，采集多视角图像，结合图像匹配质量因子，选择覆盖场景中全部三维点的最小影像集合，构成参考图像集，针对所述参考图像集的每个参考图像，确定邻近图像候选集，基于所述图像匹配质量因子，从所述邻近图像候选集选择最优元素，作为所述参考图像对应的邻近图像，将所述参考图像和所述邻近图像，组合成立体图像对；
第二单元，用于以所述参考图像中的每个像素为中心，设置搜索窗口，提取与所述搜索窗口相对应的参考像素块，并从邻近图像中搜索与所述参考像素块相匹配的邻近像素块，计算所述参考像素块和所述邻近像素块的视差值和匹配代价，构建代价体积，对所述代价体积进行代价聚合，针对所述代价体积中的每一个像素创建局部窗口，计算局部一致性代价，经过整合，获得每个像素位置的最终视差值，得到最终视差图；
第三单元，用于利用所述最终视差图，将像素点映射到三维空间，获得每个视角的三维点云，根据所述公共标识物的对应关系以及所述双目相机的位置关系，计算运动参数，利用所述运动参数，将所述三维点云在公共坐标系下进行三维点云拼接，通过使所述三维点云拼接的误差最小化，得到三维图像重建结果。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
CN202311799833.4A 2023-12-26 2023-12-26 基于多视图的三维图像重建方法及系统 Active CN117456114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311799833.4A CN117456114B (zh) 2023-12-26 2023-12-26 基于多视图的三维图像重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311799833.4A CN117456114B (zh) 2023-12-26 2023-12-26 基于多视图的三维图像重建方法及系统

Publications (2)

Publication Number Publication Date
CN117456114A true CN117456114A (zh) 2024-01-26
CN117456114B CN117456114B (zh) 2024-04-30

Family

ID=89586006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311799833.4A Active CN117456114B (zh) 2023-12-26 2023-12-26 基于多视图的三维图像重建方法及系统

Country Status (1)

Country Link
CN (1) CN117456114B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911465A (zh) * 2024-03-20 2024-04-19 深圳市森歌数据技术有限公司 一种基于双目立体匹配的自然保护区稠密点云生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220099A (ja) * 2018-06-22 2019-12-26 凸版印刷株式会社 ステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラム
CN114359509A (zh) * 2021-12-03 2022-04-15 三峡大学 一种基于深度学习的多视图自然场景重建方法
CN114862926A (zh) * 2022-05-25 2022-08-05 华中科技大学 融合ad代价和多模局部特征代价的立体匹配方法及系统
CN114943776A (zh) * 2022-05-31 2022-08-26 中国地质大学（武汉） 一种基于互相关函数和法向量损失的三维重建方法及装置
CN116958437A (zh) * 2023-07-27 2023-10-27 重庆大学 融合注意力机制的多视图重建方法及系统
CN117115336A (zh) * 2023-07-13 2023-11-24 中国工程物理研究院计算机应用研究所 一种基于遥感立体影像的点云重建方法
CN117173233A (zh) * 2023-08-30 2023-12-05 中国计量大学 基于半全局立体匹配的视差图确定方法、装置、介质及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220099A (ja) * 2018-06-22 2019-12-26 凸版印刷株式会社 ステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラム
CN114359509A (zh) * 2021-12-03 2022-04-15 三峡大学 一种基于深度学习的多视图自然场景重建方法
CN114862926A (zh) * 2022-05-25 2022-08-05 华中科技大学 融合ad代价和多模局部特征代价的立体匹配方法及系统
CN114943776A (zh) * 2022-05-31 2022-08-26 中国地质大学（武汉） 一种基于互相关函数和法向量损失的三维重建方法及装置
CN117115336A (zh) * 2023-07-13 2023-11-24 中国工程物理研究院计算机应用研究所 一种基于遥感立体影像的点云重建方法
CN116958437A (zh) * 2023-07-27 2023-10-27 重庆大学 融合注意力机制的多视图重建方法及系统
CN117173233A (zh) * 2023-08-30 2023-12-05 中国计量大学 基于半全局立体匹配的视差图确定方法、装置、介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘玉森;汪涛;: "基于结构特征的全局立体匹配算法", 信息技术, no. 01, 25 January 2017 (2017-01-25) *
秦红星;胡勇强;: "基于区域生长的稠密三维点云重建方法", 计算机工程与设计, no. 02, 16 February 2016 (2016-02-16) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911465A (zh) * 2024-03-20 2024-04-19 深圳市森歌数据技术有限公司 一种基于双目立体匹配的自然保护区稠密点云生成方法
CN117911465B (zh) * 2024-03-20 2024-05-17 深圳市森歌数据技术有限公司 一种基于双目立体匹配的自然保护区稠密点云生成方法

Also Published As

Publication number Publication date
CN117456114B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
Strecha et al. On benchmarking camera calibration and multi-view stereo for high resolution imagery
US8326025B2 (en) Method for determining a depth map from images, device for determining a depth map
Hoppe et al. Online Feedback for Structure-from-Motion Image Acquisition.
WO2015135323A1 (zh) 一种摄像机跟踪方法及装置
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN110243390B (zh) 位姿的确定方法、装置及里程计
JP2013178656A (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
KR20120018915A (ko) 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치
Ahmadabadian et al. Image selection in photogrammetric multi-view stereo methods for metric and complete 3D reconstruction
CN114627491A (zh) 一种基于极线汇聚的单人三维姿态估计方法
CN108876861B (zh) 一种地外天体巡视器的立体匹配方法
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
Fei et al. Ossim: An object-based multiview stereo algorithm using ssim index matching cost
JP6285686B2 (ja) 視差画像生成装置
Liu et al. The applications and summary of three dimensional reconstruction based on stereo vision
EP3906530B1 (en) Method for 3d reconstruction of an object
Rothermel et al. Fast and robust generation of semantic urban terrain models from UAV video streams
Lhuillier Toward flexible 3d modeling using a catadioptric camera
CN116883590A (zh) 一种三维人脸点云优化方法、介质及系统
Tjahjadi Photogrammetric area-based least square image matching for surface reconstruction
CN112146647B (zh) 一种地面纹理的双目视觉定位方法及芯片
CN112258635B (zh) 基于改进双目匹配sad算法的三维重建方法及装置
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
Kang et al. 3D urban reconstruction from wide area aerial surveillance video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant