CN117291930A - 一种基于图片序列中目标物体分割的三维重建方法和系统 - Google Patents

一种基于图片序列中目标物体分割的三维重建方法和系统 Download PDF

Info

Publication number
CN117291930A
CN117291930A CN202311077487.9A CN202311077487A CN117291930A CN 117291930 A CN117291930 A CN 117291930A CN 202311077487 A CN202311077487 A CN 202311077487A CN 117291930 A CN117291930 A CN 117291930A
Authority
CN
China
Prior art keywords
image
data set
pictures
image data
dataset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311077487.9A
Other languages
English (en)
Inventor
吴光海
张�浩
闫志奇
王浩宇
钟志豪
訚子翱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Construction Co Ltd of China Construction Third Engineering Division
Original Assignee
Third Construction Co Ltd of China Construction Third Engineering Division
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Construction Co Ltd of China Construction Third Engineering Division filed Critical Third Construction Co Ltd of China Construction Third Engineering Division
Priority to CN202311077487.9A priority Critical patent/CN117291930A/zh
Publication of CN117291930A publication Critical patent/CN117291930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于图片序列中目标物体分割的三维重建方法和系统，所述方法包括：获取目标物体的视频数据；对获取的目标物体的视频数据进行视频分帧，获取原图像数据集Xp；按第一预设规则对原图像数据集进行处理，得到参考图像数据集Xref；对参考图像数据集进行临近图片选择处理，得到目标图像数据集Xa；按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim；对图像数据集Xaim进行稀疏点云重建；采用MVS进行稠密点云重建，得到表面密集的三维点云。本发明提出的一种基于图片序列中目标物体分割的三维重建方法,该方法既保证了重建模型的质量，又显著缩短了重建模型的时间。

Description

一种基于图片序列中目标物体分割的三维重建方法和系统
技术领域
本发明涉及的是三维重建领域，特别涉及一种基于图片序列中目标物体分割的三维重建方法和系统。
背景技术
三维重建是计算机视觉中具有挑战性的研究课题之一，涉及计算机视觉、计算机图形学、模式识别、最优化等多个领域的理论与技术。实现三维重建有多种途径，传统方法是采用激光、雷达等测距传感器或结构光技术来获取场景或物体表面的结构信息进行三维重建,但这些仪器大多价格昂贵并且不易携带,所以应用场合有限。随着计算机视觉技术的发展,研究者们开始研究使用纯视觉的方法进行三维重建,涌现出来了大量有益的研究工作。
图片中目标分割及传递是计算机视觉领域的研究方向，旨在准确地将图片中的目标从背景中分割出来，并将其转移到其他图片中。图片分割是将图片划分为语义区域的任务，而目标分割是其重要应用之一，为图片编辑、增强现实和自动驾驶等领域提供了基础。目标传递是指将已经分割的目标从一幅图片转移到另一幅图片中，可以用于图片合成、风格迁移等应用。这一研究方向为图片处理和计算机视觉领域带来了新的挑战和机会，为实现更准确、高效的目标分割和传递技术提供了基础。
现有的三维重建技术中，对采集的图片和视频数据处理不充分，造成三维重建计算量大、重建时间长、离群点多等问题，这些处理方法无法满足实际工业生产中的需求。
现有的三维重建技术中，采用目标物体和背景一起重建，然后再对三维模型的点云数据进行剔除的方法，这些方法多牺牲计算时间和计算量，还不能保证模型背景数据剔除的准确性，无法满足只对目标物体重建和测量的需求。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于图片序列中目标物体分割的三维重建方法和系统。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
一种基于图片序列中目标物体分割的三维重建方法，包括：
S100.使用视频设备围绕目标物体进行360°环绕拍摄，获取目标物体的视频数据；
S200.对获取的目标物体的视频数据进行视频分帧，获取原图像数据集Xp,Xp＝{Xi|i＝1,2…n}，n表示原图像数据集包含的图片数量；
S300.按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref,Xref＝{Xj|j＝1,2…m}，m表示原图像数据集中剔除模糊图片后的图片数量，遍历参考图像数据集；
S400.对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa,Xa＝{Xk|k＝1,2…l}，l表示参考图像数据集中特征点个数大于预设阈值的图片数量；
S500.按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim,Xaim＝{Xi|i＝1,2…l}；
S600.对图像数据集Xaim进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿；
S700.采用深度估计方法恢复Xaim数据集的深度信息，深度估计结束后，获得彩色图像对应的深度图；
S800.将S600得到的相机位姿和S700得到的深度图一起作为输入，并进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。
进一步地，S300中，按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref，第一预设规则为利用Laplacian算法检测模糊图像，并将模糊图像从图像数据集中剔除，具体包括：
S301.将原图像数据集中的图像进行加载，以灰度图方式加载参考数据集图像序列；
S302.应用拉普拉斯滤波器，使用拉普拉斯算子的滤波器对灰度图像进行处理，增强图像中的边缘信息，拉普拉斯滤波器通过应用二维卷积操作来实现；
S303.计算模糊度评分，通过计算像素值的标准差来评估，标准差低于预设值的像素区域表示图像具有较高的清晰度；
S304.阈值判定，根据特定应用需求，设定适当的模糊度阈值，基于标准差评分，将图像分类为清晰或模糊；
S305.剔除模糊图像，遍历原图像数据集中的每张图像，计算其模糊度评分，并与预设的阈值进行比较，根据评分结果，选择保留清晰图像和删除模糊图像。
进一步地，S400中，对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa，具体包括：
S401.利用尺度不变特征变换检测算法SIFT提取图像中的特征，得到相应的关键点和描述子；
S402.利用直线段检测算法LSD，通过计算每个像素的水平线角所构成的水平线场来检测图像中的直线特征；
S403.利用关键点特征向量间的欧式距离判断两幅图像中关键点的相似性，利用特征点匹配算法FLANN进行特征点匹配，获得特征点匹配对；
S403.使用RANSAC算法来估计两张图像之间的变换矩阵，去除误匹配的特征点对，获得正确匹配点对，计算共有的特征点数目；
S405.对相邻配对图像特征点数目计算和统计，对于每对相邻图像，统计它们之间共有的特征点数目；
S406.数据筛选与保留，将统计的共有特征点数目与预设的特征点数目阈值进行比较，选择保留共有特征数目较多的图像；
进一步地，S500中，按第二预设规则获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim，第二预设规则包括：
S501.预处理过的图像序列输入训练好的目标分割网络；
S502.初始对象分割，使用一种初始的对象分割方法对图像序列中的第一张图片进行分割，得到第一张的对象分割结果；
S503.掩码转换和传播，将第一张图片的对象分割结果标记为掩码，使用传播算法在图像序列中传播；
S504.差异感知融合，将经过传播的交互信息与初始对象分割结果进行差异感知融合，以产生更准确的对象分割结果。
进一步地，S600中，使用SFM算法进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿；
进一步地，S800中，使用MVS算法进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。
本发明还公开了一种基于图片序列中目标物体分割的三维重建系统，包括：目标物体的视频数据获取单元、原图像数据集获取单元、参考图像数据集获取单元、目标图像数据集获取单元、目标图像数据集分割单元、稀疏点云重建单元和稠密点云重建单元；其中：
目标物体的视频数据获取单元，用于通过视频设备围绕目标物体进行360°环绕拍摄，获取目标物体的视频数据；
原图像数据集获取单元，用于对获取的目标物体的视频数据进行视频分帧，获取原图像数据集Xp；Xp＝{Xi|i＝1,2…n}，n表示原图像数据集包含的图片数量；
参考图像数据集获取单元，用于按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref,Xref＝{Xj|j＝1,2…m}，m表示原图像数据集中剔除模糊图片后的图片数量，遍历参考图像数据集；
目标图像数据集获取单元，用于对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa,Xa＝{Xk|k＝1,2…l}，l表示参考图像数据集中特征点个数大于预设阈值的图片数量；
目标图像数据集获取单元，用于按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim,Xaim＝{Xi|i＝1,2…l}；
目标图像数据集分割单元，用于对图像数据集Xaim进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿；
稀疏点云重建单元，用于采用深度估计方法恢复Xaim数据集的深度信息，深度估计结束后，获得彩色图像对应的深度图；
稠密点云重建单元，将目标图像数据集分割单元得到的相机位姿和稀疏点云重建单元得到的深度图一起作为输入，并进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。
8.如权利要求7所述的一种基于图片序列中目标物体分割的三维重建系统，其特征在于，参考图像数据集获取单元，用于按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref，第一预设规则包括：
S301.将原图像数据集中的图像进行加载，以灰度图方式加载参考数据集图像序列；
S302.应用拉普拉斯滤波器，使用拉普拉斯算子的滤波器对灰度图像进行处理，增强图像中的边缘信息，拉普拉斯滤波器通过应用二维卷积操作来实现；
S303.计算模糊度评分，通过计算像素值的标准差来评估，标准差低于预设值的像素区域表示图像具有较高的清晰度；
S304.阈值判定，根据特定应用需求，设定适当的模糊度阈值，基于标准差评分，将图像分类为清晰或模糊；
S305.剔除模糊图像，遍历原图像数据集中的每张图像，计算其模糊度评分，并与预设的阈值进行比较，根据评分结果，选择保留清晰图像和删除模糊图像。
9.如权利要求7所述的一种基于图片序列中目标物体分割的三维重建系统，其特征在于，目标图像数据集获取单元，用于按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim，第二预设规则包括：
S501.预处理过的图像序列输入训练好的目标分割网络；
S502.初始对象分割，使用一种初始的对象分割方法对图像序列中的第一张图片进行分割，得到第一张的对象分割结果；
S503.掩码转换和传播，将第一张图片的对象分割结果标记为掩码，使用传播算法在图像序列中传播；
S504.差异感知融合，将经过传播的交互信息与初始对象分割结果进行差异感知融合，以产生更准确的对象分割结果。
10.一种电子设备，其特征在于，包括：
存储器，用于存储可由处理器执行的指令；
处理器，用于执行所述指令以实现如权利要求1-6任一项所述的一种低延迟高性能实时数据仓库搭建的方法。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明公开了一种基于图片序列中目标物体分割的三维重建方法和系统，所述方法包括：使用视频设备围绕目标物体进行360°环绕拍摄，获取目标物体的视频数据；对获取的目标物体的视频数据进行视频分帧，获取原图像数据集Xp,Xp＝{Xi|i＝1,2…n}，n表示原图像数据集包含的图片数量；按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref,Xref＝{Xj|j＝1,2…m}，m表示原图像数据集中剔除模糊图片后的图片数量，遍历参考图像数据集；对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa,Xa＝{Xk|k＝1,2…l}，l表示参考图像数据集中特征点个数大于预设阈值的图片数量；按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim，Xaim＝{Xi|i＝1,2…l}；对图像数据集Xaim进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿；采用深度估计方法恢复Xaim数据集的深度信息，深度估计结束后，获得彩色图像对应的深度图；将得到的相机位姿和深度图一起作为输入，并进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。
本发明为基于图像进行三维重建的方法提供一种可靠的数据预处理方式，使数据预处理更加高效；本发明实现三维重建步骤便捷，点云结构信息完整，有效提高数据处理速度和模型重建精度，为建筑行业管道三维重建提供了一个切实可行的技术方案。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例1中，一种基于图片序列中目标物体分割的三维重建方法的流程图；
图2为本发明实施例1中，三维重建实现效果图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的问题，本发明实施例提供一种基于图片序列中目标物体分割的三维重建方法和系统。
实施例1
本实施例公开了一种基于图片序列中目标物体分割的三维重建方法，如图1，包括：
S100.使用视频设备围绕目标物体进行360°环绕拍摄，获取目标物体的视频数据；在本实施例中，视频设备包括但不限于相机这种能进行拍摄，获取目标物体的视频数据。
S200.对获取的目标物体的视频数据进行视频分帧，获取原图像数据集Xp,Xp＝{Xi|i＝1,2…n}，n表示原图像数据集包含的图片数量；具体的，在本实施例中，图像序列获取，对视频分帧得到n张图像，获取图像的高H和宽W，即H×W，获取原图像集Xp,Xp＝{Xi|i＝1,2…n},图像数据集包含n张图像。
S300.按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref,Xref＝{Xj|j＝1,2…m}，m表示原图像数据集中剔除模糊图片后的图片数量，遍历参考图像数据集；
在本实施例中，采用Laplacian算法检测模糊图像，并将模糊图像从图像数据集中剔除,建立参考图像数据集Xref，其中，Laplacian算法是线性二阶微分算法，即用上下左右4个相邻像元值相加的和，再减去该像元值的四倍，作为该像元的亮度值。
在本实施例中，第一预设规则具体包括：
S301.将原图像数据集中的图像进行加载，以灰度图方式加载参考数据集图像序列；
S302.应用拉普拉斯滤波器，使用拉普拉斯算子的滤波器对灰度图像进行处理，增强图像中的边缘信息，拉普拉斯滤波器通过应用二维卷积操作来实现；
S303.计算模糊度评分，通过计算像素值的标准差来评估，标准差低于预设值的像素区域表示图像具有较高的清晰度；
S304.阈值判定，根据特定应用需求，设定适当的模糊度阈值，基于标准差评分，将图像分类为清晰或模糊；
S305.剔除模糊图像，遍历原图像数据集中的每张图像，计算其模糊度评分，并与预设的阈值进行比较，根据评分结果，选择保留清晰图像和删除模糊图像。
S400.对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa,Xa＝{Xk|k＝1,2…l}，l表示参考图像数据集中特征点个数大于预设阈值的图片数量；选择有效的邻近图像可以兼顾重建模型的精度和完整度，因此选图将综合考虑重叠率、重投影误差、图像尺寸以及图像间夹角因素。
在本实施例S400中，对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa，具体包括：
S401.利用尺度不变特征变换检测算法SIFT提取图像中的特征，得到相应的关键点和描述子；
S402.利用直线段检测算法LSD，通过计算每个像素的水平线角所构成的水平线场来检测图像中的直线特征；
S403.利用关键点特征向量间的欧式距离判断两幅图像中关键点的相似性，利用特征点匹配算法FLANN进行特征点匹配，获得特征点匹配对；
S403.使用RANSAC算法来估计两张图像之间的变换矩阵，去除误匹配的特征点对，获得正确匹配点对，计算共有的特征点数目；
S405.对相邻配对图像特征点数目计算和统计，对于每对相邻图像，统计它们之间共有的特征点数目；
S406.数据筛选与保留，将统计的共有特征点数目与预设的特征点数目阈值进行比较，选择保留共有特征数目较多的图像；
S500.按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim,Xaim＝{Xi|i＝1,2…l}；
在本实施例的S500中，按第二预设规则获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim，第二预设规则包括：
S501.预处理过的图像序列输入训练好的目标分割网络；
S502.初始对象分割，使用一种初始的对象分割方法对图像序列中的第一张图片进行分割，得到第一张的对象分割结果；
S503.掩码转换和传播，将第一张图片的对象分割结果标记为掩码，使用传播算法在图像序列中传播；
S504.差异感知融合，将经过传播的交互信息与初始对象分割结果进行差异感知融合，以产生更准确的对象分割结果。
S600.对图像数据集Xaim进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿；
S700.采用深度估计方法恢复Xaim数据集的深度信息，深度估计结束后，获得彩色图像对应的深度图；优选的，本实施例采用使用SFM方法进行稀疏点云重建，SFM方法用于从图像数据集Xaim序列中恢复场景三维结构和相机位姿。其中，SFM(Structure from Motion)算法是通过多张二维图片来重建三维场景的算法。
S800.将S600得到的相机位姿和S700得到的深度图一起作为输入，并进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。在本实施例中，使用MVS方法进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云，三维重建实现效果图如图2。其中，MVS(多视点立体视觉，Multi-view stereo)能够单独从图像中构造出高度细节化的3D模型，采集一个庞大的图像数据集，用其来构建出一个用来解析图像的3D几何模型。
本实施例公开了一种基于图片序列中目标物体分割的三维重建方法，包括：使用视频设备围绕目标物体进行360°环绕拍摄，获取目标物体的视频数据；对获取的目标物体的视频数据进行视频分帧，获取原图像数据集Xp,Xp＝{Xi|i＝1,2…n}，n表示原图像数据集包含的图片数量；按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref,Xref＝{Xj|j＝1,2…m}，m表示原图像数据集中剔除模糊图片后的图片数量，遍历参考图像数据集；对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa,Xa＝{Xk|k＝1,2…l}，l表示参考图像数据集中特征点个数大于预设阈值的图片数量；按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim,Xaim＝{Xi|i＝1,2…l}；对图像数据集Xaim进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿；采用深度估计方法恢复Xaim数据集的深度信息，深度估计结束后，获得彩色图像对应的深度图；将得到的相机位姿和深度图一起作为输入，并进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。
本发明为基于图像进行三维重建的方法提供一种可靠的数据预处理方式，使数据预处理更加高效；本发明实现三维重建步骤便捷，点云结构信息完整，有效提高数据处理速度和模型重建精度，为建筑行业管道三维重建提供了一个切实可行的技术方案。
实施例2
基于实施例1中的一种基于图片序列中目标物体分割的三维重建方法，本实施公开了一种基于图片序列中目标物体分割的三维重建系统，包括：目标物体的视频数据获取单元、原图像数据集获取单元、参考图像数据集获取单元、目标图像数据集获取单元、目标图像数据集分割单元、稀疏点云重建单元和稠密点云重建单元；其中：
目标物体的视频数据获取单元，用于通过视频设备围绕目标物体进行360°环绕拍摄，获取目标物体的视频数据；
原图像数据集获取单元，用于对获取的目标物体的视频数据进行视频分帧，获取原图像数据集Xp；Xp＝{Xi|i＝1,2…n}，n表示原图像数据集包含的图片数量；
参考图像数据集获取单元，用于按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref,Xref＝{Xj|j＝1,2…m}，m表示原图像数据集中剔除模糊图片后的图片数量，遍历参考图像数据集；
目标图像数据集获取单元，用于对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa,Xa＝{Xk|k＝1,2…l}，l表示参考图像数据集中特征点个数大于预设阈值的图片数量；
目标图像数据集获取单元，用于按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim,Xaim＝{Xi|i＝1,2…l}；
目标图像数据集分割单元，用于对图像数据集Xaim进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿；
稀疏点云重建单元，用于采用深度估计方法恢复Xaim数据集的深度信息，深度估计结束后，获得彩色图像对应的深度图；
稠密点云重建单元，将目标图像数据集分割单元得到的相机位姿和稀疏点云重建单元得到的深度图一起作为输入，并进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。
在本实施例中，参考图像数据集获取单元，用于按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref，第一预设规则包括：
S301.将原图像数据集中的图像进行加载，以灰度图方式加载参考数据集图像序列；
S302.应用拉普拉斯滤波器，使用拉普拉斯算子的滤波器对灰度图像进行处理，增强图像中的边缘信息，拉普拉斯滤波器通过应用二维卷积操作来实现；
S303.计算模糊度评分，通过计算像素值的标准差来评估，标准差低于预设值的像素区域表示图像具有较高的清晰度；
S304.阈值判定，根据特定应用需求，设定适当的模糊度阈值，基于标准差评分，将图像分类为清晰或模糊；
S305.剔除模糊图像，遍历原图像数据集中的每张图像，计算其模糊度评分，并与预设的阈值进行比较，根据评分结果，选择保留清晰图像和删除模糊图像。
在本实施例中，目标图像数据集获取单元，用于按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim，第二预设规则包括：
S501.预处理过的图像序列输入训练好的目标分割网络；
S502.初始对象分割，使用一种初始的对象分割方法对图像序列中的第一张图片进行分割，得到第一张的对象分割结果；
S503.掩码转换和传播，将第一张图片的对象分割结果标记为掩码，使用传播算法在图像序列中传播；
S504.差异感知融合，将经过传播的交互信息与初始对象分割结果进行差异感知融合，以产生更准确的对象分割结果。
本实施例还公开了一种电子设备，包括：
存储器，用于存储可由处理器执行的指令；
处理器，用于执行所述指令以实现如权利要求1-6任一项所述的一种低延迟高性能实时数据仓库搭建的方法。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (10)

1.一种基于图片序列中目标物体分割的三维重建方法，其特征在于，包括：
S100.使用视频设备围绕目标物体进行360°环绕拍摄，获取目标物体的视频数据；
S200.对获取的目标物体的视频数据进行视频分帧，获取原图像数据集Xp,Xp＝{Xi|i＝1,2…n}，n表示原图像数据集包含的图片数量；
S300.按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref,Xref＝{Xj|j＝1,2…m}，m表示原图像数据集中剔除模糊图片后的图片数量，遍历参考图像数据集；
S400.对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa,Xa＝{Xk|k＝1,2…l}，l表示参考图像数据集中特征点个数大于预设阈值的图片数量；
S500.按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim,Xaim＝{Xi|i＝1,2…l}；
S600.对图像数据集Xaim进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿；
S700.采用深度估计方法恢复Xaim数据集的深度信息，深度估计结束后，获得彩色图像对应的深度图；
S800.将S600得到的相机位姿和S700得到的深度图一起作为输入，并进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。
2.如权利要求1所述的一种基于图片序列中目标物体分割的三维重建方法，其特征在于，S300中，按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref，第一预设规则为利用Laplacian算法检测模糊图像，并将模糊图像从图像数据集中剔除，具体包括：
S301.将原图像数据集中的图像进行加载，以灰度图方式加载参考数据集图像序列；
S302.应用拉普拉斯滤波器，使用拉普拉斯算子的滤波器对灰度图像进行处理，增强图像中的边缘信息，拉普拉斯滤波器通过应用二维卷积操作来实现；
S303.计算模糊度评分，通过计算像素值的标准差来评估，标准差低于预设值的像素区域表示图像具有较高的清晰度；
S304.阈值判定，根据特定应用需求，设定适当的模糊度阈值，基于标准差评分，将图像分类为清晰或模糊；
S305.剔除模糊图像，遍历原图像数据集中的每张图像，计算其模糊度评分，并与预设的阈值进行比较，根据评分结果，选择保留清晰图像和删除模糊图像。
3.如权利要求1所述的一种基于图片序列中目标物体分割的三维重建方法，其特征在于，S400中，对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa，具体包括：
S401.利用尺度不变特征变换检测算法SIFT提取图像中的特征，得到相应的关键点和描述子；
S402.利用直线段检测算法LSD，通过计算每个像素的水平线角所构成的水平线场来检测图像中的直线特征；
S403.利用关键点特征向量间的欧式距离判断两幅图像中关键点的相似性，利用特征点匹配算法FLANN进行特征点匹配，获得特征点匹配对；
S403.使用RANSAC算法来估计两张图像之间的变换矩阵，去除误匹配的特征点对，获得正确匹配点对，计算共有的特征点数目；
S405.对相邻配对图像特征点数目计算和统计，对于每对相邻图像，统计它们之间共有的特征点数目；
S406.数据筛选与保留，将统计的共有特征点数目与预设的特征点数目阈值进行比较，选择保留共有特征数目较多的图像。
4.如权利要求1所述的一种基于图片序列中目标物体分割的三维重建方法，其特征在于，S500中，按第二预设规则获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim，第二预设规则包括：
S501.预处理过的图像序列输入训练好的目标分割网络；
S502.初始对象分割，使用一种初始的对象分割方法对图像序列中的第一张图片进行分割，得到第一张的对象分割结果；
S503.掩码转换和传播，将第一张图片的对象分割结果标记为掩码，使用传播算法在图像序列中传播；
S504.差异感知融合，将经过传播的交互信息与初始对象分割结果进行差异感知融合，以产生更准确的对象分割结果。
5.如权利要求1所述的一种基于图片序列中目标物体分割的三维重建方法，其特征在于，S600中，使用SFM算法进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿。
6.如权利要求1所述的一种基于图片序列中目标物体分割的三维重建方法，其特征在于，S800中，使用MVS算法进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。
7.一种基于图片序列中目标物体分割的三维重建系统，其特征在于，包括：目标物体的视频数据获取单元、原图像数据集获取单元、参考图像数据集获取单元、目标图像数据集获取单元、目标图像数据集分割单元、稀疏点云重建单元和稠密点云重建单元；其中：
目标物体的视频数据获取单元，用于通过视频设备围绕目标物体进行360°环绕拍摄，获取目标物体的视频数据；
原图像数据集获取单元，用于对获取的目标物体的视频数据进行视频分帧，获取原图像数据集Xp；Xp＝{Xi|i＝1,2…n}，n表示原图像数据集包含的图片数量；
参考图像数据集获取单元，用于按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref,Xref＝{Xj|j＝1,2…m}，m表示原图像数据集中剔除模糊图片后的图片数量，遍历参考图像数据集；
目标图像数据集获取单元，用于对参考图像数据集进行临近图片选择处理，选择相邻图片共同特征点个数大于预设阈值的图片，得到目标图像数据集Xa,Xa＝{Xk|k＝1,2…l}，l表示参考图像数据集中特征点个数大于预设阈值的图片数量；
目标图像数据集获取单元，用于按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim,Xaim＝{Xi|i＝1,2…l}；
目标图像数据集分割单元，用于对图像数据集Xaim进行稀疏点云重建，从图像数据集Xaim序列中恢复场景三维结构和相机位姿；
稀疏点云重建单元，用于采用深度估计方法恢复Xaim数据集的深度信息，深度估计结束后，获得彩色图像对应的深度图；
稠密点云重建单元，将目标图像数据集分割单元得到的相机位姿和稀疏点云重建单元得到的深度图一起作为输入，并进行稠密重建，计算图像每一个像素点对应的三维点，得到表面密集的三维点云。
8.如权利要求7所述的一种基于图片序列中目标物体分割的三维重建系统，其特征在于，参考图像数据集获取单元，用于按第一预设规则对原图像数据集进行处理，剔除模糊图片，得到参考图像数据集Xref，第一预设规则包括：
S301.将原图像数据集中的图像进行加载，以灰度图方式加载参考数据集图像序列；
S302.应用拉普拉斯滤波器，使用拉普拉斯算子的滤波器对灰度图像进行处理，增强图像中的边缘信息，拉普拉斯滤波器通过应用二维卷积操作来实现；
S303.计算模糊度评分，通过计算像素值的标准差来评估，标准差低于预设值的像素区域表示图像具有较高的清晰度；
S304.阈值判定，根据特定应用需求，设定适当的模糊度阈值，基于标准差评分，将图像分类为清晰或模糊；
S305.剔除模糊图像，遍历原图像数据集中的每张图像，计算其模糊度评分，并与预设的阈值进行比较，根据评分结果，选择保留清晰图像和删除模糊图像。
9.如权利要求7所述的一种基于图片序列中目标物体分割的三维重建系统，其特征在于，目标图像数据集获取单元，用于按第二预设规则对目标图像数据集进行分割，获取目标图像数据集Xa中只保留目标物体的图像数据集Xaim，第二预设规则包括：
S501.预处理过的图像序列输入训练好的目标分割网络；
S502.初始对象分割，使用一种初始的对象分割方法对图像序列中的第一张图片进行分割，得到第一张的对象分割结果；
S503.掩码转换和传播，将第一张图片的对象分割结果标记为掩码，使用传播算法在图像序列中传播；
S504.差异感知融合，将经过传播的交互信息与初始对象分割结果进行差异感知融合，以产生更准确的对象分割结果。
10.一种电子设备，其特征在于，包括：
存储器，用于存储可由处理器执行的指令；
处理器，用于执行所述指令以实现如权利要求1-6任一项所述的一种低延迟高性能实时数据仓库搭建的方法。
CN202311077487.9A 2023-08-25 2023-08-25 一种基于图片序列中目标物体分割的三维重建方法和系统 Pending CN117291930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311077487.9A CN117291930A (zh) 2023-08-25 2023-08-25 一种基于图片序列中目标物体分割的三维重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311077487.9A CN117291930A (zh) 2023-08-25 2023-08-25 一种基于图片序列中目标物体分割的三维重建方法和系统

Publications (1)

Publication Number Publication Date
CN117291930A true CN117291930A (zh) 2023-12-26

Family

ID=89252549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311077487.9A Pending CN117291930A (zh) 2023-08-25 2023-08-25 一种基于图片序列中目标物体分割的三维重建方法和系统

Country Status (1)

Country Link
CN (1) CN117291930A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475091A (zh) * 2023-12-27 2024-01-30 浙江时光坐标科技股份有限公司 高精度3d模型生成方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475091A (zh) * 2023-12-27 2024-01-30 浙江时光坐标科技股份有限公司 高精度3d模型生成方法和系统
CN117475091B (zh) * 2023-12-27 2024-03-22 浙江时光坐标科技股份有限公司 高精度3d模型生成方法和系统

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
Kumari et al. A survey on stereo matching techniques for 3D vision in image processing
US11651581B2 (en) System and method for correspondence map determination
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
CN117291930A (zh) 一种基于图片序列中目标物体分割的三维重建方法和系统
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建系统和方法
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
Wexler et al. Learning epipolar geometry from image sequences
CN112686952A (zh) 一种图像光流计算系统、方法及应用
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
CN115330874B (zh) 基于超像素处理遮挡的单目深度估计方法
JP2022516298A (ja) 対象物を３ｄ再構築するための方法
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
Budianti et al. Background blurring and removal for 3d modelling of cultural heritage objects
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
Arifianto et al. 3D Reconstruction using convolution smooth method
CN112967398B (zh) 一种三维数据重建方法、装置及电子设备
CN110264508B (zh) 一种基于凸四边形原则的消影点估计方法
JPWO2020148603A5 (zh)
Yamao et al. A sequential online 3d reconstruction system using dense stereo matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination