CN106887043A - 三维建模外点去除的方法、装置及三维建模的方法 - Google Patents
三维建模外点去除的方法、装置及三维建模的方法 Download PDFInfo
- Publication number
- CN106887043A CN106887043A CN201710134378.4A CN201710134378A CN106887043A CN 106887043 A CN106887043 A CN 106887043A CN 201710134378 A CN201710134378 A CN 201710134378A CN 106887043 A CN106887043 A CN 106887043A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- background
- area
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000005484 gravity Effects 0.000 claims abstract description 94
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 239000003550 marker Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010276 construction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种三维建模外点去除的方法、装置及三维建模的方法。其中,三维建模外点去除的方法包括:对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域;所述前景区域为所述图像中与物体相对应的部分,所述背景图像为所述图像中与图像拍摄背景相对应的部分;将已经构建的三维重建点与对应图像进行比对,删除落在所述背景区域的所述三维重建点;将未删除的三维重建点构成最终物体三维重建点集,用于对应物体的三维重建。该方法通过对所使用图像进行前景和背景区域分割,并根据前景背景信息将落在背景区域中的三维重建点进行滤除,整个方法处理过程简单,可以通过计算机自动计算完成,外点去除效果好,使物体三维建模准确性更高。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种三维建模外点去除的方法、装置及三维建模的方法。
背景技术
在计算机视觉领域,基于图像的三维重建是一项重要的逆向建模手段。为了减少不必要的匹配、重建,往往将被重建物体放置于简单背景环境内,即放置在纯色或者少量的色块构成的弱纹理环境中。但即使这样,基于物体多个方向的图像对物体进行三维重建时,三维重建物体点云附近也会附着很多由于弱纹理导致的错误重建点,这些错误的重建点严重影响物体三维建模的准确性。
发明内容
基于此,有必要针对上述问题,提供一种能够有效去除外点的三维建模外点去除的方法、装置,以及包含所述方法的三维建模的方法。
为实现本发明目的提供的一种三维建模外点去除的方法,包括:
对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域;所述前景区域为所述图像中与物体相对应的部分,所述背景图像为所述图像中与图像拍摄背景相对应的部分;
将已经构建的三维重建点与对应图像进行比对,删除落在所述背景区域的所述三维重建点;
将未删除的三维重建点构成最终物体三维重建点集,用于对应物体的三维重建。
在其中一个实施例中,所述对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域,包括:
构建所述图像对应的二值图像;所述二值图像中与所述三维重建点对应像素点为第一预设值,除与所述三维重建点以外的其他像素点为第二预设值;
对所述二值图像进行开运算处理,得到所述第一预设值对应的第一像素集及所述第二预设值对应的第二像素集;
将所述图像中与所述第一像素集对应的区域标记为预设前景区域,经所述第二像素集对应的区域标记为预设背景区域;
对所述图像根据对应的预设前景区域及预设背景区域,采用GrabCut算法进行迭代优化,将所述图像分为前景区域和背景区域。
在其中一个实施例中,所述第一预设值为255,所述第二预设值为0。
在其中一个实施例中,所述将已经构建的三维重建点与对应图像进行比对,删除落在背景区域的所述三维重建点,包括:
对每个所述三维重建点在每个可见的所述图像上的投影进行前景区域及背景区域判断;
当所述三维重建点在一幅以上所述图像上的投影在所述背景区域时,标记所述三维重建点为无效重建点;
删除所述无效重建点。
在其中一个实施例中,所述对所述图像根据对应的预设前景区域及预设背景区域,采用GrabCut算法进行迭代优化,将所述图像分为前景区域和背景区域,包括:
将每一幅图像及对应的预设前景区域信息、预设背景区域信息输入GrabCut算法,并进行迭代运算,将所述图像中每个像素点标记为确定前景像素点、预前景像素点、确定背景像素点及预背景像素点;
划分所述确定前景像素点及所述预前景像素点覆盖区域为前景区域;
划分所述确定背景像素点及所述预背景像素点覆盖区域为背景区域。
在其中一个实施例中,所述二值图像与对应的所述图像的大小相等。
基于同一发明构思,还提供一种三维建模外点去除的装置,所述装置包括:
区域分割模块,用于对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域;
无效点去除模块,用于将已经构建的三维重建点与对应图像进行比对,删除落在所述背景区域的所述三维重建点;
点集构建模块,用于将未删除的三维重建点构成最终物体三维重建点集;所述最终物体三维重建点用于对应物体的三维重建。
在其中一个实施例中,所述区域分割模块包括:
二值图构建子模块,用于构建所述图像对应的二值图像;所述二值图像中与所述三维重建点对应像素点为第一预设值,除与所述三维重建点以外的其他像素点为第二预设值;
像素集处理子模块,用于对所述二值图像进行开运算处理,得到所述第一预设值对应的第一像素集及所述第二预设值对应的第二像素集;
区域标记子模块,用于将所述图像中与所述第一像素集对应的区域标记为预设前景区域,经所述第二像素集对应的区域标记为预设背景区域;
区域划分子模块,用于对所述图像根据对应的预设前景区域及预设背景区域,采用GrabCut算法进行迭代优化,将所述图像分为前景区域和背景区域。
基于同一发明构思,还提供一种三维建模的方法,所述方法包括:
在预设背景下从多个角度拍摄所要建模物体的多张图像;所述预设背景为纯色或者包含由预设数量以下的色块,且所述背景的颜色与所要建模的物体的颜色不同;
根据所述图像生成所述物体三维建模的三维重建点;所述三维重建点为多个;
采用前述任一实施例的三维建模的外点去除的方法,对所述三维重建点进行处理,得到最终物体三维重建点;
根据所述最终物体三维重建点对所述物体进行三维建模,得到所述物体的三维模型。
在其中一个实施例中,所述根据所述图像生成所述物体三维建模的三维重建点,包括:
根据所述图像,利用bundler进行拍摄相机的标定,并进行物体三维模型的稀疏重建;
根据所述稀疏重建结果,利用PMVS算法生成所述物体三维重建的三维重建点;所述三维重建点的点云比所述稀疏重建生成的点云稠密。
本发明的有益效果包括:
本发明提供的一种三维建模外点去除的方法,通过对所使用图像进行前景和背景区域分割,并根据前景背景信息将落在背景区域中的三维重建点进行滤除,保留落在前景区域中的三维重建点云,整个方法处理过程简单,可以通过计算机自动计算完成,外点(无效三维重建点)去除效果好,保留三维重建点有效性高,从而能够更准确的对所建模的物体进行三维建模,模型构建准确性更高。
附图说明
图1为本发明一种三维建模外点去除的方法的一具体实施例的流程图;
图2为本发明一种三维建模外点去除的装置的一具体实施例的结构图;
图3为本发明一种三维建模外点去除的装置中区域分割模块构成示意图;
图4为本发明一种三维建模的方法的一具体实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图对本发明的三维建模外点去除的方法、装置以及使用前述方法对物体进行三维建模的三维建模的方法的具体实施方式进行说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本领域技术人员可以理解,所述外点是指在对物体进行三维重建时,所得到的三维重建点云中无效的三维重建点。
参见图1,本发明一实施例的三维建模外点去除的方法,包括以下步骤:
S100,对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域。
需要说明的是,本实施例的方法是一种对物体三维重建用三维重建点进行处理的方法。在进行处理之前,可以先对要进行三维重建的物体从多个方位进行拍照,获取多张图像,并对图像进行三维重建处理,获取三维重建用的三维重建点,一般会包含数量较多的三维重建点,构成三维重建点云。
步骤S100中所述的三维建模所用的图像即为对物体事先拍摄的图像。在实施过程中可对每张所使用的图像进行处理,将图像分割为前景区域和背景区域,所述前景区域为所述图像中与物体相对应的部分,也即摄的图像中对应物体图像部分的区域,所述背景图像为所述图像中与图像拍摄背景相对应的部分,也即拍摄到背景图像的区域。
在对物体进行三维建模进行图像拍摄时,一般使用图形图案简单的背景,如使用纯色背景或者由少量色块组成的图案作为背景。且在进行背景设置时,选用与物体颜色差异大的背景颜色。如彩色的物体(红色、黄色,或者多种色彩相结合的物体),可使用纯白色作为背景,以使背景颜色与前景颜色能够进行明显区分。便于图像前景区域和背景区域的分割。
S200,将已经构建的三维重建点与对应图像进行比对,删除落在背景区域的三维重建点。
本步骤中,是对每个三维重建点在所有可见图像上的投影点根据前景背景分割信息进行判断。将每个图像中的投影点分别与背景区域和前景区域范围进行比对,判断其所属区域,并将投影点落在背景区域中的三维重建点进行删除。作为一种可实施方式,可以先对投影点落在背景区域的三维重建点进行标记,如可以标记为无效三维重建点,并最后统一将标记为无效重建点的三维重建点删除。当然也可以每发现一个无效三维重建点立即将其从三维重建点点云中删除。
另外,对于无效三维重建点的标记,也即对三维重建点的删除,在其中一个实施例中,对每个三维重建点在每个可见的图像上的投影进行前景区域及背景区域判断,当三维重建点在一幅以上图像上的投影在背景区域时,标记三维重建点为无效重建点,删除该无效重建点。也即设定只要某一三维重建点在一个可见图像中的投影落在该图像的背景区域中,则判定该三维重建点为无效三维重建点,删除该三维重建点。这种方式在三维重建点云密集的情况下可以更有效的滤除无效三维重建点,使最终物体重建所使用的三维重建点云更准确,从而物体三维重建受无效数据干扰越小,物体三维重建更精确。
在其他实施例中,也可以设定一定的判定比例条件,作为三维重建点是否为无效重建点的的判断标准。如设定三维重建点在所有可见图像中的投影点超过50%落在对应图像的背景区域中,则判定该三维重建点为无效重建点,进行删除。当然,该比例可根据拍摄图像的数量,以及处理需求进行设定,如可以设定为60%、70%等。而且根据需求,可以对所有三维重建设定一个统一的判定标准条件,也可以针对不同的三维重建点设定不同的判定条件。如根据物体不同位置对应的三维重建点设定不同的三维重建点无效判定条件。
S300,将未删除的三维重建点构成最终物体三维重建点集。
所述最终物体三维重建点集用于对应物体的三维重建,即使用所述最终三维重建点集对物体进行三维重建,从而能够最终完成物体的三维重建。
本实施例的三维建模外点去除的方法,通过对所使用图像进行前景和背景区域分割,并根据前景背景信息将落在背景区域中的三维重建点进行滤除,保留落在前景区域中的三维重建点云,整个方法处理过程简单,可以通过计算机自动计算完成,外点(无效三维重建点)去除效果好,保留三维重建点有效性高,从而能够更准确的对所建模的物体进行三维建模,模型构建准确性更高。
在其中一个实施例中,步骤S100,对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域,包括以下步骤:
S110,构建图像对应的二值图像。
需要说明的是,步骤S100对图像的处理针对每一幅图像进行,本步骤S110中构建图像的二值图像也是针对每一幅图像进行,对三维重建的每幅图像或者针对每个三维重建点进行处理时,对某一三维重建点可见的每一幅图像构建相对应的二值图像。
较佳地,可以针对每一相对应的图像构建大小相等的二值图像,即所构建的二值图像的长宽与所对应的图像相等,减小后续根据拍摄的图像及二值图像进行进一步处理的数据处理量,提高数据处理效率。当然,在其他实施例中,也可以按照一定比例构建大于或者小于原始图像的对应二值图。但应保证二值图中包含的像素点数量与原图像素点数量相同。
具体的,所构建的二值图像中与三维重建点对应像素点为第一预设值,也即三维重建点在该图像中投影点对应的像素点赋值为第一预设值。图像中其他像素点,也即除与三维重建点以外的其他像素点赋值为第二预设值。当然,所述第一预设值与所述第二预设值不同,且一般设置两个预设值的差距较大。如在其中一个实施例中,设置第一预设值为255,第二预设值为0。当然也可以设置其他两个相差值较大的预设值。
S120,对二值图像进行开运算处理,得到第一预设值对应的第一像素集及第二预设值对应的第二像素集。
S130,将图像中与第一像素集对应的区域标记为预设前景区域,经第二像素集对应的区域标记为预设背景区域。
需要说明的是,本步骤中,所述预设前景区域和所述预设背景区域只是为后续采用GrabCut算法进行精确判断的一个参考数据。
S140,对图像根据对应的预设前景区域及预设背景区域,采用GrabCut算法进行迭代优化,将图像分为前景区域和背景区域。
本步骤中,利用OpenCV的Crab Cut图像分割算法进行原始图像的前景背景分割,输入了原始图像及通过二值图像获取的前景和背景的初始划分信息(预设前景区域和预设背景区域),该算法通过迭代自动进行精准的前景区域和背景区域分割。
具体的,在其中一个实施例中,采用GrabCut算法进行迭代优化,对图像分为前景区域和背景区域划分时,将每一幅图像及对应的预设前景区域信息、预设背景区域信息输入GrabCut算法,并进行迭代运算,将图像中每个像素点标记为确定前景像素点、预前景像素点、确定背景像素点及预背景像素点。划分确定前景像素点及预前景像素点覆盖区域均为前景区域;划分确定背景像素点及预背景像素点覆盖区域均为背景区域。如此能够最大程度的保证重建的完整性。当然,在其他实施例中,对物体建模精准度要求更高时,也可只将通过GrabCut算法确定的确定前景像素点覆盖区域划分为前景区域,将预前景像素点、确定背景像素点和预背景像素点覆盖区域均划分到背景区域。
需要说明的是,所述确定前景像素点是通过所述GrabCut算法计算出的一定为前景图像的像素点,所述预前景像素点为通过所述GrabCut算法计算出可能为前景的像素点;类似的,所述确定背景像素点是通过所述GrabCut算法计算出的一定为背景图像的像素点,所述预背景像素点,为通过所述GrabCut算法计算出的可能为背景像素点的像素点。
下面以一具体实例对三维建模外点去除方法进行说明。
设用于物体三维建模序列图像集Img={Ii},i=1,2,…m,m为大于等于3的正整数。使用所述图像集中的所有图像经过三维重建(如bundler和PMVS)得到物体的三维重建点云P={pk},k=1,2…,n,n为大于等于3的正整数。每个三维中重建点pk的可见图像vk={Ik j},j为大于等于1的正整数,三维重建点在Ik j上的投影点为ck j,该信息在PMVS时已得到。每一幅图像I上所有其可见的三维点投影点集记作Ip。首先针对参与重建的每一幅图像I,建立一幅同样长宽的二值图像Ib,并将Ib上Ip对应的像素点赋值为255,其他点赋值为0。对Ib进行开运算处理,处理后的图像记作Ib’,记Ib’中值为255的像素集为F,值为0的像素集为B,则将I中F所对应的像素预设为前景,B所对应的像素预设为背景。
进一步的,将每一幅图像I以及预设的前景背景信息输入GrabCut算法,通过迭代优化,可以得到前背景分割结果。分割结果为将图像I上的每个像素标记为可能背景、确定背景、可能前景、确定前景四类标记之一。
最后,对所有的图像都进行前背景分割的操作后,将每个在其所有可见图像上的投影都落在确定前景和可能前景区域的重建三维点保留,删除不满足条件的其他三维点。所有保留的点形成的点集认为是最终前景物体的重建点(构成最终物体三维重建点集)。
基于同一发明构思,本发明还提供一种三维建模外点去除的装置,由于此装置解决问题的原理与前述一种三维建模外点去除的方法相似,因此,该装置的实施可以按照前述方法的具体步骤实现,重复之处不再赘述。
如图2所示,其中一个实施例的三维建模外点去除的装置包括:区域分割模块100、无效点去除模块200以及点集构成模块300。其中,所述区域分割模块100,用于对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域;所述无效点去除模块200,用于将已经构建的三维重建点与对应图像进行比对,删除落在背景区域的三维重建点;所述点集构建模块300,用于将未删除的三维重建点构成最终物体三维重建点集。所述最终物体三维重建点用于对应物体的三维重建。
本实施例的三维建模外点去除的装置,通过前景背景区域的分割,将落在背景区域的三维外点去除,保留落在前景区域中的三维重建点。对三维重建点的处理程序简单,可以通过计算机自动完成,外点去除效果好。通过剩余的有效三维重建点能够更有效、更精确的对所处理的物体进行三维建模。
如图3所示,在其中一个实施例中,所述区域分割模块100包括:二值图构建子模块110、像素集处理子模块120、区域标记子模块130及区域划分子模块140。其中,所述二值图构建子模块110,用于构建图像对应的二值图像。且所述二值图像中与三维重建点对应像素点为第一预设值,除与三维重建点以外的其他像素点为第二预设值。所述像素集处理子模块120,用于对二值图像进行开运算处理,得到第一预设值对应的第一像素集及第二预设值对应的第二像素集。所述区域标记子模块130,用于将图像中与第一像素集对应的区域标记为预设前景区域,经第二像素集对应的区域标记为预设背景区域。所述区域划分子模块140,用于对图像根据对应的预设前景区域及预设背景区域,采用GrabCut算法进行迭代优化,将图像分为前景区域和背景区域。
本实施例中,采用二值图的方式对物体建模所涉及的图像进行前景、背景分割,图像处理过程简单,整个过程适于计算机自动处理。
需要说明的是,对于二值图像中各像素点的值,可根据需要进行设置,如可设置三维重建点对应的投影点像素点值为255,其他点像素点值为0。当然,在其他实施例中也可以设置为其他值。
另外,基于前述各实施例的三维建模外点去除的方法,本发明还提供一种三维建模的方法。具体的,如图4所示,其中一个实施例的三维建模的方法包括以下步骤:
S001,在预设背景下从多个角度拍摄所要建模物体的多张图像。
这是对某一物体采用图像法进行三维建模的必须步骤,通过该步骤获取物体多个角度的图像。需要强调的是,在对物体进行图像拍摄时,所设置的预设背景应为纯色或者包含由预设数量以下的色块,且背景的颜色与所要建模的物体的颜色不同。从而便于在后续处理中从图像中提取物体的图像,也即前景图像。
如,在一具体实例中,首先将物体放置于转台上,转台一侧放置相机(或相机阵列),正对着相机的另一侧放置纯色的背景布(或纸)。转台每转动一定角度,相机曝光一次。当转台转动360度后,就采集完物体一周的图像,且每张图像背景都是同样的纯色。如此获取物体各方向的图像。
S002,根据图像生成物体三维建模的三维重建点,且所生成的三维重建点为多个。
本步骤中,通过图像对物体进行三维重建,生成物体对应的三维重建点云。可采用各种已知的通过图像对物体进行三维重建的方法。
在其中一个实施例中,首先根据所获取的图像,利用bundler进行拍摄相机的标定,并进行物体三维模型的稀疏重建;再根据稀疏重建结果,利用PMVS算法生成物体三维重建的三维重建点。而且三维重建点的点云比稀疏重建生成的点云稠密。
S003,采用前述任一实施例的三维建模的外点去除的方法,对三维重建点进行处理,得到最终物体三维重建点;
S004,根据最终物体三维重建点对物体进行三维建模,得到物体的三维模型。
本实施例的三维重建点的方法,使用前述三维重建外点去除的方法对三维重建点云进行处理,从而滤除三维重建点云中的无效三维重建点,从而使构建的物体的三维模型更加精确。
为解决发明提出的问题,全部或部分以计算机程序处理流程为基础,通过计算机执行按上述流程编制的计算机程序,对计算机外部对象或者内部对象进行控制或处理的解决方案。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种三维建模外点去除的方法,其特征在于,包括:
对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域;所述前景区域为所述图像中与物体相对应的部分,所述背景图像为所述图像中与图像拍摄背景相对应的部分;
将已经构建的三维重建点与对应图像进行比对,删除落在所述背景区域的所述三维重建点;
将未删除的三维重建点构成最终物体三维重建点集,用于对应物体的三维重建。
2.根据权利要求1所述的方法,其特征在于,所述对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域,包括:
构建所述图像对应的二值图像;所述二值图像中与所述三维重建点对应像素点为第一预设值,除与所述三维重建点以外的其他像素点为第二预设值;
对所述二值图像进行开运算处理,得到所述第一预设值对应的第一像素集及所述第二预设值对应的第二像素集;
将所述图像中与所述第一像素集对应的区域标记为预设前景区域,经所述第二像素集对应的区域标记为预设背景区域;
对所述图像根据对应的预设前景区域及预设背景区域,采用GrabCut算法进行迭代优化,将所述图像分为前景区域和背景区域。
3.根据权利要求2所述的方法,其特征在于,所述第一预设值为255,所述第二预设值为0。
4.根据权利要求1所述的方法,其特征在于,所述将已经构建的三维重建点与对应图像进行比对,删除落在背景区域的所述三维重建点,包括:
对每个所述三维重建点在每个可见的所述图像上的投影进行前景区域及背景区域判断;
当所述三维重建点在一幅以上所述图像上的投影在所述背景区域时,标记所述三维重建点为无效重建点;
删除所述无效重建点。
5.根据权利要求2所述的方法,其特征在于,所述对所述图像根据对应的预设前景区域及预设背景区域,采用GrabCut算法进行迭代优化,将所述图像分为前景区域和背景区域,包括:
将每一幅图像及对应的预设前景区域信息、预设背景区域信息输入GrabCut算法,并进行迭代运算,将所述图像中每个像素点标记为确定前景像素点、预前景像素点、确定背景像素点及预背景像素点;
划分所述确定前景像素点及所述预前景像素点覆盖区域为前景区域;
划分所述确定背景像素点及所述预背景像素点覆盖区域为背景区域。
6.根据权利要求2所述的方法,其特征在于,所述二值图像与对应的所述图像的大小相等。
7.一种三维建模外点去除的装置,其特征在于,包括:
区域分割模块,用于对三维建模所用的图像进行前景背景分割,分为前景区域和背景区域;
无效点去除模块,用于将已经构建的三维重建点与对应图像进行比对,删除落在所述背景区域的所述三维重建点;
点集构建模块,用于将未删除的三维重建点构成最终物体三维重建点集;所述最终物体三维重建点用于对应物体的三维重建。
8.根据权利要求7所述的装置,其特征在于,所述区域分割模块包括:
二值图构建子模块,用于构建所述图像对应的二值图像;所述二值图像中与所述三维重建点对应像素点为第一预设值,除与所述三维重建点以外的其他像素点为第二预设值;
像素集处理子模块,用于对所述二值图像进行开运算处理,得到所述第一预设值对应的第一像素集及所述第二预设值对应的第二像素集;
区域标记子模块,用于将所述图像中与所述第一像素集对应的区域标记为预设前景区域,经所述第二像素集对应的区域标记为预设背景区域;
区域划分子模块,用于对所述图像根据对应的预设前景区域及预设背景区域,采用GrabCut算法进行迭代优化,将所述图像分为前景区域和背景区域。
9.一种三维建模的方法,其特征在于,包括:
在预设背景下从多个角度拍摄所要建模物体的多张图像;所述预设背景为纯色或者包含由预设数量以下的色块,且所述背景的颜色与所要建模的物体的颜色不同;
根据所述图像生成所述物体三维建模的三维重建点;所述三维重建点为多个;
采用权利要求1至6任一项所述的三维建模的外点去除的方法,对所述三维重建点进行处理,得到最终物体三维重建点;
根据所述最终物体三维重建点对所述物体进行三维建模,得到所述物体的三维模型。
10.根据权利要求9所述的方法,其特征在于,所述根据所述图像生成所述物体三维建模的三维重建点,包括:
根据所述图像,利用bundler进行拍摄相机的标定,并进行物体三维模型的稀疏重建;
根据所述稀疏重建结果,利用PMVS算法生成所述物体三维重建的三维重建点;所述三维重建点的点云比所述稀疏重建生成的点云稠密。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710134378.4A CN106887043A (zh) | 2017-03-08 | 2017-03-08 | 三维建模外点去除的方法、装置及三维建模的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710134378.4A CN106887043A (zh) | 2017-03-08 | 2017-03-08 | 三维建模外点去除的方法、装置及三维建模的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106887043A true CN106887043A (zh) | 2017-06-23 |
Family
ID=59179959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710134378.4A Pending CN106887043A (zh) | 2017-03-08 | 2017-03-08 | 三维建模外点去除的方法、装置及三维建模的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106887043A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921937A (zh) * | 2018-06-27 | 2018-11-30 | 北京中科知识工程技术研究院 | 一种手机拍照自动识别图片抠图方法 |
CN109410316A (zh) * | 2018-09-21 | 2019-03-01 | 深圳前海达闼云端智能科技有限公司 | 物体的三维重建的方法、跟踪方法、相关装置及存储介质 |
CN110120096A (zh) * | 2019-05-14 | 2019-08-13 | 东北大学秦皇岛分校 | 一种基于显微单目视觉的单细胞三维重建方法 |
CN110889243A (zh) * | 2019-12-20 | 2020-03-17 | 南京航空航天大学 | 一种基于深度相机的飞机油箱三维重建方法与检测方法 |
CN111383340A (zh) * | 2018-12-28 | 2020-07-07 | 成都皓图智能科技有限责任公司 | 一种基于3d图像的背景过滤方法、装置及系统 |
CN112950679A (zh) * | 2021-01-28 | 2021-06-11 | 武汉博雅弘拓科技有限公司 | 基于摄影测量技术的冗余点云自动剔除方法和系统 |
CN114494600A (zh) * | 2022-01-28 | 2022-05-13 | 西北农林科技大学 | 一种基于多视图像的体空间减量式树木点云重建方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103021017A (zh) * | 2012-12-04 | 2013-04-03 | 上海交通大学 | 基于gpu加速的三维场景重建方法 |
CN103279987A (zh) * | 2013-06-18 | 2013-09-04 | 厦门理工学院 | 基于Kinect的物体快速三维建模方法 |
CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
CN106023303A (zh) * | 2016-05-06 | 2016-10-12 | 西安电子科技大学 | 一种基于轮廓有效性提高三维重建点云稠密程度的方法 |
CN106248001A (zh) * | 2016-09-10 | 2016-12-21 | 天津大学 | 基于三维激光扫描仪的大型工艺管线对接平直度测量方法 |
-
2017
- 2017-03-08 CN CN201710134378.4A patent/CN106887043A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103021017A (zh) * | 2012-12-04 | 2013-04-03 | 上海交通大学 | 基于gpu加速的三维场景重建方法 |
CN103279987A (zh) * | 2013-06-18 | 2013-09-04 | 厦门理工学院 | 基于Kinect的物体快速三维建模方法 |
CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
CN106023303A (zh) * | 2016-05-06 | 2016-10-12 | 西安电子科技大学 | 一种基于轮廓有效性提高三维重建点云稠密程度的方法 |
CN106248001A (zh) * | 2016-09-10 | 2016-12-21 | 天津大学 | 基于三维激光扫描仪的大型工艺管线对接平直度测量方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921937A (zh) * | 2018-06-27 | 2018-11-30 | 北京中科知识工程技术研究院 | 一种手机拍照自动识别图片抠图方法 |
CN109410316A (zh) * | 2018-09-21 | 2019-03-01 | 深圳前海达闼云端智能科技有限公司 | 物体的三维重建的方法、跟踪方法、相关装置及存储介质 |
CN109410316B (zh) * | 2018-09-21 | 2023-07-07 | 达闼机器人股份有限公司 | 物体的三维重建的方法、跟踪方法、相关装置及存储介质 |
CN111383340A (zh) * | 2018-12-28 | 2020-07-07 | 成都皓图智能科技有限责任公司 | 一种基于3d图像的背景过滤方法、装置及系统 |
CN111383340B (zh) * | 2018-12-28 | 2023-10-17 | 成都皓图智能科技有限责任公司 | 一种基于3d图像的背景过滤方法、装置及系统 |
CN110120096A (zh) * | 2019-05-14 | 2019-08-13 | 东北大学秦皇岛分校 | 一种基于显微单目视觉的单细胞三维重建方法 |
CN110889243A (zh) * | 2019-12-20 | 2020-03-17 | 南京航空航天大学 | 一种基于深度相机的飞机油箱三维重建方法与检测方法 |
CN112950679A (zh) * | 2021-01-28 | 2021-06-11 | 武汉博雅弘拓科技有限公司 | 基于摄影测量技术的冗余点云自动剔除方法和系统 |
CN114494600A (zh) * | 2022-01-28 | 2022-05-13 | 西北农林科技大学 | 一种基于多视图像的体空间减量式树木点云重建方法 |
CN114494600B (zh) * | 2022-01-28 | 2024-10-08 | 西北农林科技大学 | 一种基于多视图像的体空间减量式树木点云重建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106887043A (zh) | 三维建模外点去除的方法、装置及三维建模的方法 | |
CN112434709B (zh) | 基于无人机实时稠密三维点云和dsm的航测方法及系统 | |
CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
Eder et al. | Pano popups: Indoor 3d reconstruction with a plane-aware network | |
CN104699842B (zh) | 图片展示方法和装置 | |
KR20180054487A (ko) | Dvs 이벤트 처리 방법 및 장치 | |
CN110910431B (zh) | 一种基于单目相机多视点三维点集恢复方法 | |
CN110223383A (zh) | 一种基于深度图修补的植物三维重建方法及系统 | |
TW201915944A (zh) | 圖像處理方法、裝置、系統和儲存介質 | |
IL259401A (en) | Methods and systems for determining large scale rgbd camera presentations | |
CN106815808A (zh) | 一种利用分块运算的图像拼接方法 | |
CN108416754A (zh) | 一种自动去除鬼影的多曝光图像融合方法 | |
CN109064542A (zh) | 三维模型表面空洞填补方法和装置 | |
CN104599317B (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
CN110580720B (zh) | 一种基于全景图的相机位姿估计方法 | |
CN108053373A (zh) | 一种基于深度学习模型鱼眼图像校正方法 | |
CN107798702A (zh) | 一种用于增强现实的实时图像叠加方法以及装置 | |
CN108648264A (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
CN115082617B (zh) | 基于多视图优化的管道三维重建方法、装置及存储介质 | |
CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
CN106296574A (zh) | 三维照片生成方法和装置 | |
CN106997617A (zh) | 混合现实虚拟呈现方法及装置 | |
CN106651870A (zh) | 多视角三维重建中图像失焦模糊区域的分割方法 | |
WO2023116430A1 (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
US11475629B2 (en) | Method for 3D reconstruction of an object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170623 |
|
WD01 | Invention patent application deemed withdrawn after publication |