CN109345557A - 一种基于三维重建成果的前背景分离方法 - Google Patents
一种基于三维重建成果的前背景分离方法 Download PDFInfo
- Publication number
- CN109345557A CN109345557A CN201811093550.7A CN201811093550A CN109345557A CN 109345557 A CN109345557 A CN 109345557A CN 201811093550 A CN201811093550 A CN 201811093550A CN 109345557 A CN109345557 A CN 109345557A
- Authority
- CN
- China
- Prior art keywords
- diffusion
- point
- dimensional
- triangle
- triangular mesh
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 238000009792 diffusion process Methods 0.000 claims description 93
- 239000013598 vector Substances 0.000 claims description 31
- 238000000926 separation method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 230000003068 static effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 241001442234 Cosa Species 0.000 description 2
- 244000089409 Erythrina poeppigiana Species 0.000 description 2
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种基于三维重建成果的前背景分离方法,对目标物体用相机每隔10°‑20°拍摄一张照片,相机运动轨迹是一个圆;使用二维限定Delaunay三角剖分算法构建初始空间三角网格,网格进行扩散加密后使用三维立体重建算法(PMVS)进行面片优化、滤波后得到稠密点云,然后构建稠密三角网格;对目标物体三角面片包围的像素依据纹理赋值,并通过凹凸映射得到目标物体的表面形状信息;将重建出的目标物体重投影到空白照片上,设置照片的深度缓冲矩阵,通过对比像素点的深度缓冲值与目标物体上三角面片深度值,保留或舍弃深度信息,最终得到干净的前景照片。本发明可以分离出自然背景下的静止前景物体。
Description
技术领域
本发明涉及稠密三角面片的生成,来实现一种基于三维重建成果的前背景分离技术。
背景技术
前背景分离技术就是把图像或视频中的前景物体从背景中尽可能精确地分离出来,这里的前景和背景是广义的,前景是我们感兴趣的任意部分,而背景则是我们不感兴趣的部分。前背景分离技术已经广泛地应用于数字图像与视频的制作,几乎所有的图像与视频制作软件、电影特效制作、电视镜头合成都会采用这一技术,所以它的研究十分重要。
迄今为止,国内外学者已提出了多种有效的图像前背景分离技术,研究成果也相当丰富。早期的图像前背景分离方法中,比较常用的有蓝屏抠图、组合抠图和阵列镜头抠图。现在越来越偏向自然抠图,自然抠图到现在也已经比较成熟。前人在前背景分离技术方面已经做了大量研究,要想获得较好地前背景分离效果,要么要求背景颜色单一,要么前景物体是运动状态能够跟背景区分,且这种方法都是在图像空间做的,在恢复背景时效果很好,即能够很好地去除背景前面的运动物体,特别是在相机不动时。对于自然背景下的静止物体前背景分离暂时还没有很好的解决方法。
发明内容
技术问题:针对现有技术存在的问题,本发明的目的在于提供一种基于三维重建成果的前背景分离方法,能够克服现有前背景分离技术在图像空间上恢复背景效果好,但不能分离自然背景中静止物体的不足。基于三维重建成果的前背景分离技术使用相机绕目标物体旋转一周拍照,利用相机姿态和相机轨迹的拟合法向量信息形成一个圆柱体包围前景物体,从而滤除前景物体的背景信息。
技术方案:本发明的一种基于三维重建成果的前背景分离方法,包括如下步骤:
1)围绕要分离的前景物体每隔10°-20°拍摄一张照片,得到该物体360°的信息,利用相机的姿态信息和相机轨迹的拟合法向量信息,生成一个隔离背景的圆柱体,构建出前景物体的稀疏点云Pa;
2)使用二维限定Delaunay三角剖分算法构建初始空间三角网格,得到稀疏三角网格Ta,用三角网格空间插值算法和扩散惩罚机制对稀疏点云进行扩散加密,最后用三维立体重建算法PMVS(公知算法)进行面片优化、滤波后得到稠密点云Pa′,再次进行二维限定Delaunay三角剖分算法构建稠密三角网格Ta′;
3)对物体的每个三角面片包围的像素用两步法纹理映射完成目标物体的颜色、纹理及细节特点重建,再用凹凸纹理映射完成物体表面几何形状的映射;
4)重建完成的物体对空白照片进行重投影,设置深度缓冲矩阵存储照片上每个像素点的深度信息,通过对比刷新深度矩阵完成目标物体的重投影。
其中,
所述步骤1)中,对目标物体拍摄一系列照片,利用相机的姿态信息和相机轨迹的拟合法向量信息生成的圆柱体分离背景,对目标物体构建稀疏点云,具体步骤为:
(1.1)围绕目标物体每隔10°-20°拍摄一张照片,使相机轨迹形成一个圆,以分隔背景,并获得目标物体360°的图像信息;
(1.2)对照片进行预处理去除噪声,用SIFT算法(公知算法)提取每张照片上的特征点;
(1.3)对相机进行标定,匹配图像之间的特征点,从二维数据点反推到其三维位置,构建出初始点云;
(1.4)利用SFM算法(公知算法)对匹配结果进行光束法平差,得到优化后的相机姿态和稀疏点云Pa。
所述步骤2)具体包括:
(2.1)使用二维限定Delaunay三角剖分算法构建初始空间三角网格,得到稀疏三角网格Ta,并对Ta进行信息初始化,三角网格信息包括:网格顶点坐标、法向量、可视信息和扩散惩罚值;
(2.2)使用三角网格空间插值算法对初始空间三角网格模型Ta进行扩散加密,计算初始空间三角网格的某个三角形面积阈值s0及其面积若则以该三角形的中心点为顶点,与三角形的其他三个点连接形成三个新三角形;
(2.3)使用扩散惩罚机制对步骤(2.2)三角网格空间插值算法进行无差异扩散产生的杂点进行去除;
(2.4)将更新后的空间三角网格Tb中的所有顶点构成的准密集点云作为基于面片的三维立体重建算法PMVS的种子点,循环进行PMVS算法的扩散、优化、滤波流程n次,得到最终的稠密点云Pa′,此处n一般取2;
(2.5)将稠密点云Pa′中的所有三维点坐标由三维全局坐标系转换到其所在假设平面的二维局部坐标系中,得到二维点集Ea′,以Ea′为输入数据,再次使用二维限定Delaunay三角剖分算法构建Pa′的三角网格,得到稠密三角网格Ta′。
所述步骤3)具体包括:
(3.1)引进一个包围目标物体的三维球面(x′,y′,z′)作为二维纹理平面(u,v)到三维物体表面(x,y,z)映射的中介三维曲面;
假设球的半径为R,二维纹理平面(u,v)映射到球面(x′,y′,z′)的映射为:
x=R×cosa×sinb
y=R×sina×cosb
z=R×cosb
上式中,取0≤a≤2π,0≤b≤π;
(3.2)将中介三维球面上的纹理(x′,y′,z′)映射到目标物体表面(x,y,z),映射方式取视线在物体表面可见点(x,y,z)处的反射与中间映射媒体球面上的交点(x′,y′,z′)作为(x,y,z)的映射点;
(3.3)凹凸纹理映射通过对物体表面各采样点的法向量作微小调整来改变物体表面的光强度,定义物体表面参数方程在(m,n)点的法向量为:
V=V(m,n)
设Vm,Vn分别是V在m、n上的分量,那么在(m,n)点的单位法向量为:
用一个连续可微的微小调整函数P(m,n)调整点(m,n)的新法向量为:
V′m(m,n)=V(m,n)+P(m,n)N。
所述步骤4)具体包括:
(4.1)将去除背景信息重建好的前景物体重投影到空白照片上,在重投影过程中设置一个照片像素的深度缓冲矩阵A,该深度缓冲矩阵的初始值均为0;目标物体上的某点重投影到照片上时,对比照片上该点对应像素点的深度缓冲值a和三角面片计算出的深度值b,若深度缓冲值a大于计算出的深度值b,则用b代替该点的深度缓冲值a,刷新深度缓冲矩阵A;
(4.2)对重建出的目标物体进行完重投影后,即可得到分离出背景的前景照片,照片中空白的部分都是被分离出的背景。
所述使用三角网格空间插值算法对稀疏三角网格模型Ta进行扩散加密,算法具体步骤为:
S2.2.1.对于稀疏三角网格Ta中第m1个三角形计算其面积阈值其中表示三角网格的平均三角形面积,loop表示预先设定的扩散次数,fine表示的扩散惩罚值;用UT和UT′两个集合来表示待扩散的三角形集合和扩散中间过程产生的临时三角形集合;计算的面积若则将加入UT中;若则对Ta中下一个三角形进行步骤S2.2.1操作;
S2.2.2.对集合UT中的第m2个三角形计算的中心点vc,将中心点vc作为新的扩散顶点加入到点云Pa中,并按如下方法对vc的法向量和可视信息进行更新:vc的法向量等于的平面法向量;vc的可视信息Vc=V0∪V1∪V2,其中V0、V1、V2分别表示三个顶点的可视信息;
S2.2.3.插入点vc之后,点vc与三角形的三个顶点分别构成三个新三角形,将这三个新三角形加入到集合UT′中;
S2.2.4.遍历集合UT中的每一个三角形,重复S2.2.2和S2.2.3步骤,遍历完之后交换集合UT和UT′;
S2.2.5.若集合UT不为空,则重复进行步骤S2.2.4;若集合UT为空,则对下一个三角形重复步骤S2.2.1到S2.2.5,直至遍历完Ta中的所有三角形得到新三角网格Tb。
所述使用扩散惩罚机制对步骤(2.2)三角网格空间插值算法进行无差异扩散产生的杂点进行去除,具体步骤为:
S2.3.1.计算扩散成功率r作为判断一个三角形是否接受惩罚的依据,对于Ta中第m个三角形tm,其扩散成功率rm=nr/na,其中,na表示三角形tm扩散过后得到的扩散顶点的总数,nr表示在改进的面片优化和滤波之后三角形tm包含的扩散顶点存活个数。扩散成功率rm反映tm处于空洞区域的可能性,rm越小,tm越有可能处于空洞区域,则tm包含的顶点均接受惩罚,使其在下一轮扩散中被削弱扩散力度;
S2.3.2.对于新三角网格Tb中第b个网格顶点vb′,如果vb′是扩散顶点,则找到vb′的母三角形tp,tp即为扩散出vb′的三角形,并进行步骤S2.3.3;如果vb′是初始顶点,则保持其扩散惩罚值不变;
S2.3.3.如果vb′的母三角形tp的扩散成功率则需要对点vb′进行惩罚,按照公式更新vb′的扩散惩罚值fb′;如果tp的扩散成功率则不对点vb′进行惩罚,按照公式更新其扩散惩罚值f′b,其中的 分别表示母三角形tp三个顶点的扩散惩罚值,fu为预先设定的惩罚值,β3是预设的扩散成功率阈值;
S2.3.4.遍历Tb中的每一个网格顶点,重复步骤S2.3.2到S2.3.3,完成Tb的网格顶点扩散惩罚值的更新。
有益效果:本发明提供了一种基于三维重建成果的前背景分离技术,对于分离自然背景下的静止物体有良好的效果。以单一目标物体为例,围绕该物体每隔10°-20°拍摄一张照片,得到该物体360°的照片,利用相机的姿态信息和相机轨迹的拟合法向量信息,可以生成一个圆柱体,通过该圆柱体隔离背景,构建出前景物体的稀疏点云Pa。使用二维限定Delaunay三角剖分算法构建初始空间三角网格,得到稀疏三角网格Ta,用三角网格空间插值算法和扩散惩罚机制对稀疏点云进行扩散加密,最后用三维立体重建算法(PMVS)进行面片优化、滤波后得到稠密点云Pa′,再次进行二维限定Delaunay三角剖分算法构建稠密三角网格Ta′。对物体的每个三角面片包围的像素用两步法纹理映射完成目标物体的颜色、纹理及细节特点重建,再用凹凸纹理映射完成物体表面几何形状的映射。重建完成的物体对空白照片进行重投影,设置深度缓冲矩阵存储照片上每个像素点的深度信息,通过对比刷新深度矩阵完成目标物体的重投影。最后得到去除背景后的纯物体照片(背景为白色)。
附图说明
图1为本发明的方法流程示意图;
图2为两步法纹理映射的方式示意图;
图3为凹凸纹理映射的法向量变化示意图。
具体实施方式
以下结合附图和具体实施例对本发明中的关键技术和具体实现方法进行详细说明。
图1所示为本发明的方法流程示意图。
步骤S1:对目标物体拍摄一系列照片,利用相机的姿态信息和相机轨迹的拟合法向量信息生成的圆柱体分离背景,对目标物体构建稀疏点云,具体步骤为:
S1.1、围绕目标物体每隔10°-20°拍摄一张照片,使相机位姿和相机轨迹的法向量形成一个圆柱体以分隔背景,获得目标物体360°的图像信息;
S1.2、对照片进行预处理,滤除图片噪声,用SIFT算法提取每张照片上的特征点;
S1.3、对相机进行标定,匹配图像之间的特征点,从二维数据点反推到其三维位置,构建出初始点云;
S1.4、利用SFM算法对匹配结果进行光束法平差,得到优化后的相机姿态和稀疏点云Pa,具体过程如下:
设相机在运动中对于周边环境的观测方程为zk,j=h(yj,xk,vk,j),其中zk,j表示传感器于xk位置观测到路标yj时产生的观测数据,vk,j为噪声。由于噪声的存在并不完全成立,观测误差可写成:
ekj=z-h(yj,xk,vk,j)
将其他时刻的误差一并考虑进来,考虑最小二乘模型,则整体误差即代价函数为:
通过对该式的求解,即可对相机姿态和特征点空间位置做出最优调整,得到优化后的稀疏点云Pa。
步骤S2:使用二维限定Delaunay三角剖分算法构建初始空间三角网格,得到稀疏三角网格Ta,用三角网格空间插值算法和扩散惩罚机制对稀疏点云进行扩散加密,最后用三维立体重建算法(PMVS)进行面片优化、滤波后得到稠密点云Pa′,再次进行二维限定Delaunay三角剖分算法构建稠密三角网格Ta′,具体包括:
S2.1、使用二维限定Delaunay三角剖分算法构建初始空间三角网格,得到稀疏三角网格Ta,并对Ta进行信息初始化,三角网格信息包括:网格顶点坐标、法向量、可视信息和扩散惩罚值;
S2.2、使用三角网格空间插值算法对初始空间三角网格模型Ta进行扩散加密,算法具体流程为:
(1)对于稀疏三角网格Ta中第m1个三角形计算其面积阈值其中表示三角网格的平均三角形面积,loop表示预先设定的扩散次数,fine表示的扩散惩罚值,其计算公式为其中,分别表示三个顶点的扩散惩罚值;用UT和UT′两个集合来表示待扩散的三角形集合和扩散中间过程产生的临时三角形集合;计算的面积若则将加入UT中;若则对Ta中下一个三角形进行步骤S1操作;
(2)对集合UT中的第m2个三角形计算的中心点vc,将中心点vc作为新的扩散顶点加入到点云Pa中,并按如下方法对vc的法向量和可视信息进行更新:vc的法向量等于的平面法向量;vc的可视信息Vc=V0∪V1∪V2,其中V0、V1、V2分别表示三个顶点的可视信息;
(3)插入点vc之后,点vc与三角形的三个顶点分别构成三个新三角形,将这三个新三角形加入到集合UT′中;
(4)遍历集合UT中的每一个三角形,重复(2)和(3)步骤,遍历完之后交换集合UT和UT′;
(5)若集合UT不为空,则重复进行步骤S4;若集合UT为空,则对下一个三角形重复步骤(1)到(5),直至遍历完Ta中的所有三角形得到新三角网格Tb。
S2.3、使用扩散惩罚机制对步骤S2.2三角网格空间插值算法进行无差异扩散产生的杂点进行去除,具体流程为:
(1)计算初始空间三角网格Ta中所有三角形的扩散成功率r;
使用扩散成功率r作为判断一个三角形是否接受惩罚的依据,对于Ta中第m个三角形tm,其扩散成功率rm=nr/na,其中,na表示三角形tm扩散过后得到的扩散顶点的总数,nr表示在改进的面片优化和滤波之后三角形tm包含的扩散顶点存活个数;扩散成功率rm反映tm处于空洞区域的可能性,rm越小,tm越有可能处于空洞区域,则tm包含的顶点均接受惩罚,使其在下一轮扩散中被削弱扩散力度;
(2)对于新三角网格Tb中第b个网格顶点vb′,如果vb′是扩散顶点,则找到vb′的母三角形tp,tp即为扩散出vb′的三角形,并进行步骤(3);如果vb′是初始顶点,则保持其扩散惩罚值不变;
(3)如果vb′的母三角形tp的扩散成功率则需要对点vb′进行惩罚,按照公式更新vb′的扩散惩罚值fb′;如果tp的扩散成功率则不对点vb′进行惩罚,按照公式更新其扩散惩罚值fb′;公式中的 分别表示母三角形tp三个顶点的扩散惩罚值,fu为预先设定的惩罚值,β3是预设的扩散成功率阈值;
(4)遍历Tb中的每一个网格顶点,重复步骤(2)到(3),完成Tb的网格顶点扩散惩罚值的更新。
S2.4、将此时空间三角网格中的所有顶点构成的准密集点云作为基于面片的三维立体重建算法(PMVS)的种子点,循环进行PMVS算法的扩散、优化、滤波流程n次,得到最终的稠密点云Pa′,此处n一般取2。
S2.5、将稠密点云Pa′中的所有三维点坐标由三维全局坐标系转换到其所在假设平面的二维局部坐标系中,得到二维点集Ea′,以Ea′为输入数据,再次使用二维限定Delaunay三角剖分算法构建Pa′的三角网格,得到稠密三角网格Ta′;
步骤S3:对物体的每个三角面片包围的像素用两步法纹理映射完成目标物体的颜色、纹理及细节特点重建,再用凹凸纹理映射完成物体表面几何形状的映射,具体包括:
S3.1、引进一个包围目标物体的三维球面(x′,y′,z′)作为二维纹理平面(u,v)到三维物体表面(x,y,z)映射的中介三维曲面;
假设球的半径为R,二维纹理平面(u,v)映射到球面(x′,y′,z′)的映射为:
x=R×cosa×sinb
y=R×sina×cosb
z=R×cosb
上式中,取0≤a≤2π,0≤b≤π;
S3.2、将中介三维球面上的纹理(x′,y′,z′)映射到目标物体表面(x,y,z),映射方式取视线在物体表面可见点(x,y,z)处的反射与中间映射媒体球面上的交点(x′,y′,z′)作为(x,y,z)的映射点,映射方式如图2所示。
S3.3、凹凸纹理映射通过对物体表面各采样点的法向量作微小调整来改变物体表面的光强度,法向量的变化情况如图3所示,定义物体表面参数方程在(m,n)点的法向量为:
V=V(m,n)
设Vm,Vn分别是V在m、n上的分量,那么在(m,n)点的单位法向量为:
用一个连续可微的微小调整函数P(m,n)调整点(m,n)的新法向量为:
V′m(m,n)=V(m,n)+P(m,n)N
步骤S4:重建完成的物体对空白照片进行重投影,设置深度缓冲矩阵存储照片上每个像素点的深度信息,通过对比刷新深度矩阵完成目标物体的重投影,具体包括:
S4.1、将去除背景信息重建好的前景物体重投影到空白照片上,在重投影过程中设置一个照片像素的深度缓冲矩阵A,该深度缓冲矩阵的初始值均为0。目标物体上的某点重投影到照片上时,对比照片上该点对应像素点的深度缓冲值a和三角面片计算出的深度值b,若深度缓冲值a大于计算出的深度值b,则用b代替该点的深度缓冲值a,刷新深度缓冲矩阵A;
S4.2、对重建出的目标物体进行完重投影后,即可得到分离出背景的前景照片,照片中空白的部分都是被分离出的背景。
Claims (7)
1.一种基于三维重建成果的前背景分离方法,其特征在于,该方法包括如下步骤:
1)围绕要分离的前景物体每隔10°-20°拍摄一张照片,得到该物体360°的信息,利用相机的姿态信息和相机轨迹的拟合法向量信息,生成一个隔离背景的圆柱体,构建出前景物体的稀疏点云Pa;
2)使用二维限定Delaunay三角剖分算法构建初始空间三角网格,得到稀疏三角网格Ta,用三角网格空间插值算法和扩散惩罚机制对稀疏点云进行扩散加密,最后用三维立体重建算法PMVS进行面片优化、滤波后得到稠密点云Pa′,再次进行二维限定Delaunay三角剖分算法构建稠密三角网格Ta′;
3)对物体的每个三角面片包围的像素用两步法纹理映射完成目标物体的颜色、纹理及细节特点重建,再用凹凸纹理映射完成物体表面几何形状的映射;
4)重建完成的物体对空白照片进行重投影,设置深度缓冲矩阵存储照片上每个像素点的深度信息,通过对比刷新深度矩阵完成目标物体的重投影。
2.根据权利要求1所述的一种基于三维重建成果的前背景分离方法,其特征在于,所述步骤1)中,对目标物体拍摄一系列照片,利用相机的姿态信息和相机轨迹的拟合法向量信息生成的圆柱体分离背景,对目标物体构建稀疏点云,具体步骤为:
(1.1)围绕目标物体每隔10°-20°拍摄一张照片,使相机轨迹形成一个圆,以分隔背景,并获得目标物体360°的图像信息;
(1.2)对照片进行预处理去除噪声,用SIFT算法提取每张照片上的特征点;
(1.3)对相机进行标定,匹配图像之间的特征点,从二维数据点反推到其三维位置,构建出初始点云;
(1.4)利用SFM算法对匹配结果进行光束法平差,得到优化后的相机姿态和稀疏点云Pa。
3.根据权利要求1所述的一种基于三维重建成果的前背景分离方法,其特征在于,所述步骤2)具体包括:
(2.1)使用二维限定Delaunay三角剖分算法构建初始空间三角网格,得到稀疏三角网格Ta,并对Ta进行信息初始化,三角网格信息包括:网格顶点坐标、法向量、可视信息和扩散惩罚值;
(2.2)使用三角网格空间插值算法对初始空间三角网格模型Ta进行扩散加密,计算初始空间三角网格的某个三角形面积阈值s0及其面积若则以该三角形的中心点为顶点,与三角形的其他三个点连接形成三个新三角形;
(2.3)使用扩散惩罚机制对步骤(2.2)三角网格空间插值算法进行无差异扩散产生的杂点进行去除;
(2.4)将更新后的空间三角网格Tb中的所有顶点构成的准密集点云作为基于面片的三维立体重建算法PMVS的种子点,循环进行PMVS算法的扩散、优化、滤波流程n次,得到最终的稠密点云Pa′,此处n一般取2;
(2.5)将稠密点云Pa′中的所有三维点坐标由三维全局坐标系转换到其所在假设平面的二维局部坐标系中,得到二维点集Ea′,以Ea′为输入数据,再次使用二维限定Delaunay三角剖分算法构建Pa′的三角网格,得到稠密三角网格Ta′。
4.根据权利要求1所述的一种基于三维重建成果的前背景分离方法,其特征在于,所述步骤3)具体包括:
(3.1)引进一个包围目标物体的三维球面(x′,y′,z′)作为二维纹理平面(u,v)到三维物体表面(x,y,z)映射的中介三维曲面;
假设球的半径为R,二维纹理平面(u,v)映射到球面(x′,y′,z′)的映射为:
x=R×cos a×sinb
y=R×sin a×cosb
z=R×cosb
上式中,取0≤a≤2π,0≤b≤π;
(3.2)将中介三维球面上的纹理(x′,y′,z′)映射到目标物体表面(x,y,z),映射方式取视线在物体表面可见点(x,y,z)处的反射与中间映射媒体球面上的交点(x′,y′,z′)作为(x,y,z)的映射点;
(3.3)凹凸纹理映射通过对物体表面各采样点的法向量作微小调整来改变物体表面的光强度,定义物体表面参数方程在(m,n)点的法向量为:
V=V(m,n)
设Vm,Vn分别是V在m、n上的分量,那么在(m,n)点的单位法向量为:
用一个连续可微的微小调整函数P(m,n)调整点(m,n)的新法向量为:
V′m(m,n)=V(m,n)+P(m,n)N。
5.根据权利要求1所述的一种基于三维重建成果的前背景分离方法,其特征在于,所述步骤4)具体包括:
(4.1)将去除背景信息重建好的前景物体重投影到空白照片上,在重投影过程中设置一个照片像素的深度缓冲矩阵A,该深度缓冲矩阵的初始值均为0;目标物体上的某点重投影到照片上时,对比照片上该点对应像素点的深度缓冲值a和三角面片计算出的深度值b,若深度缓冲值a大于计算出的深度值b,则用b代替该点的深度缓冲值a,刷新深度缓冲矩阵A;
(4.2)对重建出的目标物体进行完重投影后,即可得到分离出背景的前景照片,照片中空白的部分都是被分离出的背景。
6.根据权利要求3所述的一种基于三维重建成果的前背景分离方法,其特征在于,所述使用三角网格空间插值算法对稀疏三角网格模型Ta进行扩散加密,算法具体步骤为:
S2.2.1.对于稀疏三角网格Ta中第m1个三角形计算其面积阈值其中表示三角网格的平均三角形面积,loop表示预先设定的扩散次数,fine表示的扩散惩罚值;用UT和UT′两个集合来表示待扩散的三角形集合和扩散中间过程产生的临时三角形集合;计算的面积若则将加入UT中;若则对Ta中下一个三角形进行步骤S2.2.1操作;
S2.2.2.对集合UT中的第m2个三角形计算的中心点vc,将中心点vc作为新的扩散顶点加入到点云Pa中,并按如下方法对vc的法向量和可视信息进行更新:vc的法向量等于的平面法向量;vc的可视信息Vc=V0∪V1∪V2,其中V0、V1、V2分别表示三个顶点的可视信息;
S2.2.3.插入点vc之后,点vc与三角形的三个顶点分别构成三个新三角形,将这三个新三角形加入到集合UT′中;
S2.2.4.遍历集合UT中的每一个三角形,重复S2.2.2和S2.2.3步骤,遍历完之后交换集合UT和UT′;
S2.2.5.若集合UT不为空,则重复进行步骤S2.2.4;若集合UT为空,则对下一个三角形重复步骤S2.2.1到S2.2.5,直至遍历完Ta中的所有三角形得到新三角网格Tb。
7.根据权利要求3所述的一种基于三维重建成果的前背景分离方法,其特征在于,所述使用扩散惩罚机制对步骤(2.2)三角网格空间插值算法进行无差异扩散产生的杂点进行去除,具体步骤为:
S2.3.1.计算扩散成功率r作为判断一个三角形是否接受惩罚的依据,对于Ta中第m个三角形tm,其扩散成功率rm=nr/na,其中,na表示三角形tm扩散过后得到的扩散顶点的总数,nr表示在改进的面片优化和滤波之后三角形tm包含的扩散顶点存活个数。扩散成功率rm反映tm处于空洞区域的可能性,rm越小,tm越有可能处于空洞区域,则tm包含的顶点均接受惩罚,使其在下一轮扩散中被削弱扩散力度;
S2.3.2.对于新三角网格Tb中第b个网格顶点vb′,如果vb′是扩散顶点,则找到vb′的母三角形tp,tp即为扩散出vb′的三角形,并进行步骤S2.3.3;如果vb′是初始顶点,则保持其扩散惩罚值不变;
S2.3.3.如果vb′的母三角形tp的扩散成功率则需要对点vb′进行惩罚,按照公式更新vb′的扩散惩罚值f′b;如果tp的扩散成功率则不对点vb′进行惩罚,按照公式更新其扩散惩罚值f′b,其中的 分别表示母三角形tp三个顶点的扩散惩罚值,fu为预先设定的惩罚值,β3是预设的扩散成功率阈值;
S2.3.4.遍历Tb中的每一个网格顶点,重复步骤S2.3.2到S2.3.3,完成Tb的网格顶点扩散惩罚值的更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811093550.7A CN109345557B (zh) | 2018-09-19 | 2018-09-19 | 一种基于三维重建成果的前背景分离方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811093550.7A CN109345557B (zh) | 2018-09-19 | 2018-09-19 | 一种基于三维重建成果的前背景分离方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109345557A true CN109345557A (zh) | 2019-02-15 |
CN109345557B CN109345557B (zh) | 2021-07-09 |
Family
ID=65305968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811093550.7A Active CN109345557B (zh) | 2018-09-19 | 2018-09-19 | 一种基于三维重建成果的前背景分离方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109345557B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110335277A (zh) * | 2019-05-07 | 2019-10-15 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN111028356A (zh) * | 2019-11-25 | 2020-04-17 | 中国地质大学(武汉) | 基于非凸非光滑二阶正则项和稀疏保真项的优化方法 |
CN112084938A (zh) * | 2020-09-08 | 2020-12-15 | 哈尔滨工业大学(深圳) | 一种基于图结构提高平面目标表征稳定性的方法及装置 |
CN112154394A (zh) * | 2019-10-31 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 地形检测方法、可移动平台、控制设备、系统及存储介质 |
CN112365601A (zh) * | 2020-11-19 | 2021-02-12 | 连云港市拓普科技发展有限公司 | 一种基于特征点信息的结构光三维点云重建方法 |
CN113920275A (zh) * | 2021-09-30 | 2022-01-11 | 广州极飞科技股份有限公司 | 三角网格构建方法、装置、电子设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103021017A (zh) * | 2012-12-04 | 2013-04-03 | 上海交通大学 | 基于gpu加速的三维场景重建方法 |
CN104134234A (zh) * | 2014-07-16 | 2014-11-05 | 中国科学技术大学 | 一种全自动的基于单幅图像的三维场景构建方法 |
CN106683173A (zh) * | 2016-12-22 | 2017-05-17 | 西安电子科技大学 | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 |
CN107301674A (zh) * | 2017-05-22 | 2017-10-27 | 东南大学 | 一种基于窗口插值的三维重建纹理恢复方法 |
CN108230364A (zh) * | 2018-01-12 | 2018-06-29 | 东南大学 | 一种基于神经网络的前景物体运动状态分析方法 |
-
2018
- 2018-09-19 CN CN201811093550.7A patent/CN109345557B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103021017A (zh) * | 2012-12-04 | 2013-04-03 | 上海交通大学 | 基于gpu加速的三维场景重建方法 |
CN104134234A (zh) * | 2014-07-16 | 2014-11-05 | 中国科学技术大学 | 一种全自动的基于单幅图像的三维场景构建方法 |
CN106683173A (zh) * | 2016-12-22 | 2017-05-17 | 西安电子科技大学 | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 |
CN107301674A (zh) * | 2017-05-22 | 2017-10-27 | 东南大学 | 一种基于窗口插值的三维重建纹理恢复方法 |
CN108230364A (zh) * | 2018-01-12 | 2018-06-29 | 东南大学 | 一种基于神经网络的前景物体运动状态分析方法 |
Non-Patent Citations (1)
Title |
---|
史利民等: "利用空间几何信息的改进PMVS算法", 《自动化学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110335277A (zh) * | 2019-05-07 | 2019-10-15 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN112154394A (zh) * | 2019-10-31 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 地形检测方法、可移动平台、控制设备、系统及存储介质 |
WO2021081958A1 (zh) * | 2019-10-31 | 2021-05-06 | 深圳市大疆创新科技有限公司 | 地形检测方法、可移动平台、控制设备、系统及存储介质 |
CN111028356A (zh) * | 2019-11-25 | 2020-04-17 | 中国地质大学(武汉) | 基于非凸非光滑二阶正则项和稀疏保真项的优化方法 |
CN112084938A (zh) * | 2020-09-08 | 2020-12-15 | 哈尔滨工业大学(深圳) | 一种基于图结构提高平面目标表征稳定性的方法及装置 |
CN112084938B (zh) * | 2020-09-08 | 2023-07-28 | 哈尔滨工业大学(深圳) | 一种基于图结构提高平面目标表征稳定性的方法及装置 |
CN112365601A (zh) * | 2020-11-19 | 2021-02-12 | 连云港市拓普科技发展有限公司 | 一种基于特征点信息的结构光三维点云重建方法 |
CN113920275A (zh) * | 2021-09-30 | 2022-01-11 | 广州极飞科技股份有限公司 | 三角网格构建方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109345557B (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109345557B (zh) | 一种基于三维重建成果的前背景分离方法 | |
CA2948903C (en) | Method, system and apparatus for generation and playback of virtual reality multimedia | |
CN107330964B (zh) | 一种复杂三维物体的显示方法及系统 | |
CN111243071A (zh) | 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质 | |
US11875583B2 (en) | Dataset generation method for self-supervised learning scene point cloud completion based on panoramas | |
CN106558017B (zh) | 球形显示图像处理方法及系统 | |
CN114863038B (zh) | 基于显式几何形变的实时动态自由视角合成方法及装置 | |
CN113345063B (zh) | 基于深度学习的pbr三维重建方法、系统与计算机存储介质 | |
Okura et al. | Mixed-reality world exploration using image-based rendering | |
CN111091491B (zh) | 一种等距圆柱投影的全景视频像素再分配方法及系统 | |
CN109685879A (zh) | 多视影像纹理分布的确定方法、装置、设备和存储介质 | |
CN110580720A (zh) | 一种基于全景图的相机位姿估计方法 | |
CN106056656A (zh) | 一种三维显示数据获取方法 | |
Zhu et al. | Ponderv2: Pave the way for 3d foundataion model with a universal pre-training paradigm | |
CN115428027A (zh) | 神经不透明点云 | |
CN108986218A (zh) | 一种基于pmvs的建筑物密集点云快速重建方法 | |
CN117150755A (zh) | 一种基于神经点渲染的自动驾驶场景仿真方法及系统 | |
CN116957931A (zh) | 一种基于神经辐射场的相机图像画质提升方法 | |
Liu et al. | Real-time neural rasterization for large scenes | |
CN114119889A (zh) | 基于跨模态融合的360度环境深度补全和地图重建方法 | |
CN117315169A (zh) | 基于深度学习多视密集匹配的实景三维模型重建方法和系统 | |
Choi et al. | Balanced spherical grid for egocentric view synthesis | |
CN114663603A (zh) | 一种基于神经辐射场的静态对象三维网格模型生成方法 | |
CN113888694A (zh) | 一种基于sdf场可微渲染的透明物体重建的方法及系统 | |
CN116681839A (zh) | 一种基于改进NeRF的实景三维目标重建与单体化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |