CN103310482B - 一种三维重建方法及系统 - Google Patents

一种三维重建方法及系统 Download PDF

Info

Publication number
CN103310482B
CN103310482B CN201210063627.2A CN201210063627A CN103310482B CN 103310482 B CN103310482 B CN 103310482B CN 201210063627 A CN201210063627 A CN 201210063627A CN 103310482 B CN103310482 B CN 103310482B
Authority
CN
China
Prior art keywords
resolution
point
image
stereo matching
peak value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210063627.2A
Other languages
English (en)
Other versions
CN103310482A (zh
Inventor
王枚
田培金
黄道臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong smart cloud Chain Network Technology Co., Ltd.
Original Assignee
SHANDONG WISDOM LIFE DATA SYSTEMS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANDONG WISDOM LIFE DATA SYSTEMS Co Ltd filed Critical SHANDONG WISDOM LIFE DATA SYSTEMS Co Ltd
Priority to CN201210063627.2A priority Critical patent/CN103310482B/zh
Priority to PCT/CN2012/075727 priority patent/WO2013134998A1/zh
Publication of CN103310482A publication Critical patent/CN103310482A/zh
Application granted granted Critical
Publication of CN103310482B publication Critical patent/CN103310482B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种三维重建方法及系统,所述方法包括:在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理;根据立体匹配结果和预存的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出。本发明通过对获得的图像进行前处理并在各个分辨率下进行立体匹配,充分利用了各个分辨率之间的关系,能够保证误匹配的判定和修正更为合理,最终输出的三维模型更为有效,即使在获得的图像质量较低的情况下,仍能输出有效的三维模型,提高三维重建效果。

Description

一种三维重建方法及系统
技术领域
本发明涉及图像处理领域,尤其涉及一种三维重建方法及系统。
背景技术
三维模型是物体的三维多边形表示,通常用计算机或者其他视频设备进行显示。随着三维技术的发展,三维模型逐步被应用到医学、电影、工业、游戏中,在现代科技中扮演极其重要的角色。三维重建作为获取三维信息的有效手段已经成为计算机图形学和计算机视觉领域的一个研究热点。获取三维信息的主要技术可以分为主动式和被动式两种:主动式技术需要激光扫描获取深度图或者医学影像设备,如CT、MRT、PET等,获取断层的层片数据序列,这些设备获取的数据精确,但是由于过于昂贵而无法普遍地应用;而基于立体视觉的被动式技术只需要简单的设备,如两个摄像头更易被大众接受。虽然被动式技术适合很多场合,但是较低的三维重建精度仍然是被动式三维重建技术的主要难题。
当前获取三维信息,即视差的立体匹配算法主要分为三大类:区域匹配、特征匹配和相位匹配。区域匹配以基准图的待匹配点为中心创建一个窗口,用邻域像素的灰度值分布来表征该像素,然后在对准图中寻找这么一个像素,以其为中心创建同样的一个窗口,并将其邻域像素的灰度值分布来表征它,两者间的相似性必须满足一定的阈值条件。特征匹配分为局部特征和全局特征两大类。局部特征包括点、边缘、线段、小面或局部能量。全局特征包括多边形和图像结构等。基于特征的匹配一般含有特征提取和定位、特征描述、特征匹配三个步骤。相位匹配基于傅立叶平移定理,信号在空间域上的平移产生频率域上成比例的相位平移,频率域信号分析在数学表达更有助于区域分析。
常见的区域匹配算法有误差绝对值求和(Sum of Absolute Differences,SAD)算法、平方差求和(Sum of Squared Differences,SSD)算法、正交化互相关(Normalized Cross Correlation,NCC)算法等,它们的阈值公式分别为:
R SSD = Σ n 1 = 0 N 1 - 1 Σ n 2 = 0 N 2 - 1 [ f ( n 1 , n 2 ) - g ( n 1 , n 2 ) ] 2 (RSSD值越小则相似度越高);
R SAD = Σ n 1 = 0 N 1 - 1 Σ n 2 = 0 N 2 - 1 | f ( n 1 , n 2 ) - g ( n 1 , n 2 ) | (RSAD值越小则相似度越高);
R NCC = Σ n 1 = 0 N 1 - 1 Σ n 2 = 0 N 2 - 1 f ( n 1 , n 2 ) g ( n 1 , n 2 ) Σ n 1 = 0 N 1 - 1 Σ n 2 = 0 N 2 - 1 f 2 ( n 1 , n 2 ) Σ n 1 = 0 N 1 - 1 Σ n 2 = 0 N 2 - 1 g 2 ( n 1 , n 2 ) (RNcc值越大则相似度越高)。
其中,所述N1、N2为图像大小,n1、n2为图像点坐标。
区域匹配算法的主要缺陷是对畸变较为敏感,匹配窗口大小难选择;特征匹配算法的细数特性决定了特征匹配只能得到稀疏的视差场;相位匹配则对畸变有很好的抵抗能力,能获得亚像素精度的致密视差。
属于相位匹配的相位相关技术具有抗噪性、健壮性和高精度的特性,逐渐成为被动式三维重建的重要技术,该技术可以用于医学上人体三维模型的建立,影视和游戏中将各种现实物体虚拟化,也可以用于普通的移动设备,如相机、手机等进行物体的三维模型建立并保存。文献K.Takita,T.Aoki,Y. Sasaki,T.Higuchi,and K.Kobayashi,“High accuracy subpixel image registration based onphase-only correlation,”IEICE Trans.Fundamentals,vol.E86-A,no.8,pp.1925-1934,Aug.2003将相位相关技术利用到高精度的图像配准中,提出了较完整的基于相位相关的图像配准理论。在文献M.A.Muquit,T.Shibahara,andT.Aoki,“A high-accuracy passive 3D measurement system using phase-based imagematching,”IEICE Trans.Fundamentals,vol.E89-A,no.3,pp.686-697,March 2006中,作者将相位相关技术应用到立体匹配中,利用了多分辨率逐层匹配的结构和加窗技术,并实现了亚像素匹配。虽然这种方法具有一定的理论意义和合理性,在作者的实验条件下也得到了较好的结果,但是,由于相位相关对纹理的较敏感,而一旦图片的质量不够高就会出现误匹配,因此,图片质量较低时以相位相关为基础的三维重建效果就会大打折扣。此外,这些方法在多分辨匹配过程中,并没有考虑到不同分辨率之间的联系,同时,也未能对三维模型的输出进行深度范围的限制,影响了三维模型的效果。
当前受制于立体匹配的算法限制使基于双目视觉的三维重建无法应用到手机等移动终端上,一方面当前的立体匹配算法要求两个摄像头之间有一定的距离,限制了手机的硬件设计;另一方面,移动终端自带的摄像头的拍摄质量不高会严重影响立体匹配的精度,从而影响了三维重建的效果。因此,目前还没有移动终端上的三维重建的相关技术,不能满足人们存储三维信息的需要。
发明内容
有鉴于此,本发明的主要目的在于提供一种三维重建方法及系统,能够提高三维重建的效果。
为达到上述目的,本发明的技术方案是这样实现的:
一种三维重建方法,所述方法包括:
在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理;
根据立体匹配结果和预存的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出。
进一步地,在所述在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理之前,所述方法还包括:
对双目摄像机获取的图像进行校正和纹理增强的前处理。
其中,所述在各个分辨率下对图像进行基于相位相关的立体匹配以及误匹配处理为:
在各个分辨率下对图像进行加窗处理,利用各个分辨率之间的关系限制搜索范围,完成峰值搜索;
统计每个分辨率下的峰值分布,当得到的峰值小于预设的阈值时,取该点周围预设范围内点的中值对该点进行修正。
其中,所述在各个分辨率下对图像进行加窗处理,利用各个分辨率之间的关系限制搜索范围,完成峰值搜索为:
在各个分辨率下对图像的频域的二维离散傅立叶反变换加低通窗口后,利用各个分辨率之间的关系限制搜索范围,寻找峰值。
进一步地,所述误匹配处理之后,所述方法还包括:
对误匹配处理后的像素级匹配结果上利用公式拟合进行亚像素匹配。
其中,所述根据立体匹配结果和预设的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出为:
根据亚像素匹配后得到的立体匹配结果和所述双目摄像机的内外参数,得到各点的三维坐标,根据预设深度坐标的范围和峰值的阈值,对三维坐标进行过滤,得到满足设定范围的三维坐标,根据所述三维坐标画出空间点,并根据原图像中点的颜色值进行上色,得到最终的三维模型并输出。
一种三维重建系统,包括图像获取模块,所述系统还包括:立体匹配模块、三维模型输出模块;其中,
所述立体匹配模块,用于在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理;
所述三维模型输出模块,用于根据立体匹配结果和构成图像获取模块的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出。
进一步地,所述系统还包括:图像校正模块,用于对图像获取模块获得的图像进行校正和纹理增强的前处理。
其中,所述立体匹配模块,具体用于在各个分辨率下对图像进行加窗处理,利用各个分辨率之间的关系限制搜索范围,完成峰值搜索;统计每个分辨率下的峰值分布,当得到的峰值小于预设的阈值时,取该点周围预设范围内点的中值对该点进行修正。
其中,所述立体匹配模块,具体用于在各个分辨率下对图像的频域的二维离散傅立叶反变换加低通窗口后,利用各个分辨率之间的关系限制搜索范围,寻找峰值。
其中,所述立体匹配模块,还用于对误匹配处理后的像素级匹配结果上利用公式拟合进行亚像素匹配。
其中,所述三维模型输出模块,具体用于根据亚像素匹配后得到的立体匹配结果和所述双目摄像机的内外参数,得到各点的三维坐标,根据预设深度坐标的范围和峰值的阈值,对三维坐标进行过滤,得到满足设定范围的三维坐标,根据所述三维坐标画出空间点,并根据原图像中点的颜色值进行上色,得到最终的三维模型并输出。
本发明通过对获得的图像进行前处理并在各个分辨率下进行立体匹配,充分利用了各个分辨率之间的关系,能够保证误匹配的判定和修正更为合理,最终输出的三维模型更为有效,即使在获得的图像质量较低的情况下,仍能输出有效的三维模型,提高三维重建效果。
附图说明
图1为本发明三维重建方法的实现流程示意图;
图2为本发明三维重建方法具体实施例的实现流程示意图;
图3为本发明三维重建系统的结构示意图。
具体实施方式
本发明的基本思想为:在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理;根据立体匹配结果和预存的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出。
为使本发明的目的、技术方案和优点更加清楚明白,以下举实施例并参照附图,对本发明进一步详细说明。
图1示出了本发明实现三维重建方法的实现流程示意,如图1所示,所述方法包括下述步骤:
步骤101,在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理;
这里,在本步骤之前,所述方法还包括:
对双目摄像机获取的图像进行校正和纹理增强的前处理。
具体地,所述在各个分辨率下对图像进行基于相位相关的立体匹配以及误匹配处理为:在各个分辨率下对图像进行加窗处理,利用各个分辨率之间的关系限制搜索范围,完成峰值搜索;统计每个分辨率下的峰值分布,当得到的峰值小于预设的阈值时,取该点周围预设范围内点的中值对该点进行修正。
其中,所述在各个分辨率下对图像进行加窗处理,利用各个分辨率之间的关系限制搜索范围,完成峰值搜索为:在各个分辨率下对图像的频域的二维离散傅立叶反变换加低通窗口后,利用各个分辨率之间的关系限制搜索范围,寻找峰值。
步骤102,根据立体匹配结果和预存的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出。
另外,在本步骤之前,所述方法还可以包括:对误匹配处理后的像素级匹配结果上利用公式拟合进行亚像素匹配。
相应地,所述根据立体匹配结果和预设的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出为:根据亚像素匹配后得到的立体匹配结果和所述双目摄像机的内外参数,得到各点的三维坐标,根据预设深度坐标的范围和峰值的阈值,根据设定范围内点的三维坐标画出空间点,并根据原图像中点的颜色值进行上色,得到最终的三维模型并输出。
图2示出了本发明三维重建方法的具体实施例的实现流程示意,如图2所示,所述实施例包括下述步骤:
步骤201,组成双目摄像机的两个摄像机同步获取图像;
具体地,利用两个摄像机搭建起横向平行的双目摄像机系统进行图像的获取,同时还保存双目摄像机的内外参数,具体包括图像中心点坐标、焦距、基线长度等。
步骤202,对获取的图像进行校正和纹理增强的前处理;
具体地,可以通过利用Matlab摄像机标定工具箱(Camera Calibration Toolboxfor Matlab)及双目摄像机的内外参数对双目摄像机拍摄的图片用立体图像对校正(rectify stereo pair)指令进行校正,并得到校正后内外参数;然后进行线性高通滤波。并根据预先设置的条件对由双目摄像机获得的左右两副图像匹配时,对每个分辨率下的图像采用由粗到精的方法,分lmax个等级进行逐级匹配,图像在lmax级的分辨率与匹配窗口的大小接近,这里每一等级的图像可以通过如下公式得到:
f l ( x , y ) = 1 4 Σ i = 0 1 Σ j = 0 1 f l - 1 ( 2 x + i , 2 y + j ) ;
其中,fl(x,y)为第l级的图像,第l0级的图像为原始分辨率的图像。
步骤203,在各个分辨率下逐点进行基于相位相关的立体匹配以及误匹配处理完成像素级的匹配;
其中,在各个分辨率下每个点的匹配过程中都进行加窗处理,在搜索峰值时利用各个分辨率之间的关系进行搜索范围的限制;
首先在l=lmax-1级时,进行相位相关(Phase-Only Correlation,POC)运算,对l级左图参考点为中心的块和l级右图以相应点为中心的块加窗技术降低边缘效应,这里,由于获取的图像与真实世界不符,具有边界,可以用二维汉宁(2DHanning)窗来减少边界效应;其次进行相位相关运算,由于在图像匹配中频域的高频部分为不可靠信号,因此,可以通过对频域进行低通滤波来降低图像中的噪声信号;然后对降噪后的图像进行频域的二维离散傅立叶反变换(2DIDFT)得到 对该 加低通窗口再次寻找峰值,即限制峰值的搜索范围,这里,当两副图像相似时, 会有一个明显的峰值α,峰值的位置δ=(δ1,δ2),该峰值的位置即为两幅图像的相对偏移δl=(δl1,δl2)。然后,在上述l=lmax-1级下进行误匹配的判断和修正,得到q(m);具体为,统计每个分辨率下的峰值α的分布,预先设定一定范围内的边界为阈值αth;对求得的q(m),当上述POC运算后所得的峰值α不小于阈值αth,即α≥αth,则该点为合群点;否则,则认为该点为离群点,取该点周围5×5范围内点的中值修正该点。
步骤204,l=l-1,并判断此时l是否小于0,当l小于0时,执行步骤205,否则,执行步骤203;
步骤205,在步骤203的像素级匹配结果上利用公式拟合进行亚像素匹配;
具体地,取峰值为中心的周围数个点,对公式进行最小二乘的拟合,求出δ=(δ1,δ2),得到亚像素的匹配,并对右图对应点进行修正q(m)=q(m)+δ,完成亚像素的匹配;具体可以利用如下的亚像素匹配公式进行:
r ^ ( n 1 , n 2 ) = 1 N 1 N 2 Σ k 1 , k 2 R ^ ( k 1 , k 2 ) w N 1 - k 1 n 1 w N 2 - k 2 n 2
≅ α 2 πσ 2 e - ( n 1 + σ 1 ) 2 + ( n 2 + σ 2 ) 2 2 σ 2
其中,所述N1、N2为图像大小,n1、n2为图像点坐标,α为峰值大小,σ为控制窗口的系数,δ=(δ1,δ2)为峰值位置, 为图像块进行傅里叶变换并归一化后的相位差, w N 1 = e - j 2 π N 1 , w N 2 = e - j 2 π N 2 .
步骤206,利用上述立体匹配结果和双目摄像机的内外参数计算得到三维模型各点的三维坐标,进行后处理以及上色,得到三维模型的输出;
具体地,由立体匹配的结果(对应点的坐标)和双目摄像机的内外参数利用一下公式计算空间点的三维坐标:
x = b ( u 1 - u 0 ) u 1 - u 2 ,
y = ba x ( v 1 - v 0 ) a y ( u 1 - u 2 ) ,
z = ba x u 1 - u 2 ,
其中(u1,v1),(u2,v2)为匹配点的图像坐标,x,y,z之为空间点的三维坐标,b为摄像机的基线长度,u1-u2为视差,u0,v0,ax,ay分别为摄像机的中心坐标和焦距;所述内外参数是中心点坐标、焦距、基线长度。
其中,本步骤中,对得到的三维坐标进行后处理为:根据预先设置深度z的范围和峰值的阈值αth,对三维坐标进行过滤,得到满足设定范围的三维坐标,根据所述三维坐标画出空间点,并根据原图像中点的颜色值进行上色,得到最终的三维模型输出。这里,所述满足设定范围的三维坐标是指三维坐标的深度在预设深度z的范围内,即小于预设的最大深度且大于预设的最小深度;且峰值小于所述αth,对于不满足设定范围的三维坐标则进行滤除。
本发明还提供了一种三维重建的系统,如图3所示,所述系统包括:图像获取模块31、立体匹配模块32、三维模型输出模块33;其中,
所述立体匹配模块32,用于在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理;
所述三维模型输出模块33,用于根据立体匹配结果和构成图像获取模块31的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出。
进一步地,所述系统还包括:图像校正模块34,用于对图像获取模块31获得的图像进行校正和纹理增强的前处理。
其中,所述立体匹配模块32,具体用于在各个分辨率下对图像进行加窗处理,利用各个分辨率之间的关系限制搜索范围,完成峰值搜索;统计每个分辨率下的峰值分布,当得到的峰值小于预设的阈值时,取该点周围预设范围内点的中值对该点进行修正。
其中,所述立体匹配模块32,具体用于在各个分辨率下对图像的频域的二维离散傅立叶反变换加低通窗口后,利用各个分辨率之间的关系限制搜索范围,寻找峰值。
进一步地,所述立体匹配模块32,还用于对误匹配处理后的像素级匹配结果上利用公式拟合进行亚像素匹配。
其中,所述三维模型输出模块33,具体用于根据亚像素匹配后得到的立体匹配结果和所述双目摄像机的内外参数,得到各点的三维坐标,根据预设深度坐标的范围和峰值的阈值,对三维坐标进行过滤,得到满足设定范围的三维坐标,根据所述三维坐标画出空间点,并根据原图像中点的颜色值进行上色,得到最终的三维模型并输出。这里,所述满足设定范围的三维坐标是指三维坐标的深度在预设深度z的范围内,即小于预设的最大深度且大于预设的最小深度;且峰值小于所述αth,对于不满足设定范围的三维坐标则进行滤除。
综上所述,本发明通过通过相位相关技术,能够得到双目摄像机获取图片中对应点的偏移;然后在加2D Hanning窗的基础上,消除了截取图像块带来的边缘效应,同时在频域进行低通滤波,消除了一些噪声信号;并且,利用每个分辨率之间的联系,进行搜索范围的限制,使所得匹配点的可信度更高;此外,对每个分辨率下的匹配结果统计后进行误匹配的判定和修正,一方面动态的阈值提高的了误匹配判定的可信度,另一方面避免误匹配的累加而导致的无法修正的结果;在整个立体匹配的过程利用了由粗到精的结构,增强了匹配的鲁棒性,提高了匹配的速度;最后,亚像素级别的匹配使匹配结果达到了更高的精度,对最后输出空间点的筛选也使三维模型的还原度更高。多个针对低质量图片的强化步骤使移动终端,如手机拍摄的图片也能够得到良好的三维重建效果,而亚像素匹配技术对两个相机之间的距离要求极大地减少,具有一定的硬件实用性。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (10)

1.一种三维重建方法,其特征在于,所述方法包括:
在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理;
根据立体匹配结果和预存的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出;
所述误匹配处理之后,所述方法还包括:
对误匹配处理后的像素级匹配结果利用公式拟合进行亚像素匹配,具体为:
取峰值为中心的周围数个点,对公式进行最小二乘的拟合,求出δ=(δ12),得到亚像素的匹配,并对对应点进行修正q(m)=q(m)+δ,完成亚像素的匹配;具体利用如下的亚像素匹配公式进行:
r ^ ( n 1 , n 2 ) = 1 N 1 N 2 Σ k 1 , k 2 R ^ ( k 1 , k 2 ) w N 1 - k 1 n 1 w N 2 - k 2 n 2 ≅ α 2 πσ 2 e - ( n 1 + σ 1 ) 2 + ( n 2 + σ 2 ) 2 2 σ 2
其中,N1、N2为图像大小,n1、n2为图像点坐标,α为峰值大小,σ为控制窗口的系数,δ=(δ12)为峰值位置,为图像块进行傅里叶变换并归一化后的相位差,
2.根据权利要求1所述的方法,其特征在于,在所述在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理之前,所述方法还包括:
对双目摄像机获取的图像进行校正和纹理增强的前处理。
3.根据权利要求1所述的方法,其特征在于,所述在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理为:
在各个分辨率下对图像进行加窗处理,利用各个分辨率之间的关系限制搜索范围,完成峰值搜索;
统计每个分辨率下的峰值分布,当得到的峰值小于预设的阈值时,取该点周围预设范围内点的中值对该点进行修正。
4.根据权利要求3所述的方法,其特征在于,所述在各个分辨率下对图像进行加窗处理,利用各个分辨率之间的关系限制搜索范围,完成峰值搜索为:
在各个分辨率下对图像的频域的二维离散傅立叶反变换加低通窗口后,利用各个分辨率之间的关系限制搜索范围,寻找峰值。
5.根据权利要求1所述的方法,其特征在于,所述根据立体匹配结果和预存的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出为:
根据亚像素匹配后得到的立体匹配结果和所述双目摄像机的内外参数,得到各点的三维坐标,根据预设深度坐标的范围和峰值的阈值,对三维坐标进行过滤,得到满足设定范围的三维坐标,根据所述三维坐标画出空间点,并根据原图像中点的颜色值进行上色,得到最终的三维模型并输出。
6.一种三维重建系统,包括图像获取模块,其特征在于,所述系统还包括:立体匹配模块、三维模型输出模块;其中,
所述立体匹配模块,用于在各个分辨率下对获取的图像进行基于相位相关的立体匹配以及误匹配处理;
所述三维模型输出模块,用于根据立体匹配结果和构成图像获取模块的双目摄像机的内外参数得到各点的三维坐标,进行处理上色后得到三维模型并输出;
所述立体匹配模块,还用于对误匹配处理后的像素级匹配结果利用公式拟合进行亚像素匹配,具体为:
取峰值为中心的周围数个点,对公式进行最小二乘的拟合,求出δ=(δ12),得到亚像素的匹配,并对对应点进行修正q(m)=q(m)+δ,完成亚像素的匹配;具体利用如下的亚像素匹配公式进行:
r ^ ( n 1 , n 2 ) = 1 N 1 N 2 Σ k 1 , k 2 R ^ ( k 1 , k 2 ) w N 1 - k 1 n 1 w N 2 - k 2 n 2 ≅ α 2 πσ 2 e - ( n 1 + σ 1 ) 2 + ( n 2 + σ 2 ) 2 2 σ 2
其中,N1、N2为图像大小,n1、n2为图像点坐标,α为峰值大小,σ为控制窗口的系数,δ=(δ12)为峰值位置,为图像块进行傅里叶变换并归一化后的相位差,
7.根据权利要求6所述的系统,其特征在于,所述系统还包括:图像校正模块,用于对图像获取模块获得的图像进行校正和纹理增强的前处理。
8.根据权利要求6所述的系统,其特征在于,所述立体匹配模块,具体用于在各个分辨率下对图像进行加窗处理,利用各个分辨率之间的关系限制搜索范围,完成峰值搜索;统计每个分辨率下的峰值分布,当得到的峰值小于预设的阈值时,取该点周围预设范围内点的中值对该点进行修正。
9.根据权利要求8所述的系统,其特征在于,所述立体匹配模块,具体用于在各个分辨率下对图像的频域的二维离散傅立叶反变换加低通窗口后,利用各个分辨率之间的关系限制搜索范围,寻找峰值。
10.根据权利要求6所述的系统,其特征在于,所述三维模型输出模块,具体用于根据亚像素匹配后得到的立体匹配结果和所述双目摄像机的内外参数,得到各点的三维坐标,根据预设深度坐标的范围和峰值的阈值,对三维坐标进行过滤,得到满足设定范围的三维坐标,根据所述三维坐标画出空间点,并根据原图像中点的颜色值进行上色,得到最终的三维模型并输出。
CN201210063627.2A 2012-03-12 2012-03-12 一种三维重建方法及系统 Expired - Fee Related CN103310482B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210063627.2A CN103310482B (zh) 2012-03-12 2012-03-12 一种三维重建方法及系统
PCT/CN2012/075727 WO2013134998A1 (zh) 2012-03-12 2012-05-18 一种三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210063627.2A CN103310482B (zh) 2012-03-12 2012-03-12 一种三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN103310482A CN103310482A (zh) 2013-09-18
CN103310482B true CN103310482B (zh) 2016-08-10

Family

ID=49135657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210063627.2A Expired - Fee Related CN103310482B (zh) 2012-03-12 2012-03-12 一种三维重建方法及系统

Country Status (2)

Country Link
CN (1) CN103310482B (zh)
WO (1) WO2013134998A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469464B (zh) * 2015-08-19 2019-02-19 富士通株式会社 用于三维建模目标对象的方法和系统
CN105638613B (zh) * 2015-12-22 2018-12-28 中国农业大学 一种药剂喷施机器人系统及控制方法
WO2018161270A1 (zh) * 2017-03-08 2018-09-13 深圳大学 时空结合的散斑三维成像方法及装置
CN109272453B (zh) * 2018-08-31 2023-02-10 上海盎维信息技术有限公司 基于3d摄像机的建模装置及定位方法
CN111854748B (zh) * 2019-04-09 2022-11-22 北京航迹科技有限公司 一种定位系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5719954A (en) * 1994-06-07 1998-02-17 Matsushita Electric Industrial Co., Ltd. Stereo matching method and disparity measuring method
CN101859375A (zh) * 2010-06-01 2010-10-13 南京林业大学 农田苗期行内作物-杂草识别方法
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN102313536A (zh) * 2011-07-21 2012-01-11 清华大学 基于机载双目视觉的障碍物感知方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720282B2 (en) * 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation
KR100918480B1 (ko) * 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN101908230B (zh) * 2010-07-23 2011-11-23 东南大学 一种基于区域深度边缘检测和双目立体匹配的三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5719954A (en) * 1994-06-07 1998-02-17 Matsushita Electric Industrial Co., Ltd. Stereo matching method and disparity measuring method
CN101859375A (zh) * 2010-06-01 2010-10-13 南京林业大学 农田苗期行内作物-杂草识别方法
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN102313536A (zh) * 2011-07-21 2012-01-11 清华大学 基于机载双目视觉的障碍物感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于相关峰值图像分析的变窗口立体匹配算法;王栋 等;《电子器件》;20070831;第30卷(第4期);第1400-1403页 *

Also Published As

Publication number Publication date
CN103310482A (zh) 2013-09-18
WO2013134998A1 (zh) 2013-09-19

Similar Documents

Publication Publication Date Title
CN105205858B (zh) 一种基于单个深度视觉传感器的室内场景三维重建方法
CN104318548B (zh) 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法
Yang et al. Color-guided depth recovery from RGB-D data using an adaptive autoregressive model
CN105528785B (zh) 一种双目视觉图像立体匹配方法
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
CN106023303B (zh) 一种基于轮廓有效性提高三维重建点云稠密程度的方法
CN106408513B (zh) 深度图超分辨率重建方法
CN107301664A (zh) 基于相似性测度函数的改进局部立体匹配方法
CN101996407B (zh) 一种多相机颜色标定方法
CN103310482B (zh) 一种三维重建方法及系统
CN106651938A (zh) 一种融合高分辨率彩色图像的深度图增强方法
CN106504194B (zh) 一种基于最佳拼接平面和局部特征的图像拼接方法
CN104574432B (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN106091984A (zh) 一种基于线激光的三维点云数据获取方法
CN110223377A (zh) 一种基于立体视觉系统高精度的三维重建方法
CN101866497A (zh) 基于双目立体视觉的智能三维人脸重建方法及系统
CN104680496A (zh) 一种基于彩色图像分割的Kinect深度图修复方法
CN104933673B (zh) 基于解析搜索亚像素偏移量的干涉sar图像精配准方法
CN104463899A (zh) 一种目标对象检测、监控方法及其装置
CN105898278B (zh) 一种基于双目多维感知特性的立体视频显著性检测方法
CN104599284A (zh) 基于多视角手机自拍图像的三维人脸重建方法
CN104966318A (zh) 具有图像叠加和图像特效功能的增强现实方法
CN103065351A (zh) 一种双目三维重建的方法
CN103384343B (zh) 一种填补图像空洞的方法及其装置
CN104517317A (zh) 一种车载红外图像三维重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
CB03 Change of inventor or designer information

Inventor after: Wang Mei

Inventor after: Tian Peijin

Inventor after: Huang Daochen

Inventor before: Li Qirui

Inventor before: Li Wen

Inventor before: Wang Sanhong

Inventor before: He Feifei

COR Change of bibliographic data
TA01 Transfer of patent application right

Effective date of registration: 20160704

Address after: Laishan Mingda road 264000 Shandong city of Yantai province No. 11

Applicant after: SHANDONG WISDOM LIFE DATA SYSTEMS CO., LTD.

Address before: 518057 Nanshan District Guangdong high tech Industrial Park, South Road, science and technology, ZTE building, Ministry of Justice

Applicant before: ZTE Corporation

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190301

Address after: 264000 Mingda West Road, Laishan District, Yantai, Shandong Province, No. 11

Patentee after: Shandong smart cloud Chain Network Technology Co., Ltd.

Address before: 264000 Mingda West Road, Laishan District, Yantai, Shandong Province, No. 11

Patentee before: SHANDONG WISDOM LIFE DATA SYSTEMS CO., LTD.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20210312