CN106920263B - 基于Kinect的无畸变集成成像三维显示方法 - Google Patents
基于Kinect的无畸变集成成像三维显示方法 Download PDFInfo
- Publication number
- CN106920263B CN106920263B CN201710142236.2A CN201710142236A CN106920263B CN 106920263 B CN106920263 B CN 106920263B CN 201710142236 A CN201710142236 A CN 201710142236A CN 106920263 B CN106920263 B CN 106920263B
- Authority
- CN
- China
- Prior art keywords
- depth
- point
- image
- depth image
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003384 imaging method Methods 0.000 title claims abstract description 25
- 230000010354 integration Effects 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 230000002146 bilateral effect Effects 0.000 claims abstract description 15
- 238000009499 grossing Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 6
- 235000008434 ginseng Nutrition 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 230000008439 repair process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于Kinect传感器的无畸变集成成像三维显示方法,首先利用Kinect传感器获取三维场景的深度图像,并采用快速步进法对Kinect获取的深度图像进行黑洞填充;然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波,得到具有连续深度变化且边缘平滑的深度图像;最后利用光场模型得到大景深复杂场景的基元图像阵列,实现无畸变的三维集成成像显示。本发明获得的基元元素图像阵列,因是在没有散射和折射影响的理想状态,其图像品质优于通过微透镜阵列获得基元图像阵列。本发明不仅可以有效克服在记录大景深复杂场景时微透镜阵列的物理局限性,而且可以实现对大景深复杂场景的无畸变三维集成成像显示。
Description
技术领域
本发明涉及计算机视觉、三维重建及立体显示等技术领域,特别是一种可适应大景深、复杂场景的集成成像三维显示方法。
背景技术
随着光电器件和视频处理技术的发展,集成成像三维显示已成为下一代真三维显示技术的研究热点。较之全息三维显示,它具有相对较小的数据量、无需相干光源并且无苛刻的环境要求等特点,已成为目前国际上的前沿三维显示方式之一,也是最有希望实现三维电视的一种裸视真三维显示方式,其实现方案有两种,一种是采用多视方案,另一种是“纹理+深度”方案,然而这两种方案都存在一些缺陷。
方案一利用微透镜阵列对三维空间场景进行记录,并再现出空间场景的三维技术。由于微透镜阵列的每个透镜从不同方向记录三维场景的部分信息,因此所记录的每个基元图像具有不同的视差信息。在显示过程中,根据光路可逆原理,利用与记录微透镜阵列具有同样参数的微透镜阵列再现三维空间的三维图像。然而,由于微透镜阵列的使用,记录的基元图像具有分辨率非常低、视角狭窄及可表示的深度范围非常小等缺点,这种微透镜阵列的物理局限性将会导致三维显示的可视化降低。
方案二是利用彩色图像描述3D场景的纹理信息,用深度图像描述3D场景的深度信息,然后建立光场模型,生成元素图像阵列进行3D显示。由于Kinect传感器可以同时获取较好分辨率的彩色图像与深度图像,所以近些年被广泛地应用到了集成成像技术中,这样不仅保证了拍摄的实时性,也避免了微透镜阵列的物理局限性,可以很容易获取景深较大场景和复杂场景的光场信息。然而,Kinect传感器存在着一些不可避免的问题,其中有以下两个关键问题需要解决。第一个关键问题是,由于三维场景中物体表面材质的反射、光照以及遮挡等原因,Kinect传感器获取的深度图像中存在大量黑洞。尤其是在大景深复杂背景下,因Kinect传感器的红外线传感器无法捕捉物体表面反射的光线,故形成深度图像的黑洞区域,无法获得高质连续的深度图像。第二个关键问题是,由于Kinect传感器的深度相机和彩色相机之间的固有光学畸变,导致深度图像和彩色图像之间存在边缘非校准的问题。解决上述两个关键问题是基于Kinect传感器实现无畸变的集成成像三维显示的关键所在。近年来,很多学者都提出了有关深度图像的修复算法。其中一种类似彩色图像修复算法对深度图像直接进行黑洞填补,另一种是使用滤波器达到保边去噪的效果。例如Telea等人在文献[An image inpainting technique based on the fast marching method.journal ofgraphics,gpu,and game tools,9(1):23–34,2004.]中提出一种快速步进法可有效地修复图像中的大面积黑洞区域,但这种方法没有考虑彩色图像对深度图像修复的作用,修复后的深度图像边缘部分与彩色图像依旧存在不匹配的问题。另外,Petsching等人在文献[Digital photography with flash and no-flash image pairs.ACM Trans.Graph.,23(3):664–672,2004.]中提出联合双边滤波器,结合彩色图像对深度图像进行图像去噪和边缘平滑,然而,当黑洞区域较大时,这种方法修复得到的深度图像依旧存在黑洞,其可用性极差。
所以直接利用Kinect传感器获得的彩色图像和深度图像或者是简单方法修复的深度图像,建立光场模型也是很难实现无畸变的集成成像三维显示的。
发明内容
为解决现有技术存在的上述问题,本发明要设计一种不仅可以有效克服在记录大景深复杂场景时微透镜阵列的物理局限性,而且可以实现对大景深复杂场景的无畸变三维集成成像显示的基于Kinect传感器的无畸变集成成像三维显示方法。
为了实现上述目的,本发明的技术方案如下:
一种基于Kinect传感器的无畸变集成成像三维显示方法,包括以下步骤:
A、标定及校准Kinect传感器获取的深度图像和彩色图像
通过Kinect传感器同步获取目标场景的深度图像和彩色图像,并同时使用红外补光照射标定板对Kinect传感器的深度相机和彩色相机进行标定,结合标定结果通过坐标变换,对深度图像与彩色图像进行校准和裁剪,具体方法如下:
A1、定义原始深度图像中的一点为点p,其坐标为(ud,vd),对应的深度测量值为z0,根据式(1)得到点p真实的深度值z:
z=1/(c0×z0+c1) (1)
其中c0和c1是两个常数;
A2、通过式(2)将深度图像中坐标系中的点p(u,v)转换到世界坐标系,得到世界坐标系中的对应点p,记其坐标为(x,y,z);其中fx和fy为深度相机在x和y方向的焦距,cx和cy为主点偏移;
A3、通过式(3)利用Kinect传感器的彩色相机的外参,在世界坐标系中的点p(x,y,z)转换到彩色相机坐标系中,得到坐标为(xc,yc,zc)的点pc,所述的外参包括旋转矩阵R和平移矩阵t;
pc=R×p+t (3)
A4、利用式(4)将彩色相机坐标系中的点pc转换到彩色图像坐标系,得到坐标为(uc,vc)的点q,点q即为深度图像中的点p(u,v)在彩色图像中的对应点;
其中:和分别为点pc在x和y方向的焦距,和分别为点pc在x和y方向的主点偏移;
通过以上的坐标变换,将深度图像和彩色图像进行校准和裁剪使得两幅图像吻合并大小相等;
B、使用快速步进法和联合双边滤波进行深度图像修复
首先采用快速步进法对步骤A得到的深度图像进行黑洞填充;然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波,得到具有连续深度变化且边缘平滑的深度图像;具体方法如下:
B1、通过快速步进法进行深度图像黑洞填充
快速步进法的基本思路是,先处理待修复区域边缘上的像素点,然后层层向内推进,直到修复完所有的像素点;主要包含两个过程:
B11、以一个像素点的修复描述修复模型
设深度图像中的待修复区域是Ω区域,指Ω区域的边缘;要修复Ω区域中的深度,需要计算出新的深度值来代替原值;现在假设点p是要修复的深度;以点p为中心选取一个小邻域B(p),此邻域只考虑深度值已知的点而忽略深度值未知的点;假设点q为小邻域B(p)中的一点,由点q计算点p的深度值公式如下:
其中,z(q)和分别为点q的深度值和梯度,这里的w(p,q)就是权值函数,用来限定小邻域中各像素的贡献大小的,由式(6)得到:
其中,T(p)是距离图,T(q)是点q的距离图,几何距离因子wdst(p,q)使离点p越近的像素点对点p贡献越大;方向因子wdir(p,q)使越靠近法线方向的像素点对点p的贡献最大;水平集距离因子wlev(p,q)使离经过点p的待修复区域的轮廓线越近的已知像素点对点p的贡献越大;
B12、按序处理待修复区域中的所有像素
首先,找到待修复黑洞区域的边缘并对距离图中的距离值T进行初始化,令黑洞区域处T=∞,外部已知区域和边缘上T=0;
然后将边缘点按T值从小到大升序排序,先处理T值最小的像素,假设是点p;点p选取边缘上的任意一点;
然后根据式(5)对点p进行修复,并根据式(7)更新T值;
其中z-x=z(i,j)-z(i-1,j),z+x=z(i+1,j)-z(i,j),z-y=z(i,j)-z(i,j-1),z+y=z(i,j+1)-z(i,j),z(i,j)为(i,j)坐标点的深度值;
最后依次处理点p的四邻域点中的黑洞点,直到深度图像中没有黑洞;
B2、利用联合双边滤波对深度图像进行边缘平滑
经过快速步进法修复后的深度图像虽然不存在黑洞,但是图像中物体边缘仍然不平滑,本发明引入联合双边滤波,将Kinect传感器获得的彩色图像作为引导图像,对深度图像进行校正补全;此处的联合双边滤波器是基于双边滤波器的,将值域滤波器中的参数取自另一幅引导图像中,利用Kinect传感器同时获得同一场景的深度图像和彩色图像,将该彩色图像作为引导图像,对深度图像进行校正补全,具体实现公式如下:
其中,z(i,j)是步骤B1获得的需要滤波处理的含噪声深度图像,Ω是用于计算目标像素的邻域像素,是一个标准量,并且
其中(i、j)和(x、y)分别为彩色图像灰度化后图像Ig的两个不同坐标点,σk和σg为由实验决定的带宽参数;
这样,通过快速步进法对Kinect获取的深度图像进行黑洞填充,保证填充后的深度图像不存在未知区域;然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波,最终得到具有连续深度变化且边缘平滑的深度图像;
C、生成基本元素图像阵列
根据步骤B得到的深度图像和步骤A得到的彩色图像建立光场模型,生成大景深复杂场景的基元元素图像阵列;具体方法如下:
C1、生成子图像
子图像是所有基元图像中对应位置的点的集合,根据子图像得到基元图像阵列;根据投影几何原理,子图像表示为:
Iθ(x,y)=I(x+Δqx,y+Δqy) (10)
其中,I(x,y)是彩色图像在(x,y)点处的像素值,Δqx和Δqy是沿x轴和y轴方向的像素偏移,像素偏移Δq依赖于深度信息和投影角度,根据式(11)计算得到:
Δq=(zf(x,y)-dc)×tanθ (11)
其中,zf(x,y)是修复的深度图像中(x,y)点的深度值,dc是中心深度平面和零平面(z=0)的距离,θ是投影角度,由式(12)求得:
其中,δ是基元图像中每个像素的大小,g是微透镜阵列与基元图像之间的距离;像素坐标值计算公式如下:
其中l是每个基元图像的尺寸,floor(*)代表下取整运算;
C2、生成基元图像阵列
因为基元图像阵列是子图像阵列的交织叠加,根据子图像得到基元图像阵列,具体计算公式如下:
其中,i和j是子图像Iθ的坐标值,s是虚拟微透镜的间隔,m和n代表第m行,第n列的虚拟微透镜;
D、根据光路可逆原理,实现集成成像的光学显示
将步骤C得到的基元元素图像阵列按照高分辨率三维显示屏的物理参数进行调整,实现具有连续视差效果的无畸变三维图像。
进一步地,步骤A所述的标定方法如下:结合Kinect传感器的特点,将Kinect传感器的深度相机中的红外发射器挡住,用红外补光灯照射标定板,得到清晰的标定板红外原始图像,然后结合经典标定方法和标定工具包对Kinect传感器的彩色相机进行标定。
进一步地,步骤D所述的光学显示方法如下:将微透镜阵列置于高分辨率显示屏前方,根据显示屏以及微透镜阵列的实际物理参数校准基元图像阵列,用高分辨率显示屏进行光学重建。
与现有技术相比,本发明具有以下有益效果:
1、本发明从集成成像技术原理和Kinect传感器获得的深度图像修复两方面入手进行三维显示,提出了一种适应大景深复杂场景下的无畸变集成成像显示技术。首先利用Kinect传感器获取三维场景的深度图像,并采用快速步进法对Kinect获取的深度图像进行黑洞填充;然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波,得到具有连续深度变化且边缘平滑的深度图像;最后利用光场模型得到大景深复杂场景的基元图像阵列,实现无畸变的三维集成成像显示。
2、本发明获得的基元元素图像阵列,因是在没有散射和折射影响的理想状态,其图像品质优于通过微透镜阵列获得基元图像阵列。
3、本发明不仅可以有效克服在记录大景深复杂场景时微透镜阵列的物理局限性,而且可以实现对大景深复杂场景的无畸变三维集成成像显示。
附图说明
图1是本发明的总体流程图。
图2是本发明标定、校准后的彩色图像和深度图像。
图3是本发明中基于快速步进法进行黑洞填充模型。
图4是本发明中快速步进法流程图。
图5是本发明对深度图像进行修复的结果图。
图6是本发明中基元图像阵列的生成原理图。
图7是本发明得到的基元图像阵列。
图8是本发明显示结果图。
具体实施方式
为使本发明的具体实施方式更加清楚明白,以下结合本发明的技术方案与附图,对本发明包含的4个步骤分别进行详细完整的描述。
如图1所示,基于Kinect传感器的无畸变集成成像三维显示方法,包括以下步骤:
步骤一,标定及校准Kinect传感器获取的深度图像和彩色图像。其具体实施方案包含以下两个部分:
1、标定Kinect传感器
普通相机的标定一般通过拍摄棋盘格图案的标定板,结合张氏标定等标定方法,但是在Kinect深度图像中,无法显示标定板上的棋盘图案,从而无法对红外相机直接标定。
本发明结合Kinect传感器的特点,将Kinect传感器的深度相机中的红外发射器挡住,用红外补光灯照射标定板,这样一来就可以得到清晰的标定板原始深度图像,然后结合经典标定方法和标定工具包对Kinect传感器的彩色相机进行标定。
2、校准与裁剪
定义原始深度图像中的一点为p点,其坐标为(ud,vd),对应的深度测量值为z0,根据式(1)可以得到点p真实的深度值z;然后,通过式(2)将深度图像坐标系中的点p(u,v)转换到世界坐标系,得到世界坐标系中的对应点p,记其坐标为(x,y,z)。
通过式(3)利用彩色相机的外参,在世界坐标系中系的点p(x,y,z)转换到彩色相机坐标系中,得到坐标为(xc,yc,zc)的点pc,所述的外参包括旋转矩阵R和平移矩阵t;
最后,利用式(4)将彩色相机坐标系中的点pc转换到彩色图像坐标系,得到坐标为(uc,vc)的点q,点q即为深度图像中的点p(u,v)在彩色图像中的对应点。
通过以上的坐标变换,可以将深度图像和彩色图像进行校准和裁剪使得两幅图像是吻合并大小相等的,本发明标定、校准后的结果图如图2所示,左图为彩色图像,右图为深度图像。
步骤二,使用快速步进法和联合双边滤波进行深度图像修复。该步骤可以得到具有连续深度变化且边缘平滑的深度图像,其具体实施方案包含以下两部分:
1、通过快速步进法进行深度图像黑洞填充
快速步进法基于的思想是,先处理待修复区域边缘上的像素点,然后层层向内推进,直到修复完所有的像素点。主要包含两个过程:
1)以一个像素点的修复描述修复模型。
如图3所示,设Ω区域是深度图像中的一个待修复区域,指Ω区域的边缘;要修复Ω区域中的深度,就需要计算出新的深度值来代替原值。现在假设点p是要修复的深度。以点p为中心选取一个小邻域B(p),此邻域只考虑深度值已知的点而忽略深度值未知的点。假设点q为B(p)中的一点,由点q计算点p的深度值公式见公式(5)-(6)。按序处理待修复区域中的所有像素。
首先,找到待修复黑洞区域的边缘并对距离图中的值T进行初始化,令黑洞区域处T=∞,外部已知区域和边缘上T=0;
然后将边缘点按T值从小到大升序排序,先处理T值最小的像素,假设是点p。此处注意,在第一步处理时可以选取边缘上的任意一点;然后根据式(5)对点p进行修复,并根据式(7)更新T值;
最后依次处理点p的四邻域点中的黑洞点,直到深度图像中没有黑洞,具体流程图如图4所示。
2)利用联合双边滤波对深度图像进行边缘平滑
经过快速步进法修复后的深度图像虽然不存在黑洞,但是图像中物体边缘仍然不平滑,本发明引入联合双边滤波,将Kinect传感器获得的彩色图像作为引导图像,对深度图像进行校正补全。此处的联合双边滤波器是基于双边滤波器的,具体改进在于将值域滤波器中的参数取自另一幅引导图像中,首先获取同一场景的两幅图像,其中一幅是利用闪光灯拍摄的图像,另一幅是未利用闪光灯拍摄的图像,然后将利用闪光灯拍摄图像的高频部分和未利用闪光灯拍摄的图像的低频部分相结合,把双边滤波器中的值域滤波模版用在高频图像上,即将该高频图像作为引导图像,对未利用闪光灯拍摄的图片进行滤波来获得很好地图像增强效果。
本发明基于联合双边滤波器的基本思想,利用Kinect传感器可以同时获得同一场景的深度图像和彩色图像,将该彩色图像作为引导图像,对深度图像进行校正补全,具体实现公式如(8)-(9)。
本发明通过快速步进法对Kinect传感器获取的深度信息进行黑洞填充,保证填充后的深度图像不存在未知区域;然后结合对应的彩色图像对填充后的深度信息进行联合双边滤波,最终得到具有连续深度变化且边缘平滑的深度图像,如图5所示。
步骤三,基于光场信息生成基元元素图像阵列。具体实施方案包含以下两个步骤:
1、生成子图像
子图像是所有基元图像中对应位置的点的集合,可以根据子图像得到基元图像阵列。首先,根据步骤二得到的修复深度图像和公式(12)得到的投影角度,计算彩色图像中像素点沿x轴和y轴的像素偏移,由式(11)可得。最后,根据投影几何原理,将彩色图像按一定的像素进行偏移便可得到在该投影角度下的子图像,具体见式(10)。
2、生成基元元素图像阵列
因为基元图像阵列是子图像阵列的交织叠加,图6所示为元素图像阵列生成原理图,根据子图像可以得到基元图像阵列(如图7),具体计算公式见式(13)。
步骤四,根据光路可逆原理,实现集成成像的无畸变光学显示。具体实现方案如下:
将微透镜阵列置于高分辨率显示屏前方,根据显示屏以及微透镜阵列的实际物理参数校准基元图像阵列,用高分辨率显示屏进行光学重建,为了更加直观地呈现显示效果,本发明使用佳能相机对此三维重建图像进行不同视角的拍摄与记录,如图8所示,当相机水平移动时,可见a,e,b的局部放大图a’,e’,b’存在水平视差,当相机竖直移动时,可见c,e,d的局部放大图c',e',d’存在垂直视差。
本发明不局限于本实施例,任何在本发明披露的技术范围内的等同构思或者改变,均列为本发明的保护范围。
Claims (3)
1.一种基于Kinect传感器的无畸变集成成像三维显示方法,其特征在于:包括以下步骤:
A、标定及校准Kinect传感器获取的深度图像和彩色图像
通过Kinect传感器同步获取目标场景的深度图像和彩色图像,并同时使用红外补光照射标定板对Kinect传感器的深度相机和彩色相机进行标定,结合标定结果通过坐标变换,对深度图像与彩色图像进行校准和裁剪,具体方法如下:
A1、定义原始深度图像中的一点为点p,其坐标为(ud,vd),对应的深度测量值为z0,根据式(1)得到点p真实的深度值z:
z=1/(c0×z0+c1) (1)
其中c0和c1是两个常数;
A2、通过式(2)将深度图像中坐标系中的点p(u,v)转换到世界坐标系,得到世界坐标系中的对应点p,记其坐标为(x,y,z);其中fx和fy为深度相机在x和y方向的焦距,cx和cy为主点偏移;
A3、通过式(3)利用Kinect传感器的彩色相机的外参,在世界坐标系中的点p(x,y,z)转换到彩色相机坐标系中,得到坐标为(xc,yc,zc)的点pc,所述的外参包括旋转矩阵R和平移矩阵t;
pc=R×p+t (3)
A4、利用式(4)将彩色相机坐标系中的点pc转换到彩色图像坐标系,得到坐标为(uc,vc)的点q,点q即为深度图像中的点p(u,v)在彩色图像中的对应点;
其中:和分别为点pc在x和y方向的焦距,和分别为点pc在x和y方向的主点偏移;
通过以上的坐标变换,将深度图像和彩色图像进行校准和裁剪使得两幅图像吻合并大小相等;
B、使用快速步进法和联合双边滤波进行深度图像修复
首先采用快速步进法对步骤A得到的深度图像进行黑洞填充;然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波,得到具有连续深度变化且边缘平滑的深度图像;具体方法如下:
B1、通过快速步进法进行深度图像黑洞填充
快速步进法的基本思路是,先处理待修复区域边缘上的像素点,然后层层向内推进,直到修复完所有的像素点;主要包含两个过程:
B11、以一个像素点的修复描述修复模型
设深度图像中的待修复区域是Ω区域,指Ω区域的边缘;要修复Ω区域中的深度,需要计算出新的深度值来代替原值;现在假设点p是要修复的深度;以点p为中心选取一个小邻域B(p),此邻域只考虑深度值已知的点而忽略深度值未知的点;假设点q为小邻域B(p)中的一点,由点q计算点p的深度值公式如下:
其中,z(q)和分别为点q的深度值和梯度,这里的w(p,q)就是权值函数,用来限定小邻域中各像素的贡献大小的,由式(6)得到:
其中,T(p)是距离图,T(q)是点q的距离图,几何距离因子wdst(p,q)使离点p越近的像素点对点p贡献越大;方向因子wdir(p,q)使越靠近法线方向的像素点对点p的贡献最大;水平集距离因子wlev(p,q)使离经过点p的待修复区域的轮廓线越近的已知像素点对点p的贡献越大;
B12、按序处理待修复区域中的所有像素
首先,找到待修复黑洞区域的边缘并对距离图中的距离值T进行初始化,令黑洞区域处T=∞,外部已知区域和边缘上T=0;
然后将边缘点按T值从小到大升序排序,先处理T值最小的像素,假设是点p;点p选取边缘上的任意一点;
然后根据式(5)对点p进行修复,并根据式(7)更新T值;
其中z-x=z(i,j)-z(i-1,j),z+x=z(i+1,j)-z(i,j),z-y=z(i,j)-z(i,j-1),z+y=z(i,j+1)-z(i,j),z(i,j)为(i,j)坐标点的深度值;
最后依次处理点p的四邻域点中的黑洞点,直到深度图像中没有黑洞;
B2、利用联合双边滤波对深度图像进行边缘平滑
经过快速步进法修复后的深度图像虽然不存在黑洞,但是图像中物体边缘仍然不平滑,本发明引入联合双边滤波,将Kinect传感器获得的彩色图像作为引导图像,对深度图像进行校正补全;此处的联合双边滤波器是基于双边滤波器的,将值域滤波器中的参数取自另一幅引导图像中,利用Kinect传感器同时获得同一场景的深度图像和彩色图像,将该彩色图像作为引导图像,对深度图像进行校正补全,具体实现公式如下:
其中,z(i,j)是步骤B1获得的需要滤波处理的含噪声深度图像,Ω是用于计算目标像素的邻域像素,是一个标准量,并且
其中(i、j)和(x、y)分别为彩色图像灰度化后图像Ig的两个不同坐标点,σk和σg为由实验决定的带宽参数,Ig(i,j)为彩色图像灰度化后的像素值;
这样,通过快速步进法对Kinect获取的深度图像进行黑洞填充,保证填充后的深度图像不存在未知区域;然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波,最终得到具有连续深度变化且边缘平滑的深度图像;
C、生成基本元素图像阵列
根据步骤B得到的深度图像和步骤A得到的彩色图像建立光场模型,生成大景深复杂场景的基元元素图像阵列;具体方法如下:
C1、生成子图像
子图像是所有基元图像中对应位置的点的集合,根据子图像得到基元图像阵列;根据投影几何原理,子图像表示为:
Iθ(x,y)=I(x+Δqx,y+Δqy) (10)
其中,I(x,y)是彩色图像在(x,y)点处的像素值,Δqx和Δqy是沿x轴和y轴方向的像素偏移,像素偏移Δq依赖于深度信息和投影角度,根据式(11)计算得到:
Δq=(zf(x,y)-dc)×tanθ (11)
其中,zf(x,y)是修复的深度图像中(x,y)点的深度值,dc是中心深度平面和零平面(z=0)的距离,θ是投影角度,由式(12)求得:
其中,δ是基元图像中每个像素的大小,g是微透镜阵列与基元图像之间的距离;像素坐标值计算公式如下:
其中l是每个基元图像的尺寸,floor(*)代表下取整运算;
C2、生成基元图像阵列
因为基元图像阵列是子图像阵列的交织叠加,根据子图像得到基元图像阵列,具体计算公式如下:
其中,i和j是子图像Iθ的坐标值,s是虚拟微透镜的间隔,m和n代表第m行,第n列的虚拟微透镜;
D、根据光路可逆原理,实现集成成像的光学显示
将步骤C得到的基元元素图像阵列按照高分辨率三维显示屏的物理参数进行调整,实现具有连续视差效果的无畸变三维图像。
2.根据权利要求1所述的一种基于Kinect传感器的无畸变集成成像三维显示方法,其特征在于:步骤A所述的标定方法如下:结合Kinect传感器的特点,将Kinect传感器的深度相机中的红外发射器挡住,用红外补光灯照射标定板,得到清晰的标定板红外原始图像,然后结合经典标定方法和标定工具包对Kinect传感器的彩色相机进行标定。
3.根据权利要求1所述的一种基于Kinect传感器的无畸变集成成像三维显示方法,其特征在于:步骤D所述的光学显示方法如下:将微透镜阵列置于高分辨率显示屏前方,根据显示屏以及微透镜阵列的实际物理参数校准基元图像阵列,用高分辨率显示屏进行光学重建。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710142236.2A CN106920263B (zh) | 2017-03-10 | 2017-03-10 | 基于Kinect的无畸变集成成像三维显示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710142236.2A CN106920263B (zh) | 2017-03-10 | 2017-03-10 | 基于Kinect的无畸变集成成像三维显示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106920263A CN106920263A (zh) | 2017-07-04 |
CN106920263B true CN106920263B (zh) | 2019-07-16 |
Family
ID=59462071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710142236.2A Active CN106920263B (zh) | 2017-03-10 | 2017-03-10 | 基于Kinect的无畸变集成成像三维显示方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106920263B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107580207A (zh) * | 2017-10-31 | 2018-01-12 | 武汉华星光电技术有限公司 | 光场3d显示单元图像的生成方法及生成装置 |
CN108648221B (zh) * | 2018-05-10 | 2021-09-17 | 重庆大学 | 一种基于混合滤波的深度图空洞修复方法 |
CN109003235A (zh) * | 2018-06-27 | 2018-12-14 | 曜科智能科技(上海)有限公司 | 光场图像的校正方法、计算机可读存储介质、及电子终端 |
CN109064429B (zh) * | 2018-08-02 | 2022-02-08 | 河北工业大学 | 一种融合gpu加速深度图像修复的伪激光数据生成方法 |
CN109461203B (zh) * | 2018-09-17 | 2020-09-29 | 百度在线网络技术(北京)有限公司 | 手势三维图像生成方法、装置、计算机设备及存储介质 |
CN111044061B (zh) * | 2018-10-12 | 2023-03-28 | 腾讯大地通途(北京)科技有限公司 | 一种导航方法、装置、设备及计算机可读存储介质 |
CN111210471B (zh) * | 2018-11-22 | 2023-08-25 | 浙江欣奕华智能科技有限公司 | 一种定位方法、装置及系统 |
CN110290373B (zh) * | 2019-03-11 | 2020-12-08 | 长春理工大学 | 一种增大视角的集成成像计算重构方法 |
CN110312123B (zh) * | 2019-06-28 | 2020-12-08 | 长春理工大学 | 利用彩色图像和深度图像的集成成像显示内容生成方法 |
CN110910506B (zh) * | 2019-12-03 | 2021-02-09 | 江苏集萃华科智能装备科技有限公司 | 基于法线检测的三维重建方法、装置、检测装置及系统 |
CN113436272B (zh) * | 2021-05-21 | 2021-12-21 | 中国科学院自动化研究所 | 水下立体视觉系统球面折射矫正方法、电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315699A (zh) * | 2008-07-10 | 2008-12-03 | 哈尔滨工业大学 | 一种增量式变分水平集快速医学图像分割方法 |
CN101587593A (zh) * | 2009-06-19 | 2009-11-25 | 西安交通大学 | 一种基于真实图像素描风格化的方法 |
CN104915978A (zh) * | 2015-06-18 | 2015-09-16 | 天津大学 | 基于体感相机Kinect的真实感动画生成方法 |
CN105869115A (zh) * | 2016-03-25 | 2016-08-17 | 浙江大学 | 一种基于kinect2.0的深度图像超分辨率方法 |
CN106485672A (zh) * | 2016-09-12 | 2017-03-08 | 西安电子科技大学 | 改进的块匹配修复和联合三边导向滤波图像增强方法 |
-
2017
- 2017-03-10 CN CN201710142236.2A patent/CN106920263B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315699A (zh) * | 2008-07-10 | 2008-12-03 | 哈尔滨工业大学 | 一种增量式变分水平集快速医学图像分割方法 |
CN101587593A (zh) * | 2009-06-19 | 2009-11-25 | 西安交通大学 | 一种基于真实图像素描风格化的方法 |
CN104915978A (zh) * | 2015-06-18 | 2015-09-16 | 天津大学 | 基于体感相机Kinect的真实感动画生成方法 |
CN105869115A (zh) * | 2016-03-25 | 2016-08-17 | 浙江大学 | 一种基于kinect2.0的深度图像超分辨率方法 |
CN106485672A (zh) * | 2016-09-12 | 2017-03-08 | 西安电子科技大学 | 改进的块匹配修复和联合三边导向滤波图像增强方法 |
Non-Patent Citations (2)
Title |
---|
Projection and Interaction with Ad-hoc Interfaces on Non-planar Surfaces;Dere Kundan S. etc.;《2013 Second International Conference on Advanced Computing, Networking and Security》;20131231;全文 |
基于 K-means 和近邻回归算法的 Kinect 植株深度图像修复;沈 跃 等;《农 业 工 程 学 报》;20161031;第32卷(第10期);全文 |
Also Published As
Publication number | Publication date |
---|---|
CN106920263A (zh) | 2017-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106920263B (zh) | 基于Kinect的无畸变集成成像三维显示方法 | |
CN106289106B (zh) | 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法 | |
CN106802138B (zh) | 一种三维扫描系统及其扫描方法 | |
CN106683173B (zh) | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 | |
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
CN104008571B (zh) | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 | |
CN107123156A (zh) | 一种与双目立体视觉相结合的主动光源投影三维重构方法 | |
CN106898048B (zh) | 一种可适应复杂场景的无畸变集成成像三维显示方法 | |
KR101893788B1 (ko) | 다시점 카메라간 정합 장치 및 방법 | |
CN108151671A (zh) | 一种三维数字成像传感器、三维扫描系统及其扫描方法 | |
CN105043298B (zh) | 基于傅里叶变换无需相位展开的快速三维形貌测量方法 | |
CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
Dellepiane et al. | Flow-based local optimization for image-to-geometry projection | |
Holroyd et al. | Computing and fabricating multilayer models | |
CN206563985U (zh) | 三维成像系统 | |
CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
CN105184857A (zh) | 基于点结构光测距的单目视觉重建中尺度因子确定方法 | |
CN109801365A (zh) | 一种三维建模数据采集装置及其三维建模方法 | |
CN108629756A (zh) | 一种Kinect v2深度图像无效点修复方法 | |
CN108182722B (zh) | 一种三维物体边缘优化的真正射影像生成方法 | |
KR101602472B1 (ko) | 2차원 이미지 변환을 통한 3차원 프린팅 파일 생성 장치 및 방법 | |
KR101454780B1 (ko) | 3d 모델의 텍스쳐 생성 방법 및 장치 | |
CN106203429A (zh) | 基于双目立体视觉复杂背景下的遮挡目标检测方法 | |
CN208860358U (zh) | 一种超高速飞行模型位姿变化测量装置 | |
CN103384343A (zh) | 一种填补图像空洞的方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |