CN103945209B - 一种基于分块投影的dibr方法 - Google Patents

Abstract

本发明公开了一种基于分块投影的DIBR方法，首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复空洞，以得到最终的目标视点图像。不难发现，该方法并没有直接利用逐点进行视点变换来生成新视点，因而有效避免了目标视点图像受深度图连续性的影响。利用仿真实验和实际数据比较了传统方法和基于分块投影的DIBR方法之间的性能，验证了该方法的有效性，提高了目标视点绘制的质量，并降低了传输带宽。

Description

一种基于分块投影的DIBR方法

技术领域

本发明涉及3D视频技术、自由视点视频技术及基于深度图绘制技术的领域，尤其是指一种基于分块投影的DIBR方法。

背景技术

基于深度图的绘制(DIBR)技术(参见文献“郁理.基于深度图像绘制的自由视点视频关键技术研究[D].[博士论文].中国科学技术大学,2010”),以摄像机投影理论为视点绘制的理论基础,在已知摄像机内、外参数和参考图像深度信息的条件下,将参考视点中的像素点变换到目标视点下的图像平面中。理论上,可以实现任意位置的视点绘制,具有绘制速度快,带宽需求小的优点,是各种高级视频应用,如3D电视、自由视点电视的关键技术之一。

然而，DIBR技术也存在自身的局限性，1)目标视点图像不可避免的会产生空洞,一类空洞是由于计算中坐标取整时的近似处理造成的；另一类是由于参考视点位置的改变以及深度图不连续而产生的,这是最主要的问题。2)可视化问题,正常情况下应该是前景图像覆盖在背景之上,而实际中可能出现相反的情形,当两个不同的深度值投影到同一像素点时,会发生此种问题.3)边缘重影,由于深度信息及相机参数的精度等原因,在背景中出现了前景图像边缘区域的假象。

上述几个问题的出现，究其原因是深度信息不够理想，国内外许多学者对此进行了研究。一种方案是采用层次化深度图(LDI)技术(参见文献“ShadeJ,GortlerS,HeLW,etal.Layereddepthimages.Proceedingsofthe25^thAnnualConferenceonComputerGraphicsandInteractiveTechnique.NewYork,1998:231-242”),然而其传输带宽大、计算复杂度高的问题,使其不具有实际应用的价值.深度图预处理技术是另一个有效的途径,对应有各种滤波策略,如高斯滤波(参见文献“ZhangL,TamWJ.Stereoscopicimagegenerationbasedondepthimagesfor3DTV.IEEETransactionsonBroadcasting,2005,51(2):191-199”)、基于边缘独立的深度滤波(参见文献“Wan-YuChen,Yu-LinChang,Shyh-FengLin,etal.EfficientDepthImageBasedRenderingwithEdgeDependentDepthFilterandInterpolation.ProceedingsofIEEEConferenceonMultimediaandExpo,Amsterdam,2005:1314-1317”)、基于SIFT配准的深度图预处理(参见文献“Hao-PengLi,MarkusFlierl.Sift-basedimprovementofdepthimagery.ProceedingsofIEEEConferenceonMultimediaandExpo,Barcelona,2011:1-6”以及文献“HuDong,SunJianfei,XuPing.Improvementofvirtualviewrenderingbasedondepthimage.ProceedingsofIEEEConferenceonImageandGraphics,Hefei,2011:254-257”)、视差域处理(参见文献“Ting-ChingLin,Hsien-ChaoHuang,Yueh-MinHuang.PreservingDepthResolutionofSynthesizedImagesUsingParallax-Map-BasedDIBRfor3DTV.IEEETransactionsonConsumerElectronics,2010,56(2):720-727”)、形态学处理(参见文献“骆凯,李东晓,冯雅美等.基于DIBR和图像修复的任意视点绘制.中国图像图形学报,2010,15(3):443-449.”)等方法.这些方法都有效地缩小了空洞的尺寸、减少了空洞的数量,但对应深度图的精度也随之降低了,致使目标视点产生部分几何失真.还有一个思路是与图像修复技术(参见文献“骆凯,李东晓,冯雅美等.基于DIBR和图像修复的任意视点绘制.中国图像图形学报,2010,15(3):443-449”以及文献“TauberZ,LiZN,DrewMS.Reviewandpreview:DisocclusionbyInpaintingforimage-basedrendering.IEEETransactionsonSystemsManandCybernetics,PartC:ApplicationsandReviews,2007,37(4):527–540”)相结合的空洞修补策略,但是增加了计算复杂度.另外一些方法(参见文献“GangSong,JinbaoXue,HuaLi.Anewdouble-sidedDIBRmethodforvirtualviewgenerationin3DTV.ProceedingsofIEEEConferenceonCommunicationTechnology,Jinan,2011:1099-1102”以及文献“Ndjiki-NyaPatrick,KoppelMartin,DoshkovDimitar,etal.DepthImage-BasedRenderingwithadvancedtexturesynthesisfor3-Dvideo.IEEETransactionsonMultimedia,2011,13(3):453-465”)采用双边同时做视点变换,通过图像融合来绘制视点的策略,然而,当深度信息误差较大时,目标图像中易产生明显的重影。

发明内容

本发明的目的在于克服现有技术的不足与缺点，为有效解决当前方法的计算复杂度高，且视点质量易受深度图精度制约的问题，提供一种优化的基于分块投影的DIBR方法，其针对目标视点的空洞区域主要出现在深度不连续区域的特点，背景图像的深度变化相对平缓，可将其局部区域分块近似为平面区域，从而得以采用单应变换的方法进行绘制，较好地避免了传统方法中所有的像素点都依赖于深度信息的缺点，减少了目标视点图像的空洞和伪影，提高了主客观质量。

为实现上述目的，本发明所提供的技术方案为：一种基于分块投影的DIBR方法，首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复空洞，以得到最终的目标视点图像。

本发明所述基于分块投影的DIBR方法，包括以下步骤：

1)获取参考视点图像及对应的深度图，以及目标视点的深度图；

2)将参考图像分成若干分块区域，并近似作平面处理，以用于单应变换模型；

3)针对各分块区域，利用视点变换方程求取对应点对；

4)计算出各分块区域的单应矩阵，然后作单应变换，最后将各分块投影区域进行整合，并进行空洞修补得到最终的目标视点图像。

在步骤2)中，一个视点图像可经由单应矩阵映射到对应的另一个视点图像，前提是这两个图像在3D空间中的原像是一个空间平面，因此不能简单地将这个模型作用于整幅图像上；而就图像中的某一小块区域而言，由于在极小的范围内任何物体的表面都可近似为平面，此时对于单应变换模型成立；而分块区域的标准差描述如下：

${\mathrm{\σ}}_{\mathrm{ij}}=\sqrt{\frac{1}{\mathrm{NM}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{[d(n,m)-\mathrm{\μ}]}^2}$

其中，分块区域的大小为N×M，d(n,m)表示该区域像素点对应的深度值，μ为区域内的平均深度值，σ_ij为标准差，它反映了整个第i行、第j列的分块区域的平均深度值的分散程度；我们用σ_ij来描述分块区域采用单应变换模型的近似误差，显然，σ_ij越小，则误差越小。

在步骤3)中，所述视点变换方程为：m＝PM，式中m和M分别表示像素点的相机空间和世界空间坐标，矩阵P表示摄像机矩阵；分块处理的方式为：将参考图像分成若干合适的分块区域，由于分块区域至少需要4个对应点对，因此规定分块区域的大小为M×N,5≤N,M≤15，分块不宜过大，这样会增大单应变换模型的近似误差，也不宜过小，这会增加计算复杂度，通常取N＝M＝8；然后，对分块区域进行单应变换：m′＝H_ijm，式中矩阵H_ij描述了参考视点图像的分块区域到目标视点图像的一一映射，称为单应矩阵，通过特征点求得；对应点对的定义：参考视点图像中分块区域的一个点m，经过视点变换能映射到目标视点图像的点m′，则称顶点m与m′是一个对应点对。

在步骤4)中，所述单应变换的原理为：空间平面在两个摄像机下的图像点具有一一对应的关系，且这种对应关系是齐次线性的，可由一个三阶矩阵即单应矩阵来描述：m′＝H_ijm；矩阵H_ij称为单应矩阵，它是齐次的，有8个自由度，如下所示：

$H_{\mathrm{ij}}=\left[\begin{array}{ccc}{a}_{\mathrm{ij}}& b_{\mathrm{ij}}& c_{\mathrm{ij}}\\ d_{\mathrm{ij}}& e_{\mathrm{ij}}& f_{\mathrm{ij}}\\ g_{\mathrm{ij}}& h_{\mathrm{ij}}& 1\end{array}\right];$

记参考视点图像中的一个像素点的齐次坐标为m＝[u，v，1]^T，虚拟视点图像中的一个像素点的齐次坐标为m′＝[u′，v′，1]^T，则可推导出：

$\left\{\begin{array}{c}{\mathrm{ua}}_{\mathrm{ij}}+{\mathrm{vb}}_{\mathrm{ij}}+c_{\mathrm{ij}}-u^{\′}{\mathrm{ug}}_{\mathrm{ij}}-u^{\′}{\mathrm{vh}}_{\mathrm{ij}}=u^{\′}\\ {\mathrm{ud}}_{\mathrm{ij}}+{\mathrm{ve}}_{\mathrm{ij}}+f_{\mathrm{ij}}-u^{\′}{\mathrm{vg}}_{\mathrm{ij}}-v^{\′}{\mathrm{vh}}_{\mathrm{ij}}=v^{\′}\end{array}\right.$

由于矩阵H_ij有8个自由度，而一个对应点对只能建立如上两个方程，因此要求解含8个未知数的方程组至少需要8个方程，也就是至少要有4个对应点对，而这些对应点对可以利用相应的深度信息进行视点变换来获得；在某分块区域内不妨取4个对应点对m_k、m′_k(k＝1,2,3,4)，则由上式可以推导出一个非齐次线性方程组：

A_ijX_ij＝Y_ij

其中，i、j分别表示分块区域所在的行、列下标，常数项向量Y_ij＝[u₁′,v₁′,...,u₄′,v₄′]^T，未知数向量X_ij＝[a_ij,b_ij,...,g_ij,h_ij]^T，系数矩阵A_(8×8)如下所示：

$A_{\mathrm{ij}}=\left[\begin{array}{cccccccc}{u}_1& v_1& 1& 0& 0& 0& {-u}_1{u}_1^{\′}& {-u}_1^{\′}{v}_1\\ 0& 0& 0& u_1& v_1& 1& -u_1{v}_1^{\′}& -v_1{v}_1^{\′}\\ & ...& & ...& & ...& & ...\\ u_4& v_4& 1& 0& 0& 0& -u_4{u}_4^{\′}& -u_4^{\′}{v}_4\\ 0& 0& 0& u_4& v_4& 1& -u_4{v}_4^{\′}& -v_4{v}_4^{\′}\end{array}\right]$

由非齐次线性方程组的解理论可知，上式具有唯一解，当且仅当系数矩阵的秩满足具体操作时，可分别在各分块区域取顶点位置附近的像素点，另外，也可通过多取几个对应点对来减小计算误差；

若成功求得单应矩阵H_ij,则直接对分块区域中的每个像素点做单应变换，即可一一映射到目标视点的图像平面坐标系中,初步绘制出目标视点图像的对应区域；

若无法计算单应矩阵，则取与之相邻的分块区域的单应矩阵H_ij,然后对分块区域进行单应变换，其依据是：目标视点的空洞区域往往出现在从背景对象到前景对象深度剧烈变化的过度区域，而实际上过度区域同属于平坦的背景区域，因此可视为具有相近深度的同一平面，其效果就是将参考视点中的背景像素点填充到了目标视点中的空洞区域，平滑的具体原则：考虑用一个右眼视点及其深度图来绘制一个左眼视点图像，显然，空洞会出现在前景对象的左侧区域，即在水平方向上深度值由低到高剧变的区域：

$L(x,y)=\left\{\begin{array}{cc}1,& d(x+1,y)-d(x,y)\≥\mathrm{\θ}\\ 0,& \mathrm{else}\end{array}\right.$

因此，在这种情况下应选择与之左邻的分块区域来平滑；同理，当以左眼视点来绘制右眼视点时，应选择与之右邻的分块区域来平滑；

将上述步骤绘制出的各目标视点图像区域进行简单的融合，并采用邻域插值法修复残留的空洞区域，获得最终的目标视点图像。

本发明与现有技术相比，具有如下优点与有益效果：

针对目标视点图像的空洞主要出现在深度不连续区域的特点,而相邻的背景区域的深度变化相对平缓,可近似为平面区域，并通过进一步的分层、分块来降低误差,从而得以采用单应变换的方法进行绘制,较好地避免了传统方法中所有的像素点都依赖于深度信息的缺点,减少了目标视点图像的空洞和伪影,提高了主客观质量,而且降低了传输带宽。

附图说明

图1为本发明所述基于分块投影的DIBR方法的流程图。

图2为本发明实施例中的参考视点图像。

图3为本发明实施例中的参考视点深度图。

图4为本发明实施例中的目标视点深度图。

图5为本发明实施例中的目标视点图像的空洞现象。

图6为本发明实施例中采用本发明方法所绘制的目标视点图像。

图7为本发明实施例中采用基于高斯滤波法所绘制的目标视点图像。

图8为本发明实施例中采用基于图像修复法所绘制的目标视点图像。

图9为本发明实施例中采用基于双边视点变换的目标视点图像。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所述的基于分块投影的DIBR方法，其情况如下：首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复细小空洞，以得到最终的目标视点图像。不难发现，该方法并没有直接利用逐点进行视点变换来生成新视点，因而能有效避免了目标视点图像受深度图连续性的影响。利用仿真实验和实际数据比较了传统方法和基于分块投影的DIBR方法之间的性能，验证了该方法的有效性。该方法的处理流程如图1所示，具体包括以下步骤：

1)获取参考视点图像及对应的深度图，以及目标视点的深度图，分别如图2、图3、图4所示。

2)将参考图像分成若干分块区域，并近似作平面处理，以用于单应变换模型；一个视点图像可以经由单应矩阵映射到对应的另一个视点图像，前提是这两个图像在3D空间中的原像是一个空间平面，因此不能简单地将这个模型作用于整幅图像上。而就图像中的某一小块区域而言，由于在极小的范围内任何物体的表面都可近似为平面，此时对于单应变换模型成立。分块区域的标准差描述如下：

${\mathrm{\σ}}_{\mathrm{ij}}=\sqrt{\frac{1}{\mathrm{NM}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{[d(n,m)-\mathrm{\μ}]}^2}$

其中，分块区域的大小为N×M，d(n,m)表示该区域像素点对应的深度值，μ为区域内的平均深度值，σ_ij为标准差，它反映了整个第i行、第j列的分块区域的平均深度值的分散程度。我们用σ_ij来描述分块区域采用单应变换模型的近似误差，显然，σ_ij越小，则误差越小。基于这一点，本发明方法在每个目标视点图像中的分块区域内的像素点仅与相应的单应矩阵相关，而与该点的深度信息没有直接关联，所以一方面避免了因深度图不连续而产生的空洞，另一方面也避免了因深度信息或摄像机几何参数精度而导致的几何失真。

3)针对各分块区域，利用视点变换方程求取对应点对；视点变换原理：对所选参考视点中的像素点，①根据其深度信息，将其从参考图像坐标空间投影到世界坐标空间；②将空间点投影到目标视点图像的坐标空间。由摄像机投影理论可知，空间点M通过摄像机P被投影到图像平面的点m，则有任意视点变换方程：m＝PM，式中m和M分别表示像素点的相机空间和世界空间坐标，P表示摄像机矩阵，由内、外参数矩阵求出。具体操作中，步骤①中，已知参考点的深度值Z和摄像机矩阵P_ref，另外参考视点的图像空间坐标已知：m_ref＝(u_ref,v_ref)，通过求解变换方程,可获得该点的世界空间坐标M＝(X,Y,Z),在步骤②中已知P_target和M，做矩阵乘法，可直接求出目标视点的坐标:m_target＝P_targetM。

4)计算出各分块区域的单应矩阵，然后作单应变换，最后将各分块投影区域进行整合，并进行空洞修补得到最终的目标视点图像。对于各分块区域,分块区域的大小为M×N,5≤N,M≤15,分块不宜过大，这样会增大单应变换模型的近似误差，也不宜过小，这会增加计算复杂度，本发明中取N＝M＝8，从左至右，从上往下对各分块依次进行处理，如下：

4.1)取出分块区域的四个顶点，依据上述步骤3)所描述的视点变换原理，判断是否为对应点对。对应点对的定义:参考视点图像中分块区域的一个顶点m,经过视点变换能映射到目标视点图像的点m′,则称顶点m与m′是一个对应点对。

4.2)依据射影几何的相关原理(参见文献“吴福朝.计算机视觉中的数学方法[M].北京:科学出版社.2008:13-70.”)，空间平面在两个摄像机下的图像点具有一一对应的关系,且这种对应关系是齐次线性的,可由一个三阶矩阵即所谓的单应矩阵来描述:m′＝H_ijm。矩阵H称为单应矩阵，它是齐次的，有8个自由度，如下所示：

$H_{\mathrm{ij}}=\left[\begin{array}{ccc}{a}_{\mathrm{ij}}& b_{\mathrm{ij}}& c_{\mathrm{ij}}\\ d_{\mathrm{ij}}& e_{\mathrm{ij}}& f_{\mathrm{ij}}\\ g_{\mathrm{ij}}& h_{\mathrm{ij}}& 1\end{array}\right]$

记参考视点图像中的一个像素点的齐次坐标为m＝[u，v，1]^T，虚拟视点图像中的一个像素点的齐次坐标为m′＝[u′，v′，1]^T，则可推导出：

$\left\{\begin{array}{c}{\mathrm{ua}}_{\mathrm{ij}}+{\mathrm{vb}}_{\mathrm{ij}}+c_{\mathrm{ij}}-u^{\′}{\mathrm{ug}}_{\mathrm{ij}}-u^{\′}{\mathrm{vh}}_{\mathrm{ij}}=u^{\′}\\ {\mathrm{ud}}_{\mathrm{ij}}+{\mathrm{ve}}_{\mathrm{ij}}+f_{\mathrm{ij}}-u^{\′}{\mathrm{vg}}_{\mathrm{ij}}-v^{\′}{\mathrm{vh}}_{\mathrm{ij}}=v^{\′}\end{array}\right.$

由于矩阵H_ij有8个自由度，而一个对应点对只能建立如上两个方程，因此要求解含8个未知数的方程组至少需要8个方程，也就是至少要有4个对应点对，而这些对应点对可以利用相应的深度信息进行视点变换来获得。在某分块区域内不妨取4个对应点对m_k、m′_k(k＝1,2,3,4)，则由上式可以推导出一个非齐次线性方程组：

A_ijX_ij＝Y_ij

其中，i、j分别表示分块区域所在的行、列下标，常数项向量Y_ij＝[u₁′,v₁′,...,u₄′,v₄′]^T，未知数向量X_ij＝[a_ij,b_ij,...,g_ij,h_ij]^T，系数矩阵A_(8×8)如下所示：

$A_{\mathrm{ij}}=\left[\begin{array}{cccccccc}{u}_1& v_1& 1& 0& 0& 0& {-u}_1{u}_1^{\′}& {-u}_1^{\′}{v}_1\\ 0& 0& 0& u_1& v_1& 1& -u_1{v}_1^{\′}& -v_1{v}_1^{\′}\\ & ...& & ...& & ...& & ...\\ u_4& v_4& 1& 0& 0& 0& -u_4{u}_4^{\′}& -u_4^{\′}{v}_4\\ 0& 0& 0& u_4& v_4& 1& -u_4{v}_4^{\′}& -v_4{v}_4^{\′}\end{array}\right]$

由非齐次线性方程组的解理论可知，上式具有唯一解，当且仅当系数矩阵的秩满足具体操作时，可分别在各分块区域取顶点位置附近的像素点，另外，也可通过多取几个对应点对来减小计算误差。

4.3)倘如成功求得单应矩阵H_ij,则直接对分块区域中的每个像素点做单应变换,即可一一映射到目标视点的图像平面坐标系中,初步绘制出目标视点图像的对应区域。

4.4)倘如无法计算单应矩阵，则取与之相邻的分块区域的单应矩阵H_ij,然后对分块区域进行单应变换.其依据是：目标视点的空洞区域往往出现在从背景对象到前景对象深度剧烈变化的过度区域，而实际上过度区域同属于平坦的背景区域，因此可视为具有相近深度的同一平面，其效果就是将参考视点中的背景像素点填充到了目标视点中的空洞区域，相比于用前景对象填充易产生边缘重影和假象，更自然、合理。平滑的具体原则：考虑用一个右眼视点及其深度图来绘制一个左眼视点图像，显然，空洞会出现在前景对象的左侧区域，即在水平方向上深度值由低到高剧变的区域：

$L(x,y)=\left\{\begin{array}{cc}1,& d(x+1,y)-d(x,y)\≥\mathrm{\θ}\\ 0,& \mathrm{else}\end{array}\right.$

因此，在这种情况下应选择与之左邻的分块区域来平滑；同理，当以左眼视点来绘制右眼视点时，应选择与之右邻的分块区域来平滑。

4.5)将上述步骤绘制出的各目标视点图像区域进行简单的融合，并采用邻域插值法修复残留的细小空洞区域，获得最终的目标视点图像。

在本实施例中，通过仿真实验，对基于高斯滤波法的DIBR(即文献“ZhangL,TamWJ.Stereoscopicimagegenerationbasedondepthimagesfor3DTV.IEEETransactionsonBroadcasting,2005,51(2):191-199”)、基于图像修复理论的DIBR(即文献“骆凯,李东晓,冯雅美等.基于DIBR和图像修复的任意视点绘制.中国图像图形学报,2010,15(3):443-449.”以及文献“Kwan-JungOh,SehoonYea,Yo-SungHo.Hole-fillingmethodusingdepthbasedin-paintingforviewsynthesisinfreeviewpointtelevision(FTV)and3Dvideo.ProceedingsofPictureCodingSymposium,Chicago,2009:1-4.”)、基于双视点变换的DIBR(即“GangSong,JinbaoXue,HuaLi.Anewdouble-sidedDIBRmethodforvirtualviewgenerationin3DTV.ProceedingsofIEEEConferenceonCommunicationTechnology,Jinan,2011:1099-1102.”)以及本发明基于分块投影的DIBR方法这四种不同方法的绘制效果进行了对比，如图5至图9所示，其对比结果如下表1所示。

表1

在本实验中，采用微软研究院提供的视频测试序列breakdancers进行仿真实验。该序列包含8个两两水平相距约20cm的视点，且基于点的深度图像同彩色图像的分辨率一致，为1024×768。在视点绘制中，以4号相机为参考视点，5号相机为目标视点。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于分块投影的DIBR方法，其特征在于：首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复空洞，以得到最终的目标视点图像；其包括以下步骤：

1)获取参考视点图像及对应的深度图，以及目标视点的深度图；

2)将参考图像分成若干分块区域，并近似作平面处理，以用于单应变换模型；

3)针对各分块区域，利用视点变换方程求取对应点对；

4)计算出各分块区域的单应矩阵，然后作单应变换，最后将各分块投影区域进行整合，并进行空洞修补得到最终的目标视点图像；其中，所述单应变换的原理为：空间平面在两个摄像机下的图像点具有一一对应的关系，且这种对应关系是齐次线性的，可由一个三阶矩阵即单应矩阵来描述：m′＝H_ijm；矩阵H_ij称为单应矩阵，它是齐次的，有8个自由度，如下所示：

$H_{ij}=\left[\begin{array}{ccc}{a}_{ij}& b_{ij}& c_{ij}\\ d_{ij}& e_{ij}& f_{ij}\\ g_{ij}& h_{ij}& 1\end{array}\right];$

记参考视点图像中的一个像素点的齐次坐标为m＝[u，v，1]^T，虚拟视点图像中的一个像素点的齐次坐标为m′＝[u′，v′，1]^T，则可推导出：

$\left\{\begin{array}{c}{\mathrm{ua}}_{ij}+{\mathrm{vb}}_{ij}+c_{ij}-u^{\′}{\mathrm{ug}}_{ij}-u^{\′}{\mathrm{vh}}_{ij}=u^{\′}\\ {\mathrm{ud}}_{ij}+{\mathrm{ve}}_{ij}+f_{ij}-u^{\′}{\mathrm{vg}}_{ij}-v^{\′}{\mathrm{vh}}_{ij}=v^{\′}\end{array}\right.$

由于矩阵H_ij有8个自由度，而一个对应点对只能建立如上两个方程，因此要求解含8个未知数的方程组至少需要8个方程，也就是至少要有4个对应点对，而这些对应点对可以利用相应的深度信息进行视点变换来获得；在某分块区域内不妨取4个对应点对m_k、m′_k(k＝1,2,3,4)，则由上式可以推导出一个非齐次线性方程组：

A_ijX_ij＝Y_ij

其中，i、j分别表示分块区域所在的行、列下标，常数项向量Y_ij＝[u′₁,v′₁,...,u′₄,v′₄]^T，未知数向量X_ij＝[a_ij,b_ij,...,g_ij,h_ij]^T，系数矩阵A_(8×8)如下所示：

$A_{ij}=\left[\begin{array}{cccccccc}{u}_1& v_1& 1& 0& 0& 0& -u_1{u}_1^{\′}& -u_1^{\′}{v}_1\\ 0& 0& 0& u_1& v_1& 1& -u_1{v}_1^{\′}& -v_1{v}_1^{\′}\\ & ...& & ...& & ...& & ...\\ u_4& v_4& 1& 0& 0& 0& -u_4{u}_4^{\′}& -u_4^{\′}{v}_4\\ 0& 0& 0& u_4& v_4& 1& -u_4{v}_4^{\′}& -v_4{v}_4^{\′}\end{array}\right]$

由非齐次线性方程组的解理论可知，上式具有唯一解，当且仅当系数矩阵的秩满足具体操作时，可分别在各分块区域取顶点位置附近的像素点，另外，也可通过多取几个对应点对来减小计算误差；

若成功求得单应矩阵H_ij,则直接对分块区域中的每个像素点做单应变换，即可一一映射到目标视点的图像平面坐标系中,初步绘制出目标视点图像的对应区域；

若无法计算单应矩阵，则取与之相邻的分块区域的单应矩阵H_ij,然后对分块区域进行单应变换，其依据是：目标视点的空洞区域往往出现在从背景对象到前景对象深度剧烈变化的过度区域，而实际上过度区域同属于平坦的背景区域，因此可视为具有相近深度的同一平面，其效果就是将参考视点中的背景像素点填充到了目标视点中的空洞区域，平滑的具体原则：考虑用一个右眼视点及其深度图来绘制一个左眼视点图像，显然，空洞会出现在前景对象的左侧区域，即在水平方向上深度值由低到高剧变的区域：

$L(x,y)=\left\{\begin{array}{cc}1,& d\left(x+1,y\right)-d\left(x,y\right)\≥\mathrm{\θ}\\ 0,& else\end{array}\right.$

因此，在这种情况下应选择与之左邻的分块区域来平滑；同理，当以左眼视点来绘制右眼视点时，应选择与之右邻的分块区域来平滑；

将上述步骤绘制出的各目标视点图像区域进行简单的融合，并采用邻域插值法修复残留的空洞区域，获得最终的目标视点图像。

2.根据权利要求1所述的一种基于分块投影的DIBR方法，其特征在于：在步骤2)中，一个视点图像可经由单应矩阵映射到对应的另一个视点图像，前提是这两个图像在3D空间中的原像是一个空间平面，因此不能简单地将这个模型作用于整幅图像上；而就图像中的某一小块区域而言，由于在极小的范围内任何物体的表面都可近似为平面，此时对于单应变换模型成立；而分块区域的标准差描述如下：

${\mathrm{\σ}}_{ij}=\sqrt{\frac{1}{NM}\underset{n=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}{\[d(n,m)-\mathrm{\μ}\]}^2}$

其中，分块区域的大小为N×M，d(n,m)表示该区域像素点对应的深度值，μ为区域内的平均深度值，σ_ij为标准差，它反映了整个第i行、第j列的分块区域的平均深度值的分散程度；我们用σ_ij来描述分块区域采用单应变换模型的近似误差，显然，σ_ij越小，则误差越小。

3.根据权利要求1所述的一种基于分块投影的DIBR方法，其特征在于：在步骤3)中，所述视点变换方程为：m＝PM，式中m和M分别表示像素点的相机空间和世界空间坐标，矩阵P表示摄像机矩阵；分块处理的方式为：将参考图像分成若干合适的分块区域，由于分块区域至少需要4个对应点对，因此规定分块区域的大小为M×N,5≤N,M≤15，分块不宜过大，这样会增大单应变换模型的近似误差，也不宜过小，这会增加计算复杂度，通常取N＝M＝8；然后，对分块区域进行单应变换：m′＝H_ijm，式中矩阵H_ij描述了参考视点图像的分块区域到目标视点图像的一一映射，称为单应矩阵，通过特征点求得；对应点对的定义：参考视点图像中分块区域的一个点m，经过视点变换能映射到目标视点图像的点m′，则称顶点m与m′是一个对应点对。