CN105262958B - 一种虚拟视点的全景特写拼接系统及其方法 - Google Patents

Abstract

本发明公开了一种虚拟视点的全景特写拼接系统及其方法，所述系统包括全景相机和图像拼接模块；所述的全景相机为带有深度传感器的全景相机；全景相机的输出端与图像拼接模块连接；所述的图像拼接模块包括全景相机内外参数计算单元、映射矩阵计算单元、图像放大融合单元和图像空洞填补单元；所述方法包括相机内外参数计算步骤S1、映射矩阵计算步骤S2、图像放大融合步骤S3和图像空洞填补步骤S4。本发明提供了一种虚拟视点的全景特写拼接系统及其方法，有效的处理全景拼接中虚拟视点的位置、图像信息、单应矩阵、图像融合等问题，保证拼接之后的图像质量。

Description

一种虚拟视点的全景特写拼接系统及其方法

技术领域

本发明涉及一种虚拟视点的全景特写拼接系统及其方法。

背景技术

随着数码摄像机越来越普遍，越来越多的用户能够体验数码产品，自动图像数字处理技术也成为技术研究人员探索的热潮；红眼消除和颜色校正两个很流行的图像处理方法已经被纳入商业软件程序包，主要被摄影学家应用；另一个很普遍的应用就是图像拼接技术，即从有相同场景的多个有重叠部分的图像中产生一个高质量的全景图像。

从计算机的发明到现在，经过几十年的时间，信息技术已经从无到有，数字化信息已经渗透到人类生活密切相关的各个领域，人类正向高度信息化的社会迈进；长期以来，人们一直追求直观,简单而且有效的信息传递方式，这就促使了多媒体技术的高速发展，成为了信息技术中热点研究方向之一；据研究，人们仅有不到20％的信息是通过视觉以外的途径获得的，视觉信息的重要性不言而喻；图像是视觉信息中最重要的一类，其技术研究重点主要是使自然景物的表征更加逼真和清晰。

图像可以将表达的信息用最直白的形式展现出来，同时含有比文字更丰富的内容，因此它已经成为人们交流的主要工具，人们接触到的信息几乎都是以图像的形式呈现的；但是图像在放大，变换和特写以及3D投影时，会受到各种因素的干扰，从而使得图像在虚拟位置的图像的质量下降，图像细节模糊，不能达到高标准高质量的图像要求，不能根据用户设定得到局部的超高清图像，因此需要使用某种技术来改善图像放大融合质量，提高图像可视效果。

国内外对于虚拟视频的研究始于上世纪90年代，国际方面，比较有影响力的是日本名古屋大学的基于光线空间的自由视点电视(FTV Free Viewpoint Television)系统、斯坦福大学的Light Field系统、德国HHI研究所的基于模型的自由视点视频方案、三菱MERL实验室的面向存储和传输的交互式自由视点视频系统，欧洲的3DTV计划；此外，微软、卡内基梅隆大学等也在多视点系统实现上开展了广泛的工作。

国内的研究机构对多视点视频技术的研究也取得了一定的成就，清华大学较早地展开了自由视点视频技术的研究，主要包括在光场处理和交互式多视点视频上的研究；宁波大学提出了包括光线空间数据压缩和插值、多视点视频编码，多视点视频颜色校正、Wyner-ziv编码等方面的一系列算法。

视点绘制技术作为多视点视频技术中的关键技术，不断有新的算法提出；Mori等人提出了先由参考视点绘制出虚拟视点深度图，再反向映射的算法，该算法能够获得良好的主观质量和PSNR。

S.Zinger等人在Mori所提算法的基础上进一步提出了通过对在深度图进行滤波，比较滤波前后的变化区域找到不可靠区域，并对其反向映射的算法，该算法较Mori所提的算法在PSNR和图像轮廓边缘上均有提升，但这两种方案均需要将全图映射多次，计算量大，耗时长；Kwan-Jung Oh等提出一种填补空洞的方法，在区分出前景背景的基础上，用空洞周围的背景点来填补空洞。这种方法局限于只能填补小洞；P.Merkle等人提出了对图像分块处理的算法，其算法有较好的PSNR性能，但轮廓边缘的效果不如前两种算法；Ya-Mei Feng等人提出了不对称参考视点的算法，其算法能够很大程度上减少数据量，并获得高质量的图像，但在遮挡情况复杂的环境下可靠性不够；Karsten Müller和Aljoscha Smolic等人提出的算法中，使用分层视频(leveled depth video，LDV)能够减少传输的数据量，并且通过边缘提取能够有效去除伪影现象，但分层视频需要预处理，降低了实时性，而且其边缘检测的方法将一部分可靠区域划分到了不可靠区域中，增加了额外的开销。

发明内容

本发明的目的在于克服现有技术的不足，提供一种虚拟视点的全景特写拼接系统及其方法，有效的处理全景拼接中虚拟视点的位置、图像信息、单应矩阵、图像融合等问题，保证拼接之后的图像质量。

本发明的目的是通过以下技术方案来实现的：一种虚拟视点的全景特写拼接系统，包括全景相机和图像拼接模块；所述的全景相机为带有深度传感器的全景相机；全景相机的输出端与图像拼接模块连接；所述的图像拼接模块包括全景相机内外参数计算单元、映射矩阵计算单元、图像放大融合单元和图像空洞填补单元；

所述的全景相机内外参数计算单元用于求出全景相机的内外参数；

所述的映射矩阵计算单元用于根据用户特写要求，设定虚拟相机的外参，并计算得到全景相机与虚拟相机的单应变换关系矩阵；

所述的图像放大融合单元用于进行图像融合和放大，得到感兴趣区域高质量的聚焦融合图像；

所述的图像空洞填补单元用于填补融合图像的空洞，得到不损失原始图像信息的无缝高质量融合图像。

一种虚拟视点的全景特写拼接方法，包括以下步骤：

S1.以全景相机拍摄的图像作为基准图，并通过安装在相机上的深度传感器获取图像深度信息，根据相机标定求出全景相机内外参数，即全景成像平面的内外参数；

S2.根据用户特写要求，确定虚拟相机的外参，即虚拟成像平面的外参数，并计算得到全景相机与虚拟相机的单应变换关系矩阵，来确立全景成像平面和虚拟成像平面的图像映射关系；

S3.用户选定感兴趣区域，根据单应变换关系矩阵，对图像进行放大融合，得到感兴趣区域高质量的聚焦融合图像；

S4.采用双线性插值法填补融合图像的空洞，得到不损失原始图像信息的无缝高质量融合图像

所述的步骤S1包括以下子步骤：

S11.利用相机成像原理，得出三维坐标中实际物体的坐标A_w(x_w,y_w,z_w)^T与全景成像平面物体成像的坐标(u,v)^T的变换关系：

式中，z_c表示在全景成像平面中实际物体坐标的Z轴分量，M₁为全景相机的内参数，M₂为全景相机的外参数；

S12.利用拍摄带有确定标定版信息的图像进行相机标定,求出全景相机的内外参数M₁和M₂。

所述的步骤S2包括以下子步骤：

S21.三维坐标中实际物体的坐标为A_w(x_w,y_w,z_w)^T，设该实际物体在全景成像平面上的坐标为(u,v)^T，设该实际物体在虚拟成像平面上的坐标为(u′,v′)^T，则：

式中，z_c表示在全景成像平面中实际物体坐标的Z轴分量，M₁为全景相机的内参数，M₂为全景相机的外参数；z′_c表示在虚拟成像平面中实际物体坐标的Z轴分量，M′₁为虚拟相机的内参数，M′₂为虚拟相机的外参数；

S22.设全景成像平面与虚拟成像平面的单应变换关系矩阵为H，则可知：

结合步骤S21中的到的两个公式，可以得到单应变换关系矩阵为H的表达式：

式中，M₁和M₂在步骤S1中已经求得，M′₁实际上与M₁相同，根据用户特写要求，设定虚拟相机外参数M′₂，即可以求出全景成像平面与虚拟成像平面的单应变换关系矩阵H，为投影深度比，深度信息由安装在全景相机上的深度传感器在拍摄基准图时获取。

所述的步骤S3包括以下子步骤：

S31.用户选定感兴趣区域；

所述的步骤S4包括以下子步骤：

S41.选取聚焦融合图像的一个空洞所在的像素作为目的像素，其行列坐标值分别除以放大倍数，通过反向变换映射为原图像的浮点坐标(i+p,j+q)，其中i和j均为非负整数，p和q是取余后[0,1]区间内的浮点数；

S42.将目的像素的值f(i+p,j+q)由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应四个像素的值来表示，即空洞处像素可以有周围最近的4个已知像素决定：

f(i+p,j+q)＝(1-p)(1-q)f(i,j)+(1-p)qf(i+1,j)+

p(1-q)f(i,j+1)+pqf(i+1,j+1)

f(i,j)表示(i,j)处的像素值，p,q随着放大后像素行列坐标的不同而改变；

S43.依次选取步骤S3中得到的聚焦融合图像中的每一个空洞所在的像素，重复步骤S41和步骤S42对空洞进行填补，直到所有空洞填补完成。

本发明的有益效果是：(1)虚拟视点的位置需要由特写要求决定，即由用户喜好确定，特写的灵活性强。

(2)以全景相机拍摄的图像作为基准图，根据相机成像原理求出相机内部参数，结合用户需要确定设置相机外部参数，根据单应变换关系矩阵，采用合适的融合计算方法，得到用户指定区域的局部高清的融合图像，最后采用双线性插值算法填补图像中的空洞，得到处理后平滑的融合图像，图像质量高。

(3)在全景相机上安装深度传感器，深度传感器在全景相机拍摄基准图时获取图像深度信息以供后续使用。

(4)全景相机成像平面与虚拟相机成像平面的单应关系矩阵通过相机成像以及图像投影结合图像深度信息所决定，能够有效提高其准确性。

附图说明

图1为本发明的系统原理框图；

图2为本发明的方法流程图；

图3为相机成像原理图；

图4为全景相机成像平面和虚拟成像平面之间关系图；

图5为双线性插值法原理示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种虚拟视点的全景特写拼接系统，包括全景相机和图像拼接模块；所述的全景相机为带有深度传感器的全景相机；全景相机的输出端与图像拼接模块连接；所述的图像拼接模块包括全景相机内外参数计算单元、映射矩阵计算单元、图像放大融合单元和图像空洞填补单元；

所述的全景相机内外参数计算单元用于求出全景相机的内外参数；

所述的映射矩阵计算单元用于根据用户特写要求，设定虚拟相机的外参，并计算得到全景相机与虚拟相机的单应变换关系矩阵；

所述的图像放大融合单元用于进行图像融合和放大，得到感兴趣区域高质量的聚焦融合图像；

所述的图像空洞填补单元用于填补融合图像的空洞，得到不损失原始图像信息的无缝高质量融合图像。

如图2所示，一种虚拟视点的全景特写拼接方法，包括以下步骤：

S1.以全景相机拍摄的图像作为基准图，并通过安装在相机上的深度传感器获取图像深度信息，根据相机标定求出全景相机内外参数，即全景成像平面的内外参数；

S2.根据用户特写要求，确定虚拟相机的外参，即虚拟成像平面的外参数，并计算得到全景相机与虚拟相机的单应变换关系矩阵，来确立全景成像平面和虚拟成像平面的图像映射关系；

S3.用户选定感兴趣区域，根据单应变换关系矩阵，对图像进行放大融合，得到感兴趣区域高质量的聚焦融合图像；

S4.采用双线性插值法填补融合图像的空洞，得到不损失原始图像信息的无缝高质量融合图像

所述的步骤S1包括以下子步骤：

S11.利用相机成像原理，得出三维坐标中实际物体的坐标A_w(x_w,y_w,z_w)^T与全景成像平面物体成像的坐标(u,v)^T的变换关系：

式中，z_c表示在全景成像平面中实际物体坐标的Z轴分量(实际上成像平面中是二维的，并没实质意义上的Z轴分量，这里提到的Z轴分量指的是成像平面中的坐标转换到实际物体坐标时需要乘以的一个向量，文中其它部分提到的‘Z轴分量’含义与之相同)，M₁为全景相机的内参数，M₂为全景相机的外参数；

S12.利用拍摄带有确定标定版信息的图像进行相机标定,求出全景相机的内外参数M₁和M₂。

根据相机成像原理推导三维坐标中实际物体的坐标A_w(x_w,y_w,z_w)^T与全景成像平面物体成像的坐标(u,v)^T的变换关系的过程如下：

如图3所示，为相机的成像原理图，首先，三维空间点在全景成像平面上的位置可以通过像素坐标系和图像坐标系来表示。

在直角整数像素坐标系u-v中，每个像素的坐标(u,v)^T分别代表二维图像阵列中的列数和行数。

建立以物理单位表示的图像坐标系x-y(以图像中心o为原点，x、y轴分别与u、v轴平行)，来表示像素点在图像中的实际位置。

设原点o在u-v坐标系中表示为(u₀,v₀)^T，每个像素在x轴和y轴上的物理尺寸为dx和dy，则图像中任意一个像素在两个坐标系下有如下关系：

其中坐标映射关系用齐次坐标可以表示为：

dx和dy表示每个像素在x轴和y轴上的物理尺寸。

世界坐标系和相机坐标系之间通过旋转和平移相联系，用一个三维非齐次矢量表示世界坐标系中某一点的坐标A_w(x_w,y_w,z_w)^T，

在齐次坐标下可以写成：

其中表示摄像机中心在世界坐标系中的坐标，R是一个3×3旋转矩阵，表示摄像机的方位；

根据相机成像原理，三维坐标中实际物体的坐标A_w(x_w,y_w,z_w)^T与实际成像平面物体成像的坐标(u,v)^T的变换关系为：

式中，f表示全景相机的焦距；

只需要利用拍摄带有确定标定版信息的图像进行相机标定,求出全景相机的内外参数M₁和M₂。

如图4所示，为全景相机成像平面L1和虚拟成像平面L2之间关系图，可以从图4中看出全景相机成像平面和虚拟成像平面之间的关系。

所述的步骤S2包括以下子步骤：

S21.三维坐标中实际物体的坐标为A_w(x_w,y_w,z_w)^T，设该实际物体在全景成像平面上的坐标为(u,v)^T，设该实际物体在虚拟成像平面上的坐标为(u′,v′)^T，则：

式中，z_c表示在全景成像平面中实际物体坐标的Z轴分量，M₁为全景相机的内参数，M₂为全景相机的外参数；z′_c表示在虚拟成像平面中实际物体坐标的Z轴分量，M′₁为虚拟相机的内参数，M′₂为虚拟相机的外参数；

S22.设全景成像平面与虚拟成像平面的单应变换关系矩阵为H，则可知：

结合步骤S21中的到的两个公式，可以得到单应变换关系矩阵为H的表达式：

式中，M₁和M₂在步骤S1中已经求得，M′₁实际上与M₁相同(因为实际上的摄像相机为同一个，内参数相同)，根据用户特写要求，设定虚拟相机外参数M′₂，即可以求出全景成像平面与虚拟成像平面的单应变换关系矩阵H，为投影深度比，深度信息由安装在全景相机上的深度传感器在拍摄基准图时获取。

所述的步骤S3包括以下子步骤：

S31.用户选定感兴趣区域；

如图5所示，为双线性插值法原理示意图。

所述的步骤S4包括以下子步骤：

S41.选取聚焦融合图像的一个空洞所在的像素作为目的像素，其行列坐标值分别除以放大倍数(放大倍数通过统计单位区域图像放大产生的空洞数进行确定)，通过反向变换映射为原图像的浮点坐标(i+p,j+q)，其中i和j均为非负整数，p和q是取余后[0,1]区间内的浮点数；

S42.将目的像素的值f(i+p,j+q)由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应四个像素的值来表示，即空洞处像素f(i+p,j+q)可以有周围最近的4个已知像素决定：

f(i+p,j+q)＝(1-p)(1-q)f(i,j)+(1-p)qf(i+1,j)+

p(1-q)f(i,j+1)+pqf(i+1,j+1)

f(i,j)表示(i,j)处的像素值，p,q随着放大后像素行列坐标的不同而改变；

S43.依次选取步骤S3中得到的聚焦融合图像中的每一个空洞所在的像素，重复步骤S41和步骤S42对空洞进行填补，直到所有空洞填补完成。

Claims (5)

1.一种虚拟视点的全景特写拼接方法，其特征在于：包括以下步骤：

S1.以全景相机拍摄的图像作为基准图，并通过安装在相机上的深度传感器获取图像深度信息，根据相机标定求出全景相机内外参数，即全景成像平面的内外参数；

S2.根据用户特写要求，确定虚拟相机的外参，即虚拟成像平面的外参数，并计算得到全景相机与虚拟相机的单应变换关系矩阵，来确立全景成像平面和虚拟成像平面的图像映射关系；

S3.用户选定感兴趣区域，根据单应变换关系矩阵，对图像进行放大融合，得到感兴趣区域高质量的聚焦融合图像；

S4.采用双线性插值法填补融合图像的空洞，得到不损失原始图像信息的无缝高质量融合图像；

所述的步骤S1包括以下子步骤：

S11.利用相机成像原理，得出三维坐标中实际物体的坐标A_w，A_w为(x_w，y_w，z_w)^T与全景成像平面物体成像的坐标(u，v)^T的变换关系：

式中，z_c表示在全景成像平面中实际物体坐标的Z轴分量，M₁为全景相机的内参数，M₂为全景相机的外参数；

S12.利用拍摄带有确定标定版信息的图像进行相机标定,求出全景相机的内外参数M₁和M₂。

2.根据权利要求1所述的一种虚拟视点的全景特写拼接方法，其特征在于：所述的步骤S2包括以下子步骤：

S21.三维坐标中实际物体的坐标为A_w(x_w，y_w，z_w)^T，设该实际物体在全景成像平面上的坐标为(u,v)^T，设该实际物体在虚拟成像平面上的坐标为(u′，v′)^T，则：

式中，z_c表示在全景成像平面中实际物体坐标的Z轴分量，M₁为全景相机的内参数，M₂为全景相机的外参数；z′_c表示在虚拟成像平面中实际物体坐标的Z轴分量，M′₁为虚拟相机的内参数，M′₂为虚拟相机的外参数；

S22.设全景成像平面与虚拟成像平面的单应变换关系矩阵为H，则可知：

结合步骤S21中的到的两个公式，可以得到单应变换关系矩阵为H的表达式：

式中，M₁和M₂在步骤S1中已经求得，M′₁实际上与M₁相同，根据用户特写要求，设定虚拟相机外参数M′₂，即可以求出全景成像平面与虚拟成像平面的单应变换关系矩阵H，为投影深度比，深度信息由安装在全景相机上的深度传感器在拍摄基准图时获取。

3.根据权利要求2所述的一种虚拟视点的全景特写拼接方法，其特征在于：所述的步骤S3包括以下子步骤：

S31.用户选定感兴趣区域；

S32.根据步骤S22中的到的单应变化关系矩阵H，将全景成像平面图像中的用户感兴趣区域每一个像素点p(x,y)^T，映射到虚拟成像平面上对应的像素点p′(x′，y′)^T，得到感兴趣区域高质量的聚焦融合图像，映射对应关系为

4.根据权利要求1所述的一种虚拟视点的全景特写拼接方法，其特征在于：所述的步骤S4包括以下子步骤：

S41.选取聚焦融合图像的一个空洞所在的像素作为目的像素，其行列坐标值分别除以放大倍数，通过反向变换映射为原图像的浮点坐标(i+p，j+q)，其中i和j均为非负整数，p和q是取余后[0，1]区间内的浮点数；

S42.将目的像素的值f(i+p，j+q)由原图像中坐标为(i，j)、(i+1，j)、

(i，j+1)、(i+1，j+1)

所对应四个像素的值来表示，即空洞处像素可以有周围最近的4个已知像素决定：

f(i+p，j+q)＝(1-p)(1-q)f(i，j)+(1-p)qf(i+1，j)+p(1-q)f(i，j+1)+pqf(i+1，j+1)，

f(i，j)表示(i，j)处的像素值，p，q随着放大后像素行列坐标的不同而改变；

S43.依次选取步骤S3中得到的聚焦融合图像中的每一个空洞所在的像素，重复步骤S41和步骤S42对空洞进行填补，直到所有空洞填补完成。

5.一种虚拟视点的全景特写拼接系统，其特征在于，使用如权利要求1-4中任意一项所述的一种虚拟视点的全景特写拼接方法：包括全景相机和图像拼接模块；所述的全景相机为带有深度传感器的全景相机；全景相机的输出端与图像拼接模块连接；所述的图像拼接模块包括全景相机内外参数计算单元、映射矩阵计算单元、图像放大融合单元和图像空洞填补单元；

所述的全景相机内外参数计算单元用于求出全景相机的内外参数；

所述的映射矩阵计算单元用于根据用户特写要求，设定虚拟相机的外参，并计算得到全景相机与虚拟相机的单应变换关系矩阵；

所述的图像放大融合单元用于进行图像融合和放大，得到感兴趣区域高质量的聚焦融合图像；

所述的图像空洞填补单元用于填补融合图像的空洞，得到不损失原始图像信息的无缝高质量融合图像。