CN104365092A - 用于图像融合的方法和设备 - Google Patents

Abstract

用于融合图像的方法和装置。描述了用于通过融合包含在二级图像(2)中的更丰富的信息来改善主要图像(1)的方法和装置(30)。检索(10)包含在二级图像(2)中的对象的3D结构，并且使用该3D结构来生成二级图像(2)的视差修正版本。为此，确定相机位姿，对于该相机位姿，被包含在二级图像(2)中的对象的3D结构的投影最类似于主要图像(1)中的景物，并且，基于所确定的相机位姿来合成二级图像(2)的视差修正版本。然后将二级图像(2)的视差修正版本与主要图像(1)进行融合。

Description

用于图像融合的方法和设备

本发明涉及用于融合图像的方法和设备。更具体地，本发明涉及通过利用在单独的视图中可获得的感兴趣的对象的更丰富的信息来无缝改善这些对象在大的全景图像中的视觉质量和细节等级的方法和装置。

当探究全景图像时，有时希望仔细看看包含某些感兴趣的对象的特定区域。在这样的情形中，当这些对象离相机较远时，全景图像提供的分辨率通常是不足的。针对该问题的直接解决方案将是增加分辨率并且缩短全景捕捉设置的曝光时间。然而，该解决方案将需要巨大的传输带宽或存储容量，这可能使得该解决方案在实践中无法使用。而且，在当前的图像传感器的能力上存在技术限制。

可替代地，当单独的相机跟踪感兴趣的对象并捕捉具有更高的细节等级的感兴趣的对象时，该补充图像能够与全景图像进行融合，以便在该全景图内提供感兴趣的对象的增强版本。相关技术能够被分类为多图像融合或接合。例如，文件CA 2386347描述了用于将低分辨率视频流和高分辨率视频流准确地组合为对于人类观察者而言的单个无缝显示的处理。全景视觉传感器捕捉全景图，而进一步的传感器捕捉详细的图像。两个传感器均被安排为固定系统。为了减小低分辨率视频和高分辨率视频之间的边界的干扰，在这两个视频之间的环形区域内将这两个视频平滑地混合在一起。不同分辨率图像的融合只能很好地适用于离传感器为中间距离。在其他深度处会发生图像失配(misregistration)。

通常，尝试融合来自任意视点的信息一般将会导致不正确插入附加的高质量视觉数据。该问题在图1和图2中被示出。在该示例中，详细视图2已被插入到(全景的)图像1中以匹配订书机的位置。由此可见，所插入的矩形的顶部和底部的景物偏移(perspective misalignment)导致了显著的伪影。

为了解决该问题，US 2003/0235344公开了一种用于接合两个或多个图像的方法。通过使用平面扫描算法来计算重叠图像中的像素的相对深度。该深度用于图像校正。然后结果图像被接合。该文件中所描述的解决方案只适用于如下所述的情形的有限子集：所有的图像(即，详细视图和全景捕捉视图)都至少大概对齐，以使得矫正实际上有用。对于融合图像，不同差距等级(即，深度等级)的像素的条纹仅仅被混合，这可能导致图像失真。此外，需要逆向变形阶段，这可能是进一步图像失真的根源。

因此，本发明的目的是针对无缝融合图像提出改善的解决方案。

根据本发明，一种用于将二级图像与主要图像进行融合的方法包括以下步骤：

-检索包含在该二级图像中的对象的3D结构；

-通过确定相机位姿并且基于所确定的相机位姿来合成二级图像的视差修正版本，来使用3D结构生成二级图像的视差修正版本，其中，对于该相机位姿，被包含在二级图像中的对象的3D结构的投影最类似于主要图像中的景物()；

-将该二级图像的视差修正版本与主要图像进行融合。

本发明的一个目标情景是伴随有多个独立的高清相机的静态全景图像捕捉设置。这些独立的高清相机是立体相机，或者最为期待的是全光相机或光场相机。这样的相机允许在某一界限内最少引入误差的情况下任意更改景物视差(perspective parallax)，其中，景物视差由相机的物理实现来限定。通过将这些相机放置于离主要全景设置合理地短的距离处，感兴趣的对象的高细节捕捉中场景视差能够被补偿为类似于全景捕捉的场景视差(scene parallax)。通过对3D结构的明确利用，将感兴趣的对象的详细视图与全景图像进行无缝融合是可能的。当然，全景图像没必要是静态图像。全景图像同样可以包含运动对象。对此的一个示例是运动竞技场，在运动竞技场中，运动员相对于本质上静态的背景而言是运动的。

对上面情景的应用按照如下来工作。用户交互地选择全景图中用于显示的区域，该区域中包含一个或多个感兴趣的对象。这些对象被自动或交互地从背景中分割。然后，第二图像(包含感兴趣的对象的高细节捕捉)被视差修正以适合于全景景物(panoramic perspective)。最后，全景图中感兴趣的对象由经变换(旋转、平移、缩放)的高细节版本所代替，并且边界被合宜地混合以在该全景图的背景中提供平滑的整合。

主流立体相机和光场相机的日益传播以及即将到来的3D内容的广泛使用使得存在本发明的进一步的目标情景。例如，从数据库(例如，互联网)收集到的多组立体图像可以被接合以构造高质量的全景图。另外，可以使用来自包含上述对象的不同图像的具有更好视觉质量的类似内容来对图像中感兴趣的内容进行改善，而不考虑这些图像之间的视差差别。

为了更好的理解，现将参照附图在以下描述中更详细地解释本发明。应当理解，本发明不限于该示例性实施例，并且在不背离所附权利要求定义的本发明的范围的情况下也可以方便地组合和/或修改特定特征。在这些附图中：

图1示出从全景图像中选择出的原始的模糊区域，

图2示出在插入来自详细视图的更丰富的数据之后的图1的区域，

图3示出根据本发明的用于融合图像的方法，

图4示意性地描绘出实现图3的方法的装置，

图5更详细地示出图4的装置的视差修正级，以及

图6描绘出使用图4的装置所获得的平滑融合的图像。

图1示出从全景图像中选择出的原始的稍微模糊的区域1。在图2中，更详细的图像2已被插入至区域1中。由此可见，所插入的详细图像2的顶部和底部的景物偏移导致了显著的伪影。

图3示出根据本发明的用于融合图像的方法，该方法避免或至少减弱了这样的伪影。在第一步中，使用可用于详细视图的信息来检索该详细视图的3D结构(10)。例如，使用一对立体相机提供的深度通道、全光相机或光场相机提供的光场描述等来检索3D结构。然后，基于由观察者在大的全景视图中交互选择出的区域以及从详细视图中提取到的3D结构，产生详细视图的视差修正版本(11)，该视差修正版本与从全景的视点所看到的景物相匹配。于是，来自视差修正视图的数据能够被用来将来自详细视图的更丰富的数据无缝地整合到全景图中(12)。

在图4中示意性地描述了实现上述解决方案的装置20。在3D结构检索级21，从详细的辅助视图中检索场景的3D结构。对于立体设置，可以通过任意现有的立体重建技术来完成。在由光场相机所捕获的数据的情形中，优选地使用更精确的过程(例如，N.Snavely等描述的来自运动的结构(Structure from Motion)：“Modeling the World from Internet PhotoCollections”(Int.J.Comput.Vis.Vol.80(2008)，PP.189-210)(从互联网照片集中建模世界，国际计算机视觉期刊，2008年第80卷，第189-210页))以使得无需专门的设置校准而自动处理光场捕捉中大量可用视图。在另一情形中，该级的输出包含，例如作为每个像素的深度值的对辅助设置所捕捉的场景的3D描述。

视差修正级22被提供以用于生成视差修正的详细视图。视差修正级22包括两个子级，如图5中所示。第一子级，位姿估计器30，获得相机位姿(即，相机位置和方向)，对于该相机位姿，详细视图的3D结构的投影最类似于全景视图中的景物。然后视图合成器31用第一子级30中获得的相机位姿对详细视图执行照片逼真变形。

位姿估计器30优选地实现像RANSAC(RANdom SAmpleConsensus，随机抽样一致性)的鲁棒技术，即，通过检查变形的详细视图和全景视图之间的突显点的投影误差来完成位姿估计。用于最优化的位姿模型由10个参数组成：焦距(1：f)、光学中心偏移(2：c_x和c_y)、旋转(4：参见下文)以及平移(3：t_x、t_y和t_z)。有些假设允许简化位姿模型。假设全景图像不存在偏斜误差，即，偏斜系数等于零。而且，假设垂直焦距和水平焦距相等，并且镜头失真可以忽略不计，这对于由于大的变焦设置而焦距较大的感兴趣的情形而言是合理的。

结果位姿模型能够借助于标定矩阵K进行描述，K为：

$P=K\left(R\right|T)=\left(\begin{array}{ccc}{\mathrm{fs}}_x& 0& c_x\\ 0& {\mathrm{fs}}_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}{r}_{1x}& r_{2x}& r_{3x}& t_x\\ r_{1y}& r_{2y}& r_{3y}& t_y\\ r_{1z}& r_{2z}& r_{3z}& t_z\end{array}\right),$

其中，R为旋转矩阵，T为平移向量。旋转矩阵R能够通过使用罗德里格斯(Rodrigues)的旋转公式由四个参数进行参数化：给定单位向量(u_x，u_y，u_z)(其中，u_x ²+u_y ²+u_z ²＝1)，以围绕沿所述向量方向的轴线以角度θ旋转的矩阵R为：

$R=\left[\begin{array}{ccc}\cos \mathrm{\θ}+{u_x}^2(1-\cos )& u_x{u}_y(1-\cos \mathrm{\θ})-u_z\sin \mathrm{\θ}& u_x{u}_z(1-\cos \mathrm{\θ})+u_y\sin \mathrm{\θ}\\ u_y{u}_x(1-\cos \mathrm{\θ})+u_z\sin \mathrm{\θ}& \cos \mathrm{\θ}+{u_y}^2(1-\cos \mathrm{\θ})& u_y{u}_z(1-\cos \mathrm{\θ})-u_x\sin \mathrm{\θ}\\ u_z{u}_x(1-\cos \mathrm{\θ})-u_y\sin \mathrm{\θ}& u_z{u}_y(1-\cos \mathrm{\θ})+u_x\sin \mathrm{\θ}& \cos \mathrm{\θ}+{u_z}^2(1-\cos \mathrm{\θ})\end{array}\right].$

通过位姿变换P的3D点X的像素位置x通过以下两个运算来获得：

$x^{\′}=\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right)=\mathrm{PX}$

和

$x=\left(\begin{array}{c}{x}^{\′}/z^{\′}\\ y^{\′}/z^{\′}\end{array}\right).$

视图合成器31优选地执行光场渲染(当辅助视图为该类型时)，或者在更传统的立体捕捉设置下执行基于图像的渲染。视图合成器31的输出为视差修正的详细视图，该视差修正的详细视图现在能够容易地被融合在全景视图中。

为此，图像融合级23通过由视差修正级22生成的高细节变形的视图来代替全景视图中感兴趣的对象的轮廓内的内容。然后，该轮廓的边界周围的小区域(例如，沿法线方向的±2个像素)被用来平滑地对变形的视图的精细细节与来自全景视图的模糊背景之间的不连续进行内插。在更有利的情景中(即，全景视图和详细视图二者具有类似视点)，该处理能够针对感兴趣的对象和其周围的背景二者来完成。在这样的情形中，轮廓对应于详细视图的图像区域，平滑的内插被实施于这样的矩形的周线。这样的示例在图6中被示出，该示例通过使用图4的装置来获得。

Claims (7)

1.一种用于将二级图像(2)与主要图像(1)进行融合的方法，该方法包括以下步骤：

-检索(10)包含在所述二级图像(2)中的对象的3D结构；

-通过确定相机位姿并且基于所确定的相机位姿来合成所述二级图像(2)的视差修正版本，来使用所述3D结构生成所述二级图像(2)的视差修正版本，其中，对于所述相机位姿，被包含在所述二级图像(2)中的对象的3D结构的投影最类似于所述主要图像(1)中的景物；以及

-将所述二级图像(2)的视差修正版本与所述主要图像(1)进行融合。

2.根据权利要求1所述的方法，其中，从为所述二级图像(2)提供的深度信息或光场描述中检索(10)所述二级图像(2)的3D结构。

3.根据权利要求1或2所述的方法，其中，通过对所述二级图像(2)执行照片逼真变形来合成所述二级图像(2)的视差修正版本。

4.根据权利要求1至3中的一项所述的方法，进一步包括以下步骤：对所述主要图像(1)与所述二级图像(2)的融合的视差修正版本之间的边界区域执行内插。

5.根据权利要求1至4中的一项所述的方法，其中，所述主要图像(1)是全景图像，所述二级图像(2)是所述全景图像中的对象的更加详细的图像。

6.根据权利要求1至4中的一项所述的方法，其中，所述主要图像(1)和所述二级图像(2)是一组图像中的两个图像。

7.一种用于将二级图像(2)与主要图像(1)进行融合的装置(20)，所述装置(20)包括：

-3D结构检索级(21)，所述3D结构检索级(21)用于检索(10)包含在所述二级图像(2)中的对象的3D结构；

-视差修正级(22)，所述视差修正级(22)通过确定相机位姿并且基于所确定的相机位姿来合成所述二级图像(2)的视差修正版本，来使用所述3D结构生成所述二级图像(2)的视差修正版本，其中，对于所述相机位姿，被包含在所述二级图像(2)中的对象的3D结构的投影最类似于所述主要图像(1)中的景物；以及

-图像融合级(23)，所述图像融合级(23)用于将所述二级图像(2)的视差修正版本与所述主要图像(1)进行融合。