CN107077719B - 数码照片中基于深度图的透视校正 - Google Patents

Abstract

本发明涉及数码照片的后期处理，用于校正该照片中的透视畸变。该校正技术应用了场景的数码照片和与该照片有关且包括照片中每个像素深度的深度图，该深度是指场景的该像素部分与获取照片时相机的位置之间的距离。该校正技术是局部执行的，因而照片中任何像素的校正都取决于该像素的深度。该校正技术可被实施为将原始照片中每个像素转换到校正后的照片的新位置中。之后，必须利用原始像素值及其新位置，为校正后的照片的像素计算像素值。本发明与物体或场景涉及显著放大率差异的照片特别相关，例如自拍照、近距离照片和大型物体的延长线不与相机光轴正交(低/高角度拍摄)的照片。

Description

数码照片中基于深度图的透视校正

技术领域

本发明涉及数码照片的后期处理，更具体地，涉及用于执行数码相片的后期处理的方法、数码存储持有软件、集成电路和带有相机的手持设备。

背景技术

透视畸变

摄影提供了3D世界的2D表达。这种3D到2D的转换是通过用镜头将3D场景投影到2D传感器上来实现的。

距离很远时且若相机的光轴垂直于物体的延长线，透视投影提供“符合人们期望”的悦目照片。但是，如果到该物体的最近部分的距离与到该物体的最远部分的距离之间的比值非常大，近距离部分将以与较远部分不同的放大率呈现，而且这种放大率差异会导致在该物体的照片中的透视畸变。

有许多为人熟知的透视畸变效应。当较大物体的延长线不与光轴正交时，由于最近端会比远端放大得更多，该物体中的平行线在照片中是不平行的。例如，当以低角度拍摄摩天大楼时就是这种情形。另一个经常遇到的效应是，当相机和照片中的物体之间的距离与该物体的拓扑结构(topology)的深度在同一数量级上时，近距离部分会显得与远距离部分不成比例。例如自拍照(由主体的手持相机拍出的自画像)就是这种情形，在自拍照中，相机与主体头部间的臂长距离(30至50cm)和鼻子与耳朵间的距离是大约相同的距离数量级，从而使得鼻子显得不自然的大。

因此，透视畸变会影响其中物体或场景涉及高放大率差异的任何照片。

透视校正

透视校正的问题已经在一些特定应用场合被部分解决了，大多数时候使用需要用户交互的工具部分解决透视校正问题。现有工具允许校正以低和高角度拍摄的照片，但这些校正是基于相机位置与方向的了解或基于场景的假设几何结构(例如建筑物中的平行线)的整体校正。

大多数目前可用的校正方案仅提供对由相机光学器件引起的光学畸变的校正，例如鱼眼状、筒形或枕形畸变校正。在这些情况下，对光学畸变进行建模，且应用整体校正。

DxO ViewPoint 2(http://www.dxo.com/intl/photography/dxo-viewpoint/wide-angle-lens-software)代表了透视畸变校正方面的目前技术现状。DxO ViewPoint应用程序允许对在使用广角镜头时由相机光学器件引起的透视畸变进行校正。该应用程序也允许通过执行不同的投影来对没影直线(vanishing line)进行校正，但是这种校正与相机和物体或场景间的距离无关，且不能同时校正近距离和远距离的失真。所施加的校正是整体的，且与照片中的场景或物体的拓扑结构无关地施加这种校正。

整体校正基于由有关相机外部参数和相机内部参数和/或有关“先验(priori)”数据或用户定义数据的少数参数确定的平滑标准函数。例如，图1A至图1D示出了DxOViewPoint作出的图像校正，在照片和棋盘格图案上应用了同样的校正技术。图1A示出了原始照片和图案，在图1B中应用了透镜畸变校正，在图1C中应用了透视校正(自然模式(natural mode))，在图1D中应用了透视校正(完全模式(complete mode))。整体校正技术、例如DxO ViewPoint中的那些校正技术的问题是，这些校正技术被应用在整个图像上，而不关注主体。通过用户交互可将校正调整到给定地点处的给定平面内的给定物体，但如果场景包括一些与相机距离不等的物体，则校正不会对所有物体都是令人满意的。

有一些诸如SkinneePix和Facetune这样的智能手机应用允许用户改善自拍照的外貌。SkinneePix对照片进行简单的几何扭曲，依赖于仅包含位于照片中央的一张脸的照片，即意味着已知的几何结构。Facetune允许形状上的局部变化，但其在本质上是一种专门用于脸部照片的使用户可以控制局部扭曲的简化了的Photoshop工具。Facetune不是透视校正工具，且不依赖于图像深度信息。

目前存在从多相机(例：RGB+TOF相机、立体相机或诸如Microsoft Kinect的投影光系统)中创建3D模型的软件。另一个例子是由沙玛·曼西(Sharma Mansi)等人所著的论文“Kinect-Variety Fusion:A Novel Hybrid Approach for Artifacts-free 3DTVContent Generation”，该论文描述了通过结合多个传感器来提取深度信息，及使用Microsoft Kinect相机和投影光结构技术来改善深度图提取的方法。该论文的第二部分(Section B，第2277页)涉及3DTV的内容生成，在相机相对于场景运动时，利用由这些相机捕获的场景的多张图像而生成场景的新视图。这些立体视觉技术并未提供自动校正单张照片中的透视畸变的方法。诸如OpenGL的3D GFX库也未提供利用深度信息进行透视校正的方法。

时至今日，用于透视校正的可用工具不是整体校正就是局部校正，所述整体校正意味着物体的某些几何结构(直线、位于中央的脸)、记录状态(低角度、近距离)，所述局部校正需要用户交互以及他/她对自然或想要的场景或物体的外观的了解(通常称为photoshop修图)。

发明内容

本发明的目的是提供通过利用照片的深度信息执行透视校正来消除或补偿整张照片的局部放大率差异的方法、数码存储持有软件、集成电路和带有相机的手持设备。另一个目的是自动地执行这种透视校正，不需要与照片中的场景或物体的自然外观或拓扑结构或者相机的位置或方向有关的先验知识或用户输入。

为了执行本发明的透视校正，仅有照片是不够的。需要相机与照片中每个像素的场景之间的距离，即深度图。一旦得到了照片和深度图，利用图像和适当的处理就能够重构由虚拟相机从保持同一视野的不同视角、即不同角度、更远距离拍摄的照片，于是消除或补偿了任何透视畸变。不使用对于整个图像使用的整体转换，而是根据距相关深度图的像素距离执行对每个像素的局部校正。

因此，在第一方面中，本发明提供了用于在相机记录的场景的数码照片中执行透视校正的方法，该方法包括以下步骤：

·对于像素(x,y)的阵列，提供由像素值P_(x,y)代表的场景的数码照片，所述照片涉及透视畸变效应；

·提供与该照片有关且包括深度d_(x,y)的深度图，对于该像素阵列中的每个像素，该深度d_(x,y)是指由该像素代表的场景的一部分与获得照片时相机的获得位置之间的距离；和

·使用该场景的照片及其相关的深度图执行透视校正，该照片中的任何像素或区域的校正取决于该像素的深度或该区域中的像素的深度。

在这种情况下，校正将被理解为做出某些改变以解决问题或产生预期效果的过程，不局限于按照标准使某物精确或正确而作出的改变。因此，透视校正从在照片中实现特定效果的角度来说，也可以是修正。而且，最初获得的照片或存在透视畸变的一些照片、即原始照片或源照片通常被称为“获取的照片”。已被执行过透视校正的最终照片、即最终照片或目标照片通常被称为“处理过的照片”。在更详细的定义中，深度是物体到相机镜头的物主平面(object principal plane)之间的距离。对于移动电话来说，物主平面非常靠近移动电话中的相机的保护窗。应该注意的是，深度图可能具有与照片不同(且通常较低)的分辨率。在这种情况下，深度图可能会被提升等级，从而使其具有相同分辨率，且对于每个像素值都可获得有效深度信息。

本发明的透视校正优点在于可以在没有用户交互的情况下执行，所以其可以作为提供即时改善的照片的全自动校正来实施。本发明的透视校正的另一个优点是局部的，因而可以校正照片中每个像素或区域的局部透视畸变。因此，该校正可以同时和独立地校正照片的场景中的具有不同深度的不同部分的透视畸变。

在优选实施例中，执行透视校正的步骤包括：使用照片及其相关深度图来执行对照片的场景的透视校正，即对于照片中的每个像素(x,y)，至少根据该像素在获取位置的图像平面中的深度d_acq(x,y)、其位置D_acq(x,y)以及虚拟相机位置和获取位置之间的位移C，确定虚拟相机位置在图像平面中的新位置D_proc。优选的是，计算新位置来保持在深度图的选定平面中的放大率。

在此种关系下，该位移是最终和原始位置(在x、y、z方向上移动)及方向(绕x、y、z轴旋转)之间的差值，在此即为获取照片时的相机位置和虚拟相机位置之间的差值。而且，放大率是物体真实尺寸和照片中物体尺寸之间的比率，对于每个像素，该放大率等于该像素的深度与有效焦距之间的比率。

在替换的方案中，使用至少一张场景的照片及其相关的深度图来执行透视校正的步骤优选地包括以下步骤：

·使用照片中的每个像素(x,y)的深度来计算该像素的放大率。

·使用所计算的放大率来计算照片中的每个像素的新位置(x’,y’)，以使所有新位置具有相同的放大率。

在另一实施例中，执行透视校正的步骤包括如下地确定新位置：

而且，执行透视校正的步骤可进一步包括还使用被选择用来保持在深度图的选定平面内的放大率的参考平面的深度d_{acq_ref}来调节新位置的放大率。可通过如下地确定新位置来实施此实施例：

如果已确定了新位置，则执行透视校正的步骤优选地进一步包括：使用像素值P_(x,y)和新位置(x’,y’)来为像素(i,j)的阵列确定新像素值P_(i,j)；通过将相应的像素值P_(x,y)与新位置周围的像素(i,j)的新像素值P_(i,j)相加，为每个新位置(x’,y’)描绘校正后的照片，其中使用作为新位置(x’,y’)和每个像素(i,j)的相对位置的函数的权重因数对像素值P_(x,y)进行加权。

如果由所获照片中的一个或多个像素值的加权值的相加生成了新像素值，则透视校正优选地进一步包括后续步骤：即用各新像素值P_(i,j)除以归一化因数。在其中照片被“拉伸”的区域中，某些新像素可能不靠近任何新位置，于是可能不具有分配给它们的任何像素值。因此，该方法优选地进一步包括后续步骤：对于具有未确定值P_(i,j)的新像素，根据校正后的照片中的具有确定值P_(i,j)的周围像素计算内插像素值。

在优选实施中，虚拟相机位置和获取位置之间的位移是沿着相机光轴的线性位移。还可以优选的是，该位移距虚拟相机位置无穷远，从而使得所有放大率的变化相等。

可通过多相机设置或单相机设置来生成深度图。在优选实施例中，提供照片和提供与该照片有关的深度图的步骤仅涉及具有单获取位置的单相机。该单相机优选地具有可调透镜或具有可调光学放大率的任何其他光学元件。

提供深度图的步骤可涉及使用例如对焦测距(又称作Shape from focus)或散焦测距这样的基于焦距的深度图估值来生成深度图。按照定义，DFF(对焦测距)或DFD(散焦测距)提供了与同一相机在同一位置拍摄的照片完全一致的深度图，因此提供了降低处理的复杂度和消除照片与深度图之间的任何校准的优点。

在替换的实施例中，提供照片和提供深度图的步骤涉及使用多相机，例如：

·使用单独的图像相机和深度图相机；

·使用立体或阵列相机来生成图像和深度图；或

·使用多相机且从不同视角生成图像和深度图。

由于不是所有照片都透视畸变到了需要或优选是要进行透视校正的程度，且由于透视校正需要一些处理能力，所以选择需要进行透视校正的照片会是优选的。因此，在优选实施例中，提供照片和提供深度图的步骤可包括：提供一系列照片及其相关的深度图，其中该方法进一步包括检测和评估照片中的透视畸变的步骤，以选择将从透视校正中受益的照片。透视畸变的评估可例如基于场景中最近物体的距离和/或基于对没影直线的分析。

在进一步的实施例中，可应用用来校正照片中的透视畸变的相同转换来转换深度图本身，以生成与校正后照片相关的深度图。在此，第一方面的方法进一步包括也对深度图执行透视校正，即对于深度图中的每一像素(x,y)，通过至少根据该像素在获取位置的图像平面中的深度d_acq(x,y)及其位置D_acq(x,y)以及虚拟相机位置和获取位置之间的位移C，确定虚拟相机位置在该图像平面中的新位置D_proc，来也对深度图执行透视校正。在这方面，深度图仅为单通道图像(所有像素值均为深度)，而彩色照片通常为三通道图像(像素值在三种颜色的通道之一中，例如红绿蓝)。该处理是等同的，唯一的区别是仅需要深度图本身，因为每个像素的深度是固有的。优选地，将位移C添加到校正后的深度图的每个深度(像素值)中。

根据本发明的第一方面的透视校正可立即在相机中执行、或在相机的后期处理中或在其他设备中执行。

本发明可通过硬件、软件、固件或这些的任何组合来实施。因此在第二方面中，本发明提供数字存储持有软件，该软件在由一或多个数字处理器运行时，执行第一方面的方法。数字存储器可以是任意一个或多个可存储数字代码的可读介质，例如磁盘、硬盘驱动器、RAM、ROM等，该软件可以在单一介质上(例如，带有相机的设备的存储器)或分散在数个介质上，例如通过网络连接的不同硬盘驱动器服务器，或其他类型的电子存储器。

在第三方面中，本发明提供集成电路，被配置用于执行第一方面的方法。

相似地，在第四方面中，本发明提供一种带有相机的手持或便携式设备，这种带有相机的手持或便携式设备包括第二方面的数据存储器或第三方面的集成电路。

附图说明

将参照有关附图更详细地描述本发明。附图示出了实施本发明的一种方式，且附图不用于限制所附权利要求书范围内的其他可能的实施例。

图1A-D示出了DxO ViewPoint 2应用的图像校正，施加在照片和棋盘格图案上的校正相同。

图2和图3示出了根据本发明的具体实施方式的用于解释适用的代数推导的设置。

图4示出了新像素值的计算方式。

图5A-C示出了用于为具有未确定像素值的像素内插像素值的自适应内核的用法。

图6是示出了本发明所述方法的实施例以及代表本发明所述计算机程序产品的操作概要的原理系统图表。

具体实施方式

以下说明中所述的主要重点是在相机与场景最近部分的距离和相机与场景最远部分的距离之间的比值很高并产生严重的形变时出现的透视畸变上。这主要发生在近距离或低角度摄影中。然而，本发明中的透视校正可应用在任何场景拓扑结构中。

本发明中透视校正的方法，将照片从获取时的相机视角(POV)转换至处理过的照片中的虚拟POV，在该处理过的照片中，透视畸变效应得到弱化、变得微不足道或并未呈现。还有一个目的是，在保持相同物体尺寸的同时，转化至新的POV(很远或无限距)。

所以，对于所获照片中的各像素(x,y)，使用者需要计算出处理过的照片中相关像素值P_(x,y)的新位置(x’,y’)。计算出的新位置是所获照片中像素位置(x,y)以及相机与该像素中的场景的该部分之间的距离d_(x,y)的函数。

下文描述了实施例，其中获取照片时的相机位置(也称原始相机位置)与虚拟POV中的相机位置之间的位移是沿相机光轴(此处为Z轴)的线性位移。可应用更复杂的位移(其他方向上的位移：x/y和旋度)，但是用于此种位移的代数虽然容易获得，却相当广泛。

图2示出了物体、相机的获取照片位置和虚拟相机位置的设置，相机具有镜头，该镜头焦距为f。

下述符号将被用在说明中，且在图2和3中示出：

d：像素的深度

D：距传感器中心或光轴的像素距离

C：获取照片位置和虚拟位置之间沿Z-轴的位移；+：远离场景；-：靠近场景

下标“acq”：指的是获取的照片

下标“proc”：指的是来自虚拟相机位置的处理过的照片

坐标/索引(x,y)：获取的照片中像素的整数位置

P：像素值，例：RGB或其他色彩空间

坐标/索引(x’,y’)：转换后像素(x,y)的像素值的新(十进制)位置

坐标/索引(i,j)：处理过的照片中像素的整数位置

可以从图2中得到下述几何关系：

d_acq/D＝f/D_acq

d_proc/D＝f/D_proc

d_proc＝d_acq+C

＝>D_proc/D_acq＝d_acq/d_proc

＝>D_proc＝D_acq*d_acq/d_proc

＝>D_proc＝D_acq*d_acq/(d_acq+C) (1)

如前所述，放大率是物体的真实尺寸与物体在照片中的尺寸之间的比率，联系图2，放大率在所获照片中可表示为D/D_acq＝f/d_acq，在处理过的照片中可表示为D/D_proc＝f/d_proc＝f/(d_acq+C)。

转换(1)引起了整张图片的放大。如果我们想选择其中放大因数为一的参考平面，我们就需要为这个距离计算放大因数。图3示出了这一过程。优选地在朝向相机的方向上靠近物体中心选择参考平面。例如：面部，可将面部(头发/耳朵)轮廓的平面选为参考平面，从而维持头部尺寸且解决鼻子的畸变。

参考平面上的放大率是：

D_{proc_ref}/D_{acq_ref}＝(d_{acq_ref})/(d_{acq_ref}+C) (2)

将参考放大率(2)代入转换(1)后，可以得到：

D_proc＝D_acq*d_acq*(d_{acq_ref}+C)/((d_{acq_ref})*(d_acq+C)) (3)

如果C是无穷远(对所有物体的放大率相同)，我们就得到了：

D_proc＝D_acq*d_acq/(d_{acq_ref}) (4)

因为D在光轴(Z-轴)周围具有轴对称，(3)中所表达的转换位于极坐标内，D是径向坐标，角坐标

未受该转换影响。应该注意的是，可使用例如其它坐标系、其他相机光学器件或其他条件，开发具有与转换(3)相同或相似的结果的其他表达式。转换(3)的重要特点是照片中任何像素的转换、进而其校正取决于该像素的深度d_acq。所以，如果得到了具有透视畸变的照片和相关深度图，通过选择透视畸变显著减弱或不存在的虚拟相机位置，该透视校正在原则上就完成了。

转换(3)可用于计算具有像素值P_(x,y)的像素的位置(x’,y’)，如果照片是在虚拟位置处用相机拍下的，像素会位于该位置(x’,y’)。可从(3)中推断，新位置是像素深度d_(x,y)、位置D和虚拟相机位置与获取照片位置之间的位移C的函数。通过将(2)中的参考放大率代入(3)中，新位置维持了深度图的选定平面的放大率。

在优选实施例中，转换(3)被用作正向转换；从原始像素位置(x,y)计算像素值P_(x,y)的新位置(x’,y’)。正向转换涉及一些复杂情况，处理过的照片中的多个像素会作用于(contribute to)单个像素，但处理过的照片中的某些像素可能完全不会受到该作用。也可以使用逆向转换，但对于透视校正来说，计算的要求更高，因此实施正向映射是优选的。

在正向转换中，所获照片经过扫描，且为每一点都计算出了新坐标。然而，为了将转换后的照片用尺寸相同且每个像素在某色彩空间中都具有单一值的像素的规则阵列以标准数字格式表示，转换后的照片需要得到更多的处理。仅将各像素(x,y)重新定位到其新位置(x’,y’)，会创造出具有更多重叠像素(多源像素)的点和具有无像素的黑点(洞)的图片。

对于x和y为整数值的每个源像素P_(x,y)，在处理过的照片中的坐标：x’和y’为十进制值。这些坐标可被表示为整数值(i,j)加上小数部分(δ_xδ_y)。

x’＝i+δ_x

y’＝j+δ_y

首先，像素值P_(x,y)被分配给处理过的照片中像素阵列内的像素，这在有关图4的内容中得到说明。P_(x,y)’s是目标照片中的像素值，X’s是处理过的照片中具有像素值P_(i,j)的像素(i,j)的中心。对于每个计算出的新位置，相应的像素值会作用于处理过的照片中附近像素的像素值。在优选实施方式中，其如下实现。

对于所获照片中的每个像素，通过将相应像素值P_(x,y)与校正后的照片中距新位置最近的四个像素的新像素值P_(i,j)相加，来确定新像素值。相加时，像素值P_(x,y)被权重因数加权，该权重因数是新位置(x’,y’)和像素(i,j)的相对位置的函数，从而得到双线性插值，如图4所示：

P_(i,j)→P_(i,j)+P_(x,y)*(1-δ_x)*(1-δ_y)

P_(i+1,j)→P_(i+1,j)+P_(x,y)*δ_x*(1-δ_y)

P_(i,j+1)→P_(i,j+1)+P_(x,y)*(1-δ_x)*δ_y

P_(i+1,j+1)→P_(i+1,j+1)+P_(x,y)*δ_x*δ_y

因此，在处理过的照片中，原始像素值的加权值在各像素中累积。为了使处理过的照片中的新像素值归一化，每个像素值后续需除以归一化因数。

在实际应用中，创造出了“照片累积缓冲区(Photo accumulated buffer)”。首先，其由0’s填充，且每次当像素值P_(x,y)在处理过的照片中作用于像素P_(i,j)时，就在该缓冲区内计算P_(x,y)的加权值的总和。同时，在“加权缓冲区”内计算加权因数(例：(1-δ_x)*(1-δ_y))的总和。一旦完成了正向映射，每个来自照片累积缓冲区的像素都除以加权缓冲区的加权因数，以生成“加权后透视校正过的照片”。这解决了处理过的照片中的某些像素会通过正向映射从所获照片中的多个像素中得到信息的问题。

在上述内容中，在周围像素中累积所获像素值使用的是双线性内插和加权因数δ_x*δ_y。然而，分配所获照片的像素值的其他方法、因而其他加权因数是可行的，且也可以使用其他诸如双三次或样条插值的内插法。

加权后透视校正过的照片可能包括“洞(holes)”，即所获照片中没有像素作用于此像素值，因此该像素值是未确定的。为了填补洞，基于校正后的照片中的周围像素，为具有未确定值P_(i,j)的像素计算具有确定值P_(i,j)的内插像素值。在优选实施例中，扫描了加权后透视校正过的照片，每次找到洞，就根据来自该有效像素的反距离加权法(IDW)来计算该像素的内插值。更多有关IDW的信息可见如http://en.wikipedia.org/wiki/Inverse_distance_weighting的网页。

因为洞的尺寸是未知的，所以距最近的确定像素值的距离也是未知的。为了保证快速处理且避免未填充的洞，可使用自适应内核尺寸，如图5A-C所示：在图5A和5B中，使用了3x3的内核，在图5A中，可从周围6个具有确定像素值的像素中用IDW计算得出有源像素的值，即洞的值。然而在图5B中，周围像素不为IDW提供数据，因此得不到有源像素/洞的确定值，且必须增加内核尺寸，例如增加到图5C中的5x5内核。这里，有源像素/洞的值可从周围10个具有确定值的像素中用IDW计算得出。

如果洞对于像素内插来说太大了，填补洞也可通过纹理映射来完成。例如，对于自拍照，鼻子的侧面可成一种区域，在距离增大时在该区域中得到缺失的多边形，在此种情况下，可使用皮肤纹理映射。

图6示出了透视校正方法的全过程。

正如前面提到的，深度图自身为单通道图像，其全部像素值都是深度，该深度图也可通过与场景照片相同的转换过程和步骤来得到校正。实际和虚拟相机位置之间的位移C可在转换后被增加到各深度/像素值中。校正后的深度图与校正后的照片相关，将场景不同部分的距离提供给虚拟相机位置的图片平面。

自拍照应用

本发明的优选实施例涉及自拍照中的透视校正。自拍照，就其本质而言，是以近距离拍摄的照片，例如使用手机(最远距离通常是臂长)或笔记本电脑或平板电脑的内置相机或摄像头拍摄的照片。这些近距离照片最经常出现透视畸变——面部靠近相机，且相机与最近部分(鼻子)的距离和相机与最远部分(耳朵)的距离之间的比值很大。

因此自拍照典型适合自动透视校正技术，且为了挑选可从前述透视校正技术中受益的照片，透视畸变的自动检测与评估可与模式识别相结合，以检测发生在人脸上的施加于深度图的深度差异。

而且，在自拍照中，背景(拍摄自拍照的人身后的部分场景)可用深度图信息来确定。因此，在优选实施例中，本发明所述的方法涉及通过分析深度图来对照片中的一个或多个前景物体和背景进行检测，从而识别在深度上变化很快的范围和至少部分轮廓被此种范围勾勒出的区域，具有较小平均深度的区域被识别为前景物体，具有较大平均深度的区域被识别为背景。在可选择的实施方式中，该方法可涉及通过分析深度图来对照片中一个或多个前景物体和背景进行检测，从而将深度小于300cm(例如小于200cm、150cm或100cm)的区域识别为前景物体，并且将具有较大深度的区域识别定义为背景。

检测过照片的背景和前景部分后，可在保留前景物体的情况下，用其他图像内容(照片、绘画、图形或其中的任何组合)来替换背景。

技术实施方式

本发明可通过硬件、软件、固件或其中任何组合来实施。本发明或其某些特点也可实施为运行于一个或多个数据处理器和/或数字信号处理器中的软件。也可将图6视为描绘了本发明第二方面所述的计算机程序产品的实施例的操作概述的系统原理框图。本发明硬件实施例的单个元素可物理地、函数地和逻辑地以任何适当方式实施，例如在单个单元中、在多个单元中或作为独立功能单元的一部分实施。本发明可在单个单元中实施，或物里地且函数地分散在不同单元和处理器中。

本发明的第三方面所述的集成电路可以是一般的在系统编程(ISP)、微处理器或特定用途集成电路(ASIC)或其中的某部分。这可能是有利的，尤其是对于本发明的第四方面所述的带有相机的手持或便携式设备来说，对于这些设备，较低的成本、功耗、重量、体积、热生成量等非常重要。带有相机的手持设备包括数码相机、移动电话、平板电脑、mp3播放器等。带有相机的便携式设备包括例如笔记本电脑。

虽然本发明联系具体实施例得到说明，但本发明不应理解为以任何方式局限于所呈现的示例。本发明的范围将按照所附权利要求书来解读。在权利要求书的语境中，术语“包括”或“包含”不排除其他可能的要素或步骤。而且，提到诸如“一(a)”或“一(an)”等用语不应被理解为排除复数形式。在权利要求书中使用与附图所示元素有关的附图标记，不应被理解为限制本发明的范围。此外，不同权利要求中提到的个体特点，可得到有利的结合，且在不同的权利要求中提到这些特点，不会排除这些特点的结合体的可能性和有利性。

Claims (11)

1.一种在利用相机记录的场景的数码照片中自动执行透视校正的方法，所述方法包括以下步骤：

·仅使用具有单获取位置的单相机，

·对于像素(x,y)的阵列，提供由像素值P(x,y)代表的场景数码照片，所述照片涉及透视畸变效应；

·提供与所述照片有关且包括深度d(x,y)的深度图，对于所述像素阵列中的每个像素，所述深度d(x,y)是指由所述像素代表的场景的一部分与获得照片时相机的获取位置之间的距离；和

·使用来自所述单相机和获取位置的所述场景的照片及其相关深度图作为由相机记录的仅有的输入来执行对所述照片的透视校正，即对于照片中的每个像素(x,y)，至少根据所述像素在所述获取位置的图像平面中的深度d_acq(x,y)、其位置D_acq(x,y)以及虚拟相机位置和所述获取位置之间沿相机光轴的线性位移C，来确定所述虚拟相机位置在图像平面中的新位置D_proc如下：

2.根据权利要求1所述的方法，其中执行透视校正的步骤进一步包括：还使用参考平面的深度d_{acq_ref}来调节新位置的放大率，所述参考平面被选出用来保持所述深度图的选定平面的放大率。

3.根据权利要求2所述的方法，其中执行透视校正的步骤包括如下确定新位置：

4.根据权利要求1所述的方法，其中执行透视校正的步骤进一步包括：使用所述像素值P_(x,y)和所述新位置(x’,y’)来为像素(i,j)的阵列确定新像素值P_(i,j)，通过将相应的像素值P_(x,y)与新位置周围的像素(i,j)的新像素值P_(i,j)相加，来为每个新位置(x’,y’)描绘校正后的照片，其中使用作为新位置(x’,y’)和每个像素(i,j)的相对位置的函数的权重因数对像素值P_(x,y)进行加权。

5.根据权利要求4所述的方法，进一步包括：随后，用每一新像素值P_(i,j)除以归一化因数。

6.根据权利要求4或5所述的方法，进一步包括：随后，对于具有未确定值P_(i,j)的新像素，根据校正后的照片中的具有确定值P(i,j)的周围像素计算内插像素值。

7.根据权利要求1所述的方法，其中提供照片和提供深度图的步骤包括提供一系列照片及其相关的深度图；其中所述方法进一步包括下述步骤：基于场景中最近物体的距离或基于对没影直线的分析，来检测和评估照片中的透视畸变；挑选将从透视校正中获益的具有透视畸变的照片；和在选定照片中自动执行透视校正。

8.根据权利要求1所述的方法，进一步包括：也对深度图执行透视校正，即对于深度图中的每一像素(x,y)，至少根据所述像素在获取位置的图像平面中的深度d_acq(x,y)、其位置D_acq(x,y)以及虚拟相机位置和所述获取位置之间的位移C，确定所述虚拟相机位置在图像平面中的新位置D_proc。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以执行权利要求1所述的方法。

10.一种集成电路，所述集成电路被配置以执行权利要求1-8中任一权利要求所述的方法。

11.一种带有相机的手持或便携式设备，包括根据权利要求9所述的计算机可读存储介质或根据权利要求10所述的集成电路。

Images