CN104412298A - 用于变换图像的方法和设备 - Google Patents

Abstract

在第一方面，提供了变换表示风景视图的第一图像的方法。方法包括获得第一图像以及通过减少第一图像的信息密度而获得减少的第一图像。方法还包括获得对于风景的图像参考，该图像参考包括对于第一参考位置处的第一参考特征的第一参考；以及识别在第一减少的图像中的第一图像位置处的风景的第一图像特征。将第一参考特征与第一图像特征匹配，如果第一参考特征匹配于第一图像特征，则通过计算从第一参考位置到第一图像位置的特征的移位来计算图像变换。随后，通过使用从减少的图像估计的但是被修正到原始标度的变换参数来应用图像变换到第一图像，从而获得经变换的第一图像。

Description

用于变换图像的方法和设备

技术领域

各个方面涉及图像或图片的变换，其变换的图像或图片可被合并。

背景技术

为了获得高动态范围图像，可拍摄多个图片。使用不同的图像传感器灵敏度、不同的快门时间、不同的光圈、其它的或它们的组合来拍摄这些图片。随后，这些图片被合并。因为照相机可在拍摄各种图片期间移动，因此标准的一对一的合并会导致人为缺陷(artifact)。可通过更新拍摄的图片抵消照相机的移动。

US 2009/0067752 A1公开了一种图像注册方法、介质和设备，其获取第一和第二图像，通过执行子采样分别生成基于第一和第二图像的第一和第二图像金字塔，该子采样减少了第一和第二图像的每一个的长度和宽度的一半，以及基于属于对应等级的两幅图像确定五个方向中的一个作为对于第一和第二图像金字塔的当前等级的最优的移动方向，基于对于该当前等级的最优移动方向更新对于该当前等级的运动向量，并且基于对于该当前等级的该更新的运动向量更新属于在该当前等级正下方的等级的第一图像，其中该更新包含为该第一和第二图像金字塔的多个等级的每一个以从最高等级到最低等级的顺序更新运动向量。

发明内容

优选提供更高效和精确的变换图像的方法。

在第一方面，提供一种变换表示风景的视图的第一图像的方法。该方法包括获得该第一图像以及通过将该第一图像的信息密度减小到预定因子分之一来获得减小的第一图像。该方法进一步包括获得对于该风景的图像参考，该图像参考包括对于位于第一参考位置处的第一参考特征的第一参考；以及在该第一减小的图像中的第一图像位置处识别该风景的至少一个第一图像特征。将该第一参考特征与该第一图像特征进行匹配，以及如果该第一参考特征匹配于该第一图像特征，通过计算从该第一参考位置到该第一图像位置的该特征的移位来计算第一图像变换。随后，通过应用该第一图像变换到该第一图像的至少一部分获得经变换的第一图像。

通过减小拍摄的图片的信息密度，自动特征检测算法会检测更少的特征，减少用于匹配特征与确定变换所需的计算能力。自然，其中可以得到好的折衷办法：少量信息减少仍会导致很多被识别的特征。过多的信息减少可能不会留下足够的用于匹配和计算该变换的特征。

进而，通过应用该变换到拍摄的真实图片，而不是到放大的、部分或者已被变换的图片、和/或以其它方式处理的图片，该变换的图片比根据已知的方法变换时更加精确。

在该第一方面的一实施方式中，该第一变换是单应变换。

单应变换是相对简单的变换，其可以被高效缩放。

在该第一方面的另一实施方式中，该单应变换被以接下来的第一等式表示：

$\left[\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -x_i^{\′}{x}_i& -x_i^{\′}{y}_i& -x_i^{\′}\\ 0& 0& 0& x_i& y_i& 1& -y_i^{\′}{x}_i& -y_i^{\′}{y}_i& -y_i^{\′}\end{array}\right]\·{\left[\begin{array}{ccccccccc}{h}_1& h_2& h_3& h_4& h_5& h_6& h_7& h_8& h_9\end{array}\right]}^T=\left[\begin{array}{c}0\\ 0\end{array}\right].$

这也由A·h＝0表示，h是该减小的单应矩阵。在这个等式中，x和y是该第一图像位置的坐标，并且x′和y′是该第一参考位置的坐标；以及计算该第一图像变换包括计算h作为具有最小特征值的A^TA的特征向量。

在这种方式中，该单应可被以快速和高效的方式计算。

该第一方面的进一步的实施方式包括识别在该第一减小的图像中的第二图像位置处的该风景的第二特征，在该第一减小的图像中的第三图像位置处的该风景的第三特征，以及在该第一减小的图像中的第四图像位置处的该风景的第四特征。在这个实施方式中，该图像参考包括对于在第二参考位置处的该第二特征的第二参考，对于在第三参考位置处的该第三特征的第三参考，以及对于在第四参考位置处的该第四特征的第四参考；以及该单应变换由接下来的第一等式表示：

$\left[\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -x_i^{\′}{x}_i& -x_i^{\′}{y}_i& -x_i^{\′}\\ 0& 0& 0& x_i& y_i& 1& -y_i^{\′}{x}_i& -y_i^{\′}{y}_i& -y_i^{\′}\end{array}\right]\·{\left[\begin{array}{ccccccccc}{h}_1& h_2& h_3& h_4& h_5& h_6& h_7& h_8& h_9\end{array}\right]}^T=\left[\begin{array}{c}0\\ 0\end{array}\right].$

在这个等式中，x和y是该第一、第二、第三或第四图像位置的坐标，并且x′和y′分别是该第一、第二、第三和第四参考位置的坐标，该图像位置和该参考位置的坐标形成第一位置对、第二位置对、第三位置对和第四位置对。进而，在这个实施方式中，计算该第一图像变换包括：将该些因子h1、h2、h3、h4、h5、h6、h7、h8或h9中的一个设置为预定值；以及利用该第一位置对、第二位置对、第三位置对和第四位置对的值求解该第一等式。

利用至少四对匹配特征的位置对，单应矩阵的元素可被唯一地找到。利用多于四对，这会是个近似，但是它允许找到最优解。

在该第一方面的又一实施方式中，获得该减小的第一图像包括在水平和竖直方向上以预定的采样因子下采样该第一图像。该方法进一步包括：通过接下来的公式从该减小的单应矩阵计算全尺寸单应矩阵，其中k是该预定采样因子：

$H_{\mathrm{full}}=\left[\begin{array}{ccc}{h}_1& h_2& \frac{1}{k}{h}_3\\ h_4& h_5& \frac{1}{k}{h}_6\\ k\·h_7& k\·h_8& h_9\end{array}\right].$

还是在这个实施方式中，应用该第一图像变换到该第一图像包括对于每一个第一图像像素位置坐标向量x，根据接下来的公式计算第一经变换的像素坐标向量x′：

λ·x′＝H_full·x，其中

$x=\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],x^{\′}=\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right];$ 以及

λ是预定的缩放因子，x是该第一图像的像素的x坐标，y是该第一图像的像素的y坐标，x′是该经变换的第一图像的像素的x坐标以及y′是该经变换的第一图像的y坐标。

基于减小的图像计算的单应变换可能并不总是被一到一地应用在真实图片上。利用这个实施方式，将要应用到大图像的变换可被高效计算。

λ是预定的缩放因子，其值可被任意选择。另外，同样的值可被用在每次操作中。

该第一方面的又一个进一步实施方式包括计算在该第一图像位置与该第一参考位置之间的二维距离；以及如果该二维距离高于预定距离阈值，则丢弃用于计算该第一图像变换的该第一图像位置和该第一参考位置。

利用这个实施方式，该匹配步骤所需的处理能力可大大减少。如果在该第一图像位置和该第一参考位置之间的距离太大，即比预定距离阈值大，则两者特征会匹配是不太可能的。因此，对于这些特征跳过该匹配步骤，并且该匹配过程可继续使用在该第一图像中剩余的特征，以及然后利用匹配另一特征对，即检查是否该图像参考和该第一减小的图像的两个其它特征形成一对。

第二方面提供合并分别表示风景的第一视图和第二视图的第一图像和第二图像的方法。该方法包括获得该第一图像和该第二图像。该方法进一步包括通过减小该第一图像的信息密度获得减小的第一图像并且通过减小该第二图像的信息密度获得减小的第二图像。该方法还包括根据该第一方面及其实施方式的用于以该减小的第二图像作为该图像参考变换该第一图像、以及合并该第一经变换的图像和该第二图像的方法。

根据该第一方面及其实施方式的该方法非常适用于为后面的合并处理变换图像，例如为获得HDR或高动态范围图片。

在第三方面，提供了用于变换表示风景的视图的第一图像的模块。该模块包括：用于接收该第一图像的接收器；用于获得对于该风景的图像参考的参考输入，该图像参考包括对于位于第一参考位置处的第一参考特征的第一参考；处理单元。该处理单元被配置为通过将该第一图像的信息密度减小到预定因子分之一来获得减小的第一图像；在该第一减小的图像中的第一图像位置处识别该风景的至少一个第一图像特征；将该第一参考特征与该第一图像特征进行匹配；如果该第一参考特征与该第一图像特征匹配，则通过计算从该第一参考位置到该第一图像位置的该特征的移位计算第一图像变换；以及通过应用该第一图像变换到该第一图像的至少一部分来提供经变换的第一图像。

这种模块非常适用于实现根据该第一方面的方法。

在第四方面，提供了合并分别表示该风景的第一视图和第二视图的第一图像和第二图像的设备。该设备包括用于接收该第一图像和第二图像的图像接收器；用于通过减小该第二图像的信息密度获得减小的第二图像的数据减小电路；根据第三方面的用于以该减小的第二图像作为该图像参考变换该第一图像的模块；用于合并该第一经变换的图像和该第二图像的图像合并电路。

第五方面提供了一种计算机程序产品，包括用于编程计算机以使该计算机能够执行根据该第一方面及其实施方式的任一方法的计算机可执行指令。

附图说明

现在将结合附图对该各个方面及其实施方式进行更详细讨论。在这些附图中，

图1：示出电子照相机；

图2A：示出以稍微不同的照相机角度拍摄风景的图片；

图2B：也示出以稍微不同的照相机角度拍摄风景的图片；

图3：示出更详细的该电子照相机；

图4：示出流程图；

图5A：示出三幅图像将被拼接以形成全景视图图像；

图5B：示出全景视图图像；以及

图6：示出图像处理服务器。

具体实施方式

图1示出电子相片照相机100的示意图。照相机100包括透镜模块102、快门模块104、图像捕捉电路106和处理单元120。通过对象发射和/或反射的光通过透镜模块102进入照相机。透镜模块102聚焦所接收的光以在图像捕捉电路106上提供清晰图像。为了这个目的，透镜模块102可包括一个或多个透镜，在包括多个透镜的情况下在它们之间具有可变化的距离以改善聚焦或放大图像的一部分。图像捕获电路106可以是CCD传感器、MOS光敏传感器或任何其它的光敏图像捕捉电路。

可在透镜模块102和图像捕捉电路106之间提供快门模块104。能够以快速的方式捕捉图像的图像捕捉电路是可用的。然而，对于特定照片，如在运动中的，可能需要较快的图像捕捉时间，其可通过用于提供较短曝光时间的可选的快门模块104提供。与该图像感测电路106的增强的灵敏度相结合，较短的曝光时间导致清晰和良好曝光的风景图像。

为了提供具有广阔亮度动态范围的良好平衡的风景曝光，可利用图像包围的原理。使用快门模块104的不同快门速度和/或图像捕捉电路106的不同灵敏度从风景拍摄多幅图片。来自于不同图片的信息随后用于提供具有广阔亮度范围的一个单幅图片。该最终的图片通常通过合并所拍摄的图片获得。当拍摄图片时，照相机100的位置可能发生变化。这尤其是当个人手持该照相机100时，而不是被置于三脚架上的情况。在图2A和图2B中指示了这种情况。

在图2A中，照相机100被置于第一照相机角度100′。使用该照相机拍摄第一图片210和第二图片220以用于包围过程。从包括点X的风景拍摄图片。这导致在第一图片210上的点x和在第二图片220上的点x′。在拍摄第一图片210和第二图片220之间，照相机100轻微围绕照相机100的光学轴101转动。这导致点x位于第一图片210的第一位置处，该第一位置不同于点x′位于第二图片220上的第二位置。

在图2B中，照相机100置于第一照相机角度100″以拍摄第一图片230。在拍摄第一图片230和拍摄第二图片240之间的间隔中，照相机100从第一照相机角度100″动到第二照相机角度100″′。在第一照相机角度100″和该第二照相机角度100″′两者中，从风景平面250中的点X拍摄图片。由于照相机100的移动，点X产生在第一图片230上的第一位置处的点x和第二图片240上的第二位置处的点x′并且第一位置不同于第二位置。

由于点X在不同的拍摄图片上投影至不同位置，所以，适当合并所拍摄的图片以形成一个最终的图片比仅仅取位于同一位置的像素的平均值或对于该最终图片中的对应位置从图片中的任一个获取像素值要难得多。通过仅仅在图片的特定位置取平均的简单合并会意味着x′和x″会出现在最终图片中的两个位置处，因此最终图片会包括点X的两个图像。为了避免该情况，第一图片210、第二图片220或两者必须在合并图片前被变换。

在由图2A和图2B描绘的场景中，通过单应变换的方式，在第一图片中的点x的变换让它自己变换到在第二图片中的点x′。图3以更详细的方式示出照相机100，特别是处理变换、合并以及可用于全包围操作(包括该合并)的其它处理操作的部件。

处理单元120包括缩放电路124、识别电路126、特征匹配电路128、变换计算单元130、变换电路132和合并电路134。处理单元120进一步包括用于接收图像数据的数据接收单元122、用于与正在工作的存储器108通信的第一存储器通信单元136以及用于与存储图像数据的大容量存储存储器110通信的第二存储器通信单元138。处理单元120的各个单元可以是硬连线或软连线的。这意味着处理单元120可制造成执行各个操作或处理单元120可编程为执行各个操作。在后一种情形中，可通过如存储在正在工作的存储器108中的计算机可读和可执行的指令107来编程处理单元120。

现在将结合由图4提供的流程图400描述的过程讨论处理单元120和照相机100的其它部件的功能。过程始于起点402。随后，在步骤404中借助于图像捕捉电路106拍摄图片。备选地，以另一种方式获取图片。在步骤406中，判断已拍摄的图片是否足以执行意欲操作。尤其是在必须拍摄两个或多个图片的情况下(其中图片必须合并)，拍摄更多的图片。备选地，仅当关于可能可用的预先确定的参考需要计算单个拍摄图片的变换时，一个图片可能是足够的。

如果已拍摄足够的图片，则在步骤408中下采样所拍摄的图片以减小这些图片的信息密度。可通过由一个减小的像素替换2×2的像素块来执行这种下采样。该减小的像素的图像值是在该2×2的像素块中的四个像素的值的平均，因此例如红、绿和蓝值的平均。备选地，3×3、4×4、或者甚至更大的像素块可被平均。这种下采样的方式从处理的角度看是非常简单的。也可使用备选下采样方法，包括加权平均、内插等。

在该图片已被下采样以获得减小的图片后，在步骤410中获得图像参考。在已经获得多个图片的优选实施方式中，其中一个拍摄的图片被定义为参考图像。这可以是减小或下采样的图片。备选地，可拍摄另一个图像参考。在涉及地图数据的图片中(因为例如它是航拍图片)可仅仅使用参考点而不是参考图像作为图像参考来完成变换。在特定区域中，在具有较好记录的位置并可从航拍照片中良好标识的领域中的例如道路或其它地方上提供标记。在那种情况下，匹配该参考位置与在该减小的图片中被识别的地标或灯标。

一旦已经识别出对于由减小的一幅或多幅拍摄的图片描述的该风景的该图像参考，在步骤412中识别特征。在该图像参考中和在该(其它)减小的拍摄的一幅(多幅)图片中识别特征。这些特征可是角落的区域、类似斑点的区域、均匀的区域、其它或它们的组合。用于识别和描述特征的高效工具是可用的，如SIFT和SURF。通过使用这些工具的特征识别，该些特征也可关于该特征的位置、尺寸、颜色值等存档。

为了匹配，在一个实施方式中，有关将变换到该图像参考的图片的减小的图片的特征与每个参考特征相比以查找匹配，其参考特征在步骤414中进行选择。这种操作可能耗费很多计算工作，即使是对于下采样的图片。在另一个实施方式中，在步骤416中，首先比较在将要变换的图片中的特征的位置与参考特征的位置并且计算距离或移位。对于这个实施方式，将通过该特征识别算法生成特征的位置。如果这样计算的距离高于预定的距离阈值(其在步骤416中测试)，则利用测试下一个特征继续该查找。如果没有距离低于该阈值，则在步骤440中对于该匹配操作丢弃该参考特征，并且在步骤414中选择另一个参考特征。

在步骤420中，利用选择的参考特征和图像特征，通过特意比较该特征和该特征的描述符以匹配这些特征。如果对于该减小的图片和该图像参考两者该特征描述符非常接近或彼此相等、以及具有在预定特征差别范围之内的差别时，图像特征与参考特征匹配。这个描述符可以是位置、颜色、色度、特征的尺寸、特征的形状、其它或它们的组合。匹配的特征和尤其是它们在该图像参考和将要变换的减小的图片中的位置被关联和存储以在后面使用。

在步骤422中，测试是否在将要变换的图片的减小的图片中的所有识别的特征已被匹配或至少已被为了匹配而被评估为匹配。如果没有，则该处理分支回到步骤412。备选地或另外，检测是否所有的减小的图像已被处理。如果所有的特征和/或图片已被评估并且至少一些参考特征和图像特征对已被设置，则该处理继续到步骤424以计算变换，该图像必须经历这个变换以与它的识别的特征一起符合已匹配该识别的特征的该图像参考和该参考特征。

参考图2A和通过将该第一图片210的减小版本作为参考图像，这意味着在该第二图片220中从以x′标识的点到以x标识的点计算变换。两者都表示从中拍摄照片的该风景中的该点X并假定已匹配为一对。尤其是，利用表示该风景的点X的图片的不同的图像位置，可通过单应变换表示这个变换。由图2B描述的场景也是这种情况。

现实生活的情况通常不会这么理想，但是可通过两种场景的情况良好地近似。因此，计算因子以执行单应变换。在齐次坐标中单应变换被表示为3×3的矩阵H。假定在第一图片210的该减小版本中的x和在第二图片220的该减小版本中的x′是一对匹配的点，以及λ是任意的或预定的缩放因子，则该单应变换表示为：

λ·x′＝H_3x3·x，

其还可以表示为：

$\mathrm{\λ}\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right].$

通过消掉该缩放因子λ，一对匹配的点给出两个等式：

$\left[\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -x_i^{\′}{x}_i& -x_i^{\′}{y}_i& -x_i^{\′}\\ 0& 0& 0& x_i& y_i& 1& -y_i^{\′}{x}_i& -y_i^{\′}{y}_i& -y_i^{\′}\end{array}\right]\·{\left[\begin{array}{ccccccccc}{h}_1& h_2& h_3& h_4& h_5& h_6& h_7& h_8& h_9\end{array}\right]}^T=\left[\begin{array}{c}0\\ 0\end{array}\right].$

具有n对匹配的点，这样得到：

A·h＝0

其中A是包括匹配的点的坐标的2n×9矩阵以及h是3×3单应矩阵H的9×1列向量。这是个标准的单应方程组，其可通过在线性代数中建立的方法解出。尤其是，这个方程组可被看作目的在于将‖Ah-0‖²最小化的最小二乘问题。作为该方程组的解，通过作为特征向量A^TA的SVD给出h。

虽然在两个等式中有9个未知数，但作为该矩阵H的9个元素，只有8个自由度，因为坐标是单应的。因此，设置该元素中的一个为1或另一个任意或预定值是可能的。具有8个未知数，至少需要4对匹配的点对以唯一地解出该单应矩阵H的该些元素。在现实生活的情况中，将会有大量的远多于4对的被检测和匹配的特征对，这意味着最小二乘问题将会被解出。这允许将要计算的最好的近似值。

尤其是已计算该变换和该单应矩阵的该些元素，该过程继续到步骤426以放大该变换。因为使用的是减小的图片中的数据而不是实际拍摄的图片的数据计算该变换，因此必须放大所计算的变换。在已经讨论的场景中(其中拍摄的图片已在水平和竖直方向缩小到二分之一)，在第一图片210中的x、在第二图片220中的x′和所计算的单应矩阵H之间的关系是：

$\mathrm{\λ}\left[\begin{array}{c}{2x}^{\′}\\ 2y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]\left[\begin{array}{c}2x\\ 2y\\ 1\end{array}\right],$

其可被变换为：

$\left[\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -x_i^{\′}{x}_i& -x_i^{\′}{y}_i& -x_i^{\′}\\ 0& 0& 0& x_i& y_i& 1& -y_i^{\′}{x}_i& -y_i^{\′}{y}_i& -y_i^{\′}\end{array}\right]\·{\left[\begin{array}{ccccccccc}{h}_1& h_2& \frac{1}{2}{h}_3& h_4& h_5& \frac{1}{2}{h}_6& 2h_7& 2h_8& h_9\end{array}\right]}^T=\left[\begin{array}{c}0\\ 0\end{array}\right].$

这个等式迁就接下来的在对于实际拍摄的图片的变换的单应变换矩阵H_full和基于减小的图片计算的单应矩阵的元素之间的关系：

$H_{\mathrm{full}}=\left[\begin{array}{ccc}{h}_1& h_2& \frac{1}{k}{h}_3\\ h_4& h_5& \frac{1}{k}{h}_6\\ 2h_7& 2h_8& h_9\end{array}\right].$

在步骤426中，通过放大该变换和在这个实施方式中尤其是放大该单应矩阵，拍摄的图片并且在合并的情况下，尤其是没有被设置为参考的图片，在步骤428中被变换。该变换在该实施方式中是单应变换以及该输入和输出位置是具有像素颜色值(如RGB值)的像素的位置。

在一个实施方式中，其中图片将被合并，例如合并为HDR图像(高动态范围图像)，该过程继续到合并步骤430。最后，该过程结束于终止符432。

流程图400的各个步骤可通过该处理单元120的电路执行。尤其是，缩放电路124被布置用于缩放图片，包括放大和缩小。识别电路126被布置来识别在图像参考和图像中的特征(全尺寸的或者是缩小尺寸的)。特征匹配电路128被布置来从图片特征到参考特征匹配所识别的特征。

变换计算电路130被布置来基于所匹配的特征计算图像变换，以及尤其是为单应变换计算因子。然而，变换计算电路130也可被布置来通过编程处理单元120执行其它类型的图像变换以对齐特征。变换电路132被布置来根据由变换计算电路130计算的变换来变换图像。

合并电路134被布置来合并两个或多个图片到一个最终的图片。这可通过多种方式实现：通过简单地取像素值的平均、通过取加权平均、通过获取仅仅一个图片的像素的颜色值、内插、外插、其它或者它们的组合。

迄今，已经讨论了合并图像以为了获得高动态范围的图像的目的。为了那个目的，图像被全部或者至少对于它们的区域的非常实质的部分与其它图像合并。然而，借助于流程图400表示的过程以及其全部变形也可用于图像拼接以形成广阔的提供全景视图的图片。

为了拼接，由流程图400描绘的过程可应用于全部图像和/或它们的仅仅一部分。图5A示出第一图片510、第二图片520和第三图片530。这三幅图片的每一个描绘了广阔全景风景的一部分，具有小的包括实质上相同的视觉信息的重叠区域。

第一图片510包括第一右区域512，其包括实质上与第二图片520的第二左区域522相同的视觉信息。第二图片520也包括第二右区域524，其包括实质上与第三左区域534相同的视觉信息。第一右区域512在第一位置540处示出第一特征以及第二左区域522在第二位置540′处示出第一特征。第二右区域524在第三位置550处示出第二特征以及第三左区域在第四位置550′处示出该第二特征。

为了提供如图5B描绘的那样的全景图像560，特征检测操作、特征匹配操作、变换计算操作和变换操作也应用于第二图片520，利用第一图片510作为参考。在第一位置540和第二位置540′处的第一特征可用于计算该变换。这些步骤可应用于第二图片520的整个区域。备选地，这些步骤可仅仅应用于第二左区域522。优选地，与后面的备选一起，通过如内插等平滑措施尽可能阻止在第二左区域522和第二图片520的其它区域之间的瞬态效应。

在一个实施方式中，全部第二左区域522被提交到如由图4的流程图400描述的步骤，以及第二左区域522的正右侧，图像数据以超过预定的区域(例如第二左区域522的宽度)内插于第二左区域522和第二图片520的其余区域之间。利用内插意味着数据很少以及相比较于第二左区域522的全面变换的更少的变换。该转变可以是线性的、平方的、其它或它们的组合。在另一个实施方式中，该转变已经开始于第二左区域522。在另一个实施方式中，在第二图片520中在第二左区域522之外的数据不会被变换。

随后，第一图片510和第二图片520被合并。为了合并第二图片520和第三图片530，可进行同样的过程。在这个方式中，全面或部分变换的第三图片530与第一图片510和第二图片520合并以创建全景图像560。

迄今，图4的流程图400描述的过程和它的变形在其中被实现的设备已被表示为由图1所示的照相机100以及它的变形。该过程也可被从拍摄该图片的位置和/或从存储该图片的位置远程地实现。图6示出图像处理服务器600。图像处理服务器包括照相机100(图1)的处理单元120，被以如在照相机100中同样的方式布置，以及被布置为不同的配置，例如用于计算其它变换而不是单应变换。在这种情况中，处理单元120可借助于如存储正在工作的存储器108中的计算机可读和可执行指令107被编程。

图像处理服务器600进一步包括服务器网络接口112以通过网络150与移动数据传送基站152和个人计算机170通信。图6进一步示出进一步的电子照相机160，它包括用于通过移动数据传送基站152与图像处理服务器通信的收发单元162。进一步的电子照相机160被布置来发送由进一步电子照相机160拍摄并存储的图片到图像处理服务器600以用于变换和在想要的情况下合并图片。结果图片可被存储在图像处理服务器600的大容量存储存储器110中或发送回进一步的电子照相机160。

在图像处理服务器600和个人计算机170之间的通信的实现基本上与个人计算机170被布置来发送在个人计算机170中存储的图片到图像处理服务器600以用于变换和在想要的情况下合并图片的方式相同。结果图片可存储在图像处理服务器600的大容量存储存储器110中或发送回个人计算机170。

当解释说明书和它的相关权利要求时，词句如“包含”、“包括”、“含有”、“内含”、“是”和“具有”被构建以非排他的方式，即被构建以允许其它未被明确定义的项或组件也可被提供。单数形式的参考也可被以作为复数形式构建，反之亦然。当数据被称作视听数据时，除非在该实施方式的说明书中明确指示，否则它可仅仅表示音频、仅仅表示视频、或者仅仅表示静态图片、或者它们的组合。

在上面的说明书中，可以理解的是当元素，如层、区域或基底被称为“在其之上”、“到其之上”或“连接到”另一个元素时，该元素或者直接在其之上、或者连接到另一个元素、或者介于中间的元素也可被提供。

进而，本发明也可利用比这里描述的实施方式提供的更少的组件来实现，其中一个组件实现多个功能。同样，本发明也可利用比附图中描述的更多的组件实现，其中由该提供的实施方式中一个组件实现的功能被分布到多个组件。

本领域技术人员会易于意识到在本说明书中公开的各种参数可被修改以及公开的和/或要求保护的各个实施方式可被组合而不背离本发明的范围。

规定在权利要求书中的附图标记不会限制权利要求的范围，而是被仅仅插入以提升权利要求的可读性。

Claims (13)

1.一种变换表示风景视图的第一图像的方法(400)，包括：

-获得(404)所述第一图像；

-通过将所述第一图像的信息密度减小到预定因子分之一来获得(408)减小的第一图像；

-获得(410)对于所述风景的图像参考，所述图像参考包括对于第一参考位置处的第一参考特征的第一参考；

-在第一减小的图像中的第一图像位置处识别(412)所述风景的至少一个第一图像特征；

-匹配(420)所述第一参考特征到所述第一图像特征；

-如果所述第一参考特征与所述第一图像特征匹配，则通过计算从所述第一参考位置到所述第一图像位置的所述特征的移位来计算(424)第一图像变换；以及

-通过应用所述第一图像变换到所述第一图像的至少一部分来获得(428)经变换的第一图像。

2.根据上述权利要求的任一项所述的方法(400)，其中所述第一变换是单应变换。

3.根据权利要求2所述的方法(400)，其中所述单应变换由以下第一等式表示：

$\left[\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -x_i^{\text{'}}{x}_i& -x_i^{\text{'}}{y}_i& -x_i^{\text{'}}\\ 0& 0& 0& x_i& y_i& 1& -y_i^{\text{'}}{x}_i& -y_i^{\text{'}}{y}_i& -y_i^{\text{'}}\end{array}\right]\·{\left[\begin{array}{ccccccccc}{h}_1& h_2& h_3& h_4& h_5& h_6& h_7& h_8& h_9\end{array}\right]}^T=\left[\begin{array}{c}0\\ 0\end{array}\right];$

也由A·h＝0表示，h是减小的单应矩阵，其中：

-其中x和y是所述第一图像位置的坐标，并且x′和y′是所述第一参考位置的坐标；以及

-其中计算所述第一图像变换包括计算h作为具有最小特征值的A^TA的特征向量。

4.根据权利要求2或3所述的方法(400)，进一步包括识别在所述第一减小的图像中的第二图像位置处的所述风景的第二特征、在所述第一减小的图像中的第三图像位置处的所述风景的第三特征、以及在所述第一减小的图像中的第四图像位置处的所述风景的第四特征，其中：

-所述图像参考包括对于第二参考位置处的所述第二特征的第二参考、对于第三参考位置处的所述第三特征的第三参考、以及对于在第四参考位置处的所述第四特征的第四参考；

-所述单应变换由以下第一等式表示：

$\left[\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -x_i^{\text{'}}{x}_i& -x_i^{\text{'}}{y}_i& -x_i^{\text{'}}\\ 0& 0& 0& x_i& y_i& 1& -y_i^{\text{'}}{x}_i& -y_i^{\text{'}}{y}_i& -y_i^{\text{'}}\end{array}\right]\·{\left[\begin{array}{ccccccccc}{h}_1& h_2& h_3& h_4& h_5& h_6& h_7& h_8& h_9\end{array}\right]}^T=\left[\begin{array}{c}0\\ 0\end{array}\right];$

其中x和y分别是所述第一、第二、第三或第四图像位置的坐标，并且x′和y′分别是所述第一、第二、第三和第四参考位置的坐标，所述图像位置和所述参考位置的坐标形成第一位置对、第二位置对、第三位置对和第四位置对；以及

-其中计算(424)所述第一图像变换包括：

-设置因子h1、h2、h3、h4、h5、h6、h7、h8或h9中的一个为预定值；以及

-利用所述第一位置对、所述第二位置对、所述第三位置对和所述第四位置对的值解出所述第一等式。

5.根据权利要求3或4所述的方法(400)，其中获得(404)所述减小的第一图像包括在水平和竖直方向上以预定采样因子下采样所述第一图像，所述方法进一步包括：

-从所述减小的单应矩阵通过以下公式计算(424)全尺寸单应矩阵，其中k是所述预定采样因子：

$H_{\mathrm{full}}=\left[\begin{array}{ccc}{h}_1& h_2& \frac{1}{k}{h}_3\\ h_4& h_5& \frac{1}{k}{h}_6\\ k\·h_7& k\·h_8& h_9\end{array}\right];$

以及其中：

-应用(428)所述第一图像变换到所述第一图像包括对于每一个第一图像像素位置坐标向量x根据以下公式计算第一经变换的像素坐标向量x′：

λ·x′＝H_full·x

$x=\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$ 和 $x\text{'}=\left[\begin{array}{c}x\text{'}\\ y\text{'}\\ 1\end{array}\right];$ 以及

-λ是预定的缩放因子，x是所述第一图像的像素的x坐标，y是所述第一图像的像素的y坐标，x′是所述经变换的第一图像的像素的x坐标以及y′是所述经变换的第一图像的y坐标。

6.根据权利要求1至5中的任一项所述的方法(400)，包括：

-计算(416)在所述第一图像位置与所述第一参考位置之间的二维距离；以及

-如果所述二维距离高于预定距离阈值，则丢弃(440)所述第一图像位置；如果来自于所述第一图像的距离都不低于所述阈值，则丢弃所述参考位置。

7.一种合并分别表示风景的第一视图和第二视图的第一图像和第二图像的方法(400)，包括：

-获得(404)所述第一图像和所述第二图像；

-通过减小所述第一图像的信息密度来获得(408)减小的第一图像；

-通过减小所述第二图像的信息密度来获得(408)减小的第二图像；

-根据权利要求1到6的任一项所述的方法(400)以所述减小的第二图像作为所述图像参考来变换所述第一图像；以及

-合并(430)所述第一经变换的图像和所述第二图像。

8.一种合并分别表示风景的第一视图和第二视图的第一图像和第二图像的方法(400)，包括：

-获得(404)所述第一图像和所述第二图像；

-通过减小所述第一图像的信息密度来获得(408)减小的第一图像；

-通过减小所述第二图像的信息密度来获得(408)减小的第二图像；

-通过基于每个位置平均所述第一图像和所述第二图像的图像值来计算(410)减小的平均图像；

-根据权利要求1到6的任一项所述的方法(400)以所述减小的平均图像作为所述图像参考来变换所述第一图像；

-根据权利要求1到6的任一项所述的方法(400)以所述减小的平均图像作为所述图像参考变换所述第二图像；以及

-合并(430)经变换的所述第一图像和经变换的所述第二图像。

9.一种用于变换表示风景的视图的第一图像的模块(120)，包括：

-接收器(122)，用于接收所述第一图像；

-参考输入(124)，用于获得对于所述风景的图像参考，所述图像参考包括对于第一参考位置处的第一参考特征的第一参考；

-处理(120)单元，配置为：

-通过将所述第一图像的信息密度减小到预定因子分之一来获得减小的第一图像(124)；

-在所述第一减小的图像中的第一图像位置处识别所述风景的至少一个第一图像特征(126)；

-匹配(128)所述第一参考特征到所述第一图像特征；

-如果所述第一参考特征与所述第一图像特征匹配，则通过计算从所述第一参考位置到所述第一图像位置的所述特征的移位来计算(130)第一图像变换；以及

-通过应用所述第一图像变换到所述第一图像的至少一部分来提供(132)经变换的第一图像。

10.一种合并分别表示风景的第一视图和第二视图的第一图像和第二图像的设备(100)，所述设备包括：

-图像接收器(106、112)，用于接收所述第一图像和第二图像；

-数据减小电路(124)，用于通过减小所述第二图像的信息密度来获得减小的第二图像；

-根据权利要求9所述的模块(120)，以所述减小的第二图像作为所述图像参考来变换所述第一图像；

-图像合并电路(134)，用于合并所述第一经变换的图像和所述第二图像。

11.根据权利要求10所述的设备(100)，其中所述图像接收器包括照相机(102、106)，所述照相机(102、106)包含光敏电路(106)。

12.根据权利要求10所述的设备(100)，其中所述图像接收器包括网络通信模块(112)，所述网络通信模块(112)用于通过网络连接来从图像捕捉设备接收所述第一图像。

13.一种计算机程序产品(107)，包括计算机可执行指令(107)，所述计算机可执行指令(107)用于编程计算机以使所述计算机能够执行根据权利要求1到8的任一项所述的方法。