CN107251089B

CN107251089B - 用于移动检测和补偿的图像处理方法

Info

Publication number: CN107251089B
Application number: CN201680006650.4A
Authority: CN
Inventors: M·尼斯卡宁; M·图尔帝宁
Original assignee: Visidon Oy
Current assignee: Visidon Oy
Priority date: 2015-01-23
Filing date: 2016-01-18
Publication date: 2020-11-20
Anticipated expiration: 2036-01-18
Also published as: WO2016116666A1; GB2523253A; GB2523253B; GB201501132D0; US10257418B2; US20170374285A1; CN107251089A

Abstract

用于改善图像质量的图像处理方法选择成像目标(104)的多个二维像素矩阵源图像(100,102)中的一个作为参考图像(106)。在源图像(100,102)中检测到目标(104)的移动。检测到的源图像(100,102)的参考图像(100)和至少一个其它图像(102)之间的移动在至少一个其它源图像的至少两个不同部分(150,152)中被不同地补偿(102)。参考图像(100)和移动补偿的至少一个其他图像被组合以形成改善的图像。

Description

用于移动检测和补偿的图像处理方法

技术领域

本发明一般涉及图像处理方法。

背景技术

移动电话和数码相机通常具有滚动快门，其扫描在图像中捕获的场景。在扫描期间，相机可能会移动，图像中的对象可能会移动或整个场景/目标可能会移动。如果通过组合图像来捕获相同目标的多于一张照片以便改善图像质量，则在不同的相片中，在场景和相机之间的移动可能不同，这降低了或消除了改善的可能性。此外，移动可能不一定是线性的，这进一步使情况复杂化。例如，如果两个图像的上部和下部都匹配，但是同时中间部分仅移动了甚至一个像素，则在不显着降低质量的情况下，图像不能被组合。因此，需要图像处理中的改善。

发明内容

本发明的目的是提供一种改善的图像处理方法和使用该方法的改善的装置。本发明的目的通过独立权利要求1的方法实现。

根据本发明的另一方面，提供了权利要求9的装置。

在从属权利要求中公开了本发明的优选实施例。

本发明提供了优点。可以组合目标被各种移动的图像，以便提高分辨率、信噪比和/或动态范围。

附图说明

在下文中，将参考附图通过优选实施例更详细地描述本发明，其中

图1示出了源图像的示例；

图2示出了相对于参考图像的图像中的移动的示例；

图3示出了搜索方法的示例；

图4示出了在其他图像的一部分中的像素的移动的示例；

图5示出了图像被分割成多个部分的示例；

图6示出了随机移动区域的示例；

图7三维地示出了在像素周围的邻近像素的示例；

图8示出了至少一个处理器和至少一个存储器的示例；以及

图9示出了方法的流程图的示例。

具体实施方式

以下实施例仅是示例。虽然说明书可能在若干位置中指“一个”实施例，但这并不一定意味着每个这样的引用是指相同的实施例(多个)，或者该特征仅应用于单个实施例。不同实施例的单一特征也可以组合以提供其他实施例。此外，“包括”和“包含”的词语应被理解为不将所描述的实施例限制为仅由已经提到的那些特征组成，并且这样的实施例还可以包含尚未具体提及的特征/结构。

应当注意，虽然图示出了各种实施例，但是它们是仅示出一些结构和/或功能实体的简化图。这些附图中所示的连接可以指逻辑或物理连接。各种元件之间的接口可以用合适的接口技术来实现。对于本领域技术人员显而易见的是，所描述的装置还可以包括其他功能和结构。因此，这里不必再详细讨论。虽然已经描绘了分开的单个实体，但是可以在一个或多个物理或逻辑实体中实现不同的部件。

图1示出了源图像100、102的示例，它们是二维的并且由像素矩阵形成。一般来说，源图像的数量至少为2个。可以在不同的时刻捕获图像100、102。在一个实施例中，在甚至没有部分时间重叠的时刻捕获图像100、102。图像100、102具有相同的目标，其也可以被称为场景，尽管目标可以在不同的图像中被略微不同地捕获。目标可以包括至少一个对象114、114'、116、116'和围绕至少一个对象114、114'、116、116'的背景，使得至少一个对象与背景区分开。源图像100,102中的差异的原因可能是由捕获图像的相机的移动造成的或是由于在不同捕获时刻之间的至少一个对象的移动造成的。相机可能会移动，因为摄影师不能保持他/她的手稳定。源图像中的对象可以相对于图像的帧移动，因为对象可以相对于背景和/或相机移动。例如，超过50％的目标或场景可以在所有源图像100、102中相同。

相机、目标或至少一个对象的移动可能是由倾斜(垂直平面中的旋转)、平移(水平面中的旋转)、水平和/或垂直的线性移动、和/或滚动(围绕光轴旋转)引起的。另外或替代地，移动可能由接近或撤退或缩放引起。

选择成像目标的多个源图像100、102中的一个作为参考图像106。参考图像106可以是源图像100、102中的任何一个。然后，至少一个其它图像102表示其余的源图像。可以基于原因来选择参考图像106。原因可能在于图像的质量是最好的(例如，图像是最清晰的)。原因可能是检测器的图像形成时刻最接近快门的激活(两者之间的最小延迟)。任何源图像的一部分可能会变形，在这种情况下，变形部分可能无法补偿或纠正。

检测并测量相对于参考图像106在源图像100、102内的目标或场景的移动。移动也可以被认为是目标相对于参考图像106的偏移或位移。然后，基于在参考图像106和至少一个其它图像102之间目标的位移来测量移动。

源图像100、102的参考图像106与至少一个其它图像102之间测量的移动在至少一个其它源图像102的至少两个不同部分150、152中被不同地补偿。补偿意味着通过将像素的位移值和/或像素组的值移动到在参考图像106中像素或像素组的对应值的位置来消除其他图像102中测量的位移。

最后，组合参考图像106和其移动被补偿的至少一个其他图像，以形成改善的图像。移动已被补偿的其他图像102中的每一个图像然后在像素的不精确度上关于参考图像106进行移位并且合并在一起以形成改善的单个图像。不精确度可以在像素或更小的数量级。也就是说，例如可以内插半像素移位。

在一个实施例中，可以通过本身已知的仿射变换模型来测量和补偿移动。理论上，通过在参考图像106和另一图像102中具有彼此对应的三个像素或点，能够解决六个参数的仿射模型。实际上，可能需要更多的点以具有针对补偿的精确度和可靠性。

仿射变换模型是指仿射空间之间的函数，它保持点的关系不变，从而保持直线和平面。然而，线之间的角度或点之间的距离可以改变，这使得能够校正源图像100、102之间的移动。

在一个实施例中，可以使用本身已知的相似度变换模型(例如，其可以包括平移，缩放和旋转)来测量和补偿移动。更一般地，另外，例如，补偿能够补偿对应于同位和剪切映射(homothety and shear mapping)的移动。

在一个实施例中，可以使用本身已知的全局视角变换校正(global perspectivetransformation correction)来执行补偿。通常，通过分别应用于部分150、152的至少两个局部坐标变换来补偿移动。变换可能相似或不同。也可能不需要或执行转换。

图2示出了另一图像102相对于参考图像106的移动的示例。在部分150中，检测到的移动已朝向左侧。因此，通过将部分150向右移动来补偿部分150中的移动。朝向右侧的补偿移动的量与检测到的向左移动的量相同。在部分152中，检测到的移动已经朝向右侧。因此，通过将部分152向左移动来补偿部分152中的移动。朝向左侧的补偿移动的量与检测到的向右移动的量相同。

在一个实施例中，所有其它图像102与参考图像106进行比较，并且逐图像确定其他图像102的每个部分150、152中的移动。

在一个实施例中，可以基于源图像102的部分150、152的记录时刻的连续顺序来补偿移动。部分的记录时刻可以意味着部分150、152的捕获时刻。

在不同时刻记录的图像的不同部分可以由捕获图像的相机的滚动快门引起。可以机械地或电子地实现滚动快门。滚动快门引起的不期望的影响对于在现有技术中进行校正是非常具有挑战性的。没有校正，滚动快门的不期望的影响也是严重的问题。

代替整个目标或场景的静止图像或视频的帧的快照，当使用滚动快门时，通过在目标或场景上扫描来形成图像。因为扫描需要一些时间，所以在不同的时刻记录图像的不同部分。可以以与形成电视图像的方法类似的方式逐线执行扫描。例如，可以沿垂直方向或水平方向在目标上扫描图像。滚动快门用于静态图像摄像机、移动电话和能够捕获照片的许多其他电子设备。例如，可能两个图像彼此匹配，在上部和下部没有任何移动，但是在中间有大的位移。

在一个实施例中，可以通过在相机的检测器的像素矩阵上进行扫描来记录每个源图像100、102，使得每个部分在不同的时刻被记录。

滚动快门可以在源图像100、102的不同部分中引起多种移动，诸如图像中的拖尾、摆动和/或歪斜。拖尾可以看作是旋转对象的非自然弯曲或厚度，其速度对应于滚动快门的弯曲或厚度。摆动是由在手(多个)中或台架上的相机振动引起的。歪斜是由目标和相机之间的线性移动引起的。

在一个实施例中，在彼此对应的源图像100,102中搜索公共点110、110'、112、112'。公共点110、110'、112、112'可以是参考图像106的不同部分处的可视的可区分的点。公共点包括至少一个像素。可以通过例如本身已知的哈里斯(Harris)边缘检测方法在参考图像106中搜索公共点。例如，可以通过图像块的相关性或光流法，以及通过将点与在相应区域中用哈里斯边缘法检测的点进行比较，在其他图像102中搜索公共点。另一种可能性是使用SIFT(缩放不变性特征变换(Scale Invariant Feature Transform))或SURF(加速鲁棒特征)方法来测量公共点的相似度。因此，可以在参考图像106和每个其它图像102之间形成点对。

图3示出了搜索方法的示例。在参考图像106中选择N×N个像素的区域350，并且在其他图像102之一的对应区域350'中选择M×M个像素的区域352，其中N和M是大于2的正整数并且M大于N。在一个实施方案中，例如，N可以为9。然后在区域352中搜索类似于区域350的区域。搜索可以意味着区域352的N×N个像素与区域350的比较。与区域350具有最高相似性的区域352的N×N个像素被确定为对应的区域。在一个实施例中，比较可以比较区域350、352中的像素之间的强度分布。

在图4所示的实施例中，像素200在至少一个其他图像102的源图像102的部分150中的移动可以通过以下来估计：基于与部分150中的公共点210、212、214的距离和部分150的记录时刻，对像素200的每个移动向量进行加权。权重可以越小，距离越长。以类似的方式，权重可以越小，像素200和公共点210、212、214的记录之间的时间差越长。数学上，权重W_i,j可以被认为是距离D和记录因变量G_i,j的函数，W_i,j＝f(D_i,j，G_i,j)，其中f是函数，i和j是指代图像中像素的位置的索引。

例如，在左上角的移动确定中，左上角中的点或像素比右下角的像素有更多的权重。像素的移动可以由向量222表示。

在一个实施例中，可以通过确定不同源图像102中的点之间的相似度来估计公共点210、212、214的可靠性。因此，在参考图像106和其它图像102之一之间确定每个相似度。

在一个实施例中，可以通过确定公共点110、110'、112、112、210、212、214中的每个公共点在从参考图像106到至少一个其他图像102的图像的方向以及在从至少一个其他图像102的图像到参考图像106相反的方向中的移动，估计公共点110、110'、112、112'、210、212、214的可靠性。所有这些公共点110、110'、112、112'可以被接受，其中所确定的相反移动在阈值范围内彼此对应。如果所确定的相反移动彼此偏离超过阈值范围，则共同点或其社区可能被拒绝。阈值范围可以是预定的。

在图5所示的实施例中，其他图像102中的每一个图像可以被划分成多个部分150、152、154、156、158、160。针对每个部分150至160中的像素的移动可以由在源图像102的相同部分内的像素的移动的加权最小二乘算法或迭代M估计器来确定。例如，每个部分j中的加权最小二乘移动L_j可以在数学上表示为：

其中i是求和索引(例如，测量点或像素，210、212、214)，K是移动的数量，j是部分或块(例如，152、154)，W_i,j是权重，其限定测量(移动向量210、212)对部分/块的移动有多大的影响，Y_i是具有索引i的点或像素，β指移动参数(在部分j中的投影矩阵的值)和f_i(β)是取决于迭代轮次的函数，它限定了点或像素的新位置。具有索引i的测量点可以在一个或多个部分中，即在相同的部分或不同的部分中，使得测量点与部分的距离对权重具有影响。函数f_i(β)可以是Andrew函数。使用移动参数，点210、212可以移动到新位置(f_i(β))。该移动可以被认为是具有大小和方向的向量。也就是说，必须将像素的值移动到由幅度确定的距离所确定的方向。在理想的情况下，新的位置与参考图像中的相应位置相同。但是由于位置的这种完全匹配通常是不可能的(K大于移动参数的数量)，平方和被最小化，并且用权重W_i,j加权。在一个实施例中，权重W_i,j可以取决于迭代轮次，特别是在使用迭代M估计器的情况下。

当使用M估计器时，权重首先仅来自距离，该距离包括滚动快门的影响。在第一次迭代之后，可以改变点的权重，使得通过考虑整个点集合的距离来减小最远点的权重。因此，点j处的测量i的权重也取决于在前一次迭代轮次β中计算出的移动模型。这样可以降低轮廓点相对于其他点的权重，从而提高了结果的正确性。

在图6所示的实施例中，搜索源图像100、102中的随机移动区域600。随机移动可能是由例如树叶或树枝或旗臶被风扯动引起的。在随机移动区域600中，像素强度的分布是随机的并且分布的变化高于预设阈值。在一个实施例中，通过将至少两个源图像彼此进行比较来估计随机移动。比较可以基于相应像素的强度值或用于形成图像的颜色通道。通过组合图像可以降低噪声，但是如果具有随机移动的图像被组合，则幻影图像趋于出现在组合图像中。

在一个实施例中，如果发现随机移动区域600，则随机移动区域600可以仅从参考图像106被插入到改善的图像。以这种方式，避免了改善不能改善的区域的不必要的尝试，并且该部分中的图像保持原样。

在一个实施例中，可以通过降低图像的信息内容来减小源图像的尺寸。然后可以将尺寸减小的图像彼此进行比较，以找到随机移动区域600。与原始尺寸的图像相比，减小尺寸的图像能够更快速地进行比较。

在图7所示的实施例中，基于以下形成改善图像的像素的强度：基于在参考图像106和至少一个其它图像102、102'、102”中三维地围绕所述像素的相邻像素的强度。可以使用尺寸改变的双边滤波来执行改善图像的每个像素的强度的计算。原始的双边滤波仅利用二维围绕像素(针对该像素计算强度值)的相邻像素，但是可以扩展双边滤波以包括三维中的该像素的相邻像素。

修改的双边滤波可用于以非线性方式降低来自图像的噪声，从而保留边缘。像素的强度值可以由所述像素的附近像素的强度值的加权平均值代替。例如，在像素之间的距离上，该权重可以具有高斯分布。权重取决于像素之间的距离和强度差。

在一个实施例中，在修改的双边滤波中，一个像素的强度或一组像素的强度可以基于与相邻像素的距离和强度。可以用于滤波改善图像的像素的强度值的相邻像素是所述像素的预设和已知的三维相邻像素组。在数学形式中，像素x的强度I(x)可以表示为：

其中Ω表示邻域，x是通过滤波计算强度的像素，x_ij是邻域中的像素，f₂指的是x_ij和x之间的距离，它可以是距离的函数的像素，g_s是比较像素x_ij和x的相似度的函数。

在一个实施例中，一个像素的强度或一组像素的强度可以基于图像中的局部结构或形状。在一个实施例中，一个像素的强度或一组像素的强度可以基于像素值中在形状或分布中的相似度。在一个实施例中，一个像素的强度或一组像素的强度可以基于参考图像和至少一个其它图像的中的局部像素结构的相似度。以这种方式，可以使用这样的导出值，而不是使用距离。当距离较大时，f2的值可能很小或者可能为零。当距离较短时，f2的值可能较大，例如1。在该等式中，引起源图像中的差异的至少一个移动可能已被补偿。

这种处理方式减少了边缘处的模糊。如果参考图像具有亮值，例如I(1，x)＝250，并且第二源图像具有暗值I(2，x)＝50，则取平均将导致值(250+50)/2＝150。然而，如果距离较大，则该等式给出针对第二源图像的小值(g_s(200)较小)，因此该值保持至少几乎在250左右(即像素保持亮)。另一方面，如果第二图像中的值至少几乎与参考图像中的相同，并且距离短(例如，I(2，x)＝240＝>g_s(10)≈1)，则第二图像和参考图像的权重大致相同，即大约为1。在这种情况下，该等式对值取平均，这导致消除噪声。

在图8中示出装置的示例。在实施例中，装置可以包括一个或多个处理器800和包括计算机程序代码的一个或多个存储器802。所述一个或多个存储器802和所述计算机程序代码与所述一个或多个处理器800一起使得所述装置至少执行：参考图像106的选择，相对于参考图像106的所述至少一个源图像102中的移动的检测和测量。一个或多个存储器802和计算机程序代码与一个或多个处理器800一起使得所述装置至少：补偿源图像的其它图像102中所测量的移动，以及将至少一个移动补偿图像和参考图像106组合。

图9示出了该方法的示例。在步骤900中，成像目标的多个二维像素矩阵源图像100、102之一被选择作为参考图像106。在步骤902中，检测源图像100、102中的目标的移动。可以基于目标在参考图像106和至少一个其他图像102之间的位移来执行检测。在步骤904中，在源图像100、102的参考图像106与至少一个其它图像102之间检测到的移动在至少一个其他源图像102的至少两个不同部分150、152中被不同地补偿。在步骤906中，组合参考图像106和移动补偿的至少一个其它图像以形成改善的图像。

该方法可以通过至少一个逻辑电路解决方案或计算机程序来实现。至少一个计算机程序可以被放置在用于分发它的计算机程序分发装置上。计算机程序分发装置可以由用于对计算机程序命令进行编码和执行动作的至少一个数据处理装置读取。

进而，分发介质可以是数据处理设备、程序存储介质、可由数据处理设备读取的存储器、可由数据处理设备读取的软件分发程序包、可由数据处理器读取的信号、可由数据处理设备可读的电信信号、或可由数据处理设备可读的压缩软件包。

对于本领域技术人员显而易见的是，随着技术的进步，本发明的构思可以以各种方式实现。本发明及其实施例不限于上述示例，而是可以在权利要求的范围内变化。

Claims

1.一种用于改善图像质量的图像处理方法，所述方法包括：

选择成像目标的多个二维像素矩阵源图像之一作为参考图像；

在所述源图像中搜索公共点，所述公共点彼此对应；

通过基于与所述源图像的与所述参考图像不同的至少一个其它图像的部分中的公共点的距离和所述部分的记录时刻对像素的运动向量进行加权，形成针对所述部分中的像素的移动估计，来检测所述源图像中的所述目标的移动；

基于所述部分的记录时刻的顺序，在所述至少一个其它源图像的至少两个不同部分中，不同地补偿在所述源图像的所述参考图像和所述至少一个其它图像之间所检测到的移动；以及

组合所述参考图像和所述至少一个其他图像以形成改善的图像，其中所述至少一个其他图像的移动被补偿。

2.根据权利要求1所述的方法，还包括通过确定在不同的源图像中的公共点之间的相似性，来估计所述公共点的可靠性。

3.根据权利要求1所述的方法，还包括：通过确定在从所述参考图像到所述至少一个其它图像的方向中和在从所述至少一个其它图像到所述参考图像的方向中所述公共点中的每个公共点的移动，来估计所述公共点的可靠性；以及如果所确定的移动在阈值范围内彼此对应，则接受所有此类公共点，如果所确定的移动彼此偏离超过所述阈值范围，则拒绝所述公共点。

4.根据权利要求1所述的方法，还包括通过加权最小二乘算法或迭代M估计器来估计针对所述部分中的像素的移动。

5.根据权利要求1所述的方法，还包括搜索所述源图像中的随机移动区域，在所述随机移动区域中，像素的强度分布是随机的，以及分布的变化高于预设阈值；

如果找到所述随机移动区域，则将所述随机移动区域仅从所述参考图像设置到所述改善的图像。

6.根据权利要求1所述的方法，还包括通过在检测器的像素矩阵上进行扫描来记录所述源图像，使得每个部分在不同时刻被记录。

7.根据权利要求1所述的方法，还包括基于在所述参考图像中和在所述至少一个其它图像中三维地围绕像素的相邻像素的强度来形成所述改善图像的所述像素的强度。

8.根据权利要求7所述的方法，其中一个像素的强度或像素组的强度基于在所述参考图像和所述至少一个其它图像中的局部像素结构的相似性。

9.一种用于改善图像质量的装置，所述装置被配置为

在所述源图像中搜索公共点，所述公共点彼此对应；

基于所述部分的记录时刻的顺序，在所述至少一个其它源图像的至少两个不同部分中，不同地补偿在所述源图像的所述参考图像和至少一个其它图像之间所检测到的移动；以及

10.根据权利要求9所述的装置，还包括：

一个或多个处理器；和

一个或多个存储器，其包括计算机程序代码；

所述一个或多个存储器和所述计算机程序代码被配置为与所述一个或多个处理器一起使得所述装置至少执行：所述参考图像的选择，所述移动的检测，所检测到的移动的补偿以及图像的组合。