CN111182230B - 图像处理方法和装置 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法和装置。该方法包括：通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息；其中，至少两张图像中的每一张图像中均包含目标对象；根据位移变化信息，辅助对齐至少两张图像，并对至少两张图像进行融合，得到目标图像。本发明实施例能够对齐至少两张图像中的目标对象，提高用户体验。

Description

图像处理方法和装置

技术领域

本发明实施例涉及拍摄技术领域，尤其涉及一种图像处理方法和装置。

背景技术

随着摄像技术的不断发展，人们对拍摄要求日益提高。为了满足用户对拍摄的要求，产生了多种拍摄模式，例如，高动态范围(High-Dynamic Range，HDR)模式，其能够很好地再现现实生活中预拍物的动态范围和图像细节，产生逼真的效果。

目前，在拍摄过程中，HDR模式由于抓取的几张图像曝光差异太大，进而使得曝光融合(exposure fusion)算法难度大，多张图像对不齐，导致几张图像边缘错位，图像失真。

发明内容

本发明实施例提供一种图像处理方法和装置，以解决在HDR拍摄模式下图像失真的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种图像处理方法，应用于电子设备，其中，电子设备包括图像传感器，图像传感器包括至少两个实感像素，方法包括：通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息；其中，至少两张图像中的每一张图像中均包含目标对象；根据位移变化信息，辅助对齐至少两张图像，并对至少两张图像进行融合，得到目标图像。

第二方面，本发明实施例提供了一种图像处理装置，该装置包括图像传感器，图像传感器包括至少两个实感像素，该图像处理装置还包括：获取模块，用于通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息；其中，至少两张图像中的每一张图像中均包含目标对象；对齐模块，用于根据位移变化信息，辅助对齐至少两张图像；融合模块，用于对至少两张图像进行融合，得到目标图像。

第三方面，本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述的图像处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现第一方面所述的图像处理方法。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像包含的目标对象的位移变化信息，然后基于每一张图像包含的目标对象的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行融合，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明其中，相同或相似的附图标记表示相同或相似的特征。

图1为本发明实施例提供的一种图像处理方法的流程图；

图2为本发明实施例中目标对象的偏移示意图一；

图3为本发明实施例中目标对象的偏移示意图二；

图4为本发明实施例提供的三张图像的示意图；

图5为本发明实施例提供的一种对齐三张图像中目标对象的示意图；

图6为本发明实施例提供的另一种对齐三张图像中目标对象的示意图；

图7为本发明实施例提供的又一种对齐三张图像中目标对象的示意图；

图8为本发明实施例提供的一种图像处理装置的示意图；

图9为本发明实施例提供的另一种电子设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，电子设备包括图像传感器。其中，该电子设备可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)或可穿戴式设备(Wearable Device)等等。

图1为本发明实施例提供的一种图像处理方法的流程图。如图1所示，该图像处理方法应用于电子设备，其中，电子设备包括图像传感器，图像传感器包括排布的多个实感像素；

其中，该图像处理方法包括：

步骤101：通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息；其中，至少两张图像中的每一张图像中均包含目标对象，至少两张图像中每一张图像的曝光参数不同；

步骤102：根据位移变化信息，辅助对齐至少两张图像，并对至少两张图像进行融合，得到目标图像。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像包含的目标对象的位移变化信息，然后基于每一张图像包含的目标对象的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行融合，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

在本发明一些实施例中，实感像素可以分别独立的，随着像素时钟频率，实时感知外界环境亮度变化，将环境亮度的变换转化成电流的变化，进而转换成数字信号的变化，如果某个实感像素的数字信号的变化量超过预设门限，则会上报系统要求读出，并且输出带有坐标信息、亮度信息、时间信息的数据包；另外，在存在标准位置时，可以通过图像传感器获取位置变化信息。所以，实感像素比常规像素的实时性更好，信号冗余性更好，精度更高。

在一个示例中，至少两个实感像素按照密度分布在图像传感器中，例如，至少两个实感像素以阵列的方式排布在图像传感器中。

需要说明的是，实感像素的尺寸和密度可以根据实际应用场景灵活进行调整，对此本实施方式不作限定。

另外，图像传感器不单单包括上述实感像素，还可以包括常规像素；其中，常规像素是指在一个时间段内(该时间段和帧率相关)对光信息做积分后按照顺序逐个读出。

其中，每个实感像素包括：至少两个感光单元、信号处理模组和控制模组；

每个感光单元，用于产生感光电信号；信号处理模组，用于在接收到感光电信号的情况下，输出以下至少一项：每个感光单元的感光电信号的模拟电压、至少两个感光单元的感光电信号的模拟电压叠加获得的叠加模拟电压；控制模组，用于在至少一个感光单元的输出电压的变化值超出预设门限的情况下，导通至少两个感光单元的输出端和信号处理模组的接收端。

在一个示例中，上述预设门限可以是根据实际情况设置的一个合适的门限，对该预设门限的具体数值本发明实施例不作限定。

其中，至少一个感光单元的输出电压的变化值超出预设门限，说明此时是对运动的对象进行拍照，从而可以向图像传感器的模数传感器输出以下至少一项：每个感光单元的感光电信号的模拟电压、至少两个感光单元的感光电信号的模拟电压叠加获得的叠加模拟电压。

这样，当输出每个感光单元的感光电信号的模拟电压时，可以根据不同模拟电压确定的图像之间的相位差进行测距，从而实现实时运动追焦的功能，同时也可以修正校准所拍摄的照片。当输出至少两个感光单元的感光电信号的模拟电压叠加获得的叠加模拟电压时，可以根据叠加模拟电压确定运动对象的轮廓，拥有高精度实时抓取动态物体轮廓的能力。从而，当使用终端设备拍摄运动的对象时，可以使拍摄的照片具有比较好的拍摄效果。

在本发明一些实施例中，步骤101所述的位移变化信息为某一张图像中目标对象相对标准位置变化的位置信息(如图5中的“a1”和“a2”)，即可以通过图像传感器先得到该一张图像中目标对象的位置信息，再根据标准位置，即可以由图像传感器得到该一张图像中的目标对象对应的位移变化信息；步骤101所述的位移变化信息还可以是在获取每张图像的时间段内，该时间段内的每个时间点目标对象在该图像中的位置信息，基于起始时间点和终止时间点对应的目标图像在该图像中的位置信息，可以得到该张图像在时间段内目标对象的位置变化(即目标对象在该图像中的位移变化信息)；其中，标准位置信息可以为用户设置的位置信息，例如该图像的正中间位置，标准位置的选取可以基于该目标对象在该图像那个位置更美观来进行选取，为了方便叙述，下文中以中间位置为标准位置(如图4-7中“B图像”中的目标对象所处的位置)。

在本发明一些实施例中，步骤101所述的每一张图像的曝光参数，是指电子设备摄像头在高动态光照渲染(High-Dynamic Range，HDR)模式下，通过图像传感器获取至少两张图像；其中，至少两张图像中的每一张图像的曝光参数不同；例如，至少两张图像包括三张图像，第一张图像欠曝光，第二种图像正常曝光，第三张图像过曝光；其中，曝光参数包括曝光时间和帧率。

在本发明实施例中，通过采用HDR拍摄模式，可以提供更多的动态范围和图像细节，使得拍摄的图像和人眼看到的图像一致，提高用户体验度。

在本发明一些实施例中，步骤101所述的至少两张图像包括第一图像时，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息，包括：

在获取第一图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第一位移变化信息；

具体地，在获取第一图像的预设时间段内，在该预设时间段内的每一个时间点均通过图像传感器中的至少两个实感像素获取目标对象在第一图像中的位置信息，进而根据在该预设时间段内起始时间点和终止时间点目标对象的位置信息，确定在预设时间段内目标对象在第一图像中的第一位移变化信息。

由于获取图像需要的时间较长，在这个获取过程中，目标对象可能正在发生平移、膨胀或收缩、旋转等其他变化，从而使获取到的图像中目标对象的轮廓并不准确。实感像素就可以获取在获取图像的过程中目标对象的相应变化信息，进而电子设备可以根据该信息来对目标对象的轮廓进行调整，以使得不同图像中目标对象的轮廓信息可以对齐。

对应的，在该示例中，步骤102所述的根据位移变化信息，辅助对齐至少两张图像，具体包括：

根据第一位移变化信息，调整第一图像中目标对象的轮廓，得到修改后的第一图像；

具体地，可以先基于第一位移变化信息，将第一图像中的目标对象的轮廓移动至该预设时间段内起始时间点对应的位置信息处，或者，移动至该预设时间段内终止时间点对应的位置信息处，得到修改后的第一图像；

对齐修改后的第一图像和至少两张图像中除第一图像之外的其他图像。

具体地，在HDR拍摄模式下，将修改后的第一图像和至少两张图像中除第一图像之外的其他图像中的目标对象从上往下进行重叠，由于对第一图像和至少两张图像中除第一图像之前的其他图像进行对齐，故目标图像中的目标对象边缘清晰，不存在因目标对象的边缘错位导致目标图像中的目标对象存在重影的问题，进而解决了目标图像中目标对象失真的问题。

具体地，若第一图像为先拍摄得到的图像，则可将第一图像中的目标对象的轮廓移动至该预设时间段内终止时间点对应的位置信息处，从而确保目标对象的轮廓与其他图像更相近，与其他图像进行融合时能够更好地对齐；若第一图像为后拍摄得到的图像，则可将第一图像中的目标对象的轮廓移动至该预设时间段内起始时间点对应的位置信息处，从而确保目标对象的轮廓与其他图像更相近，与其他图像进行融合时能够更好地对齐。

可选的，第一图像为至少两张图像中需要对齐的图像，其他图像则是至少两张图像中的不用对齐的图像，即该其他图像中的目标对象的位移变化信息可以为0；那么在对齐图像之前，可以先判断目标对象是否存在位移变化信息，如果不存在位移变化信息时，则不需要对图像中的齐目标对象；另外，第一图像的数量可以为一个也可以为多个，在第一图像的数量为多个时，每一张第一图像均基于其对应的第一位移变化信息，均得到修改后的第一图像，然后每一张修改后的第一图像与至少两张图像中除多张第一图像之外的其他图像进行对齐，直至所有的第一图像均与至少两张图像中除第一图像之外的其他图像进行对齐。

在一个示例中，在至少两张图像包括第一图像和第二图像时，步骤101所述的通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息，包括：

至少两张图像还包括第二图像，在获取第二图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第二位移变化信息；

具体地，在获取第二图像的预设时间段内，在该预设时间段内的每一个时间点均通过图像传感器中的至少两个实感像素获取目标对象在第二图像中的位置信息，进而根据在该预设时间段内起始时间点和终止时间点目标对象的位置信息，确定在预设时间段内目标对象在第二图像中的第二位移变化信息。

对应的，在该示例中，步骤102所述的根据位移变化信息，辅助对齐至少两张图像，具体包括：

根据第一位移变化信息，调整第一图像中目标对象的轮廓，得到修改后的第一图像；以及

根据第二位移变化信息，调整第二图像中目标对象的轮廓，得到修改后的第二图像；

具体地，基于第一位移变化信息，将第一图像中的目标对象的轮廓移动至该预设时间段内起始时间点或终止时间点对应的位置信息处，得到修改后的第一图像；与此同时，或者在得到修改后的第一图像之前，或者是在得到修改后的第一图像之后，基于第二位移变化信息，将第二图像中的目标对象的轮廓移动至该预设时间段内起始时间点或终止时间点对应的位置信息处，得到修改后的第二图像。

具体可选的轮廓调整方式及有益效果可参考本说明书之前的描述，此处不再赘述。

对齐修改后的第一图像、第二图像以及至少两张图像中除第一图像和第二图像之外的其他图像。

具体地，在HDR拍摄模式下，将修改后的第一图像、第二图像和至少两张图像中除第一图像和第二图像之外的其他图像中的目标对象从上往下进行重叠，由于对第一图像、第二图像和至少两张图像中除第一图像和第二图像之前的其他图像进行对齐，对齐之后的目标图像中的目标对象边缘清晰，不存在因目标对象的边缘错位导致目标图像中的目标对象存在重影的问题，进而解决了目标图像中目标对象失真的问题。

需要说明的是，在获取第二图像之后，基于第一位移变化信息调整第一图像中目标对象的轮廓，以及同时基于第二位移变化信息调整第二图像中目标对象的轮廓，最后对齐修改后的第一图像、对齐修改后的第二图像、以及至少两张图像中除第一图像和第二图像之外的其他图像。

在另一个示例中，在至少两张图像包括第一图像和第二图像时，步骤101所述的在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息，具体包括：

至少两张图像还包括第二图像，在获取第二图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第二位移变化信息；

具体地，在获取第二图像的预设时间段内，在该预设时间段内的每一个时间点均通过图像传感器中的至少两个实感像素获取目标对象在第二图像中的位置信息，进而根据在该预设时间段内起始时间点和终止时间点目标对象的位置信息，确定在预设时间段内目标对象在第二图像中的第二位移变化信息。

对应的，在该示例中，步骤102所述的根据位移变化信息，辅助对齐至少两张图像，具体包括：

根据第一位移变化信息和第二位移变化信息的差值，调整第二图像中的目标对象的轮廓，得到修改后的第二图像；

具体地，基于第一位移变化信息和第二位移变化信息的相对差值，确定第二图像中目标对象相对于第一图像中目标对象的相对位移，基于该相对位移，调整第二图像中的目标对象，使得第二图像中的目标对象相对于第一图像中的目标对象的相对位移为0，即可得到修改后的第二图像。

假设，第一位移变化信息为向左3cm，第二位移变化信息为向左5cm，基于第一位移变化信息和第二位移变化信息之间的差值，即-2cm，则需要将第二图像中的目标对象向右移动2cm，以得到修改后的第二图像。

对齐第一图像、修改后的第二图像以及至少两张图像中除第一图像和第二图像之外的其他图像。

具体地，在HDR拍摄模式下，在基于第一位移变化信息和第二位移变化信息的差值得到修改后的第二图像之后，将第一图像、修改后的第二图像和至少两张图像中除第一图像和第二图像之外的其他图像中的目标对象从上往下进行重叠，由于对第一图像、修改后的第二图像和至少两张图像中除第一图像和第二图像之前的其他图像进行对齐，对齐之后的目标图像中的目标对象边缘清晰，不存在因目标对象的边缘错位导致目标图像中的目标对象存在重影的问题，进而解决了目标图像中目标对象失真的问题。

需要说明的是，可以基于至少两张图像中的第一图像和第二图像，确定第一位移变化信息和第二位移变化信息之间的差值，然后基于差值调整第二图像，以对齐；其中，第二图像的数量可以为多个，第一图像的数量可以为一个，可以确定第一图像与所有第二图像中每一张第二图像的差值，进而可以实现对第一图像、多张第二图像和至少两张图像中除第一图像和多张第二图像之外的图像的对齐，进而实现对至少两张图像中的目标对象的对齐。另外，第一图像还可以为多张第二图像中的任一张第二图像，第一图像可以从至少两张图像中随机选取。

在本发明另一些实施例中，步骤101所述的在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息，具体包括：

至少两张图像包括第三图像和第四图像，在获取第三图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第三位移变化信息；在获取第四图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第四位移变化信息；

对应的，在该示例中，步骤102所述的根据位移变化信息，辅助对齐至少两张图像，具体包括：

根据第三位移变化信息和第四位移变化信息的差值，对齐第三图像和第四图像。

具体地，基于第一位移变化信息和第二位移变化信息的相对差值，确定第二图像中目标对象相对于第一图像中目标对象的相对位移，基于该相对位移，调整第二图像，使得第二图像中的目标对象的第二位移变化信息与第一位移变化信息相等，即可得到修改后的第二图像。

假设，第一位移变化信息为向左3cm，第二位移变化信息为向左5cm，基于第一位移变化信息和第二位移变化信息之间的差值，即-2cm，则需要将第二图像向左移动2cm，进而此时的第二位移变化信息也为3cm，以得到修改后的第二图像。

需要说明的是，可以基于至少两张图像中的第三图像和第四图像之间的位移变化信息的差值，对齐第三图像和第四图像；对于至少两张图像中除第三图像和第四图像之外的任意两张图像，都可以基于该图像的位移变化信息的差值，进行对齐。

在本发明另一些实施例中，步骤101所述的在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息，具体包括：

至少两张图像还包括第五图像，在获取第五图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第五位移变化信息；

具体地，在获取第二图像的预设时间段内，在该预设时间段内的每一个时间点均通过图像传感器中的至少两个实感像素获取目标对象在第二图像中的位置信息，进而根据在该预设时间段内起始时间点和终止时间点目标对象的位置信息，确定在预设时间段内目标对象在第二图像中的第二位移变化信息。

对应的，在该示例中，步骤102所述的根据位移变化信息，辅助对齐至少两张图像，具体包括：

根据第三位移变化信息和第四位移变化信息的差值，调整第四图像，得到修改后的第四图像；以及

根据第三位移变化信息和第五位移变化信息的差值，调整第五图象，得到修改后的第五图像；

具体地，基于第三位移变化信息和第四位移变化信息的相对差值，确定第四图像中目标对象相对于第三图像中目标对象的第一相对位移，基于该第一相对位移，调整第四图像，使得第四图像中的目标对象的第四位移变化信息与第三位移变化信息相等，即可得到修改后的第四图像；在调整第四图像的同时，或者调整第四图像之前，或者调整第四图像之后，基于第三位移变化信息和第五位移变化信息的相对差值，确定第五图像中目标对象相对于第三图像中目标对象的第二相对位移，基于该第二相对位移，调整第五图像，使得第五图像中的目标对象的第四位移变化信息与第三位移变化信息相等，即可得到修改后的第五图像。

假设，第三位移变化信息为向左3cm，第四位移变化信息为向左5cm，第五位移变化信息为向左6cm；基于第三位移变化信息和第四位移变化信息之间的差值，即-2cm，则需要将第四图像向左移动2cm，进而此时的第四位移变化信息也为3cm，以得到修改后的第四图像；以及基于第三位移变化信息和第五位移变化信息之间的差值，即-3cm，则需要将第五图像向左移动3cm，进而此时的第五位移变化信息也为3cm，以得到修改后的第五图像。

对齐第三图像、修改后的第四图像和修改后的第五图像。

需要说明的是，可以基于至少两张图像中的第三图像和第四图像之间的位移变化信息的差值，调整第四图像，得到修改后的第四图像；以及基于第三图像与第五图像之间的位移变化信息的差值，调整第五图像，得到修改后的第五图像；另外，对于至少两张图像中除第三图像、第四图像和第五图像之外的任意图像，都可以先与确定第三图像的差值，然后最后基于差值修改第三图像之外的图像，进而实现对目标对象的对齐。

在一个示例中，步骤102所述的对至少两张图像进行融合，得到目标图像，包括：

融合第三图像、修改后的第四图像和修改后的第五图像，得到目标图像。

在本发明一些实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息，至少两张图像中的每一张图像包括至少一个目标对象，在图2和图3中以三个目标对象为示例；针对三个目标对象中的每一个目标对象均可以按照上述的方式进行对齐，在此不再赘述。

在一个示例中，在通过图像传感器连续获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，针对至少两张图像中每张图像，获取图2中三个目标对象的位移变化信息，根据三个目标对象中每个目标对象的位移变化信息，确定每张图像中三个目标对象之间没有相对位移，即该图像上的三个目标对象具有相同的位移变化信息，在对齐至少两张图像过程中，则可以将是三个目标当成一个整体，基于该整体的位移变化信息，辅助对齐至少两张图像。

在一个示例中，在通过图像传感器连续获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，针对至少两张图像中每张图像，获取图3中三个目标对象的位移变化信息，根据三个目标对象中每个目标对象的位移变化信息，确定每张图像中三个目标对象的位移变化信息不同，调整每张图像中三个目标对象的轮廓，使得每张图像中的是三个目标对象中的每个对象的位移变化信息一样，此时，可以将调整之后的三个目标对象当成一个整体，再基于该整体的位移变化信息，辅助对齐至少两张图像；或者，在对齐该图像过程中，则可以基于三个目标对象各自的位移变化信息进行调整，辅助对齐至少两张图像。

需要说明的是，对于存在形变、旋转的情况，可以先对形变、旋转的目标对象的轮廓进行调整，使得调整后的至少两张图像中每张图像中的该目标对象的轮廓相同，然后再基于每个目标对象的位移变化信息，辅助对齐至少两张图像。

为了描述方面，下面以三张图像，每张图像包含一个目标对象为示例进行描述。

在图4中，A图像中的目标对象偏向左边，B图像中的目标对象偏向中间，C图像中的目标对象偏向右边。

在图5中，将A图像中的“实线”目标对象的位移变化信息为“a1”；C图像中的“实线”目标对象的位移变化信息为“a2”；移动A图像中的“实线”目标对象至“虚线”目标对象对应的位置处，C图像与A图像同理，移动C图像中的“实线”目标对象至“虚线”目标对象对应的位置处，可以同时执行A与C中的目标对象的移动或者分别A与C中的目标对象的移动；最后对齐修改后的A图像、B图像和修改后的C图像。

在图6中，根据A图像中目标对象的位移变化信息、B图像中目标对象的位移变化信息和C图像中目标对象的位移变化信息，确定A图像与B图像中目标对象的位移的差值“a1”，以及确定C图像与B图像中目标对象的位移的差值“a2”；根据“a1”移动A图像中的目标对象，以及根据“a2”移动C图像中的目标对象，进而实现A图像、B图像和C图像的对齐。

在图7中，基于图6中的“a1”移动A图像，以使A图像与B图像中的目标对象对齐，C图像与A图像同理，根据图6中的“a2”移动C图像，以使C图像与B图像中的目标对象对齐，最终实现A图像、B图像和C图像中的目标对象的对齐。

本发明实施例提供的电子设备能够实现图1的方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像包含的目标对象的位移变化信息，然后基于每一张图像包含的目标对象的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行融合，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

图8为本发明实施例提供的一种图像处理装置的示意图。如图8所示，该图像处理装置800包括：图像传感器，图像传感器包括排布的多个实感像素；

该图像处理装置800还包括：

获取模块801，用于通过所述图像传感器连续获取至少两张图像，并在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取目标对象的位移变化信息；其中，所述至少两张图像中的每一张图像中均包含所述目标对象，所述至少两张图像中每一张图像的曝光参数不同；

对齐模块802，用于根据所述位移变化信息，辅助对齐所述至少两张图像；

融合模块803，用于并对所述至少两张图像进行融合，得到目标图像。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像包含的目标对象的位移变化信息，然后基于每一张图像包含的目标对象的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行融合，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

可选的，获取模块801，还用于：

至少两张图像包括第一图像，在获取第一图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第一位移变化信息；

对齐模块802，还用于：

根据第一位移变化信息，调整第一图像中目标对象的轮廓，得到修改后的第一图像；

对齐修改后的第一图像和至少两张图像中除第一图像之外的其他图像。

可选的，获取模块801，还用于：

至少两张图像还包括第二图像，在获取第二图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第二位移变化信息；

对齐模块802，还用于：

根据第一位移变化信息，调整第一图像中目标对象的轮廓，得到修改后的第一图像；以及

根据第二位移变化信息，调整第二图像中目标对象的轮廓，得到修改后的第二图像；

对齐修改后的第一图像、修改后的第二图像以及至少两张图像中除第一图像和第二图像之外的其他图像。

可选的，获取模块801，还用于：

至少两张图像还包括第二图像，在获取第二图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第二位移变化信息；

对齐模块802，还用于：

根据第一位移变化信息和第二位移变化信息的差值，对齐第一图像、第二图像以及至少两张图像中除第一图像和第二图像之外的其他图像。

可选的，获取模块801还用于：

至少两张图像包括第三图像和第四图像，在获取第三图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第三位移变化信息；在获取第四图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第四位移变化信息；

对齐模块802，还用于：

根据第三位移变化信息和第四位移变化信息的差值，对齐第三图像和第四图像。

可选的，获取模块801还用于：

至少两张图像还包括第五图像，在获取第五图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第五位移变化信息；

对齐模块802，还用于：

根据所述第三位移变化信息和所述第四位移变化信息的差值，调整所述第四图像，得到修改后的第四图像；以及

根据所述第三位移变化信息和所述第五位移变化信息的差值，调整所述第五图像，得到修改后的第五图像；

对齐第三图像、修改后的第四图像和修改后的第五图像。

可选的，融合模块803，还用于：

融合第三图像、修改后的第四图像和修改后的第五图像，得到目标图像。

图9为实现本发明各个实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于：射频单元909、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、处理器910、以及电源911等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，输入单元904，用于通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的位移变化信息；其中，至少两张图像中的每一张图像中均包含目标对象，至少两张图像中每一张图像的曝光参数不同；

处理器910，用于根据位移变化信息，辅助对齐至少两张图像，并对至少两张图像进行融合，得到目标图像。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像包含的目标对象的位移变化信息，然后基于每一张图像包含的目标对象的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行融合，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

应理解的是，本发明实施例中，射频单元901可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器910处理；另外，将上行的数据发送给基站。通常，射频单元901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元901还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块902为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元903可以将射频单元901或网络模块902接收的或者在存储器909中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元903还可以提供与电子设备900执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元903包括扬声器、蜂鸣器以及受话器等。

输入单元904用于接收音频或视频信号。输入单元904可以包括图形处理器(Graphics Processing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元906上。经图形处理器9041处理后的图像帧可以存储在存储器909(或其它存储介质)中或者经由射频单元901或网络模块902进行发送。麦克风9042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元901发送到移动通信基站的格式输出。

电子设备900还包括至少一种传感器905，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板9061的亮度，接近传感器可在电子设备900移动到耳边时，关闭显示面板9061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器905还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元906用于显示由用户输入的信息或提供给用户的信息。显示单元906可包括显示面板9061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板9061。

用户输入单元907可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板9071上或在触控面板9071附近的操作)。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器910，接收处理器910发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9071。除了触控面板9071，用户输入单元907还可以包括其他输入设备9072。具体地，其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板9071可覆盖在显示面板9061上，当触控面板9071检测到在其上或附近的触摸操作后，传送给处理器910以确定触摸事件的类型，随后处理器910根据触摸事件的类型在显示面板9061上提供相应的视觉输出。虽然在图9中，触控面板9071与显示面板9061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板9071与显示面板9061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元908为外部装置与电子设备900连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元908可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备900内的一个或多个元件或者可以用于在电子设备900和外部装置之间传输数据。

存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器909可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器910是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器909内的软件程序和/或模块，以及调用存储在存储器909内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器910可包括一个或多个处理单元；优选的，处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

电子设备900还可以包括给各个部件供电的电源911(比如电池)，优选的，电源911可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备900包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种电子设备，包括处理器910，存储器909，存储在存储器909上并可在所述处理器910上运行的计算机程序，该计算机程序被处理器910执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括图像传感器，所述图像传感器包括至少两个实感像素，所述方法包括：

通过所述图像传感器连续获取至少两张图像，并在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取目标对象的位移变化信息；其中，所述至少两张图像中的每一张图像中均包含所述目标对象，所述至少两张图像中每一张图像的曝光参数不同；

根据所述位移变化信息，辅助对齐所述至少两张图像，并对所述至少两张图像进行融合，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取目标对象的位移变化信息，具体包括：

所述至少两张图像包括第一图像，在获取所述第一图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第一位移变化信息；

所述根据所述位移变化信息，辅助对齐所述至少两张图像，具体包括：

根据所述第一位移变化信息，调整所述第一图像中所述目标对象的轮廓，得到修改后的第一图像；

对齐修改后的所述第一图像和所述至少两张图像中除所述第一图像之外的其他图像。

3.根据权利要求2所述的方法，其特征在于，所述在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取目标对象的位移变化信息，具体包括：

所述至少两张图像还包括第二图像，在获取所述第二图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第二位移变化信息；

所述根据所述位移变化信息，辅助对齐所述至少两张图像，具体包括：

根据所述第一位移变化信息，调整所述第一图像中所述目标对象的轮廓，得到修改后的第一图像；以及

根据所述第二位移变化信息，调整所述第二图像中所述目标对象的轮廓，得到修改后的第二图像；

对齐修改后的所述第一图像、修改后的所述第二图像以及所述至少两张图像中除所述第一图像和所述第二图像之外的其他图像。

4.根据权利要求2所述的方法，其特征在于，在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取目标对象的位移变化信息，具体包括：

所述至少两张图像还包括第二图像，在获取所述第二图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第二位移变化信息；

所述根据所述位移变化信息，辅助对齐所述至少两张图像，具体包括：

根据所述第一位移变化信息和所述第二位移变化信息的差值，调整所述第二图像中的目标对象的轮廓，得到修改后的第二图像；

对齐所述第一图像、修改后的所述第二图像以及所述至少两张图像中除所述第一图像和所述第二图像之外的其他图像。

5.根据权利要求1所述的方法，其特征在于，所述在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取目标对象的位移变化信息，具体包括：

所述至少两张图像包括第三图像和第四图像，在获取所述第三图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第三位移变化信息；在获取所述第四图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第四位移变化信息；

所述根据所述位移变化信息，辅助对齐所述至少两张图像，具体包括：

根据所述第三位移变化信息和所述第四位移变化信息的差值，对齐所述第三图像和所述第四图像。

6.根据权利要求5所述的方法，其特征在于，所述在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取目标对象的位移变化信息，具体包括：

所述至少两张图像还包括第五图像，在获取所述第五图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第五位移变化信息；

所述根据所述位移变化信息，辅助对齐所述至少两张图像，具体包括：

根据所述第三位移变化信息和所述第四位移变化信息的差值，调整所述第四图像，得到修改后的第四图像；以及

根据所述第三位移变化信息和所述第五位移变化信息的差值，调整所述第五图像，得到修改后的第五图像；

对齐所述第三图像、修改后的所述第四图像和修改后的所述第五图像。

7.根据权利要求6所述的方法，其特征在于，对所述至少两张图像进行融合，得到目标图像，包括：

融合所述第三图像、修改后的所述第四图像和修改后的所述第五图像，得到所述目标图像。

8.一种图像处理装置，其特征在于，所述装置包括图像传感器，所述图像传感器包括至少两个实感像素，所述图像处理装置包括：

获取模块，用于通过所述图像传感器连续获取至少两张图像，并在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取目标对象的位移变化信息；其中，所述至少两张图像中的每一张图像中均包含所述目标对象；

对齐模块，用于根据所述位移变化信息，辅助对齐所述至少两张图像；

融合模块，用于对所述至少两张图像进行融合，得到目标图像。

9.根据权利要求8所述的图像处理装置，其特征在于，所述获取模块，还用于：

所述至少两张图像包括第一图像，在获取所述第一图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第一位移变化信息；

所述对齐模块，还用于包括：

根据所述第一位移变化信息，调整所述第一图像中所述目标对象的轮廓，得到修改后的第一图像；

对齐修改后的所述第一图像和所述至少两张图像中除所述第一图像之外的其他图像。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述获取模块，还用于：

所述至少两张图像还包括第二图像，在获取所述第二图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第二位移变化信息；

所述对齐模块，还用于：

根据所述第一位移变化信息，调整所述第一图像中所述目标对象的轮廓，得到修改后的第一图像；以及

根据所述第二位移变化信息，调整所述第二图像中所述目标对象的轮廓，得到修改后的第二图像；

对齐修改后的所述第一图像、修改后的所述第二图像以及所述至少两张图像中除所述第一图像和所述第二图像之外的其他图像。

Images