CN111193865B - 图像处理方法和装置 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法和装置。该电子设备包括图像传感器，图像传感器包括排布的多个实感像素电路，该图像处理方法包括：通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，每张图像的拍摄角度不同；根据每张图像的位移变化信息，辅助对齐至少两张图像，并对至少两张图像进行拼接，得到目标图像。利用本发明实施例能够对齐至少两张图像，提高用户体验。

Description

图像处理方法和装置

技术领域

本发明实施例涉及摄像技术领域，尤其涉及一种图像处理方法和装置。

背景技术

随着摄像技术的不断发展，人们对拍摄的要求日益提高。

目前，全景拍照是按照指定方向，旋转电子设备，就能拍摄多张图像，然后将多张图像进行拼接；但是在拼接过程中，容易出现多张图像边缘拼接不齐，导致拼接后的全景图像失真，使得用户体验较差。

发明内容

本发明实施例提供一种图像处理方法和装置，以解决全景拍摄图像失真的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种图像处理方法，应用于电子设备，电子设备包括图像传感器，图像传感器包括排布的多个实感像素电路，该图像处理方法包括：

通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，每张图像的拍摄角度不同；

根据每张图像的位移变化信息，辅助对齐至少两张图像，并对至少两张图像进行拼接，得到目标图像。

第二方面，本发明实施例提供了一种图像处理装置，该图像处理装置包括图像传感器，图像传感器包括排布的多个实感像素电路，图像处理装置还包括：

获取模块，用于通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，每张图像的拍摄角度不同；

对齐模块，用于根据每张图像的位移变化信息，辅助对齐至少两张图像；

拼接模块，用于对至少两张图像进行拼接，得到目标图像。

第三方面，本发明实施例提供了一种电子设备，该电子设备处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述的图像处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现第一方面所述的图像处理方法。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像的位移变化信息，然后基于每一张图像的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行拼接，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明其中，相同或相似的附图标记表示相同或相似的特征。

图1为本发明实施例提供的一种图像处理方法的流程图；

图2为本发明实施例提供的三张图像的示意图；

图3-图6为本发明实施例提供的一种对齐图像的示意图；

图7为本发明实施例提供的一种图像处理装置的示意图；

图8为本发明实施例提供的一种电子设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，电子设备包括图像传感器。其中，该电子设备可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)或可穿戴式设备(Wearable Device)等等。

图1为本发明实施例提供的一种图像处理方法的流程图。如图1所示，该图像处理方法应用于电子设备，其中，电子设备包括图像传感器，图像传感器包括排布的多个实感像素；

其中，该图像处理方法包括：

步骤101：通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，每张图像的拍摄角度不同；

步骤102：根据每张图像的位移变化信息，辅助对齐至少两张图像，并对至少两张图像进行拼接，得到目标图像。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像的位移变化信息，然后基于每一张图像的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行拼接，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

在本发明一些实施例中，实感像素可以分别独立的，随着像素时钟频率，实时感知外界环境亮度变化，将环境亮度的变换转化成电流的变化，进而转换成数字信号的变化，如果某个实感像素的数字信号的变化量超过预设门限，则会上报系统要求读出，并且输出带有位置信息、亮度信息、时间信息的数据包；另外，在存在标准位置时，可以通过图像传感器获取位置变化信息。所以，实感像素比常规像素的实时性更好，信号冗余性更好，精度更高。

在一个示例中，至少两个实感像素按照密度分布在图像传感器中，例如，至少两个实感像素以阵列的方式排布在图像传感器中。

需要说明的是，实感像素的尺寸和密度可以根据实际应用场景灵活进行调整，对此本实施方式不作限定。

另外，图像传感器不单单包括上述实感像素，还可以包括常规像素；其中，常规像素是指在一个时间段内(该时间段和帧率相关)对光信息做积分后按照顺序逐个读出。

其中，每个实感像素包括：至少两个感光单元、信号处理模组和控制模组；

每个感光单元，用于产生感光电信号；信号处理模组，用于在接收到感光电信号的情况下，输出以下至少一项：每个感光单元的感光电信号的模拟电压、至少两个感光单元的感光电信号的模拟电压叠加获得的叠加模拟电压；控制模组，用于在至少一个感光单元的输出电压的变化值超出预设门限的情况下，导通至少两个感光单元的输出端和信号处理模组的接收端。

在一个示例中，上述预设门限可以是根据实际情况设置的一个合适的门限，对该预设门限的具体数值本发明实施例不作限定。

其中，至少一个感光单元的输出电压的变化值超出预设门限，说明此时是对运动的对象进行拍照，从而可以向图像传感器的模数传感器输出以下至少一项：每个感光单元的感光电信号的模拟电压、至少两个感光单元的感光电信号的模拟电压叠加获得的叠加模拟电压。

这样，当输出每个感光单元的感光电信号的模拟电压时，可以根据不同模拟电压确定的图像之间的相位差进行测距，从而实现实时运动追焦的功能，同时也可以修正校准所拍摄的照片。当输出至少两个感光单元的感光电信号的模拟电压叠加获得的叠加模拟电压时，可以根据叠加模拟电压确定运动对象的轮廓，拥有高精度实时抓取动态物体轮廓的能力。从而，当使用终端设备拍摄运动的对象时，可以使拍摄的照片具有比较好的拍摄效果。

在本发明一些实施例中，步骤101所述的位移变化信息为某一张图像相对标准位置变化的位置信息(如图3中的“a1”和“a2”)可以是某一张图像的位置信息，即可以通过图像传感器先得到该一张图像的位置信息，再根据标准位置，即可以由图像传感器得到该一张图像对应的位移变化信息；步骤101所述的位移变化信息还可以是在获取每张图像的时间段内，该时间段内的每个时间点目标对象在该图像中的位置信息，基于起始时间点和终止时间点对应的目标图像在该图像中的位置信息，可以得到该张图像在时间段内目标对象的位置变化(即目标对象在该图像中的位移变化信息)；其中，标准位置信息可以为用户设置的位置信息，例如该图像的正中间位置，标准位置的选取可以基于该目标对象在该图像那个位置更美观来进行选取，为了方便叙述，下文中以中间位置为标准位置(如图2-3中“B图像”所处的位置)。

在本发明一些实施例中，步骤101所述的每张图像对应的拍摄角度不同，是指在全景拍摄模式下，以某个点为中心进行水平360度和垂直180度通过图像传感器获取至少两张图像；其中，至少两张图像中的每一张图像的拍摄角度不同。

在本发明一些实施例中，步骤101所述在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，包括：

在获取第一图像的过程中，通过图像传感器中的至少两个实感像素，获取第一图像中的目标对象的第一位移变化信息；

具体地，在获取第一图像的预设时间段内，在该预设时间段内的每一个时间点均通过图像传感器中的至少两个实感像素获取目标对象在第一图像中的位置信息，进而根据在该预设时间段内起始时间点和终止时间点目标对象的位置信息，确定在预设时间段内目标对象在第一图像中的第一位移变化信息。

由于获取图像需要的时间较长，在这个获取过程中，目标对象可能正在发生平移、膨胀或收缩、旋转等其他变化，从而使获取到的图像中目标对象的轮廓并不准确。实感像素就可以获取在获取图像的过程中目标对象的相应变化信息，进而电子设备可以根据该信息来对目标对象的轮廓进行调整，以使得不同图像中目标对象的轮廓信息可以对齐。

对应的，在该实施例中，步骤102所述的根据每张图像的位移变化信息，辅助对齐至少两张图像，具体包括：

根据第一位移变化信息，调整第一图像中的目标对象的轮廓，得到第一参考图像；

具体地，可以先基于第一位移变化信息，将第一图像中的目标对象的轮廓移动至该预设时间段内起始时间点或终止时间点对应的位置信息处，得到修改后的第一图像；

对齐第一参考图像和至少两张图像中除第一图像之外的其他图像。

具体地，若第一图像为先拍摄得到的图像，则可将第一图像中的目标对象的轮廓移动至该预设时间段内终止时间点对应的位置信息处，从而确保目标对象的轮廓与其他图像更相近，与其他图像进行融合时能够更好地对齐；若第一图像为后拍摄得到的图像，则可将第一图像中的目标对象的轮廓移动至该预设时间段内起始时间点对应的位置信息处，从而确保目标对象的轮廓与其他图像更相近，与其他图像进行融合时能够更好地对齐。

具体地，在全景拍摄模式下，将第一参考图像和至少两张图像中除第一图像之外的其他图像的边缘从左至右进行对齐，由于对齐了第一图像和至少两张图像中除第一图像之前的其他图像，故目标图像中的每张图像的边缘清晰，不存在因每张图像的边缘错位导致目标图像失真的问题。

可选的，第一图像为至少两张图像中需要对齐的图像，其他图像则是至少两张图像中的不用对齐的图像，即该其他图像的位移变化信息可以为0；那么在对齐图像之前，可以先判断至少两张图像中的每一张图像是否存在位移变化信息，如果某一张图像不存在位移变化信息时，则该张图像不需要对齐；另外，第一图像的数量可以为一个也可以为多个，在第一图像的数量为多个时，每张第一图像均基于其对应的第一位移变化信息，均得到第一参考图像，然后每一张第参考一图像与至少两张图像中除多张第一图像之外的其他图像进行对齐，直至所有的第一图像均与至少两张图像中除第一图像之外的其他图像进行对齐。

在本发明实施例中，通过实感像素来获取至少两张图像中的第一图像中目标对象的第一位移变化信息，然后再基于第一位移变化信息调整第一图像中的目标对象的轮廓，进而能实现至少两个图像中每张图像以及该每张图像中的目标对象的对齐，提高用户体验。

在一个示例中，步骤101所述的在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，具体包括：

至少两张图像还包括第二图像，在获取第二图像的过程中，通过图像传感器中的至少两个实感像素，获取第二图像中的目标对象的第二位移变化信息；

具体地，在获取第二图像的预设时间段内，在该预设时间段内的每一个时间点均通过图像传感器中的至少两个实感像素获取目标对象在第二图像中的位置信息，进而根据在该预设时间段内起始时间点和终止时间点目标对象的位置信息，确定在预设时间段内目标对象在第二图像中的第二位移变化信息。

对应的，在该示例中，根据每张图像的位移变化信息，辅助对齐至少两张图像，具体包括：

根据第二位移变化信息，调整第二图像中的目标对象的轮廓，得到第二参考图像；

具体地，基于第一位移变化信息，将第一图像中的目标对象的轮廓移动至该预设时间段内起始时间点对应的位置信息处，得到修改后的第一图像；与此同时，或者在得到修改后的第一图像这之前，或者是在得到修改后的第一图像之后，基于第二位移变化信息，将第二图像中的目标对象的轮廓移动至该预设时间段内起始时间点对应的位置信息处，得到修改后的第二图像。

可选的，调整第二图像中目标对象的轮廓与前文所述的调整第一图像中目标对象的轮廓的方案类似，在此不再赘述。

可选的，若第一图像为先拍摄得到的图像，第二图像为后拍摄得到的图像，则可将第一图像中的目标对象的轮廓移动至获取第一图像的预设时间段内终止时间点对应的位置信息处，将第二图像中的目标对象的轮廓移动至获取第二图像的预设时间段内起始时间点对应的位置信息处，从而确保两张图像中目标对象的轮廓更相近，融合时能够更好地对齐。

根据第一参考图像和第二参考图像中目标对象的轮廓，对齐第一参考图像和第二参考图像。

具体地，在全景拍摄模式下，将第一参考图像、第二参考图像和至少两张图像中除第一图像和第二图像之外的其他图像的边缘从左至右进行对齐，由于对齐了第一参考图像、第二参考图像和至少两张图像中除第一图像和第二图像之外的其他图像，故目标图像中的每张图像的边缘清晰，解决了因每张图像的边缘错位导致目标图像失真的问题。

需要说明的是，在获取第二图像之后，基于第一位移变化信息调整第一图像中目标对象的轮廓，以及同时基于第二位移变化信息调整第二图像中目标对象的轮廓，最后对齐第一参考图像和第二参考图像。其中，第一图像和第二图像为至少两个图像中的任意两个图像。

在本发明实施例中，通过实感像素来获取至少两张图像中的第一图像中目标对象的第一位移变化信息，以及实感像素来获取至少两张图像中的第二图像中目标对象的第一位移变化信息；然后基于第一位移变化信息调整第一图像中的目标对象的轮廓，以及基于第二位移变化信息调整第二图像中的目标对象的轮廓，然后再将第一参考图像和第二参考图像对齐，进而能实现至少两个图像中每张图像以及该每张图像中的目标对象的对齐，提高用户体验。

在本发明一些实施例中，步骤101所述的在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，包括：

至少两张图像包括第三图像和第四图像，在获取第三图像的过程中，通过图像传感器中的至少两个实感像素，获取第三图像的第三位移变化信息；在获取第四图像的过程中，通过图像传感器中的至少两个实感像素，获取第四图像的第四位移变化信息；

对应的，在该实施例中，步骤102所述的根据每张图像的位移变化信息，辅助对齐至少两张图像，具体包括：

根据第三位移变化信息和第四位移变化信息的差值，对齐第三图像和第四图像。

具体地，基于第三位移变化信息和第四位移变化信息的相对差值，确定第三图像相对于第四图像的相对位移，基于该相对位移，调整第三图像，使得第三图像相对于第四图像的相对位移为0，即可得到第三参考图像，进而实现第三图像和第四图像的对齐。

假设，第三位移变化信息为向上3cm，第四位移变化信息为向左5cm，基于第一位移变化信息和第二位移变化信息之间的差值，即2cm，则需要将第三图像向上移动2cm，以得到第三参考图像，也实现了第三图像和第四图像的对齐。

需要说明的是，可以基于至少两张图像中的第三图像和第四图像，确定第一位移变化信息和第二位移变化信息之间的差值，然后基于差值进行对齐；其中，第三图像的数量可以为多个，第四图像的数量可以为一个，可以确定所有第三图像中每张图像与第四图像的差值，进而可以实现对多张第三图像、第四图像和至少两张图像中除多张第三图像和第四图像之外的图像的对齐。另外，第四图像还可以为多张第三图像中的任一张第三图像，第四图像可以从至少两张图像中随机选取。其中，第三图像和第四图像为至少两张图像中的任一两张图像。

在本发明实施例中，通过图像传感器来获取至少两张图像中的第三图像和第四图像，在获取第三图像过程中，基于图像传感器中的实感像素获取第三图像的第三位移变化信息和第四位移变化信息的差值，对齐第三图像和第四图像，进而能实现第三图像和第四图像的对齐，提高用户体验。

在本发明另一些实施例中，在至少两张图像还包括第五图像时，步骤101所述的在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，具体包括：

在获取第五图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第五位移变化信息；

对应的，在该实施例中，步骤102所述的根据每张图像的位移变化信息，辅助对齐至少两张图像，具体包括：

根据第三位移变化信息和第四位移变化信息的差值，将第三图像对齐至第四图像，得到第三参考图像；

根据第四位移变化信息和第五位移变化信息的差值，将第三参考图像和第四图像对齐至第五图像，得到第四参考图像和第五参考图像；

具体地，基于第三位移变化信息和第四位移变化信息的相对差值，确定第三图像相对于第四图像的第一相对位移，基于该第一相对位移，调整第三图像，使得调整后的第三图像与第三图像的相对位移为0，即可得到第三参考图像；在得到第三参考图像之后，基于第四位移变化信息和第五位移变化信息的相对差值，确定第四图像相对于第五图像的第二相对位移，基于该第二相对位移，将第三参考图像和第四图像对齐至第五图像，使得第四参考图像和第五图像与第五图像的相对位移为0。

假设，第三位移变化信息为向上3cm，第四位移变化信息为向上4cm，第五位移变化信息为向上1cm；基于第三位移变化信息和第四位移变化信息之间的差值，即2cm，则需要将第三图像向上移动2cm，进而此时的第三位移变化信息也为3cm，以得到第三参考图像；以及基于第四位移变化信息和第五位移变化信息之间的差值，即-3cm，则需要将第三参考图像和第四图像向下移动3cm，此时第三参考图像和第四图像位移变化信息也为3cm，以得到第四参考图像和第五参考图像。

拼接第四参考图像和第五参考图像和第五图像，得到目标图像。

具体地，在全景拍摄模式下，将第四参考图像、第五参考图像和第五图像的边缘按照拍摄时间的先后，首位进行拼接，得到目标图像。

需要说明的是，第三图像、第四图像和第五图像中第三图像与第四图像、以及第四图像和第五图像相邻；对于至少两张图像中除第三图像、第四图像和第五图像之外的任意图像，都可以基于相邻图像之间的位移变化信息的差值来进行对齐。

在本发明实施例中，以第五图像为移动参考标准，先将第三图像与第四图像对齐，得到第三参考图像(即调整后的第三图像)；接着，将第三参考图像和第四图像与第五图像对齐，得到第四参考图像(即再次调整后的第三图像)和第五参考对齐(即调整后的第四图像)；进而能实现第三图像、第四图像的对齐和第五图像的对齐，提高用户体验。

为了描述方面，下面以三张图像为示例进行描述。

在图2中，A图像中的目标对象偏向上边，B图像中的目标对象偏向中间，C图像中的目标对象偏向下边。

在图3中，基于“a1”移动A图像，以使A图像与B图像对齐(如图4所示)，C图像与A图像同理；根据“a2”移动对齐后的A和B图像(如图5所示)，以使A图像、B图像和C图像对齐。其中，标准位置为B图像的位置信息。

在图4中，先基于“b1”移动A图像中“实线”目标对象至“虚线”目标对象位置处；以及基于“b2”移动C图像中“实线”目标对象至“虚线”目标对象位置处，进而实现A图像、B图像和C图像中的目标对象的对齐；然后再基于“a1”移动A图像，以使A图像与B图像对齐(如图4所示)，C图像与A图像同理；根据“a2”移动对齐后的A和B图像(如图5所示)，以使A图像、B图像和C图像对齐。其中，标准位置为B图像的位置信息和B图像中目标对象的位置信息。

图7为本发明实施例提供了一种图像处理装置的示意图。如图7所示，该图像处理装置700包括图像传感器，图像传感器包括排布的多个实感像素电路；

其中，图像处理装置700还包括：

获取模块701，用于通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，每张图像的拍摄角度不同；

对齐模块702，用于根据每张图像的位移变化信息，辅助对齐至少两张图像；

拼接模块703，用于对至少两张图像进行拼接，得到目标图像。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像的位移变化信息，然后基于每一张图像的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行拼接，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

可选的，获取模块701，还用于：

至少两张图像包括第一图像，在获取第一图像的过程中，通过图像传感器中的至少两个实感像素，获取第一图像中的目标对象的第一位移变化信息；

对齐模块702，还用于：

根据第一位移变化信息，调整第一图像中的目标对象的轮廓，得到第一参考图像；

对齐第一参考图像和至少两张图像中除第一图像之外的其他图像。

可选的，获取模块701，还用于：

至少两张图像还包括第二图像，在获取第二图像的过程中，通过图像传感器中的至少两个实感像素，获取第二图像中的目标对象的第二位移变化信息；

对齐模块702，还用于：

根据第二位移变化信息，调整第二图像中的目标对象的轮廓，得到第二参考图像；

根据第一参考图像和第二参考图像中目标对象的轮廓，对齐第一参考图像和第二参考图像。

可选的，获取模块701，还用于：

至少两张图像包括第三图像和第四图像，在获取第三图像的过程中，通过图像传感器中的至少两个实感像素，获取第三图像的第三位移变化信息；在获取第四图像的过程中，通过图像传感器中的至少两个实感像素，获取第四图像的第四位移变化信息；

对齐模块702，还用于：

根据第三位移变化信息和第四位移变化信息的差值，对齐第三图像和第四图像。

可选的，获取模块701，还用于：

至少两张图像还包括第五图像，在获取第五图像的过程中，通过图像传感器中的至少两个实感像素，获取目标对象的第五位移变化信息；

对齐模块702，还用于：

根据第三位移变化信息和第四位移变化信息的差值，将第三图像对齐至第四图像，得到第三参考图像；

根据第四位移变化信息和第五位移变化信息的差值，将第三参考图像和第四图像对齐至第五图像，得到第四参考图像和第五参考图像；

拼接模块703，还用于拼接第四参考图像和第五参考图像和第五图像，得到目标图像。

本发明实施例提供的电子设备能够实现图1的方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像的位移变化信息，然后基于每一张图像的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行拼接，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

图8为实现本发明各个实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、处理器810、以及电源811等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，输入单元804，用于通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素，获取至少两张图像中每张图像的位移变化信息，每张图像的拍摄角度不同；

处理器810，用于根据每张图像的位移变化信息，辅助对齐至少两张图像，并对至少两张图像进行拼接，得到目标图像。

在本发明实施例中，通过图像传感器连续获取至少两张图像，并在获取至少两张图像的过程中，通过图像传感器中的至少两个实感像素获取至少两张图像中每一张图像的位移变化信息，然后基于每一张图像的位移变化信息，辅助对齐至少两张图像，最后对至少两张图像进行拼接，得到目标图像；进而能够解决至少两张图像在对齐过程中，由于图像边缘错位，图像失真的问题，提高用户体验。

应理解的是，本发明实施例中，射频单元801可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器810处理；另外，将上行的数据发送给基站。通常，射频单元801包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元801还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块802为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元803可以将射频单元801或网络模块802接收的或者在存储器809中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元803还可以提供与电子设备800执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元803包括扬声器、蜂鸣器以及受话器等。

输入单元804用于接收音频或视频信号。输入单元804可以包括图形处理器(Graphics Processing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元806上。经图形处理器8041处理后的图像帧可以存储在存储器809(或其它存储介质)中或者经由射频单元801或网络模块802进行发送。麦克风8042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元801发送到移动通信基站的格式输出。

电子设备800还包括至少一种传感器805，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板8061的亮度，接近传感器可在电子设备800移动到耳边时，关闭显示面板8061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器805还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元806用于显示由用户输入的信息或提供给用户的信息。显示单元806可包括显示面板8061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板8061。

用户输入单元807可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板8071上或在触控面板8071附近的操作)。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器810，接收处理器810发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板8071。除了触控面板8071，用户输入单元807还可以包括其他输入设备8072。具体地，其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板8071可覆盖在显示面板8061上，当触控面板8071检测到在其上或附近的触摸操作后，传送给处理器810以确定触摸事件的类型，随后处理器810根据触摸事件的类型在显示面板8061上提供相应的视觉输出。虽然在图8中，触控面板8071与显示面板8061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板8071与显示面板8061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元808为外部装置与电子设备800连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元808可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备800内的一个或多个元件或者可以用于在电子设备800和外部装置之间传输数据。

存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器809可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器810是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器809内的软件程序和/或模块，以及调用存储在存储器809内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器810可包括一个或多个处理单元；优选的，处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

电子设备800还可以包括给各个部件供电的电源811(比如电池)，优选的，电源811可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备800包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种电子设备，包括处理器810，存储器809，存储在存储器809上并可在所述处理器810上运行的计算机程序，该计算机程序被处理器810执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括图像传感器，所述图像传感器包括排布的多个实感像素电路，所述方法包括：

通过所述图像传感器连续获取至少两张图像，并在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述至少两张图像中每张图像的位移变化信息，所述每张图像的拍摄角度不同；

根据所述每张图像的位移变化信息，辅助对齐所述至少两张图像，并对所述至少两张图像进行拼接，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述至少两张图像中每张图像的位移变化信息，具体包括：

所述至少两张图像包括第一图像，在获取所述第一图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述第一图像中的目标对象的第一位移变化信息；

所述根据所述每张图像的位移变化信息，辅助对齐所述至少两张图像，具体包括：

根据所述第一位移变化信息，调整所述第一图像中的所述目标对象的轮廓，得到第一参考图像；

对齐所述第一参考图像和所述至少两张图像中除所述第一图像之外的其他图像。

3.根据权利要求2所述的方法，其特征在于，所述在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述至少两张图像中每张图像的位移变化信息，具体包括：

所述至少两张图像还包括第二图像，在获取所述第二图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述第二图像中的所述目标对象的第二位移变化信息；

所述根据所述每张图像的位移变化信息，辅助对齐所述至少两张图像，具体包括：

根据所述第二位移变化信息，调整所述第二图像中的所述目标对象的轮廓，得到第二参考图像；

根据所述第一参考图像和所述第二参考图像中所述目标对象的轮廓，对齐所述第一参考图像和所述第二参考图像。

4.根据权利要求1所述的方法，其特征在于，所述在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述至少两张图像中每张图像的位移变化信息，具体包括：

所述至少两张图像包括第三图像和第四图像，在获取所述第三图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述第三图像的第三位移变化信息；在获取所述第四图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述第四图像的第四位移变化信息；

所述根据所述每张图像的位移变化信息，辅助对齐所述至少两张图像，具体包括：

根据所述第三位移变化信息和所述第四位移变化信息的差值，对齐所述第三图像和所述第四图像。

5.根据权利要求4所述的方法，其特征在于，所述在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述至少两张图像中每张图像的位移变化信息，具体包括：

所述至少两张图像还包括第五图像，在获取所述第五图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第五位移变化信息；

所述根据所述每张图像的位移变化信息，辅助对齐所述至少两张图像，并对所述至少两张图像进行拼接，得到目标图像，具体包括：

根据所述第三位移变化信息和所述第四位移变化信息的差值，将所述第三图像对齐至所述第四图像，得到第三参考图像；

根据所述第四位移变化信息和所述第五位移变化信息的差值，将所述第三参考图像和所述第四图像对齐至第五图像，得到第四参考图像和第五参考图像；

拼接所述第四参考图像和所述第五参考图像和所述第五图像，得到所述目标图像。

6.一种图像处理装置，其特征在于，所述装置包括图像传感器，所述图像传感器包括排布的多个实感像素电路，所述图像处理装置还包括：

获取模块，用于通过所述图像传感器连续获取至少两张图像，并在获取所述至少两张图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述至少两张图像中每张图像的位移变化信息，所述每张图像的拍摄角度不同；

对齐模块，用于根据所述每张图像的位移变化信息，辅助对齐所述至少两张图像；

拼接模块，用于对所述至少两张图像进行拼接，得到目标图像。

7.根据权利要求6所述的装置，其特征在于，所述获取模块，还用于：

所述至少两张图像包括第一图像，在获取所述第一图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述第一图像中的目标对象的第一位移变化信息；

所述对齐模块，还用于：

根据所述第一位移变化信息，调整所述第一图像中的所述目标对象的轮廓，得到第一参考图像；

对齐所述第一参考图像和所述至少两张图像中除所述第一图像之外的其他图像。

8.根据权利要求7所述的装置，其特征在于，所述获取模块，还用于：

所述至少两张图像还包括第二图像，在获取所述第二图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述第二图像中的所述目标对象的第二位移变化信息；

所述对齐模块，还用于：

根据所述第二位移变化信息，调整所述第二图像中的所述目标对象的轮廓，得到第二参考图像；

根据所述第一参考图像和所述第二参考图像中所述目标对象的轮廓，对齐所述第一参考图像和所述第二参考图像。

9.根据权利要求6所述的装置，其特征在于，所述获取模块，还用于：

所述至少两张图像包括第三图像和第四图像，在获取所述第三图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述第三图像的第三位移变化信息；在获取所述第四图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述第四图像的第四位移变化信息；

所述对齐模块，还用于：

根据所述第三位移变化信息和所述第四位移变化信息的差值，对齐所述第三图像和所述第四图像。

10.根据权利要求9所述的装置，其特征在于，所述获取模块，还用于：

所述至少两张图像还包括第五图像，在获取所述第五图像的过程中，通过所述图像传感器中的所述至少两个实感像素，获取所述目标对象的第五位移变化信息；

所述对齐模块，还用于：

根据所述第三位移变化信息和所述第四位移变化信息的差值，将所述第三图像对齐至所述第四图像，得到第三参考图像；

根据所述第三位移变化信息和所述第五位移变化信息的差值，将所述第三参考图像和所述第四图像对齐至第五图像，得到第四参考图像和第五参考图像；

拼接模块，还用于拼接所述第四参考图像和所述第五参考图像和所述第五图像，得到所述目标图像。

Images