CN110278360B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质，包括：获取摄像模组在同一OIS光学防抖模式下所拍摄的原始图像，电子设备包括至少两个摄像模组，每个摄像模组具有OIS防抖功能，摄像模组在同一OIS光学防抖模式下的抖动补偿信息相同。获取所述原始图像的非重叠区域，对原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像，将EIS电子防抖补偿后的图像进行拼接合成得到目标图像。本申请中电子设备的每个摄像模组在同一OIS防抖模式下进行拍摄得到原始图像，就降低了原始图像之间的损失区域。再将每张原始图像经过EIS防抖补偿、拼接合成得到目标图像，所以目标图像就获取了较大的视场角和高清晰度。

Description

图像处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着摄像技术的不断发展，人们对电子设备摄像头的拍照要求日益提高。传统的电子设备从单摄像头发展到后来的双摄像头，拍照质量有了显著的提高。但是人们对电子设备的拍照要求也随之日益提高，如何进一步提高电子设备的拍照质量、满足用户更高的拍照需求，就是一个亟待解决的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高电子设备的拍照质量、满足更高的拍照需求。

一种图像处理方法，应用于电子设备，包括：

获取摄像模组在同一OIS光学防抖模式下所拍摄的原始图像，所述电子设备包括至少两个摄像模组，每个摄像模组具有OIS防抖功能，所述摄像模组在所述同一OIS光学防抖模式下的抖动补偿信息相同；

获取所述原始图像的非重叠区域，对所述原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像；

将所述EIS电子防抖补偿后的图像进行拼接合成得到目标图像。

一种多摄像模组，包括至少两个摄像模组，所述至少两个摄像模组排列后构成矩形，所述至少两个摄像模组分别排列在所述矩形的顶点上，每个摄像模组具有OIS防抖功能；

所述摄像模组用于在同一OIS防抖模式下拍摄得到原始图像，所述摄像模组在所述同一OIS光学防抖模式下的抖动补偿信息相同；获取所述原始图像的非重叠区域，对所述原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像；将所述EIS电子防抖补偿后的图像进行拼接合成得到目标图像。

一种图像处理装置，包括：

OIS防抖模块，用于获取摄像模组在同一OIS防抖模式下所拍摄的原始图像，所述电子设备包括至少两个摄像模组，每个摄像模组具有OIS防抖功能，所述摄像模组在所述同一OIS光学防抖模式下的抖动补偿信息相同；

EIS防抖模块，用于获取所述原始图像的非重叠区域，对所述原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像；

拼接合成模块，用于将所述EIS电子防抖补偿后的图像进行拼接合成得到目标图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法的步骤。

上述图像处理方法、装置、电子设备、计算机可读存储介质，获取摄像模组在同一OIS光学防抖模式下所拍摄的原始图像，电子设备包括至少两个摄像模组，每个摄像模组具有OIS防抖功能，摄像模组在同一OIS光学防抖模式下的抖动补偿信息相同。获取原始图像的非重叠区域，对原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像，将EIS电子防抖补偿后的图像进行拼接合成得到目标图像。本申请中电子设备包括至少两个摄像模组，且每个摄像模组具有OIS防抖功能，每个摄像模组在同一OIS防抖模式下进行拍摄得到原始图像，因为同一OIS防抖模式下镜头的抖动补偿信息相同，所以降低了摄像模组所拍摄的原始图像之间的损失区域。再将每张原始图像经过EIS防抖补偿、拼接合成得到目标图像，所以目标图像就获取了较大的视场角，同时获取了经过OIS、EIS双重防抖补偿下的高清晰图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程图；

图3为一个实施例中摄像头OIS防抖系统的结构示意图；

图4为另一个实施例中图像处理方法的流程图；

图5为图2中将EIS电子防抖补偿后的图像进行拼接合成得到目标图像方法的流程图；

图6为一个实施例中多个摄像模组采用矩形的方式排列的示意图；

图7为一个实施例中原始图像的位置分布示意图；

图8A为一个实施例中图像处理装置的结构框图；

图8B为另一个实施例中图像处理装置的结构框图；

图9为一个实施例中电子设备的内部结构示意图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一摄像头称为第二摄像头，且类似地，可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头，但其不是同一摄像头。

图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备100。电子设备100包含有至少至少两个摄像模组110。电子设备100可以获取摄像模组在同一OIS光学防抖模式下所拍摄的原始图像，每个摄像模组具有OIS防抖功能，所述摄像模组在所述同一OIS光学防抖模式下的抖动补偿信息相同。获取所述原始图像的非重叠区域，对所述原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像，将所述EIS电子防抖补偿后的图像进行拼接合成得到目标图像。可以理解的是，上述电子设备100可以不限于是各种手机、相机、电脑、可携带设备等。

图2为一个实施例中图像处理方法的流程图，如图2所示，图像处理方法包括步骤202至步骤206。

步骤202，获取摄像模组在同一OIS光学防抖模式下所拍摄的原始图像，电子设备包括至少两个摄像模组，每个摄像模组具有OIS防抖功能，摄像模组中的镜头在同一OIS光学防抖模式下的抖动补偿信息相同。

具体的，OIS防抖(光学防抖，Optical image stabilization)，是指在相机或者其他类似成像仪器中，通过光学元器件的设置，例如镜头设置来避免或者减少扑捉光学信号过程中出现的仪器抖动现象，从而提高成像质量。本申请中的电子设备包括至少两个摄像模组，每个摄像模组都具有OIS防抖功能。通过电子设备中所包含的摄像模组在同一OIS光学防抖模式下对拍摄场景进行拍摄得到多张原始图像。在同一OIS光学防抖模式下不同摄像模组中的抖动补偿信息相同。一般情况下，电子设备中的一个摄像模组对拍摄场景拍摄一帧原始图像，这样就得到了多帧原始图像，当然，也可以是电子设备中的一个摄像模组对拍摄场景拍摄了多帧原始图像，从中筛选出最清晰的图像帧作为该摄像模组所得到的原始图像。

步骤204，获取原始图像的非重叠区域，对原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像。

EIS防抖(电子防抖，Electric Image Stabilization)是利用侦测到机身抖动的程度来动态调整ISO、快门或软体来做模糊修正。EIS防抖是一种演算法运算，透过影像裁减补偿方式来避免模糊，防震效果取决于演算法的设计与效率。EIS防抖的优点是不需额外增加硬体，成本较低且适合微型化设计。

根据不同的原始图像中相同的像素所对应的位置，从而获取到不同的原始图像中的重叠区域，再从不同的原始图像中分别剔除该重叠区域就得到了不同的原始图像的重叠区域。因为摄像模组的相对位置固定，多个摄像模组之间不再需要进行额外的EIS防抖补偿，只需要对原始图像中的非重叠区域进行EIS防抖补偿，得到了EIS电子防抖补偿后的图像。这里的非重叠区域指的就是原始图像中除去重叠区域之外的区域，一般位于原始图像的四周边缘。对原始图像的非重叠区域进行EIS电子防抖补偿，并不会改变非重叠区域的位置，即重叠区域的位置也不会发生改变。

步骤206，将EIS电子防抖补偿后的图像进行拼接合成得到目标图像。

将每一张原始图像的非重叠区域经过EIS防抖补偿后得到EIS防抖补偿后的图像。从EIS防抖补偿后的图像中分别获取重叠区域，将重叠区域进行合成，再将EIS防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

本实施例中的图像处理方法，电子设备包括至少两个摄像模组，且每个摄像模组具有OIS防抖功能，每个摄像模组在同一OIS防抖模式下进行拍摄得到原始图像，因为同一OIS防抖模式下镜头的抖动补偿信息相同，所以降低了摄像模组所拍摄的原始图像之间的损失区域。再将每张原始图像经过EIS防抖补偿、拼接合成得到目标图像，所以目标图像就获取了较大的视场角，同时获取了经过OIS、EIS防抖补偿双重防抖补偿下的高清晰图像。

在一个实施例中，步骤202，获取摄像模组在同一OIS光学防抖模式下所拍摄的原始图像，包括：

通过陀螺仪采集任意摄像模组中的镜头的角速度数据，将角速度数据传输至主控芯片计算出抖动补偿信息；

将抖动补偿信息发送至OIS驱动芯片，以使OIS驱动芯片根据抖动补偿信息驱动每个摄像模组中的马达控制对应的镜头在同一方向上移动相同的距离至目标位置；

获取每个摄像模组中的镜头移动至目标位置所拍摄的原始图像。

具体的，如图3所示，为一个实施例中摄像头OIS防抖系统的结构示意图。如图3所示，在一个实施例中，摄像头防抖系统中包含的主控芯片312和陀螺仪314设于摄像头防抖系统的主板310上，防抖驱动芯片322、马达324和镜头326设于摄像头防抖系统的摄像头模组320中。其中，陀螺仪314与主控芯片312之间可以通过SPI(Serial PeripheralInterface，串行外设接口)连接；主控芯片312与防抖驱动芯片322之间可以通过IIC(Inter-Integrated Circuit，集成电路总线)连接。陀螺仪314可以采集任意摄像模组中的镜头326的角速度信息，并将角速度信息发送给主控芯片312，主控芯片312可以根据角速度信息计算镜头326的抖动补偿信息，并将该抖动补偿信息发送给防抖驱动芯片322，防抖驱动芯片322可以根据该抖动补偿信息控制马达324上电，以使马达324驱动镜头326的移动。

进一步，摄像头模组320中还设有图像传感器328，图像传感器328可以通过CCI(Connection Control Interface，连接控制接口)与主控芯片312连接。主控芯片312可以在接收到图像采集指令，通过CCI接口控制图像传感器328上电，以使图像传感器328基于移动后的镜头326采集图像。

通过主控芯片根据陀螺仪采集的角速度信息计算镜头的抖动补偿信息，防抖驱动芯片根据抖动补偿信息控制每个摄像模组的马达上电驱动对应的镜头进行在同一方向上移动相同的距离至目标位置，获取每个摄像模组中的镜头移动至目标位置所拍摄的原始图像。在这个过程中不需要防抖驱动芯片做抖动补偿信息的计算，可以减小防抖驱动芯片的体积，即减少摄像头模组的体积，可以提高摄像头模组的可靠性。

本申请实施例中，因为电子设备发生抖动时，电子设备中所包含的摄像模组所发生的抖动是同步的且是相同的，所以通过陀螺仪采集任意摄像模组中的镜头的角速度数据，并根据角速度数据计算出抖动补偿信息。再根据抖动补偿信息驱动每个摄像模组中的马达控制对应的镜头在同一方向上移动相同的距离至目标位置，并获取每个摄像模组中的镜头移动至目标位置所拍摄的原始图像。因为同一OIS防抖模式下镜头的移动方向和距离相同，所以降低了摄像模组所拍摄的原始图像之间的损失区域。

在一个实施例，如图4所示，在获取摄像模组在同一OIS防抖模式下所拍摄的原始图像之前，包括：

步骤208，将电子设备所包含的摄像模组中的镜头移动至最大焦距处，在未开启OIS防抖的模式下分别对标定板进行拍摄得到多张第一标定图像；

步骤210，对多张第一标定图像进行标定，得到多张第一标定图像的重叠区域；

步骤212，将电子设备所包含的摄像模组中的镜头移动至最小焦距处，在未开启OIS防抖的模式下分别对标定板进行拍摄得到多张第二标定图像；

步骤214，对多张第二标定图像进行标定，得到多张第二标定图像的重叠区域。

具体的，标定板(Calibration Target)在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变、确定物理尺寸和像素间的换算关系以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定板。

在采用摄像模组在同一OIS防抖模式下对拍摄场景进行拍摄得到原始图像之前，需要对摄像模组进行标定。标定的过程具体为：将电子设备包含的所有摄像模组中的镜头移动至最大焦距(所有摄像模组的最大焦距相同)处，在未开启OIS防抖的模式下分别对标定板进行拍摄得到多张第一标定图像；对多张第一标定图像进行标定，得到多张第一标定图像的重叠区域；将电子设备包含的所有摄像模组中的镜头移动至最小焦距(所有摄像模组的最小焦距相同)处，在未开启OIS防抖的模式下分别对标定板进行拍摄得到多张第二标定图像；根据标定板上的图案阵列，对多张第二标定图像进行标定，得到多张第二标定图像的重叠区域。

本申请实施例中，对摄像模组中的镜头移动至最大焦距处，进行拍摄得到多张第一标定图像，对多张第一标定图像进行标定，得到多张第一标定图像的重叠区域。再同理得到像模组中的镜头移动至最小焦距处，所得到多张第二标定图像的重叠区域。随着焦距的变化，标定图像的重叠区域进行线性变化，对于摄像模组在同一OIS光学防抖模式下所拍摄的原始图像也是如此。因此，根据第一标定图像的重叠区域、第二标定图像的重叠区域就可以计算摄像模组在最大焦距和最小焦距之间的任一焦距时所拍摄图像的重叠区域。进而根据重叠区域对图像进行拼接合成，得到目标图像。

在一个实施例中，获取所述原始图像的非重叠区域，包括：

根据所述多张第一标定图像的重叠区域、所述多张第二标定图像的重叠区域及所述同一OIS防抖模式下的抖动补偿信息，计算所述原始图像的非重叠区域。

本申请实施例中，由于随着焦距的变化，标定图像的重叠区域进行线性变化，对于摄像模组在同一OIS光学防抖模式下所拍摄的原始图像也是如此。根据对摄像模组进行标定所得到的第一标定图像的重叠区域、第二标定图像的重叠区域，再结合同一OIS防抖模式下的抖动补偿信息，就可以计算出该摄像模组在同一OIS光学防抖模式下所拍摄得到的原始图像的重叠区域。

在一个实施例中，对原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像，包括：

获取镜头的角速度数据及同一OIS防抖模式中的抖动补偿信息；

根据镜头的角速度数据及抖动补偿信息对原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像。

本申请实施例中，镜头的角速度数据反应了电子设备的抖动幅度，同一OIS防抖模式中的抖动补偿信息体现了摄像模组进行OIS防抖补偿的补偿量大小。因此，在对摄像模组进行OIS防抖补偿之后得到了原始图像，继续对原始图像的非重叠区域进行EIS防抖补偿。因为原始图像是经过OIS防抖补偿之后所得到的图像，所以在继续进行EIS防抖补偿时，需要根据镜头的角速度数据将OIS防抖补偿的补偿量减去得到待补偿量，根据待补偿量进行EIS防抖补偿，从而避免了出现过补偿，提高图像的质量和清晰度。

一个实施例中，如图5所示，步骤206，将EIS电子防抖补偿后的图像进行拼接合成得到目标图像，包括：

步骤206a，根据多张第一标定图像的重叠区域、多张第二标定图像的重叠区域及同一OIS防抖模式下的抖动补偿信息，计算EIS电子防抖补偿后的图像的重叠区域；

步骤206b，将EIS电子防抖补偿后的图像的重叠区域进行合成，将EIS电子防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

具体的，因为多个摄像模组是在同一OIS防抖模式下进行抖动补偿，多个摄像模组中的镜头均在同一方向上移动相同的距离，且多个摄像模组的焦距也是相同的，获取到多个摄像模组对拍摄场景进行拍摄时的焦距。由于随着焦距的变化，标定图像的重叠区域进行线性变化，对于摄像模组在同一OIS光学防抖模式下所拍摄的原始图像也是如此。因此，根据第一标定图像的重叠区域、第二标定图像的重叠区域及同一OIS防抖模式下的抖动补偿信息，就可以计算摄像模组在最大焦距和最小焦距之间的任一焦距时所拍摄图像的重叠区域，也进而可以计算EIS电子防抖补偿后的图像的重叠区域。

在计算得到了EIS电子防抖补偿后的图像的重叠区域之后，可以从EIS电子防抖补偿后的图像中剔除重叠区域，就得到了非重叠区域。进而将EIS电子防抖补偿后的图像的重叠区域进行合成，将EIS电子防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

本申请实施例中，由于随着焦距的变化，标定图像的重叠区域进行线性变化，对于摄像模组在同一OIS光学防抖模式下所拍摄的原始图像也是如此。根据对摄像模组进行标定所得到的第一标定图像的重叠区域、第二标定图像的重叠区域，再结合同一OIS防抖模式下的抖动补偿信息，就可以计算出该摄像模组在同一OIS光学防抖模式下所拍摄得到的原始图像的重叠区域。对原始图像的非重叠区域进行EIS电子防抖补偿，并不会改变重叠区域的位置，所以，就也得到了EIS电子防抖补偿后的图像的重叠区域。将EIS电子防抖补偿后的图像的重叠区域进行合成，将EIS电子防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

采用对摄像模组进行标定的方式，计算出经过OIS防抖、EIS防抖之后所得到的图像的重叠区域，进而对图像的重叠区域进行合成，对非重叠区域进行拼接得到目标图像。这种拼接合成方法，简单快捷且精确度高。

在一个实施例中，至少两个摄像模组排列后构成矩形，至少两个摄像模组分别排列在矩形的顶点上。

具体的，此处至少两个摄像模组的数目为三个及以上。电子设备上可以设置有三个摄像头模组，也可以是设置有四个摄像头模组，也可以是设置有五个摄像头模组或者更多，在此处不做限制。电子设备上的多个摄像头模组排布构成矩形。例如，当电子设备上设置有三个摄像头模组时，这三个摄像头模组分别设置于矩形对角线的任意三个顶点所在位置；当如图6所示，当电子设备上设置有四个摄像头模组602、603、604、605时，则这四个摄像头模组分别设置于矩形四个顶点所在位置。当电子设备上设置有五个以上摄像头模组时，从中任意获取四个摄像头模组分别设置于矩形四个顶点所在位置，而将剩余的摄像头模组设置在矩形内部，当然，还可以有其他的排布方式，如排布在矩形的边上等。

如图7所示，为图6所示的四个摄像模组所拍摄出的原始图像的位置分布图。电子设备通过4个摄像模组602、603、604、605进行图像采集，得到对应的4帧原始图像704、706、708和710，重叠区域712为4个摄像模组的视场角之间的重叠区域。因为四个摄像模组采用矩形的方式排列，使得输出的原始图像的外边缘对齐，减少因为外边缘不对齐而需要对所输出的原始图像进行裁剪的问题，使得原始图像中尽可能多的区域都能够在拼接合成中进行利用，从而可以提高拼接合成后得到的图像利用率。在图7中，4帧原始图像704、706、708和710的外边缘线条分别横竖对齐，所以在进行图像拼接合成时，几乎不需要对这4帧图像进行裁剪，提高了这四个摄像模组所拍摄出的原始图像的利用率，进而就可以拼接合成出拍摄画面大，并且图像细节丰富的目标图像。

本申请实施例中，电子设备上的摄像头模组数目增加，则相应地就能够采集到更多、更全面的图像信息，以使最终所得到的图像更加高清、更加逼真。且电子设备上的多个摄像头模组排布构成矩形，使得多个摄像头模组输出的原始图像的外边缘对齐，从而可以提高拼接合成后得到的图像的图像利用率，增大拍摄视角、提高图像细节的清晰度。

在一个实施例中，提供了一种多摄像模组，包括至少两个摄像模组，至少两个摄像模组排列后构成矩形，至少两个摄像模组分别排列在矩形的顶点上，每个摄像模组具有OIS防抖功能；

摄像模组用于在同一OIS防抖模式下拍摄得到原始图像，摄像模组在同一OIS光学防抖模式下的抖动补偿信息相同；获取所述原始图像的非重叠区域，对原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像；将EIS电子防抖补偿后的图像进行拼接合成得到目标图像。

具体的，多摄像模组，包括至少两个摄像模组。随着摄像头模组数目增加，则相应地就能够采集到更多、更全面的图像信息。且多摄像模组中的至少两个摄像模组排列后构成矩形，至少两个摄像模组分别排列在矩形的顶点上。使得多个摄像头模组输出的原始图像的外边缘对齐，从而可以提高拼接合成后得到的图像的图像利用率。

且每个摄像模组都具有OIS防抖功能，则每一个摄像模组所拍摄出的原始图像都可以是经过OIS防抖补偿后所得到的。通过摄像模组在同一OIS光学防抖模式下进行拍摄得到原始图像，摄像模组在同一OIS光学防抖模式下的抖动补偿信息相同，即在同一OIS光学防抖模式下摄像模组中的镜头之间的相对位置不发生改变。所以就可以根据标定过程中的第一标定图像的重叠区域、第二标定图像的重叠区域，再结合同一OIS防抖模式下的抖动补偿信息，计算出该摄像模组在同一OIS光学防抖模式下所拍摄得到的原始图像的重叠区域。

进而获取到原始图像的非重叠区域，对原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像。原始图像的非重叠区域为除去重叠区域之外的区域，一般位于原始图像的四周边缘。最后，将EIS电子防抖补偿后的图像的重叠区域进行合成，将EIS电子防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

本申请实施例中，电子设备上的摄像头模组数目增加，则相应地就能够采集到更多、更全面的图像信息，以使最终所得到的图像更加高清、更加逼真。且电子设备上的多个摄像头模组排布构成矩形，使得多个摄像头模组输出的原始图像的外边缘对齐，从而可以提高拼接合成后得到的图像的图像利用率，增大拍摄视角、提高图像细节的清晰度。

且首先，通过摄像模组在同一OIS防抖模式下拍摄出原始图像；然后，通过摄像模组的标定计算出原始图像的重叠区域，进而得出原始图像的非重叠区域；其次，对原始图像的非重叠区域进行EIS防抖补偿，得到EIS防抖补偿后的图像；最后，将EIS电子防抖补偿后的图像的重叠区域进行合成，将EIS电子防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

在提高图像利用率的同时，先后进行OIS、EIS双重防抖补偿之后，提高图像的清晰度。并且，采用对摄像模组进行标定的方式进行图像拼接合成，这种拼接合成方法，简单快捷且精确度高。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8A所示，提供了一种图像处理装置800，包括：

OIS防抖模块802，用于获取摄像模组在同一OIS防抖模式下所拍摄的原始图像，电子设备包括至少两个摄像模组，每个摄像模组具有OIS防抖功能，摄像模组在同一OIS光学防抖模式下的抖动补偿信息相同；

EIS防抖模块804，用于获取所述原始图像的非重叠区域，对原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像；

拼接合成模块806，用于将EIS电子防抖补偿后的图像进行拼接合成得到目标图像。

在一个实施例中，OIS防抖模块802，还用于通过陀螺仪采集任意摄像模组中的镜头的角速度数据，将角速度数据传输至主控芯片计算出抖动补偿信息；将抖动补偿信息发送至OIS驱动芯片，以使OIS驱动芯片根据抖动补偿信息驱动每个摄像模组中的马达控制对应的镜头在同一方向上移动相同的距离至目标位置；获取每个摄像模组中的镜头移动至目标位置所拍摄的原始图像。

在一个实施例中，EIS防抖模块804，还用于获取镜头的角速度数据及同一OIS防抖模式中的抖动补偿信息；根据镜头的角速度数据及抖动补偿信息对原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像。

在一个实施例中，如图8B所示，还提供了一种图像处理装置800，包括：重叠区域标定模组808，用于将电子设备所包含的摄像模组中的镜头移动至最大焦距处，在未开启OIS防抖的模式下分别对标定板进行拍摄得到多张第一标定图像；对多张第一标定图像进行标定，得到多张第一标定图像的重叠区域；将电子设备所包含的摄像模组中的镜头移动至最小焦距处，在未开启OIS防抖的模式下分别对标定板进行拍摄得到多张第二标定图像；对多张第二标定图像进行标定，得到多张第二标定图像的重叠区域。

在一个实施例中，EIS防抖模块804，还用于根据所述多张第一标定图像的重叠区域、所述多张第二标定图像的重叠区域及所述同一OIS防抖模式下的抖动补偿信息，计算所述原始图像的非重叠区域。

在一个实施例中，拼接合成模块806，还用于根据多张第一标定图像的重叠区域、多张第二标定图像的重叠区域及同一OIS防抖模式下的抖动补偿信息，计算EIS电子防抖补偿后的图像的重叠区域；将EIS电子防抖补偿后的图像的重叠区域进行合成，将EIS电子防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括第一ISP处理器1030、第二ISP处理器1040和控制逻辑器1050。第一摄像头1010包括一个或多个第一透镜1012和第一图像传感器1014。第一图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器1014可获取用第一图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器1030处理的一组图像数据。第二摄像头1020包括一个或多个第二透镜1022和第二图像传感器1024。第二图像传感器1024可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器1024可获取用第二图像传感器1024的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器1040处理的一组图像数据。

第一摄像头1010采集的第一图像传输给第一ISP处理器1030进行处理，第一ISP处理器1030处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050，控制逻辑器1050可根据统计数据确定第一摄像头1010的控制参数，从而第一摄像头1010可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器1030进行处理后可存储至图像存储器1060中，第一ISP处理器1030也可以读取图像存储器1060中存储的图像以对进行处理。另外，第一图像经过ISP处理器1030进行处理后可直接发送至显示器1070进行显示，显示器1070也可以读取图像存储器1060中的图像以进行显示。

其中，第一ISP处理器1030按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器1030可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器1060可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器1014接口时，第一ISP处理器1030可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1060，以便在被显示之前进行另外的处理。第一ISP处理器1030从图像存储器1060接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1030处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器1030的输出还可发送给图像存储器1060，且显示器1070可从图像存储器1060读取图像数据。在一个实施例中，图像存储器1060可被配置为实现一个或多个帧缓冲器。

第一ISP处理器1030确定的统计数据可发送给控制逻辑器1050。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1012阴影校正等第一图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头1010的控制参数及第一ISP处理器1030的控制参数。例如，第一摄像头1010的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜1012阴影校正参数。

同样地，第二摄像头1020采集的第二图像传输给第二ISP处理器1040进行处理，第二ISP处理器1040处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050，控制逻辑器1050可根据统计数据确定第二摄像头1020的控制参数，从而第二摄像头1020可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器1040进行处理后可存储至图像存储器1060中，第二ISP处理器1040也可以读取图像存储器1060中存储的图像以对进行处理。另外，第二图像经过ISP处理器1040进行处理后可直接发送至显示器1070进行显示，显示器1070也可以读取图像存储器1060中的图像以进行显示。第二摄像头1020和第二ISP处理器1040也可以实现如第一摄像头1010和第一ISP处理器1030所描述的处理过程。

根据本申请实施例提供的图像处理电路可以实现上述图像处理方法。其中，电子设备可以多个摄像头，摄像头包括镜头及与镜头对应设置的图像传感器，多个摄像头中的图像传感器采用矩形对角线的方式排列。电子设备实现该图像处理方法的过程如上述实施例，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，应用于电子设备，其特征在于，包括：

获取摄像模组在同一OIS光学防抖模式下所拍摄的原始图像，所述电子设备包括至少两个摄像模组，每个摄像模组具有OIS防抖功能，所述摄像模组在所述同一OIS光学防抖模式下的抖动补偿信息相同；

获取所述原始图像的非重叠区域，对所述原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像；

将所述EIS电子防抖补偿后的图像进行拼接合成得到目标图像，包括：

从所述EIS防抖补偿后的图像中获取重叠区域，将所述重叠区域进行合成，再将所述EIS防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

2.根据权利要求1所述的方法，其特征在于，所述获取摄像模组在同一OIS光学防抖模式下所拍摄的原始图像，包括：

通过陀螺仪采集任意摄像模组中的镜头的角速度数据，将所述角速度数据传输至主控芯片计算出抖动补偿信息；

将所述抖动补偿信息发送至OIS驱动芯片，以使OIS驱动芯片根据所述抖动补偿信息驱动每个摄像模组中的马达控制对应的镜头在同一方向上移动相同的距离至目标位置；

获取每个摄像模组中的镜头移动至目标位置所拍摄的原始图像。

3.根据权利要求1所述的方法，其特征在于，在获取摄像模组在同一OIS防抖模式下所拍摄的原始图像之前，包括：

将电子设备所包含的摄像模组中的镜头移动至最大焦距处，在未开启OIS防抖的模式下分别对标定板进行拍摄得到多张第一标定图像；

对所述多张第一标定图像进行标定，得到所述多张第一标定图像的重叠区域；

将电子设备所包含的摄像模组中的镜头移动至最小焦距处，在未开启OIS防抖的模式下分别对标定板进行拍摄得到多张第二标定图像；

对所述多张第二标定图像进行标定，得到所述多张第二标定图像的重叠区域。

4.根据权利要求3所述的方法，其特征在于，获取所述原始图像的非重叠区域，包括：

根据所述多张第一标定图像的重叠区域、所述多张第二标定图像的重叠区域及所述同一OIS防抖模式下的抖动补偿信息，计算所述原始图像的非重叠区域。

5.根据权利要求2所述的方法，其特征在于，对所述原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像，包括：

获取所述镜头的角速度数据及所述同一OIS防抖模式中的抖动补偿信息；

根据所述镜头的角速度数据及所述抖动补偿信息对所述原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像。

6.根据权利要求1所述的方法，其特征在于，所述至少两个摄像模组排列后构成矩形，所述至少两个摄像模组分别排列在所述矩形的顶点上。

7.一种多摄像模组，其特征在于，包括至少两个摄像模组，所述至少两个摄像模组排列后构成矩形，所述至少两个摄像模组分别排列在所述矩形的顶点上，每个摄像模组具有OIS防抖功能；

所述摄像模组用于在同一OIS防抖模式下拍摄得到原始图像，所述摄像模组在所述同一OIS光学防抖模式下的抖动补偿信息相同；获取所述原始图像的非重叠区域，对所述原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS 电子防抖补偿后的图像；将所述EIS电子防抖补偿后的图像进行拼接合成得到目标图像，包括：从所述EIS防抖补偿后的图像中获取重叠区域，将所述重叠区域进行合成，再将所述EIS防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

8.一种图像处理装置，其特征在于，包括：

OIS防抖模块，用于获取摄像模组在同一OIS防抖模式下所拍摄的原始图像，电子设备包括至少两个摄像模组，每个摄像模组具有OIS防抖功能，所述摄像模组在所述同一OIS光学防抖模式下的抖动补偿信息相同；

EIS防抖模块，用于获取所述原始图像的非重叠区域，对所述原始图像的非重叠区域进行EIS电子防抖补偿，得到EIS电子防抖补偿后的图像；

拼接合成模块，用于将所述EIS电子防抖补偿后的图像进行拼接合成得到目标图像，包括：从所述EIS防抖补偿后的图像中获取重叠区域，将所述重叠区域进行合成，再将所述EIS防抖补偿后的图像的非重叠区域进行拼接，就得到了拼接合成后的图像。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。

Images