CN109194876A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法和装置、计算机可读存储介质和电子设备，图像处理方法包括：控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，第二图像用于表示第一图像对应的深度信息；其中，第一摄像头包括光学图像稳定系统；当电子设备抖动时，获取第一摄像头采集第一图像时的抖动量；根据预设标定函数和抖动量对第一图像进行校正以获取第一目标图像；对第一目标图像和第二图像进行处理，可以提高成像质量。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及信息技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着电子信息技术的不断发展，移动终端(例如智能手机、平板电脑等)的功能越来越强大，3D(Three Dimensions，三维)成像技术成为图像处理技术中的一种趋势。当前，通过双摄像头获取3D深度图像的方式正应用在越来越多的手机上。光学图像稳定(OpticalImage Stabilization，OIS)作为提升在低光照下拍照质量的重要手段，也越来越多的在手机上应用。OIS的工作原理是通过镜头的移动来补偿抖动以达到图像的稳定。然而，摄像头的OIS功能开启后，通过双摄像头获取的图像质量较差。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备和计算机可读存储介质，可以提升成像质量。

本申请实施例还提供一种图像处理方法，应用于电子设备，所述方法包括：

控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息；其中，所述第一摄像头包括光学图像稳定系统；

当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量；

根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像；

对所述第一目标图像和所述第二图像进行处理。

本申请实施例还提供一种图像处理装置，所述装置包括：

图像采集模块，用于控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息；其中，所述第一摄像头包括光学图像稳定系统；

抖动获取模块，用于当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量；

图像校正模块，用于根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像；

图像处理模块，用于对所述第一目标图像和所述第二图像进行处理。

本申请实施例还提供一种电子设备，包括第一摄像头、第二摄像头、存储器及处理器，其中，所述第一摄像头包括光学图像稳定系统，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的图像处理方法的步骤。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。

上述提供的图像处理方法、装置、电子设备和计算机可读存储介质，通过控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息，其中，所述第一摄像头包括光学图像稳定系统。当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量，根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像，将第一目标图像与第二图像进行处理以获取具有深度信息的目标图像，提高了成像质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中提供的图像处理方法的流程图；

图3为一个实施例中提供的标定函数获取方式的流程图；

图4为一个实施例中提供的根据图像偏移量对第一图像进行校正以获取所述第一目标图像的流程图；

图5为一个实施例中提供的对第一目标图像和第二图像进行处理流程图；

图6为一个实施例中提供的图像处理装置的结构示意图；

图7为一个实施例中提供的图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一图像。

图1为一个实施例中图像处理方法的应用环境图。如图1所示，电子设备上可安装两个摄像头，包括第一摄像头102和第二摄像头104。具体的，电子设备可以通过第一摄像头102和第二摄像头104进行拍摄，以获取第一摄像头102采集的第一图像，并同步获取第二摄像头104采集的第二图像，其中，第二图像用于表示第一图像对应的深度信息；当电子设备抖动时，获取第一摄像头102采集第一图像的抖动量；根据预设标定函数和第一抖动量对第一图像进行校正以获取第一目标图像；对第一目标图像和第二图像进行处理。

其中，第一摄像头102包括OIS(Optical Image Stabilization，光学防抖)系统。光学防抖是依靠特殊的镜头或者CCD感光元件的结构在最大程度的降低用户在使用过程中由于抖动造成影像不稳定。具体地，当摄像头内的陀螺仪侦测到微小的移动时，会将信号传至微处理器立即计算需要补偿的位移量，然后通过补偿镜片组，根据镜头的抖动方向及位移量加以补偿，从而有效的克服因摄像头的抖动产生的影像模糊。

其中，第一摄像头和第二摄像头均包括镜头、音圈马达、红外滤光片、图像传感器(Sensor IC)和数字信号处理(DSP)及PCB电路板。其中，镜头通常由多个镜片组成，其成像作用，若镜头具备OIS功能时，在有抖动的情况下，控制镜头相对于图像传感器平移而将手抖造成的图像偏移抵消补偿掉。

可以理解的是，上述第一摄像头和第二摄像头可以应用在电子设备中，电子设备可以为手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point ofSales，销售终端)、车载电脑、穿戴式设备、数码相机等具备拍照、摄像功能的任意终端设备。

图2为一个实施例中提供的图像处理方法的流程图。在一个实施例中图像处理方法，包括步骤202-步骤208。其中，

步骤202；控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息；其中，所述第一摄像头包括光学图像稳定系统。

电子设备上可以安装多个摄像头，并通过安装的多个摄像头获取图像。摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型，激光摄像头可以获取激光照射到物体上所形成的图像，可见光图像可以获取可见光照射到物体上所形成的图像。

在本申请实施例中，电子设备至少安装两个摄像头，分别为第一摄像头和第二摄像头，然后控制第一摄像头和第二摄像头同时曝光，并控制第一摄像头采集第一图像，控制第二摄像头采集第二图像。需要说明的是，本发明实施例中，第一摄像头以及第二摄像头拍摄的场景一致，即第一摄像头以及第二摄像头的拍摄角度以及拍摄方向相同。例如，用户对电子设备中的应用程序执行用于触发应用程序获取深度数据的触发操作，例如开启电子设备上的3D人脸识别功能等，所述方法响应于该触发操作，控制电子设备的第一摄像头以及第二摄像头同步采集图像，将第一图像和第二图像进行处理后得到具有深度信息的3D图像。

在一个实施例中，第一摄像头可以是可见光摄像头(RGB Camrea)，第二摄像头可以红外摄像头(IR Camrea)，电子设备上可安装第二摄像头对应的投射器，投射器可为红外投射器。通过该红外投射器发射红外光束，光束碰到目标物体后反射回红外摄像头，然后通过返回的散斑之间的几何关系计算得到目标点的深度，即可得到拍摄目标物体的位置和距离。也即，第二图像用于生成第一图像对应的深度信息。

第一摄像头包括光学图像稳定系统，光学图像稳定(Optical ImageStabilization，OIS)系统可以包括霍尔传感器、马达及陀螺仪。其中，陀螺仪测量当前电子设备在多轴方向上的角速度，相应地控制马达进行镜头偏移，而霍尔传感器可用于实时测量OIS偏移时的霍尔位置信息，可根据霍尔位置信息与镜头偏移量(移动量)的对应关系，计算出当前时刻的镜头移动量大小及方向。其中，该移动可以是第一摄像头或第二摄像头在X和/或Y方向上的移动。其中，霍尔位置信息与镜头偏移量存在对应关系，包括但不限于：霍尔位置信息与镜头偏移量相等，或，霍尔位置信息与镜头偏移量存在线性关系，或，霍尔位置信息与镜头偏移量存在着非线性关系。

步骤204：当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量。

电子设备中还包括用于检测摄像头是否发生抖动的陀螺仪传感器。当陀螺仪传感器采集的角速度信息发生变化时，则可认为该摄像头发生了抖动，则可以获取该摄像头的抖动量。在本申请实施例中，由于第一摄像头包括光学图像稳定系统，当电子设备抖动时，第一摄像头会发生抖动，第二摄像头保持不动。当陀螺仪传感器采集的角速度信息发生变化时，则可认为第一摄像头发生了抖动，则可以获取第一摄像头的抖动量。

抖动量可以用陀螺仪采集的角速度信息来表示，抖动量与角速度信息一一对应，每个角速度信息对应一个抖动量。第一摄像头采集一帧第一图像的同时可以同步获取陀螺仪传感器采集的多个角速度信息，相应的，第二摄像头采集一帧第二图像的同时也可以同步获取陀螺仪传感器采集的多个角速度信息。其中，陀螺仪传感器的采集频率高于获取第一摄像头和第二摄像头采集图像的频率。例如，第一摄像头以30Hz进行第一图像采集，同一时刻以陀螺仪传感器以200Hz进行角速度信息的采集，则采集一帧第一图像的时间，在时序上将对应采集6-7个角速度信息。

抖动量可以理解为角速度信息积分后的角度信息。其中，积分时间与陀螺仪传感器采集角速度信息的频率相关。其中，抖动量与角速度信息一一对应，每个角速度信息对应一个抖动量，则采集的6～7角速度信息对应的6～7个抖动量。

步骤206：根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像。

当第一摄像头发生抖动时，其第一摄像头的镜头也会发生相应的移动，将其移动的矢量称之为镜头偏移量。也即，根据抖动量可以对应获取第一摄像头中镜头的镜头偏移量。

在一个实施例中，在第一摄像头抖动时，获取第一摄像头的镜头对应的镜头偏移量。可以通过获取陀螺仪测量出的角速度信息，在OIS系统中，陀螺仪用于识别该电子设备在不同方向上的移动或倾斜量，OIS马达将根据陀螺仪给出的不同时刻的数据作不同程度的反向偏移，从而保证手抖时该机身或镜头造成的抖动被抵消，此时，获取到的霍尔值与陀螺仪数据在时序上同步。

在一个实施例中，获取在所述摄像头抖动时陀螺仪的角速度信息，所述角速度信息与所述霍尔值在时序上对应，选择至少一个所述角速度信息，获取至少一个所述角速度信息对应的霍尔值，计算出所述霍尔值对应的镜头偏移量。

其中，从多个角速度值(角速度信息)选取至少一个角速度值，可根据不同方式进行选取。例如，按照多个角速度值加权值从大到小，或由小到大进行排列，选取前N个值(N为正整数)，也可以按照多个角速度的均方值由大到小，或由小到大进行排列，选取前N个值。

在一个实施例中，可以根据霍尔位置信息与镜头偏移量的对应关系，计算出当前时刻的镜头偏移量大小及方向。例如，霍尔位置信息与镜头偏移量可存在线性的标定关系，满足函数f(x)＝ay+b，x和y分别表示霍尔位置信息和镜头偏移量，例如，当a＝1,b＝0时，霍尔位置信息与镜头偏移量相等，通过获取到该霍尔位置信息也即获取到镜头偏移量；也可以存在诸如一元二次方程、二元二次方程等非线性关系。在本申请实施例中，已知霍尔位置信息的大小，即可唯一确定出当前时刻该镜头偏移量的大小。在OIS系统中，该镜头偏移量数量级在微米级别。

在获取到镜头偏移量之后，根据预设校正策略和图像偏移对第一图像进行校正以获取所述目标图像，其中，预设校正策略包括逐帧校正和逐块校正策略。

电子设备通过对第一图像进行补偿校正后，可以获取清晰的第一目标图像，同时，第一摄像头的抖动量也可以得以消除，以使第一摄像头归位至抖动前的初始位置。

步骤208：对所述第一目标图像和所述第二图像进行处理。

在获取到第一目标图像后，对第一目标图像与第二图像进行融合处理，以获取具有深度信息的目标图像。可选的，还可以对第一目标图像和第二图像进行其他处理，具体的处理方式不限。例如，电子设备可以根据第一目标图像进行人脸识别处理，并根据第二图像对第一目标图像中识别到的人脸进行三维建模，得到人脸的三维模型。电子设备还可以根据第二图像中的深度信息，对第一目标图像中的人脸进行美颜处理。

本申请实施例，通过控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息；其中，所述第一摄像头包括光学图像稳定系统。当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量，根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像，对第一目标图像和第二图像进行处理以获取具有深度的目标图像，可以提升成像质量。

图3为一个实施例中提供的标定函数获取方式的流程图，如图3所示，包括步骤302至步骤306。

步骤302：在不同时刻对同一目标参照物进行拍摄，获取每一时刻的镜头偏移量对应的图像，所述图像中包含至少一个特征点；

步骤304：对所述图像中至少一个特征点进行检测，并根据不同图像中所述特征点的位置，计算不同图像相对于初始时刻图像的图像偏移量；

步骤306：构建所述不同时刻的镜头偏移量与图像偏移量的标定关系表，并根据所述标定关系表，拟合出所述镜头偏移量与所述图像偏移量的标定关系。

在本申请实施例中，拟合出所述镜头偏移量与所述图像偏移量的标定关系，可以为通过设置标定函数模型，确定出镜头偏移量与图像偏移量满足的标定函数，通过计算机几何技术，在二维坐标系中绘制拟合曲线，从而确定当前镜头偏移量与图像偏移量满足的标定函数。

在一个实施例中，所述根据所述标定关系表，拟合出所述镜头偏移量与所述图像偏移量的标定关系可以包括：

根据所述标定关系表，拟合所述镜头偏移量与所述图像偏移量的OIS标定函数；

将所述不同时刻的镜头偏移量与图像偏移量作为输入参数代入标定函数模型，计算出所述标定函数的一般表达式。

在一个实施例中，预设标定函数可以是线性的一元一次方程，也可以是非线性的一元二次方程或二元二次方程等，本申请实施例对此不作限制。以二元二次方程f(Δx,Δy)＝ax2+by2+cxy+dx+ey+f为例，Δx,Δy为图像偏移量，单位为像素，x和y为X轴及Y轴的镜头偏移量，a,b,c,d,e和f为参数，在本发明中，需要拟合镜头偏移量与图像偏移量的对应关系，就必须要确定a,b,c,d,e和f这6个参数的具体值，在本申请实施例中，需要测量出6个参数的大小，则需要6个方程式，即，在Δx，Δy和x，y可测量得出的情况下，选取不同的Δx，Δy和x，y带入该方程式，即可求出该6个参数的大小。即，在不同时刻，按照既定的不同镜头偏移量对同一目标物进行拍摄，通过该拍摄图像中特征点(目标点)的位移，确定出Δx和Δy。例如，在t0时刻OIS处于初始化开启状态，此时摄像头位置处于O点，在t1-t6六个时刻时，OIS分别移动至A(x1,y1),B(x2,y2),C(x3,y3),D(x4,y4),E(x5,y5),F(x6,y6)6个点，拍摄6张图像，通过对某一特征点或某几个特征点/特征块的测量，可得到每张图像中该特征点/特征块相对于0点的特征点/特征块偏移量(Δx1,Δy1)，(Δx2,Δy2)，(Δx3,Δy3)，(Δx4,Δy4)，(Δx5,Δy5)和(Δx6,Δy6)，将该Δx,Δy和x，y数据带入方程式中，即可求出a,b,c,d,e和f这6个参数的具体值，从而确定f(Δx,Δy)的具体值。

图4为一个实施例中提供的根据图像偏移量对所述第一图像进行校正以获取所述第一目标图像的流程图，如图4所示，包括步骤402和步骤404。

步骤402：将所述第一图像的所有像素分为多个区域，以形成多个像素块。

步骤404：根据所述图像偏移量对所述多个像素块进行逐一校正。

在一个实施例中，针对第一图像对应获取一组至少包含一个镜头偏移量的数据。例如，当前镜头偏移量的采集频率是8kHz，而拍摄一帧图像的频率是30Hz，则采集一帧图像将会同时采集到266个镜头偏移量的数据。利用所述一个或多个图像偏移量对所述第一图像进行校正。例如，当前计算出的图像偏移量为X轴正向偏移了1个像素(pixel)，则在图像补偿时，将该图像整体向X轴负向平移1个像素，实现图像的校正，以获取第一目标图像。

在一个实施例中，每一个像素块可以包括多个像素行，根据图像偏移量(单位为像素)对每一像素块进行逐一校正。例如，若第一图像具备1000行像素，则可将该图像分为20块，每50行为一块，则可以在该第一图像对应的一组图像偏移量中选择20个图像偏移量，分别对应于所有的20个像素块进行逐一校正。例如，图像偏移量1为向X轴正向偏移1个像素(pixel)，图像偏移量2为向X轴负向偏移1个像素，则分块1整体向右移动1个像素，分块2整体向右移动1个像素，以此类推，不同的像素块通过不同的图像偏移量进行图像校正，相比于一个图像用一个图像偏移量进行校正的方式，可提高图像校正的精度，有效地保证了图像校正的质量。

在一个实施例中，每一个像素块可以包括一个像素行，根据图像偏移量对每一像素行进行逐一校正，也可以多个像素行共用一个图像偏移量。例如，当前计算出的图像偏移量为X轴正向偏移了1个像素，则在图像补偿时，将该图像每一像素行向X轴负向平移1个像素，实现图像的逐行校正。

在一个实施例中，所述图像偏移量的数量大于或等于所述图像的像素行数时，利用所述图像偏移量对所述图像进行逐行校正，例如，若电子设备包含一个摄像头，当前镜头偏移量的采集频率是8kHz，而拍摄一帧图像的频率是30Hz，则采集一帧图像将会同时采集到266个镜头偏移量的数据，也即对应于一组包括266个图像偏移量的数据；若电子设备包含双摄像头，当前镜头偏移量的采集频率是8kHz，而拍摄一帧图像的频率是30Hz，则采集一帧图像将会同时采集到533个镜头偏移量的数据，也即对应于一组包括533个图像偏移量的数据。本申请实施例以电子设备包含一个摄像头为例说明。CMOS是逐行扫描成像，假设一帧图像为200行，则266个图像偏移量对于100行还有剩余，则在266个数据中选取200个，每一个数据对应每一个像素行，即将266个的数据中的200个数据逐一分配至每一个像素行，对第一图像进行逐行校正。

在一个实施例中，所述图像偏移量的数量小于所述图像的像素行数时，利用所述图像偏移量对所述第一图像进行逐行校正。例如，当前镜头偏移量的采集频率是8kHz，而拍摄一帧图像的频率是30Hz，则采集一帧图像将会同时采集到266个镜头偏移量的数据，也即对应于一组包括266个图像偏移量的数据。CMOS是逐行扫描成像，假设一帧图像为300行，则266个图像偏移量对于300个像素行，此时不能将266个图像偏移量数据逐一分配至每一个像素行，则可以将266个图像偏移量对应分配至前266个像素行，其余34个像素行在266个图像偏移量中选取34个图像偏移量，即每一个像素行对应于一个图像偏移量，对第一图像进行逐行校正。

需要说明的是，在一组图像偏移量数据中选择一定数量的图像偏移量数据，例如在266个数据中选择200个数据，可按照采集的先后顺序选取，也可以按照均方值由大到小的顺序选取，具体根据实际情况选择，本实施例不做限定。

本申请实施例，通过对第一图像的像素行进行逐一校正的方式，可以提高校正的精度，从而提高成像的质量。

图5为一个实施例中提供的对所述第一目标图像和所述第二图像进行处理流程图。如图5所示，所述方法包括步骤502和步骤504。

步骤502：获取所述第一摄像头和所述第二摄像头的配准参数，所述配准参数包括所述第一摄像头和所述第二摄像头之间的旋转和/或平移关系参数。

在具有双摄像头的电子设备中，第一摄像头和第二摄像头是在同一场景下从不同的角度拍摄的同一个图像，例如第一摄像头可以是可见光摄像头(RGB Camrea)，第二摄像头可以红外摄像头(IR Camrea)，则第一图像为彩色图像，第二图像为第一图像对应的深度信息图像，因此在获取到第一图像和第二图像后，根据预先设置的配准参数对第一图像和第二图像进行处理可以获取具有深度信息的目标图像。

由于双摄像头中只有第一摄像头带有OIS系统，当电子设备抖动时，OIS引起第一摄像头的镜头偏移，而第二摄像头的镜头保持不变，从而导致双摄像头的配准参数发生变化。若仍采用预先设置的配准参数对第一图像和第二图像进行处理，会导致第一图像和第二图像在配准时不能完全重合，从而影响图像的成像质量。

第一摄像头和第二摄像头的配准参数可以是在电子设备出厂前，在产线上进行标定的。在标定之前，先要固定好第一摄像头和第二摄像头的位置，可以使第一摄像头的镜头处在OIS中心位置，且第一摄像头和第二摄像头的像平面尽量平行。

在一个实施例中，配准参数的获取方法可以为：根据获取的第一图像和第二图像，其中，第一图像和第二图像中均包含目标物体，分别检测第一图像和第二图像中的特征点，基于上述特征点，获得第一图像和第二图像之间的空间变换关系。特征点检测算法用于对图像中具有稳定特征的像素点或像素区域进行检测。例如，本实施例中可以采用Harris角点检测算法或者DOG(Difference Of Gaussian)算法等特征点检测算法，分别对第一图像和第二图像进行特征点检测，从而得到第一图像中的特征点和第二图像中的特征点。

空间变换关系可以通过空间变换矩阵实现，如仿射变换、投影变换等，该空间变换关系表明两个图像之间的特征点之间的换算关系，例如，已知两个图像之间的空间变换关系矩阵之后，即可通过第一图像中的特征点求得该特征点在第二图像中的位置。空间变换矩阵的值即为第一图像和第二图像的配准参数，配准参数可以包括旋转和/或平移关系参数，当配准参数仅包括平移参数时，第一图像通过平移即可与第二图像完全配准；当配准参数包括平移参数和旋转参数时，第一图像可以先旋转再平移或先平移再旋转与第二图像完全配准。

步骤504：根据所述配准参数对所述第一目标图像和所述第二图像进行处理。

在获取到第一目标图像与第二图像的配准参数后，根据所述配准参数对第一目标图像和第二图像进行配准融合处理，以获取具有深度信息的目标图像。

在一个实施例中，可以首先获取第一图像中的特征点，根据配准参数求得该特征点在第二图像中的位置，以获取第二图像中的相同特征点。将第一图像中的特征点和第二图像中的相同特征点一一进行配准、融合处理，获取具有深度信息的目标图像。

应该理解的是，虽然图2-图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图图2-图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例中提供的图像处理装置的结构示意图，本申请实施例还提供了一种图像处理装置60，应用于包括光学图像稳定系统的成像设备，成像设备设有携带光学图像稳定系统的摄像头，图像处理装置60包括：图像采集模块602、抖动获取模块604、图像校正模块606及图像处理模块608。其中，

图像采集模块602，可以为控制器，用于控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息；其中，所述第一摄像头包括光学图像稳定系统。

抖动获取模块604，包括陀螺仪和霍尔传感器，用于当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量。

图像校正模块606，用于根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像。

图像处理模块608，可以为通用处理器CPU，也可以是图像处理器GPU，还可以是图像处理器(Image Signal Processor,ISP)，用于对所述第一目标图像和所述第二图像进行处理。

在一个实施例中，图像校正模块606包括：

第一获取单元，用于根据所述抖动量获取所述第一摄像头的镜头偏移量；

第二获取单元，用于根据所述镜头偏移量和所述预设标定函数获取所述第一图像的图像偏移量；

图像校正单元，用于根据所述图像偏移量对所述第一图像进行校正以获取所述第一目标图像。

在一个实施例中，第一获取单元包括：

角速度获取单元，用于获取在所述第一摄像头抖动时陀螺仪的多个角速度信息；

偏移量获取单元，用于选择至少一个所述角速度信息，获取至少一个所述角速度信息对应的霍尔值，计算出所述霍尔值对应的镜头偏移量，所述角速度信息与所述霍尔值在时序上对应。

在一个实施例中，图像校正模块606还用于根据预设校正策略和所述图像偏移对所述第一图像进行校正以获取所述目标图像，其中，所述预设校正策略包括逐帧校正和逐块校正策略。

在一个实施例中，图像处理模块608包括：

配准参数获取单元，用于获取所述第一摄像头和所述第二摄像头的配准参数，所述配准参数包括所述第一摄像头和所述第二摄像头之间的旋转和/或平移关系参数；

处理单元，用于根据所述配准参数对所述第一目标图像和所述第二图像进行处理。

在一个实施例中，处理单元还用于根据所述配准参数获取所述第一目标图像和所述第二图像中的相同特征点，根据所述相同特征点对所述目标图像和所述第二图像进行融合处理，以获取具有深度信息的目标图像。

本申请实施例提供的图像处理装置，通过控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息；其中，所述第一摄像头包括光学图像稳定系统。当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量，根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像，对第一目标图像和第二图像进行处理以获取具有深度的目标图像，可以提升成像质量。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例还提供一种电子设备。电子设备包括第一摄像头、第二摄像头、存储器及处理器，其中，所述第一摄像头包括光学图像稳定系统，所述成像设备包括携带光学图像稳定系统的摄像；所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述任一实施例中的图像补偿方法。电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示，为便于说明，仅示出与本申请实施例相关的图像补偿技术的各个方面。

如图7所示，图像处理电路包括第一ISP处理器730、第二ISP处理器740和控制逻辑器750。第一摄像头710包括一个或多个第一透镜712和第一图像传感器714。第一图像传感器714可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器714可获取用第一图像传感器714的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器730处理的一组图像数据。第二摄像头720包括一个或多个第二透镜722和第二图像传感器724。第二图像传感器724可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器724可获取用第二图像传感器724的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器740处理的一组图像数据。

第一摄像头710采集的第一图像传输给第一ISP处理器730进行处理，第一ISP处理器730处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器750，控制逻辑器750可根据统计数据确定第一摄像头710的控制参数，从而第一摄像头710可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器730进行处理后可存储至图像存储器760中，第一ISP处理器730也可以读取图像存储器760中存储的图像以对进行处理。另外，第一图像经过ISP处理器730进行处理后可直接发送至显示器770进行显示，显示器770也可以读取图像存储器760中的图像以进行显示。

其中，第一ISP处理器730按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器730可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器760可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器714接口时，第一ISP处理器730可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器760，以便在被显示之前进行另外的处理。第一ISP处理器730从图像存储器760接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器730处理后的图像数据可输出给显示器770，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器730的输出还可发送给图像存储器760，且显示器770可从图像存储器760读取图像数据。在一个实施例中，图像存储器760可被配置为实现一个或多个帧缓冲器。

第一ISP处理器730确定的统计数据可发送给控制逻辑器750。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜712阴影校正等第一图像传感器714统计信息。控制逻辑器750可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头710的控制参数及第一ISP处理器730的控制参数。例如，第一摄像头710的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜712控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜712阴影校正参数。

同样地，第二摄像头720采集的第二图像传输给第二ISP处理器740进行处理，第二ISP处理器740处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器750，控制逻辑器750可根据统计数据确定第二摄像头720的控制参数，从而第二摄像头720可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器740进行处理后可存储至图像存储器760中，第二ISP处理器740也可以读取图像存储器760中存储的图像以对进行处理。另外，第二图像经过ISP处理器740进行处理后可直接发送至显示器770进行显示，显示器770也可以读取图像存储器760中的图像以进行显示。第二摄像头720和第二ISP处理器740也可以实现如第一摄像头710和第一ISP处理器730所描述的处理过程。

以下为运用图7中图像处理技术实现图像处理方法的步骤：

控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息；其中，所述第一摄像头包括光学图像稳定系统；

当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量；

根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像；

对所述第一目标图像和所述第二图像进行处理。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：

控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息；其中，所述第一摄像头包括光学图像稳定系统；

当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量；

根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像；

对所述第一目标图像和所述第二图像进行处理。

2.根据权利要求1所述的方法，其特征在于，所述根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像，包括：

根据所述抖动量获取所述第一摄像头的镜头偏移量；

根据所述镜头偏移量和所述预设标定函数获取所述第一图像的图像偏移量；

根据所述图像偏移量对所述第一图像进行校正以获取所述第一目标图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述抖动量获取所述第一摄像头的镜头偏移量，包括：

获取在所述第一摄像头抖动时陀螺仪的多个角速度信息；

选择至少一个所述角速度信息，获取至少一个所述角速度信息对应的霍尔值，计算出所述霍尔值对应的镜头偏移量，所述角速度信息与所述霍尔值在时序上对应。

4.根据权利要求2所述的方法，其特征在于，所述根据所述镜头偏移量和所述预设标定函数获取所述第一图像的图像偏移量前，还包括：

在不同时刻对同一目标参照物进行拍摄，获取每一时刻的镜头偏移量对应的图像，所述图像中包含一个或多个特征位移点；

对所述图像中一个或多个特征位移点进行检测，并根据不同图像中所述特征位移点的位置，计算不同图像相对于初始时刻的图像偏移量；

构建所述不同时刻的镜头偏移量与图像偏移量的标定关系表，并根据所述标定关系表，拟合出所述镜头偏移量与所述图像偏移量的标定关系。

5.根据权利要求2所述的方法，其特征在于，所述根据所述图像偏移量对所述第一图像进行校正以获取所述第一目标图像，包括：

根据预设校正策略和所述图像偏移对所述第一图像进行校正以获取所述目标图像，其中，所述预设校正策略包括逐帧校正和逐块校正策略。

6.根据权利要求1所述的方法，其特征在于，所述对所述第一目标图像和所述第二图像进行处理，包括：

获取所述第一摄像头和所述第二摄像头的配准参数，所述配准参数包括所述第一摄像头和所述第二摄像头之间的旋转和/或平移关系参数；

根据所述配准参数对所述第一目标图像和所述第二图像进行处理。

7.根据权利要求6所述的方法，其特征在于，所述根据所述配准参数对所述第一目标图像和所述第二图像进行处理，包括：

根据所述配准参数获取所述第一目标图像和所述第二图像中的相同特征点；

根据所述相同特征点对所述目标图像和所述第二图像进行融合处理，以获取具有深度信息的目标图像。

8.一种图像处理装置，其特征在于，包括：

图像采集模块，用于控制第一摄像头采集第一图像，并同步控制第二摄像头采集第二图像，所述第二图像用于表示所述第一图像对应的深度信息；其中，所述第一摄像头包括光学图像稳定系统；

抖动获取模块，用于当所述电子设备抖动时，获取所述第一摄像头采集所述第一图像时的抖动量；

图像校正模块，用于根据预设标定函数和所述抖动量对所述第一图像进行校正以获取第一目标图像；

图像处理模块，用于对所述第一目标图像和所述第二图像进行处理。

9.一种电子设备，包括第一摄像头、第二摄像头、存储器及处理器，其中，所述第一摄像头包括光学图像稳定系统，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。