CN109714536B - 图像校正方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明提供一种图像校正方法、装置、电子设备、计算机可读存储介质，所述方法通过当所述摄像头发生抖动时，获取所述摄像头的偏移量；其中，所述结构光模组具备光学图像稳定模式；根据标定函数和所述摄像头的偏移量，调节所述投射器的偏转角度，并同步获取所述摄像头采集的深度图像；根据所述偏移量和所述偏转角度获取所述深度图像的参考深度信息；根据所述参考深度信息对所述深度图像进行校正。解决了结构光模组拍照或预览过程中摄像头获取的深度信息误差较大的问题。通过利用参考深度信息校正深度图像，实现了对结构光模组获取的深度图像进行校正。提高深度信息获取的准确度，进而实现对拍摄物体的精确对焦。

Description

图像校正方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及信息技术领域，特别是涉及一种图像校正方法、装置、电子设备及计算机可读存储介质。

背景技术

在电子技术领域中，深度信息是指图像采集设备中摄像头模组的镜头(Lens)与拍摄物体之间垂直距离的相关信息。在获取到深度信息之后，摄像头模组就可以根据深度信息控制Lens移动，从而实现对拍摄物体的对焦，因此，对焦的精度取决于深度信息获取的准确度。光学防抖(Optical Image Stabilization，OIS)是一种依靠特殊镜头配合感光元件在最大程度上降低操作者在使用过程中由于抖动造成影像不稳定的技术，主要是通过移动lens来实现OIS。

然而，当摄像头OIS功能开启后，会在拍照或实时预览过程中产生图像的偏移，传统的结构光模组拍照或预览过程中摄像头获取的深度信息误差较大的问题。

发明内容

本申请实施例提供一种图像校正方法、装置、电子设备、计算机可读存储介质，可以解决结构光模组拍照或预览过程中摄像头获取的深度信息误差较大的问题。

一种图像校正方法，基于包括摄像头和投射器的结构光模组，所述方法包括：

当所述摄像头发生抖动时，获取所述摄像头的偏移量；其中，所述结构光模组具备光学图像稳定模式；

根据标定函数和所述摄像头的偏移量，调节所述投射器的偏转角度，并获取所述摄像头采集的深度图像，所述标定函数为摄像头偏移量和偏转角度之间的预设函数关系；

根据所述偏移量和所述偏转角度获取所述深度图像的参考深度信息；

根据所述参考深度信息对所述深度图像进行校正。

一种图像校正的装置，应用于包括摄像头和投射器的结构光模组，包括：

第一获取模块，用于当所述摄像头发生抖动时，获取所述摄像头的偏移量；其中，所述结构光模组具备光学图像稳定模式；

采集模块，用于根据标定函数和所述摄像头的偏移量，调节所述投射器的偏转角度，并获取所述摄像头采集的深度图像，所述标定函数为摄像头偏移量和偏转角度之间的预设函数关系；

第二获取模块，用于根据所述偏移量和所述偏转角度获取所述深度图像的参考深度信息；

校正模块，用于根据所述参考深度信息对所述深度图像进行校正。

一种电子设备，包括结构光模组、存储器及处理器，所述存储器中储存有计算机程序，所述结构光模组包括摄像头和投射器，并与所述处理器相连接，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的图像校正方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现项所述的方法的步骤。

上述图像校正方法、装置、电子设备、计算机可读存储介质，所述方法通过当所述摄像头发生抖动时，获取所述摄像头的偏移量；其中，所述结构光模组具备光学图像稳定模式；根据标定函数和所述摄像头的偏移量，调节所述投射器的偏转角度，并同步获取所述摄像头采集的深度图像；根据所述偏移量和所述偏转角度获取所述深度图像的参考深度信息；根据所述参考深度信息对所述深度图像进行校正，解决了结构光模组拍照或预览过程中摄像头获取的深度信息误差较大的问题。OIS带来的图像偏移问题。通过利用参考深度信息校正深度图像，实现了对结构光模组获取的深度图像进行校正，提高了深度信息获取的准确度，进而实现对拍摄物体的精确对焦。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中结构光模组的应用环境示意图；

图2为一个实施例中电子设备的框图；

图3为一个实施例中图像校正方法的流程图；

图4为一个实施例中获取标定函数方法的流程图；

图5为一个实施例中判别标定图像方法的流程图；

图6为一个实施例中结构光模组偏移过程的示意图；

图7为一个实施例中校正深度图像方法的流程图；

图8为一个实施例中获取镜头偏移量方法的流程图；

图9为又一个实施例中获取偏镜头移量方法的流程图；

图10为一个实施例中图像校正装置的结构图；

图11为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一获取模块称为第二获取模块，且类似地，可将第二获取模块称为第一获取模块。第一获取模块和第二获取模块两者都是获取模块，但其不是同一获取模块。

图1为一个实施例中结构光模组图像校正方法的应用环境示意图。如图1所示，该应用环境包括结构光模组110和目标拍摄物120。结构光模组110包括投射器112和摄像头114。投射器112和摄像头114位于同一平面位置上。摄像头114的光轴垂直于目标拍摄物120。目标拍摄物120可为标定平板，可以任意实际拍摄物。。投射器112用于将散斑图案投影到目标拍摄物120上，摄像头114采集到被目标拍摄物120反射的散斑图案得到参考散斑图。目标拍摄物120所在的平面为参考平面。投射器112可为红外投射器，对应的摄像头114可为红外摄像头(IR Camera)。投射器112也可为激光投射器如镭射灯，对应的摄像头114可为激光摄像头。上述投射器和摄像头仅用于举例说明，此处不限制结构光模组110的发射光为红外线或激光。

结构光模组110携带OIS(Optical Image Stabilization，光学防抖)模式。其中，摄像头114包括镜头、音圈马达、滤光片、图像传感器(Sensor IC)和数字信号处理(DSP)、PCB电路板及多个传感器(例如，陀螺仪传感器、霍尔传感器等)。其中，镜头通常由多个镜片组成，其成像作用，若镜头具备OIS功能时，在有抖动的情况下，控制镜头相对于图像传感器平移而将手抖造成的图像偏移抵消补偿掉。光学防抖是依靠特殊的镜头或者CCD感光元件的结构在最大程度的降低操作者在使用过程中由于抖动造成影像不稳定。具体地，当摄像头114内的陀螺仪侦测到微小的移动时，会将信号传至微处理器立即计算需要补偿的位移量，然后通过补偿镜片组，根据镜头的抖动方向及位移量加以补偿，从而有效的克服因摄像头114的抖动产生的影像模糊。

上述携带OIS系统的摄像头114可以应用在电子设备中，电子设备可以为手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售电子设备)、车载电脑、穿戴式设备、数码相机等具备拍照、摄像功能的任意电子设备。

一种电子设备，包括结构光模组、存储器及处理器，所述存储器中储存有计算机程序，所述结构光模组包括摄像头和投射器，并与所述处理器相连接，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的图像校正方法的步骤：当检测到摄像头发生抖动时，获取摄像头的偏移量；其中，结构光模组具备光学图像稳定模式；根据标定函数和摄像头的偏移量，调节投射器的偏转角度，并同步获取摄像头采集的深度图像；根据偏移量和偏转角度获取深度图像的参考深度信息；根据参考深度信息对深度图像进行校正。

图2为一个实施例中电子设备的框图。如图2所示，该电子设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中，存储器可包括非易失性存储介质及处理器。电子设备的非易失性存储介质存储有操作系统及计算机程序，该计算机程序被处理器执行时以实现本申请实施例中提供的一种图像校正方法。该处理器用于提供计算和控制能力，支撑整个电子设备的运行。电子设备中的内存储器为非易失性存储介质中的计算机程序的运行提供环境。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图3为一个实施例中图像校正方法的流程图。图像校正方法基于包括摄像头和投射器的结构光模组。在一个实施例中图像校正方法，包括步骤302-步骤308。

步骤302、当摄像头发生抖动时，获取摄像头的偏移量；其中，结构光模组具备光学图像稳定模式。

当携带OIS系统的摄像头的电子设备进入图像预览界面时，摄像头会实时采集各个视角范围的图像，同时，基于摄像头中的陀螺仪传感器或基于电子设备原有中的陀螺仪传感器和/或加速度传感器可以检测摄像头是否发生抖动。在一个实施例中，当陀螺仪传感器采集的角速度发生变化时，则可认为该摄像头发生了抖动。当检测到摄像头抖动时，可以获取该摄像头的镜头偏移。

在一个实施例中，可以基于摄像头中的霍尔传感器或激光技术来采集摄像头中镜头的偏移量，也即，镜头偏移。进一步的，可以使摄像头的图像传感器所在平面为XY平面，并在XY平面上建立二维坐标系，其二维坐标系的原点位置在本申请中不做进一步的限定。镜头偏移可以理解为镜头抖动后的当前位置与镜头抖动前的起始位置在二维坐标系中的矢量偏移，也即，镜头抖动后的当前位置相对于镜头抖动前的初始位置的矢量距离。其中，初始位置可以理解为镜头与图像传感器之间的距离为镜头的一倍焦距时的镜头位置。需要说明的是，镜头偏移指的是镜头(凸透镜)移动前后，光心之间的矢量距离。

步骤304、根据标定函数和摄像头的偏移量，调节投射器的偏转角度，并获取摄像头采集的深度图像，标定函数为摄像头偏移量和偏转角度之间的预设函数关系。

电子设备预先标定摄像头偏移量与投射器偏转角度之间的标定函数关系。摄像头的偏移量指的是摄像头的镜头相对于未检测到抖动时镜头原始位置的偏移量，对应的投射器的偏转角度为投射器相对于未检测到抖动时原始发射结构光角度的旋转角度。

由于镜头偏移量的单位为code，投射器的偏转角度的单位为度。根据预先设置的标定函数，可以将镜头偏移量转换为投射器的偏转角度。其中，标定函数可以根据特定的标定方式获取，标定函数可以用于将镜头偏移转换为投射器的偏转角度。其中，可以将镜头在XY平面沿x轴的偏移量与沿y轴的偏移量带入至预设偏移转换函数中对应的变量，通过计算，以获取对应的投射器的偏转角度。

在当前的偏转角度下，结构光模组中投射器将散斑图案投影到目标拍摄物上，摄像头采集到被目标拍摄物反射的散斑图案得到参考散斑图。结构光模组测量原理是散斑图案投影到目标拍摄物的表面的相位和振幅受到目标拍摄物高度的调制使散斑图案发生变形，通过解调可以得到包含高度信息的相位变化，最后根据三角法原理完成相位—高度的转换，获取深度图像。

步骤306、根据偏移量和偏转角度获取深度图像的参考深度信息。

电子设备预先获取摄像头偏移量与投射器偏转角度、参考深度之间的预设参考函数关系。参考深度信息指的目标拍摄物距离摄像头镜头的实际距离。

由于镜头偏移量的单位为code，投射器的偏转角度的单位为度，参考深度信息的单位为米。根据预先设置的预设参考函数，可以将镜头偏移量转换和投射器的偏转角度转化为深度参考信息。其中，预设参考函数可以根据特定的标定方式获取，预设参考函数可以用于将镜头偏移、投射器的偏转角度转换为深度信息。将镜头的偏移量和投射器的偏转角度代入预设参考函数中，获取参考深度信息。

步骤308、根据参考深度信息对深度图像进行校正。

根据将镜头的偏移量和投射器的偏转角度代入预设参考函数中，获取参考深度信息。利用参考深度信息对深度图像进行校正。举例来说，利用霍尔传感器获取摄像头原始位置及对应的偏移量0.02毫米，将偏移量代入标定函数，获取投射器的偏转角度0.5度，将摄像头镜头的偏移量和投射器的偏转角度代入预设参考函数，得出目标拍摄物深度参考信息3.11m。而摄像头获取图像中该目标拍摄物的深度信息为3.12m，则将深度信息修改为3.11m，实现对深度图像进行校正。可以理解的是，此处举例不构成对本申请实施例的限定。

上述图像校正方法通过当摄像头发生抖动时，获取摄像头的偏移量；其中，结构光模组具备光学图像稳定模式；根据标定函数和摄像头的偏移量，调节投射器的偏转角度，并同步获取摄像头采集的深度图像；根据偏移量和偏转角度获取深度图像的参考深度信息；根据参考深度信息对深度图像进行校正。解决了结构光模组拍照或预览过程中摄像头获取的深度信息误差较大的问题。通过利用参考深度信息校正深度图像，实现了对结构光模组获取的深度图像进行校正。提高深度信息获取的准确度，进而实现对拍摄物体的精确对焦。

图4为一个实施例中获取标定函数方法的流程图。在其中一个实施例中，方法中根据标定函数和摄像头的偏移量，调节投射器的偏转角度之前，如图4所示，还包括步骤402-步骤408：

步骤402、采集投射器在任一预设偏转角度时，摄像头在不同预设偏移量时获取图像。

在本实施例中，获取的图像方式为：确定一个目标拍摄物，控制结构光模组中投射器旋转至任一预设偏转角度，调整摄像头偏移不同预设偏移量时，获取多个图像。多次更换不同深度的目标拍摄物，控制结构光模组中投射器旋转至任一预设偏转角度，调整摄像头偏移不同预设偏移量时，获取多个图像。其中，预设偏移量可以理解为镜头抖动后的当前位置与镜头抖动前的起始位置在二维坐标系中的矢量偏移，也即，镜头抖动后的当前位置相对于镜头抖动前的初始位置的矢量距离。其中，初始位置可以理解为镜头与图像传感器之间的距离为镜头的一倍焦距时的镜头位置。

需要说明的是，镜头偏移指的是镜头(凸透镜)移动前后，光心之间的矢量距离。对应的投射器的偏转角度为投射器相对于未检测到镜头抖动时原始发射结构光角度的旋转角度。举例来说，预设偏转角度为0-180度中任意值为0.1°、0.2°或0.3°，具体精确角秒单位，镜头预设偏移量可以为0.001m、0.002m或0.003，小于摄像头镜头到投射器距离即可，预设偏转角度和预设偏移量的具体数值此处不作限制。可以理解的是，此处举例不构成对本申请实施例的限定。

需要指出的是，获取结构光摄像头图像的过程为：投射器将散斑图案投影到目标拍摄物上，摄像头采集到被目标拍摄物反射的散斑图案得到参考散斑图，并获取散斑图案投影到目标拍摄物的表面的相位和振幅的形变，该形变是受到目标拍摄物高度的调制形成的。通过解调可以得到包含高度信息的相位变化，最后根据三角法原理完成相位-高度的转换，获取深度图像。

步骤404、获取图像的清晰度，根据清晰度判断图像是否为标定图像。

获取图像的清晰度的过程可以是利用Brenner梯度函数计算相邻两个像素灰度差的平方和作为清晰度，还可以是Tenengrad梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值作为清晰度，同一场景下梯度值越高，图像越清晰。上述仅用于举例说明，此处举例不构成对本申请实施例的限定。

获取到多个图像的清晰度，并判断多个图像的清晰度是否满足预设条件。其中，预设条件可以为图像的清晰度是否大于等于预设清晰度，预设清晰度具体数值由工程师根据实际需求自定义设置，此处不作限制。当图像的清晰度大于或等于预设清晰度时，该图像视为标定图像；当图像的清晰度小于预设清晰度时，认为该图像不是标定图像。

步骤406、获取每一标定图像的拍摄信息，拍摄信息包括投射器的预设偏转角度和摄像头的预设偏移量。

获取每一个标定图像对应拍摄时结构光模组的拍摄信息，其中拍摄信息至少包括投射器的预设偏转角度和摄像头的预设偏移量。即获取多对拍摄清晰度满足预设条件的预设偏转角度和预设偏移量，如预设偏转角度0.1°，对应的镜头预设偏移量可以为0.001m；如预设偏转角度为0.15°，对应的镜头预设偏移量可以为0.002m。可以理解的是，此处举例不构成对本申请实施例的限定。

步骤408、根据拍摄信息进行最小二乘法拟合，获取标定函数。

已知多组结构光模组的镜头预设偏移量和投射器预设偏转角度，利用最小二乘法(Ordinary Least Square，OLS)对预设偏转角度和预设偏移量进行函数拟合。利用最小二乘法研究变量预设偏转角度和预设偏移量(a,d)之间的相互关系，需要预先获取多对预设偏转角度和预设偏移量的数据如：(a₁，d₁),(a₂，d₂),...,(a_n，d_n)。其中，a_i(1≤i≤n)为投射器预设偏转角度，d_i(1≤i≤n)为摄像头镜头预设偏移量，(a_i，d_i)为任一一对数据。将这些数据描绘在XY坐标系中，拟合出最接近(a_i，d_i)描绘曲线的函数关系，并将该函数关系作为标定函数。判断拟合曲线是否为最接近曲线采用平方损失函数进行判定(Least Square，OLS)，即所选择的拟合曲线上的数值与实际测量值的残差平方和达到最小，则视为最接近的拟合函数，并将拟合函数作为标定函数。

图5为一个实施例中判别标定图像方法的流程图。在其中一个实施例中，获取图像的清晰度，根据清晰度判断图像是否为标定图像，还包括步骤502-步骤508：

步骤502、选定图像的目标区域，确定目标区域内预设颜色的像素点的分布位置。

获取到基于拜耳阵列拍摄得到的原始图片，从该原始图片中确定出一个目标区域。该目标区域为用于获取本原始图片的清晰度的区域。电子设备可以从该目标区域中确定出预设颜色的像素的分布位置。其中，拜耳阵列模拟人眼对色彩的敏感程度，采用1红2绿1蓝的排列方式将灰度信息转换成彩色信息。采用这种技术的传感器实际每个像素仅有一种颜色信息，需要利用反马赛克算法进行插值计算，最终获得一张图像。

例如，电子设备可以从该目标区域中确定出绿色像素的分布位置。当然，预设颜色也可以是其它颜色，如红色或蓝色。可以理解的是，此处举例不构成对本申请实施例的限定。

步骤504、根据分布位置确定出对角相邻的像素点，并计算对角相邻的像素点的亮度差值。

在从该目标区域中确定出绿色像素的分布位置后，电子设备可以获取该目标区域中分布位置关系属于对角相邻的每两个绿色像素的亮度差值的平方值。亮度差值指的是两个像素亮度值的差值绝对值。需要说明的是，对角相邻是指两个像素在分布位置上的关系为这两个像素具有对顶角。

步骤506、根据亮度差值计算出图像的清晰度信息，其中，清晰度信息为亮度差值的平方和。

在获取到所有对角相邻的绿色像素的亮度值的差值的平方值后，将所有亮度差值的平方值相加，得到一个和值。将该和值确定为该图像的清晰度。可以理解的是，由于本申请实施例中的技术方案可以直接在基于拜耳阵列拍摄得到的原始图片的基础上进行清晰度获取，而不需要先对基于拜耳阵列拍摄得到的原始图片进行插值处理，再进行清晰度获取。因此，本申请实施例可以提高获取图片清晰度的效率。

步骤508、当清晰度满足预设条件时，图像为标定图像。

获取到若干图像的清晰度，判断若干图像的清晰度是否满足预设条件。其中，预设条件为清晰度大于预设清晰度，预设清晰度具体数值由工程师基于实际操作设置，此处不作限制。若图像的清晰度大于或等于预设清晰度，则视该图像为标定图像；若图像的清晰度小于预设清晰度，则认为该图像不是标定图像。

图6为一个实施例中结构光模组偏移过程的示意图。在其中一个实施例中，根据偏移量和偏转角度获取深度图像的参考深度信息，包括：

获取偏移量、偏转角度和参考深度信息的预设参考函数。

利用霍尔传感器获取摄像头601a的原始位置及对应的偏移量。其中，摄像头601a为未偏移时的摄像头，摄像头601b为偏移后的摄像头。将镜头的偏移量代入标定函数，获取投射器602的偏转角度。根据三角函数定理，获取将摄像头601a和601b的偏移量和投射器602的偏转角度待遇预设参考函数。

根据预设参考函数获取深度图像的参考深度信息；其中，预设参考函数为：

其中，

如图6所示，α为偏转角度，β为原始角度，D₀为摄像头601a未偏移时的位置，d为偏移量，H为参考深度信息。

其中，参考深度信息的预设参考函数关系为一元二次函数，已知偏转角度α，摄像头601a未偏移时的位置D₀及偏移量d，可以解方程获取参考深度信息的值。其中解方程的结果为两个参考深度信息，分别为第一参考深度信息和第二参考深度信息。将两个参考深度信息分别与深度图像对应深度信息做差值，取较小差值对应的参考深度信息对深度图像进行校正。

图7为一个实施例中校正图像方法的流程图。在其中一个实施例中，根据参考深度信息对深度图像进行校正，包括步骤702-步骤704：

步骤702、依次为深度图像的每一像素行分配不同的深度参考信息。

步骤704、利用分配的深度参考信息对深度图像的像素行做逐一校正。

其中，深度参考信息的数量与镜头偏移量的数量一一对应，当深度参考信息的数量大于或等于图像的像素行数时，利用深度参考信息对图像进行逐行校正。

本申请实施例中，对像素行进行逐一校正的方式，相对于所有图像采用同一个深度参考信息进行校正的方式而言，其校正的精度大大增强，还原度更好，且对于后期背景虚化的效果有明显提高。例如，当前镜头偏移量的采集频率是8kHz，而拍摄一帧图像的频率是30Hz，则采集一帧图像将会同时采集到533个镜头偏移量的数据，也即对应于533个深度参考信息的数据，CMOS是逐行扫描成像，假设一帧图像为500行，则533个深度参考信息对于500行还有剩余，则选取533个数据中的500个，每一个数据对应每一行，即将533个的数据中的500个数据逐一至每一行，通过每一行数据进行图像校正。此外，在533个数据中选择500个数据，可按照采集的先后顺序选取，也可以按照均方值由大到小的顺序选取，也可以按照其他方式进行选取。

图8为一个实施例中获取摄像头偏移量方法的流程图。在其中一个实施例中，当摄像头发生抖动时，获取摄像头的偏移量，包括步骤802-步骤806：

步骤802、基于陀螺仪传感器获取摄像头的角速度信息。

OIS系统包括霍尔传感器、马达及陀螺仪。其中，该摄像头中还包括用于检测摄像头是否发生抖动的陀螺仪传感器和用于驱动摄像头的镜头移动的马达以及用于控制马达运动的OIS控制器。当陀螺仪传感器检测到摄像头发生抖动时，实时采集该陀螺仪传感器检测到的摄像头的角速度，根据获取的角速度来确定摄像头的抖动量。

步骤804、根据角速度信息控制马达驱动摄像头的镜头移动。

根据确定的抖动量控制马达以驱动摄像头的镜头移动，其镜头的偏移量与该抖动量的方向相反，以消除因抖动引起的偏移。

步骤806、基于霍尔传感器的霍尔值确定摄像头的偏移量。

电子设备可以通过霍尔传感器或激光记录摄像头的镜头在XY平面上的偏移刻度，并记录偏移刻度的同时，还可以记录偏移的方向，根据每个刻度对应的距离，以及偏移方向，继而得到镜头偏移p(x_i,y_j)。在本申请实施例中，已知霍尔传感器采集的霍尔值的大小，即可唯一确定出当前时刻该镜头偏移的大小。在OIS系统中，该镜头偏移数量级在微米级别。其中，陀螺仪传感器采集的角速度信息与霍尔传感器采集的霍尔值在时序上对应。

霍尔传感器(Hall sensor)是根据霍尔效应制作的一种磁场传感器，霍尔效应从本质上讲是运动的带电粒子在磁场中受洛仑兹力作用引起的偏转。当带电粒子(电子或空穴)被约束在固体材料中，这种偏转就导致在垂直电流和磁场的方向上产生正负电荷的聚积，从而形成附加的横向电场。

陀螺仪测量当前电子设备在多轴方向上的角速度，相应地控制马达进行镜头偏移，而霍尔传感器可用于实时测量OIS偏移时的霍尔位置信息，可根据霍尔位置信息与镜头偏移量(偏移量)的对应关系，计算出当前时刻的镜头偏移量大小及方向。其中，该移动可以是第一摄像头或第二摄像头在X和/或Y方向上的移动。其中，霍尔位置信息与镜头偏移量存在对应关系，包括但不限于：霍尔位置信息与镜头偏移量相等，或，霍尔位置信息与镜头偏移量存在线性关系，或，霍尔位置信息与镜头偏移量存在着非线性关系。

图9为一个实施例中基于霍尔值获取偏移量方法的流程图。在其中一个实施例中，基于霍尔传感器的霍尔值确定摄像头的偏移量，包括步骤902-步骤906：

步骤902、获取摄像头对深度图像进行采集的第一频率和陀螺仪对角速度信息进行采集的第二频率；

步骤904、根据第一频率和第二频率确定采集一帧图像时对应的多个角速度信息；

步骤906、根据多个角速度信息确定目标角速度信息，并根据目标角速度信息对应的霍尔值确定摄像头的偏移量。

具体地，获取摄像头采集图像的第一频率以及陀螺仪采集角速度信息的第二频率。由于陀螺仪传感器的采集频率高于获取摄像头采集图像的频率，例如，摄像头以30Hz进行图像采集，同一时刻以陀螺仪传感器以200Hz进行角速度的采集，则采集一幅图像的时间，在时序上将对应采集6-7个角速度。在采集的6～7角速度数据中选取目标角速度。其中目标角速度可以为最小角速度、导数最小的角速度、与平均角速度相差最小的角速度。根据给目标角速度获取对应的霍尔传感器的霍尔值，根据确定的霍尔值来确定镜头偏移。

应该理解的是，虽然图3-5及图7-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-5及图7-9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图10为一个实施例中图像校正装置的结构图。本申请实施例还提供了一种图像校正装置，装置基于包括摄像头和投射器的结构光模组，包括：

第一获取模块1002，用于当摄像头发生抖动时，获取摄像头的偏移量；其中，结构光模组具备光学图像稳定模式；

采集模块1004，用于根据标定函数和摄像头的偏移量，调节投射器的偏转角度，并获取摄像头采集的深度图像，标定函数为摄像头偏移量和偏转角度之间的预设函数关系；

第二获取模块1006，用于根据偏移量和偏转角度获取深度图像的参考深度信息；

校正模块1008，用于根据参考深度信息对深度图像进行校正。

上述图像校正装置通过第一获取模块在摄像头发生抖动时，获取摄像头的偏移量；其中，结构光模组具备光学图像稳定模式；采集模块根据标定函数和摄像头的偏移量，调节投射器的偏转角度，并同步获取摄像头采集的深度图像；第二获取模块根据偏移量和偏转角度获取深度图像的参考深度信息；校正模块根据参考深度信息对深度图像进行校正。解决了结构光模组拍照或预览过程中摄像头获取的深度信息误差较大的问题。通过利用参考深度信息校正深度图像，实现了对结构光模组获取的深度图像进行校正。提高深度信息获取的准确度，进而实现对拍摄物体的精确对焦。

在其中一个实施例中，采集模块用于根据标定函数和摄像头的偏移量，调节投射器的偏转角度之前，所述装置还包括：标定函数获取模块，用于采集投射器在任一预设偏转角度时，所述摄像头在不同预设偏移量获取的图像；获取图像的清晰度，根据清晰度判断图像是否为标定图像；获取每一标定图像的拍摄信息，拍摄信息包括投射器的预设偏转角度和摄像头的预设偏移量；根据拍摄信息进行最小二乘法拟合，获取标定函数。

在其中一个实施例中，标定函数获取模块包括标定图像获取单元，用于选定图像的目标区域，确定目标区域内预设颜色的像素点的分布位置；根据分布位置确定出对角相邻的像素点，并计算对角相邻的像素点的亮度差值；根据亮度差值计算出图像的清晰度；当清晰度满足预设条件时，图像为标定图像。

在其中一个实施例中，第二获取模块还用于获取偏移量、偏转角度和参考深度信息的预设参考函数并根据预设参考函数获取深度图像的参考深度信息。

其中，预设参考函数为：

其中，

α为偏转角度，β为原始角度，D₀为摄像头601a未偏移时的位置，d为偏移量，H为参考深度信息。

在其中一个实施例中，校正模块还用于依次为深度图像的每一像素行分配不同的深度参考信息；利用分配的深度参考信息对深度图像的像素行做逐一校正。

在其中一个实施例中，第一获取模块还用于基于陀螺仪传感器获取摄像头的角速度信息；根据角速度信息控制马达驱动摄像头的镜头移动；基于霍尔传感器的霍尔值确定摄像头的偏移量。

在其中一个实施例中，第一获取模块包括偏移量获取单元，用于获取摄像头采集深度图像的第一频率和陀螺仪采集角速度信息的第二频率；根据第一频率和第二频率确定采集一帧图像时对应的多个角速度信息；根据多个角速度信息确定目标角速度信息，并根据目标角速度信息对应的霍尔值确定摄像头的偏移量。

上述图像校正装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像校正装置按照需要划分为不同的模块，以完成上述图像校正装置的全部或部分功能。

关于图像校正装置的具体限定可以参见上文中对于图像校正方法的限定，在此不再赘述。上述图像校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行上述任一实施例中的图像校正方法。

摄像头发生抖动时，获取摄像头的偏移量；其中，结构光模组具备光学图像稳定模式；根据标定函数和摄像头的偏移量，调节投射器的偏转角度，并同步获取摄像头采集的深度图像；根据偏移量和偏转角度获取深度图像的参考深度信息；根据参考深度信息对深度图像进行校正。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所示，为便于说明，仅示出与本申请实施例相关的图像校正技术的各个方面。

如图11所示，图像处理电路包括ISP处理器1140和控制逻辑器1150。成像设备1110捕捉的图像数据首先由ISP处理器1140处理，ISP处理器1140对图像数据进行分析以捕捉可用于确定和/或成像设备1110的一个或多个控制参数的图像统计信息。成像设备1110可包括具有一个或多个透镜1112和图像传感器1114的照相机。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1140处理的一组原始图像数据。传感器1120(如陀螺仪)可基于传感器1120接口类型把采集的图像校正的参数(如防抖参数)提供给ISP处理器1140。传感器1120接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口、或上述接口的组合。

此外，图像传感器1114也可将原始图像数据发送给传感器1120，传感器1120可基于传感器1120接口类型把原始图像数据提供给ISP处理器1140进行处理，或者传感器1120将原始图像数据存储到图像存储器1130中。

ISP处理器1140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1140可对原始图像数据进行一个或多个图像校正操作、收集关于图像数据的统计信息。其中，图像校正操作可按相同或不同的位深度精度进行。

ISP处理器1140还可从图像存储器1130接收像素数据。例如，传感器1120接口将原始图像数据发送给图像存储器1130，图像存储器1130中的原始图像数据再提供给ISP处理器1140以供处理。图像存储器1130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器1114接口或来自传感器1120接口或来自图像存储器1130的原始图像数据时，ISP处理器1140可进行一个或多个图像校正操作，如时域滤波。ISP处理器1140处理后的图像数据可发送给图像存储器1130，以便在被显示之前进行另外的处理。ISP处理器1140从图像存储器1130接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1180，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1140的输出还可发送给图像存储器1130，且显示器1180可从图像存储器1130读取图像数据。在一个实施例中，图像存储器1130可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1140的输出可发送给编码器/解码器1170，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1180设备上之前解压缩。

ISP处理后的图像数据可发送给编码器/解码器1170，以便编码/解码图像数据。编码的图像数据可被保存，并在显示与显示器1180设备上之前解压缩。ISP处理器1140处理后的图像数据还可以先经过编码器/解码器1170处理。其中，编码器/解码器1170可为移动终端中CPU(Central Processing Unit，中央处理器)或GPU(Graphics Processing Unit，图形处理器)等。

ISP处理器1140确定的统计数据可发送给控制逻辑器1150单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1112阴影补偿等图像传感器1114统计信息。控制逻辑器1150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1110的控制参数以及ISP处理器1140的控制参数。例如，成像设备1110的控制参数可包括传感器1120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩补偿矩阵，以及透镜1112阴影补偿参数。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像校正方法，其特征在于，基于包括摄像头和投射器的结构光模组，所述方法包括：

当所述摄像头发生抖动时，获取所述摄像头的偏移量；其中，所述结构光模组具备光学图像稳定模式；

根据标定函数和所述摄像头的偏移量，调节所述投射器的偏转角度，并获取所述摄像头采集的深度图像，所述标定函数为摄像头偏移量和偏转角度之间的预设函数关系；

根据预设参考函数获取所述深度图像的参考深度信息；所述预设参考函数为：

其中，为所述偏转角度，D₀为所述摄像头未偏移时的位置，d为所述偏移量，H为所述参考深度信息；

根据所述参考深度信息对所述深度图像进行校正。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采集投射器在任一预设偏转角度时，所述摄像头在不同预设偏移量获取的图像；

获取所述图像的清晰度信息，根据所述清晰度信息判断所述图像是否为标定图像；

获取每一所述标定图像的拍摄信息，所述拍摄信息包括所述投射器的预设偏转角度和所述摄像头的预设偏移量；

根据所述拍摄信息进行最小二乘法拟合，获取所述标定函数。

3.根据权利要求2所述的方法，其特征在于，获取所述图像的清晰度信息，根据所述清晰度信息判断所述图像是否为标定图像，包括：

选定所述图像的目标区域，确定所述目标区域内预设颜色的像素点的分布位置；

根据所述分布位置确定出对角相邻的像素点，并计算所述对角相邻的像素点的亮度差值；

根据所述亮度差值计算出所述图像的清晰度信息，其中，所述清晰度信息为所述亮度差值的平方和；

当所述清晰度信息满足预设条件时，所述图像为所述标定图像。

4.根据权利要求1所述的方法，其特征在于，所述根据预设参考函数获取所述深度图像的参考深度信息的步骤之前，还包括：

获取所述偏移量、所述偏转角度和所述参考深度信息的所述预设参考函数。

5.根据权利要求1所述的方法，其特征在于，所述根据所述参考深度信息对所述深度图像进行校正，包括：

依次为所述深度图像的每一像素行分配不同的所述参考深度信息；

利用分配的所述参考深度信息对所述深度图像的像素行做逐一校正。

6.根据权利要求1所述的方法，其特征在于，所述当所述摄像头发生抖动时，获取所述摄像头的偏移量，包括：

基于陀螺仪传感器获取所述摄像头的角速度信息；

根据所述角速度信息控制马达驱动所述摄像头的镜头移动；

基于霍尔传感器的霍尔值确定所述摄像头的偏移量。

7.根据权利要求6所述的方法，其特征在于，所述基于霍尔传感器的霍尔值确定所述摄像头的偏移量，包括：

获取所述摄像头对所述深度图像进行采集的第一频率和所述陀螺仪对所述角速度信息进行采集的第二频率；

根据所述第一频率和所述第二频率确定采集一帧图像时对应的多个所述角速度信息；

根据多个所述角速度信息确定目标角速度信息，并根据所述目标角速度信息对应的霍尔值确定所述摄像头的偏移量。

8.一种图像校正的装置，基于包括摄像头和投射器的结构光模组，其特征在于，包括：

第一获取模块，用于当所述摄像头发生抖动时，获取所述摄像头的偏移量；其中，所述结构光模组具备光学图像稳定模式；

采集模块，用于根据标定函数和所述摄像头的偏移量，调节所述投射器的偏转角度，并获取所述摄像头采集的深度图像，所述标定函数为摄像头偏移量和偏转角度之间的预设函数关系；

第二获取模块，用于根据预设参考函数获取所述深度图像的参考深度信息；所述预设参考函数为：

其中，为所述偏转角度，D₀为所述摄像头未偏移时的位置，d为所述偏移量，H为所述参考深度信息；

校正模块，用于根据所述参考深度信息对所述深度图像进行校正。

9.一种电子设备，其特征在于，包括结构光模组、存储器及处理器，所述存储器中储存有计算机程序，所述结构光模组包括摄像头和投射器，并与所述处理器相连接，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像校正方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images