CN115396596B - 一种超分辨率图像成像方法、装置及存储介质 - Google Patents

Abstract

本发明涉及一种基于镜头补偿式光学防抖系统的超分辨率图像成像方法、装置及存储介质，其中方法包括：确定板载陀螺仪的谐振频率；基于谐振频率确定声信号；获取智能手机在默认参数下拍摄的参考帧；获取智能手机在声信号注入时拍摄的多个偏移帧，同时记录每个偏移帧对应的时间戳和板载陀螺仪读数；基于板载陀螺仪读数计算镜头移动角度；基于镜头移动角度确定镜头位移和像素位移；基于目标优化函数、镜头位移和像素位移求解最优化问题，进行参考帧和偏移帧之间的图像配准，得到配准之后的低分辨率图像；对配准之后的低分辨率图像进行图像合并，得到超分辨率图像。与现有技术相比，本发明具有超分辨率图像生成效果好等优点。

Description

一种超分辨率图像成像方法、装置及存储介质

技术领域

本发明涉及图像处理领域，尤其是涉及一种基于镜头补偿式光学防抖系统的超分辨率图像成像方法、装置及存储介质。

背景技术

随着科技的不段进步，人们对图像的分辨率要求也越来越高。超分辨率生成是一种基于软件的计算摄影技术，它克服了相机硬件设计的局限性，从单个或多个低分辨率采样图像中获得更高分辨率的图像。超分辨率生成算法分为两种：单幅图片超分辨率生成和多幅图片超分辨率生成。单幅图片超分辨率生成算法使用低分辨率先验中的有限信息来添加高频细节，当场景复杂时得到的高分辨率图像效果较差。多幅图片超分辨率生成算法合并同一场景的多个低分辨率图像，以生成更高分辨率的输出。该过程分为两个阶段：图像配准和图像合并。图像配准的目的是求解图像间的最优坐标变换关系，对待配准图像进行变换，使其与参考图像在空间位置上对齐。图像合并就是将存在差异的多幅低分辨率图像叠加到超分辨率的图像网格上，去除其中的冗余信息，融合为质量较高的图像。但是，现有的超分辨率算法由于图像配准的精确度较低问题的存在使得最后合成的超分辨率图像效果不好。

光学防抖系统通常用于智能手机相机，以减少由手抖而产生的模糊效果。光学防抖系统的实现主要有两种方法：镜头移动和传感器移动。在镜头移动方法中，图像传感器固定在相机模块的底部，镜头进行平移运动。在传感器移动方法中，镜头固定，CMOS传感器进行平移运动，这种方法相对而言成本更高。因此，大多数智能手机都采用了镜头移动的光学防抖模块。本发明只关注镜头移动的光学防抖模块，其工作流程主要如下：主板上搭载的陀螺仪检测到手机移动，然后光学防抖驱动器根据转换后的位移参数来移动镜头的位置，以补偿不需要的相机抖动。目前未有技术通过控制光学防抖系统来生成超分辨率图像。

发明内容

本发明的目的就是为了提供一种基于镜头补偿式光学防抖系统的超分辨率图像成像方法、装置及存储介质，通过控制智能手机的光学防抖系统拍摄得到多幅不同视角的图像，对低分辨率图像进行图像配准和图像合并后生成表现更好的超分辨率图像。

本发明的目的可以通过以下技术方案来实现：

一种基于镜头补偿式光学防抖系统的超分辨率图像成像方法，包括以下步骤：

确定智能手机板载陀螺仪的谐振频率；

基于谐振频率确定声信号；

获取智能手机在默认参数下拍摄的参考帧；

获取智能手机在声信号注入时拍摄的多个偏移帧，同时记录每个偏移帧对应的时间戳和板载陀螺仪读数；

基于板载陀螺仪读数计算镜头移动角度；

基于镜头移动角度确定镜头位移和像素位移；

基于目标优化函数、镜头位移和像素位移求解最优化问题，进行参考帧和偏移帧之间的图像配准，得到配准之后的低分辨率图像，其中，所述目标优化函数包含多个惩罚项；

对配准之后的低分辨率图像进行图像合并，得到超分辨率图像。

所述基于板载陀螺仪读数计算镜头移动角度的计算方法为：

θ(t+Δt)＝θ(t)+ω[t]Δt

其中，θ(t)为t时刻的镜头角度，Δt为两次板载陀螺仪读数之间的时间间隔，

F_S为板载陀螺仪的采样频率，ω[t]是当前时间戳的板载陀螺仪读数；

Δθ＝θ(t+Δt)-θ(t)

其中，Δθ为镜头移动角度。

所述基于镜头移动角度确定镜头位移和像素位移包括以下步骤：

6-1)对镜头位移和像素位移之间的关系建模；

6-2)将镜头从位置1移动到位置2，使得光源A的成像从像素B移动到像素B’，其中，镜头位移Δh＝a*Δθ，a为常数，像素位移为ΔT；

6-3)基于相似三角形得到像素位移和镜头位移之间的关系满足：

其中，Za为光源深度，f为智能手机摄像头的焦距；当在镜头位移的影响下从同一场景中拍摄多帧图像时，所有图像中的光源深度保持不变，即在每一组图像中，每一个光源的

是固定的；

6-4)基于

固定不变，确定镜头移动角度Δθ和像素位移ΔT之间的关系：

ΔT_x＝a_xΔθ_x，a_x＞0

ΔT_y＝a_yΔθ_y，a_y＞0

其中，a_x和a_y是光学防抖系统的常量系数，下标x，y分别代表x轴和y轴分量；

6-5)基于翻滚角、俯仰角和6-4)所述镜头移动角度Δθ和像素位移ΔT之间的关系确定t₁-t₂时间间隔内像素位移：

其中，Δθ_x为翻滚角，Δθ_y为俯仰角。

所述目标优化函数为：

E(p)＝E_visual(p)+αE_motion(p)

其中，E_visual(p)，E_motion(p)均为惩罚项，E_visual(p)是视觉项，E_motion(p)是运动项，α为权重参数，p代表像素。

所述视觉项基于Lucas-Kanade光流方法的三次迭代确定，用于对齐图像中视觉相似的区域，视觉项的确定方法为：

7-1-1)以K₀表示参考帧，K_i(i∈[1，2，...，k])表示偏移帧，k为偏移帧的帧数，偏移帧K_i中的每个像素p的视觉项E_visual(p)_i为：

其中，u_i(p)，v_i(p)表示从光流方法中得到的粗粒度像素位移信息，

表示优化目标；

7-1-2)对每个像素p确定视觉项如下：

所述运动项的确定方法为：

7-2-1)对于每个像素p，基于每一对偏移帧-参考帧得到：

其中，Δh_x(i)和Δh_y(i)分别表示偏移帧K_i中x轴和y轴上的平均镜头位移，Ω表示图像平面，

7-2-2)将两对偏移帧-参考帧之间的运动项定义为(K_m，K₀)和(K_n，K₀)，K_m和K_n代表两个不同的偏移帧，参考帧的拍摄时间为t₀，偏移帧K_i的拍摄时间为t_i，结合6-5)所述公式得到：

7-2-3)对每个像素p确定运动项如下：

所述对配准之后的低分辨率图像进行图像合并，得到超分辨率图像包括以下步骤：

8-1)构建基于参考帧的上采样图像网格；

8-2)基于核回归估计每个像素在每个颜色通道的局部贡献：

其中，(x，y)是像素在上采样图像网格中的二维坐标，

是在所有输入帧上获得的总和，所述输入帧包括1个参考帧和k个偏移帧，∑_j是低分辨率图像在预配置大小的局部邻域内样本的总和，c_i，j表示对应的颜色通道中像素的颜色值，所述颜色通道包括红色、蓝色和绿色，每一个样本j在图像配准前的原始坐标为(x_j，y_j)，图像配准后的亚像素对齐向量为(u_j，v_j)，w_i，j为局部样本权重，基于二维归一化各向异性高斯RBF确定：

其中，d_j是样本j到输出图像网格的偏移向量，

d_j＝[2(x_j-u_j)-x，2(y_j-v_j)-y]^T

Ψ_j是核协方差矩阵，

其中，

和/>

是参考帧在水平和垂直方向的局部梯度；

8-3)将每个像素的三个颜色通道的局部贡献映射到上采样图像网格中，得到输出的超分辨率图像。

所述默认参数包括自动曝光、自动对焦、自动白平衡。

一种基于镜头补偿式光学防抖系统的超分辨率图像成像装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。

一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。

与现有技术相比，本发明具有以下有益效果：

(1)本发明结合镜头位移和粗粒度像素位移来输出高精度的亚像素对齐向量，并利用对齐向量进行图像配准，在合并多个配准帧后可以获得分辨率更高、表现更好的超分辨率图像，提高了超分辨率图像的质量。

(2)本发明利用基于声信号注入的方法来改变板载陀螺仪的读数，通过控制智能手机的光学防抖模块拍摄得到同一场景的多幅不同视角的图像，相比较于传统的通过手持相机进行抖动来拍摄多幅不同视角的图像更加简单方便，且可控性强，更易于获得不同视角图像之间的关系。

(3)本发明利用智能手机自带的光学防抖系统来对低分辨率对象进行处理，在不添加额外硬件的情况下得到超分辨率图像，使得相机分辨率低的手机能够带来更好的拍照体验，且成本低，适用范围广。

附图说明

图1为本发明的方法流程图；

图2为本发明的图像处理过程示意图；

图3为镜头位移与像素位移的关系图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于镜头补偿式光学防抖系统的超分辨率图像成像方法，如图1所示，包括以下步骤：

1)确定智能手机板载陀螺仪的谐振频率。

现有技术表明主板上搭载的陀螺仪会受到声波信号的影响。陀螺仪中的质量块是一直在做谐振运动的，与此谐振频率一致的声信号可以直接驱动陀螺仪中的质量块振动，从而改变陀螺仪的读数，以达到操纵镜头位置的目的。因此，首先需要确定板载陀螺仪的谐振频率。

可以控制陀螺仪读数的正弦信号的频率应该接近传感器质量块的谐振频率，其范围主要在18KHz～30KHz之间，人耳一般听不到这种高频率音波。

通过扫频确定板载陀螺仪的谐振频率：在静止的智能手机旁播放18KHz～30KHz的声信号，同时记录每个频率下的陀螺仪读数，分别计算出每个频率下的出标准差。正常情况下手机静止时陀螺仪读数在0附近小幅波动，因此当计算出的标准差显著大于0时，可以认为该频率就是板载陀螺仪的谐振频率。

2)将谐振频率下的正弦声信号制作为.wav文件，所述正弦声信号将在4)中作为声信号注入的输入，进而影响陀螺仪的读数。

大多数支持光学防抖的智能手机摄像头只能补偿翻滚角和俯仰角的干扰，因此只需要通过声信号改变陀螺仪的读数，不需要改变加速度计。

3)获取智能手机在默认参数(自动曝光、自动对焦、自动白平衡)下拍摄的参考帧。

此时镜头处于零位移位置(即不受声信号注入干扰)。

4)利用手机的内置扬声器播放上述.wav文件，镜头会在声信号干扰下发生位移，此时拍摄得到的图片相对于参考帧会发生偏移；

获取智能手机在声信号注入时拍摄的多个偏移帧，同时记录每个偏移帧对应的时间戳和板载陀螺仪读数。

5)基于板载陀螺仪读数计算镜头移动角度。

θ(t+Δt)＝θ(t)+ω[t]Δt

其中，θ(t)为t时刻的镜头角度，Δt为两次板载陀螺仪读数之间的时间间隔，

F_S为板载陀螺仪的采样频率，通常为100Hz～200Hz，ω[t]是当前时间戳的板载陀螺仪读数；

Δθ＝θ(t+Δt)-θ(t)

其中，Δθ为镜头移动角度。

6)基于镜头移动角度确定镜头位移和像素位移。

6-1)对镜头位移和像素位移之间的关系建模，如图3所示；

6-2)将镜头从位置1移动到位置2，使得光源A的成像从像素B移动到像素B’，其中，镜头位移Δh＝a*Δθ，a为常数，可以通过标定得到，像素位移为ΔT；

6-3)基于相似三角形得到像素位移和镜头位移之间的关系满足：

其中，Za为光源深度，f为智能手机摄像头的焦距；当在镜头位移的影响下从同一场景中拍摄多帧图像时，所有图像中的光源深度保持不变，即在每一组图像中，每一个光源的

是固定的；

6-4)基于

固定不变，确定镜头移动角度Δθ和像素位移ΔT之间的关系：

ΔT_x＝a_xΔθ_x，a_x＞0

ΔT_y＝a_yΔθ_y，a_y＞0

其中，a_x和a_y是光学防抖系统的常量系数，下标x，y分别代表x轴和y轴分量；

6-5)基于翻滚角、俯仰角和6-4)所述镜头移动角度Δθ和像素位移ΔT之间的关系确定t₁-t₂时间间隔内像素位移：

其中，Δθ_x为翻滚角，Δθ_y为俯仰角。

基于上述方法可以将镜头移动期间的陀螺仪读数转换为像素位移。

7)基于目标优化函数、镜头位移和像素位移求解最优化问题，进行参考帧和偏移帧之间的图像配准，得到配准之后的低分辨率图像。

在获取到同一场景的多个不同视角的偏移帧之后，需要将这些偏移帧与参考帧进行配准。图像配准的目的是求解图像间的最优坐标变换关系，对偏移帧进行变换，使其与参考帧在空间位置上对齐。本实施例将图像配准建模为一个最优化问题，优化目标是配准时相同光源的像素的偏移信息。因此，本发明使用镜头位移和目标优化函数中的惩罚项来优化每一对图像之间的的像素对齐。所述最优化问题涉及到视觉项和运动项之间的权衡，它对镜头位移的可信度施加了先验条件。视觉项的目的是促进图像中视觉相似区域的对齐。

所述目标优化函数为：

E(p)＝E_visual(p)+αE_motion(p)

其中，E_visual(p)，E_motion(p)均为惩罚项，E_visual(p)是视觉项，E_motion(p)是运动项，p代表像素，α为权重参数，用来平衡2个惩罚项的相对重要程度。一种实施例中，α被设置为1.5。

①视觉项

视觉项基于Lucas-Kanade光流方法的三次迭代确定，用于对齐图像中视觉相似的区域，具体确定方法为：

7-1-1)以K₀表示参考帧，Ki(i∈[1，2，...，k])表示偏移帧，k为偏移帧的帧数，偏移帧K_i中的每个像素p的视觉项E_visual(p)_i为：

其中，u_i(p)，v_i(p)表示从光流方法中得到的粗粒度像素位移信息，

表示优化目标(即高精度的像素对齐结果)；

7-1-2)对每个像素p确定视觉项如下：

②运动项

运动项的确定方法为：

7-2-1)对于每个像素p，基于每一对偏移帧-参考帧得到：

其中，Δh_x(i)和Δh_y(i)分别表示偏移帧K_i中x轴和y轴上的平均镜头位移，Ω表示图像平面，

7-2-2)将两对偏移帧-参考帧之间的运动项定义为(K_m，K₀)和(K_n，K₀)，K_m和K_n代表两个不同的偏移帧，参考帧的拍摄时间为t₀，偏移帧K_i的拍摄时间为t_i，结合6-5)所述公式得到：

7-2-3)对每个像素p确定运动项如下：

使用上述公式求解最优化问题之后可以得到高精度的亚像素对齐向量，将对齐向量应用在偏移帧上进行变换，可以实现偏移帧和参考帧在空间位置上的对齐，完成图像配准。

8)对配准之后的低分辨率图像进行图像合并，得到超分辨率图像。

8-1)构建基于参考帧的上采样图像网格；

一种实施例中，图像网格采用2倍上采样得到，那么由此得到的超分辨率图像的分辨率为原始输入图像的2倍；

8-2)基于核回归估计每个像素在每个颜色通道的局部贡献：

其中，(x，y)是像素在上采样图像网格中的二维坐标，

是在所有输入帧上获得的总和，所述输入帧包括1个参考帧和k个偏移帧，∑_j是低分辨率图像在预配置大小的局部邻域内样本的总和，一种实施例中，局部邻域的大小为3×3，即样本的坐标在

范围中；

c_i，j表示对应的颜色通道中像素的颜色值，所述颜色通道包括红色、蓝色和绿色，每一个样本j在图像配准前的原始坐标为(x_j，y_j)，图像配准后的亚像素对齐向量为(u_j，v_j)，w_i，j为局部样本权重，基于二维归一化各向异性高斯RBF确定：

其中，d_j是样本j到输出图像网格的偏移向量，

d_j＝[2(x_j-u_j)-x，2(y_j-v_j)-y]^T

Ψ_j是核协方差矩阵，一种实施例中，在每一帧中应用梯度结构张量分析作为核协方差矩阵：

其中，

和/>

是参考帧在水平和垂直方向的局部梯度，在一个3×3颜色窗口内的亮度通道中使用有限前向差分方法计算得到；

8-3)将每个像素的三个颜色通道的局部贡献映射到上采样图像网格中，得到输出的超分辨率图像。

基于上述方法的图像处理流程图如图2所示。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。

Claims (5)

1.一种基于镜头补偿式光学防抖系统的超分辨率图像成像方法，其特征在于，包括以下步骤：

确定智能手机板载陀螺仪的谐振频率；

基于谐振频率确定声信号；

获取智能手机在默认参数下拍摄的参考帧；

获取智能手机在声信号注入时拍摄的多个偏移帧，同时记录每个偏移帧对应的时间戳和板载陀螺仪读数；

基于板载陀螺仪读数计算镜头移动角度；

基于镜头移动角度确定镜头位移和像素位移；

基于目标优化函数、镜头位移和像素位移求解最优化问题，进行参考帧和偏移帧之间的图像配准，得到配准之后的低分辨率图像，其中，所述目标优化函数包含多个惩罚项；

对配准之后的低分辨率图像进行图像合并，得到超分辨率图像；

所述基于板载陀螺仪读数计算镜头移动角度的计算方法为：

θ(t+Δt)＝θ(t)+ω[t]Δt

其中，θ(t)为t时刻的镜头角度，Δt为两次板载陀螺仪读数之间的时间间隔，

F_S为板载陀螺仪的采样频率，ω[t]是当前时间戳的板载陀螺仪读数；

Δθ＝θ(t+Δt)-θ(t)

其中，Δθ为镜头移动角度；

所述基于镜头移动角度确定镜头位移和像素位移包括以下步骤：

6-1)对镜头位移和像素位移之间的关系建模；

6-2)将镜头从位置1移动到位置2，使得光源A的成像从像素B移动到像素B’，其中，镜头位移Δh＝a*Δθ，a为常数，像素位移为ΔT；

6-3)基于相似三角形得到像素位移和镜头位移之间的关系满足：

其中，Z_a为光源深度，f为智能手机摄像头的焦距；当在镜头位移的影响下从同一场景中拍摄多帧图像时，所有图像中的光源深度保持不变，即在每一组图像中，每一个光源的

是固定的；

6-4)基于

固定不变，确定镜头移动角度Δθ和像素位移ΔT之间的关系：

ΔT_x＝a_xΔθ_x,a_x＞0

ΔT_y＝a_yΔθ_y,a_y＞0

其中，a_x和a_y是光学防抖系统的常量系数，下标x,y分别代表x轴和y轴分量；

6-5)基于翻滚角、俯仰角和6-4)所述镜头移动角度Δθ和像素位移ΔT之间的关系确定t₁-t₂时间间隔内像素位移：

其中，Δθ_x为翻滚角，Δθ_y为俯仰角；

所述目标优化函数为：

E(p)＝E_visual(p)+αE_motion(p)

其中，E_visual(p)，E_motion(p)均为惩罚项，E_visual(p)是视觉项，E_motion(p)是运动项，α为权重参数，p代表像素；

所述视觉项基于Lucas-Kanade光流方法的三次迭代确定，用于对齐图像中视觉相似的区域，视觉项的确定方法为：

7-1-1)以K₀表示参考帧，K_i(i∈[1,2,...,k])表示偏移帧，k为偏移帧的帧数，偏移帧K_i中的每个像素p的视觉项E_visual(p)_i为：

其中，u_i(p),v_i(p)表示从光流方法中得到的粗粒度像素位移信息，

表示优化目标；

7-1-2)对每个像素p确定视觉项如下：

所述运动项的确定方法为：

7-2-1)对于每个像素p，基于每一对偏移帧-参考帧得到：

其中，Δh_x(i和Δh_y(i分别表示偏移帧K_i中x轴和y轴上的平均镜头位移，Ω表示图像平面，

7-2-2)将两对偏移帧-参考帧之间的运动项定义为(K_m,K₀)和(K_n,K₀)，K_m和K_n代表两个不同的偏移帧，参考帧的拍摄时间为t₀，偏移帧K_i的拍摄时间为t_i，结合6-5)所述公式得到：

7-2-3)对每个像素p确定运动项如下：

2.根据权利要求1所述的一种基于镜头补偿式光学防抖系统的超分辨率图像成像方法，其特征在于，所述对配准之后的低分辨率图像进行图像合并，得到超分辨率图像包括以下步骤：

8-1)构建基于参考帧的上采样图像网格；

8-2)基于核回归估计每个像素在每个颜色通道的局部贡献：

其中，(x,y)是像素在上采样图像网格中的二维坐标，

是在所有输入帧上获得的总和，所述输入帧包括1个参考帧和k个偏移帧，∑_j是低分辨率图像在预配置大小的局部邻域内样本的总和，c_i,j表示对应的颜色通道中像素的颜色值，所述颜色通道包括红色、蓝色和绿色，每一个样本j在图像配准前的原始坐标为(x_j,y_j)，图像配准后的亚像素对齐向量为(u_j,v_j)，w_i,j为局部样本权重，基于二维归一化各向异性高斯RBF确定：

其中，d_j是样本j到输出图像网格的偏移向量，

d_j＝[2x_j-u_j)-x,2(y_j-v_j)-y]^T

Ψ_j是核协方差矩阵，

其中，

和/>

是参考帧在水平和垂直方向的局部梯度；

8-3)将每个像素的三个颜色通道的局部贡献映射到上采样图像网格中，得到输出的超分辨率图像。

3.根据权利要求1所述的一种基于镜头补偿式光学防抖系统的超分辨率图像成像方法，其特征在于，所述默认参数包括自动曝光、自动对焦、自动白平衡。

4.一种基于镜头补偿式光学防抖系统的超分辨率图像成像装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一所述的方法。

5.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-3中任一所述的方法。

Images