CN108401104B - 基于频带修复和超分辨的双焦相机数字变焦方法 - Google Patents

基于频带修复和超分辨的双焦相机数字变焦方法 Download PDF

Info

Publication number
CN108401104B
CN108401104B CN201810126563.3A CN201810126563A CN108401104B CN 108401104 B CN108401104 B CN 108401104B CN 201810126563 A CN201810126563 A CN 201810126563A CN 108401104 B CN108401104 B CN 108401104B
Authority
CN
China
Prior art keywords
image
resolution
camera
super
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810126563.3A
Other languages
English (en)
Other versions
CN108401104A (zh
Inventor
李奇
马昊宇
徐之海
冯华君
陈跃庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810126563.3A priority Critical patent/CN108401104B/zh
Publication of CN108401104A publication Critical patent/CN108401104A/zh
Application granted granted Critical
Publication of CN108401104B publication Critical patent/CN108401104B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于频带修复和超分辨的双焦相机数字变焦方法，包括如下步骤：利用低分辨相机获得的图像，使用单帧图像超分辨算法，重建不同频带分量，得到一张与高分辨相机获得的图像空间采样率匹配的超分辨图像，并与高分辨相机获得的图像进行配准操作；利用低分辨相机获得的超分辨图像和配准信息，结合高分辨相机获得的图像，提取出超分辨算法重建精度不合格的区域，作为各个频带上的重建区域；将高分辨相机获得的图像中重建区域对应的区域提取出来，针对每一个提取区域分别构建用于频带修复的样本；本发明方法可以利用有限个超分辨成像模型实现连续倍率的数字变焦图像合成，并且可以有效利用长焦相机提供的丰富的纹理细节。

Description

基于频带修复和超分辨的双焦相机数字变焦方法
技术领域
本发明涉及双焦成像系统和计算机图像处理计算，尤其涉及一种基于频带修复和超分辨成像的双焦相机数字变焦方法。
背景技术
数码相机已经渐渐成为大批量生产的智能手机上的标配，工业界从这些数码相机出发设计了大量基于他们工作的软件程序，这些软件程序反过来也对智能终端上的数码相机提出越来越高的要求。但是由于手机对搭载在其上的设备的功耗、体积、成本都有比较高的要求，所以手机上使用光学变焦的相机较为罕见，取而代之的是使用双焦相机系统：用两个焦距不同的定焦相机组成一个非对称的光学系统来模拟光学变焦相机，以实现背景虚化等种种功能。
在使用双焦相机系统时，必然会引进一个新的问题：如何设计该系统的数字变焦算法，从而一方面可以利用广角相机大视场的优点，另一方面可以充分利用高分辨长焦相机获得的丰富的纹理细节信息。传统的图像融合算法无法将高分辨相机获得的纹理信息转移到长焦相机视场外，广角相机获得图像的其它区域上，而目前取得广泛研究的超分辨算法只能有限提高广角相机所获得图像的质量，也无法有效利用长焦相机获得的大量细节信息，同时也只能进行固定倍率的变焦。因此研究的重点就是如何同时充分利用广角相机的视场优势和长焦相机的细节优势，合成高品质的数字变焦图片。
发明内容
本发明要主要解决的问题是提供一种技术手段，针对两张分别来自短焦广角镜头和长焦望远镜头的照片，合成数字变焦图片。
为解决上述技术问题，本发明采用的技术方案为：一种基于频带修复和超分辨的双焦相机数字变焦方法，该方法包括以下步骤：
(1)利用低分辨相机获得的图像，使用单帧图像超分辨算法，重建不同频带分量，得到一张与高分辨相机获得的图像空间采样率匹配的超分辨图像，并与高分辨相机获得的图像进行配准操作；
(2)利用步骤(1)中低分辨相机获得的超分辨图像和配准信息，结合高分辨相机获得的图像，提取出超分辨算法重建精度不合格的区域，作为各个频带上的重建区域；
(3)将高分辨相机获得的图像中，与步骤(2)得到的重建区域对应的区域提取出来，针对每一个提取区域分别构建用于频带修复的样本集，用于对提取区域的频带信息进行修复；将修复后的频带信息进行融合，并插值到所需的变焦倍率，保留该变焦倍率视场内的图像，得到最终的双焦相机变焦图像。
进一步地，所述步骤1中，针对不同颜色信息的图像采用不同的预处理方法，具体如下：
如果输入为单通道灰度图，只包含图像的亮度信息，那么将图像的像素值从原先的取值范围(例如0-255等)归一化到0-1之间，作为输入图像。
如果输入为多通道图，不仅包含图像的亮度信息，同时包含图像的颜色信息，那么将图像从原来的颜色空间(RGB等)先转换到YCbCr颜色空间中，将Y通道的信息作为图像的亮度信息，并进行归一化后，作为输入图像；而Cb和Cr通道也进行归一化，然后采用一次双三次插值保证与最终生成的变焦图像视场一致，与超分辨处理后的图像亮度信息合并，并且转换到原来的颜色空间中，作为最终输出图像。
进一步地，所述步骤1具体为：
a)假设双焦成像系统的广角相机和长焦相机之间空间采样率之差为M,令输入广角图像为IW，长焦图像为IT，将图片分为N个频带，定义上采样算子为U(x)，下采样算子为D(x)，采用双三次插值；每次上采样和下采样的倍率均为
Figure GDA0002641071680000021
那么对广角图像IW进行N次连续的上采样，将具有和长焦图像IT近似相等的空间分辨率，对长焦图像IT进行N次连续的下采样获得的图片，其空间分辨率也将和广角图像IW近似相等。
b)在训练阶段，需要准备广角相机获得的广角图像IW和其对应的高分辨版本IW,h，IW,h应与IT具有匹配的空间分辨率。第i个频带对应的广角频带信息为[IW]i，对应的长焦频带信息为[IT]i，那么定义：
Figure GDA0002641071680000031
Figure GDA0002641071680000032
Figure GDA0002641071680000033
是重建到第i-1个频带下的超分辨图像。定义每一个频段的生成函数Gi(x)，使得：
Figure GDA00026410716800000311
在训练阶段已知IW,h的情况下，任意第i个频带的具体生成函数Gi(x)的设计，都可以参考现有的大多数基于统计学习的超分辨成像方法。
在训练完成后的测试阶段中，通过训练阶段得到的Gi(x)估算[IW]i，利用[IW]i计算
Figure GDA0002641071680000034
并将长焦图像IT和
Figure GDA0002641071680000035
进行配准，记配准对应的变换为R(x)。
进一步地，所述步骤2具体为：
a)利用在步骤(1)中获得的配准函数R(x)，建立广角图像频带[IW]i所对应的长焦图像频带[IT]i，对[IT]i的定义如下：
Figure GDA0002641071680000036
Figure GDA0002641071680000037
其中
Figure GDA0002641071680000038
是重建到第i-1个频带信息下的图像。
b)利用图像分割的方法，将
Figure GDA0002641071680000039
重新转换到RGB空间中，利用RGB三个通道的颜色信息对
Figure GDA00026410716800000310
进行分割，得到若干个区域；然后统计每个区域
Figure GDA0002641071680000041
和
Figure GDA0002641071680000042
的重叠区域的细节信息：
Figure GDA0002641071680000043
Figure GDA0002641071680000044
Figure GDA0002641071680000045
其中Ao为
Figure GDA0002641071680000046
和
Figure GDA0002641071680000047
的重叠区域，(x,y)∈Ao表示坐标(x,y)在Ao内，
Figure GDA0002641071680000048
为
Figure GDA0002641071680000049
在坐标(x,y)处的灰度值，
Figure GDA00026410716800000410
为
Figure GDA00026410716800000411
区域内的平均灰度值，
Figure GDA00026410716800000412
为
Figure GDA00026410716800000413
在坐标(x,y)处的灰度值，
Figure GDA00026410716800000414
为
Figure GDA00026410716800000415
区域内的平均灰度值，|Ao|为区域内的像素数，ε为一个小常数，保证分母不为零。σW,m和σT,m分别反映了第m个分割区域重建超分辨图像
Figure GDA00026410716800000416
和长焦相机获得的真实的高分辨图像
Figure GDA00026410716800000417
的细节情况，当rm较大时说明原始高分辨图像中的纹理大量丢失了。所以设定硬阈值，当rm大于该阈值时，提取第m个分割区域，并且利用长焦相机各个频段[IT]i丰富的细节，将短焦相机该区域的细节重建出来。
进一步地，所述步骤3具体为：
a)在步骤(2)获得重建区域后,利用步骤(2)计算得到的[IT]i，对步骤(1)计算得到的[IW]i进行频带修复，其中0＜i≤N。假设待修复区域对应的像素集合为A，不需要修复区域的像素集合为B，其中同时在长焦相机和短焦相机视场范围内的待修复区域的像素集合和不需要修复区域的像素集合分别为Ao和Bo，仅在广角相机视场范围内的待修复区域的像素集合和不需要修复区域的像素集合分别AW和BW，则A＝Ao+AW，B＝Bo+BW。采用Ao在每个[IT]i中对应的区域作为修复样本的来源，对AW对应的区域进行修复，而对B区域不操作。
b)利用[IT]i内丰富的频带信息重建[IW]i，从已知区域Ao，重建出AW。令一个像素为p，以它为中心，大小为H的正方形邻域内[IT]i的信息为Ω(p)，若任意的Ω(p)内像素都属于Ao，则ΨA＝Ω(p)，放入修复[IW]i用的样本集中。为了扩充样本集的大小，同时考虑到样本集再重建时应该保证方向上的鲁棒性，所以实验中将样本ΨA顺时针旋转3次，每次90°，再镜像后旋转3次，每次90°就可以让一个样本生成总共8个有效的样本。以上方法获得的所有ΨA构成样本库DA，用于修复[IW]i中AW区域。
c)令Ao和AW的边缘为
Figure GDA00026410716800000510
边缘将包含若干像素，实验中采用和图像修复时类似的优先级计算方法，计算边缘像素的重建优先级，优先重建已知信息较多、纹理细节丰富、朝向垂直于重建边缘的图像小块。对于
Figure GDA0002641071680000057
上的某一个像素点p而言，其重建优先度P(p)的计算如下：
P(p)＝C(p)D(p) (9)
Figure GDA0002641071680000051
Figure GDA0002641071680000052
其中C(p)表示像素点p的重建可信度，D(p)表示像素点p的结构复杂度，Ω(p)表示像素点p的重建邻域，|Ω(p)|表示像素点p的重建邻域的面积大小，q∈Ω(p)∩A表示像素点q属于像素点p的重建邻域和区域A的重叠区域内，初始化时，对Ao内像素q有C(q)＝1，而对AW内像素q有C(q)＝0。对某一个特定的分割区域A，如果已知像素数较高，则其重建可信度C(p)越高。
Figure GDA0002641071680000053
代表像素p处的图像纹理边缘方向，np代表像素p处的
Figure GDA0002641071680000058
的法向量方向；计算
Figure GDA0002641071680000059
中每一个像素的重建优先级，选取重建优先级最高的像素进行重建。对相应的像素p重建时，从对应的DA中选取可能的图像小块DA,j，满足：
arg minj∑q∈Ω(p)∩A(DA,j(q)-B(p))2 (12)
其中B(q)表示[IW]i在像素q处的取值，DA,j(q)表示图像小块DA,j在像素q对应位置处的取值。新的取值DA,j(q)将覆盖掉原频带在步骤(1)中计算获得的[IW]i的取值，针对每一个待重建区域AW进行重建，得到新的修复频带
Figure GDA0002641071680000054
d)采用以下公式完成对[IW]i和[IT]i的融合，得到新的融合图像频带[IM]i:
[IM]0＝[IW]0 (13)
Figure GDA0002641071680000055
在完成融合图像频带[IM]i后，需要选择
Figure GDA0002641071680000062
l为数字变焦倍率，然后计算
Figure GDA0002641071680000061
并采用插值的方法将计算结果插值到变焦倍率为l时图像对应的大小，保留此时视场内的图像，记作lSR；
由于实际应用过程中，数字变焦倍率l满足0＜l＜M，但是l是一个连续变化取值的数，插值的过程会引入频谱混叠等不利影响，所以实验还采用迭代反投影的方法确保图像在退化过程中的保真：
lSR,j＝lSR,j-1-λ((lSR,j-1)↓l-IW)↑l (15)
其中j是当前迭代次数，lSR,j代表对lSR的第j次迭代，lSR,0＝lSR。↓l为下采样倍率为l的双三次插值，↑l为上采样倍率为l的双三次插值，λ为学习率，经过若干次迭代(一般20次)，得到的lSR,j就是最终的基于频带修复的双焦相机数字变焦图像。
相比较现有的双焦相机数字变焦算法，本发明方法具有以下优势：首先提出一种连续变焦的超分辨模型框架以适应不同倍率的变焦情况，只进行有限次超分辨成像操作，后续合成数字变焦图像的过程使用插值方法完成，运算成本相比较现有的超分辨算法几乎可以忽略不计，而现有超分辨算法只支持固定倍率的变焦，而且每一次变焦都需要专门设计的模型和一次超分辨操作。其次，本发明方法基于纹理修复和超分辨成像，超分辨成像的框架可以以较高的精度重建显著边缘，而对于纹理等信息，基于区域选择和频带修复算法可以定位超分辨成像性能不佳的区域，并且使用图像修复算法对其进行修复，最终输出纹理丰富边缘清晰，视觉拟真性较好的合成数字变焦图像。
附图说明
图1：双焦相机成像系统示意图。
图2：本发明方法流程图。
图3：广角相机图像金字塔[IW]i。
图4：长焦相机图像金字塔[IT]i。
图5：区域提取图。
图6：融合方法流程。
图7：样本扩充示意图。
图8：修复广角相机图像金字塔
Figure GDA0002641071680000071
图9：输出修复结果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明要主要解决的问题是提供一种技术手段，针对两张分别来自短焦广角镜头和长焦望远镜头的照片，合成数字变焦图片。图1为双焦相机成像系统示意图，对同一场景采用不同视场大小的相机进行拍摄，在物距离较远，而前后景距离较近时，可以近似忽略像差。
本发明提出的一种基于频带修复和超分辨的双分辨相机数字变焦方法，如图2所示，实施步骤包括：利用低分辨相机获得的图像，使用单帧图像超分辨算法，重建不同频带分量下的图像金字塔；结合高分辨相机获得图像提取出重建精度较差的区域，这些区域就是后续需要在各个频带上进行重建的区域；对提取出区域的频带信息进行修复。
步骤1：使用单帧图像超分辨算法重建不同频带分量下的图像金字塔。
a)首先将图像转换到ycbcr空间，后续的操作全部在y空间上进行。假设双分辨成像系统的广角相机和长焦相机之间空间采样率之差为M＝4,令输入广角图像为IW，长焦图像为IT，将图片分为N＝2个频带，定义上采样算子为U(x)，下采样算子为D(x)，每次上采样和下采样的倍率都为
Figure GDA0002641071680000072
实验中的上采样和下采样算子都采用双三次插值的方法。那么对广角图像进行2次连续的上采样，将具有和长焦相机近似相等的空间分辨率，对长焦相机获得图像进行2次连续的下采样获得的图片，其空间分辨率也将和广角相机近似相等。在空间分辨率较为接近时，配准方法较为容易进行。将IW上采样到和IT相等的空间分辨率后进行配准，记配准对应的变换为一个刚体变换R(x)。
b)在训练阶段，需要准备短焦相机获得的对应图片IW和其对应的高分辨版本IW,h，IW,h应与IT具有相似的空间分辨率。选择频带数量N＝2和上/下采样倍率k＝2。第k个频带对应的广角频带信息为[IW]i，对应的长焦频带信息为[IT]i，那么定义：
Figure GDA0002641071680000081
因为IW,h是训练样本，也是短焦相机对应的场景的高分辨版本，这是在部署阶段无法获得的，所以需要利用样本训练每一个频段的生成函数Gi(x)，使得：
Figure GDA0002641071680000087
c)训练过程中，采用单帧图像超分辨常用的方法，逐图像小块对低分辨图像进行重建。对Gi(x)而言，是第i个频带的生成器，假设图像小块的尺寸为S×S，那么选取[IW]i的多个图像小块作为输出样本，以及他们对应区域的超分辨图像作为输入。将输入
Figure GDA0002641071680000082
分别与[1,0,-1]，[1,0,-1]T，
Figure GDA0002641071680000083
和
Figure GDA0002641071680000084
四个卷积核进行卷积，列向量化后得到4S2×1的列向量作为该图像小块的特征向量，随机采集K个这样的图像小块作为维度为4S2×K的训练样本，对应于使用主成分分析将这些训练样本降维，他们对应的输出为S2×K的矩阵，首先通过KSVD训练出低分辨图像的字典Dl，那么可以认为该字典中的每一个原子都在自然图像的流形空间中选取了一系列的“锚点”，在这些“锚点”附近是可以用线性模型取近似表示的，所以在每个“锚点”附近选取样本并训练L2约束的线性回归模型，这一操作思路是和现有超分辨模型一致的。
在重建过程中，即可以利用式(1)和式(2)，以及训练过程中获得的模型，逐层计算
Figure GDA0002641071680000085
从而进一步估算出[IW]i。当i＝N+1时，
Figure GDA0002641071680000086
可以看作是通过超分辨算法和离线数据库获得的超分辨图像。经过若干次迭代得到的各频带信息[IW]i将被用于后续的频带修复过程，测试过程中得到的图像金字塔[IW]i如图3所示。
步骤2：提取需要修复频带的区域。
a)上述步骤一获得变焦图像的过程是没有使用长焦高分辨相机所获得的信息的，这一步将建立对应于短焦相机图像金字塔[IW]i所对应的金字塔[IT]i，利用在步骤(1)中获得的配准函数R(x)，对[IT]i的定义如下：
Figure GDA0002641071680000091
可见，在给定高分辨图像IT，并且计算得到R(x)后，可以直接计算得到长焦相机对应于短焦相机的图像金字塔如图4所示。
b)通过对短焦相机获得的图像的超分辨算法得到的图像具有一个较为明显的特点：有较为锐利的边缘，但另一方面内部的纹理细节信息大量丢失了，所以需要利用长焦相机获得的丰富的纹理信息，对短焦相机各个频带进行补充。首先利用图像分割的方法，将
Figure GDA0002641071680000092
重新转换到RGB空间中，利用RGB三个通道的颜色信息对进行分割，得到若干个区域认为在每个区域中具有相似的纹理信息。然后统计每个区域
Figure GDA0002641071680000093
和
Figure GDA0002641071680000094
的重叠区域的纹理细节信息：
Figure GDA0002641071680000095
Figure GDA0002641071680000096
Figure GDA0002641071680000097
其中Ao为重叠区域，
Figure GDA0002641071680000098
为
Figure GDA0002641071680000099
在坐标(x,y)处的灰度值，
Figure GDA00026410716800000910
为
Figure GDA00026410716800000911
区域内的平均灰度值，
Figure GDA00026410716800000912
为
Figure GDA00026410716800000913
在坐标(x,y)处的灰度值，
Figure GDA00026410716800000914
为
Figure GDA00026410716800000915
区域内的平均灰度值，|Ao|为区域内的像素数。所以σW,i和σT,i分别反映了第i个分割区域重建超分辨图像
Figure GDA00026410716800000916
和长焦相机获得的真实的高分辨图像
Figure GDA00026410716800000917
之间的细节情况，重建效果越好，则ri应该越接近1；当ri较大时说明原始高分辨图像中的纹理大量丢失了，导致超分辨重建出的图片效果较差，需要提取这些对应的区域，并且利用长焦相机各个频段丰富的细节，将短焦相机该区域的细节重建出来。提取出来的区域如图5所示，高亮区域为需要重建区域样本来源，灰色为待重建区域。
步骤3：修复不同区域的频带信息。
a)在步骤(2)获得超分辨成像重建效果较差的区域后，就可以利用步骤(2)计算得到的[IT]i，对步骤(1)计算得到的[IW]i进行频带修复，其中0＜i≤N。假设待修复区域对应的像素集合为A，不需要修复的像素集合为B，其中同时在长焦相机和短焦相机视场内区域的像素集合为Ao和Bo，仅在短焦相机视场内区域的像素集合为AW和BW，则A＝Ao+AW，B＝Bo+BW。采用Ao在每个[IT]i中对应的区域作为修复样本的来源，对AW对应的区域进行修复。这一过程如图6所示，由于超分辨获得的高分辨图像常常已经丢失了纹理信息，所以适合用于图像分割；在将超分辨获得的图像分割后，逐个分割区域与配准后的高分辨图像进行比对，如果区域内超分辨获得的图像纹理强度较低，则提取对应长焦相机图像区域的信息作为字典，对其余信息进行重建，在各个频段上都进行该重建。
b)在上一步确定需要重建的[IW]i中的频带信息并非真实的频带信息，而是由超分辨算法计算出来的，常常丢失了大量的细节信息。提出的算法采用和图像修复时类似的方法，利用[IT]i内丰富的频带信息，从已知区域Ao和Bo出发，重建出AW和BW内的信息。令一个像素为p，以它为中心，大小为H的正方形邻域内[IT]i的信息为Ω(p)，若任意的Ω(p)内像素都属于Ao，则Ψi,j＝Ω(p)，将放入修复[IW]i用的样本集中。为了扩充样本集的大小，同时考虑到样本集再重建时应该保证方向上的鲁棒性，所以实验中将该样本顺时针旋转3次，再镜像后旋转3次，就可以让一个样本生成总共8个有效的样本。记以上的方法获得的Ψi,j构成用于修复[IW]i的样本库为Di。所描述的样本扩充方法如图7所示，一个样本小块可以提供8个不同的样本。
c)令Ao和Bo的边缘为
Figure GDA0002641071680000103
边缘将包含众多像素，实验中采用和图像修复时类似的优先级计算方法，计算边缘像素的重建优先级，优先重建已知信息较多和纹理细节丰富朝向垂直于重建边缘的图像小块。对于
Figure GDA0002641071680000104
上的某一个像素点p而言，其重建优先度P(p)的计算如下：
P(p)＝C(p)D(p) (9)
Figure GDA0002641071680000101
Figure GDA0002641071680000105
其中|Ω(p)|表示重建邻域的面积大小，初始化时，对Ao内像素q有C(q)＝1，而对AW内像素q有C(q)＝0。所以对某一个特定的分割区域A，如果已知像素数较高，则其重建可信度C(p)越高。
Figure GDA0002641071680000102
代表像素p处的图像纹理边缘方向，np代表像素p处的
Figure GDA0002641071680000114
的法向量方向。计算
Figure GDA0002641071680000115
中每一个像素的重建优先级，选取重建优先级最高的像素进行重建。对相应的像素p重建时，从对应的Di中选取可能的图像小块Ψi,j，满足：
arg minj∑q∈Ω(p)∩A(Ψi,j(q)-B(q))2 (12)
其中B(q)表示[IW]i在像素q处的取值。新的取值Ψi,j(q)将覆盖掉原频带在步骤(1)中计算获得的[IW]i的取值，针对每一个待重建区域AW进行重关键，得到新的频带修复后的金字塔
Figure GDA0002641071680000111
如图8所示。
d)采用以下公式完成对[IW]i和[IT]i的融合，得到新的图像金字塔[IM]i:
[IM]0＝[IW]0 (13)
Figure GDA0002641071680000112
d)由于实际应用过程中，数字变焦倍率l满足0＜l＜M，但是l是一个连续变化取值的数，所以在完成融合后的金字塔[IM]i后，需要选择
Figure GDA0002641071680000116
然后计算
Figure GDA0002641071680000113
并采用插值的方法插值到变焦倍率为l的大小，保留对应视场内的图像lSR，这样做会带来一个问题，因为插值的过程会引入频谱混叠等不利影响，所以实验还采用迭代反投影的方法确保图像在退化过程中的保真：
lSR,j＝lSR,j-1-λ((lSR,j-1)↓l-IW)↑l (15)
其中j是当前迭代次数，经过一定的迭代次数，得到的lSR,j就是最终的基于频带修复的双分辨相机数字变焦图像灰度图，结合之前的颜色信息可以得到图9。

Claims (4)

1.一种基于频带修复和超分辨的双焦相机数字变焦方法，其特征在于，该方法包括以下步骤：
(1)利用低分辨相机获得的图像，使用单帧图像超分辨算法，重建不同频带分量，得到一张与高分辨相机获得的图像空间采样率匹配的超分辨图像，并与高分辨相机获得的图像进行配准操作；具体如下：
a)假设双焦成像系统的广角相机和长焦相机之间空间采样率之差为M，令输入广角图像为IW，长焦图像为IT，将图片分为N个频带，定义上采样算子为U(x)，下采样算子为D(x)，采用双三次插值；每次上采样和下采样的倍率均为
Figure FDA0002641071670000011
b)在训练阶段，需要准备广角相机获得的广角图像IW和其对应的高分辨版本IW，h，IW，h应与IT具有匹配的空间分辨率；第i个频带对应的广角频带信息为[IW]i，对应的长焦频带信息为[IT]i，那么定义：
Figure FDA0002641071670000012
Figure FDA0002641071670000013
Figure FDA0002641071670000014
是重建到第i-1个频带下的超分辨图像；定义每一个频段的生成函数Gi(x)，使得：
Figure FDA0002641071670000015
在训练完成后的测试阶段中，通过训练阶段得到的Gi(x)估算[IW]i，利用[IW]i计算
Figure FDA0002641071670000016
并将长焦图像IT和
Figure FDA0002641071670000017
进行配准，记配准对应的变换为R(x)；
c)训练过程中，采用单帧图像超分辨常用的方法，逐图像小块对低分辨图像进行重建；
在重建过程中，即可以利用式(1)和式(2)，以及训练过程中获得的模型，逐层计算
Figure FDA0002641071670000021
从而进一步估算出[IW]i；当i＝N+1时，
Figure FDA0002641071670000022
看作是通过超分辨算法和离线数据库获得的超分辨图像；经过若干次迭代得到的各频带信息[IW]i将被用于后续的频带修复过程，测试过程中得到的图像金字塔[IW]i；
(2)利用步骤(1)中低分辨相机获得的超分辨图像和配准信息，结合高分辨相机获得的图像，提取出超分辨算法重建精度不合格的区域，作为各个频带上的重建区域；具体为：利用在步骤(1)中获得的配准函数R(x)，建立广角图像频带[IW]i所对应的长焦图像频带[IT]i，对[IT]i的定义如下：
Figure FDA0002641071670000023
Figure FDA0002641071670000024
其中
Figure FDA0002641071670000025
是重建到第i-1个频带信息下的图像；
可见，在给定高分辨图像IT，并且计算得到R(x)后，可以直接计算得到长焦相机对应于短焦相机的图像金字塔；
(3)将高分辨相机获得的图像中，与步骤(2)得到的重建区域对应的区域提取出来，针对每一个提取区域分别构建用于频带修复的样本集，用于对提取区域的频带信息进行修复；具体为：在步骤(2)获得重建区域后，利用步骤(2)计算得到的[IT]i，对步骤(1)计算得到的[IW]i进行频带修复，其中0＜i≤N；将修复后的频带信息进行融合，并插值到所需的变焦倍率，保留该变焦倍率视场内的图像，得到最终的双焦相机变焦图像。
2.如权利要求1所述的一种基于频带修复和超分辨的双焦相机数字变焦方法，其特征在于，所述步骤(1)中，针对不同颜色信息的图像采用不同的预处理方法，具体如下：
如果输入为单通道灰度图，只包含图像的亮度信息，那么将图像的像素值归一化到0-1之间，作为输入图像；
如果输入为多通道图，不仅包含图像的亮度信息，同时包含图像的颜色信息，那么将图像从原来的颜色空间先转换到YCbCr颜色空间中，将Y通道的信息作为图像的亮度信息，并进行归一化后，作为输入图像；而Cb和Cr通道也进行归一化，然后采用一次双三次插值保证与最终生成的变焦图像视场一致，与超分辨处理后的图像亮度信息合并，并且转换到原来的颜色空间中，作为最终输出图像。
3.如权利要求1所述的一种基于频带修复和超分辨的双焦相机数字变焦方法，其特征在于，所述步骤(2)中：
利用图像分割的方法，将
Figure FDA0002641071670000031
重新转换到RGB空间中，利用RGB三个通道的颜色信息对
Figure FDA0002641071670000032
进行分割，得到若干个区域；然后统计每个区域
Figure FDA00026410716700000320
和
Figure FDA0002641071670000034
的重叠区域的细节信息：
Figure FDA0002641071670000035
Figure FDA0002641071670000036
Figure FDA0002641071670000037
其中Ao为
Figure FDA0002641071670000038
和
Figure FDA0002641071670000039
的重叠区域，(x，y)∈Ao表示坐标(x，y)在Ao内，
Figure FDA00026410716700000310
为
Figure FDA00026410716700000311
在坐标(x，y)处的灰度值，
Figure FDA00026410716700000312
为
Figure FDA00026410716700000313
区域内的平均灰度值，
Figure FDA00026410716700000314
为
Figure FDA00026410716700000315
在坐标(x，y)处的灰度值，
Figure FDA00026410716700000316
为
Figure FDA00026410716700000317
区域内的平均灰度值，|Ao|为区域内的像素数，ε为一个小常数，保证分母不为零；σW，m和σT，m分别反映了第m个分割区域重建超分辨图像
Figure FDA00026410716700000318
和长焦相机获得的真实的高分辨图像
Figure FDA00026410716700000319
的细节情况；设定硬阈值，当rm大于该阈值时，提取第m个分割区域，并且利用长焦相机各个频段[IT]i丰富的细节，将短焦相机该区域的细节重建出来。
4.如权利要求3所述的一种基于频带修复和超分辨的双焦相机数字变焦方法，其特征在于，所述步骤(3)具体为：
a)；假设待修复区域对应的像素集合为A，不需要修复区域的像素集合为B，其中同时在长焦相机和短焦相机视场范围内的待修复区域的像素集合和不需要修复区域的像素集合分别为Ao和Bo，仅在广角相机视场范围内的待修复区域的像素集合和不需要修复区域的像素集合分别AW和BW，则A＝Ao+AW，B＝Bo+BW；采用Ao在每个[IT]i中对应的区域作为修复样本的来源，对AW对应的区域进行修复，而对B区域不操作；
b)利用[IT]i内丰富的频带信息重建[IW]i，从已知区域Ao，重建出AW；令一个像素为p，以它为中心，大小为H的正方形邻域内[IT]i的信息为Ω(p)，若任意的Ω(p)内像素都属于Ao，则ΨA＝Ω(p)，放入修复[IW]i用的样本集中；将样本ΨA顺时针旋转3次，每次90°，再镜像后旋转3次，每次90°，就可以让一个样本生成总共8个有效的样本；将获得的所有ΨA构成样本库DA，用于修复[IW]i中AW区域；
c)令Ao和AW的边缘为
Figure FDA0002641071670000048
边缘将包含若干像素，计算边缘像素的重建优先级，优先重建已知信息较多、纹理细节丰富、朝向垂直于重建边缘的图像小块；对于
Figure FDA0002641071670000046
上的某一个像素点p而言，其重建优先度P(p)的计算如下：
P(p)＝C(p)D(p) (9)
Figure FDA0002641071670000041
Figure FDA0002641071670000042
其中C(p)表示像素点p的重建可信度，D(p)表示像素点p的结构复杂度，Ω(p)表示像素点p的重建邻域，|Ω(p)|表示像素点p的重建邻域的面积大小，q∈Ω(p)∩A表示像素点q属于像素点p的重建邻域和区域A的重叠区域内，初始化时，对Ao内像素q有C(q)＝1，而对AW内像素q有C(q)＝0；
Figure FDA0002641071670000043
代表像素p处的图像纹理边缘方向，np代表像素p处的
Figure FDA0002641071670000047
的法向量方向；计算
Figure FDA0002641071670000044
中每一个像素的重建优先级，选取重建优先级最高的像素进行重建；对相应的像素p重建时，从对应的DA中选取可能的图像小块DA，j，满足：
arg minj∑q∈Ω(p)∩A(DA，j(q)-B(q))2 (12)
其中B(q)表示[IW]i在像素q处的取值，DA，j(q)表示图像小块DA，j在像素q对应位置处的取值；新的取值DA，j(q)将覆盖掉原频带在步骤(1)中计算获得的[IW]i的取值，针对每一个待重建区域AW进行重建，得到新的修复频带
Figure FDA0002641071670000045
d)采用以下公式完成对[IW]i和[IT]i的融合，得到新的融合图像频带[IM]i：
[IM]0＝[IW]0 (13)
Figure FDA0002641071670000051
在完成融合图像频带[IM]i后，需要选择n＝「logkl]，l为数字变焦倍率，然后计算
Figure FDA0002641071670000052
并采用插值的方法将计算结果插值到变焦倍率为l时图像对应的大小，保留此时视场内的图像，记作lSR；
采用迭代反投影的方法确保图像在退化过程中的保真：
lSR，j＝lSR，j-1-λ((lSR，j-1)↓l-IW)↑l (15)
其中j是当前迭代次数，lSR，j代表对lSR的第j次迭代，lSR，0＝lSR；↓l为下采样倍率为l的双三次插值，↑l为上采样倍率为l的双三次插值，λ为学习率，经过若干次迭代，得到的lSR，j就是最终的基于频带修复的双焦相机数字变焦图像。
CN201810126563.3A 2018-02-08 2018-02-08 基于频带修复和超分辨的双焦相机数字变焦方法 Expired - Fee Related CN108401104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810126563.3A CN108401104B (zh) 2018-02-08 2018-02-08 基于频带修复和超分辨的双焦相机数字变焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810126563.3A CN108401104B (zh) 2018-02-08 2018-02-08 基于频带修复和超分辨的双焦相机数字变焦方法

Publications (2)

Publication Number Publication Date
CN108401104A CN108401104A (zh) 2018-08-14
CN108401104B true CN108401104B (zh) 2020-11-13

Family

ID=63096277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810126563.3A Expired - Fee Related CN108401104B (zh) 2018-02-08 2018-02-08 基于频带修复和超分辨的双焦相机数字变焦方法

Country Status (1)

Country Link
CN (1) CN108401104B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654621B (zh) * 2020-05-26 2021-04-16 浙江大学 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
CN111818262B (zh) 2020-07-08 2021-12-03 杭州萤石软件有限公司 图像重建方法及装置
CN113570617B (zh) * 2021-06-24 2022-08-23 荣耀终端有限公司 图像处理方法、装置和电子设备
CN116309160B (zh) * 2023-03-10 2024-04-12 北京百度网讯科技有限公司 图像分辨率修复方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200450A (zh) * 2014-08-25 2014-12-10 华南理工大学 一种红外热图像清晰度增强方法
CN204615985U (zh) * 2015-06-04 2015-09-02 广州长视电子有限公司 一种双焦距图像合成高清视频监控装置
CN105844589A (zh) * 2016-03-21 2016-08-10 深圳市未来媒体技术研究院 一种基于混合成像系统的实现光场图像超分辨的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4068869B2 (ja) * 2002-03-29 2008-03-26 富士フイルム株式会社 デジタルカメラ
US6924938B2 (en) * 2003-03-19 2005-08-02 Ricoh Company, Ltd. Zoom lens, camera, and mobile information terminal
JP4485759B2 (ja) * 2003-06-27 2010-06-23 株式会社リコー 異常発生予測方法、状態判定装置及び画像形成装置
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
KR102209066B1 (ko) * 2014-01-17 2021-01-28 삼성전자주식회사 다수의 초점거리를 이용한 이미지 합성 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200450A (zh) * 2014-08-25 2014-12-10 华南理工大学 一种红外热图像清晰度增强方法
CN204615985U (zh) * 2015-06-04 2015-09-02 广州长视电子有限公司 一种双焦距图像合成高清视频监控装置
CN105844589A (zh) * 2016-03-21 2016-08-10 深圳市未来媒体技术研究院 一种基于混合成像系统的实现光场图像超分辨的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Continuous digital zooming using local self-similarity-based super-resolution for an asymmetric dual camera system;Moon B,Yu S,Ko S,et al.;《Journal of the Optical Society of America A》;20170731;第34卷(第6期);全文 *
Region filling and object removal by exemplar-based image inpainting;Criminisi A,Perez P,Toyama K.;《IEEE TRANSACTIONS ON IMAGE PROCESING》;20040930;第13卷(第9期);全文 *

Also Published As

Publication number Publication date
CN108401104A (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
Anwar et al. Densely residual laplacian super-resolution
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN108401104B (zh) 基于频带修复和超分辨的双焦相机数字变焦方法
Fan et al. Scale-wise convolution for image restoration
JP4140690B2 (ja) ピクセル画像から超解像度画像を生成する方法
JP4035153B2 (ja) 画像処理方法および画像処理装置、並びに画像拡大方法
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
Liu et al. Exploit camera raw data for video super-resolution via hidden markov model inference
KR20130001213A (ko) 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템
CN112949636B (zh) 一种车牌超分辨率识别方法、系统及计算机可读介质
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
Wee et al. A novel fast fractal super resolution technique
JP2007293912A (ja) 画像処理方法および画像処理装置
CN111654621B (zh) 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
CN112132741A (zh) 一种人脸照片图像和素描图像的转换方法及系统
Wu et al. Edge curve scaling and smoothing with cubic spline interpolation for image up-scaling
CN112150363A (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
Albluwi et al. Super-resolution on degraded low-resolution images using convolutional neural networks
US12094079B2 (en) Reference-based super-resolution for image and video enhancement
CN114627293A (zh) 基于多任务学习的人像抠图方法
RU2661537C2 (ru) Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации
Feng et al. Ghost-Unet: multi-stage network for image deblurring via lightweight subnet learning
Zhang et al. Bilateral upsampling network for single image super-resolution with arbitrary scaling factors
Jiang et al. Antialiased super-resolution with parallel high-frequency synthesis
CN110852950A (zh) 基于稀疏表示和图像融合的高光谱图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201113

CF01 Termination of patent right due to non-payment of annual fee