CN107767341A - 基于阵列镜头的图像超分辨率重建方法 - Google Patents

基于阵列镜头的图像超分辨率重建方法 Download PDF

Info

Publication number
CN107767341A
CN107767341A CN201711089468.2A CN201711089468A CN107767341A CN 107767341 A CN107767341 A CN 107767341A CN 201711089468 A CN201711089468 A CN 201711089468A CN 107767341 A CN107767341 A CN 107767341A
Authority
CN
China
Prior art keywords
msub
image
mrow
array
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711089468.2A
Other languages
English (en)
Inventor
邹建成
颜培州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN201711089468.2A priority Critical patent/CN107767341A/zh
Publication of CN107767341A publication Critical patent/CN107767341A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于阵列镜头的图像超分辨率重建方法，包括：对阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成；利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；对校正后的阵列图像组，进行多视立体匹配；利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；对初始高分辨率图像进行优化。本发明的方法，利用阵列镜头获取的阵列图像组，进行超分辨率重建，避免了动态场景的运动估计问题，重建效果良好。

Description

基于阵列镜头的图像超分辨率重建方法
技术领域
本发明涉及一种基于阵列镜头的图像超分辨重建方法，属于图像处理及计算机视觉处理技术领域。
背景技术
超分辨率重建技术是利用图像处理技术提高图像空间分辨率的有效方法，融合同一场景多帧图像之间的互补信息，然后去除噪声和模糊得到一个高分辨率图像，相比于改变硬件设备提高硬件参数经济实用。
现有的图像超分辨率重建方法，需要先利用同一相机连续拍摄同一场景图像，得到多帧图像，或是由视频得到图像序列，然后对得到的多帧图像或是图像序列进行超分辨率重建。利用这样的多帧图像或是图像序列进行超分辨率重建，帧间运动估计是一大技术难点，理论上讲，具有不同深度内容的场景，不存在一个简单的如仿射、但应类似的变换实现不同视角图像的精确配准。特别是对于动态场景，场景中存在运动物体，运动估计非常更加困难。
发明内容
鉴于上述原因，本发明的目的在于提供一种基于阵列镜头的图像超分辨率重建方法，利用阵列镜头获取的阵列图像组，进行超分辨率重建，避免了动态场景的运动估计问题，重建效果良好。
为实现上述目的，本发明采用以下技术方案：
一种基于阵列镜头的图像超分辨率重建方法，包括：
对阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成；
利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；
对校正后的阵列图像组，进行多视立体匹配；
利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；
对初始高分辨率图像进行优化。
所述多视立体匹配的方法是：
从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0；将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L；两两深度层的间隔根据两相邻深度层在参考图像上对应的像素位置差确定；
根据公式：
确定每个网格点的深度，其中fx∈L，N是参考图像相邻像素集合，其中Dx(fx)表示参考图像像素点X在深度fx处的灰度一致性，表示参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项；
求解能量函数确定每个网格点的深度，基于MRF模型算法得到参考图像上每个像素的深度，得到场景的重建表面。
在每个像素的当前深度附近再划分若干子深度层，并进行优化重建，直到像素距离差小于设定的距离阈值。
所述得到初始高分辨率图像的方法是：
输入的低分辨率阵列图像组是满足如下条件建立高分辨率图像的降质模型：
gk＝DBPkS+nk (2)
其中，k表示阵列镜头的序号，D表示下采样矩阵，B表示模糊矩阵，Pk表示第k幅图像的投影矩阵；S表示理想高分辨率图像，其像素大小为q为采样比例，gk是低分辨率阵列图像序列，每一帧大小为N1×N2，gk由低分辨率阵列图像组排列而成，即gk＝[g1，g2，...gN*M]。
所述对初始高分辨率图像进行优化的方法是：利用核回归的方法对所述初始高分辨率图像进行去噪、去模糊处理。
本发明的优点是：
1、本发明的图像超分辨率重建方法，基于阵列镜头获取阵列图像，利用多视立体匹配实现了阵列图像的超分辨率重建，与传统降质模型不同，阵列图像的降质模型k不再是帧序号而是阵列镜头的序号，将参考图像对应的高分辨率图像通过运动模型变换到不同帧图像的过程，转换为场景表面通过镜头投影矩阵变换到各个阵列图像，后者的物理意义更加符合实际情况。
2、本发明的图像超分辨率重建方法，利用阵列镜头重叠的小光圈代替单个镜头的一个大光圈，模拟了昆虫的复眼，可获得更多的图像信息，利用阵列图像的相互信息可重建出分辨率更高的图像；
3、本发明的图像超分辨率重建方法，利用阵列镜头获取的阵列图像，进行超分辨率重建，对于动态场景，避免了帧间运动估计问题，重建效果更好。
附图说明
图1是本发明的方法流程示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步详细的说明。
如图1所示，本发明公开的基于阵列镜头的图像超分辨率重建方法，包括：
S1：对阵列镜头进行标定，得到阵列镜头的内参数；
阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成，对N*M个镜头进行标定。
S2：利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；
N*M个镜头撷取N*M个图像，构成阵列图像组，对其中的每个图像，利用相应的镜头内参数进行校正，得到校正后的阵列图像组。
S3：对校正后的阵列图像组，进行多视立体匹配；
从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0。将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L。两两深度层的间隔可以根据两相邻深度层在参考图像上对应的像素位置差确定。
根据公式：
确定每个网格点的深度d，其中fx∈L，N是参考图像相邻像素集合，其中Dx(fx)表示参考图像像素点X在深度fx处的灰度一致性，可以表示为除参考图像的其他图像与参考图像在深度为fx时的投影点的归一化互相关(normalized cross-correlation)均值。表示参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项。不同的Dx(fx)和可以得到不同的深度重建效果。
求解能量函数确定每个网格点的深度，基于MRF模型算法得到参考图像上每个像素的深度，得到场景的重建表面。
由于图像的超分辨率重建要求亚像素级的图像配准，在上述得到的参考图像深度层的基础上，在每个像素的当前深度附近再划分若干子深度层，即，重复上述过程，进行更细的等距深度分层(如d/2)，并进行优化重建，直到像素距离差小于阈值σ＜1，得到运动估计参数S0。
S4：利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；
输入的低分辨率阵列图像组是满足如下条件建立高分辨率图像的降质模型：
针对同一场景的阵列图像组图像，成像系统以奈奎斯特频率采样，得到理想高分辨率图像S；高分辨率图像S依次经过变形、下采样、添加噪声后得到低分辨率观测图像序列gk。
图像降质模型如下：
gk＝DBPkS+nk (2)
其中，k表示阵列镜头的序号，k＝l，2，...，N＊M；D表示下采样矩阵，B表示模糊矩阵，Pk表示第k幅图像的投影矩阵。
理想高分辨率图像S的大小为qN1×qN2像素，其中q为采样比例，gk是低分辨率阵列图像序列，每一帧大小为N1×N2，gk由低分辨率阵列图像组排列而成，即gk＝[g1，g2，...gN*M]。
同一场景的阵列图像组图像进行下采样，下采样后进行平移，模糊得到同一时刻的阵列图像组。
S5：对得到的初始高分辨率图像进行优化。
利用核回归的方法对得到的初始高分辨率图像进行去噪、去模糊处理，得到优化后的高分辨率图像，完成图像的超分辨率重建。
以上所述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。

Claims (5)

1.基于阵列镜头的图像超分辨率重建方法，其特征在于，包括：
对阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成；
利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；
对校正后的阵列图像组，进行多视立体匹配；
利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；
对初始高分辨率图像进行优化。
2.根据权利要求1所述的基于阵列镜头的图像超分辨率重建方法，其特征在于，所述多视立体匹配的方法是：
从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0；将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L；两两深度层的间隔根据两相邻深度层在参考图像上对应的像素位置差确定；
根据公式：
<mrow> <mi>E</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>x</mi> <mo>&amp;Element;</mo> <msub> <mi>g</mi> <mn>5</mn> </msub> </mrow> </msub> <msub> <mi>D</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>x</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mo>{</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>}</mo> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </msub> <msub> <mi>V</mi> <mrow> <mo>{</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>}</mo> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>f</mi> <msub> <mi>x</mi> <mn>1</mn> </msub> </msub> <mo>,</mo> <msub> <mi>f</mi> <msub> <mi>d</mi> <mn>2</mn> </msub> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
确定每个网格点的深度，其中fx∈L，N是参考图像相邻像素集合，其中Dx(fx)表示参考图像像素点X在深度fx处的灰度一致性，表示参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项；
求解能量函数确定每个网格点的深度，基于MRF模型算法得到参考图像上每个像素的深度，得到场景的重建表面。
3.根据权利要求2所述的基于阵列镜头的图像超分辨率重建方法，其特征在于，在每个像素的当前深度附近再划分若干子深度层，并进行优化重建，直到像素距离差小于设定的距离阈值。
4.根据权利要求3所述的基于阵列镜头的图像超分辨率重建方法，其特征在于，所述得到初始高分辨率图像的方法是：
输入的低分辨率阵列图像组是满足如下条件建立高分辨率图像的降质模型：
gk＝DBPkS+nk (2)
其中，k表示阵列镜头的序号，D表示下采样矩阵，B表示模糊矩阵，Pk表示第k幅图像的投影矩阵；S表示理想高分辨率图像，其像素大小为qN1×qN2，q为采样比例，gk是低分辨率阵列图像序列，每一帧大小为N1×N2，gk由低分辨率阵列图像组排列而成，即gk＝[g1，g2，...gN*M]。
5.根据权利要求4所述的基于阵列镜头的图像超分辨率重建方法，其特征在于，所述对初始高分辨率图像进行优化的方法是：利用核回归的方法对所述初始高分辨率图像进行去噪、去模糊处理。
CN201711089468.2A 2017-11-08 2017-11-08 基于阵列镜头的图像超分辨率重建方法 Pending CN107767341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711089468.2A CN107767341A (zh) 2017-11-08 2017-11-08 基于阵列镜头的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711089468.2A CN107767341A (zh) 2017-11-08 2017-11-08 基于阵列镜头的图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN107767341A true CN107767341A (zh) 2018-03-06

Family

ID=61273814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711089468.2A Pending CN107767341A (zh) 2017-11-08 2017-11-08 基于阵列镜头的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN107767341A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586316A (zh) * 2020-04-03 2020-08-25 吉林大学 一种基于球面相机阵列生成立体元图像阵列的方法
CN111882530A (zh) * 2020-07-15 2020-11-03 苏州佳智彩光电科技有限公司 一种亚像素定位图生成方法、定位方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140055632A1 (en) * 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN104320596A (zh) * 2014-09-30 2015-01-28 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置
CN105282402A (zh) * 2014-06-19 2016-01-27 中国航天科工集团第三研究院第八三五七研究所 一种基于多相机提高图像帧频和分辨率的方法
CN105530423A (zh) * 2014-09-30 2016-04-27 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140055632A1 (en) * 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN105282402A (zh) * 2014-06-19 2016-01-27 中国航天科工集团第三研究院第八三五七研究所 一种基于多相机提高图像帧频和分辨率的方法
CN104320596A (zh) * 2014-09-30 2015-01-28 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置
CN105530423A (zh) * 2014-09-30 2016-04-27 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘刚: "基于阵列相机的图像测量技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）计算机软件及计算机应用》 *
邹建成等: "基于阵列图像立体匹配的深度信息获取方法", 《北方工业大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586316A (zh) * 2020-04-03 2020-08-25 吉林大学 一种基于球面相机阵列生成立体元图像阵列的方法
CN111882530A (zh) * 2020-07-15 2020-11-03 苏州佳智彩光电科技有限公司 一种亚像素定位图生成方法、定位方法及装置
CN111882530B (zh) * 2020-07-15 2024-05-14 苏州佳智彩光电科技有限公司 一种亚像素定位图生成方法、定位方法及装置

Similar Documents

Publication Publication Date Title
TWI709107B (zh) 影像特徵提取方法及包含其顯著物體預測方法
CN110930309B (zh) 基于多视图纹理学习的人脸超分辨率方法及装置
CN103971352A (zh) 一种基于广角镜头的快速图像拼接方法
CN101572828B (zh) 基于gpu的相机/摄像机实时畸变校正方法
CN112750076B (zh) 一种基于深度学习的光场多视角图像超分辨率重建方法
CN109461126A (zh) 一种图像畸变校正方法及系统
CN105122793B (zh) 图像处理装置、摄像装置及图像处理程序
CN102164298A (zh) 全景成像系统中基于立体匹配的元素图像获取方法
CA2677884A1 (en) Banana codec
CN111105493B (zh) 基于多视角立体视觉的人体手部三维采集方法
CN108038893A (zh) 一种基于混合相机阵列的十亿像素视频的生成方法
CN104820966B (zh) 一种空时配准解卷积的非同步多视频超分辨率方法
CN107358577A (zh) 一种立方体全景图的快速拼接方法
CN104036468A (zh) 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN104376547A (zh) 运动模糊图像复原方法
CN107767341A (zh) 基于阵列镜头的图像超分辨率重建方法
CN116542889A (zh) 一种拥有稳定视点的全景视频增强方法
CN113450416A (zh) 一种应用于三目相机立体标定的tcsc方法
CN109302600B (zh) 一种立体场景拍摄装置
CN103310431B (zh) 一种基于硬件加速的单帧红外图像超分辨方法
CN105225211A (zh) 一种基于振动提高视频分辨率的方法
US20090262181A1 (en) Real-time video signal interweaving for autostereoscopic display
CN102592308B (zh) 基于小波变换的单相机视频三维重建方法
CN108665410B (zh) 一种图像超分辨率重构方法、装置及系统
KR101979584B1 (ko) 디인터레이싱 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180306