CN112261315A - 基于相机阵列孔径合成的高分辨率计算成像系统及方法 - Google Patents

基于相机阵列孔径合成的高分辨率计算成像系统及方法 Download PDF

Info

Publication number
CN112261315A
CN112261315A CN202010929508.5A CN202010929508A CN112261315A CN 112261315 A CN112261315 A CN 112261315A CN 202010929508 A CN202010929508 A CN 202010929508A CN 112261315 A CN112261315 A CN 112261315A
Authority
CN
China
Prior art keywords
resolution
image
imaging system
aperture synthesis
camera array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010929508.5A
Other languages
English (en)
Other versions
CN112261315B (zh
Inventor
曹良才
吴佳琛
李兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010929508.5A priority Critical patent/CN112261315B/zh
Publication of CN112261315A publication Critical patent/CN112261315A/zh
Application granted granted Critical
Publication of CN112261315B publication Critical patent/CN112261315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于相机阵列孔径合成的高分辨率计算成像系统及方法,其中,成像系统包括孔径合成快速多帧采集模块、计算机控制模块和图像处理模块;孔径合成快速多帧采集模块为包含多个面阵式探测器的相机阵列,相机阵列中的多个面阵式探测器用于同步采集待测物体同一区域的低分辨率图像;计算机控制模块用于存储多个面阵式探测器同步采集的对应的多帧低分辨率图像;图像处理模块用于将多帧低分辨率图像融合重建成为一幅高分辨率图像。该成像系统光路结构简单、成本低廉、能够解决成像系统的像素分辨率限制和光学分辨率限制,实现快速高分辨率成像。

Description

基于相机阵列孔径合成的高分辨率计算成像系统及方法
技术领域
本发明涉及摄影成像技术领域,尤其是涉及一种基于相机阵列孔径合成的高分辨率计算成像系统及方法。
背景技术
分辨率是评价成像系统性能的重要指标之一。在实际的光学系统中,图像采集过程非常容易受到环境干扰、器件性能成本和非理想采样等多重因素影响,造成成像系统的像素分辨率和光学分辨率受限,使得成像系统仅能获得含有噪声的、模糊的和变形退化的低分辨率图像。低分辨率图像意味着图像质量低,信息量少,无法提供观察被测物体精细结构的细节特征。一般的成像系统都是孔径受限系统,即可视为低通滤波器,探测器只能采集能够表征被测物体轮廓形状的低空间频率信息,而包含被测物体丰富细节特征的高频信息无法被探测器收集,因此降低了成像系统的分辨能力。多帧低分辨率图像融合的方法无法解决成像系统的光学分辨率限制的问题。增大系统数值孔径是一种有效的提高成像系统分辨能力,突破成像系统光学分辨率限制的方法。利用大口径透镜收集物光信息能够增大系统的数值孔径,改善成像质量。但大口径透镜意味着超高难度的透镜加工工艺和极其高昂的透镜制造成本,同时不易运输和固定的劣势也会对搭建成像系统造成障碍。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明的一个目的在于提出一种基于相机阵列孔径合成的高分辨率计算成像系统,光路结构简单、成本低廉、能够解决成像系统的像素分辨率限制和光学分辨率限制,实现快速高分辨率成像。
根据本发明一方面实施例的基于相机阵列孔径合成的高分辨率计算成像系统,包括:
孔径合成快速多帧采集模块,所述孔径合成快速多帧采集模块为包含多个面阵式探测器的相机阵列,所述相机阵列中的多个所述面阵式探测器用于同步采集待测物体同一区域的低分辨率图像;
计算机控制模块,所述计算机控制模块用于存储多个所述面阵式探测器同步采集的对应的多帧所述低分辨率图像;
图像处理模块,所述图像处理模块与所述计算机控制模块相连,用于将多帧所述低分辨率图像融合重建成为一幅高分辨率图像。
根据本发明一方面实施例的基于相机阵列孔径合成的高分辨率计算成像系统,通过孔径合成快速多帧采集模块同步采集带测物体同一区域的多帧低分辨率图像,利用多帧低分辨率图像通过图像处理模块融合重建一幅高分辨率图像,解决了成像系统的像素分辨率限制和光学分辨率限制,实现快速高分辨率成像,且光路结构简单、成本低廉。
根据本发明一方面的一个实施例,还包括:
外部触发模块,所述外部触发模块用于控制所述孔径合成快速多帧采集模块同步采集待测物体同一区域的低分辨率图像。
根据本发明一方面的一个实施例,还包括:
采集模块固定调节模块,所述采集模块固定调节模块用于固定及调节所述孔径合成快速多帧采集模块。
根据本发明一方面的一个实施例,所述计算机控制模块还用于控制所述孔径合成快速多帧采集模块的采集参数。
根据本发明一方面的一个实施例,所述图像处理模块包括:配准计算模块和计算重建模块,所述配准计算模块利用相位相关算法对采集多帧存在微小位移的图像进行亚像素级匹配校准;所述计算重建模块用于先针对探测器像素分辨率限制,利用最大后验估计方法进行高分辨率融合重建,然后针对成像系统光学分辨率限制,利用解卷积方法重建高分辨率图像。
本发明另一方面还提出了基于相机阵列孔径合成的高分辨率计算成像方法。
根据本发明另一方面实施例的基于相机阵列孔径合成的高分辨率计算成像方法,包括如下步骤:
搭建如本发明一方面任意一个实施例的所述基于相机阵列孔径合成的高分辨率计算成像系统;
利用所述相机阵列中的多个所述面阵式探测器同步采集待测物体同一区域的低分辨率图像;
多帧所述低分辨率图像存储于所述计算机控制模块中;
利用所述图像处理模块将多帧所述低分辨率图像融合重建成为一幅高分辨率图像。
根据本发明另一方面实施例的基于相机阵列孔径合成的高分辨率计算成像方法,具有如下的优点:第一、利用多个面阵式探测器搭建相机阵列多孔径合成成像系统,相机可以避免采用大口径透镜,而采用小口径透镜,这样可以降低透镜加工的难度及透镜制造成本,也方便运输及搭建合成成像系统,搭建合成成像系统光路结构简单;第二、由于使用多个探测器分别同步采集待测物体的同一区域图片,采集时间可大大地缩短;第三、将多帧低分辨率图像融合重建成为一幅高分辨率图像,解决了成像系统的像素分辨率限制和光学分辨率限制,实现快速高分辨率成像。
根据本发明另一方面的一个实施例,所述将多帧所述低分辨率图像融合重建成为一幅高分辨率图像进一步包括如下子步骤:
利用相位相关算法对采集的多帧所述低分辨率图像分别进行亚像素级匹配校准,得到多帧配准图像;
利用最大后验估计方法对多帧所述配准图像进行高分辨率图像融合重建,得到一幅融合图像;
估计成像系统的PSF函数,利用解卷积方法对所述融合图像重建高分辨率图像。
根据本发明另一方面进一步的实施例,所述相位相关算法的配准依据为:
给定两个在空间域内相似图像函数之间具有水平方向的位移a和垂直方向的位移b,
g(x,y)=f(x-a,y-b) (2)
等号左右两端变换到频域,可以得到
G(u,v)=F(u,v)exp{-i(ua+vb)} (3)
然后相位相关性可用归一化互功率谱来表示,
Figure BDA0002669712920000031
Q是由图像平移a和b产生的相移分量组成的复矩阵;
将式(4)中的相位角看作u-v的笛卡尔坐标系中的二维平面,相移角在二维平面上是2π的包裹相位且在u和v方向上连续展开,所述相移角展开前采用相位条纹滤波器来降低噪声,最后对相位展开数据进行精确估计。
根据本发明另一方面再进一步的实施例,所述最大后验估计方法的融合重建依据为:
假设期望恢复的高分辨率图像为z,观测图像序列为:
Figure BDA0002669712920000032
其中,p为图像总数;假设传感器产生的噪声为n=[n1,n2,...,np]T,图像配准参数为Ws,其中s=[s1,s2,...,sK]T
根据对非相干成像模型,忽略大气扰动和成像系统的像差对成像质量的影响,用矩阵表示法表示观测模型,如式(6)所示:
y=Wsz+n (6)
最大后验估计的原理是根据观测到的低分辨率图像y,最大化高分辨率图像的概率,如式(7)所示
Figure BDA0002669712920000041
根据贝叶斯定理,式(7)可以改写为:
Figure BDA0002669712920000042
将上述概率分布定义为高斯分布,取等式右侧的负对数,将最大化问题转为最小化问题求解,如式(9)所示:
Figure BDA0002669712920000043
其中,图像的先验概率Pr(z)以及条件概率Pr(y|z)提前先验,将图像的先验概率假设为高斯分布,其概率密度函数如式(10)所示:
Figure BDA0002669712920000044
其中Cz为z的协方差矩阵;
根据已知观测模型和噪声的高斯概率分布,条件概率Pr(y|z)如式(10)所示:
Figure BDA0002669712920000045
基于最大后验估计的图像分辨率增强表示为优化函数,如式(12)所示:
Figure BDA0002669712920000046
随后利用梯度下降算法获得高分辨率图像z的重建结果。
根据本发明另一方面再进一步的实施例,所述解卷积方法重建高分辨率图像的依据为:
当物体受到非相干照明,成像模型按照式(13)表达:
Ii(x,y)=∫∫Io(ξ,η)h(x-ξ,y-η)dξdη (13)
其中,h表示系统的非相干强度点扩散函数PSF;对于衍射受限的非相干成像系统,其光学传递函数为孔径函数的自相关,因此非相干成像系统的PSF可由孔径函数的自相关的逆傅里叶变换获得;
非相干照明下的像强度分布是理想图像强度分布与点扩散函数的卷积。对于自然图像,采用一阶微分算子的l1范数稀疏先验作为正则化项引入到图像的求解中,其表达式为
Figure BDA0002669712920000051
其中λ为正则化参数,用来控制正则化项的权重;
采用部分傅里叶数据重建算法对式(14)进行求解;部分傅里叶数据重建算法利用部分傅里叶频谱数据重构原始图像,其本质上是采用交替方向乘子法对目标函数进行优化;式(14)的增广拉格朗日函数可写为式(15):
Figure BDA0002669712920000052
式(15)等价于全变分图像恢复算法,其中y为拉格朗日乘子,μ为惩罚因子;
给定初始的x0和y0,目标函数最小值的求解遵循如下迭代流程:
Figure BDA0002669712920000053
Figure BDA0002669712920000054
yk+1=yk+β(w-Dx) (18)
Figure BDA0002669712920000055
时,能够保证算法收敛。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一方面实施例的基于相机阵列孔径合成的高分辨率计算成像系统的示意图。
图2为本发明一方面实施例的基于相机阵列孔径合成的高分辨率计算成像系统的孔径合成快速多帧采集模块的示意图。
图3为本发明另一方面实施例的基于相机阵列孔径合成的高分辨率计算成像方法的流程示意图。
图4为本发明另一方面实施例的基于相机阵列孔径合成的高分辨率计算成像方法的S4步骤的具体步骤的流程示意图。
图5为本发明另一方面实施例的基于相机阵列孔径合成的高分辨率计算成像方法的融合重建示意图。
图6为本发明另一方面实施例的基于相机阵列孔径合成的高分辨率计算成像方法的重建结果示意图。
附图标记:
基于相机阵列孔径合成的高分辨率计算成像系统1000
孔径合成快速多帧采集模块1 探测器11
计算机控制模块2
图像处理模块3 配准计算模块31 计算重建模块32
外部触发模块4
采集模块固定调节模块5
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
下面结合图1至图6来描述本发明实施例的基于相机阵列孔径合成的高分辨率计算成像系统及方法。
如图1和图2所示,根据本发明一方面实施例的基于相机阵列孔径合成的高分辨率计算成像系统1000,包括孔径合成快速多帧采集模块1、计算机控制模块2和图像处理模块3。其中,孔径合成快速多帧采集模块1为包含多个面阵式探测器11的相机阵列,相机阵列中的多个面阵式探测器11用于同步采集待测物体同一区域的低分辨率图像;计算机控制模块2用于存储多个面阵式探测器11同步采集的对应的多帧低分辨率图像;图像处理模块3与计算机控制模块2相连,用于将多帧低分辨率图像融合重建成为一幅高分辨率图像。
具体而言,孔径合成快速多帧采集模块1为包含多个面阵式探测器11的相机阵列,相机阵列中的多个面阵式探测器11用于同步采集待测物体同一区域的低分辨率图像;可以理解的是,由于孔径合成快速多帧采集模块1为包含多个面阵式探测器11的相机阵列,一方面,相机可以避免采用大口径透镜,而采用小口径透镜,这样可以降低透镜加工的难度及透镜制造成本,也方便运输及搭建成像系统;另一方面,由于使用多个探测器11分别同步采集待测物体的同一区域图片,采集时间可大大地缩短。例如,若采集帧率为30fps,使用单相机采集60帧数据需要用时2s,而采用如图2所示的四个相机组成的相机阵列同步采集只需0.5s。采用更多相机采集可进一步缩短采集时间,做到实时同步采集;再一方面,由于相机阵列中的多个探测器11处于同一平面内,且多个探测器11相对于待测物体同一区域的位置略有不同,因此,多个探测器11同步采集的待测物体同一区域的低分辨率图像存在细微差别。
计算机控制模块2用于存储多个面阵式探测器11同步采集的对应的多帧低分辨率图像。可以理解的是,孔径合成快速多帧采集模块1同步采集的存在细微差别的多帧低分辨率图像可以通过图像采集卡输送到计算机控制模块2中存储,利用计算机控制模块2存储图像数据,作为图像处理模块3数据源。
图像处理模块3与计算机控制模块2相连,用于将多帧低分辨率图像融合重建成为一幅高分辨率图像。可以理解的是,利用多帧低分辨率图像融合重建高分辨率图像是一种有效的提高成像分辨率方法,解决了成像系统的像素分辨率限制和光学分辨率限制,实现快速高分辨率成像。
根据本发明一方面实施例的基于相机阵列孔径合成的高分辨率计算成像系统1000,通过孔径合成快速多帧采集模块1同步采集带测物体同一区域的多帧低分辨率图像,利用多帧低分辨率图像通过图像处理模块3融合重建一幅高分辨率图像,解决了成像系统的像素分辨率限制和光学分辨率限制,实现快速高分辨率成像,且光路结构简单、成本低廉。
根据本发明一方面的一个实施例,还包括外部触发模块4,外部触发模块4用于控制孔径合成快速多帧采集模块1同步采集待测物体同一区域的低分辨率图像。可以理解的是,通过设置外部触发模块4,方便控制孔径合成快速多帧采集模块1在同一时刻开始同步采集待测物体同一区域的低分辨率图像,以便满足孔径合成多帧同步采集要求。
如图1和2所示,根据本发明一方面的一个实施例,还包括采集模块固定调节模块5,采集模块固定调节模块5用于固定及调节孔径合成快速多帧采集模块1。可以理解的是,采集模块固定调节模块5为孔径合成快速多帧采集模块1提供安装支撑,方便孔径合成快速多帧采集模块1安装在采集模块固定调节模块5上,同时,通过采集模块固定调节模块5可以调节相机阵列中的所有探测器11,保证相机阵列中的所有探测器11处于同一平面。
根据本发明一个方面的一个实施例,计算机控制模块2还用于控制孔径合成快速多帧采集模块1的采集参数,该采集参数可以包括焦距、视场等,由此,可以方便孔径合成快速多帧采集模块1采集图像。
根据本发明一个方面的一个实施例,图像处理模块3包括配准计算模块31和计算重建模块32,配准计算模块31利用相位相关算法对采集多帧存在微小位移的图像进行亚像素级匹配校准;计算重建模块32用于先针对探测器11像素分辨率限制,利用最大后验估计方法进行高分辨率融合重建,然后针对成像系统光学分辨率限制,利用解卷积方法重建高分辨率图像。由此,将多帧低分辨率图像融合重建成为一幅高分辨率图像。
本发明另一方面还提出了基于相机阵列孔径合成的高分辨率计算成像方法。
如图3所示,根据本发明另一方面实施例的基于相机阵列孔径合成的高分辨率计算成像方法,包括如下步骤:
S1:搭建如本发明一方面任意一个实施例的基于相机阵列孔径合成的高分辨率计算成像系统1000;
S2:利用相机阵列中的多个面阵式探测器11同步采集待测物体同一区域的低分辨率图像;
S3:多帧低分辨率图像存储于计算机控制模块2中;
S4:利用图像处理模块3将多帧低分辨率图像融合重建成为一幅高分辨率图像。
根据本发明另一方面实施例的基于相机阵列孔径合成的高分辨率计算成像方法,具有如下的优点:第一、利用多个面阵式探测器11搭建相机阵列多孔径合成成像系统,相机可以避免采用大口径透镜,而采用小口径透镜,这样可以降低透镜加工的难度及透镜制造成本,也方便运输及搭建合成成像系统,搭建合成成像系统光路结构简单;第二、由于使用多个探测器11分别同步采集待测物体的同一区域图片,采集时间可大大地缩短;例如,若采集帧率为30fps,使用单相机采集60帧数据需要用时2s,而采用如图2所示的四个相机组成的相机阵列同步采集只需0.5s。采用更多相机采集可进一步缩短采集时间,做到实时同步采集;第三、将多帧低分辨率图像融合重建成为一幅高分辨率图像,解决了成像系统的像素分辨率限制和光学分辨率限制,实现快速高分辨率成像。
如图4所示,根据本发明另一方面的一个实施例,将多帧低分辨率图像融合重建成为一幅高分辨率图像进一步包括如下子步骤:
S41:利用相位相关算法对采集的多帧低分辨率图像分别进行亚像素级匹配校准,得到多帧配准图像;
S42:利用最大后验估计方法对多帧配准图像进行高分辨率图像融合重建,得到一幅融合图像;
S43:估计成像系统的PSF函数,利用解卷积方法对融合图像重建高分辨率图像。
具体地,利用相位相关算法对采集的多帧低分辨率图像分别进行亚像素级匹配校准,得到多帧配准图像,依据如下:
对于实际的光学系统而言,图像采集过程会受到外界环境、成像器件及成像技术等多重因素的影响,使采集到的图像是含噪声的,模糊的,变形的退化图像。为了能够通过降质的退化图像重建出原始高分辨率图像,需要对图像的退化过程进行分析。
假设目标场景中有一幅高分辨率图像X,其与光学系统之间的相对运动,会造成图像的运动变形,如平移、旋转及透视变形等。目标物体发出的光线经过大气及光学系统抵达图像传感器,会受到大气湍流及光学系统像差的影响,导致图像的模糊。由于成像系统主要通过其内部的传感器阵列进行图像记录,传感器的感光单元对图像进行离散化采样。最后,传感器的噪声叠加在图像信号上,形成最终采集到的多帧退化图像Y。若将图像以列向量的形式来表示,上述过程可表示如下
Yk=DkHkFkX+Vk,k=1,2,...,N, (1)
其中,矩阵Dk为下采样矩阵,表示探测器11离散化采样的像素尺寸限制;Hk表示模糊矩阵,由于一般像差较小的光学系统可认为是线性空不变系统,因此Hk可以认为是成像系统的点扩散函数;矩阵Fk表示表示原始高分辨率图像X与光学系统之间相对位置变化引入的几何变形;Vk表示观测图像上的加性噪声。式(1)表明了从原始高分辨图像得到低分辨的观测图像的过程。
在上述因素中,成像系统的点扩散函数以及传感器对图像的下采样对图像质量影响最大。传感器的像素间隔决定了采集图像所能容纳的频谱范围,可称之为像素分辨率;而成像系统的口径决定了实际接收到的图像信号的最高频率,可称之为光学分辨率。假设探测目标为两个靠得很近的点光源,当成像系统的光学分辨率大于像素分辨率时,采用更大口径的镜头也无法分辨这两点,此时应当更换像素间隔更小的传感器;如果成像系统的像素分辨率大于光学分辨率时,此时传感器已经能够满足信号的采样需求,则应当更换更大口径的镜头实现对目标物体的分辨。
基于相机阵列孔径合成的多帧图像高分辨率成像方法则是基于图像退化过程和观测到的低分辨图像Yk,来估计原始高分辨图像X。对于一般的光学系统而言,其光学分辨率要略高于数字器件分辨率,即光学系统所能传递待测物体的带宽大于数字器件所能记录的带宽,这样能保证清晰成像的同时不浪费数字器件的性能,也能保证拍摄图片不会出现明显衍射模糊效应。因此基于相机阵列孔径合成的多帧图像高分辨率成像的基本思路是先提高数字器件分辨率,再提高光学系统分辨率。虽然可直接对图像像素进行插值得到大尺寸图像,但本质上并未引入额外的信息,图像频谱的高频成分依旧会发生混叠。而通过拍摄存在位移差异的图像,利用图像之间的微小差异则可以引入高频信息,实现像素分辨率的提高。由于多帧图像是在不同视点下拍摄的,图像之间可能存在透视变换的关系,因此实现亚像素的图像配准是实现提高像素分辨率的关键。
相位相关方法能够实现相机阵列采集多帧存在微小位移的图像间的亚像素级配准。相位相关方法配准的原理是基于傅里叶域位移特性。该特性表明在空间域内两个相似图像之间的平移将在频域内表示为它们的傅立叶变换之间的线性相位差。例如,给定两个图像函数之间具有水平方向的位移a和垂直方向的位移b,即:
g(x,y)=f(x-a,y-b) (2)
等号左右两端变换到频域,可以得到
G(u,v)=F(u,v)exp{-i(ua+vb)} (3)
然后相位相关性可用归一化互功率谱来表示,
Figure BDA0002669712920000101
Q是由图像平移a和b产生的相移分量组成的复矩阵;因此,它具有不受图像之间照明差异影响的性质功能。大量的研究表明,位移量a和b可以直接从Q中提取,而不会限制于量化的像素尺寸,从而使测量具有极高的亚像素精度。
将式(4)中的相位角看作u-v的笛卡尔坐标系中的二维平面,然而,相移角在二维上是2π的包裹相位,必须在u和v方向上连续展开。并且,有噪声的数据会使相位展开变得不可靠。为了改进该方法,展开前采用相位条纹滤波器来降低噪声,然后对相位展开数据进行精确估计,采用该方法可达到1/20像素对准精度。
针对探测器11像素分辨率限制,利用最大后验估计方法对多帧配准图像进行高分辨率图像融合重建,得到一幅融合图像(如图5所示),依据如下:
假设期望恢复的高分辨率图像为z,观测图像序列为:
Figure BDA0002669712920000102
其中,p为图像总数。假设传感器产生的噪声为n=[n1,n2,...,np]T,图像配准参数为Ws,其中s=[s1,s2,...,sK]T
根据前述对非相干成像模型的分析,忽略大气扰动和成像系统的像差对成像质量的影响,用矩阵表示法表示观测模型:
y=Wsz+n (6)
最大后验估计的原理是根据观测到的低分辨率图像y,最大化高分辨率图像的概率,即
Figure BDA0002669712920000111
根据贝叶斯定理,上式也可以改写为
Figure BDA0002669712920000112
通常将上述概率分布定义为高斯分布,取等式右侧的负对数,将最大化问题转为最小化问题方便求解,如下式所示:
Figure BDA0002669712920000113
因此,图像的先验概率Pr(z)以及条件概率Pr(y|z)需要提前先验。通常将图像的先验概率假设为高斯分布,其概率密度函数有如下形式
Figure BDA0002669712920000114
其中Cz为z的协方差矩阵。
系数向量有效地表达了关于z中像素值之间局部关系的先验假设。下面分析条件概率分布。根据已知观测模型和噪声的高斯概率分布,条件概率Pr(y|z)有如下形式
Figure BDA0002669712920000115
基于最大后验估计的图像分辨率增强可以表示为如下优化函数
Figure BDA0002669712920000116
可以看到,对于给定的图像配准参数Ws,目标函数是高分辨率图像z的二次函数,因此目标函数是具有唯一全局最小值的凸函数。随后利用梯度下降算法便可获得高分辨率图像z的重建结果。
针对成像系统光学分辨率限制,利用解卷积方法对融合图像重建高分辨率图像,提升系统光学分辨率(如图6所示),依据如下:
当物体受到非相干照明,成像模型可以表达为:
Ii(x,y)=∫∫Io(ξ,η)h(x-ξ,y-η)dξdη (13)
其中,h表示系统的非相干强度点扩散函数PSF。对于衍射受限的非相干成像系统,其光学传递函数为孔径函数的自相关,因此非相干成像系统的PSF可由孔径函数的自相关的逆傅里叶变换获得。
非相干照明下的像强度分布是理想图像强度分布与点扩散函数的卷积。由于图像解卷积属于不适定问题,需要引入正则化技术对解加以约束。传统的逆滤波方法,如维纳滤波,需要事先知道原始图像和噪声的二阶统计特性,在实际应用中具有很强的局限性。对于自然图像而言,其在梯度域上往往是稀疏的,因此采用一阶微分算子的l1范数稀疏先验作为正则化项引入到图像的求解中。其表达式为
Figure BDA0002669712920000121
其中λ为正则化参数,用来控制正则化项的权重。式(15)等价于全变分图像恢复算法。
采用部分傅里叶数据重建算法对式(14)进行求解。部分傅里叶数据重建算法能够利用部分傅里叶频谱数据重构原始图像,其本质上是采用交替方向乘子法对目标函数进行优化。式(14)的增广拉格朗日函数可写为
Figure BDA0002669712920000122
其中y为拉格朗日乘子,μ为惩罚因子。给定初始的x0和y0,目标函数最小值的求解遵循如下迭代流程:
Figure BDA0002669712920000123
Figure BDA0002669712920000124
yk+1=yk+β(w-Dx) (18)
Figure BDA0002669712920000125
时,能够保证算法收敛。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于相机阵列孔径合成的高分辨率计算成像系统,其特征在于,包括:
孔径合成快速多帧采集模块,所述孔径合成快速多帧采集模块为包含多个面阵式探测器的相机阵列,所述相机阵列中的多个所述面阵式探测器用于同步采集待测物体同一区域的低分辨率图像;
计算机控制模块,所述计算机控制模块用于存储多个所述面阵式探测器同步采集的对应的多帧所述低分辨率图像;
图像处理模块,所述图像处理模块与所述计算机控制模块相连,用于将多帧所述低分辨率图像融合重建成为一幅高分辨率图像。
2.根据权利要求1所述的基于相机阵列孔径合成的高分辨率计算成像系统,其特征在于,还包括:
外部触发模块,所述外部触发模块用于控制所述孔径合成快速多帧采集模块同步采集待测物体同一区域的低分辨率图像。
3.根据权利要求1所述的基于相机阵列孔径合成的高分辨率计算成像系统,其特征在于,还包括:
采集模块固定调节模块,所述采集模块固定调节模块用于固定及调节所述孔径合成快速多帧采集模块。
4.根据权利要求1所述的基于相机阵列孔径合成的高分辨率计算成像系统,其特征在于,所述计算机控制模块还用于控制所述孔径合成快速多帧采集模块的采集参数。
5.根据权利要求1所述的基于相机阵列孔径合成的高分辨率计算成像系统,其特征在于,所述图像处理模块包括:配准计算模块和计算重建模块,所述配准计算模块利用相位相关算法对采集多帧存在微小位移的图像进行亚像素级匹配校准;所述计算重建模块用于先针对探测器像素分辨率限制,利用最大后验估计方法进行高分辨率融合重建,然后针对成像系统光学分辨率限制,利用解卷积方法重建高分辨率图像。
6.一种基于相机阵列孔径合成的高分辨率计算成像方法,其特征在于,包括如下步骤:
搭建如权利要求1-5中任意一项所述的基于相机阵列孔径合成的高分辨率计算成像系统;
利用所述相机阵列中的多个所述面阵式探测器同步采集待测物体同一区域的低分辨率图像;
多帧所述低分辨率图像存储于所述计算机控制模块中;
利用所述图像处理模块将多帧所述低分辨率图像融合重建成为一幅高分辨率图像。
7.根据权利要求6所述的基于相机阵列孔径合成的高分辨率计算成像方法,其特征在于,所述将多帧所述低分辨率图像融合重建成为一幅高分辨率图像进一步包括如下子步骤:
利用相位相关算法对采集的多帧所述低分辨率图像分别进行亚像素级匹配校准,得到多帧配准图像;
利用最大后验估计方法对多帧所述配准图像进行高分辨率图像融合重建,得到一幅融合图像;
估计成像系统的PSF函数,利用解卷积方法对所述融合图像重建高分辨率图像。
8.根据权利要求7所述的基于相机阵列孔径合成的高分辨率计算成像方法,其特征在于,所述相位相关算法的配准依据为:
给定两个在空间域内相似图像函数之间具有水平方向的位移a和垂直方向的位移b,
g(x,y)=f(x-a,y-b) (2)
等号左右两端变换到频域,可以得到
G(u,v)=F(u,v)exp{-i(ua+vb)} (3)
然后相位相关性可用归一化互功率谱来表示,
Figure FDA0002669712910000021
Q是由图像平移a和b产生的相移分量组成的复矩阵;
将式(4)中的相位角看作u-v的笛卡尔坐标系中的二维平面,相移角在二维平面上是2π的包裹相位且在u和v方向上连续展开,所述相移角展开前采用相位条纹滤波器来降低噪声,最后对相位展开数据进行精确估计。
9.根据权利要求8所述的基于相机阵列孔径合成的高分辨率计算成像方法,其特征在于,所述最大后验估计方法的融合重建依据为:
假设期望恢复的高分辨率图像为z,观测图像序列为:
Figure FDA0002669712910000022
其中,p为图像总数;假设传感器产生的噪声为n=[n1,n2,...,np]T,图像配准参数为Ws,其中s=[s1,s2,...,sK]T
根据对非相干成像模型,忽略大气扰动和成像系统的像差对成像质量的影响,用矩阵表示法表示观测模型,如式(6)所示:
y=Wsz+n (6)
最大后验估计的原理是根据观测到的低分辨率图像y,最大化高分辨率图像的概率,如式(7)所示
Figure FDA0002669712910000031
根据贝叶斯定理,式(7)可以改写为:
Figure FDA0002669712910000032
将上述概率分布定义为高斯分布,取等式右侧的负对数,将最大化问题转为最小化问题求解,如式(9)所示:
Figure FDA0002669712910000033
其中,图像的先验概率Pr(z)以及条件概率Pr(y|z)提前先验,将图像的先验概率假设为高斯分布,其概率密度函数如式(10)所示:
Figure FDA0002669712910000034
其中Cz为z的协方差矩阵;
根据已知观测模型和噪声的高斯概率分布,条件概率Pr(y|z)如式(10)所示:
Figure FDA0002669712910000035
基于最大后验估计的图像分辨率增强表示为优化函数,如式(12)所示:
Figure FDA0002669712910000036
随后利用梯度下降算法获得高分辨率图像z的重建结果。
10.根据权利要求9所述的基于相机阵列孔径合成的高分辨率计算成像方法,其特征在于,所述解卷积方法重建高分辨率图像的依据为:
当物体受到非相干照明,成像模型按照式(13)表达:
Ii(x,y)=∫∫Io(ξ,η)h(x-ξ,y-η)dξdη (13)
其中,h表示系统的非相干强度点扩散函数PSF;对于衍射受限的非相干成像系统,其光学传递函数为孔径函数的自相关,因此非相干成像系统的PSF可由孔径函数的自相关的逆傅里叶变换获得;
非相干照明下的像强度分布是理想图像强度分布与点扩散函数的卷积。对于自然图像,采用一阶微分算子的l1范数稀疏先验作为正则化项引入到图像的求解中,其表达式为
Figure FDA0002669712910000041
其中λ为正则化参数,用来控制正则化项的权重;
采用部分傅里叶数据重建算法对式(14)进行求解;部分傅里叶数据重建算法利用部分傅里叶频谱数据重构原始图像,其本质上是采用交替方向乘子法对目标函数进行优化;式(14)的增广拉格朗日函数可写为式(15):
Figure FDA0002669712910000042
式(15)等价于全变分图像恢复算法,其中y为拉格朗日乘子,μ为惩罚因子;
给定初始的x0和y0,目标函数最小值的求解遵循如下迭代流程:
Figure FDA0002669712910000043
Figure FDA0002669712910000044
yk+1=yk+β(w-Dx) (18)
Figure FDA0002669712910000045
时,能够保证算法收敛。
CN202010929508.5A 2020-09-07 2020-09-07 基于相机阵列孔径合成的高分辨率计算成像系统及方法 Active CN112261315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010929508.5A CN112261315B (zh) 2020-09-07 2020-09-07 基于相机阵列孔径合成的高分辨率计算成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010929508.5A CN112261315B (zh) 2020-09-07 2020-09-07 基于相机阵列孔径合成的高分辨率计算成像系统及方法

Publications (2)

Publication Number Publication Date
CN112261315A true CN112261315A (zh) 2021-01-22
CN112261315B CN112261315B (zh) 2022-06-17

Family

ID=74231839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010929508.5A Active CN112261315B (zh) 2020-09-07 2020-09-07 基于相机阵列孔径合成的高分辨率计算成像系统及方法

Country Status (1)

Country Link
CN (1) CN112261315B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962897A (zh) * 2021-11-02 2022-01-21 中国空间技术研究院 基于序列遥感影像的调制传递函数补偿方法及装置
CN114137005A (zh) * 2021-12-07 2022-03-04 哈尔滨工业大学 一种分布式多模衍射成像方法
CN114222063A (zh) * 2021-12-16 2022-03-22 北京拙河科技有限公司 亿级像素的图片与视频数据的处理方法和装置
CN117541495A (zh) * 2023-09-04 2024-02-09 长春理工大学 一种自动优化模型权重的图像条纹去除方法、装置及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702852A (zh) * 2013-12-09 2015-06-10 英特尔公司 用于高动态范围成像的使用照相机阵列的差异估计的技术
CN105282402A (zh) * 2014-06-19 2016-01-27 中国航天科工集团第三研究院第八三五七研究所 一种基于多相机提高图像帧频和分辨率的方法
CN105699969A (zh) * 2016-01-29 2016-06-22 电子科技大学 基于广义高斯约束的最大后验估计角超分辨成像方法
CN107018398A (zh) * 2017-03-08 2017-08-04 清华大学 一种用于光场三维显示量化标定的方法
CN107680040A (zh) * 2017-09-26 2018-02-09 北京空间飞行器总体设计部 一种基于贝叶斯准则的多帧盲卷积超分辨重建方法及装置
CN108090869A (zh) * 2017-11-27 2018-05-29 中国空间技术研究院 一种基于面阵cmos光学相机的星上超分辨率重建方法
US20190394482A1 (en) * 2018-06-26 2019-12-26 Google Llc Super-resolution loop restoration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702852A (zh) * 2013-12-09 2015-06-10 英特尔公司 用于高动态范围成像的使用照相机阵列的差异估计的技术
CN105282402A (zh) * 2014-06-19 2016-01-27 中国航天科工集团第三研究院第八三五七研究所 一种基于多相机提高图像帧频和分辨率的方法
CN105699969A (zh) * 2016-01-29 2016-06-22 电子科技大学 基于广义高斯约束的最大后验估计角超分辨成像方法
CN107018398A (zh) * 2017-03-08 2017-08-04 清华大学 一种用于光场三维显示量化标定的方法
CN107680040A (zh) * 2017-09-26 2018-02-09 北京空间飞行器总体设计部 一种基于贝叶斯准则的多帧盲卷积超分辨重建方法及装置
CN108090869A (zh) * 2017-11-27 2018-05-29 中国空间技术研究院 一种基于面阵cmos光学相机的星上超分辨率重建方法
US20190394482A1 (en) * 2018-06-26 2019-12-26 Google Llc Super-resolution loop restoration

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YU HE ET AL: "Blind Super-Resolution Image Reconstruction using a Maximum a Posteriori Estimation", 《2006 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
万众 等: "一种基于功率谱估计的图像相位匹配方法", 《航空计算技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962897A (zh) * 2021-11-02 2022-01-21 中国空间技术研究院 基于序列遥感影像的调制传递函数补偿方法及装置
CN114137005A (zh) * 2021-12-07 2022-03-04 哈尔滨工业大学 一种分布式多模衍射成像方法
CN114137005B (zh) * 2021-12-07 2023-07-21 哈尔滨工业大学 一种分布式多模衍射成像方法
CN114222063A (zh) * 2021-12-16 2022-03-22 北京拙河科技有限公司 亿级像素的图片与视频数据的处理方法和装置
CN114222063B (zh) * 2021-12-16 2022-11-08 北京拙河科技有限公司 亿级像素的图片与视频数据的处理方法和装置
CN117541495A (zh) * 2023-09-04 2024-02-09 长春理工大学 一种自动优化模型权重的图像条纹去除方法、装置及介质

Also Published As

Publication number Publication date
CN112261315B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN112261315B (zh) 基于相机阵列孔径合成的高分辨率计算成像系统及方法
Nasrollahi et al. Super-resolution: a comprehensive survey
Borman et al. Spatial resolution enhancement of low-resolution image sequences-a comprehensive review with directions for future research
JP6752212B2 (ja) 画像システムとその使用方法
Kronander et al. A unified framework for multi-sensor HDR video reconstruction
US9679360B2 (en) High-resolution light-field imaging
US7477802B2 (en) Robust reconstruction of high resolution grayscale images from a sequence of low resolution frames
US9230303B2 (en) Multi-frame super-resolution of image sequence with arbitrary motion patterns
Denis et al. Fast model of space-variant blurring and its application to deconvolution in astronomy
US20130010067A1 (en) Camera and Method for Focus Based Depth Reconstruction of Dynamic Scenes
JP2014505389A (ja) 不可視スペクトル領域の画像を処理する方法、相応するカメラおよび測定装置
Hardeep et al. A survey on techniques and challenges in image super resolution reconstruction
CN109102551B (zh) 一种基于光线追迹的时间压缩感知重构方法
Marcia et al. Compressive optical imaging: Architectures and algorithms
Hardie Super-resolution using adaptive Wiener filters
Seyid et al. Hardware implementation of real-time multiple frame super-resolution
Patanavijit et al. An iterative super-resolution reconstruction of image sequences using a Bayesian approach with BTV prior and affine block-based registration
Chen et al. Image deblurring by motion estimation for remote sensing
Chen et al. Super-resolution reconstruction for underwater imaging
Gribl et al. Synthetic astronomical image sequence generation
Macwan et al. A survey on various techniques of super resolution imaging
Lukes et al. Objective image quality assessment of multiframe super-resolution methods
van Eekeren Super-resolution of moving objects in under-sampled image sequences
Tahtali Imaging Techniques Through Unfavorable Media
Kyamakya et al. Super Resolution Challenges and Rewards

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant