CN114119367B - 一种分区域的同步相移干涉图超分辨重建的插值方法 - Google Patents

一种分区域的同步相移干涉图超分辨重建的插值方法 Download PDF

Info

Publication number
CN114119367B
CN114119367B CN202111359544.3A CN202111359544A CN114119367B CN 114119367 B CN114119367 B CN 114119367B CN 202111359544 A CN202111359544 A CN 202111359544A CN 114119367 B CN114119367 B CN 114119367B
Authority
CN
China
Prior art keywords
area
interpolated
block
pixel points
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111359544.3A
Other languages
English (en)
Other versions
CN114119367A (zh
Inventor
田爱玲
王思淇
王红军
刘丙才
朱学亮
朱亚辉
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202111359544.3A priority Critical patent/CN114119367B/zh
Publication of CN114119367A publication Critical patent/CN114119367A/zh
Application granted granted Critical
Publication of CN114119367B publication Critical patent/CN114119367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种分区域的同步相移干涉图超分辨重建的插值方法,涉及同步偏振成像信息处理技术领域。现有技术中存在的同步相移干涉图分辨率缺失的问题。本发明提供一种分区域的同步相移干涉图超分辨重建的插值方法,步骤如下:首先输入4幅不同偏振方向的低分辨率图像,然后将低分辨率图像全部划分为2*2的块区域,计算各块区域的平滑度P以及图像的平滑度阈值Pmedian,并将二者进行比较,得到平滑区域和非平滑区域,平滑区域使用加权线性插值方法进行插值,非平滑区域使用多采样循环卷积算法进行插值,待所有块区域完成插值,整个分区域插值操作结束。本发明提出的插值方法有效地降低了分焦平面系统带来的瞬时视场误差,重构了更高分辨率的偏振图像。

Description

一种分区域的同步相移干涉图超分辨重建的插值方法
技术领域
本发明涉及同步偏振成像信息处理技术领域,具体涉及一种分区域的同步相移干涉图超分辨重建的插值方法。
背景技术
在进行光学元件面形的测量时,一般需要得到3幅或者4幅同步采集到的在不同偏振方向上的相移图像,从而带入三步或四步相移算法解出相位信息,并最终拟合求解出待测元件的面形信息。目前主要的测量方式有分时测量、分振幅测量和分孔径测量,其中分时测量方式由于是非实时同步测量,且只能对静止的目标进行测量,因而大大限制了此种测量方式的应用范围。同时,采用分振幅和分孔径的测量方式虽然能满足实时测量的基本要求,但是这两种测量方式需要精确配准,不适用于精度较高的测量。分焦平面测量方式是将微偏振片阵列集成在成像焦平面上,微偏振片阵列的每2*2单元被定义为一个超像素单元,其上分别刻划有0°,45°,90°和135°偏振方向的光栅,并以微透镜阵列的形式集成在图像采集器上,该成像方式具有高透过率、高消光比、高实时性等优点,由于Stokes矢量所需的各个分量是通过邻域像元重建得到的,而相邻像元的瞬时视场不重叠,因而导致了瞬时视场误差(IFOV)。该测量方法在满足绝对同步相移条件的同时不可避免的降低了同步相移图像的空间分辨率,为了弥补分焦平面测量方法的不足,需要采用插值算法对四幅同步相移干涉图像进行分辨率补偿。
现有技术中,针对于分焦平面偏振图像插值的主流算法有双线性插值、双三次插值和双三次样条插值。这三种算法可以在一定程度上抑制高同步性所带来的瞬时视场误差,但是这些算法的作用本质上都类似于使用了低通滤波器,没有考虑到在细节边缘区域需要更大程度的保留原有图像的信息,因此在使用这些传统插值方法的同时会极大程度的丢失图像的边缘细节信息,导致同步相移干涉图分辨率缺失的问题。
发明内容
针对于现有分焦平面相移技术存在的会出现同步相移干涉图分辨率缺失的问题,本发明提供了一种分区域的同步相移干涉图超分辨重建的插值方法。
为了实现本发明的目的,所提供的技术方案是:一种分区域的同步相移干涉图超分辨重建的插值方法,实现步骤如下:
(1)由分焦平面偏振相机所采集到DoFP偏振原图,并从中按照微透镜阵列对应不同偏振角度的排列位置提取出所需插值处理的0°,45°,90°和135°四幅不同偏振方向的低分辨率图像;
(2)将四幅不同偏振方向的低分辨率图像全部划分为2*2的块区域,分别求取每个块区域对应的平滑度,其中所述的2*2块区域的模板尺寸可以根据实际图像的大小和特点做相应的改动,平滑度的公式则随之做相应调整即可,针对采集到的同步相移干涉图尺寸和图像特点选取2*2作为模板尺寸;
所述2*2块区域平滑度的计算公式为:
其中P为平滑度,M为块区域灰度均值,f(x,y)为对应坐标(x,y)像素点上的灰度值;
(3)将步骤(2)得到的平滑度值存于相应的矩阵中,对各个矩阵分别求取相应矩阵的中值作为该偏振方向图像的平滑度阈值Pmedian
(4)将对应块区域的平滑度P与整幅图的平滑度阈值Pmedian相比较,若P<Pmedian则定义该块区域为平滑区域,执行步骤(5),若P≥Pmedian则定义该块区域为非平滑区域,执行步骤(6);
(5)对步骤(4)得到的平滑区域使用加权线性插值方法实现平滑区域的插值处理;
(6)对于步骤(4)判定得到的非平滑区域使用多采样循环卷积算法进行插值;
(7)待所有块区域都已经完成插值,则整个分区域插值操作结束。
上述步骤(5)中,加权线性插值方法如下:
(a)将平滑区域的2*2块区域扩展为4*4块区域,对待插值像素点补零,共包括12个待插值点;
(b)以四个已知像素区域的中心点作为双线性插值的起始点插入四个像素点,若待插值的块区域不属于整幅图像的边界区域,则该块区域像素点的灰度值取已知四个像素点灰度值的均值,若属于边界区域,则边界区域像素点的灰度值取4*4区域内最近邻两个像素点灰度值的均值;
(c)对于剩余的八个像素点,采用加权线性插值方法,若待插值的块区域不属于整幅图的边界区域,则该块区域像素点的灰度值为近邻四个已知像素点的加权和,若待插值的块区域属于边界区域,则边界区域像素点的灰度值取4*4区域内最近邻两个像素点灰度值的加权和。
上述步骤(6)中,多采样循环卷积算法的具体步骤如下:
(a)2*2块区域扩展为4*4块区域,对待插值像素点补零,共包括12个待插值像素点;
(b)对应插值点使用多采样循环卷积算法插值,若待插值的块区域不属于整幅图的边界区域,则12个像素点的灰度值由在4*4区域内使用3*3的卷积核循环卷积12次所得,若块区域属于边界区域则使用步骤(5)提到的加权线性插值方法补充边界上的待插值点。
上述步骤(6)中,卷积核的卷积方法为:当卷积核移动到整幅图的任一3*3卷积区域时判断卷积核中心像素点对应的区域块像素点位置,若为奇数行奇数列则使用对应偏振方向的第一个卷积核,若为奇数行偶数列则使用对应偏振方向的第二个卷积核,若为偶数行奇数列使用对应偏振方向的第三个卷积核,若为偶数行偶数列使用对应偏振方向的第四个卷积核,不同偏振方向对应使用不同组合的卷积核。
本发明从分区域插值补偿的思想出发,考虑对不同偏振方向的同步相移干涉图的平滑区域和细节边缘区域采用不同的插值算法,在信息较少的低频平滑区域采用改进后的加权线性插值方法,对含有丰富细节边缘的高频区域使用新提出的多采样循环卷积算法。因此本发明具有以下优点:
1.本发明方法充分利用分区域的平滑度阈值分割准确分离边缘细节和平滑区域,并依据区域的不同特点采用相应的插值算法,有效地降低了分焦平面系统带来的瞬时视场误差,重构了更高分辨率的偏振图像;
2.本发明方法针对于小区域插值定义了一种新的权值计算方法,将传统以计算欧式距离来确定权重的方式改为简单且适用的小区域内根据已知像素点和待插值像素点的坐标距离加权来确定像素点之间的相关权值,在提升准确度的同时极大的降低了算法的复杂度;
3.本发明方法提出了一种针对于提高边缘细节的多采样循环卷积的插值算法,在增加采样点提高图像分辨率的同时,也大幅度降低了计算复杂度,且经过仿真和实验验证,该算法在突出图像细节及边缘方面具有优势。
附图说明
图1为本发明方法详细流程图;
图2A为原偏振图像降采样后的DoFP图像,图2B~2E为本发明中所用的测试图像,依次为0°、45°、90°、135°偏振方向上采集到的低分辨率同步相移干涉图像;
图3为本发明四个不同偏振方向的块区域扩充和插值示意图;
图4为本发明加权线性插值权值示例辅助图;
图5A~5C分别为低分辨率原图像、平滑区域使用加权线性插值算法处理后的图像和所有块区域完成插值后的图像。
具体实施方式
下面结合附图和具体实例对本发明进行详细的说明。
一种分区域的同步相移干涉图超分辨算法,参见图1,按以下步骤操作:
第一步:分焦平面偏振相机采集到DoFP偏振原图(参见图2A),并从中按照微透镜阵列对应不同偏振角度的排列位置提取出所需插值处理的四幅不同偏振方向的低分辨率图像参见2B~2E,提取出四个偏振方向的图像分别记为I0、I45、I90、I135
第二步:将四幅不同偏振方向的低分辩率图像分成2*2的块区域,若低分辨率图像大小为m*n,则整幅图总共划分为(m*n)/4个块区域,并对每个块区域依据公式(1)计算相应的平滑度,其中P为平滑度,M为块区域灰度值均值,f(x,y)为对应坐标(x,y)像素点上的灰度值;所述的2*2块区域的模板尺寸也可以根据实际图像大小和特点做相应的改动,平滑度的公式则随之做相应调整即可。
第三步:四幅图像计算出来的所有块区域的平滑度分别存储在相应的矩阵中,若低分辨率图像大小为m*n,则相应的矩阵大小为(m/2)*(n/2),对各个矩阵分别求取矩阵中值作为该偏振方向图像的平滑度阈值Pmedian
第四步:将对应偏振方向上块区域的平滑度与整幅图的平滑度阈值Pmedian相比较,若P<Pmedianm则定义该2*2块区域为平滑区域执行步骤(5),若P≥Pmedian则定义该2*2块区域为非平滑区域,执行步骤(6)。
第五步:对于上述判定为平滑区域的块区域使用改进后的加权线性插值算法:
(1)确定插值算法后,将2*2块区域扩展为4*4区域,对待插值像素点补零,扩展和补零过程参见图3,共包括12个待插值点,以0°偏振方向为例,则已知像素点为I0(1,1)、I0(1,3)、I0(3,1)、I0(3,3),其他12个像素点为待插值点。
(2)采用传统双线性方法插值的点为四个已知区域的中心点,以0°偏振方向为例则四个中心点分别为I0(2,2)、I0(2,4)、I0(4,2)、I0(4,4),若待插值的块区域不属于整幅图像的边界区域,则这四个像素点对应的灰度值取已知四个像素点的均值,若属于边界区域则I0(2,4)、(4,2)、I0(4,4)三个像素点取4*4区域内最近邻两个像素点灰度值的均值,举例说明参照公式(3),(4)。
(3)需要采用加权线性插值的点为除上述四个中心像素点外剩余的八个待插值像素点,若待插值的块区域不属于整幅图的边界区域,则八个像素点的灰度值为近邻四个已知像素点的加权和,举例参考公式(5),若块区域属于边界区域则I0(1,4),I0(3,4),I0(4,1),I0(4,3)四个像素点取4*4区域内最近邻两个像素点灰度值的加权和,举例参考公式(6),其中相关权值计算依据像素点之间的坐标距离远近进行计算,遵循像素点之间距离越近则占比权重越高的原则,如坐标点I0(1,1)到I45(1,2)的距离为纵坐标相减值为1,坐标点I45(1,2)到I0(3,1)的距离为使用勾股定理计算所得相邻四个像素点之间的权值示例展示参见图4,具体计算过程如公式(7)所示。
(4)图5A展示了插值前的低分辨率图像,在对所有的平滑块区域执行完插值操作后的结果图参见图5B。
I0(1,2)=a(I0(1,1)+I0(1,3))+b(I0(3,1)+I0(3,3)) (5)
I0(边界)(1,4)=aI0(1,3)+bI0(3,3) (6)
第六步:对于上述判定为非平滑的块区域使用新提出的多采样循环卷积算法,具体操作如下:
(1)确定要使用的插值算法后,同样将2*2块区域扩展为4*4区域,对待插值像素点补零(如图3所示),共包括12个待插值点。
(2)非平滑4*4的块区域中有12个待插值点,对应插值点使用新提出的多采样循环卷积算法插值:
(a)若待插值的块区域不属于整幅图的边界区域,则十二个像素点由在4*4区域内使用3*3的卷积核循环卷积12次所得,对应四个不同偏振方向采用不同的卷积核进行循环卷积操作,具体循环卷积操作方式如下:
针对于不同偏振方向所对应的四个不同卷积核的使用依据为:当卷积核移动到整幅图的任一3*3卷积区域时判断卷积核中心像素点对应的块区域像素点位置,若为奇数行奇数列则使用对应偏振方向的第一个卷积核,若为奇数行偶数列则使用对应偏振方向的第二个卷积核,若为偶数行奇数列则使用对应偏振方向的第三个卷积核,若为偶数行偶数列使用对应偏振方向的第四个卷积核,不同偏振方向使用的不同卷积核如下表所示。
(b)若块区域属于边界区域则使用上述第五步描述的加权线性方法补充边界上的待插值点。
(3)待非平滑区域全部完成插值操作后,则整幅图像的插值处理结束,示例结果展示参见图5C。

Claims (1)

1.一种分区域的同步相移干涉图超分辨重建的插值方法,其特征在于,步骤如下:
(1)由分焦平面偏振相机所采集到DoFP偏振原图,并从中按照微透镜阵列对应不同偏振角度的排列位置提取出所需插值处理的0°,45°,90°和135°四幅不同偏振方向的低分辨率图像;
(2)将四幅不同偏振方向的低分辨率图像全部划分为2*2的块区域,分别求取每个块区域对应的平滑度,所述平滑度的计算方法如下:
其中P为平滑度,M为块区域灰度均值,f(x,y)为对应坐标(x,y)像素点上的灰度值;
(3)将步骤(2)得到的平滑度值存于相应的矩阵中,对各个矩阵分别求取相应矩阵的中值作为该偏振方向图像的平滑度阈值P median
(4)将对应块区域的平滑度P与整幅图的平滑度阈值P median相比较,若P<Pmedian则定义该块区域为平滑区域,执行步骤(5),若P≥P median则定义该块区域为非平滑区域,执行步骤(6);
(5)对步骤(4)得到的平滑区域使用加权线性插值方法实现平滑区域的插值处理;
(6)对于步骤(4)判定得到的非平滑区域使用多采样循环卷积算法进行插值;
(7)待所有块区域都已经完成插值,则整个分区域插值操作结束;
所述步骤(5)中,加权线性插值方法如下:
(a)将平滑区域的2*2块区域扩展为4*4块区域,对待插值像素点补零,共包括12个待插值点;
(b)以四个已知像素区域的中心点作为双线性插值的起始点插入四个像素点,若待插值的块区域不属于整幅图像的边界区域,则该块区域像素点的灰度值取已知四个像素点灰度值的均值,若属于边界区域,则边界区域像素点的灰度值取4*4区域内最近邻两个像素点灰度值的均值;
(c)对于剩余的八个像素点,采用加权线性插值方法,若待插值的块区域不属于整幅图的边界区域,则该块区域像素点的灰度值为近邻四个已知像素点的加权和,若待插值的块区域属于边界区域,则边界区域像素点的灰度值取4*4区域内最近邻两个像素点灰度值的加权和;
所述步骤(6)中,多采样循环卷积算法的具体步骤如下:
(a)2*2块区域扩展为4*4块区域,对待插值像素点补零,共包括12个待插值像素点;
(b)对应插值点使用多采样循环卷积算法插值,若待插值的块区域不属于整幅图的边界区域,则12个像素点的灰度值由在4*4区域内使用3*3的卷积核循环卷积12次所得,若块区域属于边界区域则使用步骤(5)提到的加权线性插值方法补充边界上的待插值点;
所述步骤(6)中,卷积核的卷积方法如下:
当卷积核移动到整幅图的任一3*3卷积区域时判断卷积核中心像素点对应的区域块像素点位置,若为奇数行奇数列则使用对应偏振方向的第一个卷积核,若为奇数行偶数列则使用对应偏振方向的第二个卷积核,若为偶数行奇数列使用对应偏振方向的第三个卷积核,若为偶数行偶数列使用对应偏振方向的第四个卷积核,不同偏振方向对应使用不同组合的卷积核。
CN202111359544.3A 2021-11-17 2021-11-17 一种分区域的同步相移干涉图超分辨重建的插值方法 Active CN114119367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111359544.3A CN114119367B (zh) 2021-11-17 2021-11-17 一种分区域的同步相移干涉图超分辨重建的插值方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111359544.3A CN114119367B (zh) 2021-11-17 2021-11-17 一种分区域的同步相移干涉图超分辨重建的插值方法

Publications (2)

Publication Number Publication Date
CN114119367A CN114119367A (zh) 2022-03-01
CN114119367B true CN114119367B (zh) 2024-04-09

Family

ID=80397078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111359544.3A Active CN114119367B (zh) 2021-11-17 2021-11-17 一种分区域的同步相移干涉图超分辨重建的插值方法

Country Status (1)

Country Link
CN (1) CN114119367B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114993295B (zh) * 2022-08-08 2022-10-25 中国人民解放军国防科技大学 一种基于偏振定向误差补偿的自主导航方法
CN115615359B (zh) * 2022-11-15 2023-03-10 中国科学院长春光学精密机械与物理研究所 一种基于结构光投影的动态3d测量误差补偿方法
CN116222965B (zh) * 2022-12-09 2024-07-02 西安工业大学 一种冗余通道信息、相位信息确定方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208537B1 (en) * 2014-07-10 2015-12-08 Shenzhen China Star Optoelectronics Technology Co., Ltd Super-resolution reconstructing method for enhancing smoothness and sharpness of video image
CN105139339A (zh) * 2015-07-27 2015-12-09 中国人民解放军陆军军官学院 基于多级滤波和样本匹配的偏振图像超分辨率重建方法
WO2020000877A1 (zh) * 2018-06-26 2020-01-02 北京字节跳动网络技术有限公司 用于生成图像的方法和装置
CN111738947A (zh) * 2020-06-16 2020-10-02 南京邮电大学 一种提高近红外数字全息干涉条纹分辨率的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208537B1 (en) * 2014-07-10 2015-12-08 Shenzhen China Star Optoelectronics Technology Co., Ltd Super-resolution reconstructing method for enhancing smoothness and sharpness of video image
CN105139339A (zh) * 2015-07-27 2015-12-09 中国人民解放军陆军军官学院 基于多级滤波和样本匹配的偏振图像超分辨率重建方法
WO2020000877A1 (zh) * 2018-06-26 2020-01-02 北京字节跳动网络技术有限公司 用于生成图像的方法和装置
CN111738947A (zh) * 2020-06-16 2020-10-02 南京邮电大学 一种提高近红外数字全息干涉条纹分辨率的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于小波分析和多项式细分定位的超分辨率图像重建算法;贺清碧;黄大荣;杨永琴;;计算机科学;20160315(第03期);全文 *

Also Published As

Publication number Publication date
CN114119367A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN114119367B (zh) 一种分区域的同步相移干涉图超分辨重建的插值方法
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
JP6553826B1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2000188680A (ja) 高解像度画像の生成方法及びシステム
CN108288256B (zh) 一种多光谱马赛克图像复原方法
CN107680040A (zh) 一种基于贝叶斯准则的多帧盲卷积超分辨重建方法及装置
CN114549746B (zh) 一种高精度真彩三维重建方法
CN112488975B (zh) 一种非均匀阵列探测激光光斑图像的复原显示方法
WO2017084261A1 (zh) 一种用于图像配准的图像预处理方法及装置
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN109712088A (zh) 一种基于稳像的遥感视频卫星图像处理方法及系统
CN111062895A (zh) 一种基于多视场分割的显微图像复原方法
WO2019008692A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN110335197B (zh) 基于非局部统计本征的去马赛克方法
JP5566199B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
CN109443250B (zh) 一种基于s变换的结构光三维面形垂直测量方法
CN106204593A (zh) 一种基于序列图像合成的特征点提取方法
CN103914807A (zh) 一种缩放尺度补偿的非局部性图像超分辨率方法及系统
CN116823671A (zh) 一种基于锁眼解密历史影像的自动精准定位以及校正方法
CN110310337B (zh) 一种基于光场基本矩阵的多视光场成像系统全参数估计方法
CN109741389B (zh) 一种基于区域基匹配的局部立体匹配方法
CN110322514A (zh) 一种基于多中心投影模型的光场相机参数估计方法
KR101780726B1 (ko) 앤티-에일리어싱 fir 필터에 기반한 디모자이킹 방법
CN112598717B (zh) 高光谱卫星影像全谱段配准方法及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant