CN112508788B - 一种基于多帧观测信息的空间邻近群目标超分辨方法 - Google Patents

一种基于多帧观测信息的空间邻近群目标超分辨方法 Download PDF

Info

Publication number
CN112508788B
CN112508788B CN202011482114.6A CN202011482114A CN112508788B CN 112508788 B CN112508788 B CN 112508788B CN 202011482114 A CN202011482114 A CN 202011482114A CN 112508788 B CN112508788 B CN 112508788B
Authority
CN
China
Prior art keywords
frame
target block
target
resolution
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011482114.6A
Other languages
English (en)
Other versions
CN112508788A (zh
Inventor
左峥嵘
侯云龙
李凌岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011482114.6A priority Critical patent/CN112508788B/zh
Publication of CN112508788A publication Critical patent/CN112508788A/zh
Application granted granted Critical
Publication of CN112508788B publication Critical patent/CN112508788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多帧观测信息的空间邻近群目标超分辨方法，属于图像处理技术领域，包括：获得群目标分布均匀的N帧目标块；估计各帧目标块相对于第一帧目标块的亚像素位移；拟合各帧目标块对应的高分辨率目标块
Figure DDA0002837889920000011
以
Figure DDA0002837889920000012
为参考，依据亚像素位移对齐后叠加，得到高分辨率目标块IH，筛选出其中灰度值大于第一阈值的局部极值点；对于筛选出的局部极值点，将其个数K确定为群目标中的目标个数，并利用其位置构建群目标在第一帧目标块中的位置
Figure DDA0002837889920000015
利用估计得到的亚像素位移、目标个数K以及位置
Figure DDA0002837889920000014
建立约束条件，建立超分辨目标函数，寻优得到群目标在各帧目标块中的位置。本发明能够利用多帧之间目标的运动信息，结果更准确，且计算复杂度更低。

Description

一种基于多帧观测信息的空间邻近群目标超分辨方法
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种基于多帧观测信息的空间邻近群目标超分辨方法。
背景技术
空间邻近群目标指在空间中相距很近的多个目标。由于成像分辨率较低，成像距离远，各目标之间距离过近，群目标在成像时只能视为点源目标，导致在像平面上各目标密集分布，像面距离甚至小于一个瑞利单元。同时，由于光学系统对成像的影响，单个目标的能量会根据PSF函数扩散到多个相邻的像元，多个分布密集，相距过近的目标能量会发生重叠，形成簇状像斑。从像平面观察，难以分辨出簇装像斑中目标的个数和位置信息。
空间邻近群目标超分辨技术，是用于分辨出群目标中的目标数目，以及每个目标的位置信息的技术。在实际应用中，由于一帧图像过大，因此，在群目标超分辨过程中，仅考虑图像中包含群目标的区域，称之为目标块。现有的空间邻近目标超分辨技术主要应用于单帧目标块，建立以单帧目标块中的每个目标位置为参数的模型函数，通过参数寻优的方法确定目标位置，这类算法仅利用单帧目标块的有限信息，无法获取多帧目标块的目标参数，应用较为局限；由于缺乏对目标块信息的分析，参数的搜索空间较大，易陷入局部最优解。现有的针对多帧目标块实现空间邻近目标超分辨的算法，如多帧LS-QPSO等，虽然能够分辨多帧目标块中的群目标位置，但是，这些方法都没有考虑多帧目标块之间的联系。此外，无论是针对单帧目标块还是针对多帧目标块的空间邻近目标超分辨技术，对于目标个数的估计依赖于贝叶斯定阶准则，即依次对目标的可能数目分别进行参数估计，大大增加了计算复杂度。
综上所述，由于对多帧目标块信息利用不足，且计算复杂度较高，现有的空间邻近群目标超分辨方法的分辨能力有待进一步提高。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于多帧观测信息的空间邻近群目标超分辨方法，旨在解决现有的空间邻近群目标超分辨方法无法充分利用多帧目标块信息，且计算复杂度较高的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于多帧观测信息的空间邻近群目标超分辨方法，包括：
目标块筛选步骤：获得群目标分布均匀的N帧目标块；
亚像素位移估计步骤：估计N帧目标块中，各帧目标块相对于第一帧目标块的亚像素位移
Figure BDA0002837889900000021
群目标规模估计步骤：拟合各帧目标块对应的高分辨率目标块
Figure BDA0002837889900000022
以第一帧高分辨率目标块
Figure BDA0002837889900000023
为参考，依据亚像素位移
Figure BDA0002837889900000024
将各高分辨率目标块对齐后进行像素级叠加，得到高分辨率目标块IH，筛选出其中灰度值大于预设的第一阈值的局部极值点；将筛选出的局部极值点个数K确定为群目标中的目标个数，并利用筛选出的K个局部极值点的位置构建群目标在第一帧目标块中的位置
Figure BDA0002837889900000025
超分辨寻优步骤：建立超分辨目标函数，其约束条件为：任意第i帧目标块Ii中各像素对于群目标中K个目标的响应gi与群目标在第i帧目标块Ii的位置
Figure BDA0002837889900000026
有关，且
Figure BDA0002837889900000027
求解超分辨目标函数，得到群目标中各目标在各帧目标块中的位置；
其中，i表示帧序号，i＝1,2,…,N。
本发明提供的基于多帧观测信息的空间邻近群目标超分辨方法，通过估计多帧目标块中，各帧目标块相对于第一帧目标块的亚像素位移，能够有效地利用多帧目标块之间目标的运动信息，提高分辨精度；本发明在估计得到亚像素位移的基础上，通过拟合高分辨率图像和局部极值点的选取，确定了群目标中的目标个数，此过程不依赖于贝叶斯定阶准则，能够有效降低计算复杂度；本发明在估计群目标中的目标个数的同时，估计得到了各目标在第一帧目标块中的位置信息，并结合估计得到的亚像素位移和群目标中的目标个数，为后续的超分辨目标函数建立了约束条件，大大减小了搜索空间范围，使参数能够有效地收敛于全局最优点，进一步提高了分辨能力。
进一步地，超分辨目标函数如下：
Figure BDA0002837889900000031
Figure BDA0002837889900000032
Figure BDA0002837889900000033
Figure BDA0002837889900000034
其中，zi表示第i帧目标块Ii像素值列向量化后的UV×1维矩阵；gi表示第i帧目标块Ii中各像素对于群目标中K个目标的响应，为UV×K维矩阵；U表示目标块行数，V表示目标块列数，u表示行序号，v表示列序号，u＝1,2,…U，v＝1,2,…V；k表示群目标中的目标序号，k＝1,2,…K，xi,k表示第i帧目标块中第k个目标在目标块中x方向的横坐标，yi,k表示第i帧目标块中第k个目标在目标块中y方向的纵坐标；δpsf代表光学扩散函数PSF的标准差。
本发明在上述超分辨目标函数中，基于估计得到的亚像素位移、群目标中的目标个数以及各目标在第一帧中的位置信息，建立了约束条件，即
Figure BDA0002837889900000041
大大减小了搜索空间范围，使参数能够有效地收敛于全局最优点，进一步提高了分辨能力。
进一步地，超分辨目标函数对应的寻优函数为：
Figure BDA0002837889900000042
其中，argmin表示使超分辨目标函数最小，n＝2,3,...,。
进一步地，超分辨寻优步骤中，采用量子粒子群优化算法求解超分辨目标函数；
求解过程中，参数空间维数为：DIM＝2*N*K；针对第一帧目标块的参数搜索空间为
Figure BDA0002837889900000043
针对其余第n帧目标块的搜索空间为Ωn＝{(Δxnk-δ,Δynk-δ):(Δxnk+δ,Δynk+δ)}；
其中，(xl,yl):(xr,yr)表示以(xl,yl)为左上角坐标、以(xr,yr)为右下角坐标的矩形空间；
Figure BDA0002837889900000044
表示向下取整，
Figure BDA0002837889900000045
表示向上取整；(xk,yk)表示群目标的初始位置信息
Figure BDA0002837889900000046
中，第k个目标的位置；(Δxnk,Δynk)表示第k个目标在第n帧目标块中的位置相对于其在第1帧目标块中的位置的亚像素位移；δ为预设的裕量，δ＞0。
本发明基于上述方式为各帧目标块设定参数搜索空间，能够有效减小搜索空间，使参数能够有效地收敛于全局最优点；考虑到亚像素位移的估计可能存在误差，本发明在针对第n(n＝2,3,...,N)帧目标块设定参数搜索空间时，在估计的亚像素位移的基础上，按照预设的裕量δ对搜索空间进行了一定程度的扩大，由此能够在有效减小搜索空间的同时，保证寻优结果的准确性。
进一步地，更新粒子位置时，加入搜索空间约束信息，该搜索空间为：
Ω＝{Ω1,Ωn},n＝2,3,...,N
在搜索过程中，当任意粒子在当前迭代后的位置不在搜索空间Ω内时，对粒子的位置进行修正，修正公式如下：
Xi(t+1)＝(maxbound-minbound)*Rand(t+1)+minbound
其中，minbound和maxbound分别是搜索空间的最小边界值和最大边界值，t表示当前，Xi(t+1)表示各粒子在当前迭代后修正的新位置，Rand(t+1)随机取-1或1。
本发明在每个粒子迭代后的位置不在搜索空间Ω内时，对粒子的位置进行修正，能够保证参数被有效约束在所设定的搜索空间内。
进一步地，亚像素位移估计步骤中，估计N帧目标块中，各帧目标块相对于第一帧目标块的亚像素位移
Figure BDA0002837889900000051
其方式为：
将各帧目标块转换至频域下，计算各帧目标块在频域下相对于第一帧目标块的相角差异；
将各帧目标块在频域下相对于第一帧目标块的相角差异转换至空域下，得到各帧目标块相对于第一帧目标块的亚像素位移
Figure BDA0002837889900000052
在空域中的两帧中，如果存在亚像素位移的关系，则在频域中，会相应表现出相角的差异，基于该规律，本发明先计算频域中各帧目标块相对于第一帧目标块的相角差异，再转换至空域下，能够准确计算得到各帧目标块相对于第一帧目标块的亚像素位移。
进一步地，亚像素位移估计步骤包括：
(S1)对各帧目标块分别做二维离散傅里叶变换，将各帧目标块转换至频域下，并以第一帧目标块I1作为参考目标块，将变换后的各帧目标块平移到图像中心，得到第一帧目标块傅里叶变换并中心化后的矩阵F1及其第n帧目标块傅里叶变换并中心化后的矩阵Fn；
(S2)定义矩阵Qn＝Fn/F1，将Qn写为复数形式，Qn＝Rn+jSn，根据
Figure BDA0002837889900000061
得到第n帧相对参考帧的相位差矩阵An；
(S3)选取以相位差矩阵An的中心
Figure BDA0002837889900000062
为中心、大小为m*m的矩阵，并进行列向量化，得到矩阵Bn；利用矩阵Bn中各元素的坐标构成矩阵Cn；
(S4)对矩阵Cn做QR分解，得到Cn＝CQn*CRn，依据分解结果，估计第n帧目标块相对于第1帧目标块的亚像素位移为：
Figure BDA0002837889900000063
其中，U代表目标块行数，V代表目标块列数，u表示行序号，v表示列序号，u＝1,2,…U，v＝1,2,…V；m为预设的正整数；Δxn和Δyn分别表示第n帧目标块相对于第1帧目标块在x方向和y方向上的亚像素位移，n＝2,3,...,N。
进一步地，群目标规模估计步骤包括：
通过插值拟合得到各帧目标块对应的高分辨率目标块
Figure BDA0002837889900000064
将以第一帧高分辨率目标块
Figure BDA0002837889900000065
为参考，依据亚像素位移
Figure BDA0002837889900000066
将各高分辨率目标块对齐，得到高分辨率目标块
Figure BDA0002837889900000067
为：
Figure BDA0002837889900000068
将对齐后的高分辨率目标块
Figure BDA0002837889900000069
依帧进行像素级叠加，得到高分辨率目标块IH为：
Figure BDA00028378899000000610
遍历高分辨率目标块IH中的像素，找出其中的局部极值点，并筛选出其中灰度值大于预设的第一阈值的局部极值点，将筛选出的局部极值点的个数K确定为群目标中的目标个数，并利用选取的K个局部极值点的位置构建群目标在第一帧目标块中的位置
Figure BDA0002837889900000071
为：
Figure BDA0002837889900000072
其中，Δxi和Δyi分别表示第i帧目标块相对于第1帧目标块在x方向和y方向上的亚像素位移，nsize表示经过插值拟合得到的高分辨率目标块相对于原始的目标块的放大倍数；k表示群目标中的目标序号，k＝1,2,…K；(pxk,pyk)表示筛选出的第k个局部极值点的位置坐标，(xk,yk)表示估计的第k个目标在第1帧目标块中的位置。
局部极值点反映了3*3邻域内灰度值最大的像素，本发明基于插值拟合和估计得到的亚像素位移得到高分辨率图像IH后，找出其中的局部极值点，通过预设的第一阈值对所有的局部极值点进行过滤，能够有效排除噪声的影响，准确估计得到群目标中的目标个数。
进一步地，目标块筛选步骤包括：
对于任意一帧目标块I，计算其中的最大灰度值为：
Emax＝max(I(u,v)),u＝1,2,...U,v＝1,2,...,V
计算目标块中的灰度和为：
Figure BDA0002837889900000073
按照
Figure BDA0002837889900000074
计算目标块的筛选系数β，若β≤Th，则保留目标块I，否则，舍弃目标块I；
其中，U代表目标块行数，V代表目标块列数，u表示行序号，v表示列序号，u＝1,2,…U，v＝1,2,…V；Th表示预设的阈值。
本发明以目标块中，最大灰度值与灰度和之比作为筛选系数，用像素灰度分布衡量群目标在目标块中的分布，由此能够准确筛选出群目标分布均匀的目标块，保证了后续估计的准确度。
按照本发明的另一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；
计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的基于多帧观测信息的空间邻近群目标超分辨方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明通过对多帧目标块估计亚像素位移，并利用亚像素位移信息拟合高分辨率目标块，从高分辨率目标中提取空间邻近群目标数目和目标粗估计位置信息，有效地利用了多帧之间目标的运动信息，解决了现有只利用单帧目标块无法一次性估计多帧目标块序列中每一帧参数的问题，解决了利用多帧目标块信息却未加约束条件的问题，结果更准确，且计算复杂度更低。
(2)本发明通过多帧目标块拟合高分辨率目标块，有效地确定了群目标的数目，解决了现有对群目标的数目问题依赖于贝叶斯定阶准则，导致对群目标的数目的确定计算复杂度过高的问题。
(3)本发明通过前述的亚像素位移粗估计、第一帧目标块群目标位置粗估计，为后续目标函数中的参数估计增加了约束条件，减小了搜索空间范围，使参数能够更有效地收敛于全局最优点。
(4)本发明针对多帧目标块实现空间邻近群目标超分辨，能够一次性地估计多帧目标块中的群目标位置信息。
附图说明
图1为本发明实施例提供的基于多帧观测信息的超分辨方法示意图；
图2为本发明实施例提供的输入目标块；其中，(a)为保留下来的目标块，(b)为舍弃的目标块；
图3为本发明实施例提供的利用4帧目标块拟合得到的高分辨率目标块；
图4为图3所示的高分辨率目标块的灰度分布示意图；
图5为本发明实施例在SNR＝20的条件下，真实目标位置和估计目标位置的示意图；其中，(a)～(d)分别表示第一帧、第二帧、第三帧和第四帧目标块中，群目标位置的估计结果示意图；
图6为本发明实施例提供的超分辨误差随迭代次数的变化曲线；其中，(a)为本发明实施例提供的基于多帧观测信息的空间邻近群目标超分辨方法的误差变化曲线图，(b)为假设群目标中目标个数已知的情况下，不进行亚像素位移估计和群目标在第一帧目标块中位置估计的情况下，直接进行空间邻近群目标超分辨的误差变化曲线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
针对现有的空间邻近群目标超分辨方法没有充分利用多帧目标块信息，且计算复杂度较高的技术问题，本发明提供了一种基于多帧观测信息的空间邻近群目标超分辨方法，其整体思路在于：在筛选得到灰度分布均匀的多帧目标块后，估计各帧目标块相对于第一帧目标块的亚像素位移，以充分考虑多帧之间目标的运动信息；在此基础上，通过拟合高分辨率目标块，并进行局部极值点的筛选，确定群目标中的目标个数，以及各目标在第一帧中的位置信息，以避免在确定群目标中目标个数的过程中依赖贝叶斯定阶准则，从而有效降低计算复杂度；基于估计得到的亚像素位移、群目标中的目标个数以及群目标的位置信息，为超分辨目标函数建立约束条件，以减小搜索空间范围，使参数能够更有效地收敛于全局最优点，从而有效提高分辨能力。
以下为实施例。
实施例1：
一种基于多帧观测信息的空间邻近群目标超分辨方法，如图1所示，包括：目标块筛选步骤、亚像素位移估计步骤、群目标规模估计步骤以及超分辨寻优步骤。
本实施例中，目标块筛选步骤具体为：获得群目标分布均匀的N帧目标块；
作为一种可选的实施方式，本实施例中，目标块筛选步骤具体包括：
对于任意一帧目标块I，计算其中的最大灰度值为：
Emax＝max(I(u,v)),u＝1,2,...U,v＝1,2,...,V
计算目标块中的灰度和为：
Figure BDA0002837889900000101
按照
Figure BDA0002837889900000102
计算目标块的筛选系数β，若β≤Th，则保留目标块I，否则，舍弃目标块I；
其中，U代表目标块行数，V代表目标块列数，u表示行序号，v表示列序号，u＝1,2,…U，v＝1,2,…V；Th表示预设的阈值，阈值Th的具体取值可根据实际的应用需求相应设定，其值越小，最终保留的目标块中，群目标分布越均匀，可选地，本实施例中，Th＝0.5；
通过上述目标块筛选步骤，筛选出群目标落在不同像元中的目标块，在后续进行高分辨率叠加时呈现出更好的群目标分布特性；灰度分布能够有效地表示群目标的分布特性，本实施例以目标块中，最大灰度值与灰度和之比作为筛选系数，用于衡量目标块中的群目标分布，由此能够准确筛选出群目标分布均匀的目标块，保证了后续估计的准确度；
图2所示为两帧不同的目标块，基于所计算的筛选系数，图2中的(a)所示的目标块，其灰度分布较为均匀，为可保留的目标块，图2中的(b)所示的目标块，其灰度分布较为集中，为剔除的目标块；
本实施例中，对输入的6帧目标块采用上述方式进行筛选，最终保留了群目标分布均匀的4帧目标块。
本实施例中，亚像素位移估计步骤具体为：估计N帧目标块中，各帧目标块相对于第一帧目标块的亚像素位移
Figure BDA0002837889900000111
作为一种可选的实施方式，本实施例中，亚像素位移估计步骤中，估计N帧目标块中，各帧目标块相对于第一帧目标块的亚像素位移
Figure BDA0002837889900000112
其方式为：
将各帧目标块转换至频域下，计算各帧目标块在频域下相对于第一帧目标块的相角差异；
将各帧目标块在频域下相对于第一帧目标块的相角差异转换至空域下，得到各帧目标块相对于第一帧目标块的亚像素位移
Figure BDA0002837889900000113
在空域中的两帧中，如果存在亚像素位移的关系，则在频域中，会相应表现出相角的差异，基于该规律，本实施例先计算频域中各帧目标块相对于第一帧目标块的相角差异，再转换至空域下，能够准确计算得到各帧目标块相对于第一帧目标块的亚像素位移；
为了实现上述估计过程，本实施例中，亚像素位移估计步骤包括：
(S1)对各帧目标块分别做二维离散傅里叶变换，将各帧目标块转换至频域下，并以第一帧目标块I1作为参考目标块，将变换后的各帧目标块平移到图像中心，得到第一帧目标块傅里叶变换并中心化后的矩阵F1及第n帧目标块傅里叶变换并中心化后的矩阵Fn；
其中，n＝2,3,...,N；
设第一帧目标块为f1(x,y)，其余各帧目标块为fn(x,y)，则经过二维离散傅里叶变换后，第一帧目标块中第u行第v列的响应值F1(u,v)和第n帧目标块中第u行第v列的响应值Fn(u,v)分别为：
Figure BDA0002837889900000121
Figure BDA0002837889900000122
其中，U代表目标块行数，V代表目标块列数，u表示行序号，v表示列序号，u＝1,2,…U，v＝1,2,…V；
第一帧目标块傅里叶变换并中心化后的矩阵F1及第n帧目标块傅里叶变换并中心化后的矩阵Fn分别为：
Figure BDA0002837889900000123
Figure BDA0002837889900000124
通过二维离散傅里叶变换和中心化，可以将各帧目标块转换至频域下，并使直流成分位于窗口中心，即变换后的坐标原点平移至窗口中心，而围绕坐标中心由内至外的一次是低频分量和高频分量，从而便于分析；
(S2)定义矩阵Qn＝Fn/F1，将Qn写为复数形式，Qn＝Rn+jSn，根据
Figure BDA0002837889900000131
得到第n帧相对参考帧的相位差矩阵An；
矩阵Qn的表达式如下：
Figure BDA0002837889900000132
相应地，相位差矩阵的表达式An如下：
Figure BDA0002837889900000133
(S3)选取以相位差矩阵An的中心
Figure BDA0002837889900000134
为中心、大小为m*m的矩阵，并进行列向量化，得到矩阵Bn；利用矩阵Bn中各元素的坐标构成矩阵Cn；
其中，m为预设的正整数；可选地，本实施例中，m＝5，所建立的矩阵Bn为25×1维矩阵，具体表达式如下：
Figure BDA0002837889900000135
矩阵Cn的表达式如下：
Figure BDA0002837889900000141
矩阵Bn、矩阵Cn，以及第n帧目标块相对于第一帧目标块的亚像素位移
Figure BDA0002837889900000142
之间满足如下关系式：
Figure BDA0002837889900000143
其中，Δxn和Δyn分别表示第n帧目标块相对于第1帧目标块在x方向和y方向上的亚像素位移；
(S4)对矩阵Cn做QR分解，得到Cn＝CQn*CRn，依据分解结果，估计第n帧目标块相对于第1帧目标块的亚像素位移为：
Figure BDA0002837889900000144
本实施例通过对多帧目标块之间的亚像素位移估计，建立多帧目标块之间的关系，为后续目标函数中参数之间建立了关系，降低了算法复杂度；本实施例中，在不同SNR(SIGNAL NOISE RATIO，信噪比)下，4帧目标块之间的亚像素位移估计误差结果如表1所示：
表1
Figure BDA0002837889900000145
从表1所示结果可以看出，SNR越大则亚像素位移估计越准确，考虑到实际应用环境复杂的SNR的环境，本实施例将亚像素位移估计作为粗估计结果，并利用亚像素位移估计约束参数的搜索空间。
本实施例中，群目标规模估计步骤具体为：
拟合各帧目标块对应的高分辨率目标块
Figure BDA0002837889900000151
以第一帧高分辨率目标块
Figure BDA0002837889900000152
为参考，依据亚像素位移
Figure BDA0002837889900000153
将各高分辨率目标块对齐后进行像素级叠加，得到高分辨率目标块IH，筛选出其中灰度值大于预设的第一阈值的局部极值点；将筛选出的局部极值点个数K确定为群目标中的目标个数，并利用筛选出的K个局部极值点的位置构建群目标在第一帧目标块中的位置
Figure BDA0002837889900000154
作为一种可选的实施方式，本实施例中，群目标规模估计步骤具体包括：
通过插值拟合得到各帧目标块对应的高分辨率目标块
Figure BDA0002837889900000155
可选地，本实施例中，具体通过对N帧目标块分别进行双线性插值得到N帧高分辨率目标块
Figure BDA0002837889900000156
将以第一帧高分辨率目标块
Figure BDA0002837889900000157
为参考，依据亚像素位移
Figure BDA0002837889900000158
将各高分辨率目标块对齐，得到高分辨率目标块
Figure BDA0002837889900000159
为：
Figure BDA00028378899000001510
其中，Δxi和Δyi分别表示第i帧目标块相对于第一帧目标块在x方向和y方向上的亚像素位移，nsize表示经过插值拟合得到的高分辨率目标块相对于原始的目标块的放大倍数，可选地，本实施例中，nsize＝4；
Figure BDA00028378899000001511
表示向下取整；
将对齐后的高分辨率目标块
Figure BDA00028378899000001512
依帧进行像素级叠加，得到高分辨率目标块IH为：
Figure BDA0002837889900000161
遍历高分辨率目标块IH中的像素，找出其中的局部极值点，并筛选出其中灰度值大于预设的第一阈值的局部极值点；局部极值点反映了3*3邻域内灰度值最大的像素，其具体定义如下：
p＝IH(px,py)≥IH(px-1:px+1,py-1:py+1)
其中，p表示局部极值点，(px,py)表示局部极值点p在高分辨率目标块IH中的位置坐标；(xl,yl):(xr,yr)表示以(xl,yl)为左上角坐标、以(xr,yr)为右下角坐标的矩形空间；
记各局部极值点的灰度值pe和相应的位置坐标(pxe,pye)，则最终筛选出的局部极值点集合为：
P＝{pe,(pxe,pye)|pe＞thresold}
其中，thresold为预设的第一阈值，可选地，本实施例中，thresold＝0.6；
将筛选出的局部极值点的个数K确定为群目标中的目标个数，并利用选取的K个局部极值点的位置构建群目标在第一帧目标块中的位置
Figure BDA0002837889900000162
为：
Figure BDA0002837889900000163
其中，k表示群目标中的目标序号，k＝1,2,…K；(pxk,pyk)表示筛选出的第k个局部极值点的位置坐标，(xk,yk)表示估计的第k个目标在第1帧目标块中的位置；
由于多帧目标块之间存在的亚像素位移，造成能量在多个像元重新分配，表现出多帧目标块之间灰度不同。本实施例将每一帧插值得到的高分辨率序列按照亚像素位移估计参数对齐并叠加，充分利用了多帧之间的冗余信息，为高分辨率目标块下的细节提供了更多的信息。在得到的高分辨率目标块中，寻找极值点，通过筛选局部极值点，有效地避免了噪声的影响，确保峰值为目标的真实体现。通过确定群目标数目K，为之后目标函数的寻优确定了参数维数空间，通过群目标粗估计位置
Figure BDA0002837889900000164
为之后目标函数的参数缩小了搜索空间，降低了计算复杂度。
本实例中群目标中真实的目标数目为2，取nsize为4，SNR＝20，4帧目标块按上述拟合方法后得到的高分辨率目标块IH如图3所示；对图3所示的图像进行灰度分析，其灰度分布如图4所示，取thresold为0.6，寻找有效极值点的个数，确定群目标数目为2，此估计结果与目标群中真实的目标数目相一致。
本实施例中，超分辨寻优步骤具体为：建立超分辨目标函数，其约束条件为：任意第i帧目标块Ii中各像素对于群目标中K个目标的响应gi与群目标在第i帧目标块Ii的位置
Figure BDA0002837889900000171
有关，且
Figure BDA0002837889900000172
求解超分辨目标函数，得到群目标中各目标在各帧目标块中的位置；
其中，i表示帧序号，i＝1,2,…,N；
作为一种可选的实施方式，本实施例中，超分辨目标函数如下：
Figure BDA0002837889900000173
Figure BDA0002837889900000174
Figure BDA0002837889900000175
Figure BDA0002837889900000176
其中，zi表示第i帧目标块Ii像素值列向量化后的UV×1维矩阵；gi表示第i帧目标块Ii中各像素对于群目标中K个目标的响应，为UV×K维矩阵；U表示目标块行数，V表示目标块列数，u表示行序号，v表示列序号，u＝1,2,…U，v＝1,2,…V；k表示群目标中的目标序号，k＝1,2,…K，xi,k表示第i帧目标块中第k个目标在目标块中x方向的横坐标，yi,k表示第i帧目标块中第k个目标在目标块中y方向的纵坐标；δpsf代表光学扩散函数PSF的标准差；
上述超分辨目标函数可转换为如下寻优函数：
Figure BDA0002837889900000181
其中，argmin表示使超分辨目标函数最小，n＝2,3,...,N；
本实施例中，超分辨寻优步骤中，采用量子粒子群优化算法求解超分辨目标函数，具体求解过程如下：
(T1)设置参数空间维数为：DIM＝2*N*K；针对第一帧目标块的参数搜索空间为
Figure BDA0002837889900000182
针对第n帧目标块的搜索空间为Ωn＝{(Δxnk-δ,Δynk-δ):(Δxnk+δ,Δynk+δ)}；
其中，(xl,yl):(xr,yr)表示以(xl,yl)为左上角坐标、以(xr,yr)为右下角坐标的矩形空间；
Figure BDA0002837889900000183
表示向下取整，
Figure BDA0002837889900000184
表示向上取整；(xk,yk)表示群目标的初始位置信息
Figure BDA0002837889900000185
中，第k个目标的位置；(Δxnk,Δynk)表示第k个目标在第n帧目标块中的位置相对于其在第1帧目标块中的位置的亚像素位移；δ为预设的裕量，δ＞0，可选地，本实施例中，δ＝0.4；
设置粒子群规模为D，在搜索空间内随机初始化D个粒子位置θi(0)，并令各个粒子当前最佳位置Pi(0)＝θi(0)，全局最佳位置Pg(0)＝min{θ1(0),θ2(0),...,θD(0)}；
(T2)对每个粒子计算目标函数值fobj；更新每个粒子的新局部最优位置Pi(t+1):
Figure BDA0002837889900000191
更新全局最优位置Pg(t+1)：
Figure BDA0002837889900000192
定义mbest：
Figure BDA0002837889900000193
更新每个粒子随机点PPi(t+1)＝αPi(t)+(1-α)Pg(t)，其中α为(0,1)之间的随机数；更新每个粒子的新位置：
Figure BDA0002837889900000194
其中Rand(t+1)随机取-1或1，定义收缩扩张系数
Figure BDA0002837889900000195
取m＝1,n＝0.5,t,T分别代表当前迭代次数和最大迭代次数，ui(t+1)代表(0,1)之间的随机数；
(T3)更新粒子位置时，加入搜索空间约束信息。定义搜索空间
Ω＝{Ω1,Ωi},i＝2,3,...,N
定义Ω的最小边界值为minbound，最大边界值为maxbound；
当粒子迭代后的位置不在搜索空间Ω内时，对粒子的位置进行修正，修正公式如下：
Xi(t+1)＝(maxbound-minbound)*Rand(t+1)+minbound
(T4)重复执行步骤(T2)～(T3)，直到达到最大迭代次数T或参数已收敛，最终参数估计结果为
Figure BDA0002837889900000196
N帧目标块中群目标的位置信息为
Figure BDA0002837889900000197
本实施例中，N＝4、K＝2，且D＝30，T＝300，其位置误差实验结果在不同的峰值信噪比(SNR)条件如表2所示，位置误差定义为：
Figure BDA0002837889900000201
Figure BDA0002837889900000202
其中x、
Figure BDA0002837889900000203
分别为群目标的真实位置和算法估计位置。
表2
SNR 误差(像素) 时间(s)
SNR＝6 0.093 75
SNR＝10 0.063 75
SNR＝20 0.039 76
由表2看出，SNR越大，本实施例超分辨误差越小，超分辨精度越高，且在较低的SNR＝6条件下依然保持良好的性能。
在SNR＝20时，本实例条件下在4帧目标块中超分辨估计位置及真实目标位置分别如图5中的(a)～(d)所示，图5中，‘o’表示超分辨估计目标位置，‘+’表示真实目标位置。根据图5所示，本实施例中超分辨估计位置在视觉上据真实目标位置较近，说明本实例的群目标超分辨性能良好。
以下将现有的单帧算法PSO-ML、MCMC、RJMCMC和多帧LS-QPSO方法，以及本实施例提供的基于多帧观测信息的空间邻近群目标超分辨方法在本实施例条件下进行对比实验，所得结果如表3所示。应当说明的是，考虑到PSO-ML、MCMC、RJMCMC算法针对单帧目标做超分辨，因此应用到多帧目标块序列中时，算法运行时长与帧数成正比例，表3中记录均为4帧条件下的实验结果。
表3
Figure BDA0002837889900000211
由表3看出，本实施例的方法相较于单帧算法，能够一次性地估计多帧目标块序列参数，相较于多帧算法，群目标数目可估计，因此算法运行时长有大幅度的提升。同时在精度方面，由于粗估计模块对参数的搜索空间的约束作用，能够更准确地收敛于全局最优点，实现较好的精度。
本实施例中，群目标位置误差随迭代次数的变化曲线如图6中的(a)所示；假设群目标中目标个数已知的情况下，不进行亚像素位移估计和群目标在第一帧目标块中位置估计的情况下，直接进行空间邻近群目标超分辨时，群目标误差随迭代次数的变化曲线如图6中的(b)所示。从图6中可以看出，本实施例方法在t＝130时即可认为收敛，在缺少粗估计的约束条件下，超分辨结果在t＝320时才收敛；且粗估计提供的约束信息能够使参数更好地收敛于全局最优点，精度更高。
实施例2：
一种计算机可读存储介质，包括存储的计算机程序；
计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1提供的基于多帧观测信息的空间邻近群目标超分辨方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多帧观测信息的空间邻近群目标超分辨方法，其特征在于，包括：
目标块筛选步骤：获得群目标分布均匀的N帧目标块；
亚像素位移估计步骤：估计所述N帧目标块中，各帧目标块相对于第一帧目标块的亚像素位移
Figure FDA0003816686410000011
群目标规模估计步骤：拟合各帧目标块对应的高分辨率目标块
Figure FDA0003816686410000012
以第一帧高分辨率目标块
Figure FDA0003816686410000013
为参考，依据所述亚像素位移
Figure FDA0003816686410000014
将各高分辨率目标块对齐后进行像素级叠加，得到高分辨率目标块IH，筛选出其中灰度值大于预设的第一阈值的局部极值点；将筛选出的局部极值点个数K确定为群目标中的目标个数，并利用筛选出的K个局部极值点的位置构建所述群目标在第一帧目标块中的位置
Figure FDA0003816686410000015
超分辨寻优步骤：建立超分辨目标函数，其约束条件为：任意第i帧目标块Ii中各像素对于所述群目标中K个目标的响应gi与所述群目标在所述第i帧目标块Ii的位置
Figure FDA0003816686410000016
有关，且
Figure FDA0003816686410000017
求解所述超分辨目标函数，得到所述群目标中各目标在各帧目标块中的位置；
其中，i表示帧序号，i＝1，2，…，N；所述超分辨目标函数如下：
Figure FDA0003816686410000018
Figure FDA0003816686410000019
Figure FDA0003816686410000021
Figure FDA0003816686410000022
其中，zi表示所述第i帧目标块Ii像素值列向量化后的UV×1维矩阵；gi表示所述第i帧目标块Ii中各像素对于所述群目标中K个目标的响应，为UV×K维矩阵；U表示目标块行数，V表示目标块列数，u表示行序号，v表示列序号，u＝1，2，…U，v＝1，2，…V；k表示所述群目标中的目标序号，k＝1，2，…K，xi，k表示第i帧目标块中第k个目标在目标块中x方向的横坐标，yi，k表示第i帧目标块中第k个目标在目标块中y方向的纵坐标，δpsf代表光学扩散函数PSF的标准差。
2.如权利要求1所述的基于多帧观测信息的空间邻近群目标超分辨方法，其特征在于，所述超分辨目标函数对应的寻优函数为：
Figure FDA0003816686410000023
其中，argmin表示使所述超分辨目标函数最小，n＝2，3，...，N。
3.如权利要求2所述的基于多帧观测信息的空间邻近群目标超分辨方法，其特征在于，所述超分辨寻优步骤中，采用量子粒子群优化算法求解所述超分辨目标函数；
求解过程中，参数空间维数为：DIM＝2*N*K；针对第一帧目标块的参数搜索空间为
Figure FDA0003816686410000024
针对其余第n帧目标块的搜索空间为Ωn＝{(Δxnk-δ，Δynk-δ)：(Δxnk+δ，Δynk+δ)}；
其中，(xl，yl)：(xr，yr)表示以(xl，yl)为左上角坐标、以(xr，yr)为右下角坐标的矩形空间；
Figure FDA0003816686410000025
表示向下取整，
Figure FDA0003816686410000026
表示向上取整；(xk，yk)表示所述群目标的初始位置信息
Figure FDA0003816686410000031
中，第k个目标的位置；(Δxnk，Δynk)表示第k个目标在第n帧目标块中的位置相对于其在第1帧目标块中的位置的亚像素位移；δ为预设的裕量，δ＞0。
4.如权利要求3所述的基于多帧观测信息的空间邻近群目标超分辨方法，其特征在于，更新粒子位置时，加入搜索空间约束信息，该搜索空间为：
Ω＝{Ω1，Ωn}，n＝2，3，...，N
在搜索过程中，当任意粒子在当前迭代后的位置不在搜索空间Ω内时，对粒子的位置进行修正，修正公式如下：
Xi(t+1)＝(maxbound-minbound)*Rand(t+1)+minbound
其中，minbound和maxbound分别是搜索空间的最小边界值和最大边界值，t表示当前迭代，Xi(t+1)表示各粒子在当前迭代后修正的新位置，Rand(t+1)随机取-1或1。
5.如权利要求1-4任一项所述的基于多帧观测信息的空间邻近群目标超分辨方法，其特征在于，所述亚像素位移估计步骤中，估计所述N帧目标块中，各帧目标块相对于第一帧目标块的亚像素位移
Figure FDA0003816686410000032
其方式为：
将各帧目标块转换至频域下，计算各帧目标块在频域下相对于第一帧目标块的相角差异；
将各帧目标块在频域下相对于第一帧目标块的相角差异转换至空域下，得到各帧目标块相对于第一帧目标块的亚像素位移
Figure FDA0003816686410000033
6.如权利要求5所述的基于多帧观测信息的空间邻近群目标超分辨方法，其特征在于，所述亚像素位移估计步骤包括：
(S1)对各帧目标块分别做二维离散傅里叶变换，将各帧目标块转换至频域下，并以第一帧目标块I1作为参考目标块，将变换后的各帧目标块平移到图像中心，得到第一帧目标块傅里叶变换并中心化后的矩阵F1及第n帧目标块傅里叶变换并中心化后的矩阵Fn；
(S2)定义矩阵Qn＝Fn/F1，将Qn写为复数形式，Qn＝Rn+hSn，根据
Figure FDA0003816686410000041
得到第n帧相对参考帧的相位差矩阵An；
(S3)选取以相位差矩阵An的中心
Figure FDA0003816686410000042
为中心、大小为m*m的矩阵，并进行列向量化，得到矩阵Bn；利用矩阵Bn中各元素的坐标构成矩阵Cn；
(S4)对矩阵Cn做QR分解，得到Cn＝CQn*CRn，依据分解结果，估计第n帧目标块相对于第1帧目标块的亚像素位移为：
Figure FDA0003816686410000043
其中，U代表目标块行数，V代表目标块列数，u表示行序号，v表示列序号，u＝1，2，…U，v＝1，2，…V；m为预设的正整数；Δxn和Δyn分别表示第n帧目标块相对于第1帧目标块在x方向和y方向上的亚像素位移，n＝2，3，...，N。
7.如权利要求1-4任一项所述的基于多帧观测信息的空间邻近群目标超分辨方法，其特征在于，所述群目标规模估计步骤包括：
通过插值拟合得到各帧目标块对应的高分辨率目标块
Figure FDA0003816686410000044
将以第一帧高分辨率目标块
Figure FDA0003816686410000045
为参考，依据所述亚像素位移
Figure FDA0003816686410000046
将各高分辨率目标块对齐，得到高分辨率目标块
Figure FDA0003816686410000047
为：
Figure FDA0003816686410000048
将对齐后的高分辨率目标块
Figure FDA0003816686410000049
依帧进行像素级叠加，得到高分辨率目标块IH为：
Figure FDA00038166864100000410
遍历所述高分辨率目标块IH中的像素，找出其中的局部极值点，并筛选出其中灰度值大于预设的第一阈值的局部极值点，将筛选出的局部极值点的个数K确定为所述群目标中的目标个数，并利用所述选取的K个局部极值点的位置构建所述群目标在第一帧目标块中的位置
Figure FDA0003816686410000051
为：
Figure FDA0003816686410000052
其中，Δxi和Δyi分别表示第i帧目标块相对于第1帧目标块在x方向和y方向上的亚像素位移，nsize表示经过插值拟合得到的高分辨率目标块相对于原始的目标块的放大倍数；k表示所述群目标中的目标序号，k＝1，2，…K；(pxk，pyk)表示筛选出的第k个局部极值点的位置坐标，(xk，yk)表示估计的第k个目标在第1帧目标块中的位置。
8.如权利要求1-4任一项所述的基于多帧观测信息的空间邻近群目标超分辨方法，其特征在于，所述目标块筛选步骤包括：
对于任意一帧目标块I，计算其中的最大灰度值为：
Emax＝max(I(u，v))，u＝1，2，...U，v＝1，2，...，V
计算所述目标块中的灰度和为：
Figure FDA0003816686410000053
按照
Figure FDA0003816686410000054
计算所述目标块的筛选系数β，若β≤Th，则保留所述目标块I，否则，舍弃所述目标块I；
其中，U代表目标块行数，V代表目标块列数，u表示行序号，v表示列序号，u＝1，2，…U，v＝1，2，…V；Th表示预设的阈值。
9.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；
所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-8任一项所述的基于多帧观测信息的空间邻近群目标超分辨方法。
CN202011482114.6A 2020-12-15 2020-12-15 一种基于多帧观测信息的空间邻近群目标超分辨方法 Active CN112508788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011482114.6A CN112508788B (zh) 2020-12-15 2020-12-15 一种基于多帧观测信息的空间邻近群目标超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011482114.6A CN112508788B (zh) 2020-12-15 2020-12-15 一种基于多帧观测信息的空间邻近群目标超分辨方法

Publications (2)

Publication Number Publication Date
CN112508788A CN112508788A (zh) 2021-03-16
CN112508788B true CN112508788B (zh) 2022-10-28

Family

ID=74972296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011482114.6A Active CN112508788B (zh) 2020-12-15 2020-12-15 一种基于多帧观测信息的空间邻近群目标超分辨方法

Country Status (1)

Country Link
CN (1) CN112508788B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439474B (zh) * 2022-11-07 2023-01-24 山东天意机械股份有限公司 一种电力设备故障快速定位方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
GB201313681D0 (en) * 2013-07-31 2014-01-08 Mbda Uk Ltd Image processing
CN106920214B (zh) * 2016-07-01 2020-04-14 北京航空航天大学 空间目标图像超分辨率重建方法
CN107680040A (zh) * 2017-09-26 2018-02-09 北京空间飞行器总体设计部 一种基于贝叶斯准则的多帧盲卷积超分辨重建方法及装置
CN111208513B (zh) * 2020-01-15 2023-03-31 西安电子科技大学 空间目标isar图像序列能量反向投影与三维重构方法
CN111311490B (zh) * 2020-01-20 2023-03-21 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法

Also Published As

Publication number Publication date
CN112508788A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
US8457411B2 (en) Method and device for determining the position of an edge of a marker structure with subpixel accuracy in an image, having a plurality of pixels, of the marker structure
US20110037894A1 (en) Enhanced image and video super-resolution processing
JP2000149029A (ja) デジタル画像のサブピクセル・アライメント方法
CN109191511B (zh) 一种基于卷积神经网络的双目立体匹配方法
US20170178293A1 (en) Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
CN112488975B (zh) 一种非均匀阵列探测激光光斑图像的复原显示方法
CN109685838A (zh) 基于超像素分割的图像弹性配准方法
CN112508788B (zh) 一种基于多帧观测信息的空间邻近群目标超分辨方法
US20210239952A1 (en) Method, computer program product, computer-readable medium and system for scanning partial regions of a sample using a scanning microscope
US11728130B2 (en) Method of recording an image using a particle microscope
JP6830712B1 (ja) ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法
CN109035363B (zh) 一种快速迭代的线圆最优拟合方法
Zibetti et al. Determining the regularization parameters for super-resolution problems
CN106920213B (zh) 一种高分辨率图像的获取方法及系统
CN112330549B (zh) 一种基于盲解卷积网络的模糊图像盲复原方法及系统
CN115953299A (zh) 一种红外遥感图像超分辨率方法及系统
CN113506212B (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法
CN109886988A (zh) 一种微波成像仪定位误差的度量方法、系统、装置及介质
CN115937302A (zh) 结合边缘保持的高光谱图像亚像元定位方法
JP6661491B2 (ja) 画像処理装置および画像処理方法
CN115115520A (zh) 一种具有提高图像清晰度和分辨率的图像成像方法
Sun et al. Accuracy improvement of 3D-profiling for HAR features using deep learning
CN112797917A (zh) 一种高精度的数字散斑干涉相位定量测量方法
CN104346780A (zh) 基于位相相异的盲去卷积图像复原方法
Luong et al. Total least square kernel regression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant