CN110097509B - 一种局部运动模糊图像的复原方法 - Google Patents

一种局部运动模糊图像的复原方法 Download PDF

Info

Publication number
CN110097509B
CN110097509B CN201910232779.2A CN201910232779A CN110097509B CN 110097509 B CN110097509 B CN 110097509B CN 201910232779 A CN201910232779 A CN 201910232779A CN 110097509 B CN110097509 B CN 110097509B
Authority
CN
China
Prior art keywords
image
background
blurred
target
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910232779.2A
Other languages
English (en)
Other versions
CN110097509A (zh
Inventor
崔光茫
叶晓杰
赵巨峰
朱礼尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huicui Intelligent Technology Co ltd
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910232779.2A priority Critical patent/CN110097509B/zh
Publication of CN110097509A publication Critical patent/CN110097509A/zh
Application granted granted Critical
Publication of CN110097509B publication Critical patent/CN110097509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像复原技术领域，具体涉及一种局部运动模糊图像的复原方法，包括以下步骤：A)获得编码曝光的最优快门序列S；B)计算运动目标的PSF像移尺度估计值d；C)采集背景图像G，计算背景图像G与待复原的模糊图像F的差值图像H，
Figure DDA0002007248380000011
D)将差值图像H二值化后作为模板图H′，将模板图H′与F、G分别进行模板运算，得到目标提取图像F′和背景图像P；E)
Figure DDA0002007248380000012
获得
Figure DDA0002007248380000013
F)使用基于student‑t约束的复原方法，得到运动目标清晰图像
Figure DDA0002007248380000014
G)将运动目标清晰图像
Figure DDA0002007248380000015
和背景图像P融合，获得复原图像
Figure DDA0002007248380000016
本发明具有迭代次数少，复原快的技术效果。

Description

一种局部运动模糊图像的复原方法
技术领域
本发明涉及图像复原技术领域，具体涉及一种局部运动模糊图像的复原方法。
背景技术
运动模糊是光学成像过程中经常会遇到的问题，其产生的原因是在相机曝光过程中由于被拍摄物和相机之间发生了相对位移，造成获取图像的运动模糊，降低了图像分辨率，极大的影响了成像质量。运动模糊图像复原技术，就是在不重新对目标景物拍摄的前提下，利用已有的运动模糊图像，通过对成像物理过程建模和数学求解，将模糊图像恢复为清晰图像，其在民用和军事等领域有着重要的应用价值。
在场景成像获取过程中，对于传统相机曝光模式来说，其相机快门在曝光过程中始终处于开启状态，相当于在时间域上定义了一个盒状滤波器和场景图像进行卷积。在频域上分析可近似为一个低通滤波器，这极大破坏了图像中的高频信息。同时由于外界噪声的加入，使得通过反卷积进行图像的运动模糊复原成为一个病态性问题。编码曝光（CodedExposure, CE）成像技术是Raskar等人在2006年提出的一种计算成像手段，其核心思想是通过在相机曝光过程中预设特定的二进制编码序列来控制相机快门的开启和闭合。相较于传统的相机曝光模式，相当于在时间域上设定了一个宽带滤波器，从频域率分析来看，使得在图像获取过程中尽可能多的保留中高频信息，消除了在频域上的零点部分，实现了复原的可逆化，大大的改善了模糊图像复原的病态性问题。
此外，运动目标场景拍摄时，会出现背景清晰、目标运动的局部运动模糊。大部分的模糊复原算法都是针对全局图像进行模糊复原，并未考虑局部运动模糊复原问题中PSF的空间非一致性。若直接采用全局模糊复原算法，会使得复原图像的背景产生严重的振铃效应，影响了复原图像的质量。需要引入局部运动模糊复原方法，对运动模糊区域和背景清晰区域分别进行处理，以期获得高质量的复原图像。
中国专利CN101504765B，公开日2011年6月8日，一种采用梯度融合技术的运动模糊图像序列的复原方法。其先计算出局部图像中的物体透明度，然后估计模糊退化函数，最后反卷积复原的过程中加入了梯度融合技术消除伪迹的影响。其使用了梯度融合技术来消除反卷积过程中引入的傅立叶振铃伪迹，较以往的复原方法的效果有所提高。但其迭代次数较多，所需复原时间长。
发明内容
本发明要解决的技术问题是：目前的局部运动模糊图像复原方法效果较差或者迭代次数多的技术问题。提出了一种快速迭代的具有较好清晰度和信噪比的局部运动模糊图像的复原方法。
为解决上述技术问题，本发明所采取的技术方案为：一种局部运动模糊图像的复原方法，适用于由编码曝光相机采集的局部运动模糊图像，包括以下步骤：A）获得编码曝光的最优快门序列
Figure DEST_PATH_IMAGE002
；B）计算运动目标的PSF像移尺度估计值
Figure DEST_PATH_IMAGE004
；C）采集背景图像
Figure DEST_PATH_IMAGE006
，计算背景图像
Figure 909420DEST_PATH_IMAGE006
与待复原的模糊图像
Figure DEST_PATH_IMAGE008
的差值图像
Figure DEST_PATH_IMAGE010
,
Figure DEST_PATH_IMAGE012
,
Figure DEST_PATH_IMAGE014
表示矩阵的异或计算；D）将差值图像
Figure 715309DEST_PATH_IMAGE010
二值化后作为模板图
Figure DEST_PATH_IMAGE016
，将模板图
Figure 308095DEST_PATH_IMAGE016
与模糊图像
Figure 172146DEST_PATH_IMAGE008
进行模板运算，得到目标提取图像
Figure DEST_PATH_IMAGE018
,将模板图
Figure 314414DEST_PATH_IMAGE016
与背景图像
Figure 979620DEST_PATH_IMAGE006
进行模板运算，得到背景图像
Figure DEST_PATH_IMAGE020
；E）将目标提取图像
Figure 449915DEST_PATH_IMAGE018
表示为：
Figure DEST_PATH_IMAGE022
，其中，
Figure DEST_PATH_IMAGE024
为待求解的运动目标图像，
Figure DEST_PATH_IMAGE026
为目标提取图像
Figure 762997DEST_PATH_IMAGE018
中背景像素被运动目标遮挡的时间占曝光时间的百分比，
Figure DEST_PATH_IMAGE028
，获得
Figure 979346DEST_PATH_IMAGE024
；F）针对步骤E获得的运动目标图像
Figure 441551DEST_PATH_IMAGE024
，使用基于student-t约束的复原方法，得到运动目标清晰图像
Figure DEST_PATH_IMAGE030
；G）将运动目标清晰图像
Figure 366520DEST_PATH_IMAGE030
和背景图像
Figure 837952DEST_PATH_IMAGE020
融合，获得复原图像
Figure DEST_PATH_IMAGE032
。
作为优选，在步骤A中使用遗传搜索算法，获得编码曝光的最优快门序列
Figure DEST_PATH_IMAGE034
，目标函数为
Figure DEST_PATH_IMAGE036
，其中，
Figure DEST_PATH_IMAGE038
、
Figure DEST_PATH_IMAGE040
为权重系数函数，
Figure DEST_PATH_IMAGE042
表示傅里叶变换，
Figure DEST_PATH_IMAGE044
表示快门序列S傅里叶变换的频域幅值，函数
Figure DEST_PATH_IMAGE046
表示计算方差，
Figure DEST_PATH_IMAGE048
，其中
Figure DEST_PATH_IMAGE050
，
Figure DEST_PATH_IMAGE052
为序列长度，其值由人工设定。
作为优选，步骤B中，获得PSF像移尺度估计值
Figure 922190DEST_PATH_IMAGE004
的方法为：
Figure DEST_PATH_IMAGE054
，其中，
Figure DEST_PATH_IMAGE056
为运动目标速度的估计值，由人工确定，
Figure DEST_PATH_IMAGE058
为物方成像距离，
Figure DEST_PATH_IMAGE060
为相机焦距，
Figure DEST_PATH_IMAGE062
为相机感光器像素尺寸，
Figure DEST_PATH_IMAGE064
为相机曝光时间，PSF像移尺度估计值
Figure 1967DEST_PATH_IMAGE004
的单位为像素。
作为优选，步骤D中，将差值图像
Figure 102647DEST_PATH_IMAGE010
二值化的方法为：设置阈值
Figure DEST_PATH_IMAGE066
,
Figure DEST_PATH_IMAGE068
，其中，
Figure DEST_PATH_IMAGE070
，
Figure DEST_PATH_IMAGE072
为图像的像素尺寸。
作为优选，步骤E中，获得目标提取图像
Figure 299142DEST_PATH_IMAGE018
中背景像素被运动目标遮挡的时间占曝光时间的百分比
Figure 677034DEST_PATH_IMAGE026
的方法为：
Figure DEST_PATH_IMAGE074
，其中，
Figure DEST_PATH_IMAGE076
，
Figure DEST_PATH_IMAGE078
为图像的像素行数，
Figure DEST_PATH_IMAGE080
，区域
Figure DEST_PATH_IMAGE082
和
Figure DEST_PATH_IMAGE084
表示，在运动方向上目标图像区域与背景交界处的两侧区域，所述两侧区域会各有d 个像素的运动目标与背景像素的叠加区域，
Figure DEST_PATH_IMAGE086
，
Figure DEST_PATH_IMAGE088
，
Figure DEST_PATH_IMAGE090
为近似取整运算。
作为优选，步骤F中，使用基于student-t约束的复原方法，得到运动目标清晰图像
Figure 120522DEST_PATH_IMAGE030
的方法包括以下步骤：F1）建立马尔可夫专家场模型：
Figure DEST_PATH_IMAGE092
，其中，
Figure 911761DEST_PATH_IMAGE030
为待获得的清晰图像，
Figure DEST_PATH_IMAGE094
为PSF像移尺度估计值，
Figure DEST_PATH_IMAGE096
、
Figure DEST_PATH_IMAGE098
和
Figure DEST_PATH_IMAGE100
分别为各约束项的正则化系数，
Figure DEST_PATH_IMAGE102
为势函数正则化系数，
Figure DEST_PATH_IMAGE104
，
Figure DEST_PATH_IMAGE106
，
Figure DEST_PATH_IMAGE108
，
Figure DEST_PATH_IMAGE110
为专家场模型的滤波器矩阵，
Figure 119405DEST_PATH_IMAGE096
、
Figure 86224DEST_PATH_IMAGE098
以及
Figure 451346DEST_PATH_IMAGE100
的取值越大时，图像复原细节更锐化，但同时会加大复原图像的噪声，
Figure DEST_PATH_IMAGE112
，
Figure DEST_PATH_IMAGE114
分别为水平和竖直方向的变分梯度算子；F2）将步骤B获得的PSF像移尺度估计值
Figure 900520DEST_PATH_IMAGE004
作为
Figure 986288DEST_PATH_IMAGE094
的初始值，使用进化算法迭代若干次，直到
Figure 417400DEST_PATH_IMAGE030
取得局部或全局最优解。
作为优选，
Figure 953424DEST_PATH_IMAGE110
为5x5的高斯滤波器矩阵，
Figure DEST_PATH_IMAGE116
，
Figure DEST_PATH_IMAGE118
。
作为优选，步骤G中，将运动目标清晰图像
Figure 754807DEST_PATH_IMAGE030
和背景图像
Figure 988474DEST_PATH_IMAGE020
融合的方法为：
Figure DEST_PATH_IMAGE120
，其中，
Figure DEST_PATH_IMAGE122
指完全没有被运动目标遮挡的背景图像
Figure 444732DEST_PATH_IMAGE020
的区域，
Figure DEST_PATH_IMAGE124
表示运动目标图像
Figure 354919DEST_PATH_IMAGE030
与背景图像
Figure 122892DEST_PATH_IMAGE020
交界处的模糊的区域，
Figure DEST_PATH_IMAGE126
表示运动目标中心的不模糊区域，
Figure DEST_PATH_IMAGE128
，
Figure DEST_PATH_IMAGE130
，其中，
Figure 550463DEST_PATH_IMAGE070
，
Figure 80801DEST_PATH_IMAGE072
为图像的像素尺寸，区域
Figure DEST_PATH_IMAGE132
以及区域为目标图像
Figure 411157DEST_PATH_IMAGE030
与背景图像
Figure 682739DEST_PATH_IMAGE020
交界处沿横轴方向的两侧的模糊的交界区域。
本发明的实质性效果是：利用编码曝光模式进行模糊图像采集，采用背景差分法进行目标初次提取，再综合编码曝光运动模糊叠加特性和运动先验信息，实现运动模糊目标区域的精确提取，结合student-t复原算法进行PSF精确估计和复原重建，迭代2-3次后通常可得到复原结果，迭代次数少，复原效率高。在本发明中，需要输入一幅场景背景图像和一幅局部运动目标模糊图像，从而得到复原效果较好的全局清晰图像。本发明可应用于运动目标探测、医学图像处理、遥感成像等领域，在图像处理场合有重要的应用价值。
附图说明
图1为实施例一复原方法流程图。
图2为实施例一成像场景背景图。
图3为实施例一目标局部运动模糊图像。
图4为实施例一运动目标区域模板图。
图5为实施例一运动目标提取图像。
图6为实施例一局部运动模糊复原结果。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。
实施例一：
一种局部运动模糊图像的复原方法，针对局部运动模糊复原问题，从模糊图像获取和复原方案设计角度出发，提出了基于编码曝光和运动先验信息的局部运动模糊复原方法，其主要思路是：
1.采用背景差分法进行目标提取，综合编码曝光运动模糊的叠加特性，引入了“抠图”的思想来分离出模糊目标边缘的背景像素，实现运动模糊目标区域的精确提取；
2.引入编码曝光成像理论模型，考虑了编码曝光中码字序列频域幅值曲线的最小值和方差，建立了最优码字选取的适应度函数准则；通过物像关系，获得运动目标PSF像移尺度初步估计参数，作为运动先验信息。引入基于贝叶斯最大后验概率框架的student-t复原算法进行PSF精确估计和复原重建，快速迭代得到复原结果。
如图1所示，本实施例包括以下步骤：
A）对于线性匀速运动的局部运动模糊成像场景，利用编码曝光相机采集运动图像，获得目标区域模糊，背景清晰的局部运动模糊图像。其中，编码曝光最优快门序列的确定准则定义为：
Figure 179579DEST_PATH_IMAGE036
，其中，
Figure 502107DEST_PATH_IMAGE038
、
Figure 263084DEST_PATH_IMAGE040
为权重系数函数，
Figure 631749DEST_PATH_IMAGE042
表示离散傅里叶变换，
Figure 791335DEST_PATH_IMAGE044
表示快门序列S傅里叶变换的频域幅值，函数
Figure 296265DEST_PATH_IMAGE046
表示计算方差，
Figure 469889DEST_PATH_IMAGE048
，其中
Figure 450483DEST_PATH_IMAGE050
，“1”表示快门开，“0”表示快门关，
Figure 289126DEST_PATH_IMAGE052
为编码序列长度，其值由人工设定。
B）获得PSF像移尺度估计值
Figure DEST_PATH_IMAGE134
，PSF指模糊图像点扩散函数（Point SpreadFunction，PSF），对于线性匀速运动目标，其运动速度估计为
Figure DEST_PATH_IMAGE136
，结合成像系统物像关系，物方成像距离为
Figure DEST_PATH_IMAGE138
，相机焦距为
Figure DEST_PATH_IMAGE140
，传感器像素尺寸为
Figure DEST_PATH_IMAGE142
，则在相机曝光时间
Figure DEST_PATH_IMAGE144
内，运动目标PSF像移尺度估计值
Figure 271732DEST_PATH_IMAGE134
可以表示为：
Figure DEST_PATH_IMAGE146
，像移尺度
Figure 131104DEST_PATH_IMAGE134
的单位是像素，表示线性运动模糊像移量，该估计值作为后续复原算法输入的运动先验信息。
C）对于成像场景，利用编码曝光模式分别拍摄采集一幅背景图像
Figure 474361DEST_PATH_IMAGE006
和一幅待复原的目标运动局部模糊图像
Figure 54378DEST_PATH_IMAGE008
，计算两者的差值图像
Figure 799480DEST_PATH_IMAGE010
，表示为：
Figure DEST_PATH_IMAGE147
,
Figure 770365DEST_PATH_IMAGE014
表示矩阵的异或计算。图2为成像场景背景清晰图。图3为目标局部运动模糊图像，运动目标为匀速直线运动，运动速度为40mm/s, 利用编码曝光方式采集图像，所选用的码字序列为11110001101000100110101010011011，码字长度为32。
D）设置阈值
Figure 444928DEST_PATH_IMAGE066
，将差值图像
Figure 953269DEST_PATH_IMAGE010
二值化后作为模板图
Figure 897086DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE148
，其中，
Figure DEST_PATH_IMAGE149
，
Figure DEST_PATH_IMAGE150
为图像的像素尺寸。模板图
Figure 206582DEST_PATH_IMAGE016
表示了所提取的运动目标区域，将其与模糊图像
Figure 134218DEST_PATH_IMAGE008
进行模板运算，得到目标提取图像
Figure 852775DEST_PATH_IMAGE018
，表示为：
Figure DEST_PATH_IMAGE152
，其中“
Figure DEST_PATH_IMAGE154
”表示模板运算，模板运算为图像处理中常用的成熟的运算，在此不做展开。
Figure 211950DEST_PATH_IMAGE020
为背景
Figure 115184DEST_PATH_IMAGE006
与模板图
Figure 733378DEST_PATH_IMAGE016
进行模板运算得到的背景图像，
Figure DEST_PATH_IMAGE156
。
E）对于所提取的目标区域图像
Figure 114681DEST_PATH_IMAGE018
，其模型可以表示为：
Figure DEST_PATH_IMAGE158
，其中
Figure DEST_PATH_IMAGE160
表示清晰目标图像，
Figure 62783DEST_PATH_IMAGE026
为目标提取图像
Figure 12285DEST_PATH_IMAGE018
中背景像素被运动目标遮挡的时间占曝光时间的百分比。在忽略噪声的影响下，可以表示为
Figure DEST_PATH_IMAGE161
，
Figure 711250DEST_PATH_IMAGE024
为待求解的运动目标图像。
Figure DEST_PATH_IMAGE162
，其中，
Figure DEST_PATH_IMAGE163
，
Figure 276005DEST_PATH_IMAGE078
为图像的像素行数，
Figure DEST_PATH_IMAGE164
，区域
Figure DEST_PATH_IMAGE165
和
Figure DEST_PATH_IMAGE166
表示，在运动方向上目标图像区域与背景交界处的两侧区域，所述两侧区域会各有
Figure 571289DEST_PATH_IMAGE134
个像素的运动目标与背景像素的叠加区域，
Figure DEST_PATH_IMAGE167
，
Figure DEST_PATH_IMAGE168
，
Figure DEST_PATH_IMAGE169
为近似取整运算。计算图像
Figure 737697DEST_PATH_IMAGE018
每一行
Figure 517434DEST_PATH_IMAGE026
值，按行计算后拼接获得
Figure DEST_PATH_IMAGE171
。
F）针对步骤E所提取获得的局部运动模糊图像
Figure 53589DEST_PATH_IMAGE024
，引入基于student-t约束的PSF估计和图像复原算法，结合运动先验信息，复原得到局部区域清晰图像。基于student-t约束复原方法利用了马尔可夫专家场模型，对于图像进行建模，复原问题可以表示为：
Figure DEST_PATH_IMAGE172
，其中，
Figure 399120DEST_PATH_IMAGE030
为待获得的清晰图像，
Figure 798746DEST_PATH_IMAGE094
为PSF像移尺度估计值，
Figure 534621DEST_PATH_IMAGE096
、
Figure 592576DEST_PATH_IMAGE098
和
Figure 464717DEST_PATH_IMAGE100
分别为各约束项的正则化系数，
Figure 864605DEST_PATH_IMAGE102
为势函数正则化系数，
Figure DEST_PATH_IMAGE173
，
Figure DEST_PATH_IMAGE174
，
Figure DEST_PATH_IMAGE175
，
Figure DEST_PATH_IMAGE176
为专家场模型的滤波器矩阵，
Figure 133781DEST_PATH_IMAGE096
、
Figure 605214DEST_PATH_IMAGE098
以及
Figure 597441DEST_PATH_IMAGE100
的取值越大时，图像复原细节更锐化，但同时会加大复原图像的噪声，
Figure 875887DEST_PATH_IMAGE112
，
Figure 179830DEST_PATH_IMAGE114
分别为水平和竖直方向的变分梯度算子；将步骤B获得的PSF像移尺度估计值
Figure 923795DEST_PATH_IMAGE004
作为
Figure 911473DEST_PATH_IMAGE094
的初始值，使用进化算法迭代若干次，直到
Figure 715481DEST_PATH_IMAGE030
取得局部或全局最优解。通常经过2-3次迭代，就可快速得到复原结果。
Figure DEST_PATH_IMAGE178
为5x5的高斯滤波器矩阵，
Figure DEST_PATH_IMAGE180
，
Figure DEST_PATH_IMAGE182
。
G）采用距离加权融合方法，对于局部清晰图像
Figure 146200DEST_PATH_IMAGE030
和背景图像
Figure 303643DEST_PATH_IMAGE020
进行融合，实现目标区域像素和背景边界像素的合理过渡，得到最终全局复原图像。
Figure DEST_PATH_IMAGE184
其中，
Figure DEST_PATH_IMAGE186
指完全没有被运动目标遮挡的背景图像
Figure DEST_PATH_IMAGE188
的区域，
Figure DEST_PATH_IMAGE190
表示运动目标图像
Figure DEST_PATH_IMAGE192
与背景图像
Figure 847626DEST_PATH_IMAGE188
交界处的模糊的区域，
Figure DEST_PATH_IMAGE194
表示运动目标中心的不模糊区域，
Figure DEST_PATH_IMAGE196
，
Figure DEST_PATH_IMAGE198
，其中，
Figure DEST_PATH_IMAGE200
，
Figure DEST_PATH_IMAGE202
为图像的像素尺寸，区域
Figure DEST_PATH_IMAGE204
以及区域
Figure DEST_PATH_IMAGE206
为目标图像
Figure 916728DEST_PATH_IMAGE192
与背景图像
Figure 398525DEST_PATH_IMAGE188
交界处沿横轴方向的两侧的模糊的交界区域。
如图4所示，为运动目标区域模板图，能够完整有效的提取目标区域，分割边缘较为准确，能够为后续局部图像复原提供较好的基础。图5为所提取出的精确的运动目标区域图像。针对该区域图像，进行局部复原，并将复原结果融合放入原模糊图像对应区域，得到最终的整体局部运动模糊复原结果，如图6所示。从图6结果可以看到，复原图像有效的保护了背景信息不被破坏，防止了目标边缘像素和背景的相互影响，视觉效果好。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (8)

1.一种局部运动模糊图像的复原方法，适用于由编码曝光相机采集的局部运动模糊图像，其特征在于，
包括以下步骤：
A)获得编码曝光的最优快门序列S；
B)计算运动目标的PSF像移尺度估计值d；
C)采集背景图像G，计算背景图像G与待复原的模糊图像F的差值图像H，
Figure FDA0002939564110000011
Figure FDA0002939564110000012
表示矩阵的异或计算；
D)将差值图像H二值化后作为模板图H′，将模板图H′与模糊图像F进行模板运算，得到目标提取图像F′，将模板图H′与背景图像G进行模板运算，得到背景图像P；
E)将目标提取图像F′表示为：
Figure FDA0002939564110000013
其中，
Figure FDA0002939564110000014
为待求解的运动目标图像，Γ为目标提取图像F′中背景像素被运动目标遮挡的时间占曝光时间的百分比，P＝G*H′，获得
Figure FDA0002939564110000015
F)针对步骤E获得的运动目标图像
Figure FDA0002939564110000016
使用基于student-t约束的复原方法，得到运动目标清晰图像
Figure FDA0002939564110000017
G)将运动目标清晰图像
Figure FDA0002939564110000018
和背景图像P融合，获得复原图像
Figure FDA0002939564110000019
2.根据权利要求1所述的一种局部运动模糊图像的复原方法，其特征在于，
在步骤A)中使用遗传搜索算法，获得编码曝光的最优快门序列S，目标函数为max F＝α1min(|F(S)|)+α2var(1/|F(S)|)，其中，α1、α2为权重系数函数，F()表示傅里叶变换，|F(S)|表示快门序列S傅里叶变换的频域幅值，函数var()表示计算方差，S＝[S1，S2，...，Sl]，其中Si，i∈[1，l]∈{0，1}，l为编码序列长度，其值由人工设定。
3.根据权利要求1或2所述的一种局部运动模糊图像的复原方法，其特征在于，步骤B)中，获得PSF像移尺度估计值d的方法为：
Figure FDA00029395641100000110
其中，v为运动目标速度的估计值，由人工确定，L为物方成像距离，f为相机焦距，M为相机感光器像素尺寸，t为相机曝光时间，PSF像移尺度估计值d的单位为像素。
4.根据权利要求1或2所述的一种局部运动模糊图像的复原方法，其特征在于，步骤D)中，将差值图像H二值化的方法为：
设置阈值T，
Figure FDA00029395641100000111
其中，x∈[1，m]，y∈[1，n]，m×n为图像的像素尺寸。
5.根据权利要求2所述的一种局部运动模糊图像的复原方法，其特征在于，
步骤E)中，获得目标提取图像F′中背景像素被运动目标遮挡的时间占曝光时间的百分比Γ的方法为：
Figure FDA0002939564110000021
其中，j∈[1，n]，n为图像的像素行数，Γ＝{Γ1，Γ2，...，Γn}T，区域
Figure FDA0002939564110000022
和
Figure FDA0002939564110000023
表示，在运动方向上目标图像区域与背景交界处的两侧区域，所述两侧区域会各有d个像素的运动目标与背景像素的叠加区域，
Figure FDA0002939564110000024
round为近似取整运算。
6.根据权利要求1或2所述的一种局部运动模糊图像的复原方法，其特征在于，步骤F)中，使用基于student-t约束的复原方法，得到运动目标清晰图像
Figure FDA0002939564110000025
的方法包括以下步骤：
F1)建立马尔可夫专家场模型：
Figure FDA0002939564110000026
Figure FDA0002939564110000027
其中，
Figure FDA0002939564110000028
为待获得的清晰图像，h为PSF像移尺度估计值，λ、η和ξ分别为各约束项的正则化系数，σ为势函数正则化系数，λ∈[300，1500]，η∈[50，150]，ξ∈(0，1)，
Figure FDA0002939564110000029
为专家场模型的滤波器矩阵，λ、η以及ξ的取值越大时，图像复原细节更锐化，但同时会加大复原图像的噪声，d1，d2分别为水平和竖直方向的变分梯度算子；
F2)将步骤B获得的PSF像移尺度估计值d作为h的初始值，使用进化算法迭代若干次，直到
Figure FDA00029395641100000210
取得局部或全局最优解。
7.根据权利要求6所述的一种局部运动模糊图像的复原方法，其特征在于，
Figure FDA00029395641100000211
为5x5的高斯滤波器矩阵，ξ＝0.2，σ＝5。
8.根据权利要求1或2所述的一种局部运动模糊图像的复原方法，其特征在于，
步骤G)中，将运动目标清晰图像
Figure FDA0002939564110000031
和背景图像P融合的方法为：
Figure FDA0002939564110000032
其中，P′指完全没有被运动目标遮挡的背景图像P的区域，
Figure FDA0002939564110000033
表示运动目标图像
Figure FDA0002939564110000034
与背景图像P交界处的模糊的区域，
Figure FDA0002939564110000035
表示运动目标中心的不模糊区域，
Figure FDA0002939564110000036
ω1(x，y)+ω2(x，y)＝1，其中，x∈[1，m]，y∈[1，n]，m×n为图像的像素尺寸，区域
Figure FDA0002939564110000037
以及区域
Figure FDA0002939564110000038
为目标图像
Figure FDA0002939564110000039
与背景图像P交界处沿横轴方向的两侧的模糊的交界区域。
CN201910232779.2A 2019-03-26 2019-03-26 一种局部运动模糊图像的复原方法 Active CN110097509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910232779.2A CN110097509B (zh) 2019-03-26 2019-03-26 一种局部运动模糊图像的复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910232779.2A CN110097509B (zh) 2019-03-26 2019-03-26 一种局部运动模糊图像的复原方法

Publications (2)

Publication Number Publication Date
CN110097509A CN110097509A (zh) 2019-08-06
CN110097509B true CN110097509B (zh) 2021-05-18

Family

ID=67443072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910232779.2A Active CN110097509B (zh) 2019-03-26 2019-03-26 一种局部运动模糊图像的复原方法

Country Status (1)

Country Link
CN (1) CN110097509B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210390A (zh) * 2019-10-15 2020-05-29 杭州电子科技大学 一种基于Golay序列互补码字集的运动模糊复原方法
CN111062895B (zh) * 2019-11-29 2022-07-12 宁波永新光学股份有限公司 一种基于多视场分割的显微图像复原方法
CN111291471B (zh) * 2020-01-17 2021-12-17 中山大学 一种基于l1正则无迹变换的约束多模型滤波方法
CN113724142B (zh) * 2020-05-26 2023-08-25 杭州海康威视数字技术股份有限公司 图像复原系统及方法
CN112508821B (zh) * 2020-12-21 2023-02-24 南阳师范学院 一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法
CN112652000B (zh) * 2020-12-30 2024-05-24 南京航空航天大学 一种针对图像小尺度运动方向判定的方法
CN115118892A (zh) * 2022-06-24 2022-09-27 维沃移动通信有限公司 图像采集方法、装置及电子设备
CN117495713B (zh) * 2024-01-02 2024-04-19 天津大学 遥感模糊图像复原方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451338B2 (en) * 2008-03-28 2013-05-28 Massachusetts Institute Of Technology Method and apparatus for motion invariant imaging
US8390704B2 (en) * 2009-10-16 2013-03-05 Eastman Kodak Company Image deblurring using a spatial image prior
US9218648B2 (en) * 2009-10-27 2015-12-22 Honeywell International Inc. Fourier domain blur estimation method and system
CN102254309B (zh) * 2011-07-27 2016-03-23 清华大学 一种基于近红外图像的运动模糊图像去模糊方法和装置
US9143687B2 (en) * 2012-03-14 2015-09-22 University Of Dayton Method of analyzing motion blur using double discrete wavelet transform
US9659350B2 (en) * 2014-01-31 2017-05-23 Morpho, Inc. Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof
CN104966274B (zh) * 2015-06-12 2019-01-29 杭州电子科技大学 一种采用图像检测与区域提取的局部模糊复原方法
CN109151332B (zh) * 2018-06-26 2020-07-28 杭州电子科技大学 基于适应度函数的相机编码曝光最优码字序列搜索方法
CN109274895A (zh) * 2018-09-25 2019-01-25 杭州电子科技大学 编码曝光成像的快速相对运动场景拍摄装置及复原方法

Also Published As

Publication number Publication date
CN110097509A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097509B (zh) 一种局部运动模糊图像的复原方法
Aittala et al. Burst image deblurring using permutation invariant convolutional neural networks
CN109190581B (zh) 图像序列目标检测识别方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
US9589328B2 (en) Globally dominant point spread function estimation
KR101664123B1 (ko) 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
Su et al. Super-resolution without dense flow
Gu et al. Blur removal via blurred-noisy image pair
CN107220945B (zh) 多重退化的极模糊图像的复原方法
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
Kim et al. Dynamic scene deblurring using a locally adaptive linear blur model
Sharif et al. DarkDeblur: Learning single-shot image deblurring in low-light condition
Liu et al. Guided image deblurring by deep multi-modal image fusion
Fazlali et al. Atmospheric turbulence removal in long-range imaging using a data-driven-based approach
CN110121016B (zh) 一种基于双重曝光先验的视频去模糊方法及装置
He et al. Feature aggregation convolution network for haze removal
Martorell et al. Variational Temporal Optical Flow for Multi-exposure Video.
Wang et al. Research on traditional and deep learning strategies based on optical flow estimation-a review
CN113222863B (zh) 基于高速铁路运行环境视频自适应去模糊方法及装置
CN115564671B (zh) 基于长短曝光图像对的自监督图像复原系统
HWANG et al. Multi-aperture image processing using deep learning
Li et al. Hybrid synthesis for exposure fusion from hand-held camera inputs
CN113470001B (zh) 一种用于红外图像的目标搜索方法
Gautam et al. Rain removal in digital images using guided filter
Tiwari et al. Enhancing Image Clarity using Deep Dehazing Architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220810

Address after: Room 406, building 19, haichuangyuan, No. 998, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: HANGZHOU HUICUI INTELLIGENT TECHNOLOGY CO.,LTD.

Address before: 310018 Xiasha Higher Education Zone, Hangzhou, Zhejiang, Jianggan District

Patentee before: HANGZHOU DIANZI University

TR01 Transfer of patent right