CN107945127A - 一种基于图像列灰度概率一致性的高速运动图像去模糊方法 - Google Patents

一种基于图像列灰度概率一致性的高速运动图像去模糊方法 Download PDF

Info

Publication number
CN107945127A
CN107945127A CN201711206204.0A CN201711206204A CN107945127A CN 107945127 A CN107945127 A CN 107945127A CN 201711206204 A CN201711206204 A CN 201711206204A CN 107945127 A CN107945127 A CN 107945127A
Authority
CN
China
Prior art keywords
mrow
msub
mtd
mtr
mover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711206204.0A
Other languages
English (en)
Other versions
CN107945127B (zh
Inventor
黄绿娥
吴禄慎
陈华伟
石雅莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201711206204.0A priority Critical patent/CN107945127B/zh
Publication of CN107945127A publication Critical patent/CN107945127A/zh
Application granted granted Critical
Publication of CN107945127B publication Critical patent/CN107945127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种基于图像列灰度概率一致性的高速运动图像去模糊方法，包括以下步骤：(1)相机前向运动模糊过程建模；(2)空间变换，降低空间维度；(3)基于列灰度一致性的图像去模糊。本发明对相机垂直于光轴单向运动所造成的图像模糊的恢复过程具有较好的效果，特别是高清相机在高速运动过程中带来的长模糊问题，空间变换大大降低问题的求解自由度，双目标使恢复过程保存了一定的差异性和整体的一致性。

Description

一种基于图像列灰度概率一致性的高速运动图像去模糊方法
技术领域
本发明涉及图像处理及概率统计计算领域，尤其是涉及基于图像列灰度概率一致性的高速运动图像去模糊方法。
背景技术
图像采集已成为信息时代一种重要的信息来源，但在机器视觉采集的过程中，由于相机相对采集目标的高速运动在长曝光时间或相对光线较弱的采集状态下，都可能会导致采集到的图像出现模糊现象。产生模糊的原因有很多，图像模糊类型分多种，如运动模糊、失焦模糊和高斯模糊等，比较传统的图像去模糊方法有RL反卷积，维纳滤波，正则化方法以及其它图像盲反卷积的方法。这些方法大多针对不同的模糊问题，其性能及处理时间各异，目前针对高速运动的实时图像去模糊问题解决的较少。本发明针对在广泛的相机应用中，高速运动相机采集到的运动图像模糊问题，采用图像相邻列灰度保持一致性及差异性的概率统计方法，进行图像去模糊，在解决高速运动相机导致的图像模糊处理结果优于现有图像去模糊方法。
为解决运动导致的图像模糊，Fergus等利用自然图像梯度服从长尾分布的先验知识构建一个概率模型，并用变分的方法来估计模糊核(Fergus,Rob,et al..Removingcamera shake from a single photograph[J].ACM Transactions on Graphics(TOG),25(3),2006.)。Levin等利用这个分布建立概率模型，然后用MAP(最大后验概率)估计模糊核(Levin A,Weiss Y,Durand F,et al..Efficient marginal likelihood optimizationin blind deconvolution.Computer Vision and Pattern Recognition[J],2011 IEEEConference on.IEEE,2011:2657-2664.)。Shan等结合图像的噪声、图像梯度及模糊核作为先验知识来去模糊并减少图像的振铃效应(Shan Qi,Jiaya Jia,and AseemAgarwala.High-quality motion deblurring from a single image[J].ACMTransactions on Graphics(TOG),27(3),ACM(2008).)。Whyte等分析运动模糊是由于相机的抖动导致的非统一化模糊，并建立了3D旋转模糊运动的模型(Whyte O,Sivic J,Zisserman A,et al..Non-uniform deblurring for shaken images[J].Internationaljournal of computer vision,2012,98(2):168-186.]。Zheng等认为运动模糊由于相机的平动比如前向及后向运动导致，并主要应用于车载相机及交通监控，建立一个基于深度变化及像素结合的模型，但不能处理所有任意运动目标，有时需手动初始化平面。(Zheng,Shicheng,Li Xu,and Jiaya Jia.Forward motion deblurring[C].Proceedings of theIEEE international conference on computer vision,2013:1465-1472.)。这些方法针对不同的问题取得了一定的去模糊效果，但是在处理真实模糊图像时仍存在如：振铃、噪声及杂痕等问题。
发明内容
本发明的目的是为解决相机快速前向运动采集的图像模糊问题，基于自然图像列灰度分布一致性及差异性并存的概率统计特性，提出一种去运动模糊的方法，能克服现有算法不能很好处理高分辨率图像及其严重运动模糊的缺点，提高运动图像的复原质量。
本发明是通过以下技术方案实现的。
本发明所述的一种基于图像列灰度概率一致性的高速运动图像去模糊的方法，包括以下步骤：
步骤(1)：相机前向运动模糊过程建模。
在无人机、无人驾驶车以及一些安全检测监控系统中，图像采集一般都采用车载相机的形式进行图像获取。本发明主要应用在车载相机采集装置上，如轨道缺陷检测相机安装在机车底部，相机中心线垂直向下，正对轨道平面拍摄。当机车带动相机以速度v水平向前运动时，相机曝光时间为T，模糊图像b(x,y)模型如下：
上式中，x、y表示像素点坐标，g(x+vt,y)为原目标图像，d为采样距离,因此模糊长度为式(1)的离散化形式为：
其中i为循环变量。令式(2)可表示为卷积形式：
其中表示卷积符号，对于上述卷积模糊中的核函数h(x,y)的求解方法很多，目前比较成熟的方法有正则化方法、贝叶斯先验估计和MAP方法等，因此也可以根据上述模糊原理估算出模糊核。
步骤(2)：空间变换，降低空间维度。
估算出模糊核后，若相机只前向运动此时y为常数，式(2)可表示为矩阵形式：
A·Gy＝By (4)
其中
式(4)中m为像素点x的采样个数，像素点y为某一固定值。从式(4)可知该方程组为一个由m个线性方程组成的m+l维方程问题，方程组有无穷多个解，即至少有l个自由基。为解决此问题，将增加l个方程，其系数矩阵A和向量By分别扩展为和
将矩阵A和向量By同时扩展到m+l维线性空间从矩阵参数可知其为m+l维的非奇异方阵，线性方程组(5)有唯一特解。
将方程两边左乘的逆矩阵得：
通过上述空间变换，则可将式(4)关于Gy的m+l维不定解问题转化为关于Sy的l维定解问题，其中自变量为：
S＝[S1,S2,…,Sn],B＝[B1,B2,…,Bn]，
由式(2)和式(6)可得：
由于则公式(2)关于维线性空间的求解问题变换为公式(7)中的维线性空间求解问题，又因为l＜＜m，该问题实现了从m维到l维的降维变换。由此减少了问题计算量，提高解的收敛性。
步骤(3)：基于列灰度一致性的图像去模糊。
一般认为，图像的模糊过程为原图像与未知的模糊核卷积的过程，而图像去模糊则为反卷积。但这个反问题是病态的，在反卷积的图像中将出现振铃效应或杂痕。同时在实际处理过程中，人工卷积得到的模糊图像与实际模糊图像有一定区别，如图1和图3所示。
由于人工卷积图像处理过程中左右两边有黑色边界引入，而实际图像卷积过程没有，其原因是人工卷积过程中，将边界外的区域假定没有信号，而实际图像中有边界有信息。因此直接用实际图像进行反卷积后，图像会出现振铃现象，如图4所示。
为解决此现象，根据公式(7)，我们在图像边界前后预测一个合适的图像块：Sl×n(x,y)，同时可以将m×n维空间的问题转变为l×n维空间的问题，如步骤(1)所述。但只通过空间变换，得不到确定的解，要得到一个确定解，还需要增加约束条件。
通常判定图像质量的评价指标有RMS(均方根误差)、SNR(信噪比)和PSNR(峰值信噪比)等。在这些指标评价中都需要原图像g(x,y)，但在实际模糊图像的处理中没有原图像，即不能较好地描述图像的复原质量。我们通过实验及分析图像相邻列灰度特征，如图1(b)，图2(b)，图3(b)，图4(b)所示，质量较好的图像其相邻列灰度值相差很小(基本误差在20％个总像素差内)，即大多数图像具有空间相关性，绝大部分相邻的像素点具有相近的灰度值，由此构建图像相邻列一致性指标：
Ri,i+1越大，列一致性越差，Ri,i+1越小，则列一致性越好。但实际图像中，又要包含不一致性，即如果没有差异性，反卷积后的图像就成为单色图，复原效果很差。为进一步解决图像列灰度一致性及差异性并存的问题，引入单边α置信均值和误差允许阀k，其中即
构建评价函数：
整幅图像的列一致性评价指标为：
对于已经估计出的图像构建综合灰度均方误差评价指标E：
图像去模糊问题则转化为l×n维空间内的双目标最优化问题。建立如下优化模型：
如式(13)我们在保证CGPC尽量小的情况下使E评价指标尽量小，目标是使图像去模糊质量最优。
本发明对相机垂直于光轴单向运动所造成的图像模糊的恢复过程具有较好的效果，特别是高清相机在高速运动过程中带来的长模糊问题，空间变换大大降低问题的求解自由度，双目标使恢复过程保存了一定的差异性和整体的一致性。
附图说明
图1为人工卷积生成的模糊图像及其相应列相邻灰度差统计图。其中，图1(a)为人工卷积生成的模糊图像，图1(b)为图1(a)的相应列相邻灰度差统计图。
图2为图1的直接反卷积图像及其相应列相邻灰度差统计图。其中，图2(a)为图1(a)的直接反卷积图像，图2(b)为图2(a)的相应列相邻灰度差统计图。
图3为实际模糊图像及其相应列相邻灰度差统计图。其中，图3(a)为实际模糊图像，图3(b)为图3(a)的相应列相邻灰度差统计图。
图4为图3的反卷积图像及其相应列相邻灰度差统计图。其中，图4(a)为图3(a)的反卷积图像，图4(b)为图4(a)的相应列相邻灰度差统计图。
具体实施方式
本发明的目的是为解决相机快速前向运动采集的图像模糊问题，基于自然图像列灰度分布一致性及差异性并存的概率统计特性，提出一种运动去模糊的方法，能克服现有算法不能很好去除高分辨率图像及其严重运动模糊的缺点，提高运动图像的复原质量。
下面结合实例对本发明进行详细说明。
步骤(1)：相机前向运动模糊过程建模。
本发明主要应用在相对稳定的车载相机采集装置上，如轨道缺陷检测相机安装在机车底部，相机中心线垂直向下，正对轨道平面拍摄。当机车带动相机以100公里每小时水平向前运动时，相机曝光时间为0.01秒，模糊图像b(x,y)模型如下：
上式中，x、y表示像素点坐标，g(x+vt,y)为原目标图像。采样距离d为0.001米,因此模糊长度为l＝278。式(14)的离散化形式为：
其中i为循环变量。令式(15)可表示为卷积形式：
其中表示卷积符号。
步骤(2)：空间变换，降低空间维度。
计算出模糊核后，若相机只前向运动y为常数，式(15)可表示为矩阵形式：
A·Gy＝By (17)
其中
从式(17)可知该方程组为一个由1024个线性方程组成的1302维方程问题，方程组有无穷多个解，即至少有278个自由基。为解决此问题，我们将增加278个方程，其系数矩阵A和向量By分别扩展为和
将矩阵A和向量By同时扩展到1302维线性空间从矩阵参数可知其为1302维的非奇异方阵，线性方程组(18)有唯一特解。
将方程两边左乘的逆矩阵得：
通过上述空间变换，则可将式(15)关于Gy的1302维的不定解问题转化为关于Sy的278维的定解问题，其中自变量为：
S＝[S1,S2,…,S1024],
由式(15)和式(17)可得：
由于则公式(15)关于维线性空间的求解问题变换为公式(20)中的维线性空间求解问题，又因为278＜＜1024,该问题实现了从1024维到278维的降维变换。由此减少了问题计算量，提高解的收敛性。
步骤(3)：基于列灰度一致性的图像去模糊。
根据公式(20)，我们在图像边界前后预测一个合适的图像块：S278×1024(x,y)，即可以将1024×1024维空间的问题转变为278×1024维空间的问题，如步骤(1)所述。但只通过空间变换，得不到确定的解，要得到一个确定解，还需要增加约束条件。为进一步解决图像列灰度一致性及差异性并存的问题，引入单边0.05置信均值和误差允许阀k，其中即
构建评价函数：
整幅图像的列一致性评价指标为：
对于已经估计出的图像构建综合灰度均方误差评价指标E：
图像去模糊问题则转化为278×1024维空间内的双目标最优化问题。建立优化模型：
如式(25)我们在保证CGPC尽量小的情况下使E评价指标尽量小，目标是使图像去模糊质量最优。
该方法对相机垂直于光轴单向运动所造成的图像模糊的复原过程具有较好的效果，特别是高清相机在高速运动过程中带来的长模糊问题。该实例中，空间变换使问题自由度从1024*1024降低到278*1024，双目标优化使复原过程即保留图像差异性，同时使整体的一致性较好，取得较好的信噪比。本发明在轨道缺陷检测系统的运动去模糊效果中得到了验证。

Claims (1)

1.一种基于图像列灰度概率一致性的高速运动图像去模糊方法，其特征是包括以下步骤：
步骤(1)：相机前向运动模糊过程建模
设车载相机在机车带动下以速度v水平向前运动时，相机曝光时间为T，模糊图像b(x,y)模型如下：
<mrow> <mi>b</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mo>&amp;Integral;</mo> <mrow> <mo>-</mo> <mi>T</mi> </mrow> <mn>0</mn> </msubsup> <mfrac> <mi>d</mi> <mi>vT</mi> </mfrac> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>vt</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>dt</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
上式中，x、y表示像素点坐标，g(x+vt,y)为原目标图像，d为采样距离，因此模糊长度为式(1)的离散化形式为：
<mrow> <mi>b</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;ap;</mo> <mfrac> <mn>1</mn> <mi>l</mi> </mfrac> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mi>l</mi> </mrow> <mn>0</mn> </munderover> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>id</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中i为循环变量；令式(2)可表示为卷积形式：
<mrow> <mi>b</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>h</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中表示卷积符号，对于上述卷积模糊中的核函数h(x,y)估算出模糊核；
步骤(2)：空间变换，降低空间维度
估算出模糊核后，若相机只前向运动时，y为常数，式(2)可表示为矩阵形式：
A·Gy＝By (4)
其中
式(4)中m为像素点x的采样个数，像素点y为常数，式(4)方程组有无穷多个解；再增加l个方程，其系数矩阵A和向量By分别扩展为和
将矩阵A和向量By同时扩展到m+l维线性空间线性方程组(5)有唯一特解：
<mrow> <mover> <mi>A</mi> <mo>~</mo> </mover> <mo>&amp;CenterDot;</mo> <msub> <mi>G</mi> <mi>y</mi> </msub> <mo>=</mo> <msub> <mover> <mi>B</mi> <mo>~</mo> </mover> <mi>y</mi> </msub> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
将方程两边左乘的逆矩阵得：
<mrow> <msub> <mi>G</mi> <mi>y</mi> </msub> <mo>=</mo> <msup> <mover> <mi>A</mi> <mo>~</mo> </mover> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msub> <mover> <mi>B</mi> <mo>~</mo> </mover> <mi>y</mi> </msub> <mo>.</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
通过上述空间变换，则可将式(4)关于Gy的m+l维不定解问题转化为关于Sy的l维定解问题，其中自变量为：
<mrow> <msub> <mi>S</mi> <mi>y</mi> </msub> <mo>=</mo> <mfenced open='[' close=']'> <mtable> <mtr> <mtd> <msub> <mi>b</mi> <mrow> <mn>1</mn> <mo>-</mo> <mi>l</mi> <mo>,</mo> <mi>y</mi> </mrow> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>b</mi> <mrow> <mn>2</mn> <mo>-</mo> <mi>l</mi> <mo>,</mo> <mi>y</mi> </mrow> </msub> </mtd> </mtr> <mtr> <mtd> <mo>&amp;CenterDot;</mo> </mtd> </mtr> <mtr> <mtd> <mo>&amp;CenterDot;</mo> </mtd> </mtr> <mtr> <mtd> <mo>&amp;CenterDot;</mo> </mtd> </mtr> <mtr> <mtd> <msub> <mi>b</mi> <mrow> <mn>0</mn> <mo>,</mo> <mi>y</mi> </mrow> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>S</mi> <mo>=</mo> <mo>[</mo> <msub> <mi>S</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>S</mi> <mn>2</mn> </msub> <mo>,</mo> <mo>&amp;CenterDot;</mo> <mo>&amp;CenterDot;</mo> <mo>&amp;CenterDot;</mo> <mo>,</mo> <msub> <mi>S</mi> <mi>n</mi> </msub> <mo>]</mo> <mo>,</mo> <mi>B</mi> <mo>=</mo> <mo>[</mo> <msub> <mi>B</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>B</mi> <mn>2</mn> </msub> <mo>,</mo> <mo>&amp;CenterDot;</mo> <mo>&amp;CenterDot;</mo> <mo>&amp;CenterDot;</mo> <mo>,</mo> <msub> <mi>B</mi> <mi>n</mi> </msub> <mo>]</mo> <mo>,</mo> </mrow>
<mrow> <mover> <mi>B</mi> <mo>~</mo> </mover> <mo>=</mo> <mo>[</mo> <msub> <mover> <mi>B</mi> <mo>~</mo> </mover> <mn>1</mn> </msub> <mo>,</mo> <msub> <mover> <mi>B</mi> <mo>~</mo> </mover> <mn>2</mn> </msub> <mo>,</mo> <mo>&amp;CenterDot;</mo> <mo>&amp;CenterDot;</mo> <mo>&amp;CenterDot;</mo> <mo>,</mo> <msub> <mover> <mi>B</mi> <mo>~</mo> </mover> <mi>n</mi> </msub> <mo>]</mo> <mo>=</mo> <mfenced open='[' close=']'> <mtable> <mtr> <mtd> <mi>S</mi> </mtd> </mtr> <mtr> <mtd> <mi>B</mi> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>G</mi> <mo>=</mo> <msub> <mi>G</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>G</mi> <mn>2</mn> </msub> <mo>,</mo> <mo>&amp;CenterDot;</mo> <mo>&amp;CenterDot;</mo> <mo>&amp;CenterDot;</mo> <mo>,</mo> <msub> <mi>G</mi> <mi>n</mi> </msub> <mo>]</mo> <mo>,</mo> </mrow>
由式(2)和式(6)可得：
<mrow> <mi>G</mi> <mo>=</mo> <msup> <mover> <mi>A</mi> <mo>~</mo> </mover> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mover> <mi>B</mi> <mo>~</mo> </mover> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
步骤(3)：基于列灰度一致性的图像去模糊
根据公式(7)，在图像边界前后预测一个合适的图像块：Sl×n(x,y)，即可以将m×n维空间的问题转变为l×n维空间的问题，
构建图像相邻列一致性指标：
<mrow> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>x</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <mrow> <mo>[</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
引入单边α置信均值和误差允许阀k，其中即
<mrow> <msub> <mi>&amp;mu;</mi> <mi>&amp;alpha;</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>x</mi> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>&amp;alpha;</mi> </msub> </mrow> </munder> <msup> <mrow> <mo>[</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mn>2</mn> </msup> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
构建评价函数：
<mrow> <mi>cgpc</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <msub> <mi>&amp;mu;</mi> <mi>&amp;alpha;</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>k</mi> <mo>,</mo> </mtd> <mtd> <msub> <mi>&amp;mu;</mi> <mi>&amp;alpha;</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>></mo> <mi>k</mi> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> <mo>,</mo> </mtd> <mtd> <msub> <mi>&amp;mu;</mi> <mi>&amp;alpha;</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <mi>k</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
整幅图像的列一致性评价指标为：
<mrow> <mi>CGPC</mi> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>m</mi> <mo>-</mo> <mn>2</mn> </mrow> </munderover> <msup> <mrow> <mo>[</mo> <mi>cgpc</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
对于已经估计出的图像构建综合灰度均方误差评价指标E：
<mrow> <mi>E</mi> <mo>=</mo> <msqrt> <mfrac> <mn>1</mn> <mi>mn</mi> </mfrac> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>x</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>y</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>n</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <mrow> <mo>[</mo> <mi>b</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <mi>g</mi> <mi>T</mi> </mover> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mn>2</mn> </msup> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
图像去模糊问题则转化为l×n维空间内的双目标最优化问题；建立如下优化模型：
<mrow> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <mi>min</mi> <mi>CGPC</mi> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>m</mi> <mo>-</mo> <mn>2</mn> </mrow> </munderover> <msup> <mrow> <mo>[</mo> <mi>cgpc</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mn>2</mn> </msup> </mtd> </mtr> <mtr> <mtd> <mi>min</mi> <mi>E</mi> <mo>=</mo> <msqrt> <mfrac> <mn>1</mn> <mi>mn</mi> </mfrac> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>x</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>y</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>n</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <mrow> <mo>[</mo> <mi>b</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <mi>g</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mn>2</mn> </msup> </msqrt> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
式(13)是在保证CGPC尽量小的情况下使E评价指标尽量小，使图像去模糊质量最优。
CN201711206204.0A 2017-11-27 2017-11-27 一种基于图像列灰度概率一致性的高速运动图像去模糊方法 Active CN107945127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711206204.0A CN107945127B (zh) 2017-11-27 2017-11-27 一种基于图像列灰度概率一致性的高速运动图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711206204.0A CN107945127B (zh) 2017-11-27 2017-11-27 一种基于图像列灰度概率一致性的高速运动图像去模糊方法

Publications (2)

Publication Number Publication Date
CN107945127A true CN107945127A (zh) 2018-04-20
CN107945127B CN107945127B (zh) 2021-05-07

Family

ID=61950084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711206204.0A Active CN107945127B (zh) 2017-11-27 2017-11-27 一种基于图像列灰度概率一致性的高速运动图像去模糊方法

Country Status (1)

Country Link
CN (1) CN107945127B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242790A (zh) * 2018-08-22 2019-01-18 大连理工大学 一种面向测量领域的图像去模糊评估方法
CN110503632A (zh) * 2019-07-26 2019-11-26 南昌大学 一种盲图像质量评价算法中svr参数优化方法
CN112435190A (zh) * 2020-11-24 2021-03-02 同济大学 一种基于车辆运动与数据增广的运动模糊目标检测方法
CN112785574A (zh) * 2021-01-25 2021-05-11 金陵科技学院 一种基于改进YOLOv3的围巾花纹缺陷检测方法
CN113076685A (zh) * 2021-03-04 2021-07-06 华为技术有限公司 图像重建模型的训练方法、图像重建方法及其装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639938A (zh) * 2009-08-28 2010-02-03 浙江大学 一种基于双边滤波器和余量去卷积的图像复原方法
CN104331871A (zh) * 2014-12-02 2015-02-04 苏州大学 一种图像去模糊方法及装置
US20150172547A1 (en) * 2013-12-13 2015-06-18 Adobe Systems Incorporated Image deblurring based on light streaks
CN104820971A (zh) * 2015-04-22 2015-08-05 西北工业大学 一种基于分布式相机阵列的运动目标去模糊方法
CN105654431A (zh) * 2015-12-24 2016-06-08 公安部物证鉴定中心 一种对存在遮挡情况的图像去模糊方法
US20170064204A1 (en) * 2015-08-26 2017-03-02 Duke University Systems and methods for burst image delurring
CN106530261A (zh) * 2016-12-28 2017-03-22 同观科技（深圳）有限公司 一种双动态模糊图像复原方法
CN106651790A (zh) * 2016-11-22 2017-05-10 杭州华为数字技术有限公司 图像去模糊的方法、装置和设备
CN107169234A (zh) * 2017-06-12 2017-09-15 中国矿业大学 一种采煤机摇臂系统维修性综合评价方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639938A (zh) * 2009-08-28 2010-02-03 浙江大学 一种基于双边滤波器和余量去卷积的图像复原方法
US20150172547A1 (en) * 2013-12-13 2015-06-18 Adobe Systems Incorporated Image deblurring based on light streaks
CN104331871A (zh) * 2014-12-02 2015-02-04 苏州大学 一种图像去模糊方法及装置
CN104820971A (zh) * 2015-04-22 2015-08-05 西北工业大学 一种基于分布式相机阵列的运动目标去模糊方法
US20170064204A1 (en) * 2015-08-26 2017-03-02 Duke University Systems and methods for burst image delurring
CN105654431A (zh) * 2015-12-24 2016-06-08 公安部物证鉴定中心 一种对存在遮挡情况的图像去模糊方法
CN106651790A (zh) * 2016-11-22 2017-05-10 杭州华为数字技术有限公司 图像去模糊的方法、装置和设备
CN106530261A (zh) * 2016-12-28 2017-03-22 同观科技（深圳）有限公司 一种双动态模糊图像复原方法
CN107169234A (zh) * 2017-06-12 2017-09-15 中国矿业大学 一种采煤机摇臂系统维修性综合评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONG DENG等: "Efficient non-uniform deblurring based on generalized additive convolution model", 《EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING》 *
SHICHENG ZHENG等: "Forward Motion Deblurring", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
张乐平: "结合各向异性扩散和高阶扩散的视频盲去模糊复原方法", 《菏泽学院学报》 *
郭翔 等: "高应变率变形图像去模糊及数字图像相关测量", 《高压物理学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242790A (zh) * 2018-08-22 2019-01-18 大连理工大学 一种面向测量领域的图像去模糊评估方法
CN110503632A (zh) * 2019-07-26 2019-11-26 南昌大学 一种盲图像质量评价算法中svr参数优化方法
CN110503632B (zh) * 2019-07-26 2022-08-09 南昌大学 一种盲图像质量评价算法中svr参数优化方法
CN112435190A (zh) * 2020-11-24 2021-03-02 同济大学 一种基于车辆运动与数据增广的运动模糊目标检测方法
CN112785574A (zh) * 2021-01-25 2021-05-11 金陵科技学院 一种基于改进YOLOv3的围巾花纹缺陷检测方法
CN112785574B (zh) * 2021-01-25 2023-06-06 金陵科技学院 一种基于改进YOLOv3的围巾花纹缺陷检测方法
CN113076685A (zh) * 2021-03-04 2021-07-06 华为技术有限公司 图像重建模型的训练方法、图像重建方法及其装置

Also Published As

Publication number Publication date
CN107945127B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN107945127A (zh) 一种基于图像列灰度概率一致性的高速运动图像去模糊方法
Liu et al. Trident dehazing network
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
CN109035149B (zh) 一种基于深度学习的车牌图像去运动模糊方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN107578392B (zh) 一种基于残余插值的卷积神经网络去马赛克方法
CN109948553A (zh) 一种多尺度密集人群计数方法
CN110503610B (zh) 一种基于gan网络的图像雨雪痕迹去除方法
CN111462019A (zh) 基于深度神经网络参数估计的图像去模糊方法及系统
Zhang et al. Single image dehazing via dual-path recurrent network
CN105913392A (zh) 复杂环境下退化图像综合质量提升方法
CN111709888B (zh) 一种基于改进的生成对抗网络的航拍图像去雾方法
CN112365414A (zh) 一种基于双路残差卷积神经网络的图像去雾方法
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
Chen et al. Multi-scale adaptive dehazing network
CN110598613A (zh) 一种高速公路团雾监测方法
CN114494015A (zh) 基于盲超分辨率网络的图像重建方法
CN116485885A (zh) 基于深度学习去除视觉slam前端动态特征点的方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN112053385B (zh) 基于深度强化学习的遥感视频遮挡目标跟踪方法
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN112132757B (zh) 一种基于神经网络的通用图像复原方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant