CN105719251B - 一种用于大像移线性模糊的压缩降质图像复原方法 - Google Patents
一种用于大像移线性模糊的压缩降质图像复原方法 Download PDFInfo
- Publication number
- CN105719251B CN105719251B CN201610035331.8A CN201610035331A CN105719251B CN 105719251 B CN105719251 B CN 105719251B CN 201610035331 A CN201610035331 A CN 201610035331A CN 105719251 B CN105719251 B CN 105719251B
- Authority
- CN
- China
- Prior art keywords
- image
- fuzzy
- compression
- edge
- big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006835 compression Effects 0.000 title claims abstract description 17
- 238000007906 compression Methods 0.000 title claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000003706 image smoothing Methods 0.000 claims 1
- 238000011084 recovery Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于大像移线性模糊的压缩降质图像复原方法。现有的用于估计匀速线性运动模糊的方法都只适用于模糊图像没有压缩比的情况。本发明提出了一种基于形态学模糊核估计的图像复原方法可以对一类图像解决此问题。利用模糊图像中的梯度信息，用Canny算子提取并筛选出候选模糊边缘，找出其中的封闭轮廓，经过计算封闭边缘的外接矩形轮廓长度得到模糊核尺寸。本发明可以应用在图像场景中有较多突出点物体、点光源的情况下，能够自适应计算出线性像移长度与方向。同时，结合正则化非盲复原方法对块压缩效应有一定的抑制作用。
Description
技术领域
本发明涉及计算机成像技术领域，主要涉及具有大像移线性模糊的压缩降质图像复原一幅清晰图像的图像处理问题。
背景技术
由于成像系统本身和其他的缺陷，在成像过程中，由于各种因素，比如光学器件缺陷，人为的抖动，大气非均匀性等会造成图像有某些程度的失真和不同程度的降质。人们根据不同的图像退化成因研究了相应的图像复原方法。也相应取得了较为显著的图像质量提升。相机的成像过程可以描述为理想清晰图像与其他外部影响而造成的模糊核的卷积，同时由于电子器件的影响会引入噪声。图像复原时二维卷积运算的逆过程，是一个病态问题。
在图像复原问题中运动模糊图像复原技术是比较基本且有广泛用途的。在日常生活中会经常遇到由于曝光时间较长的时候人们拍照无法稳定手持拍照设备而造成拍摄景物与像面的相对移动。亦或在遥感领域，飞行器与地面有一定的相对速度，如果曝光时间较长也同样会出现相应的运动模糊。在各种类型的运动模糊中，最基本的是匀速线性模糊。从卷积的角度来看，匀速线性模糊造成的退化图像等价于清晰图像与线性模糊核的卷积。线性模糊核就是一条具有方向的线段。模糊核的方向是退化的相对运动方向，模糊核中的线段长度就是曝光时间内景物在像面上移动的幅度(以像素量计)，大像移主要是指曝光时间内模糊量大于15像素的像移。
对于仅仅有线性模糊退化的模糊图像复原已经有较多方法。问题的核心在于对模糊尺度与方向的估计。主要有空域和频域两类。频域主要基于对于模糊图像进行傅里叶变换后的幅度频谱会呈现出条纹状的分布，对此频谱取对数再做傅里叶变换求出倒频谱就可以分析出条纹间隔，根据相应的公式就可以估算出线性模糊的大小与方向。空域主要基于图像的差分与自相关理论识别模糊尺度参数，将导函数在运动方向进行自相关，就会在相应位置出现峰值，通过搜索自相关曲线等极值点位置确定模糊尺度。
但在比较多的情况下，图像会被压缩保存成比如jpg格式，如果有一定的压缩量，会有比较明显的快效应出现。此时，频谱方法的频谱信息会基本消失。空域自相关的方法也会精度变的较低无法满足复原要求。特别低，对于大像移量，比如15像素以上的模糊量，目前尚未有针对压缩降质条件下的模糊核估计与图像复原的技术研究。采用常规的方法难以达到令人满意的复原效果。提出一种针对在压缩降质大像移线性模糊图像的模糊核估计方法是很有实际意义的。
发明内容
本发明的目的在于针对现有技术的不足，提供一种用于大像移线性模糊的压缩降质图像复原方法。
本发明的目的是通过以下技术方案实现的：一种用于大像移线性模糊的压缩降质图像复原方法，具体可以采用以下步骤对压缩降质且存在大像移线性模糊的图像进行复原：
(1)输入一幅待复原压缩降质且存在大像移线性模糊的模糊图像b。
(2)判断b是否是彩色图像。如果是彩色图像则将b转化为YIQ空间三个通道，并用其中的Y通道灰度图像作为已下步骤的初始输入b'。如果是灰度图像，b'就是b。
(3)对b'用Canny算子提取二值边缘图像。设定初始高阈值t1和低阈值t2以及平滑方差系数σ，采用Canny算子提取出二值边缘图像E。
(4)对(3)中提取的边缘图像E，利用形态学的方法，基于8邻域的相邻准则，找到其中封闭的“洞”状封闭轮廓E'。
(5)对(4)中提取的封闭轮廓图E'中的每一个封闭轮廓提取出它外接的矩形。统计出提取出外接矩形的长宽。根据外接矩形的长宽数值，计算出线性位移尺度与方向，也即得到了图像模糊核。
(6)采用(5)估计出的模糊核作为图像复原的模糊核，采用TV正则化的复原方法对模糊图像b进行去模糊操作，得到复原图像。
进一步地，所述步骤3具体为：
首先将b'在水平以及竖直方向上以平滑方差系数的高斯模糊核进行图像平滑。然后求取平滑图像的水平和竖直方向的梯度记为dx,dy，求取梯度幅度G，
接下里选取Canny算子的参数，将算子的高阈值t1和低阈值t2之比系数设为0.1。并利用Canny算子的阈值自动选取，确定此图像的阈值，得到t1＝0.328,t2＝0.032。
最后，利用高阈值t1和低阈值t2对梯度幅度G的边缘进行选取，进一步提取出二值边缘图像E。
本发明的有益效果：本发明基于形态学方法出发估计模糊核，是一种较为新颖的模糊核估计方法。本发明能够在某些特定场景下(如月面图，遥感图，夜景图等)，通过利用Canny算子本身的边缘选择优势，辅助一些形态学判断方法自适应的提取出模糊图中存在的由于模糊而造成的点物体、小光源变为线性长条状物体。解决了在图像有较高压缩比的情况下，以往估计模糊核方法精度很低的问题。本发明尤其适用于有较多同一场景的线性模糊组图，调整完一次参数，即可批量估计模糊核，而且有较高的模糊核估计精度。
附图说明
图1为本发明的算法流程示意图。
图2为仿真实验中所用具有明显压缩块效应以及大线性像移模糊的退化图像。
图3为仿真实验中对图2中部分区域进行放大。
图4为仿真实验中Canny算子提取完毕后的边缘二值图像。
图5为仿真实验中提取其中封闭轮廓后的边缘二值图像。
图6为仿真实验中采用本发明算法得到模糊核复原后的结果图；
具体实施方式
以下结合附图并以一个具体实例对本发明做进一步说明。
参照图1，本发明的算法流程步骤如下：
步骤1：输入模糊图像
如图2所示，选定一幅大像移的线性模糊图像b，这是一幅仿真月面图，并且此图像经过jpg保存后，具有较高的压缩比，能看出明显的块状效应，表现在8*8图像块的不连续与颜色过渡的不自然。图2图像尺寸为2048*1536像素。放大后的部分图像如图3所示。
步骤2：灰度图转换
输入图像是一幅彩色图像。将其转化为YIQ空间，取Y通道的灰度值作为灰度图b'，计算公式为
b'＝0.299R+0.587G+0.114B (1)
其中的R、G、B、分别为彩色图像的红、绿、蓝通道。
步骤3：Canny算子提取二值边缘图像
首先将b'在水平以及竖直方向上以平滑方差系数的高斯模糊核进行图像平滑。然后求取平滑图像的水平和竖直方向的梯度记为dx,dy，求取梯度幅度G，
接下里选取Canny算子的参数，将算子的高阈值t1和低阈值t2之比系数设为0.1。并利用Canny算子的阈值自动选取，确定此图像的阈值。本仿真实例中得到t1＝0.328,t2＝0.032。
最后，利用高阈值t1和低阈值t2对梯度幅度G的边缘进行选取，进一步提取出二值边缘图像E。具体可参考John Canny的边缘检测计算理论。结果如图4所示。
步骤4：提取候选封闭轮廓
对图4中提取的边缘E，利用形态学的方法，基于8邻域的相邻准则，找到其中封闭的“洞”状边缘，可参考Gonzalez的《数字图像处理》中的形态学图像处理。因为从原理上说，清晰图上的小斑点或者小圆点经过线性退化后会退化成一条线段，这样的线段轮廓就应该是封闭的形状。这样就可以得到如图5所示的封闭轮廓E'。
如果提取的边缘E中无法封闭轮廓太少，或者提取不出合适的轮廓，则需要修改Canny算子参数。同时，也可以考虑将E中接近封闭的边缘基于形态学方法连接起来。
步骤5：计算线性位移尺度与方向
对图5中提取的封闭轮廓图E'中的每一个封闭轮廓提取出它所外接的矩形。统计出提取出外接矩形的长宽。对大像移模糊的图像，剔除外接矩形长度<15个像素的轮廓，根据筛选出的外接矩形的长宽数值，计算出线性位移尺度与方向。在本仿真实例中，我们剔除掉外接矩形长度<15个像素的轮廓后，找到了3个封闭轮廓，求取出其方向为0度，模糊尺寸分别为26像素，27像素，27像素。也即得到线性模糊量在26-27像素间，为水平方向模糊。
步骤6：根据估计的模糊核采用正则化方法对图像进行复原
采用步骤5估计出的模糊核作为图像复原的模糊核，采用TV正则化的复原方法对模糊图像b进行去模糊操作。在本仿真实例中TV正则化系数取600，迭代次数取15次，正则化系数倍率取2。图2模糊图的复原结果图见图6。
从图6中可以看到，图像模糊程度有了明显的改善，经过复原后原来模糊扩散的线性物体已经收敛为一个点。把复原图像放大，可以看到图像的块效应也有了一定的改善。复原结果的图像质量明显提升，证明了本发明算法的有效性。
Claims (2)
1.一种用于大像移线性模糊的压缩降质图像复原方法，其特征在于，具体可以采用以下步骤对压缩降质且存在大像移线性模糊的图像进行复原：
(1)输入一幅待复原压缩降质且存在大像移线性模糊的模糊图像b；
(2)判断b是否是彩色图像；如果是彩色图像则将b转化为YIQ空间三个通道，并用其中的Y通道灰度图像作为以下步骤的初始输入b'；如果是灰度图像，b'就是b；
(3)对b'用Canny算子提取二值边缘图像；设定初始高阈值t1和低阈值t2以及平滑方差系数σ，采用Canny算子提取出二值边缘图像E；
(4)对步骤(3)中提取的边缘图像E，利用形态学的方法，基于8邻域的相邻准则，找到其中封闭的“洞”状封闭轮廓图E'；
(5)对步骤(4)中提取的封闭轮廓图E'中的每一个封闭轮廓提取出它外接的矩形，计算出外接矩形的长宽；根据外接矩形的长宽数值，计算出线性位移尺度与方向，也即得到了图像模糊核；
(6)采用步骤(5)估计出的模糊核作为图像复原的模糊核，采用TV正则化的复原方法对模糊图像b进行去模糊操作，得到复原图像。
2.根据权利要求1所述的方法，其特征在于，所述步骤(3)具体为：
首先将b'在水平以及竖直方向上以平滑方差系数的高斯模糊核进行图像平滑；然后求取平滑图像的水平和竖直方向的梯度记为dx,dy，求取梯度幅度G，
接下来选取Canny算子的参数，将算子的高阈值t1和低阈值t2之比设为0.1；并利用Canny算子的阈值自动选取，确定平滑图像的阈值，得到t1＝0.328,t2＝0.032；
最后，利用高阈值t1和低阈值t2对梯度幅度G的边缘进行选取，进一步提取出二值边缘图像E。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610035331.8A CN105719251B (zh) | 2016-01-19 | 2016-01-19 | 一种用于大像移线性模糊的压缩降质图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610035331.8A CN105719251B (zh) | 2016-01-19 | 2016-01-19 | 一种用于大像移线性模糊的压缩降质图像复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105719251A CN105719251A (zh) | 2016-06-29 |
| CN105719251B true CN105719251B (zh) | 2018-06-19 |
Family
ID=56147927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610035331.8A Expired - Fee Related CN105719251B (zh) | 2016-01-19 | 2016-01-19 | 一种用于大像移线性模糊的压缩降质图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105719251B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106940895B (zh) * | 2017-01-12 | 2021-06-29 | 北京理工大学 | 一种应用于无线层析成像系统的降质函数的估计方法 |
| CN110660229A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 车速的测量方法、装置及车辆 |
| CN110930423B (zh) * | 2019-11-26 | 2023-07-14 | 广州敏视数码科技有限公司 | 一种物体边缘特征识别提取方法 |
| CN111340733B (zh) * | 2020-02-28 | 2022-07-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN114092701B (zh) * | 2021-12-04 | 2022-06-03 | 特斯联科技集团有限公司 | 一种基于神经网络的符号智能识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281643B (zh) * | 2008-04-23 | 2010-06-02 | 浙江大学 | 一种退化函数随空间变化图像的分块复原和拼接方法 |
| CN104376544A (zh) * | 2013-08-15 | 2015-02-25 | 北京大学 | 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100079453A1 (en) * | 2008-09-30 | 2010-04-01 | Liang-Gee Chen | 3D Depth Generation by Vanishing Line Detection |
-
2016
- 2016-01-19 CN CN201610035331.8A patent/CN105719251B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281643B (zh) * | 2008-04-23 | 2010-06-02 | 浙江大学 | 一种退化函数随空间变化图像的分块复原和拼接方法 |
| CN104376544A (zh) * | 2013-08-15 | 2015-02-25 | 北京大学 | 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| High-quality motion deblurring from a single image;Qi Shan et al;《ACM Transactions on Graphics-TOG》;20080831;第27卷(第3期);第1-10页 * |
| 基于边缘信息的运动模糊图像的鲁棒盲复原;戴朝约 等;《光电子.激光》;20111031;第22卷(第10期);第1588-1592页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105719251A (zh) | 2016-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105719251B (zh) | 一种用于大像移线性模糊的压缩降质图像复原方法 | |
| CN105976332B (zh) | 基于图像中亮条纹信息的图像去模糊方法 | |
| CN109636732B (zh) | 一种深度图像的空洞修复方法以及图像处理装置 | |
| WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
| KR102104403B1 (ko) | 단일영상 내의 안개 제거 방법 및 장치 | |
| KR101518722B1 (ko) | 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치 | |
| Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
| CN108694705A (zh) | 一种多帧图像配准与融合去噪的方法 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN103606132A (zh) | 基于空域和时域联合滤波的多帧数字图像去噪方法 | |
| CN107292842B (zh) | 基于先验约束和离群值抑制的图像去模糊方法 | |
| CN108133462B (zh) | 一种基于梯度场区域分割的单幅图像的复原方法 | |
| He et al. | Atmospheric turbulence mitigation based on turbulence extraction | |
| CN110415193A (zh) | 煤矿低照度模糊图像的复原方法 | |
| CN111598886B (zh) | 一种基于单幅图像的像素级透过率估计方法 | |
| KR101921608B1 (ko) | 깊이 정보 생성 장치 및 방법 | |
| CN112825189B (zh) | 一种图像去雾方法及相关设备 | |
| Han et al. | Automatic illumination and color compensation using mean shift and sigma filter | |
| Zhao et al. | Iterative range-domain weighted filter for structural preserving image smoothing and de-noising | |
| CN104168402A (zh) | 一种视频帧图像去雾方法及装置 | |
| Sonawane et al. | Image quality assessment techniques: An overview | |
| Negru et al. | Exponential image enhancement in daytime fog conditions | |
| Ma et al. | Video image clarity algorithm research of USV visual system under the sea fog | |
| Cao et al. | CSIE: Coded strip-patterns image enhancement embedded in structured light-based methods | |
| Zhu et al. | A novel rain detection and removal approach using guided filtering and formation modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180619 Termination date: 20190119 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |