CN104182940B - 一种模糊图像恢复方法及系统 - Google Patents
一种模糊图像恢复方法及系统 Download PDFInfo
- Publication number
- CN104182940B CN104182940B CN201410410081.2A CN201410410081A CN104182940B CN 104182940 B CN104182940 B CN 104182940B CN 201410410081 A CN201410410081 A CN 201410410081A CN 104182940 B CN104182940 B CN 104182940B
- Authority
- CN
- China
- Prior art keywords
- block
- candidate blocks
- image block
- pending
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种模糊图像恢复方法及系统。包括以下步骤：在选定帧图像中确定模糊图像块；在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块,其中,所述多帧参考图像与所述选定帧图像构成连续多帧图像；根据多个所述候选块和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。通过本发明的技术方案，能够将模糊图像进行恢复和还原,得到清晰的图像。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种模糊图像恢复方法及系统。
背景技术
在监控视频当中，由于摄像头本身质量问题或者受到环境光照的影响，图像中的目标往往不够清晰，若该目标是运动物体，则还可能会有运动模糊,即使将图像一帧一帧提取出来查看,也难以得到清晰的目标。在图像恢复技术中形成了一些经典的常用图像恢复算法,例如无约束最小二乘法、有约束最小二乘法，逆滤波、维纳滤波、最大熵复原法等。需要一种新的模糊图像恢复技术，同样可以获取清晰的图像，丰富图像恢复手段。
发明内容
本发明提供一种模糊图像恢复方法及系统，以解决上述问题。
本发明提供一种模糊图像恢复方法。上述方法包括以下步骤：
在选定帧图像中确定模糊图像块；
在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块,其中,所述多帧参考图像与所述选定帧图像构成连续多帧图像；
根据多个所述候选块和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。
本明还提供一种模糊图像恢复系统，包括：模糊图像块确定单元、候选块获取单元、图像恢复单元；其中，所述图像恢复单元分别与所述模糊图像块确定单元、候选块获取单元相连；
模糊图像块确定单元,用于在选定帧图像中确定模糊图像块并将所述模糊图像块发送至所述图像恢复单元；
候选块获取单元,用于在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块,将所述候选块的数据发送至图像恢复单元,其中,所述多帧参考图像与所述选定帧图像构成连续多帧图像；
所述图像恢复单元,用于根据多个所述候选块的数据和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。
本发明将确定的模糊图像块进行划分并针对每一待处理子图像块在相邻的图像中获取最匹配的图像块，根据最匹配的图像块和相应的待处理子图像块得到相应的清晰子图像块，每一待处理子图像块均可以找到相应的清晰子图像块，用这些清晰子图像块替换相应的待处理子图像块就能得到整个模糊图像块的清晰图像块，相比于以往算法,可以获得更高精确度的结果,算法简单有效。
此外，为了更精确的估算物体的运动方向，在相邻帧图像中选取候选块时，增加了扰动值，即以预设的步长移动，从而在预定范围内可以获得最优的匹配结果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为根据本发明的较佳实施例提供的模糊图像恢复方法的流程图；
图2所示为根据本发明的较佳实施例提供的将模糊图像进行划分的示意图；
图3所示为根据本发明的较佳实施例提供的确定第一目标图像块的示意图；
图4所示为根据本发明的一较佳实施例提供的获取子候选块的示意图；
图5所示为根据本发明的一较佳实施例提供的模糊图像恢复系统的示意图；
图6所示为根据本发明的又一较佳实施例提供的模糊图像恢复系统的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1所示为根据本发明的较佳实施例提供的模糊图像恢复方法的流程图，包括以下步骤：
在步骤102，在选定帧图像中确定模糊图像块；
在步骤104，在多帧参考图像中分别获取与模糊图像块相匹配的候选块,其中,多帧参考图像与选定帧图像构成连续多帧图像；
在步骤106，根据多个候选块和模糊图像块生成对应于模糊图像块的清晰图像块。
例如,若获取到连续的5帧图像，该连续图像可以描述为f1，f2，f3，f4,f5，其中，1，2，3，4，5代表了图像在该图像序列中的位置。
假设选定帧图像是f1,那么在该f1中确定模糊图像块,例如该模糊图像块是车牌号。此时，对于f1，其他帧图像f2，f3，f4，f5即参考图像。在确定模糊图像块之后，需要对该模糊图像块进行还原。在本实施例中，采用的处理方法是在参考图像中分别获取与模糊图像块相匹配的候选块。然后根据从f2，f3，f4，f5中获取的候选块和模糊图像块生成清晰图像块，完成模糊图像的还原。
在一优选实施例中，可以将模糊图像块划分成多个待处理子图像块；
对于任一待处理子图像块,在多帧参考图像中的每一帧参考图像中确定与待处理子图像块具有相同位置和相同大小的第一目标图像块,在每一帧参考图像中,以第一目标图像块为基准的预定区域范围内按照预设选择策略搜索出与待处理子图像块匹配度最高的子候选块,其中,各待处理子图像块在各帧参考图像中匹配度最高的子候选块构成所述候选块,将从各帧参考图像中获取的多个子候选块和待处理子图像块,按照恢复策略得到对应于待处理子图像块的清晰子图像块；
采用获取的清晰子图像块替换相应的待处理子图像,得到对应于所述模糊图像块的清晰图像块。
具体来说，参考图2，将图像f1中的模糊图像块划分成4个待处理子图像块。针对每一个待处理子图像块按照如下方法处理：
在第二帧图像f2中确定与模糊图像块具有相同位置和大小的第一目标图像块，参考图3。将该第一目标图像块在其周边按照特定的步长移动，从而得到一系列的子候选块，参考图4。最后从该一系列子候选块中找出最匹配的子候选块。
同样地，在第三帧图像、第四帧图像以及第五帧图像中获取最匹配的子候选块，从而得到4个最匹配的子候选块。最后，根据这4个子候选块和待处理子图像块按照恢复策略得到与该待处理子图像块对应的清晰子图像块。
其他三个待处理子图像块也按照上述过程进行处理，每个待处理子图像块均可以得到对应的清晰子图像块。
最后用清晰的子图像块替换相应的待处理子图像块，便完成对模糊图像块的恢复处理，即将4个最终得到的清晰子图像块替换4个待处理子图像块，得到清晰图像块。这样，解决了因图像模糊而不能识别目标物的问题，在应用在交通系统上时，可以方便交警快速识别车辆的车牌号。
为了更精确的估算物体的运动方向，在相邻帧图像中选取候选块时，增加了扰动值，即以预设的步长移动，需说明的是，将第一目标图像块在其周边按照特定的步长移动，从而确定一系列子候选块的过程具体为：
该特定的步长可以是模糊图像块的边长的1/4倍，1/2倍，1倍，2倍等，假设以第一目标图像块的中心为坐标原点，则可以将第一目标图形块沿x轴的移动，也可以沿y轴移动，也可以在坐标系的各象限内移动。这样，就可以得到在第一目标图像块周边的多个子候选块。
在步长是模糊图像块的边长的1/4倍的情况下，若模糊图像块的边长为1，则步长为1/4，根据多个步长倍数(例如：1倍、2倍、4倍、8倍)为基准，获得对应于多个步长倍数的多个经验值(例如：1/4、1/2、1、2)；结合上述多个经验值，并以X轴、Y轴四个方向为基准，获得以下17个子候选块范围：
{(0，0)，(1，0)，(0，1)，(-1，0)，(0，-1)，(1/2，0)，(0，1/2)，(-1/2，0)，(0，-1/2)，(1/4，0)，(0，1/4)，(-1/4，0)，(0，-1/4)，(2，0)，(0，2)，(-2，0)，(0，-2)}。
在该17个子候选块中找出与待处理子图像块中最匹配的候选块。
其中，可采用多种选择策略从一系列子候选块中获取最匹配的子候选块，在本实施例中采用如下方法来获取最匹配(匹配度最高)的子候选块：
将待处理子图像块与每一子候选块相减，计算相应的所有像素值差的绝对值之和；
对应于所有像素值差的绝对值之和最小的子候选块即匹配度最高的子候选块。差值最小说明待处理子图像块与该子候选块的差异最小，最相似。
应理解，可以按照预设的规则将模糊图像划分成多个待处理子图像块。例如可以将模糊图像块进行均分，分成6子块、8子块、9子块、10子块等等，基本原则是划分的块数越多，最终还原出的图像越精确。
在选择出匹配度最高的子候选块之后，按照恢复策略对模糊图像块进行恢复处理，优选地，恢复策略可以包括:
对待处理子图像块和匹配度最高的多个子候选块进行滤波处理并求平均,将平均结果作为清晰子图像块；或者
对待处理子图像块和匹配度最高的多个子候选块进行滤波处理以及获取每一子候选块和所述待处理子图像块的信噪比,根据待处理子图像块和每一子候选块的信噪比确定待处理子图像块和每一子候选块的权值,依据待处理子图像块和各子候选块相应的权值对待处理子图像块和多个子候选块进行加权平均,将平均结果作为清晰子图像块。
将模糊图像块进行划分适用于模糊图像块的尺寸较大或者是图像较为模糊的场景，可提高还原精度。
以上详细说明了将模糊图像块进行划分并还原的过程，在下面的实施例中详细说明不对模糊图像块进行划分来进行图像还原的过程。
同样地，在多帧参考图像(f2，f3，f4，f5)中的每一帧参考图像中确定与模糊图像块具有相同位置和相同大小的第二目标图像块；
在每一帧参考图像中,以第二目标图像块为基准的预定区域范围内搜索出与模糊图像块匹配度最高的候选块；
将从各帧参考图像中获取的匹配度最高的多个候选块和模糊图像块,按照恢复策略得到对应于所述模糊图像块的清晰图像块。
其中,该恢复策略可以包括:
对多个候选块和模糊图像块进行滤波处理并求平均,将平均结果作为清晰图像块；或者
对多个候选块和模糊图像块进行滤波处理,以及获取每一候选块的信噪比和模糊图像块的信噪比，每一候选块的信噪比和模糊图像块的信噪比确定每一候选块和模糊图像块的权值；
依据模糊图像块和各候选块相应的权值对模糊图像块和多个候选块进行加权平均,将平均结果作为清晰图像块。
其中，以第二目标图像块为基准的预定区域范围内搜索出与模糊图像块匹配度最高的候选块的处理过程与将模糊图像块进行划分的实施例中的处理过程相同，即将第二目标图像块以特定的步长移动，在此不再赘述。
不管是对模糊图像进行划分的方法还是不划分的方法，对于比较模糊的图像在进行子候选的选择时可以扩大搜索范围，并减小步长，从而得到较优的结果。
根据本发明的技术方案采用了相邻图像上的匹配图像块，因此可以最大程度的恢复出清晰图像，相比于以往算法,可以获得更高精确度的结果,算法简单有效。
图5所示为根据本发明的一较佳实施例提供的模糊图像恢复系统的示意图，本实施例中的模糊图像恢复系统可以包括:模糊图像块确定单元502、候选块获取单元504、图像恢复单元506；其中，所述图像恢复单元506分别与所述模糊图像块确定单元502、候选块获取单元504相连；
模糊图像块确定单元502,用于在选定帧图像中确定模糊图像块并将所述模糊图像块发送至所述图像恢复单元；
候选块获取单元504,用于在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块,将所述候选块的数据发送至图像恢复单元406,其中,所述多帧参考图像与所述选定帧图像构成连续多帧图像；
所述图像恢复单元506,用于根据多个所述候选块的数据和所述模糊图像块生成对应于所述模糊图像块的清晰图像块。
在另一实施例中,参考图6，上述模糊图像恢复系统还可以包括:恢复策略控制单元602，其中，所述恢复策略控制单元602与所述图像恢复单元506相连；
恢复策略控制单元602,在接收到来自所述图像恢复单元506的通知时,向所述图像恢复单元506提供恢复策略,所述图像恢复单元506按照所述恢复策略处理得到所述清晰图像块。
本发明将确定的模糊图像块进行划分并针对每一待处理子图像块在相邻的图像中获取最匹配的图像块，根据最匹配的图像块和相应的待处理子图像块得到相应的清晰子图像块，每一待处理子图像块均可以找到相应的清晰子图像块，用这些清晰子图像块替换相应的待处理子图像块就能得到整个模糊图像块的清晰图像块，相比于以往算法,可以获得更高精确度的结果,算法简单有效。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种模糊图像恢复方法，其特征在于，包括以下步骤：
在选定帧图像中确定模糊图像块；
在多帧参考图像中分别获取与所述模糊图像块相匹配的候选块,其中,所述多帧参考图像与所述选定帧图像构成连续多帧图像；
根据多个所述候选块和所述模糊图像块生成对应于所述模糊图像块的清晰图像块；
将所述模糊图像块划分成多个待处理子图像块；
对于任一待处理子图像块,在所述多帧参考图像中的每一帧参考图像中确定与所述待处理子图像块具有相同位置和相同大小的第一目标图像块,
在每一帧参考图像中,以所述第一目标图像块为基准的预定区域范围内按照预设选择策略搜索出与所述待处理子图像块匹配度最高的子候选块,其中,各待处理子图像块在各帧参考图像中匹配度最高的子候选块构成所述候选块,
将从各帧参考图像中获取的多个子候选块和所述待处理子图像块,按照恢复策略得到对应于所述待处理子图像块的清晰子图像块；
采用获取的清晰子图像块替换相应的待处理子图像,得到对应于所述模糊图像块的清晰图像块；
所述恢复策略包括:
对所述待处理子图像块和匹配度最高的多个子候选块进行滤波处理并求平均,将平均结果作为所述清晰子图像块；或者
对所述待处理子图像块和匹配度最高的多个子候选块进行滤波处理以及获取每一子候选块和所述待处理子图像块的信噪比,
根据所述待处理子图像块和每一子候选块的信噪比确定所述待处理子图像块和每一子候选块的权值,
依据所述待处理子图像块和各子候选块相应的权值对所述待处理子图像块和多个所述子候选块进行加权平均,将平均结果作为所述清晰子图像块。
2.根据权利要求1所述的方法，其特征在于,所述预设选择策略,包括:
将所述第一目标图像块以一个或多个预设步长沿不同方向移动,得到多个子候选块；
将所述待处理子图像块与每一所述子候选块相减,计算相应的所有像素值差的绝对值之和；
对应于所有像素值差的绝对值之和最小的子候选块是所述匹配度最高的子候选块。
3.根据权利要求1所述的方法，其特征在于,在所述多帧参考图像中的每一帧参考图像中确定与所述模糊图像块具有相同位置和相同大小的第二目标图像块；
在每一帧参考图像中,以所述第二目标图像块为基准的预定区域范围内搜索出与所述模糊图像块匹配度最高的候选块；
将从各帧参考图像中获取的匹配度最高的多个候选块和所述模糊图像块,按照恢复策略得到对应于所述模糊图像块的清晰图像块。
4.根据权利要求3所述的方法，其特征在于,所述恢复策略包括:
对所述多个候选块和所述模糊图像块进行滤波处理并求平均,将平均结果作为所述清晰图像块；或者
对所述多个候选块和所述模糊图像块进行滤波处理,以及获取每一候选块的信噪比和所述模糊图像块的信噪比；
每一候选块的信噪比和所述模糊图像块的信噪比确定每一候选块和所述模糊图像块的权值；
依据所述模糊图像块和各候选块相应的权值对所述模糊图像块和多个所述候选块进行加权平均,将平均结果作为所述清晰图像块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410410081.2A CN104182940B (zh) | 2014-08-20 | 2014-08-20 | 一种模糊图像恢复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410410081.2A CN104182940B (zh) | 2014-08-20 | 2014-08-20 | 一种模糊图像恢复方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104182940A CN104182940A (zh) | 2014-12-03 |
| CN104182940B true CN104182940B (zh) | 2017-04-19 |
Family
ID=51963959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410410081.2A Expired - Fee Related CN104182940B (zh) | 2014-08-20 | 2014-08-20 | 一种模糊图像恢复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104182940B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809705B (zh) * | 2015-04-29 | 2018-01-12 | 厦门美图之家科技有限公司 | 一种基于阈值块匹配的图像去噪的方法和系统 |
| CN109636731B (zh) * | 2018-10-23 | 2020-11-13 | 惠州Tcl移动通信有限公司 | 一种图像拖影的消除方法、电子设备及存储介质 |
| CN109948655A (zh) * | 2019-02-21 | 2019-06-28 | 华中科技大学 | 一种基于多层次的内窥镜手术器械检测方法 |
| US11183108B2 (en) * | 2019-06-04 | 2021-11-23 | Sct Ltd. | System and method for reducing motion blur for LED display |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002051124A2 (en) * | 2000-12-19 | 2002-06-27 | Pulsent Corporation | Deblurring and re-blurring image segments |
| JP4178480B2 (ja) * | 2006-06-14 | 2008-11-12 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
| CN101448077B (zh) * | 2008-12-26 | 2010-06-23 | 四川虹微技术有限公司 | 一种自适应视频图像3d降噪方法 |
| JP4893758B2 (ja) * | 2009-01-23 | 2012-03-07 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像装置 |
| CN102238316A (zh) * | 2010-04-29 | 2011-11-09 | 北京科迪讯通科技有限公司 | 一种3d数字视频图像的自适应实时降噪方案 |
| CN103632359B (zh) * | 2013-12-13 | 2016-03-30 | 清华大学深圳研究生院 | 一种视频超分辨率处理方法 |
-
2014
- 2014-08-20 CN CN201410410081.2A patent/CN104182940B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN104182940A (zh) | 2014-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gallego et al. | Accurate angular velocity estimation with an event camera | |
| CN103533214B (zh) | 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法 | |
| US9767572B2 (en) | Systems and methods for 3D point cloud processing | |
| CN105354806B (zh) | 基于暗通道的快速去雾方法及系统 | |
| CN104182940B (zh) | 一种模糊图像恢复方法及系统 | |
| CN107248174A (zh) | 一种基于tld算法的目标跟踪方法 | |
| CN113994366A (zh) | 用于视频超分辨率的多阶段多参考自举 | |
| CN103186887B (zh) | 图像除雾装置和图像除雾方法 | |
| CN106210448B (zh) | 一种视频图像抖动消除处理方法 | |
| CN108280831B (zh) | 一种图像序列光流的获取方法及系统 | |
| CN109191498B (zh) | 基于动态记忆和运动感知的目标检测方法及系统 | |
| CN113284251B (zh) | 一种自适应视角的级联网络三维重建方法及系统 | |
| CN102231844B (zh) | 基于结构相似度和人眼视觉的视频图像融合性能评价方法 | |
| CN110084837B (zh) | 基于无人机视频的目标检测与跟踪方法 | |
| CN108257165A (zh) | 图像立体匹配方法、双目视觉设备 | |
| CN105516579A (zh) | 一种图像处理方法、装置和电子设备 | |
| CN103268482A (zh) | 一种低复杂度的手势提取和手势深度获取方法 | |
| CN110428466A (zh) | 一种非均匀性校正的方法和设备 | |
| CN110956598B (zh) | 一种适用于图像中值滤波的排序系统及排序方法 | |
| US20090316994A1 (en) | Method and filter for recovery of disparities in a video stream | |
| Zhao et al. | Event-based real-time moving object detection based on imu ego-motion compensation | |
| DE112016005936T5 (de) | Codefilter für Tiefenerfassung mit codiertem Licht in Tiefenbildern | |
| JP2019020839A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN103473753A (zh) | 一种基于多尺度小波阈值去噪的目标检测方法 | |
| CN108174056A (zh) | 一种时空域联合的微光视频降噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent for invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Suzhou City, Jiangsu province 215121 Suzhou Industrial Park Road No. 8 only Weiting Technology Venture Building 7 floor Applicant after: Kuo Di education and science company limited Address before: Suzhou City, Jiangsu province 215121 Suzhou Industrial Park Road No. 8 only Weiting Technology Venture Building 7 floor Applicant before: Suzhou Kuodi Network Technology Co., Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: SUZHOU KUODI NETWORK TECHNOLOGY CO., LTD. TO: CODYY EDUCATION TECHNOLOGY CO., LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170419 Termination date: 20200820 |