CN111784613A - 一种视频图像的降噪处理方法 - Google Patents
一种视频图像的降噪处理方法 Download PDFInfo
- Publication number
- CN111784613A CN111784613A CN202010663552.6A CN202010663552A CN111784613A CN 111784613 A CN111784613 A CN 111784613A CN 202010663552 A CN202010663552 A CN 202010663552A CN 111784613 A CN111784613 A CN 111784613A
- Authority
- CN
- China
- Prior art keywords
- image
- noise reduction
- video
- processing
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 47
- 238000003672 processing method Methods 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 abstract description 16
- 238000006731 degradation reaction Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频图像的降噪处理方法，包括如下步骤，步骤一：从拍摄的设备中采集需要进行降噪的视频数据，通过相应的解码操作对视频进行抽帧处理，得到相应的图像，步骤二：将步骤一得到的图像输入到部署有训练好的设备中，通过模型处理得到降噪后的图像，步骤三：使用算法将步骤二降噪得到的图像序列进行处理，转换为视频流输出，得到降噪后的视频；本发明灵活处理视频采集过程中的各种噪声，做到对视频采集过程中产生的多种类型的噪声进行降噪处理，其中使用到一种dpsr算法，利用即插即用的框架对任意模糊核的LR(低分辨率)图像进行处理，灵活有效处理模糊的LR图像。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种视频图像的降噪处理方法。
背景技术
图像降噪是图像处理的基本问题之一，经过长时间的研究，当前的图像降噪算法对于噪声较弱、图像模糊程度较弱时已经能够达到很好的性能，然而在高噪声的环境下，如在光线较弱或夜间环境下拍摄的视频，由于信噪比低，图片内可用的信息不足，相应的算法的性能会迅速下降，在现实生活中因为设备和系统等的不完善，图像往往会受到噪声污染而变得模糊不清，为了模糊不清的噪声图像变得干净清晰且图像细节明显，本发明使用基于深度学习算法DPSR算法，针对视频在拍摄过程中产生的多种噪声进行处理，对于任意模糊核的超分辨率低分辨图像的处理，本发明使用一种基于双退化的深度学习SISR算法框架(DPSR)，利用即插即用框架对任意模糊核的LR图像进行处理，设计了一个新的SISR退化模型，以利用现有的盲去模糊方法进行模糊核估计，在优化新的退化诱导能量函数时，使用变量分裂技术推导一个即插即用的算法，实现灵活有效地处理模糊LR(低分辨率)图像，现有的现有的技术在图像视频的采集、压缩、传输等过程都会导致画面失真，本发明注重的是图像采集过程中一种普遍失真---噪声，降噪原理是通过提高单位像素面积内接受到光子个数来降低人眼感知到的噪声强度，不论是硬件降噪或软件降噪，很多降噪方法都利用到了原理，硬件降噪：通常的硬件降噪方法都是通过增加单位像素接收到光子个数来增加图像的信噪比的，比如，增加感光元器件的尺寸，但这样的做法的缺点是：有些感光元器件为接收到更多的光子去掉了彩色滤光片，但不足是只能拍摄灰度图像，需要结合正常的摄像头，传统降噪方法，有两种方式，一种是单帧降噪，是对单幅图像进行降噪，使用的降噪算法包含多种，如线性/非线性，空域/频域，频域中又包含小波变换域、傅里叶变换域或其他变换域，但相应的缺点是单帧降噪算法往往需要在速度和效果之间权衡，使用这种纯软件的方式很难实现出即快又好的单帧降噪方法；另一种是多帧降噪，其工作方式就是对齐和融合，但其不足之处需要估计噪声强度，若噪声强度估计不准确，对最终的图像、视频的质量造成影响，视频降噪与图像降噪方式类似，为了达到更好的降噪效果也会用到临近帧的信息，把临近帧中相似的像素快做融合处理，但要保持实时性是很困难的，需要硬件的支持，使用快速的对齐算法，用运动检测代替运动估计等一系列的过程进行降噪处理，这样过程过于繁琐，而且对于多种噪声的处理，其处理效果并不是很好的问题，为此本发明提出一种视频图像的降噪处理方法。
发明内容
本发明的目的在于提供一种视频图像的降噪处理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种视频图像的降噪处理方法，步骤如下：
步骤一：从拍摄的设备中采集需要进行降噪的视频数据，通过相应的解码操作对视频进行抽帧处理，得到相应的图像；
步骤二：将步骤一得到的图像输入到部署有训练好的设备中，通过模型处理得到降噪后的图像；
步骤三：使用算法将步骤二降噪得到的图像序列进行处理，转换为视频流输出，得到降噪后的视频。
优选的，所述步骤二中，得到的图像输入到部署有训练好的dpsr模型的设备中，通过dpsr降噪模型处理得到降噪后的图像。
优选的，所述步骤三中，使用OpenCV算法将步骤二降噪得到的图像序列进行处理。
与现有技术相比，本发明的有益效果是：
(1)灵活处理视频采集过程中的各种噪声，做到对视频采集过程中产生的多种类型的噪声进行降噪处理，其中使用到一种dpsr算法，利用即插即用的框架对任意模糊核的LR(低分辨率)图像进行处理，灵活有效处理模糊的LR图像。
(2)将训练好的降噪软件(降噪模型)部署到相应的便携设备上，如手机终端，实现对模糊，失真的视频进行实时降噪，具有良好的便携性。
(3)将自研的降噪软件(训练好的降噪模型)部署到相应的设备中，如可将降噪软件部署到手机终端，将设备采集到的视频，输入到降噪软件中进行视频解码为图像，图像降噪，使用opencv将图像转换为视频输出，实现实时性。
附图说明
图1为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种视频图像的降噪处理方法，包括如下步骤：
步骤一：从拍摄的设备中采集需要进行降噪的视频数据，通过相应的解码操作对视频进行抽帧处理，得到相应的图像；
步骤二：将步骤一得到的图像输入到部署有训练好的设备中，通过模型处理得到降噪后的图像；
步骤三：使用算法将步骤二降噪得到的图像序列进行处理，转换为视频流输出，得到降噪后的视频。
本实施例中，优选的，步骤二中，得到的图像输入到部署有训练好的dpsr模型的设备中，通过dpsr降噪模型处理得到降噪后的图像。
本实施例中，优选的，步骤三中，使用OpenCV算法将步骤二降噪得到的图像序列进行处理。
本发明的工作原理及使用流程：首先从拍摄的设备中采集需要进行降噪的视频数据，通过相应的解码操作对视频进行抽帧处理，得到相应的图像，将上一步得到的图像输入到部署有训练好的dpsr模型的设备中，通过dpsr降噪模型处理得到降噪后的图像，使用OpenCV算法将第二步降噪得到的图像序列进行处理，转换为视频流输出，得到降噪后的视频；
其中降噪过程描述：通过dpsr算法将基于深度网络的图像复原整合到一种基于变量分裂的迭代优化方案中，使用改进版的SISR退化模型，利用现有盲去模糊方法进行模糊核估计，进行超分+模糊+去噪的工作，对任意模糊核进行处理，在傅里叶域中处理模糊失真，对多种类型的噪声进行降噪，在图像复原方面采用手工制作图片作为先验，在退化模型优化过程中加入能量函数进行优化，在模型测试过程中采用合成的图片和真实的图片进行评估，实现图像的降噪，
退化模型函数：
其中↓s是尺度因子s的双三次下采样，通过已有的去模糊方法去估计k,
通过最大后验概率将能量函数形式给出，通过退化模型来确定数据保真度(似然项)。
在解决能量函数时，采用变量分裂技术引入辅助变量，确定约束公式，公式内容如下：
subject to z＝x↓s，
在最终处理图像失真模糊的问题时，使用下面的方案，进行辅助变量(Z式)和高分图像(X式)交替，Z解决模糊的失真问题，将当前估计拉到一个不那么模糊的地方，另一方面，x功能将模糊程度较小的图像映射到更清晰的HR图像，经过多次交替迭代，得到最终重建的HR图像不包含模糊和噪声。
在超分辨率处理上，重写一个公式y＝x↓s+n.使用双三次退化模型解决超分辨率问题，同时插入一个基于DNN的超级解析器，训练广泛使用的双三次模型，进而取代X式和重写公式。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.一种视频图像的降噪处理方法，其特征在于：包括如下步骤：
步骤一：从拍摄的设备中采集需要进行降噪的视频数据，通过相应的解码操作对视频进行抽帧处理，得到相应的图像；
步骤二：将步骤一得到的图像输入到部署有训练好的设备中，通过模型处理得到降噪后的图像；
步骤三：使用算法将步骤二降噪得到的图像序列进行处理，转换为视频流输出，得到降噪后的视频。
2.根据权利要求1所述的一种视频图像的降噪处理方法，其特征在于：所述步骤二中，得到的图像输入到部署有训练好的dpsr模型的设备中，通过dpsr降噪模型处理得到降噪后的图像。
3.根据权利要求1所述的一种视频图像的降噪处理方法，其特征在于：所述步骤三中，使用OpenCV算法将步骤二降噪得到的图像序列进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010663552.6A CN111784613A (zh) | 2020-07-10 | 2020-07-10 | 一种视频图像的降噪处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010663552.6A CN111784613A (zh) | 2020-07-10 | 2020-07-10 | 一种视频图像的降噪处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111784613A true CN111784613A (zh) | 2020-10-16 |
Family
ID=72768840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010663552.6A Pending CN111784613A (zh) | 2020-07-10 | 2020-07-10 | 一种视频图像的降噪处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784613A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005286689A (ja) * | 2004-03-30 | 2005-10-13 | Sanyo Electric Co Ltd | ノイズ低減方法及び画像処理装置 |
| CN101742290A (zh) * | 2008-11-12 | 2010-06-16 | 北京中星微电子有限公司 | 视频编、解码降噪方法和视频编、解码降噪装置 |
| CN103139543A (zh) * | 2011-12-04 | 2013-06-05 | 飞秒光电科技(西安)有限公司 | X射线图像降噪处理系统 |
-
2020
- 2020-07-10 CN CN202010663552.6A patent/CN111784613A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005286689A (ja) * | 2004-03-30 | 2005-10-13 | Sanyo Electric Co Ltd | ノイズ低減方法及び画像処理装置 |
| CN101742290A (zh) * | 2008-11-12 | 2010-06-16 | 北京中星微电子有限公司 | 视频编、解码降噪方法和视频编、解码降噪装置 |
| CN103139543A (zh) * | 2011-12-04 | 2013-06-05 | 飞秒光电科技(西安)有限公司 | X射线图像降噪处理系统 |
Non-Patent Citations (1)
| Title |
|---|
| KAI ZHANG ET.AL: "Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels", 《IEEE》, pages 1671 - 1681 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lehtinen et al. | Noise2Noise: Learning image restoration without clean data | |
| Claus et al. | Videnn: Deep blind video denoising | |
| JP5543605B2 (ja) | 空間画像事前確率を用いたぼけ画像修正 | |
| KR100911890B1 (ko) | 이미지 모델의 컬러 성분의 복원을 위한 방법, 시스템,프로그램 모듈, 및 컴퓨터 프로그램 생성물 | |
| CN111242860B (zh) | 超级夜景图像的生成方法、装置、电子设备及存储介质 | |
| He et al. | Atmospheric turbulence mitigation based on turbulence extraction | |
| CN116051428A (zh) | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| JP2009271725A (ja) | 画像復元装置、画像復元方法及び画像復元プログラム | |
| Yadav et al. | Frequency-domain loss function for deep exposure correction of dark images | |
| Lee et al. | Recent advances in image deblurring | |
| CN111784613A (zh) | 一种视频图像的降噪处理方法 | |
| CN110852947A (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
| CN115205731A (zh) | 一种视频降噪装置、方法及终端 | |
| Guan et al. | NODE: Extreme low light raw image denoising using a noise decomposition network | |
| EP3913572A1 (en) | Loss function for image reconstruction | |
| Li et al. | Joint motion deblurring with blurred/noisy image pair | |
| CN108632502B (zh) | 一种图像锐化的方法及装置 | |
| Cui et al. | High quality image-pair-based deblurring method using edge mask and improved residual deconvolution | |
| Mol et al. | A survey on restoration of paintings | |
| Zhao et al. | Spatially adaptive image deblurring based on nonlocal means | |
| US20240169497A1 (en) | Airy-Disk Correction for Deblurring an Image | |
| CN114359108A (zh) | 一种基于计算机视觉的输变电图像处理方法 | |
| Gupta et al. | Blind restoration method for satellite images using memetic algorithm | |
| CN115564671B (zh) | 基于长短曝光图像对的自监督图像复原系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |