CN109166085B - 一种图像修复方法及装置 - Google Patents
一种图像修复方法及装置 Download PDFInfo
- Publication number
- CN109166085B CN109166085B CN201811075217.3A CN201811075217A CN109166085B CN 109166085 B CN109166085 B CN 109166085B CN 201811075217 A CN201811075217 A CN 201811075217A CN 109166085 B CN109166085 B CN 109166085B
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- restored
- operator
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000003708 edge detection Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 18
- 230000008439 repair process Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像修复方法及装置，所述方法包括：利用梯度算子求出待修复图像像素的梯度方向与梯度强度数值；再由待修复图像像素的邻近像素获得待修复图像像素的结构因子；再根据待修复图像像素的梯度方向和结构因子确定对应的高斯算子，通过对应高斯算子计算得出高斯系数；在根据待修复图像像素的噪声获得噪声系数；最后根据待修复图像像素的梯度强度数值与噪声系数来矫正待修复图像像素的高斯系数，再由矫正后的高斯系数与待修复图像像素计算得到修复后的图像像素。本申请增加了噪声检测算子，提高了算法在实际视频样本上的表现；对传统的梯度检测、结构估计算子进行了优化，提高了计算效率，对图像的修复有提高。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种图像修复方法及装置。
背景技术
现有的超分辨率技术可以根据所处理的数据类型来划分，分成对单帧图像的处理和对连续视频图像的处理两种。单帧图像的超分处理主要基于对物体边缘的提取和锐化技术，其依据是物体边缘所代表的模式不随分辨率而显著变化。而连续运动图像的处理则主要基于在时间方向上的物体运动估计，图像配准和子像素提取技术上。快速超分辨率的调整锚邻域回归(Adjusted anchored neighborhood regression for fast super-resolution，简称A+)，快速、精确的超分辨率技术(Rapid and Accurate Image Super-Resolution，简称RAISR)，超分辨率卷积神经网络，(Super-Resolution ConvolutionalNeural Network，简称SRCNN)是机器学习超分算法的3个典型实例。A+根据周围像素生成模式词典，使用稀疏矩阵压缩方法生成HASH(散列)来选择滤波器。在SRCNN中，使用稀疏矩阵的HASH来选择优质滤波器的方法是一个卷积神经网络的工作过程。而RAISR是近年来比较突出的成果，它在算法的效果和运算复杂度上取得了很好的平衡。
目前的超分辨率技术存在以下缺陷：
如果用于连续的高清晰度视频，则性能上还存在显著的不足。在PC(personalcomputer)平台上当视频分辨率比较高的时候，比如4k视频不能做到实时处理；而在移动设备，手机上的CPU性能更低一些，对于720P的视频就会遇到严重的性能和功耗瓶颈。
并且实际视频都是存在噪声的不完美样本，目前算法并未考虑到噪声的影响和去除，在实际运用中，噪声的存在严重降低了超分算法的效果。
发明内容
为了解决上述至少一种缺陷，本申请描述一种图像修复方法及装置，用于对图像进行修复还原。
第一方面，本申请实施例提供一种图像修复方法，所述方法包括：
对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值；
根据所述待修复图像中像素点的梯度方向确定该像素点的邻近像素点，并根据邻近像素点的梯度方向及梯度强度值得到所述像素点的结构因子；
根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子，采用高斯算子对所述像素点进行处理，得到所述像素点的高斯系数；
根据所述待修复图像像素的噪声得到噪声系数；
根据所述待修复图像中像素点的高斯系数及噪声系数，对所述待修复图像中像素点进行修复，以对所述待修复图像进行修复。
可选地，所述对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值，包括：
采用边缘检测算子对所述待修复图像进行处理，得到所述待修复图像中各像素点的梯度向量，所述梯度向量包括梯度方向和梯度强度值；
所述边缘检测算子包括Sobel检测算子。
可选地，所述根据所述待修复图像中像素点的梯度方向确定该像素点的邻近像素点，并根据邻近像素点的梯度方向及梯度强度值得到所述像素点的结构因子，包括：
根据所述待修复图像中像素点的梯度方向，确定所述像素点在所述梯度方向上的两个邻近像素点；
检测所述像素点的梯度方向与所述两个邻近像素点的梯度方向是否相同；
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均不相同时，判定结构因子为1；
在所述像素点的梯度方向与其中一个邻近像素点的梯度方向相同时，判定结构因子为2；
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均相同时，判定结构因子为3。
可选地，所述根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子包括：
根据所述待修复图像中像素点的梯度方向及结构因子确定所述高斯算子的维度；其中，所述待修复图像中所有像素点的梯度方向越多，所述高斯算子维度越高；所述结构因子越大，所述高斯算子维度越高。
可选地，所述根据所述待修复图像像素的噪声得到噪声系数，包括：
利用噪声算子及所述待修复图像像素点的噪声，得到所述待修复图像像素点的噪声系数，其中噪声系数与所述噪声算子成线性关系。
第二方面，本申请实施例还提供一种图像修复装置，所述装置包括：
边缘检测模块，用于对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值；
结构因子计算模块，用于根据所述待修复图像中像素点的梯度方向确定该像素点的邻近像素点，并根据邻近像素点的梯度方向及梯度强度值得到所述像素点的结构因子；
高斯系数计算模块，用于根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子，采用高斯算子对所述像素点进行处理，得到所述像素点的高斯系数；
噪声系数计算模块，用于根据所述待修复图像像素的噪声得到噪声系数；
修复模块，用于根据所述待修复图像中像素点的高斯系数及噪声系数，对所述待修复图像中像素点进行修复，以对所述待修复图像进行修复。
可选地，所述边缘检测模块具体用于：
采用边缘检测算子对所述待修复图像进行处理，得到所述待修复图像中各像素点的梯度向量，所述梯度向量包括梯度方向和梯度强度值；
所述边缘检测算子包括Sobel检测算子。
可选地，所述结构因子计算模块具体用于：
根据所述待修复图像中像素点的梯度方向，确定所述像素点在所述梯度方向上的两个邻近像素点；
检测所述像素点的梯度方向与所述两个邻近像素点的梯度方向是否相同；
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均不相同时，判定结构因子为1；
在所述像素点的梯度方向与其中一个邻近像素点的梯度方向相同时，判定结构因子为2；
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均相同时，判定结构因子为3。
可选地，所述高斯系数计算模块具体用于：
根据所述待修复图像中像素点的梯度方向及结构因子确定所述高斯算子的维度；其中，所述待修复图像中所有像素点的梯度方向越多，所述高斯算子维度越高；所述结构因子越大，所述高斯算子维度越高。
可选地，所述噪声系数计算模块具体用于：
利用噪声算子及所述待修复图像像素点的噪声，得到所述待修复图像像素点的噪声系数，其中噪声系数与所述噪声算子成线性关系。
相比现有技术，本申请提供的有益效果包括：本申请实施例提供了一种图像修复方法及装置，所述方法包括：对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值；根据所述待修复图像中像素点的梯度方向确定该像素点的邻近像素点，并根据邻近像素点的梯度方向及梯度强度值得到所述像素点的结构因子；根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子，采用高斯算子对所述像素点进行处理，得到所述像素点的高斯系数；根据所述待修复图像像素的噪声得到噪声系数；根据所述待修复图像中像素点的高斯系数及噪声系数，对所述待修复图像中像素点进行修复，以对所述待修复图像进行修复。本申请增加了噪声检测算子，提高了算法在实际视频样本上的表现、对传统的梯度检测，结构估计算子进行了优化，极大的提高了计算效率、对传统的高斯-拉普拉斯滤波器等进行了各向异性，梯度强度自适应，局部结构自适应的改进，对图像的修复有提高。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图；
图2为本申请实施例提供的图像修复方法的流程示意图；
图3为本申请实施例提供的结构因子为1的高斯算子示意图；
图4为本申请实施例提供的结构因子为2的高斯算子示意图；
图5为本申请实施例提供的结构因子为3的高斯算子示意图；
图6为本申请实施例提供的图像修复第一档算子示意图；
图7为本申请实施例提供的图像修复第二档算子示意图；
图8为本申请实施例提供的图像修复第四档算子示意图；
图9为本申请实施例提供的图像修复装置的功能模块图。
图标：100-电子设备；110-图像修复装置；1101-边缘检测模块；1102-结构因子计算模块；1103-高斯系数计算模块；1104-噪声系数计算模块；1105-修复模块；111-存储器；112-处理器；113-通信单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的具体实施方式进行详细说明。
请参照图1，图1为本申请实施例提供的一种电子设备100的结构示意图。所述电子设备100包括图像修复装置110、存储器111、处理器112及通信单元113。
所述存储器111、处理器112及通信单元113的各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序，所述处理器112在接收到执行指令后，执行所述程序。所述通信单元113用于通过网络建立所述电子设备100与其它设备(比如用户终端)之间的通信连接，并用于通过网络进行数据的接收和发送。
图像修复装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述电子设备100的操作系统(Operating System，OS)中的软件功能模块。所述处理器112用于执行所述存储器111中存储的可执行模块，例如图像修复装置110所包括的软件功能模块及计算机程序等。
应当理解的是，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2为本申请实施例提供的应用于图1中的电子设备100的图像修复方法的流程示意图，所述方法包括：
步骤S210，对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值；
进一步地，在本实施例中，可以采用边缘检测算子对所述待修复图像进行处理，得到所述待修复图像中各像素点的梯度向量。
所述梯度向量包括梯度方向和梯度强度值。
所述边缘检测算子包括Sobel检测算子(索贝尔算子，Sobel operator)。
在本实施例中，可以采用Sobel检测算子计算得到待修复图像中各像素点的梯度向量，具体公式包括：
其中，SOBEL算子包含横向和纵向两组卷积核，A代表待修复图像中像素，Gx和Gy代表横向和径向的输出图像；
其中，Gd代表待修复图像像素的梯度方向，S代表待修复图像像素的梯度强度值；
在本实施例中，梯度强度算子可以是梯度强度值的线性变化：
Gs＝a*S+b
其中，Gs代表梯度强度算子，a、b为常数。
步骤S220，根据所述待修复图像中像素点的梯度方向确定该像素点的邻近像素点，并根据邻近像素点的梯度方向及梯度强度值得到所述像素点的结构因子。
在本申请实施例中，步骤S220可以包括：
根据所述待修复图像中像素点的梯度方向，确定所述像素点在所述梯度方向上的两个邻近像素点。
检测所述像素点的梯度方向与所述两个邻近像素点的梯度方向是否相同。
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均不相同时，判定结构因子为1。
在所述像素点的梯度方向与其中一个邻近像素点的梯度方向相同时，判定结构因子为2。
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均相同时，判定结构因子为3。
在本申请实施例中，待修复图像中像素点的结构因子可以根据该像素梯度方向上的两个邻近像素的梯度方向及梯度强度数值确定；具体公式如下：
Gλ＝S+(Gd1＝＝Gd)*S1+(Gd2＝＝Gd)*S2
其中，Gλ代表待修复图像中像素点的结构因子，Gd1和Gd2分别代表两个邻近像素的梯度方向，S1和S2分别代表两个邻近像素的梯度强度。
步骤S230，根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子，采用高斯算子对所述像素点进行处理，得到所述像素点的高斯系数。
请参照图3，图3为本申请实施例提供的结构因子为1的高斯算子示意图。在本实施例中，为了提高计算效率，可以采用5x5的高斯算子，把方向性算子量化为8个方向，合并在高斯算子中，当结构因子为1时，可以采用如图所述的5x5的高斯算子。
请参照图4，图4为本申请实施例提供的结构因子为2的高斯算子示意图。当结构因子为2时，可以采用如图所示的7x7的高斯算子。
请参照图5，图5为本申请实施例提供的结构因子为3的高斯算子示意图。当结构因子为3时，可以如图所示的9x9的高斯算子。
进一步地，根据所述待修复图像中像素点的梯度方向及结构因子确定所述高斯算子的维度；其中，所述待修复图像中所有像素点的梯度方向越多，所述高斯算子维度越高；所述结构因子越大，所述高斯算子维度越高。
值得说明的是，在本实施例中，当使用不同尺寸的高斯算子和噪声算子时，会产生极大计算量的差别。为了便于在不同计算能力的设备上应用本算法，本申请根据计算量给出了一共七档算法参数，需要的计算量从小到大，开发人员可以灵活选择。
请参照图6，图6为本申请实施例提供的图像修复第一档算子示意图，第一档为ultrafast(极速修复)，使用3x3的高斯算子和噪声算子，取3个方向，忽略梯度强度和结构因子。
请参照图7，图7为本申请实施例提供的图像修复第二档算子示意图，第二档为superfast(超高速修复)，使用3x5的高斯和噪声算子。同样取3个方向，或略梯度强度和结构因子。
在本实施例中，第三档为veryfast(超速修复)，在superfast基础上增加梯度强度算子。
请参照图8四档，图8本申请实施例提供的图像修复第四档当算子示意图，第四档为fast(高速修复)，使用4个方向的算子进行计算
在本实施例中还包括：第五档算子，medium(正常修复)，使用前述的5x5高斯算子和8个方向，只用一个结构因子，滤波器数量为8个。
第六档算子，strong(清晰修复)，使用前述的7x7高斯和8个方向，增加一个结构因子，基本滤波器数量增加到16。
第七档算子，verystrong(超清晰修复)，使用前述的9x9高斯和8个方向，3个结构因子，基本滤波器数量24个。
应当理解的是，随着修复算子档位的提高，需要计算的方向和考虑的参数增多，修复图像需要的代码行数也对应增加，因此计算参考强度也就依次增加。开发人员可以根据计算参考强度来选择合适的档位算子。
值得说明的是，在本申请实施例中，前五档medium以上可以在移动设备如手机ARMCPU上使用NEON(ARM架构处理器扩展结构)指令实现720P 30FPS的性能。后两档需要PC水平的处理能力，或者硬件加速。
步骤S240，根据所述待修复图像像素的噪声得到噪声系数；
进一步地，所述根据所述待修复图像像素的噪声得到噪声系数，包括：
利用噪声算子及所述待修复图像像素点的噪声，得到所述待修复图像像素点的噪声系数，其中噪声系数与所述噪声算子成线性关系。
在本申请实施例中，所述噪声系数与噪声算子具体可以实现：
t＝x-xi，j
Gη＝a*η+b
其中，η代表噪声系数，xi,j可以是像素点x邻近3x3或者5x5矩阵，t代表待修复图像像素点与该点邻近矩阵的差值，Gη代表噪声算子。
步骤S250，根据所述待修复图像中像素点的高斯系数及噪声系数，对所述待修复图像中像素点进行修复，以对所述待修复图像进行修复。
在本实施中，梯度强度算子Gs和噪声算子Gη可以合并：
Gsη＝a*S+b*η+c
待修复图像中的像素可以通过如下公式进行修复：
SR＝DR+W*(a*S+b*η+c)
其中，SR代表修复完成的图像中的像素，DR代表待修复图像中的像素，W代表高斯系数，常数a，b，c代表通过训练获得的经验常数。
请参照图9，图9为本申请实施例提供的图像修复装置100的功能模块图，包括：
边缘检测模块1101，用于对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值；
进一步地，所述边缘检测模块1101具体用于：
采用边缘检测算子对所述待修复图像进行处理，得到所述待修复图像中各像素点的梯度向量，所述梯度向量包括梯度方向和梯度强度值；
所述边缘检测算子包括Sobel检测算子。
结构因子计算模块1102，用于根据所述待修复图像中像素点的梯度方向确定该像素点的邻近像素点，并根据邻近像素点的梯度方向及梯度强度值得到所述像素点的结构因子；
进一步地，所述结构因子计算模块1102具体用于：
根据所述待修复图像中像素点的梯度方向，确定所述像素点在所述梯度方向上的两个邻近像素点；
检测所述像素点的梯度方向与所述两个邻近像素点的梯度方向是否相同；
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均不相同时，判定结构因子为1；
在所述像素点的梯度方向与其中一个邻近像素点的梯度方向相同时，判定结构因子为2；
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均相同时，判定结构因子为3。
高斯系数计算模块1103，用于根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子，采用高斯算子对所述像素点进行处理，得到所述像素点的高斯系数；
进一步地，所述高斯系数计算模块1103具体用于：
根据所述待修复图像中像素点的梯度方向及结构因子确定所述高斯算子的维度；其中，所述待修复图像中所有像素点的梯度方向越多，所述高斯算子维度越高；所述结构因子越大，所述高斯算子维度越高。
噪声系数计算模块1104，用于根据所述待修复图像像素的噪声得到噪声系数；
进一步地，所述噪声系数计算模块1104具体用于：
利用噪声算子及所述待修复图像像素点的噪声，得到所述待修复图像像素点的噪声系数，其中噪声系数与所述噪声算子成线性关系。
修复模块1105，用于根据所述待修复图像中像素点的高斯系数及噪声系数，对所述待修复图像中像素点进行修复，以对所述待修复图像进行修复。
综上所述，本申请实施例提供了一种图像修复方法及装置，所述方法包括：对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值；根据所述待修复图像中像素点的梯度方向确定该像素点的邻近像素点，并根据邻近像素点的梯度方向及梯度强度值得到所述像素点的结构因子；根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子，采用高斯算子对所述像素点进行处理，得到所述像素点的高斯系数；根据所述待修复图像像素的噪声得到噪声系数；根据所述待修复图像中像素点的高斯系数及噪声系数，对所述待修复图像中像素点进行修复，以对所述待修复图像进行修复。本申请增加了噪声检测算子，提高了算法在实际视频样本上的表现、对传统的梯度检测，结构估计算子进行了优化，极大的提高了计算效率、对传统的高斯-拉普拉斯滤波器等进行了各向异性，梯度强度自适应，局部结构自适应的改进，对图像的修复有提高。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种图像修复方法，其特征在于，所述方法包括：
对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值；
根据所述待修复图像中像素点的梯度方向，确定所述像素点在所述梯度方向上的两个邻近像素点；
检测所述像素点的梯度方向与所述两个邻近像素点的梯度方向是否相同；
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均不相同时，判定结构因子为1；
在所述像素点的梯度方向与其中一个邻近像素点的梯度方向相同时，判定结构因子为2；
在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均相同时，判定结构因子为3；
根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子，采用高斯算子对所述像素点进行处理，得到所述像素点的高斯系数；
根据所述待修复图像像素的噪声得到噪声系数；
根据所述待修复图像中像素点的高斯系数及噪声系数，对所述待修复图像中像素点进行修复，以对所述待修复图像进行修复。
2.根据权利要求1所述的方法，其特征在于，所述对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值，包括：
采用边缘检测算子对所述待修复图像进行处理，得到所述待修复图像中各像素点的梯度向量，所述梯度向量包括梯度方向和梯度强度值；
所述边缘检测算子包括Sobel检测算子。
3.根据权利要求1所述的方法，其特征在于，所述根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子包括：
根据所述待修复图像中像素点的梯度方向及结构因子确定所述高斯算子的维度；其中，所述待修复图像中所有像素点的梯度方向越多，所述高斯算子维度越高；所述结构因子越大，所述高斯算子维度越高。
4.根据权利要求1所述的方法，其特征在于，所述根据所述待修复图像像素的噪声得到噪声系数，包括：
利用噪声算子及所述待修复图像像素点的噪声，得到所述待修复图像像素点的噪声系数，其中噪声系数与所述噪声算子成线性关系。
5.一种图像修复装置，其特征在于，所述装置包括：
边缘检测模块，用于对待修复图像进行边缘检测，得到所述待修复图像中各像素点的梯度方向和梯度强度值；
结构因子计算模块，用于：根据所述待修复图像中像素点的梯度方向，确定所述像素点在所述梯度方向上的两个邻近像素点；检测所述像素点的梯度方向与所述两个邻近像素点的梯度方向是否相同；在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均不相同时，判定结构因子为1；在所述像素点的梯度方向与其中一个邻近像素点的梯度方向相同时，判定结构因子为2；在所述像素点的梯度方向与所述两个邻近像素点的梯度方向均相同时，判定结构因子为3；
高斯系数计算模块，用于根据所述待修复图像中像素点的梯度方向及结构因子得到高斯算子，采用高斯算子对所述像素点进行处理，得到所述像素点的高斯系数；
噪声系数计算模块，用于根据所述待修复图像像素的噪声得到噪声系数；
修复模块，用于根据所述待修复图像中像素点的高斯系数及噪声系数，对所述待修复图像中像素点进行修复，以对所述待修复图像进行修复。
6.根据权利要求5所述的装置，其特征在于，所述边缘检测模块具体用于：
采用边缘检测算子对所述待修复图像进行处理，得到所述待修复图像中各像素点的梯度向量，所述梯度向量包括梯度方向和梯度强度值；
所述边缘检测算子包括Sobel检测算子。
7.根据权利要求5所述的装置，其特征在于，所述高斯系数计算模块具体用于：
根据所述待修复图像中像素点的梯度方向及结构因子确定所述高斯算子的维度；其中，所述待修复图像中所有像素点的梯度方向越多，所述高斯算子维度越高；所述结构因子越大，所述高斯算子维度越高。
8.根据权利要求5所述的装置，其特征在于，所述噪声系数计算模块具体用于：
利用噪声算子及所述待修复图像像素点的噪声，得到所述待修复图像像素点的噪声系数，其中噪声系数与所述噪声算子成线性关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811075217.3A CN109166085B (zh) | 2018-09-14 | 2018-09-14 | 一种图像修复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811075217.3A CN109166085B (zh) | 2018-09-14 | 2018-09-14 | 一种图像修复方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109166085A CN109166085A (zh) | 2019-01-08 |
| CN109166085B true CN109166085B (zh) | 2022-02-08 |
Family
ID=64879460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811075217.3A Expired - Fee Related CN109166085B (zh) | 2018-09-14 | 2018-09-14 | 一种图像修复方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109166085B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0234590A2 (en) * | 1986-02-28 | 1987-09-02 | Dainippon Screen Mfg. Co., Ltd. | Method of and apparatus for generating high-resolution binary image data with respect to linear edges |
| CN102136144A (zh) * | 2011-04-11 | 2011-07-27 | 北京大学 | 图像配准可靠性模型和超分辨率图像的重构方法 |
-
2018
- 2018-09-14 CN CN201811075217.3A patent/CN109166085B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0234590A2 (en) * | 1986-02-28 | 1987-09-02 | Dainippon Screen Mfg. Co., Ltd. | Method of and apparatus for generating high-resolution binary image data with respect to linear edges |
| CN102136144A (zh) * | 2011-04-11 | 2011-07-27 | 北京大学 | 图像配准可靠性模型和超分辨率图像的重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| Gradient Profile Prior and Its Applications in Image Super-Resolution and Enhancement;Jian Sun etal.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20110731;第20卷(第6期);全文 * |
| 一种改善超分辨率图像重建中边缘质量的方法;禹晶等;《自动化学报》;20070630;第33卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109166085A (zh) | 2019-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766736A (zh) | 缺陷检测方法、装置、电子设备以及存储介质 | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| CN110796624B (zh) | 一种图像生成方法、装置及电子设备 | |
| WO2014070273A1 (en) | Recursive conditional means image denoising | |
| CN110874827B (zh) | 湍流图像复原方法、装置、终端设备及计算机可读介质 | |
| CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN116152261B (zh) | 一种印刷制品质量的视觉检测系统 | |
| CN115809982B (zh) | 电芯压伤检测方法、装置及系统 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN111476759B (zh) | 一种屏幕表面检测方法、装置、终端及存储介质 | |
| CN113362238A (zh) | 测试图像处理方法、装置、电子设备及存储介质 | |
| CN112116568A (zh) | 一种图像质量评价方法、装置及存储介质 | |
| CN117191816B (zh) | 基于多光谱融合的电子元器件表面缺陷检测方法和装置 | |
| CN111696064A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN109166085B (zh) | 一种图像修复方法及装置 | |
| CN116309158A (zh) | 网络模型的训练方法、三维重建方法、装置、设备和介质 | |
| CN111179245A (zh) | 图像质量检测方法、装置、电子设备和存储介质 | |
| CN115661156A (zh) | 图像生成方法、装置、存储介质、设备及计算机程序产品 | |
| CN110766153A (zh) | 神经网络模型训练方法、装置及终端设备 | |
| Zhai et al. | Progressive image restoration through hybrid graph Laplacian regularization | |
| CN112581001A (zh) | 设备的评估方法及装置、电子设备、可读存储介质 | |
| CN114119376A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113850751A (zh) | 图片的模糊检测方法、装置、计算机设备和存储介质 | |
| CN116091367B (zh) | 光学遥感图像盲去模糊方法、装置、设备和介质 | |
| CN117173185B (zh) | 轧制板材的区域检测方法及装置、存储介质、计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220208 |