CN110570376A - 一种图像去雨方法、装置、设备和计算机可读存储介质 - Google Patents
一种图像去雨方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110570376A CN110570376A CN201910854205.9A CN201910854205A CN110570376A CN 110570376 A CN110570376 A CN 110570376A CN 201910854205 A CN201910854205 A CN 201910854205A CN 110570376 A CN110570376 A CN 110570376A
- Authority
- CN
- China
- Prior art keywords
- image
- rain
- blocks
- block
- subjected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 82
- 238000005192 partition Methods 0.000 claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 18
- 238000000638 solvent extraction Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 37
- 238000003786 synthesis reaction Methods 0.000 claims description 37
- 230000000903 blocking effect Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 11
- 239000002131 composite material Substances 0.000 claims description 8
- 238000012847 principal component analysis method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 16
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 238000003892 spreading Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像去雨方法、装置、设备和计算机可读存储介质，其中方法包括：根据预置分块方法对获取到的待去雨图像进行分块，得到多个待去雨图像分块；基于相似性度量模型，根据块匹配算法在空间域中匹配到每一所述待去雨图像分块对应的相似块，其中每一所述相似块的相似度值大于预置相似度阈值，所述相似度值由所述相似性量模型计算得到；拼接每一所述待去雨图像分块和对应的相似块，得到对应的低秩矩阵；根据低秩矩阵逼近模型逼近所述低秩矩阵，得到待去雨图像分块对应的去雨图像分块，并确定每一去雨图像分块对应的合成图像分块；合成所有所述合成图像分块，得到所述待去雨图像的去雨图像，解决了现有的图像去雨方法流程繁琐的技术问题。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像去雨方法、装置、设备和计算机可读存储介质。
背景技术
随着现代信息技术的发展，人们希望获取到更加清晰的图像。然而在雨雾天时，室外摄像机捕获的图像因雨水的存在会丢失很多重要数据。因此，对含雨图像去雨处理一直是相关人员的研究热点。
现有的图像去雨方法主要有：层分离方法和深度学习方法。上述方法虽然都取得了一定的效果，但是层分离方法需要提前检测待去雨图像中是否有雨存在，流程繁琐，深度学习方法则需要大量的训练，同样存在流程繁琐的问题。
因此，提供一种图像去雨方法以解决上述的技术缺陷成为本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本申请提供了一种图像去雨方法、装置、设备和计算机可读存储介质，解决了现有的图像去雨方法流程繁琐的技术问题。
本申请第一方面提供了一种图像去雨方法，包括：
根据预置分块方法对获取到的待去雨图像进行分块，得到多个待去雨图像分块；
基于相似性度量模型，根据块匹配算法在空间域中匹配到每一所述待去雨图像分块对应的相似块，其中每一所述相似块的相似度值大于预置相似度阈值，所述相似度值由所述相似性量模型计算得到；
拼接每一所述待去雨图像分块和对应的相似块，得到对应的低秩矩阵；
根据低秩矩阵逼近模型逼近所述低秩矩阵，得到待去雨图像分块对应的去雨图像分块，并确定每一去雨图像分块对应的合成图像分块；
合成所有所述合成图像分块，得到所述待去雨图像的去雨图像。
可选地，所述基于相似性度量模型，根据块匹配算法在空间域中匹配到每一所述待去雨图像分块对应的相似块之前还包括：
基于预置滤波器对所述待去雨图像进行N次卷积处理，得到N张卷积图像，其中N＝1，2，3…n；
根据所述预置分块方法对每一所述卷积图像进行分块，得到每一所述卷积图像对应的多个卷积图像块；
拼接多个所述待去雨图像分块和多个所述卷积图像块，得到扩展矩阵；
根据所述扩展矩阵中的列元素重新确定多个所述待去雨图像分块，并执行后续步骤。
可选地，所述根据所述扩展矩阵中的列元素重新确定多个所述待去雨图像分块之前还包括：
根据主成分分析法对所述扩展矩阵进行降维处理。
可选地，所述合成所有所述合成图像分块，得到所述待去雨图像的去雨图像具体包括：
根据每一所述去雨图像分块对应的相似块的相似度值，确定每一所述合成图像分块的合成系数；
根据所有所述合成系数，合成所有所述合成图像分块，得到所述待去雨图像对应的去雨图像。
本申请第二方面提供了一种图像去雨装置，包括：
第一分块单元，用于根据预置分块装置对获取到的待去雨图像进行分块，得到多个待去雨图像分块；
匹配单元，用于基于相似性度量模型，根据块匹配算法在空间域中匹配到每一所述待去雨图像分块对应的相似块，其中每一所述相似块的相似度值大于预置相似度阈值，所述相似度值由所述相似性量模型计算得到；
第一拼接单元，用于拼接每一所述待去雨图像分块和对应的相似块，得到对应的低秩矩阵；
逼近单元，用于根据低秩矩阵逼近模型逼近所述低秩矩阵，得到待去雨图像分块对应的去雨图像分块，并确定每一去雨图像分块对应的合成图像分块；
合成单元，用于合成所有所述合成图像分块，得到所述待去雨图像的去雨图像。
可选地，还包括：
卷积单元，用于基于预置滤波器对所述待去雨图像进行N次卷积处理，得到N张卷积图像，其中N＝1，2，3…n；
第二分块单元，用于根据所述预置分块装置对每一所述卷积图像进行分块，得到每一所述卷积图像对应的多个卷积图像块；
第二拼接单元，用于拼接多个所述待去雨图像分块和多个所述卷积图像块，得到扩展矩阵；
重新确定单元，用于根据所述扩展矩阵中的列元素重新确定多个所述待去雨图像分块，并执行后续步骤。
可选地，还包括：
降维单元，用于根据主成分分析法对所述扩展矩阵进行降维处理。
可选地，所述合成单元具体包括：
合成系数计算子单元，用于根据每一所述去雨图像分块对应的相似块的相似度值，确定每一所述合成图像分块的合成系数；
合成子单元，用于根据所有所述合成系数，合成所有所述合成图像分块，得到所述待去雨图像对应的去雨图像。
本申请第三方面提供了一种图像去雨设备，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所述的图像去雨方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的图像去雨方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请提供了一种图像去雨方法，包括：通过对待去雨图像进行分块，得到待去雨图像分块，然后根据相似性度量模型、块匹配算法在空间域中匹配每一待去雨图像分块对应的相似块，然后拼接每一待去雨图像分块和相似块得到低秩矩阵，并对低秩矩阵进行低秩矩阵逼近模型逼近后，得到去雨图像分块，然后再确定合成图像分块，最后合成所有合成图像分块，得到待去雨图像的去雨图像，在整个去雨过程中无需检测雨的存在，无需事先训练，直接对待去雨图像的进行去雨操作，流程简单，从而解决了现有的图像去雨方法流程繁琐的技术问题。
附图说明
图1为本申请实施例中一种图像去雨方法的第一实施例的流程示意图；
图2为本申请实施例中一种图像去雨方法的第二实施例的流程示意图；
图3为本申请实施例中一种图像去雨装置的结构示意图；
图4为本申请实施例中预置分块方法的示意图说明示意图。
具体实施方式
本申请实施例提供了一种图像去雨方法、装置、设备和计算机可读存储介质，解决了现有的图像去雨方法流程繁琐的技术问题。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例第一方面提供了一种图像去雨方法的实施例。
请参阅图1，本申请实施例中一种图像去雨方法的第一实施例的流程示意图，包括：
步骤101、根据预置分块方法对获取到的待去雨图像进行分块，得到多个待去雨图像分块。
需要说明的是，由于块匹配算法是作用在图像分块上的，因此在获取到待去雨图像后，首先对待去雨图像进行分块处理，得到待去雨图像的多个分块图像。
可以理解的是，如图4所示，本实施例中的预置分块方式采用重叠分块的方式进行，本实施例中，重叠分块的意思就是分块得到的待去雨图像分块中包括像素块的重叠部分，例如一幅图像由5*5共25个像素块，分块方式为每个分块中包括4(2*2)个像素块，将该25个像素块按照上述分块方式进行分块后，相邻的两个分块会存在重叠，例如图中的分块A和分块B会存在阴影部分的重叠。可以理解的2*2的分块仅仅是一种示例性的说明，本领域技术人员可以根据具体需要设置，在此不做具体限定。
步骤102、基于相似性度量模型，根据块匹配算法在空间域中匹配到每一待去雨图像分块对应的相似块，其中每一相似块的相似度值大于预置相似度阈值，相似度值由相似性量模型计算得到。
需要说明的是，得到多个去雨图像分块后，基于相似性度量模型，根据块匹配算法在空间域中匹配到每一待去雨图像分块对应的相似块。可以理解的是，对应于每一待去雨图像的分块其对于空间域中的图像邻域图像，因为图像之间有重叠，可以认为近似的两张图像是相似的，当然具体的相似性的判定可以是根据相似性度量模型来计算的。
相似度量模型可以是欧式距离公式，相似度值可以是根据欧式距离公式计算待去雨图像分块和空间域中图像块的欧式距离，将计算得到的欧式距离作为相似度值，当相似度值大于预置相似度阈值时，将该空间域中的图像块作为相似块。
预置相似度阈值可以根据需要进行设置，对于较为严格的去雨要求，设置较大的数值，反之亦然。
步骤103、拼接每一待去雨图像分块和对应的相似块，得到对应的低秩矩阵。
需要说明的是，当图像中包含的信息越多，秩越高，图片越单一，秩越小，对低秩矩阵就可以进行雨的去除，因此在得到每一待去雨图像分块的相似块后，将每一待去雨图像分块和对应的相似块进行拼接，得到该待去雨图像分块对应的低秩矩阵。
本实施例中，在到分块A和分块B各自在拼接、低祗矩阵逼近后，得到的是分别与分块A和B等大的去雨分块A’和B’。
步骤104、根据低秩矩阵逼近模型逼近低秩矩阵，得到待去雨图像分块对应的去雨图像分块，并确定每一去雨图像分块对应的合成图像分块。
需要说明的是，根据低秩矩阵逼近模型逼近低秩矩阵，得到待去雨图像分块对应的去雨图像分块。低秩矩阵逼近模型的逼近过程，是最优化过程，具体预置一个已知矩阵，在这个最优化过程中，一方面需要满足逼近矩阵与已知矩阵尽可能相似，另一方面需要让逼近矩阵的秩降低，满足秩的约束。
在得到去雨图像分块后，直接将去雨图像分块合成得到的去雨图像会有重叠失真，因此，本实施例中在得到去雨图像分块后，还需确定每一去雨图像分块的合成图像分块。例如对应的在得到去雨图像分块A’和B’后，由于A’和B有重叠，直接合成会导致图片失真。因此，在合成时，根据去雨图像分块A’和B’确定合成图像分块1、2、3、4、5、6。
步骤105、合成所有合成图像分块，得到待去雨图像的去雨图像。
需要说明的是，在得到合成图像分块后，合成所有合成图像分块，得到待去雨图像对应的去雨图像。
本实施例中，通过对待去雨图像进行分块，得到待去雨图像分块，然后根据相似性度量模型、块匹配算法在空间域中匹配每一待去雨图像分块对应的相似块，然后拼接每一待去雨图像分块和相似块得到低秩矩阵，并对低秩矩阵进行低秩矩阵逼近模型逼近后，得到去雨图像分块，然后再确定合成图像分块，最后合成所有合成图像分块，得到待去雨图像的去雨图像，在整个去雨过程中无需检测雨的存在，无需事先训练，直接对待去雨图像的进行去雨操作，流程简单，从而解决了现有的图像去雨方法流程繁琐的技术问题。
以上为本申请实施例提供的一种图像去雨方法的第一实施例，以下为本申请实施例提供的一种图像去雨方法的第二实施例。
请参阅图2，本申请实施例中一种图像去雨方法的第二实施例的流程示意图，包括：
步骤201、根据预置分块方法对获取到的待去雨图像进行分块，得到多个待去雨图像分块。
需要说明的是，步骤201与实施例一中的步骤101的过程相同，具体可以参见实施例一种步骤101的描述，在此不再赘述。
步骤202、基于预置滤波器对待去雨图像进行N次卷积处理，得到N张卷积图像，其中N＝1，2，3…n。
需要说明的是，因为雨线的存在影响相似性度量的结果，导致直接应用待去雨图像对应的待去雨图像分块进行相似块匹配可能是不准确的，因此本实施例中进行相似性度量之前首先对待区域图像通过预置滤波器进行卷积操作。可以理解的是，本实施例中的滤波器可以是高斯滤波器，也可以是其他的滤波器，本实施中不再一一举例说明。
步骤203、根据预置分块方法对每一卷积图像进行分块，得到每一卷积图像对应的多个卷积图像块。
需要说明的是，在得到N张卷积图像后，每一卷积图像的大小相等，例如都为5*5，卷积图像分块处理后得到的卷积图像分块和待去雨图像分块要进行拼接，二者要等大，因此，本实施例中，根据重叠分块的方法对卷积图像进行同样的分块方式进行处理，即按照上述2*2的方式进行分块。
步骤204、拼接多个待去雨图像分块和多个卷积图像块，得到扩展矩阵。
本实施例中，拼接多个待去雨图像分块和多个卷积图像块时，可以是将待去雨图像各卷积图像作为行元素，每行的元素均为该图像的图像分块，即待去雨图像那一行对应的元素为各个去雨图像分块，某一卷积图像行对应的元素为该卷积图像对应的卷积图像分块。
步骤205、根据主成分分析法对扩展矩阵进行降维处理。
需要说明的是，为了减少相似性匹配的时间，本实施例中在相似性匹配之前，还对图像矩阵进行降维处理。可以理解的是，降维处理可以是通过PCA算法实现，还可以是MDS算法、LDA算法等等。
步骤206、根据扩展矩阵中的列元素重新确定多个待去雨图像分块。
需要说明的是，在得到扩展矩阵后，可以根据扩展矩阵中的列元素重新确定多个待去雨图像分块，可以是将扩展矩阵中的列元素作为待去雨图像分块。当然也可以是其他的方式，具体和上面的拼接方法相关，本领域技术人员可以参见本实施例中的方式得到其他的实施方式，在此处不再一一举例说明。
步骤207、基于相似性度量模型，根据块匹配算法在空间域中匹配到每一待去雨图像分块对应的相似块，其中每一相似块的相似度值大于预置相似度阈值，相似度值由相似性量模型计算得到。
需要说明的是，步骤207与实施例一中的步骤102的过程相同，具体可以参见实施例一种步骤102的描述，在此不再赘述。
步骤208、拼接每一待去雨图像分块和对应的相似块，得到对应的低秩矩阵。
需要说明的是，步骤208与实施例一中的步骤103的过程相同，具体可以参见实施例一种步骤103的描述，在此不再赘述。
步骤209、根据低秩矩阵逼近模型逼近低秩矩阵，得到待去雨图像分块对应的去雨图像分块，并确定每一去雨图像分块对应的合成图像分块。
需要说明的是，步骤209与实施例一中的步骤104的过程相同，具体可以参见实施例一种步骤104的描述，在此不再赘述。
步骤210、根据每一去雨图像分块对应的相似块的相似度值，确定每一合成图像分块的合成系数。
需要说明的是，为了合成得到的去雨图像更准确，在进行合成时，根据每一去雨图像分块对应的合成系数进行合成，对于本实施例中重叠分块的方式，根据相似度值确定合成系数。
可以理解的是，合成系数与相似度值呈正比关系，即相似度值更大则说明该去雨图像分块对应的相似块与待去雨图像分块越相似，计算结果更准确，则对应一个比较大的合成系数，反之越不相似时，则对应一个比较小的合成系数。
步骤211、根据所有合成系数，合成所有合成图像分块，得到待去雨图像对应的去雨图像。
需要说明的是，在合成时，根据去雨图像分块A’和B’的合成系数确定图像中像素块1-6的权重后根据权重进行合成，例如对于像素块1其只在去雨图像分块A’中，其直接确定权重为1，其他无重叠像素块参照像素块1确定。对于像素块2，其在去雨图像分块A’和B’中，根据去雨图像分块A’和B’的合成系数，进行权值计算后，确定该像素块2的最终权值，对于像素块5的权值同样可以根据像素块2的权值确定像素块5的权值，最后进行合成。
本实施例中，通过对待去雨图像进行分块，得到待去雨图像分块，然后根据相似性度量模型、块匹配算法在空间域中匹配每一待去雨图像分块对应的相似块，然后拼接每一待去雨图像分块和相似块得到低秩矩阵，并对低秩矩阵进行低秩矩阵逼近模型逼近后，得到去雨图像分块，然后再确定合成图像分块，最后合成所有合成图像分块，得到待去雨图像的去雨图像，在整个去雨过程中无需检测雨的存在，无需事先训练，直接对待去雨图像的进行去雨操作，流程简单，从而解决了现有的图像去雨方法流程繁琐的技术问题。
以上为本申请实施例提供的一种图像去雨方法的第二实施例，为了便于说明，本申请实施例还提供了一种图像去雨方法的应用例。
本实施例中的一种图像去雨方法的应用例，详细步骤如下：
步骤S1、首先将待去雨图像J分割为n×n大小的图像块，定义代表从图像中提取图像块的操作，
定义是图像J的中待去雨图像分块的堆叠块矩阵，其中JM的列宽由分块步长确定。
步骤S2、因为雨线的存在影响相似性度量的结果，因此直接应用待去雨图像分块进行相似块匹配可能是不准确的。因此，首先通过高斯滤波器对待去雨图像进行卷积操作的预处理，设g为高斯滤波器，可以得到一系列模糊图像{J1,J2,J3,…JC},其中J1＝J*g,J2＝J1*g,...,JC＝JC-1*g。此时，可以从中提取得到图像块矩阵即
步骤S3、对卷积图像根据待去雨图像的分块方式进行分块后，将所有待去雨图像分块和卷积图像分块进行拼接，得到JM的扩展矩阵如下：
其中，的大小为(C+1)n2×P，用PCA(principal component analysis)算法降低维度，以减少相似块匹配的时间。使代表降维后的矩阵，那么，中的每列可以被认为是一个新的待去雨图像分块，用作相似块匹配时的输入。
步骤S4、设计基于l2范数的欧式距离公式作为相似性度量模型，将块匹配算法应用于预处理后的数据矩阵以找到Ji的相似块集合。假设是代表待去雨图像分块Ji的邻域图像块索引集。一旦确定包含在集合中的的某列与的第i列相似，就可以确定此块与其邻域中的第i个块相似。对于每个待处理图像块pi，通过上述块匹配算法，在空间域中找到该图像块的相似块并进行组合，即假设对于待处理图像块pi，找到m个相似的图像块并表示为可以得到一个n2×m的矩阵，如下所示：
矩阵pi由低秩干净图像块Qi和稀疏雨矩阵Ri组成。
步骤S5、从上步得到的矩阵pi中恢复Qi，由于Qi的低秩特性和Ri的稀疏特性，为经典的PCA问题，最小化模型如下：
用Inexact ALM算法来逼近低秩矩阵Qi和稀疏雨矩阵Ri。上述最小化模型的拉格朗日函数如下：
其中，Y是拉格朗日乘数，μ是正则化参数，λ是常数。求解上述模型，可以得到每一图像分块pi的去雨图像分块Qi。
步骤S6、在利用稀疏和低秩矩阵逼近模型进行逼近操作后，得到去雨图像分块，然后确定合成图像分块，再合成所有合成图像分块得到最后去雨后的去雨图像。
本申请实施例第二方面提供了一种图像去雨装置的实施例。
请参阅图3，本申请实施例中一种图像去雨装置的结构示意图，包括：
第一分块单元301，用于根据预置分块装置对获取到的待去雨图像进行分块，得到多个待去雨图像分块。
匹配单元302，用于基于相似性度量模型，根据块匹配算法在空间域中匹配到每一待去雨图像分块对应的相似块，其中每一相似块的相似度值大于预置相似度阈值，相似度值由相似性量模型计算得到。
第一拼接单元303，用于拼接每一待去雨图像分块和对应的相似块，得到对应的低秩矩阵；
逼近单元304，用于根据低秩矩阵逼近模型逼近低秩矩阵，得到待去雨图像分块对应的去雨图像分块，并确定每一去雨图像分块对应的合成图像分块。
合成单元305，用于合成所有合成图像分块，得到待去雨图像的去雨图像。
进一步地，还包括：
卷积单元，用于基于预置滤波器对待去雨图像进行N次卷积处理，得到N张卷积图像，其中N＝1，2，3…n；
第二分块单元，用于根据预置分块装置对每一卷积图像进行分块，得到每一卷积图像对应的多个卷积图像块；
第二拼接单元，用于拼接多个待去雨图像分块和多个卷积图像块，得到扩展矩阵；
重新确定单元，用于根据扩展矩阵中的列元素重新确定多个待去雨图像分块，并执行后续步骤。
进一步地，还包括：
降维单元，用于根据主成分分析法对扩展矩阵进行降维处理。
进一步地，合成单元具体包括：
合成系数计算子单元，用于根据每一去雨图像分块对应的相似块的相似度值，确定每一去雨图像分块的合成系数；
合成子单元，用于根据所有合成系数，合成所有去雨图像分块，得到待去雨图像对应的去雨图像。
本实施例中的去雨装置，通过对待去雨图像进行分块，得到待去雨图像分块，然后根据相似性度量模型、块匹配算法在空间域中匹配每一待去雨图像分块对应的相似块，然后拼接每一待去雨图像分块和相似块得到低秩矩阵，并对低秩矩阵进行低秩矩阵逼近模型逼近后，得到去雨图像分块，然后再确定合成图像分块，最后合成所有合成图像分块，得到待去雨图像的去雨图像，在整个去雨过程中无需检测雨的存在，无需事先训练，直接对待去雨图像的进行去雨操作，流程简单，从而解决了现有的图像去雨方法流程繁琐的技术问题。
本申请实施例第三方面提供了一种图像去雨设备的实施例。
一种图像去雨设备，包括处理器以及存储器；存储器用于存储程序代码，并将程序代码传输给处理器；处理器用于根据程序代码中的指令执行第一方面的图像去雨方法。
本申请实施例第四方面提供了一种计算机可读存储介质的实施例。
一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行第一方面的图像去雨方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的待安装电网网络，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个待安装电网网络，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种图像去雨方法，其特征在于，包括：
根据预置分块方法对获取到的待去雨图像进行分块，得到多个待去雨图像分块；
基于相似性度量模型，根据块匹配算法在空间域中匹配到每一所述待去雨图像分块对应的相似块，其中每一所述相似块的相似度值大于预置相似度阈值，所述相似度值由所述相似性量模型计算得到；
拼接每一所述待去雨图像分块和对应的相似块，得到对应的低秩矩阵；
根据低秩矩阵逼近模型逼近所述低秩矩阵，得到待去雨图像分块对应的去雨图像分块，并确定每一去雨图像分块对应的合成图像分块；
合成所有所述合成图像分块，得到所述待去雨图像的去雨图像。
2.根据权利要求1所述的图像去雨方法，其特征在于，所述基于相似性度量模型，根据块匹配算法在空间域中匹配到每一所述待去雨图像分块对应的相似块之前还包括：
基于预置滤波器对所述待去雨图像进行N次卷积处理，得到N张卷积图像，其中N＝1，2，3…n；
根据所述预置分块方法对每一所述卷积图像进行分块，得到每一所述卷积图像对应的多个卷积图像块；
拼接多个所述待去雨图像分块和多个所述卷积图像块，得到扩展矩阵；
根据所述扩展矩阵中的列元素重新确定多个所述待去雨图像分块，并执行后续步骤。
3.根据权利要求2所述的图像去雨方法，其特征在于，所述根据所述扩展矩阵中的列元素重新确定多个所述待去雨图像分块之前还包括：
根据主成分分析法对所述扩展矩阵进行降维处理。
4.根据权利要求1所述的图像去雨方法，其特征在于，所述合成所有所述合成图像分块，得到所述待去雨图像的去雨图像具体包括：
根据每一所述去雨图像分块对应的相似块的相似度值，确定每一所述合成图像分块的合成系数；
根据所有所述合成系数，合成所有所述合成图像分块，得到所述待去雨图像对应的去雨图像。
5.一种图像去雨装置，其特征在于，包括：
第一分块单元，用于根据预置分块装置对获取到的待去雨图像进行分块，得到多个待去雨图像分块；
匹配单元，用于基于相似性度量模型，根据块匹配算法在空间域中匹配到每一所述待去雨图像分块对应的相似块，其中每一所述相似块的相似度值大于预置相似度阈值，所述相似度值由所述相似性量模型计算得到；
第一拼接单元，用于拼接每一所述待去雨图像分块和对应的相似块，得到对应的低秩矩阵；
逼近单元，用于根据低秩矩阵逼近模型逼近所述低秩矩阵，得到待去雨图像分块对应的去雨图像分块，并确定每一去雨图像分块对应的合成图像分块；
合成单元，用于合成所有所述合成图像分块，得到所述待去雨图像的去雨图像。
6.根据权利要求5所述的图像去雨装置，其特征在于，还包括：
卷积单元，用于基于预置滤波器对所述待去雨图像进行N次卷积处理，得到N张卷积图像，其中N＝1，2，3…n；
第二分块单元，用于根据所述预置分块装置对每一所述卷积图像进行分块，得到每一所述卷积图像对应的多个卷积图像块；
第二拼接单元，用于拼接多个所述待去雨图像分块和多个所述卷积图像块，得到扩展矩阵；
重新确定单元，用于根据所述扩展矩阵中的列元素重新确定多个所述待去雨图像分块，并执行后续步骤。
7.根据权利要求6所述的图像去雨装置，其特征在于，还包括：
降维单元，用于根据主成分分析法对所述扩展矩阵进行降维处理。
8.根据权利要求5所述的图像去雨装置，其特征在于，所述合成单元具体包括：
合成系数计算子单元，用于根据每一所述去雨图像分块对应的相似块的相似度值，确定每一所述合成图像分块的合成系数；
合成子单元，用于根据所有所述合成系数，合成所有所述合成图像分块，得到所述待去雨图像对应的去雨图像。
9.一种图像去雨设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1至4中任一项所述的图像去雨方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1至4中任一项所述的图像去雨方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910854205.9A CN110570376B (zh) | 2019-09-10 | 2019-09-10 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910854205.9A CN110570376B (zh) | 2019-09-10 | 2019-09-10 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110570376A true CN110570376A (zh) | 2019-12-13 |
| CN110570376B CN110570376B (zh) | 2022-05-20 |
Family
ID=68779025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910854205.9A Active CN110570376B (zh) | 2019-09-10 | 2019-09-10 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110570376B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325667A (zh) * | 2020-03-09 | 2020-06-23 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN116681625A (zh) * | 2023-07-04 | 2023-09-01 | 广州工程技术职业学院 | 基于多尺度对比学习的无监督图像去雨方法、装置及终端 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049892A (zh) * | 2013-01-27 | 2013-04-17 | 西安电子科技大学 | 基于相似块矩阵秩最小化的非局部图像去噪方法 |
| US20130251245A1 (en) * | 2012-03-23 | 2013-09-26 | Fatih Porikli | Method for Reducing Blocking Artifacts in Images |
| US20170116481A1 (en) * | 2015-10-23 | 2017-04-27 | Beihang University | Method for video matting via sparse and low-rank representation |
| CN106934775A (zh) * | 2017-03-08 | 2017-07-07 | 中国海洋大学 | 一种基于低秩恢复的非局部图像去噪方法 |
| CN106971378A (zh) * | 2016-08-23 | 2017-07-21 | 上海海洋大学 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
| CN106971377A (zh) * | 2016-08-22 | 2017-07-21 | 上海海洋大学 | 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法 |
| CN107292852A (zh) * | 2017-07-19 | 2017-10-24 | 南京邮电大学 | 一种基于低秩理论的图像去噪算法 |
| CN107358589A (zh) * | 2017-07-17 | 2017-11-17 | 桂林电子科技大学 | 一种结合梯度直方图与低秩约束的去噪方法 |
| US20180184128A1 (en) * | 2016-12-22 | 2018-06-28 | Mediatek Inc. | Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel |
| CN109087270A (zh) * | 2018-09-04 | 2018-12-25 | 中国矿业大学(北京) | 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 |
| US10310074B1 (en) * | 2014-03-27 | 2019-06-04 | Hrl Laboratories, Llc | System and method for denoising synthetic aperture radar (SAR) images via sparse and low-rank (SLR) decomposition and using SAR images to image a complex scene |
| CN109859119A (zh) * | 2019-01-07 | 2019-06-07 | 南京邮电大学 | 一种基于自适应低秩张量恢复的视频图像去雨方法 |
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
-
2019
- 2019-09-10 CN CN201910854205.9A patent/CN110570376B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130251245A1 (en) * | 2012-03-23 | 2013-09-26 | Fatih Porikli | Method for Reducing Blocking Artifacts in Images |
| CN103049892A (zh) * | 2013-01-27 | 2013-04-17 | 西安电子科技大学 | 基于相似块矩阵秩最小化的非局部图像去噪方法 |
| US10310074B1 (en) * | 2014-03-27 | 2019-06-04 | Hrl Laboratories, Llc | System and method for denoising synthetic aperture radar (SAR) images via sparse and low-rank (SLR) decomposition and using SAR images to image a complex scene |
| US20170116481A1 (en) * | 2015-10-23 | 2017-04-27 | Beihang University | Method for video matting via sparse and low-rank representation |
| CN106971377A (zh) * | 2016-08-22 | 2017-07-21 | 上海海洋大学 | 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法 |
| CN106971378A (zh) * | 2016-08-23 | 2017-07-21 | 上海海洋大学 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
| US20180184128A1 (en) * | 2016-12-22 | 2018-06-28 | Mediatek Inc. | Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel |
| CN106934775A (zh) * | 2017-03-08 | 2017-07-07 | 中国海洋大学 | 一种基于低秩恢复的非局部图像去噪方法 |
| CN107358589A (zh) * | 2017-07-17 | 2017-11-17 | 桂林电子科技大学 | 一种结合梯度直方图与低秩约束的去噪方法 |
| CN107292852A (zh) * | 2017-07-19 | 2017-10-24 | 南京邮电大学 | 一种基于低秩理论的图像去噪算法 |
| CN109087270A (zh) * | 2018-09-04 | 2018-12-25 | 中国矿业大学(北京) | 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 |
| CN109859119A (zh) * | 2019-01-07 | 2019-06-07 | 南京邮电大学 | 一种基于自适应低秩张量恢复的视频图像去雨方法 |
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
Non-Patent Citations (5)
| Title |
|---|
| HE ZHANG ET AL.: "Convolutional Sparse and Low-Rank Coding-Based Rain Streak Remov", 《2017 WACV》 * |
| JIN-HWAN KIM ET AL.: "Video Deraining and Desnowing Using Temporal Correlation and Low-Rank Matrix Completion", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| YI CHANG ET AL.: "Transformed Low-rank Model for Line Pattern Noise Removal", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
| 周俊: "基于稀疏表示的单幅图像去雨雪算法", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
| 李耀维: "单幅雨天图像去雨方法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325667A (zh) * | 2020-03-09 | 2020-06-23 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| WO2021179826A1 (zh) * | 2020-03-09 | 2021-09-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN111325667B (zh) * | 2020-03-09 | 2023-05-30 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN116681625A (zh) * | 2023-07-04 | 2023-09-01 | 广州工程技术职业学院 | 基于多尺度对比学习的无监督图像去雨方法、装置及终端 |
| CN116681625B (zh) * | 2023-07-04 | 2024-02-02 | 广州工程技术职业学院 | 基于多尺度对比学习的无监督图像去雨方法、装置及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110570376B (zh) | 2022-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108664981B (zh) | 显著图像提取方法及装置 | |
| CN109416727B (zh) | 一种人脸图像中眼镜去除方法及装置 | |
| CN108764039B (zh) | 神经网络、遥感影像的建筑物提取方法、介质及计算设备 | |
| CN110222598B (zh) | 一种视频行为识别方法、装置、存储介质和服务器 | |
| US9159121B2 (en) | Method for image denoising | |
| US20160253787A1 (en) | Methods and systems for denoising images | |
| CN108875486A (zh) | 目标对象识别方法、装置、系统和计算机可读介质 | |
| CN109766925B (zh) | 特征融合方法、装置、电子设备及存储介质 | |
| CN108734653B (zh) | 图像风格转换方法及装置 | |
| CN106664467A (zh) | 实时视频摘要 | |
| CN110866881B (zh) | 图像处理方法及装置、存储介质和电子设备 | |
| CN111192226B (zh) | 一种图像融合去噪方法及装置、系统 | |
| CN111402170A (zh) | 图像增强方法、装置、终端及计算机可读存储介质 | |
| CN110570376B (zh) | 一种图像去雨方法、装置、设备和计算机可读存储介质 | |
| CN111723714B (zh) | 识别人脸图像真伪的方法、装置及介质 | |
| Wen et al. | An effective network integrating residual learning and channel attention mechanism for thin cloud removal | |
| CN108537752B (zh) | 基于非局部自相似性与稀疏表示的图像处理方法及装置 | |
| CN105979283A (zh) | 视频转码方法和装置 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| Zhang et al. | A GPU-accelerated real-time single image de-hazing method using pixel-level optimal de-hazing criterion | |
| CN112489103B (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN111539913B (zh) | 一种移动设备拍照清晰度质量评价方法、系统和终端 | |
| CN111091580A (zh) | 一种基于改进ResNet-UNet网络的立木图像分割方法 | |
| CN108460768B (zh) | 层次化时域切分的视频关注对象分割方法和装置 | |
| CN111754412A (zh) | 构建数据对的方法、装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |