CN111325667A - 图像处理方法及相关产品 - Google Patents
图像处理方法及相关产品 Download PDFInfo
- Publication number
- CN111325667A CN111325667A CN202010158548.4A CN202010158548A CN111325667A CN 111325667 A CN111325667 A CN 111325667A CN 202010158548 A CN202010158548 A CN 202010158548A CN 111325667 A CN111325667 A CN 111325667A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- occlusion
- processed
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 190
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000000694 effects Effects 0.000 claims abstract description 36
- 230000004888 barrier function Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 112
- 238000010586 diagram Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 12
- 230000000903 blocking effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 241000533950 Leucojum Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 1
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 235000009120 camo Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000005607 chanvre indien Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011487 hemp Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供一种图像处理方法及相关产品，该图像处理方法包括：终端设备获取待处理图像，将所述待处理图像分割成N个分块图像，N为大于或等于2的正整数；将所述N个分块图像输入训练好的去遮挡物模型，得到N个去遮挡物后的分块图像；将所述N个去遮挡物后的分块图像按照所述待处理图像的分割顺序进行拼接，得到去遮挡物处理图像；根据所述去遮挡物处理图像与所述待处理图像的差异确定所述去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像；将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像。本申请实施例可以提高图像的超分辨率处理效果。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法及相关产品。
背景技术
在图像处理领域中，超分辨率(super resolution，SR)算法是一项图像处理任务，用于将低分辨率的图像映射至高分辨率，以期达到增强图像细节的作用。
目前的图像SR算法一般采用生成式对抗网络(generative adversarialnetwork，GAN)来实现。采用GAN生成的图像，在一些细节部分容易产生模糊现象，导致图像处理效果较差。
发明内容
本申请实施例提供一种图像处理方法及相关产品，可以提高图像的超分辨率处理效果。
本申请实施例的第一方面提供了一种图像处理方法，包括：
获取待处理图像，将所述待处理图像分割成N个分块图像，N为大于或等于2的正整数；
将所述N个分块图像输入训练好的去遮挡物模型，得到N个去遮挡物后的分块图像；
将所述N个去遮挡物后的分块图像按照所述待处理图像的分割顺序进行拼接，得到去遮挡物处理图像；
根据所述去遮挡物处理图像与所述待处理图像的差异确定所述去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像；
将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像。
本申请实施例的第二方面提供了一种图像处理装置，包括：
获取单元，用于获取待处理图像；
分割单元，用于将所述待处理图像分割成N个分块图像，N为大于或等于2的正整数；
去遮挡物单元，用于将所述N个分块图像输入训练好的去遮挡物模型，得到N个去遮挡物后的分块图像；
拼接单元，用于将所述N个去遮挡物后的分块图像按照所述待处理图像的分割顺序进行拼接，得到去遮挡物处理图像；
确定单元，用于根据所述去遮挡物处理图像与所述待处理图像的差异确定所述去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像；
超分辨率单元，用于将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像。
本申请实施例的第三方面提供了一种终端设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例中，终端设备获取待处理图像，将所述待处理图像分割成N个分块图像，N为大于或等于2的正整数；将所述N个分块图像输入训练好的去遮挡物模型，得到N个去遮挡物后的分块图像；将所述N个去遮挡物后的分块图像按照所述待处理图像的分割顺序进行拼接，得到去遮挡物处理图像；根据所述去遮挡物处理图像与所述待处理图像的差异确定所述去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像；将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像。
本申请实施例中，将待处理图像分割成N个分块图像分别输入到训练好的去遮挡物模型进行去遮挡物处理，可以并行计算，提高去遮挡物处理的速度。在去遮挡物处理之后，确定去遮挡物处理图像中的ROI，可以仅对去遮挡物处理图像中的ROI进行超分辨率处理，可以减少超分辨率处理的计算量，并且针对细节部分做超分辨率可以使得去遮挡物后的图像更加清晰，可以提高图像的超分辨率处理效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种系统架构的结构示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3a是本申请实施例提供的一种待处理图像的分割示意图；
图3b是本申请实施例提供的一种分块图像的去雨处理示意图；
图3c是本申请实施例提供的一种去雨后的分块图像的拼接示意图；
图4a是本申请实施例提供的一种去遮挡物模型的训练流程示意图；
图4b是本申请实施例提供的一种超分辨率模型的训练流程示意图；
图5是本申请实施例提供的一种图像处理的流程示意图；
图6为本申请实施例提供的一种图像处理装置的结构示意图；
图7是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的终端设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为终端设备。
请参阅图1，图1是本申请实施例提供的一种系统架构的结构示意图，如图1所示，该系统架构包括服务器100和与服务器100通信连接的至少一个终端设备101。终端设备101上可以安装有客户端，服务器100上可以安装有服务端。客户端是指与服务器相对应，为客户提供本地服务的程序，比如提供图像处理的服务。服务端也是在服务器上安装的一段程序，服务端是为客户端服务的，服务的内容诸如向客户端提供计算或者应用服务，向客户端提供资源，保存客户端数据等，比如，服务端可以向客户端提供图像处理的计算模型。服务器100可以直接与终端设备101通过互联网建立通信连接，服务端100也可以通过其他服务器与终端设备101通过互联网建立通信连接。本申请实施例不做限定。
请参阅图2，图2是本申请实施例提供的一种图像处理方法的流程示意图。如图2所示，该图像处理方法可以包括如下步骤。
201，终端设备获取待处理图像，将待处理图像分割成N个分块图像，N为大于或等于2的正整数。
本申请实施例中，在雨天、雪天、沙尘暴天等微细遮挡物的情况下，由于场景的能见度低和背景场景被遮挡，拍摄出来的图像中目标的对比度和颜色等特征都会出现不同程度的衰减，导致背景信息(即目标图像)表达不明确，这使得一些视频或图像系统不能正常工作，因此需要消除遮挡物对图像的影响。
其中，待处理图像可以是包含雨滴、雪花、沙尘等微细遮挡物的图像。比如，在下雨场景下拍摄的图像。终端设备可以采用图像分割算法将待处理图像分割成N个分块图像。其中，N个分块图像中，任意两个分块图像的尺寸相同。也即，N个分块图像中，任意两个分块图像在同一显示比例下所包含的像素点的个数相同。比如，待处理图像为1000*2000个像素点，可以分成4个500*1000的分块图像。图像分割算法是按照图像尺寸和图像像素点个数进行分割的算法。
在图像分割过程中，可以按照一定的分割顺序。比如，如图3a所示，以N＝4为例，对于待处理图像，可以分割成分块图像1、分块图像2、分块图像3和分块图像4。按照从上到下，从左到右的顺序，则分别为分块图像1、分块图像2、分块图像3和分块图像4。图3a以遮挡物为雨滴为例进行说明。从图3a可以看出，分块图像1、分块图3、分块图4中存在雨滴，这些雨滴会对背景物体造成遮挡，影响背景物体的显示效果。分块图像2中没有雨滴存在。
202，终端设备将N个分块图像输入训练好的去遮挡物模型，得到N个去遮挡物后的分块图像。
本申请实施例中，去遮挡物模型可以包括去雨模型、去雪模型、去沙尘模型等去微细遮挡物模型。微细遮挡物可以是微小的、密密麻麻的遮挡物，比如，雨滴、雪花、灰尘、沙尘等。
训练好的去遮挡物模型可以包括训练好的去遮挡物生成模块。去遮挡物生成模块可以是生成式对抗网络(generative adversarial network，GAN)模型。其中，训练好的去遮挡物模型可以有多个，将N个分块图像输入训练好的去遮挡物模型，得到N个去遮挡物后的分块图像。比如，如图3b所示，图3b以遮挡物是雨滴，去遮挡物模型是去雨模型作为示例进行说明。以N＝4为例，对于4个分块图像(分块图像1、分块图像2、分块图像3和分块图像4)，输入训练好的去雨模型，则可以得到去雨后的分块图像(去雨后的分块图像1、去雨后的分块图像2、去雨后的分块图像3和去雨后的分块图像4)。具体的，将分块图像1输入训练好的去雨模型，则可以得到去雨后的分块图像1；将分块图像2输入训练好的去雨模型，则可以得到去雨后的分块图像2；将分块图像3输入训练好的去雨模型，则可以得到去雨后的分块图像3；将分块图像4输入训练好的去雨模型，则可以得到去雨后的分块图像4。
其中，去遮挡物模型可以包括去遮挡物生成模块和去遮挡物判别模块。去遮挡物模型在训练过程中，获取用于去遮挡物训练的原始清晰图像和该原始清晰图像对应的加遮挡物图像，将加遮挡物图像输入去遮挡物生成模块，输出无遮挡物图像，将该无遮挡物图像和该原始清晰图像输入去遮挡物判别模块，去遮挡物判别模块判别该无遮挡物图像是否为真实的图像。
在训练过程中，去遮挡物生成模块的目标就是尽量生成真实的图像去欺骗去遮挡物判别模块。而去遮挡物判别模块的目标就是尽量把去遮挡物生成模块生成的图像和真实的图像分别开来。这样，去遮挡物生成模块和去遮挡物判别模块构成了一个动态的“博弈过程”。当模型收敛时，则认为去遮挡物模型为训练好的去遮挡物模型。当模型收敛时，对于去遮挡物生成模块而言，它可以生成足以“以假乱真”的图像。对于去遮挡物判别模块来说，它难以判定去遮挡物生成模块生成的图像究竟是不是真实的。
203，终端设备将N个去遮挡物后的分块图像按照待处理图像的分割顺序进行拼接，得到去遮挡物处理图像。
本申请实施例中，终端设备将N个去遮挡物后的分块图像按照待处理图像的分割顺序进行拼接，以使得到的去遮挡物处理图像与待处理图像的区别仅在于去遮挡物处理，图像的背景内容部分并没有变化。
比如，如图3c所示，图3c以遮挡物是雨滴作为示例进行说明。以N＝4为例，对于4个去雨后的分块图像(去雨后的分块图像1、去雨后的分块图像2、去雨后的分块图像3和去雨后的分块图像4)，按照待处理图像的分割顺序进行拼接，即可得到去雨处理图像。
204，终端设备根据去遮挡物处理图像与待处理图像的差异确定去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像。
本申请实施例中，终端设备可以根据该去遮挡物处理图像与该待处理图像的差异确定该去遮挡物处理图像中的遮挡物区域，将去遮挡物处理图像中的遮挡物区域、拼接缝隙、局部角落等位置作为感兴趣区域(region of interest，ROI)。
该待处理图像与该去遮挡物处理图像的差异主要为该去遮挡物处理图像中的遮挡物区域、拼接缝隙、局部角落等。该待处理图像经过训练好的去遮挡物模型处理后，该待处理图像中的遮挡物区域、拼接缝隙、局部角落等可能会出现不自然或者模糊的现象，基于此，需要进一步做超分辨率处理，消除该待处理图像在去遮挡物处理和拼接处理后的该去遮挡物处理图像的模糊或者不自然的现象。
为了降低超分辨率处理的计算量，可以找出该去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像，后续只需要针对去遮挡物处理图像中的ROI进行超分辨率处理，从而降低超分辨率处理的计算量。
举例来说，参见图3a至图3c可知，该去雨处理图像中的原始分块图像2中不存在雨滴，该分块图像2中不包含ROI，因此，在做超分辨率处理时，无需对分块图像2进行超分辨率处理，从而降低超分辨率处理的计算量。
可选的，步骤204具体可以包括如下步骤：
(11)终端设备将所述去遮挡物处理图像与所述待处理图像进行像素相减处理，得到注意力图；
(12)终端设备将所述注意力图与所述去遮挡物处理图像进行像素相乘处理，得到包含ROI的去遮挡物处理图像。
本申请实施例中，终端设备将所述去遮挡物处理图像与所述待处理图像进行像素值相减处理，得到的注意力图中像素值为较小的像素点(比如，像素值为0的纯黑的像素点)为背景图(即，未进行去遮挡物处理的区域)，注意力图中像素值较大的点(比如，像素值为255的纯白的像素点)为有遮挡物的区域(即，进行过去遮挡物处理的区域、拼接缝隙、局部角落等)。注意力图可以形象化的理解为黑色背景上一堆白点点的图。
步骤(12)中，终端设备将该注意力图与该去遮挡物处理图像进行像素值相乘处理，该注意力图中像素值为较小的像素点与该去遮挡物处理图像对应的像素点相乘后，得到的仍然是该去遮挡物处理图像对应的像素点(背景区域，未进行去遮挡物处理的去遮挡物)，该注意力图中像素值为较大的像素点与该去遮挡物处理图像对应的像素点相乘后，得到的是该去遮挡物处理图像中的ROI(即，进行过去遮挡物处理的区域、拼接缝隙、局部角落等)，可以确定去遮挡物处理图像中的ROI，得到包含ROI的去遮挡物处理图像。
本申请实施例提供一种快速确定去遮挡物处理图像中的ROI的方法，后续只需要针对去遮挡物处理图像中的ROI进行超分辨率处理，从而降低超分辨率处理的计算量。
205，终端设备将包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像。
本申请实施例中，训练好的超分辨率模型可以包括训练好的超分辨率生成模块。超分辨率生成模块可以是生成式对抗网络(generative adversarial network，GAN)模型。
其中，超分辨率模型可以包括超分辨率生成模块和超分辨率判别模块。超分辨率模型在训练过程中，获取用于超分辨率训练的原始清晰图像和该原始清晰图像对应的模糊图像，将该原始清晰图像对应的模糊图像输入超分辨率生成模块，输出超分辨率处理图像，将该超分辨率处理图像和该原始清晰图像输入超分辨率判别模块，超分辨率判别模块判别该超分辨率处理图像是否为真实的图像。
终端设备将包含ROI的去遮挡物处理图像输入训练好的超分辨率模型后，训练好的超分辨率模型可以对去遮挡物处理图像中的ROI进行超分辨率处理，得到结果图像。
可选的，步骤205可以包括如下步骤：
(21)终端设备将所述包含ROI的去遮挡物处理图像分割成N个分块处理图像；
(22)终端设备确定所述N个分块处理图像中包含ROI的M个分块处理图像和未包含ROI的P个分块处理图像；
(23)终端设备将所述M个分块处理图像输入训练好的超分辨率模型，得到M个分块结果图像；
(24)终端设备将所述M个分块结果图像与所述P个分块处理图像按照所述包含ROI的去遮挡物处理图像的分割顺序进行拼接，得到结果图像。
本申请实施例中，包含ROI的去遮挡物处理图像中，ROI有可能比较集中，此时，只需要将包含ROI的去遮挡物处理图像分割成N个分块处理图像，确定N个分块处理图像中包含ROI的M个分块处理图像和未包含ROI的P个分块处理图像。其中，P+M＝N。其中，ROI的去遮挡物处理图像的分割方式与图3a所示的待处理图像的分割方式类似，可以参见图3a，此处不再赘述。结果图像(包含M个分块结果图像与P个分块处理图像)的拼接方式与图3c所示的去遮挡物处理图像的拼接方式类似，可以参见图3c，此处不再赘述。
终端设备可以将M个分块处理图像输入训练好的超分辨率模型，得到M个分块结果图像，可以并行计算，提高超分辨率处理的速度。
本申请实施例中，将待处理图像分割成N个分块图像分别输入到训练好的去遮挡物模型进行去遮挡物处理，可以并行计算，提高去遮挡物处理的速度。在去遮挡物处理之后，确定去遮挡物处理图像中的ROI，可以仅对去遮挡物处理图像中的ROI进行超分辨率处理，可以减少超分辨率处理的计算量，并且针对细节部分做超分辨率可以使得去遮挡物后的图像更加清晰，可以提高图像的超分辨率处理效果。
可选的，在执行步骤202之前，还可以执行如下步骤：
(31)终端设备获取用于去遮挡物训练的图像训练样本，所述用于去遮挡物训练的图像训练样本包括原始清晰图像和与所述原始清晰图像对应的加遮挡物图像；
(32)终端设备将所述原始清晰图像和与所述原始清晰图像对应的加遮挡物图像输入所述去遮挡物模型，得到去遮挡物训练结果；
(33)终端设备根据所述去遮挡物训练结果对所述去遮挡物模型的模型参数进行优化。
本申请实施例中，用于去遮挡物训练的图像训练样本可以有多个，构成用于去遮挡物训练的图像训练样本集。对于不同的去遮挡物模型，训练样本也不同。比如，对于去雨模型而言，训练样本包括原始清晰图像和与所述原始清晰图像对应的加雨滴图像；对于去雪模型而言，训练样本包括原始清晰图像和与所述原始清晰图像对应的加雪花图像；对于去灰尘模型而言，训练样本包括原始清晰图像和与所述原始清晰图像对应的加灰尘图像；对于去沙尘模型而言，训练样本包括原始清晰图像和与所述原始清晰图像对应的加沙尘图像。
终端可以从用于去遮挡物训练的图像训练样本集中选择图像训练样本，每个图像训练样本都包括原始清晰图像和与该原始清晰图像对应的加遮挡物图像。其中，一张原始清晰图像可以对应多张加遮挡物图像。原始清晰图像是指没有遮挡物的清晰图像，比如，在晴天拍摄的清晰图像。清晰图像指的是没有抖动，没有模糊的图像分辨率达到一定要求的图像。与原始清晰图像对应的加遮挡物图像，指的是在原始清晰图像的基础上增加遮挡物效果的图像，加遮挡物图像的背景与对应的原始清晰图像的背景相同。
终端设备可以将原始清晰图像和与该原始清晰图像对应的加遮挡物图像输入去遮挡物模型，得到训练损失，根据训练损失对述去遮挡物模型的模型参数进行优化，然后再输入另一张原始清晰图像和与该另一原始清晰图像对应的加遮挡物图像输入去遮挡物模型，得到另一个训练损失，直到训练损失符合预期并且收敛，则确定该去遮挡物模型为训练好的去遮挡物模型。
具体的，在一次训练过程中，原始清晰图像可以作为这次训练的标签图，将与该原始清晰图像对应的加遮挡物图像输入去遮挡物模型，生成去遮挡物处理图像，将该去遮挡物处理图像与该原始清晰图像进行对比，计算误差，根据误差对该去遮挡物模型的模型参数进行优化。
其中，训练损失可以用损失函数来表征，也可以通过误差函数来表征。损失函数可以采用自适应梯度下降方法(比如，Adam优化方法)进行优化。
可选的，步骤(31)中，终端设备获取用于去遮挡物训练的图像训练样本，可以包括如下步骤：
(311)终端设备获取所述原始清晰图像，对所述原始清晰图像进行加遮挡物处理，得到与所述原始清晰图像对应的加遮挡物初始图像；
(321)终端设备对所述加遮挡物初始图像进行遮挡物效果处理，得到与所述原始清晰图像对应的加遮挡物效果图像；所述加遮挡物初始图像和所述加遮挡物效果图像为所述原始清晰图像对应的加遮挡物图像。
本申请实施例中，终端设备可以构建用于去遮挡物训练的图像训练样本集。一般而言，终端设备可以获取很多原始清晰图像，获取的渠道包括终端设备拍摄的原始清晰图像，从网络上获取的原始清晰图像，从其它设备传输过来的原始清晰图像等。但是，由于有遮挡物存在(比如，下雨天)与无遮挡物存在(比如，晴天)的同一场景下拍摄的图像的背景容易发生变化，与原始清晰图像对应的加遮挡物图像则不容易获得。
终端设备在获取原始清晰图像之后，对该原始清晰图像进行加遮挡物处理，得到与该原始清晰图像对应的加遮挡物初始图像。其中，终端设备可以采用图像处理软件对该原始清晰图像进行加遮挡物处理，得到加遮挡物初始图像。其中，加遮挡物初始图像的遮挡物大小、遮挡物效果都是固定的。
在加遮挡物初始图像的基础上，进一步对加遮挡物初始图像进行遮挡物效果处理，得到与该原始清晰图像对应的加遮挡物效果图像。原始清晰图像对应的加遮挡物效果图像可以有多张。
下面以遮挡物效果为雨滴效果为例进行说明。
其中，雨滴效果可以包括：(大风或小风下的)小雨效果、(大风或小风下的)中雨效果、(大风或小风下的)大雨效果、(大风或小风下的)暴雨效果、(大风或小风下的)毛毛雨效果、雨滴变大效果和雨滴变小效果等。
雨滴效果处理具体可以包括：在该加雨滴初始图像上添加各个方向的噪声，经过膨胀等操作生成加雨滴效果图像。
本申请实施例，通过对原始清晰图像进行加遮挡物处理以及对加遮挡物初始图像进行遮挡物效果处理，可以进行数据增强，丰富用于去遮挡物训练的图像训练样本集。进而可以提高后续去遮挡物训练的训练效果。
需要说明的是，上述步骤(31)至步骤(33)的去遮挡物训练过程也可以由服务器进行执行，当服务器训练得到训练好的去遮挡物模型之后，可以部署在终端设备上。
可选的，在执行步骤205之前，还可以执行如下步骤：
(41)终端设备获取用于超分辨率训练的图像训练样本，所述用于超分辨率训练的图像训练样本包括原始清晰分割图像和与所述原始清晰分割图像对应的模糊处理图像；
(42)终端设备将所述原始清晰分割图像和与所述原始分割清晰图像对应的模糊处理图像输入所述超分辨率模型，得到超分辨率训练结果；
(43)终端设备根据所述超分辨率训练结果对所述超分辨率模型的模型参数进行优化。
本申请实施例中，用于超分辨率训练的图像训练样本可以有多个，构成用于超分辨率训练的图像训练样本集。终端可以从用于超分辨率训练的图像训练样本集中选择图像训练样本，每个图像训练样本都包括原始清晰分割图像和与该原始清晰分割图像对应的模糊处理图像。其中，一张原始清晰分割图像可以对应至少一张模糊处理图像。
原始清晰分割图像可以从一张原始清晰图像分割得到，每张原始清晰分割图像具有相同的尺寸。举例来说，可以在一张原始清晰图像上，采用相同的尺寸(比如，图像分辨率为300*500)在不同的位置随机裁剪，即可得到多张原始清晰分割图像，每张原始清晰分割图像的尺寸相同，但是内容不完全相同。在同一张原始清晰图像中随机裁剪，得到多个相同尺寸的原始清晰分割图像，可以扩充用于超分辨率训练的图像训练样本集。此外，由于原始清晰分割图像包含的像素相对原始清晰图像要少，其占用的存储空间相对较小，可以提高超分辨率训练的速度。
原始清晰分割图像是指没有抖动，没有模糊的图像分辨率达到一定要求(比如，图像分辨率大于100*100并且小于1000*1000)的图像。与原始清晰分割图像对应的模糊处理图像，指的是在原始清晰分割图像的基础上进行模糊处理的图像，模糊处理图像的背景与对应的原始清晰分割图像的背景相同。
终端设备可以将原始清晰分割图像和与该原始清晰分割图像对应的模糊处理图像输入超分辨率模型，得到训练损失，根据训练损失对述超分辨率模型的模型参数进行优化，然后再输入另一张原始清晰分割图像和与该另一原始清晰分割图像对应的模糊处理图像输入超分辨率模型，得到另一个训练损失，直到训练损失符合预期并且收敛，则确定该超分辨率模型为训练好的超分辨率模型。
具体的，在一次训练过程中，原始清晰分割图像可以作为这次训练的标签图，将与该原始清晰分割图像对应的模糊处理图像输入超分辨率模型，生成超分辨率处理图像，将该超分辨率处理图像与该原始清晰分割图像进行对比，计算误差，根据误差对该超分辨率模型的模型参数进行优化。
其中，训练损失可以用损失函数来表征，也可以通过误差函数来表征。损失函数可以采用自适应梯度下降方法(比如，Adam优化方法)进行优化。
可选的，步骤(41)中，终端设备获取用于超分辨率训练的图像训练样本，可以包括如下步骤：
终端设备获取所述原始清晰分割图像，对所述原始清晰分割图像进行模糊处理，得到与所述原始清晰分割图像对应的模糊处理图像。
本申请实施例中，终端设备可以采用图像处理软件对该原始清晰分割图像进行模糊处理，得到与该原始清晰分割图像对应的模糊处理图像。
可选的，步骤(41)中，终端设备获取用于超分辨率训练的图像训练样本，可以包括如下步骤：
终端设备获取原始清晰图像，对所述原始清晰图像进行模糊处理，得到与所述原始清晰图像对应的原始模糊处理图像，从该原始模糊处理图像中截取尺寸相同的多个模糊处理图像。
本申请实施例中，从原始模糊处理图像中截取尺寸相同的多个模糊处理图像，可以进行数据增强，丰富用于超分辨率训练的图像训练样本集。进而可以提高后续超分辨率训练的训练效果。
需要说明的是，上述步骤(41)至步骤(43)的超分辨率训练过程也可以由服务器进行执行，当服务器训练得到训练好的超分辨率模型之后，可以部署在终端设备上。
请参阅图4a，图4a是本申请实施例提供的一种去遮挡物模型的训练流程示意图。如图4a所示，将原始图经输入去遮挡物模型(比如，去雨GAN、去雪GAN、去灰尘GAN、去沙尘GAN等)，去遮挡物模型输出生成图，比较生成图与原始图对应的标签图的误差，当误差最小，则可以确定该去遮挡物模型为训练好的去遮挡物模型。
请参阅图4b，图4b是本申请实施例提供的一种超分辨率模型的训练流程示意图。如图4b所示，将原始图经输入超分辨率模型(比如，超分辨率GAN)，超分辨率模型输出生成图，比较生成图与原始图对应的标签图的误差，当误差最小，则可以确定该超分辨率模型为训练好的超分辨率模型。
请参阅图5，图5是本申请实施例提供的一种图像处理的流程示意图。如图5所示，将原图分割成多个分块图，将多个分块图分别输入去遮挡物模型(比如，去遮挡物GAN)，得到去遮挡物处理后的分块图，将多个去遮挡物处理后的分块图进行拼接，得到拼接图，将拼接图与原图进行像素相减，得到不一致的地方，作为注意力图，注意力图乘以拼接图，得到注意力图，将注意力图输入超分辨率模型(比如，超分辨率GAN)，得到清晰的结果图。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致的，请参阅图6，图6为本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置600应用于终端设备，该图像处理装置600可以包括获取单元601、分割单元602、去遮挡物单元603、拼接单元604、确定单元605和超分辨率单元606，其中：
所述获取单元601，用于获取待处理图像；
所述分割单元602，用于将所述待处理图像分割成N个分块图像，N为大于或等于2的正整数；
所述去遮挡物单元603，用于将所述N个分块图像输入训练好的去遮挡物模型，得到N个去遮挡物后的分块图像；
所述拼接单元604，用于将所述N个去遮挡物后的分块图像按照所述待处理图像的分割顺序进行拼接，得到去遮挡物处理图像；
所述确定单元605，用于根据所述去遮挡物处理图像与所述待处理图像的差异确定所述去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像；
所述超分辨率单元606，用于将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像。
可选的，所述确定单元605根据所述去遮挡物处理图像与所述待处理图像的差异确定所述去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像，具体为：将所述去遮挡物处理图像与所述待处理图像进行像素相减处理，得到注意力图；将所述注意力图与所述去遮挡物处理图像进行像素相乘处理，得到包含ROI的去遮挡物处理图像。
可选的，所述超分辨率单元606将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像，具体为：将所述包含ROI的去遮挡物处理图像分割成N个分块处理图像；确定所述N个分块处理图像中包含ROI的M个分块处理图像和未包含ROI的P个分块处理图像；将所述M个分块处理图像输入训练好的超分辨率模型，得到M个分块结果图像；将所述M个分块处理图像与所述P个分块处理图像按照所述包含ROI的去遮挡物处理图像的分割顺序进行拼接，得到结果图像。
可选的，该图像处理装置600还可以包括训练单元607和优化单元608；
可选的，所述获取单元601，还用于在所述去遮挡物单元603将所述N个分块图像输入训练好的去遮挡物模型之前，获取用于去遮挡物训练的图像训练样本，所述用于去遮挡物训练的图像训练样本包括原始清晰图像和与所述原始清晰图像对应的加遮挡物图像；
所述训练单元607，用于将所述原始清晰图像和与所述原始清晰图像对应的加遮挡物图像输入所述去遮挡物模型，得到去遮挡物训练结果；
所述优化单元608，用于根据所述去遮挡物训练结果对所述去遮挡物模型的模型参数进行优化。
可选的，所述获取单元601获取用于去遮挡物训练的图像训练样本，具体为：获取所述原始清晰图像，对所述原始清晰图像进行加遮挡物处理，得到与所述原始清晰图像对应的加遮挡物初始图像；对所述加遮挡物初始图像进行遮挡物效果处理，得到与所述原始清晰图像对应的加遮挡物效果图像；所述加遮挡物初始图像和所述加遮挡物效果图像为所述原始清晰图像对应的加遮挡物图像。
可选的，所述获取单元601，还用于在所述超分辨率单元606将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型之前，获取用于超分辨率训练的图像训练样本，所述用于超分辨率训练的图像训练样本包括原始清晰分割图像和与所述原始清晰分割图像对应的模糊处理图像；
所述训练单元607，用于将所述原始清晰分割图像和与所述原始分割清晰图像对应的模糊处理图像输入所述超分辨率模型，得到超分辨率训练结果；
所述优化单元608，用于根据所述超分辨率训练结果对所述超分辨率模型的模型参数进行优化。
可选的，所述获取单元601获取用于超分辨率训练的图像训练样本，具体为：获取所述原始清晰分割图像，对所述原始清晰分割图像进行模糊处理，得到与所述原始清晰分割图像对应的模糊处理图像。
其中，本申请实施例中的获取单元601、分割单元602、去遮挡物单元603、拼接单元604、确定单元605、超分辨率单元606、训练单元607和优化单元608可以是终端设备中的处理器。
本申请实施例中，将待处理图像分割成N个分块图像分别输入到训练好的去遮挡物模型进行去遮挡物处理，可以并行计算，提高去遮挡物处理的速度。在去遮挡物处理之后，确定去遮挡物处理图像中的ROI，可以仅对去遮挡物处理图像中的ROI进行超分辨率处理，可以减少超分辨率处理的计算量，并且针对细节部分做超分辨率可以使得去遮挡物后的图像更加清晰，可以提高图像的超分辨率处理效果。
请参阅图7，图7是本申请实施例提供的一种终端设备的结构示意图，如图7所示，该终端设备700包括处理器701和存储器702，处理器701、存储器702可以通过通信总线703相互连接。通信总线703可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。通信总线703可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器702用于存储计算机程序，计算机程序包括程序指令，处理器701被配置用于调用程序指令，上述程序包括用于执行图2所示的方法。
处理器701可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
存储器702可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
此外，该终端设备700还可以包括通信接口、天线等通用部件，在此不再详述。
本申请实施例中，本申请实施例中，将待处理图像分割成N个分块图像分别输入到训练好的去遮挡物模型进行去遮挡物处理，可以并行计算，提高去遮挡物处理的速度。在去遮挡物处理之后，确定去遮挡物处理图像中的ROI，可以仅对去遮挡物处理图像中的ROI进行超分辨率处理，可以减少超分辨率处理的计算量，并且针对细节部分做超分辨率可以使得去遮挡物后的图像更加清晰，可以提高图像的超分辨率处理效果。
本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像，将所述待处理图像分割成N个分块图像，N为大于或等于2的正整数；
将所述N个分块图像输入训练好的去遮挡物模型，得到N个去遮挡物后的分块图像；
将所述N个去遮挡物后的分块图像按照所述待处理图像的分割顺序进行拼接，得到去遮挡物处理图像；
根据所述去遮挡物处理图像与所述待处理图像的差异确定所述去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像；
将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述去遮挡物处理图像与所述待处理图像的差异确定所述去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像，包括：
将所述去遮挡物处理图像与所述待处理图像进行像素相减处理，得到注意力图；
将所述注意力图与所述去遮挡物处理图像进行像素相乘处理，得到包含ROI的去遮挡物处理图像。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像，包括：
将所述包含ROI的去遮挡物处理图像分割成N个分块处理图像；
确定所述N个分块处理图像中包含ROI的M个分块处理图像和未包含ROI的P个分块处理图像；
将所述M个分块处理图像输入训练好的超分辨率模型，得到M个分块结果图像；
将所述M个分块处理图像与所述P个分块处理图像按照所述包含ROI的去遮挡物处理图像的分割顺序进行拼接，得到结果图像。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述将所述N个分块图像输入训练好的去遮挡物模型之前，所述方法还包括：
获取用于去遮挡物训练的图像训练样本，所述用于去遮挡物训练的图像训练样本包括原始清晰图像和与所述原始清晰图像对应的加遮挡物图像；
将所述原始清晰图像和与所述原始清晰图像对应的加遮挡物图像输入所述去遮挡物模型，得到去遮挡物训练结果；
根据所述去遮挡物训练结果对所述去遮挡物模型的模型参数进行优化。
5.根据权利要求4所述的方法，其特征在于，所述获取用于去遮挡物训练的图像训练样本，包括：
获取所述原始清晰图像，对所述原始清晰图像进行加遮挡物处理，得到与所述原始清晰图像对应的加遮挡物初始图像；
对所述加遮挡物初始图像进行遮挡物效果处理，得到与所述原始清晰图像对应的加遮挡物效果图像；所述加遮挡物初始图像和所述加遮挡物效果图像为所述原始清晰图像对应的加遮挡物图像。
6.根据权利要求1～3任一项所述的方法，其特征在于，所述将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型之前，所述方法还包括：
获取用于超分辨率训练的图像训练样本，所述用于超分辨率训练的图像训练样本包括原始清晰分割图像和与所述原始清晰分割图像对应的模糊处理图像；
将所述原始清晰分割图像和与所述原始分割清晰图像对应的模糊处理图像输入所述超分辨率模型，得到超分辨率训练结果；
根据所述超分辨率训练结果对所述超分辨率模型的模型参数进行优化。
7.根据权利要求6所述的方法，其特征在于，所述获取用于超分辨率训练的图像训练样本，包括：
获取所述原始清晰分割图像，对所述原始清晰分割图像进行模糊处理，得到与所述原始清晰分割图像对应的模糊处理图像。
8.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理图像；
分割单元，用于将所述待处理图像分割成N个分块图像，N为大于或等于2的正整数；
去遮挡物单元，用于将所述N个分块图像输入训练好的去遮挡物模型，得到N个去遮挡物后的分块图像；
拼接单元，用于将所述N个去遮挡物后的分块图像按照所述待处理图像的分割顺序进行拼接，得到去遮挡物处理图像；
确定单元，用于根据所述去遮挡物处理图像与所述待处理图像的差异确定所述去遮挡物处理图像中的感兴趣区域ROI，得到包含ROI的去遮挡物处理图像；
超分辨率单元，用于将所述包含ROI的去遮挡物处理图像输入训练好的超分辨率模型，得到结果图像。
9.一种终端设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～7任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010158548.4A CN111325667B (zh) | 2020-03-09 | 2020-03-09 | 图像处理方法及相关产品 |
| PCT/CN2021/073971 WO2021179826A1 (zh) | 2020-03-09 | 2021-01-27 | 图像处理方法及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010158548.4A CN111325667B (zh) | 2020-03-09 | 2020-03-09 | 图像处理方法及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325667A true CN111325667A (zh) | 2020-06-23 |
| CN111325667B CN111325667B (zh) | 2023-05-30 |
Family
ID=71173179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010158548.4A Active CN111325667B (zh) | 2020-03-09 | 2020-03-09 | 图像处理方法及相关产品 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111325667B (zh) |
| WO (1) | WO2021179826A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112509025A (zh) * | 2020-12-03 | 2021-03-16 | 山东省科学院海洋仪器仪表研究所 | 一种基于三维欧氏距离的岩石空间结构距离图的计算方法 |
| WO2021179826A1 (zh) * | 2020-03-09 | 2021-09-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN113887737A (zh) * | 2021-09-23 | 2022-01-04 | 北京工商大学 | 一种基于机器学习的样本集自动生成方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275627B (zh) * | 2019-02-27 | 2023-04-11 | 中国科学院沈阳自动化研究所 | 一种基于雪模型和深度学习融合的图像去雪算法 |
| CN112288738B (zh) * | 2020-11-18 | 2022-07-29 | 新疆大学 | 基于深度学习的单幅图像去雪花方法、装置及存储介质 |
| CN114972093A (zh) * | 2022-05-26 | 2022-08-30 | 平安科技（深圳）有限公司 | 图像增强方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681994A (zh) * | 2018-05-11 | 2018-10-19 | 京东方科技集团股份有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| CN108805828A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN109886900A (zh) * | 2019-03-15 | 2019-06-14 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
| CN109978805A (zh) * | 2019-03-18 | 2019-07-05 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110458752A (zh) * | 2019-07-18 | 2019-11-15 | 西北工业大学 | 一种基于局部遮挡条件下的图像换脸方法 |
| CN110570376A (zh) * | 2019-09-10 | 2019-12-13 | 广州工程技术职业学院 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
| CN110580681A (zh) * | 2019-09-12 | 2019-12-17 | 杭州海睿博研科技有限公司 | 高分辨率心机运动模式分析装置和方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9928406B2 (en) * | 2012-10-01 | 2018-03-27 | The Regents Of The University Of California | Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system |
| CN109360156B (zh) * | 2018-08-17 | 2020-08-28 | 上海交通大学 | 基于生成对抗网络的图像分块的单张图像去雨方法 |
| CN109934193B (zh) * | 2019-03-20 | 2023-04-07 | 福建师范大学 | 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 |
| CN111325667B (zh) * | 2020-03-09 | 2023-05-30 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
-
2020
- 2020-03-09 CN CN202010158548.4A patent/CN111325667B/zh active Active
-
2021
- 2021-01-27 WO PCT/CN2021/073971 patent/WO2021179826A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681994A (zh) * | 2018-05-11 | 2018-10-19 | 京东方科技集团股份有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| CN108805828A (zh) * | 2018-05-22 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN109886900A (zh) * | 2019-03-15 | 2019-06-14 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
| CN109978805A (zh) * | 2019-03-18 | 2019-07-05 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110458752A (zh) * | 2019-07-18 | 2019-11-15 | 西北工业大学 | 一种基于局部遮挡条件下的图像换脸方法 |
| CN110570376A (zh) * | 2019-09-10 | 2019-12-13 | 广州工程技术职业学院 | 一种图像去雨方法、装置、设备和计算机可读存储介质 |
| CN110580681A (zh) * | 2019-09-12 | 2019-12-17 | 杭州海睿博研科技有限公司 | 高分辨率心机运动模式分析装置和方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021179826A1 (zh) * | 2020-03-09 | 2021-09-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN112509025A (zh) * | 2020-12-03 | 2021-03-16 | 山东省科学院海洋仪器仪表研究所 | 一种基于三维欧氏距离的岩石空间结构距离图的计算方法 |
| CN112509025B (zh) * | 2020-12-03 | 2022-11-11 | 山东省科学院海洋仪器仪表研究所 | 一种基于三维欧氏距离的岩石空间结构距离图的计算方法 |
| CN113887737A (zh) * | 2021-09-23 | 2022-01-04 | 北京工商大学 | 一种基于机器学习的样本集自动生成方法 |
| CN113887737B (zh) * | 2021-09-23 | 2024-05-17 | 北京工商大学 | 一种基于机器学习的样本集自动生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325667B (zh) | 2023-05-30 |
| WO2021179826A1 (zh) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325667B (zh) | 图像处理方法及相关产品 | |
| Galdran | Image dehazing by artificial multiple-exposure image fusion | |
| Gibson et al. | Fast single image fog removal using the adaptive Wiener filter | |
| US9311901B2 (en) | Variable blend width compositing | |
| US10692197B2 (en) | Systems and techniques for automatic image haze removal across multiple video frames | |
| US9779491B2 (en) | Algorithm and device for image processing | |
| GB2544375B (en) | Dehazing photos and videos using visual artifact suppression | |
| US9288458B1 (en) | Fast digital image de-hazing methods for real-time video processing | |
| WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
| US20120249836A1 (en) | Method and apparatus for performing user inspired visual effects rendering on an image | |
| CN107563974B (zh) | 图像去噪方法、装置、电子设备及存储介质 | |
| CN107547803B (zh) | 视频分割结果边缘优化处理方法、装置及计算设备 | |
| CN113344821B (zh) | 图像降噪方法、装置、终端、存储介质 | |
| CN110415193A (zh) | 煤矿低照度模糊图像的复原方法 | |
| CN111353955A (zh) | 一种图像处理方法、装置、设备和存储介质 | |
| CN111953893B (zh) | 一种高动态范围图像生成方法、终端设备及存储介质 | |
| KR101834512B1 (ko) | 연속영상 기반의 초해상도 영상복원 장치 및 방법 | |
| CN111882565A (zh) | 一种图像二值化方法、装置、设备及存储介质 | |
| JP2003509779A (ja) | 圧縮エッジ適応ビデオ及び画像鮮鋭化及びスケーリング方法及びシステム | |
| CN111986095B (zh) | 基于边缘提取的图像处理方法及图像处理装置 | |
| CN111028184B (zh) | 一种图像增强方法及系统 | |
| CN111489418B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN113256484A (zh) | 一种对图像进行风格化处理的方法及装置 | |
| CN112132879A (zh) | 一种图像处理的方法、装置和存储介质 | |
| KR102141122B1 (ko) | 안개 제거 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |