CN112819720A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112819720A CN112819720A CN202110145624.2A CN202110145624A CN112819720A CN 112819720 A CN112819720 A CN 112819720A CN 202110145624 A CN202110145624 A CN 202110145624A CN 112819720 A CN112819720 A CN 112819720A
- Authority
- CN
- China
- Prior art keywords
- image
- shadow
- region
- resolution
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、电子设备及存储介质,该图像处理方法包括:将第一分辨率的第一图像处理为第二分辨率的第二图像,其中,所述第二分辨率小于所述第一分辨率;将所述第二图像输入至预先训练的阴影检测模型,得到所述阴影检测模型输出的阴影区域对应的掩膜图像,其中,所述掩膜图像中阴影区域的像素值与除所述阴影区域以外的其他区域的像素值不同;将所述掩膜图像以及所述第二图像输入至阴影去除模型,获得对所述第二图像去除阴影后的第三图像;根据所述第三图像以及所述掩膜图像,对所述第一图像进行阴影去除,获得去除阴影后的所述第一分辨率的第四图像。本方法可以实现对高分辨率图像的阴影去除的较佳效果。
Description
技术领域
本申请涉及图像处理技术领域,更具体地,涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着科技水平和生活水平的快速进步,电子设备被人们广泛地使用。通常电子设备具有图像采集功能,可以方便人们采集日常生活和工作中所需的图像。然而在图像检测、物体识别、图像修复、分割抠图、文档矫正等领域进行图像采集时,由于自然光照和非自然光照的影响,会使得采集到的图像往往都会含有阴影,阴影会对后续的处理方法造成严重的影响。
发明内容
鉴于上述问题,本申请提出了一种图像处理方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种图像处理方法,所述方法包括:将第一分辨率的第一图像处理为第二分辨率的第二图像,其中,所述第二分辨率小于所述第一分辨率;将所述第二图像输入至预先训练的阴影检测模型,得到所述阴影检测模型输出的阴影区域对应的掩膜图像,其中,所述掩膜图像中阴影区域的像素值与除所述阴影区域以外的其他区域的像素值不同;将所述掩膜图像以及所述第二图像输入至阴影去除模型,获得对所述第二图像去除阴影后的第三图像;根据所述第三图像以及所述掩膜图像,对所述第一图像进行阴影去除,获得去除阴影后的所述第一分辨率的第四图像。
第二方面,本申请实施例提供了一种一种图像处理装置,所述装置包括:分辨率调整模块、阴影检测模块、第一阴影去除模块以及第二阴影去除模块,其中,所述分辨率调整模块用于将第一分辨率的第一图像处理为第二分辨率的第二图像,其中,所述第二分辨率小于所述第一分辨率;所述阴影检测模块用于将所述第二图像输入至预先训练的阴影检测模型,得到所述阴影检测模型输出的阴影区域对应的掩膜图像,其中,所述掩膜图像中阴影区域的像素值与除所述阴影区域以外的其他区域的像素值不同;所述第一阴影去除模块用于将所述掩膜图像以及所述第二图像输入至阴影去除模型,获得对所述第二图像去除阴影后的第三图像;所述第二阴影去除模块用于根据所述第三图像以及所述掩膜图像,对所述第一图像进行阴影去除,获得去除阴影后的所述第一分辨率的第四图像。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的图像处理方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。
本申请提供的方案,通过将第一分辨率的第一图像处理为第二分辨率的第二图像,该第二分辨率小于该第一分辨率,将第二图像输入至预先训练的阴影检测模型,得到阴影检测模型输出的阴影区域对应的掩膜图像,该掩膜图像中阴影区域的像素值与除阴影区域以外的其他区域的像素值不同,再将掩膜图像以及第二图像输入至阴影去除模型,获得对第二图像去除阴影后的第三图像,然后根据第三图像以及掩膜图像,对第一图像进行阴影去除,获得去除阴影后的第一分辨率的第四图像。从而可以实现在对较高分辨率的图像进行阴影去除时,转换为低分辨率图像进行阴影去除,提升处理效率,再参考去除阴影后的低分辨率图像,对较高分辨率的图像进行阴影去除,从而可以在保证处理效率的情况下,提升阴影去除的图像的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的图像处理方法流程图。
图2示出了本申请实施例提供的一种效果示意图。
图3示出了本申请实施例提供的另一种效果示意图。
图4示出了根据本申请另一个实施例的图像处理方法流程图。
图5示出了本申请另一个实施例提供的图像处理方法中步骤S250的流程图。
图6示出了根据本申请又一个实施例的图像处理方法流程图。
图7示出了本申请实施例提供的图像处理方法的原理示意图。
图8示出了本申请实施例提供的又一种效果示意图。
图9示出了根据本申请一个实施例的图像处理装置的一种框图。
图10是本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备的框图。
图11是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在图像检测、物体识别、图像修复、分割抠图、文档矫正等领域进行图像采集时,由于自然光照和非自然光照的影响采集到的图像往往都会含有阴影,阴影会对后续的处理方法造成严重的影响,因此为了增加后续图像处理算法的性能,使图像看上去更加自然,去除图像中的阴影是一项非常有必要的工作。
在传统的阴影去除方案中,通常分为传统方法和基于深度学习的方法,传统方法首先基于亮度和颜色等检测出阴影,然后再基于像素块匹配和梯度域以及强度域等进行阴影移除,方法的适应性较差,易受光照等因素的影响,往往只能在特定条件下才能取得一定效果。基于深度学习的方法不断被应用到各个领域并取得不错效果,在阴影去除领域,利用生成对抗网络和卷积神经网络,可以自动地从图像中提取出高层次的特征信息,进一步再进行阴影检测和去除,能够应对更加复杂的使用场景,从而具有很好的鲁棒性和适应性。
但是,传统的基于深度学习的方法在一些小尺寸的图片上能够取得一定效果,对于高分辨率的图片,如果直接输入到网络模型中模型运行速度将会受到严重影响。如果将原图压缩到小尺寸后再输入到到网络模型中,移除阴影后的区域纹理和细节将会相比于原图都会差很多。
针对上述问题,发明人提出了本申请实施例提供的图像处理方法、装置、电子设备以及存储介质,可以实现在对较高分辨率的图像进行阴影去除时,转换为低分辨率图像进行阴影去除,提升处理效率,再参考去除阴影后的低分辨率图像,对较高分辨率的图像进行阴影去除,从而可以在保证处理效率的情况下,提升阴影去除的图像的质量。其中,具体的图像处理方法在后续的实施例中进行详细的说明。
请参阅图1,图1示出了本申请一个实施例提供的图像处理方法的流程示意图。在具体的实施例中,所述图像处理方法应用于如图8所示的图像处理装置400以及配置有所述图像处理装置400的电子设备100(图9)。下面将以电子设备为例,说明本实施例的具体流程,当然,可以理解的,本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等,在此不做限定。下面将针对图1所示的流程进行详细的阐述,所述图像处理方法具体可以包括以下步骤:
步骤S110:将第一分辨率的第一图像处理为第二分辨率的第二图像,其中,所述第二分辨率小于所述第一分辨率。
在本申请实施例中,电子设备在对第一分辨率的第一图像进行阴影去除时,可以将第一图像降低分辨率,得到第二分辨率的图像作为第二图像。其中,第一分辨率以及第二分辨率指的图像分辨率,第一分辨率以及第二分辨率的具体大小可以不做限定,例如,第一分辨率可以为2400*3200,第二分辨率可以为600*800。
在一些实施方式中,电子设备在获取到需要进行阴影去除的第一图像后,可以获取第一图像的图像分辨率作为第一分辨率;判断第一分辨率是否小于指定分辨率,其中,指定分辨率可以为设定的需要被作为高分辨率图像进行阴影去除的情况下的最小分辨率,例如,可以为以上第二分辨率;若第一分辨率大于或等于该指定分辨率,则电子设备执行将第一分辨率的第一图像处理为第二分辨率的第二图像;若第一分辨率小于该指定分辨率,则电子设备可以将第一图像作为常规的需要进行阴影去除的图像,可以通过深度学习的方法,从图像中提取出高层次的特征信息,进一步再进行阴影检测和去除。作为一种方式,若第一分辨率小于该指定分辨率,可以使用本申请实施例中的阴影检测模型,获取阴影区域对应的掩膜图像后,再利用本申请实施例中的阴影去除模型,将掩膜图像以及第一图像输入至该阴影去除模型,得到去除阴影后的图像。
作为一种实施方式,电子设备为智能手机、平板电脑、智能手表等设置有摄像头的移动终端时,可以通过前置摄像头或者后置摄像头进行图像采集,从而获得第一图像,例如,电子设备可以通过后置摄像头采集图像,并将获得的图像作为第一图像。
作为又一种实施方式,电子设备可以从本地获取待处理的第一图像,也就是说,电子设备可以从本地存储的文件中获取待处理的第一图像,例如,电子设备为移动终端时,可以从相册获取待处理的第一图像,即电子设备预先通过摄像头采集第一图像后存储在本地相册,或者预先从网络下载第一图像后存储在本地相册等,然后在需要对第一图像进行阴影图像时,从相册中读取待处理的第一图像。
作为再一种方式,电子设备为移动终端或者电脑时,也可以从网络下载待处理的第一图像,例如,电子设备可以通过无线网络、数据网络等从相应的服务器下载需求的第一图像。
作为还一种实施方式,电子设备也可以通过用户在其他设备的输入操作,对输入的待处理的第一图像进行接收,从而获得待处理的第一图像。当然,电子设备具体获取待处理的第一图像的方式可以不作为限定。
步骤S120:将所述第二图像输入至预先训练的阴影检测模型,得到所述阴影检测模型输出的阴影区域对应的掩膜图像,其中,所述掩膜图像中阴影区域的像素值与除所述阴影区域以外的其他区域的像素值不同。
在本申请实施例中,电子设备在将第一图像处理为第二分辨率的第二图像之后,可以将第二图像输入至预先训练的阴影检测模型。该阴影检测模型被预选训练,以根据输入的图像检测阴影区域之后,输出阴影区域对应的掩膜图像。从而,将第二图像输入至预先训练的阴影检测模型后,可以得到阴影检测模型输出的阴影区域对应的掩膜图像。掩膜图像为二值掩膜图像,二值掩膜图像是指根据图像的像素值,对阴影区域进行分割后获得的二值图像,在掩膜图像中,阴影区域的像素值与其他区域的像素值不同,从而可以区分出掩膜图像中的阴影区域。例如,图2中所示图像的阴影区域为A1,该图像对应的掩膜图像如图3所示,阴影区域A1对应的像素值可以为255(白色),而其他区域的像素值可以为0(黑色)。又例如,阴影区域的像素值可以为0,而其他区域的像素值可以为255,在此不做限定。
步骤S130:将所述掩膜图像以及所述第二图像输入至阴影去除模型,获得对所述第二图像去除阴影后的第三图像。
在本申请实施例中,电子设备在获得掩膜图像之后,则可以将掩膜图像以及第二图像输入至阴影去除模型中,以对第二图像进行阴影去除,得到对第二图像去除阴影后的第三图像。
在一些实施方式中,阴影去除模型可以用于提取第二图像以及掩膜图像中的图像特征,再根据提取到的图像特征,确定第二图像中与阴影区域相似的非阴影区域中的图像信息,将与阴影区域相似的非阴影区域中的图像信息填充至阴影区域,从而完成对阴影区域的去除。由此,可以保证阴影区域被修复后,整个图像在结构和轮廓上保持较好的一致性。其中,阴影去除模型可以基于内容感知(CA,Contexual Attention)构建,也可以根据生成对抗网络构建,具体的模型可以不做限定。阴影去除模型可以通过预先获得的第二分辨率的包含阴影的样本图像,该样本图像对应的掩膜图像以及包含相同内容的不含阴影的图像,对初始模型进行训练,直至阴影去除模型输出的结果与不含阴影的图像之间的差异较小。
在本申请实施例中,由于在将第一图像降低为第二分辨率的第二图像之后,再通过阴影检测模型以及阴影去除模型进行处理,因此可以有效的提升处理速度。
步骤S140:根据所述第三图像以及所述掩膜图像,对所述第一图像进行阴影去除,获得去除阴影后的所述第一分辨率的第四图像。
在本申请实施例中,电子设备在获取到对第二图像进行阴影去除后的第三图像之后,由于第三图像为第二分辨率的图像,如果将其直接变换为第一分辨率的图像,例如对第三图像进行上采样,得到第一分辨率的图像,而此过程并没有引入图像信息,所以得到的图像还是不够清晰,并且去除阴影后的区域会和周边区域产生明显差别,也就是纹理和细节上会差很多。因此,在得到去除阴影后的第三图像之后,可以参考第三图像中去除阴影后的区域与非阴影区域的相似性,对第一图像(原图)进行阴影去除。具体地,可以根据第三图像以及掩膜图像,对第一图像进行阴影去除,从而得到去除阴影后的第一分辨率的第四图像。
在一些实施方式中,可以根据掩膜图像,确定出第一图像中的阴影区域以及非阴影区域;然后可以将第三图像中去除阴影后的区域与非阴影区域的相似性,映射到第一分辨率的第一图片上,这样在修复高分辨率图片的时候,可以利用这个相似性将非阴影区域的像素块填充到阴影区域得到去除阴影后的第一分辨率的图像,这样的话,可以保证阴影区域和非阴影区域在纹理结构和颜色上保持较好的一致性,并且是对原始的第一图像进行阴影去除,不会因为压缩图像的分辨率而丢失图像信息,而使得图像不够清晰。
本申请实施例提供的图像处理方法,可以实现在对较高分辨率的图像进行阴影去除时,转换为低分辨率图像进行阴影去除,提升处理效率,再参考去除阴影后的低分辨率图像,参考去除阴影后的图像中去除阴影后的区域与非阴影区域的相似性,对较高分辨率的图像进行阴影去除,从而可以在保证处理效率的情况下,提升阴影去除的图像的质量。
请参阅图4,图4示出了本申请另一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备,下面将针对图4所示的流程进行详细的阐述,所述图像处理方法具体可以包括以下步骤:
步骤S210:将第一分辨率的第一图像处理为第二分辨率的第二图像,其中,所述第二分辨率小于所述第一分辨率。
步骤S220:将所述第二图像输入至预先训练的阴影检测模型,得到所述阴影检测模型输出的阴影区域对应的掩膜图像,其中,所述掩膜图像中阴影区域的像素值与除所述阴影区域以外的其他区域的像素值不同。
步骤S230:将所述掩膜图像以及所述第二图像输入至阴影去除模型,获得对所述第二图像去除阴影后的第三图像。
在本申请实施例中,步骤S210至步骤S230可以参阅其他实施例的内容。
步骤S240:基于所述掩膜图像,获取所述第一图像中的阴影所在区域作为第一目标区域,以及除所述第一目标区域以外的其他区域作为第二目标区域。
在本申请实施例中,电子设备在获取到对第二图像进行阴影去除后的第三图像后,根据掩膜图像以及第三图像,对第一图像进行阴影去除时。可以基于第二图像对应的阴影区域的掩膜图像,确定第一图像中阴影所在区域,并将其作为第一目标区域,以及确定第一图像中除该第一目标区域以外的其他区域作为第二目标区域,以便后续从第二目标区域中确定用于填充至第一目标区域的内容。
在一些实施方式中,电子设备在基于掩膜图像,确定第一图像中的阴影所在区域以及除阴影所在区域以外的其他区域时,可以将掩膜图像处理为第一分辨率的图像,得到第一分辨率的掩膜图像。可以理解地,第二图像对应的阴影区域的掩膜图像为第二分辨率的,如需要根据该掩膜图像来确定第一分辨率的第一图像中的阴影区域,则需要将该掩膜图像调整为第一分辨率。在得到第一分辨率的掩膜图像之后,则可以根据第一分辨率的掩膜图像中的阴影区域的像素坐标,从第一图像中确定出相同像素坐标的区域,即为第一图像中的阴影所在区域,并且可以获取到第一图像中除了该阴影所在区域以外的其他区域。
步骤S250:根据所述第三图像以及所述掩膜图像,从所述第二目标区域中获取用于填充所述第一目标区域的至少一个子区域。
在本申请实施例中,电子设备在根据对第二图像进行阴影去除后的第三图像以及掩膜图像,对第一图像进行阴影去除时,可以根据第三图像以及掩膜图像,从第二目标区域中获取用于填充第一目标区域的子区域。可以理解地,电子设备根据掩膜图像,可以确定出第三图像中阴影去除后的区域,以及此前的非阴影区域,然后将第三图像中去除阴影后的区域与非阴影区域的相似性,映射到第一分辨率的第一图片上,确定出用于填充第一图像中的阴影所在区域的子区域,以便后续对第一图像中的阴影所在区域进行填充后,完成对第一图像的阴影的去除。
在一些实施方式中,请参阅图5,步骤S250可以包括:
步骤S251:基于所述掩膜图像,获取所述第三图像中所述阴影区域对应的去除阴影后的第三目标区域,以及所述第三图像中除所述第三目标区域以外的其他区域作为第四目标区域。
在该实施方式中,电子设备在根据掩膜图像以及第三图像,从第二目标区域中确定需要填充至第一目标区域的子区域时,可以基于掩膜图像,获取第三图像中阴影区域对应的去除阴影后的第三目标区域,也就是第三图像中阴影去除后的区域;还可以获取第三图像中除第三目标区域以外的其他区域作为第四目标区域,也就是此前的非阴影区域。具体地,由于掩膜图像以及第三图像均为第二分辨率的图像,因此掩膜图像中阴影区域的像素坐标,对应到第三图像中相同像素坐标处的区域,即为第三图像中的阴影去除后的区域。
步骤S252:将所述第三图像以及所述第一图像划分为相同数量的多个像素块,其中,所述第三图像中的多个像素块与所述第一图像中的多个像素块一一对应。
在本申请实施例中,为精确地确定出对第一目标区域进行填充的各个内容,电子设备可以按照相同的划分方式,将第三图像以及第一图像划分为相同数量的多个像素块,并且划分后的第三图像中的多个像素块与第一图像中的多个像素块一一对应。可以理解地,第三图像中每个像素块都与第一图像中的其中一个像素块对应,只是因为整个图像的图像分辨率的不同,而像素块的大小不同。其中,像素块即为多个像素点构成的块,也可以理解为像素区域。
在一些实施方式中,电子设备可以采用均匀划分的方式,将第三图像以及第一图像划分为相同数量的多个像素块。其中,预设数量的具体数值可以不做限定,可以根据实际需求的阴影去除的精度而定。例如,预设数量可以根据第一图像的分辨率来确定,第一图像的分辨率越高,则预设数量也越高。
步骤S253:基于所述第三图像中的所述多个像素块,从所述第四目标区域包含的像素块中,获取所述第三目标区域中每个像素块对应的第一目标像素块,其中,所述第三目标区域中每个像素块与其对应的第一目标像素块之间的相似度大于相似度阈值。
在该实施方式中,在对第一图像以及第三图像划分为预设数量的像素块之后,则可以根据第三图像中分割的像素块,从第四目标区域包含的像素块中,确定出第三目标区域中每个像素块对应的第一目标像素块,也就是,从第三图像中确定出去除阴影后的区域内每个像素块在非阴影区域中所对应的像素块。
可选的,电子设备可以获取第三目标区域中每个像素块,与第四目标区域中的像素块的相似度,并确定出相似度满足相似度条件的像素块,作为第三目标区域中的像素块在第四目标区域中所对应的像素块。其中,相似度条件可以为:相似度大于相似度阈值,也可以为相似度最高,在此不做限定。
步骤S254:基于所述第三目标区域中每个像素块对应的第一目标像素块,从所述第二目标区域包含的像素块中,获取所述第一目标区域中每个像素块对应的第二目标像素块,作为用于填充所述第一目标区域的至少一个子区域。
在该实施方式中,电子设备在确定出第三图像中阴影去除后的区域中各个像素块对应的非阴影区域中的像素块之后,也就获得了阴影去除后的区域与非阴影区域的相似性,由于第三图像划分的各个像素块与第一图像中划分的各个像素块是一一对应的,因此,可以将第三图像中阴影去除后的区域中各个像素块对应的非阴影区域中的像素块,映射到第一图像的多个像素块中,从而从第二目标区域包含的像素块中,获取第一目标区域中每个像素块对应的第二目标像素块,即从非阴影区域包含的像素块中,确定出用于填充至第一目标区域的像素块。
可选的,电子设备可以根据第四目标区域中每个像素块与第二目标区域中每个像素块的对应关系,获取第四目标区域中每个第一目标像素块在第一目标区域中对应的第二目标像素块;再根据第三目标区域中每个像素块与每个第一目标像素块的对应关系,以及第三目标区域中每个像素块与第一目标区域中每个像素块的对应关系,得到第一目标区域中每个像素块对应的第二目标像素块。可以理解地,可以将第四目标区域中每个第一目标像素块,映射到第一图像中,得到第一目标区域中对应的第二目标像素块,也就获得了用于填充的像素块;然后再将第三目标区域中各个像素块对应到第一图像中,也就获得了用于填充的像素块需要在阴影区域中填充的像素块。
步骤S260:将所述至少一个子区域填充至所述第一图像中所述第一目标区域的对应位置,获得去除阴影后的所述第一分辨率的第四图像。
在本申请实施例中,电子设备在获得到用于填充所述第一目标区域的至少一个子区域之后,则可以对第一目标区域进行填充,以去除第一图像中的阴影。其中,电子设备在确定以上用于填充的区域时,确定的子区域与阴影区域中的某个区域是对应的,因此可以将确定的子区域填充至对应的区域。可选的,在上述划分多个像素块之后,确定用于填充的像素块的方式中,由于确定出了阴影区域中每个像素块对应的第二目标像素块,则可以将第二目标像素块填充至阴影区域中与其对应的像素块。由于对第一图像的阴影进行去除,是直接确定第一分辨率的图像中非阴影区域的内容填充至阴影区域,可以保证阴影区域和非阴影区域在纹理结构和颜色上保持较好的一致性,并且是对原始的第一图像进行阴影去除,不会因为压缩图像的分辨率而丢失图像信息,而使得图像不够清晰。
在一些实施方式中,由于采用第一图像中非阴影区域的内容填充至阴影区域,在一些特殊情况下,可能会带来不准确性,例如产生阴影的区域恰好与附近的内容不相同。因此,在根据掩膜图像以及第三图像,对第一图像进行阴影去除时,可以将至少一个子区域填充至第一图像中所述第一目标区域的对应位置,得到第一分辨率的第五图像;然后再将第五图像以及第一图像输入至预先训练的图像融合模型,得到去除阴影后的第一分辨率的第四图像。其中,图像融合模型用于根据第五图像的图像特征以及第一图像的图像特征进行融合后,根据融合后的融合特征解码得到去除阴影后的图像。在该实施方式中,可以结合原图的图像特征,以及阴影去除后的第五图像的图像特征,再进行调整,从而得到调整后的图像。由于参考了原图中阴影区域的特征,因此可以使最后得到的图像中,去除阴影后的区域的真实性不会存在问题。
在该实施方式中,图像融合模型可以包括:图像特征提取模块、特征融合模块以及解码器。特征提取模块可以由多个卷积层构成,例如可以包括:依次连接的一个第一卷积层和一个第二卷积层。第一卷积层由步长为2的卷积层、正则化层和ReLU激活函数层构成,第二卷积层由步长为1的卷积层、正则化层和ReLU激活函数层构成。特征融合模块也可以包括多个卷积层。其中,多个卷积层用于将第一图像的特征图以及第五图像的特征图根据通道维度进行拼接,获得拼接后的特征图,以及降低所述拼接后的特征图的通道数,获得融合特征图。解码器也可以由卷积层构成,例如,可以包括依次连接的双线性插值上采样层以及多个卷积层等,解码器可以为编码-解码模型中的解码器,用于根据融合特征图而输出最终的图像。在对图像融合模型进行训练时,可以通过第一分辨率的包含阴影的第一样本图像,通过上述方式对阴影区域进行填充后的图像,以及第一样本图像对应的包含相同内容但不包含阴影的第二样本图像,对初始模型进行训练,直至输出的图像与第二样本图像之间的差异满足条件。当然,图像融合模型的具体结构可以不做限定。
本申请实施例提供的图像处理方法,可以实现在对较高分辨率的图像进行阴影去除时,转换为低分辨率图像进行阴影去除,提升处理效率,再参考去除阴影后的低分辨率图像,参考去除阴影后的图像中去除阴影后的区域与非阴影区域的相似性,获取原始图像中非阴影区域的内容填充至阴影区域,完成对较高分辨率的图像进行阴影去除,由于对第一图像的阴影进行去除,是直接确定第一分辨率的图像中非阴影区域的内容填充至阴影区域,可以保证阴影区域和非阴影区域在纹理结构和颜色上保持较好的一致性,并且是对原始的第一图像进行阴影去除,不会因为压缩图像的分辨率而丢失图像信息,而使得图像不够清晰。
请参阅图6,图6示出了本申请又一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备,下面将针对图6所示的流程进行详细的阐述,所述图像处理方法具体可以包括以下步骤:
步骤S310:将第一分辨率的第一图像处理为第二分辨率的第二图像,其中,所述第二分辨率小于所述第一分辨率。
在本申请实施例中,步骤S310可以参阅前述实施例的内容,在此不再赘述。
步骤S320:将所述第二图像输入至所述编码模块,获得所述编码模块输出的图像特征。
步骤S330:通过所述解码模块,并根据所述编码模块输出的图像特征,生成阴影区域对应的掩膜图像。
在本申请实施例中,用于获取第二图像的阴影区域的掩膜图像的阴影检测模型可以包括编码模块以及解码模块。也就是说,阴影检测模型可以设计成Encoder-Decoder(编码-解码)的结构,Encoder阶段对图片进行不断下采样提取图片的深层特征信息,Decoder阶段对图片进行上采样,并在最后进行二分类处理,最终输出和输入大小一样(分辨率也为第二分辨率)的阴影检测结果。该阴影检测结果中可以包括阴影区域对应的掩膜图像。由于阴影检测需要逐个判断每个像素是阴影或者不是阴影,使用编码-解码网络结构的话,要求输出图像和输入图像的大小一样,然后可以实现逐像素地判断,从而提高阴影检测的准确性。
在一些实施方式中,在将第二图像输入阴影检测模型之前,还可以对第二图像进行预处理。可选的,阴影检测模型要求输入图像的像素值应当归一化,例如,像素值应当为[0,1]之间的实数,如果尺寸调整后的图像的像素值未归一化,应当将其归一化,例如,尺寸调整后的图像的像素值表示为[0,255]之间的整数,可以通过除以255的方式进行归一化,以便人像分割模型能够正确处理。可以理解的,归一化可以有不同的定义,例如在另一种归一化的定义中,像素值应当为[-1,1]之间的实数,针对不同的归一化定义,归一化的方式应当相应地调整。
在一种情况下,电子设备对第二图像进行预处理,还可以包括:将第二图像的像素值减去平均像素值,以及除以像素值方差。可以理解地,为对第二图像进行标准化,可以对第二图像的各个像素点的像素值减去该第二图像的像素点的平均像素值。另外,还可以计算像素点的像素值的方差,得到像素值方差,将各个像素点的像素值减去该第二图像的像素点的平均像素值之后,还可以将各个像素点的像素值除以该像素值方差。
在本申请实施例中,对阴影检测模型进行训练时,可以根据包含阴影的样本图像以及对样本图像中阴影进行标注后的结果,对初始模型进行训练,将初始模型输出的结果与对样本图像中阴影进行标注后的结果计算损失值,然后根据损失值调整初始模型的参数,直至损失值满足条件,使得阴影检测模型能够正确检测出阴影区域。
步骤S340:将所述掩膜图像以及所述第二图像输入至所述特征提取模块,通过所述特征提取模块获取所述掩膜图像的特征图,以及所述第二图像的特征图。
步骤S350:将所述掩膜图像的特征图以及所述第二图像的特征图输入至所述第一去除模块,所述第一去除模块用于根据所述第二图像的特征图中的非阴影区域对所述第二图像中的非阴影区域进行填充,得到第一特征图。
步骤S360:将所述掩膜图像的特征图以及所述第二图像的特征图输入至所述第二去除模块,所述第二去除模块用于修复所述第二图像的特征图中的细节信息和纹理信息,得到第二特征图。
步骤S370:通过所述特征融合模块对所述第一特征图以及所述第二特征图进行特征融合并进行解码,得到对所述第二图像去除阴影后的第三图像。
在本申请实施例中,用于进行阴影去除的阴影去除模型可以包括特征提取模块、第一去除模块、第二去除模块以及特征融合模块。特征提取模块用于提取掩膜图像的图像特征,获得掩膜图像的特征图,以及提取第二图像的图像特征,获得第二图像的特征图。在获得掩膜图像的特征图,以及第二图像的特征图之后,再将掩膜图像的特征图以及第二图像的特征图输入至第一去除模块,并且将掩膜图像的特征图以及第二图像的特征图输入至第二去除模块。第一去除模块用于根据第二图像的特征图中的非阴影区域对第二图像中的非阴影区域进行填充,得到第一特征图,其中,第一去除模块可以基于内容感知(ContexualAttention,CA)构建,其主要用于学习阴影区域和非阴影区域之间的相似性,根据CA的原理,CA主要将非阴影区域最有可能的信息填充至阴影区域,因此可以保证修复后的阴影区域与非阴影区域在结构和轮廓上保持较好的一致性。第二去除模块用于修复所述第二图像的特征图中的细节信息和纹理信息,得到第二特征图,其中,第二去除模块可以基于残差网络(Residual Block,RB)结构构建,根据RB的原理可以知道RB主要学习的是输入和输出的残差,对于图片来说残差代表了一些高频纹理和细节信息,所以第二去除模块有利于修复阴影区域的细节信息。
在第一去除模块得到第一特征图,以及第二去除模块得到第二特征图之后,则可以将第一特征图以及第二特征图进行特征融合并解码,得到对第二图像去除阴影后的第三图像。其中,特征融合模块可以对第一特征图以及第二特征图,根据通道维度进行拼接,获得拼接后的特征图,再对得到的特征图进行解码,可以得到去除阴影后的图像,所得到的图像不仅颜色和亮度等与周围区域保持着很好的一致性,而且也具有很好的细节和纹理信息,从而后续在利用第三图像对第一图像进行阴影去除时,能够更加的准确。
步骤S380:根据所述第三图像以及所述掩膜图像,对所述第一图像进行阴影去除,获得去除阴影后的所述第一分辨率的第四图像。
在本申请实施例中,步骤S380可以参阅前述实施例的内容,在此不再赘述。
本申请实施例提供的图像处理方法,可以实现在对较高分辨率的图像进行阴影去除时,转换为低分辨率图像后,利用编码-解码网络结构检测阴影区域,可以提升阴影检测准确性。在对低分辨率图像进行阴影去除时,利用包含第一去除模块以及第二去除模块的阴影去除模型进行阴影去除,可以保证修复后的阴影区域与非阴影区域在结构和轮廓上保持较好的一致性,且修复阴影区域的细节信息,提升阴影去除的准确性和效果。然后再参考去除阴影后的低分辨率图像,利用去除阴影后的图像中去除阴影后的区域与非阴影区域的相似性,获取原始图像中非阴影区域的内容填充至阴影区域,完成对较高分辨率的图像进行阴影去除,由于对第一图像的阴影进行去除,是直接确定第一分辨率的图像中非阴影区域的内容填充至阴影区域,可以保证阴影区域和非阴影区域在纹理结构和颜色上保持较好的一致性,并且是对原始的第一图像进行阴影去除,不会因为压缩图像的分辨率而丢失图像信息,而使得图像不够清晰。
在一些实施例中,请参阅图7,图7示出了本申请实施例提供的用于去除阴影的图像处理方法的原理示意图,在对第一图像进行阴影去除时,可以将第一图像降低分辨率后,输入至阴影检测模型,得到掩膜图像;然后将掩膜图像以及降低分辨率后的第二图像输入至阴影去除模型,具体地,输入至特征提取模块后,将掩膜图像的特征图以及第二图像的特征图分别输入至第一去除模块以及第二去除模块,第一去除模块将第一特征图输入至特征融合模块,第二去除模块将第二特征图输入值特征融合模块,特征融合模块对第一特征图以及第二特征图进行融合后,输入至解码器进行解码,得到去除阴影后的第三图像;再根据第三图像以及掩膜图像,对第一图像中阴影区域进行填充后,得到第五图像;最后将第五图像以及第一图像输入至图像融合模型,得到最终对第一图像进行阴影去除后的第四图像。如图8所示,在对图2所示的图像进行阴影去除后,最终获得的第四图像为高质量的阴影去除后的图像,阴影去除后的区域不仅颜色和亮度上和其他区域保持着良好的一致性,而且阴影去除后的区域也有着很好的结构和纹理信息。
请参阅图9,其示出了本申请实施例提供的一种图像处理装置400的结构框图。该图像处理装置400应用上述的电子设备,该图像处理装置400包括:分辨率调整模块410、阴影检测模块420、第一阴影去除模块430以及第二阴影去除模块440。其中,所述分辨率调整模块410用于将第一分辨率的第一图像处理为第二分辨率的第二图像,其中,所述第二分辨率小于所述第一分辨率;所述阴影检测模块420用于将所述第二图像输入至预先训练的阴影检测模型,得到所述阴影检测模型输出的阴影区域对应的掩膜图像,其中,所述掩膜图像中阴影区域的像素值与除所述阴影区域以外的其他区域的像素值不同;所述第一阴影去除模块430用于将所述掩膜图像以及所述第二图像输入至阴影去除模型,获得对所述第二图像去除阴影后的第三图像;所述第二阴影去除模块440用于根据所述第三图像以及所述掩膜图像,对所述第一图像进行阴影去除,获得去除阴影后的所述第一分辨率的第四图像。
在一些实施方式中,所述第二阴影去除模块440包括:目标区域获取单元、填充区域确定单元以及区域填充单元。其中,目标区域获取单元用于基于所述掩膜图像,获取所述第一图像中的阴影所在区域作为第一目标区域,以及除所述第一目标区域以外的其他区域作为第二目标区域;填充区域确定单元用于根据所述第三图像以及所述掩膜图像,从所述第二目标区域中获取用于填充所述第一目标区域的至少一个子区域;区域填充单元用于将所述至少一个子区域填充至所述第一图像中所述第一目标区域的对应位置,获得去除阴影后的所述第一分辨率的第四图像。
在该实施方式中,填充区域确定单元可以具体用于:基于所述掩膜图像,获取所述第三图像中所述阴影区域对应的去除阴影后的第三目标区域,以及所述第三图像中除所述第三目标区域以外的其他区域作为第四目标区域;将所述第三图像以及所述第一图像划分为相同数量的多个像素块,其中,所述第三图像中的多个像素块与所述第一图像中的多个像素块一一对应;基于所述第三图像中的所述多个像素块,从所述第四目标区域包含的像素块中,获取所述第三目标区域中每个像素块对应的第一目标像素块,其中,所述第三目标区域中每个像素块与其对应的第一目标像素块之间的相似度大于相似度阈值;基于所述第三目标区域中每个像素块对应的第一目标像素块,从所述第二目标区域包含的像素块中,获取所述第一目标区域中每个像素块对应的第二目标像素块,作为用于填充所述第一目标区域的至少一个子区域。
在该方式下,填充区域确定单元基于所述第三目标区域中每个像素块对应的第一目标像素块,从所述第二目标区域包含的像素块中,获取所述第一目标区域中每个像素块对应的第二目标像素块,可以包括:根据所述第四目标区域中每个像素块与所述第二目标区域中每个像素块的对应关系,获取所述第四目标区域中每个第一目标像素块在所述第一目标区域中对应的第二目标像素块;根据所述第三目标区域中每个像素块与每个第一目标像素块的对应关系,以及所述第三目标区域中每个像素块与所述第一目标区域中每个像素块的对应关系,得到所述第一目标区域中每个像素块对应的第二目标像素块。
在一些实施方式中,区域填充单元可以具体用于:将所述至少一个子区域填充至所述第一图像中所述第一目标区域的对应位置,得到所述第一分辨率的第五图像;将所述第五图像以及所述第一图像输入至预先训练的图像融合模型,得到去除阴影后的所述第一分辨率的第四图像,其中,所述图像融合模型用于根据所述第五图像的图像特征以及所述第一图像的图像特征进行融合后,根据融合后的融合特征解码得到去除阴影后的图像。
在一些实施方式中,目标区域获取单元可以具体用于:将所述掩膜图像处理为所述第一分辨率的掩膜图像;根据所述第一分辨率的掩膜图像,获取所述第一图像中的阴影所在区域作为第一目标区域,以及除所述第一目标区域以外的其他区域作为第二目标区域。
在一些实施方式中,所述阴影去除模型包括特征提取模块、第一去除模块、第二去除模块以及特征融合模块。所述第一阴影去除模块430包括:第一输入单元、第二输入单元、第三输入单元以及融合特征获取单元。第一输入单元用于将所述掩膜图像以及所述第二图像输入至所述特征提取模块,通过所述特征提取模块获取所述掩膜图像的特征图,以及所述第二图像的特征图;第二输入单元用于将所述掩膜图像的特征图以及所述第二图像的特征图输入至所述第一去除模块,所述第一去除模块用于根据所述第二图像的特征图中的非阴影区域对所述第二图像中的非阴影区域进行填充,得到第一特征图;第三输入单元用于将所述掩膜图像的特征图以及所述第二图像的特征图输入至所述第二去除模块,所述第二去除模块用于修复所述第二图像的特征图中的细节信息和纹理信息,得到第二特征图;融合特征获取单元用于通过所述特征融合模块对所述第一特征图以及所述第二特征图进行特征融合并进行解码,得到对所述第二图像去除阴影后的第三图像。
在该实施方式中,所述第一去除模块基于内容感知构建,所述第二去除模块基于残差网络结构构建。
在一些实施方式中,所述阴影检测模型包括编码模块以及解码模块。阴影检测模块包括第四输入单元以及掩模图像获取单元。第四输入单元用于将所述第二图像输入至所述编码模块,获得所述编码模块输出的图像特征;掩模图像获取单元用于通过所述解码模块,并根据所述编码模块输出的图像特征,生成阴影区域对应的掩膜图像。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
综上所述,本申请提供的方案,通过将第一分辨率的第一图像处理为第二分辨率的第二图像,该第二分辨率小于该第一分辨率,将第二图像输入至预先训练的阴影检测模型,得到阴影检测模型输出的阴影区域对应的掩膜图像,该掩膜图像中阴影区域的像素值与除阴影区域以外的其他区域的像素值不同,再将掩膜图像以及第二图像输入至阴影去除模型,获得对第二图像去除阴影后的第三图像,然后根据第三图像以及掩膜图像,对第一图像进行阴影去除,获得去除阴影后的第一分辨率的第四图像。从而可以实现在对较高分辨率的图像进行阴影去除时,转换为低分辨率图像进行阴影去除,提升处理效率,再参考去除阴影后的低分辨率图像,对较高分辨率的图像进行阴影去除,从而可以在保证处理效率的情况下,提升阴影去除的图像的质量。
请参考图10,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图11,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种图像处理方法,其特征在于,所述方法包括:
将第一分辨率的第一图像处理为第二分辨率的第二图像,其中,所述第二分辨率小于所述第一分辨率;
将所述第二图像输入至预先训练的阴影检测模型,得到所述阴影检测模型输出的阴影区域对应的掩膜图像,其中,所述掩膜图像中阴影区域的像素值与除所述阴影区域以外的其他区域的像素值不同;
将所述掩膜图像以及所述第二图像输入至阴影去除模型,获得对所述第二图像去除阴影后的第三图像;
根据所述第三图像以及所述掩膜图像,对所述第一图像进行阴影去除,获得去除阴影后的所述第一分辨率的第四图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第三图像以及所述掩膜图像,对所述第一图像进行阴影去除,获得去除阴影后的所述第一分辨率的第四图像,包括:
基于所述掩膜图像,获取所述第一图像中的阴影所在区域作为第一目标区域,以及除所述第一目标区域以外的其他区域作为第二目标区域;
根据所述第三图像以及所述掩膜图像,从所述第二目标区域中获取用于填充所述第一目标区域的至少一个子区域;
将所述至少一个子区域填充至所述第一图像中所述第一目标区域的对应位置,获得去除阴影后的所述第一分辨率的第四图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第三图像以及所述掩膜图像,从所述第二目标区域中获取用于填充所述第一目标区域的至少一个子区域,包括:
基于所述掩膜图像,获取所述第三图像中所述阴影区域对应的去除阴影后的第三目标区域,以及所述第三图像中除所述第三目标区域以外的其他区域作为第四目标区域;
将所述第三图像以及所述第一图像划分为相同数量的多个像素块,其中,所述第三图像中的多个像素块与所述第一图像中的多个像素块一一对应;
基于所述第三图像中的所述多个像素块,从所述第四目标区域包含的像素块中,获取所述第三目标区域中每个像素块对应的第一目标像素块,其中,所述第三目标区域中每个像素块与其对应的第一目标像素块之间的相似度大于相似度阈值;
基于所述第三目标区域中每个像素块对应的第一目标像素块,从所述第二目标区域包含的像素块中,获取所述第一目标区域中每个像素块对应的第二目标像素块,作为用于填充所述第一目标区域的至少一个子区域。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第三目标区域中每个像素块对应的第一目标像素块,从所述第二目标区域包含的像素块中,获取所述第一目标区域中每个像素块对应的第二目标像素块,包括:
根据所述第四目标区域中每个像素块与所述第二目标区域中每个像素块的对应关系,获取所述第四目标区域中每个第一目标像素块在所述第一目标区域中对应的第二目标像素块;
根据所述第三目标区域中每个像素块与每个第一目标像素块的对应关系,以及所述第三目标区域中每个像素块与所述第一目标区域中每个像素块的对应关系,得到所述第一目标区域中每个像素块对应的第二目标像素块。
5.根据权利要求2所述的方法,其特征在于,所述将所述至少一个子区域填充至所述第一图像中所述第一目标区域的对应位置,获得去除阴影后的所述第一分辨率的第四图像,包括:
将所述至少一个子区域填充至所述第一图像中所述第一目标区域的对应位置,得到所述第一分辨率的第五图像;
将所述第五图像以及所述第一图像输入至预先训练的图像融合模型,得到去除阴影后的所述第一分辨率的第四图像,其中,所述图像融合模型用于根据所述第五图像的图像特征以及所述第一图像的图像特征进行融合后,根据融合后的融合特征解码得到去除阴影后的图像。
6.根据权利要求2所述的方法,其特征在于,所述基于所述掩膜图像,获取所述第一图像中的阴影所在区域作为第一目标区域,以及除所述第一目标区域以外的其他区域作为第二目标区域,包括:
将所述掩膜图像处理为所述第一分辨率的掩膜图像;
根据所述第一分辨率的掩膜图像,获取所述第一图像中的阴影所在区域作为第一目标区域,以及除所述第一目标区域以外的其他区域作为第二目标区域。
7.根据权利要求1所述的方法,其特征在于,所述阴影去除模型包括特征提取模块、第一去除模块、第二去除模块以及特征融合模块,所述将所述掩膜图像以及所述第二图像输入至阴影去除模型,获得对所述第二图像去除阴影后的第三图像,包括:
将所述掩膜图像以及所述第二图像输入至所述特征提取模块,通过所述特征提取模块获取所述掩膜图像的特征图,以及所述第二图像的特征图;
将所述掩膜图像的特征图以及所述第二图像的特征图输入至所述第一去除模块,所述第一去除模块用于根据所述第二图像的特征图中的非阴影区域对所述第二图像中的非阴影区域进行填充,得到第一特征图;
将所述掩膜图像的特征图以及所述第二图像的特征图输入至所述第二去除模块,所述第二去除模块用于修复所述第二图像的特征图中的细节信息和纹理信息,得到第二特征图;
通过所述特征融合模块对所述第一特征图以及所述第二特征图进行特征融合并进行解码,得到对所述第二图像去除阴影后的第三图像。
8.根据权利要求7所述的方法,其特征在于,所述第一去除模块基于内容感知构建,所述第二去除模块基于残差网络结构构建。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述阴影检测模型包括编码模块以及解码模块,所述将所述第二图像输入至预先训练的阴影检测模型,得到所述阴影检测模型输出的阴影区域对应的掩膜图像,包括:
将所述第二图像输入至所述编码模块,获得所述编码模块输出的图像特征;
通过所述解码模块,并根据所述编码模块输出的图像特征,生成阴影区域对应的掩膜图像。
10.一种图像处理装置,其特征在于,所述装置包括:分辨率调整模块、阴影检测模块、第一阴影去除模块以及第二阴影去除模块,其中,
所述分辨率调整模块用于将第一分辨率的第一图像处理为第二分辨率的第二图像,其中,所述第二分辨率小于所述第一分辨率;
所述阴影检测模块用于将所述第二图像输入至预先训练的阴影检测模型,得到所述阴影检测模型输出的阴影区域对应的掩膜图像,其中,所述掩膜图像中阴影区域的像素值与除所述阴影区域以外的其他区域的像素值不同;
所述第一阴影去除模块用于将所述掩膜图像以及所述第二图像输入至阴影去除模型,获得对所述第二图像去除阴影后的第三图像;
所述第二阴影去除模块用于根据所述第三图像以及所述掩膜图像,对所述第一图像进行阴影去除,获得去除阴影后的所述第一分辨率的第四图像。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。
12.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110145624.2A CN112819720B (zh) | 2021-02-02 | 2021-02-02 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110145624.2A CN112819720B (zh) | 2021-02-02 | 2021-02-02 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819720A true CN112819720A (zh) | 2021-05-18 |
CN112819720B CN112819720B (zh) | 2023-10-03 |
Family
ID=75860646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110145624.2A Active CN112819720B (zh) | 2021-02-02 | 2021-02-02 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819720B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375589A (zh) * | 2022-10-25 | 2022-11-22 | 城云科技(中国)有限公司 | 一种去除图像阴影模型及其构建方法、装置及应用 |
WO2023066173A1 (zh) * | 2021-10-18 | 2023-04-27 | 虹软科技股份有限公司 | 图像处理方法、装置及存储介质、电子设备 |
WO2023070495A1 (zh) * | 2021-10-29 | 2023-05-04 | 京东方科技集团股份有限公司 | 图像处理方法、电子设备和非瞬态计算机可读介质 |
CN116485682A (zh) * | 2023-05-04 | 2023-07-25 | 北京联合大学 | 一种基于潜在扩散模型的图像阴影去除系统及方法 |
CN117152167A (zh) * | 2023-10-31 | 2023-12-01 | 海信集团控股股份有限公司 | 一种目标移除、基于分割大模型的目标移除方法及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180012101A1 (en) * | 2016-07-08 | 2018-01-11 | Xerox Corporation | Shadow detection and removal in license plate images |
CN107808366A (zh) * | 2017-10-21 | 2018-03-16 | 天津大学 | 一种基于块匹配的自适应光转移单幅阴影去除方法 |
CN107862667A (zh) * | 2017-11-23 | 2018-03-30 | 武汉大学 | 一种基于高分辨率遥感影像的城市阴影检测与去除方法 |
CN109754440A (zh) * | 2018-12-24 | 2019-05-14 | 西北工业大学 | 一种基于全卷积网络和均值漂移的阴影区域检测方法 |
WO2020089984A1 (ja) * | 2018-10-29 | 2020-05-07 | 株式会社Pfu | 画像処理装置、制御方法及び制御プログラム |
CN112102201A (zh) * | 2020-09-24 | 2020-12-18 | 深圳市赛为智能股份有限公司 | 图像阴影反光消除方法、装置、计算机设备及存储介质 |
-
2021
- 2021-02-02 CN CN202110145624.2A patent/CN112819720B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180012101A1 (en) * | 2016-07-08 | 2018-01-11 | Xerox Corporation | Shadow detection and removal in license plate images |
CN107808366A (zh) * | 2017-10-21 | 2018-03-16 | 天津大学 | 一种基于块匹配的自适应光转移单幅阴影去除方法 |
CN107862667A (zh) * | 2017-11-23 | 2018-03-30 | 武汉大学 | 一种基于高分辨率遥感影像的城市阴影检测与去除方法 |
WO2020089984A1 (ja) * | 2018-10-29 | 2020-05-07 | 株式会社Pfu | 画像処理装置、制御方法及び制御プログラム |
CN109754440A (zh) * | 2018-12-24 | 2019-05-14 | 西北工业大学 | 一种基于全卷积网络和均值漂移的阴影区域检测方法 |
CN112102201A (zh) * | 2020-09-24 | 2020-12-18 | 深圳市赛为智能股份有限公司 | 图像阴影反光消除方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
HUI HUANG 等: ""Multi-feature Combined for Building Shadow detection in GF-2 Images"", 2018FIFTHINTERNATIONAL WORKSHOP ON EARTH OBSERVATION AND REMOTE SENSING APPLICATIONS(EORSA) * |
K A DIVYA 等: ""Shadow detection and removal by object-wise segmentation"", 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND COMPUTING RESEARCH (ICCIC) * |
梁永侦 等: ""基于LAB颜色空间的图像阴影检测与去除方法"", 《计算机与现代化》, no. 10 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023066173A1 (zh) * | 2021-10-18 | 2023-04-27 | 虹软科技股份有限公司 | 图像处理方法、装置及存储介质、电子设备 |
WO2023070495A1 (zh) * | 2021-10-29 | 2023-05-04 | 京东方科技集团股份有限公司 | 图像处理方法、电子设备和非瞬态计算机可读介质 |
CN115375589A (zh) * | 2022-10-25 | 2022-11-22 | 城云科技(中国)有限公司 | 一种去除图像阴影模型及其构建方法、装置及应用 |
CN116485682A (zh) * | 2023-05-04 | 2023-07-25 | 北京联合大学 | 一种基于潜在扩散模型的图像阴影去除系统及方法 |
CN116485682B (zh) * | 2023-05-04 | 2024-03-15 | 北京联合大学 | 一种基于潜在扩散模型的图像阴影去除系统及方法 |
CN117152167A (zh) * | 2023-10-31 | 2023-12-01 | 海信集团控股股份有限公司 | 一种目标移除、基于分割大模型的目标移除方法及设备 |
CN117152167B (zh) * | 2023-10-31 | 2024-03-01 | 海信集团控股股份有限公司 | 一种目标移除、基于分割大模型的目标移除方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112819720B (zh) | 2023-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819720B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109325491B (zh) | 识别码识别方法、装置、计算机设备和存储介质 | |
CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
US20030179935A1 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program | |
KR20170031033A (ko) | 과노출 정정을 위한 방법, 시스템 및 장치 | |
JPH07236062A (ja) | 画像処理装置及びその方法 | |
CN111563908B (zh) | 一种图像处理方法及相关装置 | |
CN113888431A (zh) | 图像修复模型的训练方法、装置、计算机设备及存储介质 | |
CN112308866A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113052754A (zh) | 一种图片背景虚化的方法及装置 | |
WO2023019682A1 (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
CN113506305B (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
CN110533020B (zh) | 一种文字信息的识别方法、装置及存储介质 | |
CN110516202B (zh) | 文档生成器的获取方法、文档生成方法、装置及电子设备 | |
CN112668567A (zh) | 一种基于深度学习的图像裁剪算法 | |
JP2023104915A (ja) | 画像処理方法、装置及び記憶媒体 | |
CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
JP2005275854A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
CN116485944A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN114387315A (zh) | 图像处理模型训练、图像处理方法、装置、设备及介质 | |
CN111986176B (zh) | 一种裂纹图像识别方法、系统、终端及可读存储介质 | |
JP2022095565A (ja) | 画像からシーンテキストを除去するための方法及びシステム | |
CN114390307A (zh) | 图像画质增强方法、装置、终端及可读存储介质 | |
JP4504096B2 (ja) | 画像処理装置、プログラム、及び記憶媒体 | |
CN116777768B (zh) | 一种鲁棒且高效的扫描文档图像增强方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |