CN111754419A - 图像处理方法、训练方法、装置、设备及计算机可读存储介质 - Google Patents

图像处理方法、训练方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111754419A
CN111754419A CN202010447845.0A CN202010447845A CN111754419A CN 111754419 A CN111754419 A CN 111754419A CN 202010447845 A CN202010447845 A CN 202010447845A CN 111754419 A CN111754419 A CN 111754419A
Authority
CN
China
Prior art keywords
rain
image
generator
loss
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010447845.0A
Other languages
English (en)
Inventor
杨旭雷
方美懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eto Singapore Ltd Private
Original Assignee
Eto Singapore Ltd Private
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eto Singapore Ltd Private filed Critical Eto Singapore Ltd Private
Publication of CN111754419A publication Critical patent/CN111754419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理方法,包括:获取待处理图像,所述待处理图像为原始带雨图像;第一生成器根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;第二生成器根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层。本发明实施例根据原始带雨图像得到雨点图层,再根据雨点图层和原始带雨图像的像素差得到去雨的背景图,不需要通过对应的有雨和无雨对比图作为训练的数据集就能够实现图像去雨,减少了对外部信息的依赖,在降低成本的同时提高图像去雨的效率。此外,本申请实施例还通过预先训练,提高了生成图像的真实性。

Description

图像处理方法、训练方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像处理方法和装置、训练方法和装置、设备及计算机可读存储介质。
背景技术
随着计算机视觉的迅速发展,户外视觉系统得到广泛的应用。但是,户外视觉系统容易被天气等因素影响。雨是影响户外视觉系统的原因之一,去除雨点或雨线等雨的影响,具有重要的现实意义。
现有的图像去雨方法,大致包括基于字典学习的方法和运用引导滤波等滤波器通过滤波方法实现。
基于字典学习的方法认为,雨线及背景边缘是属于不同的结构,它们应该通过不同的字典进行表示,以此来区分边缘是否属于雨线进行去雨。但在现实生活中,雨线与某些背景边缘的特性会产生重叠,这需要在随后字典分离步骤中不断引入新的特征来增加字典的区分度以提高精度,但同时会增加算法的复杂度。而传统的滤波器,甚至现有的保边滤波器,也不能很好的实现去雨。
发明内容
为了解决现有技术存在的问题,本发明的至少一个实施例提供了图像处理方法和装置、训练方法和装置、设备及计算机可读存储介质,解决以上背景技术部分提到的各种问题。
第一方面,本发明实施例提出一种图像处理方法,包括:获取待处理图像,所述待处理图像为原始带雨图像;第一生成器根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;第二生成器根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层。
在一些实施例中,所述原始带雨图像的雨包括雨点或雨线。
在一些实施例中,所述方法还包括:预先训练所述第一生成器和第二生成器,其中,所述预先训练所述第一生成器和第二生成器包括:第一判别器获取第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;第二判别器获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
在一些实施例中,第三对抗损失值根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A的加权平均获得。
在一些实施例中,所述预先训练所述第一生成器和第二生成器还包括:比较所述合成的带雨图像和所述原始带雨图像,获取循环一致损失值;根据所述循环一致损失值通过反向传播更新所述第一生成器和第二生成器的参数。
在一些实施例中,所述第一判别器获为无雨点判别器,所述方法还包括对所述无雨点判别器进行训练,其中,所述对无雨点判别器进行训练包括:以真实的无雨点图片和生成的无雨点图片作为输入,其中,所述真实的无雨点图片和生成的无雨点图片之间无对应关系,或者,所述真实的无雨点图片和生成的无雨点图片之间存在对应关系;获取训练过程中所述无雨点判别器对真实的无雨点图片和生成的无雨点图片的判别误差;根据所述判别误差通过反向传播更新所述无雨点判别器参数。
在一些实施例中,所述第二判别器为雨点判别器,所述方法还包括对所述雨点判别器进行训练,其中,所述对雨点判别器进行训练包括:以真实的带雨点图片和生成的带雨点图片作为输入,其中,所述真实的带雨点图片和生成的带雨点图片之间无对应关系,或者,所述真实的带雨点图片和生成的带雨点图片之间存在对应关系;获取训练过程中所述雨点判别器对真实的带雨点图片和生成的带雨点图片的判别误差;根据所述判别误差通过反向传播更新所述雨点判别器参数。
在一些实施例中,当所述真实的带雨点图片和生成的带雨点图片之间存在对应关系时,所述真实的带雨点图片为所述原始带雨图像,所述生成的带雨点图片为与之对应的所述合成的带雨图像。
第二发明,本发明实施例提供一种图像处理装置,包括:获取模块,用于获取待处理图像,所述待处理图像为原始带雨图像;第一生成器,用于根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;第二生成器,用于根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层。
在一些实施例中所述装置,还包括第一训练模块,用于预先训练所述第一生成器和第二生成器,所述第一训练模块包括:第一判别器,用于获取第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;合成器,用于合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;第二判别器,用于获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;第一参数调整模块,用于根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
在一些实施例中所述装置,还包括第二训练模块,用于预先训练所述第一生成器和第二生成器,所述第二训练模块包括:比较器,用于比较所述合成的带雨图像和所述原始带雨图像,获取循环一致损失值;第二参数调整模块,用于根据所述循环一致损失值通过反向传播更新所述第一生成器和第二生成器的参数。
在一些实施例中,所述第一判别器为无雨点判别器,所述装置还包括对所述无雨点判别器进行训练的第三训练模块,所述第三训练模块包括:第一输入单元,用于以真实的无雨点图片和生成的无雨点图片作为输入,其中,所述真实的无雨点图片和生成的无雨点图片之间无对应关系,或者,所述真实的无雨点图片和生成的无雨点图片之间存在对应关系;第一误差获取单元,用于获取训练过程中所述无雨点判别器对真实的无雨点图片和生成的无雨点图片的判别误差;第一参数调整单元,用于根据所述判别误差通过反向传播更新所述无雨点判别器参数。
在一些实施例中,所述第二判别器为雨点判别器,所述装置还包括对所述雨点判别器进行训练的第四训练模块,所述第四训练模块包括:第二输入单元,用于以真实的带雨点图片和生成的带雨点图片作为输入,其中,所述真实的带雨点图片和生成的带雨点图片之间无对应关系,或者,所述真实的带雨点图片和生成的带雨点图片之间存在对应关系;第二误差获取单元,用于获取训练过程中所述雨点判别器对真实的带雨点图片和生成的带雨点图片的判别误差;第二参数调整单元,用于根据所述判别误差通过反向传播更新所述雨点判别器参数。
第三方面,本申请实施例还提供一种训练方法,包括:获取原始带雨图像;第一生成器根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;第二生成器根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层;第一判别器获取第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;第二判别器获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
在一些实施例中,所述方法还包括:比较所述合成的带雨图像和所述原始带雨图像,获取循环一致损失值;根据所述循环一致损失值通过反向传播更新所述第一生成器和第二生成器的参数。
第四方面,本申请实施例还提供一种训练装置,还包括:输入层,用于获取原始带雨图像;第一生成器,用于根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;第二生成器,用于根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层;第一判别器,用于获取所述第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;合成器,用于合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;第二判别器,用于获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;第一参数调整模块,用于根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
在一些实施例中,所述装置还包括比较器和第二参数调整模块,所述比较器用于比较所述合成的带雨图像和所述原始带雨图像,获取循环一致损失值;所述第二参数调整模块,还用于根据所述循环一致损失值通过反向传播更新所述第一生成器和第二生成器的参数。
第五方面,本发明实施例还提供一种计算机设备,包括:至少一个处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;与所述至少一个处理器耦合的存储器,所述存储器存储有可执行指令,其中,所述可执行指令在被所述至少一个处理器执行时使得实现上述第一方面或第三方面中的方法。
第六方面,本发明实施例还提供一种芯片,用于执行上述第一方面中的方法。具体地,该芯片包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有该芯片的设备用于执行上述第一方面或第三方面中的方法。
第七方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面或第三方面所述的方法。
第八方面,本发明实施例还提供一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行上述第一方面或第三方面中的方法。
可见,本发明实施例的图像处理方法和装置采用注意力机制网络根据原始带雨图像得到雨点图层,再根据雨点图层和原始带雨图像的像素差得到去雨的背景图,不需要通过对应的有雨和无雨对比图作为训练的数据集就能够实现图像去雨,减少了对外部信息的依赖,在降低成本的同时提高图像去雨的效率。此外,本申请实施例还通过预先训练,提高了生成图像的真实性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的图像处理方法的一具体实施例的流程图;
图2为本发明的图像处理装置一具体实施例的结构框图;
图3为本发明的训练方法的一具体实施例的流程图;
图4为本发明的训练装置一具体实施例的结构框图;
图5为本实施例计算机设备基本结构框图。
具体实施方案
以下结合附图和具体实施例对本申请作详细描述,以便更清楚理解本申请的目的、特点和优点。应理解的是,以下结合附图和具体实施例描述的诸方面仅是示例性的,而不应被理解为对本申请的保护范围进行任何限制。除非上下文明确地另外指明,否则单数形式“一”和“所述”包括复数指代物。如本申请中所使用的,用语“第一” 和“第二”可互换使用,以将一个或一类构件分别与另一个或另一类区分开,且不旨在表示独立构件的位置或重要性。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
雨水,例如雨点、雨线等会阻碍背景场景的能见度,并降低图像的质量。而且有雨水对图片质量的影响和污点不同,因为雨水是透明的会产折射和反射,因此由于雨形成的雨点或雨线形状不同会产生不同的影响,去除雨点或雨线的问题相对污点等其他影响图片质量的问题更难以解决。主要总结为以下两点:首先,被雨滴遮挡的区域不是固定的。其次,被遮挡区域的背景场景的信息大部分是完全丢失的。
发明人在研究过程中发现,现有的图像去雨方式,都是采用监督方式,即都需要通过比较有雨点图片和对应的无雨点图片进行训练。通常要获得许多对训练样本,其中每一对训练样本为同一场景的有雨图像和无雨图像这种成对(paired)的图片集数据在实际中是很难收集,这也一定程度上阻碍了技术的发展。
现有技术也有采用人工加雨层的方式制造这样的图像集,例如,首先得到一张图片,在该图片上遮挡玻璃,再在玻璃上撒上水点形成带雨点的图像。或者,现有技术也有在无雨情况下先拍一张图片,再把带水珠的玻璃放在镜头前拍同一个场景,由此使画面带水。或者,现有技术也有通过其他方式人工合成带雨图像,但这种人工合成带雨图像的方式一方面是关于雨层的数据集并不真实自然,其次该方法还必须构建相互成对的图像训练数据库,构建符合要求的数据库成本非常高。为此,本申请发明人经长期研发和实验,提出本申请实施例,不需要经成对(paired)图片集数据库支持。
本申请第一方面提供一种图像处理方法,图1为本发明的图像处理方法的一具体实施例的流程图,如图1所示,本申请图像处理方法,包括:
步骤110,获取待处理图像,所述待处理图像为原始带雨图像。所获取的图像可以是单幅的图像,也可以是视频中的某一帧图像。此处所指示的原始带雨图像可以是真实的带雨图像,即,非合成的带雨图像,例如在自然场景中拍摄到的带雨照片,或带雨视频中的某一帧图片。其中原始带雨图像的雨包括雨点或雨线。可以理解,当雨下落的速度较快时雨点会形成视觉上的雨线,或者基于曝光时间的长短在图片上形成雨线。因此雨线可以理解为相互距离较小的雨点的集合。
步骤120,第一生成器根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置。第一生成器根据原始带雨图像生成雨点图层。可以采用自注意力机制形成特征图,例如,可以采用LSTM(Long-Short Term Memory,长短期记忆人工神经网络)网络得到雨点图层,或者,还可以采用LSTM的几种变体网络,例如,GRU(GatedRecurrent Unit,门控循环单元 ),或未来的采用自注意力机制的其他网络结构。
步骤130,第二生成器根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层。将原始带雨图像和第一生成器生成的纯雨图层像素做减法生成不带雨背景图层,得到原始带雨图像的去雨的背景图。
本申请采用注意力机制网络根据原始带雨图像得到雨点图层,再根据雨点图层和原始带雨图像的像素差得到去雨的背景图,不需要通过对应的有雨和无雨对比图作为训练的数据集就能够实现图像去雨,减少了对外部信息的依赖,在降低成本的同时提高图像去雨的效率。
在一个实施例中,本申请图像去雨的方法还包括:预先训练所述第一生成器和第二生成器,其中,所述预先训练所述第一生成器和第二生成器包括:
第一判别器获取第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B。该训练方法,在生成器后加入判别器。例如,在第二生成器后接入第一判别器,该第一判别器能够判别第二生成器生成的不带雨的背景图层是否是真实的不带雨的图,该第一判别器获和第二生成器之间相互作用工作原理和现有技术的GAN(GenerativeAdversarial Networks,生成对抗网络)网络类似,可以通过第一判别器提高第二生成器生成的背景图片的真实程度。具体的,该第一判别器可以为无雨点判别器,通过无雨点图片判别器得到对抗性损失值(adversarial loss),GAN_Loss_B。
合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像。假设原始真实带雨点图片I的物理模型为 Image(I) ,包括背景层和雨层。合成器将第一生成器生成的纯雨图层及第二生成器生成的不带雨的背景图层相加得到合成的带雨点图片I_rec。
第二判别器获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A; 第二判别器获可以是雨点判别器,雨点图片判别器得到对抗性损失值GAN_Loss_A(adversarial loss)。
根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。具体的,第三对抗损失值根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A的加权平均获得。例如,最终的对抗损失值为GAN_Loss = ( GAN_Loss_A + GAN_Loss_B) / 2, 这个损失值通过反向传播更新第二生成器网络和第一生成器网络,例如LSTM网络的参数。
在另一实施例中,预先训练第一生成器和第二生成器还包括:
比较所述合成的带雨图像和所述原始带雨图像,获取循环一致损失值;第一生成器生成的雨点图层及第二生成器生成的背景图层相加得到合成的带雨点图片I_rec,合成的带雨点图片I_rec与输入的真实带雨点图片I比较得到循环一致性损失值(cycleconsistency loss)
根据所述循环一致损失值通过反向传播更新所述第一生成器和第二生成器的参数。这个循环一致损失用来确保生成无雨点图片的背景与原雨点图片I的背景一致。
本申请实施例通过对第一生成器和第二生成器进行训练,提高了生成的纯雨图层和合成雨图的真实性。
进一步的,在另一实施例中,该方法还包括提前对第一判别器,即无雨点判别器进行训练,其中,所述对无雨点判别器进行训练包括:
以真实的无雨点图片和生成的无雨点图片作为输入,其中,所述真实的无雨点图片和生成的无雨点图片之间无对应关系,或者,所述真实的无雨点图片和生成的无雨点图片之间存在对应关系;可以理解的是,在本实施例中,对无雨点判别器的训练不需要对应关系的有雨图和无雨图。获取训练过程中所述无雨点判别器对真实的无雨点图片和生成的无雨点图片的判别误差;根据所述判别误差通过反向传播更新所述无雨点判别器参数。
进一步的,在另一实施例中,该方法还包括提前对第二判别器进行训练,即提前对雨点判别器进行训练,其中,所述对雨点判别器进行训练包括:
以真实的带雨点图片和生成的带雨点图片作为输入,其中,所述真实的带雨点图片和生成的带雨点图片之间无对应关系,或者,所述真实的带雨点图片和生成的带雨点图片之间存在对应关系。其中,当所述真实的带雨点图片和生成的带雨点图片之间存在对应关系时,所述真实的带雨点图片为所述原始带雨图像,所述生成的带雨点图片为与之对应的所述合成的带雨图像。
获取训练过程中所述雨点判别器对真实的带雨点图片和生成的带雨点图片的判别误差;根据所述判别误差通过反向传播更新所述雨点判别器参数。
本实施例中,对两种判别器进行预先训练可以在无需对应的图像集的情况下进一步提高生成器生成图片的真实程度。
本申请第二方面提供一种图像处理装置,图2为本发明的图像处理装置的一具体实施例的结构框图,如图2所示,本申请图像处理装置,包括获取模块201,第一生成器202和第二生成器203,其中,
获取模块201,用于获取待处理图像,所述待处理图像为原始带雨图像;
第一生成器202,用于根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;
第二生成器203,用于根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层。
本装置中各具体模块执行的操作可以参见图1所对应的步骤并实现相同的有益效果,本实施例通过原始带雨图像得到雨点图层,再根据雨点图层和原始带雨图像的像素差得到去雨的背景图,不需要通过对应的有雨和无雨对比图作为训练的数据集就能够实现图像去雨,减少了对外部信息的依赖,在降低成本的同时提高图像去雨的效率。
在另一实施例中,本申请图像处理装置还包括第一训练模块,用于预先训练所述第一生成器和第二生成器,所述第一训练模块包括:
第一判别器,用于获取第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;合成器,用于合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;第二判别器,用于获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;第一参数调整模块,用于根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
在另一实施例中,本申请图像处理装置还包括第二训练模块,用于预先训练所述第一生成器和第二生成器,所述第二训练模块包括:比较器,用于比较所述合成的带雨图像和所述原始带雨图像,获取循环一致损失值;第二参数调整模块,用于根据所述循环一致损失值通过反向传播更新所述第一生成器和第二生成器的参数。
本申请实施例通过对第一生成器和第二生成器进行训练,提高了生成的纯雨图层和合成雨图的真实性。
在另一实施例中,本申请图像处理装置中第一判别器为无雨点判别器,该装置还包括对所述无雨点判别器进行训练的第三训练模块,所述第三训练模块包括:
第一输入单元,用于以真实的无雨点图片和生成的无雨点图片作为输入,其中,所述真实的无雨点图片和生成的无雨点图片之间无对应关系,或者,所述真实的无雨点图片和生成的无雨点图片之间存在对应关系;第一误差获取单元,用于获取训练过程中所述无雨点判别器对真实的无雨点图片和生成的无雨点图片的判别误差;第一参数调整单元,用于根据所述判别误差通过反向传播更新所述无雨点判别器参数。
在另一实施例中,本申请图像处理装置中第二判别器为雨点判别器,所述装置还包括对所述雨点判别器进行训练的第四训练模块,所述第四训练模块包括:
第二输入单元,用于以真实的带雨点图片和生成的带雨点图片作为输入,其中,所述真实的带雨点图片和生成的带雨点图片之间无对应关系,或者,所述真实的带雨点图片和生成的带雨点图片之间存在对应关系;第二误差获取单元,用于获取训练过程中所述雨点判别器对真实的带雨点图片和生成的带雨点图片的判别误差;第二参数调整单元,用于根据所述判别误差通过反向传播更新所述雨点判别器参数。
本实施例中,对两种判别器进行预先训练可以在无需对应的图像集的情况下进一步提高生成器生成图片的真实程度。
本申请第三方面提供一种训练方法,图3为本发明的训练方法的一具体实施例的流程图,如图3所示,本申请训练方法,包括:
步骤310,获取原始带雨图像;
步骤320,第一生成器根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;
步骤330,第二生成器根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层;
步骤340,第一判别器获取第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;
步骤350,合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;
步骤360,第二判别器获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;
步骤370,根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
进一步的,该训练方法还可以包括:比较所述合成的带雨图像和所述原始带雨图像,获取循环一致损失值;根据所述循环一致损失值通过反向传播更新所述第一生成器和第二生成器的参数。
通过上述训练方法,可以在无需对应的图像集的情况下进一步提高生成器根据原始带雨图像生成去雨背景图像的真实程度和清晰程度。
本申请第四方面提供一种训练装置,图4为本发明的训练装置的一具体实施例的结构框图,如图4所示,本申请训练装置,包括输入层401,第一生成器402,第二生成器403,第一判别器获404,合成器405,第二判别器获406和参数调整模块,其中,
输入层401,用于获取原始带雨图像;第一生成器402,用于根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;第二生成器403,,用于根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层;第一判别器获404,用于获取所述第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;合成器405,用于合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;第二判别器获406,用于获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;第一参数调整模块,用于根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
在另一实施例中,该训练装置还包括比较器和第二参数调整模块,所述比较器用于比较所述合成的带雨图像和所述原始带雨图像,获取循环一致损失值;所述第二参数调整模块,还用于根据所述循环一致损失值通过反向传播更新所述第一生成器和第二生成器的参数。
本申请训练装置通过训练生成器和判别器,可以在无需对应的图像集的情况下进一步提高生成器根据原始带雨图像生成去雨背景图像的真实程度和清晰程度。
第五方面,本申请实施例还提供一种计算机设备,所述计算机设备可以为神经网络服务器,具体请参阅图5,图5为本实施例计算机设备基本结构框图。
所述计算机设备5包括通过系统总线相互通信连接存储器51、处理器52、网络接口53。需要指出的是,图中仅示出了具有组件51-53的计算机设备5,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的所述计算机设备5是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器 (Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备5可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器51至少包括一种类型的可读存储介质,存储器可以存储可执行指令控制器、微控制器、微处理器、或其他数据处理芯片,至少包括一种类型的可读存储介质。所述可读存储介质包括非易失性存储器(non-volatile memory)或易失性存储器,例如,闪存(flash memory)、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦写可编程只读存储器(erasable programmable read-only memory,EPROM)、电可擦写可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、可编程只读存储器(programmable read-only memory,PROM)、磁性存储器、磁盘、光盘等,所述RAM可以包括静态RAM或动态RAM。在一些实施例中,所述存储器51可以是所述计算机设备5的内部存储单元,例如,该所述计算机设备5的硬盘或内存。在另一些实施例中,所述存储器51也可以是所述计算机设备5的外部存储设备,例如该所述计算机设备5上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。当然,所述存储器51还可以既包括所述计算机设备5的内部存储单元也包括其外部存储设备。本实施例中,所述存储器51通常用于存储安装于所述计算机设备5的操作系统和各类应用软件,例如用于执行图像处理的程序代码等。此外,所述存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
在本申请实施例中,该处理器52可以是中央处理单元(Central ProcessingUnit, CPU)、或者是图像处理器(Graphic Processing Unit,GPU)。该处理器52还可以是其他通用处理器、数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器,例如单片机等。
该处理器52通常用于控制所述计算机设备5的总体操作。本实施例中,所述存储器51用于存储程序代码或指令,所述程序代码包括计算机操作指令,所述处理器52用于执行所述存储器51存储的程序代码或指令或者处理数据,例如执行图像处理的程序代码。
本文描述的总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
第六方面,本发明实施例还提供一种芯片,用于执行上述第一方面中的方法。具体地,该芯片包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有该芯片的设备用于执行上述图像处理的方法。
此外,在第七方面,本发明实施例还提供一种计算机可读存储介质,计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码,使得处理器能够执行在流程图1对应的图像处理方法中每个步骤、或各步骤的组合中规定的功能动作;生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置,或者前述的任意适当组合,所述存储器用于存储程序代码或指令,所述程序代码包括计算机操作指令,所述处理器用于执行所述存储器存储的程序代码或指令。
所述存储器和所述处理器的定义,可以参考前述计算机设备实施例的描述,在此不再赘述。所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面的任一项所述的方法。
第八方面,本发明实施例还提供一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行上述第一方面中的方法
本领域技术人员可以明白的是,结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用,使用不同的方式来实现所描述的功能,但是这种实现并不应认为超出本申请的范围。
在本申请实施例中,所公开的系统、装置和方法可以通过其它方式来实现。例如,单元的划分仅仅为一种逻辑功能划分,在实际实现时还可以有另外的划分方式。例如,多个单元或组件可以进行组合或者可以集成到另一个系统中。另外,各个单元之间的耦合可以是直接耦合或间接耦合。另外,在本申请实施例中的各功能单元可以集成在一个处理单元中,也可以是单独的物理存在等等。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在机器可读存储介质中。因此,本申请的技术方案可以以软件产品的形式来体现,该软件产品可以存储在机器可读存储介质中,其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。
以上内容仅为本申请的具体实施方式,本申请的保护范围并不局限于此。本领域技术人员在本申请所公开的技术范围内可以进行变化或替换,这些变化或替换都应当在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取待处理图像,所述待处理图像为原始带雨图像;
第一生成器根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;
第二生成器根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:预先训练所述第一生成器和第二生成器,其中,所述预先训练所述第一生成器和第二生成器包括:
第一判别器获取第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;
合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;
第二判别器获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;
根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
3.根据权利要求2所述的方法,其特征在于,第三对抗损失值根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A的加权平均获得。
4.根据权利要求2所述的方法,其特征在于,所述预先训练所述第一生成器和第二生成器还包括:
比较所述合成的带雨图像和所述原始带雨图像,获取循环一致损失值;
根据所述循环一致损失值通过反向传播更新所述第一生成器和第二生成器的参数。
5.一种图像处理装置,其特征在于,包括:
获取模块,用于获取待处理图像,所述待处理图像为原始带雨图像;
第一生成器,用于根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;
第二生成器,用于根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层。
6.一种训练方法,其特征在于,包括:
获取原始带雨图像;
第一生成器根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;
第二生成器根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层;
第一判别器获取第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;
合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;
第二判别器获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;
根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
7.一种训练装置,其特征在于,还包括:
输入层,用于获取原始带雨图像;
第一生成器,用于根据所述原始带雨图像生成纯雨图层,所述纯雨图层指示所述原始带雨图像的雨点位置;
第二生成器,用于根据所述纯雨图层和所述原始带雨图像生成不带雨的背景图层;
第一判别器,用于获取所述第二生成器生成的所述不带雨的背景图层,得到对应的第一对抗性损失值GAN_Loss_B;
合成器,用于合成所述第二生成器生成的不带雨的背景图层和所述第一生成器生成的纯雨图层,得到合成的带雨图像;
第二判别器,用于获取所述合成的带雨图像,得到对应的第二对抗性损失值GAN_Loss_A;
第一参数调整模块,用于根据所述第一对抗性损失值GAN_Loss_B和所述第二对抗性损失值GAN_Loss_A确定第三对抗损失值,根据所述第三损失对抗值通过反向传播更新所述第一生成器和第二生成器的参数。
8.一种计算机设备,包括:至少一个处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;与所述至少一个处理器耦合的存储器,所述存储器存储有可执行指令,其中,所述可执行指令在被所述至少一个处理器执行时使得实现根据权利要求1至4中任一项或权利要求6所述的方法。
9.一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行:如权利要求1至4中任一项或权利要求6所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上权利要求1至4中任一项或权利要求6所述的方法的步骤。
CN202010447845.0A 2020-05-15 2020-05-25 图像处理方法、训练方法、装置、设备及计算机可读存储介质 Pending CN111754419A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10202004549VA SG10202004549VA (en) 2020-05-15 2020-05-15 Image processing method, training method, devices, apparatus and computer-readable storage medium
SG10202004549V 2020-05-15

Publications (1)

Publication Number Publication Date
CN111754419A true CN111754419A (zh) 2020-10-09

Family

ID=72673951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010447845.0A Pending CN111754419A (zh) 2020-05-15 2020-05-25 图像处理方法、训练方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111754419A (zh)
SG (1) SG10202004549VA (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508097A (zh) * 2020-12-08 2021-03-16 深圳市优必选科技股份有限公司 图像转换模型训练方法、装置、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071136A1 (en) * 2003-09-18 2008-03-20 Takenaka Corporation Method and Apparatus for Environmental Setting and Data for Environmental Setting
CN108648159A (zh) * 2018-05-09 2018-10-12 华南师范大学 一种图像去雨方法及系统
CN110163813A (zh) * 2019-04-16 2019-08-23 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110232658A (zh) * 2018-03-05 2019-09-13 北京大学 图像去雨方法、系统、计算机设备及介质
CN110460756A (zh) * 2019-08-12 2019-11-15 杭州电子科技大学 一种场景实时自动去雨成像处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071136A1 (en) * 2003-09-18 2008-03-20 Takenaka Corporation Method and Apparatus for Environmental Setting and Data for Environmental Setting
CN110232658A (zh) * 2018-03-05 2019-09-13 北京大学 图像去雨方法、系统、计算机设备及介质
CN108648159A (zh) * 2018-05-09 2018-10-12 华南师范大学 一种图像去雨方法及系统
CN110163813A (zh) * 2019-04-16 2019-08-23 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110460756A (zh) * 2019-08-12 2019-11-15 杭州电子科技大学 一种场景实时自动去雨成像处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508097A (zh) * 2020-12-08 2021-03-16 深圳市优必选科技股份有限公司 图像转换模型训练方法、装置、终端设备及存储介质
CN112508097B (zh) * 2020-12-08 2024-01-19 深圳市优必选科技股份有限公司 图像转换模型训练方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
SG10202004549VA (en) 2021-12-30

Similar Documents

Publication Publication Date Title
WO2020119527A1 (zh) 人体动作识别方法、装置、终端设备及存储介质
CN111553406B (zh) 基于改进yolo-v3的目标检测系统、方法及终端
CN109978890A (zh) 基于图像处理的目标提取方法、装置及终端设备
CN111832568A (zh) 车牌识别方法、车牌识别模型的训练方法和装置
CN112418216A (zh) 一种复杂自然场景图像中的文字检测方法
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN108021863B (zh) 电子装置、基于图像的年龄分类方法及存储介质
CN111783767A (zh) 文字识别方法、装置、电子设备及存储介质
CN111079507A (zh) 一种行为识别方法及装置、计算机装置及可读存储介质
CN112749578A (zh) 一种基于深度卷积神经网络的遥感图像自动道路提取方法
CN114896067A (zh) 任务请求信息的自动生成方法、装置、计算机设备及介质
CN111178153A (zh) 一种交通标志检测方法及系统
CN114758268A (zh) 手势识别方法、装置及智能设备
CN111754419A (zh) 图像处理方法、训练方法、装置、设备及计算机可读存储介质
CN109523570B (zh) 运动参数计算方法及装置
CN116227573B (zh) 分割模型训练方法、图像分割方法、装置及相关介质
CN112418089A (zh) 一种手势识别方法、装置及终端
CN115082966A (zh) 行人重识别模型训练方法、行人重识别方法、装置和设备
CN111539420B (zh) 基于注意力感知特征的全景图像显著性预测方法及系统
CN113792671A (zh) 人脸合成图像的检测方法、装置、电子设备及介质
WO2020192262A1 (zh) 一种实物图像生成方法及装置、设备
CN117441195A (zh) 纹理补全
CN114118412A (zh) 证件识别模型训练及证件识别的方法、系统、设备及介质
CN110956190A (zh) 图像识别方法及装置、计算机装置和计算机可读存储介质
CN112084874A (zh) 一种物体检测方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination