CN114549296B - 图像处理模型的训练方法、图像处理方法及电子设备 - Google Patents
图像处理模型的训练方法、图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN114549296B CN114549296B CN202210417890.0A CN202210417890A CN114549296B CN 114549296 B CN114549296 B CN 114549296B CN 202210417890 A CN202210417890 A CN 202210417890A CN 114549296 B CN114549296 B CN 114549296B
- Authority
- CN
- China
- Prior art keywords
- image processing
- processing model
- sample
- image
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 426
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 230000006870 function Effects 0.000 claims description 131
- 238000003860 storage Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 abstract description 12
- 238000004891 communication Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本公开提供了图像处理模型的训练方法、图像处理方法及电子设备,涉及图像处理技术领域,解决了现有技术的方式,特定内容清除不干净,图像处理效果不佳的问题。该方法包括将待处理图像输入至第一目标图像处理模型;利用第一目标图像处理模型对待处理图像进行二值化处理,得到二值化中间图像;对二值化中间图像中的第二类内容进行清除处理,得到目标图像。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及图像处理模型的训练方法、图像处理方法及电子设备。
背景技术
在一些场景中,需要对图像中的特定内容进行清除并保留其余内容,例如:去除已作答的试卷中的手写痕迹并保留印刷体字迹;相关技术中,通过将包含特定内容的图像作为输入样本,将不包含特定内容的图像作为监督样本,对神经网络模型进行训练,得到相应的神经网络模型,将待处理图像输入神经网络模型中,对待处理图像中的特定内容进行清除,以得到清除特定内容后的图像,然而,采用现有技术的方式,特定内容清除不干净,图像处理效果不佳。
发明内容
有鉴于此,本公开提供了图像处理模型的训练方法、图像处理方法及电子设备,用于解决现有技术对特定内容清除不干净,图像处理效果不佳的问题。
为了实现上述目的,本公开提供技术方案如下:
第一方面,本公开提供的图像处理方法,包括:将待处理图像输入至第一目标图像处理模型;其中,待处理图像中包括第一类内容和第二类内容,第一目标图像处理模型是基于第一输入样本和第一监督样本训练得到的,第一监督样本为第一二值化图像,第一二值化图像中包括:第一类内容和第二类内容,第一输入样本是基于第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件; 利用第一目标图像处理模型对待处理图像进行二值化处理,得到二值化中间图像;对二值化中间图像中的第二类内容进行清除处理,得到目标图像。
在一些示例中,对二值化中间图像中的第二类内容进行清除处理,得到目标图像,包括:将二值化中间图像输入至第二目标图像处理模型;其中,第二目标图像处理模型是基于第二输入样本和第二监督样本训练得到的,第二输入样本为第二二值化图像,第二二值化图像中包括第一类内容和第二类内容,第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的;利用第二目标图像处理模型对二值化中间图像中的第二类内容进行清除处理,得到目标图像。
在一些示例中,本公开提供的图像处理方法还包括:通过如下方式获取第一目标图像处理模型:获取第一输入样本和第一监督样本;基于第一输入样本和第一监督样本,对第一候选图像处理模型进行训练,直到第一候选图像处理模型收敛,得到第一目标图像处理模型。
在一些示例中,基于第一输入样本和第一监督样本,对第一候选图像处理模型进行训练,直到第一候选图像处理模型收敛,得到第一目标图像处理模型,包括:将第一输入样本输入第一候选图像处理模型,得到第一输出图像;基于第一损失函数、第一输出图像和第一监督样本,获取第一损失值;基于第一损失值调整第一候选图像处理模型的网络参数,返回执行将第一输入样本输入第一候选图像处理模型,得到第一输出图像,直到第一候选图像处理模型收敛,得到第一目标图像处理模型。
在一些示例中,第一候选图像处理模型包括:第一编码器和第一解码器,第一编码器包括:多个第一编码残差网络块,第一解码器包括:多个第一解码残差网络块,第一编码残差网络块与对应的相同通道数的第一解码残差网络块的跨层连接上设置有第一可训练参数;基于第一损失值调整第一候选图像处理模型的网络参数,包括:基于第一损失值调整第一候选图像处理模型中的各第一编码残差网络块的网络参数、第一解码残差网络块的网络参数和/或第一可训练参数。
在一些示例中,通过如下方式获取第二目标图像处理模型:获取第二输入样本和第二监督样本;基于第二输入样本和第二监督样本,对第二候选图像处理模型进行训练,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。
在一些示例中,基于第二输入样本和第二监督样本,对第二候选图像处理模型进行训练,直到第二候选图像处理模型收敛,得到第二目标图像处理模型,包括:将第二输入样本输入第二候选图像处理模型,得到第二输出图像;基于第二损失函数、第二输出图像和第二监督样本,获取第二损失值;基于第二损失值调整第二候选图像处理模型的网络参数,返回执行将第二输入样本输入第二候选图像处理模型,得到第二输出图像,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。
在一些示例中,第二候选图像处理模型包括:第二编码器和第二解码器,第二编码器包括:多个第二编码残差网络块,第二解码器包括:多个第二解码残差网络块,第二编码残差网络块与对应的相同通道数的第二解码残差网络块的跨层连接上设置有第二可训练参数;基于第二损失值调整第二候选图像处理模型的网络参数,包括:基于第二损失值调整第二候选图像处理模型中的各第二编码残差网络块的网络参数、第二解码残差网络块的网络参数和/或第二可训练参数。
第二方面、本公开提供的图像处理模型的训练方法,图像处理模型包括:第一目标图像处理模型和第二目标图像处理模型,包括:获取第一输入样本、第二输入样本、第一监督样本和第二监督样本;其中,第一监督样本为第一二值化图像,第一二值化图像中包括:第一类内容和第二类内容,第一输入样本是基于第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;第二输入样本为第二二值化图像,第二二值化图像中包括第一类内容和第二类内容,第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的,第二监督样本中不包括第二类内容;基于第一输入样本和第一监督样本,对第一候选图像处理模型进行训练,直到第一候选图像处理模型收敛,得到第一目标图像处理模型;基于第二输入样本和第二监督样本,对第二候选图像处理模型进行训练,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。
第三方面、本公开提供的图像处理装置,包括:处理单元,用于将获取单元获取的待处理图像输入至第一目标图像处理模型;其中,待处理图像中包括第一类内容和第二类内容,第一目标图像处理模型是基于第一输入样本和第一监督样本训练得到的,第一监督样本为第一二值化图像,第一二值化图像中包括:第一类内容和第二类内容,第一输入样本是基于第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;处理单元,还用于利用第一目标图像处理模型对待处理图像进行二值化处理,得到二值化中间图像;处理单元,还用于对二值化中间图像中的第二类内容进行清除处理,得到目标图像。
在一些示例中,处理单元,具体用于将二值化中间图像输入至第二目标图像处理模型;其中,第二目标图像处理模型是基于第二输入样本和第二监督样本训练得到的,第二输入样本为第二二值化图像,第二二值化图像中包括第一类内容和第二类内容,第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的;利用第二目标图像处理模型对二值化中间图像中的第二类内容进行清除处理,得到目标图像。
在一些示例中,通过如下方式获取第一目标图像处理模型:获取单元,还用于获取第一输入样本和第一监督样本;处理单元,还用于基于获取单元获取的第一输入样本和获取单元获取的第一监督样本,对第一候选图像处理模型进行训练,直到第一候选图像处理模型收敛,得到第一目标图像处理模型。
在一些示例中,处理单元,具体用于将获取单元获取的第一输入样本输入获取单元获取的第一候选图像处理模型,得到第一输出图像;处理单元,具体用于基于第一损失函数、第一输出图像和获取单元获取的第一监督样本,获取第一损失值;处理单元,具体用于基于第一损失值调整第一候选图像处理模型的网络参数,返回执行将第一输入样本输入第一候选图像处理模型,得到第一输出图像,直到第一候选图像处理模型收敛,得到第一目标图像处理模型。
在一些示例中,第一候选图像处理模型包括:第一编码器和第一解码器,第一编码器包括:多个第一编码残差网络块,第一解码器包括:多个第一解码残差网络块,第一编码残差网络块与对应的相同通道数的第一解码残差网络块的跨层连接上设置有第一可训练参数;处理单元,具体用于基于第一损失值调整第一候选图像处理模型中的各第一编码残差网络块的网络参数、第一解码残差网络块的网络参数和/或第一可训练参数。
在一些示例中,通过如下方式获取第二目标图像处理模型:获取单元,还用于获取第二输入样本和第二监督样本;处理单元,还用于基于获取单元获取的第二输入样本和获取单元获取的第二监督样本,对第二候选图像处理模型进行训练,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。
在一些示例中,处理单元,具体用于将获取单元获取的第二输入样本输入第二候选图像处理模型,得到第二输出图像;处理单元,具体用于基于第二损失函数、第二输出图像和获取单元获取的第二监督样本,获取第二损失值;处理单元,具体用于基于第二损失值调整第二候选图像处理模型的网络参数,返回执行将第二输入样本输入第二候选图像处理模型,得到第二输出图像,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。
在一些示例中,第二候选图像处理模型包括:第二编码器和第二解码器,第二编码器包括:多个第二编码残差网络块,第二解码器包括:多个第二解码残差网络块,第二编码残差网络块与对应的相同通道数的第二解码残差网络块的跨层连接上设置有第二可训练参数;处理单元,具体用于基于第二损失值调整第二候选图像处理模型中的各第二编码残差网络块的网络参数、第二解码残差网络块的网络参数和/或第二可训练参数。
第四方面、本公开提供一种图像处理模型的训练方法,图像处理模型包括:第一目标图像处理模型和第二目标图像处理模型,包括:获取单元,用于获取第一输入样本、第二输入样本、第一监督样本和第二监督样本;其中,第一监督样本为第一二值化图像,第一二值化图像中包括:第一类内容和第二类内容,第一输入样本是基于第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;第二输入样本为第二二值化图像,第二二值化图像中包括第一类内容和第二类内容,第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的,第二监督样本中不包括第二类内容;处理单元,用于基于获取单元获取的第一输入样本和获取单元获取的第一监督样本,对第一候选图像处理模型进行训练,直到第一候选图像处理模型收敛,得到第一目标图像处理模型;处理单元,还用于基于第二输入样本和第二监督样本,对第二候选图像处理模型进行训练,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。
第五方面、本公开提供一种电子设备,包括:通信接口、处理器、存储器、总线;存储器用于存储计算机执行指令,处理器与存储器通过总线连接。当电子设备运行时,处理器执行存储器存储的计算机执行指令,以使电子设备执行如上述第一方面提供的图像处理方法。
第六方面,本公开提供一种计算机可读存储介质,包括指令。当指令在计算机上运行时,使得计算机执行如上述第一方面提供的图像处理方法。
第七方面,本公开提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面的设计方式的图像处理方法。
第八方面、本公开提供一种电子设备,包括:通信接口、处理器、存储器、总线;存储器用于存储计算机执行指令,处理器与存储器通过总线连接。当电子设备运行时,处理器执行存储器存储的计算机执行指令,以使电子设备执行如上述第二方面提供的图像处理模型的训练方法。
第九方面,本公开提供一种计算机可读存储介质,包括指令。当指令在计算机上运行时,使得计算机执行如上述第二方面提供的图像处理模型的训练方法。
第十方面,本公开提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第二方面的设计方式的图像处理模型的训练方法。
需要说明的是,上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中,第一计算机可读存储介质可以与电子设备的处理器封装在一起的,也可以与电子设备的处理器单独封装,本公开对此不作限定。
本公开中第三方面、第五方面、第六方面以及第七方面的描述,可以参考第一方面的详细描述;并且,第三方面、第五方面、第六方面以及第七方面的描述的有益效果,可以参考第一方面的有益效果分析,此处不再赘述。
本公开中第四方面、第八方面、第九方面以及第十方面的描述,可以参考第一方面的详细描述;并且,第四方面、第八方面、第九方面以及第十方面的描述的有益效果,可以参考第二方面的有益效果分析,此处不再赘述。
在本公开中,上述图像处理模型的训练装置,以及图像处理装置二者的名字对设备或功能模块本身不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本公开类似,属于本公开权利要求及其等同技术的范围之内。
本公开的这些方面或其他方面在以下的描述中会更加简明易懂。
本公开提供的技术方案与现有技术相比具有如下优点:通过第一二值化图像和预设空白图像生成第一输入样本,如此可以模拟出真实场景的图像。在使用第一输入样本和第一监督样本,对第一候选图像处理模型进行训练时,得到的第一目标图像处理模型能够更加准确地消除第一输入样本中光线和纸张底色的影响,仅保留第一输入样本中的第一类内容和第二类内容从而降低了其它冗余信息的干扰。这样将待处理图像输入至第一目标图像处理模型后,利用利用第一目标图像处理模型对待处理图像进行二值化处理,得到的二值化中间图像中仅保留第一输入样本中的第一类内容和第二类内容从而降低了其它冗余信息的干扰。由于,该二值化图像中降低了其它冗余信息的干扰,如此在对二值化中间图像中的第二类内容进行清除处理时,可以更好地清除第二类内容,保证用户的体验。此外,如特定内容为光线和纸张底色时,采用本公开提供的图像处理方法,能够更加准确地消除待处理图像中光线和纸张底色的影响。如:将该待处理图像输入至第一目标图像处理模型,利用第一目标图像处理模型对待处理图像进行二值化处理,得到的二值化中间图像中仅保留第一输入样本中的第一类内容和第二类内容从而降低了光线和纸张底色的干扰。如此,在对二值化中间图像中的第二类内容进行清除处理时,可以更好地清除第二类内容,保证用户的体验,解决现有技术的方式,特定内容清除不干净,图像处理效果不佳的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的图像处理方法的流程示意图之一;
图2为本公开实施例提供的图像处理方法的流程示意图之二;
图3为本公开实施例提供的图像处理方法的流程示意图之三;
图4为本公开实施例提供的图像处理方法的流程示意图之四;
图5为本公开实施例提供的图像处理模型的训练方法中第一候选图像处理模型的结构示意图;
图6为本公开实施例提供的图像处理模型的训练方法中第二候选图像处理模型的结构示意图;
图7为本公开实施例提供的图像处理模型的训练方法的流程示意图;
图8为本公开实施例提供的图像处理模型的训练方法中第一目标图像处理模型和第二目标图像处理模型的结构示意图;
图9为本公开实施例提供的图像处理模型的训练方法中待处理图像和目标图像的示意图;
图10为本公开实施例提供的服务器的结构示意图之一;
图11为本公开实施例提供的服务器的结构示意图之二;
图12为本公开实施例提供的一种图像处理方法的计算机程序产品的结构示意图;
图13为本公开实施例提供的服务器的结构示意图之三;
图14为本公开实施例提供的服务器的结构示意图之四;
图15为本公开实施例提供的一种图像处理模型的训练方法的计算机程序产品的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
相关技术中,由于受图像本身的底色或者拍摄光照等影响,会导致图像处理效果不佳,本公开基于此,首先对图像进行二值化处理,去除图像底色、拍摄光照等造成的图像的差异性,然后再对二值化的图像清除特定内容,从而提高了图像处理的效果。
本公开中为了便于描述,将待处理图像中需要保留的内容描述为第一类内容,需要清除的特定内容描述为第二类内容。
本公开在对第二类内容进行清除之前,首先通过第一目标图像处理模型对待处理图像进行二值化处理,去除图像底色、拍摄光照等造成的图像的差异性。
下面介绍图像处理的过程:如图1所示,本公开实施例示出的一种图像处理方法的流程图,该方法包括以下S1-S3。
S1、服务器将待处理图像输入至第一目标图像处理模型。其中,待处理图像中包括第一类内容和第二类内容,第一目标图像处理模型是基于第一输入样本和第一监督样本训练得到的,第一监督样本为第一二值化图像,第一二值化图像中包括:第一类内容和第二类内容,第一输入样本是基于第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件。
在一些示例中,待处理图像可以为用户拍摄的已作答试卷的试卷图像。由于该试卷图像中包括第一类内容和第二类内容,为了去除该试卷图像中光线和纸张底色的影响,服务器利用第一目标图像处理模型对待处理图像进行二值化处理,去除图像底色、拍摄光照等造成的图像的差异性。
S2、服务器利用第一目标图像处理模型对待处理图像进行二值化处理,得到二值化中间图像。
S3、服务器对二值化中间图像中的第二类内容进行清除处理,得到目标图像。
在一些示例中,服务器利用第一目标图像处理模型对待处理图像进行二值化处理,所得到的二值化图像可以去除光线和纸张底色的影响。这样,服务器利用第二目标图像处理模型对二值化图像中的第二类内容进行清除处理时,可以更加好清除第二类内容,以提高第二目标图像处理模型对第二类内容的清除效果。
由上述可知,现有技术中,在对待处理图像中的特定内容进行清除时,由于光线和纸张底色的影响,导致特定内容清除不干净,图像处理效果不佳。为此,本公开实施例提供的图像处理方法,能够更加准确地消除待处理图像中光线和纸张底色的影响。如:将该待处理图像输入至第一目标图像处理模型,利用第一目标图像处理模型对待处理图像进行二值化处理,得到的二值化中间图像中仅保留第一输入样本中的第一类内容和第二类内容,从而降低了光线和纸张底色的干扰。由于去除了二值化图像中光线和纸张底色的干扰,因此在对二值化中间图像中的第二类内容进行清除处理时,可以更好地清除第二类内容,保证用户的体验,解决现有技术的方式,特定内容清除不干净,图像处理效果不佳的问题。
在一些可实施的方式中,结合图1,如图2所示,上述S3具体的可以通过下述S30和S31实现。
S30、服务器将二值化中间图像输入至第二目标图像处理模型。其中,第二目标图像处理模型是基于第二输入样本和第二监督样本训练得到的,第二输入样本为第二二值化图像,第二二值化图像中包括第一类内容和第二类内容,第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的。
S31、服务器利用第二目标图像处理模型对二值化中间图像中的第二类内容进行清除处理,得到目标图像。
由上述可知,本公开实施例提供的图像处理方法,通过第二输入样本和第二监督样本训练得到第二输入样本和第二监督样本训练得到的,由于第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的。这样,第二目标图像处理模型可以更好地对二值化图中的第二类内容进行清除。如此,服务器将二值化中间图像输入至第二目标图像处理模型后,服务器利用第二目标图像处理模型对二值化中间图像中的第二类内容进行清除处理,使得得到的目标图像中仅包含第一类内容,保证用户的体验,解决现有技术的方式,特定内容清除不干净,图像处理效果不佳的问题。
在一些可实施的方式中,结合图1,如图2所示,本公开实施例提供的图像处理方法,获取第一目标图像处理模型包括S4和S5。
S4、服务器获取第一输入样本和第一监督样本。
S5、服务器基于第一输入样本和第一监督样本,对第一候选图像处理模型进行训练,直到第一候选图像处理模型收敛,得到第一目标图像处理模型。
在一些示例中,为了降低第一目标图像处理模型对输入图像的底色和/或光照条件的影响,本公开实施例提高的图像处理模型的训练方法,采用Adam(Adaptive MomentEstimation)优化算法调整第一候选图像处理模型的网络参数。
示例性的,Adam优化算法的迭代周期为200次,如:第一候选图像处理模型在迭代训练100次后,第一候选图像处理模型收敛,此时可以不再执行剩余的100次训练,得到第一目标图像处理模型。或者,第一候选图像处理模型在迭代200次后,认为第一候选图像处理模型收敛,得到第一目标图像处理模型。
在一些可实施的方式中,结合图2,如图3所示,上述S5具体的可以通过下述S50-S52实现。
S50、服务器将第一输入样本输入第一候选图像处理模型,得到第一输出图像。
S51、服务器基于第一损失函数、第一输出图像和第一监督样本,获取第一损失值。
在一些示例中,第一损失函数可以为L1损失函数(L1-norm loss function),和VGG(Visual Geometry Group Network)模型中的一项或者多项。
具体的,VGG模型,是事先在Imagenet数据集上训练好的。
示例性的,以第一损失函数为L1损失函数为例,服务器基于第一损失函数、第一输出图像和第一监督样本,获取第一损失值的过程如下:服务器根据L1损失函数、第一输出图像和第一监督样本,确定第一实际损失值。服务器根据第一实际损失值,确定第一实际损失值为第一损失值。其中,L1损失函数满足如下公式:L1(Ygt,Yperd)=| Ygt-Yperd|,L1(Ygt,Yperd)表示第一监督样本与第一输出图像的第一实际损失值,Ygt表示第一监督样本,Yperd表示第一输出图像。
上述示例是以第一损失函数为L1损失函数为例进行说明的,在其他的一些示例中,第一损失函数还可以为VGG模型。示例性的,第一损失函数为VGG模型时,服务器基于第一损失函数、第一输出图像和第一监督样本,获取第一损失值的过程如下:服务器根据VGG模型、第一输出图像和第一监督样本,确定第二实际损失值。服务器根据第二实际损失值,确定第二实际损失值为第一损失值。其中,VGG模型满足如下公式:
其中,LVGG(Ygt,Yperd)表示第一监督样本与第一输出图像的第二实际损失值,N表示VGG模型的总层数,VGGi(Ygt)表示第一监督样本在VGG模型的第i层对应的特征值,VGGi(Yperd)表示第一输出图像在VGG模型的第i层对应的特征值,i和N均为大于0的整数,且i∈[1,N]。
上述示例是以第一损失函数为L1损失函数,或者第一损失函数还可以为VGG模型为例进行说明的。在其他的一些示例中,为了提高第一目标图像处理模型的准确率,第一损失函数为L1损失函数和VGG模型。示例性的,第一损失函数为L1损失函数和VGG模型时,服务器基于第一损失函数、第一输出图像和第一监督样本,获取第一损失值的过程如下:服务器根据L1损失函数、第一输出图像和第一监督样本,确定第一实际损失值。服务器根据VGG模型、第一输出图像和第一监督样本,确定第二实际损失值。服务器根据第一实际损失值和第二实际损失值,确定第一实际损失值与第二实际损失值之和等于第一损失值。
S52、服务器基于第一损失值调整第一候选图像处理模型的网络参数,返回执行将第一输入样本输入第一候选图像处理模型,得到第一输出图像,直到第一候选图像处理模型收敛,得到第一目标图像处理模型。
在一些示例中,服务器确定第一损失值大于第一阈值时,说明当前的第一候选图像处理模型不收敛。因此,服务器在确定第一损失值大于第一阈值时,调整第一候选图像处理模型的网络参数,返回执行将第一输入样本输入第一候选图像处理模型,得到第一输出图像,直到第一候选图像处理模型收敛,得到第一目标图像处理模型。
上述示例是以第一候选图像处理模型中第一编码器和第一解码器之间的跨层连接采用现有的跨层连接为例进行说明的。在其他的一些示例中,本公开实施例提供的图像处理模型的训练方法,在第一候选图像处理模型中第一编码器和第一解码器之间的跨层连接设置有可训练参数。这样,每次在调整第一候选图像处理模型的网络参数时,还需对该可训练参数进行调整,进一步提高第一候选图像处理模型去除图像底色、拍摄光照等造成的图像的差异性。
在一些可实施的方式中,第一候选图像处理模型包括:第一编码器和第一解码器,第一编码器包括:多个第一编码残差网络块,第一解码器包括:多个第一解码残差网络块,第一编码残差网络块与对应的相同通道数的第一解码残差网络块的跨层连接上设置有第一可训练参数;结合图3,如图4所示,上述S52具体的可以通过下述S520实现。
S520、服务器基于第一损失值调整第一候选图像处理模型中的各第一编码残差网络块的网络参数、第一解码残差网络块的网络参数和/或第一可训练参数。
在一些示例中,每个第一编码残差网络块由卷积层、ReLU激活函数层、正则化层和跨层连接组成,特征每经过一个第一编码残差网络块,尺度会降采样为原来的1/2。每一个第一解码残差网络块由转置卷积层、ReLU激活函数层、正则化层和特征拼接层组成。
示例性的,如图5所示,以第一编码器包括:5个第一编码残差网络块,第一解码器包括4个第一解码残差网络块为例进行说明,第一候选图像处理模型的训练过程如下:其中,TP(trainable parameters)表示第一可训练参数,nx表示当前层输出的特征图的尺寸为原始特征图的尺寸的1/n。服务器将第一输入样本对应的原始特征图输入至第一候选图像处理模型的第一编码器中第一层的第一编码残差网络块。服务器在第一编码残差网络块中将该原始特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第一特征图(其中,第一特征图的尺寸为原始特征图的尺寸的1/2)。之后,服务器将第一特征图输入至第一候选图像处理模型的第一编码器中第二层的第一编码残差网络块,同时服务器将第一特征图与第一可训练参数进行相乘,并将得到的第一结果特征图输入至第一候选图像处理模型的第一解码器中第四层的第一解码残差网络块。
第一候选图像处理模型的第一编码器中第二层的第一编码残差网络块在接收到第一特征图后,将该第一特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第二特征图(其中,第二特征图的尺寸为原始特征图的尺寸的1/4)。之后,服务器将第二特征图输入至第一候选图像处理模型的第一编码器中第三层的第一编码残差网络块,同时服务器将第二特征图与第一可训练参数进行相乘,并将得到的第二结果特征图输入至第一候选图像处理模型的第一解码器中第三层的第一解码残差网络块。
第一候选图像处理模型的第一编码器中第三层的第一编码残差网络块在接收到第二特征图后,将该第二特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第三特征图(其中,第三特征图的尺寸为原始特征图的尺寸的1/8)。之后,服务器将第三特征图输入至第一候选图像处理模型的第一编码器中第四层的第一编码残差网络块,同时服务器将第三特征图与第一可训练参数进行相乘,并将得到的第三结果特征图输入至第一候选图像处理模型的第一解码器中第二层的第一解码残差网络块。
第一候选图像处理模型的第一编码器中第四层的第一编码残差网络块在接收到第三特征图后,将该第三特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第四特征图(其中,第四特征图的尺寸为原始特征图的尺寸的1/16)。之后,服务器将第四特征图输入至第一候选图像处理模型的第一编码器中第五层的第一编码残差网络块,同时服务器将第四特征图与第一可训练参数进行相乘,并将得到的第四结果特征图输入至第一候选图像处理模型的第一解码器中第一层的第一解码残差网络块。
第一候选图像处理模型的第一编码器中第五层的第一编码残差网络块在接收到第四特征图后,将该第四特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第五特征图(其中,第五特征图的尺寸为原始特征图的尺寸的1/32)。之后,服务器将第五特征图输入至第一候选图像处理模型的第一解码器中第一层的第一解码残差网络块。
第一候选图像处理模型的第一解码器中第一层的第一解码残差网络块在接收到第五特征图和第四结果特征图后,将第五特征图与第四结果特征图进行卷积,得到第六特征图(其中,第六特征图的尺寸为原始特征图的尺寸的1/16)。之后,服务器将第六特征图输入至第一候选图像处理模型的第一解码器中第二层的第一解码残差网络块。
第一候选图像处理模型的第一解码器中第二层的第一解码残差网络块在接收到第六特征图和第三结果特征图后,将第六特征图与第三结果特征图进行卷积,得到第七特征图(其中,第七特征图的尺寸为原始特征图的尺寸的1/8)。之后,服务器将第七特征图输入至第一候选图像处理模型的第一解码器中第三层的第一解码残差网络块。
第一候选图像处理模型的第一解码器中第三层的第一解码残差网络块在接收到第七特征图和第二结果特征图后,将第七特征图与第二结果特征图进行卷积,得到第八特征图(其中,第八特征图的尺寸为原始特征图的尺寸的1/4)。之后,服务器将第八特征图输入至第一候选图像处理模型的第一解码器中第四层的第一解码残差网络块。
第一候选图像处理模型的第一解码器中第四层的第一解码残差网络块在接收到第八特征图和第一结果特征图后,将第八特征图和第一结果特征图进行卷积,得到第九特征图(其中,第九特征图的尺寸为原始特征图的尺寸的1/2)。之后,服务器进行对第九特征图进行上采样,得到第十特征图(其中,第十特征图的尺寸和原始特征图的尺寸相同)。之后,服务器确定第十特征图为该第一输入样本对应的第一输出图像(如称为Loss1)。之后,服务器基于第一损失函数、第一输出图像和第一监督样本,获取第一损失值。
服务器确定第一损失值大于第一阈值时,说明第一候选图像处理模型不收敛。因此,服务器需要调整第一候选图像处理模型中的各第一编码残差网络块的网络参数、第一解码残差网络块的网络参数和/或第一可训练参数,返回执行将第一输入样本输入第一候选图像处理模型,得到第一输出图像,直到第一候选图像处理模型收敛,如此得到了第一目标图像处理模型。
本公开实施例提供的图像处理方法,通过在在第一候选图像处理模型中第一编码器和第一解码器之间的跨层连接设置可训练参数,从而可以引导第一候选图像处理模型自主学习不同层级的特征的权重,自适应地提高有效特征的权重,降低无效特征或次要特征的权重。这样,每次在调整第一候选图像处理模型的网络参数时,还需对该可训练参数进行调整,使得第一候选图像处理模型能够更加准确地去除图像底色、拍摄光照等造成的图像的差异性。
在一些可实施的方式中,结合图1,如图2所示,本公开实施例提供的图像处理方法,获取第二目标图像处理模型包括S6和S7。
S6、服务器获取第二输入样本和第二监督样本。在一些示例中,第一二值化图像可以与第二二值化图像相同,也可以不同。如:第一二值化图像与第二二值化图像相同时,此时可以将第一候选图像处理模型的输出作为第二候选图像处理模型的输入,这样可以更加方便地对第一候选图像处理模型和第二候选图像处理模型进行训练。当然,第一二值化图像可以与第二二值化图像也可以不同,如此可以采用第一二值化图像作为第二候选图像处理模型的验证样本,以确定第二候选图像处理模型对第二类内容的清除效果。
在一些示例中,可以采用PS(Photoshop)对第二二值化图中的第二类内容进行清除处理(如将第二二值化图中的手写痕迹进行清除),从而得到第二监督样本。
在其他的一些示例中,本公开实施例提供的图像处理模型的训练方法采用若干数据增广和增强方法,包括对第二二值化图像进行旋转,反转,裁剪,多图拼接等操作,从而提高训练数据的多样性,避免网络训练出现过拟合的问题。
S7、服务器基于第二输入样本和第二监督样本,对第二候选图像处理模型进行训练,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。在一些示例中,为了提高第二目标图像处理模型对第二类内容的清除效果,本公开实施例提高的图像处理模型的训练方法,采用Adam优化算法调整第一候选图像处理模型的网络参数。
示例性的,Adam优化算法的迭代周期为200次,如:第二候选图像处理模型在迭代训练100次后,第二候选图像处理模型收敛,此时可以不再执行剩余的100次训练,得到第二目标图像处理模型。或者,第二候选图像处理模型在迭代200次后,认为第二候选图像处理模型收敛,得到第二目标图像处理模型。
需要说明的是,上述示例是以Adam优化算法的迭代周期为200次为例进行说明的。具体的用户可以根据实际的需求,选择Adam优化算法的迭代周期,本公开不做限定。
在一些可实施的方式中,结合图2,如图3所示,上述S7具体的可以通过下述S70-S72实现。
S70、服务器将第二输入样本输入第二候选图像处理模型,得到第二输出图像。
S71、服务器基于第二损失函数、第二输出图像和第二监督样本,获取第二损失值。
在一些示例中,第二损失函数可以为L1损失函数,VGG模型和结构相似性(Structural Similarity,SSIM)损失函数中的一项或者多项。
示例性的,以第一损失函数为L1损失函数为例,服务器基于第一损失函数、第一输出图像和第一监督样本,获取第一损失值的过程如下:
服务器根据L1损失函数、第二输出图像和第二监督样本,确定第三实际损失值。
服务器根据第三实际损失值,确定第三实际损失值为第二损失值。其中,L1损失函数满足如下公式:L1(Ygt,Yperd)=|Ygt-Yperd|,L1(Ygt,Yperd)表示第二监督样本与第二输出图像的第三实际损失值,Ygt表示第二监督样本,Yperd表示第二输出图像。
上述示例是以第二损失函数为L1损失函数为例进行说明的,在其他的一些示例中,第二损失函数还可以为VGG模型。示例性的,第二损失函数为VGG模型时,服务器基于第二损失函数、第二输出图像和第二监督样本,获取第二损失值的过程如下:服务器根据VGG模型、第二输出图像和第二监督样本,确定第四实际损失值。服务器根据第四实际损失值,确定第四实际损失值为第二损失值。其中,VGG模型满足如下公式:
。其中,LVGG(Ygt,Yperd)表示第二监督样本与第二输出图像的第四实际损失值,N表示VGG模型的总层数VGGi(Ygt) 表示第二监督样本在VGG模型的第i层对应的特征值,VGGi(Yperd) 表示第二输出图像在VGG模型的第i层对应的特征值,i和N均为大于0的整数,且i∈[1,N]。
上述示例是以第二损失函数为L1损失函数,或者第二损失函数还可以为VGG模型为例进行说明的。在其他的一些示例中,第二损失函数还可以为SSIM损失函数。示例性的,第二损失函数为SSIM损失函数时,服务器基于第二损失函数、第二输出图像和第二监督样本,获取第二损失值的过程如下:服务器根据SSIM损失函数、第二输出图像和第二监督样本,确定第五实际损失值。服务器根据第五实际损失值,确定第五实际损失值为第一损失值。其中,SSIM损失函数满足如下公式:
其中,SSIM(Ygt,Ypred)表示第二监督样本与第二输出图像的第五实际损失值,
表示第二监督样本的所有像素值的平均值,表示第二输出图像的所有像素值的平均值,表示第二监督样本的所有像素值的方差,表示第二输出图像的所有像素值的方差,表示第二监督样本的所有像素值和第二输出图像的所有像素值的协方差,c1和c2表示维持数值稳定性的常数。具体的,像素值的取值为0-255之间。本公开实施例提供的图像处理方法,采用SSIM损失函数来评估第二输出图像与第二监督样本的结构相似性时,采用像素值的均值作为亮度的估计,像素值的标准差作为对比度的估计,像素值的协方差作为结构相似程度的度量,如此可以更加准确地确定出第二输出图像与第二监督样本的结构相似性。
上述示例是以第二损失函数为L1损失函数,或者第二损失函数为VGG模型,或者第二损失函数为SSIM损失函数为例进行说明的。在其他一些示例中,第二损失函数可以为L1损失函数和VGG模型,或者第二损失函数还可以为L1损失函数和SSIM损失函数,或者,第二损失函数还可以为VGG模型和SSIM损失函数,如此可以提高第二目标图像处理模型对第二输入样本中第二类内容的清除准确率。示例性的,第二损失函数为VGG模型和SSIM损失函数时,服务器基于第二损失函数、第二输出图像和第二监督样本,获取第二损失值的过程如下:服务器根据VGG模型、第二输出图像和第二监督样本,确定第四实际损失值。服务器根据SSIM损失函数、第二输出图像和第二监督样本,确定第五实际损失值。服务器根据第四实际损失值和第五实际损失值,确定第四实际损失值与第五实际损失值之和为第二损失值。
具体的,第二损失函数为L1损失函数和VGG模型,或者第二损失函数为L1损失函数和SSIM损失函数时,服务器基于第二损失函数、第二输出图像和第二监督样本,获取第二损失值的过程与第二损失函数为VGG模型和SSIM损失函数时,服务器基于第二损失函数、第二输出图像和第二监督样本,获取第二损失值的过程类似,此处不再赘述。
上述示例是以第二损失函数为L1损失函数,或者第二损失函数为VGG模型,或者第二损失函数为SSIM损失函数,或者第二损失函数为L1损失函数和VGG模型,或者第二损失函数为L1损失函数和SSIM损失函数,或者,第二损失函数为VGG模型和SSIM损失函数为例进行说明的。在其他一些示例中,第二损失函数为L1损失函数、VGG模型和SSIM损失函数,这样可以提高第二目标图像处理模型对第二输入样本中第二类内容的清除准确率。示例性的,第二损失函数为VGG模型和SSIM损失函数时,服务器基于第二损失函数、第二输出图像和第二监督样本,获取第二损失值的过程如下:服务器根据L1损失函数、第二输出图像和第二监督样本,确定第三实际损失值。服务器根据VGG模型、第二输出图像和第二监督样本,确定第四实际损失值。服务器根据SSIM损失函数、第二输出图像和第二监督样本,确定第五实际损失值。服务器根据第三实际损失值、第四实际损失值和第五实际损失值,确定第三实际损失值、第四实际损失值与第五实际损失值三者之和为第二损失值。
S72、服务器基于第二损失值调整第二候选图像处理模型的网络参数,返回执行将第二输入样本输入第二候选图像处理模型,得到第二输出图像,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。上述示例是以第二候选图像处理模型中第二编码器和第二解码器之间的跨层连接采用现有的跨层连接为例进行说明的。在其他的一些示例中,本公开实施例提供的图像处理模型的训练方法,在第二候选图像处理模型中第二编码器和第二解码器之间的跨层连接设置有可训练参数。这样,每次在调整第二候选图像处理模型的网络参数时,还需对该可训练参数进行调整,进一步提高第二候选图像处理模型对第二类内容的清除效果。在一些可实施的方式中,第二候选图像处理模型包括:第二编码器和第二解码器,第二编码器包括:多个第二编码残差网络块,第二解码器包括:多个第二解码残差网络块,第二编码残差网络块与对应的相同通道数的第二解码残差网络块的跨层连接上设置有第二可训练参数;结合图3,如图4所示,上述S72具体的可以通过下述S720实现。
S720、服务器基于第二损失值调整第二候选图像处理模型中的各第二编码残差网络块的网络参数、第二解码残差网络块的网络参数和/或第二可训练参数。
在一些示例中,每个第二编码残差网络块由卷积层、ReLU激活函数层、正则化层和跨层连接组成,特征每经过一个第二编码残差网络块,尺度会降采样为原来的1/2。每一个第二解码残差网络块由转置卷积层、ReLU激活函数层、正则化层和特征拼接层组成。
示例性的,如图6所示,以第二编码器包括:5个第二编码残差网络块,第二解码器包括4个第二解码残差网络块为例进行说明,第一候选图像处理模型的训练过程如下:服务器将第二输入样本对应的原始特征图输入至第二候选图像处理模型的第二编码器中第一层的第二编码残差网络块。服务器在第二编码残差网络块中将该原始特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第十一特征图(其中,第十一特征图的尺寸为原始特征图的尺寸的1/2)。之后,服务器将第十一特征图输入至第二候选图像处理模型的第二编码器中第二层的第二编码残差网络块,同时服务器将第十一特征图与第二可训练参数进行相乘,并将得到的第五结果特征图输入至第二候选图像处理模型的第二解码器中第四层的第二解码残差网络块。
第二候选图像处理模型的第二编码器中第二层的第二编码残差网络块在接收到第十一特征图后,将该第十一特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第十二特征图(其中,第十二特征图的尺寸为原始特征图的尺寸的1/4)。之后,服务器将第十二特征图输入至第二候选图像处理模型的第二编码器中第三层的第二编码残差网络块,同时服务器将第十二特征图与第二可训练参数进行相乘,并将得到的第六结果特征图输入至第二候选图像处理模型的第二解码器中第三层的第二解码残差网络块。
第二候选图像处理模型的第二编码器中第三层的第二编码残差网络块在接收到第十二特征图后,将该第十二特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第十三特征图(其中,第十三特征图的尺寸为原始特征图的尺寸的1/8)。之后,服务器将第十三特征图输入至第二候选图像处理模型的第二编码器中第四层的第二编码残差网络块,同时服务器将第十三特征图与第二可训练参数进行相乘,并将得到的第七结果特征图输入至第二候选图像处理模型的第二解码器中第二层的第二解码残差网络块。
第二候选图像处理模型的第二编码器中第四层的第二编码残差网络块在接收到第十四特征图后,将该第十四特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第十五特征图(其中,第十五特征图的尺寸为原始特征图的尺寸的1/16)。之后,服务器将第十四特征图输入至第二候选图像处理模型的第二编码器中第五层的第二编码残差网络块,同时服务器将第十五特征图与第二可训练参数进行相乘,并将得到的第八结果特征图输入至第二候选图像处理模型的第二解码器中第一层的第二解码残差网络块。
第二候选图像处理模型的第二编码器中第五层的第二编码残差网络块在接收到第十五特征图后,将该第十五特征图与卷积核(如3×3的标准卷积核)进行卷积,得到第十六特征图(其中,第十五特征图的尺寸为原始特征图的尺寸的1/32)。之后,服务器将第十六特征图输入至第二候选图像处理模型的第二解码器中第一层的第二解码残差网络块。
第二候选图像处理模型的第二解码器中第一层的第二解码残差网络块在接收到第十六特征图和第五结果特征图后,将第十六特征图和第五结果特征图进行卷积,得到第十七特征图(其中,第十七特征图的尺寸为原始特征图的尺寸的1/16)。之后,服务器将第十七特征图输入至第二候选图像处理模型的第二解码器中第二层的第二解码残差网络块。
第二候选图像处理模型的第二解码器中第二层的第二解码残差网络块在接收到第十七特征图和第六结果特征图后,将第十七特征图与第六结果特征图进行卷积,得到第十八特征图(其中,第十八特征图的尺寸为原始特征图的尺寸的1/8)。之后,服务器将第十八特征图输入至第二候选图像处理模型的第二解码器中第三层的第二解码残差网络块。
第二候选图像处理模型的第二解码器中第三层的第二解码残差网络块在接收到第十八特征图和第七结果特征图后,将第十八特征图与第七结果特征图进行卷积,得到第十九特征图(其中,第十九特征图的尺寸为原始特征图的尺寸的1/4)。之后,服务器将第十九特征图输入至第二候选图像处理模型的第二解码器中第四层的第二解码残差网络块。
第二候选图像处理模型的第二解码器中第四层的第二解码残差网络块在接收到第十九特征图和第八结果特征图后,将第十九特征图和第八结果特征图进行卷积,得到第二十特征图(其中,第二十特征图的尺寸为原始特征图的尺寸的1/2)。之后,服务器对第二十特征图进行上采样,得到第二十一特征图(其中,第二十一特征图的尺寸和原始特征图的尺寸相同)。之后,服务器确定第二十一特征图为该第二输入样本对应的第二输出图像(如称为Loss2)。之后,服务器基于第二损失函数、第二输出图像和第二监督样本,获取第二损失值。
服务器确定第二损失值大于第二阈值时,说明第二候选图像处理模型不收敛。因此,服务器需要调整第二候选图像处理模型中的各第二编码残差网络块的网络参数、第二解码残差网络块的网络参数和/或第二可训练参数,返回执行将第二输入样本输入第二候选图像处理模型,得到第二输出图像,直到第二候选图像处理模型收敛,如此得到了第二目标图像处理模型。
本公开实施例提供的图像处理方法,通过在在第二候选图像处理模型中第二编码器和第二解码器之间的跨层连接设置可训练参数,从而可以引导第二候选图像处理模型自主学习不同层级的特征的权重,自适应地提高有效特征的权重,降低无效特征或次要特征的权重。这样,每次在调整第二候选图像处理模型的网络参数时,还需对该可训练参数进行调整,如此可以提高第二目标图像处理模型对第二类内容的清除效果。
上述示例是以第一候选图像处理模型和第二候选图像处理模型单独训练为例进行说明的。在其他的一些示例中,可以同时对第一候选图像处理模型和第二候选图像处理模型进行训练,即将第一候选图像处理模型的第一输出图像作为第二候选图像处理模型的第二输入样本。此时,第一候选图像处理模型输入的第一输入样本对应的特征图的尺寸与第一输出图像对应的特征图的尺寸相同,第二输出图像对应的特征图的尺寸与第一输入样本对应的特征图的尺寸相同。如此可以大大提高训练的样本总数,避免网络训练出现过拟合的问题。
下面介绍第一目标图像处理模型和第二目标图像处理模型的训练过程:图7是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图,图像处理模型包括:第一目标图像处理模型和第二目标图像处理模型,该方法包括以下S20-S22。
S20、服务器获取第一输入样本、第二输入样本、第一监督样本和第二监督样本。其中,第一监督样本为第一二值化图像,第一二值化图像中包括:第一类内容和第二类内容,第一输入样本是基于第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;第二输入样本为第二二值化图像,第二二值化图像中包括第一类内容和第二类内容,第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的,第二监督样本中不包括第二类内容。
S21、服务器基于第一输入样本和第一监督样本,对第一候选图像处理模型进行训练,直到第一候选图像处理模型收敛,得到第一目标图像处理模型。
需要说明的是,服务器确定第一目标图像处理模型的过程与上述S4和S5给出的确定第一目标图像处理模型的过程相同,此处不再赘述。
S22、服务器基于第二输入样本和第二监督样本,对第二候选图像处理模型进行训练,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。
需要说明的是,服务器确定第二目标图像处理模型的过程与上述S6和S7给出的确定第二目标图像处理模型的过程相同,此处不再赘述。
示例性的,如图8所示,结合上述S520和上述S720给出的示例,将第一目标图像处理模型的输出作为第二目标图像处理模型的输入时,第一目标图像处理模型的输出二值化图像对应的特征图的尺寸与待处理图像对应的特征图的尺寸相同,目标图像对应的特征图的尺寸与待处理图像对应的特征图的尺寸相同为例进行说明,服务器清除待处理图像中第二类内容的过程如下:
如用户拍摄的已作答试卷的试卷图像如图9中的(a)所示,终端1将试卷图像发送至服务器后。服务器通过上述S520给出的示例,对试卷图像进行二值化处理,如此可以得到该试卷图像的二值化图像。之后,服务器将该试卷图像对应的二值化图像输入至第二目标图像处理模型,对二值化中间图像中的第二类内容进行清除处理,得到该试卷图像的目标图像。示例性的,目标图像如图9中的(b)所示。
可以看出,本公开实施例提供的图像处理方法,通过第一目标图像处理模型对待处理图像进行处理,从而可以消除待处理图像中光线和纸张底色的影响,仅保留待处理图像中的第一类内容和第二类内容,从而降低了其它冗余信息的干扰。之后,通过第二目标图像处理模型对通过第一目标图像处理模型得到的二值化图像进行处理,可以更好地将该待处理图像中的第二类内容(如手写痕迹)进行清除,提高了用户的体验。
上述示例是以将本公开实施例提供的第一目标图像处理模型与第二目标图像处理模型配合使用为例进行说明的。在其他的一些示例中,第一目标图像处理模型可以与其他的可对二值化图像进行处理的模型进行配合使用,本公开不做限定。此外,第二目标图像处理模型也可以与其他的可生成二值化图像进行处理的模型进行配合使用,本公开不做限定。
上述主要从方法的角度对本发明实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。本发明实施例可以根据上述方法示例对服务器进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
如图10所示,本发明的实施例提供一种服务器10的结构示意图。服务器10包括获取单元101和处理单元102。处理单元102,用于将获取单元101获取的待处理图像输入至第一目标图像处理模型;其中,待处理图像中包括第一类内容和第二类内容,第一目标图像处理模型是基于第一输入样本和第一监督样本训练得到的,第一监督样本为第一二值化图像,第一二值化图像中包括:第一类内容和第二类内容,第一输入样本是基于第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;处理单元102,还用于利用第一目标图像处理模型对待处理图像进行二值化处理,得到二值化中间图像;处理单元102,还用于对二值化中间图像中的第二类内容进行清除处理,得到目标图像。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,其作用在此不再赘述。当然,本发明实施例提供的服务器10包括但不限于上述模块,例如服务器10还可以包括存储单元103。存储单元103可以用于存储该写服务器10的程序代码,还可以用于存储写服务器10在运行过程中生成的数据,如写请求中的数据等。
图11为本发明实施例提供的一种服务器10的结构示意图,如图11所示,该服务器10可以包括:至少一个处理器51、存储器52、通信接口53和通信总线54。下面结合图11对服务器10的各个构成部件进行具体的介绍:其中,处理器51是服务器10的控制中心,可以是一个处理器,也可以是多个处理元件的统称。例如,处理器51是一个中央处理器(CentralProcessing Unit,CPU),也可以是特定集成电路(Application Specific IntegratedCircuit,ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个DSP,或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,FPGA)。在具体的实现中,作为一种实施例,处理器51可以包括一个或多个CPU,例如图11中所示的CPU0和CPU1。且,作为一种实施例,服务器10可以包括多个处理器,例如图11中所示的处理器51和处理器56。这些处理器中的每一个可以是一个单核处理器(Single-CPU),也可以是一个多核处理器(Multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。存储器52可以是只读存储器(Read-Only Memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(RandomAccess Memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器52可以是独立存在,通过通信总线54与处理器51相连接。存储器52也可以和处理器51集成在一起。在具体的实现中,存储器52,用于存储本发明中的数据和执行本发明的软件程序。处理器51可以通过运行或执行存储在存储器52内的软件程序,以及调用存储在存储器52内的数据,执行空调器的各种功能。通信接口53,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如无线接入网(Radio AccessNetwork,RAN),无线局域网(Wireless Local Area Networks,WLAN)、终端、云端等。通信接口53可以包括获取单元101,以实现获取功能。通信总线54,可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。作为一个示例,结合图10,服务器10中的获取单元101实现的功能与图11中的通信接口53的功能相同,处理单元102实现的功能与图11中的处理器51的功能相同,存储单元103实现的功能与图11中的存储器52的功能相同。本发明另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行上述方法实施例所示的方法。在一些实施例中,所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。图12示意性地示出本发明实施例提供的计算机程序产品的概念性局部视图,所述计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。
在一个实施例中,计算机程序产品是使用信号承载介质410来提供的。所述信号承载介质410可以包括一个或多个程序指令,其当被一个或多个处理器运行时可以提供以上针对图1描述的功能或者部分功能。因此,例如,参考图1中所示的实施例,S11-S13的一个或多个特征可以由与信号承载介质410相关联的一个或多个指令来承担。此外,图12中的程序指令也描述示例指令。在一些示例中,信号承载介质410可以包含计算机可读介质411,诸如但不限于,硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等等。在一些实施方式中,信号承载介质410可以包含计算机可记录介质412,诸如但不限于,存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中,信号承载介质410可以包含通信介质413,诸如但不限于,数字和/或模拟通信介质(例如,光纤电缆、波导、有线通信链路、无线通信链路、等等)。信号承载介质410可以由无线形式的通信介质413(例如,遵守IEEE 802.41标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令可以是,例如,计算机可执行指令或者逻辑实施指令。在一些示例中,诸如针对图1描述的写数据装置可以被配置为,响应于通过计算机可读介质411、计算机可记录介质412、和/或通信介质413中的一个或多个程序指令,提供各种操作、功能、或者动作。如图13所示,本发明的实施例提供一种服务器20的结构示意图。服务器20包括获取单元201和处理单元202。获取单元201,用于获取第一输入样本、第二输入样本、第一监督样本和第二监督样本;其中,第一监督样本为第一二值化图像,第一二值化图像中包括:第一类内容和第二类内容,第一输入样本是基于第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;第二输入样本为第二二值化图像,第二二值化图像中包括第一类内容和第二类内容,第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的,第二监督样本中不包括第二类内容;处理单元202,用于基于获取单元201获取的第一输入样本和获取单元201获取的第一监督样本,对第一候选图像处理模型进行训练,直到第一候选图像处理模型收敛,得到第一目标图像处理模型;处理单元202,还用于基于第二输入样本和第二监督样本,对第二候选图像处理模型进行训练,直到第二候选图像处理模型收敛,得到第二目标图像处理模型。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,其作用在此不再赘述。当然,本发明实施例提供的服务器20包括但不限于上述模块,例如服务器20还可以包括存储单元203。存储单元203可以用于存储该写服务器20的程序代码,还可以用于存储写服务器20在运行过程中生成的数据,如写请求中的数据等。图14为本发明实施例提供的一种服务器20的结构示意图,如图14所示,该服务器20可以包括:至少一个处理器61、存储器62、通信接口63和通信总线64。下面结合图14对服务器20的各个构成部件进行具体的介绍:其中,处理器61是服务器20的控制中心,可以是一个处理器,也可以是多个处理元件的统称。例如,处理器61是一个中央处理器(CentralProcessing Unit,CPU),也可以是特定集成电路(Application Specific IntegratedCircuit,ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个DSP,或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,FPGA)。在具体的实现中,作为一种实施例,处理器61可以包括一个或多个CPU,例如图14中所示的CPU0和CPU1。且,作为一种实施例,服务器20可以包括多个处理器,例如图14中所示的处理器61和处理器66。这些处理器中的每一个可以是一个单核处理器(Single-CPU),也可以是一个多核处理器(Multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。存储器62可以是只读存储器(Read-Only Memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(RandomAccess Memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器62可以是独立存在,通过通信总线64与处理器61相连接。存储器62也可以和处理器61集成在一起。在具体的实现中,存储器62,用于存储本发明中的数据和执行本发明的软件程序。处理器61可以通过运行或执行存储在存储器62内的软件程序,以及调用存储在存储器62内的数据,执行空调器的各种功能。通信接口63,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如无线接入网(Radio AccessNetwork,RAN),无线局域网(Wireless Local Area Networks,WLAN)、终端、云端等。通信接口63可以包括获取单元201,以实现获取功能。通信总线64,可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图14中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。作为一个示例,结合图13,服务器20中的获取单元201实现的功能与图14中的通信接口63的功能相同,处理单元202实现的功能与图14中的处理器61的功能相同,存储单元203实现的功能与图14中的存储器62的功能相同。本发明另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行上述方法实施例所示的方法。在一些实施例中,所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。图15示意性地示出本发明实施例提供的计算机程序产品的概念性局部视图,所述计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。在一个实施例中,计算机程序产品是使用信号承载介质510来提供的。所述信号承载介质510可以包括一个或多个程序指令,其当被一个或多个处理器运行时可以提供以上针对图7描述的功能或者部分功能。因此,例如,参考图7中所示的实施例,S20-S22的一个或多个特征可以由与信号承载介质510相关联的一个或多个指令来承担。此外,图15中的程序指令也描述示例指令。在一些示例中,信号承载介质510可以包含计算机可读介质511,诸如但不限于,硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等等。在一些实施方式中,信号承载介质510可以包含计算机可记录介质512,诸如但不限于,存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中,信号承载介质510可以包含通信介质513,诸如但不限于,数字和/或模拟通信介质(例如,光纤电缆、波导、有线通信链路、无线通信链路、等等)。信号承载介质510可以由无线形式的通信介质513(例如,遵守IEEE 802.41标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令可以是,例如,计算机可执行指令或者逻辑实施指令。在一些示例中,诸如针对图7描述的写数据装置可以被配置为,响应于通过计算机可读介质511、计算机可记录介质512、和/或通信介质513中的一个或多个程序指令,提供各种操作、功能、或者动作。通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种图像处理方法,其特征在于,包括:
将待处理图像输入至第一目标图像处理模型;其中,所述待处理图像中包括第一类内容和第二类内容,所述第一目标图像处理模型是基于第一输入样本和第一监督样本训练得到的,所述第一监督样本为第一二值化图像,所述第一二值化图像中包括:第一类内容和第二类内容,所述第一输入样本是基于所述第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;利用所述第一目标图像处理模型对所述待处理图像进行二值化处理,得到二值化中间图像;
将所述二值化中间图像输入至第二目标图像处理模型;其中,所述第二目标图像处理模型是基于第二输入样本和第二监督样本训练得到的,所述第二输入样本为第二二值化图像,所述第二二值化图像中包括第一类内容和第二类内容,所述第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的;
利用所述第二目标图像处理模型对所述二值化中间图像中的第二类内容进行清除处理,得到目标图像。
2.根据权利要求1所述方法,其特征在于,所述方法还包括:
通过如下方式获取所述第二目标图像处理模型:
获取所述第二输入样本和所述第二监督样本;
基于所述第二输入样本和所述第二监督样本,对第二候选图像处理模型进行训练,直到所述第二候选图像处理模型收敛,得到第二目标图像处理模型。
3.根据权利要求1所述方法,其特征在于,所述方法还包括:
通过如下方式获取所述第一目标图像处理模型:
获取所述第一输入样本和所述第一监督样本;
基于所述第一输入样本和所述第一监督样本,对第一候选图像处理模型进行训练,直到所述第一候选图像处理模型收敛,得到第一目标图像处理模型。
4.根据权利要求3所述方法,其特征在于,所述基于所述第一输入样本和所述第一监督样本,对第一候选图像处理模型进行训练,直到所述第一候选图像处理模型收敛,得到第一目标图像处理模型,包括:
将所述第一输入样本输入所述第一候选图像处理模型,得到第一输出图像;
基于第一损失函数、所述第一输出图像和所述第一监督样本,获取第一损失值;
基于所述第一损失值调整所述第一候选图像处理模型的网络参数,返回执行所述将所述第一输入样本输入所述第一候选图像处理模型,得到第一输出图像,直到所述第一候选图像处理模型收敛,得到第一目标图像处理模型。
5.根据权利要求4所述方法,其特征在于,所述第一候选图像处理模型包括:第一编码器和第一解码器,所述第一编码器包括:多个第一编码残差网络块,所述第一解码器包括:多个第一解码残差网络块,所述第一编码残差网络块与对应的相同通道数的第一解码残差网络块的跨层连接上设置有第一可训练参数;
所述基于所述第一损失值调整所述第一候选图像处理模型的网络参数,包括:
基于所述第一损失值调整所述第一候选图像处理模型中的各第一编码残差网络块的网络参数、第一解码残差网络块的网络参数和/或所述第一可训练参数。
6.根据权利要求2所述方法,其特征在于,所述基于所述第二输入样本和所述第二监督样本,对第二候选图像处理模型进行训练,直到所述第二候选图像处理模型收敛,得到第二目标图像处理模型,包括:
将所述第二输入样本输入所述第二候选图像处理模型,得到第二输出图像;
基于第二损失函数、所述第二输出图像和所述第二监督样本,获取第二损失值;
基于所述第二损失值调整所述第二候选图像处理模型的网络参数,返回执行所述将所述第二输入样本输入所述第二候选图像处理模型,得到第二输出图像,直到所述第二候选图像处理模型收敛,得到第二目标图像处理模型。
7.根据权利要求6所述方法,其特征在于,所述第二候选图像处理模型包括:第二编码器和第二解码器,所述第二编码器包括:多个第二编码残差网络块,所述第二解码器包括:多个第二解码残差网络块,所述第二编码残差网络块与对应的相同通道数的第二解码残差网络块的跨层连接上设置有第二可训练参数;
所述基于所述第二损失值调整所述第二候选图像处理模型的网络参数,包括:
基于所述第二损失值调整所述第二候选图像处理模型中的各第二编码残差网络块的网络参数、第二解码残差网络块的网络参数和/或所述第二可训练参数。
8.一种图像处理模型的训练方法,其特征在于,所述图像处理模型包括:第一目标图像处理模型和第二目标图像处理模型,包括:
获取第一输入样本、第二输入样本、第一监督样本和第二监督样本;其中,所述第一监督样本为第一二值化图像,所述第一二值化图像中包括:第一类内容和第二类内容,所述第一输入样本是基于所述第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;所述第二输入样本为第二二值化图像,所述第二二值化图像中包括第一类内容和第二类内容,所述第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的,所述第二监督样本中不包括所述第二类内容;
基于所述第一输入样本和所述第一监督样本,对第一候选图像处理模型进行训练,直到所述第一候选图像处理模型收敛,得到第一目标图像处理模型;
基于第二输入样本和第二监督样本,对第二候选图像处理模型进行训练,直到所述第二候选图像处理模型收敛,得到第二目标图像处理模型。
9.一种图像处理装置,其特征在于,包括:
处理单元,用于将获取单元获取的待处理图像输入至第一目标图像处理模型;其中,所述待处理图像中包括第一类内容和第二类内容,所述第一目标图像处理模型是基于第一输入样本和第一监督样本训练得到的,所述第一监督样本为第一二值化图像,所述第一二值化图像中包括:第一类内容和第二类内容,所述第一输入样本是基于所述第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;
所述处理单元,还用于利用所述第一目标图像处理模型对所述获取单元获取的所述待处理图像进行二值化处理,得到二值化中间图像;
所述处理单元,具体用于将所述二值化中间图像输入至第二目标图像处理模型;其中,第二目标图像处理模型是基于第二输入样本和第二监督样本训练得到的,第二输入样本为第二二值化图像,第二二值化图像中包括第一类内容和第二类内容,第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的;
所述处理单元,具体用于利用所述第二目标图像处理模型对所述二值化中间图像中的第二类内容进行清除处理,得到目标图像。
10.一种图像处理模型的训练装置,其特征在于,包括:
获取单元,获取第一输入样本、第二输入样本、第一监督样本和第二监督样本;其中,所述第一监督样本为第一二值化图像,所述第一二值化图像中包括:第一类内容和第二类内容,所述第一输入样本是基于所述第一二值化图像和预设空白图像生成的,不同的预设空白图像对应不同的底色和/或不同的光照条件;所述第二输入样本为第二二值化图像,所述第二二值化图像中包括第一类内容和第二类内容,所述第二监督样本是对第二二值化图中的第二类内容进行清除处理得到的,所述第二监督样本中不包括所述第二类内容;
处理单元,用于基于所述获取单元获取的所述第一输入样本和所述获取单元获取的所述第一监督样本,对第一候选图像处理模型进行训练,直到所述第一候选图像处理模型收敛,得到第一目标图像处理模型;并基于所述获取单元获取的所述第二输入样本和所述获取单元获取的所述第二监督样本,对第二候选图像处理模型进行训练,直到所述第二候选图像处理模型收敛,得到第二目标图像处理模型。
11.一种电子设备,其特征在于,包括:处理器,所述处理器用于执行存储于存储器的计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法的步骤,或者,实现权利要求8所述的方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法的步骤,或者,实现权利要求8所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210417890.0A CN114549296B (zh) | 2022-04-21 | 2022-04-21 | 图像处理模型的训练方法、图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210417890.0A CN114549296B (zh) | 2022-04-21 | 2022-04-21 | 图像处理模型的训练方法、图像处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114549296A CN114549296A (zh) | 2022-05-27 |
CN114549296B true CN114549296B (zh) | 2022-07-12 |
Family
ID=81667557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210417890.0A Active CN114549296B (zh) | 2022-04-21 | 2022-04-21 | 图像处理模型的训练方法、图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549296B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067003A (zh) * | 2017-03-09 | 2017-08-18 | 百度在线网络技术(北京)有限公司 | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 |
CN108710866A (zh) * | 2018-06-04 | 2018-10-26 | 平安科技(深圳)有限公司 | 汉字模型训练方法、汉字识别方法、装置、设备及介质 |
CN108985374A (zh) * | 2018-07-12 | 2018-12-11 | 天津艾思科尔科技有限公司 | 一种基于动态信息模型的火焰检测方法 |
CN109584228A (zh) * | 2018-11-27 | 2019-04-05 | 东南大学 | 基于二值图像和模型迁移学习的转子绕线图像检测方法 |
WO2019232853A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技(深圳)有限公司 | 中文模型训练、中文图像识别方法、装置、设备及介质 |
WO2021042857A1 (zh) * | 2019-09-02 | 2021-03-11 | 华为技术有限公司 | 图像分割模型的处理方法和处理装置 |
WO2021164322A1 (zh) * | 2020-02-17 | 2021-08-26 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
-
2022
- 2022-04-21 CN CN202210417890.0A patent/CN114549296B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067003A (zh) * | 2017-03-09 | 2017-08-18 | 百度在线网络技术(北京)有限公司 | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 |
CN108710866A (zh) * | 2018-06-04 | 2018-10-26 | 平安科技(深圳)有限公司 | 汉字模型训练方法、汉字识别方法、装置、设备及介质 |
WO2019232853A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技(深圳)有限公司 | 中文模型训练、中文图像识别方法、装置、设备及介质 |
CN108985374A (zh) * | 2018-07-12 | 2018-12-11 | 天津艾思科尔科技有限公司 | 一种基于动态信息模型的火焰检测方法 |
CN109584228A (zh) * | 2018-11-27 | 2019-04-05 | 东南大学 | 基于二值图像和模型迁移学习的转子绕线图像检测方法 |
WO2021042857A1 (zh) * | 2019-09-02 | 2021-03-11 | 华为技术有限公司 | 图像分割模型的处理方法和处理装置 |
WO2021164322A1 (zh) * | 2020-02-17 | 2021-08-26 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
Non-Patent Citations (2)
Title |
---|
《百度网盘AI大赛-图像处理挑战赛:手写文字擦除第2名方案》;快速实现AI想法;《http:mbd.baidu.com/ma/s4TfkWpVQ》;20220213;全文 * |
基于BP神经网络的多样本手写体字符识别;李丹;《软件》;20160715(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114549296A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113658051A (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
CN107886169B (zh) | 一种基于文本-图像生成对抗网络模型的多尺度卷积核方法 | |
CN110298898B (zh) | 更改汽车图像车身颜色的方法及其算法结构 | |
CA3137297C (en) | Adaptive convolutions in neural networks | |
CN111696046A (zh) | 一种基于生成式对抗网络的水印去除方法和装置 | |
CN113902913A (zh) | 图片语义分割方法及装置 | |
CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
CN110675329A (zh) | 基于视觉语义引导的图像去模糊方法 | |
CN110675334A (zh) | 一种图像增强方法及装置 | |
CN113763371A (zh) | 病理图像的细胞核分割方法及装置 | |
CN111179201A (zh) | 一种视频去噪方法和电子设备 | |
CN113160278A (zh) | 一种场景流估计、场景流估计模型的训练方法和装置 | |
CN111784699A (zh) | 一种对三维点云数据进行目标分割方法、装置及终端设备 | |
CN114549296B (zh) | 图像处理模型的训练方法、图像处理方法及电子设备 | |
CN111935484B (zh) | 一种视频帧压缩编码方法及装置 | |
CN113763268A (zh) | 人脸图像盲修复方法及系统 | |
CN112819689A (zh) | 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备 | |
Chen et al. | Image quality assessment guided deep neural networks training | |
CN114708353B (zh) | 图像重建方法、装置、电子设备与存储介质 | |
CN111815658B (zh) | 一种图像识别方法及装置 | |
CN114615505A (zh) | 基于深度熵编码的点云属性压缩方法、装置和存储介质 | |
KR102305981B1 (ko) | 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법 | |
CN113744158A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
Li et al. | Multi-scale fusion framework via retinex and transmittance optimization for underwater image enhancement | |
CN116996680B (zh) | 一种用于视频数据分类模型训练的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |