CN113723516A - 基于神经网络的摩尔纹去除方法、装置、设备及介质 - Google Patents
基于神经网络的摩尔纹去除方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113723516A CN113723516A CN202111012878.3A CN202111012878A CN113723516A CN 113723516 A CN113723516 A CN 113723516A CN 202111012878 A CN202111012878 A CN 202111012878A CN 113723516 A CN113723516 A CN 113723516A
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- sub
- moire
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 125
- 238000013507 mapping Methods 0.000 claims abstract description 106
- 230000003044 adaptive effect Effects 0.000 claims abstract description 72
- 230000006870 function Effects 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000006798 recombination Effects 0.000 claims description 16
- 238000005215 recombination Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 230000007246 mechanism Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000005012 migration Effects 0.000 abstract description 6
- 238000013508 migration Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能领域，提供一种基于神经网络的摩尔纹去除方法、装置、设备及介质，能够基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层，联合关注的子空间和特征子空间，增大感受野，更加关注于全局模式，使摩尔纹去除的范围更大，去除效果更好，注意力机制能够关注更多的有用特征，调整整个网络的关注点，结合数据量充足的源域中的数据及数据量缺乏的目标域中的数据进行迁移训练，得到的摩尔纹去除模型保留了原有网络信息，同时具备注意力机制的属性及领域自适应网络的属性，在相同的计算量下，参数量更少，精确度更高。此外，本发明还涉及区块链技术，摩尔纹去除模型可存储于区块链节点中。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于神经网络的摩尔纹去除方法、装置、设备及介质。
背景技术
近年来，人工智能的发展越来越迅速，其中的图像处理技术更是在很多领域中都会涉及到，尤其是在企业的各种风险控制场景下，图像是否带有摩尔纹，是否带有雨点等质量问题，都会影响对于图像的识别效果，进而影响风险识别等任务的执行。因此，如何自动识别到包含摩尔纹、雨点等质量问题的图像，并去除其中的摩尔纹，在人工智能领域十分重要。
现有技术中，通常采用传统的分类模型进行简单的分类以去除摩尔纹，准确率还有待进一步提高。
发明内容
本发明实施例提供了一种基于神经网络的摩尔纹去除方法、装置、设备及介质，能够结合人工智能手段得到的所述目标图像是与所述待处理图像相对应的没有摩尔纹的图像，且模型的泛化能力更强、精度更高。
第一方面，本发明实施例提供了一种基于神经网络的摩尔纹去除方法，其包括：
基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层；
根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络；
获取源域的数据构建第一训练样本，并利用所述第一训练样本训练所述初始网络，直至所述初始网络的损失函数达到收敛，停止训练，得到第一网络；
构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络；
获取目标域的数据，并根据所述目标域的数据及所述第一训练样本构建第二训练样本；
根据所述初始网络的损失函数构建目标损失函数；
利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型；
获取待处理图像，将所述待处理图像输入至所述摩尔纹去除模型，并获取所述摩尔纹去除模型的输出作为目标图像。
根据本发明优选实施例，所述基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层包括：
获取密集卷积层，并将所述密集卷积层中的3*3膨胀卷积替换为所述自注意力增强卷积结构，得到目标密集卷积层；
依次连接一个目标密集卷积层、基于所述自注意力增强卷积结构构建的第一自注意力增强卷积结构、反离散余弦变换层、基于所述自注意力增强卷积结构构建的第二自注意力增强卷积结构及特征比例调整层，得到所述摩尔纹去除层；其中，在所述摩尔纹去除层中，将所述特征比例调整层的输出与所述摩尔纹去除层的输入相加，得到所述摩尔纹去除层的输出；
基于所述自注意力增强卷积结构构建2*2步长的第三自注意力增强卷积结构，依次连接所述第三自注意力增强卷积结构、全局平均池化层及首尾相连的三个全连接层，得到第一分支，依次连接第一1*1卷积层及第一激活层，得到第二分支，将所述第一分支与所述第二分支的乘积输入至首尾相连的第二1*1卷积层及第二激活层，得到所述第一色调映射层；
依次连接一个目标密集卷积层、第三1*1卷积层及第三激活层，得到所述第二色调映射层。
根据本发明优选实施例，所述方法还包括：
在所述自注意力增强卷积结构中，将输入特征转化为特征矩阵；
对于所述自注意力增强卷积结构中的每头自注意力，对所述特征矩阵进行2D卷积处理，得到通道特征；
对所述通道特征进行切分变换，得到查询参数、索引参数及数值参数；
计算所述索引参数与头数的商，得到目标常数；
计算所述特征矩阵与所述查询参数的乘积，得到第一特征；
计算所述特征矩阵与所述索引参数的乘积的转置，得到第二特征；
计算所述特征矩阵与所述数值参数的乘积，得到第三特征；
计算所述第一特征、所述第二特征、所述第三特征的乘积，并计算所述乘积与所述目标常数的算数平方根的商，得到第四特征；
利用softmax函数处理所述第四特征，得到所述自注意力增强卷积结构中每头自注意力的输出；
拼接所述自注意力增强卷积结构中每头自注意力的输出，并对拼接后得到的特征进行维度转换，得到转换特征；
对所述转换特征进行1*1卷积操作，得到自注意力增强过程的第一输出，其中，所述第一输出对应的通道数为所述数值参数；
对所述输入特征进行卷积处理，得到第二输出，其中，所述第二输出对应的通道数为原始通道数与所述数值参数的差；
对所述第一输出及所述第二输出进行并接处理，得到所述自注意力增强卷积结构的输出。
根据本发明优选实施例，所述根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络包括：
对第四1*1卷积层、第四激活层、一个第一色调映射层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第一子网络；
连接一个3*3卷积层及一个摩尔纹去除层，得到第一子层，对第五1*1卷积层、第五激活层、一个第一色调映射层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第二子层，连接所述第一子层及所述第二子层，得到第二子网络；
对一个3*3卷积层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第三子网络；
对一个像素重组下采样层、一个3*3卷积层、第六激活层及一个摩尔纹去除层依次进行首尾相连，得到第四子网络；
将所述第四子网络的输出确定为所述第一子层的输入，得到所述第一子层的输出；
将所述第一子层的输出确定为所述第三子网络的输入，得到所述第三子网络的输出；
并接所述第三子网络的输出与所述第一子层的输出，并将并接后得到的特征确定为所述第二子层的输入，得到所述第二子网络的输出；
并接所述第二子网络的输出与所述第四子网络的输出，并将并接后得到的特征确定为所述第一子网络的输入，得到所述初始网络。
根据本发明优选实施例，所述构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络包括：
对预设的梯度逆转层、一个3*3卷积层及一个域分类层进行首尾连接，得到所述领域自适应网络；其中，所述预设的梯度逆转层的输出为预设值与梯度的乘积，所述域分类层中包括一个全连接层及一个损失函数层；
获取一个领域自适应网络作为第一领域自适应网络，及获取一个领域自适应网络作为第二领域自适应网络；
将所述第四子网络中的所述第六激活层的输出连接至所述第一领域自适应网络的输入，及将所述第四子网络的输出连接至所述第二领域自适应网络的输入，得到所述第二网络。
根据本发明优选实施例，所述根据所述初始网络的损失函数构建目标损失函数包括：
获取所述初始网络的损失作为第一损失；
获取所述第一领域自适应网络中域分类层的损失作为第二损失；
获取所述第二领域自适应网络中域分类层的损失作为第三损失；
计算所述第二损失及所述第三损失的和作为域分类损失；
计算所述域分类损失与配置参数的乘积作为第四损失；
计算所述第一损失与所述第四损失的差，得到所述目标损失函数。
根据本发明优选实施例，所述利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型包括：
在训练过程中，冻结所述第一子网络、所述第二子网络及所述第三子网络的权重，并利用所述第二训练样本训练所述第四子网络、所述第一领域自适应网络及所述第二领域自适应网络的权重；
当所述目标损失函数达到收敛时，停止训练，得到所述摩尔纹去除模型。
第二方面，本发明实施例提供了一种基于神经网络的摩尔纹去除装置，其包括：
构建单元，用于基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层；
所述构建单元，还用于根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络；
训练单元，用于获取源域的数据构建第一训练样本，并利用所述第一训练样本训练所述初始网络，直至所述初始网络的损失函数达到收敛，停止训练，得到第一网络；
添加单元，用于构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络；
所述构建单元，还用于获取目标域的数据，并根据所述目标域的数据及所述第一训练样本构建第二训练样本；
所述构建单元，还用于根据所述初始网络的损失函数构建目标损失函数；
所述训练单元，还用于利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型；
去除单元，用于获取待处理图像，将所述待处理图像输入至所述摩尔纹去除模型，并获取所述摩尔纹去除模型的输出作为目标图像。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于神经网络的摩尔纹去除方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于神经网络的摩尔纹去除方法。
本发明实施例提供了一种基于神经网络的摩尔纹去除方法、装置、设备及介质，能够基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层，能够联合关注的子空间和特征子空间，增大感受野，更加关注于全局模式，使摩尔纹去除的范围更大，去除效果更好，同时，通过注意力机制能够关注于更多的有用特征，调整整个网络的关注点，根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络，获取源域的数据构建第一训练样本，并利用所述第一训练样本训练所述初始网络，直至所述初始网络的损失函数达到收敛，停止训练，得到第一网络，保证了网络对于所述源域中的图像的去除摩尔纹性能，构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络，使网络同时具备注意力机制的属性及领域自适应网络的属性，在相同的计算量下，参数量更少，但是精确度更高，获取目标域的数据，并根据所述目标域的数据及所述第一训练样本构建第二训练样本，根据所述初始网络的损失函数构建目标损失函数，利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型，结合数据量充足的源域中的数据及数据量缺乏的目标域中的数据进行迁移训练，保留了原有网络的有效信息，解决了样本量不够导致模型训练效果不佳的问题，获取待处理图像，将所述待处理图像输入至所述摩尔纹去除模型，并获取所述摩尔纹去除模型的输出作为目标图像，结合人工智能手段得到的所述目标图像是与所述待处理图像相对应的没有摩尔纹的图像，且模型的泛化能力更强、精度更高。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于神经网络的摩尔纹去除方法的流程示意图；
图2为本发明实施例提供的基于神经网络的摩尔纹去除装置的示意性框图；
图3为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，为本发明实施例提供的基于神经网络的摩尔纹去除方法的流程示意图。
S10，基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层。
在本发明的至少一个实施例中，所述基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层包括：
获取密集卷积层，并将所述密集卷积层中的3*3膨胀卷积替换为所述自注意力增强卷积结构，得到目标密集卷积层；
依次连接一个目标密集卷积层、基于所述自注意力增强卷积结构构建的第一自注意力增强卷积结构、反离散余弦变换层、基于所述自注意力增强卷积结构构建的第二自注意力增强卷积结构及特征比例调整层，得到所述摩尔纹去除层；其中，在所述摩尔纹去除层中，将所述特征比例调整层的输出与所述摩尔纹去除层的输入相加，得到所述摩尔纹去除层的输出；
基于所述自注意力增强卷积结构构建2*2步长的第三自注意力增强卷积结构，依次连接所述第三自注意力增强卷积结构、全局平均池化层及首尾相连的三个全连接层，得到第一分支，依次连接第一1*1卷积层及第一激活层，得到第二分支，将所述第一分支与所述第二分支的乘积输入至首尾相连的第二1*1卷积层及第二激活层，得到所述第一色调映射层；
依次连接一个目标密集卷积层、第三1*1卷积层及第三激活层，得到所述第二色调映射层。
其中，所述摩尔纹去除层能够通过学习摩尔纹的先验知识实现对摩尔纹的过滤。
其中，所述第一色调映射层能够进行全局颜色的映射，避免颜色不均。
其中，所述第二色调映射层能够进行局部颜色的映射，避免局部颜色不均。
在本实施例中，所述特征比例调整层的输出为输入的特征与恒尺度核constant_scale_kernel的乘积，例如：当输入的特征为[[2,3,5],[3,4,5]]，constant_scale_kernel为[[0.1,0.1,0.1],[0.1,0.1,.1]]时，所述特征比例调整层的输出为：[[2,3,5],[3,4,5]]*[[0.1,0.1,0.1],[0.1,0.1,.1]]＝[[0.2,0.3,0.5],[0.3,0.4,0.5]]。
需要说明的是，在传统的密集卷积层中，采用的是3*3膨胀卷积，本实施例将所述3*3膨胀卷积替换为所述预设的自注意力增强卷积结构，能够联合关注的子空间和特征子空间。
在本发明的至少一个实施例中，所述方法还包括：
在所述自注意力增强卷积结构中，将输入特征转化为特征矩阵；
对于所述自注意力增强卷积结构中的每头自注意力，对所述特征矩阵进行2D卷积处理，得到通道特征；
对所述通道特征进行切分变换，得到查询参数、索引参数及数值参数；
计算所述索引参数与头数的商，得到目标常数；
计算所述特征矩阵与所述查询参数的乘积，得到第一特征；
计算所述特征矩阵与所述索引参数的乘积的转置，得到第二特征；
计算所述特征矩阵与所述数值参数的乘积，得到第三特征；
计算所述第一特征、所述第二特征、所述第三特征的乘积，并计算所述乘积与所述目标常数的算数平方根的商，得到第四特征；
利用softmax函数处理所述第四特征，得到所述自注意力增强卷积结构中每头自注意力的输出；
拼接所述自注意力增强卷积结构中每头自注意力的输出，并对拼接后得到的特征进行维度转换，得到转换特征；
对所述转换特征进行1*1卷积操作，得到自注意力增强过程的第一输出，其中，所述第一输出对应的通道数为所述数值参数；
对所述输入特征进行卷积处理，得到第二输出，其中，所述第二输出对应的通道数为原始通道数与所述数值参数的差；
对所述第一输出及所述第二输出进行并接处理，得到所述自注意力增强卷积结构的输出。
例如：所述输入特征为(H，W，F)，转化后，得到的特征矩阵为X，X∈RHW*F，执行所述2D卷积处理后，得到的通道特征为2*dk*dv，切分变换后，得到查询参数wq、索引参数wk及数值参数wv，假设头数为h，则得到的目标常数为dk/h，进一步地，每个单头自注意力的输出为：
当h＝4时，则直接拼接每头自注意力的输出，并进行维度转换，得到所述转换特征，并进一步得到第一特征及第二特征，其中，所述第一特征与所述第二特征对应的通道数的和为原始的通道数。
通过上述实施方式，预先构建的所述自注意力增强卷积结构能够增大感受野，更加关注于全局模式，使摩尔纹去除的范围更大，去除效果更好，同时，通过注意力机制能够关注于更多的有用特征，调整整个网络的关注点。
S11，根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络。
在本发明的至少一个实施例中，所述根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络包括：
对第四1*1卷积层、第四激活层、一个第一色调映射层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第一子网络；
连接一个3*3卷积层及一个摩尔纹去除层，得到第一子层，对第五1*1卷积层、第五激活层、一个第一色调映射层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第二子层，连接所述第一子层及所述第二子层，得到第二子网络；
对一个3*3卷积层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第三子网络；
对一个像素重组下采样层、一个3*3卷积层、第六激活层及一个摩尔纹去除层依次进行首尾相连，得到第四子网络；
将所述第四子网络的输出确定为所述第一子层的输入，得到所述第一子层的输出；
将所述第一子层的输出确定为所述第三子网络的输入，得到所述第三子网络的输出；
并接所述第三子网络的输出与所述第一子层的输出，并将并接后得到的特征确定为所述第二子层的输入，得到所述第二子网络的输出；
并接所述第二子网络的输出与所述第四子网络的输出，并将并接后得到的特征确定为所述第一子网络的输入，得到所述初始网络。
通过上述实施方式，能够初步构建去除摩尔纹的网络结构，以供后续学习训练。
S12，获取源域的数据构建第一训练样本，并利用所述第一训练样本训练所述初始网络，直至所述初始网络的损失函数达到收敛，停止训练，得到第一网络。
在本实施例中，所述源域是指常见的业务场景，所述源域中的数据较为充足，能够保证模型的训练。
在本实施例中，所述第一训练样本中的数据为带有摩尔纹的图像及对应的不带有摩尔纹的图像。
在本实施例中，首先利用所述源域中的数据训练所述初始网络，保证了网络对于所述源域中的图像的去除摩尔纹性能。
S13，构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络。
具体地，所述构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络包括：
对预设的梯度逆转层、一个3*3卷积层及一个域分类层进行首尾连接，得到所述领域自适应网络；其中，所述预设的梯度逆转层的输出为预设值与梯度的乘积，所述域分类层中包括一个全连接层及一个损失函数层；
获取一个领域自适应网络作为第一领域自适应网络，及获取一个领域自适应网络作为第二领域自适应网络；
将所述第四子网络中的所述第六激活层的输出连接至所述第一领域自适应网络的输入，及将所述第四子网络的输出连接至所述第二领域自适应网络的输入，得到所述第二网络。
其中，所述预设值为常数。
通过上述实施方式构建的所述第二网络，能够同时具备注意力机制的属性及领域自适应网络的属性，在相同的计算量下，参数量更少，但是精确度更高。
S14，获取目标域的数据，并根据所述目标域的数据及所述第一训练样本构建第二训练样本。
在本实施例中，所述目标域是指需要进行训练的模型进行图像处理的领域，所述目标域中的数据量通常较少，无法满足模型训练的需求。
在本实施例中，所述第二训练样本中的数据为带有摩尔纹的图像及对应的不带有摩尔纹的图像。
因此，本实施例根据所述目标域的数据及所述第一训练样本构建第二训练样本，即将所述目标域的数据及所述第一训练样本组合在一起，得到所述第二训练样本，以供后续训练使用。
S15，根据所述初始网络的损失函数构建目标损失函数。
具体地，所述根据所述初始网络的损失函数构建目标损失函数包括：
获取所述初始网络的损失作为第一损失；
获取所述第一领域自适应网络中域分类层的损失作为第二损失；
获取所述第二领域自适应网络中域分类层的损失作为第三损失；
计算所述第二损失及所述第三损失的和作为域分类损失；
计算所述域分类损失与配置参数的乘积作为第四损失；
计算所述第一损失与所述第四损失的差，得到所述目标损失函数。
其中，所述配置参数可以进行自定义配置，用于控制对领域自适应网络的影响。
S16，利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型。
具体地，所述利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型包括：
在训练过程中，冻结所述第一子网络、所述第二子网络及所述第三子网络的权重，并利用所述第二训练样本训练所述第四子网络、所述第一领域自适应网络及所述第二领域自适应网络的权重；
当所述目标损失函数达到收敛时，停止训练，得到所述摩尔纹去除模型。
具体地，可以基于源域中的数据与目标域中的数据做模型训练，并在10个epoches内使损失下降。
在上述实施方式中，能够结合数据量充足的源域中的数据及数据量缺乏的目标域中的数据进行迁移训练，保留了原有网络的有效信息，解决了样本量不够导致模型训练效果不佳的问题。
S17，获取待处理图像，将所述待处理图像输入至所述摩尔纹去除模型，并获取所述摩尔纹去除模型的输出作为目标图像。
通过上述实施方式，结合人工智能手段得到的所述目标图像是与所述待处理图像相对应的没有摩尔纹的图像，且模型的泛化能力更强、精度更高。
需要说明的是，为了进一步提高数据的安全性，避免数据被恶意篡改，摩尔纹去除模型可存储于区块链节点中。
需要说明的是，本实施例中所采用的各个网络层(如目标密集卷积层、第一色调映射层、摩尔纹去除层等)在多次出现时，均与前文构建的对应网络层相同。
例如：在根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建所述初始网络时，其中使用了多个摩尔纹去除层，每个摩尔纹去除层都与前文构建的所述摩尔纹去除层结构一致。
由以上技术方案可以看出，本发明基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层，能够联合关注的子空间和特征子空间，增大感受野，更加关注于全局模式，使摩尔纹去除的范围更大，去除效果更好，同时，通过注意力机制能够关注于更多的有用特征，调整整个网络的关注点，根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络，获取源域的数据构建第一训练样本，并利用所述第一训练样本训练所述初始网络，直至所述初始网络的损失函数达到收敛，停止训练，得到第一网络，保证了网络对于所述源域中的图像的去除摩尔纹性能，构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络，使网络同时具备注意力机制的属性及领域自适应网络的属性，在相同的计算量下，参数量更少，但是精确度更高，获取目标域的数据，并根据所述目标域的数据及所述第一训练样本构建第二训练样本，根据所述初始网络的损失函数构建目标损失函数，利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型，结合数据量充足的源域中的数据及数据量缺乏的目标域中的数据进行迁移训练，保留了原有网络的有效信息，解决了样本量不够导致模型训练效果不佳的问题，获取待处理图像，将所述待处理图像输入至所述摩尔纹去除模型，并获取所述摩尔纹去除模型的输出作为目标图像，结合人工智能手段得到的所述目标图像是与所述待处理图像相对应的没有摩尔纹的图像，且模型的泛化能力更强、精度更高。
本发明实施例还提供一种基于神经网络的摩尔纹去除装置，该基于神经网络的摩尔纹去除装置用于执行前述基于神经网络的摩尔纹去除方法的任一实施例。具体地，请参阅图2，图2是本发明实施例提供的基于神经网络的摩尔纹去除装置的示意性框图。
如图2所示，基于神经网络的摩尔纹去除装置100包括：构建单元101、训练单元102、添加单元103、去除单元104。
构建单元101基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层。
在本发明的至少一个实施例中，所述构建单元101基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层包括：
获取密集卷积层，并将所述密集卷积层中的3*3膨胀卷积替换为所述自注意力增强卷积结构，得到目标密集卷积层；
依次连接一个目标密集卷积层、基于所述自注意力增强卷积结构构建的第一自注意力增强卷积结构、反离散余弦变换层、基于所述自注意力增强卷积结构构建的第二自注意力增强卷积结构及特征比例调整层，得到所述摩尔纹去除层；其中，在所述摩尔纹去除层中，将所述特征比例调整层的输出与所述摩尔纹去除层的输入相加，得到所述摩尔纹去除层的输出；
基于所述自注意力增强卷积结构构建2*2步长的第三自注意力增强卷积结构，依次连接所述第三自注意力增强卷积结构、全局平均池化层及首尾相连的三个全连接层，得到第一分支，依次连接第一1*1卷积层及第一激活层，得到第二分支，将所述第一分支与所述第二分支的乘积输入至首尾相连的第二1*1卷积层及第二激活层，得到所述第一色调映射层；
依次连接一个目标密集卷积层、第三1*1卷积层及第三激活层，得到所述第二色调映射层。
其中，所述摩尔纹去除层能够通过学习摩尔纹的先验知识实现对摩尔纹的过滤。
其中，所述第一色调映射层能够进行全局颜色的映射，避免颜色不均。
其中，所述第二色调映射层能够进行局部颜色的映射，避免局部颜色不均。
在本实施例中，所述特征比例调整层的输出为输入的特征与恒尺度核constant_scale_kernel的乘积，例如：当输入的特征为[[2,3,5],[3,4,5]]，constant_scale_kernel为[[0.1,0.1,0.1],[0.1,0.1,.1]]时，所述特征比例调整层的输出为：[[2,3,5],[3,4,5]]*[[0.1,0.1,0.1],[0.1,0.1,.1]]＝[[0.2,0.3,0.5],[0.3,0.4,0.5]]。
需要说明的是，在传统的密集卷积层中，采用的是3*3膨胀卷积，本实施例将所述3*3膨胀卷积替换为所述预设的自注意力增强卷积结构，能够联合关注的子空间和特征子空间。
在本发明的至少一个实施例中，在所述自注意力增强卷积结构中，将输入特征转化为特征矩阵；
对于所述自注意力增强卷积结构中的每头自注意力，对所述特征矩阵进行2D卷积处理，得到通道特征；
对所述通道特征进行切分变换，得到查询参数、索引参数及数值参数；
计算所述索引参数与头数的商，得到目标常数；
计算所述特征矩阵与所述查询参数的乘积，得到第一特征；
计算所述特征矩阵与所述索引参数的乘积的转置，得到第二特征；
计算所述特征矩阵与所述数值参数的乘积，得到第三特征；
计算所述第一特征、所述第二特征、所述第三特征的乘积，并计算所述乘积与所述目标常数的算数平方根的商，得到第四特征；
利用softmax函数处理所述第四特征，得到所述自注意力增强卷积结构中每头自注意力的输出；
拼接所述自注意力增强卷积结构中每头自注意力的输出，并对拼接后得到的特征进行维度转换，得到转换特征；
对所述转换特征进行1*1卷积操作，得到自注意力增强过程的第一输出，其中，所述第一输出对应的通道数为所述数值参数；
对所述输入特征进行卷积处理，得到第二输出，其中，所述第二输出对应的通道数为原始通道数与所述数值参数的差；
对所述第一输出及所述第二输出进行并接处理，得到所述自注意力增强卷积结构的输出。
例如：所述输入特征为(H，W，F)，转化后，得到的特征矩阵为X，X∈RHW*F，执行所述2D卷积处理后，得到的通道特征为2*dk*dv，切分变换后，得到查询参数wq、索引参数wk及数值参数wv，假设头数为h，则得到的目标常数为dk/h，进一步地，每个单头自注意力的输出为：
当h＝4时，则直接拼接每头自注意力的输出，并进行维度转换，得到所述转换特征，并进一步得到第一特征及第二特征，其中，所述第一特征与所述第二特征对应的通道数的和为原始的通道数。
通过上述实施方式，预先构建的所述自注意力增强卷积结构能够增大感受野，更加关注于全局模式，使摩尔纹去除的范围更大，去除效果更好，同时，通过注意力机制能够关注于更多的有用特征，调整整个网络的关注点。
所述构建单元101根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络。
在本发明的至少一个实施例中，所述构建单元101根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络包括：
对第四1*1卷积层、第四激活层、一个第一色调映射层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第一子网络；
连接一个3*3卷积层及一个摩尔纹去除层，得到第一子层，对第五1*1卷积层、第五激活层、一个第一色调映射层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第二子层，连接所述第一子层及所述第二子层，得到第二子网络；
对一个3*3卷积层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第三子网络；
对一个像素重组下采样层、一个3*3卷积层、第六激活层及一个摩尔纹去除层依次进行首尾相连，得到第四子网络；
将所述第四子网络的输出确定为所述第一子层的输入，得到所述第一子层的输出；
将所述第一子层的输出确定为所述第三子网络的输入，得到所述第三子网络的输出；
并接所述第三子网络的输出与所述第一子层的输出，并将并接后得到的特征确定为所述第二子层的输入，得到所述第二子网络的输出；
并接所述第二子网络的输出与所述第四子网络的输出，并将并接后得到的特征确定为所述第一子网络的输入，得到所述初始网络。
通过上述实施方式，能够初步构建去除摩尔纹的网络结构，以供后续学习训练。
训练单元102获取源域的数据构建第一训练样本，并利用所述第一训练样本训练所述初始网络，直至所述初始网络的损失函数达到收敛，停止训练，得到第一网络。
在本实施例中，所述源域是指常见的业务场景，所述源域中的数据较为充足，能够保证模型的训练。
在本实施例中，所述第一训练样本中的数据为带有摩尔纹的图像及对应的不带有摩尔纹的图像。
在本实施例中，首先利用所述源域中的数据训练所述初始网络，保证了网络对于所述源域中的图像的去除摩尔纹性能。
添加单元103构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络。
具体地，所述添加单元103构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络包括：
对预设的梯度逆转层、一个3*3卷积层及一个域分类层进行首尾连接，得到所述领域自适应网络；其中，所述预设的梯度逆转层的输出为预设值与梯度的乘积，所述域分类层中包括一个全连接层及一个损失函数层；
获取一个领域自适应网络作为第一领域自适应网络，及获取一个领域自适应网络作为第二领域自适应网络；
将所述第四子网络中的所述第六激活层的输出连接至所述第一领域自适应网络的输入，及将所述第四子网络的输出连接至所述第二领域自适应网络的输入，得到所述第二网络。
其中，所述预设值为常数。
通过上述实施方式构建的所述第二网络，能够同时具备注意力机制的属性及领域自适应网络的属性，在相同的计算量下，参数量更少，但是精确度更高。
所述构建单元101获取目标域的数据，并根据所述目标域的数据及所述第一训练样本构建第二训练样本。
在本实施例中，所述目标域是指需要进行训练的模型进行图像处理的领域，所述目标域中的数据量通常较少，无法满足模型训练的需求。
在本实施例中，所述第二训练样本中的数据为带有摩尔纹的图像及对应的不带有摩尔纹的图像。
因此，本实施例根据所述目标域的数据及所述第一训练样本构建第二训练样本，即将所述目标域的数据及所述第一训练样本组合在一起，得到所述第二训练样本，以供后续训练使用。
所述构建单元101根据所述初始网络的损失函数构建目标损失函数。
具体地，所述构建单元101根据所述初始网络的损失函数构建目标损失函数包括：
获取所述初始网络的损失作为第一损失；
获取所述第一领域自适应网络中域分类层的损失作为第二损失；
获取所述第二领域自适应网络中域分类层的损失作为第三损失；
计算所述第二损失及所述第三损失的和作为域分类损失；
计算所述域分类损失与配置参数的乘积作为第四损失；
计算所述第一损失与所述第四损失的差，得到所述目标损失函数。
其中，所述配置参数可以进行自定义配置，用于控制对领域自适应网络的影响。
所述训练单元102利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型。
具体地，所述训练单元102利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型包括：
在训练过程中，冻结所述第一子网络、所述第二子网络及所述第三子网络的权重，并利用所述第二训练样本训练所述第四子网络、所述第一领域自适应网络及所述第二领域自适应网络的权重；
当所述目标损失函数达到收敛时，停止训练，得到所述摩尔纹去除模型。
具体地，可以基于源域中的数据与目标域中的数据做模型训练，并在10个epoches内使损失下降。
在上述实施方式中，能够结合数据量充足的源域中的数据及数据量缺乏的目标域中的数据进行迁移训练，保留了原有网络的有效信息，解决了样本量不够导致模型训练效果不佳的问题。
去除单元104获取待处理图像，将所述待处理图像输入至所述摩尔纹去除模型，并获取所述摩尔纹去除模型的输出作为目标图像。
通过上述实施方式，结合人工智能手段得到的所述目标图像是与所述待处理图像相对应的没有摩尔纹的图像，且模型的泛化能力更强、精度更高。
需要说明的是，本实施例中所采用的各个网络层(如目标密集卷积层、第一色调映射层、摩尔纹去除层等)在多次出现时，均与前文构建的对应网络层相同。
例如：在根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建所述初始网络时，其中使用了多个摩尔纹去除层，每个摩尔纹去除层都与前文构建的所述摩尔纹去除层结构一致。
需要说明的是，为了进一步提高数据的安全性，避免数据被恶意篡改，摩尔纹去除模型可存储于区块链节点中。
由以上技术方案可以看出，本发明基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层，能够联合关注的子空间和特征子空间，增大感受野，更加关注于全局模式，使摩尔纹去除的范围更大，去除效果更好，同时，通过注意力机制能够关注于更多的有用特征，调整整个网络的关注点，根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络，获取源域的数据构建第一训练样本，并利用所述第一训练样本训练所述初始网络，直至所述初始网络的损失函数达到收敛，停止训练，得到第一网络，保证了网络对于所述源域中的图像的去除摩尔纹性能，构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络，使网络同时具备注意力机制的属性及领域自适应网络的属性，在相同的计算量下，参数量更少，但是精确度更高，获取目标域的数据，并根据所述目标域的数据及所述第一训练样本构建第二训练样本，根据所述初始网络的损失函数构建目标损失函数，利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型，结合数据量充足的源域中的数据及数据量缺乏的目标域中的数据进行迁移训练，保留了原有网络的有效信息，解决了样本量不够导致模型训练效果不佳的问题，获取待处理图像，将所述待处理图像输入至所述摩尔纹去除模型，并获取所述摩尔纹去除模型的输出作为目标图像，结合人工智能手段得到的所述目标图像是与所述待处理图像相对应的没有摩尔纹的图像，且模型的泛化能力更强、精度更高。
上述基于神经网络的摩尔纹去除装置可以实现为计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。
请参阅图3，图3是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
参阅图3，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于神经网络的摩尔纹去除方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于神经网络的摩尔纹去除方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于神经网络的摩尔纹去除方法。
本领域技术人员可以理解，图3中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图3所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质，也可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于神经网络的摩尔纹去除方法。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
本发明可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于神经网络的摩尔纹去除方法，其特征在于，包括：
基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层；
根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络；
获取源域的数据构建第一训练样本，并利用所述第一训练样本训练所述初始网络，直至所述初始网络的损失函数达到收敛，停止训练，得到第一网络；
构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络；
获取目标域的数据，并根据所述目标域的数据及所述第一训练样本构建第二训练样本；
根据所述初始网络的损失函数构建目标损失函数；
利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型；
获取待处理图像，将所述待处理图像输入至所述摩尔纹去除模型，并获取所述摩尔纹去除模型的输出作为目标图像。
2.根据权利要求1所述的基于神经网络的摩尔纹去除方法，其特征在于，所述基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层包括：
获取密集卷积层，并将所述密集卷积层中的3*3膨胀卷积替换为所述自注意力增强卷积结构，得到目标密集卷积层；
依次连接一个目标密集卷积层、基于所述自注意力增强卷积结构构建的第一自注意力增强卷积结构、反离散余弦变换层、基于所述自注意力增强卷积结构构建的第二自注意力增强卷积结构及特征比例调整层，得到所述摩尔纹去除层；其中，在所述摩尔纹去除层中，将所述特征比例调整层的输出与所述摩尔纹去除层的输入相加，得到所述摩尔纹去除层的输出；
基于所述自注意力增强卷积结构构建2*2步长的第三自注意力增强卷积结构，依次连接所述第三自注意力增强卷积结构、全局平均池化层及首尾相连的三个全连接层，得到第一分支，依次连接第一1*1卷积层及第一激活层，得到第二分支，将所述第一分支与所述第二分支的乘积输入至首尾相连的第二1*1卷积层及第二激活层，得到所述第一色调映射层；
依次连接一个目标密集卷积层、第三1*1卷积层及第三激活层，得到所述第二色调映射层。
3.根据权利要求1所述的基于神经网络的摩尔纹去除方法，其特征在于，所述方法还包括：
在所述自注意力增强卷积结构中，将输入特征转化为特征矩阵；
对于所述自注意力增强卷积结构中的每头自注意力，对所述特征矩阵进行2D卷积处理，得到通道特征；
对所述通道特征进行切分变换，得到查询参数、索引参数及数值参数；
计算所述索引参数与头数的商，得到目标常数；
计算所述特征矩阵与所述查询参数的乘积，得到第一特征；
计算所述特征矩阵与所述索引参数的乘积的转置，得到第二特征；
计算所述特征矩阵与所述数值参数的乘积，得到第三特征；
计算所述第一特征、所述第二特征、所述第三特征的乘积，并计算所述乘积与所述目标常数的算数平方根的商，得到第四特征；
利用softmax函数处理所述第四特征，得到所述自注意力增强卷积结构中每头自注意力的输出；
拼接所述自注意力增强卷积结构中每头自注意力的输出，并对拼接后得到的特征进行维度转换，得到转换特征；
对所述转换特征进行1*1卷积操作，得到自注意力增强过程的第一输出，其中，所述第一输出对应的通道数为所述数值参数；
对所述输入特征进行卷积处理，得到第二输出，其中，所述第二输出对应的通道数为原始通道数与所述数值参数的差；
对所述第一输出及所述第二输出进行并接处理，得到所述自注意力增强卷积结构的输出。
4.根据权利要求1所述的基于神经网络的摩尔纹去除方法，其特征在于，所述根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络包括：
对第四1*1卷积层、第四激活层、一个第一色调映射层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第一子网络；
连接一个3*3卷积层及一个摩尔纹去除层，得到第一子层，对第五1*1卷积层、第五激活层、一个第一色调映射层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第二子层，连接所述第一子层及所述第二子层，得到第二子网络；
对一个3*3卷积层、一个摩尔纹去除层、一个第一色调映射层、一个第二色调映射层、一个3*3卷积层及一个像素重组上采样层依次进行首尾相连，得到第三子网络；
对一个像素重组下采样层、一个3*3卷积层、第六激活层及一个摩尔纹去除层依次进行首尾相连，得到第四子网络；
将所述第四子网络的输出确定为所述第一子层的输入，得到所述第一子层的输出；
将所述第一子层的输出确定为所述第三子网络的输入，得到所述第三子网络的输出；
并接所述第三子网络的输出与所述第一子层的输出，并将并接后得到的特征确定为所述第二子层的输入，得到所述第二子网络的输出；
并接所述第二子网络的输出与所述第四子网络的输出，并将并接后得到的特征确定为所述第一子网络的输入，得到所述初始网络。
5.根据权利要求4所述的基于神经网络的摩尔纹去除方法，其特征在于，所述构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络包括：
对预设的梯度逆转层、一个3*3卷积层及一个域分类层进行首尾连接，得到所述领域自适应网络；其中，所述预设的梯度逆转层的输出为预设值与梯度的乘积，所述域分类层中包括一个全连接层及一个损失函数层；
获取一个领域自适应网络作为第一领域自适应网络，及获取一个领域自适应网络作为第二领域自适应网络；
将所述第四子网络中的所述第六激活层的输出连接至所述第一领域自适应网络的输入，及将所述第四子网络的输出连接至所述第二领域自适应网络的输入，得到所述第二网络。
6.根据权利要求5所述的基于神经网络的摩尔纹去除方法，其特征在于，所述根据所述初始网络的损失函数构建目标损失函数包括：
获取所述初始网络的损失作为第一损失；
获取所述第一领域自适应网络中域分类层的损失作为第二损失；
获取所述第二领域自适应网络中域分类层的损失作为第三损失；
计算所述第二损失及所述第三损失的和作为域分类损失；
计算所述域分类损失与配置参数的乘积作为第四损失；
计算所述第一损失与所述第四损失的差，得到所述目标损失函数。
7.根据权利要求5所述的基于神经网络的摩尔纹去除方法，其特征在于，所述利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型包括：
在训练过程中，冻结所述第一子网络、所述第二子网络及所述第三子网络的权重，并利用所述第二训练样本训练所述第四子网络、所述第一领域自适应网络及所述第二领域自适应网络的权重；
当所述目标损失函数达到收敛时，停止训练，得到所述摩尔纹去除模型。
8.一种基于神经网络的摩尔纹去除装置，其特征在于，包括：
构建单元，用于基于预设的自注意力增强卷积结构构建摩尔纹去除层、第一色调映射层及第二色调映射层；
所述构建单元，还用于根据所述摩尔纹去除层、所述第一色调映射层及所述第二色调映射层构建初始网络；
训练单元，用于获取源域的数据构建第一训练样本，并利用所述第一训练样本训练所述初始网络，直至所述初始网络的损失函数达到收敛，停止训练，得到第一网络；
添加单元，用于构建领域自适应网络，并将所述领域自适应网络添加至所述第一网络，得到第二网络；
所述构建单元，还用于获取目标域的数据，并根据所述目标域的数据及所述第一训练样本构建第二训练样本；
所述构建单元，还用于根据所述初始网络的损失函数构建目标损失函数；
所述训练单元，还用于利用所述第二训练样本，并基于所述目标损失函数训练所述第二网络，得到摩尔纹去除模型；
去除单元，用于获取待处理图像，将所述待处理图像输入至所述摩尔纹去除模型，并获取所述摩尔纹去除模型的输出作为目标图像。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于神经网络的摩尔纹去除方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于神经网络的摩尔纹去除方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012878.3A CN113723516B (zh) | 2021-08-31 | 2021-08-31 | 基于神经网络的摩尔纹去除方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012878.3A CN113723516B (zh) | 2021-08-31 | 2021-08-31 | 基于神经网络的摩尔纹去除方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723516A true CN113723516A (zh) | 2021-11-30 |
| CN113723516B CN113723516B (zh) | 2024-05-14 |
Family
ID=78679841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111012878.3A Active CN113723516B (zh) | 2021-08-31 | 2021-08-31 | 基于神经网络的摩尔纹去除方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723516B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972130A (zh) * | 2022-08-02 | 2022-08-30 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558794A (zh) * | 2018-10-17 | 2019-04-02 | 平安科技（深圳）有限公司 | 基于摩尔纹的图像识别方法、装置、设备和存储介质 |
| CN110287969A (zh) * | 2019-06-14 | 2019-09-27 | 大连理工大学 | 基于图残差注意力网络的摩尔文本图像二值化系统 |
| CN111489300A (zh) * | 2020-03-11 | 2020-08-04 | 天津大学 | 基于无监督学习的屏幕图像去摩尔纹方法 |
| CN111583129A (zh) * | 2020-04-09 | 2020-08-25 | 天津大学 | 基于卷积神经网络AMNet的屏摄图像摩尔纹去除方法 |
| CN113066027A (zh) * | 2021-03-31 | 2021-07-02 | 天津大学 | 面向Raw域的屏摄图像摩尔纹去除方法 |
-
2021
- 2021-08-31 CN CN202111012878.3A patent/CN113723516B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558794A (zh) * | 2018-10-17 | 2019-04-02 | 平安科技（深圳）有限公司 | 基于摩尔纹的图像识别方法、装置、设备和存储介质 |
| CN110287969A (zh) * | 2019-06-14 | 2019-09-27 | 大连理工大学 | 基于图残差注意力网络的摩尔文本图像二值化系统 |
| CN111489300A (zh) * | 2020-03-11 | 2020-08-04 | 天津大学 | 基于无监督学习的屏幕图像去摩尔纹方法 |
| CN111583129A (zh) * | 2020-04-09 | 2020-08-25 | 天津大学 | 基于卷积神经网络AMNet的屏摄图像摩尔纹去除方法 |
| CN113066027A (zh) * | 2021-03-31 | 2021-07-02 | 天津大学 | 面向Raw域的屏摄图像摩尔纹去除方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972130A (zh) * | 2022-08-02 | 2022-08-30 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
| CN114972130B (zh) * | 2022-08-02 | 2022-11-18 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723516B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Patch diffusion: Faster and more data-efficient training of diffusion models | |
| Chang et al. | Spatial-adaptive network for single image denoising | |
| CN109949219B (zh) | 一种超分辨率图像的重构方法、装置及设备 | |
| DE102012216029A1 (de) | Ein skalierbares anpassungsfähiges map-reduce-rahmenwerk mit verteilten daten | |
| CN112258625B (zh) | 基于注意力机制的单幅图像到三维点云模型重建方法及系统 | |
| CN111738276A (zh) | 基于多核卷积神经网络的图像处理方法、装置及设备 | |
| Zhu et al. | Commutative lie group vae for disentanglement learning | |
| CN114863539A (zh) | 一种基于特征融合的人像关键点检测方法及系统 | |
| CN114896067A (zh) | 任务请求信息的自动生成方法、装置、计算机设备及介质 | |
| CN113723516A (zh) | 基于神经网络的摩尔纹去除方法、装置、设备及介质 | |
| CN113298931B (zh) | 一种物体模型的重建方法、装置、终端设备和存储介质 | |
| CN113313625B (zh) | 水墨画艺术风格转换方法、系统、计算机设备及存储介质 | |
| Liu et al. | Wtfm layer: An effective map extractor for unsupervised shape correspondence | |
| Lu et al. | App-net: Auxiliary-point-based push and pull operations for efficient point cloud classification | |
| CN115865607A (zh) | 一种分布式训练的计算节点管理方法及相关装置 | |
| US11645784B1 (en) | Techniques for detecting and classifying relevant changes | |
| Molnár et al. | Representation learning for point clouds with variational autoencoders | |
| CN112785498B (zh) | 一种基于深度学习的病理图像超分建模方法 | |
| CN114596203A (zh) | 用于生成图像和用于训练图像生成模型的方法和装置 | |
| CN113505885A (zh) | 基于预设的损失函数的单目深度估计网络的训练方法 | |
| CN114913305A (zh) | 模型处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN114140340A (zh) | 图像数据的伪影处理方法及装置、存储介质、终端 | |
| Ciurana et al. | Hybrid cosine based convolutional neural networks | |
| CN114782672B (zh) | 一种点云位姿调整方法及装置 | |
| De Vita et al. | Parameterization learning with convolutional neural networks for gridded data fitting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |