CN114757844A - 一种图像摩尔纹消除方法及装置 - Google Patents
一种图像摩尔纹消除方法及装置 Download PDFInfo
- Publication number
- CN114757844A CN114757844A CN202210417960.2A CN202210417960A CN114757844A CN 114757844 A CN114757844 A CN 114757844A CN 202210417960 A CN202210417960 A CN 202210417960A CN 114757844 A CN114757844 A CN 114757844A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- neural network
- module
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000008030 elimination Effects 0.000 title claims abstract description 22
- 238000003379 elimination reaction Methods 0.000 title claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 146
- 238000013101 initial test Methods 0.000 claims abstract description 80
- 230000008859 change Effects 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 89
- 238000012549 training Methods 0.000 claims description 61
- 238000011176 pooling Methods 0.000 claims description 42
- 230000007547 defect Effects 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 27
- 238000011084 recovery Methods 0.000 claims description 25
- 230000009467 reduction Effects 0.000 claims description 20
- 238000002156 mixing Methods 0.000 claims description 16
- 238000011478 gradient descent method Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 210000002569 neuron Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像摩尔纹消除方法及装置，用于在保留图像中细节和纹理信息的情况下消除图像中的摩尔纹。本申请实施例方法包括：获取初始测试样本集；获取初始神经网络模型；从所述初始测试样本集中随机选取样本通过所述初始神经网络模型输出第一样本图像；将所述第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据；判断所述损失值变化数据在预设区间的损失值是否小于预设阈值；若所述损失值变化数据在预设区间的损失值小于预设阈值，则确定消除摩尔纹效果达到预设要求，并确定所述初始神经网络模型为目标神经网络模型。
Description
技术领域
本申请实施例涉及图像处理领域，尤其涉及一种图像摩尔纹消除方法及装置。
背景技术
数码相机等设备上的感光元件，其表面的三原色滤镜呈规则排布，因此，在遇到条纹空间频率相近的拍摄对象时，就会出现摩尔纹效应，例如，针织布料的拍摄图像、LED屏幕的屏摄图像等，摩尔纹的存在影响了样张的成像效果。就目前来说，避免或减少摩尔纹的技术和方式有三类：滤波法、精确插值法和专业图像处理软件。
滤波法：通过引用模糊成像的方式来降低摩尔纹干扰，即利用两片光学低通滤镜将光信号在两个方向上分别分开，一束光线被分成四束光路，使得光学分辨率低于对应感光元件的二倍像素频率，降低了图像锐度，从而降低摩尔纹干扰，该方法虽然能够在拍摄中避免摩尔纹的发生，但以降低图像锐度为代价，会丢失图像中部分细节和纹理信息。精确插值法：在相机内部图像传感器的感光器阵列的表面覆盖一层彩色滤波阵列，每个像素点捕获红R、绿G、蓝B三种色彩中的一个像素值，然后利用其周围像素点的信息估计出缺失的另外两种颜色的像素值，得到全彩色图像。优点是可以降低图像传感器的采样频率，缺点是会增加在数字成像过程中摩尔纹的出现概率。专业图像处理软件：人为通过图像的后期处理软件对图像进行摩尔纹消除，人为消除存在主观性、随意性、效率低等缺点，且自动化程度不高，软件只能对图像中的摩尔纹部分消除。
综上所述，就目前来说，无法在保留图像中细节和纹理信息的情况下对图像中的摩尔纹进行消除。
发明内容
本申请实施例提供了一种图像摩尔纹消除方法及装置，用于在保留图像中细节和纹理信息的情况下消除图像中的摩尔纹。
本申请在第一方面提供了一种图像摩尔纹消除方法，包括：
获取初始测试样本集，所述初始测试样本集包含存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏面板图像；
获取初始神经网络模型，所述初始神经网络模型包括Dense模块、Trans模块以及恢复重构模块，所述Dense模块由至少两组BN层-Relu层-Conv层和Res残差网络组成，所述BN层-Relu层-Conv层中每一层的输出都作为下一个BN层-Relu层-Conv层的输入，所述恢复重构模块由Up_sample子模块、Up_conv子模块和Conv_out子模块连接组成；
从所述初始测试样本集中随机选取样本通过所述初始神经网络模型输出第一样本图像，包括：
将所述初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征；
将所述第一样本特征通过所述Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征；
将所述第二样本特征通过所述Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征；
将所述第三样本特征通过所述Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征；
将所述第四样本特征通过所述Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；
将所述第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，所述损失值变化数据为每一次训练所述初始神经网络模型时统计的损失值数据；
判断所述损失值变化数据在预设区间的损失值是否小于预设阈值；
若所述损失值变化数据在预设区间的损失值小于预设阈值，则确定消除摩尔纹效果达到预设要求，并确定所述初始神经网络模型为目标神经网络模型。
可选的，所述将所述初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征，包括：
将所述初始测试样本集中随机选取样本进行特征提取处理，并通过所述Dense模块进行通道叠加所述特征，生成第一样本特征。
可选的，所述Trans模块包括通道混合子模块和全局平均池化子模块；
所述将所述第一样本特征通过所述Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征，具体包括：
将所述第一样本特征通过所述全局平均池化子模块进行池化降维处理，并输出对应通道的平均池化数据；
将各个通道的平均池化数据通过所述通道混合子模块进行通道混洗处理，生成第二样本特征。
可选的，所述判断所述损失值变化数据在预设区间的损失值是否小于预设阈值之后，所述图像摩尔纹消除方法还包括：
若所述损失值变化数据在预设区间的损失值不小于预设阈值，则判断训练次数是否达到预设值；
若确定训练次数达到预设值，则通过小批梯度下降法更新所述初始神经网络模型的权重值，并将所述初始测试样本集重新输入所述初始神经网络模型中进行训练。
可选的，所述判断训练次数是否达到预设值之后，所述图像摩尔纹消除方法还包括：
若确定训练次数未达到预设值，则通过小批梯度下降法更新所述初始神经网络模型的权重值，并从所述初始测试样本集中重新选取训练样本输入所述初始神经网络模型中训练。
可选的，所述获取初始测试样本集，包括：
以垂直方向拍摄显示屏集合，以生成初始样本集，所述显示屏集合包括存在摩尔纹缺陷和不存在摩尔纹缺陷图像的显示屏；
对所述初始样本集内的样本进行预处理，以生成初始测试样本集，所述预处理包括图像的裁剪处理、缩放处理、对齐矫正以及数据增强。
可选的，所述确定所述初始神经网络模型训练为目标神经网络模型之后，所述图像摩尔纹消除方法还包括：
获取待检测显示屏面板图像；
将所述待检测显示屏面板图像输入所述目标神经网络模型，以输出重构后的所述待检测显示屏面板图像的无摩尔纹图像。
本申请从第二方面提供了一种图像摩尔纹消除装置，包括：
第一获取单元，用于获取初始测试样本集，所述初始测试样本集包含存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏面板图像；
第二获取单元，用于获取初始神经网络模型，所述初始神经网络模型包括Dense模块、Trans模块以及恢复重构模块，所述Dense模块由至少两组BN层-Relu层-Conv层和Res残差网络组成，所述BN层-Relu层-Conv层中每一层的输出都作为下一个BN层-Relu层-Conv层的输入，所述恢复重构模块由Up_sample子模块、Up_conv子模块和Conv_out子模块连接组成；
第一输出单元，用于从所述初始测试样本集中随机选取样本通过所述初始神经网络模型输出第一样本图像：
所述第一输出单元，包括：
第一生成子单元，用于将所述初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征；
第二生成子单元，用于将所述第一样本特征通过所述Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征；
第三生成子单元，用于将所述第二样本特征通过所述Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征；
第四生成子单元，用于将所述第三样本特征通过所述Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征；
第五生成子单元，用于将所述第四样本特征通过所述Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；
损失值计算单元，用于将所述第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，所述损失值变化数据为每一次训练所述初始神经网络模型时统计的损失值数据；
第一判断单元，用于判断所述损失值变化数据在预设区间的损失值是否小于预设阈值；
第一确定单元，用于当所述第一判断单元确定所述损失值变化数据在预设区间的损失值小于预设阈值时，则确定消除摩尔纹效果达到预设要求，并确定所述初始神经网络模型为目标神经网络模型。
可选的，所述第一生成子单元，具体为：
将所述初始测试样本集中随机选取样本进行特征提取处理，并通过所述Dense模块进行通道叠加所述特征，生成第一样本特征。
可选的，所述Trans模块包括通道混合子模块和全局平均池化子模块；
所述第二生成子单元，具体为：
将所述第一样本特征通过所述全局平均池化子模块进行池化降维处理，并输出对应通道的平均池化数据；
将各个通道的平均池化数据通过所述通道混合子模块进行通道混洗处理，生成第二样本特征。
可选的，所述图像摩尔纹消除装置还包括：
第二判断单元，用于当所述第一判断单元确定所述损失值变化数据在预设区间的损失值不小于预设阈值时，则判断训练次数是否达到预设值；
第二确定单元，用于当所述第二判断单元确定训练次数达到预设值时，则通过小批梯度下降法更新所述初始神经网络模型的权重值，并将所述初始测试样本集重新输入所述初始神经网络模型中进行训练。
可选的，所述图像摩尔纹消除装置还包括：
第三确定单元，用于当所述第二判断单元确定训练次数未达到预设值时，则通过小批梯度下降法更新所述初始神经网络模型的权重值，并从所述初始测试样本集中重新选取训练样本输入所述初始神经网络模型中训练。
可选的，所述第一获取单元，具体用于以垂直于显示屏方向拍摄显示屏集合，以生成初始样本集，所述显示屏集合包括存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏；还用于对所述初始样本集内的样本进行预处理，以生成初始测试样本集，所述预处理包括图像的裁剪处理、缩放处理、对齐矫正以及数据增强。
可选的，所述图像摩尔纹消除装置还包括：
第三获取单元，用于获取待检测显示屏面板图像；
摩尔纹消除单元，用于将所述待检测显示屏面板图像输入所述目标神经网络模型，以输出重构后的所述待检测显示屏面板图像的无摩尔纹图像。
本申请从第三方面提供了一种电子设备，其特征在于，包括：
处理器、存储器、输入输出单元、总线；
处理器与存储器、输入输出单元以及总线相连；
存储器保存有程序，处理器调用程度以执行如第一方面以及第一方面的任意可选的图像摩尔纹消除方法。
本申请在第四方面提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时如第一方面以及第一方面任意可选的图像摩尔纹消除方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请提供了一种图像摩尔纹消除方法，首先需要获取到初始测试样本集，以及初始神经网络模型，将该初始测试样本集中选取样本通过该初始神经网络模型输出第一样本图像，再将该第一样本图像和相应标准图像的对应像素进行损失值计算，根据生成的损失值变化数据确定预设区间的损失值小于预设阈值时，则确定消除摩尔纹效果达到预设要求，并确定该初始神经网络模型为目标神经网络模型，即确定该初始神经网络模型训练完成。其中，该初始神经网络模型包含了Dense模块、Trans模块以及恢复重构模块，可以将摩尔纹缺陷的图像在保持自身的细节和纹理信息的同时，将图像中的摩尔纹消除掉。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请中图像摩尔纹消除方法的一种实施例流程示意图；
图2为本申请中神经网络模型的结构示意图；
图3-1及图3-2为本申请中图像摩尔纹消除方法的另一实施例流程示意图；
图4为本申请中神经网络模型的网络层的一个实施例流程示意图；
图5为本申请中神经网络模型的网络层的另一实施例流程示意图；
图6为本申请中神经网络模型的网络层的另一实施例流程示意图；
图7为本申请中图像摩尔纹消除装置的一种实施例结构示意图；
图8为本申请中图像摩尔纹消除装置的另一实施例结构示意图；
图9为本申请中电子设备的一个实施例结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当……时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在现有技术中，存在滤波法、精确插值法和专业图像处理软件来将避免图像中的摩尔纹或减少图像中的摩尔纹，在滤波法中，是通过引用模糊成像的方式来避免在拍摄过程中出现摩尔纹的干扰的，然而，在模糊成像的过程中，光学分辨率会低于拍摄设备对应感光元件的二倍像素频率，此时图像锐度会被降低，从而丢失图像中的部分细节或纹理信息；在精确插值法中，可以在RGB通道中分别捕获一个像素值，然后利用其周围像素点的信息估计出缺失的另外两种颜色的像素值，得到全彩色图像，虽然可以降低采样频率来优化图像，但该图像在数字成像过程中摩尔纹的出现概率会增加；人为通过图像的后期处理软件对图像进行的摩尔纹消除存在主观性、随意性、效率低等缺点。
基于此，本申请公开了一种图像摩尔纹消除方法及装置，通过在神经网络模型中设置Dense模块、Trans模块、特征通道拼接模块、通道混合模块以及恢复重构模块的网络，用于适配不同尺寸的图像在保持自身的细节和纹理信息的同时，达到消除图像中的摩尔纹的目的。
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的方法可以应用于服务器、设备、终端或者其它具备逻辑处理能力的设备，对此，本申请不作限定。为方便描述，下面以执行主体为终端为例进行描述。
请参阅图1，如图1所示，本申请提供了图像摩尔纹消除方法的一个实施例，包括：
101、获取初始测试样本集，初始测试样本集包含存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏面板图像；
终端首先需要获取用于训练初始神经网络模型的初始测试样本集，该初始测试样本集中包含多张存在摩尔纹缺陷的显示屏面板图像以及多张没有摩尔纹缺陷的显示屏面板图像，用于对初始神经网络模型进行训练。
设备上的感光元件出现的高频干扰，会使图片出现彩色的高频率条纹，这些高频率条纹称为摩尔纹。由于摩尔纹是不规则的，所以并没有明显的形状规律。在本申请实施例中，获取初始测试样本集的方式可以是从网络收集多张存在摩尔纹缺陷的显示屏面板图像，也可以是从生产场地现场拍摄带有摩尔纹缺陷的显示屏而生成的图像，此处不作限定。下面对初始测试样本集的获取步骤进行举例说明：
首先采集多种摩尔纹缺陷的显示屏面板图像，以使得初始测试样本的类型丰富充足。摩尔纹缺陷的类型包括但不限于龟纹、水波纹、彩色叠纹等。
102、获取初始神经网络模型；
在本申请实施例中，由终端获取初始神经网络模型。使用初始神经网络模型时，在进行一定的参数设置，以及一定程度的初始训练后，即可用于训练上述的初始测试样本集中的测试样本。
请参阅图2，如图2所示，在本申请实施例中，初始神经网络模型包括Dense模块、Trans模块以及恢复重构模块，Dense模块由至少两组BN层-Relu层-Conv层和Res残差网络组成，BN层-Relu层-Conv层中每一层的输出都作为下一个BN层-Relu层-Conv层的输入，恢复重构模块由Up_sample子模块、Up_conv子模块和Conv_out子模块连接组成。其中，Dense模块和Trans模块组成了初始神经网络模型中负责图像特征提取的分支，恢复重构模块中的Up_sample子模块则为初始神经网络模型中负责第一份特征恢复分支，恢复重构模块中的Up_conv子模块和Conv_out子模块组成了初始神经网络模型中的第二份特征恢复分支。
103、将初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征；
在本申请实施例中，在获取到初始神经网络模型以后，需要从初始测试样本集中随机选取一定数量的样本通过初始神经网络模型进行训练。
将初始测试样本集中随机选取样本进行卷积特征提取：终端通过初始神经网络模型中的图像特征提取的分支，对初始测试样本进行卷积特征提取，有效减小梯度消失现象，卷积特征提取后，可以将该卷积特征进行层层叠加，对提取到的特征进行融合，从而生成第一样本特征。需要说明的是，第一样本特征为具有多个通道的特征数据。
104、将第一样本特征通过Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征；
在本申请实施例中，在对初始测试样本集随机选取样本，进行卷积特征提取后，将生成的第一样本特征进行池化及特征通道混洗，以对第一样本特征进行下采样操作，使得特征层长宽减半，再将第一样本特征的各个特征通道打乱顺序，增加通道间的特征融合。
例如，假设第一样本特征为1024个经过排序输出的特征通道，通过将1024个特征通道分成8份，通过对第一样本特征进行全局平均池化作为下采样操作，以降低特征的维度并保留有效信息，一定程度上避免过拟合，再进一步将每一份通道的顺序进行重新组合，使得特征通道输出的特征图中的特征充分融合。
105、将第二样本特征通过Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征；
在本申请实施例中，生成第二样本特征后，终端将第二样本特征通过Up_sample子模块进行处理，再进行DropBlock生成第三样本特征。具体的，对纵向输入的特征图进行双线性插值强化图像，即使输入特征图的长宽加倍；使用通道降维对特征通道进行池化，使得特征通道的通道数减半，其中，本申请实施例中的特征通道降维可以采用Channel Pooling的降维方法，在通道方向上进行池化，例如，1份，每份为所有通道；2份，每份为1/2所有通道；4份，每份为1/4所有通道；每一份里面，各个通道的对应位置元素进行池化操作；纵向输入的特征图和横向输入的特征图按特征通道进行叠加，再进行DropBlock处理，以从输入的特征图中删除单元来防止过拟合，生成第三样本特征。
106、将第三样本特征通过Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征；
在本申请实施例中，终端将第三样本特征通过Up_conv子模块进行反卷积操作来进行上采样，进行特征通道的叠加处理，以达到不同通道的混合效果，再进行DropBlock生成第四样本特征。
107、将第四样本特征通过Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；
在本申请实施例中，生成第四样本特征后，需要将第四样本特征的图恢复成和输入的初始测试样本图一样大小的3通道图片，因此，将第四样本特征送入Conv_out子模块，通过反卷积，将反卷积后的每个特征通道分别进行3*3卷积操作，最后将结果结合。
108、将第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，损失值变化数据为每一次训练初始神经网络模型时统计的损失值数据；
在本申请实施例中，所指的标准图像为相应样本图像的标准无摩尔纹原图，该标准无摩尔纹原图可以以任意方式处理对应的带摩尔纹的图像得到，作用是参照对比。终端将通过初始神经网络模型输出的第一样本图像与其对应的标准图像进行损失值计算，生成损失值变化数据。
初始神经网络模型中的全连接层用于通过对显示屏的测试样本的学习分析得到的特征的权重，表征该特征的重要性程度。而初始神经网络模型中的各个模块主要用于特征提取、过滤特征以及特征融合等操作，筛选出类别区分能力强的特征，对特征进行组合，生成特征图，最后通过损失函数计算生成测试样本的回归损失。
均方误差函数(MSE，MeanSquaredError)，计算的是目标变量与预测值之间距离平方之和，目标是提取特征图推理一致性。当数据中出现一个误差较小的理想值时，MSE会产生一个非常小的损失和梯度，通过得到的值再进行反向梯度计算，以更新初始神经网络模型的权重值。
109、判断损失值变化数据在预设区间的损失值是否小于预设阈值；
终端判断损失值变化数据在预设区间内的损失值是否小于预设阈值，例如：当训练次数达到了10万次时，需要获取最近10000次的损失值数据，并判断这10000次损失值是否都小于预设阈值0.0001，如果小于，则执行步骤110。
110、确定消除摩尔纹效果达到预设要求，并确定初始神经网络模型为目标神经网络模型。
在本申请实施例中，当终端确定损失值变化数据在预设区间内都小于预设阈值时，则可以确定消除摩尔纹效果达到预设要求，该初始神经网络模型训练完成，终端确定该训练完成的初始神经网络模型为目标神经网络模型，可以进入设计场景应用。
在本申请实施例中，终端在获取到初始测试样本以及初始神经网络模型后，在初始测试样本集中随机选取样本，通过初始神经网络模型中的dense模块进行卷积特征提取处理，生成第一样本特征，以减小梯度消失现象；然后第一样本特征通过Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征，以避免过拟合；接着第二样本特征通过Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征，以从输入的特征图中删除单元来防止过拟合；将第三样本特征通过Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征后，将第四样本特征通过Conv_out子模块进行反卷积处理，以将对应特征图恢复成与输入的初始测试样本图一样大小的3通道图片后，初始神经网络模型输出第一样本图像，至此，将第一样本图像和相应标准图像的对应像素进行MSE损失值计算，直至损失值变化数据在预设区间内的损失值小于预设阈值时，确定消除摩尔纹结果达到预设要求，该初始神经网络模型完成训练，成为目标神经网络模型。本技术方案通过在神经网络模型中设置的Dense模块、Trans模块、特征通道拼接模块、通道混合模块以及恢复重构模块，减少了训练过程中的过拟合现象，降低了初始神经网络模型的训练时间，训练好的目标神经网络模型可以在适配不同尺寸的图像在保持自身的细节和纹理信息的同时，达到消除输入模型的图像中的摩尔纹的目的。
请参阅图3-1至图3-2，图3-1至图3-2为一个完整的实施例流程。即，如图3-1至图3-2所示，本申请提供了图像摩尔纹消除方法的另一个实施例，包括：
201、以垂直于显示屏方向拍摄显示屏集合，以生成初始样本集，显示屏集合包括存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏；
202、对初始样本集内的样本进行预处理，以生成初始测试样本集，预处理包括图像的裁剪处理、缩放处理、对齐矫正以及数据增强；
在本申请实施例中，为了保证图像的完整度，垂直于显示屏方向拍摄得到显示屏集合，以生成初始样本集，将初始样本送入初始神经网络模型进行训练前，需要对初始样本集内的样本进行一定程度的预处理，以生成初始测试样本集。
例如，获取到显示屏集合后，可以通过高分辨率的工业相机拍照获取该显示屏集合中各个显示屏的高清照片，通过裁剪处理将包含有显示屏以外的背景部分去除，以避免该背景部分可能会对初始神经网络的训练及检测带来的影响。
又例如，把得到的摩尔纹图片和相应的标准图像进行对齐矫正，使得相应标准图像和拍照图大小一致，内容位置尽量吻合即各像素尽量对齐。
再例如，初始神经网络模型在训练时需要大量的样本图片，通过从大量样本中学习到的数据特征进行建模，但有些时候数据集并不是那么充分且通过拍照增加样本数据集需要额外的时间人力成本，因此，需要通过数据增强方式人为“增加”样本数据，数据增强包括对照片进行旋转、偏移、镜像、裁剪、拉伸、灰度变换等图像操作，使得新图片和原图“看起来”不一样，一定意义上生成了新的图片，扩充了数据集。需要对原图和拍照图做同样的操作。
203、获取初始神经网络模型；
本实施例中的步骤203与前述实施例中步骤102类似，此处不再赘述。
204、将初始测试样本集中随机选取样本进行特征提取处理，并通过Dense模块进行通道叠加特征，生成第一样本特征；
具体的，顺序设置4组Dense模块对初始测试样本进行卷积特征提取，每次通过Dense模块，都能够将前一次特征的总和进行通道叠加，即每个BN层-Relu层-Conv层的输入都加上前面BN层-Relu层-Conv层的输出，使得较前面的特征信息可以较好的传递到后面的卷积层，按通道叠加对提取到的特征进行融合，生成第一样本特征，有效减小梯度消失现象。
205、将第一样本特征通过全局平均池化子模块进行池化降维处理，并输出对应通道的平均池化数据；
206、将各个通道的平均池化数据通过通道混合子模块进行通道混洗处理，生成第二样本特征；
具体的，在Trans模块中，包含了全局平均池化子模块以及通道混合子模块，全局平均池化子模块用于给第一样本特征进行下采样操作，以降低特征的维度并保留有效特征信息；通道混合子模块则是用于将特征图的各个特征通道打乱顺序重新组合，以增加通道间的特征融合。第一样本特征经过这两个子模块处理后可生成第二样本特征。
207、将第二样本特征通过Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征；
208、将第三样本特征通过Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征；
209、将第四样本特征通过Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；
210、将第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，损失值变化数据为每一次训练初始神经网络模型时统计的损失值数据；
211、判断损失值变化数据在预设区间的损失值是否小于预设阈值，若是，则执行步骤212，若否，则执行步骤215；
212、确定消除摩尔纹效果达到预设要求，并确定初始神经网络模型为目标神经网络模型；
本实施例中的步骤207至步骤212与前述实施例中步骤105至步骤110类似，此处不再赘述。
213、获取待检测显示屏面板图像；
214、将待检测显示屏面板图像输入目标神经网络模型，以输出重构后的待检测显示屏面板图像的无摩尔纹图像；
在本申请实施例中，当初始神经网络模型训练完成后，即为目标神经网络模型，此时，可以使用该目标神经网络模型对真实图像进行测试。例如，终端获取符合输入模型规格要求的待检测显示屏面板图像，并将该待检测显示屏面板图像输入至目标神经网络模型中进行处理，以输出该待检测显示屏面板的无摩尔纹图像。
需要说明的是，训练好的目标神经网络模型，可以包括但不限于两种部署方式：一为通过pyinstaller软件将目标神经网络模型转换成.exe可执行文件，在客户现场通过软件调用该可执行文件来进行检测；二为使用C#编写AI软件界面，使用Libtorch框架将AI模型转换成torch script格式，封装成C++对外接口，通过C#软件调用AI模型的C++接口进行检测。
215、判断训练次数是否达到预设值，若是，则执行步骤216，若否，则执行步骤217；
216、通过小批梯度下降法更新初始神经网络模型的权重值，并将初始测试样本集重新输入初始神经网络模型中进行训练；
217、通过小批梯度下降法更新初始神经网络模型的权重值，并从初始测试样本集中重新选取训练样本输入初始神经网络模型中训练。
当终端确定损失值变化数据在预设区间的损失值不小于预设阈值时，则确定初始神经网络模型训练尚未完成。这时需要判断初始测试样本的训练次数是否达标，即当前的训练样本是否完成了预设次数的训练，若完成了，则执行步骤216，若还未完成，则执行步骤217。
在本申请实施例中，使用nesterov代替momentum的SGDM优化器以及Adam优化器。
在本申请实施例中，通过小批梯度下降法(mini-batch SGD)更新初始神经网络模型，其中，小批训练的梯度更新方式的公式为：
n是批量大小，η是学习率。
使用反向梯度求导，如图4所示，图4为一个初始神经网络模型网络层的示意图。
在图4中，左侧为第一层，也是输入层，输入层包含两个神经元a和b，中间为第二层，也是隐含层，隐含层包含两个神经元c和d。右侧为第三层，也是输出层，输出层包含e和f，每条线上标的
是层与层之间连接的权重。
W代表权重矩阵，Z代表输入矩阵，A代表输出矩阵，Y代表标准答案。
L代表卷积神经网络模型的层数。
向前传播的方法，即将输入层的信号传输至隐藏层，以隐藏层节点c为例，站在节点c上往后看(输入层的方向)，可以看到有两个箭头指向节点c，因此a，b节点的信息将传递给c，同时每个箭头有一定的权重，因此对于c节点来说，输入信号为：
同理，节点d的输入信号为：
由于终端善于做带有循环的任务，因此可以用矩阵相乘来表示：
Z2＝W1*A1+B2
所以，隐藏层节点经过非线性变换后的输出表示如下：
A2＝Re lu(Z2)
同理，输出层的输入信号表示为权重矩阵乘以上一层的输出：
Z3＝W2*A2+B3
同样，输出层节点经过非线性映射后的最终输出表示为：
A3＝Re lu(Z3)
输入信号在权重矩阵们的帮助下，得到每一层的输出，最终到达输出层。可见，权重矩阵在前向传播信号的过程中扮演着运输兵的作用，起到承上启下的功能。
请参阅图5，图5为一个初始神经网络模型网络层的另一示意图。向后传播的方法，既然梯度下降需要每一层都有明确的误差才能更新参数，所以接下来的重点是如何将输出层的误差反向传播给隐藏层。
其中输出层、隐藏层节点的误差如图5所示，输出层误差已知，接下来对隐藏层第一个节点c作误差分析。还是站在节点c上，不同的是这次是往前看(输出层的方向)，可以看到指向c节点的两个粗箭头是从节点e和节点f开始的，因此对于节点c的误差肯定是和输出层的节点e和f有关。输出层的节点e有箭头分别指向了隐藏层的节点c和d，因此，对于隐藏节点e的误差不能被隐藏节点c霸为己有，而是要服从按劳分配的原则(按权重分配)，同理节点f的误差也需服从这样的原则，因此对于隐藏层节点c的误差为：
同理，对于隐藏层节点d的误差为：
为了减少工作量，可写成矩阵相乘的形式：
该矩阵比较繁琐，可简化到前向传播的形式，不破坏它们的比例，因此我们可以忽略掉分母部分，所以重新成矩阵形式为：
该权重矩阵，其实是前向传播时权重矩阵w的转置，因此简写形式如下：
Eh＝WT*Eo
输出层误差在转置权重矩阵的帮助下，传递到了隐藏层，这样我们就可以利用间接误差来更新与隐藏层相连的权重矩阵。可见，权重矩阵在反向传播的过程中同样扮演着运输兵的作用，只不过这次是搬运的输出误差，而不是输入信号。
请参阅图6，图6为一个初始神经网络模型网络层的另一示意图。接下来需要进行链式求导，上面介绍了输入信息的前向传播与输出误差的后向传播，接下来就根据求得的误差来更新参数。
首先对隐藏层的w11进行参数更新，更新之前让我们从后往前推导，直到预见w11为止，计算方式如下：
因此误差对w11求偏导如下：
求导得如下公式(所有值已知)：
同理，误差对于w12的偏导如下：
同样，求导得w12的求值公式：
同理，误差对于偏置求偏导如下：
求导得如下公式(所有值已知)：
接着对输入层的w11进行参数更新，更新之前我们依然从后往前推导，直到预见第一层的w11为止：
因此误差对输入层的w11求偏导如下：
求导得如下公式：
同理，输入层的其他三个参数按照同样的方法即可求出各自的偏导，此处不做赘述。在每个参数偏导数明确的情况下，带入梯度下降公式即可：
至此，利用链式法则来对每层参数进行更新的任务已经完成。
SGDM动量算法在SGD基础上引入了动量ν充当速度角色，它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数移动平均。动量在物理上定义为质量乘以速度，这里我们假设是单位质量，因此速度m也看作是粒子的动量。
超参数γ∈[0,1)决定了之前梯度的贡献衰减得有多快，当γ＝1时，动量算法等价于小批量随机梯度下降。其更新公式为：
θt＝θt-1+mt
其中，mt为实际的参数更新方向，mt-1为上一步的参数更新方向，gt为当前梯度，θt为当前权值，θt-1为上一次的权值。
Nesterov动量与标准动量得区别体现在梯度计算上。Nesterov动量中，梯度计算在施加当前速度之后。
Nesterov是momentum算法得改进算法：Momentum保留了上一时刻的梯度gθt，对其没有进行任何改变，NAG是在梯度更新时做一个矫正。
在动量法中，实际的参数更新方向mt为上一步的参数更新方向mt-1和当前梯度gt的叠加。这样,mt可以被拆分为两步进行，先根据mt-1更新一次得到参数，再用gt进行更新。更新公式如下：
θt＝θt-1+mt
可选的方案是，在对初始神经网络模型训练的过程中，在更新了初始神经网络模型的权重之后，还可以把训练过程中获取到的初始测试样本的特征和概率分布进行模型保存，目的是在每一组训练样本的训练次数达标之后，保留一个模型，以使得在后续训练过程中出现泛化、过拟合等问题时，还可以使用原先保存下来的初始神经网络模型。
在本申请实施例中，训练好后的目标神经网络模型可以用于实现多尺寸检测以及适配不同尺寸大小的图像，在模型中通过融合不同深度卷积层的特征，较好地改善了多尺度问题，使得该神经网络能对不同大小形状的摩尔纹都有较好的检测率，提高了目标神经网络模型的检测精度以及消除摩尔纹的效率。
请参阅图7，如图7所示，本申请提供的图像摩尔纹消除装置的一个实施例，包括：
第一获取单元301，用于获取初始测试样本集，初始测试样本集包含存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏面板图像；
第二获取单元302，用于获取初始神经网络模型，初始神经网络模型包括Dense模块、Trans模块以及恢复重构模块，Dense模块由至少两组BN层-Relu层-Conv层和Res残差网络组成，BN层-Relu层-Conv层中每一层的输出都作为下一个BN层-Relu层-Conv层的输入，恢复重构模块由Up_sample子模块、Up_conv子模块和Conv_out子模块连接组成；
第一输出单元303，用于从初始测试样本集中随机选取样本通过初始神经网络模型输出第一样本图像：
第一输出单元303，包括：
第一生成子单元3031，用于将初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征；
第二生成子单元3032，用于将第一样本特征通过Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征；
第三生成子单元3033，用于将第二样本特征通过Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征；
第四生成子单元3034，用于将第三样本特征通过Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征；
第五生成子单元3035，用于将第四样本特征通过Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；
损失值计算单元304，用于将第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，损失值变化数据为每一次训练初始神经网络模型时统计的损失值数据；
第一判断单元305，用于判断损失值变化数据在预设区间的损失值是否小于预设阈值；
第一确定单元306，用于当第一判断单元305确定损失值变化数据在预设区间的损失值小于预设阈值时，则确定消除摩尔纹效果达到预设要求，并确定初始神经网络模型为目标神经网络模型。
在本申请实施例中，首先，第一获取单元301获取到存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏面板图像的初始测试样本集，第二获取单元302获取到初始神经网络模型，该初始神经网络模型包含Dense模块、Trans模块以及恢复重构模块，恢复重构模块由Up_sample子模块、Up_conv子模块和Conv_out子模块连接组成，然后，通过第一输出单元303从初始测试样本集中随机选取样本通过初始神经网络模型输出第一样本图像，具体的，在第一输出单元303中，通过第一生成子单元3031将初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征，该第一样本特征融合了不同深度卷积层的特征，可适用于对多尺度训练样本的训练，通过第二生成子单元3032将第一样本特征通过Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征，通过第三生成子单元3033将第二样本特征通过Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征，通过第四生成子单元3034将第三样本特征通过Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征，再通过第五生成子单元3035将第四样本特征通过Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；最后，在损失值计算单元304中将第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，当第一判断单元305确定损失值变化数据在预设区间的损失值小于预设阈值时，确定初始神经网络模型达到收敛，则第一确定单元306确定消除摩尔纹效果达到预设要求，并确定初始神经网络模型为目标神经网络模型。在本技术方案中，Trans模块和Dense模块实现了对样本中的特征提取及相关处理，其中，Dense模块由至少两组BN层-Relu层-Conv层和Res残差网络组成，BN层-Relu层-Conv层中每一层的输出都作为下一个BN层-Relu层-Conv层的输入，每一层的输入来自前面所有层的输出，使得较前面的特征信息可以较好的传递到后面的卷积层；通过Up_sample子模块、Up_conv子模块和Conv_out子模块对图像进行恢复重构，从而使得不同尺寸的图像在保持自身的细节和纹理信息的同时，实现对摩尔纹的消除处理。
请参阅图8，如图8所示，本申请提供的图像摩尔纹消除装置的另一个实施例，包括：
第一获取单元401，用于获取初始测试样本集，初始测试样本集包含存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏面板图像；
第二获取单元402，用于获取初始神经网络模型，初始神经网络模型包括Dense模块、Trans模块以及恢复重构模块，Dense模块由至少两组BN层-Relu层-Conv层和Res残差网络组成，BN层-Relu层-Conv层中每一层的输出都作为下一个BN层-Relu层-Conv层的输入，恢复重构模块由Up_sample子模块、Up_conv子模块和Conv_out子模块连接组成；
第一输出单元403，用于从初始测试样本集中随机选取样本通过初始神经网络模型输出第一样本图像：
第一输出单元403，包括：
第一生成子单元4031，用于将初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征；
第二生成子单元4032，用于将第一样本特征通过Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征；
第三生成子单元4033，用于将第二样本特征通过Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征；
第四生成子单元4034，用于将第三样本特征通过Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征；
第五生成子单元4035，用于将第四样本特征通过Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；
损失值计算单元404，用于将第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，损失值变化数据为每一次训练初始神经网络模型时统计的损失值数据；
第一判断单元405，用于判断损失值变化数据在预设区间的损失值是否小于预设阈值；
第一确定单元406，用于当第一判断单元405确定损失值变化数据在预设区间的损失值小于预设阈值时，则确定消除摩尔纹效果达到预设要求，并确定初始神经网络模型为目标神经网络模型；
第三获取单元407，用于获取待检测显示屏面板图像；
摩尔纹消除单元408，用于将待检测显示屏面板图像输入目标神经网络模型，以输出重构后的待检测显示屏面板图像的无摩尔纹图像；
第二判断单元409，用于当第一判断单元405确定损失值变化数据在预设区间的损失值不小于预设阈值时，则判断训练次数是否达到预设值；
第二确定单元410，用于当第二判断单元409确定训练次数达到预设值时，则通过小批梯度下降法更新初始神经网络模型的权重值，并将初始测试样本集重新输入初始神经网络模型中进行训练；
第三确定单元411，用于当第二判断单元409确定训练次数未达到预设值时，则通过小批梯度下降法更新初始神经网络模型的权重值，并从初始测试样本集中重新选取训练样本输入初始神经网络模型中训练。
可选的，第一生成子单元4031，具体为：
将初始测试样本集中随机选取样本进行特征提取处理，并通过Dense模块进行通道叠加特征，生成第一样本特征。
可选的，Trans模块包括通道混合子模块和全局平均池化子模块；
第二生成子单元4032，具体为：
将第一样本特征通过全局平均池化子模块进行池化降维处理，并输出对应通道的平均池化数据；
将各个通道的平均池化数据通过通道混合子模块进行通道混洗处理，生成第二样本特征。
可选的，第一获取单元401，具体用于以垂直于显示屏方向拍摄显示屏集合，以生成初始样本集，显示屏集合包括存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏；还用于对初始样本集内的样本进行预处理，以生成初始测试样本集，预处理包括图像的裁剪处理、缩放处理、对齐矫正以及数据增强。
请参阅图9，如图9所示，本申请从第三方面提供了一种电子设备，包括：
处理器901、存储器902、输入输出单元903、总线904；
处理器901与存储器902、输入输出单元903以及总线904相连；
处理器901具体执行如下操作：
获取初始测试样本集，初始测试样本集包含存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏面板图像；
获取初始神经网络模型，初始神经网络模型包括Dense模块、Trans模块以及恢复重构模块，Dense模块由至少两组BN层-Relu层-Conv层和Res残差网络组成，BN层-Relu层-Conv层中每一层的输出都作为下一个BN层-Relu层-Conv层的输入，恢复重构模块由Up_sample子模块、Up_conv子模块和Conv_out子模块连接组成；
从初始测试样本集中随机选取样本通过初始神经网络模型输出第一样本图像，包括：
将初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征；将第一样本特征通过Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征；将第二样本特征通过Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征；将第三样本特征通过Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征；将第四样本特征通过Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；
将第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，损失值变化数据为每一次训练初始神经网络模型时统计的损失值数据；
判断损失值变化数据在预设区间的损失值是否小于预设阈值；
若损失值变化数据在预设区间的损失值小于预设阈值，则确定消除摩尔纹效果达到预设要求，并确定初始神经网络模型为目标神经网络模型。
本申请实施例中，处理器901的功能与前述图1和图3所示实施例中的步骤对应，此处不做赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种图像摩尔纹消除方法，其特征在于，包括：
获取初始测试样本集，所述初始测试样本集包含存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏面板图像；
获取初始神经网络模型，所述初始神经网络模型包括Dense模块、Trans模块以及恢复重构模块，所述Dense模块由至少两组BN层-Relu层-Conv层和Res残差网络组成，所述BN层-Relu层-Conv层中每一层的输出都作为下一个BN层-Relu层-Conv层的输入，所述恢复重构模块由Up_sample子模块、Up_conv子模块和Conv_out子模块连接组成；
从所述初始测试样本集中随机选取样本通过所述初始神经网络模型输出第一样本图像，包括：
将所述初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征；
将所述第一样本特征通过所述Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征；
将所述第二样本特征通过所述Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征；
将所述第三样本特征通过所述Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征；
将所述第四样本特征通过所述Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；
将所述第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，所述损失值变化数据为每一次训练所述初始神经网络模型时统计的损失值数据；
判断所述损失值变化数据在预设区间的损失值是否小于预设阈值；
若所述损失值变化数据在预设区间的损失值小于预设阈值，则确定消除摩尔纹效果达到预设要求，并确定所述初始神经网络模型为目标神经网络模型。
2.根据权利要求1所述的图像摩尔纹消除方法，其特征在于，所述将所述初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征，包括：
将所述初始测试样本集中随机选取样本进行特征提取处理，并通过所述Dense模块进行通道叠加所述特征，生成第一样本特征。
3.根据权利要求2所述的图像摩尔纹消除方法，其特征在于，所述Trans模块包括通道混合子模块和全局平均池化子模块；
所述将所述第一样本特征通过所述Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征，具体包括：
将所述第一样本特征通过所述全局平均池化子模块进行池化降维处理，并输出对应通道的平均池化数据；
将各个通道的平均池化数据通过所述通道混合子模块进行通道混洗处理，生成第二样本特征。
4.根据权利要求3所述的图像摩尔纹消除方法，其特征在于，所述判断所述损失值变化数据在预设区间的损失值是否小于预设阈值之后，所述图像摩尔纹消除方法还包括：
若所述损失值变化数据在预设区间的损失值不小于预设阈值，则判断训练次数是否达到预设值；
若确定训练次数达到预设值，则通过小批梯度下降法更新所述初始神经网络模型的权重值，并将所述初始测试样本集重新输入所述初始神经网络模型中进行训练。
5.根据权利要求4所述的图像摩尔纹消除方法，其特征在于，所述判断训练次数是否达到预设值之后，所述图像摩尔纹消除方法还包括：
若确定训练次数未达到预设值，则通过小批梯度下降法更新所述初始神经网络模型的权重值，并从所述初始测试样本集中重新选取训练样本输入所述初始神经网络模型中训练。
6.根据权利要求1至5任一项所述的图像摩尔纹消除方法，其特征在于，所述获取初始测试样本集，包括：
以垂直于显示屏方向拍摄显示屏集合，以生成初始样本集，所述显示屏集合包括存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏；
对所述初始样本集内的样本进行预处理，以生成初始测试样本集，所述预处理包括图像的裁剪处理、缩放处理、对齐矫正以及数据增强。
7.根据权利要求1至5任一项所述的图像摩尔纹消除方法，其特征在于，所述确定所述初始神经网络模型训练为目标神经网络模型之后，所述图像摩尔纹消除方法还包括：
获取待检测显示屏面板图像；
将所述待检测显示屏面板图像输入所述目标神经网络模型，以输出重构后的所述待检测显示屏面板图像的无摩尔纹图像。
8.一种图像摩尔纹消除装置，其特征在于，包括：
第一获取单元，用于获取初始测试样本集，所述初始测试样本集包含存在摩尔纹缺陷和不存在摩尔纹缺陷的显示屏面板图像；
第二获取单元，用于获取初始神经网络模型，所述初始神经网络模型包括Dense模块、Trans模块以及恢复重构模块，所述Dense模块由至少两组BN层-Relu层-Conv层和Res残差网络组成，所述BN层-Relu层-Conv层中每一层的输出都作为下一个BN层-Relu层-Conv层的输入，所述恢复重构模块由Up_sample子模块、Up_conv子模块和Conv_out子模块连接组成；
第一输出单元，用于从所述初始测试样本集中随机选取样本通过所述初始神经网络模型输出第一样本图像：
所述第一输出单元，包括：
第一生成子单元，用于将所述初始测试样本集中随机选取样本通过卷积特征提取处理，生成第一样本特征；
第二生成子单元，用于将所述第一样本特征通过所述Trans模块进行全局平均池化和通道混洗处理，生成第二样本特征；
第三生成子单元，用于将所述第二样本特征通过所述Up_sample子模块进行双线性插值、通道降维以及通道叠加处理，再进行DropBlock生成第三样本特征；
第四生成子单元，用于将所述第三样本特征通过所述Up_conv子模块进行反卷积和通道叠加处理，再进行DropBlock生成第四样本特征；
第五生成子单元，用于将所述第四样本特征通过所述Conv_out子模块进行反卷积处理，以生成并输出第一样本图像；
损失值计算单元，用于将所述第一样本图像和相应标准图像的对应像素进行MSE损失值计算，以生成损失值变化数据，所述损失值变化数据为每一次训练所述初始神经网络模型时统计的损失值数据；
第一判断单元，用于判断所述损失值变化数据在预设区间的损失值是否小于预设阈值；
第一确定单元，用于当所述第一判断单元确定所述损失值变化数据在预设区间的损失值小于预设阈值时，则确定消除摩尔纹效果达到预设要求，并确定所述初始神经网络模型为目标神经网络模型。
9.根据权利要求8所述的图像摩尔纹消除装置，其特征在于，所述第一生成子单元，具体为：
将所述初始测试样本集中随机选取样本进行特征提取处理，并通过所述Dense模块进行通道叠加所述特征，生成第一样本特征。
10.根据权利要求9所述的图像摩尔纹消除装置，其特征在于，所述Trans模块包括通道混合子模块和全局平均池化子模块；
所述第二生成子单元，具体为：
将所述第一样本特征通过所述全局平均池化子模块进行池化降维处理，并输出对应通道的平均池化数据；
将各个通道的平均池化数据通过所述通道混合子模块进行通道混洗处理，生成第二样本特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210417960.2A CN114757844A (zh) | 2022-04-20 | 2022-04-20 | 一种图像摩尔纹消除方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210417960.2A CN114757844A (zh) | 2022-04-20 | 2022-04-20 | 一种图像摩尔纹消除方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114757844A true CN114757844A (zh) | 2022-07-15 |
Family
ID=82330337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210417960.2A Pending CN114757844A (zh) | 2022-04-20 | 2022-04-20 | 一种图像摩尔纹消除方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114757844A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972130A (zh) * | 2022-08-02 | 2022-08-30 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
| CN117291857A (zh) * | 2023-11-27 | 2023-12-26 | 武汉精立电子技术有限公司 | 图像处理方法、摩尔纹消除方法、设备及装置 |
| CN117372283A (zh) * | 2023-11-06 | 2024-01-09 | 上海衡亮电子科技股份有限公司 | 一种去除摩尔纹的方法与装置 |
| CN117372283B (zh) * | 2023-11-06 | 2024-06-04 | 上海衡亮电子科技股份有限公司 | 一种去除摩尔纹的方法与装置 |
-
2022
- 2022-04-20 CN CN202210417960.2A patent/CN114757844A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972130A (zh) * | 2022-08-02 | 2022-08-30 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
| CN114972130B (zh) * | 2022-08-02 | 2022-11-18 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
| CN117372283A (zh) * | 2023-11-06 | 2024-01-09 | 上海衡亮电子科技股份有限公司 | 一种去除摩尔纹的方法与装置 |
| CN117372283B (zh) * | 2023-11-06 | 2024-06-04 | 上海衡亮电子科技股份有限公司 | 一种去除摩尔纹的方法与装置 |
| CN117291857A (zh) * | 2023-11-27 | 2023-12-26 | 武汉精立电子技术有限公司 | 图像处理方法、摩尔纹消除方法、设备及装置 |
| CN117291857B (zh) * | 2023-11-27 | 2024-03-22 | 武汉精立电子技术有限公司 | 图像处理方法、摩尔纹消除方法、设备及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Underwater scene prior inspired deep underwater image and video enhancement | |
| CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
| US10929955B2 (en) | Scene-based nonuniformity correction using a convolutional recurrent neural network | |
| CN114757844A (zh) | 一种图像摩尔纹消除方法及装置 | |
| CN109801215A (zh) | 基于对抗生成网络的红外超分辨率成像方法 | |
| CN111835983B (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
| CN113469074B (zh) | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Vecchio et al. | Surfacenet: Adversarial svbrdf estimation from a single image | |
| JP2021179833A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN114021704B (zh) | 一种ai神经网络模型的训练方法及相关装置 | |
| CN115526891B (zh) | 一种缺陷数据集的生成模型的训练方法及相关装置 | |
| JP7463186B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| De los Reyes et al. | Bilevel optimization methods in imaging | |
| CN114972130B (zh) | 一种去噪神经网络的训练方法、装置及训练设备 | |
| CN111062895A (zh) | 一种基于多视场分割的显微图像复原方法 | |
| JP2023003763A (ja) | 学習装置、画像処理装置、学習処理方法、及びプログラム | |
| CN112561813A (zh) | 人脸图像增强方法、装置、电子设备及存储介质 | |
| CN117422619A (zh) | 图像重建模型的训练方法、图像重建方法、装置及设备 | |
| CN114549373A (zh) | Hdr图像生成方法、装置、电子设备及可读存储介质 | |
| CN112489103A (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN116863285A (zh) | 多尺度生成对抗网络的红外与可见光图像融合方法 | |
| CN114119428B (zh) | 一种图像去模糊方法和装置 | |
| US11443414B2 (en) | Image signal processing | |
| CN113781375A (zh) | 一种基于多曝光融合的车载视觉增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |