CN115546073B - 地砖图像阴影去除方法、装置、计算机设备及存储介质 - Google Patents

地砖图像阴影去除方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115546073B
CN115546073B CN202211508063.9A CN202211508063A CN115546073B CN 115546073 B CN115546073 B CN 115546073B CN 202211508063 A CN202211508063 A CN 202211508063A CN 115546073 B CN115546073 B CN 115546073B
Authority
CN
China
Prior art keywords
image
shadow
floor tile
mask
tile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211508063.9A
Other languages
English (en)
Other versions
CN115546073A (zh
Inventor
杨晶晶
张强
王镭
邓桂方
蒋一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202211508063.9A priority Critical patent/CN115546073B/zh
Publication of CN115546073A publication Critical patent/CN115546073A/zh
Application granted granted Critical
Publication of CN115546073B publication Critical patent/CN115546073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机技术领域，特别是涉及一种地砖图像阴影去除方法、装置、计算机设备及存储介质，所述地砖图像阴影去除方法包括：获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。本发明结合了空间自适应归一化与特征融合，具有良好的特征提取能力，更有针对性地对图像中的阴影区域进行处理，适用于实际施工环境下的地砖阴影去除。

Description

地砖图像阴影去除方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机技术领域，特别是涉及一种地砖图像阴影去除方法、装置、计算机设备及存储介质。
背景技术
在地面铺设地砖可以起到保护地板以及装饰的作用，广泛地使用在各类建筑中。传统的地砖均是人工铺设的，这种方式效率低，位置的准确性控制主要依靠施工者的经验，难以保证。
现有技术提供了机器人自动铺设地砖的方案，在此过程中，机器人需要采用在砖的图像，并对图像进行识别判断。在地砖图像处理过程中，一个需要解决的问题是如何去除地砖图像中的阴影。
目前尚未发现针对地砖阴影去除的具体方法，可参考的阴影去除方法多是基于生成式对抗网络，该网络需要通过对抗学习来训练判别器和生成器，最后生成器恢复出以假乱真的阴影去除图像。然而在实际的施工环境下，地砖图像中光线比较复杂，阴影与非阴影区域的界定不够清晰；且存在泥浆和水渍等形状不规则的物体。这些现象使得基于生成式对抗网络的方法对地砖的阴影去除效果较差，不满足实际的需求。
发明内容
基于此，有必要针对上述的问题，提供一种地砖图像阴影去除方法、装置、计算机设备及存储介质。
本发明实施例是这样实现的，一种地砖图像阴影去除方法，所述地砖图像阴影去除方法包括：
获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；
将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；
构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；
使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；
使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
在其中一个实施例中，本发明提供了一种地砖图像阴影去除装置，所述地砖图像阴影去除装置包括：
地砖图像获取模块，用于地砖图像的获取，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；
分割模块，用于将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；
处理模块，用于构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；
训练模块，用于使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；
识别模块，用于使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
在其中一个实施例中，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述地砖图像阴影去除方法的步骤。
在其中一个实施例中，本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述地砖图像阴影去除方法的步骤。
本发明提供的方法结合了空间自适应归一化与特征融合，具有良好的特征提取能力，更有针对性地对图像中的阴影区域进行处理，适用于实际施工环境下的地砖阴影去除。
附图说明
图1为一个实施例提供的地砖图像阴影去除方法的流程图；
图2为一个实施例提供的处理模型的结构框图；
图3为一个实施例提供的基于掩码的空间自适应归一化模块的结构框图；
图4为一个实施例中未经处理的地砖阴影图；
图5为一个实施例中经本发明提供的方法处理的地砖阴影图；
图6为一个实施例提供的地砖图像阴影去除装置的结构框图；
图7为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
如图1所示，在一个实施例中，提出了一种地砖图像阴影去除方法，具体可以包括以下步骤：
步骤S100，获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；
步骤S200，将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；
步骤S300，构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；
步骤S400，使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；
步骤S500，使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
在本实施例中，这里的地砖阴影图像是指有阴影的地砖图像，使用有阴影以及无阴影的地砖图像用于处理模型的训练。
在本实施例中，通过阈值分割可以得到地砖阴影图像的mask掩码。需要说明的是，mask掩码并不是一种图像的编码或者代码，而是图像的一种区域划分结果，进行划分之后，被选定的区域在后续处理中会被读取以及处理，而未被选中的区域则会被忽略。
在本实施例中，处理模型结合了自适应归一化与特征融合，充分发挥了空间自适应归一化与特征融合的优点。
在本实施例中，通过设定权重损失函数的输出范围，通过判断权重损失函数的输出是否满足设定的输出范围衡量模型训练的是否达到要求。
在本实施例中，处理模型训练完成，将需要去除阴影的目标地砖图像输出到模型中，模型自动输出去除阴影后的结果，从而实现自动去阴影。
本发明提供的方法结合了空间自适应归一化与特征融合，具有良好的特征提取能力，更有针对性地对图像中的阴影区域进行处理，适用于实际施工环境下的地砖阴影去除。
作为本发明的一个可选实施例，所述将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码，包括：
将地砖阴影图像的像素进行分类，其中阴影区域标记为白色，非阴影区域标记为黑色，得到地砖阴影图像的mask掩码。
在本实施例中，该过程可以通过人工进行标记，也可以开发相应的自动标记工具实现。按像素进行分类，是指根据像素对图像进行区域划分，对于阴影区，将像素标记为白色，而将非阴影区的像素标记为黑色，则处理模型可以根据标记所得的mask掩码对原地砖阴影图像进行处理，上述步骤是由标记过程得到mask掩码，可以认为是新的图像或者图层的生成过程，并不会改变原地砖阴影图像的内容。
如图2所示，作为本发明的一个可选实施例，所述基于空间自适应归一化与特征融合的处理模型包括若干卷积层、若干个反卷积层以及若干个基于掩码的空间自适应归一化模块；
若干个卷积层顺次连接；
若干个反卷积层顺次连接后设置于顺次连接的若干个卷积层之后；
每个所述基于掩码的空间自适应归一化模块均设置两个相邻的反卷积层之间。
在本实施例中，如图2所示，卷积层表示为Conv，反卷积层表示为Deconv，其后的数值为卷积核的大小，本发明以采用3*3的卷积核为例；而基于掩码的空间自适应归一化模块在图2中表示为MaskSPA。
如图3所示，作为本发明的一个可选实施例，所述基于掩码的空间自适应归一化模块包括一个第一卷积层以及两个第二卷积层；
mask掩码输入第一卷积层，第一卷积层的输出分别作为两个第二卷积层的输入，由两个第二卷积层分别得到参数γ和参数β；
参数γ和参数β与BatchNorm层的输出进行运算，得到作为下一层的输入，y为下一层的输入。
在本实施例中，第一卷积层与第二卷积层均采用3*3的卷积核。基于掩码的空间自适应归一化模块的输入有两个，一个是来自网络BatchNorm层的输入，还有一个是利用阈值分割得到的地砖阴影图像的mask掩码。mask掩码表明了地砖阴影与无阴影区域的大概位置，指导网络对地砖阴影与无阴影区域采取不同的特征学习，以便更好地去除阴影，保留无阴影区域的细节内容。
在本实施例中，除了对第一个卷积层没有增加BatchNorm层外，其余卷积层和反卷积层均增加了BatchNorm层，可以加快模型的收敛过程，提高模型阴影去除能力。基于掩码的空间自适应归一化模块和不同的特征融合机制相互配合，提高了网络特征学习的针对性和多样性。
作为本发明的一个可选实施例，第一卷积层与第一个反卷积层之间通过连接函数Concat建立特征通道融合。
作为本发明的一个可选实施例，所述卷积层设置有6个，所述反卷积层设置有6个，所述基于掩码的空间自适应归一化模块设置有4个，且第四个卷积层与第二个基于掩码的空间自适应归一化模块间建立特征值相加融合。
在本实施例中，使用Concat在网络的第一个卷积层和第一个反卷积层间建立特征通道融合，第四个卷积层与第二个MaskSPA模块间建立特征值相加融合，实现网络低层与高层的特征融合，使得特征提取更加丰富；不同的特征融合方式，也进一步提高了网络特征的多样性。
作为本发明的一个可选实施例，所述权重损失函数由图像特征相似度函数、图像亮度相似性函数以及图像对比度相似性函数构成，具体为：
所述图像特征相似度函数具体为：
其中：表示第i张标签图像的特征向量，表示第i张网络结果图的特征向量，n为图像的数量；
所述图像亮度相似性函数具体为：
其中：表示图像χ的平均亮度，即，为第i张图像χ的亮度，表示图像y的平均亮度，即，为第i张图像y的亮度；为防止分母系数为零的常数；
所述图像对比度相似性函数具体为：
其中：表示图像χ的像素标准差，即，表示图像у的像素标准差，即，是防止分母为零的常数；、的含义以及计算方式与图像亮度相似性函数想同。
在本实施例中，权重损失函数由图像亮度相似性函数、图像对比度相似性函数以及图像特征相似度函数组成。图像亮度相似性函数从图像像素均值的角度进行计算，衡量网络生成的阴影去除图像与无阴影标签图像的亮度差异；图像对比度相似性函数则从图像像素的标准差进行计算，反映了图像明暗变化的差异；图像特征相似度函数则使用vgg16分别提取网络结果图与标签图像的特征，再使用均方误差计算特征向量间的相似程度。
本发明对实际施工场景下地砖阴影图像的阴影去除效果如图4、5所示，其中图4为未经处理的地砖阴影图像，图5为经本发明提供的方法处理所得的图像。从图5中可以看出，本发明在深色条纹地砖上，对较深的阴影仍具有良好的去除效果，且不影响非阴影区域的细节内容。
如图6所示，本发明实施例还提供了一种地砖图像阴影去除装置，所述地砖图像阴影去除装置包括：
地砖图像获取模块，用于地砖图像的获取，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；
分割模块，用于将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；
处理模块，用于构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；
训练模块，用于使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；
识别模块，用于使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
在本实施例中，上述各个模块是本发明相应方法步骤的模块化，对于上述各个模块的解释说明请参考本发明方法部分的内容，本发明实施例在此不再赘述。
图7示出了一个实施例中计算机设备的内部结构图。如图7所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明实施例提供的地砖图像阴影去除方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行本发明实施例提供的地砖图像阴影去除方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本发明实施例提供的地砖图像阴影去除装置可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成该xx装置的各个程序模块，比如，图6所示的地砖图像获取模块、分割模块、处理模块、训练模块和识别模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本发明各个实施例的地砖图像阴影去除方法中的步骤。
例如，图7所示的计算机设备可以通过如图6所示的地砖图像阴影去除装置中的地砖图像获取模块执行步骤S100；计算机设备可通过分割模块执行步骤S200；计算机设备可通过处理模块执行步骤S300；计算机设备可通过训练模块执行步骤S400；计算机设备可通过识别模块执行步骤S500。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；
将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；
构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；
使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；
使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；
将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；
构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；
使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；
使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.地砖图像阴影去除方法，其特征在于，所述地砖图像阴影去除方法包括：
获取地砖图像，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；
将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；
构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；
使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；
使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影；
所述基于空间自适应归一化与特征融合的处理模型包括若干卷积层、若干个反卷积层以及若干个基于掩码的空间自适应归一化模块；
若干个卷积层顺次连接；
若干个反卷积层顺次连接后设置于顺次连接的若干个卷积层之后；
每个所述基于掩码的空间自适应归一化模块均设置两个相邻的反卷积层之间；
所述权重损失函数Ltotal由图像特征相似度函数lf、图像亮度相似性函数lb以及图像对比度相似性函数lc构成；
所述基于掩码的空间自适应归一化模块包括一个第一卷积层以及两个第二卷积层；
mask掩码输入第一卷积层，第一卷积层的输出分别作为两个第二卷积层的输入，由两个第二卷积层分别得到参数γ和参数β；
参数γ和参数β与BatchNorm层的输出进行运算，得到y＝γx+β作为下一层的输入；
所述权重损失函数Ltotal具体为：
Ltotal＝0.6*lf-0.2*log(lb)-0.2*log(lc)
所述图像特征相似度函数lf具体为：
Figure FDA0004083322580000011
其中：yi表示标签图像的特征向量，Zi p表示网络结果图的特征向量，n为图像的数量；
所述图像亮度相似性函数lb具体为：
Figure FDA0004083322580000021
其中：μx表示图像x的平均亮度，即
Figure FDA0004083322580000022
Figure FDA0004083322580000023
为第i张x图像的亮度；μy表示图像y的平均亮度，即
Figure FDA0004083322580000024
Figure FDA0004083322580000025
为第i张y图像的亮度；C1为防止分母系数为零的常数；
所述图像对比度相似性函数lc具体为：
Figure FDA0004083322580000026
其中：σx表示图像x的像素标准差，即
Figure FDA0004083322580000027
σy表示图像y的像素标准差，即
Figure FDA0004083322580000028
C2是防止分母为零的常数。
2.根据权利要求1所述的地砖图像阴影去除方法，其特征在于，所述将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码，包括：
将地砖阴影图像的像素进行分类，其中阴影区域标记为白色，非阴影区域标记为黑色，得到地砖阴影图像的mask掩码。
3.根据权利要求1所述的地砖图像阴影去除方法，其特征在于，第一卷积层与第一个反卷积层之间通过连接函数Concat建立特征通道融合。
4.根据权利要求1所述的地砖图像阴影去除方法，其特征在于，所述卷积层设置有6个，所述反卷积层设置有6个，所述基于掩码的空间自适应归一化模块设置有4个，且第四个卷积层与第二个基于掩码的空间自适应归一化模块间建立特征值相加融合。
5.地砖图像阴影去除装置，其特征在于，所述地砖图像阴影去除装置包括：
地砖图像获取模块，用于地砖图像的获取，所述地砖图像包括地砖阴影图像以及地砖无阴影图像；
分割模块，用于将所述地砖阴影图像进行阈值分割得到地砖阴影图像的mask掩码；
处理模块，用于构建基于空间自适应归一化与特征融合的处理模型以及权重损失函数；
训练模块，用于使用所述无阴影图像以及所述mask掩码对所述处理模型进行训练直至所述权重损失函数满足要求；
识别模块，用于使用训练好的处理模型处理目标地砖图像以去除目标地砖图像中的阴影；
所述基于空间自适应归一化与特征融合的处理模型包括若干卷积层、若干个反卷积层以及若干个基于掩码的空间自适应归一化模块；
若干个卷积层顺次连接；
若干个反卷积层顺次连接后设置于顺次连接的若干个卷积层之后；
每个所述基于掩码的空间自适应归一化模块均设置两个相邻的反卷积层之间；
所述权重损失函数Ltotal由图像特征相似度函数lf、图像亮度相似性函数lb以及图像对比度相似性函数lc构成；
所述基于掩码的空间自适应归一化模块包括一个第一卷积层以及两个第二卷积层；
mask掩码输入第一卷积层，第一卷积层的输出分别作为两个第二卷积层的输入，由两个第二卷积层分别得到参数γ和参数β；
参数γ和参数β与BatchNorm层的输出进行运算，得到y＝γx+β作为下一层的输入；
所述权重损失函数Ltotal具体为：
Ltotal＝0.6*lf-0.2*log(lb)-0.2*log(lc)
所述图像特征相似度函数lf具体为：
Figure FDA0004083322580000041
其中：yi表示标签图像的特征向量，Zi p表示网络结果图的特征向量，n为图像的数量；
所述图像亮度相似性函数lb具体为：
Figure FDA0004083322580000042
其中：μx表示图像x的平均亮度，即
Figure FDA0004083322580000043
Figure FDA0004083322580000044
为第i张x图像的亮度；μy表示图像y的平均亮度，即
Figure FDA0004083322580000045
Figure FDA0004083322580000046
为第i张y图像的亮度；C1为防止分母系数为零的常数；
所述图像对比度相似性函数lc具体为：
Figure FDA0004083322580000047
其中：σx表示图像x的像素标准差，即
Figure FDA0004083322580000048
σy表示图像y的像素标准差，即
Figure FDA0004083322580000049
C2是防止分母为零的常数。
6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述地砖图像阴影去除方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述地砖图像阴影去除方法的步骤。
CN202211508063.9A 2022-11-29 2022-11-29 地砖图像阴影去除方法、装置、计算机设备及存储介质 Active CN115546073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211508063.9A CN115546073B (zh) 2022-11-29 2022-11-29 地砖图像阴影去除方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211508063.9A CN115546073B (zh) 2022-11-29 2022-11-29 地砖图像阴影去除方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN115546073A CN115546073A (zh) 2022-12-30
CN115546073B true CN115546073B (zh) 2023-04-07

Family

ID=84722029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211508063.9A Active CN115546073B (zh) 2022-11-29 2022-11-29 地砖图像阴影去除方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115546073B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523803B (zh) * 2023-07-04 2023-11-14 宁德时代新能源科技股份有限公司 图像处理方法、阴影去除方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798474A (zh) * 2019-04-05 2020-10-20 三星电子株式会社 图像处理装置及其图像处理方法
CN115375589A (zh) * 2022-10-25 2022-11-22 城云科技（中国）有限公司 一种去除图像阴影模型及其构建方法、装置及应用

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567722B (zh) * 2012-01-17 2013-09-25 大连民族学院 一种基于码本模型和多特征的早期烟雾检测方法
CN106295636A (zh) * 2016-07-21 2017-01-04 重庆大学 基于多特征融合级联分类器的消防通道车辆检测方法
AU2018202801A1 (en) * 2018-04-23 2019-11-07 Canon Kabushiki Kaisha Method, apparatus and system for producing a foreground map
CN110288538A (zh) * 2019-05-23 2019-09-27 南京理工大学 一种多特征融合的运动目标阴影检测及消除方法
US20210097691A1 (en) * 2019-09-30 2021-04-01 Nvidia Corporation Image generation using one or more neural networks
CN112364884B (zh) * 2020-10-09 2024-02-20 江苏星闪世图科技(集团)有限公司 一种移动物体侦测的方法
CN113436222A (zh) * 2021-05-31 2021-09-24 新东方教育科技集团有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN115272119A (zh) * 2022-07-27 2022-11-01 重庆西行纪网络科技有限公司 一种图像阴影去除方法、装置、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798474A (zh) * 2019-04-05 2020-10-20 三星电子株式会社 图像处理装置及其图像处理方法
CN115375589A (zh) * 2022-10-25 2022-11-22 城云科技（中国）有限公司 一种去除图像阴影模型及其构建方法、装置及应用

Also Published As

Publication number Publication date
CN115546073A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN109447994B (zh) 结合完全残差与特征融合的遥感图像分割方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN108805828B (zh) 图像处理方法、装置、计算机设备和存储介质
RU2424561C2 (ru) Обучение сверточных нейронных сетей на графических процессорах
EP2797052B1 (en) Detecting a saliency region in an image
CN111353969A (zh) 道路可行驶区域的确定方法、装置及计算机设备
US11392800B2 (en) Computer vision systems and methods for blind localization of image forgery
CN115546073B (zh) 地砖图像阴影去除方法、装置、计算机设备及存储介质
CN112232426A (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
CN116524369B (zh) 遥感影像分割模型构建方法、装置及遥感影像解译方法
CN111860496A (zh) 车牌识别方法、装置、设备及计算机可读存储介质
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN111325134B (zh) 一种基于跨层连接卷积神经网络的遥感影像变化检测方法
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN112364974A (zh) 一种基于激活函数改进的YOLOv3算法
CN110211109B (zh) 基于深度神经网络结构寻优的图像变化检测方法
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
WO2024078112A1 (zh) 一种舾装件智能识别方法、计算机设备
CN113298808A (zh) 一种面向倾斜遥感图像中建筑物遮挡信息的修复方法
CN113205507A (zh) 一种视觉问答方法、系统及服务器
CN113282905A (zh) 一种登录测试方法及装置
CN116630352A (zh) 一种基于双向级联像素差分网络的岩心测量方法及装置
CN115346125B (zh) 一种基于深度学习的目标检测方法
CN116385466A (zh) 一种基于边界框弱标注的图像中目标分割方法及系统
CN106934344B (zh) 一种基于神经网络的快速行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant