CN116258643A - 图像阴影消除方法、装置、设备及存储介质 - Google Patents

图像阴影消除方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116258643A
CN116258643A CN202310057376.5A CN202310057376A CN116258643A CN 116258643 A CN116258643 A CN 116258643A CN 202310057376 A CN202310057376 A CN 202310057376A CN 116258643 A CN116258643 A CN 116258643A
Authority
CN
China
Prior art keywords
image
shadow
network model
target
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310057376.5A
Other languages
English (en)
Inventor
莫海芳
王江晴
冀星
帖军
王强
郑禄
吴立锋
王金鹏
陈婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yingxin Information Technology Hubei Co ltd
South Central Minzu University
Original Assignee
Yingxin Information Technology Hubei Co ltd
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yingxin Information Technology Hubei Co ltd, South Central University for Nationalities filed Critical Yingxin Information Technology Hubei Co ltd
Priority to CN202310057376.5A priority Critical patent/CN116258643A/zh
Publication of CN116258643A publication Critical patent/CN116258643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种图像阴影消除方法、装置、设备及存储介质，该方法包括：获取自然场景下植物叶片的目标图像，目标图像包括有阴影图像和无阴影图像；将目标图像输入至预设目标网络模型，预设目标网络模型中包括生成器模型，生成器模型中包括方向感知的空间上下文模块；判断目标图像是否为有阴影图像；若是，则去除目标图像中的阴影，获得目标图像对应的无阴影图像。由于本发明是通过将自然场景下植物叶片的目标图像，然后将目标图像输入至预设目标网络模型中去除目标图像中的阴影，其中，预设目标网络模型的生成器模型中包括方向感知的空间上下文模块。相比于现有技术，可以更准确地对自然条件下植物叶片的阴影区域进行消除，同时也保留病斑区域。

Description

图像阴影消除方法、装置、设备及存储介质
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种图像阴影消除方法、装置、设备及存储介质。
背景技术
自然场景下，植物叶片会因为相互遮挡而产生阴影，对于计算机的视觉系统而言，阴影区域的光线不足，可能会造成特征缺失，对识别模型的准确率产生影响，因此对自然场景下的病害图像进行阴影消除具有重要意义。
然而当前大部分阴影消除的方法基于有监督的思想，需要使用成对的阴影图像和无阴影图像进行训练，这就要求在收集数据集图像时，先拍摄带阴影的图像，然后移除产生阴影的物体来拍摄没有阴影的图像。这种拍摄过程非常繁琐，需要人工固定摄像机、添加遮罩并移除，同时对拍摄场景有一定的限制，很难拍摄由树木、建筑物等大型物体投射的阴影和无阴影图像。因此，需要采用无监督的方法实现自然场景下的阴影消除。虽然目前有采用无监督的方法实现自然场景下的阴影消除，但是在自然场景下的植物病害图像中，一些病斑和背景中的树木枝干在视觉上呈现与阴影区域接近的灰黑色，这些区域往往会被误认为是阴影区域而被去除，继而因为损失明显特征被误识别为健康叶片或其他种类的病害叶片。
发明内容
本发明的主要目的在于提供了一种图像阴影消除方法、装置、设备及存储介质，旨在解决如何更加准确地对自然条件下植物叶片的阴影区域进行消除，同时也保留病斑区域的技术问题。
为实现上述目的，本发明提供了一种图像阴影消除方法，所述方法包括以下步骤:
获取自然场景下植物叶片的目标图像，所述目标图像包括有阴影图像和无阴影图像；
将所述目标图像输入至预设目标网络模型，所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进，所述预设目标网络模型中包括生成器模型，所述生成器模型中包括方向感知的空间上下文模块；
判断所述目标图像是否为有阴影图像；
若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。
可选地，所述获取自然场景下植物叶片的目标图像的步骤之前，还包括：
将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块，获得第一训练网络模型；
通过有阴影图像训练和无阴影图像训练，对所述第一网络模型进行优化，获得预设目标网络模型。
可选地，所述预设目标网络模型的生成器模型中至少包括卷积层、Relu函数和九个堆叠的方向感知的空间上下文模块。
可选地，所述方向感知的空间上下文模块的结构为1x1Conv+空间RNN+CONCAT函数+1x1Conv+空间RNN+CONCAT函数结构；
其中，1x1Conv为1x1卷积，空间RNN为循环神经网络，CONCAT函数用于将不同方向上的上下文特征进行组合。
可选地，所述通过有阴影图像训练和无阴影图像训练，对所述第一网络模型进行优化，获得预设目标网络模型的步骤，具体包括：
获取公开的植物训练数据集；
对训练数据集中的有阴影图和无阴影图分别进行有阴影图像训练和无阴影图像训练；
根据有阴影图像训练和无阴影图像训练的训练结果，通过循环一致性损失对所述第一网络模型进行优化，获得预设目标网络模型。
可选地，所述植物训练数据集可以是无监督数据集USR、FGVC8植物病理识别挑战赛的数据集。
可选地，所述若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像的步骤，包括：
若是，则通过预设目标网络模型从不同方向上分析所述目标图像，确定所述目标图像的阴影区域及其边缘；
根据所述阴影区域及其边缘，去除所述阴影区域，获得所述目标图像对应的无阴影图像。
此外，为实现上述目的，本发明还提出一种图像阴影消除装置，所述装置包括：
获取模块，用于获取自然场景下植物叶片的目标图像，所述目标图像包括有阴影图像和无阴影图像；
输入模块，用于将所述目标图像输入至预设目标网络模型，所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进，所述预设目标网络模型中包括生成器模型，所述生成器模型中包括方向感知的空间上下文模块；
判断模块，用于判断所述目标图像是否为有阴影图像；
阴影消除模块，用于去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。
此外，为实现上述目的，本发明还提出一种图像阴影消除设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像阴影消除程序，所述图像阴影消除程序配置为实现如上文所述的图像阴影消除方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像阴影消除程序，所述图像阴影消除程序被处理器执行时实现如上文所述的图像阴影消除方法的步骤。
本发明通过获取自然场景下植物叶片的目标图像，其中，目标图像包括有阴影图像和无阴影图像；然后将目标图像输入至预设目标网络模型，其中，预设目标网络模型中包括生成器模型，其中，生成器模型中包括方向感知的空间上下文模块；再判断所述目标图像是否为有阴影图像；若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。由于本发明是通过将自然场景下植物叶片的目标图像，然后将目标图像输入至预设目标网络模型中去除目标图像中的阴影，其中，预设目标网络模型的生成器模型中包括方向感知的空间上下文模块。相比于现有技术，本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块，可以更准确地对自然条件下植物叶片的阴影区域进行消除，同时也保留病斑区域。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的图像阴影消除设备的结构示意图；
图2为本发明图像阴影消除方法第一实施例的流程示意图；
图3为本发明图像阴影消除方法第二实施例的流程示意图；
图4为本发明图像阴影消除方法中方向感知的空间上下文模块结构示意图；
图5为本发明方向感知的空间上下文模块中两轮循环神经网络计算过程示意图；
图6为本发明图像阴影消除方法中预设目标网络模型的生成器模型结构示意图；
图7为本发明图像阴影消除方法第三实施例的流程示意图；
图8为本发明图像阴影消除装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像阴影消除设备结构示意图。
如图1所示，该图像阴影消除设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对图像阴影消除设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像阴影消除程序。
在图1所示的图像阴影消除设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明图像阴影消除设备中的处理器1001、存储器1005可以设置在图像阴影消除设备中，所述图像阴影消除设备通过处理器1001调用存储器1005中存储的图像阴影消除程序，并执行本发明实施例提供的图像阴影消除方法。
本发明实施例提供了一种图像阴影消除方法，参照图2，图2为本发明图像阴影消除方法第一实施例的流程示意图。
本实施例中，所述图像阴影消除方法包括以下步骤：
步骤S10：获取自然场景下植物叶片的目标图像，所述目标图像包括有阴影图像和无阴影图像；
需要说明的是，本实施例的执行主体可以是一种具有数据处理以及程序运行功能的计算服务设备，例如平板电脑、个人电脑等，或者是一种能够实现相同或相似功能的电子设备，例如上述图1所示的图像阴影消除设备等。以下以图像阴影消除设备为例，对本实施例及下述各实施例进行举例说明。
可理解的是，阴影是由于光线在沿直线传播的过程中，遇到障碍物的阻挡而形成的。在自然场景下获取图像时，难以避免地会存在一些阴影。通常阴影区域亮度较低，这种低亮度的特点会引起图像质量的下降，导致一些图像信息丢失，影响图像效果，并对一些诸如物体识别、图像检索、目标追踪等现代图像处理任务产生影响，使得任务准确率及效率降低。
应理解的是，上述目标图像可以是在自然场景下实时获取的植物叶片图像，也可以是在网络上获取的公开的植物叶片数据集，本实施例对此不加以限制。
需要解释的是，图像学中将阴影划分为硬阴影与软阴影。硬阴影是比较锐利的阴影，一般存在于和物体的交接处或者离物体比较近的地方，其边界与背景区分明显。而软阴影是比较柔和、模糊的阴影，与背景区分不明显。
步骤S20：将所述目标图像输入至预设目标网络模型，所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进，所述预设目标网络模型中包括生成器模型，所述生成器模型中包括方向感知的空间上下文模块；
需要说明的是，上述Mask-ShadowGAN网络模型是基于生成对抗网络的思想，通过循环一致性约束实现无监督的阴影消除。Mask-ShadowGAN网络模型使用两组生成器模型和鉴别器模型，其中第一生成器模型用于从输入的阴影图像中生成无阴影图像，第一鉴别器模型用于判断输出的无阴影图像是否足够真实，第一生成器模型和第一鉴别器模型在对抗训练中不断优化。为了进一步约束第一生成器模型和第一鉴别器模型，同样使用对抗思想对第二生成器模型和第二鉴别器模型进行训练，其中第二生成器模型用于从无阴影图像中生成有阴影图像，第二鉴别器模型用于判断输出的有阴影图像是否足够真实。
可理解的是，在自然场景下的植物病害图像中，一些病斑和背景中的树木枝干在视觉上呈现与阴影区域接近的灰黑色，这些区域往往会被误认为是阴影区域而被去除，继而因为损失明显特征被误识别为健康叶片或其他种类的病害叶片。对于这些同样呈现灰黑色的区域，很难从局部区域准确地判断这是否为阴影区域，因此为了更准确地识别阴影区域及其边缘，有必要将其上下左右的周围区域作为参考来进行判断。
而方向感知的空间上下文模块（以下简称DSC模块）可以从不同方向上分析阴影区域，因此在生成器模型中使用DSC模块可以更加准确地对自然条件下植物叶片的阴影区域进行消除，同时也保留病斑区域。方向感知的空间上下文模块的结构为1x1Conv+空间RNN+CONCAT函数+1x1Conv+空间RNN+CONCAT函数结构；其中，1x1Conv为1x1卷积，空间RNN为循环神经网络，CONCAT函数用于将不同方向上的上下文特征进行组合。
例如，参考图4，图4为本发明图像阴影消除方法中方向感知的空间上下文模块结构示意图，DSC模块首先对输入的图像使用
Figure SMS_1
的卷积，然后通过空间RNN（循环神经网络）获取四个方向上的空间上下文特征，最后将这些特征与对应方向上的权重值相乘。通过控制不同方向上权重值的大小，可以选择性地使用不同方向上的空间上下文特征，之后使用
Figure SMS_2
的卷积进行降维，同时也将四个方向上的上下文特征进行组合。经过两次上述操作后得到包含图像全局信息的方向感知空间上下文特征，即DSC特征。其中，权值的获取是使用两个连续的卷积层，卷积核大小为3×3，然后进行Relu非线性操作，再经过一个卷积层，卷积核大小为3×3，得到权重值，最后将权重值分为/>
Figure SMS_3
，/>
Figure SMS_4
，/>
Figure SMS_5
和/>
Figure SMS_6
四个权重图，分别与上下左右四个方向上的特征图进行点对点相乘。之后将四个结果通过concat进行合并，使用1×1的卷积核对合并后的特征图进行降维，并进行第二轮空间上下文特征图的计算，计算过程中使用相同的权重矩阵以提高性能。
参考图5，图5为本发明方向感知的空间上下文模块中两轮循环神经网络（空间RNN）计算过程示意图，对于一张输入特征图，对其进行上下左右四个方向上的运算，以获得局部的空间上下文特征，即中间特征图。然后对中间特征图进行第二次各个方向上的运算，可以得到全局的上下文特征，即输出特征图。在沿向右方向上的传播中，每个像素点的信息可以根据其左侧像素点的信息计算得到，其中，计算公式为：
Figure SMS_7
式中，
Figure SMS_8
和/>
Figure SMS_9
分别表示特征图在/>
Figure SMS_10
和/>
Figure SMS_11
处的像素点，/>
Figure SMS_12
为向右传播方向上的权重值。四个方向上的权重矩阵在初始化时都设置为一个单位矩阵，然后在训练过程中自动学习。假设特征图的宽度为n，需要进行n次上述运算。通过聚合四个方向上的结果，每一个像素点就可以获得它所在的行和列的信息。
步骤S30：判断所述目标图像是否为有阴影图像；
应理解的是，由于本发明是通过预设目标网络实现上述目标图像的阴影消除，但是上述目标图像包括有阴影图像和无阴影的图像，因此，当将上述目标图像输入至预设目标网络模型时，预设目标网络模型会判断目标图像是否为有阴影图像。
步骤S40：若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。
在具体实现中，预设目标网络模型若判定上述目标图像为有阴影图像，则根据预设目标网络模型确定目标图像中的阴影区域，然后去除阴影区域，获得上述目标图像对应的无阴影图像；预设目标网络模型若判定上述目标图像为无阴影图像，则将无阴影图像作为预设目标网络模型的阴影消除结果输出。
本实施例通过获取自然场景下植物叶片的目标图像，其中，目标图像包括有阴影图像和无阴影图像；然后将所述目标图像输入至预设目标网络模型，其中，所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进，所述预设目标网络模型中包括生成器模型，所述生成器模型中包括方向感知的空间上下文模块；再判断所述目标图像是否为有阴影图像；若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。由于本发明是通过将自然场景下植物叶片的目标图像，然后将目标图像输入至预设目标网络模型中去除目标图像中的阴影，其中，预设目标网络模型的生成器模型中包括方向感知的空间上下文模块。相比于现有技术，本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块，可以更准确地对自然条件下植物叶片的阴影区域进行消除，同时也保留病斑区域。
参考图3，图3为本发明图像阴影消除方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S10之前，还包括：
步骤S01：将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块，获得第一训练网络模型；
需要说明的是，Mask-ShadowGAN网络模型的生成器模型中使用9个堆叠的残差块，将上述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为DSC模块，即将上述生成器模型中使用9个堆叠的残差块替换为9个堆叠的DSC模块。
例如，参考图6，图6为本发明图像阴影消除方法中预设目标网络模型的生成器模型结构示意图，预设目标网络模型的生成器模型的输入和输出为具有RGB三种通道的彩色图像，先对输入的图像进行7x7的卷积操作，再使用两个步长为2的卷积层对图像进行3x3的卷积操作实现下采样，并增加Relu函数进行非线性变化，增强网络的表达能力。之后通过9个堆叠的DSC模块进行空间上下文特征的提取，最后使用步长为2的3x3的逆卷积进行上采样，并增加Relu函数进行非线性变化，增强网络的表达能力的同时，使图像恢复到初始大小。
需要说明的是，上述生成器模型中对输入图像进行下采样再进行上采样降低了中间特征图的大小，一方面有助于降低计算的复杂性，另一方面卷积核大小相同时，进行下采样后有效感受野更大，可以提取更多的特征。
步骤S02：通过有阴影图像训练和无阴影图像训练，对所述第一网络模型进行优化，获得预设目标网络模型。
需要说明的是，为了获得图像阴影消除效果准确的预设目标网络模型，步骤S02，包括：
步骤S021：获取公开的植物训练数据集；
需要说明的是，上述公开的植物训练数据集可以是无监督数据集USR、FGVC8植物病理识别挑战赛的数据集，也可以是其他植物训练数据集，本实施例对此不加以限制。
步骤S022：对训练数据集中的有阴影图和无阴影图分别进行有阴影图像训练和无阴影图像训练；
步骤S023：根据有阴影图像训练和无阴影图像训练的训练结果，通过循环一致性损失对所述第一网络模型进行优化，获得预设目标网络模型。
需要说明的是，有阴影图像训练过程是，输入有阴影图像
Figure SMS_14
通过第一生成器模型
Figure SMS_18
生成无阴影图像/>
Figure SMS_21
，再通过第一鉴别器模型/>
Figure SMS_15
判断是否为真实的无阴影图像，二者使用对抗损失进行优化，然后再将无阴影图像/>
Figure SMS_16
和有阴影图像/>
Figure SMS_19
的阴影掩膜/>
Figure SMS_22
输入至第二生成器模型/>
Figure SMS_13
中生成有阴影图像/>
Figure SMS_17
，利用输入的有阴影图像/>
Figure SMS_20
和输出的有阴影图像/>
Figure SMS_23
的循环一致性进行优化，其中，循环一致性损失计算公式是：/>
Figure SMS_24
式中，ε为错误率。阴影掩膜
Figure SMS_25
为有阴影图像/>
Figure SMS_26
和无阴影图像/>
Figure SMS_27
的差值二值化结果，阴影掩膜/>
Figure SMS_28
的计算公式是：
Figure SMS_29
式中，B为二值化操作，t为设置的阈值，该阈值通过最大类间方差算法得出，像素点的值高于t则为1，否则设置为0。对于这些阴影掩膜，使用一个队列进行保存，用于后续的无阴影图像训练过程中，当队列满时则删除队头的阴影掩膜。
为了保持输入的有阴影图像
Figure SMS_30
和生成的有阴影图像/>
Figure SMS_31
的色彩分布一致，在训练过程中使用有阴影图像和全零掩膜/>
Figure SMS_32
作为生成器/>
Figure SMS_33
的输入，掩膜/>
Figure SMS_34
为全黑图像，通过颜色恒定损失的约束可以使生成图像在颜色范围上与输入图像接近，颜色恒定损失计算公式是：
Figure SMS_35
进一步地，有阴影图像训练过程是，输入无阴影图像
Figure SMS_38
通过第二生成器模型/>
Figure SMS_39
和上述队列中随机挑选的阴影掩膜/>
Figure SMS_42
合成有阴影图像/>
Figure SMS_37
，再通过第二鉴别器模型/>
Figure SMS_41
判断合成的有阴影图像是否足够真实，二者使用对抗损失进行优化，然后再将有阴影图像/>
Figure SMS_43
输入至第一生成器模型/>
Figure SMS_45
中生成无阴影图像/>
Figure SMS_36
，利用输入的无阴影图像/>
Figure SMS_40
和输出的无阴影图像/>
Figure SMS_44
的循环一致性进行优化，其中，循环一致性损失计算公式是：
Figure SMS_46
为了保证第一生成器模型
Figure SMS_47
不改变输入的无阴影图像颜色，将无阴影图像作为输入，计算输入的无阴影图像/>
Figure SMS_48
与输出的无阴影图像/>
Figure SMS_49
的差值，作为颜色恒定损失约束，计算公式是：
Figure SMS_50
本实施例通过将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块，获得第一训练网络模型；然后分别进行有阴影图像训练和无阴影图像训练，对所述第一网络模型进行优化，获得预设目标网络模型；再获取自然场景下植物叶片的目标图像；然后将目标图像输入至预设目标网络模型；判断所述目标图像是否为有阴影图像；若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。由于本发明是将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块，然后进行模型训练获得预设目标网络模型，通过预设目标网络模型实现植物叶片图像的阴影消除。相比于现有技术，本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块，可以更准确地对自然条件下植物叶片的阴影区域进行消除，同时也保留病斑区域，进而提高对消除阴影后的图片识别的准确率。
参考图4，图4为本发明图像阴影消除方法第三实施例的流程示意图。
基于上述各实施例，在本实施例中，所述步骤S40，包括：
步骤S401：若是，则通过预设目标网络模型从不同方向上分析阴影区域，识别阴影区域及其边缘；
可理解的是，由于预设目标网络模型是将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为DSC模块，因此可以通过DSC模块从不同方向上分析上述目标图像的阴影区域，实现有效的确定目标图像的阴影区域及其边缘。
步骤S402：根据所述阴影区域及其边缘，去除所述阴影区域，获得所述目标图像对应的无阴影图像。
在具体实现中，通过预设目标网络模型中的生成器模型的DSC模块从不同方向上分析上述目标图像的阴影区域，确定目标图像的阴影区域及其边缘，然后根据阴影区域及其边缘，去除阴影区域，同时对阴影区域的边缘处理更加平滑，获得目标图像对应的无阴影图像。
本实施例通过将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块，获得第一训练网络模型；然后分别进行有阴影图像训练和无阴影图像训练，对所述第一网络模型进行优化，获得预设目标网络模型；再获取自然场景下植物叶片的目标图像；然后将目标图像输入至预设目标网络模型；判断所述目标图像是否为有阴影图像；若是，则通过预设目标网络模型从不同方向上分析所述目标图像，确定所述目标图像的阴影区域及其边缘；根据所述阴影区域及其边缘，去除所述阴影区域，获得所述目标图像对应的无阴影图像。由于本发明是将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块，然后进行模型训练获得预设目标网络模型，通过预设目标网络模型从不同方向上分析所述目标图像，确定所述目标图像的阴影区域及其边缘；根据所述阴影区域及其边缘，去除所述阴影区域，获得所述目标图像对应的无阴影图像。相比于现有技术，本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块，可以更准确地对自然条件下植物叶片的阴影区域进行消除，同时也保留病斑区域，对阴影区域的边缘处理得更加平滑，视觉上更加友好。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像阴影消除程序，所述图像阴影消除程序被处理器执行时实现如上文所述的图像阴影消除方法的步骤。
参照图8，图8为本发明图像阴影消除装置第一实施例的结构框图。
如图8所示，本发明实施例提出的图像阴影消除装置包括：获取模块801、输入模块802、判断模块803和阴影消除模块804。
所述获取模块801，用于获取自然场景下植物叶片的目标图像，所述目标图像包括有阴影图像和无阴影图像；
所述输入模块802，用于将所述目标图像输入至预设目标网络模型，所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进，所述预设目标网络模型中包括生成器模型，所述生成器模型中包括方向感知的空间上下文模块；
所述判断模块803，用于判断所述目标图像是否为有阴影图像；
所述阴影消除模块804，用于若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。
本实施例通过获取自然场景下植物叶片的目标图像，其中，目标图像包括有阴影图像和无阴影图像；然后将目标图像输入至预设目标网络模型，其中，预设目标网络模型中包括生成器模型，其中，生成器模型中包括方向感知的空间上下文模块；再判断所述目标图像是否为有阴影图像；若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。由于本发明是通过将自然场景下植物叶片的目标图像，然后将目标图像输入至预设目标网络模型中去除目标图像中的阴影，其中，预设目标网络模型的生成器模型中包括方向感知的空间上下文模块。相比于现有技术，本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块，可以更准确地对自然条件下植物叶片的阴影区域进行消除，同时也保留病斑区域。
基于本发明上述图像阴影消除装置第一实施例，提出本发明图像阴影消除装置的第二实施例。
在本实施例中，所述获取模块801，还用于将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块，获得第一训练网络模型；通过有阴影图像训练和无阴影图像训练，对所述第一网络模型进行优化，获得预设目标网络模型。
所述获取模块801，还用于获取公开的植物训练数据集；对训练数据集中的有阴影图和无阴影图分别进行有阴影图像训练和无阴影图像训练；根据有阴影图像训练和无阴影图像训练的训练结果，通过循环一致性损失对所述第一网络模型进行优化，获得预设目标网络模型。
本发明图像阴影消除装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像阴影消除方法，其特征在于，所述方法包括以下步骤：
获取自然场景下植物叶片的目标图像，所述目标图像包括有阴影图像和无阴影图像；
将所述目标图像输入至预设目标网络模型，所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进，所述预设目标网络模型中包括生成器模型，所述生成器模型中包括方向感知的空间上下文模块；
判断所述目标图像是否为有阴影图像；
若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。
2.如权利要求1所述的方法，其特征在于，所述获取自然场景下植物叶片的目标图像的步骤之前，还包括：
将所述Mask-ShadowGAN网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块，获得第一训练网络模型；
通过有阴影图像训练和无阴影图像训练，对所述第一网络模型进行优化，获得预设目标网络模型。
3.如权利要求2所述的方法，其特征在于，所述预设目标网络模型的生成器模型中至少包括卷积层、Relu函数和九个堆叠的方向感知的空间上下文模块。
4.如权利要求3所述的方法，其特征在于，所述方向感知的空间上下文模块的结构为1x1Conv+空间RNN+CONCAT函数+1x1Conv+空间RNN+CONCAT函数结构；
其中，1x1Conv为1x1卷积，空间RNN为循环神经网络，CONCAT函数用于将不同方向上的上下文特征进行组合。
5.如权利要求2所述的方法，其特征在于，所述通过有阴影图像训练和无阴影图像训练，对所述第一网络模型进行优化，获得预设目标网络模型的步骤，具体包括：
获取公开的植物训练数据集；
对训练数据集中的有阴影图和无阴影图分别进行有阴影图像训练和无阴影图像训练；
根据有阴影图像训练和无阴影图像训练的训练结果，通过循环一致性损失对所述第一网络模型进行优化，获得预设目标网络模型。
6.如权利要求5所述的方法，其特征在于，所述植物训练数据集可以是无监督数据集USR、FGVC8植物病理识别挑战赛的数据集。
7.如权利要求1所述的方法，其特征在于，所述若是，则去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像的步骤，包括：
若是，则通过预设目标网络模型从不同方向上分析所述目标图像，确定所述目标图像的阴影区域及其边缘；
根据所述阴影区域及其边缘，去除所述阴影区域，获得所述目标图像对应的无阴影图像。
8.一种图像阴影消除装置，其特征在于，所述装置包括：
获取模块，用于获取自然场景下植物叶片的目标图像，所述目标图像包括有阴影图像和无阴影图像；
输入模块，用于将所述目标图像输入至预设目标网络模型，所述预设目标网络模型在Mask-ShadowGAN网络模型的基础上进行改进，所述预设目标网络模型中包括生成器模型，所述生成器模型中包括方向感知的空间上下文模块；
判断模块，用于判断所述目标图像是否为有阴影图像；
阴影消除模块，用于去除所述目标图像中的阴影，获得所述目标图像对应的无阴影图像。
9.一种图像阴影消除设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像阴影消除程序，所述图像阴影消除程序配置为实现如权利要求1至7中任一项所述的图像阴影消除方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有图像阴影消除程序，所述图像阴影消除程序被处理器执行时实现如权利要求1至7任一项所述的图像阴影消除方法的步骤。
CN202310057376.5A 2023-01-17 2023-01-17 图像阴影消除方法、装置、设备及存储介质 Pending CN116258643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310057376.5A CN116258643A (zh) 2023-01-17 2023-01-17 图像阴影消除方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310057376.5A CN116258643A (zh) 2023-01-17 2023-01-17 图像阴影消除方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116258643A true CN116258643A (zh) 2023-06-13

Family

ID=86685667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310057376.5A Pending CN116258643A (zh) 2023-01-17 2023-01-17 图像阴影消除方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116258643A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274828A (zh) * 2023-11-23 2023-12-22 巢湖学院 基于机器学习的农田智能监测与作物管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274828A (zh) * 2023-11-23 2023-12-22 巢湖学院 基于机器学习的农田智能监测与作物管理系统
CN117274828B (zh) * 2023-11-23 2024-02-02 巢湖学院 基于机器学习的农田智能监测与作物管理系统

Similar Documents

Publication Publication Date Title
CN108229490B (zh) 关键点检测方法、神经网络训练方法、装置和电子设备
Zhang et al. Ensnet: Ensconce text in the wild
US10635935B2 (en) Generating training images for machine learning-based objection recognition systems
US8798373B2 (en) Image restoration system, image restoration method, and image restoration program
JP2022528539A (ja) ビデオ内視鏡検査における品質評価
KR20210028185A (ko) 사람 자세 분석 시스템 및 방법
JP2007513555A (ja) 画像処理
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11379992B2 (en) Patch expansion for segmentation network training
Chawathe Rice disease detection by image analysis
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
Fried et al. Finding distractors in images
Zhao et al. Automatic blur region segmentation approach using image matting
US20220405899A1 (en) Generating image masks from digital images via color density estimation and deep learning models
CN116258643A (zh) 图像阴影消除方法、装置、设备及存储介质
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
Hu et al. Computer vision based method for severity estimation of tea leaf blight in natural scene images
CN108109164B (zh) 一种信息处理方法及电子设备
Queiroz et al. Endoscopy image restoration: A study of the kernel estimation from specular highlights
CN112561813A (zh) 人脸图像增强方法、装置、电子设备及存储介质
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
Gautam et al. WMCP-EM: An integrated dehazing framework for visibility restoration in single image
CN111079797B (zh) 一种图像分类的方法、装置和存储介质
Maity Improvised salient object detection and manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination