CN116883275B - 基于边界引导的图像去雨方法、系统、装置及介质 - Google Patents

基于边界引导的图像去雨方法、系统、装置及介质 Download PDF

Info

Publication number
CN116883275B
CN116883275B CN202310837388.XA CN202310837388A CN116883275B CN 116883275 B CN116883275 B CN 116883275B CN 202310837388 A CN202310837388 A CN 202310837388A CN 116883275 B CN116883275 B CN 116883275B
Authority
CN
China
Prior art keywords
image
boundary
layer
rainy
rain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310837388.XA
Other languages
English (en)
Other versions
CN116883275A (zh
Inventor
查雁南
王世安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute of Technology
Original Assignee
Guangzhou Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Institute of Technology filed Critical Guangzhou Institute of Technology
Priority to CN202310837388.XA priority Critical patent/CN116883275B/zh
Publication of CN116883275A publication Critical patent/CN116883275A/zh
Application granted granted Critical
Publication of CN116883275B publication Critical patent/CN116883275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于边界引导的图像去雨方法、系统、装置及介质，方法包括：获取有雨图像以作为第一输入图像，执行图像提取操作，得到第一输入图像的雨层图像和背景层图像以作为第二输入图像，执行边界提取操作，得到第二输入图像的雨层边界和背景层边界，并将其分别输入到训练好的雨层提取模型和背景提取模型，得到下一个雨层图像和背景层图像，将第二输入图像更新为下一个雨层图像和背景层图像，继续执行边界提取操作，并将第二输入图像的操作结果增加到第一输入图像中，继续执行图像提取操作，直至边界提取和图像提取达到预设次数，将最后一次的背景层图像作为去雨图像。本发明实施例能够提高图像去雨效果，可广泛应用于图像处理领域。

Description

基于边界引导的图像去雨方法、系统、装置及介质
技术领域
本发明涉及图像处理领域，尤其涉及一种基于边界引导的图像去雨方法、系统、装置及介质。
背景技术
随着人工智能和计算机视觉的发展，视觉系统在日常生活中无处不在，如视频监控和无人驾驶等，这些视觉系统首先需要获取图像，再对图像进行分析处理。在这个过程中，图像的质量就尤为重要，然而由于自然界存在雨、雪、雾等天气，会干扰图像的质量，从而导致后续的分析处理不准确，进而影响视觉系统的性能。
现有的大多数去雨方法都是直接从雨层或者图像层的约束出发，通过约束去雨后的干净背景层和真实的无雨图保持一致的方式来对模型进行学习，而忽略了图像边界的利用，使得去雨效果受限。
发明内容
有鉴于此，本发明实施例的目的是提供一种基于边界引导的图像去雨方法、系统、装置及介质，利用对图像边界的约束，提高图像去雨效果。
第一方面，本发明实施例提供了一种基于边界引导的图像去雨方法，包括：
获取有雨图像；
将有雨图像作为第一输入图像，执行图像提取操作，图像提取操作具体包括：将有雨图像输入到训练好的雨层提取模型，得到第一输入图像的雨层图像；将有雨图像输入训练好的背景提取模型，得到第一输入图像的背景层图像；
将雨层图像和背景层图像作为第二输入图像，执行边界提取操作，边界提取操作具体包括：将雨层图像输入到训练好的边界提取模型，得到第二输入图像的雨层边界；将背景层图像输入到训练好的边界提取模型，得到第二输入图像的背景层边界；
将雨层边界输入到训练好的雨层提取模型，得到下一个雨层图像，将背景层边界输入到训练好的背景提取模型，得到下一个背景层图像，将第二输入图像更新为下一个雨层图像和下一个背景层图像，继续执行边界提取操作，并将第二输入图像的操作结果增加到第一输入图像中，继续执行图像提取操作，直至边界提取和图像提取达到预设次数，将最后一次的背景层图像作为去雨图像。
可选地，通过以下步骤对边界提取模型进行训练：
获取若干个有雨图像样本，并根据有雨图像样本得到雨层图像样本和背景层图像样本；
将雨层图像样本输入到边界提取模型，得到第一雨层图像样本边界；将背景层图像样本输入到边界提取模型，得到第一背景层图像样本边界；
根据边界提取算法计算雨层图像样本的第二雨层图像样本边界，根据边界提取算法计算背景层图像样本的第二背景层图像样本边界；
根据第一雨层图像样本边界、第一背景层图像样本边界、第二雨层图像样本边界和第二背景层图像样本边界确定第一损失函数，通过第一损失函数对边界提取模型进行学习，根据第一损失函数的值确定边界提取模型的参数。
可选地，第一损失函数为：
其中，为第i个雨层图像样本的第二雨层图像样本边界，/>为第i个背景层图像样本的第二背景层图像样本边界，Ri为第i个雨层图像样本，Ii为第i个背景层图像样本，Edgenet(Ri)为第i个雨层图像样本的第一雨层图像样本边界，Edgenet(Ii)为第i个背景层图像样本的第一背景层图像样本边界，N为有雨图像样本的总个数。
可选地，通过以下步骤雨层提取模型和背景提取模型进行训练：
将有雨图像样本作为第一输入图像，执行图像提取操作，具体包括：将有雨图像样本输入到雨层提取模型，得到第一输入图像的雨层图像样本；将有雨图像样本输入到背景层提取模型，得到第一输入图像的背景层图像样本；
将第一输入图像的雨层图像样本和背景层图像样本作为第二输入图像，执行边界提取操作，具体包括：将雨层图像样本输入到边界提取模型，得到第二输入图像的第一雨层样本边界；将背景层图像样本输入到边界提取模型，得到第二输入图像的第一背景层样本边界；
将第一雨层样本边界输入到雨层提取模型，得到下一个雨层图像样本，将第一背景层样本边界输入到背景层提取模型，得到下一个背景层图像样本，将第二输入图像更新为下一个雨层图像样本和下一个背景层图像样本，继续执行边界提取操作，并将第二输入图像的操作结果增加到第一输入图像中，继续执行图像提取操作；
根据雨层图像样本、背景层图像样本、经过若干次图像提取的雨层图像样本和背景层图像样本确定第三损失函数，根据第一雨层图像样本边界、第一背景层图像样本边界、经过若干次边界提取的第一雨层图像样本边界和经过若干次边界提取的第一背景层图像样本边界确定第四损失函数；
通过第三损失函数和第四损失函数对雨层提取模型和背景层提取模型进行学习，根据第三损失函数的值和第四损失函数的值确定雨层提取模型和背景层提取模型的参数。
可选地，第三损失函数为：
其中，Ri为雨层图像样本，Ii为背景层图像样本，为经过k次图像提取的第i个雨层图像样本，/>为经过第k次图像提取的第i个背景层图像样本，K为进行提取的总次数，N为有雨图像样本的总个数。
可选地，第四损失函数为：
其中，为第i个雨层图像样本的第一雨层图像样本边界，/>为第i个背景层图像样本的第一背景层图像样本边界，/>为经过k次边界提取的第i个雨层图像样本的第一雨层图像样本边界，/>为经过k次边界提取的第i个背景层图像样本的第一背景层图像样本边界，K为进行提取的总次数，N为有雨图像样本的总个数。
第二方面，本发明实施例提供了一种基于边界引导的图像去雨系统，其特征在于，包括：
第一模块，用于获取有雨图像；
第二模块，用于将有雨图像作为第一输入图像，执行图像提取操作，图像提取操作具体包括：将有雨图像输入到训练好的雨层提取模型，得到第一输入图像的雨层图像；将有雨图像输入训练好的背景提取模型，得到第一输入图像的背景层图像；
第三模块，用于将雨层图像和背景层图像作为第二输入图像，执行边界提取操作，边界提取操作具体包括：将雨层图像输入到训练好的边界提取模型，得到第二输入图像的雨层边界；将背景层图像输入到训练好的边界提取模型，得到第二输入图像的背景层边界；
第四模块，用于将雨层边界输入到训练好的雨层提取模型，得到下一个雨层图像，将背景层边界输入到训练好的边界提取模型，得到下一个背景层图像，将第二输入图像更新为下一个雨层图像和下一个背景层图像，继续执行边界提取操作，并将第二输入图像的操作结果增加到第一输入图像中，继续执行图像提取操作，直至边界提取和图像提取达到预设次数，将最后一次的背景层图像作为去雨图像。
第三方面，本发明实施例提供了一种基于边界引导的图像去雨装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如上所述的基于边界引导的图像去雨方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，处理器可执行的程序在由处理器执行时用于执行如上所述的基于边界引导的图像去雨方法。
第五方面，本发明实施例提供了一种基于边界引导的图像去雨装置系统，其特征在于，包括图像采集设备以及与图像采集设备连接的计算机设备；其中，
图像采集设备，用于采集有雨图像；
计算机设备包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如上所述的基于边界引导的图像去雨方法。
实施本发明实施例包括以下有益效果：本发明实施例的基于边界引导的图像去雨方法中引入了边界提取模型提取图像的边界，充分利用了边界信息，再结合雨层提取模型和背景层提取模型的使用，通过约束图像和图像边界来实现有效去雨；并且将边界提取模型提取得到的图像边界反馈给雨层提取模型和背景层提取模型，从而更好地引导图像去雨，最终提高了图像去雨效果。
附图说明
图1是本发明实施例提供的一种基于边界引导的图像去雨方法的步骤流程示意图；
图2是本发明实施例提供的另一种基于边界引导的图像去雨方法的步骤流程示意图；
图3是本发明实施例提供的一种基于边界引导的图像去雨方法中雨层提取模型和背景层提取模型的结构示意图；
图4是本发明实施例提供的一种基于边界引导的图像去雨系统；
图5是本发明实施例提供的一种基于边界引导的图像去雨装置；
图6是本发明实施例提供的一种基于边界引导的图像去雨装置系统。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明实施例中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
如图1所示，本发明实施例提供了一种基于边界引导的图像去雨方法，包括：
S100、获取有雨图像。
具体地，有雨图像为包括含有雨珠、雨雾、雨滴线条等雨水元素的图像；有雨图像包括雨层图像和背景层图像；雨层图像为包括雨水元素的图像层，背景层图像为无雨水元素的干净背景图像层。
具体地，获取有雨图像的方法包括但不限于通过图像采集设备获得，或直接通过互联网获得。
S200、将有雨图像作为第一输入图像，执行图像提取操作，图像提取操作具体包括：将有雨图像输入到训练好的雨层提取模型，得到第一输入图像的雨层图像；将有雨图像输入训练好的背景提取模型，得到第一输入图像的背景层图像。
具体地，通过图像提取对图像进行约束；经过图像提取得到的雨层图像和背景层图像，与有雨图像的雨层图像和背景层图像一致。
S300、将雨层图像和背景层图像作为第二输入图像，执行边界提取操作，边界提取操作具体包括：将雨层图像输入到训练好的边界提取模型，得到第二输入图像的雨层边界；将背景层图像输入到训练好的边界提取模型，得到第二输入图像的背景层边界。
具体地，通过边界提取对图像的边界进行约束；经过边界提取得到的雨层图像边界和背景层图像边界，与有雨图像的雨层图像边界和背景层图像边界一致。
S400、将雨层边界输入到训练好的雨层提取模型，得到下一个雨层图像，将背景层边界输入到训练好的背景提取模型，得到下一个背景层图像，将第二输入图像更新为下一个雨层图像和下一个背景层图像，继续执行边界提取操作，并将第二输入图像的操作结果增加到第一输入图像中，继续执行图像提取操作，直至边界提取和图像提取达到预设次数，将最后一次的背景层图像作为去雨图像。
具体地，预设次数根据实际需求和去雨效果设定，本发明实施例中不做限定。
具体地，当边界提取和图像提取达到预设次数，最后一次提取的背景层图像与原有雨图像中的背景层图像的差别最小，达到良好的去雨效果，即可将最后一次提取的背景层图像作为去雨图像。
参阅图2，在一个具体的实施例中，实施基于边界引导的图像去雨方法的流程包括：
获取有雨图像J；
将有雨图像J作为第一输入图像，分别输入到雨层提取模型和背景提取模型中，雨层提取模型进行图像提取得到雨层图像R，背景提取模型进行图像提取得到背景层图像R；
将雨层图像R和背景层图I作为第二输入图像输入到边界提取模型中，进行边界提取，得到第二输入图像的雨层边界和背景层边界；
将雨层边界再输入回训练好的雨层提取模型，得到下一个雨层图像R，将背景层边界输入回背景提取模型，得到下一个背景层图像I，将第二输入图像更新为下一个雨层图像R和下一个背景层图像I，继续执行边界提取操作，并将第二输入图像的操作结果增加到第一输入图像中，继续执行图像提取操作，直至边界提取和图像提取达到预设次数，将最后一次的背景层图像作为去雨图像。
其中，雨层提取模型、背景提取模型和边界提取模型都为训练好的模型。
需要说明的是，雨层提取模型和背景提取模型的具体模型根据实际情况确定，本发明实施例中不做限定，仅提供具体实施例以供参考。
如图3所示，本发明实施例提供一种雨层提取模型和背景提取模型的具体模型；其中，雨层提取模型和背景提取模型都分别依次包括编码器层1、编码器层2、编码器层3、解码器层3、解码器层2和解码器层1。
具体地，雨层提取模型中，编码器层1输出编码器层2输出/>编码器层3输出解码器层3输出/>解码器层2输出/>解码器层1输出/>
具体地，雨层提取模型用于对提取的雨层图像进行稀疏性约束。
具体地，背景提取模型中，编码器层1输出编码器层2输出/>编码器层3输出解码器层3输出/>解码器层2输出/>解码器层1输出/>
具体地，背景提取模型用于对提取的背景层图像进行对抗损失约束。
具体地，边界提取模型用于对提取的雨层图像和背景层图像进行重构一致性约束。
可选地，通过以下步骤对边界提取模型进行训练：
获取若干个有雨图像样本Ji，并根据有雨图像样本Ji得到雨层图像样本Ri和背景层图像样本Ii；
将雨层图像样本Ri输入到边界提取模型Edgenet，得到第一雨层图像样本边界Edgenet(Ri)；将背景层图像样本为Ii输入到边界提取模型Edgenet，得到第一背景层图像样本边界Edgenet(Ii)；
根据边界提取算法计算雨层图像样本的第二雨层图像样本边界根据边界提取算法计算背景层图像样本的第二背景层图像样本边界/>
根据第一雨层图像样本边界Edgenet(Ri)、第一背景层图像样本边界Edgenet(Ii)、第二雨层图像样本边界和第二背景层图像样本边界/>确定第一损失函数Ledge，通过第一损失函数Ledge对边界提取模型Edgenet进行学习，根据第一损失函数Ledge的值确定边界提取模型Edgenet的参数。
具体地，获取若干个有雨图像样本及其对应的背景层图像样本，其中，第i个有雨图像样本为Ji，其对应的背景层图像样本为Ii，通过有雨图像样本Ji和背景层图像样本Ii得到雨层图像样本Ri。
具体地，边界提取模型中包括边界提取算法，边界提取算法包括Canny、Sobel或Prewitt等中的任意一项。
可选地，第一损失函数为：
其中，为第i个雨层图像样本的第二雨层图像样本边界，/>为第i个背景层图像样本的第二背景层图像样本边界，Ri为第i个雨层图像样本，Ii为第i个背景层图像样本，Edgenet(Ri)为第i个雨层图像样本的第一雨层图像样本边界，Edgenet(Ii)为第i个背景层图像样本的第一背景层图像样本边界，N为有雨图像样本的总个数。
具体地，可设置第一损伤函数Ledge的预设值，通过第一损失函数Ledge对边界提取模型Edgenet进行学习，当第一损失函数Ledge的值达到其预设值，即可确定边界提取模型Edgenet的参数，得到训练好的边界提取模型。
具体地，第一损伤函数Ledge的预设值根据实际需求和效果设定，本发明实施例中不做限定。
具体地，边界提取模型Edgenet的具体模型根据实际需求设置，本发明实施例中不做限定，仅给出实施例以供参考；例如，边界提取模型Edgenet可为包括若干层U-net结构的模型。
可选地，通过以下步骤雨层提取模型和背景提取模型进行训练：
将有雨图像样本Ji作为第一输入图像，执行图像提取操作，具体包括：将有雨图像样本Ji输入到雨层提取模型，得到第一输入图像的雨层图像样本；将有雨图像样本Ji输入到背景层提取模型，得到第一输入图像的背景层图像样本；
具体地，将有雨图像样本Ji作为第一输入图像，执行图像提取操作，得到第一输入图像的雨层图像样本和背景层图像样本/>其中：
ER为雨层提取模型，EI为背景层提取模型；ER的输入参数包括有雨图像样本Ji和雨层图像样本边界，EI的输入参数包括有雨图像样本Ji和背景层图像样本边界；由于第一输入图像尚未进行边界提取操作，以有雨图像样本Ji替代雨层图像样本边界和背景层图像样本边界。
将第一输入图像的雨层图像样本和背景层图像样本作为第二输入图像，执行边界提取操作，具体包括：将雨层图像样本输入到边界提取模型Edgenet，得到第二输入图像的第一雨层样本边界；将背景层图像样本输入到边界提取模型Edgenet，得到第二输入图像的第一背景层样本边界；
具体地，将第一输入图像的雨层图像样本和背景层图像样本作为第二输入图像，执行边界提取操作，得到第二输入图像的第一雨层样本边界和第一背景层样本边界其中：
将第一雨层样本边界输入到雨层提取模型ER，得到下一个雨层图像样本，将第一背景层样本边界/>输入到背景层提取模型EI，得到下一个背景层图像样本，将第二输入图像更新为下一个雨层图像样本和下一个背景层图像样本，继续执行边界提取操作，并将第二输入图像的操作结果增加到第一输入图像中，继续执行图像提取操作；
具体地，进行了若干次边界提取操作的雨层图像样本为进行了若干次边界提取操作的背景层图像样本为/>其中k为提取次数。
具体地，将第二输入图像的操作结果增加到第一输入图像中，继续执行图像提取操作，包括：
将雨层图像样本边界与有雨图像样本Ji拼接后输入到雨层提取模型ER，将背景层图像样本边界/>与有雨图像样本Ji拼接后输入到背景层提取模型EI，即：
具体地，在第k+1次图像提取后，将第k+1次图像提取得到的雨层图像样本和背景层图像样本/>再次进行边界提取：
得到进行了第k+1次边界提取的雨层图像样本边界和背景层图像样本边界/>
根据雨层图像样本、背景层图像样本、经过若干次图像提取的雨层图像样本和背景层图像样本确定第三损失函数，根据第一雨层图像样本边界、第一背景层图像样本边界、经过若干次边界提取的第一雨层图像样本边界和经过若干次边界提取的第一背景层图像样本边界确定第四损失函数；
通过第三损失函数和第四损失函数对雨层提取模型和背景层提取模型进行学习，根据第三损失函数的值和第四损失函数的值确定雨层提取模型和背景层提取模型的参数。
可选地，第三损失函数为：
其中，Ri为雨层图像样本，Ii为背景层图像样本，为经过k次图像提取的第i个雨层图像样本，/>为经过第k次图像提取的第i个背景层图像样本，K为进行提取的总次数，N为有雨图像样本的总个数。
可选地，第四损失函数为：
其中，为第i个雨层图像样本的第一雨层图像样本边界，/>为第i个背景层图像样本的第一背景层图像样本边界，/>为经过k次边界提取的第i个雨层图像样本的第一雨层图像样本边界，/>为经过k次边界提取的第i个背景层图像样本的第一背景层图像样本边界，K为进行提取的总次数，N为有雨图像样本的总个数。
具体地，雨层提取模型和背景层提取模型的参数通过梯度下降法来确定。
具体地，令第三损失函数和第四损失函数相加得到第五损失函数：
L＝Limage+Ledge
具体地，通过梯度下降法迭代求解第五损失函数L的最小值以及雨层提取模型和背景层提取模型的参数的最小值。
具体地，可设置第五损失函数L的预设最小值，经过若干次的图像提取操作和边界提取操作后，当第五损失函数L的值达到其预设最小值，确定雨层提取模型ER和背景层提取模型EI对应的参数，得到训练好的雨层提取模型ER和背景层提取模型EI。
具体地，上述最小值接近于0，具体数据根据实际需求确定，本实施例中不作限定。
具体地，雨层提取模型ER的具体模型根据实际需求设置，本发明实施例中不做限定，仅给出实施例以供参考；例如，雨层提取模型ER可为若干层卷积神经网络拼接而成的模型。
具体地，背景层提取模型EI的具体模型根据实际需求设置，本发明实施例中不做限定，仅给出实施例以供参考；例如，背景层提取模型EI可为多尺度膨胀卷积网络模型。
实施本发明实施例包括以下有益效果：本发明实施例的基于边界引导的图像去雨方法中通过引入边界提取模型来提取图像的边界，充分利用了边界信息来约束图像边界，结合通过雨层提取模型和背景层提取模型来提取有雨图像的雨层和背景层，约束了图像，从而实现了有效去雨；将边界提取模型提取得到的图像边界与输入的有雨图像一起反馈给雨层提取模型和背景层提取模型，在去雨过程中进行了多次图像提取和边界提取，构成循环反馈结构，从而更好地引导图像去雨，最终提高了图像去雨效果。
第二方面，如图4所示，本发明实施例提供了一种基于边界引导的图像去雨系统，其特征在于，包括：
第一模块，用于获取有雨图像；
第二模块，用于将有雨图像作为第一输入图像，执行图像提取操作，图像提取操作具体包括：将有雨图像输入到训练好的雨层提取模型，得到第一输入图像的雨层图像；将有雨图像输入训练好的背景提取模型，得到第一输入图像的背景层图像；
第三模块，用于将雨层图像和背景层图像作为第二输入图像，执行边界提取操作，边界提取操作具体包括：将雨层图像输入到训练好的边界提取模型，得到第二输入图像的雨层边界；将背景层图像输入到训练好的边界提取模型，得到第二输入图像的背景层边界；
第四模块，用于将雨层边界输入到训练好的雨层提取模型，得到下一个雨层图像，将背景层边界输入到训练好的边界提取模型，得到下一个背景层图像，将第二输入图像更新为下一个雨层图像和下一个背景层图像，继续执行边界提取操作，并将第二输入图像的操作结果增加到第一输入图像中，继续执行图像提取操作，直至边界提取和图像提取达到预设次数，将最后一次的背景层图像作为去雨图像。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
第三方面，如图4所示，本发明实施例提供了一种基于边界引导的图像去雨装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如上所述的基于边界引导的图像去雨方法。
具体地，存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的远程存储器，这些远程存储器可以通过模型连接至处理器。上述模型的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
此外，本申请实施例还公开了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述的方法。同样地，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
可见，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，处理器可执行的程序在由处理器执行时用于执行如上所述的基于边界引导的图像去雨方法。
可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
第五方面，如图5所示，本发明实施例提供了一种基于边界引导的图像去雨装置系统，其特征在于，包括图像采集设备以及与图像采集设备连接的计算机设备；其中，
图像采集设备，用于采集有雨图像；
计算机设备包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如上所述的基于边界引导的图像去雨方法。
具体地，图像采集设备包括但不限于照相机。
具体地，计算机设备，其可为不同类型的电子设备，包含但不限于有台式电脑、手提电脑等终端。
具体地，存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的远程存储器，这些远程存储器可以通过模型连接至处理器。上述模型的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于边界引导的图像去雨方法，其特征在于，所述方法包括：
获取有雨图像；
将所述有雨图像作为第一输入图像，执行图像提取操作，图像提取操作具体包括：将所述有雨图像输入到训练好的雨层提取模型，得到所述第一输入图像的雨层图像；将所述有雨图像输入训练好的背景提取模型，得到所述第一输入图像的背景层图像；
将所述雨层图像和背景层图像作为第二输入图像，执行边界提取操作，边界提取操作具体包括：将所述雨层图像输入到训练好的边界提取模型，得到所述第二输入图像的雨层边界；将所述背景层图像输入到训练好的边界提取模型，得到所述第二输入图像的背景层边界；
将所述雨层边界输入到训练好的雨层提取模型，得到下一个雨层图像，将所述背景层边界输入到训练好的背景提取模型，得到下一个背景层图像，将所述第二输入图像更新为所述下一个雨层图像和下一个背景层图像，继续所述执行边界提取操作，并将所述第二输入图像的操作结果增加到所述第一输入图像中，继续所述执行图像提取操作，直至所述边界提取和所述图像提取达到预设次数，将最后一次的背景层图像作为去雨图像。
2.根据权利要求1所述的基于边界引导的图像去雨方法，其特征在于，通过以下步骤对边界提取模型进行训练：
获取若干个有雨图像样本，并根据所述有雨图像样本得到雨层图像样本和背景层图像样本；
将所述雨层图像样本输入到边界提取模型，得到第一雨层图像样本边界；将所述背景层图像样本输入到边界提取模型，得到第一背景层图像样本边界；
根据边界提取算法计算所述雨层图像样本的第二雨层图像样本边界，根据边界提取算法计算所述背景层图像样本的第二背景层图像样本边界；
根据所述第一雨层图像样本边界、所述第一背景层图像样本边界、所述第二雨层图像样本边界和所述第二背景层图像样本边界确定第一损失函数，通过第一损失函数对所述边界提取模型进行学习，根据第一损失函数的值确定边界提取模型的参数。
3.根据权利要求2所述的基于边界引导的图像去雨方法，其特征在于，所述第一损失函数为：
其中，为第i个雨层图像样本的第二雨层图像样本边界，/>为第i个背景层图像样本的第二背景层图像样本边界，Ri为第i个雨层图像样本，Ii为第i个背景层图像样本，Edgenet(Ri)为第i个雨层图像样本的第一雨层图像样本边界，Edgenet(Ii)为第i个背景层图像样本的第一背景层图像样本边界，N为有雨图像样本的总个数。
4.根据权利要求1所述的基于边界引导的图像去雨方法，其特征在于，通过以下步骤对雨层提取模型和背景提取模型进行训练：
将有雨图像样本作为第一输入图像，执行图像提取操作，具体包括：将所述有雨图像样本输入到雨层提取模型，得到所述第一输入图像的雨层图像样本；将所述有雨图像样本输入到背景层提取模型，得到所述第一输入图像的背景层图像样本；
将所述第一输入图像的雨层图像样本和背景层图像样本作为第二输入图像，执行边界提取操作，具体包括：将所述雨层图像样本输入到边界提取模型，得到所述第二输入图像的第一雨层样本边界；将所述背景层图像样本输入到边界提取模型，得到所述第二输入图像的第一背景层样本边界；
将所述第一雨层样本边界输入到所述雨层提取模型，得到下一个雨层图像样本，将所述第一背景层样本边界输入到所述背景层提取模型，得到下一个背景层图像样本，将所述第二输入图像更新为所述下一个雨层图像样本和下一个背景层图像样本，继续所述执行边界提取操作，并将所述第二输入图像的操作结果增加到所述第一输入图像中，继续所述执行图像提取操作；
根据雨层图像样本、背景层图像样本、经过若干次图像提取的雨层图像样本和背景层图像样本确定第三损失函数，根据第一雨层图像样本边界、第一背景层图像样本边界、经过若干次边界提取的第一雨层图像样本边界和经过若干次边界提取的第一背景层图像样本边界确定第四损失函数；
通过第三损失函数和第四损失函数对所述雨层提取模型和所述背景层提取模型进行学习，根据所述第三损失函数的值和所述第四损失函数的值确定所述雨层提取模型和所述背景层提取模型的参数。
5.根据权利要求4所述的基于边界引导的图像去雨方法，其特征在于，所述第三损失函数为：
其中，Ri为雨层图像样本，Ii为背景层图像样本，为经过k次图像提取的第i个雨层图像样本，/>为经过第k次图像提取的第i个背景层图像样本，K为进行提取的总次数，
N为有雨图像样本的总个数。
6.根据权利要求4所述的基于边界引导的图像去雨方法，其特征在于，所述第四损失函数为：
其中，为第i个雨层图像样本的第一雨层图像样本边界，/>为第i个背景层图像样本的第一背景层图像样本边界，/>为经过k次边界提取的第i个雨层图像样本的第一雨层图像样本边界，/>为经过k次边界提取的第i个背景层图像样本的第一背景层图像样本边界，K为进行提取的总次数，N为有雨图像样本的总个数。
7.一种基于边界引导的图像去雨系统，其特征在于，包括：
第一模块，用于获取有雨图像；
第二模块，用于将所述有雨图像作为第一输入图像，执行图像提取操作，图像提取操作具体包括：将所述有雨图像输入到训练好的雨层提取模型，得到所述第一输入图像的雨层图像；将所述有雨图像输入训练好的背景提取模型，得到所述第一输入图像的背景层图像；
第三模块，用于将所述雨层图像和背景层图像作为第二输入图像，执行边界提取操作，边界提取操作具体包括：将所述雨层图像输入到训练好的边界提取模型，得到所述第二输入图像的雨层边界；将所述背景层图像输入到训练好的边界提取模型，得到所述第二输入图像的背景层边界；
第四模块，用于将所述雨层边界输入到训练好的雨层提取模型，得到下一个雨层图像，将所述背景层边界输入到训练好的边界提取模型，得到下一个背景层图像，将所述第二输入图像更新为所述下一个雨层图像和下一个背景层图像，继续所述执行边界提取操作，并将所述第二输入图像的操作结果增加到所述第一输入图像中，继续所述执行图像提取操作，直至所述边界提取和所述图像提取达到预设次数，将最后一次的背景层图像作为去雨图像。
8.一种基于边界引导的图像去雨装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-6任一项所述的方法。
10.一种基于边界引导的图像去雨装置系统，其特征在于，包括图像采集设备以及与所述图像采集设备连接的计算机设备；其中，
所述图像采集设备，用于采集有雨图像；
所述计算机设备包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的方法。
CN202310837388.XA 2023-07-07 2023-07-07 基于边界引导的图像去雨方法、系统、装置及介质 Active CN116883275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310837388.XA CN116883275B (zh) 2023-07-07 2023-07-07 基于边界引导的图像去雨方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310837388.XA CN116883275B (zh) 2023-07-07 2023-07-07 基于边界引导的图像去雨方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN116883275A CN116883275A (zh) 2023-10-13
CN116883275B true CN116883275B (zh) 2023-12-29

Family

ID=88267349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310837388.XA Active CN116883275B (zh) 2023-07-07 2023-07-07 基于边界引导的图像去雨方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN116883275B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046670A (zh) * 2015-08-28 2015-11-11 中国科学院深圳先进技术研究院 一种图像去雨方法及系统
CN113393385A (zh) * 2021-05-12 2021-09-14 广州工程技术职业学院 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN113450288A (zh) * 2021-08-04 2021-09-28 广东工业大学 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN113628145A (zh) * 2021-08-27 2021-11-09 燕山大学 一种图像清晰化方法、系统、设备及存储介质
WO2022128014A1 (de) * 2020-12-15 2022-06-23 Conti Temic Microelectronic Gmbh Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI780884B (zh) * 2021-08-31 2022-10-11 國立中正大學 單圖像除雨方法及其系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046670A (zh) * 2015-08-28 2015-11-11 中国科学院深圳先进技术研究院 一种图像去雨方法及系统
WO2022128014A1 (de) * 2020-12-15 2022-06-23 Conti Temic Microelectronic Gmbh Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung
CN113393385A (zh) * 2021-05-12 2021-09-14 广州工程技术职业学院 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN113450288A (zh) * 2021-08-04 2021-09-28 广东工业大学 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN113628145A (zh) * 2021-08-27 2021-11-09 燕山大学 一种图像清晰化方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用注意力机制融合多尺度特征的图像去雨方法;杨浪 等;《激光杂志》;第44卷(第6期);第108-113页 *

Also Published As

Publication number Publication date
CN116883275A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN111768432B (zh) 基于孪生深度神经网络的动目标分割方法及系统
US10929720B2 (en) Image processing method, image processing apparatus, and computer storage medium
US11657274B2 (en) Weakly-supervised semantic segmentation with self-guidance
US10552737B2 (en) Artificial neural network class-based pruning
CN108229591B (zh) 神经网络自适应训练方法和装置、设备、程序和存储介质
CN111695421B (zh) 图像识别方法、装置及电子设备
WO2023082453A1 (zh) 一种图像处理方法及装置
CN114998595B (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
CN112418327A (zh) 图像分类模型的训练方法、装置、电子设备以及存储介质
CN115810135A (zh) 样本分析的方法、电子设备、存储介质和程序产品
CN111325671B (zh) 网络训练方法、装置、图像处理方法及电子设备
CN111461211A (zh) 一种用于轻量级目标检测的特征提取方法及相应检测方法
CN114358204A (zh) 基于自监督的无参考图像质量评估方法及系统
CN116883275B (zh) 基于边界引导的图像去雨方法、系统、装置及介质
CN113420871A (zh) 图像质量的评估方法、装置、存储介质及电子装置
US11816181B2 (en) Blur classification and blur map estimation
CN113284122B (zh) 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质
CN116415019A (zh) 虚拟现实vr图像识别方法及装置、电子设备、存储介质
CN114038044A (zh) 人脸性别年龄识别方法、装置、电子设备和存储介质
CN112395993A (zh) 基于监控视频数据的遮挡船只检测方法、装置及电子设备
CN110222622A (zh) 一种环境土壤检测方法及装置
CN110781345A (zh) 视频描述生成模型的获取方法、视频描述生成方法及装置
CN112672033A (zh) 图像处理方法及装置、存储介质、电子装置
CN116681625B (zh) 基于多尺度对比学习的无监督图像去雨方法、装置及终端
CN114898186B (zh) 细粒度图像识别模型训练、图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant