CN116957916A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116957916A
CN116957916A CN202310283818.8A CN202310283818A CN116957916A CN 116957916 A CN116957916 A CN 116957916A CN 202310283818 A CN202310283818 A CN 202310283818A CN 116957916 A CN116957916 A CN 116957916A
Authority
CN
China
Prior art keywords
meteorological
image
weather
substance
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310283818.8A
Other languages
English (en)
Inventor
宋奕兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310283818.8A priority Critical patent/CN116957916A/zh
Publication of CN116957916A publication Critical patent/CN116957916A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质，涉及人工智能技术领域，该方法包括：对待处理图像进行图像分割，获得待处理图像的背景图层和气象图层；提取气象图层中的气象属性特征；其中，气象属性特征包括气象物质的气象属性以及气象属性对应的属性特征值；根据气象图层随机生成多张气象物质图像；其中，多张气象物质图像中任意两张气象物质图像至少存在一个不同的属性特征值；根据背景图层、气象属性特征以及多张气象物质图像，合成多张含气象物质图像。利用本申请提供的技术方案可以合成真实自然的含气象物质图像，为去除气象物质的图像处理技术提供了丰富的数据基础，进而可以提升去除气象物质的图像处理的准确性。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着计算机互联网技术的发展，图像处理技术不断提升，在某些应用场景下，可以利用图像处理技术对图像进行去除雨、雾、雪等气象物质的操作。如：一些场景(如：行车记录仪)采集到的图像包含雨、雾、雪等自然天气的图像，但在图像识别或其他图像处理过程中，可能需要将图像中的雨、雾、雪等自然天气因素去除，以对图像进行去噪处理，进而提升后续图像处理的准确度。
一般的，将图像中的雨、雾、雪等自然天气因素去除可以采用机器学习模型的方式，这就需要大量的有雨、雾、雪等自然天气因素的图像和不含雨、雾、雪等自然天气因素的图像作为模型的训练数据。但是，目前对于如何在图像中添加雨、雾、雪等的图像处理的研究比较少，现有的在图像中添加雨、雾、雪等方法生成的图像与真实的包含雨、雾、雪的图像差异仍比较大，不够真实，得到的带有雨、雾、雪的图像数量也比较少。因此，对于同一张场景有雨、雾、雪等图像和无雨、雾、雪等图像的成对图像获取十分困难，可能会影响关于去除雨、雾、雪等图像处理的机器学习模型训练的准确性，进而影响去除雨、雾、雪等的图像处理效果。
因此，如何能够提供一种能够生成自然、真实的包含雨、雾、雪等气象物质的图像的技术方案是本领域亟需解决的技术问题。
发明内容
本申请提供了一种图像处理方法、装置、设备、存储介质及计算机程序产品，可以合成自然真实的含气象物质图像，为去除气象物质的图像处理技术提供了丰富的数据基础，进而可以提升去除气象物质的图像处理的准确性。
一方面，本申请提供了一种图像处理方法，所述方法包括：
对待处理图像进行图像分割，获得所述待处理图像的背景图层和气象图层；
提取所述气象图层中的气象属性特征；其中，所述气象属性特征包括气象物质的气象属性以及所述气象属性对应的属性特征值；
根据所述气象图层随机生成多张气象物质图像；其中，所述气象物质图像包含所述气象物质，多张所述气象物质图像中任意两张气象物质图像至少存在一个不同的属性特征值；
根据所述背景图层、所述气象属性特征以及所述多张气象物质图像，合成多张含气象物质图像，所述含气象物质图像中带有所述气象物质。
另一方面提供了一种图像处理装置，所述装置包括：
图像分割模块，用于对待处理图像进行图像分割，获得所述待处理图像的背景图层和气象图层；
属性提取模块，用于提取所述气象图层中的气象属性特征；其中，所述气象属性特征包括气象物质的气象属性以及所述气象属性对应的属性特征值；
内容生成模块，用于根据所述气象图层随机生成多张气象物质图像；其中，所述气象物质图像包含所述气象物质，多张所述气象物质图像中任意两张气象物质图像至少存在一个不同的属性特征值；
图像合成模块，用于根据所述背景图层、所述气象属性特征以及所述多张气象物质图像，合成多张含气象物质图像，所述含气象物质图像中带有所述气象物质。
另一方面提供了一种电子设备，包括：处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述任一项所述的图像处理方法。
另一方面提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述任一图像处理方法。
另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的图像处理方法。
本申请提供的图像处理方法、装置、设备、存储介质及计算机程序产品，具有如下技术效果：
本申请通过对待处理图像进行图像分割生成待处理图像的背景图层和气象图层，再提取气象图层中的气象属性特征，并基于气象图层利用随机分布算法生成多张气象物质图像，从将多张气象物质图像与气象属性特征以及待处理图像的背景图层进行合成处理，合成多张包含雨、雾、雪等气象物质的图像。其中，气象物质图像中的属性特征值是不同的，因此，合成的多张图像中的气象物质的气象属性不同，实现了对气象物质的属性的个性化定制和灵活编辑。合成的图像中的气象物质更加真实自然，不仅为影视作品、游戏或AR等场景提供更真实的含气象物质图像，还可以为去除气象物质的图像处理技术提供丰富的数据基础，进而可以提升去除气象物质的图像处理技术的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种图像处理方法的应用环境的示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本说明书一个实施例中图像分割的原理示意图；
图4是本说明书一个实施例中含雨图像合成效果的示意图；
图5是本说明书一个实施例中图像处理的原理示意图；
图6是本说明书一个实施例中调制生成器的原理示意图；
图7是本说明书另一个实施例中含雨图像合成效果的示意图；
图8是本申请实施例提供的一种图像处理装置的结构示意图；
图9是本申请实施例提供的另一种图像处理装置的结构示意图；
图10是本申请实施例提供的一种用于图像处理的电子设备的框图；
图11是本申请实施例提供的另一种用于图像处理的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本申请实施例提供的一种图像处理方法的应用环境的示意图，该应用环境至少可以包括服务器100和终端200。
在一个可选的实施例中，服务器100可以用于进行图像处理处理，服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
在一个可选的实施例中，终端200可以用于面向用户提供图像处理服务，以及用于进行图像分割、特征提取、图像合成等图像处理过程中的预处理。具体的，终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备、车载终端、智能电视等类型的电子设备；也可以为运行于上述电子设备的软体，例如应用程序、小程序等。本申请实施例中电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外，需要说明的是，图1所示的仅仅是一种图像处理方法的应用环境，本说明书实施例并不以上述为限。
本说明书实施例中，上述服务器100和终端200可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的图像处理等技术，图像处理也可以理解为计算机视觉技术，计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(optical character recognition，文字识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。而本说明实施例中的图像处理主要是基于现有的图像合成包含有雨、雾、雪等气象物质的图像。
如上述实施例中的记载，有许多场景需要对图像进行去除雨、雾、雪等气象物质的操作，来对图像进行去噪以提升图像处理的准确性。而去除图像中雨、雾、雪等气象物质的操作，需要使用大量的含有雨、雾、雪等气象物质的图像与不含雨、雾、雪等气象物质的图像做为基础数据，这样就需要生成大量的含有气象物质的图像，来为图像处理做数据准备。此外，有些特殊应用场景，如：影视作品、游戏或AR(Augmented Reality，增强现实)等场景也会存在需要含有不同特征的雨、雾、雪等气象物质的图像的场景，如：游戏中需要使用到下雨天气的户外场景。
而本说明书实施例可以提供一种图像处理方法，可以对原始包含或不包含雨、雾、雪等气象物质的图像进行图像处理，合成多张包含雨、雾、雪等气象物质的图像，并且合成的多张图像中的雨、雾、雪等气象物质的属性是不同的，实现了对雨、雾、雪等气象物质等属性的编辑，合成多种不同属性特征的图像供用户选择，满足用户的不用需求。合成的图像中的气象物质更加真实自然，不仅为影视作品、游戏或AR等场景提供带有雨、雾、雪等的图像，还可以为去除雨、雾、雪等的图像处理机器学习模型提供了丰富的数据基础，进而可以提升去除雨、雾、雪等图像处理技术的准确性。
以下介绍本申请一种图像处理方法，图2是本申请实施例提供的一种图像处理方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，方法可以包括：
S202：对待处理图像进行图像分割，获得待处理图像的背景图层和气象图层。
在具体的实时过程中，本说明书实施例中主要是合成一张能够包含气象物质如：雨、雾、雪等的图像，基于此，本说明书实施例中处理的待处理图像可以为一张户外场景的图像，可以是用户在户外自行拍摄的，或者也可以是其他图像处理系统合成的，图像中的内容也可以根据实际需要而定，本说明书实施例不做具体限定。可以对待处理图像进行图像分割，将待处理图像中的背景图层和气象图层拆分，其中，背景图层可以理解为待处理图像中不包含气象物质如：雨、雾、雪等的图层，也可以理解为一张干净的图像，气象图层则可以理解为只包含气象物质如：雨、雾、雪等，没有其他内容的图层。图3是本说明书一个实施例中图像分割的原理示意图，如图3所示，图3中左侧图像为待处理图像，右侧上方的为背景图层，右侧下方只含有雨滴的为气象图层。
其中，图像分割的方法可以根据实际需要进行选择，主要是将原始图像中包含气象物质的图层提取或拆分出来，如：采用样本数据训练一个能够对图像进行背景图层和气象图层拆分的机器学习模型，使用训练获得的机器学习模型来对待处理图像进行分割，或者也可以选择一些图像分割算法(如：阈值分割法、边缘分割法、区域分割法和形态学分割法等)等对待处理图像进行分割，当然根据实际需要还可以选择其他的方法进行图像分割，本说明书实施例不做具体限定。
其中，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。本说明书实施例中可以利用机器学习模型来实现对图像中背景图层和气象图层的分割。
S204、提取气象图层中的气象属性特征；其中，气象属性特征包括气象物质的气象属性以及气象属性对应的属性特征值。
在具体的实施过程中，对待处理图像进行分割获得气象图层后，可以对气象图层进行属性提取，提取气象图层中的气象属性特征。其中，气象属性特征可以理解为能够表征待处理图像中气象物质分布的特征，气象物质可以理解为天气系统中存在的总是处在不断新生、发展和消亡的物质，如上述实施例中记载的雨、雾、雪，当然，根据实际需要气象物质也可以是其他内容，如：冰雹等，本说明书实施例不做具体限定，一般来说，本说明书实施例中的气象物质是可以分布在整个图像中的天气系统中存在的物质。气象属性特征包括气象属性以及气象属性对应的属性特征值，如：若气象属性为降落角度，对应的属性特征值为具体的角度值如：10度。气象属性可以理解为能够表征气象物质在图像中分布规律的特征，属性特征值的大小可以体现出对应的气象属性的强弱，基于各个气象属性的属性特征值可以表征待处理图像中的气象物质的分布特征。
不同的气象物质对应的气象属性可能不同，如：若气象物质为雨，则对应的气象属性可以包括：雨滴的降落角度、雨滴的密度、雨痕的长度和宽度以及雨痕的亮度等，若气象物质为雨，则对应的气象属性可以包括：雾的浓度、颜色、类型等，若气象物质为雪，则对应的气象属性可以包括：雪花的大小、形状、雪花降落的角度和密度等。其中，气象物质以及对应的气象属性均可以根据实际需要而定，本说明书实施例不做具体限定。
其中，气象属性特征的提取方法可以采用智能学习算法如：属性编码器、深度学习网络等方式或预先训练一个能够提取气象图层中气象属性特征的机器学习模型来提取气象属性特征，本说明书实施例对此不做具体限定。
S206、根据气象图层随机生成多张气象物质图像；其中，气象物质图像包含气象物质，多张气象物质图像中任意两张气象物质图像至少存在一个不同的属性特征值。
在具体的实施过程中，在对待处理图形进行图像分割获得气象图层后，可以基于图像分割获得的气象图层随机生成多张气象物质图像，其中，气象物质图像可以理解为类似气象图层，其中只包含雨、雾、雪等气象物质的图像，其中，多张气象物质图像的气象物质的气象属性的取值即属性特征值各不同，若气象属性有多个，则多张气象物质图像中相互两张气象物质图像中的属性特征值至少有一个是不同的。如：若气象物质为雨，则生成的多张气象物质图像的雨滴的降落角度、雨滴密度、雨痕长度、雨痕宽度、雨痕亮度对应的取值中至少有一个是和别的图像不同的。例如：生成了3张气象物质图像A、B、C，其中，气象物质图像A的雨滴的降落角度和雨痕长度与气象内容B不同，气象物质图像A的雨滴密度与气象内容C不同，气象物质图像B的雨滴的降落角度、雨滴密度、雨痕长度、雨痕宽度、雨痕亮度与气象物质图像C的均不同。
其中，随机生成气象物质图像的方法可以根据实际需要进行选择，如：选择合适的随机算法等，基于图像分割获得的气象图层随机生成多张气象物质图像，当根根据实际需要也可以选择其他的方法随机生成气象物质图像，本说明书实施例不做具体限定。
本说明书一些实施例中，根据所述气象图层随机生成多张气象物质图像，包括：
利用随机分布算法根据气象图层随机生成多张气象物质图像。
在具体的实施过程中，随机分布算法可以理解为一个概念图灵机，也就是在算法中引入随机因素，即通过随机数选择算法的下一步操作。利用随机分布算法可以在图像分割出来的气象图层的基础上，随机生成多张气象物质图像。如：可以利用随机分布算法构建一个能够机器学习模型，该机器学习模型可以分析雨痕的形成过程，进而可以基于分割出来的气象图像，随机生成多张包含不同气象属性特征值的气象物质图像。本说明书一些实施例中的随机分布算法可以选择服从标准正态分布N～(0,1)的随机分布算法，当然，在实际使用时，也可以选择其他的随机分布算法，本说明书实施例不做具体限定。
利用随机分布算法可以生成多种多样的气象物质图像，提升了数据的丰富度，为后续含气象物质图像的合成奠定了数据基础。
S208、根据背景图层、气象属性特征以及多张气象物质图像，合成多张含气象物质图像，含气象物质图像中带有气象物质。
在具体的实施过程中，在获得待处理图像的背景图层、气象属性特征以及随机生成的多张气象物质图像后，可以将生成的多张气象物质图像分别与提取出的气象属性特征以及待处理图像的背景图层合成在一起，就可以获得多张含气象物质图像，合成的含气象物质图像中包含有气象物质图像中的气象物质如：雨滴、雾或雪等，当然还包含待处理图像的背景。一般的，气象物质不同于图像中其他的实体，气象物质在图像中通常比较发散，随机生成的气象物质图像可以基于提取到的气象图层中的气象属性特征学习气象物质的分布规律，进而模拟出更加真实自然的含气象物质图像。例如：可以基于提取到的待处理图像中气象图层的气象属性特征，分析待处理图像中气象物质的分布规律，进而对随机生成的多张气象物质图像中的气象物质的气象属性特征进行调整，再将待处理图像的背景图层添加到调整后的气象物质图像中，合成含气象物质图像。气象物质的具体含义参见上述实施例的记载，此处不再赘述。
其中，合成的含气象物质图像可以用于去除气象物质的图像处理时的样本数据，如：合成的含气象物质图像和背景图层对应于同一个场景，可以将合成的含气象物质图像与背景图层作为一对数据，用于去除气象物质的图像处理时的样本数据，以提升去除气象物质的图像处理的准确性。
本说明书一些实施例中，若气象物质为雨滴，则根据气象图层随机生成多张气象物质图像包括：
采用椒盐噪声模拟雨滴，采用运动模糊模拟雨痕，随机生成多张气象物质图像。
在具体的实施过程中，椒盐噪声也称为脉冲噪声，是图像中经常见到的一种噪声，它是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素(或是两者皆有)。运动模糊可以理解为静态场景或一系列的图片像电影或是动画中快速移动的物体造成明显的模糊拖动痕迹。由于动态模糊是相机、物体、背景间相对运动而造成的效果，可借着移动镜头追踪移动的物体来避免。因此，即使在长时间曝光下，背景比较模糊而物体看起来仍然清晰。本说明书实施例在分析雨痕的形成过程时，发现根据重力和风的影响，大部分雨滴会带有一定速度朝一个方向运动。然后由于图像的曝光时长，以及雨滴的快速运动，成像系统将会把雨滴在真实世界的运动投影到相机的成像平面上。基于此，本说明书实施例在生成气象物质图像时，可以采用椒盐噪声模拟雨滴，采用运动模糊模拟雨痕，可以快速生成含有雨痕的气象物质图像，并且生成的气象物质图像比较真实，贴近自然，为后续含气象物质图像的合成奠定了准确的数据基础。
本说明书一些实施例中，在上述实施例的基础上，以雨滴为气象物质为例，合成的含气象物质图像的原理可以表示如下：
其中，o可以表示合成的含雨图像，seed可以表示一个控制雨滴密度和位置的图像，本说明书一些实施例中，可以采用椒盐噪声生成seed，fkernel为模糊核，其控制了雨痕的角度、长度以及宽度，b为雨痕的亮度，x为一张干净的图像即待处理图像的背景图层。可以定义一些雨滴的属性为一个显示的向量即气象属性特征，其中包含了雨滴的角度、长度、宽度和亮度等。当具有了气象属性特征，seed图(即本说明书实施例中记载的气象物质图像)，以及背景图层的时候，可以很容易的通过一个手工定义的合成模型，进行含雨图像的生成。其中，上述公式中的这部分可以理解为生成的气象物质图像即seed图。
参见上述实施例的记载，多张气象物质图像中的气象属性的取值即属性特征值是不同的，这样合成的多张含气象物质图像即为带有不同属性特征值的气象物质的图像。图4是本说明书一个实施例中含雨图像合成效果的示意图，如图4所示，图4中四行图像分别表示对不同的原始图像进行图像处理，获得含有不同雨的含雨图像，其中，第一行图片中最左侧为原始的真实含雨图像即待处理图像，右侧四张图像为基于最左侧的原始图像合成的雨滴降落角度不同时对应的含雨图像，其中，越往右，雨滴降落角度调整的幅度越大。图4中第二行图片与第一行图片相似，最左侧为原始的真实含雨图像，右侧四张图像为基于最左侧的原始图像合成的雨痕长度不同时对应的含雨图像，其中，越往右，雨痕长度调整的幅度越大。图4中第三行图片最左侧为原始的真实含雨图像，右侧四张图像为基于最左侧的原始图像合成的雨痕亮度不同时对应的含雨图像，其中，越往右，雨痕亮度调整的幅度越大。在一些特殊的应用场景如：影视作品、游戏等，还可以根据用户需要对合成的含气象物质图像的气象属性特征进行手动调整，或者在生成气象物质图像时可以根据用户需要生成满足指定需求的气象物质图像，从而使得合成的含气象物质图像能够满足用户需求。
从图4中，可以看出，基于本说明书实施例提供的方案，可以对雨的各种特性进行模拟，控制图像中雨的属性变化，比如，控制雨的降落角度，控制雨痕的长度，以及控制雨痕的亮度等各方面，来实现不同特性的含雨图像生成，从而能够制作出既表现力丰富，又充满真实感的含雨图像。进而可以满足特殊场景的需求，又可以为去除气象物质的图像处理算法提供丰富准确的数据基础。
本说明书实施例提供了一种图像处理方法，通过对待处理图像进行图像分割生成待处理图像的背景图层和气象图层，再提取气象图层中的气象属性特征，并基于气象图层随机生成多张气象物质图像，从将多张气象物质图像与气象属性特征以及待处理图像的背景图层进行合成处理，合成多张包含雨、雾、雪等气象物质的图像。其中，气象物质图像中的属性特征值是不同的，因此，合成的多张图像中的雨、雾、雪等气象物质的属性是不同的，实现了对雨、雾、雪等气象物质的属性的个性化定制和灵活编辑。合成的图像中的气象物质更加真实自然，不仅可以为影视作品、游戏或AR等场景提供更真实的含气象物质图像，还可以为去除雨、雾、雪等的图像处理技术提供丰富的数据基础，进而可以提升去除雨、雾、雪等图像处理技术的准确性。
本说明书一些实施例中，在生成多张含气象物质图像后，所述方法还包括：
利用模仿式图像处理模型分别对多张含气象物质图像进行调整，获得调整后的含气象物质图像；其中，模仿式图像处理模型是基于合成的含气象物质图像和真实气象物质图像作为样本数据训练获得的，模仿式图像处理模型用于基于输入的图像合成带有气象物质的含气象物质图像。
在具体的实施过程中，图5是本说明书一个实施例中图像处理的原理示意图，如图5所示，本说明书一些实施例中的图像处理主要可以包括两个部分：调制式学习部分和模仿式学习部分，其中，调制式学习部分主要是采用机器学习算法分析气象物质的形成过程，基于待处理图像合成多张带有气象物质的图像，模仿式学习部分可以利用模仿学习算法训练构建模仿式图像处理模型，利用模仿式图像处理模型对调制式学习部分合成的含气象物质图像进行调整。如图5所示，模仿式学习部分主要是基于调制式学习部分合成的含气象物质图像和真实的带有气象物质的图像即真实气象物质图像进行模仿学习训练获得模仿式图像处理模型，利用训练获得的模仿式图像处理模型对调制式学习部分合成的含气象物质图像进行调整，使得合成的含气象物质图像能够与相似的真实的含气象物质图像更加接近，以获得更加自然、更贴近真实物质图像的含气象物质图像。
为了缩小合成的含气象物质图像跟真实图像的差距，本说明书实施例引入了模仿学习，模仿学习(imitative learning)是指以仿效榜样的行为方式为特征的一种学习模式。区别于通过直接对刺激作出反应、以尝试错误为特征的直接学习。本说明书实施例主要在查找一个公共的空间，在此空间内部真实的含雨图像和合成的含雨图像分布相似。本说明书一些实施例可以利用高斯分布的先验来模拟气象物质的分布情况，同时利用KL(relative entropy，相对熵)散度来约束真实的含气象物质图像与先验类似。KL散度可以用来衡量两个分布之间的差异程度，若两者差异越小，KL散度越小，反之亦反。当两分布一致时，其KL散度为0，利用KL散度可以控制合成的含气象物质图像与真实气象物质图像之间的相似度。一般的，可以认为在背景图层和气象属性特征方面，合成图像与真实图像自然的遵从同样的分布。对于具有相同分布的输出，对合成的含气象物质图像进行采样，对一个相似的真实含气象物质图像分布也进行采样，以进行模型训练。
基于此，本说明书实施例可以将调制式学习部分合成的含气象物质图像的气象属性特征以及背景图层，与真实的含气象物质图像作为模仿式图像处理模型的训练数据，让合成的含气象物质图像与真实气象物质图像分布相似，构成损失函数训练，获得模仿式图像处理模型。进而再利用训练获得的模仿式图像处理模型对合成的含气象物质图像进行调整，将合成的含气象物质图像调整的更加与真实的含气象物质图像相似，进而可以生成一个更加贴近真实的含气象物质图像。一般的，真实图像中雨、雾、雪等气象物质的分布和表现非常发散，很难准确的充分捕获气象物质在图像中的各种特性。本说明书实施例可以通模仿式学习的方法，能够很好的对雨的各种特性进行模拟，进而对合成的含气象物质图像进行调整修改，从而能够制作出既表现力丰富，又充满真实感的含气象物质图像。
如图5所示，本说明书一些实施例中，利用模仿式图像处理模型分别对多张含气象物质图像进行调整的过程可以包括下述过程：
将多张含气象物质图像输入到模仿式图像处理模型中，利用模仿式图像处理模型分别对多张含气象物质图像进行分割，并提取分割后的气象图层中的气象属性特征，再基于期望方差算法生成气象物质微调图像，根据分割后的多张含气象物质图像分别对应的背景图层、气象属性特征以及气象物质微调图像，重新合成多张含气象物质图像，获得调整后的含气象物质图像。
在具体的实施过程中，如图5所示，在模仿式学习部分，可以分为四个部分：图像分割部分、属性特征提取部分、风格特征生成部分、可控制生成部分，也可以理解为模仿式图像处理模型可以包括4个单元如：图像分割单元、属性特征提取单元、风格特征生成单元、可控制生成单元。在利用模仿式图像处理模型对合成的含气象物质图像进行调整时，具体过程结合图5可以参考如下：
将合成的多张含气象物质图像输入到模仿式图像处理模型中，利用其中的图像分割单元分别将多张含气象物质图像进行拆分，获得多张含气象物质图像分别对应的背景图层和气象图层。再利用属性特征提取单元分别提取多张含气象物质图像对应气象图层的气象属性特征，同时利用风格特征生成单元采用期望方差算法生成气象物质微调图像。如图5所示，可以利用风格特征生成单元提取与合成的含气象物质图像相似的真实含气象物质图像中的相关特征如：气象属性特征、背景特征等，通过采集到特征对合成的含气象物质图像的气象物质图像进行调整，使得生成气象物质微调图像中的气象属性特征能够更加真实自然。最后利用可控制生成单元根据多张含气象物质图像分别对应的背景图层、气象图层的气象属性特征以及生成对的气象物质微调图像，重新合成多张含气象物质图像，获得调整后的含气象物质图像。
可以看出，在调制式学习部分，可以合成多张不同属性特征值的含气象物质图像，再通过模仿式学习，对每一张含气象物质图像进行重新拆分、合成，实现对每一张含气象物质图像的调整，使得多张不同属性特征值的含气象物质图像均能够更加贴近真实自然的图像。
如图5所示，图5中在模仿式学习部分，在进行内容图像生成时，采用的是期望方差算法即符合N～(μ，ε)正态分布的随机分布算法，也可以理解为一种高斯算法，与调制式学习部分采用符合标准正态分布N～(0，1)的随机分布算法不同。此外，图5中的b1、b2、b3、b4、b5以及a1、a2、a3、a4、a5可以理解为本说明书实施例中的气象属性特征，图5中L均表示损失函数，如：Ling、Lattri、Ladv、LKL、Lrec。如图5所示，LKL可以理解为在模仿式学习部分，在风格特征生成时，不仅采用了期望方差算法，还采用了KL散度对调制式学习部分生成的气象物质图像与真实气象物质图像进行了约束，以确保调整后的含气象物质图像更加接近真实图像。
此外，如图5所示，本说明书实施例中图像处理的两个部分调制式学习部分以及模仿式学习部分的结构比较相似，如：都可以包括图像分割部分、特征提取部分以及图像合成部分(即可控制生成部分)，其中，调制式学习部分和模仿式学习部分的算法的参数或权重是可以共享和同步更新的。也即是说，含气象物质图像的合成和调整两个部分的算法参数或权重是可以共享和同步更新的，这样只要其中一个部分的算法进行了优化，另一个部分的算法可以同步进行优化，以提升数据处理的效率和准确性。
本说明书实施例在合成含气象物质图像后，利用模仿学习算法对合成的含气象物质图像进行调整，使得合成的含气象物质图像更加真实自然，进而提升了含气象物质图像的使用效果，也可以为去除气象物质的图像处理方法提供更加准确的数据基础。
本说明书一些实施例中，在合成多张含气象物质图像后，所述方法还包括：
将含气象物质图像与真实气象物质图像进行风格迁移，以将含气象物质图像的气象属性特征添加到真实气象物质图像的背景图层中。
在具体的实时过程中，图6是本说明书一个实施例中调制生成器的原理示意图，如图6所示，在图5中的MFT(modulative feature translation，调制生成器)可以采用深度残差网络(ResNet)结构，其中可以包括残差块(ResBlock)、卷积层，最右侧还可以包含风格迁移算法AdaIN(Adaptive Instance Normalization)。真实气象物质图像可以理解为真实存在的带有气象物质的图像，而不是通过算法合成的带有气象物质的图像。可以看出，本说明书实施例中，在合成含气象物质图像后，可以将合成的含气象物质图像和真实气象物质图像进行风格迁移，如：可以将合成含气象物质图像中提取到的雨的属性特征和真实含雨图像里不含雨的背景图层部分合成在一起，实现将合成的含气象物质图像与真实含气象物质图像的风格迁移。如：可以采用风格迁移算法将合成的含气象物质图像和真实气象物质图像进行风格迁移，风格迁移算法是基于前向神经网络，生成速度快，并且，在训练完后能够支持任意风格的迁移，而不是局限于特定风格，只需要把内容图和风格图传入AdaIN，就可以把风格图中的纹理、颜色等特征移植到内容图中。
本说明书实施例不仅可以根据既定气象属性进行气象特征的调制，同时也可以用真实气象物质图像的风格(可以理解为不含有气象物质的部分即背景图层)进行特征迁移。本说明书实施例可以将合成的含气象物质图像如：包含气象属性特征、背景图层，以及真实气象物质图像的风格送至MFT模块，这个模块同时利用气象属性和真实气象物质图像的风格来进行属性的调整。可以先从背景图层中提取高层特征(如：包含语义的特征)，然后MFT学习可编辑的参数，利用类似AdaIN的思想对气象属性特征进行适应性调整，从而使得气象属性与风格相统一，合成更加真实自然的含气象物质图像。
本说明书一些实施例中，若待处理图像中不包含所述气象物质，则提取气象图层中的气象属性特征，包括：
提取气象图层中的气象属性特征，其中气象属性特征中各个气象属性对应的属性特征值为0。
在具体的实施过程中，图7是本说明书另一个实施例中含雨图像合成效果的示意图，如图7所示，第一行中最左侧的原始图像即待处理图像中是不含雨的，即待处理图像不包含气象物质，对于这种场景，在对待处理图像进行分割后，获得背景图层和气象图层，其中的气象图层是不含雨即不含气象物质的。再对气象图层进行特征提取，提取其中的气象属性特征时，气象属性对应的属性特征值为0，也就是说图5中的b1、b2、b3、b4、b5的取值为0。再进行后续的气象物质图像的生成以及含气象物质的图像合成步骤，如图7所示，可以合成包含不同气象属性取值的图像，如图7所示，第一行右侧四个图像是基于本说明书实施例的方法合成的含雨图像，四张图像中雨滴降落的角度、雨痕的长度、宽度、亮度等有所区别。合成的含雨图像和原始的不含雨图像对应于同一场景，可以作为去雨图像处理的数据样本，不仅丰富了去雨图像处理的数据基础，在特殊应用场景(如：影视作品、游戏等)又可以用户提供多种选择，以满足不同需求。
当然，若待处理图像本身是含有气象物质的，那么提取到的气象属性特征的属性特征值则可以基于实际情况为不同的取值。如图7中第二行最左侧第一张图片是含雨的图像，如图7所示，根据本说明书实施例提供的方法，也可以对其进行含雨图像的合成，这种场景在对分割获得的背景图层进行特征提取时，会基于背景图层中气象物质的分布特征，分别提取到不同气象属性以及气象属性对应的属性特征值，属性特征值的大小可以体现出对应的气象属性的强弱，气象属性的属性特征值可以表征待处理图像中的气象物质的分布特征。再将提取到的气象属性特征与生成的包含不同属性特征值的气象物质图像以及背景图层进行图像合成，进而可以获得图7中第二行右侧四张不同属性特征值的含雨图像。可以看出，基于一张含雨图像就可以合成包含不同雨的特征的四张含雨图像，丰富了去雨图像处理的数据基础，又可以为用户提供多种选择，以满足不同需求。
本说明书实施例提供的图像处理方法，在含有气象物质的图像以及不含有气象物质的图像的基础上均能够合成不同属性特征值的含气象物质图形，实现对气象物质属性的编辑调整，丰富了含气象物质图像的数据，为去除气象物质的图像处理技术奠定了丰富准确的数据基础，同时，还可以为特殊场景如：影视作品、游戏等提供不同属性特征的含气象物质图像，满足不同的需求。
本说明书一些实施例中，对待处理图像进行图像分割和提取气象图层中的气象属性特征的方法可以包括：
采用二范数损失函数对待处理图像进行图像分割以及提取气象图层中的气象属性特征。
在具体的实时过程中，如图5所示，本说明书实施例中，在图像分割和特征提取部分均可以采用损失函数的方式进行，具体的，本说明书实施例中可以采用二范数损失函数对待处理图像进行图像分割以及提取气象图层中的气象属性特征。二范数即欧氏距离，就是通常意义上的模。本说明书采用一种连续的回归操作来进行图像分割和属性特征的提取，进而实现对气象物质的灵活和连续的属性调节控制，本说明书一些实施例中，可以简化的使用二范数损失来限制图像分割和属性提取。其中二范数损失函数，可以参考如下：
Ling＝||F(o；Wlayer)-x||2
Lattri＝||F(F(o；Wlayer)；Wattri)-θ||2
其中，F可以表示网络参数，Wlayer和Wattri分别可以理解为图像分割和属性特征提取部分算法的参数，如：分别为分解编码器和属性编码器的参数，o是合成的含气象物质图像，x和θ可以分别理解为对应的不含气象物质图像(即背景图层)以及属性标签(即本说明书实施例中记载的气象属性特征)。可以把这些信息送到一个调制生成器MFT中，利用MFT合成含气象物质图像。
本说明书实施例采用二范数损失函数对图像进行图像分割和特征提取，可以实现气象物质的属性特征的灵活调整。
基于上述所述的图像处理方法，本说明书一个或多个实施例还提供一种图像处理的客户端、服务端。所述客户端、服务端可以包括使用了本说明书实施例所述方法的装置(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参考前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
由以上本说明书实施例提供的技术方案可见，本说明书本申请实施例还提供了一种图像处理装置，图8是本申请实施例提供的一种图像处理装置的结构示意图，如图8所示，上述装置包括：
图像分割模块801，用于对待处理图像进行图像分割，获得所述待处理图像的背景图层和气象图层；
属性提取模块802，用于提取所述气象图层中的气象属性特征；其中，所述气象属性特征包括气象物质的气象属性以及所述气象属性对应的属性特征值；
内容生成模块803，用于根据所述气象图层随机生成多张气象物质图像；其中，所述气象物质图像包含所述气象物质，多张所述气象物质图像中任意两张气象物质图像至少存在一个不同的属性特征值；
图像合成模块804，用于根据所述背景图层、所述气象属性特征以及所述多张气象物质图像，合成多张含气象物质图像，所述含气象物质图像中带有所述气象物质。
图9是本申请实施例提供的另一种图像处理装置的结构示意图，如图9所示，本说明书一些实施例中，所述装置还可以包括图像调整模块901，用于：
在生成多张含气象物质图像后，利用模仿式图像处理模型分别对多张含气象物质图像进行调整，获得调整后的含气象物质图像；其中，模仿式图像处理模型是基于合成的含气象物质图像和真实气象物质图像作为样本数据训练获得的，模仿式图像处理模型用于基于输入的图像合成带有气象物质的含气象物质图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，上述实施例中的装置根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
图10是本申请实施例提供的一种用于图像处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
图11是本申请实施例提供的另一种用于图像处理的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图10或图11中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的图像处理方法。
在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的图像处理方法。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的图像处理方法。
可以理解的是，在本申请的具体实施方式中，涉及到用户相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：
对待处理图像进行图像分割，获得所述待处理图像的背景图层和气象图层；
提取所述气象图层中的气象属性特征；其中，所述气象属性特征包括气象物质的气象属性以及所述气象属性对应的属性特征值；
根据所述气象图层随机生成多张气象物质图像；其中，所述气象物质图像包含所述气象物质，多张所述气象物质图像中任意两张气象物质图像至少存在一个不同的属性特征值；
根据所述背景图层、所述气象属性特征以及所述多张气象物质图像，合成多张含气象物质图像，所述含气象物质图像中带有所述气象物质。
2.根据权利要求1所述的方法，其特征在于，在生成多张所述含气象物质图像后，所述方法还包括：
利用模仿式图像处理模型分别对多张所述含气象物质图像进行调整，获得调整后的含气象物质图像；其中，所述模仿式图像处理模型是基于合成的含气象物质图像和真实气象物质图像作为样本数据训练获得的，所述模仿式图像处理模型用于基于输入的图像合成带有气象物质的含气象物质图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述气象图层随机生成多张气象物质图像，包括：
利用随机分布算法根据气象图层随机生成多张所述气象物质图像。
4.根据权利要求1所述的方法，其特征在于，在合成多张所述含气象物质图像后，所述方法还包括：
将所述含气象物质图像与真实气象物质图像进行风格迁移，以将所述含气象物质图像的气象属性特征添加到所述真实气象物质图像的背景图层中。
5.根据权利要求1所述的方法，其特征在于，在所述气象物质为雨滴时，所述根据所述气象图层随机生成多张气象物质图像包括：
采用椒盐噪声模拟雨滴，采用运动模糊模拟雨痕，随机生成多张气象物质图像。
6.根据权利要求1所述的方法，其特征在于，若所述待处理图像中不包含所述气象物质，则所述提取所述气象图层中的气象属性特征，包括：
提取所述气象图层中的气象属性特征，其中所述气象属性特征中各个气象属性对应的属性特征值为0。
7.根据权利要求1所述的方法，其特征在于，所述对待处理图像进行图像分割和提取所述气象图层中的气象属性特征的方法包括：
采用二范数损失函数对所述待处理图像进行图像分割以及提取所述气象图层中的气象属性特征。
8.一种图像处理装置，其特征在于，所述装置包括：
图像分割模块，用于对待处理图像进行图像分割，获得所述待处理图像的背景图层和气象图层；
属性提取模块，用于提取所述气象图层中的气象属性特征；其中，所述气象属性特征包括气象物质的气象属性以及所述气象属性对应的属性特征值；
内容生成模块，用于根据所述气象图层随机生成多张气象物质图像；其中，所述气象物质图像包含所述气象物质，多张所述气象物质图像中任意两张气象物质图像至少存在一个不同的属性特征值；
图像合成模块，用于根据所述背景图层、所述气象属性特征以及所述多张气象物质图像，合成多张含气象物质图像，所述含气象物质图像中带有所述气象物质。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括图像调整模块，用于：
在生成多张所述含气象物质图像后，利用模仿式图像处理模型分别对多张所述含气象物质图像进行调整，获得调整后的含气象物质图像；其中，所述模仿式图像处理模型是基于合成的含气象物质图像和真实气象物质图像作为样本数据训练获得的，所述模仿式图像处理模型用于基于输入的图像合成带有气象物质的含气象物质图像。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。
11.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像处理方法。
CN202310283818.8A 2023-03-15 2023-03-15 图像处理方法、装置、电子设备及存储介质 Pending CN116957916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310283818.8A CN116957916A (zh) 2023-03-15 2023-03-15 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310283818.8A CN116957916A (zh) 2023-03-15 2023-03-15 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116957916A true CN116957916A (zh) 2023-10-27

Family

ID=88441670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310283818.8A Pending CN116957916A (zh) 2023-03-15 2023-03-15 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116957916A (zh)

Similar Documents

Publication Publication Date Title
US11455495B2 (en) System and method for visual recognition using synthetic training data
Sixt et al. Rendergan: Generating realistic labeled data
CN108961369B (zh) 生成3d动画的方法和装置
Liu et al. Learning to factorize and relight a city
CN111488865A (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN111738908A (zh) 结合实例分割和循环生成对抗网络的场景转换方法及系统
CN115249306B (zh) 图像分割模型训练方法、图像处理方法、装置及存储介质
US20230082715A1 (en) Method for training image processing model, image processing method, apparatus, electronic device, and computer program product
CN113280820B (zh) 基于神经网络的果园视觉导航路径提取方法与系统
Somaini On the Altered States of Machine Vision: Trevor Paglen, Hito Steyerl, Grégory Chatonsky
Slossberg et al. Unsupervised high-fidelity facial texture generation and reconstruction
Goncalves et al. Guidednet: Single image dehazing using an end-to-end convolutional neural network
Wang et al. A multi-scale attentive recurrent network for image dehazing
Thakur et al. White-box cartoonization using an extended gan framework
CN116957916A (zh) 图像处理方法、装置、电子设备及存储介质
CN114648604A (zh) 一种图像渲染方法、电子设备、存储介质及程序产品
Du et al. Mhgan: Multi-hierarchies generative adversarial network for high-quality face sketch synthesis
Yu AI-Enhanced Digital Creativity Design: Content-Style Alignment for Image Stylization
CN114385883B (zh) 一种在风格转换中近似模拟皴法的轮廓增强方法
CN113505866B (zh) 基于边缘素材数据增强的图像分析方法和装置
Thomas et al. Learning to Transfer Visual Effects from Videos to Images
CN113763282B (zh) 一种车牌图像的模糊图像生成方法
Du [Retracted] An Improved Method Research on Graphics and Image Processing System
US20230326137A1 (en) Garment rendering techniques
CN117011665A (zh) 一种图像处理模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication