CN112990215A - 图像去噪方法、装置、设备及存储介质 - Google Patents

图像去噪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112990215A
CN112990215A CN202110241918.5A CN202110241918A CN112990215A CN 112990215 A CN112990215 A CN 112990215A CN 202110241918 A CN202110241918 A CN 202110241918A CN 112990215 A CN112990215 A CN 112990215A
Authority
CN
China
Prior art keywords
image
denoising
rough
model
refined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110241918.5A
Other languages
English (en)
Other versions
CN112990215B (zh
Inventor
张凯皓
罗文寒
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110241918.5A priority Critical patent/CN112990215B/zh
Publication of CN112990215A publication Critical patent/CN112990215A/zh
Application granted granted Critical
Publication of CN112990215B publication Critical patent/CN112990215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像去噪方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：对带噪图像进行粗糙去噪处理，得到粗糙去噪图像；对粗糙去噪图像进行特征提取处理，得到粗糙去噪图像的语义特征信息和深度特征信息；基于语义特征信息和深度特征信息对粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像。本申请通过结合图像的语义特征信息和深度特征信息，对图像进行多尺度的去噪处理，可以在图像去噪过程中，较好地维持图像所需的语义特征信息和深度特征信息，使得精修去噪图像的视觉效果和细节效果更好。同时可以去除图像在不同尺度下的噪点，从而实现更细节、更全面地对图像去噪，提高了图像去噪效果。

Description

图像去噪方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能技术领域，特别涉及一种图像去噪方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展，其在图像去噪方面的研究和应用也越来越多。
以图像去雪为例，相关技术通过训练神经网络，得到一个图像去雪模型，该图像去雪模型能够实现端到端的图像去雪功能，也即消除带雪图像中的雪花噪声的影响。在使用过程中，将带雪图像输入该图像去雪模型，由该模型对带雪图像进行处理，输出得到相应的去雪图像。
然而，上述图像去雪模型去雪不够精细，导致得到的去雪图像不具备较好的视觉效果。
发明内容
本申请实施例提供了一种图像去噪方法、装置、设备及存储介质，能够更全面、更精细地对图像去噪，从而获取视觉效果和细节效果好的去噪图像。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种图像去噪方法，所述方法包括：
对带噪图像进行粗糙去噪处理，得到粗糙去噪图像；
对所述粗糙去噪图像进行特征提取处理，得到所述粗糙去噪图像的语义特征信息和深度特征信息；
基于所述语义特征信息和所述深度特征信息对所述粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像。
根据本申请实施例的一个方面，提供了一种图像去噪系统的训练方法，所述图像去噪系统包括粗糙去噪模型、语义分割模型、深度估计模型和精修去噪模型，所述方法包括：
获取训练样本，所述训练样本包括多组对应的带噪样本图像和目标去噪图像；
通过所述粗糙去噪模型对所述带噪样本图像进行粗糙去噪处理，得到粗糙去噪输出图像；
通过所述语义分割模型对所述粗糙去噪输出图像进行语义特征提取处理，得到所述粗糙去噪输出图像的语义特征信息；
通过所述深度估计模型对所述粗糙去噪输出图像进行深度特征提取处理，得到所述粗糙去噪输出图像的深度特征信息；
通过所述精修去噪模型基于所述语义特征信息和所述深度特征信息对所述粗糙去噪输出图像进行多尺度的精修去噪处理，得到所述精修去噪输出图像；
基于所述粗糙去噪输出图像、所述精修去噪输出图像和所述目标去噪图像，计算模型训练损失；
根据所述模型训练损失对所述粗糙去噪模型和所述精修去噪模型的参数进行调整。
根据本申请实施例的一个方面，提供了一种图像去噪装置，所述装置包括：
图像粗糙去噪模块，同于对带噪图像进行粗糙去噪处理，得到粗糙去噪图像；
图像特征提取模块，用于对所述粗糙去噪图像进行特征提取处理，得到所述粗糙去噪图像的语义特征信息和深度特征信息；
图像精修去噪模块，用于基于所述语义特征信息和所述深度特征信息对所述粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像。
根据本申请实施例的一个方面，提供了一种图像去噪系统的训练装置，所述图像去噪系统包括粗糙去噪模型、语义分割模型、深度估计模型和精修去噪模型，所述装置包括：
训练样本获取模块，用于获取训练样本，所述训练样本包括多组对应的带噪样本图像和目标去噪图像；
图像粗糙去噪模块，同于通过所述粗糙去噪模型对所述带噪样本图像进行粗糙去噪处理，得到粗糙去噪输出图像；
语义特征提取模块，用于通过所述语义分割模型对所述粗糙去噪输出图像进行语义特征提取处理，得到所述粗糙去噪输出图像的语义特征信息；
深度特征提取模块，用于通过所述深度估计模型对所述粗糙去噪输出图像进行深度特征提取处理，得到所述粗糙去噪输出图像的深度特征信息；
图像精修去噪模块，用于通过所述精修去噪模型基于所述语义特征信息和所述深度特征信息对所述粗糙去噪输出图像进行多尺度的精修去噪处理，得到精修去噪输出图像；
训练损失计算模块，用于基于所述粗糙去噪输出图像、所述精修去噪输出图像和所述目标去噪图像，计算模型训练损失；
模型参数调整模块，用于根据所述模型训练损失对所述粗糙去噪模型和所述精修去噪模型的参数进行调整。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像去噪方法，或者上述图像去噪系统的训练方法。
可选地，所述计算机设备为终端或服务器。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像去噪方法，或者上述图像去噪系统的训练方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像去噪方法，或者上述图像去噪系统的训练方法。
本申请实施例提供的技术方案可以包括如下有益效果：
通过先对带噪图像进行粗糙去噪处理，再基于得到的粗糙去噪图像进行精修去噪处理，从而得到精修去噪图像，而不是直接通过对待噪图像进行去噪处理得到去噪图像，通过双重去噪可以得到去噪效果更好的去噪图像。同时为精修去噪处理所需的语义特征信息和深度特征信息的获取提供了更好的来源，提高了语义特征信息和深度特征信息获取的准确度，进而提高图像去噪的准确度。
另外，通过结合粗糙去噪图像的语义特征信息和深度特征信息对粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像，可以在图像去噪过程中，较好地维持图像所需的语义特征信息和深度特征信息，使得精修去噪图像的视觉效果和细节效果更好。
另外，通过对图像进行多尺度的去噪处理，可以去除图像在不同尺度下的噪点，从而实现更细节、更全面地对图像去噪，提高了图像去噪效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的方案实施环境的示意图；
图2是本申请一个实施例提供的图像去噪方法的流程图；
图3是本申请一个实施例提供的粗糙去噪模型的示意图；
图4是本申请一个实施例提供的语义分割模型和深度估计模型的示意图；
图5至图7是本申请实施例提供的精修去噪模型的示意图；
图8是本申请一个实施例提供的特征图获取的示意图；
图9是本申请一个实施例提供的图像去噪系统的训练方法的流程图；
图10是本申请一个实施例提供的图像去噪装置的框图；
图11是本申请一个实施例提供的图像去噪系统的训练装置的框图；
图12是本申请一个实施例提供的计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术和机器学习技术，利用计算机视觉技术和机器学习技术训练图像去噪模型(如上文的粗糙去噪模型和精修去噪模型)，通过该图像去噪模型对带噪图像进行去噪处理。
本申请实施例提供的方法，各步骤的执行主体可以是计算机设备，该计算机设备是指具备数据计算、处理和存储能力的电子设备。该计算机设备可以是诸如PC(PersonalComputer，个人计算机)、平板电脑、智能手机、可穿戴设备、智能机器人等终端；也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
可选地，本申请中所涉及的各种预先存储的数据可保存于区块链上，诸如粗糙去噪模型和精修去噪模型的参数信息、训练样本、去噪图像等。
本申请实施例提供的技术方案，可以被使用在任何需要图像去噪功能的产品或系统中，比如图像修复系统、视频去噪系统、图像去噪系统等，本申请实施例提供的技术方案能够有效提升图像去噪的精细度和全面性。
在一个示例中，如图1所示，以图像去噪系统为例，该系统可以包括终端10和服务器20。
终端10可以是诸如手机、数码相机、平板电脑、PC、可穿戴设备等电子设备。用户可以通过终端10接入服务器20，并进行图像去噪操作。例如，终端10中可以安装目标应用程序的客户端，用户可以通过该客户端接入服务器20，并进行图像去噪操作。上述目标应用程序可以是图像修复类应用程序、图像去噪类应用程序、社交类应用程序、即时通信类应应用程序等，本申请实施例对此不做限定。
服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。服务器20用于为终端10中的目标应用程序的客户端提供后台服务。例如，服务器20可以是上述目标应用程序(如图像去噪类应用程序)的后台服务器。
终端10和服务器20之间可以通过网络30进行通信。
示例性地，用户在目标应用程序的客户端中输入带噪图像(如带雪花的图像)，客户端将带噪图像发送给服务器20，服务器20将带噪图像输入到图像去噪系统，得到去噪图像(如去雪花后的干净图像)，服务器20再将该去噪图像发送给客户端。
当然，在一些其他示例中，图像去噪方法也可以在终端10中执行，如上述目标应用程序的客户端中。例如，用户在雨雪天气中拍摄照片(或录制视频)时，该客户端可以使拍摄的照片(或视频)变得干净(即不带雪花)，本申请实施例对此不做限定。
请参考图2，其示出了本申请一个实施例提供的图像去噪方法的流程图，该方法各步骤的执行主体可以是上文介绍的计算机设备(如终端10或服务器20)，该方法可以包括如下几个步骤(201～203)：
步骤201，对带噪图像进行粗糙去噪处理，得到粗糙去噪图像。
在本申请实施例中，带噪图像是指图像数据中存在干扰信息的图像，该干扰信息可以是指现实环境中的雪花、雨滴、雨条等，也可以是指电子设备(如摄像机、手机等)中的电阻引起的热噪声、真空器引起的散粒噪声、光电管的光量子噪声等。带噪图像可以是指视频(如监控视频、拍摄视频等)中图像帧，也可以是指图片(如照片、截图等)。例如，在用户拍摄视频或照片的过程中遇到雨雪天气，受到雨雪的影响，视频或照片的细节被破坏，视频或照片的背景部分被高亮的雨雪遮挡，从而形成带噪图像。
可选地，去噪处理用于消除噪点对图像的影响，即将被噪点影响的图像细节(可以去噪颗粒细化到像素)进行移除，并对该图像细节进行重构恢复，以获取无噪的图像。例如，将带有雪花的图像中的雪花移除，并对雪花对应的部分进行重构，得到不带雪花的图像。去噪图像是指对带噪图像进行去噪处理后得到的不带噪图像，该粗糙去噪图像可以是指带噪图像中噪点去除不彻底的图像，也可以是指被噪点影响的图像细节未被有效重构恢复的图像。其中，粗糙去噪处理是指对带噪图像中噪点进行初步地去噪，即不考虑图像的语义特征信息、深度特征信息等对去噪处理的影响。
可选地，可以通过下文介绍的粗糙去噪模型对带噪图像进行粗糙去噪处理，得到粗糙去噪图像。该粗糙去噪模型是一种用于粗糙去噪的神经网络模型，如卷积神经网络模型，该粗糙去噪模型包括正向卷积神经网络、下采样网络、上采样网络和反向卷积神经网(即重建神经网络)。例如，参考图3，通过正向卷积神经网络对带噪图像301进行特征提取，得到带噪图像301的特征图，该特征提取过程是对带噪图像301依次进行5次卷积处理，并分别在第二次、第三次和第四次正向卷积处理之后进行线性整流处理(为了方便叙述，将图3中后四次卷积处理和三次线性整流处理归纳为卷积模块303)，再将带噪图像301的特征图输入骨干模块304，骨干模块304包括下采样网络和上采样网络，下采样网络与上采样网络相互对应。然后再将骨干模块304的输出，输入到反向卷积神经网络进行重建，从而得到粗糙去噪图像302，反向卷积神经网络包括6个卷积层和4个线性整流层，即需对骨干模块304的输出进行6次卷积处理和4次线性整流处理。该4次线性整流处理分别在第1、2、3、5次卷积处理之后执行。反向卷积神经网络的卷积过程与是正向卷积神经网络的逆过程，所得到的粗糙去噪图像302的尺度与带噪图像301的尺度相同(即同一空间分辨率)。其中，卷积处理的卷积核尺寸、步幅和内边距填充可由设计者自行设定。线性整流层中的激活函数可以包括ReLU(Rectified Linear Unit,线性整流)函数、LReLU(Leaky Rectified Linear Unit,带泄露线性整流)函数等。粗糙去噪模型的训练过程将在下文进行详细介绍，这里不再赘述。
上文介绍的以及图3示出的粗糙去噪模型的结构，仅是示例性和解释性的，可以结合实际情况，对粗糙去噪模型的结构进行调整。例如，适当地增减卷积层、线性整流层等。本申请不对粗糙去噪模型的具体结构进行限定，任何具有粗糙去噪功能的神经网络模型，都应当在本申请保护范围之内。
步骤202，对粗糙去噪图像进行特征提取处理，得到粗糙去噪图像的语义特征信息和深度特征信息。
语义特征信息用于描述图像的内容特征。图像的语义特征信息可以以特征图的形式表示，也可以以特征向量的形式表示。图像的语义特征信息中包括图像的不同对象对应的语义特征信息，即不同对象对应的语义特征信息是经过分组/分割的，如此可以区别图像的不同对象。在图像的语义特征信息以特征图的形式展示的情况下，可以用不同的颜色对不同对象对应的语义特征信息进行区分。例如，参考图4，粗糙去噪图像302中包括街道、车辆等对象，语义图像305(即语义特征信息的特征图形式)以颜色A区分街道对应的语义特征信息，以颜色B区分车辆对应的语义特征信息等。
可选地，可以通过训练好的语义分割模型对粗糙去噪图像进行语义特征提取处理，得到粗糙去噪图像的语义特征信息。在本申请实施例中，该语义分割模型是一种用于分割图像语义的神经网络模型，如卷积神经网络模型，该语义分割模型用于将图像的像素按照图像内容表达含义的不同进行分割/分组，从而获取图像中不同对象对应的语义特征信息，进而获取图像的内容对应的语义特征信息。例如，参考图4，将粗糙去噪图像302输入到语义分割模型中，即可得到语义图像305(即语义特征信息的特征图形式)。
深度特征信息用于确定图像的每个像素的比特位数。例如，彩色图像的深度特征信息可以用于确定彩色图像的每个像素可能有的色彩数，灰度图像的深度特征信息可以用于确定灰度图像的每个像素可能有的灰度等级。图像的深度特征信息可以以特征图的形式表示，也可以以特征向量的形式表示。例如，参考图4，深度图像306(即深度特征信息的特征图形式)展示了粗糙去噪图像302的每个像素的比特位数。
可选地，可以通过训练好的深度估计模型对粗糙去噪图像进行深度特征提取处理，得到粗糙去噪图像的深度特征信息。在本申请实施例中，该深度估计模型是一种用于估计图像深度的神经网络模型，如卷积神经网络模型，该深度估计模型用于将图像的像素按照图像像素的比特位数进行分割/分组，从而获取图像中不同像素对应的深度特征信息，进而获取图像对应的深度特征信息。例如，参考图4，将粗糙去噪图像302输入到深度估计模型中，即可得到深度图像306(即深度特征信息的特征图形式)。
步骤203，基于语义特征信息和深度特征信息对粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像。
在本申请实施例中，精修去噪图像是指在基于语义特征信息和深度特征信息，经过多尺度去噪后得到的图像，该精修去噪图像近似于在无噪点情况下的图像。其中，多尺度可以是指不同的空间分辨率，可以简单理解为不同的图像尺寸。
可选地，可以通过下文介绍的精修去噪模型基于语义特征信息和深度特征信息对粗糙去噪图像进行多尺度的精修去处理，得到精修去噪图像。该精修去噪模型是一种用于精修去噪的神经网络模型，如卷积神经网络模型。该精修去噪模型包括多组精修去噪网络，每组精修去噪网络可以包括正向卷积神经网络、下采样网络、上采样网络和反向卷积神经网(即重建神经网络)。不同组的精修去噪网络用于处理不同尺度下的图像，下一组精修去噪网络是基于上一组精修去噪网络的输出进行处理的。每组精修去噪网络中，通过正向卷积神经网络基于语义特征信息对图像进行处理，再通过反向卷积神经网络基于深度特征信息对图像进行处理。
上文介绍的以及图5、图6和图7示出的精修去噪模型的结构，仅是示例性和解释性的，可以结合实际情况，对精修去噪模型的结构进行调整。例如，适当地增减卷积层、线性整流层、不同尺度对应的精修去噪网络等。本申请不对精修去噪模型的具体结构进行限定，任何具有精修去噪功能的神经网络模型，都应当在本申请保护范围之内。
在一个示例中，多尺度的精修去噪处理的具体过程可以如下：
1、将粗糙去噪图像、用于表示语义特征信息的语义图像以及用于表示深度特征信息的深度图像，分别从原始尺度缩小至第n目标尺度，得到第n目标尺度的粗糙去噪图像、第n目标尺度的语义图像和第n目标尺度的深度图像，n的初始值为1且所述n为正整数；
其中，原始尺度与上述带噪图像的尺度相同。第n目标尺度小于原始尺度，第n目标尺度可以由设计者自行设定，例如，该第n目标尺度可以是1/8、1/4、1/2等等，也可以是1/6、1/3等等。语义图像是指粗糙去噪图像的语义特征信息对应的特征图，深度图像是指粗糙去噪图像的深度特征信息对应的特征图。
可选地，对粗糙去噪图像、语义图像和深度图像分别进行下采样处理，得到相同目标尺度的粗糙去噪图像、语义图像和深度图像。例如，参考图5，第n目标尺度为原始尺度的1/4，即获取1/4尺度的粗糙去噪图像307、1/4尺度的语义图像308和1/4尺度的深度图像309。
2、基于第n目标尺度的语义图像和第n目标尺度的深度图像，对第n目标尺度的粗糙去噪图像进行精修去噪处理，得到第n目标尺度的精修去噪图像；
例如，参考图5，将1/4尺度的粗糙去噪图像307、1/4尺度的语义图像308和1/4尺度的深度图像309输入到精修去噪模型中，即可得到1/4尺度的精修去噪图像310。精修去噪处理的具体内容将在下文进行详细介绍，这里不再赘述。
3、对第n目标尺度的精修去噪图像进行尺度放大处理，得到第n+1目标尺度的粗糙去噪图像；
可选地，对第n目标尺度的精修去噪图像进行上采样处理，得到第n+1目标尺度的粗糙去噪图像。例如，参考图6，对1/4尺度的精修去噪图像310进行上采样处理，得到1/2尺度的粗糙去噪图像311。
4、基于第n+1目标尺度的语义图像和第n+1目标尺度的深度图像，对第n+1目标尺度的粗糙去噪图像进行精修去噪处理，得到第n+1目标尺度的精修去噪图像；
可选地，可以对语义图像(或第n目标尺度的语义图像)和深度图像(或第n目标尺度的深度图像)进行上采样处理，得到第n+1目标尺度的语义图像和第n+1目标尺度的深度图像。
例如，参考图6，对1/4尺度的语义图像308和1/4尺度的深度图像309进行上采样处理，得到1/2尺度的语义图像312和1/2尺度的深度图像313，再将1/2尺度的粗糙去噪图像311、1/2尺度的语义图像312和1/2尺度的深度图像313输入到精修去噪模型中，即可得到1/2尺度的精修去噪图像314。该精修去噪处理的具体方法与上述精修去噪处理方法相同。
5、若第n+1目标尺度小于原始尺度，则令n＝n+1，并再次从对第n目标尺度的精修去噪图像进行尺度放大处理，得到第n+1目标尺度的粗糙去噪图像的步骤开始执行；若第n+1目标尺度等于原始尺度，则述第n+1目标尺度的精修去噪图像确定为精修去噪图像。
例如，参考图7，1/2尺度的精修去噪图像314的尺度小于原始尺度(1尺度)，对1/2尺度的精修去噪图像314再次进行上采样处理，得到1尺度粗糙去噪图像315，再将1尺度粗糙去噪图像315、1尺度的语义图像316和1尺度的深度图像317输入到精修去噪模型中，即可得到1尺度的精修去噪图像318。1尺度的精修去噪图像318等于原始尺度，则将1尺度的精修去噪图像318作为精修去噪图像，即精修去噪模型的输出。
可选地，精修去噪模型可以包括多个尺度的精修去噪网络，每个尺度的精修去噪网络的原理相同，下面将以获取第n目标尺度的精修去噪图像为例，对精修去噪网络进行详细介绍：
1、获取第n目标尺度的粗糙去噪图像的特征图、第n目标尺度的语义图像的特征图和第n目标尺度的深度图像的特征图；
例如，参考图5，对1/4尺度的粗糙去噪图像先进行正向卷积处理(即经过1个卷积层和卷积模块的处理)得到1/4尺度的粗糙去噪图像的特征图。
参考图8，1/4尺度的语义图像308依次经过1个卷积层、3个卷积模块处理之后，再一次经过卷积层、线性整流层、卷积层和逻辑回归函数的处理，得到1/4尺度的语义图像308的特征图(即图5中语义图像的引导特征图)，1/4尺度的深度图像309经过同样的处理得到1/4尺度的深度图像309的特征图。
2、对第n目标尺度的粗糙去噪图像的特征图和第n目标尺度的语义图像的特征图进行第一融合处理，得到第一中间特征图；
第一融合处理是指将两个特征图对应的特征向量进行相乘计算。例如，参考图5，对1/4尺度的粗糙去噪图像的特征图对应的特征向量和1/4尺度的语义图像308的特征图(即图5中语义图像的引导特征图)对应的特征向量进行相乘处理，得到第一融合后的引导特征图(即第一中间特征图)。
3、对第n目标尺度的粗糙去噪图像的特征图进行正向卷积处理，得到第二中间特征图；
中间特征图是指精修去噪模型中的过渡特征图，诸如本申请实施例中的第一至第七中间特征图。参考图5，对1/4尺度的粗糙去噪图像的特征图进行一次正向卷积处理，得到第二中间特征图。
4、对第一中间特征图和第二中间特征图进行第二融合处理，得到第三中间特征图；
可选地，第二融合处理是指将第一中间特征图和第二中间特征图对应的特征向量进行相加计算。
5、对第三中间特征图进行正向卷积处理，得到第四中间特征图；
6、对第四中间特征图进行重建处理，得到重建后的第四中间特征图；
参考图5，第四中间特征图依次经过骨干模块和卷积模块，得到重建后的第四中间特征图。
7、对第n目标尺度的深度图像的特征图和所述重建后的第四中间特征图进行第一融合处理，得到第五中间特征图；
参考图5，将1/4尺度的深度图像309的特征图(即图5中深度图像的引导特征图)对应的特征向量进行相乘计算，得到第二融合后的引导特征图(即第五中间特征图)。
8、对重建后的第四中间特征图进行反向卷积处理，得到第六中间特征图；
9、对第五中间特征图和第六中间特征图进行第二融合处理，得到第七中间特征图；
可选地，将第五中间特征图对应的特征向量和第六中间特征图对应的特征向量进行相加计算。
10、对第七中间特征图进行反向卷积处理，得到第n目标尺度的精修去噪图像。
参考图5，对第七中间特征图进行反向卷积处理，得到1/4尺度的精修去噪图像。
在一个示例性实施例中，上述图像去噪方法由图像去噪系统执行，图像去噪系统包括粗糙去噪模型、语义分割模型、深度估计模型和精修去噪模型；其中，粗糙去噪模型用于对带噪图像进行粗糙去噪处理，得到粗糙去噪图像；语义分割模型用于对粗糙去噪图像进行语义特征提取处理，得到粗糙去噪图像的语义特征信息；深度估计模型用于对粗糙去噪图像进行深度特征提取处理，得到粗糙去噪图像的深度特征信息；精修去噪模型用于基于语义特征信息和深度特征信息对粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像。
例如，参考图1，图像去噪系统获取带噪图像之后，先通过粗糙去噪模型40对带噪图像进行粗糙去噪处理，得到粗糙去噪图像，再通过语义分割模型50对粗糙去噪图像进行语义特征提取处理，得到粗糙去噪图像的语义特征信息，和通过深度估计模型60对粗糙去噪图像进行深度特征提取处理，得到粗糙去噪图像的深度特征信息，最后通过精修去噪模型70基于语义特征信息和深度特征信息对粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像。
综上所述，本申请实施例提供的技术方案，通过先对带噪图像进行粗糙去噪处理，再基于得到的粗糙去噪图像进行精修去噪处理，从而得到精修去噪图像，而不是直接通过对待噪图像进行去噪处理得到去噪图像，通过双重去噪可以得到去噪效果更好的去噪图像。同时为精修去噪处理所需的语义特征信息和深度特征信息的获取提供了更好的来源，提高了语义特征信息和深度特征信息获取的准确度，进而提高图像去噪的准确度。
另外，通过结合粗糙去噪图像的语义特征信息和深度特征信息对粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像，可以在图像去噪过程中，较好地维持图像所需的语义特征信息和深度特征信息，使得精修去噪图像的视觉效果和细节效果更好。
另外，通过对图像进行多尺度的去噪处理，可以去除图像在不同尺度下的噪点，从而实现更细节、更全面地对图像去噪，提高了图像去噪效果。
上文对图像去噪方法进行了介绍说明，下面将对图像去噪系统的训练方法进行介绍说明。需要说明的是，有关图像去噪方法的实施例和图像去噪系统的训练方法的实施例，两者是互相对应的，对于一个实施例中未详细说明的细节，可参见另一实施例中的介绍说明。
请参考图9，其示出了本申请一个实施例提供的图像去噪系统的训练方法的流程图。其中，图像去噪系统包括粗糙去噪模型、语义分割模型、深度估计模型和精修去噪模型。该方法各步骤的执行主体可以是上文介绍的计算机设备(如服务器20)，该方法可以包括如下几个步骤(901～907)：
步骤901，获取训练样本，该训练样本包括多组对应的带噪样本图像和目标去噪图像。
在本申请实施例中，训练样本用于训练粗糙去噪模型和精修去噪模型。可选地，粗糙去噪模型和精修去噪模型可以使用同一训练样本，如此可以降低训练样本的获取数量，减少工作量。当然，在一些其他实施例中，粗糙去噪模型和精修去噪模型的训练样本也可以不同，本申请实施例对此不作限定。带噪图像是指图像数据中存在干扰信息的样本图像，目标去噪图像是指带噪样本图像对应的图像数据中不存在干扰信息的样本图像。带噪样本图像和目标去噪图像是一一对应的，也即一组对应的带噪样本图像和目标去噪图像中，包括一张带噪图像，和一张不带噪图像。
步骤902，通过粗糙去噪模型对带噪样本图像进行粗糙去噪处理，得到粗糙去噪输出图像。
将带噪样本图像输入粗糙去噪模型，即可得到粗糙去噪输出图像，粗糙去噪处理过程与上述实施例的介绍相同，本实施例对此不再赘述。
步骤903，通过语义分割模型对粗糙去噪输出图像进行语义特征提取处理，得到粗糙去噪输出图像的语义特征信息。
步骤904，通过深度估计模型对粗糙去噪输出图像进行深度特征提取处理，得到粗糙去噪输出图像的深度特征信息。
步骤905，通过精修去噪模型基于语义特征信息和深度特征信息对粗糙去噪输出图像进行多尺度的精修去噪处理，得到精修去噪输出图像。
在一个示例中，精修去噪输出图像的生成流程如下：
1、将粗糙去噪输出图像、用于表示语义特征信息的语义图像以及用于表示深度特征信息的深度图像，分别从原始尺度缩小至第m目标尺度，得到第m目标尺度的粗糙去噪输出图像、第m目标尺度的语义图像和第m目标尺度的深度图像，m的初始值为1且m为正整数；
2、通过精修去噪模型基于第m目标尺度的语义图像和第m目标尺度的深度图像，对第m目标尺度的粗糙去噪输出图像进行精修去噪处理，得到第m目标尺度的精修去噪输出图像；
3、对第m目标尺度的精修去噪输出图像进行尺度放大处理，得到第m+1目标尺度的粗糙去噪输出图像；
4、通过精修去噪模型基于第m+1目标尺度的语义图像和第m+1目标尺度的深度图像，对第m+1目标尺度的粗糙去噪输出图像进行精修去噪处理，得到第m+1目标尺度的精修去噪输出图像；
5、若第m+1目标尺度小于所述原始尺度，则令m＝m+1，并再次从对第m目标尺度的精修去噪输出图像进行尺度放大处理，得到第m+1目标尺度的粗糙去噪输出图像的步骤开始执行；若第m+1目标尺度等于原始尺度，则将第m+1目标尺度的精修去噪输出图像确定为精修去噪输出图像。
可选地，精修去噪模型可以包括多个尺度的精修去噪网络，每个尺度的精修去噪网络的原理相同，下面将以获取第m目标尺度的精修去噪图像为例，对精修去噪网络进行详细介绍：
1、获取第m目标尺度的粗糙去噪输出图像的特征图、第m目标尺度的语义图像的特征图和第m目标尺度的深度图像的特征图；
2、通过精修去噪模型对第m目标尺度的粗糙去噪输出图像的特征图和第m目标尺度的语义图像的特征图进行相乘处理，得到第一中间特征图；
3、对第m目标尺度的粗糙去噪输出图像的特征图进行正向卷积处理，得到第二中间特征图；
4、通过精修去噪模型对第一中间特征图和第二中间特征图进行相加处理，得到第三中间特征图；
5、对第三中间特征图进行正向卷积处理，得到第四中间特征图；
6、对第四中间特征图进行重建处理，得到重建后的第四中间特征图；
7、通过精修去噪模型对第m目标尺度的深度图像的特征图和重建后的第四中间特征图进行相乘处理，得到第五中间特征图；
8、对重建后的第四中间特征图进行反向卷积处理，得到第六中间特征图；
9、通过精修去噪模型对第六中间特征图和第五中间特征图进行相加处理，得到第七中间特征图；
10、对第七中间特征图进行反向卷积处理，得到第m目标尺度的精修去噪输出图像。
步骤906，基于粗糙去噪输出图像、精修去噪输出图像和目标去噪图像，计算模型训练损失。
模型训练损失是指通过损失函数计算得到的损失，可用于表示模型的输出图像和目标图像的差异，模型训练损失越小，模型的输出图像和目标图像之间的差异越小，模型的性能越好。在本申请实施例中，结合了对比损失函数和感知损失函数来计算模型训练损失。对比损失函数的公式可以如下：
Figure BDA0002962519030000161
其中，N是指训练样本中带噪样本图像和目标去噪图像的组数(也即带噪样本图像的数量)，I′i(x)是指去噪输出图像(例如上述的粗糙去噪图像和精修去噪图像)第x个像素在第i色道下的强度，Ii(x)是指去噪输出图像对应的目标去噪样本图像第x个像素在第i色道下的强度。Q是一个参数，可以用如下公式表示：
Figure BDA0002962519030000162
其中e为一个参数。
感知损失函数的公式可以如下：
Figure BDA0002962519030000163
其中，C是指通道，W是指感知特征图的宽度，H是指感知特征图的高度，G是指VGG(Visual Geometry Group，视觉几何组)16(一种由13个卷积层和3个全连接层叠加而成的卷积神经网络，可用于提取图像的感知特征图)，G(Iclean)x，y，c是指目标去噪样本图像对应的感知特征图在宽度为x、高度为y处第c通道下的感知特征，G(Ide)x，y，c是指去噪输出图像(例如上述的粗糙去噪图像和精修去噪图像)对应的感知特征图在宽度为x、高度为y处第c通道下的感知特征。
对比损失函数和感知损失函数可以通过如下公式进行结合：
L＝L1+β＊Lp，
其中，β是一个参数，用与调整对比损失函数和感知损失函数的权重。
步骤907，根据模型训练损失对粗糙去噪模型和精修去噪模型的参数进行调整。
可选地，可以利用梯度下降算法减小模型训练损失的值，来优化粗糙去噪模型和精修去噪模型的网络。通过不断地迭代，使模型训练损失趋于平稳，当模型训练损失不再变化时，即可判断模型训练完成。
在一个示例中，模型训练损失包括粗糙模型训练损失和精修模型训练损失；粗糙去噪模型的训练过程如下：基于粗糙去噪输出图像和目标去噪图像，计算得到粗糙模型训练损失；根据粗糙模型训练损失对粗糙去噪模型的参数进行调整；精修去噪模型的训练过程如下：基于精修去噪输出图像和目标去噪图像，计算得到精修模型训练损失；根据精修模型训练损失对精修去噪模型的参数进行调整。
可选地，粗糙模型训练损失的获取过程如下过程：基于粗糙去噪输出图像和目标去噪图像，计算得到粗糙训练模型的对比损失；分别对粗糙去噪输出图像和目标去噪图像进行特征提取处理，得到粗糙去噪输出图像的感知特征图和目标去噪图像的感知特征图；基于粗糙去噪输出图像的感知特征图和目标去噪图像的感知特征图，计算得到粗糙训练模型的感知损失；基于粗糙训练模型的对比损失和粗糙训练模型的感知损失，得到粗糙模型训练损失。
粗糙模型训练损失的获取方法包括：对粗糙训练模型的对比损失和粗糙训练模型的感知损失进行加权求和处理，得到粗糙模型训练损失。
可选地，精修模型训练损失的获取过程如下过程：分别对精修去噪输出图像和目标去噪图像进行特征提取处理，得到精修去噪输出图像的感知特征图和目标去噪图像的感知特征图；基于精修去噪输出图像的感知特征图和目标去噪图像的感知特征图，计算得到精修训练模型的感知损失；基于精修训练模型的对比损失和精修训练模型的感知损失，得到精修模型训练损失。
精修模型训练损失的获取方法包括：对经过修训练模型的对比损失和精修训练模型的感知损失进行加权求和处理，得到精修模型训练损失。
粗糙模型训练损失的获取原理与修模型训练损失的获取原理相同，粗糙模型训练损失的运用方法与精修模型训练损失的运用原理相同，以精修去噪模型为例，对模型训练损失及其运用进行介绍：获取精修去噪输出图像和目标去噪图像之间的差异，即于该差异通过对比损失函数计算得到对比损失，再基于VGG16获取精修去噪输出图像的感知特征图和目标去噪图像的感知特征图，基于精修去噪输出图像的感知特征图和目标去噪图像的感知特征图的差值的平方，计算得到感知损失，再基于对比损失和感知损失各自的权重，对对比损失和感知损失进行加权求和处理，生成精修模型训练损失，最后基于精修模型训练损失对精修去噪模型的参数进行调整。本实施例通过分别对粗糙去噪模型和精修去噪模型进行训练，可以提高模型训练的准确度，提高模型去噪处理效果。
在一个可行的示例中，基于精修去噪输出图像和目标去噪图像，计算得到精修模型训练损失；基于精修模型训练损失同时对粗糙去噪模型和精修去噪模型的参数进行调整。如此可以减少计算量，提高模型的训练效率。
综上所述，本申请实施例提供的技术方案，通过在对带噪样本图像进行粗糙去噪处理，得到粗糙去噪输出图像的基础上，结合粗糙去噪输出图像的语义特征信息和深度特征信息对粗糙去噪输出图像进行多尺度的精修去噪处理，得到精修去噪输出图像，进而基于精修去噪输出图像和粗糙去噪输出图像对模型进行训练。基于粗糙去噪输出图像，可以为精修去噪处理所需的语义特征信息和深度特征信息的获取提供了更好的来源，提高了语义特征信息和深度特征信息获取的准确度，进而提高了模型的准确性。同时，通过将图像的语义特征信息和深度特征信息结合至模型的训练过程中，实现精细化地训练模型，从而提高了模型的准确性和细节感知能力。
另外，通过将多尺度因数结合至图像的训练过程中，实现更全面化第训练模型，进而使得模型具有多尺度处理图像的能力，提高模型的全面性。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
参考图10，其示出了本申请一个实施例提供的图像去噪训练装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。如图10所示，该装置1000包括：图像粗糙去噪模块1001、图像特征提取模块1002和图像精修去噪模块1003。
图像粗糙去噪模块1001，同于对带噪图像进行粗糙去噪处理，得到粗糙去噪图像。
图像特征提取模块1002，用于对所述粗糙去噪图像进行特征提取处理，得到所述粗糙去噪图像的语义特征信息和深度特征信息。
图像精修去噪模块1003，用于基于所述语义特征信息和所述深度特征信息对所述粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像。
在一个示例性实施例中，所述图像精修去噪模块1003，用于：
将所述粗糙去噪图像、用于表示所述语义特征信息的语义图像以及用于表示所述深度特征信息的深度图像，分别从原始尺度缩小至第n目标尺度，得到所述第n目标尺度的粗糙去噪图像、所述第n目标尺度的语义图像和所述第n目标尺度的深度图像，所述n的初始值为1且所述n为正整数；
基于所述第n目标尺度的语义图像和所述第n目标尺度的深度图像，对所述第n目标尺度的粗糙去噪图像进行精修去噪处理，得到所述第n目标尺度的精修去噪图像；
对所述第n目标尺度的精修去噪图像进行尺度放大处理，得到第n+1目标尺度的粗糙去噪图像；
基于所述第n+1目标尺度的语义图像和所述第n+1目标尺度的深度图像，对所述第n+1目标尺度的粗糙去噪图像进行精修去噪处理，得到所述第n+1目标尺度的精修去噪图像；
若所述第n+1目标尺度小于所述原始尺度，则令n＝n+1，并再次从所述对所述第n目标尺度的精修去噪图像进行尺度放大处理，得到第n+1目标尺度的粗糙去噪图像的步骤开始执行；
若所述第n+1目标尺度等于所述原始尺度，则将所述第n+1目标尺度的精修去噪图像确定为所述精修去噪图像。
在一个示例性实施例中，所述图像精修去噪模块1003，还用于：
获取所述第n目标尺度的粗糙去噪图像的特征图、所述第n目标尺度的语义图像的特征图和所述第n目标尺度的深度图像的特征图；
对所述第n目标尺度的粗糙去噪图像的特征图和所述第n目标尺度的语义图像的特征图进行第一融合处理，得到第一中间特征图；
对所述第n目标尺度的粗糙去噪图像的特征图进行正向卷积处理，得到第二中间特征图；
对所述第一中间特征图和所述第二中间特征图进行第二融合处理，得到第三中间特征图；
对所述第三中间特征图进行正向卷积处理，得到第四中间特征图；
对所述第四中间特征图进行重建处理，得到重建后的第四中间特征图；
对所述第n目标尺度的深度图像的特征图和所述重建后的第四中间特征图进行第一融合处理，得到第五中间特征图；
对所述重建后的第四中间特征图进行反向卷积处理，得到第六中间特征图；
对所述第五中间特征图和所述第六中间特征图进行第二融合处理，得到第七中间特征图；
对所述第七中间特征图进行反向卷积处理，得到所述第n目标尺度的精修去噪图像。
在一个示例性实施例中，所述方法由图像去噪系统执行，所述图像去噪系统包括粗糙去噪模型、语义分割模型、深度估计模型和精修去噪模型；其中，
所述粗糙去噪模型用于对所述带噪图像进行粗糙去噪处理，得到所述粗糙去噪图像；
所述语义分割模型用于对所述粗糙去噪图像进行语义特征提取处理，得到所述粗糙去噪图像的语义特征信息；
所述深度估计模型用于对所述粗糙去噪图像进行深度特征提取处理，得到所述粗糙去噪图像的深度特征信息；
所述精修去噪模型用于基于所述语义特征信息和所述深度特征信息对所述粗糙去噪图像进行多尺度的精修去噪处理，得到所述精修去噪图像。
通过先对带噪图像进行粗糙去噪处理，再基于得到的粗糙去噪图像进行精修去噪处理，从而得到精修去噪图像，而不是直接通过对待噪图像进行去噪处理得到去噪图像，通过双重去噪可以得到去噪效果更好的去噪图像。同时为精修去噪处理所需的语义特征信息和深度特征信息的获取提供了更好的来源，提高了语义特征信息和深度特征信息获取的准确度，进而提高图像去噪的准确度。
另外，通过结合粗糙去噪图像的语义特征信息和深度特征信息对粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像，可以在图像去噪过程中，较好地维持图像所需的语义特征信息和深度特征信息，使得精修去噪图像的视觉效果和细节效果更好。
另外，通过对图像进行多尺度的去噪处理，可以去除图像在不同尺度下的噪点，从而实现更细节、更全面地对图像去噪，提高了图像去噪效果。
参考图11，其示出了本申请一个实施例提供的图像去噪系统的训练装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。如图11所示，该装置1100包括：训练样本获取模块1101、图像粗糙去噪模块1102、语义特征提取模块1103、深度特征提取模块1104、图像精修去噪模块1105、训练损失计算模块1106和模型参数调整模块1107。
训练样本获取模块1101，用于获取训练样本，所述训练样本包括多组对应的带噪样本图像和目标去噪图像。
图像粗糙去噪模块1102，同于通过所述粗糙去噪模型对所述带噪样本图像进行粗糙去噪处理，得到粗糙去噪输出图像。
语义特征提取模块1103，用于通过所述语义分割模型对所述粗糙去噪输出图像进行语义特征提取处理，得到所述粗糙去噪输出图像的语义特征信息。
深度特征提取模块1104，用于通过所述深度估计模型对所述粗糙去噪输出图像进行深度特征提取处理，得到所述粗糙去噪输出图像的深度特征信息。
图像精修去噪模块1105，用于通过所述精修去噪模型基于所述语义特征信息和所述深度特征信息对所述粗糙去噪输出图像进行多尺度的精修去噪处理，得到精修去噪输出图像。
训练损失计算模块1106，用于基于所述粗糙去噪输出图像、所述精修去噪输出图像和所述目标去噪图像，计算模型训练损失。
模型参数调整模块1107，用于根据所述模型训练损失对所述粗糙去噪模型和所述精修去噪模型的参数进行调整。
在一个示例性实施例中，所述图像精修去噪模块1105，用于：
将所述粗糙去噪输出图像、用于表示所述语义特征信息的语义图像以及用于表示所述深度特征信息的深度图像，分别从原始尺度缩小至第m目标尺度，得到所述第m目标尺度的粗糙去噪输出图像、所述第m目标尺度的语义图像和所述第m目标尺度的深度图像，所述m的初始值为1且所述m为正整数；
通过所述精修去噪模型基于所述第m目标尺度的语义图像和所述第m目标尺度的深度图像，对所述第m目标尺度的粗糙去噪输出图像进行精修去噪处理，得到所述第m目标尺度的精修去噪输出图像；
对所述第m目标尺度的精修去噪输出图像进行尺度放大处理，得到第m+1目标尺度的粗糙去噪输出图像；
通过所述精修去噪模型基于所述第m+1目标尺度的语义图像和所述第m+1目标尺度的深度图像，对所述第m+1目标尺度的粗糙去噪输出图像进行精修去噪处理，得到所述第m+1目标尺度的精修去噪输出图像；
若所述第m+1目标尺度小于所述原始尺度，则令m＝m+1，并再次从所述对所述第m目标尺度的精修去噪输出图像进行尺度放大处理，得到第m+1目标尺度的粗糙去噪输出图像的步骤开始执行；
若所述第m+1目标尺度等于所述原始尺度，则将所述第m+1目标尺度的精修去噪输出图像确定为所述精修去噪输出图像。
在一个示例性实施例中，所述图像精修去噪模块1105，还用于：
获取所述第m目标尺度的粗糙去噪输出图像的特征图、所述第m目标尺度的语义图像的特征图和所述第m目标尺度的深度图像的特征图；
通过所述精修去噪模型对所述第m目标尺度的粗糙去噪输出图像的特征图和所述第m目标尺度的语义图像的特征图进行相乘处理，得到第一中间特征图；
对所述第m目标尺度的粗糙去噪输出图像的特征图进行正向卷积处理，得到第二中间特征图；
通过所述精修去噪模型对所述第一中间特征图和所述第二中间特征图进行相加处理，得到第三中间特征图；
对所述第三中间特征图进行正向卷积处理，得到第四中间特征图；
对所述第四中间特征图进行重建处理，得到重建后的第四中间特征图；
通过所述精修去噪模型对所述第m目标尺度的深度图像的特征图和所述重建后的第四中间特征图进行相乘处理，得到第五中间特征图；
对所述重建后的第四中间特征图进行反向卷积处理，得到第六中间特征图；
通过所述精修去噪模型对所述第六中间特征图和所述第五中间特征图进行相加处理，得到第七中间特征图；
对所述第七中间特征图进行反向卷积处理，得到所述第m目标尺度的精修去噪输出图像。
在一个示例性实施例中，所述模型训练损失包括粗糙模型训练损失和精修模型训练损失；
所述训练损失计算模块1106，还用于：
基于所述粗糙去噪输出图像和所述目标去噪图像，计算得到所述粗糙模型训练损失；
基于所述精修去噪输出图像和所述目标去噪图像，计算得到所述精修模型训练损失；
所述模型参数调整模块1107，还用于：
根据所述粗糙模型训练损失对所述粗糙去噪模型的参数进行调整；
根据所述精修模型训练损失对所述精修去噪模型的参数进行调整。
在一个示例性实施例中，所述训练损失计算模块1106，还用于：
基于所述粗糙去噪输出图像和所述目标去噪图像，计算得到所述粗糙训练模型的对比损失；
分别对所述粗糙去噪输出图像和所述目标去噪图像进行特征提取处理，得到所述粗糙去噪输出图像的感知特征图和所述目标去噪图像的感知特征图；
基于所述粗糙去噪输出图像的感知特征图和所述目标去噪图像的感知特征图，计算得到所述粗糙训练模型的感知损失；
基于所述粗糙训练模型的对比损失和所述粗糙训练模型的感知损失，得到所述粗糙模型训练损失。
在一个示例性实施例中，所述训练损失计算模块1106，还用于对所述粗糙训练模型的对比损失和所述粗糙训练模型的感知损失进行加权求和处理，得到所述粗糙模型训练损失。
在一个示例性实施例中，所述训练损失计算模块1106，还用于：
基于所述精修去噪输出图像和所述目标去噪图像，计算得到所述精修训练模型的对比损失；
分别对所述精修去噪输出图像和所述目标去噪图像进行特征提取处理，得到所述精修去噪输出图像的感知特征图和所述目标去噪图像的感知特征图；
基于所述精修去噪输出图像的感知特征图和所述目标去噪图像的感知特征图，计算得到所述精修训练模型的感知损失；
基于所述精修训练模型的对比损失和所述精修训练模型的感知损失，得到所述精修模型训练损失。
综上所述，本申请实施例提供的技术方案，通过在对带噪样本图像进行粗糙去噪处理，得到粗糙去噪输出图像的基础上，结合粗糙去噪输出图像的语义特征信息和深度特征信息对粗糙去噪输出图像进行多尺度的精修去噪处理，得到精修去噪输出图像，进而基于精修去噪输出图像和粗糙去噪输出图像对模型进行训练。基于粗糙去噪输出图像，可以为精修去噪处理所需的语义特征信息和深度特征信息的获取提供了更好的来源，提高了语义特征信息和深度特征信息获取的准确度，进而提高了模型的准确性。同时，通过将图像的语义特征信息和深度特征信息结合至模型的训练过程中，实现精细化地训练模型，从而提高了模型的准确性和细节感知能力。
另外，通过将多尺度因数结合至图像的训练过程中，实现更全面化第训练模型，进而使得模型具有多尺度处理图像的能力，提高模型的全面性。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图12，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以用于实施上述实施例中提供的图像去噪方法或图像去噪系统的训练方法。具体来讲：
该计算机设备1200包括处理单元(如CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)和FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)等)1201、包括RAM(Random-Access Memory，随机存储器)1202和ROM(Read-Only Memory，只读存储器)1203的系统存储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。该计算机设备1200还包括帮助服务器内的各个器件之间传输信息的基本输入/输出系统(Input Output System，I/O系统)1206，和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1207。
该基本输入/输出系统1206包括有用于显示信息的显示器1208和用于用户输入信息的诸如鼠标、键盘之类的输入设备1209。其中，该显示器1208和输入设备1209都通过连接到系统总线1205的输入输出控制器1210连接到中央处理单元1201。该基本输入/输出系统1206还可以包括输入输出控制器1210以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1210还提供输出到显示屏、打印机或其他类型的输出设备。
该大容量存储设备1207通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。该大容量存储设备1207及其相关联的计算机可读介质为计算机设备1200提供非易失性存储。也就是说，该大容量存储设备1207可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦写可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。
根据本申请实施例，该计算机设备1200还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1200可以通过连接在该系统总线1205上的网络接口单元1211连接到网络1212，或者说，也可以使用网络接口单元1211来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括计算机程序，该计算机程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述图像去噪方法或图像去噪系统的训练方法。
在一个示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集在被处理器执行时以实现上述图像去噪方法或图像去噪系统的训练方法。
可选地，该计算机可读存储介质可以包括：ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存储器)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory，电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在一个示例性实施例中，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行上述图像去噪方法或图像去噪系统的训练方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像去噪方法，其特征在于，所述方法包括：
对带噪图像进行粗糙去噪处理，得到粗糙去噪图像；
对所述粗糙去噪图像进行特征提取处理，得到所述粗糙去噪图像的语义特征信息和深度特征信息；
基于所述语义特征信息和所述深度特征信息对所述粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述语义特征信息和所述深度特征信息对所述粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像，包括：
将所述粗糙去噪图像、用于表示所述语义特征信息的语义图像以及用于表示所述深度特征信息的深度图像，分别从原始尺度缩小至第n目标尺度，得到所述第n目标尺度的粗糙去噪图像、所述第n目标尺度的语义图像和所述第n目标尺度的深度图像，所述n的初始值为1且所述n为正整数；
基于所述第n目标尺度的语义图像和所述第n目标尺度的深度图像，对所述第n目标尺度的粗糙去噪图像进行精修去噪处理，得到所述第n目标尺度的精修去噪图像；
对所述第n目标尺度的精修去噪图像进行尺度放大处理，得到第n+1目标尺度的粗糙去噪图像；
基于所述第n+1目标尺度的语义图像和所述第n+1目标尺度的深度图像，对所述第n+1目标尺度的粗糙去噪图像进行精修去噪处理，得到所述第n+1目标尺度的精修去噪图像；
若所述第n+1目标尺度小于所述原始尺度，则令n＝n+1，并再次从所述对所述第n目标尺度的精修去噪图像进行尺度放大处理，得到第n+1目标尺度的粗糙去噪图像的步骤开始执行；
若所述第n+1目标尺度等于所述原始尺度，则将所述第n+1目标尺度的精修去噪图像确定为所述精修去噪图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第n目标尺度的语义图像和所述第n目标尺度的深度图像，对所述第n目标尺度的粗糙去噪图像进行精修去噪处理，得到所述第n目标尺度的精修去噪图像，包括：
获取所述第n目标尺度的粗糙去噪图像的特征图、所述第n目标尺度的语义图像的特征图和所述第n目标尺度的深度图像的特征图；
对所述第n目标尺度的粗糙去噪图像的特征图和所述第n目标尺度的语义图像的特征图进行第一融合处理，得到第一中间特征图；
对所述第n目标尺度的粗糙去噪图像的特征图进行正向卷积处理，得到第二中间特征图；
对所述第一中间特征图和所述第二中间特征图进行第二融合处理，得到第三中间特征图；
对所述第三中间特征图进行正向卷积处理，得到第四中间特征图；
对所述第四中间特征图进行重建处理，得到重建后的第四中间特征图；
对所述第n目标尺度的深度图像的特征图和所述重建后的第四中间特征图进行第一融合处理，得到第五中间特征图；
对所述重建后的第四中间特征图进行反向卷积处理，得到第六中间特征图；
对所述第五中间特征图和所述第六中间特征图进行第二融合处理，得到第七中间特征图；
对所述第七中间特征图进行反向卷积处理，得到所述第n目标尺度的精修去噪图像。
4.根据权利要求1所述的方法，其特征在于，所述方法由图像去噪系统执行，所述图像去噪系统包括粗糙去噪模型、语义分割模型、深度估计模型和精修去噪模型；其中，
所述粗糙去噪模型用于对所述带噪图像进行粗糙去噪处理，得到所述粗糙去噪图像；
所述语义分割模型用于对所述粗糙去噪图像进行语义特征提取处理，得到所述粗糙去噪图像的语义特征信息；
所述深度估计模型用于对所述粗糙去噪图像进行深度特征提取处理，得到所述粗糙去噪图像的深度特征信息；
所述精修去噪模型用于基于所述语义特征信息和所述深度特征信息对所述粗糙去噪图像进行多尺度的精修去噪处理，得到所述精修去噪图像。
5.一种图像去噪系统的训练方法，其特征在于，所述图像去噪系统包括粗糙去噪模型、语义分割模型、深度估计模型和精修去噪模型，所述方法包括：
获取训练样本，所述训练样本包括多组对应的带噪样本图像和目标去噪图像；
通过所述粗糙去噪模型对所述带噪样本图像进行粗糙去噪处理，得到粗糙去噪输出图像；
通过所述语义分割模型对所述粗糙去噪输出图像进行语义特征提取处理，得到所述粗糙去噪输出图像的语义特征信息；
通过所述深度估计模型对所述粗糙去噪输出图像进行深度特征提取处理，得到所述粗糙去噪输出图像的深度特征信息；
通过所述精修去噪模型基于所述语义特征信息和所述深度特征信息对所述粗糙去噪输出图像进行多尺度的精修去噪处理，得到精修去噪输出图像；
基于所述粗糙去噪输出图像、所述精修去噪输出图像和所述目标去噪图像，计算模型训练损失；
根据所述模型训练损失对所述粗糙去噪模型和所述精修去噪模型的参数进行调整。
6.根据权利要求5所述的方法，其特征在于，所述通过所述精修去噪模型基于所述语义特征信息和所述深度特征信息对所述粗糙去噪输出图像进行多尺度的精修去噪处理，得到精修去噪输出图像，包括：
将所述粗糙去噪输出图像、用于表示所述语义特征信息的语义图像以及用于表示所述深度特征信息的深度图像，分别从原始尺度缩小至第m目标尺度，得到所述第m目标尺度的粗糙去噪输出图像、所述第m目标尺度的语义图像和所述第m目标尺度的深度图像，所述m的初始值为1且所述m为正整数；
通过所述精修去噪模型基于所述第m目标尺度的语义图像和所述第m目标尺度的深度图像，对所述第m目标尺度的粗糙去噪输出图像进行精修去噪处理，得到所述第m目标尺度的精修去噪输出图像；
对所述第m目标尺度的精修去噪输出图像进行尺度放大处理，得到第m+1目标尺度的粗糙去噪输出图像；
通过所述精修去噪模型基于所述第m+1目标尺度的语义图像和所述第m+1目标尺度的深度图像，对所述第m+1目标尺度的粗糙去噪输出图像进行精修去噪处理，得到所述第m+1目标尺度的精修去噪输出图像；
若所述第m+1目标尺度小于所述原始尺度，则令m＝m+1，并再次从所述对所述第m目标尺度的精修去噪输出图像进行尺度放大处理，得到第m+1目标尺度的粗糙去噪输出图像的步骤开始执行；
若所述第m+1目标尺度等于所述原始尺度，则将所述第m+1目标尺度的精修去噪输出图像确定为所述精修去噪输出图像。
7.根据权利要求6所述的方法，其特征在于，所述通过所述精修去噪模型基于所述第m目标尺度的语义图像和所述第m目标尺度的深度图像，对所述第m目标尺度的粗糙去噪输出图像进行精修去噪处理，得到所述第m目标尺度的精修去噪输出图像，包括：
获取所述第m目标尺度的粗糙去噪输出图像的特征图、所述第m目标尺度的语义图像的特征图和所述第m目标尺度的深度图像的特征图；
通过所述精修去噪模型对所述第m目标尺度的粗糙去噪输出图像的特征图和所述第m目标尺度的语义图像的特征图进行相乘处理，得到第一中间特征图；
对所述第m目标尺度的粗糙去噪输出图像的特征图进行正向卷积处理，得到第二中间特征图；
通过所述精修去噪模型对所述第一中间特征图和所述第二中间特征图进行相加处理，得到第三中间特征图；
对所述第三中间特征图进行正向卷积处理，得到第四中间特征图；
对所述第四中间特征图进行重建处理，得到重建后的第四中间特征图；
通过所述精修去噪模型对所述第m目标尺度的深度图像的特征图和所述重建后的第四中间特征图进行相乘处理，得到第五中间特征图；
对所述重建后的第四中间特征图进行反向卷积处理，得到第六中间特征图；
通过所述精修去噪模型对所述第六中间特征图和所述第五中间特征图进行相加处理，得到第七中间特征图；
对所述第七中间特征图进行反向卷积处理，得到所述第m目标尺度的精修去噪输出图像。
8.根据权利要求5所述的方法，其特征在于，所述模型训练损失包括粗糙模型训练损失和精修模型训练损失；
所述基于所述粗糙去噪输出图像、所述精修去噪输出图像和所述目标去噪图像，计算模型训练损失，包括：
基于所述粗糙去噪输出图像和所述目标去噪图像，计算得到所述粗糙模型训练损失；
基于所述精修去噪输出图像和所述目标去噪图像，计算得到所述精修模型训练损失；
所述根据所述模型训练损失对所述粗糙去噪模型和所述精修去噪模型的参数进行调整，包括：
根据所述粗糙模型训练损失对所述粗糙去噪模型的参数进行调整；
根据所述精修模型训练损失对所述精修去噪模型的参数进行调整。
9.根据权利要求8所述的方法，其特征在于，所述基于所述粗糙去噪输出图像和所述目标去噪图像，计算得到所述粗糙模型训练损失，包括：
基于所述粗糙去噪输出图像和所述目标去噪图像，计算得到所述粗糙训练模型的对比损失；
分别对所述粗糙去噪输出图像和所述目标去噪图像进行特征提取处理，得到所述粗糙去噪输出图像的感知特征图和所述目标去噪图像的感知特征图；
基于所述粗糙去噪输出图像的感知特征图和所述目标去噪图像的感知特征图，计算得到所述粗糙训练模型的感知损失；
基于所述粗糙训练模型的对比损失和所述粗糙训练模型的感知损失，得到所述粗糙模型训练损失。
10.根据权利要求9所述的方法，其特征在于，所述基于所述粗糙训练模型的对比损失和所述粗糙训练模型的感知损失，得到所述粗糙模型训练损失，包括：
对所述粗糙训练模型的对比损失和所述粗糙训练模型的感知损失进行加权求和处理，得到所述粗糙模型训练损失。
11.根据权利要求8所述的方法，其特征在于，基于所述精修去噪输出图像和所述目标去噪图像，计算得到所述精修模型训练损失，包括：
基于所述精修去噪输出图像和所述目标去噪图像，计算得到所述精修训练模型的对比损失；
分别对所述精修去噪输出图像和所述目标去噪图像进行特征提取处理，得到所述精修去噪输出图像的感知特征图和所述目标去噪图像的感知特征图；
基于所述精修去噪输出图像的感知特征图和所述目标去噪图像的感知特征图，计算得到所述精修训练模型的感知损失；
基于所述精修训练模型的对比损失和所述精修训练模型的感知损失，得到所述精修模型训练损失。
12.一种图像去噪装置，其特征在于，所述装置包括：
图像粗糙去噪模块，同于对带噪图像进行粗糙去噪处理，得到粗糙去噪图像；
图像特征提取模块，用于对所述粗糙去噪图像进行特征提取处理，得到所述粗糙去噪图像的语义特征信息和深度特征信息；
图像精修去噪模块，用于基于所述语义特征信息和所述深度特征信息对所述粗糙去噪图像进行多尺度的精修去噪处理，得到精修去噪图像。
13.一种图像去噪系统的训练装置，其特征在于，所述图像去噪系统包括粗糙去噪模型、语义分割模型、深度估计模型和精修去噪模型，所述装置包括：
训练样本获取模块，用于获取训练样本，所述训练样本包括多组对应的带噪样本图像和目标去噪图像；
图像粗糙去噪模块，同于通过所述粗糙去噪模型对所述带噪样本图像进行粗糙去噪处理，得到粗糙去噪输出图像；
语义特征提取模块，用于通过所述语义分割模型对所述粗糙去噪输出图像进行语义特征提取处理，得到所述粗糙去噪输出图像的语义特征信息；
深度特征提取模块，用于通过所述深度估计模型对对所述粗糙去噪输出图像进行深度特征提取处理，得到所述粗糙去噪输出图像的深度特征信息；
图像精修去噪模块，用于通过所述精修去噪模型基于所述语义特征信息和所述深度特征信息对所述粗糙去噪输出图像进行多尺度的精修去噪处理，得到精修去噪输出图像；
训练损失计算模块，用于基于所述粗糙去噪输出图像、所述精修去噪输出图像和所述目标去噪图像，计算模型训练损失；
模型参数调整模块，用于根据所述模型训练损失对所述粗糙去噪模型和所述精修去噪模型的参数进行调整。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至4任一项所述的图像去噪方法，或如权利要求5至11任一项所述的图像去噪系统的训练方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至4任一项所述的图像去噪方法，或如权利要求5至11任一项所述的图像去噪系统的训练方法。
CN202110241918.5A 2021-03-04 2021-03-04 图像去噪方法、装置、设备及存储介质 Active CN112990215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110241918.5A CN112990215B (zh) 2021-03-04 2021-03-04 图像去噪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110241918.5A CN112990215B (zh) 2021-03-04 2021-03-04 图像去噪方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112990215A true CN112990215A (zh) 2021-06-18
CN112990215B CN112990215B (zh) 2023-12-12

Family

ID=76352812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110241918.5A Active CN112990215B (zh) 2021-03-04 2021-03-04 图像去噪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112990215B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140314331A1 (en) * 2011-11-23 2014-10-23 Koninklike Phillips N.V. Image domain de-noising
CN108447029A (zh) * 2018-02-12 2018-08-24 深圳创维－Rgb电子有限公司 一种视频序列的去噪方法、装置、服务器和存储介质
CN109035172A (zh) * 2018-08-08 2018-12-18 华中科技大学 一种基于深度学习的非局部均值超声图像去噪方法
WO2019090213A1 (en) * 2017-11-03 2019-05-09 Siemens Aktiengesellschaft Segmenting and denoising depth images for recognition applications using generative adversarial neural networks
US20190355098A1 (en) * 2018-05-18 2019-11-21 Gopro, Inc. Multiscale denoising of raw images with noise estimation
CN111476741A (zh) * 2020-04-28 2020-07-31 北京金山云网络技术有限公司 图像的去噪方法、装置、电子设备和计算机可读介质
WO2020177607A1 (zh) * 2019-03-01 2020-09-10 华为技术有限公司 图像去噪方法和装置
CN112037142A (zh) * 2020-08-24 2020-12-04 腾讯科技（深圳）有限公司 一种图像去噪方法、装置、计算机及可读存储介质
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN112270654A (zh) * 2020-11-02 2021-01-26 浙江理工大学 基于多通道gan的图像去噪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140314331A1 (en) * 2011-11-23 2014-10-23 Koninklike Phillips N.V. Image domain de-noising
WO2019090213A1 (en) * 2017-11-03 2019-05-09 Siemens Aktiengesellschaft Segmenting and denoising depth images for recognition applications using generative adversarial neural networks
CN108447029A (zh) * 2018-02-12 2018-08-24 深圳创维－Rgb电子有限公司 一种视频序列的去噪方法、装置、服务器和存储介质
US20190355098A1 (en) * 2018-05-18 2019-11-21 Gopro, Inc. Multiscale denoising of raw images with noise estimation
CN109035172A (zh) * 2018-08-08 2018-12-18 华中科技大学 一种基于深度学习的非局部均值超声图像去噪方法
WO2020177607A1 (zh) * 2019-03-01 2020-09-10 华为技术有限公司 图像去噪方法和装置
CN111476741A (zh) * 2020-04-28 2020-07-31 北京金山云网络技术有限公司 图像的去噪方法、装置、电子设备和计算机可读介质
CN112037142A (zh) * 2020-08-24 2020-12-04 腾讯科技（深圳）有限公司 一种图像去噪方法、装置、计算机及可读存储介质
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN112270654A (zh) * 2020-11-02 2021-01-26 浙江理工大学 基于多通道gan的图像去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
白瑞君等: "一种改进的深度卷积神经网络图像去噪算法", 科学技术与工程, no. 36 *
蒋智琳: "基于生成对抗网络的低光图像去噪增强算法的研究与实现", 中国优秀硕士学位论文全文数据库 *

Also Published As

Publication number Publication date
CN112990215B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Li et al. Blind image deblurring via deep discriminative priors
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
WO2021048607A1 (en) Motion deblurring using neural network architectures
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
KR102311796B1 (ko) 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치
WO2023082453A1 (zh) 一种图像处理方法及装置
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN115131218A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN114445904A (zh) 基于全卷积神经网络的虹膜分割方法和装置、介质和设备
CN112132770A (zh) 图像修复的方法、装置、计算机可读介质及电子设备
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
Jaisurya et al. AGLC-GAN: Attention-based global-local cycle-consistent generative adversarial networks for unpaired single image dehazing
CN112115786A (zh) 基于注意力U-net的单目视觉里程计方法
CN112990215B (zh) 图像去噪方法、装置、设备及存储介质
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40050125

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant