CN111354059A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN111354059A
CN111354059A CN202010120820.XA CN202010120820A CN111354059A CN 111354059 A CN111354059 A CN 111354059A CN 202010120820 A CN202010120820 A CN 202010120820A CN 111354059 A CN111354059 A CN 111354059A
Authority
CN
China
Prior art keywords
image
feature
features
determining
replacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010120820.XA
Other languages
English (en)
Other versions
CN111354059B (zh
Inventor
周高景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010120820.XA priority Critical patent/CN111354059B/zh
Publication of CN111354059A publication Critical patent/CN111354059A/zh
Application granted granted Critical
Publication of CN111354059B publication Critical patent/CN111354059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法及装置，可先对待处理的原始图像进行图像分割确定目标区域，再以预设的替换图像替换该原始图像中目标区域对应的图像，得到第一图像，之后根据该原始图像以及该第一图像的图像特征，分别确定对应于该原始图像中目标区域的目标特征以及对应于该第一图像的目标区域的替换特征，然后根据确定出的目标特征以及替换特征，进行特征融合确定融合特征，最后根据该融合特征以及该第一图像中的非替换特征，进行图像还原生成第二图像，以得到处理后的图像。通过将目标特征与替换特征进行特征融合，使得第二图像中目标区域与非目标区域的差异减少，图像整体协调，显示更加自然、美观。

Description

图像处理方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。
背景技术
目前，图像处理的目的之一是使图像更美观。例如，在阴天拍摄的图像，由于天气原因天空区域为灰色，而灰色天空使整张图像显得暗沉，因此为使图像更美观，可通过图像处理将灰色天空美化为蓝色天空。
现有技术中，通常可采用图像替换的方式，将原始图像中需要美化的部分替换为预设的替换图像，使图像更加美观。例如，以将灰色天空美化为蓝色天空为例，首先，可采用图像分割算法(例如：语义分割算法、实例分割算法等)确定原始图像(即灰色天空图像)中属于天空的目标区域，根据预设的蓝色天空对应的替换图像，将确定出的原始图像中属于天空的目标区域的图像替换为该替换图像，以将原始图像中的灰色天空替换为蓝色天空，得到更加美观的图像。
但是，通过图像替换方法得到的图像，其天空区域与非天空区域的图像参数(如光照、色相以及饱和度等)分别对应两张不同的图像，以至于在替换后的图像中蓝色天空区域与非天空区域的光照、颜色等也存在较大差距，导致整体图像不协调，替换后的图像不自然，图像不够美观。
发明内容
本说明书实施例提供一种图像处理方法及装置，用于部分解决现有技术中存在的上述问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种图像处理方法，包括：
对待处理的原始图像进行图像分割，确定目标区域；
将所述原始图像中目标区域对应的图像替换为预设的替换图像，得到第一图像；
分别确定所述原始图像的图像特征以及所述第一图像的图像特征；
从所述原始图像的图像特征中，确定对应于所述原始图像的目标区域的图像特征，作为目标特征；以及，从所述第一图像的图像特征中，确定对应于所述第一图像的目标区域的图像特征，作为替换特征；
根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征；
根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，以得到处理后的图像。
可选地，分别确定所述原始图像的图像特征以及所述第一图像的图像特征，具体包括：
将所述原始图像以及所述第一图像输入预先训练的卷积神经网络模型，进行特征提取，分别确定所述原始图像的图像特征以及所述第一图像的图像特征。
可选地，训练卷积神经网络模型，具体包括：
从已存储的数据中，获取经过美化后的各美化图像，并将各美化图像对应的原始图像，作为各第一训练图像；
分别对各第一训练图像进行图像分割，确定各第一训练图像的目标区域；
将各第一训练图像中目标区域对应的图像替换为预设的替换图像，得到各第二训练图像；
根据各第一训练图像、各第二训练图像以及各美化图像，确定各训练样本；
针对每个训练样本，将该训练样本包含的第一训练图像以及第二训练图像输入待训练的卷积神经网络模型，分别进行特征提取确定图像特征；
确定对应于所述第一训练图像的目标区域的图像特征，作为目标特征，以及确定对应于所述第二训练图像的目标区域的图像特征，作为替换特征；
根据该训练样本确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征；
根据确定出的融合特征以及所述第二训练图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成该训练样本对应的第三训练图像；
以最大化各训练样本对应的第三训练图像与美化图像之间的图像相似度为优化目标，调整所述待训练的卷积神经网络模型中的模型参数。
可选地，从所述原始图像的图像特征中，确定对应于所述原始图像的目标区域的图像特征，作为目标特征；以及，从所述第一图像的图像特征中，确定对应于所述第一图像的目标区域的图像特征，作为替换特征，具体包括：
根据所述原始图像中目标区域对应的像素的位置，从所述原始图像的图像特征中，确定位置落入所述原始图像的目标区域的图像特征，作为目标特征；
根据所述第一图像中目标区域对应的像素的位置，从所述第一图像的图像特征中，确定位置落入所述第一图像的目标区域的图像特征，作为替换特征。
可选地，根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征，具体包括：
针对每个特征通道，确定该特征通道的目标特征的协方差矩阵，以及确定该特征通道的替换特征的协方差矩阵；
对所述目标特征的协方差矩阵以及所述替换特征的协方差矩阵分别进行奇异值分解，确定所述目标特征对应的各系数矩阵以及所述替换特征对应的各系数矩阵；
根据所述目标特征以及所述替换特征分别对应的各系数矩阵，对该特征通道的目标特征进行特征融合，确定融合后的融合特征。
可选地，根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，具体包括：
根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，确定第二图像的各图像特征；
根据确定出的第二图像的各图像特征，通过反卷积生成第二图像。
可选地，根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，具体包括：
根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，通过反卷积生成中间图像；
判断特征融合次数是否达到所述卷积神经网络模型包含的融合次数；
若是，则将所述中间图像作为第二图像；
若否，则根据生成的中间图像以及所述第一图像，确定中间图像的目标区域的图像特征，重新作为目标特征，重新确定所述第一图像的目标区域的图像特征，作为替换特征，并根据重新确定的目标特征以及替换特征，进行特征融合，重新确定融合特征，再根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，重新通过反卷积生成中间图像，直至所述特征融合次数达到所述卷积神经网络模型包含的融合次数为止；
其中，所述卷积神经网络模型中每次特征融合对应的卷积核不完全相同。
可选地，所述方法还包括：
针对所述第二图像中的每个像素点，根据预设的滤波矩阵，确定该像素点对应的滤波矩阵所覆盖的各像素点，作为该像素点对应的像素点集；
针对每个像素点对应的像素点集，分别确定该像素点集中各像素点，在所述原始图像以及所述第二图像中的像素值，并根据确定的各像素值，确定该像素点的去噪参数；
根据各像素点的去噪参数，对所述原始图像中的各像素点进行调整，确定去噪后的第二图像。
可选地，所述方法还包括：
根据所述第二图像的直方图以及按预设比例划分的各直方图区间，确定所述第二图像的各像素点落入的直方图区间；
根据预设的各直方图区间分别对应的调整规则，以及各像素点落入的直方图区间，对各像素点的像素值进行调整；
根据调整后的各像素点的像素值，确定色阶调整后的第二图像。
本说明书提供一种图像处理装置，包括：
图像分割模块，对待处理的原始图像进行图像分割，确定目标区域；
替换模块，将所述原始图像中目标区域对应的图像替换为预设的替换图像，得到第一图像；
特征确定模块，分别确定所述原始图像的图像特征以及所述第一图像的图像特征；
特征筛选模块，从所述原始图像的图像特征中，确定对应于所述原始图像的目标区域的图像特征，作为目标特征；以及，从所述第一图像的图像特征中，确定对应于所述第一图像的目标区域的图像特征，作为替换特征；
特征融合模块，根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征；
图像还原模块，根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，以得到处理后的图像。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像处理方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
在进行图像处理时，可先对待处理的原始图像进行图像分割，确定目标区域，再将该原始图像中目标区域对应的图像替换为预设的替换图像，得到第一图像，之后分别确定该原始图像的图像特征以及该第一图像的图像特征，并从该原始图像的图像特征中，确定对应于该原始图像的目标区域的图像特征，作为目标特征，以及从该第一图像的图像特征中，确定对应于该第一图像的目标区域的图像特征，作为替换特征，然后根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征，最后根据确定出的融合特征以及该第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，以得到处理后的图像。通过将目标特征与替换特征进行特征融合，使得第二图像中目标区域与非目标区域的差异减少，图像整体协调，显示更加自然、美观。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种图像处理方法的示意图；
图2为本说明书实施例提供的图像特征提取与融合过程的示意图；
图3为本说明书实施例提供的进行图像去噪处理的示意图；
图4为本说明书实施例提供的进行色阶调整的示意图；
图5为本说明书实施例提供的一种图像处理的装置的结构示意图；
图6为本说明书实施例提供的实现图像处理方法的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本说明书实施例提供的一种图像处理方法，具体可包括以下步骤：
S100：对待处理的原始图像进行图像分割，确定目标区域。
为了提高用户体验，服务提供方可对用于向用户展示的图像进行美化处理。例如，酒店预定平台可对向用户展示的酒店图像进行美化处理，以提高用户体验，从而增大用户预定酒店的概率。因此在本说明书实施例中，可由服务提供方的服务器执行本说明书提供的图像处理方法，图像处理方法即对图像进行美化处理，其中，该服务器既可以是单个服务器，也可以是若干服务器组成的系统，例如：分布式服务器等，本说明书对此不做限制，可根据需要设置。
通常在采用图像替换的方式进行图像处理时，并非对原始图像中所有区域进行图像替换，而是针对性的对原始图像中需要美化的部分区域(例如，天空、草地以及水域等)进行图像替换，将该原始图像中需要美化的部分区域替换为预设的替换图像，使图像更加美观。其中，该替换图像可根据需要确定，并且该替换图像应相比于原始图像更加美观，尤其是原始图像中需要美化部分在该替换图像中更加美观。例如，原始图像前景为建筑物，背景为灰色的天空，原始图像中需要美化的部分为天空，则替换图像为包含蓝色天空的图像，这样使得利用替换图像替换原始图像的天空后，可以使原始图像更加美观。因此在进行图像处理时，可先对待处理的原始图像进行图像分割，并确定图像中需要进行美化的区域为目标区域，以便通过对该目标区域进行图像处理，得到处理后的图像。
例如，在阴天拍摄的图像，由于天气原因天空区域为灰色，而灰色天空使整张图像显得暗沉，因此可确定该图像需要进行美化，并将该图像作为待处理的原始图像，并先对该原始图像进行图像分割，确定需要进行美化的天空区域为目标区域，以便通过后续步骤对该目标区域进行图像处理，得到处理后的图像。具体的，服务器可采用图像分割算法(例如：语义分割算法、实例分割算法等)将原始图像中的天空区域与非天空区域进行图像分割，确定各区域的类型，将类型为天空的区域作为目标区域，以通过后续步骤对该原始图像中的天空区域进行图像处理。
S102：将所述原始图像中目标区域对应的图像替换为预设的替换图像，得到第一图像。
在本说明书实施例中，通过步骤S100确定出该原始图像中需要进行图像处理的目标区域后，该服务器便可将该原始图像中目标区域对应的图像替换为预设的替换图像，以得到替换后的图像作为第一图像。也就是说，在确定出原始图像中需要进行美化的目标区域为天空区域后，该服务器便可将该原始图像中天空区域对应的图像替换为预设的替换图像中的天空，即将天空区域由灰色替换为蓝色。
其中，预设的替换图像中至少部分区域的图像类型，与目标区域的图像类型一致。例如，若该目标区域的图像类型为天空，则预设的替换图像中至少也包含有天空。该替换图像可根据需要由人工进行筛选确定。
另外，在本说明书中，该替换图像的图像类型可以仅有一种，且与该目标区域的图像类型一致，例如，天空美化场景下，该目标区域为天空，则该替换图像是一张蓝色天空的图像。则在进行图像替换时，可直接将该替换图像替换到该目标区域对应的图像的位置。
当然，在预设的替换图像的尺寸大于该原始图像时，服务器可根据该目标区域的最小外接矩形，从该替换图像中剪切出部分图像，替换到该原始图像中目标区域所在位置，得到替换后的图像作为第一图像。或者，在预设的替换图像的尺寸小于该原始图像时，服务器可根据该目标区域的最小外接矩形对该替换图像进行拉伸扩展，再将拉伸扩展后的替换图像替换到原始图像中目标区域对应的图像的位置，得到替换后的图像作为第一图像。
进一步地，该替换图像也可分割为多个区域，并且至少部分区域的图像类型，与目标区域的图像类型一致，例如，同样在天空美化场景下，该替换图像为具有蓝色天空背景的图像，该替换图像中的前景可以不是天空，例如，草原、湖泊、建筑、人物等等。则在进行替换时，服务器可对该替换图像进行图像分割，从该替换图像的各区域中，确定与原始图像的目标区域的图像类型相同的区域，作为替换图像的目标区域，以将原始图像中目标区域的图像替换为该替换图像的目标区域的图像。
例如，在预设的替换图像中背景为天空，前景为建筑物、树木等时，则在进行图像替换时，可将该替换图像中与原始图像中天空区域相同的天空类型与其他前景类型分割开来，并将分割出的该替换图像中的天空替换到原始图像中目标区域对应的图像的位置，得到替换后的图像作为第一图像。
更进一步地，在进行图像替换时，可将替换图像置于下层图层，将原始图像中的非目标区域置于上层图层，通过上下两个图像生成第一图像，以避免替换图像遮挡原始图像中的图像内容。
S104：分别确定所述原始图像的图像特征以及所述第一图像的图像特征。
在本说明书实施例中，通过步骤S102得到替换后的第一图像，由于在第一图像中目标区域的图像为替换图像，而该第一图像中的非目标区域为原始图像中的图像，两者之间存在图像色彩不均衡，色差较大等问题。因此服务器可分别对该原始图像以及该第一图像进行特征提取，再通过后续步骤进行图像特征融合，以解决第一图像中图像色彩不均衡，色差较大等问题。
具体的，服务器可将该原始图像以及该第一图像输入预先训练的卷积神经网络模型，依次通过若干卷积层，在每个卷积层中，通过不同的卷积核分别对该原始图像以及该第一图像进行特征提取，以得到该原始图像对应的特征图像以及该第一图像对应的特征图像，针对每个特征图像对应的特征通道，确定该特征通道对应的该原始图像的图像特征以及该第一图像的图像特征，之后根据确定出的各特征通道对应的该原始图像的图像特征以及该第一图像的图像特征，确定各卷积层提取的该原始图像的图像特征以及该第一图像的图像特征，以确定该原始图像的图像特征以及该第一图像的图像特征。
S106：从所述原始图像的图像特征中，确定对应于所述原始图像的目标区域的图像特征，作为目标特征；以及，从所述第一图像的图像特征中，确定对应于所述第一图像的目标区域的图像特征，作为替换特征。
在本说明书实施例中，由于需要对目标区域的图像进行美化以美化整体图像，因此可仅对目标区域的图像特征进行融合，可先确定原始图像的目标区域的图像特征以及第一图像的目标区域的图像特征。
具体的，服务器可根据上述步骤S100确定出的目标区域，确定该原始图像中非目标区域的蒙版，之后可根据该非目标区域的蒙版、该原始图像以及该第一图像中目标区域对应的像素的位置，从该原始图像的图像特征中，确定位置落入该原始图像的目标区域的图像特征，作为目标特征，以及从该第一图像的图像特征中，确定位置落入该第一图像的目标区域的图像特征，作为替换特征。也就是说，根据原始图像中非天空区域的蒙版、该原始图像以及该第一图像中天空区域对应的像素的位置，从该原始图像的图像特征中，确定位置落入该原始图像的天空区域的图像特征为目标特征，从该第一图像的图像特征中，确定位置落入该第一图像的天空区域的图像特征为替换特征。
S108：根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征。
在本说明书实施例中，通过步骤S106确定出目标特征和替换特征后，便可进行特征融合，以通过特征融合使第一图像中整体图像更协调、美观。服务器可先分别确定目标特征之间的特征差异，以及替换特征之间的特征差异，再通过将确定出的两种特征差异进行融合，以根据融合后的特征差异调整目标特征，确定融合后的融合特征。
具体的，服务器可针对每个特征通道，先确定该特征通道的目标特征(用Cf表示)以及替换特征(用Sf表示)，再分别确定该目标特征的协方差矩阵，以及该替换特征的协方差矩阵，之后对该目标特征的协方差矩阵以及该替换特征的协方差矩阵分别进行奇异值(Singular Value Decomposition，SVD)分解，确定该目标特征对应的各系数矩阵以及该替换特征对应的各系数矩阵，最后根据该目标特征以及该替换特征分别对应的各系数矩阵，确定融合系数，以根据该融合系数以及该目标特征，确定对应该原始图像中目标区域的融合特征。
其中，在对目标特征的协方差矩阵进行SVD分解时，得到的各系数矩阵分别为：左奇异矩阵Cu、奇异值Ce以及右奇异矩阵CV。对替换特征的协方差矩阵进行SVD分解时，得到的各系数矩阵分别为：左奇异矩阵Su、奇异值Se以及右奇异矩阵SV，根据该目标特征以及该替换特征分别对应的各系数矩阵，通过公式(1)调整目标特征Cf，确定融合后的融合特征Z，其中，该融合特征为融合该原始图像以及该第一图像中目标区域的图像特征。
Figure BDA0002392920930000111
其中，diag(SV)表示将右奇异矩阵SV变化为对角矩阵，(CV)T表示右奇异矩阵Cv的转置矩阵。
S110：根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，以得到处理后的图像。
在本说明书实施例中，为了得到进行特征融合后的图像，在通过步骤S108得到对应目标区域的融合特征后，该服务器便可根据确定出的融合特征以及该第一图像的图像特征中不属于替换特征的其他图像特征，确定出第二图像中的各图像特征，并根据确定出的第二图像中的各图像特征，通过反卷积生成进行图像处理后的第二图像，即得到美化后的第二图像。
基于图1所示的图像处理方法，在进行图像处理时，可先对待处理的原始图像进行图像分割，确定目标区域，再将该原始图像中目标区域对应的图像替换为预设的替换图像，得到第一图像，之后分别确定该原始图像的图像特征以及该第一图像的图像特征，并从该原始图像的图像特征中，确定对应于该原始图像的目标区域的图像特征，作为目标特征，以及从该第一图像的图像特征中，确定对应于该第一图像的目标区域的图像特征，作为替换特征，然后根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征，最后根据确定出的融合特征以及该第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，以得到处理后的图像。通过将目标特征与替换特征进行特征融合，使得第二图像中目标区域与非目标区域的差异减少，图像整体协调，显示更加自然、美观。
此外，为了方便描述和理解，在上述步骤S104-步骤S110中，该预先训练的卷积神经网络模型中只包含了一次特征融合的步骤。当然，该卷积神经网络模型也可包含多次特征融合的步骤，下面以该卷积神经网络模型包含多次特征融合的步骤为例进行说明。
具体的，服务器将该原始图像以及该第一图像输入预先训练的卷积神经网络模型后，便可执行步骤S104-步骤S108，并根据确定出的融合特征以及该第一图像的图像特征中不属于替换特征的其他图像特征，通过反卷积生成中间图像，之后判断特征融合次数是否达到该卷积神经网络模型包含的融合次数，若是，则将该中间图像作为第二图像，若否，则将该中间图像作为原始图像，重复执行步骤S104-步骤S108，直至该特征融合次数达到该卷积神经网络模型包含的融合次数为止。其中，该卷积神经网络模型中每次特征融合对应的卷积核不完全相同，卷积神经网络模型包含的融合次数与该卷积神经网络模型包含的block数相同。
如图2所示，在本说明书实施例中，该预先训练的卷积神经网络模型的层数共有16层，以每3层为一个特征提取区block，其中这3层可均为卷积层，也可为卷积层、激活层、池化层中的任意三种，图2中以均为卷积层示例，本说明书对此不做限制，可根据需要设置。其中，在经过池化层后需进行上采样操作，以保证图像大小不发生改变。
在图2中，将原始图像以及第一图像输入预先训练的卷积神经网络模型后，便通过第一个特征提取区block进行特征提取，再进行特征融合，将融合后的融合特征进行反卷积生成中间图像，之后将中间图像作为原始图像，重复执行上述特征提取、特征融合操作，直至进入输出层，进行反卷积生成第二图像。其中，进行特征提取以及特征融合的过程在上述步骤S104-步骤S108中进行了详细的描述，本说明书在此不再赘述。
当然，该卷积神经网络模型中具体包含几个block，每个block包含几个神经网络层，均可根据需要设置，本说明书不做限制，也就是该卷积神经网络模型的结构可根据需要设置，只要能够对目标特征以及替换特征进行特征融合，生成第二图像即可。
通过预先训练的卷积神经网络模型进行图像处理，在通过不同卷积核提取原始图像的图像特征时，对于原始图像中目标区域对应的图像类型的细节部分，也可提取出相应图像特征，在进一步进行特征融合时，也可在一定程度上对细节部分进行图像处理。例如，若原始图像中树叶间也存在有灰色天空，则在进行图像处理时，预先训练的卷积神经网络模型也会对树叶间的灰色天空部分提取特征，在进行特征融合时，也可对树叶间的天空部分进行处理，由灰色变为蓝色。
进一步地，在本说明书实施例中，卷积神经网络模型的具体训练过程如下：
A0：从已存储的数据中，获取经过美化后的各美化图像，并将各美化图像对应的原始图像，作为各第一训练图像；
A2：分别对各第一训练图像进行图像分割，确定各第一训练图像的目标区域；
A4：将各第一训练图像中目标区域对应的图像替换为预设的替换图像，得到各第二训练图像；
A6：根据各第一训练图像、各第二训练图像以及各美化图像，确定各训练样本。
服务器可从已存储的数据中，获取经过美化后的各美化图像，并针对每个美化图像，确定该美化图像对应的原始图像，作为该美化图像对应的第一训练图像，再对该第一训练图像进行图像分割，确定该第一训练图像的目标区域，之后将该第一训练图像中目标区域对应的图像替换为预设的替换图像，得到该第一训练图像对应的第二训练图像，然后根据该第一训练图像、该第二训练图像以及该美化图像，确定该美化图像对应的训练样本，最后根据各美化图像对应的训练样本，确定各训练样本。
A8：针对每个训练样本，将该训练样本包含的第一训练图像以及第二训练图像输入待训练的卷积神经网络模型，分别进行特征提取确定图像特征；
A10：确定对应于所述第一训练图像的目标区域的图像特征，作为目标特征，以及确定对应于所述第二训练图像的目标区域的图像特征，作为替换特征；
A12：根据该训练样本确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征；
A14：根据确定出的融合特征以及所述第二训练图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成该训练样本对应的第三训练图像。
上述步骤A8-A14的具体过程在说明书中步骤S104-S110中进行了详细描述，本说明书在此不再赘述。
A16：以最大化各训练样本对应的第三训练图像与美化图像之间的图像相似度为优化目标，调整所述待训练的卷积神经网络模型中的模型参数。
其中，训练结束条件可为训练次数达到预设的训练次数或训练样本包含的美化图像与生成的第三训练图像之间的图像相似度大于预设图像相似度阈值，预设图像相似度阈值可根据需要设置，例如90％、80％等，本说明书对此不做限制。
另外，由于进行协方差矩阵以及SVD分解的计算较复杂，因此为减少计算的复杂程度，通常选取小于目标区域大小的替换图像，以得到较少的替换特征，在接下来的计算过程中较容易。但由于替换图像的尺寸小于目标区域大小，导致第一图像中目标区域对应的图像的像素数量小于原始图像中目标区域对应的图像的像素数量，因此在对目标特征以及替换特征分别对应的协方差矩阵进行SVD分解时，目标特征只选取了与替换特征像素数量相同的图像特征，对原始图像的信息造成了损失，且在该模型中进行卷积以及反卷积操作时，会造成图像中部分细节丢失，这两种情况都会产生噪声。因此服务器还可对第二图像进行去噪处理，以补充原始图像中的部分细节，使生成的第二图像更协调。
在本说明书实施例中，服务器可针对第二图像中的每个像素点，根据预设的滤波矩阵，确定该像素点对应的滤波矩阵所覆盖的各像素点，作为该像素点对应的像素点集，再针对每个像素点对应的像素点集，分别确定该像素点集中各像素点，在所述原始图像以及该第二图像中的像素值，并根据确定的各像素值，确定该像素点的去噪参数，最后根据各像素点的去噪参数，对该原始图像中的各像素点进行调整，确定去噪后的第二图像。
具体的，假设原始图像为I，确定出的第二图像为Q，去除噪声后的第二图像为P，噪声为S，i表示图像中的像素点的标识，且针对图像中的每个像素点，假设Ii·ai+bi无限趋近于Pi，则可进一步假设存在Pi＝Ii·ai+bi的线性关系。
针对图像中的每个像素点，存在Si＝Pi-Qi，且去除噪声就是使噪声最小化，因此以最小化min||Si||为目标，可推导出公式(2)：
Figure BDA0002392920930000151
为了提高ai项在去噪处理中的权重，可加入正则项ω*ai2，得公式(3)：
Figure BDA0002392920930000152
通过对公式(3)求解，确定公式(4)和公式(5)：
Figure BDA0002392920930000153
Figure BDA0002392920930000154
其中，Ii，n表示原始图像I的第i个像素点对应的滤波矩阵中第n个像素点的像素值，Qi,n表示第二图像Q的第i个像素点对应的滤波矩阵中第n个像素点的像素值，ki,n为原始图像I的第i个像素点对应的滤波矩阵中第n个像素点对应的滤波矩阵中各像素点的像素值均值，
Figure BDA0002392920930000155
为第二图像第i个像素点对应的滤波矩阵中第n个像素点对应的滤波矩阵中各像素点的像素值均值，
Figure BDA0002392920930000156
为原始图像I的i像素点对应的滤波矩阵中各像素点的像素值方差，ω为预设的限制系数，
Figure BDA0002392920930000161
为第二图像Q的第i个像素点对应的滤波矩阵中各像素点的像素值均值，ki表示原始图像I的第i个像素点对应的滤波矩阵中各像素点的像素值均值。需要说明的是，i表示图像中的第i个像素点，n表示第i个像素点对应的滤波矩阵中的第n个像素点，N表示第i个像素点对应的滤波矩阵中的各像素点，该第i个像素点也包含在N之内。
进一步地，
Figure BDA0002392920930000162
表示对第i个像素点对应的滤波矩阵中各像素点的
Figure BDA0002392920930000163
求取均值。
通过上述公式(4)和公式(5)计算得到ai和bi，可再通过公式Pi＝Ii·ai+bi，确定去噪后的第二图像中各像素点的像素值，根据确定出的各像素点的像素值，确定去噪后的第二图像，其中，上述滤波矩阵可根据需要设置，例如3×3滤波矩阵、5×5滤波矩阵等，本说明书对此不做限制。
以图3为例进行示例性说明：图中9×9的小方格组成的矩形表示确定出的第二图像，小方格表示图像中的各像素点所在位置。在确定出第二图像后，针对该第二图像中的像素点m，服务器可确定该像素点m对应的滤波矩阵所覆盖的各像素点，如图中黑色3×3滤波矩阵所覆盖的像素点A、B、C、D、m、E、F、G、H，作为该像素点m对应的像素点集。
再针对该像素点m对应的像素点集中的像素点A，确定该像素点A在该原始图像中的像素值a，以及在该第二图像中的像素值b，即Im,A为a，Qm,A为b，之后针对像素点A确定该像素点A对应的滤波矩阵，如图中虚线区域所示，则可确定出该像素点A对应的滤波矩阵所覆盖的像素点集为像素点J、K、L、O、A、B、R、D、m，可确定该像素点A对应的滤波矩阵所覆盖的各像素点在该原始图像中的像素值的均值为km,A，该像素点A对应的滤波矩阵所覆盖的各像素点在该第二图像中的像素值的均值为
Figure BDA0002392920930000164
之后依次确定像素点B、C、D、m、E、F、G、H分别对应的Im,B、Qm,B、km,B、
Figure BDA0002392920930000171
等参数，根据确定出的该像素点m对应的滤波矩阵中各像素点的参数以及该像素点m对应的滤波矩阵所覆盖的各像素点在该原始图像中的像素值的方差为
Figure BDA0002392920930000172
通过公式(4)，确定该像素点m对应的去噪参数am。
然后根据去噪参数am以及该像素点m对应的滤波矩阵中各像素点的在该原始图像中各像素点的像素值均值km，以及在该第二图像中各像素点的像素值均值
Figure BDA0002392920930000173
通过公式(5)，确定该像素点m对应的去噪参数bm。并根据确定出的去噪参数am和bm，确定去噪后的该像素点m在图像P中的像素值，最后根据在图像P中确定出的各像素点的像素值，确定去噪后的第二图像。
在本说明书实施例中，为了使进行图像融合处理后的第二图像中整体图像更加协调、颜色更加平滑，服务器可在生成第二图像之后，可进一步地对该第二图像进行色阶调整。
具体的，服务器可先针对确定出的第二图像的每个图像通道(例如，彩色图像RGB三通道中的每个图像通道)，确定在该图像通道中第二图像中各像素点的像素值。之后根据确定出的该图像通道中各像素点的像素值，确定该图像通道的像素分布直方图，该像素分布直方图用于表征该图像通道中各像素点的像素值的大小分布以及占比情况。然后再根据该第二图像的像素分布直方图以及按预设比例划分的各直方图区间，确定在该图像通道中该第二图像中各像素点落入的直方图区间，并根据预设的各直方图区间分别对应的调整规则，以及在该图像通道中各像素点落入的直方图区间，对该图像通道中各像素点的像素值进行调整，最后根据调整后的各图像通道中各像素点的像素值，确定色阶调整后的第二图像。
其中，按预设比例划分的各直方图区间即按照各像素点的像素值由大到小进行排序，将像素值大小占比为前N的像素点划分为(0，N)，将像素值大小占比为后N1的像素点划分为(1-N1，1)，将像素值大小占比在前N到后N1之间的像素点划分为(N，1-N1)。例如，根据该图像通道的各像素点的像素值，将像素值大小占比为前1/3的像素点划分为(0，33.3％)的直方图区间，将像素值大小占比为后1/3的像素点划分为(66.4％，1)的直方图区间，将像素值大小占比在前1/3到后1/3之间的像素点划分为(33.3％，66.4％)的直方图区间。之后可按照预设的各直方图区间分别对应的调整规则，分别对各直方图区间的像素值进行映射处理，如图4所示，对落入直方图区间为(0，33.3％)的像素点的像素值进行置零处理，对落入直方图区间为(66.4％，1)的像素点的像素值进行提升处理，对落入直方图区间为(33.3％，66.4％)的像素点的像素值进行相应的平滑过渡处理。
具体的调整规则如公式(6)所示：
Figure BDA0002392920930000181
在公式(6)中，x表示该图像通道中一像素点的像素值，Minx表示该图像通道中各像素点的像素值中最小的像素值，Maxx表示该图像通道中各像素点的像素值中最大的像素值，p表示提升指数，X表示进行调整后的该图像通道中像素点的像素值。
需要说明的是，若某像素点的像素值落在划分区间的边界上，则服务器可不对该像素点的像素值进行映射处理，或者也可随机确定需要进行映射处理的像素点和无需进行映射处理的像素点。例如，在某图像通道中共有100个像素点，对像素值为前15％的像素点进行提升处理，但像素值由高到低的排列中第12位至第18位的像素值相同，则可不对该第12位至第18位的像素点的像素值进行映射处理，或者也可随机确定该第12位至第18位像素点中的4个像素点进行提升处理，其余3个像素点进行相应平滑过渡处理。且各图像通道的调整规则可以相同，也可以不同，本说明书不做限定，可根据需要设置。
此外，本说明书对去除噪声与色阶调整的执行先后顺序不做限定，两者可都执行，也可只执行其中一种，且具体的去噪处理与色阶调整的方法可根据需要设置。
需要说明的是，在本说明书步骤S100中，该待处理的原始图像可以是人工确定的，或者也可以是通过训练出的图像识别模型识别出的需要进行图像处理的图像。其中，以图像处理是对天空进行美化为例，该图像识别模型可以通过由包含蓝色天空的图像以及包含灰色天空的图像，组成的训练样本集训练得到。该训练样本集中蓝色天空的图像为负样本，该灰色天空的图像为正样本，则训练得到的图像识别模型可识别出包含灰色天空的图像。当然，该图像识别模型具体是可以是分类模型，本说明书对于具体模型类型不做限定。
基于图1所示的图像处理方法，本说明书实施例还对应提供一种图像处理装置的结构示意图，如图5所示。
图5为本说明书实施例提供的一种图像处理装置的结构示意图，所述装置包括：
图像分割模块200，对待处理的原始图像进行图像分割，确定目标区域；
替换模块202，将所述原始图像中目标区域对应的图像替换为预设的替换图像，得到第一图像；
特征确定模块204，分别确定所述原始图像的图像特征以及所述第一图像的图像特征；
特征筛选模块206，从所述原始图像的图像特征中，确定对应于所述原始图像的目标区域的图像特征，作为目标特征；以及，从所述第一图像的图像特征中，确定对应于所述第一图像的目标区域的图像特征，作为替换特征；
特征融合模块208，根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征；
图像还原模块210，根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，以得到处理后的图像。
可选地，所述特征确定模块204具体用于，将所述原始图像以及所述第一图像输入预先训练的卷积神经网络模型，进行特征提取，分别确定所述原始图像的图像特征以及所述第一图像的图像特征。
可选地，所述特征确定模块204还用于，从已存储的数据中，获取经过美化后的各美化图像，并将各美化图像对应的原始图像，作为各第一训练图像，分别对各第一训练图像进行图像分割，确定各第一训练图像的目标区域，将各第一训练图像中目标区域对应的图像替换为预设的替换图像，得到各第二训练图像，根据各第一训练图像、各第二训练图像以及各美化图像，确定各训练样本，针对每个训练样本，将该训练样本包含的第一训练图像以及第二训练图像输入待训练的卷积神经网络模型，分别进行特征提取确定图像特征，确定对应于所述第一训练图像的目标区域的图像特征，作为目标特征，以及确定对应于所述第二训练图像的目标区域的图像特征，作为替换特征，根据该训练样本确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征，根据确定出的融合特征以及所述第二训练图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成该训练样本对应的第三训练图像，以最大化各训练样本对应的第三训练图像与美化图像之间的图像相似度为优化目标，调整所述待训练的卷积神经网络模型中的模型参数。
可选地，所述特征筛选模块206具体用于，根据所述原始图像中目标区域对应的像素的位置，从所述原始图像的图像特征中，确定位置落入所述原始图像的目标区域的图像特征，作为目标特征，根据所述第一图像中目标区域对应的像素的位置，从所述第一图像的图像特征中，确定位置落入所述第一图像的目标区域的图像特征，作为替换特征。
可选地，所述特征融合模块208具体用于，针对每个特征通道，确定该特征通道的目标特征的协方差矩阵，以及确定该特征通道的替换特征的协方差矩阵，对所述目标特征的协方差矩阵以及所述替换特征的协方差矩阵分别进行奇异值分解，确定所述目标特征对应的各系数矩阵以及所述替换特征对应的各系数矩阵，根据所述目标特征以及所述替换特征分别对应的各系数矩阵，对该特征通道的目标特征进行特征融合，确定融合后的融合特征。
可选地，所述图像还原模块210具体用于，根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，确定第二图像的各图像特征，根据确定出的第二图像的各图像特征，通过反卷积生成第二图像。
可选地，所述图像还原模块210具体用于，根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，通过反卷积生成中间图像，判断特征融合次数是否达到所述卷积神经网络模型包含的融合次数，若是，则将所述中间图像作为第二图像，若否，则根据生成的中间图像以及所述第一图像，确定中间图像的目标区域的图像特征，重新作为目标特征，重新确定所述第一图像的目标区域的图像特征，作为替换特征，并根据重新确定的目标特征以及替换特征，进行特征融合，重新确定融合特征，再根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，重新通过反卷积生成中间图像，直至所述特征融合次数达到所述卷积神经网络模型包含的融合次数为止，其中，所述卷积神经网络模型中每次特征融合对应的卷积核不完全相同。
可选地，所述图像还原模块210还用于，针对所述第二图像中的每个像素点，根据预设的滤波矩阵，确定该像素点对应的滤波矩阵所覆盖的各像素点，作为该像素点对应的像素点集，针对每个像素点对应的像素点集，分别确定该像素点集中各像素点，在所述原始图像以及所述第二图像中的像素值，并根据确定的各像素值，确定该像素点的去噪参数，根据各像素点的去噪参数，对所述原始图像中的各像素点进行调整，确定去噪后的第二图像。
可选地，所述图像还原模块210还用于，根据所述第二图像的直方图以及按预设比例划分的各直方图区间，确定所述第二图像的各像素点落入的直方图区间，根据预设的各直方图区间分别对应的调整规则，以及各像素点落入的直方图区间，对各像素点的像素值进行调整，根据调整后的各像素点的像素值，确定色阶调整后的第二图像。
本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的图像处理方法。
基于图1所示的图像处理方法，本说明书实施例还提出了图6所示的电子设备的示意结构图。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的图像处理方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
对待处理的原始图像进行图像分割，确定目标区域；
将所述原始图像中目标区域对应的图像替换为预设的替换图像，得到第一图像；
分别确定所述原始图像的图像特征以及所述第一图像的图像特征；
从所述原始图像的图像特征中，确定对应于所述原始图像的目标区域的图像特征，作为目标特征；以及，从所述第一图像的图像特征中，确定对应于所述第一图像的目标区域的图像特征，作为替换特征；
根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征；
根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，以得到处理后的图像。
2.如权利要求1所述的方法，其特征在于，分别确定所述原始图像的图像特征以及所述第一图像的图像特征，具体包括：
将所述原始图像以及所述第一图像输入预先训练的卷积神经网络模型，进行特征提取，分别确定所述原始图像的图像特征以及所述第一图像的图像特征。
3.如权利要求2所述的方法，其特征在于，训练卷积神经网络模型，具体包括：
从已存储的数据中，获取经过美化后的各美化图像，并将各美化图像对应的原始图像，作为各第一训练图像；
分别对各第一训练图像进行图像分割，确定各第一训练图像的目标区域；
将各第一训练图像中目标区域对应的图像替换为预设的替换图像，得到各第二训练图像；
根据各第一训练图像、各第二训练图像以及各美化图像，确定各训练样本；
针对每个训练样本，将该训练样本包含的第一训练图像以及第二训练图像输入待训练的卷积神经网络模型，分别进行特征提取确定图像特征；
确定对应于所述第一训练图像的目标区域的图像特征，作为目标特征，以及确定对应于所述第二训练图像的目标区域的图像特征，作为替换特征；
根据该训练样本确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征；
根据确定出的融合特征以及所述第二训练图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成该训练样本对应的第三训练图像；
以最大化各训练样本对应的第三训练图像与美化图像之间的图像相似度为优化目标，调整所述待训练的卷积神经网络模型中的模型参数。
4.如权利要求1所述的方法，其特征在于，从所述原始图像的图像特征中，确定对应于所述原始图像的目标区域的图像特征，作为目标特征；以及，从所述第一图像的图像特征中，确定对应于所述第一图像的目标区域的图像特征，作为替换特征，具体包括：
根据所述原始图像中目标区域对应的像素的位置，从所述原始图像的图像特征中，确定位置落入所述原始图像的目标区域的图像特征，作为目标特征；
根据所述第一图像中目标区域对应的像素的位置，从所述第一图像的图像特征中，确定位置落入所述第一图像的目标区域的图像特征，作为替换特征。
5.如权利要求1所述的方法，其特征在于，根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征，具体包括：
针对每个特征通道，确定该特征通道的目标特征的协方差矩阵，以及确定该特征通道的替换特征的协方差矩阵；
对所述目标特征的协方差矩阵以及所述替换特征的协方差矩阵分别进行奇异值分解，确定所述目标特征对应的各系数矩阵以及所述替换特征对应的各系数矩阵；
根据所述目标特征以及所述替换特征分别对应的各系数矩阵，对该特征通道的目标特征进行特征融合，确定融合后的融合特征。
6.如权利要求1所述的方法，其特征在于，根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，具体包括：
根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，确定第二图像的各图像特征；
根据确定出的第二图像的各图像特征，通过反卷积生成第二图像。
7.如权利要求1所述的方法，其特征在于，根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，具体包括：
根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，通过反卷积生成中间图像；
判断特征融合次数是否达到所述卷积神经网络模型包含的融合次数；
若是，则将所述中间图像作为第二图像；
若否，则根据生成的中间图像以及所述第一图像，确定中间图像的目标区域的图像特征，重新作为目标特征，重新确定所述第一图像的目标区域的图像特征，作为替换特征，并根据重新确定的目标特征以及替换特征，进行特征融合，重新确定融合特征，再根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，重新通过反卷积生成中间图像，直至所述特征融合次数达到所述卷积神经网络模型包含的融合次数为止；
其中，所述卷积神经网络模型中每次特征融合对应的卷积核不完全相同。
8.如权利要求1所述的方法，其特征在于，所述方法还包括：
针对所述第二图像中的每个像素点，根据预设的滤波矩阵，确定该像素点对应的滤波矩阵所覆盖的各像素点，作为该像素点对应的像素点集；
针对每个像素点对应的像素点集，分别确定该像素点集中各像素点，在所述原始图像以及所述第二图像中的像素值，并根据确定的各像素值，确定该像素点的去噪参数；
根据各像素点的去噪参数，对所述原始图像中的各像素点进行调整，确定去噪后的第二图像。
9.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第二图像的直方图以及按预设比例划分的各直方图区间，确定所述第二图像的各像素点落入的直方图区间；
根据预设的各直方图区间分别对应的调整规则，以及各像素点落入的直方图区间，对各像素点的像素值进行调整；
根据调整后的各像素点的像素值，确定色阶调整后的第二图像。
10.一种图像处理装置，其特征在于，包括：
图像分割模块，对待处理的原始图像进行图像分割，确定目标区域；
替换模块，将所述原始图像中目标区域对应的图像替换为预设的替换图像，得到第一图像；
特征确定模块，分别确定所述原始图像的图像特征以及所述第一图像的图像特征；
特征筛选模块，从所述原始图像的图像特征中，确定对应于所述原始图像的目标区域的图像特征，作为目标特征；以及，从所述第一图像的图像特征中，确定对应于所述第一图像的目标区域的图像特征，作为替换特征；
特征融合模块，根据确定出的目标特征以及替换特征，进行特征融合，确定融合后的融合特征；
图像还原模块，根据确定出的融合特征以及所述第一图像的图像特征中不属于替换特征的其他图像特征，进行图像还原生成第二图像，以得到处理后的图像。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-9任一所述的方法。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-9任一所述的方法。
CN202010120820.XA 2020-02-26 2020-02-26 图像处理方法及装置 Active CN111354059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010120820.XA CN111354059B (zh) 2020-02-26 2020-02-26 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010120820.XA CN111354059B (zh) 2020-02-26 2020-02-26 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN111354059A true CN111354059A (zh) 2020-06-30
CN111354059B CN111354059B (zh) 2023-04-28

Family

ID=71197298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010120820.XA Active CN111354059B (zh) 2020-02-26 2020-02-26 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN111354059B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112505049A (zh) * 2020-10-14 2021-03-16 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
CN113012132A (zh) * 2021-03-22 2021-06-22 平安科技（深圳）有限公司 一种图像相似度确定方法、装置及计算设备、存储介质
CN113674303A (zh) * 2021-08-31 2021-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
GB2619381A (en) * 2022-05-13 2023-12-06 Adobe Inc Object class inpainting in digital images utilizing class-specific inpainting neural networks
CN117649613A (zh) * 2024-01-30 2024-03-05 之江实验室 一种光学遥感图像优化方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025457A (zh) * 2017-03-29 2017-08-08 腾讯科技（深圳）有限公司 一种图像处理方法和装置
US20170294000A1 (en) * 2016-04-08 2017-10-12 Adobe Systems Incorporated Sky editing based on image composition
CN108665408A (zh) * 2018-05-21 2018-10-16 北京微播视界科技有限公司 肤色调整方法、装置和电子设备
CN110136229A (zh) * 2019-05-27 2019-08-16 广州亮风台信息科技有限公司 一种用于实时虚拟换脸的方法与设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170294000A1 (en) * 2016-04-08 2017-10-12 Adobe Systems Incorporated Sky editing based on image composition
CN107025457A (zh) * 2017-03-29 2017-08-08 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN108665408A (zh) * 2018-05-21 2018-10-16 北京微播视界科技有限公司 肤色调整方法、装置和电子设备
CN110136229A (zh) * 2019-05-27 2019-08-16 广州亮风台信息科技有限公司 一种用于实时虚拟换脸的方法与设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112505049A (zh) * 2020-10-14 2021-03-16 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
CN112505049B (zh) * 2020-10-14 2021-08-03 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
CN113012132A (zh) * 2021-03-22 2021-06-22 平安科技（深圳）有限公司 一种图像相似度确定方法、装置及计算设备、存储介质
CN113012132B (zh) * 2021-03-22 2023-08-25 平安科技（深圳）有限公司 一种图像相似度确定方法、装置及计算设备、存储介质
CN113674303A (zh) * 2021-08-31 2021-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
GB2619381A (en) * 2022-05-13 2023-12-06 Adobe Inc Object class inpainting in digital images utilizing class-specific inpainting neural networks
CN117649613A (zh) * 2024-01-30 2024-03-05 之江实验室 一种光学遥感图像优化方法、装置、存储介质及电子设备
CN117649613B (zh) * 2024-01-30 2024-04-26 之江实验室 一种光学遥感图像优化方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN111354059B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111354059B (zh) 图像处理方法及装置
US11847826B2 (en) System and method for providing dominant scene classification by semantic segmentation
CN109493350B (zh) 人像分割方法及装置
CN106778928B (zh) 图像处理方法及装置
CN109712165B (zh) 一种基于卷积神经网络的同类前景图像集分割方法
EP3555861A1 (en) Image stylization based on learning network
WO2021114500A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112235520B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107408401B (zh) 用于图像的简化调整的用户滑块
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
Wang et al. Enhancement for dust-sand storm images
CN111222440A (zh) 一种人像背景分离方法、装置、服务器及存储介质
CN110348453B (zh) 一种基于级联的物体检测方法及系统、存储介质及终端
CN111292334A (zh) 一种全景图像分割方法、装置及电子设备
CN114022497A (zh) 一种图像处理方法及装置
CN116362998A (zh) 图像增强装置、方法、电子设备和存储介质
CN114565508A (zh) 虚拟换装方法及装置
CN113450282A (zh) 美化图像的方法和系统
CN113744280A (zh) 图像处理方法、装置、设备及介质
CN116805393A (zh) 一种基于3DUnet光谱-空间信息融合的高光谱图像分类方法和系统
US20220188991A1 (en) Method and electronic device for managing artifacts of image
CN115810073A (zh) 虚拟形象生成方法及装置
CN113453055B (zh) 一种生成视频缩略图的方法、装置和电子设备
CN112419249A (zh) 一种特殊服饰图片转化方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant