CN115689947A - 一种图像锐化的方法、系统、电子装置和存储介质 - Google Patents

一种图像锐化的方法、系统、电子装置和存储介质 Download PDF

Info

Publication number
CN115689947A
CN115689947A CN202211713668.1A CN202211713668A CN115689947A CN 115689947 A CN115689947 A CN 115689947A CN 202211713668 A CN202211713668 A CN 202211713668A CN 115689947 A CN115689947 A CN 115689947A
Authority
CN
China
Prior art keywords
picture
generator
discriminator
frequency
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211713668.1A
Other languages
English (en)
Other versions
CN115689947B (zh
Inventor
肖传宝
邹健飞
冯上栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Moredian Technology Co ltd
Original Assignee
Hangzhou Moredian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Moredian Technology Co ltd filed Critical Hangzhou Moredian Technology Co ltd
Priority to CN202211713668.1A priority Critical patent/CN115689947B/zh
Publication of CN115689947A publication Critical patent/CN115689947A/zh
Application granted granted Critical
Publication of CN115689947B publication Critical patent/CN115689947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本申请涉及一种图像锐化的方法、系统、电子装置和存储介质,其中,该方法包括:获取原始图片的图像数据,对该图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集;构建深度卷积生成对抗网络模型,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型,通过训练好的深度卷积生成对抗网络模型生成得到高频图片;将高频图片叠加到原始图片上进行图像锐化,得到最终的锐化图片。通过本申请,解决了相关技术中对图像进行锐化处理后,锐化图像存在噪点或细节丢失的问题,提高了锐化效果。

Description

一种图像锐化的方法、系统、电子装置和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像锐化的方法、系统、电子装置和存储介质。
背景技术
随着智能硬件与科技的飞速发展,人们的日常生活中已越来越离不开智能硬件设备,比如手机、电脑、人脸支付平板、人脸识别门禁、人脸门锁等。而这些智能硬件设备均离不开图像处理技术,图像质量会直接影响到设备许多功能的性能,其中,评价图像质量的一项重要指标是清晰度。
通常情况下,影响清晰度的直接因素有两个,分别是锐度和分辨率。锐度描述的是图像边缘过渡的快慢,过渡越快,锐度越高。分辨率描述的是像素数量,离散的像素数量越多,越能逼近真实世界的连续信号。由于分辨率是由传感器决定的,因此在硬件条件一样的情况下,提升锐度是提升图像清晰度的一个重要方式。
在相关技术中,对图像进行锐化的方法,一种是直接使用高通滤波器,如Sobel算子、Laplace算子、梯度Prewitt算子等,提取图像高频分量,将获取的高频分量叠加到原图上生成锐化图像,但是由于这些算子对噪声敏感,生成的锐化图像会有许多噪点。另一种方法则是先使用低通滤波器对图像进行滤波处理,得到图像中的低频分量,再减去原图像中的低频分量,得到高频分量,最后将高频分量和原图像叠加,从而得到锐化后的图像。但是这种方法容易造成细节丢失,最终生成的锐化图像会出现部分细节未增强的情况。
目前针对相关技术中,对图像进行锐化处理后,锐化图像存在噪点或细节丢失的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种图像锐化的方法、系统、电子装置和存储介质,以至少解决相关技术中对图像进行锐化处理后,锐化图像存在噪点或细节丢失的问题。
第一方面,本申请实施例提供了一种图像锐化的方法,所述方法包括:
获取原始图片的图像数据,对所述图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集;
构建深度卷积生成对抗网络模型,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型,通过所述训练好的深度卷积生成对抗网络模型生成得到高频图片;
将所述高频图片叠加到所述原始图片上进行图像锐化,得到最终的锐化图片。
在其中一些实施例中,对所述图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集包括:
预设高斯滤波器掩膜的尺寸参数和标准差参数,通过构建好的高斯滤波器对原始图片进行卷积处理,生成得到低频图片;
将所述原始图片和所述低频图片均以预设比例进行训练集、测试集划分,得到所述数据集,其中,训练集中的图片数量大于测试集中的图片数量。
在其中一些实施例中,所述构建深度卷积生成对抗网络模型包括:
设置生成器损失函数,并自定义构建生成器的卷积神经网络结构,得到卷积神经网络生成器,通过所述卷积神经网络生成器将数据集中噪声随机分布的采样图片映射为高频图片,并将所述高频图片与数据集中的低频图片叠加,生成得到新图片,其中,生成器损失函数计算公式如下:
Figure 456374DEST_PATH_IMAGE001
其中,
Figure 261169DEST_PATH_IMAGE002
为噪声z的分布,E为期望,
Figure 983137DEST_PATH_IMAGE003
为原始图片经高斯滤波器卷积后得到 的低频图片,G为生成器,D为判别器,G(z)为噪声经生成器映射转化后得到的高频图片;
设置判别器损失函数,并自定义构建判别器的卷积神经网络结构,得到卷积神经网络判别器,通过所述卷积神经网络判别器区分新图片和原始图片,其中,判别器损失函数计算公式如下:
Figure 879549DEST_PATH_IMAGE004
其中,
Figure 596838DEST_PATH_IMAGE005
为真实的原始图片数据x的概率分布,
Figure 615610DEST_PATH_IMAGE002
为噪声z的分布,E为期 望,
Figure 857498DEST_PATH_IMAGE003
为原始图片经高斯滤波器卷积后得到的低频图片,G为生成器,D为判别器,G(z)为噪 声经生成器映射转化后得到的高频图片。
在其中一些实施例中,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型包括:
通过数据集中的原始图片训练集和新图片训练判别器,使模型的判别器损失函数达到最大;
固定判别器,将数据集中噪声随机分布的采样图片和低频图片输入生成器中,生成得到高频图片和新图片,将生成的新图片和原始图片输入判别器中得到损失误差,所述损失误差经反向传播到生成器中,更新生成器参数;
通过更新的生成器不断生成优化的新图片,将不断优化的新图片和原始图片输入判别器中,得到不断优化的损失误差,并反向传播到优化后的生成器中,进一步更新生成器参数,直至模型的生成器损失函数达到最小。
在其中一些实施例中,在训练所述判别器时,所述方法包括:
通过数据集中的测试集测试判别器是否能正确识别新图片与原始图片,在精度达到预设范围的情况下,所述判别器是损失函数达到最大,训练完成。
在其中一些实施例中,通过所述训练好的深度卷积生成对抗网络模型生成得到高频图片包括:
通过生成器与判别器之间的不断对抗更新,得到训练好的深度卷积生成对抗网络模型,通过所述训练好的深度卷积生成对抗网络模型中的生成器生成去噪且无细节丢失的高频图片。
第二方面,本申请实施例提供了一种图像锐化的系统,所述系统包括:
预处理模块,用于获取原始图片的图像数据,对所述图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集;
模型构建训练模块,用于构建深度卷积生成对抗网络模型,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型,通过所述训练好的深度卷积生成对抗网络模型生成得到高频图片;
锐化模块,用于将所述高频图片叠加到所述原始图片上进行图像锐化,得到最终的锐化图片。
在其中一些实施例中,所述预处理模块,还用于预设高斯滤波器掩膜的尺寸参数和标准差参数,通过构建好的高斯滤波器对原始图片进行卷积处理,生成得到低频图片;
将所述原始图片和所述低频图片均以预设比例进行训练集、测试集划分,得到所述数据集,其中,训练集中的图片数量大于测试集中的图片数量。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的图像锐化的方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的图像锐化的方法。
相比于相关技术,本申请实施例提供的图像锐化的方法,获取原始图片的图像数据,对该图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集;构建深度卷积生成对抗网络模型,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型,通过训练好的深度卷积生成对抗网络模型生成得到高频图片;将高频图片叠加到原始图片上进行图像锐化,得到最终的锐化图片。
本申请通过生成对抗网络能够准确保留图像高频细节,并且去除噪点,解决了相关技术中对图像进行锐化处理后,锐化图像存在噪点或细节丢失的问题,提高了锐化效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的图像锐化的方法的流程图;
图2是根据本申请实施例的图像锐化的流程示意图;
图3是根据本申请实施例的原始图片示意图;
图4是根据本申请实施例的经优化后的模型生成的原始图片对应的高频图片示意图;
图5是根据本申请实施例的锐化图片示意图;
图6是根据本申请实施例的图像锐化的系统的结构框图;
图7是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供了一种图像锐化的方法,图1是根据本申请实施例的图像锐化的方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取原始图片的图像数据,对图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集;
图2是根据本申请实施例的图像锐化的流程示意图,如图2所示,从缓存器buffer中连续抓取N张图片,获取原始图片的图像数据,其中,抓取的图片不少于10张。
接着,对获取的图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集。具体地处理过程包括:
预设高斯滤波器掩膜的尺寸参数k和标准差参数
Figure 338026DEST_PATH_IMAGE006
,通过构建好的高斯滤波器对 获取的N张原始图片x进行卷积处理,生成得到低频图片
Figure 191713DEST_PATH_IMAGE003
,其中,掩膜计算公式如下式(1) 所示:
Figure 178123DEST_PATH_IMAGE007
(1)
其中(i,j)为掩膜内任一点的坐标,
Figure 497853DEST_PATH_IMAGE008
为掩膜内中心点的坐标,
Figure 1647DEST_PATH_IMAGE009
表 示在掩膜中坐标(i,j)的值,其可以是整数或小数,
Figure 224686DEST_PATH_IMAGE006
是标准差。
优选的,本实施例中可设置掩膜大小为
Figure 522944DEST_PATH_IMAGE010
,当设置k 为不同值时,可计算得到掩膜各坐标的值,例如,k=1时,掩膜坐标如下表1所示,表1是根据 本申请实施例的某一掩膜坐标表。
(-1,1) (1,0) (1,1)
(-1,0) (0,0) (1,0)
(-1,-1) (0,-1) (1,-1)
由于在高斯滤波过程中,高斯滤波器掩膜的尺寸参数和标准差是可以进行自定义 设置的,因此,根据实际情况设置不同的掩膜参数可以获取不同程度滤波后的低频图片。其 中,设置的标准差
Figure 801740DEST_PATH_IMAGE006
越大,滤波效果越好,生成的低频图片会越模糊。
进一步地,将原始图片x和滤波得到的低频图片
Figure 296176DEST_PATH_IMAGE003
均以预设比例进行训练集、测 试集划分,得到数据集,其中,预设的比例可根据实际的模型结构进行设定,只需保证训练 集中的图片数量大于测试集中的图片数量即可。优选的,本实施例中设定的比例为训练集 占比80%、测试集占比20%,该比例设定较适合于神经网络模型训练。
步骤S102,构建深度卷积生成对抗网络模型,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型,通过训练好的深度卷积生成对抗网络模型生成得到高频图片;
优选的,本实施例中构建深度卷积生成对抗网络模型的步骤如下:
S1、构建模型的生成器:设置生成器的损失函数,并自定义构建生成器的卷积神经网络结构,其中,生成器损失函数计算公式如下:
Figure 69660DEST_PATH_IMAGE011
其中,
Figure 788086DEST_PATH_IMAGE002
为噪声z的分布,E为期望,
Figure 69026DEST_PATH_IMAGE012
为原始图片经高斯滤波器卷积后得到 的低频图片,G为生成器,D为判别器,G(z)为噪声经生成器映射转化后得到的高频图片;
通过该生成器可映射得到高频图片,并生成新图片,具体步骤包括:
从图片噪声中采样出长度为M的一维数组z,将噪声z输入到上述生成器中,经过生 成器的全连接层和尺度变化操作转为特征图,再通过多层卷积核为3*3、步长为2的反卷积 层,对特征图进行反卷积操作直到生成低频图片
Figure 665355DEST_PATH_IMAGE012
具有一样的尺寸的高频图片
Figure 410457DEST_PATH_IMAGE013
。然 后,将高频图片
Figure 299784DEST_PATH_IMAGE013
与数据集中的低频图片
Figure 599179DEST_PATH_IMAGE012
叠加,生成得到新图片
Figure 730689DEST_PATH_IMAGE014
S2、构建模型的判别器:设置判别器损失函数,并自定义构建判别器的卷积神经网络结构,其中,判别器损失函数计算公式如下:
Figure 533560DEST_PATH_IMAGE015
其中,
Figure 593789DEST_PATH_IMAGE005
为真实的原始图片数据x的概率分布,
Figure 537736DEST_PATH_IMAGE002
为噪声z的分布,E为期 望,
Figure 256294DEST_PATH_IMAGE012
为原始图片经高斯滤波器卷积后得到的低频图片,G为生成器,D为判别器,G(z)为噪 声经生成器映射转化后得到的高频图片;
通过该判别器可区分新图片和原始图片,具体步骤包括:输入新图片和原始图片, 通过多层卷积核为3*3、步长为2的卷积层和激活函数层逐层提取图片特征,最后通过全连 接层输出分类概率,完成对新图片
Figure 162939DEST_PATH_IMAGE014
和原始图片x的区分判别。需要说明的是,本实施例中 的判别器损失函数具有良好的分类鲁棒性。
进一步地,如图2所示,通过数据集中的图像数据对上述构建好的深度卷积生成对抗网络模型进行训练优化,具体训练过程如下:
第一步,训练判别器:将数据集中的原始图片训练集数据和生成器生成的新图片输入到判别器中进行训练,并通过数据集中的测试集数据测试判别器是否能正确识别新图片与原始图片,在识别精度达到预设范围的情况下,判别器训练完成,此时它的损失函数达到最大,实现将生成器生成的新图片与原始图片进行准确区分的目的。其中,原始图片为真实数据,设定标签为1,新图片为假数据,设定标签为0。
第二步,训练生成器:固定判别器,将数据集中噪声随机分布的采样图片输入生成器中,生成得到初始高频图片,再将初始高频图片和低频图片进行叠加,生成得到新图片(假数据),此时,将新图片的标签设定为1,并将生成的新图片(假数据)和原始图片(真数据)输入判别器中进行判别,得到损失误差loss,判别器再将该损失误差loss反向传播到生成器中,更新生成器参数。
需要说明的是,将新图片(假数据)的标签设定为1的原因为:本步骤中生成器是通过判别器而得到损失误差loss的,而损失误差loss反向传播的目的是使生成器生成的新图片(假数据)逐渐逼近为原始图片(真数据)。因此,为了达到这个目的,新图片是假数据,但标签却设定为1,此时判别器判别假数据的输出接近于0,这样就能形成很大的误差,误差反向传播,那么就能对生成器网络的参数进行大更新;反之,如果生成器生成的新图片(假数据)足够真实,那么标签设定为1时,判别器判别假数据的输出就会接近1,此时误差很小,将误差反向传播到生成器后,生成器网络的参数只会进行微调,趋于稳定,就能完成新图片(假数据)向原始图片(真数据)逐渐逼近的过程,起到了迷惑判别器网络的目的。
第三步,不断优化更新:通过更新的生成器对初始噪声z进行不断优化生成新图片(假数据),将不断优化的新图片(假数据)和原始图片(真数据)输入判别器中进行判别,得到不断优化的损失误差loss,并通过判别器反向传播到优化后的生成器中,不断更新生成器的参数,直至生成器的损失函数达到最小。此时的生成器训练完成,并有着较高的模仿能力。
需要说明的是,上述训练过程中每训练一次判别器将训练m次生成器,m的大小可根据训练结果自行调整和设置。
通过上述训练过程,生成器与判别器之间进行不断的对抗,最终可得到训练好的深度卷积生成对抗网络模型。
图3是根据本申请实施例的原始图片示意图,图4是根据本申请实施例的经优化后的模型生成的原始图片对应的高频图片示意图。通过训练好的深度卷积生成对抗网络模型中的生成器即可生成得到与图3中的原始图片对应的去噪且无细节丢失的高频图片,如图4所示。
步骤S103,将高频图片叠加到原始图片上进行图像锐化,得到最终的锐化图片。
图5是根据本申请实施例的锐化图片示意图。将步骤S102中生成的去噪且无细节丢失的高频图片叠加到图3的原始图片上进行图像锐化,得到最终的锐化图片,如图5所示。
通过上述步骤S101至步骤S103,本实施例通过生成对抗网络能够准确且最大化的保留图像高频细节,并且去除噪点,解决了相关技术中对图像进行锐化处理后,锐化图像存在噪点或细节丢失的问题,提高了锐化效果。
需要说明的是,本实施例中生成对抗网络模型的中的判别器还可以采用除卷积以外的其他神经网络。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种图像锐化的系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的图像锐化的系统的结构框图,如图4所示,该系统包括预处理模块61、模型构建训练模块62和锐化模块63:
处理模块61,用于获取原始图片的图像数据,对图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集;模型构建训练模块62,用于构建深度卷积生成对抗网络模型,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型,通过训练好的深度卷积生成对抗网络模型生成得到高频图片;锐化模块63,用于将高频图片叠加到所述原始图片上进行图像锐化,得到最终的锐化图片。
通过上述系统,本实施例通过生成对抗网络能够准确且最大化的保留图像高频细节,并且去除噪点,解决了相关技术中对图像进行锐化处理后,锐化图像存在噪点或细节丢失的问题,提高了锐化效果。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
此外,需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
另外,结合上述实施例中的图像锐化的方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种图像锐化的方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像锐化的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,图7是根据本申请实施例的电子设备的内部结构示意图,如图7所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图7所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种图像锐化的方法,数据库用于存储数据。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像锐化的方法,其特征在于,所述方法包括:
获取原始图片的图像数据,对所述图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集;
构建深度卷积生成对抗网络模型,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型,通过所述训练好的深度卷积生成对抗网络模型生成得到高频图片;
将所述高频图片叠加到所述原始图片上进行图像锐化,得到最终的锐化图片。
2.根据权利要求1所述的方法,其特征在于,对所述图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集包括:
预设高斯滤波器掩膜的尺寸参数和标准差参数,通过构建好的高斯滤波器对原始图片进行卷积处理,生成得到低频图片;
将所述原始图片和所述低频图片均以预设比例进行训练集、测试集划分,得到所述数据集,其中,训练集中的图片数量大于测试集中的图片数量。
3.根据权利要求1所述的方法,其特征在于,所述构建深度卷积生成对抗网络模型包括:
设置生成器损失函数,并自定义构建生成器的卷积神经网络结构,得到卷积神经网络生成器,通过所述卷积神经网络生成器将数据集中噪声随机分布的采样图片映射为高频图片,并将所述高频图片与数据集中的低频图片叠加,生成得到新图片,其中,生成器损失函数计算公式如下:
Figure DEST_PATH_IMAGE002
其中,
Figure DEST_PATH_IMAGE004
为噪声z的分布,E为期望,
Figure DEST_PATH_IMAGE006
为原始图片经高斯滤波器卷积后得到的低频图片,G为生成器,D为判别器,G(z)为噪声经生成器映射转化后得到的高频图片;
设置判别器损失函数,并自定义构建判别器的卷积神经网络结构,得到卷积神经网络判别器,通过所述卷积神经网络判别器区分新图片和原始图片,其中,判别器损失函数计算公式如下:
Figure DEST_PATH_IMAGE008
其中,
Figure DEST_PATH_IMAGE010
为真实的原始图片数据x的概率分布,
Figure DEST_PATH_IMAGE004A
为噪声z的分布,E为期望,
Figure DEST_PATH_IMAGE006A
为原始图片经高斯滤波器卷积后得到的低频图片,G为生成器,D为判别器,G(z)为噪声经生成器映射转化后得到的高频图片。
4.根据权利要求3所述的方法,其特征在于,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型包括:
通过数据集中的原始图片训练集数据和新图片训练判别器,使模型的判别器损失函数达到最大;
固定判别器,将数据集中噪声随机分布的采样图片和低频图片输入生成器中,生成得到高频图片和新图片,将生成的新图片和原始图片输入判别器中得到损失误差,所述损失误差经反向传播到生成器中,更新生成器参数;
通过更新的生成器不断生成优化的新图片,将不断优化的新图片和原始图片输入判别器中,得到不断优化的损失误差,并反向传播到优化后的生成器中,进一步更新生成器参数,直至模型的生成器损失函数达到最小。
5.根据权利要求4所述的方法,其特征在于,在训练所述判别器时,所述方法包括:
通过数据集中的测试集数据测试判别器是否能正确识别新图片与原始图片,在精度达到预设范围的情况下,所述判别器的损失函数达到最大,训练完成。
6.根据权利要求4所述的方法,其特征在于,通过所述训练好的深度卷积生成对抗网络模型生成得到高频图片包括:
通过生成器与判别器之间的不断对抗更新,得到训练好的深度卷积生成对抗网络模型,通过所述训练好的深度卷积生成对抗网络模型中的生成器生成去噪且无细节丢失的高频图片。
7.一种图像锐化的系统,其特征在于,所述系统包括:
预处理模块,用于获取原始图片的图像数据,对所述图像数据进行预处理,并将预处理后的数据进行比例划分,构建得到数据集;
模型构建训练模块,用于构建深度卷积生成对抗网络模型,通过数据集中的图像数据对模型进行训练优化,得到训练好的深度卷积生成对抗网络模型,通过所述训练好的深度卷积生成对抗网络模型生成得到高频图片;
锐化模块,用于将所述高频图片叠加到所述原始图片上进行图像锐化,得到最终的锐化图片。
8.根据权利要求7所述的系统,其特征在于,
所述预处理模块,还用于预设高斯滤波器掩膜的尺寸参数和标准差参数,通过构建好的高斯滤波器对原始图片进行卷积处理,生成得到低频图片;
将所述原始图片和所述低频图片均以预设比例进行训练集、测试集划分,得到所述数据集,其中,训练集中的图片数量大于测试集中的图片数量。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的图像锐化的方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的图像锐化的方法。
CN202211713668.1A 2022-12-30 2022-12-30 一种图像锐化的方法、系统、电子装置和存储介质 Active CN115689947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211713668.1A CN115689947B (zh) 2022-12-30 2022-12-30 一种图像锐化的方法、系统、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211713668.1A CN115689947B (zh) 2022-12-30 2022-12-30 一种图像锐化的方法、系统、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN115689947A true CN115689947A (zh) 2023-02-03
CN115689947B CN115689947B (zh) 2023-05-26

Family

ID=85056228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211713668.1A Active CN115689947B (zh) 2022-12-30 2022-12-30 一种图像锐化的方法、系统、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN115689947B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079194A (zh) * 2023-10-12 2023-11-17 深圳云天畅想信息科技有限公司 云视频ai理解生成方法、装置及计算机设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564611A (zh) * 2018-03-09 2018-09-21 天津大学 一种基于条件生成对抗网络的单目图像深度估计方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
KR102093079B1 (ko) * 2019-12-06 2020-03-25 주식회사 애자일소다 레이블 데이터를 이용한 생성적 적대 신경망 기반의 분류 시스템 및 방법
CN111145116A (zh) * 2019-12-23 2020-05-12 哈尔滨工程大学 一种基于生成对抗网络的海面雨天图像样本增广方法
CN111563841A (zh) * 2019-11-13 2020-08-21 南京信息工程大学 一种基于生成对抗网络的高分辨率图像生成方法
WO2021253316A1 (zh) * 2020-06-18 2021-12-23 深圳先进技术研究院 图像降噪模型的训练方法、装置、电子设备和存储介质
CN114283058A (zh) * 2021-12-02 2022-04-05 河南农业大学 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN114511449A (zh) * 2020-11-16 2022-05-17 株式会社理光 图像增强方法、装置及计算机可读存储介质
CN115223199A (zh) * 2022-07-06 2022-10-21 深圳职业技术学院 猪只行为数据均衡化方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564611A (zh) * 2018-03-09 2018-09-21 天津大学 一种基于条件生成对抗网络的单目图像深度估计方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN111563841A (zh) * 2019-11-13 2020-08-21 南京信息工程大学 一种基于生成对抗网络的高分辨率图像生成方法
KR102093079B1 (ko) * 2019-12-06 2020-03-25 주식회사 애자일소다 레이블 데이터를 이용한 생성적 적대 신경망 기반의 분류 시스템 및 방법
CN111145116A (zh) * 2019-12-23 2020-05-12 哈尔滨工程大学 一种基于生成对抗网络的海面雨天图像样本增广方法
WO2021253316A1 (zh) * 2020-06-18 2021-12-23 深圳先进技术研究院 图像降噪模型的训练方法、装置、电子设备和存储介质
CN114511449A (zh) * 2020-11-16 2022-05-17 株式会社理光 图像增强方法、装置及计算机可读存储介质
CN114283058A (zh) * 2021-12-02 2022-04-05 河南农业大学 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN115223199A (zh) * 2022-07-06 2022-10-21 深圳职业技术学院 猪只行为数据均衡化方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘遵雄;蒋中慧;任行乐;: "多尺度生成对抗网络的图像超分辨率算法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079194A (zh) * 2023-10-12 2023-11-17 深圳云天畅想信息科技有限公司 云视频ai理解生成方法、装置及计算机设备
CN117079194B (zh) * 2023-10-12 2024-01-05 深圳云天畅想信息科技有限公司 云视频ai理解生成方法、装置及计算机设备

Also Published As

Publication number Publication date
CN115689947B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
Yang et al. BM3D-Net: A convolutional neural network for transform-domain collaborative filtering
JP7490141B2 (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
CN110473137B (zh) 图像处理方法和装置
CN110826519B (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
CN108875732B (zh) 模型训练与实例分割方法、装置和系统及存储介质
CN105917353B (zh) 用于生物认证的特征提取及匹配以及模板更新
CN109416727B (zh) 一种人脸图像中眼镜去除方法及装置
CN109766925B (zh) 特征融合方法、装置、电子设备及存储介质
CN114757832B (zh) 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN112232914A (zh) 基于2d图像的四阶段虚拟试衣方法及装置
CN111067522A (zh) 大脑成瘾结构图谱评估方法及装置
CN111951283A (zh) 一种基于深度学习的医学图像识别方法及系统
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN113065593A (zh) 模型训练方法、装置、计算机设备和存储介质
CN115689947B (zh) 一种图像锐化的方法、系统、电子装置和存储介质
CN113538281A (zh) 图像去噪方法、装置、计算机设备和存储介质
WO2022199395A1 (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN111862040A (zh) 人像图片质量评价方法、装置、设备及存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN115115724A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110738222A (zh) 图像匹配方法、装置、计算机设备和存储介质
CN116109878B (zh) 一种图像翻拍识别方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant