CN112801872A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

一种图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112801872A
CN112801872A CN202110145336.7A CN202110145336A CN112801872A CN 112801872 A CN112801872 A CN 112801872A CN 202110145336 A CN202110145336 A CN 202110145336A CN 112801872 A CN112801872 A CN 112801872A
Authority
CN
China
Prior art keywords
low
resolution image
frequency information
information
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110145336.7A
Other languages
English (en)
Inventor
高凯珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202110145336.7A priority Critical patent/CN112801872A/zh
Publication of CN112801872A publication Critical patent/CN112801872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法、装置、设备及存储介质。该方法包括:基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;将所述低频信息输入目标逆神经网络,得到低分辨率图像;将所述高频信息输入所述目标逆神经网络,得到信息分布图;将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像。通过本发明的技术方案,以实现能够在下采样过程中更好地保留图像的原始信息,在上采样过程中再利用这些信息将图像低分辨率图像还原,即只需要传输低分辨率图像再加上信息分布图,就可以恢复出一张信息较全的高分辨率图像。

Description

一种图像处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
在车辆年检智能审核系统中,需要先接收车管所提供的车辆照片,但是个别车管所的带宽或网络服务器有限,所以会先将图像进行下采样(压缩),变成分辨率很低的图像。虽然这样可以提高传输速度和保存的成本,但会使得图像的画质严重受损,甚至无法辨别其中的信息(比如车牌号),从而导致无法审核。即便将图像恢复到原始尺寸,直接进行上采样得到的图像仍会非常模糊。该问题的本质原因是在图像下采样过程中产生了信息丢失,普通的上采样并不能将丢失的信息还原。
目前比较流行的一种方法,是使用超分辨率网络来进行图像增强,让网络尝试从大量数据中学习低分辨率到高分辨率的映射关系。通过这种方法恢复出来的图像虽然在视觉效果上可以达到清晰的程度,但没有从本质上解决信息丢失的问题,实际信息并不能保证与原始一致或者接近,因为很大程度上是网络生成的近似结果。
发明内容
本发明实施例提供一种图像处理方法、装置、设备及存储介质,以实现能够在下采样过程中更好地保留图像的原始信息,在上采样过程中再利用这些信息将图像低分辨率图像还原,即只需要传输低分辨率图像再加上信息分布图,就可以恢复出一张信息较全的高分辨率图像。
第一方面,本发明实施例提供了一种图像处理方法,由第一终端执行,包括:
基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;
将所述低频信息输入目标逆神经网络,得到低分辨率图像;
将所述高频信息输入所述目标逆神经网络,得到信息分布图;
将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像。
进一步的,所述目标逆神经网络的训练过程包括:
获取样本集,其中,所述样本集包括:低频信息样本、低频信息样本对应的低分辨率图像样本、高频信息样本以及高频信息样本对应的信息分布图样本;
建立待训练逆神经网络;
通过所述样本集迭代训练所述待训练逆神经网络,得到目标逆神经网络。
进一步的,将所述高频信息输入所述目标逆神经网络,得到信息分布图,包括:
将所述高频信息输入所述目标逆神经网络,得到高斯分布图。
进一步的,在将所述高频信息输入所述目标逆神经网络,得到信息分布图之后,还包括:
将所述低分辨率图像和所述信息分布图进行关联存储。
第二方面,本发明实施例提供了一种图像处理方法,由第二终端执行,包括:
接收低分辨率图像和信息分布图;
将所述低分辨率图像输入目标逆神经网络,得到低频信息;
将所述信息分布图输入所述目标逆神经网络,得到高频信息;
根据所述低频信息和所述高频信息生成目标高分辨率图像。
进一步的,将所述信息分布图输入所述目标逆神经网络,得到高频信息,包括:
对所述信息分布图进行随机采样,得到目标信息;
将所述目标信息输入所述目标逆神经网络,得到高频信息。
进一步的,根据所述低频信息和所述高频信息生成目标高分辨率图像,包括:
对所述低频信息和所述高频信息进行逆小波变换,生成目标高分辨率图像。
第三方面,本发明实施例还提供了一种图像处理装置,配置于第一终端,所述图像处理装置包括:
下采样模块,用于基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;
第一输入模块,用于将所述低频信息输入目标逆神经网络,得到低分辨率图像;
第二输入模块,用于将所述高频信息输入所述目标逆神经网络,得到信息分布图;
发送模块,用于将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像。
第四方面,本发明实施例还提供了一种图像处理装置,配置于第二终端,所述图像处理装置包括:
接收模块,用于接收低分辨率图像和信息分布图;
第三输入模块,用于将所述低分辨率图像输入目标逆神经网络,得到低频信息;
第四输入模块,用于将所述信息分布图输入所述目标逆神经网络,得到高频信息;
生成模块,用于根据所述低频信息和所述高频信息生成目标高分辨率图像。
第五方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例中任一所述的图像处理方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的图像处理方法。
本发明实施例通过基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;将所述低频信息输入目标逆神经网络,得到低分辨率图像;将所述高频信息输入所述目标逆神经网络,得到信息分布图;将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像,以实现能够在下采样过程中更好地保留图像的原始信息,在上采样过程中再利用这些信息将图像低分辨率图像还原,即只需要传输低分辨率图像再加上信息分布图,就可以恢复出一张信息较全的高分辨率图像。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一中的一种图像处理方法的流程图;
图1a是本发明实施例一中的下采样和上采样示意图;
图1b是本发明实施例一中的现有技术的恢复方法的流程图;
图1c是本发明实施例一中的下采样阶段流程图;
图1d是本发明实施例一中的上采样阶段流程图;
图2是本发明实施例二中的一种图像处理方法的流程图;
图3是本发明实施例三中的一种图像处理装置的结构示意图;
图4是本发明实施例四中的一种图像处理装置的结构示意图;
图5是本发明实施例五中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例一
图1为本发明实施例一提供的一种图像处理方法的流程图,本实施例可适用于对高分辨率图像进行处理的情况,该方法可以由本发明实施例中的图像处理装置来执行,所述图像处理装置配置于第一终端中,该装置可采用软件和/或硬件的方式实现,如图1所示,该方法具体包括如下步骤:
S110,基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息。
其中,所述第一终端可以为车管所对应的终端,也可以为其他需要进行图像传输,且带宽或者网络服务器有限的终端,本发明实施例对此不进行限制。
其中,所述原高分辨率图像可以为车管所提供的车辆照片,车辆年检智能审核系统,需要接收车管所提供的车辆照片,但是由于车管所的带宽或者网络服务器有限,则需要将原高分辨率图像进行压缩。
S120,将所述低频信息输入目标逆神经网络,得到低分辨率图像。
其中,所述目标逆神经网络可以为经过训练后得到的逆神经网络,例如可以是,预先获取样本集,建立待训练逆神经网络,基于样本集对待训练逆神经网络进行训练,得到目标逆神经网络。
具体的,将所述低频信息输入目标逆神经网络,得到低分辨率图像,例如可以是,获取样本集,样本集包括:低频信息样本以及低频信息样本对应的低分辨率图像,将低频信息样本输入待训练逆神经网络,得到预测低分辨率图像,根据预测低分辨率图像和低频信息样本对应的低分辨率图像样本形成的目标函数训练待训练逆神经网络的参数,返回执行将低频信息样本输入待训练逆神经网络的操作,直至得到目标逆神经网络。
S130,将所述高频信息输入所述目标逆神经网络,得到信息分布图。
其中,所述信息分布图可以为高斯分布图,也可以为其他的信息分布图,例如可以是,t分布图、二项分布图、柯西分布图等等,本发明实施例对此不进行限制。
具体的,将所述高频信息输入所述目标逆神经网络,得到信息分布图,例如可以是,获取样本集,样本集包括:高频信息样本以及高频信息样本对应的信息分布图,将高频信息样本输入待训练逆神经网络,得到预测信息分布图,根据预测信息分布图和高频信息样本对应的信息分布图样本形成的目标函数训练待训练逆神经网络的参数,返回执行将高频信息样本输入待训练逆神经网络的操作,直至得到目标逆神经网络。
S140,将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像。
其中,所述第二终端可以为车辆年检智能审核系统对应的终端,也可以为其他接收图像的终端,本发明实施例对此不进行限制。
具体的,将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像,例如可以是,对原高分辨率图像进行小波变换,得到低频信息和高频信息,将低频信息输入目标逆神经网络,得到低分辨率图像,将所述高频信息输入所述目标逆神经网络,得到信息分布图,将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像。
可选的,所述目标逆神经网络的训练过程包括:
获取样本集,其中,所述样本集包括:低频信息样本、低频信息样本对应的低分辨率图像样本、高频信息样本以及高频信息样本对应的信息分布图样本;
建立待训练逆神经网络;
通过所述样本集迭代训练所述待训练逆神经网络,得到目标逆神经网络。
具体的,获取低频信息样本、低频信息样本对应的低分辨率图像样本、高频信息样本以及高频信息样本对应的信息分布图样本,建立待训练逆神经网络,将低频信息样本输入待训练逆神经网络,得到预测低分辨率图像,根据预测低分辨率图像和低频信息样本对应的低分辨率图像样本形成的目标函数训练待训练逆神经网络的参数,将高频信息样本输入待训练逆神经网络,得到预测信息分布图,根据预测信息分布图和高频信息样本对应的信息分布图样本形成的目标函数训练待训练逆神经网络的参数,将低分辨率图像样本输入待训练逆神经网络,得到预测低频信息,根据预测低频信息和低分辨率图像样本对应的低频信息样本形成的目标函数训练待训练逆神经网络的参数,将信息分布图样本输入待训练逆神经网络,得到预测高频信息,根据预测高频信息和高频信息样本对应的信息分布图样本形成的目标函数训练待训练逆神经网络的参数,直至得到目标逆神经网络。
可选的,将所述高频信息输入所述目标逆神经网络,得到信息分布图,包括:
将所述高频信息输入所述目标逆神经网络,得到高斯分布图。
可选的,在将所述高频信息输入所述目标逆神经网络,得到信息分布图之后,还包括:
将所述低分辨率图像和所述信息分布图进行关联存储。
具体的,将低分辨率图像和所述信息分布图进行关联存储,并将存储的低分辨率图像和所述信息分布图发送至第二终端,以使第二终端根据所述低分辨率图像和所述信息分布图还原出原高分辨率图像。
示例性的,若将低分辨率图像和所述信息分布图发送至第二终端,第二终端向第一终端发送接收失败信息,则第一终端在接收到接收失败信息后,可以将存储的低分辨率图像和信息分布图发送至第二终端。
本发明实施例提出了一种图像下采样及恢复方法,在图像下采样过程中,使用小波变换得到原高分辨率图像的低频成份和高频成份,再通过目标逆神经网络将高频成份拟合成简单的高斯分布;在上采样过程中,使用高斯分布进行采样,再通过目标逆神经网络恢复出高频成份,从而将低分辨率图像还原。
信息分布可以为高斯分布,也可以为其他的分布,例如t分布、二项分布、柯西分布等等。这个过程是拟合信息分布的过程。
在一个具体的例子中,如图1a所示,通过现有技术中的方式将原图通过双线性差值下采样,得到像素值为5的1*1图像,再对像素值为5的1*1图像上采样得到的图像和原图不同。如图1b所示,现有技术中的方式为先对高分辨率图像进行下采样,得到低分辨率图像,将低分辨率图像输入超分辨率网络,得到高分辨率图像,由于图像下采样过程中丢失了高频信息,所以若通过现有技术进行图像上采样和下采样,则需要将高频信息保留,若将高频信息保留则会导致数据量过大,影响数据传输速度,且存储空间占用较大,影响用户的使用体验。
本发明实施例提出了一种图像下采样及恢复方法,具体包括以下步骤:
S1、对原高分辨率图像用小波变换进行下采样,得到低频信息和高频信息。
S2、将低频信息通过目标逆神经网络,生成低分辨率图像。将高频信息通过目标逆神经网络,拟合成高斯分布。高频信息在传输或存储阶段可以被丢弃。
S3、在进行图像恢复时,用高斯分布进行随机采样,通过目标逆神经网络恢复出高频信息,用低分辨率图像恢复出低频信息。
S4、基于恢复出来的高频信息和低频信息,使用逆小波变换,恢复出目标高分辨率图像。
普通的神经网络是计算隐式参数到测量值的映射关系,是一个前向过程,前向过程通常会丢失一些信息;逆向过程就是根据测量值得到隐式参数,逆向过程通常是一对多的映射。逆神经网络能够与明确定义的前向过程一起学习,使用额外的隐式输出变量来捕获前向过程中可能丢失的信息。
逆神经网络有三个特征:
(1)从输入到输出和输出到输入的映射都是存在的;
(2)正向映射和反向映射都是可以计算的;
(3)映射具有易处理的雅克比行列式,因此概率可以通过变量公式明确转换。
本发明实施例主要包含两个阶段,分别是下采样阶段和上采样(恢复)阶段,分别对应S1、S2和S3、S4,如图1c和图1d所示。下采样阶段是将原始的高分辨率图像转换为低分辨率图像和信息分布的过程,主要是为了便于传输和存储;上采样阶段是将低分辨率图像和信息分布转换为高分辨率图像的过程。在图1c和图1d中,x表示原图的高分辨率图像,y表示低分辨率图像,z表示用来拟合高频成分的高斯分布,x’表示恢复出来的高分辨率图像。
示例性的,基于小波变换将原高分辨率图像进行下采样,得到低频信息和高频信息,例如可以是,在下采样阶段,基于小波变换f(·)将原始的高分辨率图像x转换为p(xL)p(xH|xL),其中,xH为高频信息,xL为低频信息,因为xH与xL是样本相关的,所以xH无法被直接丢弃,否则就不能通过逆小波变换f-1(·)将x恢复。
使用逆神经网络,,将高频信息转换为高斯分布,例如可以是:将xH~p(xH|xL)转换为z~N(0,I),也就是简单的高斯分布,此时,z的分布和xL无关,xH和xL相互独立,xH可以被丢弃。
在上采样阶段,也就是需要恢复高分辨率图像的时候,在高斯分布中进行随机采样得到z,虽然这个过程仍然有一定的信息丢失,也就是归纳偏差,但它包含了上采样过程中可能拥有的最多的信息,因为逆神经网络已经学习到了如何将高斯分布的采样点(结合y)恢复成xH。最后再经过逆小波变换,就可以恢复出一张目标高分辨率图像。
本发明实施例从本质上解决了之前信息的完全丢失的情况,通过拟合丢失信息的分布,在只增加少量参数的情况下,能保留大部分的重要信息,使得效果大幅提升。
本实施例的技术方案,通过基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;将所述低频信息输入目标逆神经网络,得到低分辨率图像;将所述高频信息输入所述目标逆神经网络,得到信息分布图;将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像,以实现能够在下采样过程中更好地保留图像的原始信息,在上采样过程中再利用这些信息将图像低分辨率图像还原,即只需要传输低分辨率图像再加上信息分布图,就可以恢复出一张信息较全的高分辨率图像。
实施例二
图2为本发明实施例二提供的一种图像处理方法的流程图,本实施例可适用于对高分辨率图像进行处理的情况,该方法可以由本发明实施例中的图像处理装置来执行,所述图像处理装置配置于第二终端中,该装置可采用软件和/或硬件的方式实现,如图2所示,该方法具体包括如下步骤:
S210,接收低分辨率图像和信息分布图。
具体的,第一终端向第二终端发送低分辨率图像和信息分布图,第二终端接收低分辨率图像和信息分布图。
例如可以是,车管所提供的车辆照片,车辆年检智能审核系统对应的终端需要接收车管所提供的车辆照片,但是由于车管所的带宽或者网络服务器有限,则需要将车管所先将原高分辨率图像进行下采样得到低分辨率图像和信息分布图,并将低分辨率图像和信息分布图发送至车辆年检智能审核系统对应的终端。
S220,将所述低分辨率图像输入目标逆神经网络,得到低频信息。
S230,将所述信息分布图输入所述目标逆神经网络,得到高频信息。
具体的,获取低频信息样本、低频信息样本对应的低分辨率图像样本、高频信息样本以及高频信息样本对应的信息分布图样本,建立待训练逆神经网络,将低频信息样本输入待训练逆神经网络,得到预测低分辨率图像,根据预测低分辨率图像和低频信息样本对应的低分辨率图像样本形成的目标函数训练待训练逆神经网络的参数,将高频信息样本输入待训练逆神经网络,得到预测信息分布图,根据预测信息分布图和高频信息样本对应的信息分布图样本形成的目标函数训练待训练逆神经网络的参数,将低分辨率图像样本输入待训练逆神经网络,得到预测低频信息,根据预测低频信息和低分辨率图像样本对应的低频信息样本形成的目标函数训练待训练逆神经网络的参数,将信息分布图样本输入待训练逆神经网络,得到预测高频信息,根据预测高频信息和高频信息样本对应的信息分布图样本形成的目标函数训练待训练逆神经网络的参数,直至得到目标逆神经网络。
S240,根据所述低频信息和所述高频信息生成目标高分辨率图像。
具体的,根据所述低频信息和所述高频信息生成目标高分辨率图像的方式可以为:对所述低频信息和所述高频信息进行逆小波变换,得到原高分辨率图像。
可选的,将所述信息分布图输入所述目标逆神经网络,得到高频信息,包括:
对所述信息分布图进行随机采样,得到目标信息;
将所述目标信息输入所述目标逆神经网络,得到高频信息。
具体的,对信息分布图进行随机采样的方式可以为预先设定,也可以为根据用户需求进行设定,也可以根据第二终端的系统硬件进行设定,本发明实施例对此不进行限制。
示例性的,在高斯分布中进行随机采样得到z,虽然这个过程仍然有一定的信息丢失,也就是归纳偏差,但它包含了上采样过程中可能拥有的最多的信息,因为我们的逆神经网络已经学习到了如何将高斯分布的采样点(结合y)恢复成xH。最后再经过逆小波变换,就可以恢复出一张高分辨率图像。
可选的,根据所述低频信息和所述高频信息生成目标高分辨率图像,包括:
对所述低频信息和所述高频信息进行逆小波变换,生成目标高分辨率图像。
具体的,在进行图像恢复时,用高斯分布进行随机采样,通过逆神经网络恢复出高频成分,用低分辨率图像恢复出低频成分。最终,基于恢复出来的高频成分和低频成分,使用逆小波变换,恢复出高分辨率图像。
本实施例的技术方案,通过接收低分辨率图像和信息分布图;将所述低分辨率图像输入目标逆神经网络,得到低频信息;将所述信息分布图输入所述目标逆神经网络,得到高频信息;根据所述低频信息和所述高频信息生成目标高分辨率图像,以实现能够在上采样过程中再利用这些信息将图像低分辨率图像还原,即只需要接收到低分辨率图像再加上信息分布图,就可以恢复出一张信息较全的高分辨率图像。
实施例三
图3为本发明实施例三提供的一种图像处理装置的结构示意图。本实施例可适用于图像处理的情况,该装置可采用软件和/或硬件的方式实现,该装置可集成在任何提供图像处理功能的设备中,如图3所示,所述图像处理装置配置于第一终端,所述图像处理装置具体包括:下采样模块310、第一输入模块320、第二输入模块330和发送模块340。
其中,下采样模块310,用于基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;
第一输入模块320,用于将所述低频信息输入目标逆神经网络,得到低分辨率图像;
第二输入模块330,用于将所述高频信息输入所述目标逆神经网络,得到信息分布图;
发送模块340,用于将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像。
可选的,所述第一输入模块320具体用于:
获取样本集,其中,所述样本集包括:低频信息样本、低频信息样本对应的低分辨率图像样本、高频信息样本以及高频信息样本对应的信息分布图样本;
建立待训练逆神经网络;
通过所述样本集迭代训练所述待训练逆神经网络,得到目标逆神经网络。
可选的,所述第二输入模块330具体用于:
将所述高频信息输入所述目标逆神经网络,得到高斯分布图。
可选的,还包括:
存储模块,用于将所述低分辨率图像和所述信息分布图进行关联存储。
上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
本实施例的技术方案,通过基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;将所述低频信息输入目标逆神经网络,得到低分辨率图像;将所述高频信息输入所述目标逆神经网络,得到信息分布图;将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像,以实现能够在下采样过程中更好地保留图像的原始信息,在上采样过程中再利用这些信息将图像低分辨率图像还原,即只需要传输低分辨率图像再加上信息分布图,就可以恢复出一张信息较全的高分辨率图像。
实施例四
图4为本发明实施例四提供的一种图像处理装置的结构示意图。本实施例可适用于图像处理的情况,该装置可采用软件和/或硬件的方式实现,该装置可集成在任何提供图像处理功能的设备中,如图4所示,所述图像处理装置配置于第二终端,所述图像处理装置具体包括:接收模块410、第三输入模块420、第四输入模块430和生成模块440。
其中,接收模块410,用于接收低分辨率图像和信息分布图;
第三输入模块420,用于将所述低分辨率图像输入目标逆神经网络,得到低频信息;
第四输入模块430,用于将所述信息分布图输入所述目标逆神经网络,得到高频信息;
生成模块440,用于根据所述低频信息和所述高频信息生成目标高分辨率图像。
可选的,所述第四输入模块430具体用于:
对所述信息分布图进行随机采样,得到目标信息;
将所述目标信息输入所述目标逆神经网络,得到高频信息。
可选的,所述生成模块具体用于:
对所述低频信息和所述高频信息进行逆小波变换,生成目标高分辨率图像。
上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
本实施例的技术方案,通过接收低分辨率图像和信息分布图,将所述低分辨率图像输入目标逆神经网络,得到低频信息;将所述信息分布图输入所述目标逆神经网络,得到高频信息;根据所述低频信息和所述高频信息生成目标高分辨率图像,以实现能够在上采样过程中再利用这些信息将图像低分辨率图像还原,即只需要接收到低分辨率图像再加上信息分布图,就可以恢复出一张信息较全的高分辨率图像。
实施例五
图5为本发明实施例五中的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture,ISA)总线,微通道体系结构(Micro Channel Architecture,MCA)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(只读光盘(Compact Disc-Read Only Memory,CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外,本实施例中的计算机设备12,显示器24不是作为独立个体存在,而是嵌入镜面中,在显示器24的显示面不予显示时,显示器24的显示面与镜面从视觉上融为一体。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网Wide AreaNetwork,WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的图像处理方法:
基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;
将所述低频信息输入目标逆神经网络,得到低分辨率图像;
将所述高频信息输入所述目标逆神经网络,得到信息分布图;
将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像;
或者,实现本发明实施例所提供的图像处理方法:
接收低分辨率图像和信息分布图;
将所述低分辨率图像输入目标逆神经网络,得到低频信息;
将所述信息分布图输入所述目标逆神经网络,得到高频信息;
根据所述低频信息和所述高频信息生成目标高分辨率图像。
实施例六
本发明实施例六提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有发明实施例提供的图像处理方法:
基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;
将所述低频信息输入目标逆神经网络,得到低分辨率图像;
将所述高频信息输入所述目标逆神经网络,得到信息分布图;
将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像;
或者,实现本发明实施例所提供的图像处理方法:
接收低分辨率图像和信息分布图;
将所述低分辨率图像输入目标逆神经网络,得到低频信息;
将所述信息分布图输入所述目标逆神经网络,得到高频信息;
根据所述低频信息和所述高频信息生成目标高分辨率图像。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像处理方法,其特征在于,由第一终端执行,所述方法包括:
基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;
将所述低频信息输入目标逆神经网络,得到低分辨率图像;
将所述高频信息输入所述目标逆神经网络,得到信息分布图;
将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像。
2.根据权利要求1所述的方法,其特征在于,所述目标逆神经网络的训练过程包括:
获取样本集,其中,所述样本集包括:低频信息样本、低频信息样本对应的低分辨率图像样本、高频信息样本以及高频信息样本对应的信息分布图样本;
建立待训练逆神经网络;
通过所述样本集迭代训练所述待训练逆神经网络,得到目标逆神经网络。
3.根据权利要求1所述的方法,其特征在于,在将所述高频信息输入所述目标逆神经网络,得到信息分布图之后,还包括:
将所述低分辨率图像和所述信息分布图进行关联存储。
4.一种图像处理方法,其特征在于,由第二终端执行,所述方法包括:
接收低分辨率图像和信息分布图;
将所述低分辨率图像输入目标逆神经网络,得到低频信息;
将所述信息分布图输入所述目标逆神经网络,得到高频信息;
根据所述低频信息和所述高频信息生成目标高分辨率图像。
5.根据权利要求4所述的方法,其特征在于,将所述信息分布图输入所述目标逆神经网络,得到高频信息,包括:
对所述信息分布图进行随机采样,得到目标信息;
将所述目标信息输入所述目标逆神经网络,得到高频信息。
6.根据权利要求4所述的方法,其特征在于,根据所述低频信息和所述高频信息生成目标高分辨率图像,包括:
对所述低频信息和所述高频信息进行逆小波变换,生成目标高分辨率图像。
7.一种图像处理装置,其特征在于,配置于第一终端,所述图像处理装置包括:
下采样模块,用于基于小波变换对原高分辨率图像进行下采样,得到低频信息和高频信息;
第一输入模块,用于将所述低频信息输入目标逆神经网络,得到低分辨率图像;
第二输入模块,用于将所述高频信息输入所述目标逆神经网络,得到信息分布图;
发送模块,用于将所述低分辨率图像和所述信息分布图发送至第二终端,以使所述第二终端根据所述低分辨率图像和所述信息分布图生成目标高分辨率图像。
8.一种图像处理装置,其特征在于,配置于第二终端,所述图像处理装置包括:
接收模块,用于接收低分辨率图像和信息分布图;
第三输入模块,用于将所述低分辨率图像输入目标逆神经网络,得到低频信息;
第四输入模块,用于将所述信息分布图输入所述目标逆神经网络,得到高频信息;
生成模块,用于根据所述低频信息和所述高频信息生成目标高分辨率图像。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6中任一所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的方法的步骤。
CN202110145336.7A 2021-02-02 2021-02-02 一种图像处理方法、装置、设备及存储介质 Pending CN112801872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145336.7A CN112801872A (zh) 2021-02-02 2021-02-02 一种图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145336.7A CN112801872A (zh) 2021-02-02 2021-02-02 一种图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112801872A true CN112801872A (zh) 2021-05-14

Family

ID=75813772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145336.7A Pending CN112801872A (zh) 2021-02-02 2021-02-02 一种图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112801872A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197219A1 (en) * 2022-04-13 2023-10-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Cnn-based post-processing filter for video compression with multi-scale feature representation
WO2023197805A1 (zh) * 2022-04-11 2023-10-19 北京字节跳动网络技术有限公司 图像处理方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100097858A (ko) * 2009-02-27 2010-09-06 홍익대학교 산학협력단 예제 기반 신경회로망을 이용한 고해상도 영상 확대
CN107087201A (zh) * 2017-05-10 2017-08-22 西安万像电子科技有限公司 图像处理方法和装置
KR20180010950A (ko) * 2016-07-22 2018-01-31 한국과학기술원 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100097858A (ko) * 2009-02-27 2010-09-06 홍익대학교 산학협력단 예제 기반 신경회로망을 이용한 고해상도 영상 확대
KR20180010950A (ko) * 2016-07-22 2018-01-31 한국과학기술원 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치
CN107087201A (zh) * 2017-05-10 2017-08-22 西安万像电子科技有限公司 图像处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AMARANAGESWARAO, GADIPUDI等: "Residual Wavelet Coefficients Prediction using deep Convolutional Neural Network for Single Image Super-Resolution", 2020 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND SIGNAL PROCESSING (AISP), 31 December 2020 (2020-12-31) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197805A1 (zh) * 2022-04-11 2023-10-19 北京字节跳动网络技术有限公司 图像处理方法、装置、存储介质及电子设备
WO2023197219A1 (en) * 2022-04-13 2023-10-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Cnn-based post-processing filter for video compression with multi-scale feature representation

Similar Documents

Publication Publication Date Title
CN112465828A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN110413812B (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
CN112668588B (zh) 车位信息生成方法、装置、设备和计算机可读介质
CN112801872A (zh) 一种图像处理方法、装置、设备及存储介质
EP4432215A1 (en) Image processing method and device
CN114187317A (zh) 图像抠图的方法、装置、电子设备以及存储介质
CN112418249A (zh) 掩膜图像生成方法、装置、电子设备和计算机可读介质
CN111967332B (zh) 用于自动驾驶的能见度信息生成方法和装置
CN112598673A (zh) 全景分割方法、装置、电子设备和计算机可读介质
CN111833269A (zh) 视频降噪方法、装置、电子设备及计算机可读介质
CN114581336A (zh) 图像修复方法、装置、设备、介质及产品
CN113129122B (zh) 财务风险预警审计方法、装置、电子设备、及存储介质
CN114612904A (zh) 车位情况信息推送方法、装置、电子设备和存储介质
CN113762279A (zh) 目标图像识别方法、模型训练方法、装置、设备和介质
CN113688928A (zh) 图像匹配方法、装置、电子设备和计算机可读介质
CN111311609B (zh) 一种图像分割方法、装置、电子设备及存储介质
CN110378282B (zh) 图像处理方法及装置
GB2623399A (en) System, devices and/or processes for image anti-aliasing
CN114742738A (zh) 图像处理方法、装置、存储介质及电子设备
CN114898190A (zh) 一种图像处理方法和装置
CN111369429B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN114429602A (zh) 语义分割方法、装置、电子设备及存储介质
CN112528970A (zh) 路牌检测方法、装置、设备和计算机可读介质
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN111797931A (zh) 图像处理方法、图像处理网络训练方法、装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination