CN116228544A - 图像处理方法、装置及计算机设备 - Google Patents
图像处理方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN116228544A CN116228544A CN202310274904.2A CN202310274904A CN116228544A CN 116228544 A CN116228544 A CN 116228544A CN 202310274904 A CN202310274904 A CN 202310274904A CN 116228544 A CN116228544 A CN 116228544A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- target
- features
- codebook
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims description 38
- 238000011084 recovery Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000000875 corresponding effect Effects 0.000 description 85
- 230000005540 biological transmission Effects 0.000 description 19
- 230000004927 fusion Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开了一种图像处理方法、装置及计算机设备。其中，该方法包括：获取第一图像，其中，该第一图像为分辨率低于预定分辨率阈值的低分辨率图像；获取目标码本，其中，该目标码本包括多个目标码元，该多个目标码元分别对应记录有高分辨率图像中的目标图像特征，高分辨率图像为分辨率高于预定分辨率阈值的图像；采用目标码本对第一图像进行重构，得到第二图像，其中，第二图像的分辨率高于预定分辨率阈值。本发明解决了在相关技术中，获取的高分辨率图像存在准确度低的技术问题。
Description
技术领域
本发明涉及机器智能技术领域，具体而言，涉及一种图像处理方法、装置及计算机设备。
背景技术
在相关技术中，图像的分辨率越高越能够清楚地表征图像中的内容，使得图像中的内容清晰，准确。但在一些情况下，例如，由于设备原因，或者场景原因(距离，角度)等，无法获取到高分辨率的图像。而且，很多时候获取的往往是低分辨率图像，直接获取高分辨率图像时不仅需要投入高额精密的设备，或者是通过对低分辨图像进行像素的大量补充来实现。因此，上述获取高分辨率图像时，如果采用高额精密的设备，则涉及的成本太高；采用对低分辨率图像进行大量像素补充的方式时，涉及的计算过程又太复杂，存在不准确以及效率低的问题。
因此，在相关技术中，获取的高分辨率图像存在准确度低的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像处理方法、装置及计算机设备，以至少解决在相关技术中，获取的高分辨率图像存在准确度低的技术问题。
根据本发明实施例的一个方面，提供了一种图像处理方法，包括：获取第一图像，其中，所述第一图像为分辨率低于预定分辨率阈值的低分辨率图像；获取目标码本，其中，所述目标码本包括多个目标码元，所述多个目标码元分别对应记录有高分辨率图像中的目标图像特征，所述高分辨率图像为分辨率高于所述预定分辨率阈值的图像；采用所述目标码本对所述第一图像进行重构，得到第二图像，其中，所述第二图像的分辨率高于所述预定分辨率阈值。
可选地，所述获取目标码本，包括：获取第一图像集合；获取包括多个初始码元的初始码本，其中，所述多个初始码元分别对应记录有初始值；基于所述第一图像集合中所包括的高分辨率图像，对所述初始码本中的所述多个初始码元进行更新，得到包括所述多个目标码元的目标码本。
可选地，所述第一图像集合所包括的高分辨率图像所提供的图像特征的数量远大于所述多个目标码元的数量。
可选地，所述基于所述第一图像集合中所包括的高分辨率图像，对所述初始码本中的所述多个初始码元进行更新，得到包括所述多个目标码元的目标码本，包括：针对所述第一图像集合中的任一目标高分辨率图像，提取所述目标高分辨率图像的多个高分辨率特征；基于所述多个高分辨率特征，对所述初始码本中的所述多个初始码元分别对应记录的初始值进行更新，得到针对所述目标高分辨率图像得到的第一更新码本；基于所述第一图像集合中除所述目标高分辨率图像之外的其它高分辨率图像，对所述第一更新码本执行迭代更新处理的操作步骤，直到满足迭代停止条件，得到所述目标码本，其中，所述迭代停止条件包括迭代次数达到所述其它高分辨率图像的数量，或者，基于迭代更新得到的码本解码出的图像与迭代对应的高分辨率图像之间的差异小于预定差值阈值。
可选地，所述基于所述多个高分辨率特征，对所述初始码本中的所述多个初始码元分别对应记录的初始值进行更新，得到针对所述目标高分辨率图像得到的第一更新码本，包括：针对所述多个高分辨率特征中的任一目标高分辨率特征，从所述初始码本中的所述多个初始码元分别对应记录的初始值中查找相似图像特征，得到查找结果；并基于查找结果，对所述初始码本中的所述多个初始码元进行更新，得到针对所述目标高分辨率特征得到的第二更新码本；基于所述多个高分辨率特征中除所述目标高分辨率特征之外的其它高分辨率特征，对所述第二更新码本执行迭代更新处理的操作步骤，直到迭代完所述其它高分辨率特征，得到所述第一更新码本。
可选地，所述针对所述多个高分辨率特征中的任一目标高分辨率特征，从所述初始码本中的所述多个初始码元分别对应记录的初始值中查找相似图像特征，包括：从所述初始码本中的所述多个初始码元分别对应记录的初始值中查找与所述目标高分辨率特征最为相似的初步相似特征；获取所述初步相似特征与所述目标高分辨率特征之间的相似度；在所述相似度高于预定相似度阈值的情况下，确定所述初步相似特征为所述相似图像特征。
可选地，所述基于查找结果，对所述初始码本中的所述多个初始码元进行更新，得到针对所述目标高分辨率特征得到的第二更新码本，包括：在所述查找结果为查找到相似图像特征的情况下，将所述初始码本中对应的初始值替换为所述目标高分辨率特征，得到针对所述目标高分辨率特征得到的所述第二更新码本；和/或，在所述查找结果为未查找到相似图像特征的情况下，基于所述目标高分辨特征新建码元，得到包括所述新建码元的所述第二更新码本。
可选地，在所述查找结果为未查找到相似图像特征的情况下，基于所述目标高分辨特征新建码元，得到包括所述新建码元的所述第二更新码本之后，所述方法还包括：对所述第二更新码本所包括的码元的数量进行统计，得到统计数；在所述统计数超过预定数量阈值的情况下，对所述第二更新码本所包括的码元进行删除，使得所述第二更新码本所包括的码元的数量低于所述预定数量阈值。
可选地，所述基于所述第一图像集合中所包括的高分辨率图像，对所述初始码本中的所述多个初始码元进行更新，得到包括所述多个目标码元的目标码本，包括：将所述第一图像集合中所包括的高分辨率图像作为训练样本对第一初始转换器模型进行模型训练，得到第一目标转换器模型，其中，所述第一初始转换器模型包括：第一编码器，量化器，码本以及第一解码器，所述第一编码器用于提取所述高分辨率图像中的图像特征，所述量化器用于对提取的所述图像特征进行量化，得到量化特征，所述码本用于存储所述量化特征，所述第一解码器用于基于所述量化特征进行图像恢复，得到第一恢复图像，所述第一目标转换器模型对应的目标码本为模型训练得到的使输入的高分辨率图像与对应得到的第一恢复图像的差异最小的码本；从所述第一目标转换器模型中提取出所述目标码本。
可选地，所述采用所述目标码本对所述第一图像进行重构，得到第二图像，包括：获取所述第一图像中的多个第一图像特征；分别从所述目标码本所包括的多个目标码元对应的目标图像特征中,查找出分别与所述多个第一图像特征相似的相似目标特征；基于所述多个第一图像特征，以及分别与所述多个第一图像特征相似的相似目标特征，得到多个第二图像特征；基于所述多个第二图像特征，得到所述第二图像。
可选地，所述基于所述多个第一图像特征，以及分别与所述多个第一图像特征相似的相似目标特征，得到多个第二图像特征，包括：分别将所述多个第一图像特征与对应的相似目标特征进行融合，得到所述多个第二图像特征。
可选地，所述分别将所述多个第一图像特征与对应的相似目标特征进行融合，得到所述多个第二图像特征，包括：分别将所述多个第一图像特征与对应的相似目标特征进行特征叠加，得到所述多个第二图像特征。
可选地，所述分别将所述多个第一图像特征与对应的相似目标特征进行融合，得到所述多个第二图像特征，包括：将所述多个第一图像特征和与所述多个第一图像特征对应的相似目标特征进行拼接，得到拼接特征；对所述拼接特征进行卷积操作，得到特征偏移量；基于所述特征偏移量，对所述拼接特征进行形变卷积操作，得到所述多个第二图像特征。
可选地，所述采用所述目标码本对所述第一图像进行重构，得到第二图像，包括：基于所述目标码本，得到第二目标转换器模型，其中，所述第二目标转换器模型基于第二图像集合对第二初始转换器模型进行模型训练得到，所述第二图像集合包括：多个图像对，所述图像对包括：低分辨率图像和与所述低分辨率图像对应的高分辨率图像，第二初始转换器模型包括：第二编码器，量化器，所述目标码本以及第二解码器，所述第二编码器用于提取低分辨率图像的图像特征，所述量化器用于基于所述目标码本对提取的所述图像特征进行量化，得到量化特征，所述第二解码器用于对所述量化特征进行图像恢复，得到第二恢复图像，所述第二目标转换器模型为模型训练使得所述第二恢复图像为高分辨率图像所对应的模型；将所述第一图像输入所述第二目标转换器模型，得到所述第二图像。
可选地，所述目标图像特征包括所述高分辨率图像的高频特征。
根据本发明实施例的另一方面，提供了一种图像处理装置，包括：第一获取模块，用于获取第一图像，其中，所述第一图像为分辨率低于预定分辨率阈值的低分辨率图像；第二获取模块，用于获取目标码本，其中，所述目标码本包括多个目标码元，所述多个目标码元分别对应记录有高分辨率图像中的目标图像特征，所述高分辨率图像为分辨率高于所述预定分辨率阈值的图像；重构模块，用于采用所述目标码本对所述第一图像进行重构，得到第二图像，其中，所述第二图像的分辨率高于所述预定分辨率阈值。
根据本发明实施例的再一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的图像处理方法。
根据本发明实施例的还一方面，还提供了一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序；所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行上述任意一项所述的图像处理方法。
在本发明实施例中，基于目标码本存储高分辨图像中的目标图像特征，在对低分辨率图像进行重构时，可以将目标码本中存储的目标图像特征添加到该低分辨率图像中，从而得到满足要求的高分辨率图像。基于目标码本的方式一方面能够对高分辨率信息进行有效存储，另一方面，可以通过码本的功能将基本无限维的图像特征简化为固定有限维的图像特征，并且该有限维的图像特征能够有效地表征高分辨率图像的特征，即实现有效信息的聚集。因此，基于目标码本对第一图像进行重构得到第二图像时，能够在保证重构的第二图像为高分辨率图像的准确性，而且由于仅需要有限维的图像特征，简单高效，达到保证准确性以及高效的双重效果，有效地解决了相关技术中基于获取的高分辨率图像存在的准确度低的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了一种用于实现图像处理方法的计算机终端的硬件结构框图；
图2为本发明实施例提供的一种计算环境的结构框图；
图3是根据本发明实施例1的图像处理方法的流程图；
图4是根据本发明可选实施方式提供的基于低分遥感图像重构高分遥感图像方法的示意图；
图5是根据本发明可选实施方式提供的对低分遥感影像重构成高分遥感影像的效果图；
图6是根据本发明实施例提供的图像处理装置的结构框图；
图7是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
超分辨率重建：对一个低分辨率图像进行重构，得到高分辨率图像的过程。在本发明实施例中，可以是给定低分辨率影像，通过超分技术，获取对应的高分辨率影像。
Codebook：CodeBook算法的基本思想是得到每个像素的时间序列模型，该模型能很好地处理时间起伏，缺点是需要消耗大量的内存。CodeBook算法为当前图像的每一个像素建立一个CodeBook(CB)结构,每个CodeBook结构又由多个CodeWord(CW)组成。在本实施例中，可以是一个指定大小的码表(如1024)，该码表包含指定影像的主要信息，可以根据VQVAE(Vector Quantised Variational AutoEncoder)技术获取。
卷积：即指一般意义上的常规卷积，在深度学习中，卷积的目的是从输入中提取有用特征。卷积核就是各种滤波器，通过梯度更新滤波器的权值。卷积计算：对应元素相乘相加。如果特征图为5×5大小，卷积核为3×3，卷积核权值为[[0,1,2],[2,2,0],[0,1,2]],将卷积核在特征图上进行滑动，输出3×3大小特征图。
形变卷积：常规卷积的卷积核通常是固定的，这会导致对未知的变化的适应性差，泛化能力不足。尤其是在编码浅层神经网络的时候，同一层卷积神经网络的感受野相同，而不同位置可能有不同尺度或不同形变的物体。这就需要有一个自动调整尺度或感受野的方法。因此，出现了形变卷积(根据物体本身，调整卷积核大小)。因此，形变卷积的是相对于常规卷积的概念而来，在常规卷积操作中卷积核作用区域始终为中心点周围常规卷积核大小的矩形区域内，而形变卷积则可以是不规则的区域。
实施例1
根据本发明实施例，还提供了一种图像处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端10(或移动设备)可以包括一个或多个处理器(图中采用102a、102b，……，102n来示出，处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
图1示出的硬件结构框图，不仅可以作为上述计算机终端10(或移动设备)的示例性框图，还可以作为上述服务器的示例性框图，一种可选实施例中，图2以框图示出了使用上述图1所示的计算机终端10(或移动设备)作为计算环境201中计算节点的一种实施例。图2为本发明实施例提供的一种计算环境的结构框图，如图2所示，计算环境201包括运行在分布式网络上的多个(图中采用210-1，210-2，…,来示出)计算节点(如服务器)。计算节点都包含本地处理和内存资源，终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境201中的多个服务220-1,220-2,220-3和220-4进行提供，分别代表服务“A”，“D”，“E”和“H”。
终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务，在一些实施例中，可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务(计算环境201中提供的一个或多个服务)的供应和/或请求。例如，在本发明实施例中，终端用户202基于对某一低分辨率图像进行处理时，由该计算环境进行整个图像处理过程，之后，将处理后得到的高分辨率图像反馈回终端用户202。
服务是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中，可以根据基于虚拟机(VirtualMachine，VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机，在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时，根据基于容器的虚拟化，可以启动容器来虚拟化整个操作系统(OperatingSystem，OS)，以便多个工作负载可以在单个操作系统实例上运行。
在基于容器虚拟化的一个实施例中，服务的若干容器可以被组装成一个Pod(例如，KubernetesPod)。举例来说，如图2所示，服务220-2可以配备一个或多个Pod240-1,240-2，…，240-N(统称为Pod)。Pod可以包括代理245和一个或多个容器242-1,242-2，…，242-M(统称为容器)。Pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求，代理245通常控制与服务相关的网络功能，如路由、负载均衡等。其他服务也可以陪陪类似于Pod的Pod。
在操作过程中，执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务，执行一个服务的一个或多个功能可能需要调用另一个服务的一个或多个功能。如图2所示，服务“A”220-1从入口网关230接收终端用户202的用户请求，服务“A”220-1可以调用服务“D”220-2，服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。
上述的计算环境可以是云计算环境，资源的分配由云服务提供上述管理，允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能，而不是扩展单个硬件设备来处理潜在的负载。
鉴于上述问题，本申请提供了如图3所示的图像处理方法。图3是根据本发明实施例1的图像处理方法的流程图，如图3所示，该流程包括如下步骤：
S302，获取第一图像，其中，第一图像为分辨率低于预定分辨率阈值的低分辨率图像；
作为一种可选的实施例，本实施例方法的执行主体可以是用于对图像处理的终端或者服务器。比如，在应用于用来执行图像处理的终端上时，能够轻便，简单地实现低分辨率图像的处理；又比如，在应用于服务器上时，可以调用服务器丰富的计算资源，或者相对更为庞大的图像处理模型，进而可以更为准确地对图像进行处理，得到精确的高分辨率图像。
需要说明的是，上述终端的类型可以是多种的，例如，可以是具备图像处理能力的移动终端，也可以是具备图像处理能力的固定计算机设备，等。上述服务器的类型也可以是多种，例如，可以是本地服务器，也可以虚拟云服务器。服务器的按照计算能力可以是单个的计算机设备，也可以是多个计算机设备集成在一起的计算机集群。
作为一种可选的实施例，图像分辨率是指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels per Inch)，可以叫作像素每英寸。图像分辨率在图像处理过程中，可以用于改变图像的清晰度。
上述的预定分辨率阈值是用于区分本发明实施例中所描述的低分辨率图像和高分辨率图像，即分辨率低于该预定分辨率阈值的图像为低分辨率图像，分辨率高于该预定分辨率阈值的图像为高分辨率图像。该预定分辨率阈值可以是基于经验确定的一个值，也可以是基于不同的应用场景灵活划定的值，依据具体的场景需求而定。
上述第一图像为低分辨率图像，该低分辨率图像的类型也可以多种，例如，可以是地图图像，可以是风景图像，还可以是遥感图像，等有分辨率要求的一类图像。
作为一种可选的实施例，上述获取第一图像的方式可以是基于图像的作用以及图像产生的场景也不同。例如，当上述低分辨率图像为遥感图像时，该获取第一图像的方式可以是从遥感卫星上直接接收的遥感图像，也可以是通过与遥感卫星连接的中间设备传输过来的遥感图像。
S304，获取目标码本，其中，目标码本包括多个目标码元，多个目标码元分别对应记录有高分辨率图像中的目标图像特征，高分辨率图像为分辨率高于预定分辨率阈值的图像；
作为一种可选的实施例，码本可以理解为一种记录图像特征的时间序列模型，可以很好地处理时间起伏。在对图像进行处理时，为图像中的每个图像特征点建立一个码本，每个码本中又包括多个码元。上述所指的每个图像特征点可以是要处理的图像中的一个特征区域，特征区域可以基于需求对整个图像进行划分得到。例如，对于一个矩形图像而言，可以将图像划分为大小为m*n的多个特征区域，分别用对应的图像特征向量来对该多个特征区域的特征进行描述。需要说明的是，上述图像特征向量描述的特征可以是单个的图像信息，也可以是多个的图像信息，还可以是整个图像的全部信息(比如，包括图像所有的低频特征信息和高频特征信息)。
作为一种可选的实施例，上述目标图像特征包括高分辨率图像的高频特征。图像的高频特征和低频特征中的高频和低频即是指图像中的变化率。图像在空间中发生变化，高频特征是变化强度较大(变化率较大)的特征，例如，像素块的像素值由一个值快速变化到另一个值，比如，亮度变化较大。低频特征是指变化强度较小(变化率较小)，即变化相对均匀或变化比较缓慢的特征。从具体的图像上来看，上述高频特征可以是图像中的一些边缘特征，纹理特征以及轮廓特征，等等。
作为一种可选的实施例，获取目标码本时，可以采用多种方式，例如，可以基于图像集合对初始码本进行更新的方式得到。例如，可以采用以下方式得到：先获取第一图像集合，其中，该第一图像集合中包括大量的高分辨率图像，基于该大量的高分辨率图像足以获取高分辨率图像的目标图像特征。获取包括多个初始码元的初始码本，其中，多个初始码元分别对应记录有初始值；基于第一图像集合中所包括的高分辨率图像，对初始码本中的多个初始码元进行更新，得到包括多个目标码元的目标码本。其中，上述初始码元分别记录的初始值可以是通过各种初始化得到的。初始化的方式也可以有多种，例如，可以全零或等值初始化、正态初始化、均匀初始化，等。通过初始化方式得到的初始值可以是随机的，其分布也可以符合一定的分布规律，例如，符合高斯分布。在初始化初始码本中的多个初始码元后，其中的码元是可以学习的，即基于后续的高分辨率图像进行更新的。因此，基于第一图像集合中包括的大量高分辨率图像中的图像特征，对高分辨率图像的图像特征进行聚集，得到能够代表高分辨图像的目标图像特征，进而得到目标码本，达到准确记录高分辨图像的图像特征的目的。
需要说明的是，在采用对上述初始码本中的多个初始码元进行更新的方式，得到目标码元的过程中，在基于第一图像集合中的高分辨图像对多个初始码元进行更新的前期，该多个初始码元中记录的目标图像特征可以通过多种方式获取，例如，可以直接是一些默认的图像特征，也可以是经过初步处理时获得的图像特征，还可以在该初始码本中的多个初始码元中不记录，而直接通过后续更新的方式来逐步获取对应的图像特征。
作为一种可选的实施例，第一图像集合所包括的高分辨率图像所提供的图像特征的数量远大于多个目标码元的数量。此处远大于的含义表示的是数量级上的差距，例如，第一图像集合所包括的高分辨率图像所提供的图像特征的数量为几十万，几百万，几千万或者更大，而多个目标码元的数量为几十，几百，或者几千等。
作为一种可选的实施例，基于第一图像集合中所包括的高分辨率图像，对初始码本中的多个初始码元进行更新，得到包括多个目标码元的目标码本，包括：针对第一图像集合中的任一目标高分辨率图像，提取目标高分辨率图像的多个高分辨率特征；基于多个高分辨率特征，对初始码本中的多个初始码元分别对应记录的初始值进行更新，得到针对目标高分辨率图像得到的第一更新码本；基于第一图像集合中除目标高分辨率图像之外的其它高分辨率图像，对第一更新码本执行迭代更新处理的操作步骤，直到满足迭代停止条件，得到目标码本，其中，迭代停止条件包括迭代次数达到其它高分辨率图像的数量，或者，基于迭代更新得到的码本解码出的图像与迭代对应的高分辨率图像之间的差异小于预定差值阈值。采用上述对第一图像集合中的大量高分辨图像分别迭代更新码本中的码元的方式，能够使得最终得到的目标码本中记录较全的高分辨率图像的图像信息。由于是依据整个图像来对过程中的更新码本进行更新的，因此，不断更新的码本中记录的信息也是较完整的。需要说明的是，上述其它高分辨率图像的数量可以是上述第一图像集合中除上述目标高分辨率图像之外的所有其它高分辨率图像所对应的数量，也可以是除上述目标高分辨率图像之外的部分其它高分辨率图像所对应的数量。上述预定差值阈值可以是根据经验确定的一个差异值，在该差异值内两张图像之间的差异肉眼看不出来。另外，在本发明可选实施例中，上述迭代停止条件中所包括的数量条件和阈值条件两者可以结合使用。
作为一种可选的实施例，基于多个高分辨率特征，对初始码本中的多个初始码元分别对应记录的初始值进行更新，得到针对目标高分辨率图像得到的第一更新码本，可以采用处理方式：针对多个高分辨率特征中的任一目标高分辨率特征，从初始码本中的多个初始码元分别对应记录的初始值中查找相似图像特征，得到查找结果；并基于查找结果，对初始码本中的多个初始码元进行更新，得到针对目标高分辨率特征得到的第二更新码本；基于多个高分辨率特征中除目标高分辨率特征之外的其它高分辨率特征，对第二更新码本执行迭代更新处理的操作步骤，直到迭代完其它高分辨率特征，得到第一更新码本。采用上述处理，在基于第一图像集合中的任一目标高分辨率图像，对多个初始码元进行更新时，该目标高分辨率图像中的任一目标图像特征可以是针对该初始码本中的全部初始码元进行更新的，即对该任一目标图像特征而言，需要与该初始码本中的全部初始码元中记录的初始值进行比较，找出最为相似的相似图像特征。需要说明的是，基于一些快捷手段，为避免计算量过大，还可以基于对图像中图像特征的识别，有针对地对相似性较大的图像特征进行过滤查找。
作为一种可选的实施例，针对多个高分辨率特征中的任一目标高分辨率特征，从初始码本中的多个初始码元分别对应记录的初始值中查找相似图像特征时，可以采用多种方式，例如，可以直接将查找到的最为相似的初始值作为该相似图像特征。而为了使得确定出的目标图像特征更为精确，还可以采用方式：从初始码本中的多个初始码元分别对应记录的初始值中查找与目标高分辨率特征最为相似的初步相似特征；获取初步相似特征与目标高分辨率特征之间的相似度；在相似度高于预定相似度阈值的情况下，确定初步相似特征为相似图像特征。采用上述处理，能够保证查找到的相似图像特征不仅是多个初始值中最为相似的特征，而且查找到的该初始值与图像特征的相似度还高于预定相似度阈值，使得最终查找到的相似图像特征不仅是码元中最为相似的，而且相似度还能够得到保证，因此，能够更为准确地，精细地确定高分辨图像的目标图像特征。
作为一种可选的实施例，基于查找结果，对初始码本中的多个初始码元进行更新，得到针对目标高分辨率特征得到的第二更新码本，包括：在查找结果为查找到相似图像特征的情况下，将初始码本中对应的初始值替换为目标高分辨率特征，得到针对目标高分辨率特征得到的第二更新码本；和/或，在查找结果为未查找到相似图像特征的情况下，基于目标高分辨特征新建码元，得到包括新建码元的第二更新码本。采用上述处理，基于查找结果的不同，执行不同的处理方式，得到第二更新码本。在查找到时，采用直接替代的方式进行更新，而在没有查找到时，采用新增码元的方式进行更新，使得在更新过程中，得到的更新码本是能够准确，完整体现高分辨图像的图像特征。
作为一种可选的实施例，在查找结果为未查找到相似图像特征的情况下，基于目标高分辨特征新建码元，得到包括新建码元的第二更新码本之后，方法还包括：对第二更新码本所包括的码元的数量进行统计，得到统计数；在统计数超过预定数量阈值的情况下，对第二更新码本所包括的码元进行删除，使得第二更新码本所包括的码元的数量低于预定数量阈值。采用上述处理，由于码本的大小能够在一定程度上影响后续对图像的重构效率，因此，可以在对码本进行更新的过程中，对更新码本也进行大小的控制，避免太大。而对码本的大小进行控制时，可以基于在更新码本的过程中，对各个码元的一些更新信息来进行处理。例如，对于更新码本中，对于一些码元而言，更新的频率过低，更新频率过低说明在高分辨率图像中出现的频率过低，属于一些偶发性的图像特征，因此，可以将这些码元进行剔除，从而达到控制码本大小的目的。
作为一种可选的实施例，在基于第一图像集合中所包括的高分辨率图像，对初始码本中的多个初始码元进行更新，得到包括多个目标码元的目标码本时，整个更新过程，可以采用人工智能模型训练的方式得到，例如，可以采用以下方式实现：将第一图像集合中所包括的高分辨率图像作为训练样本对第一初始转换器模型进行模型训练，得到第一目标转换器模型，其中，第一初始转换器模型包括：第一编码器，量化器，码本以及第一解码器，第一编码器用于提取高分辨率图像中的图像特征，量化器用于对提取的图像特征进行量化，得到量化特征，码本用于存储量化特征，第一解码器用于基于量化特征进行图像恢复，得到第一恢复图像，第一目标转换器模型对应的目标码本为模型训练得到的使输入的高分辨率图像与对应得到的第一恢复图像的差异最小的码本；从第一目标转换器模型中提取出目标码本。采用人工智能模型的方式得到目标编码码本，仅需要通过对一些算法，条件的设置，即可快速高效地得到目标码本。需要说明的是，上述差异最小可以认为是训练样本中所包括的高分辨率图像中，输入的高分辨率图像与对应得到的恢复图像之间的差异中的最小值。
S306，采用目标码本对第一图像进行重构，得到第二图像，其中，第二图像的分辨率高于预定分辨率阈值。
作为一种可选的实施例，采用目标码本对第一图像进行重构，得到第二图像，即将基于目标码本中所记载的高分辨率图像的目标图像特征对低分辨率的第一图像进行重构，即将目标码本中的高分辨率图像的目标图像特征增加到低分辨率的第一图像中，从而使得得到的第二图像是高分辨率的。
作为一种可选的实施例，在采用目标码本对第一图像进行重构，得到第二图像时，可以采用多种方式，例如，可以采用以下处理方式：获取第一图像中的多个第一图像特征；分别从目标码本所包括的多个目标码元对应的目标图像特征中,查找出分别与多个第一图像特征相似的相似目标特征；基于多个第一图像特征，以及分别与多个第一图像特征相似的相似目标特征，得到多个第二图像特征；基于多个第二图像特征，得到第二图像。采用上述处理，基于第一图像中的第一图像特征从目标码本中查找最为相似的相似目标特征，基于第一图像中原来的第一图像特征和查找到的相似目标特征，得到第二图像特征，以生成第二图像。使得生成的第二图像中的第二图像特征是增加了目标码本中的高分辨率图像信息的，因此，能够很好地对第一图像中缺失的信息进行补充，从而得到清晰的高分辨率特征。
作为一种可选的实施例，基于多个第一图像特征，以及分别与多个第一图像特征相似的相似目标特征，得到多个第二图像特征，可以分别将多个第一图像特征与对应的相似目标特征进行融合，得到多个第二图像特征。其中，融合的方式有多种，例如，可以直接图像特征简单相加的方式，也可以是对特征进行相关处理，之后再执行相关的特征融合，下面分别说明。
例如，分别将多个第一图像特征与对应的相似目标特征进行融合，得到多个第二图像特征时，可以采用以下处理方式：分别将多个第一图像特征与对应的相似目标特征进行特征叠加，得到多个第二图像特征。通过上述处理，采用上述简单相加的方式，处理简单，高效快速。
又例如，分别将多个第一图像特征与对应的相似目标特征进行融合，得到多个第二图像特征，还可以通过以下处理方式：将多个第一图像特征和与多个第一图像特征对应的相似目标特征进行拼接，得到拼接特征；对拼接特征进行卷积操作，得到特征偏移量；基于特征偏移量，对拼接特征进行形变卷积操作，得到多个第二图像特征。采用上述处理，可以先对要融合的特征进行相关预处理，使得后续特征的融合更符合融合特征，因此，可以先对要融合的特征进行相关处理，使得特征之间的融合更为准确，进而使得得到的第二图像特征也更完整，精细。
作为一种可选的实施例，在采用目标码本对第一图像进行重构，得到第二图像时，为提升得到第二图像的效率，也可以采用人工智能模型的方式实现。例如，可以采用以下处理方式：基于目标码本，得到第二目标转换器模型，其中，第二目标转换器模型基于第二图像集合对第二初始转换器模型进行模型训练得到，第二图像集合包括：多个图像对，图像对包括：低分辨率图像和与低分辨率图像对应的高分辨率图像，第二初始转换器模型包括：第二编码器，量化器，目标码本以及第二解码器，第二编码器用于提取低分辨率图像的图像特征，量化器用于基于目标码本对提取的图像特征进行量化，得到量化特征，第二解码器用于对量化特征进行图像恢复，得到第二恢复图像，第二目标转换器模型为模型训练使得第二恢复图像为高分辨率图像所对应的模型；将第一图像输入第二目标转换器模型，得到第二图像。采用该智能化的处理方式，有效地提升了图像的重构效率，提升用户基于低分辨率重构高分辨率的体验。
通过上述处理，基于目标码本存储高分辨图像中的目标图像特征，在对低分辨率图像进行重构时，可以将目标码本中存储的目标图像特征添加到该低分辨率图像中，从而得到满足要求的高分辨率图像。基于目标码本的方式一方面能够对高分辨率信息进行有效存储，另一方面，可以通过码本的功能将基本无限维的图像特征简化为固定有限维的图像特征，并且该有限维的图像特征能够有效地表征高分辨率图像的特征，即实现有效信息的聚集。因此，基于目标码本对第一图像进行重构得到第二图像时，能够在保证重构的第二图像为高分辨率图像的准确性，而且由于仅需要有限维的图像特征，简单高效，达到保证准确性以及高效的双重效果，有效地解决了相关技术中基于获取的高分辨率图像存在的准确度低的问题。
基于上述实施例及可选实施例，提供了一种可选实施方式。
在本可选实施方式中，以基于低分遥感图像重构高分遥感图像为例进行说明。
低分遥感图像有可免费获取、重访周期短的优点，但是也存在一些缺陷，例如，空间分辨率过低(10m，RGB)，不利于下游任务的开发与应用。在本可选实施方式中，提供一种基于低分遥感图像重构高分遥感图像的方法，实现对低分遥感图像进行超分，获取廉价的高分遥感图像，从而降低下游任务的开发难度。
图4是根据本发明可选实施方式提供的基于低分遥感图像重构高分遥感图像方法的示意图，如图4所示，该方法包括两部分：一是，模型训练部分；二是，模型应用部分，即基于训练好的模型对低分遥感图像进行重构，得到高分遥感图像。下面分别说明。
模型训练部分，包括两个模型结构，一个模型结构包括：第一编码器，量化器，初始码本，以及第一解码器，采用该模型结构基于训练样本图像进行模型训练，得到训练好的第一编码器，训练好的量化器，目标码本以及训练好的第一解码器。其中，训练样本图像为高分辨率图像集合，该高分辨率图像集合中包括一定数量的高分辨率图像(该高分辨率图像可以是遥感图像)，例如，数量可以是上万级的，比如，10万。训练得到的目标码本是对应于输入该模型结构的图像与从该模型结构输出的图像之间的差异最小的情况，即输入的高分辨率图像与输出的图像最大化的相似，也就是说，通过该模型结构能够使得基于目标码本的信息基本上能够恢复出输入的高分辨率图像。
另一个模型结构包括：第二编码器，量化器，目标码本以及第二解码器。采用该模型结构基于另一训练样本图像进行模型训练，得到训练好的第二编码器，量化器，以及第二编码器。基于该模型结构，采用训练样本图像进行模型训练，得到训练好的第二编码器，量化器，以及第二解码器。其中，该另一训练样本图像包括多组图像对(该图像对也可以是遥感图像)，其中图像对包括低分辨率图像和与该低分辨率图像对应的高分辨率图像，即两者内容相同，仅分辨率不同。模型训练的目的是，基于输入的低分辨率图像，得到满足要求的高分辨率图像，训练的效果基于模型输出的图像与样本对中的高分辨图像之间的损失表征，损失越小，训练效果越优。
需要说明的是，上述两个模型结构的训练过程中所采用的损失函数的类型可以多种，在此不进行一一举例。
在得到上述训练好的模型后，基于训练好的模型进行低分遥感图像的重构。需要说明的是，上述两部分模型作为一个整体也可以称为超分模型，基于上述方式将超分模型训练完毕后，在对模型进行应用时，就可以直接应用模型训练过程中的第二模型结构，将低分辨率图像输入至该模型结构中，得到高分辨率的输出图像。
需要说明的是，在将低分辨率图像输入至该模型结构中，得到高分辨率的输出图像的过程中，基于上述模型结构对低分辨率图像进行处理时，可以是先采用上述第二编码器对该低分辨率图像进行编码，即提取出该低分辨率图像的图像特征，其中，该图像特征可以是对图像进行划分后所得到的对应划分区域的区域特征，其中的特征包括多种，例如，可以是，像素特征，高频特征，低频特征，亮度特征，颜色特征等。基于划分区域的区域特征与量化器中所存储的目标码本中码元所存储的图像特征进行比对，查找出与该划分区域的特征最为相似的码元所对应的图像特征，基于该区域特征和查找到的图像特征，采用融合模块进行特征融合处理，得到融合特征。采用上述区域特征融合的方式，对整个低分辨率图像的其它划分区域也进行相应的融合操作，最终得到该低分辨率图像的整个融合特征。之后，基于整个融合特征采用第二解码器进行处理，得到与该低分辨率图像对应的高分辨率图像。
另外，在对区域特征与从量化器中查找到的图像特征进行特征融合时，可以采用多种方式。下面基于图4分别说明。如图4右下部分的两个框中，分别代表两种融合方式。两个框中的靠下面的一个框中，假设低分辨率图像划分为3行1列总共3个划分区域，量化器中目标码本所包括的码元为1行3列总共3个码元。基于低分辨率图像所包括的划分区域以及目标码本中所包括的码元，进行矩阵乘法，基于注意力机制得到注意力矩阵，矩阵中的元素分别表示低分辨率图像中所包括的划分区域分别与目标码本中所包括的码元之间的相似度。基于该注意力矩阵得到低分辨率图像所包括的划分区域分别最为相似的码元。之后，基于低分辨率图像中划分区域对应的图像特征与对应的最为相似的码元所对应的图像特征进行融合，得到对应的融合特征。在本框中采用了直接融合的方式，即将低分辨率图像中划分区域对应的图像特征与对应的最为相似的码元所对应的图像特征，采用直接叠加的方式，输出融合特征。还可以采用形变卷积的方式进行融合，如上框中所表示的方式。需要说明的是，上框所表示的也仅仅是示意：先将低分辨率图像中划分区域对应的图像特征与对应的最为相似的码元所对应的图像特征进行拼接，得到拼接特征，对该拼接特征进行卷积层计算，得到与图像特征对应的适应性偏差，之后基于该适应性偏差对应调整卷积核，对上述拼接特征进行形变卷积，得到最终的融合特征。
例如，可以基于遥感图像的样本图像集合，将超分模型训练完毕；之后，将低分遥感影像(也即低分遥感图像，以下简称为低分影像)输入上述超分模型，进行超分辨率重建，取得对应的高分遥感影像(也即上述高分遥感图像，以下简称为高分影像)。
因为超分后的影像会增加很多纹理细节，原来在低分遥感影像上不能识别的目标，已经可以识别出。此时，使用在高分影像上训练的下游模型(如建筑物提取、道路提取等)，可以在上述产生的超分后的高分影像中进行推理，可以达到或接近原本高分模型的性能。
这样做的好处是：因为高分影像不开源，并且获取代价很昂贵。如果想在某些地区进行建筑物提取或者道路提取等操作，没有高分影像的情况下一般模型的性能是很差的。在上述方案下，只需要有这个地方的低分影像(开源免费)，就可以做以前只能在高分影像上做的操作。
基于上述可选实施方式，使得遥感超分辨率重建算法拥有一个较好的算法性能，并且在现实环境中具有较高的易用性，下面对实验效果进行说明。
1，对于低分遥感影像和高分遥感影像，两者的空间分辨率分别为10m和0.8m。两者空间分辨率相差12.5倍，因此低分遥感影像的信息缺失是非常严重的。因此，若想通过单图超分的范式对低分遥感影像进行超分辨率重建，需要借助一些参考信息。在本可选实施方式中采用了码本的方式，将高分影像的高频纹理信息量化到一个有限的码本中，然后作为参考信息指导后续的超分辨率重建。
2，在本可选实施方式中，在对低分影像的特征图与对应的量化后的特征图融合时，设计了比较完善的融合模块，在最终的超分性能上得到了体现。
图5是根据本发明可选实施方式提供的对低分遥感影像重构成高分遥感影像的效果图，如图5所示，左边低分遥感影像相对于右边的高分遥感影像，在信息缺失方面是非常严重的。从中间超分辨率重建的结果来看，本可选实施方式的超分结果在视觉上取得了明显的效果。
另外，基于上述可选实施方式，对一些下游工作也进行了验证。
例如，基于对图像中建筑物和道路提取的指标来看，建筑物以及道路提取模型在低分(S2)影像上的表现是极差的，而在超分结果(SR)上的表现是比较接近高分影像(GF)上的表现。
通过上述可选实施方式，可以实现以下效果：
(1)通过在遥感影像单图超分辨率重建中，引入了码本的先验信息，在能够以极低的成本为智能图像处理提供大量的高分遥感影像，并且可以明显提高多种智能图像项目中下游算法的性能；
(2)在遥感影像的场景中，将超分辨率重建技术作为提升低分遥感影像中算法性能的增强手段,能够实现高倍数单图超分辨率重建，其中，涉及的高倍数至少可以达到12倍；
(3)在遥感影像超分辨率重建中引入了码本，通过分层交互的方式将码本中的纹理信息融入低分影像(其中，特征融合的方式有多种)，生成高分影像，以及超分结果在可视化方面和下游任务上均表现优异。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
实施例2
根据本发明实施例，还提供了一种用于实施上述图像处理方法的装置，图6是根据本发明实施例提供的图像处理装置的结构框图，如图6所示，该装置包括：第一获取模块62，第二获取模块64和重构模块66，下面对该装置进行说明。
第一获取模块62，用于获取第一图像，其中，第一图像为分辨率低于预定分辨率阈值的低分辨率图像；第二获取模块64，连接至上述第一获取模块62，用于获取目标码本，其中，目标码本包括多个目标码元，多个目标码元分别对应记录有高分辨率图像中的目标图像特征，高分辨率图像为分辨率高于预定分辨率阈值的图像；重构模块66，连接至上述第二获取模块64，用于采用目标码本对第一图像进行重构，得到第二图像，其中，第二图像的分辨率高于预定分辨率阈值。
此处需要说明的是，上述第一获取模块62，第二获取模块64和重构模块66对应于实施例1中的步骤S302至步骤S306，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例3
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码：获取第一图像，其中，第一图像为分辨率低于预定分辨率阈值的低分辨率图像；获取目标码本，其中，目标码本包括多个目标码元，多个目标码元分别对应记录有高分辨率图像中的目标图像特征，高分辨率图像为分辨率高于预定分辨率阈值的图像；采用目标码本对第一图像进行重构，得到第二图像，其中，第二图像的分辨率高于预定分辨率阈值。
可选地，图7是根据本发明实施例的一种计算机终端的结构框图。如图7所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器72、存储器74等。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取第一图像，其中，第一图像为分辨率低于预定分辨率阈值的低分辨率图像；获取目标码本，其中，目标码本包括多个目标码元，多个目标码元分别对应记录有高分辨率图像中的目标图像特征，高分辨率图像为分辨率高于预定分辨率阈值的图像；采用目标码本对第一图像进行重构，得到第二图像，其中，第二图像的分辨率高于预定分辨率阈值。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取目标码本，包括：获取第一图像集合；获取包括多个初始码元的初始码本，其中，多个初始码元分别对应记录有初始值；基于第一图像集合中所包括的高分辨率图像，对初始码本中的多个初始码元进行更新，得到包括多个目标码元的目标码本。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：第一图像集合所包括的高分辨率图像所提供的图像特征的数量远大于多个目标码元的数量。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：基于第一图像集合中所包括的高分辨率图像，对初始码本中的多个初始码元进行更新，得到包括多个目标码元的目标码本，包括：针对第一图像集合中的任一目标高分辨率图像，提取目标高分辨率图像的多个高分辨率特征；基于多个高分辨率特征，对初始码本中的多个初始码元分别对应记录的初始值进行更新，得到针对目标高分辨率图像得到的第一更新码本；基于第一图像集合中除目标高分辨率图像之外的其它高分辨率图像，对第一更新码本执行迭代更新处理的操作步骤，直到满足迭代停止条件，得到目标码本，其中，迭代停止条件包括迭代次数达到其它高分辨率图像的数量，或者，基于迭代更新得到的码本解码出的图像与迭代对应的高分辨率图像之间的差异小于预定差值阈值。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：基于多个高分辨率特征，对初始码本中的多个初始码元分别对应记录的初始值进行更新，得到针对目标高分辨率图像得到的第一更新码本，包括：针对多个高分辨率特征中的任一目标高分辨率特征，从初始码本中的多个初始码元分别对应记录的初始值中查找相似图像特征，得到查找结果；并基于查找结果，对初始码本中的多个初始码元进行更新，得到针对目标高分辨率特征得到的第二更新码本；基于多个高分辨率特征中除目标高分辨率特征之外的其它高分辨率特征，对第二更新码本执行迭代更新处理的操作步骤，直到迭代完其它高分辨率特征，得到第一更新码本。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：针对多个高分辨率特征中的任一目标高分辨率特征，从初始码本中的多个初始码元分别对应记录的初始值中查找相似图像特征，包括：从初始码本中的多个初始码元分别对应记录的初始值中查找与目标高分辨率特征最为相似的初步相似特征；获取初步相似特征与目标高分辨率特征之间的相似度；在相似度高于预定相似度阈值的情况下，确定初步相似特征为相似图像特征。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：基于查找结果，对初始码本中的多个初始码元进行更新，得到针对目标高分辨率特征得到的第二更新码本，包括：在查找结果为查找到相似图像特征的情况下，将初始码本中对应的初始值替换为目标高分辨率特征，得到针对目标高分辨率特征得到的第二更新码本；和/或，在查找结果为未查找到相似图像特征的情况下，基于目标高分辨特征新建码元，得到包括新建码元的第二更新码本。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在查找结果为未查找到相似图像特征的情况下，基于目标高分辨特征新建码元，得到包括新建码元的第二更新码本之后，方法还包括：对第二更新码本所包括的码元的数量进行统计，得到统计数；在统计数超过预定数量阈值的情况下，对第二更新码本所包括的码元进行删除，使得第二更新码本所包括的码元的数量低于预定数量阈值。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：基于第一图像集合中所包括的高分辨率图像，对初始码本中的多个初始码元进行更新，得到包括多个目标码元的目标码本，包括：将第一图像集合中所包括的高分辨率图像作为训练样本对第一初始转换器模型进行模型训练，得到第一目标转换器模型，其中，第一初始转换器模型包括：第一编码器，量化器，码本以及第一解码器，第一编码器用于提取高分辨率图像中的图像特征，量化器用于对提取的图像特征进行量化，得到量化特征，码本用于存储量化特征，第一解码器用于基于量化特征进行图像恢复，得到第一恢复图像，第一目标转换器模型对应的目标码本为模型训练得到的使输入的高分辨率图像与对应得到的第一恢复图像的差异最小的码本；从第一目标转换器模型中提取出目标码本。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：采用目标码本对第一图像进行重构，得到第二图像，包括：获取第一图像中的多个第一图像特征；分别从目标码本所包括的多个目标码元对应的目标图像特征中,查找出分别与多个第一图像特征相似的相似目标特征；基于多个第一图像特征，以及分别与多个第一图像特征相似的相似目标特征，得到多个第二图像特征；基于多个第二图像特征，得到第二图像。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：基于多个第一图像特征，以及分别与多个第一图像特征相似的相似目标特征，得到多个第二图像特征，包括：分别将多个第一图像特征与对应的相似目标特征进行融合，得到多个第二图像特征
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：分别将多个第一图像特征与对应的相似目标特征进行融合，得到多个第二图像特征，包括：分别将多个第一图像特征与对应的相似目标特征进行特征叠加，得到多个第二图像特征。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：分别将多个第一图像特征与对应的相似目标特征进行融合，得到多个第二图像特征，包括：将多个第一图像特征和与多个第一图像特征对应的相似目标特征进行拼接，得到拼接特征；对拼接特征进行卷积操作，得到特征偏移量；基于特征偏移量，对拼接特征进行形变卷积操作，得到多个第二图像特征。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：采用目标码本对第一图像进行重构，得到第二图像，包括：基于目标码本，得到第二目标转换器模型，其中，第二目标转换器模型基于第二图像集合对第二初始转换器模型进行模型训练得到，第二图像集合包括：多个图像对，图像对包括：低分辨率图像和与低分辨率图像对应的高分辨率图像，第二初始转换器模型包括：第二编码器，量化器，目标码本以及第二解码器，第二编码器用于提取低分辨率图像的图像特征，量化器用于基于目标码本对提取的图像特征进行量化，得到量化特征，第二解码器用于对量化特征进行图像恢复，得到第二恢复图像，第二目标转换器模型为模型训练使得第二恢复图像为高分辨率图像所对应的模型；将第一图像输入第二目标转换器模型，得到第二图像。
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：目标图像特征包括高分辨率图像的高频特征。
本领域普通技术人员可以理解，图7所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternetDevices，MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如，计算机终端7还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，计算机可读存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的图像处理方法所执行的程序代码。
可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取第一图像，其中，第一图像为分辨率低于预定分辨率阈值的低分辨率图像；获取目标码本，其中，目标码本包括多个目标码元，多个目标码元分别对应记录有高分辨率图像中的目标图像特征，高分辨率图像为分辨率高于预定分辨率阈值的图像；采用目标码本对第一图像进行重构，得到第二图像，其中，第二图像的分辨率高于预定分辨率阈值。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：获取目标码本，包括：获取第一图像集合；获取包括多个初始码元的初始码本，其中，多个初始码元分别对应记录有初始值；基于第一图像集合中所包括的高分辨率图像，对初始码本中的多个初始码元进行更新，得到包括多个目标码元的目标码本。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：第一图像集合所包括的高分辨率图像所提供的图像特征的数量远大于多个目标码元的数量。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于第一图像集合中所包括的高分辨率图像，对初始码本中的多个初始码元进行更新，得到包括多个目标码元的目标码本，包括：针对第一图像集合中的任一目标高分辨率图像，提取目标高分辨率图像的多个高分辨率特征；基于多个高分辨率特征，对初始码本中的多个初始码元分别对应记录的初始值进行更新，得到针对目标高分辨率图像得到的第一更新码本执行迭代更新处理的操作步骤，直到满足迭代停止条件；基于第一图像集合中除目标高分辨率图像之外的其它高分辨率图像，对第一更新码本进行更新，得到目标码本，其中，迭代停止条件包括迭代次数达到其它高分辨率图像的数量，或者，基于迭代更新得到的码本解码出的图像与迭代对应的高分辨率图像之间的差异小于预定差值阈值。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于多个高分辨率特征，对初始码本中的多个初始码元分别对应记录的初始值进行更新，得到针对目标高分辨率图像得到的第一更新码本，包括：针对多个高分辨率特征中的任一目标高分辨率特征，从初始码本中的多个初始码元分别对应记录的初始值中查找相似图像特征，得到查找结果；并基于查找结果，对初始码本中的多个初始码元进行更新，得到针对目标高分辨率特征得到的第二更新码本；基于多个高分辨率特征中除目标高分辨率特征之外的其它高分辨率特征，对第二更新码本执行迭代更新处理的操作步骤，直到迭代完其它高分辨率特征，得到第一更新码本。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：针对多个高分辨率特征中的任一目标高分辨率特征，从初始码本中的多个初始码元分别对应记录的初始值中查找相似图像特征，包括：从初始码本中的多个初始码元分别对应记录的初始值中查找与目标高分辨率特征最为相似的初步相似特征；获取初步相似特征与目标高分辨率特征之间的相似度；在相似度高于预定相似度阈值的情况下，确定初步相似特征为相似图像特征。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于查找结果，对初始码本中的多个初始码元进行更新，得到针对目标高分辨率特征得到的第二更新码本，包括：在查找结果为查找到相似图像特征的情况下，将初始码本中对应的初始值替换为目标高分辨率特征，得到针对目标高分辨率特征得到的第二更新码本；和/或，在查找结果为未查找到相似图像特征的情况下，基于目标高分辨特征新建码元，得到包括新建码元的第二更新码本。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：在查找结果为未查找到相似图像特征的情况下，基于目标高分辨特征新建码元，得到包括新建码元的第二更新码本之后，方法还包括：对第二更新码本所包括的码元的数量进行统计，得到统计数；在统计数超过预定数量阈值的情况下，对第二更新码本所包括的码元进行删除，使得第二更新码本所包括的码元的数量低于预定数量阈值。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于第一图像集合中所包括的高分辨率图像，对初始码本中的多个初始码元进行更新，得到包括多个目标码元的目标码本，包括：将第一图像集合中所包括的高分辨率图像作为训练样本对第一初始转换器模型进行模型训练，得到第一目标转换器模型，其中，第一初始转换器模型包括：第一编码器，量化器，码本以及第一解码器，第一编码器用于提取高分辨率图像中的图像特征，量化器用于对提取的图像特征进行量化，得到量化特征，码本用于存储量化特征，第一解码器用于基于量化特征进行图像恢复，得到第一恢复图像，第一目标转换器模型对应的目标码本为模型训练得到的使输入的高分辨率图像与对应得到的第一恢复图像的差异最小的码本；从第一目标转换器模型中提取出目标码本。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：采用目标码本对第一图像进行重构，得到第二图像，包括：获取第一图像中的多个第一图像特征；分别从目标码本所包括的多个目标码元对应的目标图像特征中,查找出分别与多个第一图像特征相似的相似目标特征；基于多个第一图像特征，以及分别与多个第一图像特征相似的相似目标特征，得到多个第二图像特征；基于多个第二图像特征，得到第二图像。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于多个第一图像特征，以及分别与多个第一图像特征相似的相似目标特征，得到多个第二图像特征，包括：分别将多个第一图像特征与对应的相似目标特征进行融合，得到多个第二图像特征。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：分别将多个第一图像特征与对应的相似目标特征进行融合，得到多个第二图像特征，包括：分别将多个第一图像特征与对应的相似目标特征进行特征叠加，得到多个第二图像特征。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：分别将多个第一图像特征与对应的相似目标特征进行融合，得到多个第二图像特征，包括：将多个第一图像特征和与多个第一图像特征对应的相似目标特征进行拼接，得到拼接特征；对拼接特征进行卷积操作，得到特征偏移量；基于特征偏移量，对拼接特征进行形变卷积操作，得到多个第二图像特征。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：采用目标码本对第一图像进行重构，得到第二图像，包括：基于目标码本，得到第二目标转换器模型，其中，第二目标转换器模型基于第二图像集合对第二初始转换器模型进行模型训练得到，第二图像集合包括：多个图像对，图像对包括：低分辨率图像和与低分辨率图像对应的高分辨率图像，第二初始转换器模型包括：第二编码器，量化器，目标码本以及第二解码器，第二编码器用于提取低分辨率图像的图像特征，量化器用于基于目标码本对提取的图像特征进行量化，得到量化特征，第二解码器用于对量化特征进行图像恢复，得到第二恢复图像，第二目标转换器模型为模型训练使得第二恢复图像为高分辨率图像所对应的模型；将第一图像输入第二目标转换器模型，得到第二图像。
可选地，在本实施例中，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：目标图像特征包括高分辨率图像的高频特征。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
获取第一图像，其中，所述第一图像为分辨率低于预定分辨率阈值的低分辨率图像；
获取目标码本，其中，所述目标码本包括多个目标码元，所述多个目标码元分别对应记录有高分辨率图像中的目标图像特征，所述高分辨率图像为分辨率高于所述预定分辨率阈值的图像；
采用所述目标码本对所述第一图像进行重构，得到第二图像，其中，所述第二图像的分辨率高于所述预定分辨率阈值。
2.根据权利要求1所述的方法，其特征在于，所述获取目标码本，包括：
获取第一图像集合；
获取包括多个初始码元的初始码本，其中，所述多个初始码元分别对应记录有初始值；
基于所述第一图像集合中所包括的高分辨率图像，对所述初始码本中的所述多个初始码元进行更新，得到包括所述多个目标码元的目标码本。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像集合中所包括的高分辨率图像，对所述初始码本中的所述多个初始码元进行更新，得到包括所述多个目标码元的目标码本，包括：
针对所述第一图像集合中的任一目标高分辨率图像，提取所述目标高分辨率图像的多个高分辨率特征；
基于所述多个高分辨率特征，对所述初始码本中的所述多个初始码元分别对应记录的初始值进行更新，得到针对所述目标高分辨率图像得到的第一更新码本；
基于所述第一图像集合中除所述目标高分辨率图像之外的其它高分辨率图像，对所述第一更新码本执行迭代更新处理的操作步骤，直到满足迭代停止条件，得到所述目标码本，其中，所述迭代停止条件包括迭代次数达到所述其它高分辨率图像的数量，或者，基于迭代更新得到的码本解码出的图像与迭代对应的高分辨率图像之间的差异小于预定差值阈值。
4.根据权利要求3所述的方法，其特征在于，所述基于所述多个高分辨率特征，对所述初始码本中的所述多个初始码元分别对应记录的初始值进行更新，得到针对所述目标高分辨率图像得到的第一更新码本，包括：
针对所述多个高分辨率特征中的任一目标高分辨率特征，从所述初始码本中的所述多个初始码元分别对应记录的初始值中查找相似图像特征，得到查找结果；并基于查找结果，对所述初始码本中的所述多个初始码元进行更新，得到针对所述目标高分辨率特征得到的第二更新码本；
基于所述多个高分辨率特征中除所述目标高分辨率特征之外的其它高分辨率特征，对所述第二更新码本执行迭代更新处理的操作步骤，直到迭代完所述其它高分辨率特征，得到所述第一更新码本。
5.根据权利要求4所述的方法，其特征在于，所述针对所述多个高分辨率特征中的任一目标高分辨率特征，从所述初始码本中的所述多个初始码元分别对应记录的初始值中查找相似图像特征，包括：
从所述初始码本中的所述多个初始码元分别对应记录的初始值中查找与所述目标高分辨率特征最为相似的初步相似特征；
获取所述初步相似特征与所述目标高分辨率特征之间的相似度；
在所述相似度高于预定相似度阈值的情况下，确定所述初步相似特征为所述相似图像特征。
6.根据权利要求4所述的方法，其特征在于，所述基于查找结果，对所述初始码本中的所述多个初始码元进行更新，得到针对所述目标高分辨率特征得到的第二更新码本，包括：
在所述查找结果为查找到相似图像特征的情况下，将所述初始码本中对应的初始值替换为所述目标高分辨率特征，得到针对所述目标高分辨率特征得到的所述第二更新码本；和/或，
在所述查找结果为未查找到相似图像特征的情况下，基于所述目标高分辨特征新建码元，得到包括所述新建码元的所述第二更新码本。
7.根据权利要求6所述的方法，其特征在于，在所述查找结果为未查找到相似图像特征的情况下，基于所述目标高分辨特征新建码元，得到包括所述新建码元的所述第二更新码本之后，所述方法还包括：
对所述第二更新码本所包括的码元的数量进行统计，得到统计数；
在所述统计数超过预定数量阈值的情况下，对所述第二更新码本所包括的码元进行删除，使得所述第二更新码本所包括的码元的数量低于所述预定数量阈值。
8.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像集合中所包括的高分辨率图像，对所述初始码本中的所述多个初始码元进行更新，得到包括所述多个目标码元的目标码本，包括：
将所述第一图像集合中所包括的高分辨率图像作为训练样本对第一初始转换器模型进行模型训练，得到第一目标转换器模型，其中，所述第一初始转换器模型包括：第一编码器，量化器，码本以及第一解码器，所述第一编码器用于提取所述高分辨率图像中的图像特征，所述量化器用于对提取的所述图像特征进行量化，得到量化特征，所述码本用于存储所述量化特征，所述第一解码器用于基于所述量化特征进行图像恢复，得到第一恢复图像，所述第一目标转换器模型对应的目标码本为模型训练得到的使输入的高分辨率图像与对应得到的第一恢复图像的差异最小的码本；
从所述第一目标转换器模型中提取出所述目标码本。
9.根据权利要求1所述的方法，其特征在于，所述采用所述目标码本对所述第一图像进行重构，得到第二图像，包括：
获取所述第一图像中的多个第一图像特征；
分别从所述目标码本所包括的多个目标码元对应的目标图像特征中,查找出分别与所述多个第一图像特征相似的相似目标特征；
基于所述多个第一图像特征，以及分别与所述多个第一图像特征相似的相似目标特征，得到多个第二图像特征；
基于所述多个第二图像特征，得到所述第二图像。
10.根据权利要求9所述的方法，其特征在于，所述基于所述多个第一图像特征，以及分别与所述多个第一图像特征相似的相似目标特征，得到多个第二图像特征，包括：
分别将所述多个第一图像特征与对应的相似目标特征进行特征叠加，得到所述多个第二图像特征；
或者，
将所述多个第一图像特征和与所述多个第一图像特征对应的相似目标特征进行拼接，得到拼接特征；对所述拼接特征进行卷积操作，得到特征偏移量；基于所述特征偏移量，对所述拼接特征进行形变卷积操作，得到所述多个第二图像特征。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述采用所述目标码本对所述第一图像进行重构，得到第二图像，包括：
基于所述目标码本，得到第二目标转换器模型，其中，所述第二目标转换器模型基于第二图像集合对第二初始转换器模型进行模型训练得到，所述第二图像集合包括：多个图像对，所述图像对包括：低分辨率图像和与所述低分辨率图像对应的高分辨率图像，第二初始转换器模型包括：第二编码器，量化器，所述目标码本以及第二解码器，所述第二编码器用于提取低分辨率图像的图像特征，所述量化器用于基于所述目标码本对提取的所述图像特征进行量化，得到量化特征，所述第二解码器用于对所述量化特征进行图像恢复，得到第二恢复图像，所述第二目标转换器模型为模型训练使得所述第二恢复图像为高分辨率图像所对应的模型；
将所述第一图像输入所述第二目标转换器模型，得到所述第二图像。
12.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取第一图像，其中，所述第一图像为分辨率低于预定分辨率阈值的低分辨率图像；
第二获取模块，用于获取目标码本，其中，所述目标码本包括多个目标码元，所述多个目标码元分别对应记录有高分辨率图像中的目标图像特征，所述高分辨率图像为分辨率高于所述预定分辨率阈值的图像；
重构模块，用于采用所述目标码本对所述第一图像进行重构，得到第二图像，其中，所述第二图像的分辨率高于所述预定分辨率阈值。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至11中任意一项所述的图像处理方法。
14.一种计算机设备，其特征在于，包括：存储器和处理器，
所述存储器存储有计算机程序；
所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行权利要求1至11中任意一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310274904.2A CN116228544B (zh) | 2023-03-15 | 2023-03-15 | 图像处理方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310274904.2A CN116228544B (zh) | 2023-03-15 | 2023-03-15 | 图像处理方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116228544A true CN116228544A (zh) | 2023-06-06 |
| CN116228544B CN116228544B (zh) | 2024-04-26 |
Family
ID=86580530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310274904.2A Active CN116228544B (zh) | 2023-03-15 | 2023-03-15 | 图像处理方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116228544B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116684607A (zh) * | 2023-07-26 | 2023-09-01 | 腾讯科技（深圳）有限公司 | 图像压缩和解压缩方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013127718A (ja) * | 2011-12-19 | 2013-06-27 | Univ Of Tsukuba | 超解像画像処理装置及び超解像画像処理用コードブック作成装置 |
| CN105139372A (zh) * | 2015-02-06 | 2015-12-09 | 哈尔滨工业大学深圳研究生院 | 一种用于前景检测的码本改进算法 |
| CN108648210A (zh) * | 2018-05-09 | 2018-10-12 | 西安天和防务技术股份有限公司 | 一种静态复杂场景下快速多目标检测方法及装置 |
| WO2019061064A1 (zh) * | 2017-09-27 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
| CN112419153A (zh) * | 2020-11-23 | 2021-02-26 | 深圳供电局有限公司 | 图像超分辨率重建方法、装置、计算机设备和存储介质 |
| CN114936964A (zh) * | 2022-05-30 | 2022-08-23 | 中国工商银行股份有限公司 | 图像分辨率的重建方法及其装置、电子设备及存储介质 |
| CN115205117A (zh) * | 2022-07-04 | 2022-10-18 | 中国电信股份有限公司 | 图像重建方法及装置、计算机存储介质、电子设备 |
| CN115345995A (zh) * | 2022-08-10 | 2022-11-15 | 先临三维科技股份有限公司 | 三维重建方法及装置、系统 |
| CN115409716A (zh) * | 2022-11-01 | 2022-11-29 | 杭州网易智企科技有限公司 | 视频处理方法、装置、存储介质及设备 |
-
2023
- 2023-03-15 CN CN202310274904.2A patent/CN116228544B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013127718A (ja) * | 2011-12-19 | 2013-06-27 | Univ Of Tsukuba | 超解像画像処理装置及び超解像画像処理用コードブック作成装置 |
| CN105139372A (zh) * | 2015-02-06 | 2015-12-09 | 哈尔滨工业大学深圳研究生院 | 一种用于前景检测的码本改进算法 |
| WO2019061064A1 (zh) * | 2017-09-27 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
| CN108648210A (zh) * | 2018-05-09 | 2018-10-12 | 西安天和防务技术股份有限公司 | 一种静态复杂场景下快速多目标检测方法及装置 |
| CN112419153A (zh) * | 2020-11-23 | 2021-02-26 | 深圳供电局有限公司 | 图像超分辨率重建方法、装置、计算机设备和存储介质 |
| CN114936964A (zh) * | 2022-05-30 | 2022-08-23 | 中国工商银行股份有限公司 | 图像分辨率的重建方法及其装置、电子设备及存储介质 |
| CN115205117A (zh) * | 2022-07-04 | 2022-10-18 | 中国电信股份有限公司 | 图像重建方法及装置、计算机存储介质、电子设备 |
| CN115345995A (zh) * | 2022-08-10 | 2022-11-15 | 先临三维科技股份有限公司 | 三维重建方法及装置、系统 |
| CN115409716A (zh) * | 2022-11-01 | 2022-11-29 | 杭州网易智企科技有限公司 | 视频处理方法、装置、存储介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 潘宗序;黄慧娟;禹晶;胡少兴;张爱武;马洪兵;孙卫东;: "基于压缩感知与结构自相似性的遥感图像超分辨率方法", 信号处理, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116684607A (zh) * | 2023-07-26 | 2023-09-01 | 腾讯科技（深圳）有限公司 | 图像压缩和解压缩方法、装置、电子设备及存储介质 |
| CN116684607B (zh) * | 2023-07-26 | 2023-11-14 | 腾讯科技（深圳）有限公司 | 图像压缩和解压缩方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116228544B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108335306B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106664467A (zh) | 实时视频摘要 | |
| CN116228544B (zh) | 图像处理方法、装置及计算机设备 | |
| CN115359261B (zh) | 图像识别方法、计算机可读存储介质以及电子设备 | |
| CN107908998B (zh) | 二维码解码方法、装置、终端设备及计算机可读存储介质 | |
| CN111327946A (zh) | 视频质量评价和特征字典的训练方法、装置和介质 | |
| CN110991298B (zh) | 图像的处理方法和装置、存储介质及电子装置 | |
| CN111768467A (zh) | 图像填充方法、装置、设备及存储介质 | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| CN109615620A (zh) | 图像压缩度识别方法、装置、设备及计算机可读存储介质 | |
| CN116363429A (zh) | 图像识别模型的训练方法、图像识别方法、装置及设备 | |
| CN116433491A (zh) | 一种图像处理方法、装置、设备、存储介质及产品 | |
| CN114898122A (zh) | 图像处理方法、存储介质以及计算机终端 | |
| CN111383289A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN114998694A (zh) | 图像处理模型的训练方法、装置、设备、介质和程序产品 | |
| CN115100417A (zh) | 图像处理方法、存储介质以及电子设备 | |
| CN112288748B (zh) | 一种语义分割网络训练、图像语义分割方法及装置 | |
| CN110929866B (zh) | 神经网络模型的训练方法、装置和系统 | |
| CN113408705A (zh) | 用于图像处理的神经网络模型训练方法及装置 | |
| Wu et al. | Edge missing image inpainting with compression–decompression network in low similarity images | |
| CN113658084B (zh) | 图像处理方法、装置、存储介质以及电子设备 | |
| CN112887726B (zh) | 图像处理方法和装置、存储介质及电子设备 | |
| WO2024051690A1 (zh) | 图像的修复方法、装置及电子设备 | |
| CN107633481A (zh) | 基于分层的图像处理方法、装置、计算设备及存储介质 | |
| CN116866674B (zh) | 应用人工智能的直播图像互动信息处理方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |