CN111598779B - 图像超分辨率处理方法和装置、电子设备及存储介质 - Google Patents

图像超分辨率处理方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111598779B
CN111598779B CN202010406920.9A CN202010406920A CN111598779B CN 111598779 B CN111598779 B CN 111598779B CN 202010406920 A CN202010406920 A CN 202010406920A CN 111598779 B CN111598779 B CN 111598779B
Authority
CN
China
Prior art keywords
image
super
image block
block
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010406920.9A
Other languages
English (en)
Other versions
CN111598779A (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010406920.9A priority Critical patent/CN111598779B/zh
Publication of CN111598779A publication Critical patent/CN111598779A/zh
Application granted granted Critical
Publication of CN111598779B publication Critical patent/CN111598779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像超分辨率处理方法，包括：获取待处理图像，将所述待处理图像进行分块，得到各个原始图像块；将原始图像块进行扩充，得到对应的各个扩充图像块；识别各个扩充图像块在不同维度对应的块特征信息；获取扩充图像块对应的目标处理结果指标信息；基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，为各个扩充图像块确定对应的目标超分辨率处理方式；根据对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块；对各个重建图像块进行边界融合得到目标超分辨率图像。还公开了一种图像超分辨率处理装置、电子设备以及计算机可读存储介质，在保证图像质量的情况下降低了运算复杂度。

Description

图像超分辨率处理方法和装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像超分辨率处理方法和装置、电子设备以及计算机可读存储介质。
背景技术
近年来，随着计算机技术的快速发展，图像处理技术日渐多样化，超分辨率技术(Super-Resolution,SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
传统的图像超分辨率处理方法先将图像通过第一图像超分辨率处理方法从低分辨率超分到目标的图像的高分辨率，然后再采用第二图像超分辨率处理方法，将该高分辨率图像进行优化和修复，最终输出同样分辨率的图像，这种方式的运算复杂度较高，不具有自适应性。
发明内容
本申请实施例提供一种图像超分辨率处理方法和装置、电子设备以及计算机可读存储介质，针对图像中的不同区域和输出需求，自适应地选取不同的算法进行超分辨率处理并融合，充分利用了不同超分辨率处理算法的各自优点，在保证图像质量的情况下降低了运算复杂度。
一种图像超分辨率处理方法，包括：
获取待处理图像，将所述待处理图像进行分块，得到各个原始图像块；
将所述原始图像块进行扩充，得到对应的各个扩充图像块；
识别所述各个扩充图像块在不同维度对应的块特征信息；
获取所述扩充图像块对应的目标处理结果指标信息；
基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据所述扩充图像块对应的块特征信息和目标处理结果指标信息，为所述各个扩充图像块确定对应的目标超分辨率处理方式；
根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块；
对所述各个重建图像块进行边界融合得到目标超分辨率图像。
一种图像超分辨率处理装置，包括：
图像块模块，用于获取待处理图像，将所述待处理图像进行分块，得到各个原始图像块，将所述原始图像块进行扩充，得到对应的各个扩充图像块；
识别模块，用于识别所述各个扩充图像块在不同维度对应的块特征信息；
目标超分辨率处理方式确定模块，用于获取所述扩充图像块对应的目标处理结果指标信息，基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据所述扩充图像块对应的块特征信息和目标处理结果指标信息，为所述各个扩充图像块确定对应的目标超分辨率处理方式；
重建模块，用于根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块，对所述各个重建图像块进行边界融合得到目标超分辨率图像。
一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取待处理图像，将所述待处理图像进行分块，得到各个原始图像块；
将所述原始图像块进行扩充，得到对应的各个扩充图像块；
识别所述各个扩充图像块在不同维度对应的块特征信息；
获取所述扩充图像块对应的目标处理结果指标信息；
基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据所述扩充图像块对应的块特征信息和目标处理结果指标信息，为所述各个扩充图像块确定对应的目标超分辨率处理方式；
根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块；
对所述各个重建图像块进行边界融合得到目标超分辨率图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取待处理图像，将所述待处理图像进行分块，得到各个原始图像块；
将所述原始图像块进行扩充，得到对应的各个扩充图像块；
识别所述各个扩充图像块在不同维度对应的块特征信息；
获取所述扩充图像块对应的目标处理结果指标信息；
基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据所述扩充图像块对应的块特征信息和目标处理结果指标信息，为所述各个扩充图像块确定对应的目标超分辨率处理方式；
根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块；
对所述各个重建图像块进行边界融合得到目标超分辨率图像。
上述图像超分辨率处理方法、装置、电子设备以及计算机可读存储介质，针对图像中的不同区域和输出需求，自适应地选取不同的算法进行超分辨率处理并融合，充分利用了不同超分辨率处理算法的各自优点，在保证图像质量的情况下降低了运算复杂度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像超分辨率处理方法的应用环境图；
图2为一个实施例中图像超分辨率处理方法的流程示意图；
图3为一个实施例中得到各个原始图像块的示意图；
图4为一个实施例中得到扩充图像块的示意图；
图5为一个实施例中原始图像块在边界处对称填充后得到扩充图像块的示意图；
图6为一个实施例中对称填充方式的填充示意图；
图7为一个实施例中两个相邻重建图像块进行边界融合示意图；
图8为一个实施例中处理方式判定网络模型的训练的流程示意图；
图9为一个实施例中图像超分辨率处理系统的示意图；
图10为一个实施例中图像超分辨率处理装置的结构框图；
图11为一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像超分辨率处理方法的应用环境图。如图1所示，该应用环境包括终端110和服务器120，终端110获取待处理图像，将包括待处理图像的图像处理请求发送至服务器120，服务器120将待处理图像进行分块，得到各个原始图像块，将原始图像块进行扩充，得到对应的各个扩充图像块，识别各个扩充图像块在不同维度对应的块特征信息，获取扩充图像块对应的目标处理结果指标信息；基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据扩充图像块对应的块特征信息和目标处理结果指标信息，为各个扩充图像块确定对应的目标超分辨率处理方式；根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块，对各个重建图像块进行边界融合得到目标超分辨率图像，服务器120将目标超分辨率图像返回终端110。其中终端110可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、车载电脑、穿戴式设备等终端设备。终端设备可以从服务器下载、应用各类型的图像资源作为待处理图像。其中服务器120可以为一个服务器或服务器集群。
在一些实施例中，图像超分辨率处理方法可以应用于终端110，由终端110直接执行上述步骤生成目标超分辨率图像。
图2为一个实施例中图像超分辨率处理方法的流程图。图2所示的图像超分辨率处理方法可应用于上述终端110或服务器120中，包括：
步骤202，获取待处理图像，将待处理图像进行分块，得到各个原始图像块，将原始图像块进行扩充，得到对应的各个扩充图像块。
其中，待处理图像可以是终端实时拍摄的图像，也可以是预先配置的图像，如网络中下载的图像，电子相册中的图像等。待处理图像可以为一个或多个。
具体地，对图像设置水平和垂直遍历步长，并根据两个遍历步长遍历整个待处理图像从而得到分块后的原始图像块，原始图像块的长和宽分别与水平和垂直遍历步长对应。待处理图像中，原始图像块的大小可以一致，且大小可设定。若原始图像块在边界处，得到的分块的长或宽小于遍历步长时，可进行像素填充，使得各个原始图像块的大小一致，进行填充的方式可自定义，如使用预设像素填充，或使用待处理图像边界附近的原始像素值进行填充，可为对称填充等方式。
在一个实施例中，原始图像块的大小不一致，如一行的图像块对应的大小一致，不同行的图像块对应的大小不一致。可以根据图像内容自适应的改变原始图像块的大小。
将原始图像块进行扩充，可以在原始图像块的各个方向进行扩充，如上、下、左、右至少一个方向进行扩充，进行扩充的扩充像素范围可自定义，扩充后得到的扩充图像块的区域包含对应的原始图像块。进行扩充的扩充像素范围内的像素值为待处理图像对应区域的像素值。当遇到边界时，可以通过预设像素值对扩充像素范围内的像素值进行填充，填充的方式可自定义，如以图像中水平或垂直的边界位置附近的像素值进行补充。在一个实施例中，以原始图像块边界处的边为中间线，对扩充像素范围内的像素值进行对称补充。如图3所示，为一个实施例中，得到各个原始图像块的示意图，图4为一个实施例中，对其中一个原始图像块进行扩充，得到对应的扩充图像块的示意图，图5为一个实施例中，原始图像块在边界处对称填充后得到扩充图像块的示意图，图6为一个实施例中，对称填充方式的填充示意图。
在一个实施例中，将所述原始图像块进行扩充，得到对应的各个扩充图像块包括：获取原始图像块在各个方向上对应的扩充像素范围；基于扩充像素范围，对原始图像块在各个方向上扩充对应的图像像素得到扩充图像块，扩充图像块所在区域包含原始图像块所在区域，各个原始图像块在对应的扩充图像块中的位置一致。
具体地，在各个方向上对应的扩充像素范围可以相同或不同，如在第一方向上扩充第一像素范围，在第二方向上扩充第二像素范围，在第三方向上扩充第三像素范围，在第四方向上扩充第四像素范围。如对一个原始图像块分别向上、下、左、右方向扩充5个像素范围。或向上、下方向分别扩充3个像素范围，向左、右方向扩充5个像素范围。每个原始图像块在对应的扩充图像块中的位置不变，但是具体位置可以为任意。
本实施例中，通过对原始图像块在各个方向上扩充对应的图像像素得到扩充图像块，各个原始图像块在对应的扩充图像块中的位置一致，保证了处理的一致性，便于后续进行融合，提高了图像处理的效率和图像质量。
步骤204，识别各个扩充图像块在不同维度对应的块特征信息。
其中，块特征信息是指对扩充图像块在某个维度上提取特征后得到的信息，体现了扩充图像块在某个维度上的特征。
具体地，不同的维度可以是频域的维度或像素域的维度，可以通过不同的特征提取算法在不同的维度对扩充图像块提取特征得到对应的块特征信息。可以直接对扩充图像块提取特征或将扩充图像块变换到频域，在频域提取特征。可以将扩充图像块输入对应维度的已训练的特征提取网络提取特征。提取特征的维度包括但不限于颜色特征、纹理特征、形状特征和空间关系特征等，其中纹理特征包括纹理复杂度、纹理主方向、纹理类型等，形状特征包括边缘特征、轮廓特征等。
步骤206，获取扩充图像块对应的目标处理结果指标信息，基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据扩充图像块对应的块特征信息和目标处理结果指标信息，为各个扩充图像块确定对应的目标超分辨率处理方式。
其中，超分辨率处理方式包括对图像的增强和分辨率缩放，其中，图像的增强包括锐化，平滑，去噪，去模糊，去雾，修复等操作之一，或组合；若为组合，其处理顺序可以为任意指定。分辨率缩放为对原图进行分辨率的放大或缩小，缩放的比例为输出需要的比例。
超分辨率处理方式可以包括以下类型：传统算法：如方向性插值，主成分分析等。神经网络算法：如SRCNN(Image Super-resolution Using Deep ConvolutionalNetworks)，EDVR(Video Restoration with Enhanced Deformable ConvolutionalNetworks)，VDSR(Very Deep network for Super-Resolution)等。
字典法：如RAISR(Rapid and Accurate Super Image Resolution)等。以上三种的结合，或其他。
目标处理结果指标信息是指描述处理结果需求的信息，可以包括不同维度上的指标描述，如图像质量、图像质量的稳定性、图像运算复杂度等，可以以块为单位描述各个扩充图像块对应的目标处理结果指标信息，不同的扩充图像块对应的目标处理结果指标信息的种类和数量可以不同。也可以以图像为单位描述整个图像对应的目标处理结果指标信息，当以整个图像为单位描述时，整个图像对应的各个扩充图像块具有相同的目标处理结果指标信息。
具体地，可以根据处理图像所对应的设备的性能或网络带宽或图像内容或处理时间要求，确定目标处理结果指标信息。块特征信息、超分辨率处理方式、处理结果指标信息之间存在关联关系，是指对于同一个超分辨率处理方式，具有相同特征的图像块，进行处理后，存在处理结果的相似性，而不同的超分辨率处理方式对具有相同特征的图像块，进行处理后，会得到不同的处理结果。通过历史经验，建立各个块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，从而当块特征信息、处理结果指标信息确定时，可查找对应的目标超分辨率处理方式。在一个实施例中，将扩充图像块以纹理复杂度分为简单，中等和复杂三种，对于简单的扩充图像块采用双线性插值的方法；对于中等的扩充图像块采用RAISR的方法；对复杂的扩充图像块采用EDVR的方法进行分别处理。
在一个实施例中，一个扩充图像块确定对应的目标超分辨率处理方式可以为一种或多种。
步骤208，根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块。
具体地，当扩充图像块对应的目标超分辨率处理方式为一种时，则可对扩充图像块直接进行一次处理得到对应的重建图像块。当扩充图像块对应的目标超分辨率处理方式为多种时，则可分别通过多种不同的目标超分辨率处理方式对扩充图像块进行对应的处理得到多个重建图像块。需要将多个重建图像块进行加权融合得到最终的重建图像块。进行加权时，可为不同的目标超分辨率处理方式对应的重建图像块分配不同的加权系数，加权系数的分配算法可自定义。
步骤210，对各个重建图像块进行边界融合得到目标超分辨率图像。
具体地，对相邻重建图像块之间相互重合的区域进行边界融合包括加权融合和边界滤波，以去除边界效应。如图7所示为两个相邻重建图像块进行边界融合示意图。具体的实现方式包括先加权融合，再进行纹理滤波，但不限于此。其中加权融合的公式为：
Figure BDA0002491678850000051
其中i为融合的第i个位置的像素，w为权重，SR0和SR 1分别表示两个重建图像块的包括的重合区域，且w不能全为0，w的设置方法不限定，P表示像素值。
在一个实施例中，边界滤波的公式如下：
Figure BDA0002491678850000052
其中Px为滤波后得到的x位置的像素值，T为滤波所需要的周围像素的总数，Pn为滤波前的选定的第n个像素，w可设定。
可以理解，若相邻重建图像块之间无重合区域，该步骤可以省略不做。
本实施例中的图像超分辨率处理方法，通过获取待处理图像，将待处理图像进行分块，得到各个原始图像块，将原始图像块进行扩充，得到对应的各个扩充图像块；识别各个扩充图像块在不同维度对应的块特征信息；获取扩充图像块对应的目标处理结果指标信息；基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据扩充图像块对应的块特征信息和目标处理结果指标信息，为各个扩充图像块确定对应的目标超分辨率处理方式；根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块，对各个重建图像块进行边界融合得到目标超分辨率图像，针对图像中的不同区域和输出需求，自适应地选取不同的算法进行超分辨率处理并融合，充分利用了不同超分辨率处理算法的各自优点，在保证图像质量的情况下降低了运算复杂度。
在一个实施例中，识别各个扩充图像块在不同维度对应的块特征信息，包括以下识别步骤中的至少一种：识别各个扩充图像块的纹理复杂度特征，得到对应的纹理复杂度等级信息，识别各个扩充图像块的纹理方向特征，得到对应的纹理角度信息；识别各个扩充图像块的纹理类型特征，得到对应的纹理类型信息。
具体地，纹理复杂度可以从平坦到复杂区分为不同等级，具体可采用梯度值进行衡量，但不限于此。可以通过纹理主方向描述纹理方向特征，纹理主方向可以从0度到360度区分为不同等级，具体可采用方向相关性进行衡量，但不限于此。纹理类型包括自然纹理和人造纹理两类，具体可进行更细节的划分，如自然纹理包括树叶纹理，衣服纹理等，人造纹理包括游戏界面，摩尔纹等，不限于此。
本实施例中，识别各个扩充图像块的纹理复杂度特征、纹理方向特征、纹理类型特征，从不同的角度描述扩充图像块的特征，便于后续更精准的通过块特征信息确定匹配的目标超分辨率处理方式。
在一个实施例中，关联关系包括以下关系中的至少一种：第一块特征信息、第一超分辨率处理方式、图像质量之间的第一关联关系。第二块特征信息、第二超分辨率处理方式、图像质量的稳定性之间的第二关联关系。第三块特征信息、第三超分辨率处理方式、图像运算复杂度之间的第三关联关系。
具体地，不同的超分辨率处理方式对具有相同块特征信息的超分图像块，进行处理后，得到重建图像块的不同的图像质量，图像质量可以是已经量化分级的，从而建立第一块特征信息、第一超分辨率处理方式、图像质量之间的第一关联关系。不同的超分辨率处理方式对具有相同块特征信息的超分图像块，进行处理后，得到重建图像块的不同的图像质量的稳定性，图像质量的稳定性可以是已经量化分级的，从而建立第二块特征信息、第二超分辨率处理方式、图像质量的稳定性之间的第二关联关系。不同的超分辨率处理方式对具有相同块特征信息的超分图像块，进行处理，处理所需要的时间不同，即运算复杂度不同，且该运算复杂度可以是已经量化分级的，从而建立第三块特征信息、第三超分辨率处理方式、图像运算复杂度之间的第二关联关系。
其中第一块特征信息、第二块特征信息、第三块特征信息是块特征信息中的任意一种，第一超分辨率处理方式、第二超分辨率处理方式、第三超分辨率处理方式是各种超分辨率处理方式中的任意一种。
本实施例中，通过各种实验确定三种不同的关联关系，这些关联关系作为经验值，作为后续确定目标超分辨率处理方式的依据，从而可高效准确的通过块特征信息与目标处理结果指标信息查找匹配的目标超分辨率处理方式。
在一个实施例中，获取扩充图像块对应的目标处理结果指标信息包括：获取待处理图像对应的处理场景；根据处理场景确定目标图像质量和/或目标图像质量稳定性；获取待处理图像对应的处理规模，根据处理规模确定目标图像运算复杂度。
具体地，待处理图像对应的处理场景可以通过待处理图像所在的处理环境信息，应用场景信息确定。处理环境信息包括设备环境信息和网络环境信息，如手机的处理器的性能、存储器的大小等，网络环境信息包括网络带宽等。应用场景信息包括实时性要求高的应用场景，如实时会议、实时监控、游戏应用等，或实时性要求低的应用场景，如美颜图像应用等。不同的处理场景对图像质量和图像质量稳定性有不同的需求，从而根据处理场景确定目标图像质量和/或目标图像质量稳定性。通过多个不同的参数综合确定，可建立模型，将不同的场景参数输入模型，由模型通过综合判断输出目标图像质量和/或目标图像质量稳定性。处理规模可以与待处理图像的分辨率、缩放大小相关，如待处理图像的分辨率较小，而目标分辨率较大，则可能需要较长的运算时间，再结合当前的实时性要求等条件确定目标图像运算复杂度，如图像本身纹理较复杂，则需要分配相对较高的目标图像运算复杂度，以免处理结果图像质量差。如果需要优先保证实时性，则需要较小的处理规模，配置较低的目标图像运算复杂度。
可以理解，如果只对图像质量、图像质量稳定性、图像运算复杂度中的一项或两项有要求，则可只需要其中一种或两种指标信息。
本实施例中，通过处理场景、处理规模自适应的确定目标图像质量、目标图像质量稳定性和目标图像运算复杂度，使得目标超分辨率图像与处理场景、处理规模相适应。
在一个实例中，步骤206包括：根据第一关联关系，选择当前扩充图像块的当前块特征信息对应的，满足目标图像质量的超分辨率处理方式作为当前扩充图像块的第一候选超分辨率处理方式，当前扩充图像块为各个扩充图像块中的图像块。根据第二关联关系，选择当前扩充图像块的当前块特征信息对应的，满足目标图像质量稳定性的超分辨率处理方式作为当前扩充图像块的第二候选超分辨率处理方式。根据第三关联关系，选择当前扩充图像块的当前块特征信息对应的，满足目标图像运算复杂度的超分辨率处理方式作为当前扩充图像块的第三候选超分辨率处理方式。将第一候选超分辨率处理方式、第二候选超分辨率处理方式、第三候选超分辨率处理方式中共同的超分辨率处理方式作为当前扩充图像块的目标超分辨率处理方式。
具体地，将各个扩充图像块中的一个图像块作为当前扩充图像块，根据当前扩充图像块的当前块特征信息和各个目标处理结果指标信息，分别从对应的各个关联关系中确定各个目标处理结果指标信息对应的候选超分辨率处理方式，由于多个目标处理结果指标信息要同时满足，所以需要将各个候选超分辨率处理方式中共同的超分辨率处理方式作为当前扩充图像块的目标超分辨率处理方式。举例说明，如当前扩充图像块A对应的当前块特征信息包括纹理复杂度2级，纹理方向为水平，纹理类型为人脸，目标图像质量为超清，目标图像质量稳定性为95％的图像质量稳定，目标图像运算复杂度为1级。根据第一关联关系，选择当前块特征信息对应的，处理结果满足目标图像质量为超清的超分辨率处理方式包括{方向性插值，VDSR}作为第一候选超分辨率处理方式。根据第二关联关系，选择当前块特征信息对应的，处理结果满足目标图像质量稳定性为95％的超分辨率处理方式包括{VDSR，RAISR}作为第二候选超分辨率处理方式。根据第三关联关系，选择当前块特征信息对应的，处理结果满足目标图像运算复杂度为1级的超分辨率处理方式包括{VDSR，EDVR}作为第三候选超分辨率处理方式。则将{方向性插值，VDSR}、{VDSR，RAISR}、{VDSR，EDVR}中共同的VDSR作为目标超分辨率处理方式。
本实施例中，当目标处理结果指标信息包括多个时，通过各个关联关系先确定各个候选超分辨率处理方式，再确定目标超分辨率处理方式，目标超分辨率处理方式可以满足各个目标处理结果指标信息，使得处理结果与需求匹配。
在一个实施例中步骤206包括：将目标图像质量、目标图像质量稳定性、目标图像运算复杂度中的至少一种以及各个扩充图像块在不同维度对应的块特征信息输入已训练的处理方式判定网络模型，处理方式判定网络模型输出各个扩充图像块对应的目标超分辨率处理方式。
具体地，处理方式判定网络模型可以是深度神经网络，包括卷积层，池化层、连接层等网络结构。处理方式判定网络模型包括了块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，通过输入目标图像质量、目标图像质量稳定性、目标图像运算复杂度中的至少一种和块特征信息，可以输出目标超分辨率处理方式，从而得到各个扩充图像块对应的目标超分辨率处理方式。在进行模型训练时，可以采用有监督的训练方法训练处理方式判定网络模型，可以通过反向传播调整处理方式判定网络模型的网络参数，以得到已训练的处理方式判定网络模型。
本实施例中，通过已训练的处理方式判定网络模型直接得到各个扩充图像块对应的目标超分辨率处理方式，使得目标超分辨率处理方式的确定通过处理方式判定网络模型来完成，高效准确。
在一个实施例中，如图8所示，处理方式判定网络模型的训练包括以下步骤：
步骤302，获取训练样本，训练样本包括训练图像块、训练图像块的训练块特征信息、训练目标处理结果指标信息、标准超分辨率图像块。
其中，训练图像块是具有不同的块特征信息的图像块，以保证训练数据的完备性，提高训练结果的准确性。训练图像块的训练块特征信息是对训练图像块在不同维度上提取特征得到的，训练目标处理结果指标信息是训练过程中指定的目标处理结果指标信息，标准超分辨率图像块是满足训练目标处理结果指标信息的超分辨率图像块。
步骤304，将训练块特征信息输入处理方式判定网络模型，处理方式判定网络模型通过当前超分辨率处理方式对训练图像块进行处理得到训练超分辨率图像块，当前超分辨率处理方式作为处理方式判定网络模型的参数。
具体地，当前超分辨率处理方式是各种超分辨率处理方式中的一种，当前超分辨率处理方式作为判定网络模型的参数，从而调整模型的参数就能调整得到不同的超分辨率处理方式，经过处理方式判定网络模型所包括的各层依次处理后，输出对训练图像块进行处理得到的训练超分辨率图像块。
步骤306，根据训练超分辨率图像块和标准超分辨率图像块得到当前处理结果指标信息。根据当前处理结果指标信息与训练目标处理结果指标信息之间的差距调整所述判定网络模型的参数，直到满足收敛条件，将满足收敛条件的判定网络模型的参数对应的超分辨率处理方式作为训练目标超分辨率处理方式。建立训练块特征信息、训练目标超分辨率处理方式、训练目标处理结果指标信息之间的关联关系。
具体地，当训练目标处理结果指标信息为图像质量时，根据训练超分辨率图像块和标准超分辨率图像块对应位置的像素值计算图像质量差，根据训练超分辨率图像块和标准超分辨率图像块的图像差异构建损失函数，再按照最小化该损失函数的方向反向传播调整处理方式判定网络模型的网络参数并继续训练，直到满足收敛条件。当训练目标处理结果指标信息为图像质量的稳定性时，根据多个不同的训练超分辨率图像块的图像质量和标准超分辨率图像块的图像差异计算得到图像质量的稳定性参数，根据图像质量的稳定性参数构建损失函数，再按照最小化该损失函数的方向反向传播调整处理方式判定网络模型的网络参数并继续训练，直到满足收敛条件。当训练目标处理结果指标信息为图像运算复杂度时，获取训练超分辨率图像块的处理时间，根据处理时间计算得到图像运算复杂度参数，根据图像运算复杂度参数与训练目标处理结果指标信息之间的差距构建损失函数，再按照最小化该损失函数的方向反向传播调整处理方式判定网络模型的网络参数并继续训练，直到满足收敛条件。将满足收敛条件的判定网络模型的参数对应的超分辨率处理方式作为训练目标超分辨率处理方式。建立训练块特征信息、训练目标超分辨率处理方式、训练目标处理结果指标信息之间的关联关系。从而后续可根据块特征信息、目标处理结果指标信息由模块输出目标超分辨率处理方式。
本实施例中，将超分辨率处理方式作为判定网络模型的参数，并不断调整判定网络模型的参数从而训练得到块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，高效便利地得到关联关系。
在一个实施例中，步骤208包括：当当前扩充图像块对应的目标超分辨率处理方式包括至少两种时，分别根据目标超分辨率处理方式对当前扩充图像块进行处理得到对应的子重建图像块，当前扩充图像块为各个扩充图像块中的图像块，将各个子重建图像块进行加权融合得到对应的重建图像块。
具体地，在加权融合时，对每个目标超分辨率处理方式处理得到的子重建图像块，进行像素级的融合，融合的公式如下所示：Pi＝(wSR1×Pi SR1+…wSRk×Pi SRk)/(wSR1+…wSRk)
其中i为该子重建图像块的第i个位置的像素，Pi SRK表示通过第k种目标超分辨率处理方式得到的子重建图像块的第i个位置的像素值，w为权重，SRk为第k种目标超分辨率处理方式，且w不能全为0，w的设置方法不限定。
本实施例中，当目标超分辨率处理方式包括多个时，可以自应的调整加权系数，根据需要进行不同方式的融合，提高重建图像块的图像质量与自适应性。
在一个实施例中，步骤208包括：当已处理的扩充图像块的数量达到预设数量阈值时，返回待处理图像的第一个重建图像块，将重建图像块作为扩充图像块，进入根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块的步骤，并统计迭代处理次数；直到迭代处理次数达到第一预设次数阈值。
具体地，以固有的扩充图像块的顺序遍历，当处理完成一定数量的扩充图像块后，重新以该流程对第一个扩充图像块的重建图像块进行再次处理，同理，进行第一预设次数阈值的迭代后，完成整个待处理图像的超分辨率处理。可以理解，每次迭代所选的目标超分辨率处理方式可以不同，且数量也可以不同，边界融合和加权融合对应的权重系数也可以不同。可以将待处理图像按预设数量的原始图像块分成并行处行的原始图像块集合，实现基于块的流水式迭代。
本实施例中，通过基于块的迭代实现，可对得到的重建块进行再次的超分辨率处理，且各个块可以流水式处理，提高了超分辨率图像生成的质量和效率。
在一个实施例中，步骤208之后还包括：将目标超分辨率图像作为待处理图像，返回将待处理图像进行分块，得到各个原始图像块的步骤，直至得到更新的目标超分辨率图像，并返回将目标超分辨率图像作为待处理图像的步骤，统计迭代处理次数；直到迭代处理次数达到第二预设次数阈值。
具体地，待处理图像完成超分辨率处理后，以该输出图像作为输入，进行下一轮的超分辨率处理，其中，每次迭代的原始图像块大小和核扩充图像块大小均可以不同，实现基于图像的迭代，直到迭代处理次数达到第二预设次数阈值。可以理解上述基于块的迭代和基于图像的迭代可以进行组合，进一步提高超分辨率处理的灵活性。
本实施例中，通过基于图像的迭代实现，可对得到的目标超分辨率图像进行再次的超分辨率处理，提高了超分辨率图像生成的质量。
在一个实施例中，每次迭代过程包括以下方式中的至少一种：每次迭代对应的原始图像块不同；每次迭代对应的扩充图像块大小不同；每次迭代对应的各个扩充图像块对应的目标超分辨率处理方式不同；每次迭代对应的边界融合方式不同。
具体地，每次迭代过程，都可以设定不同的原始图像块大小，不同的扩充图像块大小，根据当次迭代对应的扩充图像块确定目标超分辨率处理方式，并进行边界融合，目标超分辨率处理方式不同，且数量也可不同，边界融合和加权融合的权重都可不同。
本实施例中，每次迭代过程都作为一次独立的超分辨率处理，过程可以完全不同，提高了超分辨率图像的质量和生成的灵活性。
在一个具体的实施例中，提供一种图像超分辨率处理方法，通过如图9所示的图像超分辨率处理系统生成超分辨率图像，图像超分辨率处理系统包括超分图像块模块，用于获取待处理图像，将待处理图像进行分块，得到各个原始图像块，将原始图像块进行扩充，得到对应的各个扩充图像块，识别模块，用于识别各个扩充图像块在不同维度对应的块特征信息，获取扩充图像块对应的目标处理结果指标信息；基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据扩充图像块对应的块特征信息和目标处理结果指标信息，为各个扩充图像块确定对应的目标超分辨率处理方式，输入目标超分辨率处理方式对应的模块进行处理得到对应的各个重建图像块，再通过加权融合模块，将对同一个扩充图像块通过多种目标超分辨率处理方式得到的子重建图像块进行加权融合得到重建图像块，再通过边界融合模块，将各个重建图像块进行边界融合得到目标超分辨率图像。
具体过程如下：
1、输入待处理图像，设置原始图像块和扩充图像块大小，分别为8x8和16x16。
2、将图像块以纹理复杂度和纹理类型进行共同分类，并设置候选的超分辨率处理方式为相同运算复杂度的多种传统算法，每次选择两种超分辨率处理方式同时对扩充图像块进行处理，各个子重建图像块，对子重建图像块进行加权融合得到重建图像块，加权融合时设置等分权重，即所有的权重系数均相等。
3、设置二级基于图像的迭代，对各个重建图像块第二次进行图像超分辨率处理，本次图像超分辨率处理时，除了设置原始图像块和扩充图像块大小均为8x8，其他设置不变，因为核心图像块和超分图像块大小一致，不存在重合区域，所以边界融合不再进行，最终输出目标超分辨率图像。
本实施例中，针对图像中的不同区域和输出需求，自适应地选取不同的算法进行超分辨率处理并融合，充分利用了不同超分辨率处理算法的各自优点，在保证图像质量的情况下降低了运算复杂度。
应该理解的是，虽然图2、图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图10为一个实施例的图像超分辨率处理装置1000的结构框图。如图10所示，一种图像超分辨率处理装置1000，包括：图像块模块1002、识别模块1004、目标超分辨率处理方式确定模块1006和重建模块1008。其中：
图像块模块1002，用于获取待处理图像，将待处理图像进行分块，得到各个原始图像块，将原始图像块进行扩充，得到对应的各个扩充图像块。
识别模块1004，用于识别各个扩充图像块在不同维度对应的块特征信息。
目标超分辨率处理方式确定模块1006，用于获取扩充图像块对应的目标处理结果指标信息，基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据扩充图像块对应的块特征信息和目标处理结果指标信息，为各个扩充图像块确定对应的目标超分辨率处理方式。
重建模块1008，用于根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块，对所述各个重建图像块进行边界融合得到目标超分辨率图像。
本实施中的图像超分辨率处理装置1000，获取待处理图像，将待处理图像进行分块，得到各个原始图像块，将原始图像块进行扩充，得到对应的各个扩充图像块；识别各个扩充图像块在不同维度对应的块特征信息；获取扩充图像块对应的目标处理结果指标信息；基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据扩充图像块对应的块特征信息和目标处理结果指标信息，为各个扩充图像块确定对应的目标超分辨率处理方式；根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块，对各个重建图像块进行边界融合得到目标超分辨率图像，针对图像中的不同区域和输出需求，自适应地选取不同的算法进行超分辨率处理并融合，充分利用了不同超分辨率处理算法的各自优点，在保证图像质量的情况下降低了运算复杂度。
在一个实施例中，图像块模块1002还用于获取原始图像块在各个方向上对应的扩充像素范围，基于扩充像素范围，对原始图像块在各个方向上扩充对应的图像像素得到扩充图像块，扩充图像块所在区域包含原始图像块所在区域，各个原始图像块在对应的扩充图像块中的位置一致。
本实施中的图像超分辨率处理装置1000，通过对原始图像块在各个方向上扩充对应的图像像素得到扩充图像块，各个原始图像块在对应的扩充图像块中的位置一致，保证了处理的一致性，便于后续进行融合，提高了图像处理的效率和图像质量。
在一个实施例中，识别模块1004还用于通过以下方式中的至少一种识别各个扩充图像块在不同维度对应的块特征信息：识别各个扩充图像块的纹理复杂度特征，得到对应的纹理复杂度等级信息；识别各个扩充图像块的纹理方向特征，得到对应的纹理角度信息；识别各个扩充图像块的纹理类型特征，得到对应的纹理类型信息。
本实施中的图像超分辨率处理装置1000，识别各个扩充图像块的纹理复杂度特征、纹理方向特征、纹理类型特征，从不同的角度描述扩充图像块的特征，便于后续更精准的通过块特征信息确定匹配的目标超分辨率处理方式。
在一个实施例中，关联关系包括以下关系中的至少一种：第一块特征信息、第一超分辨率处理方式、图像质量之间的第一关联关系；第二块特征信息、第二超分辨率处理方式、图像质量的稳定性之间的第二关联关系；第三块特征信息、第三超分辨率处理方式、图像运算复杂度之间的第三关联关系。
本实施例中，通过各种实验确定三种不同的关联关系，这些关联关系作为经验值，作为后续确定目标超分辨率处理方式的依据，从而可高效准确的通过块特征信息与目标处理结果指标信息查找匹配的目标超分辨率处理方式。
在一个实施例中，目标超分辨率处理方式确定模块1006还用于获取待处理图像对应的处理场景，根据处理场景确定目标图像质量和/或目标图像质量稳定性；获取待处理图像对应的处理规模；根据处理规模确定目标图像运算复杂度。
本实施中的图像超分辨率处理装置1000，通过处理场景、处理规模自适应的确定目标图像质量、目标图像质量稳定性和目标图像运算复杂度，使得目标超分辨率图像与处理场景、处理规模相适应。
在一个实施例中，目标超分辨率处理方式确定模块1006还用于根据第一关联关系，选择当前扩充图像块的当前块特征信息对应的，满足目标图像质量的超分辨率处理方式作为当前扩充图像块的第一候选超分辨率处理方式，当前扩充图像块为所述各个扩充图像块中的图像块；根据第二关联关系，选择当前扩充图像块的当前块特征信息对应的，满足目标图像质量稳定性的超分辨率处理方式作为当前扩充图像块的第二候选超分辨率处理方式；根据第三关联关系，选择当前扩充图像块的当前块特征信息对应的，满足目标图像运算复杂度的超分辨率处理方式作为当前扩充图像块的第三候选超分辨率处理方式；将所述第一候选超分辨率处理方式、第二候选超分辨率处理方式、第三候选超分辨率处理方式中共同的超分辨率处理方式作为当前扩充图像块的目标超分辨率处理方式。
本实施例中，当目标处理结果指标信息包括多个时，通过各个关联关系先确定各个候选超分辨率处理方式，再确定目标超分辨率处理方式，目标超分辨率处理方式可以满足各个目标处理结果指标信息，使得处理结果与需求匹配。
在一个实施例中，目标超分辨率处理方式确定模块1006还用于将所述目标图像质量、目标图像质量稳定性、目标图像运算复杂度中的至少一种以及各个扩充图像块在不同维度对应的块特征信息输入已训练的处理方式判定网络模型，所述处理方式判定网络模型输出各个扩充图像块对应的目标超分辨率处理方式。
本实施例中，通过已训练的处理方式判定网络模型直接得到各个扩充图像块对应的目标超分辨率处理方式，使得目标超分辨率处理方式的确定通过处理方式判定网络模型来完成，高效准确。
在一个实施例中，装置还包括：
训练模块，用于获取训练样本，所述训练样本包括训练图像块、训练图像块的训练块特征信息、训练目标处理结果指标信息、标准超分辨率图像块；将训练块特征信息输入处理方式判定网络模型，所述处理方式判定网络模型通过当前超分辨率处理方式对训练图像块进行处理得到训练超分辨率图像块，当前超分辨率处理方式作为所述判定网络模型的参数；根据训练超分辨率图像块和所述标准超分辨率图像块得到当前处理结果指标信息；根据当前处理结果指标信息与训练目标处理结果指标信息之间的差距调整所述判定网络模型的参数，直到满足收敛条件；将满足收敛条件的判定网络模型的参数对应的超分辨率处理方式作为训练目标超分辨率处理方式；建立训练块特征信息、训练目标超分辨率处理方式、训练目标处理结果指标信息之间的关联关系。
本实施例中，将超分辨率处理方式作为判定网络模型的参数，并不断调整判定网络模型的参数从而训练得到块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，高效便利地得到关联关系。
在一个实施例中，重建模块1008还用于当当前扩充图像块对应的目标超分辨率处理方式包括至少两种时，分别根据目标超分辨率处理方式对当前扩充图像块进行处理得到对应的子重建图像块，当前扩充图像块为所述各个扩充图像块中的图像块；将各个子重建图像块进行加权融合得到对应的重建图像块。
本实施例中，当目标超分辨率处理方式包括多个时，可以自应的调整加权系数，根据需要进行不同方式的融合，提高重建图像块的图像质量与自适应性。
在一个实施例中，重建模块1008包括：
迭代单元，用于当已处理的扩充图像块的数量达到预设数量阈值时，返回待处理图像的第一个重建图像块，将重建图像块作为扩充图像块，进入重建模块1008，并统计迭代处理次数；直到迭代处理次数达到第一预设次数阈值。
本实施例中，通过基于块的迭代实现，可对得到的重建块进行再次的超分辨率处理，且各个块可以流水式处理，提高了超分辨率图像生成的质量和效率。
在一个实施例中，装置还包括：
基于图像迭代模块，用于将目标超分辨率图像作为待处理图像，返回图像块模块1002，直至得到更新的目标超分辨率图像，并返回基于图像迭代模块，统计迭代处理次数；直到迭代处理次数达到第二预设次数阈值。
本实施例中，通过基于图像的迭代实现，可对得到的目标超分辨率图像进行再次的超分辨率处理，提高了超分辨率图像生成的质量。
在一个实施例中，每次迭代过程包括以下方式中的至少一种：每次迭代对应的原始图像块不同；每次迭代对应的扩充图像块大小不同；每次迭代对应的各个扩充图像块对应的目标超分辨率处理方式不同；每次迭代对应的边界融合方式不同。
本实施例中，每次迭代过程都作为一次独立的超分辨率处理，过程可以完全不同，提高了超分辨率图像的质量和生成的灵活性。
关于图像超分辨率处理装置的具体限定可以参见上文中对于图像超分辨率处理方法的限定，在此不再赘述。上述图像超分辨率处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图11为一个实施例中电子设备的内部结构示意图。如图11所示，该电子设备包括通过系统总线连接的处理器、存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的图像超分辨率处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、服务器等。
本申请实施例中提供的图像超分辨率处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像超分辨率处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像超分辨率处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像超分辨率处理方法，其特征在于，包括：
获取待处理图像，将所述待处理图像进行分块，得到各个原始图像块；
将所述原始图像块进行扩充，得到对应的各个扩充图像块；
识别所述各个扩充图像块在不同维度对应的块特征信息；
获取所述扩充图像块对应的目标处理结果指标信息；
基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据所述扩充图像块对应的块特征信息和目标处理结果指标信息，为所述各个扩充图像块确定对应的目标超分辨率处理方式；
根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块；
对所述各个重建图像块进行边界融合得到目标超分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像块进行扩充，得到对应的各个扩充图像块包括：
获取所述原始图像块在各个方向上对应的扩充像素范围；
基于所述扩充像素范围，对所述原始图像块在各个方向上扩充对应的图像像素得到扩充图像块，所述扩充图像块所在区域包含所述原始图像块所在区域，各个所述原始图像块在对应的扩充图像块中的位置一致。
3.根据权利要求1所述的方法，其特征在于，所述识别所述各个扩充图像块在不同维度对应的块特征信息，包括以下识别步骤中的至少一种：
识别所述各个扩充图像块的纹理复杂度特征，得到对应的纹理复杂度等级信息；
识别所述各个扩充图像块的纹理方向特征，得到对应的纹理角度信息；
识别所述各个扩充图像块的纹理类型特征，得到对应的纹理类型信息。
4.根据权利要求1所述的方法，其特征在于，所述关联关系包括以下关系中的至少一种：
第一块特征信息、第一超分辨率处理方式、图像质量之间的第一关联关系；
第二块特征信息、第二超分辨率处理方式、图像质量的稳定性之间的第二关联关系；
第三块特征信息、第三超分辨率处理方式、图像运算复杂度之间的第三关联关系。
5.根据权利要求4所述的方法，其特征在于，所述获取所述扩充图像块对应的目标处理结果指标信息包括：
获取所述待处理图像对应的处理场景；
根据所述处理场景确定目标图像质量和/或目标图像质量稳定性；
获取所述待处理图像对应的处理规模；
根据所述处理规模确定目标图像运算复杂度。
6.根据权利要求4或5所述的方法，其特征在于，所述基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据所述扩充图像块对应的块特征信息和目标处理结果指标信息，为各个扩充图像块确定对应的目标超分辨率处理方式包括：
根据所述第一关联关系，选择当前扩充图像块的当前块特征信息对应的，满足目标图像质量的超分辨率处理方式作为当前扩充图像块的第一候选超分辨率处理方式，所述当前扩充图像块为所述各个扩充图像块中的图像块；
根据所述第二关联关系，选择当前扩充图像块的当前块特征信息对应的，满足目标图像质量稳定性的超分辨率处理方式作为当前扩充图像块的第二候选超分辨率处理方式；
根据所述第三关联关系，选择当前扩充图像块的当前块特征信息对应的，满足目标图像运算复杂度的超分辨率处理方式作为当前扩充图像块的第三候选超分辨率处理方式；
将所述第一候选超分辨率处理方式、第二候选超分辨率处理方式、第三候选超分辨率处理方式中共同的超分辨率处理方式作为所述当前扩充图像块的目标超分辨率处理方式。
7.根据权利要求1所述的方法，其特征在于，所述基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据所述扩充图像块对应的块特征信息和目标处理结果指标信息，为所述各个扩充图像块确定对应的目标超分辨率处理方式包括：
将目标图像质量、目标图像质量稳定性、目标图像运算复杂度中的至少一种以及各个扩充图像块在不同维度对应的块特征信息输入已训练的处理方式判定网络模型，所述处理方式判定网络模型输出各个扩充图像块对应的目标超分辨率处理方式。
8.根据权利要求7所述的方法，其特征在于，所述处理方式判定网络模型的训练包括以下步骤：
获取训练样本，所述训练样本包括训练图像块、训练图像块的训练块特征信息、训练目标处理结果指标信息、标准超分辨率图像块；
将所述训练块特征信息输入处理方式判定网络模型，所述处理方式判定网络模型通过当前超分辨率处理方式对训练图像块进行处理得到训练超分辨率图像块，所述当前超分辨率处理方式作为所述判定网络模型的参数；
根据所述训练超分辨率图像块和所述标准超分辨率图像块得到当前处理结果指标信息；
根据所述当前处理结果指标信息与所述训练目标处理结果指标信息之间的差距调整所述判定网络模型的参数，直到满足收敛条件；
将满足收敛条件的判定网络模型的参数对应的超分辨率处理方式作为训练目标超分辨率处理方式；
建立训练块特征信息、训练目标超分辨率处理方式、训练目标处理结果指标信息之间的关联关系。
9.根据权利要求1所述的方法，其特征在于，所述根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块包括：
当当前扩充图像块对应的目标超分辨率处理方式包括至少两种时，分别根据所述目标超分辨率处理方式对所述当前扩充图像块进行处理得到对应的子重建图像块，所述当前扩充图像块为所述各个扩充图像块中的图像块；
将各个子重建图像块进行加权融合得到对应的重建图像块。
10.根据权利要求1所述的方法，其特征在于，所述根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块包括：
当已处理的扩充图像块的数量达到预设数量阈值时，返回所述待处理图像的第一个重建图像块，将重建图像块作为扩充图像块，进入所述根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块的步骤，并统计迭代处理次数；
直到所述迭代处理次数达到第一预设次数阈值。
11.根据权利要求1所述的方法，其特征在于，所述对所述各个重建图像块进行边界融合得到目标超分辨率图像之后，还包括：
将所述目标超分辨率图像作为待处理图像，返回所述将所述待处理图像进行分块，得到各个原始图像块的步骤，直至得到更新的目标超分辨率图像，并返回所述将所述目标超分辨率图像作为待处理图像的步骤，统计迭代处理次数；
直到所述迭代处理次数达到第二预设次数阈值。
12.根据权利要求11所述的方法，其特征在于，每次迭代过程包括以下方式中的至少一种：
每次迭代对应的原始图像块不同；
每次迭代对应的扩充图像块大小不同；
每次迭代对应的各个扩充图像块对应的目标超分辨率处理方式不同；
每次迭代对应的边界融合方式不同。
13.一种图像超分辨率处理装置，其特征在于，包括：
图像块模块，用于获取待处理图像，将所述待处理图像进行分块，得到各个原始图像块，将所述原始图像块进行扩充，得到对应的各个扩充图像块；
识别模块，用于识别所述各个扩充图像块在不同维度对应的块特征信息；
目标超分辨率处理方式确定模块，用于获取所述扩充图像块对应的目标处理结果指标信息，基于块特征信息、超分辨率处理方式、处理结果指标信息之间的关联关系，根据所述扩充图像块对应的块特征信息和目标处理结果指标信息，为所述各个扩充图像块确定对应的目标超分辨率处理方式；
重建模块，用于根据各个扩充图像块对应的目标超分辨率处理方式，对各个扩充图像块进行处理得到对应的各个重建图像块，对所述各个重建图像块进行边界融合得到目标超分辨率图像。
14.一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述方法的步骤。
CN202010406920.9A 2020-05-14 2020-05-14 图像超分辨率处理方法和装置、电子设备及存储介质 Active CN111598779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010406920.9A CN111598779B (zh) 2020-05-14 2020-05-14 图像超分辨率处理方法和装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010406920.9A CN111598779B (zh) 2020-05-14 2020-05-14 图像超分辨率处理方法和装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111598779A CN111598779A (zh) 2020-08-28
CN111598779B true CN111598779B (zh) 2023-07-14

Family

ID=72190780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010406920.9A Active CN111598779B (zh) 2020-05-14 2020-05-14 图像超分辨率处理方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111598779B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270356B (zh) * 2020-10-28 2023-10-13 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置及电子设备
CN112565887B (zh) * 2020-11-27 2023-06-20 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
CN112862681B (zh) * 2021-01-29 2023-04-14 中国科学院深圳先进技术研究院 一种超分辨率方法、装置、终端设备及存储介质
CN113034348A (zh) * 2021-03-24 2021-06-25 北京字节跳动网络技术有限公司 图像处理方法、装置、存储介质及设备
CN113506304A (zh) * 2021-04-30 2021-10-15 艾酷软件技术(上海)有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113709494B (zh) * 2021-06-23 2024-04-09 珠海全志科技股份有限公司 用于超分重建的图像解压缩方法及装置
WO2023159581A1 (zh) * 2022-02-28 2023-08-31 京东方科技集团股份有限公司 机器学习模型的训练方法、装置和图像的处理方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
CN107967669A (zh) * 2017-11-24 2018-04-27 腾讯科技（深圳）有限公司 图片处理的方法、装置、计算机设备及存储介质
WO2020062901A1 (zh) * 2018-09-28 2020-04-02 深圳大学 一种超分辨率图像的图像质量分析方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
CN107967669A (zh) * 2017-11-24 2018-04-27 腾讯科技（深圳）有限公司 图片处理的方法、装置、计算机设备及存储介质
WO2020062901A1 (zh) * 2018-09-28 2020-04-02 深圳大学 一种超分辨率图像的图像质量分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于卷积神经网络的深度图像超分辨率重建方法";李伟 等;《电子测量与仪器学报》;20171215;第1918-1928页 *

Also Published As

Publication number Publication date
CN111598779A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598779B (zh) 图像超分辨率处理方法和装置、电子设备及存储介质
CN111629262B (zh) 视频图像处理方法和装置、电子设备及存储介质
CN107967669B (zh) 图片处理的方法、装置、计算机设备及存储介质
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN109063742B (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
CN110796162B (zh) 图像识别、训练识别模型的方法、相关设备及存储介质
CN111523414A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN109711419A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111145106B (zh) 一种图像增强方法、装置、介质及设备
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN109345604B (zh) 图片处理方法、计算机设备和存储介质
CN111062324A (zh) 人脸检测方法、装置、计算机设备和存储介质
CN111681165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN113469092A (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN111754429A (zh) 运动矢量后处理方法和装置、电子设备及存储介质
CN112446951B (zh) 三维重建方法、装置、电子设备及计算机存储介质
CN111145107B (zh) 一种图像美化方法、装置、介质及设备
CN113077477B (zh) 图像矢量化方法、装置及终端设备
CN108875611B (zh) 视频动作识别方法和装置
CN117218344A (zh) 基于深度神经网络的火星表面目标分割方法、装置及设备
CN109871814B (zh) 年龄的估计方法、装置、电子设备和计算机存储介质
CN111598806B (zh) 图像滤波方法和装置、电子设备及存储介质
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant