CN110278487A - 图像处理方法、装置及设备 - Google Patents

图像处理方法、装置及设备 Download PDF

Info

Publication number
CN110278487A
CN110278487A CN201810210854.0A CN201810210854A CN110278487A CN 110278487 A CN110278487 A CN 110278487A CN 201810210854 A CN201810210854 A CN 201810210854A CN 110278487 A CN110278487 A CN 110278487A
Authority
CN
China
Prior art keywords
image
processed
image block
target resolution
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810210854.0A
Other languages
English (en)
Other versions
CN110278487B (zh
Inventor
杨江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810210854.0A priority Critical patent/CN110278487B/zh
Publication of CN110278487A publication Critical patent/CN110278487A/zh
Application granted granted Critical
Publication of CN110278487B publication Critical patent/CN110278487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法，所述方法包括：对参考图像进行处理，得到目标分辨率参考图像；根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。采用上述方法，满足了对视频中的图像进行分辨率处理的需求。

Description

图像处理方法、装置及设备
技术领域
本申请涉及计算机图像处理技术领域，具体涉及图像处理方法、装置、电子设备以及存储设备。
背景技术
由于图像采集设备的硬件的限制或者拍摄条件的影响，导致采集到的视频的图像尺寸有限，产生的视觉效果不够理想。如果对视频中的图像进行分辨率处理，则会改善图像的视觉效果。
此外，在视频直播或者短视频应用领域，需要对用户提供清晰的分辨率高的图像，目前用户经常使用移动设备观看直播的视频，由于移动设备的计算能力有限，因此需要在计算能力有限的设备上实现图像超分辨率实时处理。
因此，在某些场景下，存在对视频中的图像进行分辨率处理的需求。
发明内容
本申请提供一种图像处理方法，以满足对视频中的图像进行分辨率处理的需求。
所述图像处理方法，包括：
对参考图像进行处理，得到目标分辨率参考图像；
根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
可选的，所述对参考图像进行处理，得到目标分辨率参考图像，包括：对所述参考图像进行超分辨率处理，得到分辨率高于所述参考图像分辨率的目标分辨率参考图像。
可选的，所述根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差，包括：
获得待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差；
对所述运动残差进行处理，得到目标分辨率运动残差。
可选的，所述对所述运动残差进行处理，得到目标分辨率运动残差，包括：对所述运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。
可选的，所述对所述运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差，包括：
对所述运动残差采用插值算法进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。
可选的，所述根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块，包括：当所述待处理图像中的待处理图像块的传播误差不大于设定的误差阈值时，根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
可选的，所述方法还包括：当所述待处理图像中的待处理图像块的传播误差大于设定的误差阈值时，将所述待处理图像块进行超分辨率处理，得到所述待处理图像块的目标分辨率图像块，或者，将所述待处理图像进行超分辨率处理，得到所述待处理图像的目标分辨率图像。
可选的，按照下述方式确定所述待处理图像中的待处理图像块的传播误差：
et(x)＝et-1(x+dx)-Laplacian(x)
其中，x用于标识待处理图像中的待处理图像块；
et(x)为待处理图像中的待处理图像块的传播误差；
et-1(x+dx)为参考图像中的参考图像块的传播误差，其中dx表示运动向量；
Laplacian(x)为待处理图像中的待处理图像块的运动残差的拉普拉斯算子计算得到的能量值。
可选的，所述参考图像被划分为多个参考图像块，所述待处理图像被划分为多个分别与所述多个参考图像块对应的待处理图像块；
所述根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差，包括：分别根据待处理图像中的每个待处理图像块相对于所述参考图像中的对应参考图像块的运动残差，得到所有的目标分辨率运动残差；
所述根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块，包括：分别根据所述目标分辨率参考图像中的每个目标分辨率参考图像块和对应的目标分辨率运动残差，得到所述待处理图像块的所有目标分辨率图像块；
所述方法还包括：将所有目标分辨率图像块进行合并，得到所述待处理图像的目标分辨率图像。
可选的，所述参考图像被划分为多个参考图像块，所述待处理图像被划分为与所述多个参考图像块分别对应的待处理图像块和不需要处理的图像块；
所述方法还包括：将所述目标分辨率图像块与所述不需要处理的图像块进行合并，得到所述待处理图像的目标分辨率图像。
可选的，所述目标分辨率图像的分辨率高于所述待处理图像的分辨率。
可选的，所述对参考图像进行处理，得到目标分辨率参考图像，包括：
利用卷积网络对所述参考图像进行上采样处理，得到目标分辨率参考图像。
可选的，所述参考图像与所述待处理图像同属于一段视频，所述参考图像在视频时间上早于所述待处理图像。
可选的，所述参考图像块对应的图像区域与所述待处理图像块对应的图像区域相同。
本申请还提供一种图像处理装置，所述装置包括：
目标分辨率参考图像获得单元，用于对参考图像进行处理，得到目标分辨率参考图像；
目标分辨率运动残差获得单元，用于根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
目标分辨率图像块获得单元，用于根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
本申请另外提供一种电子设备，所述电子设备包括：
处理器；以及
存储器，存储有计算机程序；所述处理器运行所述计算机程序后，执行下述步骤：
对参考图像进行处理，得到目标分辨率参考图像；
根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
本申请另外提供一种存储设备，所述存储设备存储有计算机程序，所述计算机程序用于执行下述步骤：
对参考图像进行处理，得到目标分辨率参考图像；
根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
与现有技术相比，本发明具有以下优点：
本申请提供的图像处理方法、装置以及电子设备，首先对参考图像进行处理，得到目标分辨率参考图像，然后将目标分辨率参考图像块和目标分辨率运动残差组合，得到比参考图像落后一定时间范围内的待处理图像块的目标分辨率图像块，能够满足对视频中的图像进行分辨率处理的需求。
本申请提供的优选方案中，当所述待处理图像中的待处理图像块的传播误差不大于设定的误差阈值时，可以根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块，由于大多数待处理图像中的待处理图像块的传播误差小于设定的误差阈值，因此很多情况下可以采用上述优选方案进行视频帧的处理，能够满足在计算能力有限的设备上实现图像超分辨率实时处理的需求。
附图说明
图1是本申请第一实施例提供的一种图像处理方法的流程图。
图2是本申请第一实施例提供的对参考图像进行处理，得到目标分辨率参考图像的流程图。
图3是本申请第一实施例提供的对参考图像进行处理，得到目标分辨率参考图像的示意图。
图4是本申请第一实施例提供的生成深度学习模型参数的流程图。
图5是本申请第一实施例提供的一种生成深度学习模型参数的示意图。
图6是本申请第一实施例提供的一个图像处理方法场景示意图。
图7是本申请第一实施例提供的一种根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差的流程图。
图8是本申请第二实施例提供的一种图像处理装置的示意图。
图9是本申请第三实施例提供的一种电子设备的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请第一实施例提供了一种图像处理方法。请参考图1、图2、图3、图4、图5、图6、图7，图1示出了根据本申请第一实施例提供的一种图像处理方法的流程图，图2示出了本申请第一实施例提供的对参考图像进行处理，得到目标分辨率参考图像的流程图，图3示出了本申请第一实施例提供的对参考图像进行处理，得到目标分辨率参考图像的示意图，图4示出了本申请第一实施例提供的生成深度学习模型参数的流程图，图5示出了根据本申请第一实施例提供的一种生成深度学习模型参数的示意图。图6示出了本申请第一实施例提供的一个图像处理方法场景示意图，图7是本申请第一实施例提供的一种根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差的流程图。以下结合图1、图2、图3、图4、图5、图6、图7进行详细说明。
如图1所示，在步骤S101中，对参考图像进行处理，得到目标分辨率参考图像。
所述参考图像，可以指与待处理图像属于同一段视频的图像，参考图像为已经编码好的视频图像，参考图像相对于待处理图像的时间要提前一些，例如在30帧/秒的视频中，可以选取每隔2秒的起始视频帧作为参考图像，将在参考图像生成之后两秒之内的图像作为待处理图像。
所述目标分辨率参考图像，指与参考图像对应的不同分辨率的参考图像，目标分辨率参考图像的分辨率可以高于参考图像的分辨率，例如，参考图像的分辨率为100*100，目标分辨率参考图像的分辨率为200*200。
所述对参考图像进行处理，得到目标分辨率参考图像，可以是指，对所述参考图像进行超分辨率处理，得到分辨率高于所述参考图像分辨率的目标分辨率参考图像。
在具体实施时，可以采用卷积网络对所述参考图像进行超分辨率处理，得到分辨率高于所述参考图像分辨率的目标分辨率参考图像。
在本申请第一实施例中，可以采用下述方法对参考图像进行处理，得到目标分辨率参考图像：
确定参考图像包括的对象类别及对象类别对应的第一图像块；
评估参考图像的质量；
根据对象类别、图像质量与深度学习模型参数之间的对应关系，确定所述对象类别、所述参考图像的质量对应的深度学习模型参数，其中，所述深度学习模型参数为利用深度学习模型对图像块进行分辨率处理时使用的参数；
根据深度学习模型参数、利用深度学习模型对所述第一图像块进行分辨率处理，得到与所述第一图像块分辨率不同的第二图像块。
如图2所示，在步骤S101-1中，确定参考图像包括的对象类别及对象类别对应的第一图像块。
所述对象类别，可以指物体类别，物体类别指物体的分类，例如，汽车、飞机、牛等。参考图像中可能包括一个对象类别，也可能包括多个对象类别。
所述参考图像包括的对象类别，可以指参考图像包括的物体类别。例如，如果参考图像中包括汽车、自行车、牛，则参考图像包括的对象类别为汽车、自行车、牛。
当参考图像包括的对象类别为物体类别时，所述对象类别对应的第一图像块可以为显示一个完整物体的图像块，也可以为显示物体部分区域的图像块。例如，图像块可以为包括一辆汽车或者只包括汽车车轮的图像块。
所述对象类别对应的第一图像块，可以是一个图像块或者多个图像块。如果参考图像被分割为多个图像块，则第一图像块的数量可以是多个，如果待处理对象被分割为一个图像块，则第一图像块的数量可以是一个。
如图2所示，在步骤S101-2中，评估参考图像的质量。
具体的，可以利用Sobel边缘算子计算参考图像的边缘丰富程度，图像边缘越丰富质量越高。本申请第一实施例中可将参考图像的质量分为几个等级：90-100分、80-90分、70-80分、70分以下。
如图2所示，在步骤S101-3中，根据对象类别、图像质量与深度学习模型参数之间的对应关系，确定所述对象类别、所述参考图像的质量对应的深度学习模型参数。
其中，所述深度学习模型参数为利用深度学习模型对图像块进行分辨率处理时使用的参数。
在实际应用中，深度学习模型可以是卷积网络模型，深度学习模型参数可以是利用卷积网络模型对图像块进行分辨率处理时使用的参数。
如图3所示，在卷积网络中，conv为卷积层，PReLU(parametric RectifiedLinearUnit)为非线性激活函数层，Deconv为反卷积层(实现分辨率的放大)。总体的网络结构为：Conv(5,d,1)-PReLU-Conv(1,s,d)-PReLU-Conv(3,s,s)-Conv(3,s,s)-Conv(3,s,s)-Conv(3,s,s)-PReLU-Conv(1,d,s)-PReLU-Deconv(9,1,d)。其中，Conv(f,n,c)和Deconv(f,n,c)中的f表示卷积核的大小，n表示卷积核的个数，c表示输出的通道数。其中，d和s的设置可以根据计算复杂度和效果进行折中选择，越大的d和s表示越好的超分图像效果，同时对应越大的计算复杂度。
表1示出了一种对象类别、图像质量与卷积网络模型参数之间的对应关系的实施例。
序号 物体类别 图像质量 卷积网络模型参数
1 牛 90-100分 参数1-1
80-90分 参数1-2
70-80分 参数1-3
70分以下 参数1-4
2 汽车 90-100分 参数2-1
80-90分 参数2-2
70-80分 参数2-3
70分以下 参数2-4
表1
以一个图像的对象类别为汽车、图像质量为80-90分为例，可以根据表1所示的对应关系，确定对象类别为汽车、图像质量为80-90分时对应的深度学习模型参数为参数2-2。
所述深度学习模型参数，可以采用下述方法生成：
确定第一图像包括的对象类别；
将所述第一图像转码为不同质量的第二图像；
将所述第二图像进行下采样处理，得到与所述第一图像分辨率不同的第三图像；
按照所述对象类别，分别对所述第一图像和所述第三图像进行分割，得到所述对象类别对应的不同分辨率的图像块；
利用深度学习模型对所述对象类别对应的不同分辨率的图像块进行训练，得到用于对图像分辨率进行处理、且与所述对象类别、图像质量对应的深度学习模型参数。
如图4所示，在步骤S401中，确定第一图像包括的对象类别。
所述第一图像，可以为高分辨率(高质量/无损编码)图像。图5中的原始高分辨率图像可以称为为第一图像。
所述对象类别，通常指物体类别，物体类别指物体的分类，例如，汽车、飞机、牛等。第一图像中可能包括一个对象类别，也可能包括多个对象类别。
所述第一图像包括的对象类别，可以指第一图像包括的物体类别。例如，如果第一图像中包括汽车、自行车、牛，则第一图像包括的对象类别为汽车、自行车、牛。
确定第一图像包括的对象类别，可以通过对第一图像进行检测和分割，确定图像中包含的对象类别，在具体实施中，可以采用Faster-RCNN局部卷积网络模型确定第一图像中包含的对象类别，也可以采用其他的方法确定第一图像中包含的对象类别。
如图4所示，在步骤S402中，将所述第一图像转码为不同质量的第二图像。
本申请第一实施例中将图像的质量根据图像质量的高低分为几个等级：90-100分、80-90分、70-80分、70分以下。在具体实施时，除了本实施例采用的质量划分等级方式外，可以采用其他质量等级划分方式进行图像质量的划分。
如图4所示，在步骤S403中，将所述第二图像进行下采样处理，得到与所述第一图像分辨率不同的第三图像。
下采样，也可以称为降采样或缩小图像。对于一幅N*M的图像而言，如果降采样系数为k，则即是在N*M的图像中每行每列每隔k个点取一个点组成一幅图像。
下采样处理所采用的下采样系数可以与利用所述深度学习模型进行图像超分辨率处理的超分辨率系数相关。例如，如果深度学习模型进行图像超分辨率处理的超分辨率系数为2，即对图像进行2倍的超分辨率处理，则下采样系数可以为2。
如图4所示，在步骤S404中，按照所述对象类别，分别对所述第一图像和所述第三图像进行分割，得到所述对象类别对应的不同分辨率的图像块。
所述对象类别为物体类别时，所述对象类别对应的图像块可以为显示一个完整物体的图像块，也可以为显示物体部分区域的图像块。例如，图像块可以为显示一辆完整的汽车或者只显示汽车车轮的图像块。
例如，如果第一图像包括的对象类别为物体类别A、物体类别B、物体类别C、物体类别D，每一类别对应一个图像块，则按照物体类别，将第一图像进行分割，得到图像块A1、B1、C1、D1，如果第三图像为不同质量第二图像下采样得到的4个不同分辨率的第三图像，第三图像分别为第三图像3-1、3-2、3-3、3-4，则将4个第三图像中的每一个第三图像分别分割为与A1、B1、C1、D1对应的图像块A3-1、B3-1、C3-1、D3-1；A3-2、B3-2、C3-2、D3-2；A3-3、B3-3、C3-3、D3-3；A3-4、B3-4、C3-4、D3-4。
如图4所示，在步骤S405中，利用深度学习模型对所述对象类别对应的不同分辨率的图像块进行训练，得到用于对图像分辨率进行处理、且与所述对象类别、图像质量对应的深度学习模型参数。
所述得到用于对图像分辨率进行处理、且与所述对象类别、图像质量对应的深度学习模型参数，包括：建立所述对象类别、图像质量与深度学习模型参数之间的对应关系。
下面以图5为例介绍本申请第一实施例生成深度学习模型参数的的过程。
如图5所示，在步骤S501中，对第一图像(原始高分辨率图像51)进行物体的分类确定第一图像包括的物体类别。
在步骤S502中，将第一图像转码为不同质量的第二图像(包括图像质量90-100分、80-90分、70-80分、70分以下的图像)。
在步骤S503中，将所述第二图像进行下采样处理，得到分辨率低于第一图像的第三图像。
之后，按照所述物体类别，分别对所述第一图像和所述第三图像进行分割，得到所述物体类别对应的不同分辨率的图像块。
最后，利用卷积网络模型52对所述物体类别对应的不同分辨率的图像块进行训练，得到用于对图像分辨率进行处理、且与所述物体类别、图像质量对应的卷积网络参数，将其按照索引存储到模型数据库53中。
如图2所示，在步骤S101-4中，根据深度学习模型参数、利用深度学习模型对所述第一图像块进行分辨率处理，得到与所述第一图像块分辨率不同的第二图像块。
作为一个实施例，第二图像块的分辨率可以高于第一图像块的分辨率，此种情况下，是对第一图像块进行了超分辨率处理。所述超分辨率处理是指，将低分辨率(LowResolution,LR)的图像通过一定的算法提升到高分辨率(High Resolution,HR)。高分辨率图像具有更高的像素密度，更多的细节信息，更细腻的画质。在步骤S101-4中，根据深度学习模型参数、利用深度学习模型对所述第一图像块进行分辨率处理，得到与所述第一图像块分辨率不同的第二图像块，实现了低分辨率图像到高分辨率图像的转换。
需要说明的是，作为另一个实施例，第二图像块的分辨率也可以低于所述第一图像块的分辨率，此时本申请第一实施例实现了高分辨率图像到低分辨率图像的转换。
优选的，所述参考图像可以被分割为多个第一图像块；所述根据深度学习模型参数、利用深度学习模型对所述第一图像块进行分辨率处理，得到与所述第一图像块分辨率不同的第二图像块，包括：分别根据深度学习模型参数、利用深度学习模型对每个第一图像块进行分辨率处理，得到与每个第一图像块对应的且分辨率不同的第二图像块；将所有第二图像块进行合并，得到与所述参考图像分辨率不同的目标分辨率参考图像。
例如，将参考图像分成4个第一图像块，分别为第一图像块A、第一图像块B、第一图像块C、第一图像块D，分别根据深度学习模型参数、利用深度学习模型对第一图像块A、B、C、D进行分辨率处理，得到与第一图像块A、B、C、D对应的且分辨率不同的第二图像块A1、B1、C1、D1，再将第二图像块A1、B1、C1、D1合并，得到与所述参考图像分辨率不同的目标分辨率参考图像。
在具体实施时，某些情况下，参考图像被分割出的多个第一图像块中，只需对部分第一图像块进行分辨率的转换，另外一些第一图像块不需要进行分辨率的转换。优选的，所述参考图像被分割为多个第一图像块；所述根据深度学习模型参数、利用深度学习模型对所述第一图像块进行分辨率处理，得到与所述第一图像块分辨率不同的第二图像块，包括：根据深度学习模型参数、利用深度学习模型对所述多个第一图像块中的一部分第一图像块进行分辨率处理，分别得到与所述一部分第一图像块对应的且分辨率不同的第二图像块；将所有第二图像块及所述多个第一图像块中未被处理的所有第一图像块进行合并，得到与所述参考图像分辨率不同的目标分辨率参考图像。
例如，将参考图像分成4个第一图像块，分别为第一图像块A、第一图像块B、第一图像块C、第一图像块D，其中，第一图像块A和第一图像块C需要进行分辨率处理，第一图像块B和第一图像块D不需要进行分辨率处理，则将根据深度学习模型参数、利用深度学习模型对所述第一图像块A、C进行分辨率处理，得到分辨率不同的第二图像块A1、C1，再将第二图像块A1、C1、与第一图像块B、D合并，得到与所述参考图像分辨率不同的目标分辨率参考图像。
除了将第一图像块作为一个整体进行处理，得到与所述第一图像块分辨率不同的第二图像块外，还可以将所述第一图像块分割为多个第一小图像块，分别对每个第一小图像块进行处理得到对应的分辨率不同的第二小图像块，再将多个第二小图像块合并，得到所述第二图像块。优选的，所述根据深度学习模型参数、利用深度学习模型对所述第一图像块进行分辨率处理，得到与所述第一图像块分辨率不同的第二图像块，包括：根据深度学习模型参数、利用深度学习模型对所述多个第一小图像块进行分辨率处理，得到与第一小图像块分辨率不同的多个第二小图像块；将所述多个第二小图像块合并，得到所述第二图像块。
例如，将第一图像块分成4个第一小图像块，分别为第一小图像块A、第一小图像块B、第一小图像块C、第一小图像块D，根据深度学习模型参数、利用深度学习模型对所述第一小图像块A、B、C、D进行分辨率处理，得到不同分辨率的第二小图像块A1、B1、C1、D1，再将第二小图像块A1、B1、C1、D1合并，得到第二图像块。
需要说明的是，步骤S101-1与S101-2的顺序不受限制，在具体实施时，也可以先执行步骤S101-2，再执行步骤S101-1。
下面以图3为例介绍采用本申请第一实施例对参考图像进行处理，得到目标分辨率参考图像的过程，图3示出了本申请第一实施例提供的对参考图像进行处理，得到目标分辨率参考图像的示意图。
如图3所示，在步骤S301中，对需要超分的图像31(参考图像)进行图像物体分类，生成第一图像块。在步骤S302中，对需要超分的图像31进行图像质量评估；之后，从数据模型库32中获得物体分类、图像质量分类与卷积网络模型参数之间的对应关系，确定物体类别和图像质量对应的卷积网络模型参数；最后，根据卷积网络模型参数、利用卷积网络模型33对所述第一图像块进行处理，生成分辨率高于第一图像块的第二图像块(输出的目标分辨率参考图像34)。
如图6所示，被参考帧61为参考图像，采用卷积网络对被参考帧61进行上采样，得到分辨率高于被参考帧61分辨率的目标分辨率参考图像63。
请再参照图1，在步骤S102中，根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差。
所述待处理图像，指需要进行分辨率处理的图像。待处理图像可以是与参考图像属于同一段视频的图像，待处理图像的时间比参考图像的时间要落后一些。例如，在30帧/秒的视频中，待处理图像可以指在时间上落后于参考图像两秒之内的图像。如图2所述，待超分帧22为待处理图像。
所述待处理图像中的待处理图像块，指由待处理图像分割出的图像块，待处理图像块可以为一个或多个，当待处理图像块为多个时，每一待处理图像块包含待处理图像的一部分图像区域。例如，可以将待处理图像分割为九宫格的形式，每格对应的区域为一个待处理图像块。如图6所示，图像块621为一个待处理图像块。
当参考图像被划分为多个参考图像块时，待处理图像也需要被划分为多个分别与所述多个参考图像块对应的待处理图像块，即参考图像块对应的图像区域与待处理图像块对应的图像区域相同。例如，如果参考图像划分出9个参考图像块，则待处理图像也应划分出与之对应的9个区域，每个区域对应一个待处理图像块。
优选的，当参考图像被划分为多个参考图像块并且待处理图像被划分为多个分别与所述多个参考图像块对应的待处理图像块时，根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差，包括：分别根据待处理图像中的每个待处理图像块相对于所述参考图像中的对应参考图像块的运动残差，得到所有的目标分辨率运动残差。
例如，如果待处理图像划分出9个分别与所述多个参考图像块对应的待处理图像块，则需要分别根据待处理图像中的每个待处理图像块相对于所述参考图像中的对应参考图像块的运动残差，得到9个待处理图像块对应的目标分辨率运动残差。
如图7所示，根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差，可以包括以下步骤：
步骤S102-1，获得待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差。步骤S102-2，对所述运动残差进行处理，得到目标分辨率运动残差。
如图6所示，运动残差622即为待处理图像块621相对于参考图像块611的运动残差。
对所述运动残差进行处理，得到目标分辨率运动残差，包括：对所述运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。
由于运动残差表达了图像随着时间推移出现的信息变化，在典型的室内等运动不剧烈的场景，运动残差的能量往往很小，甚至会出现很大部分运动残差为0的情况，因此在运动不够强烈的场景，可以使用简单的插值算法对运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。其中，差值算法可以采用：cubic、双线性插值、非线性映射算法等。如图6所示，对运动残差622采用cubic进行运动残差上采样处理，得到目标分辨率运动残差6412。
通过本步骤，得到目标分辨率运动残差后，可以将目标分辨率参考图像块和目标分辨率运动残差结合生成待处理图像块的目标分辨率图像块。
请再参照图1，在步骤S103中，根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
视频编码技术中，目标分辨率图像块的像素值由两部分组成：目标分辨率参考图像块和目标分辨率运动残差，在获得了目标分辨率参考图像块和目标分辨率运动残差后，就可以获得目标分辨率图像块的像素值，进而得到所述待处理图像块的目标分辨率图像块。
如图6所示，将从目标分辨率参考图像63获得的目标分辨率参考图像块6411与目标分辨率运动残差6412组合，形成目标分辨率图像64的目标分辨率图像块641。
优选的，当参考图像被划分为多个参考图像块并且待处理图像被划分为多个分别与所述多个参考图像块对应的待处理图像块时，根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块，包括：分别根据所述目标分辨率参考图像中的每个目标分辨率参考图像块和对应的目标分辨率运动残差，得到所述待处理图像块的所有目标分辨率图像块。
例如，如果参考图像被划分为9个参考图像块A1-A9，待处理图像划分出9个分别与参考图像块对应的待处理图像块B1-B9，待处理图像块B1-B9对应的目标分辨率运动残差为C1-C9，则根据参考图像块A1的目标分辨率参考图像块和目标分辨率运动残差C1，得到待处理图像块B1的目标分辨率图像块D1，根据参考图像块A2的目标分辨率参考图像块和目标分辨率运动残差C2，得到待处理图像块B2的目标分辨率图像块D2……，得到待处理图像块B9的目标分辨率图像块D9。
优选的，为了得到完整的待处理图像对应的目标分辨率图像，当参考图像被划分为多个参考图像块并且待处理图像被划分为多个分别与所述多个参考图像块对应的待处理图像块时，在得到所述待处理图像块的所有目标分辨率图像块之后，可以将所有目标分辨率图像块进行合并，得到所述待处理图像的目标分辨率图像。
仍沿用上面的例子，当得到目标分辨率图像块D1-D9后，将目标分辨率图像块D1-D9进行合并，得到待处理图像的目标分辨率图像。
进一步，当参考图像被划分为多个参考图像块时，待处理图像被划分为多个分别与所述多个参考图像块对应的图像块，其中，有一部分图像块为待处理图像块，需要进行处理得到目标分辨率图像块；另一部分图像块不需要处理，例如，包含背景等静物的图像块；则对待处理图像块进行处理得到目标分辨率图像块之后，再将所述目标分辨率图像块与不需要处理的图像块进行合并，得到所述待处理图像的目标分辨率图像。
例如，如果参考图像被划分为9个参考图像块A1-A9，待处理图像划分出9个分别与参考图像块对应的图像块B1-B9，其中，图像块B1-B5为待处理图像块，B6-B9为不需要处理的图像块，则将待处理图像块B1-B5进行处理得到目标分辨率图像块D1-D5，再将目标分辨率图像块D1-D5与不需要处理的图像块B6-B9合并，得到待处理图像的目标分辨率图像。
需要说明的是，当所述待处理图像中的待处理图像块的传播误差不大于设定的误差阈值时，采用上述步骤得到待处理图像的目标分辨率图像。
在实际应用中，随着时间的推进，可能出现传播误差过大的情况，这种情况下，可以对待处理图像或待处理图像块采用卷积网络进行图像上采样处理，保证待处理图像或待处理图像块的处理效果。优选的，当所述待处理图像中的待处理图像块的传播误差大于设定的误差阈值时，将所述待处理图像块进行超分辨率处理，得到所述待处理图像块的目标分辨率图像块，或者，将所述待处理图像进行超分辨率处理，得到所述待处理图像的目标分辨率图像。
作为一个实施例，可以按照下述方式确定所述待处理图像中的待处理图像块的传播误差：
et(x)＝et-1(x+dx)-Laplacian(x)
其中，x用于标识待处理图像中的待处理图像块；
et(x)为待处理图像中的待处理图像块的传播误差；
et-1(x+dx)为参考图像中的参考图像块的传播误差，其中dx表示运动向量；
Laplacian(x)为待处理图像中的待处理图像块的运动残差的拉普拉斯算子计算得到的能量值。
与上述提供的一种图像处理方法相对应的，本申请第二实施例还提供了图像处理装置。
如图8示，图像处理装置包括：目标分辨率参考图像获得单元801、目标分辨率运动残差获得单元802、目标分辨率图像块获得单元803。
目标分辨率参考图像获得单元801，用于对参考图像进行处理，得到目标分辨率参考图像；
目标分辨率运动残差获得单元802，用于根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
目标分辨率图像块获得单元803，用于根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
可选的，所述目标分辨率参考图像获得单元，具体用于：对所述参考图像进行超分辨率处理，得到分辨率高于所述参考图像分辨率的目标分辨率参考图像。
可选的，所述目标分辨率运动残差获得单元，包括：
参考图像块的运动残差获得子单元，用于获得待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差；
目标分辨率运动残差获得子单元，用于对所述运动残差进行处理，得到目标分辨率运动残差。
可选的，所述目标分辨率运动残差获得子单元，具体用于：对所述运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。
可选的，所述对所述运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差，包括：
对所述运动残差采用插值算法进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。
可选的，所述目标分辨率图像块获得单元,具体用于:当所述待处理图像中的待处理图像块的传播误差不大于设定的误差阈值时，根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
可选的，所述装置还包括：当所述待处理图像中的待处理图像块的传播误差大于设定的误差阈值时，将所述待处理图像块进行超分辨率处理，得到所述待处理图像块的目标分辨率图像块，或者，将所述待处理图像进行超分辨率处理，得到所述待处理图像的目标分辨率图像。
可选的，按照下述方式确定所述待处理图像中的待处理图像块的传播误差：
et(x)＝et-1(x+dx)-LaplaciRn(x)
其中，x用于标识待处理图像中的待处理图像块；
et(x)为待处理图像中的待处理图像块的传播误差；
et-1(x+dx)为参考图像中的参考图像块的传播误差，其中dx表示运动向量；
Laplacian(x)为待处理图像中的待处理图像块的运动残差的拉普拉斯算子计算得到的能量值。
可选的，所述参考图像被划分为多个参考图像块，所述待处理图像被划分为多个分别与所述多个参考图像块对应的待处理图像块；
所述目标分辨率运动残差获得单元，具体用于：分别根据待处理图像中的每个待处理图像块相对于所述参考图像中的对应参考图像块的运动残差，得到所有的目标分辨率运动残差；
所述目标分辨率图像块获得单元，具体用于：分别根据所述目标分辨率参考图像中的每个目标分辨率参考图像块和对应的目标分辨率运动残差，得到所述待处理图像块的所有目标分辨率图像块。
所述装置还包括目标分辨率图像获得单元，用于将所有目标分辨率图像块进行合并，得到所述待处理图像的目标分辨率图像。
可选的，所述参考图像被划分为多个参考图像块，所述待处理图像被划分为与所述多个参考图像块分别对应的待处理图像块和不需要处理的图像块；
所述装置还包括目标分辨率图像获得单元，用于将所述目标分辨率图像块与所述不需要处理的图像块进行合并，得到所述待处理图像的目标分辨率图像。
可选的，所述目标分辨率图像的分辨率高于所述待处理图像的分辨率。
可选的，所述对参考图像进行处理，得到目标分辨率参考图像，包括：
利用卷积网络对所述参考图像进行上采样处理，得到目标分辨率参考图像。
可选的，所述参考图像与所述待处理图像同属于一段视频，所述参考图像在视频时间上早于所述待处理图像。
可选的，所述参考图像块对应的图像区域与所述待处理图像块对应的图像区域相同。
需要说明的是，对于本申请第二实施例提供的图像处理装置的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。
与上述提供的一种图像处理方法相对应的，本申请第三实施例还提供了一种电子设备。
如图9所示，所述电子设备包括：
处理器901，以及
存储器902，用于存储有计算机程序；所述处理器运行所述计算机程序后，执行下述步骤：
对参考图像进行处理，得到目标分辨率参考图像；
根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
可选的，所述对参考图像进行处理，得到目标分辨率参考图像，包括：对所述参考图像进行超分辨率处理，得到分辨率高于所述参考图像分辨率的目标分辨率参考图像。
可选的，所述根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差，包括：
获得待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差；
对所述运动残差进行处理，得到目标分辨率运动残差。
可选的，所述对所述运动残差进行处理，得到目标分辨率运动残差，包括：对所述运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。
可选的，所述对所述运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差，包括：
对所述运动残差采用插值算法进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。
可选的，所述根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块，包括：当所述待处理图像中的待处理图像块的传播误差不大于设定的误差阈值时，根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
可选的，所述电子设备还执行下述步骤：当所述待处理图像中的待处理图像块的传播误差大于设定的误差阈值时，将所述待处理图像块进行超分辨率处理，得到所述待处理图像块的目标分辨率图像块，或者，将所述待处理图像进行超分辨率处理，得到所述待处理图像的目标分辨率图像。
可选的，按照下述方式确定所述待处理图像中的待处理图像块的传播误差：
et(x)＝et-1(x+dx)-Laplacian(x)
其中，x用于标识待处理图像中的待处理图像块；
et(x)为待处理图像中的待处理图像块的传播误差；
et-1(x+dx)为参考图像中的参考图像块的传播误差，其中dx表示运动向量；
Laplacian(x)为待处理图像中的待处理图像块的运动残差的拉普拉斯算子计算得到的能量值。
可选的，所述参考图像被划分为多个参考图像块，所述待处理图像被划分为多个分别与所述多个参考图像块对应的待处理图像块；
所述根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差，包括：分别根据待处理图像中的每个待处理图像块相对于所述参考图像中的对应参考图像块的运动残差，得到所有的目标分辨率运动残差；
所述根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块，包括：分别根据所述目标分辨率参考图像中的每个目标分辨率参考图像块和对应的目标分辨率运动残差，得到所述待处理图像块的所有目标分辨率图像块；
所述电子设备还执行下述步骤：将所有目标分辨率图像块进行合并，得到所述待处理图像的目标分辨率图像。
可选的，所述参考图像被划分为多个参考图像块，所述待处理图像被划分为与所述多个参考图像块分别对应的待处理图像块和不需要处理的图像块；
所述电子设备还执行下述步骤：将所述目标分辨率图像块与所述不需要处理的图像块进行合并，得到所述待处理图像的目标分辨率图像。
可选的，所述目标分辨率图像的分辨率高于所述待处理图像的分辨率。
可选的，所述对参考图像进行处理，得到目标分辨率参考图像，包括：
利用卷积网络对所述参考图像进行上采样处理，得到目标分辨率参考图像。
可选的，所述参考图像与所述待处理图像同属于一段视频，所述参考图像在视频时间上早于所述待处理图像。
可选的，所述参考图像块对应的图像区域与所述待处理图像块对应的图像区域相同。
需要说明的是，对于本申请第三实施例提供的电子设备的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。
本申请第四实施例提供一种存储设备，所述存储设备存储有计算机程序，所述计算机程序用于执行下述步骤：
对参考图像进行处理，得到目标分辨率参考图像；
根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (17)

1.一种图像处理方法，其特征在于，包括：
对参考图像进行处理，得到目标分辨率参考图像；
根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
2.根据权利要求1所述的方法，其特征在于，所述对参考图像进行处理，得到目标分辨率参考图像，包括：对所述参考图像进行超分辨率处理，得到分辨率高于所述参考图像分辨率的目标分辨率参考图像。
3.根据权利要求1所述的方法，其特征在于，所述根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差，包括：
获得待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差；
对所述运动残差进行处理，得到目标分辨率运动残差。
4.根据权利要求3所述的方法，其特征在于，所述对所述运动残差进行处理，得到目标分辨率运动残差，包括：对所述运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。
5.根据权利要求4所述的方法，其特征在于，所述对所述运动残差进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差，包括：
对所述运动残差采用插值算法进行超分辨率处理，得到分辨率高于所述运动残差分辨率的目标分辨率运动残差。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块，包括：当所述待处理图像中的待处理图像块的传播误差不大于设定的误差阈值时，根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
7.根据权利要求6所述的方法，其特征在于，还包括：当所述待处理图像中的待处理图像块的传播误差大于设定的误差阈值时，将所述待处理图像块进行超分辨率处理，得到所述待处理图像块的目标分辨率图像块，或者，将所述待处理图像进行超分辨率处理，得到所述待处理图像的目标分辨率图像。
8.根据权利要求6或7所述的方法，其特征在于，按照下述方式确定所述待处理图像中的待处理图像块的传播误差：
et(x)＝et-1(x+dx)-Laplacian(x)
其中，x用于标识待处理图像中的待处理图像块；
et(x)为待处理图像中的待处理图像块的传播误差；
et-1(x+dx)为参考图像中的参考图像块的传播误差，其中dx表示运动向量；
Laplacian(x)为待处理图像中的待处理图像块的运动残差的拉普拉斯算子计算得到的能量值。
9.根据权利要求1所述的方法，其特征在于，所述参考图像被划分为多个参考图像块，所述待处理图像被划分为多个分别与所述多个参考图像块对应的待处理图像块；
所述根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差，包括：分别根据待处理图像中的每个待处理图像块相对于所述参考图像中的对应参考图像块的运动残差，得到所有的目标分辨率运动残差；
所述根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块，包括：分别根据所述目标分辨率参考图像中的每个目标分辨率参考图像块和对应的目标分辨率运动残差，得到所述待处理图像块的所有目标分辨率图像块；
所述方法还包括：将所有目标分辨率图像块进行合并，得到所述待处理图像的目标分辨率图像。
10.根据权利要求1所述的方法，其特征在于，所述参考图像被划分为多个参考图像块，所述待处理图像被划分为与所述多个参考图像块分别对应的待处理图像块和不需要处理的图像块；
所述方法还包括：将所述目标分辨率图像块与所述不需要处理的图像块进行合并，得到所述待处理图像的目标分辨率图像。
11.根据权利要求9或10所述的方法，其特征在于，所述目标分辨率图像的分辨率高于所述待处理图像的分辨率。
12.根据权利要求1所述的方法，其特征在于，所述对参考图像进行处理，得到目标分辨率参考图像，包括：
利用卷积网络对所述参考图像进行上采样处理，得到目标分辨率参考图像。
13.根据权利要求1所述的方法，其特征在于，所述参考图像与所述待处理图像同属于一段视频，所述参考图像在视频时间上早于所述待处理图像。
14.根据权利要求1所述的方法，其特征在于，所述参考图像块对应的图像区域与所述待处理图像块对应的图像区域相同。
15.一种图像处理装置，其特征在于，包括：
目标分辨率参考图像获得单元，用于对参考图像进行处理，得到目标分辨率参考图像；
目标分辨率运动残差获得单元，用于根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
目标分辨率图像块获得单元，用于根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
16.一种电子设备，其特征在于，包括：
处理器；以及
存储器，存储有计算机程序；所述处理器运行所述计算机程序后，执行下述步骤：
对参考图像进行处理，得到目标分辨率参考图像；
根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
17.一种存储设备，其特征在于，所述存储设备存储有计算机程序，所述计算机程序用于执行下述步骤：
对参考图像进行处理，得到目标分辨率参考图像；
根据待处理图像中的待处理图像块相对于所述参考图像中的参考图像块的运动残差，得到目标分辨率运动残差；
根据所述目标分辨率参考图像中的目标分辨率参考图像块和目标分辨率运动残差，得到所述待处理图像块的目标分辨率图像块。
CN201810210854.0A 2018-03-14 2018-03-14 图像处理方法、装置及设备 Active CN110278487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810210854.0A CN110278487B (zh) 2018-03-14 2018-03-14 图像处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810210854.0A CN110278487B (zh) 2018-03-14 2018-03-14 图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110278487A true CN110278487A (zh) 2019-09-24
CN110278487B CN110278487B (zh) 2022-01-25

Family

ID=67957646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810210854.0A Active CN110278487B (zh) 2018-03-14 2018-03-14 图像处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110278487B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996171A (zh) * 2019-12-12 2020-04-10 北京金山云网络技术有限公司 视频类任务的训练数据生成方法、装置及服务器
US20220021872A1 (en) * 2019-09-27 2022-01-20 Tencent Technology (Shenzhen) Company Limited Video encoding method and apparatus, video decoding method and apparatus, storage medium, and electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606136A (zh) * 2013-12-04 2014-02-26 西安电子科技大学 基于关键帧和非局部约束的视频超分辨方法
CN103955701A (zh) * 2014-04-15 2014-07-30 浙江工业大学 多层次结合的多视合成孔径雷达图像目标识别方法
US20150189276A1 (en) * 2012-07-09 2015-07-02 Nippon Telegraph And Telephone Corporation Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
CN107292819A (zh) * 2017-05-10 2017-10-24 重庆邮电大学 一种基于边缘细节保护的红外图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150189276A1 (en) * 2012-07-09 2015-07-02 Nippon Telegraph And Telephone Corporation Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
CN103606136A (zh) * 2013-12-04 2014-02-26 西安电子科技大学 基于关键帧和非局部约束的视频超分辨方法
CN103955701A (zh) * 2014-04-15 2014-07-30 浙江工业大学 多层次结合的多视合成孔径雷达图像目标识别方法
CN107292819A (zh) * 2017-05-10 2017-10-24 重庆邮电大学 一种基于边缘细节保护的红外图像超分辨率重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220021872A1 (en) * 2019-09-27 2022-01-20 Tencent Technology (Shenzhen) Company Limited Video encoding method and apparatus, video decoding method and apparatus, storage medium, and electronic device
CN110996171A (zh) * 2019-12-12 2020-04-10 北京金山云网络技术有限公司 视频类任务的训练数据生成方法、装置及服务器
CN110996171B (zh) * 2019-12-12 2021-11-26 北京金山云网络技术有限公司 视频类任务的训练数据生成方法、装置及服务器

Also Published As

Publication number Publication date
CN110278487B (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
Cornillere et al. Blind image super-resolution with spatially variant degradations
Li et al. SPM-BP: Sped-up PatchMatch belief propagation for continuous MRFs
Min et al. Depth video enhancement based on weighted mode filtering
Shan et al. Fast image/video upsampling
US9076234B2 (en) Super-resolution method and apparatus for video image
CN111275626A (zh) 一种基于模糊度的视频去模糊方法、装置及设备
US20170278302A1 (en) Method and device for registering an image to a model
US10013741B2 (en) Method for deblurring video using modeling blurred video with layers, recording medium and device for performing the method
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
Sajjad et al. Multi-kernel based adaptive interpolation for image super-resolution
Xi et al. Super resolution reconstruction algorithm of video image based on deep self encoding learning
Khan et al. Efficient edge-based image interpolation method using neighboring slope information
CN110278487A (zh) 图像处理方法、装置及设备
CN106846250B (zh) 一种基于多尺度滤波的超分辨率重建方法
Lim et al. Deep spectral-spatial network for single image deblurring
US8849029B2 (en) Image processing method, image processing device and program
Sadek et al. A variational model for gradient-based video editing
US20130120461A1 (en) Image processor and image processing method
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
Zefreh et al. Super-resolution of license plate images using algebraic reconstruction technique
CN110278486A (zh) 图像处理、图像分辨率处理参数的生成方法及装置
CN117011130A (zh) 图像超分辨率的方法、装置、设备、介质及程序产品
Chang et al. Super resolution using trilateral filter regression interpolation
US20180158194A1 (en) Determining Optical Flow
CN102946522B (zh) 基于非局部均值的超分辨率方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40013724

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant