CN113935934A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113935934A
CN113935934A CN202111171386.9A CN202111171386A CN113935934A CN 113935934 A CN113935934 A CN 113935934A CN 202111171386 A CN202111171386 A CN 202111171386A CN 113935934 A CN113935934 A CN 113935934A
Authority
CN
China
Prior art keywords
image
target
magnification
zooming
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111171386.9A
Other languages
English (en)
Inventor
成凯华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111171386.9A priority Critical patent/CN113935934A/zh
Publication of CN113935934A publication Critical patent/CN113935934A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、电子设备和存储介质。所述方法包括：获取目标变焦倍率，在目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理得到第一目标图像；在目标变焦倍率属于预设变焦倍率集合的情况下，确定目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式以及通过多帧融合方式，对各帧待处理图像进行变焦处理得到第二目标图像；各个超分模型是经过联合量化感知得到的；在目标变焦倍率处于第二变焦倍率范围内的情况下，通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理得到第三目标图像。采用本方法能够灵活实现不同焦段下的变焦处理。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
手机拍照的变焦功能一般包括光学变焦、混合变焦和数码变焦这三种处理方式。根据焦段的不同,可以选择不同的变焦方式进行处理。然而，传统变焦方式所能够支持的变焦倍数有限，处理方式不灵活。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以灵活实现不同焦段下的变焦处理。
第一方面，本申请提供了一种图像处理方法，包括：
获取目标变焦倍率，在所述目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在所述目标变焦倍率下的第一目标图像；
在所述目标变焦倍率属于预设变焦倍率集合的情况下，从所述预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过所述第一超分模型采用单帧超分方式以及通过所述多帧融合方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像；所述预设变焦倍率为所述第一变焦倍率范围的上限倍率的整数倍，各个所述预设变焦倍率对应的超分模型是经过联合量化感知得到的；
在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过所述多帧融合方式、所述单帧超分方式和插值处理方式对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像。
第二方面，本申请还提供了一种图像处理装置，包括：
获取模块，用于获取目标变焦倍率；
第一变焦模块，用于在所述目标变焦倍率处于预设变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在所述目标变焦倍率下的第一目标图像；
第二变焦模块，用于在所述目标变焦倍率属于预设变焦倍率集合的情况下，从所述预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过所述第一超分模型采用单帧超分方式以及通过所述多帧融合方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像；所述预设变焦倍率为所述第一变焦倍率范围的上限倍率的整数倍，各个所述预设变焦倍率对应的超分模型是经过联合量化感知得到的；
第三变焦模块，用于在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过所述多帧融合方式、所述单帧超分方式和插值处理方式对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像。
第三方面，本申请还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面所提供的图像处理方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
上述图像处理方法、装置、电子设备、计算机可读存储介质，在目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，能够快速生成在目标变焦倍率下的第一目标图像。在目标变焦倍率属于预设变焦倍率集合的情况下，从预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式以及通过多帧融合方式对各帧待处理图像进行变焦处理，能够增加图像的细节，减少图像画质的损失，从而得到在目标变焦倍率下的第二目标图像，预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍。并且，各个预设变焦倍率对应的超分模型是经过联合量化感知得到的，则各个超分模型可以基于相同标准下的参数对待处理图像进行处理，从而得到更准确的第二目标图像。在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像，根据目标变焦倍率所属的预设变焦倍率，既可以灵活选择多帧融合方式、单帧超分方式、插值处理方式及其组合方式执行不同焦段下的变焦处理，又能够有效降低每个焦段下的图像画质的损失。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程图；
图3为一个实施例中对单个预设变焦倍率对应的超分模型进行量化感知的流程示意图；
图4为一个实施例中得到所有超分模型对应的目标损失值的示意图；
图5为一个实施例中得到第二目标图像的示意图；
图6为一个实施例中将各第二超分模型插值出目标变焦倍率对应的第三超分模型的示意图；
图7为一个实施例中通过多帧融合方式对各帧待处理图像进行变焦处理的流程示意图；
图8为一个实施例中计算单应性矩阵的流程示意图；
图9为另一个实施例中图像处理方法的流程图；
图10为一个实施例中图像处理装置的结构框图；
图11为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一目标图像称为第二目标图像，且类似地，可将第二目标图像称为第一目标图像。第一目标图像和第二目标图像两者都是目标图像，但其不是同一目标图像。
图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备110和服务器120。电子设备110获取目标变焦倍率和各帧待处理图像，将目标倍率和各帧待处理图像发送给服务器120。在目标变焦倍率处于第一变焦倍率范围的情况下，服务器120通过多帧融合方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第一目标图像。服务器120将第一目标图像返回至终端110。在目标变焦倍率属于第二预设变焦倍率的情况下，服务器120通过多帧融合方式和单帧超分方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第二目标图像；第二预设变焦倍率为第一变焦倍率范围的上限值的整数倍。服务器120将第二目标图像返回至终端110。在目标变焦倍率属于第三预设变焦倍率的情况下，服务器120通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像；第三预设变焦倍率处于两个不同的第二预设变焦倍率之间。服务器120将第三目标图像返回至终端110。
其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的终端或服务器上为例进行描述。如图2所示，图像处理方法包括步骤202至步骤206。
步骤202，获取目标变焦倍率。
目标变焦倍率是指所要获得的目标图像对应的变焦倍率。目标变焦倍率可以是用户在通过摄像头拍摄前、拍摄过程中设置的变焦倍率，也可以是在获取图像之后设置的变焦倍率，以将图像经过变焦处理，得到在目标变焦倍率下的目标图像。
步骤204，在目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第一目标图像。
其中，待处理图像可以是RGB(Red，Green，Blue)图像、RAW图像、灰度图像、深度图像、YUV图像中的Y分量所对应的图像等其中的任意一种。其中，RAW图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据。YUV图像中的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
第一变焦倍率范围为预先设置的变焦倍率的范围，例如，第一变焦倍率范围为1x-1.6x，即摄像头执行的焦段为1x-1.6x。多帧融合方式(motion-stacking)是指将至少两帧图像进行融合的处理方式。
具体地，电子设备可从本地或其他设备或网络上获取待处理图像，或者电子设备通过摄像头拍摄场景得到待处理图像。待处理图像还可以是从本地或其他设备或网络上获取的视频中的视频帧，或者通过摄像头拍摄的视频中的视频帧。
电子设备可获取目标变焦倍率，将目标变焦倍率和第一变焦倍率范围进行比较，以确定目标变焦倍率是否处于第一变焦倍率范围内。在目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第一目标图像。进一步地，电子设备将各帧待处理图像放大至目标变焦倍率，并将放大至目标变焦倍率下的各帧图像进行融合处理，得到第一目标图像。
步骤206，在目标变焦倍率属于预设变焦倍率集合的情况下，从预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式以及通过多帧融合方式，对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第二目标图像；预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍，各个预设变焦倍率对应的超分模型是经过联合量化感知得到的。
其中，预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍的变焦倍率。预设变焦倍率集合是各个预设变焦倍率所组成的集合。例如第一变焦倍率范围为1x-1.6x，上限倍率为1.6x，则第二预设变焦倍率集合可以包括1.6x、3.2x、4.8x和6.4x等，预设变焦倍率为1.6x、3.2x、4.8x或6.4x。单帧超分方式是指对单帧图像进行超分辨率重建的处理方式。第一超分模型指的是目标变焦倍率对应的超分模型。
量化感知，即在量化的过程中对模型进行训练，从而让模型参数能更好地适应量化带来的信息损失。各个预设变焦倍率对应的超分模型经过联合量化感知，则可以得到一致标准的参数的各个超分模型，各个超分模型能够以一致标准的参数对待处理图像进行处理，从而更准确地得到第二目标图像。
电子设备可获取目标变焦倍率，将目标变焦倍率和预设变焦倍率集合中各个预设变焦倍率进行比较，以确定目标变焦倍率是否属于预设变焦倍率集合。在目标变焦倍率属于预设变焦倍率集合的情况下，从预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式以及通过多帧融合方式，对各帧待处理图像进行变焦处理。通过单帧超分方式对多帧融合方式的处理结果进行超分辨率重建，得到在目标变焦倍率下的第二目标图像。
步骤208，在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像。
其中，第二变焦倍率范围是指处于两个相邻的预设变焦倍率之间的变焦倍率范围，例如两个相邻的预设变焦倍率为1.6x和3.2x，则第二变焦倍率范围为(1.6x-3.2x)。
插值处理方式是指对单帧图像进行插值处理，以获得更高分辨率的图像，例如，插值处理方式可以是Bicubic(双三次插值)、Bilinear(双线性插值)或Lanczos，但不限于此。
具体地，电子设备可获取目标变焦倍率，将目标变焦倍率和第二变焦倍率范围进行比较，以确定目标变焦倍率是否处于第二变焦倍率范围内。在目标变焦倍率处于第二变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理。通过插值处理方式插值出目标变焦倍率对应的新的超分模型。通过该新的超分模型采用单帧超分方式对多帧融合方式的处理结果进行超分辨率重建，得到在目标变焦倍率下的第三目标图像。
在本实施例中，在目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，能够快速生成在目标变焦倍率下的第一目标图像。在目标变焦倍率属于预设变焦倍率集合的情况下，从预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式以及通过多帧融合方式对各帧待处理图像进行变焦处理，能够增加图像的细节，减少图像画质的损失，从而得到在目标变焦倍率下的第二目标图像，预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍。并且，各个预设变焦倍率对应的超分模型是经过联合量化感知得到的，则各个超分模型可以基于相同标准下的参数对待处理图像进行处理，从而得到更准确的第二目标图像。在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像，根据目标变焦倍率所属的预设变焦倍率，既可以灵活选择多帧融合方式、单帧超分方式、插值处理方式及其组合方式执行不同焦段下的变焦处理，又能够有效降低每个焦段下的图像画质的损失。
在一个实施例中，各个预设变焦倍率对应的超分模型的联合量化感知方式，包括：分别对每个预设变焦倍率对应的超分模型进行量化感知，得到所有超分模型对应的目标损失值；根据目标损失值对各个预设变焦倍率对应的超分模型进行训练，直到满足训练截止条件，得到训练完成的各个超分模型。
目标损失值指的是所有超分模型量化感知得到的总的损失值。训练截止条件可以根据需要进行设置。例如，训练截止条件可以是训练时长达到预设时长，训练次数达到预设次数，或目标损失值小于预设数值等。
图3为一个实施例中对单个预设变焦倍率对应的超分模型进行量化感知的流程示意图。电子设备获取数据类型为float的输入数据，通过设置的伪量化节点Quantize来统计流入当前节点的最大值和最小值，根据该最大值和最小值来限定量化的范围。可以理解的是，如果每个超分模型都单独做量化感知过程，那不同超分模型相同的Conv(节点)的量化范围就会根据训练得到不同的结果，这样就没有办法做参数插值，因为量化后的值表示的实际物理意义不一样。比如Model-2x和Model-3x的某个conv(节点)来插值，假设量化前输入值都是50，量化范围在Model-2x和Model-3x分别是[0,100]，[0,200]，量化精度8bit,那量化后输入应该分别是(50-0)/(100-0)*255＝128，以及(50-0)/(200-0)*255＝64，所以虽然量化前的实际输入一样，但是输入的范围不同会造成量化模型输入的值差异很大,所以要在量化感知的部分就要保证不同的模型在相同节点的输入范围尽可能一致，因此需要对各个预设变焦倍率对应的超分模型的联合量化感知，保证各个超分模型的参数的范围一致。其中，输入值可以是图像某个位置的像素值。
在本实施例中，电子设备分别对每个预设变焦倍率对应的超分模型进行量化感知，得到所有超分模型对应的目标损失值，那么，根据目标损失值可以对各个预设变焦倍率对应的超分模型联合进行训练，直到满足训练截止条件，可以得到训练完成，并且一致标准参数的各个超分模型，提高了对各个超分模型训练的准确度。
在一个实施例中，分别对每个预设变焦倍率对应的超分模型进行量化感知，得到所有超分模型对应的目标损失值，包括：在对每个预设变焦倍率对应的超分模型进行量化感知的过程中，通过设置的伪量化节点，统计流经伪量化节点的最大值和最小值；基于各个最大值确定最大值的方差，基于各个最小值确定最小值的方差；基于最大值的方差和最小值的方差，确定所有超分模型对应的目标损失值。
伪量化节点是用以统计训练时流经该伪量化节点数据的最大值和最小值，便于在使用TOCO转换tflite格式时量化使用并减少精度损失，它参与模型训练的前向推理过程令模型获得量化损失。
电子设备获取各个超分模型在量化感知过程中通过该伪量化节点的最大值，确定出最大值的方差。同样地，电子设备获取各个超分模型在量化感知过程中通过该伪量化节点的最小值，确定出最小值的方差。
在一种实施方式中，电子设备可以将最大值的方差加上最小值的方差，得到所有超分模型对应的目标损失值。在另一种实施方式中，电子设备最大值的方差乘以最小值的方差，得到所有超分模型对应的目标损失值。在另一种实施方式中，电子设备可以将最大值的方差和最小值的方差分别乘以预设的权重因子，再将两个乘积相加得到所有超分模型对应的目标损失值。具体的确定出目标损失值的计算方式，可以根据用户需要进行设置，在此不做限定。
在一个实施例中，电子设备采用以下公式(1)计算得到最大值的方差：
LMAX＝∑(Maxi-μMAX)2/N (1)
其中，LMAX是最大值的方差，μMAX是各个最大值的均值，Maxi是第i个最大值，N为最大值的个数。
电子设备采用以下公式(2)计算得到最小值的方差：
LMIN＝∑(Mini-μMIN)2/N (2)
其中，LMIN是最小值的方差，μMIN是各个最小值的均值，Mini是第i个最小值，N为最小值的个数。
电子设备采用以下公式(3)计算得到所有超分模型对应的目标损失值：
L＝LMIN+LMAX (3)
其中，LMIN是最小值的方差，LMAX是最大值的方差。其中，LMIN、LMAX指的是各个超分模型中相同OP(Operation)位置最小值的方差和最大值的方差。
在本实施例中，在对每个预设变焦倍率对应的超分模型进行量化感知的过程中，通过设置的伪量化节点，统计流经伪量化节点的最大值和最小值；基于各个最大值确定最大值的方差，基于各个最小值确定最小值的方差；基于最大值的方差和最小值的方差，可以准确地确定所有超分模型对应的目标损失值。
图4为一个实施例中得到所有超分模型对应的目标损失值的示意图。以对超分模型-1x、超分模型-2x和超分模型-3x进行联合量化感知为例，电子设备分别对超分模型-1x、超分模型-2x和超分模型-3x进行量化感知的过程中，通过设置的伪量化节点，统计流经该伪量化节点的最大值和最小值；接着基于各个最小值计算出最小值对应的损失值，基于各个最大值计算出最大值对应的损失值，再基于最小值对应的损失值和最大值对应的损失值，确定目标损失值。
在一个实施例中，通过第一超分模型采用单帧超分方式以及通过多帧融合方式，对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第二目标图像，包括：通过多帧融合方式对各帧待处理图像进行变焦处理，得到第一倍率图像；第一倍率图像为第一变焦倍率范围的上限倍率所对应的图像；通过第一超分模型采用单帧超分方式对第一倍率图像进行变焦处理，得到在目标变焦倍率下的第二目标图像。
具体地，电子设备根据各帧待处理图像分别对应的图像锐度，从各帧待处理图像中确定参考帧图像，将参考帧图像放大至第一变焦倍率范围的上限倍率，获取在上限倍率下的参考帧图像的特征点和各帧待处理图像的特征点。根据在上限倍率下的参考帧图像的特征点和各帧待处理图像的特征点，分别确定在上限倍率下的参考帧图像和各帧待处理图像之间的匹配点对。根据匹配点对确定在上限倍率下的参考帧图像分别和各帧待处理图像之间的单应性矩阵。基于单应性矩阵对各帧待处理图像进行配准处理，分别得到在上限倍率下的各配准图像。将各配准图像和在上限倍率的参考帧图像进行融合处理，得到在上限倍率下的第一倍率图像。
电子设备通过第一超分模型采用单帧超分方式对第一倍率图像进行变焦处理，得到在目标变焦倍率下的第二目标图像。进一步地，第一超分模型可以是AI超分模型。
本实施例中，在目标变焦倍率属于预设变焦倍率集合的情况下，先通过多帧融合方式对各帧待处理图像进行变焦处理，能够快速得到第一倍率图像。通过第一超分模型采用单帧超分方式对第一倍率图像进行变焦处理，使得在多帧融合方式不能支持目标变焦倍率的情况下，可以使用单帧超分方式对多帧融合方式的处理结果进行超分辨率重建，从而能够支持更多的变焦倍率。并且，预设变焦倍率集合中各个预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍，能够保证变焦的连续性以及高倍率变焦画质的保持。
在一个实施例中，通过第一超分模型采用单帧超分方式对第一倍率图像进行变焦处理，得到在目标变焦倍率下的第二目标图像，包括：通过第一超分模型将第一倍率图像放大至目标变焦倍率，得到目标倍率图像；对目标倍率图像进行特征提取，得到低级特征图；对低级特征图进行特征转换，得到高级特征图；将各个高级特征图进行融合处理，得到在目标变焦倍率下的第二目标图像。
目标倍率图像是第一倍率图像放大至目标变焦倍率得到的图像。低级特征图是第一超分模型中靠前位置提取出的特征。低级特征图可以包括颜色、图像频率和梯度等信息。高级特征图是第一超分模型中靠后位置提取出的特征。
在一个实施例中，第一超分模型可包括特征提取层、特征转换层、放大层和融合层。放大层将第一倍率图像放大至目标尺寸，该目标尺寸即为目标变焦倍率下的尺寸，即将第一倍率图像放大至目标变焦倍率，得到目标倍率图像。特征提取层对目标倍率图像进行低级特征的提取，得到低级特征图。特征转换层将低级特征图经过非线性组合得到高级特征图。融合层将各高级特征图融合成一张超分辨率图像并输出，即可得到在目标变焦倍率下的第二目标图像。
在本实施例中，通过第一超分模型将第一倍率图像放大至目标变焦倍率，得到目标倍率图像，对目标倍率图像进行特征提取，以获取目标倍率图像的关键特征，即低级特征图；对低级特征图进行特征转换，得到高级特征图；将各个高级特征图进行融合处理，能够重建得到在目标变焦倍率下的第二目标图像。并且，第二目标图像融合了更多的细节特征，画质更好。
图5为一个实施例中得到第二目标图像的示意图。电子设备将第一倍率图像输入第一超分模型中，第一超分模型包括特征提取层、特征转换层、放大层和融合层。通过放大层将第一倍率图像放大至目标变焦倍率，得到目标倍率图像；通过特征提取层对目标倍率图像进行特征提取，得到低级特征图；通过M个特征转换层对低级特征图进行特征转换，得到高级特征图；通过融合层将各个高级特征图进行融合处理，得到在目标变焦倍率下的第二目标图像。
整个超分模型包含四部分：Feature提取层、Feature转换层、放大层和融合层。
本实施例中的放大层并不是卷积层，而是Bicubic放大，将第一倍率图像放大到需要的比例，比如第一倍率图像的变焦倍率为1.6x，目标变焦倍率为2.4x，则继续将第一倍率图像放大1.5x，即1.5×1.6＝2.4，可以将第一倍率图像放大至目标倍率为2.4x的图像。该放大层也称为Upsample Layer。放大层的参数可以参考表1。
表1放大层的网络结构参数
Figure BDA0003293307600000071
Feature提取层是使用较大的感受视野卷积核来提取图像低级Feature，比如梯度、亮度、大小关系等，通常包括两层，可称为Feature Extract Layer A和B。在Feature提取层，使用比较大的卷积核，输出特征图(Feature Map)的深度不变，大小不变(x1)，通道数递增。Feature提取层的参数可以参考表2。
表2 Feature提取层的网络结构参数
Figure BDA0003293307600000072
Feature转换层是将提取层提取的低级Feature经过非线性组合得到高级Feature的过程(比如结构，形状等)，称为Feature Transform Layer，层数越多，Feature的非线性程度越高，就越能够表达更加复杂图像结构，越有利于图像重建的真实性。这个部分通常会选卷积核小的卷积，深度不变，大小不变(×1)，通道数也不变，重复M次，这里我们选M＝16。Feature转换层的参数可以参考表3。
表3 Feature转换层网络结构参数
Figure BDA0003293307600000081
融合层的目的是将通道数为64的feature融合成一张SR(Super-Resolution，超分)图像输出，称为Fusion Layer。融合层的参数可以参考表4。
Figure BDA0003293307600000082
在一个实施例中，在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像，包括：在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，获取两个相邻的预设变焦倍率分别对应的第二超分模型；各个预设变焦倍率对应的超分模型是经过联合量化感知得到的；采用插值处理方式，将各第二超分模型插值出目标变焦倍率对应的第三超分模型；通过多帧融合方式以及通过第三超分模型采用单帧超分方式，对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像。
第二超分模型指的是目标变焦倍率处于第二变焦倍率范围内的情况下，两个相邻的预设变焦倍率对应的超分模型。例如，目标变焦倍率为2x，两个相邻的预设变焦倍率为1.6x和3.2x，则第二超分模型为1.6x对应的超分模型和3.2x对应的超分模型。第三超分模型是目标变焦倍率处于第二变焦倍率范围内的情况下，目标变焦倍率对应的超分模型。
具体地，电子设备获取各第二超分模型的参数，基于各第二超分模型的参数线性插值出新的参数，基于新的参数在线推理出第三超分模型。电子设备可以采用以下公式(4)插值出第三超分模型的参数：
θinterp＝[(4.8-z)θ3.2x+(z-3.2)θ4.8x]/(4.8-3.2)
其中，θinterp是第三超分模型的参数，z是目标变焦倍率，θ3.2x是第二超分模型3.2x的参数，θ4.8x是第二超分模型4.8x的参数。其中，超分模型的参数即卷积核的值，比如一个超分模型中3x3的卷积核为[1,1,1；1,8,1；,1,1,1]，这些数字就是超分模型的参数。
在本实施例中，在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，获取两个相邻的预设变焦倍率分别对应的第二超分模型，而各个预设变焦倍率对应的超分模型是经过联合量化感知得到的，则将目标变焦倍率相邻的两个预设变焦倍率对应的第二超分模型，可以插值出参数范围一致的第三超分模型，从而实现准确地连续变焦，保证不同焦段之间的平滑过渡。
图6为一个实施例中将各第二超分模型插值出目标变焦倍率对应的第三超分模型的示意图。电子设备获取的目标变焦倍率为4x，获取第二超分模型分别是3.2x的超分模型和4.8x的超分模型，获取3.2x的超分模型的参数为θ3.2x，获取4.8x的超分模型的参数为θ4.8x，将3.2x的超分模型的参数θ3.2x乘以(4.8-4)/(4.8-3.2)，将4.8x的超分模型的参数θ4.8x乘以(4-3.2)/(4.8-3.2)，再将两个乘积相加得到第三超分模型的参数，可以生成4x的超分模型。
在一个实施例中，通过多帧融合方式以及通过第三超分模型采用单帧超分方式，对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像，包括：通过多帧融合方式对各帧待处理图像进行变焦处理，得到第一倍率图像；第一倍率图像为第一变焦倍率范围的上限倍率所对应的图像；通过第三超分模型采用单帧超分方式对第一倍率图像进行变焦处理，得到在目标变焦倍率下的第三目标图像。
具体地，电子设备根据各帧待处理图像分别对应的图像锐度，从各帧待处理图像中确定参考帧图像，将参考帧图像放大至第一变焦倍率范围的上限倍率，获取在上限倍率下的参考帧图像的特征点和各帧待处理图像的特征点。根据在上限倍率下的参考帧图像的特征点和各帧待处理图像的特征点，分别确定在上限倍率下的参考帧图像和各帧待处理图像之间的匹配点对。根据匹配点对确定在上限倍率下的参考帧图像分别和各帧待处理图像之间的单应性矩阵。基于单应性矩阵对各帧待处理图像进行配准处理，分别得到在上限倍率下的各配准图像。将各配准图像和在上限倍率的参考帧图像进行融合处理，得到在上限倍率下的第一倍率图像。
电子设备通过第三超分模型采用单帧超分方式对第一倍率图像进行变焦处理，得到在目标变焦倍率下的第三目标图像。进一步地，第三超分模型可以是AI超分模型。
本实施例中，在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，先通过多帧融合方式对各帧待处理图像进行变焦处理，能够快速得到第一倍率图像。通过第三超分模型采用单帧超分方式对第一倍率图像进行变焦处理，使得在多帧融合方式不能支持目标变焦倍率的情况下，可以使用单帧超分方式对多帧融合方式的处理结果进行超分辨率重建，从而能够支持更多的变焦倍率。
在一个实施例中，在目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第一目标图像，包括：在目标变焦倍率处于第一变焦倍率范围内的情况下，根据各帧待处理图像分别对应的图像锐度，从各帧待处理图像中确定参考帧图像；将参考帧图像放大至目标变焦倍率，基于在目标变焦倍率下的参考帧图像对各帧待处理图像进行配准处理，得到各配准图像；将各配准图像和在目标变焦倍率的参考帧图像进行融合处理，得到在目标变焦倍率下的第一目标图像。
其中，图像锐度也称清晰度，是反映图像平面清晰度和图像边缘锐利程度的指标。
具体地，电子设备获取目标变焦倍率，将目标变焦倍率和第一变焦倍率范围进行比较。在目标变焦倍率处于第一变焦倍率范围内的情况下，电子设备确定各帧待处理图像分别对应的图像锐度，根据图像锐度从各帧待处理图像中确定出参考帧图像。
在一个实施例中，在根据各帧待处理图像分别对应的图像锐度，从各帧待处理图像中确定参考帧图像之前，还包括：确定各帧待处理图像的局部亮度，根据局部亮度确定待处理图像的图像锐度。进一步地，电子设备可将待处理图像划分为多个窗口，确定每个窗口中的最大亮度值和最小亮度值，基于每个窗口中的最大亮度值和最小亮度值确定待处理图像的局部亮度。
例如，可通过如下公式计算待处理图像的图像锐度Sharpness：
Figure BDA0003293307600000101
将整幅图像划分为k1*k2个窗口，其中，Imax,k,l和Imin,k,l分别表示第k*l个窗口中的最大亮度值和最小亮度值。
确定各帧待处理图像的图像锐度后，选择图像锐度最大的待处理图像作为参考帧图像。电子设备将参考帧图像放大至目标变焦倍率，得到在目标变焦倍率下的参考帧图像。例如，将1.2x的参考帧图像放大至1.6x，得到1.6x的参考帧图像。
针对每帧待处理图像，基于在目标变焦倍率下的参考帧图像对待处理图像进行配准处理，得到每帧待处理图像分别对应的配准图像。将各配准图像和在目标变焦倍率的参考帧图像进行融合处理，得到在目标变焦倍率下的第一目标图像。
进一步地，电子设备确定各配准图像和在目标变焦倍率的参考帧图像之间相匹配的特征点，将相匹配的特征点求像素均值，将像素均值作为在目标变焦倍率下的第一目标图像中的相应特征点的像素值，直至得到在目标变焦倍率下的第一目标图像中的各个特征点的像素值后，获得第一目标图像。
在本实施例中，将各帧待处理图像向目标变焦倍率下的参考帧图像进行配准处理，使得各帧待处理图像和目标变焦倍率下的参考帧图像处于相同的图像空间，以保证各帧待处理图像和目标变焦倍率下的参考帧图像除分辨率以外的其它参数均保持一致，使得配准图像和参考帧图像融合后可获取亚像素级的高分辨率信息，所生成的第一目标图像画质更清晰。
在一个实施例中，对待处理图像的配准处理可包括图像内容的对应、颜色空间的对齐等。图像内容的对齐，可以采用图像特征点检测与匹配并计算单应矩阵的方式，也可以使用图像块匹配的方式。针对待处理图像和在目标变焦倍率下的参考帧图像之间的亮度、颜色空间的不匹配问题，可以在拍摄过程中引入一些标准色卡的照片，通过标准色卡确定待处理图像和在目标变焦倍率下的参考帧图像之间的差异，建模分析颜色空间、亮度的对齐模型，以及进行直方图匹配等操作，实现亮度、颜色空间的对齐。
如图7所示，为一个实施例中通过多帧融合方式对各帧待处理图像进行变焦处理的流程示意图。
获取多帧YUV图像，例如8-10帧图像。通过对各帧YUV图像进行锐度估计，确定出参考帧图像。参考帧放大至目标变焦倍率，其他帧YUV图像向放大后的参考帧图像进行配准处理，得到各配准图像。将各配准图像和放大后的参考帧图像进行多帧融合平均，得到多帧融合结果，即得到在目标变焦倍率下的第一目标图像。
在一个实施例中，基于在目标变焦倍率下的参考帧图像对各帧待处理图像进行配准处理，得到各配准图像，包括：获取在目标变焦倍率下的参考帧图像的特征点和各帧待处理图像的特征点；根据在目标变焦倍率下的参考帧图像的特征点和各帧待处理图像的特征点，分别确定在目标变焦倍率下的参考帧图像和各帧待处理图像之间的匹配点对；根据匹配点对确定在目标变焦倍率下的参考帧图像分别和各帧待处理图像之间的单应性矩阵；基于单应性矩阵对各帧待处理图像进行配准处理，分别得到目标变焦倍率的各配准图像。
其中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。特征点例如眼睛、鼻尖、嘴角、痣、物体的中心等，不限于此。
电子设备检测在目标变焦倍率下的参考帧图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点。检测各帧待处理图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点。
在一个实施例中，电子设备可以根据在目标变焦倍率下的参考帧图像中的特征点，从各帧待处理图像中提取对应的特征点。在另一个实施例中，也可以检测待处理图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点，并从其余待处理图像和在目标变焦倍率下的参考帧图像中提取对应的特征点。
电子设备将在目标变焦倍率下的参考帧图像中提取的特征点与待处理图像的对应的特征点组成匹配点对。
在一个实施例中，可将在目标变焦倍率下的参考帧图像划分为多个区域，例如为在目标变焦倍率下的参考帧图像增加九宫格，以划分为九个区域，取九宫格的每个点作为特征点。并根据在目标变焦倍率下的参考帧图像中的特征点确定待处理图像的特征点，组成匹配点对。
单应(Homography)是射影几何中的概念，又称为射影变换。它把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上，并且把直线映射为直线，具有保线性质。单应矩阵则是点和点的映射，使用单应矩阵可以找到像点在另一图像上对应点的确切位置。该单应性矩阵可用于表征在目标变焦倍率下的参考帧图像和待处理图像之间的映射关系。
电子设备可根据确定在目标变焦倍率下的参考帧图像和待处理图像之间的匹配点对，计算出在目标变焦倍率下的参考帧图像和待处理图像之间的单应性矩阵。通过单应性矩阵能够将待处理图像映射至与在目标变焦倍率下的参考帧图像相同的图像空间中。
电子设备将根据在目标变焦倍率下的参考帧图像和待处理图像之间的单应性矩阵，对该待处理图像进行配准处理，从而得到对应的配准图像。进一步地，根据单应性矩阵将待处理图像映射至与在目标变焦倍率下的参考帧图像相同的图像空间，根据匹配点对确定待处理图像与在目标变焦倍率下的参考帧图像之间的偏移量。接着，电子设备将待处理图像中各特征点移动该偏移量，得到移动后的图像，该移动后的图像即为配准图像。
按照相同的处理方式，可计算出每帧待处理图像和在目标变焦倍率下的参考帧图像之间分别对应的单应性矩阵，根据单应性矩阵对相应的待处理图像进行配准处理，得到对应的配准图像。
本实施例中，图像配准之前将参考帧图像放大至目标变焦倍率下，将其他帧待处理图像向放大后的参考帧图像配准，使得各帧待处理图像能够给在目标变焦倍率下的参考帧图像提供亚像素级的高分辨率信息。将在目标变焦倍率下的参考帧图像和各个配准图像进行融合，能够将不同帧相同内容的像素融合在一起，准确得到目标变焦倍率下的目标图像，并且能够避免出现鬼影，提高目标图像的画质。
在一个实施例中，图像配准的目的是为了图像融合的时能够尽量将不同帧相同内容的像素融合在一起。在图像配准之前,需要将参考帧插值放大到目标尺寸(比如1.6x),将其他帧图像向放大后的参考帧配准,这样其他帧图像才能给参考帧图像提供亚像素级的高分辨率信息。
采用基于SIFT(Scale-invariant feature transform，尺度不变的特征变换)特征点检测的单应性矩阵估计来进行图像配准,估计第K个待处理图像Yk向参考帧图像Y0的单应性矩阵Hk，如下公式所示：
Figure BDA0003293307600000111
其中，(x,y)是Hk中的任意一特征点坐标，3x3矩阵就是单应性矩阵Hk，经过转换后的特征点(x`，y`)就是(x,y)配准到参考帧图像Y0后的坐标,w`＝w＝1。
计算出单应性矩阵Hk后，就可以根据单应性矩阵Hk计算Yk中每个特征点相对于Y0的偏移量[MVxk，MVyk]，构成与Y0还有Hk相同尺寸的两通道的偏移向量图，其主要流程如图8所示。
将尺寸为h*w的参考帧图像Y0和尺寸为h*w的待处理图像Yk分别进行特征点检测，得到参考帧图像Y0对应的特征点描述和待处理图像Yk对应的特征点描述。根据特征点描述，将待处理图像Yk的特征点和参考帧图像Y0的特征点进行匹配，得到匹配点对。基于匹配点对，计算出待处理图像Yk和参考帧图像Y0的单应性矩阵Hk。
SIFT是用于关键点检测的原始算法，它的实质是在不同的尺度空间上查找关键点(特征点)，计算关键点的大小、方向、尺度信息，利用这些信息组成关键点对特征点进行描述。SIFT所查找的关键点都是一些十分突出，不会因为光照，仿射变换和噪声等因素而变换的稳定特征点。得到特征点后,用特征点周围点的梯度直方图构成特征向量
Figure BDA0003293307600000121
这个特征向量就是对当前特征点的描述，分别对Y0和Yk两幅图求特征点，就得到了两组特征点
Figure BDA0003293307600000122
和
Figure BDA0003293307600000123
特征点匹配的过程就是将找到的两组特征点中通过欧式距离进行匹配,如下公式所示：
Figure BDA0003293307600000124
找到Y0和Yk两幅图上距离最近的4个或者更多特征点对,就可以通过DLT(DirectLinear Transformation,直接线性变换)来求解单应性矩阵Hk的系数，从而得到Yk中每个点相对于Y0的偏移量[MVx，MVy]。例如，通过特征点匹配得到的在Yk上的特征点的坐标为(x1,y1)，(x2,y2),…(xt,yt)，对应的Y0上的特征点坐标为
Figure BDA0003293307600000125
将单应性矩阵作用在对应特征点对上，可得到以下方程：
Figure BDA0003293307600000131
或AHK＝0
其中A是一个具有匹配点对的二倍数量行数的矩阵，将匹配点对方程的系数堆叠到一个矩阵中，可以使用SVD(Singular Value Decomposition,奇异值分解)算法找到H的最小二乘解,从而计算出每一帧Yk中相对于Y0的偏移量[MVxk，MVyk]。
在一个实施例中，图像配准还可以采用SURF、角点或者其他特征来进行特征点检测和描述。还可以根据相邻帧每个点周围的亮度信息求解从各帧待处理图像到参考帧的每个像素的光流矢量，再根据光流矢量计算像素的运动矢量，以进行图像配准。
图9为一个实施例中图像处理方法的示意图。以第一变焦倍率范围为1x-1.6x、预设变焦倍率集合为(1.6x，3.2x，4.8x)、第二变焦倍率范围为1.6x-3.2x和3.2x-4.8x为例进行说明，在目标变焦倍率处于1x-1.6x内的情况下，电子设备选取8-10帧待处理图像作为输入，通过多帧融合方式对选取的8-10帧待处理图像进行融合，经过进行亚像素插值，在物理上增加高分辨率图像的细节，可以得到第一目标图像。
在目标变焦倍率属于(1.6x，3.2x，4.8x)的情况下，从(1.6x，3.2x，4.8x)中各个预设变焦倍率对应的超分模型中确定目标变焦倍率对应的第一超分模型，即从1.6x对应的超分模型1、3.2x对应的超分模型2和4.8x对应的超分模型3中确定出目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式对经过多帧融合方式处理之后的1.6x的第一倍率图像进行超分处理，得到第二目标图像。其中，各个预设变焦倍率对应的超分模型是经过联合量化感知得到的，各个超分模型可以是AI(Artificial Intelligence，人工智能)超分模型，AI超分可以使得不同的变焦倍率下图像画质不会有太大的衰减。
在目标变焦倍率处于1.6x-3.2x或3.2x-4.8x内的情况下，基于两个相邻的预设变焦倍率对应的超分模型插值出目标变焦倍率对应的新的超分模型，如目标变焦倍率处于1.6x-3.2x内，则基于超分模型1和超分模型2插值出目标变焦倍率对应的新的超分模型，如目标变焦倍率处于3.2x-4.8x内，则基于超分模型2和超分模型3插值出目标变焦倍率对应的新的超分模型。通过该新的超分模型对经过多帧融合方式处理之后的1.6x的图像进行超分处理，得到第三目标图像。
在另一个实施例中，提供了一种图像处理方法，应用于电子设备，该图像处理方法包括以下步骤：
步骤a1，获取目标变焦倍率。
在目标变焦倍率处于第一变焦倍率范围内的情况下，电子设备执行步骤a21至步骤a23。
步骤a21，根据各帧待处理图像分别对应的图像锐度，从各帧待处理图像中确定参考帧图像。
步骤a22，将参考帧图像放大至目标变焦倍率，获取在目标变焦倍率下的参考帧图像的特征点和各帧待处理图像的特征点；根据在目标变焦倍率下的参考帧图像的特征点和各帧待处理图像的特征点，分别确定在目标变焦倍率下的参考帧图像和各帧待处理图像之间的匹配点对；根据匹配点对确定在目标变焦倍率下的参考帧图像分别和各帧待处理图像之间的单应性矩阵；基于单应性矩阵对各帧待处理图像进行配准处理，分别得到目标变焦倍率的各配准图像。
步骤a23，将各配准图像和在目标变焦倍率的参考帧图像进行融合处理，得到在目标变焦倍率下的第一目标图像。
在目标变焦倍率属于预设变焦倍率集合的情况下，电子设备执行步骤a31至步骤a33。
步骤a31，在对每个预设变焦倍率对应的超分模型进行量化感知的过程中，通过设置的伪量化节点，统计流经伪量化节点的最大值和最小值；基于各个最大值确定最大值的方差，基于各个最小值确定最小值的方差；基于最大值的方差和最小值的方差，确定所有超分模型对应的目标损失值；根据目标损失值对各个预设变焦倍率对应的超分模型进行训练，直到满足训练截止条件，得到训练完成的各个超分模型。
步骤a32，从预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定目标变焦倍率对应的第一超分模型；预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍，各个预设变焦倍率对应的超分模型是经过联合量化感知得到的。
步骤a33，通过多帧融合方式对各帧待处理图像进行变焦处理，得到第一倍率图像；第一倍率图像为第一变焦倍率范围的上限倍率所对应的图像；通过第一超分模型将第一倍率图像放大至目标变焦倍率，得到目标倍率图像；对目标倍率图像进行特征提取，得到低级特征图；对低级特征图进行特征转换，得到高级特征图；将各个高级特征图进行融合处理，得到在目标变焦倍率下的第二目标图像。
在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，电子设备执行步骤a41至步骤a43。
步骤a41，获取两个相邻的预设变焦倍率分别对应的第二超分模型；各个预设变焦倍率对应的超分模型是经过联合量化感知得到的；采用插值处理方式，将各第二超分模型插值出目标变焦倍率对应的第三超分模型。
步骤a42，通过多帧融合方式对各帧待处理图像进行变焦处理，得到第一倍率图像；第一倍率图像为第一变焦倍率范围的上限倍率所对应的图像。
步骤a43，通过第三超分模型采用单帧超分方式对第一倍率图像进行变焦处理，得到在目标变焦倍率下的第三目标图像。
本实施例中，提供了在不同变焦倍率下的三种处理方式，不同变焦倍率包括第一变焦倍率范围、预设变焦倍率集合和第二变焦倍率范围，预设变焦倍率集合中各预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍，第二变焦倍率范围两个相邻的预设变焦倍率之间的倍率构成第二变焦倍率范围，使得第一变焦倍率范围、预设变焦倍率集合和第二变焦倍率范围能够涵盖所有的变焦倍率，使得各个变焦倍率下可使用对应的方式进行变焦处理。
在目标变焦倍率处于第一变焦倍率范围内的情况下，将各帧待处理图像向目标变焦倍率下的参考帧图像进行配准处理，使得各帧待处理图像和目标变焦倍率下的参考帧图像处于相同的图像空间，以保证各帧待处理图像和目标变焦倍率下的参考帧图像除分辨率以外的其它参数均保持一致，使得配准图像和参考帧图像融合后可获取亚像素级的高分辨率信息，提高目标图像的画质。
在目标变焦倍率属于预设变焦倍率集合的情况下，先通过多帧融合方式对各帧待处理图像进行变焦处理，能够快速得到第一倍率图像，再通过联合量化感知得到的第一超分模型采用单帧超分方式对第一倍率图像进行变焦处理，使得在多帧融合方式不能支持目标变焦倍率的情况下，可以使用单帧超分方式对多帧融合方式的处理结果进行超分辨率重建，得到第一变焦倍率范围的上限倍率的整数倍下的各个第二倍率图像，能够保证变焦的连续性以及高倍率变焦画质的保持。并且预设变焦倍率集合中各预设变焦倍率对应的超分模型是经过联合量化感知得到的，则各个超分模型可以基于相同标准下的参数对待处理图像进行处理，从而得到更准确的第二目标图像。
在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过插值方式，将两个相邻的预设变焦倍率分别对应的第二超分模型插值出目标变焦倍率对应的第三超分模型，再通过第三超分模型对经过多帧融合方式处理得到的第一倍率图像进行进行变焦处理，得到在所述目标变焦倍率下的第三目标图像，使得图像能够获得更多的细节特征，所得到的在目标变焦倍率下的第三目标图像清晰度更高，从而能够减少图像画质的损失。
本实施例根据目标变焦倍率所属的预设变焦倍率，可以灵活选择多帧融合方式、单帧超分方式、插值处理方式及其组合方式执行不同焦段下的变焦处理，能够有效降低每个焦段下的图像画质的损失，使得在增大图像分辨率的同时能够减少图像画质的损失。
应该理解的是，虽然图2至图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图10为一个实施例的图像处理装置的结构框图。如图10所示，提供了一种图像处理装置，包括：获取模块1002、第一变焦模块1004、第二变焦模块1006和第三变焦模块1008，其中：
获取模块1002，用于获取目标变焦倍率。
第一变焦模块1004，用于在目标变焦倍率处于预设变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第一目标图像。
第二变焦模块1006，用于在目标变焦倍率属于预设变焦倍率集合的情况下，从预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式以及通过多帧融合方式，对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第二目标图像；预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍，各个预设变焦倍率对应的超分模型是经过联合量化感知得到的。
第三变焦模块1008，用于在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像。
上述图像处理装置，在目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，能够快速生成在目标变焦倍率下的第一目标图像。在目标变焦倍率属于预设变焦倍率集合的情况下，从预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式以及通过多帧融合方式对各帧待处理图像进行变焦处理，能够增加图像的细节，减少图像画质的损失，从而得到在目标变焦倍率下的第二目标图像，预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍。并且，各个预设变焦倍率对应的超分模型是经过联合量化感知得到的，则各个超分模型可以基于相同标准下的参数对待处理图像进行处理，从而得到更准确的第二目标图像。在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像，根据目标变焦倍率所属的预设变焦倍率，既可以灵活选择多帧融合方式、单帧超分方式、插值处理方式及其组合方式执行不同焦段下的变焦处理，又能够有效降低每个焦段下的图像画质的损失。
在一个实施例中，上述方法还包括训练模块，用于分别对每个预设变焦倍率对应的超分模型进行量化感知，得到所有超分模型对应的目标损失值；根据目标损失值对各个预设变焦倍率对应的超分模型进行训练，直到满足训练截止条件，得到训练完成的各个超分模型。
在一个实施例中，上述训练模块还用于在对每个预设变焦倍率对应的超分模型进行量化感知的过程中，通过设置的伪量化节点，统计流经伪量化节点的最大值和最小值；基于各个最大值确定最大值的方差，基于各个最小值确定最小值的方差；基于最大值的方差和最小值的方差，确定所有超分模型对应的目标损失值。
在一个实施例中，上述第二变焦模块1006还用于通过多帧融合方式对各帧待处理图像进行变焦处理，得到第一倍率图像；第一倍率图像为第一变焦倍率范围的上限倍率所对应的图像；通过第一超分模型采用单帧超分方式对第一倍率图像进行变焦处理，得到在目标变焦倍率下的第二目标图像。
在一个实施例中，上述第二变焦模块1006还用于通过第一超分模型将第一倍率图像放大至目标变焦倍率，得到目标倍率图像；对目标倍率图像进行特征提取，得到低级特征图；对低级特征图进行特征转换，得到高级特征图；将各个高级特征图进行融合处理，得到在目标变焦倍率下的第二目标图像。
在一个实施例中，上述第三变焦模块1008还用于在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，获取两个相邻的预设变焦倍率分别对应的第二超分模型；各个预设变焦倍率对应的超分模型是经过联合量化感知得到的；采用插值处理方式，将各第二超分模型插值出目标变焦倍率对应的第三超分模型；通过多帧融合方式以及通过第三超分模型采用单帧超分方式，对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像。
在一个实施例中，上述第三变焦模块1008还用于通过多帧融合方式对各帧待处理图像进行变焦处理，得到第一倍率图像；第一倍率图像为第一变焦倍率范围的上限倍率所对应的图像；通过第三超分模型采用单帧超分方式对第一倍率图像进行变焦处理，得到在目标变焦倍率下的第三目标图像。
在一个实施例中，上述第一变焦模块1004还用于在目标变焦倍率处于第一变焦倍率范围内的情况下，根据各帧待处理图像分别对应的图像锐度，从各帧待处理图像中确定参考帧图像；将参考帧图像放大至目标变焦倍率，基于在目标变焦倍率下的参考帧图像对各帧待处理图像进行配准处理，得到各配准图像；将各配准图像和在目标变焦倍率的参考帧图像进行融合处理，得到在目标变焦倍率下的第一目标图像。
在一个实施例中，上述第一变焦模块1004还用于获取在目标变焦倍率下的参考帧图像的特征点和各帧待处理图像的特征点；根据在目标变焦倍率下的参考帧图像的特征点和各帧待处理图像的特征点，分别确定在目标变焦倍率下的参考帧图像和各帧待处理图像之间的匹配点对；根据匹配点对确定在目标变焦倍率下的参考帧图像分别和各帧待处理图像之间的单应性矩阵；基于单应性矩阵对各帧待处理图像进行配准处理，分别得到目标变焦倍率的各配准图像。
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图11为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory，接口动态随机存储器)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取目标变焦倍率，在所述目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在所述目标变焦倍率下的第一目标图像；
在所述目标变焦倍率属于预设变焦倍率集合的情况下，从所述预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过所述第一超分模型采用单帧超分方式以及通过所述多帧融合方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像；所述预设变焦倍率为所述第一变焦倍率范围的上限倍率的整数倍，各个所述预设变焦倍率对应的超分模型是经过联合量化感知得到的；
在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过所述多帧融合方式、所述单帧超分方式和插值处理方式对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像。
2.根据权利要求1所述的方法，其特征在于，各个所述预设变焦倍率对应的超分模型的联合量化感知方式，包括：
分别对每个所述预设变焦倍率对应的超分模型进行量化感知，得到所有超分模型对应的目标损失值；
根据所述目标损失值对各个所述预设变焦倍率对应的超分模型进行训练，直到满足训练截止条件，得到训练完成的各个超分模型。
3.根据权利要求2所述的方法，其特征在于，所述分别对每个所述预设变焦倍率对应的超分模型进行量化感知，得到所有超分模型对应的目标损失值，包括：
在对每个所述预设变焦倍率对应的超分模型进行量化感知的过程中，通过设置的伪量化节点，统计流经所述伪量化节点的最大值和最小值；
基于各个最大值确定所述最大值的方差，基于各个最小值确定所述最小值的方差；
基于所述最大值的方差和所述最小值的方差，确定所有超分模型对应的目标损失值。
4.根据权利要求1所述的方法，其特征在于，所述通过所述第一超分模型采用单帧超分方式以及通过所述多帧融合方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像，包括：
通过所述多帧融合方式对各帧所述待处理图像进行变焦处理，得到第一倍率图像；所述第一倍率图像为所述第一变焦倍率范围的上限倍率所对应的图像；
通过所述第一超分模型采用单帧超分方式对所述第一倍率图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像。
5.根据权利要求4所述的方法，其特征在于，所述通过所述第一超分模型采用单帧超分方式对所述第一倍率图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像，包括：
通过所述第一超分模型将所述第一倍率图像放大至所述目标变焦倍率，得到目标倍率图像；
对所述目标倍率图像进行特征提取，得到低级特征图；
对所述低级特征图进行特征转换，得到高级特征图；
将各个高级特征图进行融合处理，得到在所述目标变焦倍率下的第二目标图像。
6.根据权利要求1所述的方法，其特征在于，所述在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过所述多帧融合方式、所述单帧超分方式和插值处理方式对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像，包括：
在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，获取所述两个相邻的预设变焦倍率分别对应的第二超分模型；各个所述预设变焦倍率对应的超分模型是经过联合量化感知得到的；
采用插值处理方式，将各所述第二超分模型插值出所述目标变焦倍率对应的第三超分模型；
通过所述多帧融合方式以及通过所述第三超分模型采用单帧超分方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像。
7.根据权利要求6所述的方法，其特征在于，所述通过所述多帧融合方式以及通过所述第三超分模型采用单帧超分方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像，包括：
通过所述多帧融合方式对各帧所述待处理图像进行变焦处理，得到第一倍率图像；所述第一倍率图像为所述第一变焦倍率范围的上限倍率所对应的图像；
通过所述第三超分模型采用单帧超分方式对所述第一倍率图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像。
8.根据权利要求1所述的方法，其特征在于，所述在所述目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在所述目标变焦倍率下的第一目标图像，包括：
在所述目标变焦倍率处于第一变焦倍率范围内的情况下，根据各帧待处理图像分别对应的图像锐度，从各帧所述待处理图像中确定参考帧图像；
将所述参考帧图像放大至所述目标变焦倍率，基于在所述目标变焦倍率下的参考帧图像对各帧所述待处理图像进行配准处理，得到各配准图像；
将各所述配准图像和在所述目标变焦倍率的参考帧图像进行融合处理，得到在所述目标变焦倍率下的第一目标图像。
9.根据权利要求8所述的方法，其特征在于，所述基于在所述目标变焦倍率下的参考帧图像对各帧所述待处理图像进行配准处理，得到各配准图像，包括：
获取在所述目标变焦倍率下的参考帧图像的特征点和各帧所述待处理图像的特征点；
根据在所述目标变焦倍率下的参考帧图像的特征点和各帧所述待处理图像的特征点，分别确定在所述目标变焦倍率下的参考帧图像和各帧所述待处理图像之间的匹配点对；
根据所述匹配点对确定在所述目标变焦倍率下的参考帧图像分别和各帧所述待处理图像之间的单应性矩阵；
基于所述单应性矩阵对各帧所述待处理图像进行配准处理，分别得到目标变焦倍率的各配准图像。
10.一种图像处理装置，其特征在于，包括：
获取模块，用于获取目标变焦倍率；
第一变焦模块，用于在所述目标变焦倍率处于预设变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在所述目标变焦倍率下的第一目标图像；
第二变焦模块，用于在所述目标变焦倍率属于预设变焦倍率集合的情况下，从所述预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过所述第一超分模型采用单帧超分方式以及通过所述多帧融合方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像；所述预设变焦倍率为所述第一变焦倍率范围的上限倍率的整数倍，各个所述预设变焦倍率对应的超分模型是经过联合量化感知得到的；
第三变焦模块，用于在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过所述多帧融合方式、所述单帧超分方式和插值处理方式对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像。
11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的图像处理方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
CN202111171386.9A 2021-10-08 2021-10-08 图像处理方法、装置、电子设备和计算机可读存储介质 Pending CN113935934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111171386.9A CN113935934A (zh) 2021-10-08 2021-10-08 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111171386.9A CN113935934A (zh) 2021-10-08 2021-10-08 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113935934A true CN113935934A (zh) 2022-01-14

Family

ID=79278086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111171386.9A Pending CN113935934A (zh) 2021-10-08 2021-10-08 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113935934A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022553A (zh) * 2022-08-09 2022-09-06 深圳比特微电子科技有限公司 一种补光灯的动态控制方法和装置
CN117291810A (zh) * 2023-11-27 2023-12-26 腾讯科技（深圳）有限公司 视频帧的处理方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022553A (zh) * 2022-08-09 2022-09-06 深圳比特微电子科技有限公司 一种补光灯的动态控制方法和装置
CN117291810A (zh) * 2023-11-27 2023-12-26 腾讯科技（深圳）有限公司 视频帧的处理方法、装置、设备及存储介质
CN117291810B (zh) * 2023-11-27 2024-03-12 腾讯科技（深圳）有限公司 视频帧的处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110622497B (zh) 具备具有不同焦距的相机的设备及实现相机的方法
WO2021088473A1 (en) Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium
US11610082B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
CN107610153B (zh) 电子设备以及相机
CN110661977B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN111402139B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR20180122548A (ko) 이미지를 처리하는 방법 및 장치
CN113935934A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2010095460A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN110555808A (zh) 一种图像处理方法、装置、设备及机器可读存储介质
US11095832B2 (en) Method and system of fast image blending for overlapping region in surround view
CN113570531A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20230098437A1 (en) Reference-Based Super-Resolution for Image and Video Enhancement
WO2022247394A1 (zh) 图像拼接方法及装置、存储介质及电子设备
CN115205168A (zh) 图像处理方法、装置、电子设备和存储介质、产品
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN115205111A (zh) 一种图像拼接方法、装置、终端设备和存储介质
CN114049288A (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN110009676B (zh) 一种双目图像的本征性质分解方法
CN111242087A (zh) 物体识别方法及装置
CN111784733A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN115460348B (zh) 对焦清晰度检测方法及装置、存储介质和电子设备
WO2024051657A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN113781347A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination