CN113313630A - 图像处理方法、装置及电子设备 - Google Patents

图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN113313630A
CN113313630A CN202110587606.XA CN202110587606A CN113313630A CN 113313630 A CN113313630 A CN 113313630A CN 202110587606 A CN202110587606 A CN 202110587606A CN 113313630 A CN113313630 A CN 113313630A
Authority
CN
China
Prior art keywords
scene
image
weight
resolution image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110587606.XA
Other languages
English (en)
Other versions
CN113313630B (zh
Inventor
吴仆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiku Software Technology Shanghai Co ltd
Original Assignee
Aiku Software Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiku Software Technology Shanghai Co ltd filed Critical Aiku Software Technology Shanghai Co ltd
Priority to CN202110587606.XA priority Critical patent/CN113313630B/zh
Publication of CN113313630A publication Critical patent/CN113313630A/zh
Application granted granted Critical
Publication of CN113313630B publication Critical patent/CN113313630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置及电子设备，属于图像处理技术领域。该方法包括：对目标图像进行场景分割，获取所述目标图像包含的各个场景；根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；其中，所述目标图像为待处理的低分辨率图像。

Description

图像处理方法、装置及电子设备
技术领域
本申请属于图像处理技术领域，具体涉及一种图像处理方法、装置及电子设备。
背景技术
训练深度学习网络模型需要构造样本图像。常见的构造方法有采集和退化两种。
其中，通过退化的方法构造样本图像需要采集高分辨率图像，然后对图像进行退化操作，生成低分辨率图像。
由于每次训练均采用相同的退化模型，所以生成的图像的噪声分布及模糊程度都在一个固定水平，使得深度学习网络模型只能处理噪声分布及模糊程度都在该固定水平以下的低分辨率图像。
在图像的噪声分布或模糊程度超出上述固定水平的情况下，深度学习网络模型输出的高分辨率图像的效果就会较差。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置及电子设备，能够解决退化模型训练的网络模型生成的图像效果较差的问题。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
对目标图像进行场景分割，获取所述目标图像包含的各个场景；
根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；
将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；
其中，所述目标图像为待处理的低分辨率图像。
第二方面，本申请实施例提供了一种图像处理的装置，该装置包括：
获取模块，用于对目标图像进行场景分割，获取所述目标图像包含的各个场景；
权重图生成模块，用于根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；
生成模块，用于将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；
其中，所述目标图像为待处理的低分辨率图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤。
本申请实施例提供的图像处理方法、装置及电子设备，通过在退化模型中引入场景分割，并给不同场景赋予场景权重，以引导目标网络模型生成不同强弱细节的图像，从而能够提高生成的图像的效果。
附图说明
图1是根据本申请实施例的图像处理方法的流程示意图；
图2是根据本申请实施例的图像处理方法的模型训练流程示意图；
图3是根据本申请实施例提供的图像处理装置的模块框图；
图4是根据本申请实施例的电子设备的结构示意图；
图5是实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、装置及电子设备进行详细地说明。
图1为本申请实施例提供的图像处理方法的流程示意图。参照图1，本申请实施例提供一种图像处理方法，可以包括：
步骤110、对目标图像进行场景分割，获取所述目标图像包含的各个场景；
步骤120、根据目标图像包含的各个场景对应的场景权重，生成第一权重图；
步骤130、将目标图像以及第一权重图输入至目标网络模型中，以生成目标高分辨率图像；
其中，所述目标图像为待处理的低分辨率图像。
需要说明的是，本申请实施例提供的图像处理方法的执行主体可以是智能电子设备，例如手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等。
下面以计算机作为执行主体实现本申请实施例提供的图像处理方法为例，详细说明本申请的技术方案。
可选地，在步骤110中，计算机可以采用深度学习算法来设计一个分割网络，再通过该分割网络对目标图像进行场景分割，以得到目标图像中包含的各个场景。场景可以包括，例如天空、绿植、建筑、人像、电子屏、水面、花卉等。场景的类型可以根据实际需要确定，本申请实施例对此不作具体限定。
可选地，目标图像可以是通过拍摄装置拍摄的图像，也可以是下载的图像，还可以是其他终端发送的图像，本申请实施例不作具体限定。。
可选地，在步骤120中，计算机可以对目标图像包含的各个场景赋予对应的场景权重。由于不同场景的细节不同，因此不同的场景对应有不同的权重。例如：天空区域细节比较少，即对应赋予的场景权重较小，生成的目标图像中天空的细节将会弱化；而绿植属于纹理比较强的场景，即对应赋予的场景权重较大，生成的目标图像中绿植的细节将会强化。
在对目标图像包含的各个场景赋予对应的场景权重后，即可根据目标图像包含的各个场景对应的场景权重，生成第一权重图。其中，第一权重图可以以例如向量的形式，来表征目标图像包含的各个场景，以及各个场景对应的场景权重。
可选地，在步骤130中，目标网络模型可以将第一权重图与目标图像进行链接，从而使第一权重图作为引导图，来引导目标网络模型在进行网络推理时对目标图像包含的各个场景赋予对应的场景权重，从而生成目标高分辨率图像。
其中，目标图像可以为待处理的低分辨率图像。目标网络模型可以为例如超分网络、基于GAN(Generative Adversarial Network，生成式对抗网络)框架的网络等。
本申请实施例提供的图像处理方法，通过在退化模型中引入场景分割，并给不同场景赋予场景权重，以引导目标网络模型生成不同强弱细节的图像，从而能够提高图像效果。
在一个实施例中，在步骤110之前，本申请实施例提供的图像处理方法，还可以包括：
步骤101、对高分辨率图像进行场景分割，获取高分辨率图像包含的各个场景；
步骤102、根据高分辨率图像包含的各个场景对应的场景权重，确定第二权重图；
步骤103、基于第二权重图对高分辨率图像进行数据退化，生成低分辨率图像；
步骤104、将低分辨率图像以及第二权重图输入至初始网络模型中进行训练，得到目标网络模型。
如图2所示，可选地，在步骤101中，可以通过分割网络对高分辨率图像进行分割，可以通过不同颜色标注不同的分割场景，也可以通过高分辨率图像中各个像素点所属的类型进行场景分类。。
可选地，在步骤102中，可以对高分辨率图像中不同类型的场景赋予不同的场景权重。例如：对于采用蓝色区域、紫色区域、绿色区域和其他区域标注不同场景的图像，场景权重赋值如下：蓝色区域赋值为0.1，紫色区域赋值为0.5，绿色区域赋为0.8，其他区域赋值为0.5。对于采用具体场景分类的图像，场景权重赋值如下：天空赋值为0.1、绿植赋值为0.9、建筑赋值为0.5、人像赋值为0.6、电子屏赋值为0.5、水面赋值为0.2和花卉赋值为0.8。上述不同颜色的区域以及具体场景仅用作示例，本申请实施例不做具体限定。
在确定高分别率图像包含的各个场景对应的场景权重后，即可生成即可根据高分辨率图像包含的各个场景对应的场景权重，生成第二权重图。其中，第二权重图可以以例如向量的形式，来表征高分辨率图像包含的各个场景，以及各个场景对应的场景权重。
可选地，在步骤103中，可以根据第二权重图中，高分辨率图像包含的各个场景对应的权重，来对高分辨率图像进行数据退化，从而生成低分辨率图像。
可选地，在步骤104中，初始网络模型可以将第二权重图与低分辨率图像进行链接，从而使第二权重图作为引导图，来引导初始网络模型在进行训练时对低分辨率图像包含的各个场景赋予对应的场景权重。
通过对初始网络模型进行多次训练，即可确定目标网络模型所需的各种模型参数，进而得到最终的目标网络模型。
本申请实施例提供的图像处理方法，通过场景分割生成第二权重图，再根据第二权重图以及数据退化后的低分辨率图像进行初始网络模型训练，可以使得由初始网络模型训练得到的目标网络模型能够根据不同的退化方案生成不同强弱细节的图像，进一步提升了图像效果。
在一个实施例中，场景权重可以包括以下任一项：
预设的场景权重；
根据预设方式确定的场景权重；
其中，根据预设方式确定的场景权重，可以包括：
获取多个样本图像的特征参数的第一平均值，以及多个样本图像所包含的各个场景的特征参数的第二平均值；
根据第二平均值与第一平均值的比值，确定各个场景对应的场景权重；
其中，样本图像为历史采集图像；特征参数包括以下至少一项：噪声水平、亮度和清晰度。
可选地，场景权重可以通过如下方式确定：
方式一：预设的场景权重，即根据图像中各场景不同强弱的细节，依靠经验来设置不同的场景权重。例如：天空区域细节比较少，目标生成图像中天空区域的细节可以减弱，则将天空区域的场景权重设置为0.1；而绿植包含纹理比较强的细节，目标生成图像中天空区域的细节可以增强，则将天空区域的场景权重设置为0.9。
方式二：根据预设方式确定的场景权重，即将历史采集图像作为样本图像，并根据图像特征参数平均值来确定。
可选地，首先确定多个样本图像的特征参数的第一平均值，即第一平均值是基于针对样本图像整体的特征参数获取的；对多个样本图像进行场景分割，获取样本图像包含的各个场景；再确定各个场景对应的特征参数的第二平均值，即第二平均值是基于样本图像中各个场景对应的场景图像的特征参数获取的。最后将第二平均值与第一平均值的比值作为各个场景对应的场景权重。
可选地，选取N个历史采集图像作为样本图像，根据N个样本图像的噪声水平、亮度和清晰度的参数值确定样本图像包含的各个场景的场景权重：
首先确定N个样本图像的噪声水平、亮度和清晰度的平均值为M，再确定各个场景的噪声水平、亮度和清晰度的平均值。例如：场景1的噪声水平、亮度和清晰度的平均值为M1，场景2的噪声水平、亮度和清晰度的平均值为M2，则场景1的场景权重为M1/M，场景2的场景权重为M2/M。本申请实施例对样本图像的数量、特征参数对应的参数值以及样本图像包含的具体场景不作具体限定。
例如，选取100个样本图像，样本图像噪声水平、亮度和清晰度的平均值为10，样本图像中包含有天空和绿植两种场景，天空的噪声水平、亮度和清晰度的平均值为1，绿植的噪声水平、亮度和清晰度的平均值为9，则天空的场景权重为0.1，绿植的场景权重为0.9。
可选地，还可以首先获取样本图像中噪声水平的平均值为A，亮度的平均值为B，清晰度的平均值为C；再确定样本图像包含的各个场景的特征参数的平均值，例如：场景1的噪声水平的平均值为A1，亮度的平均值为B1，清晰度的平均值为C1，则场景1的权重系数＝A1/A+B1/B+C1/C；场景2的噪声水平的平均值为A2，亮度的平均值为B2，清晰度的平均值为C2，则场景2的权重系数＝A2/A+B2/B+C2/C。本申请实施例对样本图像的数量、特征参数对应的参数值以及样本图像包含的具体场景不作具体限定。
例如，选取100个样本图像，样本图像噪声水平的平均值为5、亮度的平均值为10，清晰度的平均值为15，样本图像中包含有天空和绿植两种场景，天空的噪声水平的平均值为1/6、亮度的平均值为1/3，清晰度的平均值为1/2，则天空的场景权重为0.1；绿植的噪声水平的平均值为2、亮度的平均值为3和清晰度的平均值为3，则绿植的场景权重为0.9。
可选地，还可以选取N个历史采集图像作为样本图像，根据N个样本图像的某一特征参数确定样本图像包含的各个场景的场景权重。特征参数可以为噪声水平、清晰度或者亮度中的一种。例如：确定样本图像的噪声水平的平均值为S，再确定各个场景噪声水平的平均值。其中，场景1的噪声水平为S1，则场景1的场景权重为S1/S；场景2的噪声水平为S2，则场景2的场景权重为S2/S。本申请实施例对样本图像的数量、特征参数及对应的参数值、和样本图像包含的具体场景不作具体限定。
例如，选取100个样本图像，样本图像噪声水平的平均值为5，样本图像中包含有天空和绿植两种场景，天空的噪声水平的平均值为0.5，绿植的噪声水平的平均值为4.5，则天空的场景权重为0.1，绿植的场景权重为0.9。
本申请实施例提供的图像处理方法，通过上述各种方式确定不同场景所对应的场景权重，可以确保在各种场景下依据该场景权重生成的高分辨率图像均能体现出强弱不同的细节，从而保证图像效果的稳定提升。
在一个实施例中，本申请实施例提供的图像处理方法，还可以包括：
在第一场景对应的场景权重与第二场景对应的场景权重之差超过预设阈值的情况下，沿着第一场景与第二场景的连接处设置过渡带；
其中，过渡带对应的场景权重为第一场景对应的场景权重与第二场景对应的场景权重的平均值；
第一场景与所述第二场景相邻。
例如，对于相邻的第一场景与第二场景而言，若两者的场景权重之差超过预设阈值，则可以在第一场景与第二场景的连接处设置过渡带。
其中，预设阈值的具体大小可以为例如0.5、0.6、0.7等，其具体大小可以根据实际需要进行调整，本申请实施例对此不作具体限定。
假设第一场景的场景权重为0.1，第二场景的场景权重为0.8，两者之差为0.7，超过了预设阈值0.5，则此时可以在第一场景与第二场景的连接处设置过渡带，该过渡带的场景权重为第一场景的场景权重0.1与第二场景的场景权重0.8的平均值0.45。
可以理解的是，对于相邻的第一场景与第二场景而言，若两者的权重之差太大，则有可能会使最终获得的图像具有较大的差异(例如，较大的色差等)。
因此，通过在相邻场景的权重之差超过一定值时，在该相邻场景的连接处设置过渡带，可以避免最终获得的图像具有较大的差异的情况，从而在保证生成不同强弱细节的图像的同时，使得各场景图像能够自然融合，达到平滑的图像效果。
在一个实施例中，基于第二权重图对高分辨率图像进行数据退化，可以包括：
将第二权重图与高分辨率图像进行融合，并对融合后的高分辨率图像进行以下至少一项操作：
加噪处理；
模糊处理；
调整图像尺寸。
可选地，根据融合后的高分辨率图像，可确定各像素点的场景分割权重值。例如：根据高分辨率图像建立坐标系，将W(x，y)作为(x，y)点的场景分割权重。
可选地，可以将融合后的高分辨率图像与融合前的高分辨率图像关联起来，并进行数据退化。数据退化可以包括加噪处理、模糊处理以及调整图像尺寸中的至少一项。
对于加噪处理，假设sigma为原图像(融合前的高分辨率图像)的随机噪声方差，则可以将W(x，y)与sigma的乘积作为进行数据退化的随机噪声方差；
对于模糊处理，假设kernel为原图像的随机模糊核，则可以将W(x，y)与kernel的乘积作为进行数据退化的随机模糊核。
对于调整图像尺寸的操作，则可以随机对融合后的高分辨率图像进行缩放。
本申请实施例提供的图像处理方法，通过对融合后的高分辨率图像进行数据退化，可以输出噪声分布及模糊程度水平不同的低分辨率图像，使得目标网络模型能够处理不同噪声分布及模糊程度水平的低分辨率图像，从而生成效果更好的高分辨图像。
需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
图3是根据本申请实施例提供的图像处理装置的模块框图。参照图3，本申请实施例提供一种图像处理装置，可以包括：
获取模块310，用于对目标图像进行场景分割，获取所述目标图像包含的各个场景；
权重图生成模块320，用于根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；
生成模块330，用于将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；
其中，所述目标图像为待处理的低分辨率图像。
本申请实施例提供的图像处理装置，通过在退化模型中引入场景分割，并给不同场景赋予场景权重，以引导目标网络模型生成不同强弱细节的图像，从而能够提高图像效果。
网络模型在一个实施例中，本申请实施例提供的图像处理装置还可以包括训练模块(未示出)，用于：
对高分辨率图像进行场景分割，获取所述高分辨率图像包含的各个场景；
根据所述高分辨率图像包含的各个场景对应的场景权重，确定第二权重图；
基于所述第二权重图对所述高分辨率图像进行数据退化，生成低分辨率图像；
将所述低分辨率图像以及所述第二权重图输入至初始网络模型中进行训练，确定所述目标网络模型。
在一个实施例中，所述场景权重包括以下任一项：
预设的场景权重；
根据预设方式确定的场景权重；
其中，根据预设方式确定的场景权重，包括：
获取多个样本图像的特征参数的第一平均值，以及所述多个样本图像所包含的各个场景的特征参数的第二平均值；
根据所述第二平均值与所述第一平均值的比值，确定各个场景对应的场景权重；
其中，所述样本图像为历史采集图像；所述特征参数包括以下至少一项：噪声水平、亮度和清晰度。
在一个实施例中，本申请实施例提供的图像处理装置还可以包括过渡模块(未示出)，用于：
在第一场景对应的场景权重与第二场景对应的场景权重之差超过预设阈值的情况下，沿着所述第一场景与所述第二场景的连接处设置过渡带；
其中，所述过渡带对应的场景权重为所述第一场景对应的场景权重与所述第二场景对应的场景权重的平均值；
所述第一场景与所述第二场景相邻。
在一个实施例中，训练模块具体用于：
将所述第二权重图与所述高分辨率图像进行融合，并对融合后的高分辨率图像进行以下至少一项操作：
加噪处理；
模糊处理；
调整图像尺寸。
本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1和图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
处理器510，用于：
对目标图像进行场景分割，获取所述目标图像包含的各个场景；
根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；
将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；
其中，所述目标图像为待处理的低分辨率图像。
本申请实施例提供的电子设备，通过在退化模型中引入场景分割，并给不同场景赋予场景权重，以引导目标网络模型生成不同强弱细节的图像，从而能够提高图像效果。
可选地，处理器510，还用于：
对高分辨率图像进行场景分割，获取所述高分辨率图像包含的各个场景；
根据所述高分辨率图像包含的各个场景对应的场景权重，确定第二权重图；
基于所述第二权重图对所述高分辨率图像进行数据退化，生成低分辨率图像；
将所述低分辨率图像以及所述第二权重图输入至初始网络模型中进行训练，得到所述目标网络模型。
可选地，所述场景权重包括以下任一项：
预设的场景权重；
根据预设方式确定的场景权重；
其中，根据预设方式确定的场景权重，包括：
获取多个样本图像的特征参数的第一平均值，以及所述多个样本图像所包含的各个场景的特征参数的第二平均值；
根据所述第二平均值与所述第一平均值的比值，确定各个场景对应的场景权重；
其中，所述样本图像为历史采集图像；所述特征参数包括以下至少一项：噪声水平、亮度和清晰度。
可选地，处理器510，还用于：
在第一场景对应的场景权重与第二场景对应的场景权重之差超过预设阈值的情况下，沿着所述第一场景与所述第二场景的连接处设置过渡带；
其中，所述过渡带对应的场景权重为所述第一场景对应的场景权重与所述第二场景对应的场景权重的平均值；
所述第一场景与所述第二场景相邻。
可选地，处理器510，具体用于：
将所述第二权重图与所述高分辨率图像进行融合，并对融合后的高分辨率图像进行以下至少一项操作：
加噪处理；
模糊处理；
调整图像尺寸。
应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
对目标图像进行场景分割，获取所述目标图像包含的各个场景；
根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；
将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；
其中，所述目标图像为待处理的低分辨率图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对目标图像进行场景分割之前，还包括：
对高分辨率图像进行场景分割，获取所述高分辨率图像包含的各个场景；
根据所述高分辨率图像包含的各个场景对应的场景权重，确定第二权重图；
基于所述第二权重图对所述高分辨率图像进行数据退化，生成低分辨率图像；
将所述低分辨率图像以及所述第二权重图输入至初始网络模型中进行训练，得到所述目标网络模型。
3.根据权利要求1或2所述的图像处理方法，其特征在于，所述场景权重包括以下任一项：
预设的场景权重；
根据预设方式确定的场景权重；
其中，根据预设方式确定的场景权重，包括：
获取多个样本图像的特征参数的第一平均值，以及所述多个样本图像所包含的各个场景的特征参数的第二平均值；
根据所述第二平均值与所述第一平均值的比值，确定各个场景对应的场景权重；
其中，所述样本图像为历史采集图像；所述特征参数包括以下至少一项：噪声水平、亮度和清晰度。
4.根据权利要求3所述的图像处理方法，其特征在于，还包括：
在第一场景对应的场景权重与第二场景对应的场景权重之差超过预设阈值的情况下，沿着所述第一场景与所述第二场景的连接处设置过渡带；
其中，所述过渡带对应的场景权重为所述第一场景对应的场景权重与所述第二场景对应的场景权重的平均值；
所述第一场景与所述第二场景相邻。
5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述第二权重图对所述高分辨率图像进行数据退化，包括：
将所述第二权重图与所述高分辨率图像进行融合，并对融合后的高分辨率图像进行以下至少一项操作：
加噪处理；
模糊处理；
调整图像尺寸。
6.一种图像处理装置，其特征在于，包括：
获取模块，用于对目标图像进行场景分割，获取所述目标图像包含的各个场景；
权重图生成模块，用于根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；
生成模块，用于将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；
其中，所述目标图像为待处理的低分辨率图像。
7.根据权利要求6所述的图像处理装置，其特征在于，还包括训练模块，用于：
对高分辨率图像进行场景分割，获取所述高分辨率图像包含的各个场景；
根据所述高分辨率图像包含的各个场景对应的场景权重，确定第二权重图；
基于所述第二权重图对所述高分辨率图像进行数据退化，生成低分辨率图像；
将所述低分辨率图像以及所述第二权重图输入至初始网络模型中进行训练，确定所述目标网络模型。
8.根据权利要求6或7所述的图像处理装置，其特征在于，所述场景权重包括以下任一项：
预设的场景权重；
根据预设方式确定的场景权重；
其中，根据预设方式确定场景的权重，包括：
获取多个样本图像的特征参数的第一平均值，以及所述多个样本图像所包含的各个场景的特征参数的第二平均值；
根据所述第二平均值与所述第一平均值的比值，确定各个场景对应的场景权重；
其中，所述样本图像为历史采集图像；所述特征参数包括以下至少一项：噪声水平、亮度和清晰度。
9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的图像处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的图像处理方法的步骤。
CN202110587606.XA 2021-05-27 2021-05-27 图像处理方法、装置及电子设备 Active CN113313630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110587606.XA CN113313630B (zh) 2021-05-27 2021-05-27 图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110587606.XA CN113313630B (zh) 2021-05-27 2021-05-27 图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113313630A true CN113313630A (zh) 2021-08-27
CN113313630B CN113313630B (zh) 2024-08-23

Family

ID=77375782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110587606.XA Active CN113313630B (zh) 2021-05-27 2021-05-27 图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113313630B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556692A (zh) * 2008-04-09 2009-10-14 西安盛泽电子有限公司 基于特征点邻域伪Zernike矩的图像拼接方法
CN102243711A (zh) * 2011-06-24 2011-11-16 南京航空航天大学 一种基于邻域嵌套的图像超分辨率重建方法
CN107566730A (zh) * 2017-09-27 2018-01-09 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
CN109064399A (zh) * 2018-07-20 2018-12-21 广州视源电子科技股份有限公司 图像超分辨率重建方法和系统、计算机设备及其存储介质
CN109685738A (zh) * 2018-12-24 2019-04-26 广东理致技术有限公司 一种提升图像清晰度的方法及装置
CN111770285A (zh) * 2020-07-13 2020-10-13 浙江大华技术股份有限公司 一种曝光亮度控制方法、装置、电子设备和存储介质
WO2021083059A1 (zh) * 2019-10-29 2021-05-06 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556692A (zh) * 2008-04-09 2009-10-14 西安盛泽电子有限公司 基于特征点邻域伪Zernike矩的图像拼接方法
CN102243711A (zh) * 2011-06-24 2011-11-16 南京航空航天大学 一种基于邻域嵌套的图像超分辨率重建方法
CN107566730A (zh) * 2017-09-27 2018-01-09 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
CN109064399A (zh) * 2018-07-20 2018-12-21 广州视源电子科技股份有限公司 图像超分辨率重建方法和系统、计算机设备及其存储介质
CN109685738A (zh) * 2018-12-24 2019-04-26 广东理致技术有限公司 一种提升图像清晰度的方法及装置
WO2021083059A1 (zh) * 2019-10-29 2021-05-06 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及电子设备
CN111770285A (zh) * 2020-07-13 2020-10-13 浙江大华技术股份有限公司 一种曝光亮度控制方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113313630B (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
CN113126862B (zh) 截屏方法、装置、电子设备以及可读存储介质
CN113808120B (zh) 图像处理方法、装置、电子设备及存储介质
CN112037160B (zh) 图像处理方法、装置及设备
CN113112428A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112947824A (zh) 显示参数调整方法、装置、电子设备及介质
CN112035877A (zh) 信息隐藏方法、装置、电子设备及可读存储介质
CN112837251A (zh) 图像处理方法及装置
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
CN111857507A (zh) 桌面图像处理方法、装置和电子设备
CN113870100A (zh) 图像处理方法和电子设备
CN112734658A (zh) 图像增强方法、装置及电子设备
CN113284063A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN113721876A (zh) 投屏处理方法及相关设备
CN112508820A (zh) 图像处理方法、装置及电子设备
CN112419218A (zh) 图像处理方法、装置及电子设备
CN112511890A (zh) 视频图像处理方法、装置及电子设备
CN114693697A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN113313630B (zh) 图像处理方法、装置及电子设备
CN113393391B (zh) 图像增强方法、图像增强装置、电子设备和存储介质
CN112529766B (zh) 图像的处理方法、装置及电子设备
CN112333389B (zh) 图像显示控制方法、装置及电子设备
CN114119392A (zh) 图像处理方法、装置和电子设备
CN113487697A (zh) 简笔画生成方法、装置、电子设备及存储介质
CN113487497A (zh) 图像处理方法、装置和电子设备
CN113706402A (zh) 神经网络训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant