CN113689333A - 一种图像增强的方法及装置 - Google Patents

一种图像增强的方法及装置 Download PDF

Info

Publication number
CN113689333A
CN113689333A CN202110969933.1A CN202110969933A CN113689333A CN 113689333 A CN113689333 A CN 113689333A CN 202110969933 A CN202110969933 A CN 202110969933A CN 113689333 A CN113689333 A CN 113689333A
Authority
CN
China
Prior art keywords
value
pixel
processed
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110969933.1A
Other languages
English (en)
Inventor
刘俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202110969933.1A priority Critical patent/CN113689333A/zh
Publication of CN113689333A publication Critical patent/CN113689333A/zh
Priority to PCT/CN2022/098754 priority patent/WO2023024660A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像增强的方法及装置，该方法为：对待处理的帧图像进行放大处理，获得放大后的帧图像；确定放大后的帧图像对应的灰度帧图像；对灰度帧图像进行精细化处理，获得第一处理图像、第一处理图像中各个第一像素的新亮度值、以及用于确定各个第一像素的新亮度值的各个第一参考像素组；从放大后的帧图像中，筛选与任一第一参考像素组处于同一位置的第一比对像素组，以及与对应的第一像素处于同一位置的第一待处理像素；基于第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得第一待处理像素的第一颜色值；基于各个第一待处理像素的第一颜色值，获得与待处理的帧图像对应的第一增强图像。

Description

一种图像增强的方法及装置
技术领域
本发明实施例涉及金融科技(Fintech)领域，尤其涉及一种图像增强的方法及装置。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。
目前，当在对金融产品进行展示时，若出现低分辨率图像时，一般需要对该低分辨率图像进行转换，从而获得高分辨率图像。而相关技术中，针对前述将低分辨率图像转换为高分辨率图像的需求，一般采用的是基于卷积神经网络训练相应的转换模型，再基于训练的转换模型对图像进行处理的方法。
然而，前述将低分辨率图像转换为高分辨率图像的方法，需要预先统计大量样本进行训练，才可以基于训练获得的模型进行处理，因此导致整体处理速度较慢，对低分辨率图像转换为高分辨率图像的转换效率较低。
发明内容
本发明提供一种图像增强的方法及装置，用于解决现有技术中将低分辨率图像转换为高分辨率图像时的转换效率较低的问题。
第一方面，本发明提供一种图像增强的方法，包括：对待处理的帧图像进行放大处理，获得放大后的帧图像；以及，确定所述放大后的帧图像对应的灰度帧图像；对所述灰度帧图像进行精细化处理，获得第一处理图像、所述第一处理图像中各个第一像素的新亮度值、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组；从所述放大后的帧图像中，筛选与任一所述第一参考像素组处于同一位置的第一比对像素组，以及与对应的所述第一像素处于同一位置的第一待处理像素；以及，基于所述第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得所述第一待处理像素的第一颜色值；基于各个所述第一待处理像素的第一颜色值，获得与所述待处理的帧图像对应的第一增强图像。
上述方法中，计算机设备首先对待处理的帧图像进行了放大处理，获得了放大后的帧图像，即放大后的低分辨率的图像，然后再对放大后的帧图像进行精细化处理，获得细残差线较好的高频残差图像即第一处理图像，从而基于放大后的低分辨率的图像与细残差线较好的高频残差图像，获得清晰的高分辨率图像即第一增强图像。很显然，上述方法无需先验知识，可快速的实现对待处理的帧图像的图像增强。
可选的，在所述获得与所述待处理的帧图像对应的第一增强图像之后，所述方法还包括：确定所述第一处理图像对应的特征提取图，并对所述特征提取图进行所述精细化处理，获得第二处理图像、所述第二处理图像中各个第二像素的新亮度值、以及用于确定所述各个第二像素的新亮度值的各个第二参考像素组；从所述第一增强图像中，筛选与任一所述第二参考像素组处于同一位置的第二比对像素组，以及与对应的所述第二像素处于同一位置的第二待处理像素；以及，基于所述第二比对像素组所对应的颜色值，对第二待处理像素的颜色值进行亮度调整处理，获得所述第二待处理像素的目标颜色值；基于各个所述第二待处理像素的目标颜色值，获得目标增强图像。
上述方法中，计算机设备对初始获得的最细残差线的高频残差图像即第一处理图像，再次进行了精细化处理，从而可以获得最细残差线的高频残差图像即第二处理图像，从而基于第一增强图像(即放大后的低分辨率图像)和第二处理图像，获得清晰度较高的目标增强图像，即可以获取对待处理的帧图像处理效果更好的目标增强图像。也就是说，在保证快速实现图像增强处理的基础上，可以进一步提升目标增强图像的清晰度。
可选的，所述对所述灰度帧图像进行精细化处理，获得第一处理图像、所述第一处理图像中各个第一像素的新亮度值、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组，包括：确定与一个所述第一像素相邻的八个方向的像素所对应的各个亮度值；基于所述相邻的八个方向的像素所对应的各个亮度值和预设策略，确定所述一个所述第一像素的第一新亮度值，以及与所述第一像素相邻的八个方向中亮度综合值最高的多个像素所组成的第一参考像素组；获得所述各个第一像素的第一新亮度值、基于所述各个第一像素的第一新亮度值所确定的第一处理图像、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组。
上述方法中，由于基于与第一像素相邻的八个方向中亮度综合值最高的多个像素所组成的第一参考像素组，对第一像素的亮度值进行调整，因此第一像素对应的新的亮度值与其周围像素的亮度值是相适应的。
可选的，所述基于所述相邻八个方向的像素所对应的各个亮度值和预设策略，确定所述一个所述第一像素的第一新亮度值，以及确定用于确定一个所述第一像素的新亮度值的第一参考像素组，包括：基于所述预设策略，将所述相邻八个方向的像素划分为多个第一比对组和与所述第一比对组对应的第二比对组；其中，所述第一比对组中的至少一个像素的亮度值大于所述第二比对组的各个像素的亮度值；确定一个所述第一比对组所对应的和值，获得和值集；其中，所述和值用于表征基于所述第一比对组中各个像素所对应的亮度值，与所述一个所述第一像素所对应的亮度值所确定的综合亮度值；确定所述和值集中的最大值，将所述最大值确定为所述一个所述第一像素的第一新亮度值，以及，将确定所述最大值的像素确定为所述用于确定一个所述第一像素的新亮度值的第一参考像素组。
上述方法中，在不失真的前提下，为第一像素拟合出新的亮度值，以尽可能提升第一像素的亮度，当所有第一像素都通过拟合提升亮度值后，第一待处理图像中对象的线条也得到了细化，达到精细化处理效果。
可选的，所述分别确定一个所述第一比对组所对应的和值，包括：确定一个所述第一比对组中像素所对应的亮度值的一个第一均值，并将一个所述第一均值与第一预设权值相乘，获得一个第一乘积值；确定所述一个所述第一像素的亮度值与第二预设权值相乘的第二乘积值；其中，所述第一预设权值与所述第二预设权值之和为固定值；将所述一个所述第一乘积值和所述第二乘积值相加，确定一个所述第一比对组所对应的和值。
上述方法中，基于第一比对组中个像素的亮度值和第一像素的亮度值，综合确定第一比对组所对应的和值，即第一比对组所对应的拟合亮度值，可以更精确的确定在某个方向上具备亮度值呈梯度变化的拟合亮度值。
可选的，所述基于第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得所述第一待处理像素的第一颜色值，包括：确定所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值；对所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值进行加权均值处理，获得所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值；将所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值拼接为目标数值类型的一个二进制数，将所述二进制数作为所述第一待处理像素的第一颜色值。
上述方法中，对放大后的帧图像中与第一像素处于同一位置的第一待处理像素，同样找到对应的相邻像素组即第一比对像素组，并基于第一比对像素组对第一待处理像素进行颜色值的处理，此外，考虑到放大后的帧图像为彩色图像，每个像素的信息存储于一个整型数，因此将第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值拼接为目标数值类型的一个二进制数，从而获得符合彩色图像的数值类型的第一待处理像素的第一颜色值。
可选的，所述对所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值进行加权均值处理，获得所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值，包括：确定所述第一比对像素组所对应的透明度值或红色颜色值或绿色颜色值或蓝色颜色值的第四均值，并确定所述第四均值和第三预设权值相乘的第三乘积值；确定所述第一待处理像素的第一透明度值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值，确定所述第一透明值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值与第四预设权值的第四乘积值；基于所述第三乘积值和第四乘积值，确定所述第一待处理像素对应的透明度调整值或红色颜色调整值或绿色颜色调整值或蓝色颜色调整值，以确定所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值。
上述方法中，基于第一比对像素组所对应的透明度值或红色颜色值或绿色颜色值或蓝色颜色值所对应的第四均值，以及第一待处理像素的第一透明度值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值，综合确定第一待处理像素对应的透明度调整值或红色颜色调整值或绿色颜色调整值或蓝色颜色调整值，采用这样的方式，确定出的第一待处理像素的颜色值与其相邻像素的颜色值相适应，使得最终基于各个第一待处理像素的第一颜色值所确定的第一增强图像的颜色更饱满，呈现效果更好。
第二方面，本发明提供一种图像增强的装置，包括：确定单元，用于对待处理的帧图像进行放大处理，获得放大后的帧图像；以及，确定所述放大后的帧图像对应的灰度帧图像；第一处理单元，用于对所述灰度帧图像进行精细化处理，获得第一处理图像、所述第一处理图像中各个第一像素的新亮度值、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组；第二处理单元，还用于从所述放大后的帧图像中，筛选与任一所述第一参考像素组处于同一位置的第一比对像素组，以及与对应的所述第一像素处于同一位置的第一待处理像素；以及，基于所述第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得所述第一待处理像素的第一颜色值；获得单元，用于基于各个所述第一待处理像素的第一颜色值，获得与所述待处理的帧图像对应的第一增强图像。
可选的，
所述第一处理单元，还用于：确定所述第一处理图像对应的特征提取图，并对所述特征提取图进行所述精细化处理，获得第二处理图像、所述第二处理图像中各个第二像素的新亮度值、以及用于确定所述各个第二像素的新亮度值的各个第二参考像素组；
所述第二处理单元，还用于：从所述第一增强图像中，筛选与任一所述第二参考像素组处于同一位置的第二比对像素组，以及与对应的所述第二像素处于同一位置的第二待处理像素；以及，基于所述第二比对像素组所对应的颜色值，对第二待处理像素的颜色值进行亮度调整处理，获得所述第二待处理像素的目标颜色值；
所述获得单元，还用于：基于各个所述第二待处理像素的目标颜色值，获得目标增强图像。
可选的，所述第一处理单元，具体用于：确定与一个所述第一像素相邻的八个方向的像素所对应的各个亮度值；基于所述相邻的八个方向的像素所对应的各个亮度值和预设策略，确定所述一个所述第一像素的第一新亮度值，以及与所述第一像素相邻的八个方向中亮度综合值最高的多个像素所组成的第一参考像素组；获得所述各个第一像素的第一新亮度值、基于所述各个第一像素的第一新亮度值所确定的第一处理图像、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组。
可选的，所述第一处理单元，具体用于：基于所述预设策略，将所述相邻八个方向的像素划分为多个第一比对组和与所述第一比对组对应的第二比对组；其中，所述第一比对组中的至少一个像素的亮度值大于所述第二比对组的各个像素的亮度值；确定一个所述第一比对组所对应的和值，获得和值集；其中，所述和值用于表征基于所述第一比对组中各个像素所对应的亮度值，与所述一个所述第一像素所对应的亮度值所确定的综合亮度值；确定所述和值集中的最大值，将所述最大值确定为所述一个所述第一像素的第一新亮度值，以及，将确定所述最大值的像素确定为所述用于确定一个所述第一像素的新亮度值的第一参考像素组。
可选的，所述第一处理单元，具体用于：确定一个所述第一比对组中像素所对应的亮度值的一个第一均值，并将一个所述第一均值与第一预设权值相乘，获得一个第一乘积值；确定所述一个所述第一像素的亮度值与第二预设权值相乘的第二乘积值；其中，所述第一预设权值与所述第二预设权值之和为固定值；将所述一个所述第一乘积值和所述第二乘积值相加，确定一个所述第一比对组所对应的和值。
可选的，所述第二处理单元，具体用于：确定所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值；对所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值进行加权均值处理，获得所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值；将所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值拼接为目标数值类型的一个二进制数，将所述二进制数作为所述第一待处理像素的第一颜色值。
可选的，所述第二处理单元，具体用于：确定所述第一比对像素组所对应的透明度值或红色颜色值或绿色颜色值或蓝色颜色值的第四均值，并确定所述第四均值和第三预设权值相乘的第三乘积值；确定所述第一待处理像素的第一透明度值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值，确定所述第一透明值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值与第四预设权值的第四乘积值；基于所述第三乘积值和第四乘积值，确定所述第一待处理像素对应的透明度调整值或红色颜色调整值或绿色颜色调整值或蓝色颜色调整值，以确定所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值。
上述第二方面及第二方面各个可选装置的有益效果，可以参考上述第一方面及第一方面各个可选方法的有益效果，这里不再赘述。
第三方面，本发明提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个可选的方法。
第四方面，本发明提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个可选的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本发明实施例提供的一种应用场景的示意图；
图2为本发明实施例提供的一种图像增强的方法的步骤流程示意图；
图3a为本发明实施例提供的一种待处理的帧图像的示意图；
图3b为本发明实施例提供的一种放大后的帧图像的示意图；
图4为本发明实施例提供的一种第一像素与其相邻的像素的示意图；
图5为本发明实施例提供的一种确定第一参考像素组的过程的示意图；
图6为本发明实施例提供的一种第一处理图像的示意图；
图7为本发明实施例提供的一种第一增强图像的示意图；
图8为本发明实施例提供的一种确定目标增强图像的步骤流程示意图；
图9a为本发明实施例提供的一种特征提取图的示意图；
图9b为本发明实施例提供的一种第二处理图像的示意图；
图10为本发明实施例提供的一种目标增强图像的示意图；
图11为本发明实施例提供的一种图像增强的装置的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
需要说明的是，本发明的说明书和权利要求中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的图像在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
为便于理解本发明实施例提供的技术方案，这里先对本发明实施例使用的一些关键名词进行解释：
1、超分辨率技术(Super-Resolution,SR)：是指从观测到的低分辨率图像重建出相应的高分辨率图像。
2、双三次插值(Bicubic Interpolation)算法：是数字图像处理中最常用的图像缩放方法，在这种方法中，像素点的值可以通过矩形网格中最近的十六个采样点的加权平均得到。
3：阿尔法通道(Alpha Channel)：是指对图像处理后，只保留图像的透明和半透明度信息。
4、ARGB：表示代表由Red(红)Green(绿)Blue(蓝)和Alpha(阿尔法通道)组成的色彩空间。
5、图像梯度(Image gradient):用于表征图像强度和颜色的方向性变化的方向。
下面对本发明实施例的设计思想进行简要介绍：
目前，相关技术在进行图像增强处理时，先使用图像缩放技术将低分辨率图像放大成目标尺寸，再通过卷积神经网络拟合非线性映射，最后输出高分辨率图像结果。然而，这样的处理方式，不仅整体处理速度慢，无法提供实时解析，且最终呈现的图像的超分辨率呈现效果不佳。
鉴于此，本发明实施例提供一种图像增强方法，该方法无需先验知识，可以基于放大后的低分辨率图像，寻找最细残差线的高频残差图像，从而可以基于放大后的低分辨率图像和最细残差线的高频残差图像，得到清晰的高分辨率图像，提升了超分辨率计算处理速度，快速实现对图像的增强处理。
介绍完本发明实施例的设计思想之后，下面对本发明实施例中的图像增强的技术方案适用的应用场景做一些简单介绍，需要说明的是，本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
在本发明实施例中，请参见图1所示的应用场景示意图，该场景中包括电子设备101和计算机设备102，其中，电子设备101可以为电子设备101-1…电子设备101-n，且电子设备101可以与计算机设备102进行通信。例如通过有线或无线通信网络103进行直接或间接地连接，本发明不做限制。
在该场景中，用户可以基于电子设备101确定待处理的视频流，该待处理的视频流可以是动画视频，或者是卡通视频等。然后将待处理的视频流发送给计算机设备102，然后计算机设备102可以基于对该待处理的视频流进行拆帧处理，获得各个待处理的帧图像，然后计算机设备102对任一待处理的帧图像进行放大处理，获得放大后的帧图像；以及，确定放大后的帧图像对应的灰度帧图像；进一步地，对灰度帧图像进行精细化处理，获得第一处理图像、第一处理图像中各个第一像素的新亮度值、以及用于确定各个第一像素的新亮度值的各个第一参考像素组；然后从放大后的帧图像中，筛选与任一第一参考像素组处于同一位置的第一比对像素组，以及与对应的第一像素处于同一位置的第一待处理像素；以及，基于第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得第一待处理像素的第一颜色值；从而可以基于各个第一待处理像素的第一颜色值，获得与待处理的帧图像对应的第一增强图像。
其中，计算机设备102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。电子设备101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能电视、智能穿戴式设备等，但并不局限于此。
为进一步说明本发明实施例提供的图像增强的方法的方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本发明实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本发明实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的应用环境)。
以下结合图2所示的方法流程图对本发明实施例中图像增强的方法进行说明，下面对本发明实施例的方法流程进行介绍。
步骤201：对待处理的帧图像进行放大处理，获得放大后的帧图像；以及，确定放大后的帧图像对应的灰度帧图像。
在本发明实施例中，在执行步骤201之前，计算机设备可以对接收的视频，实时进行逐帧读取，从而将对视频的处理转化成对每一个帧图像的处理。后文中以一个待处理的帧图像为例，对本发明实施例提供的图像增强方法进行说明。例如，参阅图3a，图3a为本发明实施例提供的一种待处理的帧图像的示意图。需要说明的是，在实际实施中，待处理的帧图像可以为彩色图像。
具体的，对于一张高分辨率(High Resolution，HR)图像，可将其分解为放大后的低分辨率(Upscaled Low Resolution，LR_U)图像与高频残差(High Frequency Residual，r)图像，可以将其表示为：HR＝LR_U+r。基于前述的逻辑思路，那么可以将对低分辨率图像转换为高分辨率图像的处理过程，转换为基于放大后的低分辨率图像LR_U，寻找最细残差线的高频残差图像r，从而可以基于放大后的低分辨率图像LR_U和最细残差线的高频残差图像r，得到清晰的高分辨率图像。
对待处理的帧图像进行放大处理，获得放大后的帧图像的具体实现方式可以包括：
基于双三次插值算法对待处理的帧图像进行放大处理，获得放大后的帧图像；或者是基于双线性插值算法对待处理的帧图像进行放大处理，获得放大后的帧图像；也可以是基于最近邻算法对待处理的帧图像进行放大处理，获得放大后的帧图像；当然，还可以基于其它算法对待处理的帧图像进行放大处理，获得放大后的帧图像本发明实施例中不做限制。例如，参阅图3b，图3b为本发明实施例提供的一种放大后的帧图像的示意图。需要说明的是，在实际实施中，放大后的帧图像可以为彩色图像。
步骤202：对灰度帧图像进行精细化处理，获得第一处理图像、第一处理图像中各个第一像素的新亮度值、以及用于确定各个第一像素的新亮度值的各个第一参考像素组。
具体的，精细化处理可以理解为对每一个灰度帧图像中的像素，寻找其通过相邻像素组成的最大灰度值梯度方向，取最大梯度方向的相邻像素组的均值，令其与相邻像素组成像素组，在八个方向上寻找具有灰度值呈梯度变化的方向，并用此方向上的相邻像素的灰度值加权拟合出第一像素的新的灰度值的处理。需要说明的是，在步骤202中，第一像素的新亮度值可以理解为第一像素的新的灰度值。
在本发明实施例中，为了更好的说明获得灰度帧图像中各个第一像素的新亮度值，下面以一个第一像素获得新亮度值的过程为例进行说明，具体的，确定第一像素的新亮度值可以采用但不限于以下步骤：
步骤a：确定与一个第一像素相邻的八个方向的像素所对应的各个亮度值。
例如，参阅图4，图4为本发明实施例提供的一种第一像素与其相邻的像素的示意图，其中，图4示例性示出了与一个第一像素相邻的八个方向的像素，其中，八个方向分别为第一像素的正上方、左上方、右上方、左边、右边、正下方、左下方以及右下方，如图4中的L0用于表征第一像素，L1、L2以及L3分别表示位于第一像素的左上方、正上方以及右上方的像素，L4和L5分别表示位于第一像素的左边和右边的像素，以及L6、L7以及L8分别表示位于第一像素的左下方、正下方以及右下方的像素。
在本发明实施例中，计算机设备可以确定与一个第一像素相邻的八个方向的像素，然后可以确定八个方向的像素所对应的各个亮度值。即八个像素所对应的各个灰度值。
步骤b：基于相邻的八个方向的像素所对应的各个亮度值和预设策略，确定一个第一像素的第一新亮度值，以及与第一像素相邻的八个方向中亮度综合值最高的多个像素所组成的第一参考像素组。
在本发明实施例中，当计算机设备确定第一像素，以及与第一像素相邻的八个方向的像素之后，需要寻找第一像素的第一参考像素组，该第一参考像素组可以满足在某个方向上具备灰度值呈梯度变化的条件，并在不失真的前提下，为第一像素拟合出新的灰度值，以尽可能提升第一像素的亮度，使得获得的第一处理图像的线条也得到了细化，达到精细化处理效果。
在本发明实施例中，可以基于预设策略，将相邻八个方向的像素划分为多个第一比对组和与第一比对组对应的第二比对组；其中，第一比对组中的至少一个像素的亮度值大于第二比对组的各个像素的亮度值。
也就是说，可以将相邻八个方向的像素进行排列组合，具体以满足第一比对组中的至少一个像素的亮度值大于第二比对组的各个像素的亮度值这一条件进行排列组合，获得多个第一比对组和多个第二比对组。
例如，参阅图5所示，图5为本发明实施例提供的一种确定第一参考像素组的过程的示意图；其中，示出了包括像素D1、D2以及D0的第一比对组、第一像素L0，以及包括像素L1、L2以及L3为第二比对组。需要说明的是，图6中所示出的示意图中，水平或垂直方向时L0、L3重合，则仅以第一像素L0示出。
在本发明实施例中，当计算机设备确定第一比对组之后，可以确定一个第一比对组所对应的和值，获得和值集；其中，和值用于表征基于第一比对组中各个像素所对应的亮度值，与一个第一像素所对应的亮度值所确定的综合亮度值。
具体的，计算机设备可以确定一个第一比对组中像素所对应的亮度值的一个第一均值，并将一个第一均值与第一预设权值相乘，获得一个第一乘积值；然后确定一个第一像素的亮度值与第二预设权值相乘的第二乘积值；其中，第一预设权值与第二预设权值之和为固定值；最后将一个第一乘积值和第二乘积值相加，确定一个第一比对组所对应的和值。
例如，假设第一比对组中像素所对应的亮度值分别为M1、M2以及M3，第一像素的亮度值为L0，第一预设权值为A1、第二预设权值为1-A1，则可以确定第一均值为：(M1+M2+M3)，第一乘积值为：(M1+M2+M3)*A1，第二乘积值为L0*(1-A1)，从而可以确定和值为：(M1+M2+M3)*A1+L0*(1-A1)。
在本发明实施例中，当计算机设备确定和值集之后，可以确定和值集中的最大值，将最大值确定为一个第一像素的第一新亮度值，以及，将确定最大值的像素确定为用于确定一个第一像素的新亮度值的第一参考像素组。
例如，继续参阅图5，在上述图像精细化处理过程中，如果第一像素灰度值为L0，则需要寻找L0相邻像素组，满足在某个方向上具备灰度值呈梯度变化的条件，并在不失真的前提下，为第一像素拟合出新的灰度值，以尽可能提高第一像素的亮度，当所有像素都通过拟合提升灰度值后，整体图像的线条也得到了细化，达到精细化处理效果。
以D0、D1、D2为第一比对组，L0、L1，L2，L3为第二比对组组(水平或垂直方向时L0、L3重合)，当通过第一比对组的灰度值能拟合出更明亮灰度值时，则记录当前更明亮灰度值信息，而第二比对组主要作为对照组，保证此方向上相邻区域存在灰度有效梯度变化。
步骤c：获得各个第一像素的第一新亮度值、基于各个第一像素的第一新亮度值所确定的第一处理图像、以及用于确定各个第一像素的新亮度值的各个第一参考像素组。
在本发明实施例中，可以采用前述步骤b的方式，对灰度帧图像中所有第一像素进行处理，获得各个第一像素的新亮度值。在图像的所有像素都执行步骤b的过程后，即对灰度帧图像的进行了一次遍历，在效率允许情况下，还可对图像进行多次遍历，直到各个第一像素的亮度无法提升时，则完成了对灰度帧图像的精细化处理，从而可以获得各个第一像素的第一新亮度值、基于各个第一像素的第一新亮度值所确定的第一处理图像、以及用于确定各个第一像素的新亮度值的各个第一参考像素组。例如，参阅图6所示，图6为本发明实施例提供的一种第一处理图像的示意图。
步骤203：从放大后的帧图像中，筛选与任一第一参考像素组处于同一位置的第一比对像素组，以及与对应的第一像素处于同一位置的第一待处理像素；以及，基于第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得第一待处理像素的第一颜色值。
在本发明实施例中，可以从放大后的帧图像中，筛选与任一第一参考像素组处于同一位置的第一比对像素组，以及与对应的第一像素处于同一位置的第一待处理像素，然后再基于第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得第一待处理像素的第一颜色值。
在本发明实施例中，可以采用但不限于以下步骤获得第一待处理像素的第一颜色值：
Step1：确定第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值。
Step2：对第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值进行加权均值处理，获得第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值；
在本发明实施例中，可以确定第一比对像素组所对应的透明度值或红色颜色值或绿色颜色值或蓝色颜色值的第四均值，并确定第四均值和第三预设权值相乘的第三乘积值；然后可以确定第一待处理像素的第一透明度值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值，确定第一透明值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值与第四预设权值的第四乘积值；进一步地，可以基于第三乘积值和第四乘积值，确定第一待处理像素对应的透明度调整值或红色颜色调整值或绿色颜色调整值或蓝色颜色调整值，以确定第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值。
Step3：将第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值拼接为目标数值类型的一个二进制数，将二进制数作为第一待处理像素的第一颜色值。
在本发明实施例中，第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值均为byte类型的数值，可以将第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值为目标数值类型的一个二进制数，将二进制数作为第一待处理像素的第一颜色值。其中，目标数值类型可以为int类型。
例如，假设第一待处理像素的颜色值表示为：ARGB0，第一比对像素组中像素对应的颜色值表示为：ARGB1，ARGB2，ARGB3，则第一待处理像素的第一颜色值表示为：ARGB可表示为：
ARGB＝((A1+A2+A3)/3*weight+A0*(1-weight))<<24
+((R1+R2+R3)/3*weight+R0*(1-weight))<<16
+((G1+G2+G3)/3*weight+G0*(1-weight))<<8
+((B1+B2+B3)/3*weight+B0*(1-weight))。
其中，R1、R2以及R3分别为第一比对像素组中各个像素的红色颜色值，weight为第三预设权值，(1-weight)为第四预设权值，B1、B2以及B3分别为第一比对像素组中各个像素的蓝色颜色值，G1、G2以及G3分别为第一比对像素组中各个像素的绿色颜色值，A1、A2以及A3分别为第一比对像素组中各个像素的透明度值，R0、G0、B0以及A0分别为第一待处理像素的红色颜色值、绿色颜色值、蓝色颜色值以及透明值，“<<”用于表示对二进制数左移操作，则第一比对像素组所对应的红色颜色值可表示为：(R1+R2+R3)/3*weight+R0*(1-weight)、蓝色颜色值可表示为：(B1+B2+B3)/3*weight+B0*(1-weight)、绿色颜色值可表示为：(G1+G2+G3)/3*weight+G0*(1-weight)、透明度值可表示为：(A1+A2+A3)/3*weight+A0*(1-weight)。
步骤204：基于各个第一待处理像素的第一颜色值，获得与待处理的帧图像对应的第一增强图像。
在本发明实施例中，可以基于前述步骤203中的方案对放大后的帧图像中每个第一待处理像素进行处理，从而获得各个第一待处理像素的第一颜色值，进而可以基于各个第一待处理像素的第一颜色值，获得与待处理的帧图像对应的第一增强图像。
例如，参阅图7所示，图7为本发明实施中提供的一种第一增强图像的示意图。需要说明的是，在实际实施中，第一增强图像可以为彩色图像。具体的，将图7所示的第一增强图像和图3b所示的放大后的帧图像进行比对，可以很明显的看出同样可以看到，精细化处理后的第一增强图像中的人物的轮廓线与放大后的帧图像中的人物的轮廓相比得到了细化，亮度也有略微提升，视觉呈现上具有更加清晰的观感。
在本发明实施例中，在获得第一增强图像之后，计算机设备还可以对第一增强图像进行进一步处理，从而获得目标增强图像。
在一种可能的实施方式中，在步骤204之后，计算机设备可以采用但不限于以下步骤确定目标增强图像，参阅图8所示:
步骤801：确定第一处理图像对应的特征提取图，并对特征提取图进行精细化处理，获得第二处理图像、第二处理图像中各个第二像素的新亮度值、以及用于确定各个第二像素的新亮度值的各个第二参考像素组。
在本发明实施例中，计算机设备可以对第一处理图像进行特征提取处理，获得第一处理图像对应的特征提取图。例如，参阅图9所示，为本发明实施例提供的一种特征提取图的示意图。
示例性的，计算机设备可以采用Sobel算子对第一处理图像进行特征提取处理，也可以采用Canny算子对第一处理图像进行特征提取处理，当然，还可以采用Roberts算子对第一处理图像进行特征提取处理，本发明实施例中不做限制。
下面以基于Sobel算子对第一处理图像进行特征提取处理，获得特征提取图的过程进行说明。
例如，假设与第一处理图像中的像素a相邻的8个像素亮度分别为Ltop，Ltopleft，Ltopright，Lleft，Lright，Lbottom，Lbottomleft，Lbottomright，则sobel滤波后的像素a的新亮度值L可表示为：
L＝{(abs((Lright-Lleft)*2+Ltopright-Ltopleft+Lbottomright-Lbottomlef)
+abs((Ltop-Lbottom)*2+Ltopright-Lbottomright+Ltopleft-Lbottomleft))}/2；其中，“abs”用于表征进行取绝对值运算。
可见，基于Sobel算子对第一处理图像进行特征提取处理，获得特征提取图的原理为确定与第二像素横向相邻的各个像素对应的第一亮度差异值，确定与第二像素纵向相邻的各个像素对应的第二亮度差异值，综合第一亮度差异值和第二亮度差异值可以得到第二像素的新亮度值。
在本发明实施例中，当获得特征提取图之后，可以对特征提取图进行精细化处理，获得第二处理图像、第二处理图像中各个第二像素的新亮度值、以及用于确定各个第二像素的新亮度值的各个第二参考像素组。请参阅图9b所示，为本发明实施例中示例性示出的第二处理图像。
具体的，精细化处理可以理解为对每一个第二像素，寻找其通过相邻像素组成的最大亮度值梯度方向，取最大梯度方向的相邻像素组的均值，令其与相邻像素组成像素组，在八个方向上寻找具有亮度值呈梯度变化的方向，并用此方向上的相邻像素的亮度值加权拟合出第二像素新的亮度值的处理。
需要说明的是，在本发明实施例中，对特征提取图进行精细化处理的方式与对灰度帧图像进行精细化处理的方式类似，即获得第二处理图像、第二处理图像中各个第二像素的新亮度值、以及用于确定各个第二像素的新亮度值的各个第二参考像素组的方式，与前述的获得第一处理图像、第一处理图像中各个第一像素的新亮度值、以及用于确定各个第一像素的新亮度值的各个第一参考像素组的方式类似，这里不再赘述。
步骤802：从第一增强图像中，筛选与任一第二参考像素组处于同一位置的第二比对像素组，以及与对应的第二像素处于同一位置的第二待处理像素；以及，基于第二比对像素组所对应的颜色值，对第二待处理像素的颜色值进行亮度调整处理，获得第二待处理像素的目标颜色值。
需要说明的是，在本发明实施例中，确定第一增强图像中第二待处理像素的目标颜色值的方式，与确定放大后的帧图像中第一待处理像素的第一颜色值的方式类似，确定第一增强图像中第二待处理像素的目标颜色值的方式可以参见前述确定第一颜色值的方式执行，这里不再赘述。
步骤803：基于各个第二待处理像素的目标颜色值，获得目标增强图像。
在本发明实施例中，计算机设备可以基于前述步骤802中的方案对第一增强图像中每个第二待处理像素进行处理，从而获得各个第二待处理像素的目标颜色值，进而可以基于各个第二待处理像素的目标颜色值，获得与待处理的帧图像对应的目标增强图像。
例如，参阅图10所示，图10为本发明实施中提供的一种目标增强图像的示意图。需要说明的是，在实际实施中，目标增强图像可以为彩色图像。具体的，将图10所示的目标增强图像和图7所示的第一增强图像进行比对，可以看出目标增强图像具有更清晰细腻的轮廓，有更好的观感，起到了放大图像尺寸的同时保证清晰度的效果。
在实际实施中，计算机设备可以搭载AMD Radeon Vega显示核心平台，基于本发明实施例提供的图像增强方法，可以将1920*1080分辨率的图像放大到3840*2160分辨率的图像的时间只需10毫秒，即基本可以实现对每秒数十帧视频画面的实时处理。
如图11所示，本发明提供一种图像增强的装置，包括：确定单元1101，用于对待处理的帧图像进行放大处理，获得放大后的帧图像；以及，确定所述放大后的帧图像对应的灰度帧图像；第一处理单元1102，用于对所述灰度帧图像进行精细化处理，获得第一处理图像、所述第一处理图像中各个第一像素的新亮度值、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组；第二处理单元1103，还用于从所述放大后的帧图像中，筛选与任一所述第一参考像素组处于同一位置的第一比对像素组，以及与对应的所述第一像素处于同一位置的第一待处理像素；以及，基于所述第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得所述第一待处理像素的第一颜色值；获得单元1104，用于基于各个所述第一待处理像素的第一颜色值，获得与所述待处理的帧图像对应的第一增强图像。
可选的，
所述第一处理单元1102，还用于：确定所述第一处理图像对应的特征提取图，并对所述特征提取图进行所述精细化处理，获得第二处理图像、所述第二处理图像中各个第二像素的新亮度值、以及用于确定所述各个第二像素的新亮度值的各个第二参考像素组；
所述第二处理单元1103，还用于：从所述第一增强图像中，筛选与任一所述第二参考像素组处于同一位置的第二比对像素组，以及与对应的所述第二像素处于同一位置的第二待处理像素；以及，基于所述第二比对像素组所对应的颜色值，对第二待处理像素的颜色值进行亮度调整处理，获得所述第二待处理像素的目标颜色值；
所述获得单元1104，还用于：基于各个所述第二待处理像素的目标颜色值，获得目标增强图像。
可选的，所述第一处理单元1102，具体用于：确定与一个所述第一像素相邻的八个方向的像素所对应的各个亮度值；基于所述相邻的八个方向的像素所对应的各个亮度值和预设策略，确定所述一个所述第一像素的第一新亮度值，以及与所述第一像素相邻的八个方向中亮度综合值最高的多个像素所组成的第一参考像素组；获得所述各个第一像素的第一新亮度值、基于所述各个第一像素的第一新亮度值所确定的第一处理图像、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组。
可选的，所述第一处理单元1102，具体用于：基于所述预设策略，将所述相邻八个方向的像素划分为多个第一比对组和与所述第一比对组对应的第二比对组；其中，所述第一比对组中的至少一个像素的亮度值大于所述第二比对组的各个像素的亮度值；确定一个所述第一比对组所对应的和值，获得和值集；其中，所述和值用于表征基于所述第一比对组中各个像素所对应的亮度值，与所述一个所述第一像素所对应的亮度值所确定的综合亮度值；确定所述和值集中的最大值，将所述最大值确定为所述一个所述第一像素的第一新亮度值，以及，将确定所述最大值的像素确定为所述用于确定一个所述第一像素的新亮度值的第一参考像素组。
可选的，所述第一处理单元1102，具体用于：确定一个所述第一比对组中像素所对应的亮度值的一个第一均值，并将一个所述第一均值与第一预设权值相乘，获得一个第一乘积值；确定所述一个所述第一像素的亮度值与第二预设权值相乘的第二乘积值；其中，所述第一预设权值与所述第二预设权值之和为固定值；将所述一个所述第一乘积值和所述第二乘积值相加，确定一个所述第一比对组所对应的和值。
可选的，所述第二处理单元1103，具体用于：确定所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值；对所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值进行加权均值处理，获得所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值；将所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值拼接为目标数值类型的一个二进制数，将所述二进制数作为所述第一待处理像素的第一颜色值。
可选的，所述第二处理单元1103，具体用于：确定所述第一比对像素组所对应的透明度值或红色颜色值或绿色颜色值或蓝色颜色值的第四均值，并确定所述第四均值和第三预设权值相乘的第三乘积值；确定所述第一待处理像素的第一透明度值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值，确定所述第一透明值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值与第四预设权值的第四乘积值；基于所述第三乘积值和第四乘积值，确定所述第一待处理像素对应的透明度调整值或红色颜色调整值或绿色颜色调整值或蓝色颜色调整值，以确定所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值。
本发明实施例提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，用以执行本发明实施例提供的一种图像增强的方法及任一可选方法。
本发明实施例提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行本发明实施例提供的一种图像增强的方法及任一可选方法。
最后应说明的是：本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像增强的方法，其特征在于，包括：
对待处理的帧图像进行放大处理，获得放大后的帧图像；以及，确定所述放大后的帧图像对应的灰度帧图像；
对所述灰度帧图像进行精细化处理，获得第一处理图像、所述第一处理图像中各个第一像素的新亮度值、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组；
从所述放大后的帧图像中，筛选与任一所述第一参考像素组处于同一位置的第一比对像素组，以及与对应的所述第一像素处于同一位置的第一待处理像素；以及，基于所述第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得所述第一待处理像素的第一颜色值；
基于各个所述第一待处理像素的第一颜色值，获得与所述待处理的帧图像对应的第一增强图像。
2.如权利要求1所述的方法，其特征在于，在所述获得与所述待处理的帧图像对应的第一增强图像之后，所述方法还包括：
确定所述第一处理图像对应的特征提取图，并对所述特征提取图进行所述精细化处理，获得第二处理图像、所述第二处理图像中各个第二像素的新亮度值、以及用于确定所述各个第二像素的新亮度值的各个第二参考像素组；
从所述第一增强图像中，筛选与任一所述第二参考像素组处于同一位置的第二比对像素组，以及与对应的所述第二像素处于同一位置的第二待处理像素；以及，基于所述第二比对像素组所对应的颜色值，对第二待处理像素的颜色值进行亮度调整处理，获得所述第二待处理像素的目标颜色值；
基于各个所述第二待处理像素的目标颜色值，获得目标增强图像。
3.如权利要求1所述的方法，其特征在于，所述对所述灰度帧图像进行精细化处理，获得第一处理图像、所述第一处理图像中各个第一像素的新亮度值、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组，包括：
确定与一个所述第一像素相邻的八个方向的像素所对应的各个亮度值；
基于所述相邻的八个方向的像素所对应的各个亮度值和预设策略，确定所述一个所述第一像素的第一新亮度值，以及与所述第一像素相邻的八个方向中亮度综合值最高的多个像素所组成的第一参考像素组；
获得所述各个第一像素的第一新亮度值、基于所述各个第一像素的第一新亮度值所确定的第一处理图像、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组。
4.如权利要求3所述的方法，其特征在于，所述基于所述相邻八个方向的像素所对应的各个亮度值和预设策略，确定所述一个所述第一像素的第一新亮度值，以及确定用于确定一个所述第一像素的新亮度值的第一参考像素组，包括：
基于所述预设策略，将所述相邻八个方向的像素划分为多个第一比对组和与所述第一比对组对应的第二比对组；其中，所述第一比对组中的至少一个像素的亮度值大于所述第二比对组的各个像素的亮度值；
确定一个所述第一比对组所对应的和值，获得和值集；其中，所述和值用于表征基于所述第一比对组中各个像素所对应的亮度值，与所述一个所述第一像素所对应的亮度值所确定的综合亮度值；
确定所述和值集中的最大值，将所述最大值确定为所述一个所述第一像素的第一新亮度值，以及，将确定所述最大值的像素确定为所述用于确定一个所述第一像素的新亮度值的第一参考像素组。
5.如权利要求4所述的方法，其特征在于，所述分别确定一个所述第一比对组所对应的和值，包括：
确定一个所述第一比对组中像素所对应的亮度值的一个第一均值，并将一个所述第一均值与第一预设权值相乘，获得一个第一乘积值；
确定所述一个所述第一像素的亮度值与第二预设权值相乘的第二乘积值；其中，所述第一预设权值与所述第二预设权值之和为固定值；
将所述一个所述第一乘积值和所述第二乘积值相加，确定一个所述第一比对组所对应的和值。
6.如权利要求1-4任一所述的方法，其特征在于，所述基于所述第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得所述第一待处理像素的第一颜色值，包括：
确定所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值；
对所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值进行加权均值处理，获得所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值；
将所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值拼接为目标数值类型的一个二进制数，将所述二进制数作为所述第一待处理像素的第一颜色值。
7.如权利要求6所述的方法，其特征在于，所述对所述第一比对像素组所对应的透明度值、红色颜色值、绿色颜色值以及蓝色颜色值进行加权均值处理，获得所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值，包括：
确定所述第一比对像素组所对应的透明度值或红色颜色值或绿色颜色值或蓝色颜色值的第四均值，并确定所述第四均值和第三预设权值相乘的第三乘积值；
确定所述第一待处理像素的第一透明度值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值，确定所述第一透明值或第一绿色颜色值或第一蓝色颜色值或第一红色颜色值与第四预设权值的第四乘积值；
基于所述第三乘积值和第四乘积值，确定所述第一待处理像素对应的透明度调整值或红色颜色调整值或绿色颜色调整值或蓝色颜色调整值，以确定所述第一待处理像素对应的透明度调整值、红色颜色调整值、绿色颜色调整值以及蓝色颜色调整值。
8.一种图像增强的装置，其特征在于，所述装置包括：
确定单元，用于对待处理的帧图像进行放大处理，获得放大后的帧图像；以及，确定所述放大后的帧图像对应的灰度帧图像；
第一处理单元，用于对所述灰度帧图像进行精细化处理，获得第一处理图像、所述第一处理图像中各个第一像素的新亮度值、以及用于确定所述各个第一像素的新亮度值的各个第一参考像素组；
第二处理单元，还用于从所述放大后的帧图像中，筛选与任一所述第一参考像素组处于同一位置的第一比对像素组，以及与对应的所述第一像素处于同一位置的第一待处理像素；以及，基于所述第一比对像素组所对应的颜色值，对第一待处理像素的颜色值进行亮度调整处理，获得所述第一待处理像素的第一颜色值；
获得单元，用于基于各个所述第一待处理像素的第一颜色值，获得与所述待处理的帧图像对应的第一增强图像。
9.一种计算机设备，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至7中任意一项所述的方法被执行。
10.一种存储介质，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至7中任意一项所述的方法被执行。
CN202110969933.1A 2021-08-23 2021-08-23 一种图像增强的方法及装置 Pending CN113689333A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110969933.1A CN113689333A (zh) 2021-08-23 2021-08-23 一种图像增强的方法及装置
PCT/CN2022/098754 WO2023024660A1 (zh) 2021-08-23 2022-06-14 一种图像增强的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110969933.1A CN113689333A (zh) 2021-08-23 2021-08-23 一种图像增强的方法及装置

Publications (1)

Publication Number Publication Date
CN113689333A true CN113689333A (zh) 2021-11-23

Family

ID=78581524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110969933.1A Pending CN113689333A (zh) 2021-08-23 2021-08-23 一种图像增强的方法及装置

Country Status (2)

Country Link
CN (1) CN113689333A (zh)
WO (1) WO2023024660A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024660A1 (zh) * 2021-08-23 2023-03-02 深圳前海微众银行股份有限公司 一种图像增强的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010045098A (ko) * 1999-11-02 2001-06-05 윤종용 명도 성분에 기반한 칼라 화상의 윤곽선 강조 방법
CN102063703A (zh) * 2009-11-18 2011-05-18 夏普株式会社 用于增强输入图像的系统、图像显示系统和用于图像增强的方法
CN109785240A (zh) * 2017-11-13 2019-05-21 中国移动通信有限公司研究院 一种低照度图像增强方法、装置及图像处理设备
KR102215607B1 (ko) * 2019-12-17 2021-02-15 주식회사 한글과컴퓨터 어두운 이미지의 밝기를 개선하기 위한 보정 처리가 가능한 전자 장치 및 그 동작 방법
CN113018856A (zh) * 2021-03-30 2021-06-25 网易（杭州）网络有限公司 图像处理方法、装置、电子设备及存储介质
CN113096014A (zh) * 2021-03-31 2021-07-09 咪咕视讯科技有限公司 视频超分处理方法、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674903B1 (en) * 1998-10-05 2004-01-06 Agfa-Gevaert Method for smoothing staircase effect in enlarged low resolution images
WO2012168985A1 (ja) * 2011-06-10 2012-12-13 株式会社島津製作所 画像処理方法及びその装置
CN109035166B (zh) * 2018-07-16 2022-02-01 国网四川省电力公司巴中供电公司 基于非下采样剪切波变换的电气设备红外图像增强方法
CN113689333A (zh) * 2021-08-23 2021-11-23 深圳前海微众银行股份有限公司 一种图像增强的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010045098A (ko) * 1999-11-02 2001-06-05 윤종용 명도 성분에 기반한 칼라 화상의 윤곽선 강조 방법
CN102063703A (zh) * 2009-11-18 2011-05-18 夏普株式会社 用于增强输入图像的系统、图像显示系统和用于图像增强的方法
CN109785240A (zh) * 2017-11-13 2019-05-21 中国移动通信有限公司研究院 一种低照度图像增强方法、装置及图像处理设备
KR102215607B1 (ko) * 2019-12-17 2021-02-15 주식회사 한글과컴퓨터 어두운 이미지의 밝기를 개선하기 위한 보정 처리가 가능한 전자 장치 및 그 동작 방법
CN113018856A (zh) * 2021-03-30 2021-06-25 网易（杭州）网络有限公司 图像处理方法、装置、电子设备及存储介质
CN113096014A (zh) * 2021-03-31 2021-07-09 咪咕视讯科技有限公司 视频超分处理方法、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BLOC97: ""A High-Quality Real Time Upscaler for Anime Video（https://github.com/bloc97/Anime4K）"", pages 1, Retrieved from the Internet <URL:《GitHub》> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024660A1 (zh) * 2021-08-23 2023-03-02 深圳前海微众银行股份有限公司 一种图像增强的方法及装置

Also Published As

Publication number Publication date
WO2023024660A1 (zh) 2023-03-02

Similar Documents

Publication Publication Date Title
CN110136066B (zh) 面向视频的超分辨率方法、装置、设备和存储介质
US7613363B2 (en) Image superresolution through edge extraction and contrast enhancement
US7149355B2 (en) Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program
CN111587447A (zh) 帧循环视频超分辨率
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
CN106485668A (zh) 用于过曝修正的方法、系统和装置
KR20200132682A (ko) 이미지 최적화 방법, 장치, 디바이스 및 저장 매체
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
US7679620B2 (en) Image processing using saltating samples
KR100860968B1 (ko) 해상도 향상 장치 및 방법
CN113592776A (zh) 图像处理方法及装置、电子设备、存储介质
Chen et al. Structure-preserving and color-restoring up-sampling for single low-light image
CN114298900A (zh) 图像超分方法和电子设备
CN116703777A (zh) 一种图像处理方法、系统、存储介质及电子设备
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
JP2010286959A (ja) 顔画像高解像度化方法、顔画像高解像度化装置、及びそのプログラム
JP2012104099A (ja) ベジェ曲線を利用したコントラスト改善方法
CN103685858A (zh) 视频实时处理的方法及设备
CN113689333A (zh) 一种图像增强的方法及装置
CN115994875A (zh) 用于改善数字图像质量的方法和系统
Zhang et al. Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video
Khandelwal et al. W-VDSR: Wavelet-based secure image transmission using machine learning VDSR neural network
CN109996085B (zh) 模型训练方法、图像处理方法、装置及电子设备
CN112200719A (zh) 图像处理方法、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination