CN113674144A - 一种图像处理方法、终端设备及可读存储介质 - Google Patents

一种图像处理方法、终端设备及可读存储介质 Download PDF

Info

Publication number
CN113674144A
CN113674144A CN202010408339.0A CN202010408339A CN113674144A CN 113674144 A CN113674144 A CN 113674144A CN 202010408339 A CN202010408339 A CN 202010408339A CN 113674144 A CN113674144 A CN 113674144A
Authority
CN
China
Prior art keywords
image
neural network
network model
pixel point
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010408339.0A
Other languages
English (en)
Inventor
潘澄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202010408339.0A priority Critical patent/CN113674144A/zh
Publication of CN113674144A publication Critical patent/CN113674144A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请适用于图像处理的技术领域，提供了一种图像处理方法、终端设备及计算机可读存储介质。所述方法包括：获取待处理的图像，对图像进行滤波处理；将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像；其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。该方法通过滤波处理和利用神经网络模型处理图像，减小了图像噪声，增加了图像中文字部分的细节，得到了高分辨率图像，并提高了图像处理效果。

Description

一种图像处理方法、终端设备及可读存储介质
技术领域
本申请属于图像处理的技术领域，尤其涉及一种图像处理方法、终端设备及计算机可读存储介质。
背景技术
在电子图像处理领域，人们常常期望得到高分辨率图像。而高分辨率意味着图像中的像素密度高，能够提供更多的细节。其中，超分辨率作为图像处理的常用手段，可以通过硬件或软件的方法提高原有图像的分辨率，以得到高分辨率图像。
但是，对于图像处理而言，例如具有文字的图像，由于文字图像对亮度高频区域和亮度低频区域的区分较为明显，且文字图像对亮度相较于色度的敏感性更高，并不需要增强文字图像的所有细节，而现有的超分辨率技术只能增强图像所有细节，无法单独增加文字部分的效果，导致现有的超分辨率对文字图像处理效果较差。
发明内容
有鉴于此，本申请实施例提供了一种图像处理方法、图像处理装置、终端设备以及计算机可读存储介质，可以解决现有的超分辨率技术只能增强图像所有细节，无法单独增加文字部分的效果，导致现有的超分辨率对图像的处理效果较差的技术问题。
本申请实施例的第一方面提供了一种图像处理方法，所述处理方法包括：
获取待处理的图像，对图像进行滤波处理；
将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像；
其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。
本申请实施例的第二方面提供了一种图像处理装置，所述处理装置包括：
获取单元，用于获取待处理的图像，对图像进行滤波处理；
计算单元，用于将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像；
其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。
本申请实施例的第三方面提供了一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：在本申请中，通过获取待处理的图像，对图像进行滤波处理；将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像；其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。该方法通过滤波处理和利用神经网络模型图像，减小了图像噪声，增加了图像中文字部分的细节，得到了高分辨率图像，并提高了图像处理效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请提供的一种图像处理方法的示意性流程图；
图2示出了本申请提供的一种图像处理方法中步骤11的具体示意性流程图；
图3示出了本申请提供的另一种图像处理方法的示意性流程图；
图4示出了本申请提供的另一种图像处理方法的示意性流程图；
图5示出了本申请提供的一种图像处理装置的示意图；
图6示出了本申请一实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在电子图像处理领域，人们常常期望得到高分辨率图像。而高分辨率意味着图像中的像素密度高，能够提供更多的细节。其中，超分辨率作为图像处理的常用手段，可以通过硬件或软件的方法提高原有图像的分辨率，以得到高分辨率图像。
但是，对于图像处理而言，例如具有文字的图像，由于文字图像对亮度高频区域和亮度低频区域的区分较为明显，且文字图像对亮度相较于色度的敏感性更高，并不需要增强文字图像的所有细节，而现有的超分辨率技术只能增强图像所有细节，无法单独增加文字部分的效果，导致现有的超分辨率对图像处理效果较差。
有鉴于此，本申请实施例提供了一种图像处理方法、图像处理装置、终端设备以及计算机可读存储介质，可以解决现有的超分辨率技术只能增强图像所有细节，无法单独增加文字部分的效果，导致现有的超分辨率对图像处理效果较差的技术问题。
请参见图1，图1示出了本申请提供的一种图像处理方法的示意性流程图。
如图1所示，该方法可以包括如下步骤：
步骤11，获取待处理的图像，对图像进行滤波处理。
由于成像系统、传输介质和存储设备的不完善，数字图像在其形成以及传输记录的过程中往往会受到多种噪声的污染。另外，在图像处理的某些环节，当输入的对象并不如预期时，也会在结果图像中引入噪声。这些噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般，噪声信号以无用的信息形式出现，扰乱图像的可观测信息。对于数字图像信号，噪声为或大或小的极值，这些极值通过加减作用于图像像素的真实灰度值上，在图像造成亮点或暗点干扰，极大降低了图像质量，影响图像复原、分割、特征提取、图识别等后继工作的进行。而对于图像而言，例如具有文字的图像，噪声一定程度上造成字体边缘的模糊。故在本实施例中，通过对图像进行滤波处理，以抑制图像中不必要的噪声，进而提高图像质量。其中，图像滤波可以在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和鲁棒性。
而有效抑制噪声的滤波方法必须考虑在去除目标和背景中噪声的同时，也能很好地保护图像目标的形状、大小及特定的几何和拓扑结构特征等。其中，所述滤波方法包括但不限于非线性滤波器、中值滤波以及形态学滤波器等。而对于具有文字的图像而言，图像的细节相对较少，高频区域和低频区域区分较为明显，且对亮度相较于色度的敏感性更高，传统的超分辨率方法并不能很好地应用在文字上。故，本实施例通过基于亮度滤波的方式处理图像。
具体地，所述对图像进行滤波处理，包括：遍历所述待处理的图像中的每个像素点，并计算每个所述像素点的滤波亮度值。
本实施通过对待处理的图像中每一个像素点进行基于亮度的滤波处理，以减小图像中的噪声。其中，遍历待处理的图像的方式包括但不限于滑动窗口等遍历方式。
具体地，所述遍历所述待处理的图像中的每个像素点，并计算每个像素点的滤波亮度值，包括以下步骤，请参见图2，图2示出了本申请提供的一种图像处理方法中步骤11的具体示意性流程图。
步骤111，通过滑动窗口遍历所述待处理的图像中的每个像素点，其中，所述滑动窗口内包括中心像素点和非中心像素点。
首先，预先设定滑动窗口的窗口大小，滑动窗口内包含多个像素点，且一定存在中心像素点。滑动窗口在不同位置，对应不同的中心像素点，其中，所述滑动窗口内包括中心像素点和非中心像素点，而中心像素点为滤波对象，非中心像素点用于计算中心像素点的滤波亮度值。
当接收到待处理的图像，则通过所述滑动窗口遍历所述待处理的图像中的每个像素点。
优选地，所述滑动窗口的窗口大小可设为奇数，以保证滑动窗口中一定包括一个中心像素点。
步骤112，获取所述滑动窗口内所述中心像素点的初始亮度值和所述非中心像素点的初始亮度值。
步骤113，根据所述滑动窗口内所述中心像素点的初始亮度值、所述非中心像素点的初始亮度值以及预设亮度差阈值，计算所述中心像素点的所述滤波亮度值。
本实施例采用中心像素点的初始亮度值和非中心像素点的初始亮度值之间的差值作为权重参考。若某个非中心像素点的初始亮度值与中心像素点的初始亮度值之间的差值越大，则该点的加权权重越小。若某个非中心像素点的初始亮度值与中心像素点的初始亮度值之间的差值越小，则该点的加权权重越大。在文字场景中,这种方法能更好地去噪，并保留图像边缘,不必担心去除纹理信息。
具体地，所述根据所述滑动窗口内所述中心像素点的初始亮度值、所述非中心像素点的初始亮度值以及预设亮度差阈值，计算所述中心像素点的所述滤波亮度值，包括以下步骤：
将所述滑动窗口内所述中心像素点的初始亮度值、所述非中心像素点的初始亮度值以及所述预设亮度差阈值代入过如下公式，得到所述滤波亮度值：
Figure BDA0002492242260000071
其中，x表示所述滤波亮度值，xi表示所述滑动窗口内第i个所述非中心像素点的初始亮度值，i表示所述滑动窗口内第i个像素点，x0表示所述中心像素点的初始亮度值，Y表示所述预设亮度差阈值，r表示滑动窗口半径。
其中，预设亮度差阈值Y为预先设定的固定数值，当预设亮度差阈值Y较大时,每个像素点对应的权重接近于1，此时上述公式相当于均值滤波。当预设亮度差阈值Y较小时,每个像素点对应的权重基本为0，去噪效果相对弱。因此，上述公式的算法效果可以被滑动窗口半径r和预设亮度差阈值Y所调整。当滑动窗口半径r越大，预设亮度差阈值Y越大，滤波效果越强。滑动窗口半径r和预设亮度差阈值Y可根据实际应用需求而定。
步骤12，将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像。其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。即一个原始样本图像和基于该原始样本图像进行处理后得到的图像(即经过处理后的原始样本图像)，上述两个图像构成样本图像对。
需要说明的是，上述分辨率应做广义理解，所述分辨率是指图像中存储的信息量，是图像内单位面积有多少个像素点，描述分辨率的单位有像素每英寸(Pixels Per Inch，PPI)和每英寸点(Dot Per Inch，DPI)。更具体地，分辨率可以是图像的精密度，是指图像所能显示的像素有多少。由于图像上的点、线和面都是由像素组成的，单个图像上单位面积可显示的像素越多，画面就越精细，同样的单个图像上单位面积内能显示的信息也越多。
其中，神经网络是一种模拟人脑工作原理，从而实现人工智能的机器学习技术，支持处理图像、文本、语音以及序列多种类型的数据，可以实现分类、回归和预测等。
具体地，所述神经网络模型包括加速超分辨率卷积神经网络模型。
所述加速超分辨率卷积神经网络模型是基于超分辨率卷积神经网络(SRCNN)的改进算法。我们主要从三个方面重新改进SRCNN结构。首先，在网络末端引入一个反卷积层，然后从原始的低分辨率图像(无插值)学习到高分辨率的映射。第二，通过在映射之前缩小输入要素的尺寸并在之后再扩展，来重新构造映射层。第三，采用较小的过滤器尺寸，但采用更多的映射层。通过上述方式得到所述加速超分辨率卷积神经网络模型。
具体地，所述将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像，包括：
对所述滤波处理后的图像依次进行卷积层、缩放层、映射层、扩张层以及反卷积层处理，得到所述目标图像。其中，所述映射层包括多个子映射层。
加速超分辨率卷积神经网络模型中的卷积层利用5x5卷积核，对滤波处理后的图像进行特征提取，得到第一图像。加速超分辨率卷积神经网络模型中的缩放层利用1x1卷积核把第一图像缩放为第二图像。加速超分辨率卷积神经网络模型中的映射层通过多个子映射层，对第二图像进行处理，得到第三图像。加速超分辨率卷积神经网络模型中的扩张层利用1x1卷积核，将第三图像扩张为第四图像。加速超分辨率卷积神经网络模型中的反卷积层，利用9x9卷积核，对第四图像进行处理，得到目标图像。
其中，由于子映射层采用较小的卷积核，卷积核越小参数越少。故本实施例通过在映射层中设定多个子映射层，以减少加速超分辨率卷积神经网络模型的参数数量以及计算量。且由于本实施例将反卷积层设置在最后，使得滤波处理后的图像可直接输入模型，无需进行双三次插值处理，进一步简化了处理步骤。
值得注意的是，当通过神经网络模型生成图像时，神经网络模型从低分辨率以及高阶描述中构建图像。故神经网络模型需先描绘粗糙的图像，再填充细节，这一过程通常使用反卷积操作。反卷积层允许模型使用小图像中的每个点来“绘制”更大的图像中的方块。但是，反卷积很容易“不均匀重叠”，使图像中某个部位的颜色比其他部位更深。尤其是当核(kernel)的输出窗口的大小不能被步长整除时，反卷积就会不均匀重叠，产生棋盘效应。而为了避免神经网络模型带来的棋盘效应，本实施例在经过权重滤波后，将滤波处理后的图像输入至神经网络模型，以减少神经网络带来的棋盘效应。
在本实施例中，通过获取待处理的图像，对图像进行滤波处理。将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像。其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。该方法通过滤波处理和利用神经网络模型处理图像，减小了图像噪声，增加了图像中文字部分的细节，得到了高分辨率图像，并提高了图像处理效果。
可选地，在上述图1所示实施例的基础上，在所述将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像之前，还包括如下步骤，请参见图3，图3示出了本申请提供的另一种图像处理方法的示意性流程图。其中，本实施例中步骤303至步骤304，与图1所示实施例中步骤101至步骤102相同，具体请参阅图1所示实施例中步骤101至步骤102的相关描述，此处不赘述。
步骤301，获取训练数据集中的多个所述样本图像对。
本实施通过在公开的图像数据库中，获取高清图像，例如具有文字的图像。将高清图像作为原始样本图像。将原始样本图像通过图像处理方法，降低原始样本图像的分辨率，得到经过处理后的所述原始样本图像。即经过处理后的所述原始样本图像是原始样本图像的低分辨率版本。所述图像处理方法包括但不限于双三次插值以及双线性插值等一种或多种方法的结合。
优选地，本实施例通过双三次插值以及缩减像素采样(downsample)，得到经过处理后的原始样本图像。
原始样本图像和经过处理后的原始样本图像建立映射关系，得到样本图像对。
步骤302，通过多个所述样本图像对，训练初始神经网络模型，得到训练后的所述神经网络模型。
将每组样本图像对中的经过处理后的原始样本图像输入初始的神经网络模型，得到初始的神经网络模型的输出结果。将神经网络模型的输出结果与原始样本图像进行对比，得到对比结果。根据所述对比结果调整初始的神经网络模型的模型参数，得到训练后的神经网络模型。
步骤303，获取待处理的图像，对图像进行滤波处理。
步骤304，将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像。其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。
在本实施例中，通过获取训练数据集中的多个所述样本图像对。通过多个所述样本图像对，训练初始神经网络模型，得到训练后的神经网络模型。获取待处理的图像，对图像进行滤波处理。将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像。通过上述方式，获取并训练用于处理图像的神经网络模型，以提高图像处理效果。
可选地，在上述图1所示实施例的基础上，在所述通过预设大小的滑动窗口遍历待处理图像之前，还包括如下步骤，请参见图4，图4示出了本申请提供的另一种图像处理方法的示意性流程图。其中，本实施例中步骤401至步骤402，与图1所示实施例中步骤101至步骤102相同，具体请参阅图1所示实施例中步骤101至步骤102的相关描述，此处不赘述。
步骤401，获取待处理的图像，对图像进行滤波处理。
步骤402，将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像。其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。
步骤403，调整所述目标图像的参数，得到调整后的所述目标图像。其中，所述参数包括对比度、亮度以及锐度的至少之一。
在一些图像中，由于成像或者图像传输等原因，导致图像可能会出现整体亮度较暗或对比度较低等问题。故本实施例，在得到所述目标图像后，通过调整所述目标图像的参数，以使目标图像中的文字内容更清晰，图像画质更高。其中，所述参数包括但不限于对比度、亮度以及锐度中的一种或多种的结合。
在本实施例中，通过获取待处理的图像，对图像进行滤波处理。将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像。调整所述目标图像的参数，得到调整后的所述目标图像。其中，所述参数包括对比度、亮度以及锐度的至少之一。上述方式，分别通过滤波处理和利用神经网络模型以及参数调整处理图像，以减小图像噪声，增加图像中文字部分的细节，提高了图像处理效果。
如图5本申请提供了一种图像处理装置5，请参见图5，图5示出了本申请提供的一种图像处理装置的示意图，如图5所示一种图像处理装置包括：
获取单元51，用于获取待处理的图像，对图像进行滤波处理；
计算单元52，用于将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像；
其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。
本申请提供的一种图像处理装置，通过获取待处理的图像，对图像进行滤波处理。将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像。其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。上述方式，通过滤波处理和利用神经网络模型处理图像，减小了图像噪声，增加了图像中文字部分的细节，得到了高分辨率图像，并提高了图像处理效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图6示出了本申请一实施例提供的一种终端设备的示意图。如图6所示，该实施例的一种终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如一种图像处理程序。所述处理器60执行所述计算机程序62时实现上述各个一种图像处理方法实施例中的步骤，例如图1所示的步骤101至步骤102。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各单元的功能，例如图5所示单元51至52。
示例性的，所述计算机程序62可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述一种终端设备6中的执行过程。例如，所述计算机程序62可以被分割成获取单元和计算单元各单元具体功能如下：
获取单元，用于获取待处理的图像，对图像进行滤波处理；
计算单元，用于将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像；
其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。
所述一种终端设备6可以是移动终端、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述一种终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是一种终端设备6的示例，并不构成对一种终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述一种终端设备6的内部存储单元，例如一种终端设备6的硬盘或内存。所述存储器61也可以是所述一种终端设备6的外部存储设备，例如所述一种终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述一种终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述一种终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之间。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的图像，对图像进行滤波处理；
将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像；
其中，所述神经网络模型为基于多个样本图像对训练得到的模型，每个所述样本图像对包括原始样本图像和经过处理后的所述原始样本图像，经过处理后的所述原始样本图像的分辨率小于所述原始样本图像的分辨率。
2.如权利要求1所述的处理方法，其特征在于，所述对图像进行滤波处理，包括：
遍历所述待处理的图像中的每个像素点，并计算每个所述像素点的滤波亮度值。
3.如权利要求2所述的处理方法，其特征在于，所述遍历所述待处理的图像中的每个像素点，并计算每个像素点的滤波亮度值，包括：
通过滑动窗口遍历所述待处理的图像中的每个像素点，其中，所述滑动窗口内包括中心像素点和非中心像素点；
获取所述滑动窗口内所述中心像素点的初始亮度值和所述非中心像素点的初始亮度值；
根据所述滑动窗口内所述中心像素点的初始亮度值、所述非中心像素点的初始亮度值以及预设亮度差阈值，计算所述中心像素点的所述滤波亮度值。
4.如权利要求3所述的处理方法，其特征在于，所述根据所述滑动窗口内所述中心像素点的初始亮度值、所述非中心像素点的初始亮度值以及预设亮度差阈值，计算所述中心像素点的所述滤波亮度值，包括：
将所述滑动窗口内所述中心像素点的初始亮度值、所述非中心像素点的初始亮度值以及所述预设亮度差阈值代入过如下公式，得到所述滤波亮度值：
Figure FDA0002492242250000021
其中，x表示所述滤波亮度值，xi表示所述滑动窗口内第i个所述非中心像素点的初始亮度值，i表示所述滑动窗口内第i个像素点，x0表示所述中心像素点的初始亮度值，Y表示所述预设亮度差阈值，r表示滑动窗口半径。
5.如权利要求1所述的处理方法，其特征在于，在所述将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像之后，还包括：
调整所述目标图像的参数，得到调整后的所述目标图像；
其中，所述参数包括对比度、亮度以及锐度的至少之一。
6.如权利要求1所述的处理方法，其特征在于，在所述将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像之前，还包括：
获取训练数据集中的多个所述样本图像对；
通过多个所述样本图像对，训练初始神经网络模型，得到训练后的所述神经网络模型。
7.如权利要求1至6任一项所述的处理方法，其特征在于，所述神经网络模型包括加速超分辨率卷积神经网络模型。
8.如权利要求7所述的处理方法，其特征在于，所述将滤波处理后的图像输入至神经网络模型，得到所述神经网络模型输出的目标图像，包括：
对所述滤波处理后的图像依次进行卷积层、缩放层、映射层、扩张层以及反卷积层处理，得到所述目标图像；
其中，所述映射层包括多个子映射层。
9.一种终端设备，其特征在于，包括：
存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
CN202010408339.0A 2020-05-14 2020-05-14 一种图像处理方法、终端设备及可读存储介质 Pending CN113674144A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408339.0A CN113674144A (zh) 2020-05-14 2020-05-14 一种图像处理方法、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408339.0A CN113674144A (zh) 2020-05-14 2020-05-14 一种图像处理方法、终端设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113674144A true CN113674144A (zh) 2021-11-19

Family

ID=78537337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408339.0A Pending CN113674144A (zh) 2020-05-14 2020-05-14 一种图像处理方法、终端设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113674144A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150370A (zh) * 2022-07-05 2022-10-04 广东魅视科技股份有限公司 一种图像处理的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898549A (zh) * 2018-05-29 2018-11-27 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN109064428A (zh) * 2018-08-01 2018-12-21 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN110415176A (zh) * 2019-08-09 2019-11-05 北京大学深圳研究生院 一种文本图像超分辨率方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898549A (zh) * 2018-05-29 2018-11-27 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN109064428A (zh) * 2018-08-01 2018-12-21 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN110415176A (zh) * 2019-08-09 2019-11-05 北京大学深圳研究生院 一种文本图像超分辨率方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙莉: "条件平滑滤波及其应用", 《国土资源遥感》, pages 43 - 46 *
胡威: "文本图像恢复算法的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 7 - 28 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150370A (zh) * 2022-07-05 2022-10-04 广东魅视科技股份有限公司 一种图像处理的方法

Similar Documents

Publication Publication Date Title
CN108805840B (zh) 图像去噪的方法、装置、终端及计算机可读存储介质
CN108765343B (zh) 图像处理的方法、装置、终端及计算机可读存储介质
CN107358586B (zh) 一种图像增强方法、装置及设备
CN110706174B (zh) 一种图像增强方法、终端设备及存储介质
US9142009B2 (en) Patch-based, locally content-adaptive image and video sharpening
CN111275626A (zh) 一种基于模糊度的视频去模糊方法、装置及设备
JP2009543214A (ja) 画像特徴を意識した画像欠陥除去
US9613405B2 (en) Scalable massive parallelization of overlapping patch aggregation
CN113781406B (zh) 电子元器件的划痕检测方法、装置及计算机设备
CN111951172A (zh) 一种图像优化方法、装置、设备和存储介质
CN112508816B (zh) 一种红外图像锐化方法、锐化处理系统及终端设备
CN111882565B (zh) 一种图像二值化方法、装置、设备及存储介质
CN113592776A (zh) 图像处理方法及装置、电子设备、存储介质
KR102195047B1 (ko) 3d이미지 품질을 향상시키는 방법과 장치
CN114926374B (zh) 一种基于ai的图像处理方法、装置、设备及可读存储介质
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
CN111429371B (zh) 图像处理方法、装置及终端设备
Liu et al. One-dimensional image surface blur algorithm based on wavelet transform and bilateral filtering
CN113674144A (zh) 一种图像处理方法、终端设备及可读存储介质
CN111222446B (zh) 人脸识别方法、人脸识别装置及移动终端
CN111311610A (zh) 图像分割的方法及终端设备
Yang et al. CSDM: A cross-scale decomposition method for low-light image enhancement
CN111767924A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN111986102A (zh) 一种数字病理图像去模糊方法
CN114219774B (zh) 图像质量评估方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination