CN111105356B - 图像处理方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置及计算机可读存储介质，该图像处理方法包括获取待处理的第一多通道图像；获取所述第一多通道图像每一像素的所有通道的颜色分量值；分别对所有通道的颜色分量值进行水平处理；对进行水平处理后的所有通道的颜色分量值分别进行垂直处理；将经过所述垂直处理后的所有通道的颜色分量值还原为第二多通道图像；将第二多通道图像转化为RGB图像。通过上述实施方式，本申请能够有效精简硬件软件程序流程与其所需的运算资源，并提高运行速度。

Description

图像处理方法、装置及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置及计算机可读存储介质。

背景技术

在图像与视频处理领域中，图像放大功能为常见的需求，例如超分辨率技术——使用分辨率较小的图像进行放大，使显示装置得以显示近似高分辨率的图像。

常见的图像放大算法中，常见的情况需要对输入图像进行边界填充，在纯软件或者纯硬件系统中，一般采取直接使用纯软件或者纯硬件进行填充操作，容易产生如下问题1、若先进行垂直填充，则整体数据搬运量较大；2、未进行软硬件协作处理，系统执行效率不佳；3、纯硬件进行放大，需耗费额外硬件资源进行填充处理，并增加硬件设计复杂度；4、纯硬件进行放大，单一输入及输出接口，执行效率较差等问题。

发明内容

本申请提供一种图像处理方法、装置及计算机可读存储介质，能够解决纯软件或者纯硬件系统中图像处理带来的问题。

为解决上述技术问题，本申请采用的一种技术方案是：提供一种图像处理方法，所述图像处理方法包括：获取待处理的第一多通道图像；获取所述第一多通道图像每一像素的所有通道的颜色分量值；分别对所有通道的所述颜色分量值进行水平处理；对进行水平处理后的所有通道的所述颜色分量值分别进行垂直处理；将经过所述垂直处理后的所有通道的所述颜色分量值还原为第二多通道图像；将所述第二多通道图像转化为RGB图像。

其中，所述分别对所有通道的所述颜色分量值进行水平处理包括：分别对所有通道的所述颜色分量值进行水平填充；对进行水平填充后的所有通道的所述颜色分量值进行水平放大处理。

其中，所述对进行水平处理后的所有通道的所述颜色分量值分别进行垂直处理包括：分别对经过水平放大处理后对所有通道的所述颜色分量值进行垂直填充；对进行垂直填充后的所有通道的所述颜色分量值进行垂直放大处理。

其中，所述分别对经过水平放大处理后对所有通道的所述颜色分量值进行垂直填充包括：预先设置一缓存区；在所述缓存区上设置缓存起始点，所述缓存起始点将所述缓存区分为第一部分及第二部分；对所述第二部分进行垂直填充。

其中，所述对进行垂直填充后的所有通道的所述颜色分量值进行垂直放大处理包括：分别获取n组经过垂直填充后的所有通道的所述颜色分量值，其中每组经过垂直填充后的所有通道的所述颜色分量值高度依次递增预设值；对所述n组经过垂直填充后的所有通道的所述颜色分量值进行垂直放大处理，从而得到n-1组所有通道的所述颜色分量值。

其中，所述对所有通道的所述颜色分量值进行垂直放大处理或水平放大处理采用像素直接复制放大、线性插值放大、双三次插值放大或卷积网路放大中的一种。

其中，所述分别对所有通道的所述颜色分量值进行水平填充或垂直填充采用定值填充、延伸填充或镜像填充中的一种。

其中，所述将所述第二多通道图像转化为RGB图像之后进一步包括对所述RGB图像进行校正调整。

为解决上述技术问题，本申请采用的另一种技术方案是：提供一种图像处理装置，所述图像处理装置包括：第一获取模块，用于获取待处理的第一多通道图像；第二获取模块，用于获取所述第一多通道图像每一像素的所有通道的颜色分量值；水平处理模块，用于分别对所有通道的所述颜色分量值进行水平处理；垂直处理模块，用于对进行水平处理后的所有通道的所述颜色分量值分别进行垂直处理；还原模块，用于将经过所述垂直处理后的所有通道的所述颜色分量值还原为第二多通道图像；转换模块，用于将所述第二多通道图像转化为RGB图像。

为解决上述技术问题，本申请采用的又一种技术方案是，提供一种计算机可读存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述中任一项所述的图像处理方法。

本申请的有益效果是：区别于现有技术的情况，本申请提供一种图像处理方法、装置及计算机可读存储介质，通过将多通道图像中所有通道的颜色分量值先进行水平放大处理再进行垂直放大处理，能够减少系统的资料搬运量，提升系统的运行速度，且结合软件和硬件模块功能共同实现图像的缩放处理，可有效精简硬件软件程序流程与其所需的运算资源，并提高运行速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1是本申请图像处理方法一实施方式的流程示意图；；

图2是本申请步骤S300一实施方式的流程示意图；

图3是本申请图像处理方法一实施方式的示意图；

图4是本申请步骤S400一实施方式的流程示意图；；

图5是本申请中缓存区一实施方式的示意图；

图6是本申请步骤S410一实施方式的流程示意图；

图7是本申请图像垂直放大处理一实施方式的示意图；

图8是本申请步骤S420一实施方式的流程示意图；

图9是本申请图像处理装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1，图1为本申请图像缩放方法一实施方式的流程示意图，如图1，本申请提供的图像缩放方法包括如下步骤：

S100，获取待处理的第一多通道图像。

获取待处理的第一多通道图像，且在本申请的具体实施方式中为便于计算，将第一多通道图像转换成YUV色彩系统下的图像，例如，将RGB图像相应转换成YUV图像。现有技术中存在多种将多通道图像例如RGB图像转换成YUV图像的方式，由于本申请技术方案所关注的重点并不在于如何将多通道图像转换成YUV图像，因此在此对相关的转换方法不再赘述。

在本申请的又一实施方式中，在某些情况下例如摄像时，本身可能就是依据YUV色彩系统成像，因此直接输入的多通道图像即处于YUV色彩系统中，因此无需进行上述的转换步骤。

S200，获取第一多通道图像每一像素的所有通道的颜色分量值。

可选地，步骤S100中将多通道图像转换成YUV色彩系统后，对转换之后的图像进行分离。具体地，将经过转换的图像的每一像素的每个通道的分量分离出来，以分别得到Y值分量(对应Y通道的颜色分量)、U值分量(对应U通道的颜色分量)以及V值分量(对应V通道的颜色分量)。进一步，分别对分离出来的每一个颜色通道的颜色分量值进行后续处理，即分别对Y值分量、U值分量和V值分量进行后续处理。

S300，分别对所有通道的颜色分量值进行水平处理。

本申请中，在将第一多通道图像(YUV图像)每一通道的颜色分量分离后，需要分别对每一通道的颜色分量进行后续的水平和垂直处理。下述实施方式中，以Y通道的颜色分量为例详细介绍图像后续的水平和垂直处理过程，其他通道颜色分量的水平和垂直处理过程相同，此处不再赘述。

请进一步结合图2，图2为本申请步骤S300一实施方式的流程示意图，如图2步骤S300进一步包括如下子步骤：

S310，分别对所有通道的颜色分量值进行水平填充。

结合图3，图3为本申请图像处理方法一实施方式的示意图，如图3，本申请实施例中，分离后的Y通道颜色分量图像100的分辨率为960*540，且本申请以四倍放大为例进行详细说明，其中图像的放大倍数和滤波器的半径相关，本申请中滤波器的半径设定为2。

可选地，将图像100进行水平填充，填充区的宽度为滤波器的放大半径2，填充后图像100的分辨率为(964*540)，像素总数为520560。具体地水平填充方法可以采用定值填充、延伸填充或镜像填充中的一种，此处不做具体限定。

S320，对进行水平填充后的所有通道的颜色分量值进行水平放大处理。

进一步结合图3，将进行水平填充后的图像100进行水平放大处理，具体地可以对Y通道颜色分量值进行水平放大计算，具体地放大算法可以采用像素直接复制放大、线性插值放大、双三次插值放大或卷积网路放大中的一种，本申请实施例中采用双三次插值放大算法对Y通道颜色分量值进行水平放大。如图3，经过水平放大后的图像100分辨率为540*3840。

S400，对进行水平处理后的所有通道的颜色分量值分别进行垂直处理。

请一并结合图4，图4为本申请步骤S400一实施方式的流程示意图，如图4，步骤S400进一步包括如下子步骤：

S410，分别对经过水平放大处理后对所有通道的颜色分量值进行垂直填充。

可选地，本申请中垂直填充的方法可以采用定值填充、延伸填充或镜像填充中的一种，此处不做具体限定。具体结合图5及图6，图5为本申请中缓存区一实施方式的示意图，图6为本申请步骤S410一实施方式的流程示意图，具体有：

S411，预先设置一缓存区。

可选地，该缓存区200所能容纳的像素总数为(原图像宽度放大4倍)*(原图像高度+滤波器半径*2)，具体到图3中，该缓存区200所能容纳的像素总数为3480*(2+540+2)。

S412，在缓存区上设置缓存起始点，缓存起始点将缓存区分为第一部分及第二部分。

进一步，在缓存区200上设置起始点(A、B)，其该起始点((A、B)将该缓存区200划分为第一部分210及第二部分220。其中，第一部分210为免搬运区，第二部分220为填充区，即经过水平放大处理后的图像100需要进行垂直填充的区域。

S413，对第二部分进行垂直填充。

可以理解的是，第一部分210(免搬运区)存放经过水平填充和放大后的图像，第二部分220则可以将需要填充的资料填充至该区域，且填充方式包括但不限于定值填充、延伸填充或镜像填充。

上述实施方式中，采用先对图像进行水平放大再进行垂直放大的设计方案，软件系统所需要进行搬运的资料总数为535920像素，相比于先对图像进行垂直放大再进行水平放大的方案，其搬运资料的总数能够大幅降低，可避免资料的重复搬运，提升运行速度。

S420，对进行垂直填充后的所有通道的所述颜色分量值进行垂直放大处理。

结合图7和图8，图7为本申请图像垂直放大处理一实施方式的示意图，图8为本申请步骤S420一实施方式的流程示意图，具体如下：

可以理解的是，本申请中图像的垂直放大处理采用的算法具体可以是像素直接复制放大、线性插值放大、双三次插值放大或卷积网路放大中的一种，本申请具体实施方式中以双三次插值放大算法为例详细说明。可选地，在本申请的垂直放大模块中，采用多路输入/输出的结构，能够有效提升系统的运行效率，且本申请中多路输入的端口为5，输出端口为4，具体描述如下：

S421，分别获取n组经过垂直填充后的所有通道的颜色分量值，其中每组经过垂直填充后的所有通道的颜色分量值高度依次递增预设值。

如图7，经过垂直填充后的图像100分辨率为3840*544，在3840*544的连续图像，按照其高度依次递增预设值(本实施例中预设值为1)的形式读取n组(本申请中n＝5)3840*540范围作为输入数据，且本申请的存储方式为错序存储。

举例来说，经过垂直填充后的图像100分辨率为544*3840，按照每行往下取540行，即可以将544*3840拆解成5张图：

(0^-539)*3840

(1^-540)*3840

(2^-541)*3840

(3^-542)*3840

(4^-543)*3840

可选地，由于垂直放大处理是在不同行上面硬件写入，且必须依序，即第一个输出端口写行0,下一次第一个输出端口必须写行1,不能跳去行4，故采用错序存放。

S422，对n组经过垂直填充后的所有通道的颜色分量值进行垂直放大处理，从而得到n-1组所有通道的颜色分量值。

具体地，将上述输入的5组图像数据经过算法模块进行放大处理，本申请实施例中采用双三次插值放大算法对输入的5组图像数据进行垂直放大处理，并有4个输出端口(0、1、2、3)输出，具体如下：

输出端口0

0(行0的数据先放行0)

4(行4的数据先放行1)

8(行8的数据先放行2)

输出端口1

1(行1的数据先放行3)

5(行5的数据先放行4)

9(行9的数据先放行5)

输出端口2

2(行2的数据先放行6)

6(行6的数据先放行7)

10(行10的数据先放行8)

输出端口3

3(行3的数据先放行9)

7(行7的数据先放行10)

11(行11的数据先放行11)

由上述输出端可以看出，此时可以得到三个YUV通道的乱序图。

S500,将经过所述垂直处理后的所有通道的颜色分量值还原为第二多通道图像。

进一步，将上述经过垂直处理后的所有通道的颜色分量值还原为第二多通道图像，且该过程中维持三个YUV通道的乱序图的顺序不变将其还原为第二多通道图像。

S600,将第二多通道图像转化为RGB图像。

进一步，将上述乱序的第二多通道图像转化为RGB图像。其中，R、G、B分别表示像素的红、绿、蓝颜色值。将YUV图像由YUV空间转换到RGB颜色空间，转换方法如下：

经过上述转换后，将转换后的RGB图像复制到显示单元进行校正调整，从而获得正常顺序的RGB图像。

可以理解的是，步骤S500以及对图像进行垂直放大均由硬件功能模块完成。

可选地，在本申请实施方式的具体应用场景中，调整输入/输出接口的位宽，能够使硬件运行效率得到进一步优化，如下表：

表1水平放大输入输出

	输入	输出
			水平放大	8bit	32bit
水平放大	32bit	128bit

表2水平放大输入输出

输入0

输入1

输入2

输入3

输入4

输出0

输出1

输出2

输出3

垂直放大

8bit

8bit

8bit

8bit

8bit

8bit

8bit

8bit

8bit

垂直放大

128bit

128bit

128bit

128bit

128bit

128bit

128bit

128bit

128bit

表1和表2表明，水平放大运行速度可提升4倍，垂直放大运行速度可提升16倍。

上述实施方式中，在图像处理过程中通过将多通道图像中所有通道的颜色分量值先进行水平放大处理再进行垂直放大处理，能够减少系统的资料搬运量，提升系统的运行速度，且结合软件和硬件模块功能共同实现图像的缩放处理，可有效精简硬件软件程序流程与其所需的运算资源，并提高运行速度。

参阅图9，图9为本申请图像处理装置一实施方式的结构示意图，如图9，本申请中提供的图像处理装置包括第一获取模块310、第二获取模块320、水平处理模块330、垂直处理模块340、还原模块350以及转换模块360。

其中，第一获取模块310用于获取待处理的第一多通道图像。

第二获取模块320用于获取所述第一多通道图像每一像素的所有通道的颜色分量值。

水平处理模块330用于分别对所有通道的所述颜色分量值进行水平处理。

可选地，水平处理模块330还用于分别对所有通道的所述颜色分量值进行水平填充；对进行水平填充后的所有通道的所述颜色分量值进行水平放大处理。

垂直处理模块340用于对进行水平处理后的所有通道的所述颜色分量值分别进行垂直处理。

可选地，垂直处理模块340还用于分别对经过水平放大处理后对所有通道的所述颜色分量值进行垂直填充；对进行垂直填充后的所有通道的所述颜色分量值进行垂直放大处理。

其中，分别对经过水平放大处理后对所有通道的所述颜色分量值进行垂直填充包括：预先设置一缓存区；在所述缓存区上设置缓存起始点，所述缓存起始点将所述缓存区分为第一部分及第二部分；对所述第二部分进行垂直填充。

其中，对进行垂直填充后的所有通道的所述颜色分量值进行垂直放大处理包括：分别获取n组经过垂直填充后的所有通道的所述颜色分量值，其中每组经过垂直填充后的所有通道的所述颜色分量值高度依次递增预设值；对所述n组经过垂直填充后的所有通道的所述颜色分量值进行垂直放大处理，从而得到n-1组所有通道的所述颜色分量值。

还原模块350用于将经过所述垂直处理后的所有通道的所述颜色分量值还原为第二多通道图像。

转换模块360用于将第二多通道图像转化为RGB图像。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像处理方法中的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

综上所述，本领域技术人员容易理解，本申请提供一种图像处理方法、装置及计算机可读存储介质，在图像处理过程中通过将多通道图像中所有通道的颜色分量值先进行水平放大处理再进行垂直放大处理，能够减少系统的资料搬运量，提升系统的运行速度，且结合软件和硬件模块功能共同实现图像的缩放处理，可有效精简硬件软件程序流程与其所需的运算资源，并提高运行速度。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取待处理的第一多通道图像；

获取所述第一多通道图像每一像素的所有通道的颜色分量值；

分别对所有通道的所述颜色分量值进行水平处理；

在预先设置的缓存区上设置用于将所述缓存区分为第一部分及第二部分的缓存起始点，并对所述第二部分进行垂直填充，以实现对经过水平处理后的所有通道的所述颜色分量值的垂直填充；

分别获取n组经过垂直填充后的所有通道的所述颜色分量值，其中每组经过垂直填充后的所有通道的所述颜色分量值高度依次递增预设值；

对所述n组经过垂直填充后的所有通道的所述颜色分量值进行垂直放大处理，得到n-1组所有通道的所述颜色分量值；

将所述n-1组所有通道的所述颜色分量值还原为第二多通道图像；

将所述第二多通道图像转化为RGB图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述分别对所有通道的所述颜色分量值进行水平处理包括：

分别对所有通道的所述颜色分量值进行水平填充；

对进行水平填充后的所有通道的所述颜色分量值进行水平放大处理。

3.根据权利要求2所述的图像处理方法，其特征在于，所述对所有通道的所述颜色分量值进行垂直放大处理或水平放大处理采用像素直接复制放大、线性插值放大、双三次插值放大或卷积网路放大中的一种。

4.根据权利要求2所述的图像处理方法，其特征在于，所述分别对所有通道的所述颜色分量值进行水平填充或垂直填充采用定值填充、延伸填充或镜像填充中的一种。

5.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第二多通道图像转化为RGB图像之后进一步包括：

对所述RGB图像进行校正调整。

6.一种图像处理装置，其特征在于，所述图像处理装置包括：

第一获取模块，用于获取待处理的第一多通道图像；

第二获取模块，用于获取所述第一多通道图像每一像素的所有通道的颜色分量值；

水平处理模块，用于分别对所有通道的所述颜色分量值进行水平处理；

垂直处理模块，用于在预先设置的缓存区上设置用于将所述缓存区分为第一部分及第二部分的缓存起始点，并对所述第二部分进行垂直填充，以实现对经过水平处理后的所有通道的所述颜色分量值的垂直填充，并分别获取n组经过垂直填充后的所有通道的所述颜色分量值，其中每组经过垂直填充后的所有通道的所述颜色分量值高度依次递增预设值，对所述n组经过垂直填充后的所有通道的所述颜色分量值进行垂直放大处理，得到n-1组所有通道的所述颜色分量值；

还原模块，用于将所述n-1组所有通道的所述颜色分量值还原为第二多通道图像；

转换模块，用于将所述第二多通道图像转化为RGB图像。

7.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1-5中任一项所述的图像缩放方法。

Images