CN112017112B - 图像处理方法、装置和系统以及计算机可读存储介质 - Google Patents

Abstract

本发明实施例涉及一种图像处理方法、装置及系统以及计算机可读存储介质。所述图像处理方法例如包括：接收输入图像；对输入图像进行第一方向缩放处理以得到第一缩放图像，其中第一方向缩放处理包括：对在第二方向上连续相邻的N组像素点分别进行缩放处理以同步得到第一缩放图像在所述第二方向上的N个连续相邻像素点；以及对第一缩放图像进行第二方向缩放处理以得到第二缩放图像，其中第二方向缩放处理包括：基于第一缩放图像在所述第二方向上连续相邻的多个像素点进行缩放处理以同步得到第二缩放图像在所述第二方向上的M个连续相邻像素点。本发明实施例可以克服高分辨率图像处理过程中硬件资源占用多、图像存在拼接缝等问题。

Description

图像处理方法、装置和系统以及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、一种图像处理装置、一种图像处理系统以及一种计算机可读存储介质。

背景技术

随着计算机的计算能力和存储能力的飞速发展，固定尺寸的屏幕显示技术和单一来源的视频内容已经不能再满足日益增长的海量信息显示需求。信息可视化作为信息化建设中的重要组成部分，多通道超高分辨率拼接方法实现多路视频输入各自经缩放(scaling)之后、叠加并显示在一个由“N屏幕*M屏幕”组成的电视显示墙上，其在物联网、智能交通网、智能电网以及数字化城市建设等领域中的需求越来越大。

Scaler(缩放器)是广泛应用于显示系统中的缩放引擎，缩放实际上就是改变图像的水平和/或垂直分辨率，以使视频内容适合于显示屏分辨率，得以正常显示。图像缩放的算法很多，目前缩放器中普遍采用内插算法，常用的内插算法包括最邻近内插(NearestNeighbor Interpolation)算法、双线性内插(Bi2linear Interpolation)算法、双立方内插(Bi2cubic Interpola2tion)算法。然而，现有的缩放器设计方案都是一个缩放处理通道对应一个缩放处理核(Scaler core)，对于高分辨图像缩放，都是使用拼接缩放。图像拼接缩放有很多问题无法避免，比如硬件资源占用多、图像存在拼接缝、图像有高频混叠现象，同时缩放后的图像存在边缘锯齿现象、拼接系统控制复杂、不利于系统开发。

发明内容

因此，为克服现有技术的缺陷和不足，本发明实施例提出一种图像处理方法、一种图像处理装置、一种图像处理系统以及一种计算机可读存储介质。

一方面，本发明实施例提出的一种图像处理方法，包括：

接收步骤：接收输入图像；第一缩放步骤：对所述输入图像进行第一方向缩放处理以得到第一缩放图像，其中所述第一方向缩放处理包括：对在第二方向上连续相邻的N组像素点分别进行缩放处理以同步得到所述第一缩放图像在所述第二方向上的N个连续相邻像素点，且每组像素点包括所述输入图像沿第一方向排列的多个像素点，所述第一方向与所述第二方向相互垂直，N为大于1的正整数；以及第二缩放步骤：对所述第一缩放图像进行第二方向缩放处理以得到第二缩放图像，其中所述第二方向缩放处理包括：基于所述第一缩放图像在所述第二方向上连续相邻的多个像素点进行缩放处理以同步得到所述第二缩放图像在所述第二方向上的M个连续相邻像素点，M为大于1的正整数。

在本发明的一个实施例中，所述图像处理方法还包括：缓存步骤：在M个缓存中分别同步缓存所述M个连续相邻像素点。

在本发明的一个实施例中，所述第一方向为像素列方向，所述第二方向为像素行方向，所述M个缓存分别为行缓存，所述第一方向缩放处理和所述第二方向缩放处理在150MHz或300MHz时钟频率下进行。

在本发明的一个实施例中，所述图像处理方法还包括：图像边缘增强步骤：对所述第二缩放图像的多个连续相邻像素点分别同步进行图像边缘增强处理，以得到目标图像。

另一方面，本发明实施例提出的一种图像处理装置，包括：接收模块，用于接收输入图像；多个第一缩放处理核，用于对所述输入图像进行第一方向缩放处理以得到第一缩放图像，其中所述第一方向缩放处理包括：由所述多个第一缩放处理核对在第二方向上连续相邻的N组像素点分别进行缩放处理以同步得到所述第一缩放图像在所述第二方向上的N个连续相邻像素点，且每组像素点包括所述输入图像沿第一方向排列的多个像素点，所述第一方向与所述第二方向相互垂直，N为大于1的正整数；以及多个第二缩放处理核，用于对所述第一缩放图像进行第二方向缩放处理以得到第二缩放图像，其中所述第二方向缩放处理包括：由所述多个第二缩放处理核基于所述第一缩放图像在所述第二方向上连续相邻的多个像素点进行缩放处理以分别同步得到所述第二缩放图像在所述第二方向上的M个连续相邻像素点，M为大于1的正整数。

在本发明的一个实施例中，所述图像处理装置还包括：多个缓存，用于分别同步缓存所述M个连续相邻像素点。

在本发明的一个实施例中，所述第一方向为像素列方向，所述第二方向为像素行方向，所述M个缓存分别为行缓存，所述第一方向缩放处理和所述第二方向缩放处理在150MHz或300MHz时钟频率下进行。

在本发明的一个实施例中，所述图像处理装置还包括：多个图像边缘增强处理核，用于对所述第二缩放图像的多个连续相邻像素点分别同步进行图像边缘增强处理，以得到目标图像。

再一方面，本发明实施例提出的一种图像处理系统，包括：处理器和存储器；其中所述存储器存储由所述处理器执行的指令，且所述处理器用于执行所述指令以实现前述任意一种图像处理方法。

又一方面，本发明实施例提出的一种计算机可读存储介质，其为非易失性存储器且存储有程序代码，当所述程序代码被计算机执行时实现前述任意一种图像处理方法。

由上可知，本发明上述技术特征可以具有如下一个或多个有益效果：通过系统内部设置多个第一缩放处理核和多个第二缩放处理核、甚至多个图像边缘增强处理核，可以进行资源分享共用以减少硬件资源占用，避免图像存在拼接缝，甚至改善图像高频混叠现象以及图像存在的边缘锯齿现象。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例的图像处理方法的一种实施方法的流程图。

图2为本发明第一实施例的图像处理方法的另一实施方式的流程图。

图3为本发明第一实施例的图像处理方法的再一实施方式的流程图。

图4A为本发明第一实施例的图像处理方法中垂直方向缩放步骤数据处理框架示意图。

图4B为本发明第一实施例的图像处理方法中水平方向缩放步骤数据处理框架示意图。

图4C为本发明第一实施例的图像处理方法中图像边缘增强步骤数据处理框架示意图。

图5为本发明第一实施例的图像处理装置的一种实施方法的流程图。

图6为本发明第一实施例的图像处理装置的另一实施方式的流程图。

图7为本发明第一实施例的图像处理装置的再一实施方式的流程图。

图8为本发明第三实施例的一种图像处理系统的结构示意图。

图9为本发明第四实施例的一种计算机可读存储介质的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

【第一实施例】

如图1所示，本发明第一实施例提供的一种图像处理方法，包括：

S11，接收步骤：接收输入图像；

S13，第一缩放步骤：对所述输入图像进行第一方向缩放处理以得到第一缩放图像，其中所述第一方向缩放处理包括：对在第二方向上连续相邻的N组像素点分别进行缩放处理以同步得到所述第一缩放图像在所述第二方向上的N个连续相邻像素点，且每组像素点包括所述输入图像沿第一方向排列的多个像素点，所述第一方向与所述第二方向相互垂直，N为大于1的正整数；以及

S15，第二缩放步骤：对所述第一缩放图像进行第二方向缩放处理以得到第二缩放图像，其中所述第二方向缩放处理包括：基于所述第一缩放图像在所述第二方向上连续相邻的多个像素点进行缩放处理以同步得到所述第二缩放图像在所述第二方向上的M个连续相邻像素点，M为大于1的正整数。

如图2所示，本实施例的图像处理方法还包括：

S17，缓存步骤：在M个缓存中分别同步缓存所述M个连续相邻像素点。

如图3所示，本实施例的图像处理方法进一步包括：

S19，图像边缘增强步骤：对所述第二缩放图像的多个连续相邻像素点分别同步进行图像边缘增强处理，以得到目标图像。

为便于更清楚地理解本实施例，下面将结合图4A、图4B和图4C对本实施例的图像处理方法的具体实施方式进行详细说明。

具体地，本实施方式为了处理同步4K视频图像(例如分辨率为3840*2160或4096*2160)输入输出，避免了现有的4K视频图像处理方案的拼接技术，降低硬件资源占用和高速系统时钟。本实施方式采用多核处理方式，同时计算多个像素点，并同时将水平和垂直两个方向缩放分开处理，降低了系统设计的难度。本实施方式主要分为三个模块，垂直缩放模块(Vertical_scaler)、水平缩放模块(Horizontal_scaler)和图像边缘增强模块(Sharpness)；其中Vertical_scaler负责图像边缘检测、垂直方向缩放，Horizontal_scaler负责图像水平方向缩放，Sharpness负责图像边缘增强。

(1)垂直缩放模块数据处理框架如图4A所示。垂直缩放模块一个时钟周期例如处理同一像素行连续相邻四个像素点比如IN_f(1)至IN_f(4)或者IN_f(n-3)至IN_f(n)，多个像素行比如像素行1至像素行4中位于同一像素列的多个像素点(构成一组像素点)输入到多个垂直缩放处理核V_scaler1至V_scaler4之一。各个垂直缩放处理核V_scaler1至V_scaler4分别同步计算出一个像素点，垂直缩放处理核V_scaler1只计算输出像素行中第1个，...，第n-3个像素点比如TEMP_f(1)，...，TEMP_f(n-3)；垂直缩放处理核V_scaler2只计算输出像素行中第2个，...，第n-2个像素点比如TEMP_f(2)，...，TEMP_f(n-2)；垂直缩放处理核V_scaler3只计算输出像素行中第3个，...，第n-1个像素点比如TEMP_f(3)，...，TEMP_f(n-1)；以及垂直缩放处理核V_scaler4只计算输出像素行中第4个，...，第n个像素点比如TEMP_f(4)，...，TEMP_f(n)。如果系统运行时钟频率是150MHz，则垂直方向缩放使用的时钟频率为150MHz，使用四个垂直缩放处理核V_scaler1至V_scaler4就可以实现4K视频图像的垂直方向缩放。如果要想进一步提升4K视频图像的处理效率，在系统运行时钟为150MHz的情形下，垂直缩放模块内部架构在图4A所示基础上可再多增加四个垂直缩放处理核(也即八个垂直缩放处理核)和多一行缓存，这样可以将处理效率提升到一倍，也即垂直缩放模块一次计算输出两个像素行各四个像素点；系统输出延时四个像素行输入时间。

(2)水平缩放模块数据处理框架如图4B所示。水平缩放模块内部包含四个水平缩放处理核H_scaler1至H_scaler4，同时做水平缩放处理；水平缩放处理核H_scaler1只计算输出像素行的第1个，...，第n-3个像素点比如OUT_f(1)，…，OUT_f(n-3)；水平缩放处理核H_scaler2只计算输出像素行的第2个，...，第n-2个像素点比如OUT_f(2)，…，OUT_f(n-2)；水平缩放处理核H_scaler3只计算输出像素行的第3个，...，第n-1个像素点比如OUT_f(3)，…，OUT_f(n-1)；以及水平缩放处理核H_scaler4只计算输出像素行的第4个，...，第n个像素点比如OUT_f(4)，…，OUT_f(n)。每增加四个水平缩放处理核，则在像素列方向上的处理效率提升一倍，这样做可以提高像素点处理的能力，同时计算结果输出到对应的行缓存(LineBuffer)例如行缓存1至行缓存4中。

(3)图像边缘增强模块数据处理框架如图4C所示。在图4C中，在读取T2周期的像素点数据时，才能由四个图像边缘增强处理核Fir_core1至Fir_core4同步计算T1周期的四个像素点，其例如采用图4C所示的3*3滤波模板且会使用到T0至T2周期的像素点数据；当前图像边缘增强像素点(或称当前锐化像素点)为t10、t11、t12、t13。图像边缘检测也是这种滤波方式。此处值得一提的是，图4C中的各个像素点t00-t03、t10-t13和t20-t23为执行前述垂直缩放处理和水平缩放处理后得到的图像像素点。

综上所述，本实施方式中，一套图像处理系统内部可以嵌套多个垂直缩放处理核和多个水平缩放处理核、甚至多个图像边缘增强处理核，对于图像处理系统的资源是分享共用的，这样可以减少资源占用，避免现有的图像拼接缝问题。系统处理图像性能为150Mhz下的带宽12G/s(4K*2K@60Hz)，300Mhz下的带宽24G/s(8K*2K@60Hz)；系统内部的每个数据处理例如由多个例如四个处理核同时进行。因此本实施方式降低了对硬件的使用要求(例如降低了时钟频率)，降低了硬件的成本。再者，图像边缘增强可以改善图像高频混叠现象以及图像存在的边缘锯齿现象。

另外，值得一提的是，对于垂直缩放模块同步使用的缩放处理核数量、水平缩放模块同步使用的缩放处理核数量、图像边缘增强处理同步使用的处理核数量可以根据实际需要弹性调整，例如垂直缩放模块可以采用八个垂直缩放处理核分别同步对连续相邻的八个像素列进行垂直缩放而不限于图4A所示的采用四个垂直缩放处理核，水平缩放模块可以采用八个水平缩放处理核分别同步计算输出连续相邻的八个像素点而不限于图4B所示的采用四个水平缩放处理核，等等。此外，本实施方式是以先进行垂直方向缩放再进行水平方向缩放来进行举例说明，但本发明并不以此为限，也可以先进行水平方向缩放再进行垂直方向缩放。

【第二实施例】

如图5所示，本发明第二实施例提供的一种图像处理装置50，包括：接收模块51、多个第一缩放处理核53和多个第二缩放处理核55。

其中，接收模块51用于接收输入图像。多个第一缩放处理核53用于对所述输入图像进行第一方向缩放处理以得到第一缩放图像，其中所述第一方向缩放处理包括：由所述多个第一缩放处理核对在第二方向上连续相邻的N组像素点分别进行缩放处理以同步得到所述第一缩放图像在所述第二方向上的N个连续相邻像素点，且每组像素点包括所述输入图像沿第一方向排列的多个像素点，所述第一方向与所述第二方向相互垂直，N为大于1的正整数。多个第二缩放处理核55用于对所述第一缩放图像进行第二方向缩放处理以得到第二缩放图像，其中所述第二方向缩放处理包括：由所述多个第二缩放处理核基于所述第一缩放图像在所述第二方向上连续相邻的多个像素点进行缩放处理以分别同步得到所述第二缩放图像在所述第二方向上的M个连续相邻像素点，M为大于1的正整数。

至于接收模块51、多个第一缩放处理核53和多个第二缩放处理核55的具体功能细节可参考前述第一实施例中的详细描述，在此不再赘述。此外，值得一提的是，接收模块51、多个第一缩放处理核53和多个第二缩放处理核55例如整合于单一芯片中例如可编程逻辑器件，像FPGA(Field Programmable Gate Array，现场可编程门阵列)芯片等。

如图6所示，本实施例的图像处理装置例如还包括：多个缓存57，用于分别同步缓存所述M个连续相邻像素点。又或者，如图7所示，进一步包括：多个图像边缘增强处理核59，用于对所述第二缩放图像的多个连续相邻像素点分别同步进行图像边缘增强处理，以得到目标图像。至于接收模块51、多个第一缩放处理核53、多个第二缩放处理核55和多个缓存57甚至多个图像边缘增强处理核59的具体功能细节可参考前述第一实施例中的详细描述，在此不再赘述。此外，值得一提的是，接收模块51、多个第一缩放处理核53、多个第二缩放处理核55和多个缓存57甚至多个图像边缘增强处理核59例如整合于单一芯片中例如可编程逻辑器件，像FPGA芯片等。

【第三实施例】

如图8所示，本发明第三实施例提供的一种图像处理系统80，包括：处理器81和存储器83；其中，存储器83存储由处理器81执行的指令，且所述指令例如使得处理器81执行操作以进行前述第一实施例所述的图像处理方法。

【第四实施例】

如图9所示，本发明第四实施例提供的一种计算机可读存储介质90，其为非易失性存储器且存储有程序代码，当所述程序代码被包含一个或多个处理器的计算机执行时，例如使得所述计算机执行前述第一实施例所述的图像处理方法。

另外，可以理解的是，前述各个实施例仅为本发明的示例性说明，在技术特征不冲突、结构不矛盾、不违背本发明的发明目的前提下，各个实施例的技术方案可以任意组合、搭配使用。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和/或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元/模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元/模块的形式实现。

上述以软件功能单元/模块的形式实现的集成的单元/模块，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)的一个或多个处理器执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

接收步骤：接收输入图像；

第一缩放步骤：对所述输入图像进行第一方向缩放处理以得到第一缩放图像，其中所述第一方向缩放处理包括：

对在第二方向上连续相邻的N组像素点分别进行缩放处理以同步得到所述第一缩放图像在所述第二方向上的N个连续相邻像素点，且每组像素点包括所述输入图像沿第一方向排列的多个像素点，所述第一方向与所述第二方向相互垂直，N为大于1的正整数；以及第二缩放步骤：对所述第一缩放图像进行第二方向缩放处理以得到第二缩放图像，其中所述第二方向缩放处理包括：

基于所述第一缩放图像在所述第二方向上连续相邻的多个像素点进行缩放处理以同步得到所述第二缩放图像在所述第二方向上的M个连续相邻像素点，M为大于1的正整数。

2.如权利要求1所述的图像处理方法，其特征在于，还包括：

缓存步骤：在M个缓存中分别同步缓存所述M个连续相邻像素点。

3.如权利要求2所述的图像处理方法，其特征在于，所述第一方向为像素列方向，所述第二方向为像素行方向，所述M个缓存分别为行缓存，所述第一方向缩放处理和所述第二方向缩放处理在150MHz或300MHz时钟频率下进行。

4.如权利要求1至3任意一项所述的图像处理方法，其特征在于，还包括：

图像边缘增强步骤：对所述第二缩放图像的多个连续相邻像素点分别同步进行图像边缘增强处理，以得到目标图像。

5.一种图像处理装置，其特征在于，包括：

接收模块，用于接收输入图像；

多个第一缩放处理核，用于对所述输入图像进行第一方向缩放处理以得到第一缩放图像，其中所述第一方向缩放处理包括：

由所述多个第一缩放处理核对在第二方向上连续相邻的N组像素点分别进行缩放处理以同步得到所述第一缩放图像在所述第二方向上的N个连续相邻像素点，且每组像素点包括所述输入图像沿第一方向排列的多个像素点，所述第一方向与所述第二方向相互垂直，N为大于1的正整数；以及

多个第二缩放处理核，用于对所述第一缩放图像进行第二方向缩放处理以得到第二缩放图像，其中所述第二方向缩放处理包括：

由所述多个第二缩放处理核基于所述第一缩放图像在所述第二方向上连续相邻的多个像素点进行缩放处理以分别同步得到所述第二缩放图像在所述第二方向上的M个连续相邻像素点，M为大于1的正整数。

6.如权利要求5所述的图像处理装置，其特征在于，还包括：

多个缓存，用于在M个缓存中分别同步缓存所述M个连续相邻像素点。

7.如权利要求6所述的图像处理装置，其特征在于，所述第一方向为像素列方向，所述第二方向为像素行方向，所述M个缓存分别为行缓存，所述第一方向缩放处理和所述第二方向缩放处理在150MHz或300MHz时钟频率下进行。

8.如权利要求5至7任意一项所述的图像处理装置，其特征在于，还包括：

多个图像边缘增强处理核，用于对所述第二缩放图像的多个连续相邻像素点分别同步进行图像边缘增强处理，以得到目标图像。

9.一种图像处理系统，其特征在于，包括：处理器和存储器；其中所述存储器存储由所述处理器执行的指令，且所述处理器用于执行所述指令以实现如权利要求1至4任意一项所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质为非易失性存储器且存储有程序代码，当所述程序代码被计算机执行时实现如权利要求1至4中任一所述的图像处理方法。