CN107027000B - 视频处理器、显示系统以及视频图像处理方法 - Google Patents

Abstract

本发明实施例公开了一种视频处理器，其设置多个缩放器来对输入的源图像进行图像缩放处理，以生成多个缩放处理后图像，供输出进行多画面显示。此外，本发明实施例还公开了相关于所述视频处理器的显示系统和视频图像处理方法。本发明实施例的多通道缩放处理方案可以降低缩放器的系统运行时钟速率，使系统稳定工作在视频时钟周期之内。

Description

视频处理器、显示系统以及视频图像处理方法

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频处理器、一种带图像缩放功能的显示系统以及一种视频图像处理方法。

背景技术

Scaler(缩放器)是广泛应用于显示系统中的缩放引擎，缩放实际上就是改变图像的水平和垂直分辨率，以使视频内容适合于显示屏分辨率，得以正常完整显示。

目前，现有技术是通过一个缩放器对同一个源图像进行单通道缩放、然后将缩放后的图像显示在目标显示屏上；例如图1所示的单缩放通道显示系统，其经由一个缩放器放大后的图像送至三个独立控制的1080P分辨率的显示屏进行多画面拼接显示。但是，缩放器的系统运行时钟速率是视频时钟速率乘以显示屏个数，如此一来当输出总分辨率超过1个标准1080P时，缩放器的运行时钟速率是1080P视频时钟速率(最高165MHz)的多倍，使系统难以满足缩放器的运行时钟的速率要求，从而有可能导致系统运行不正常，无法稳定工作。

发明内容

因此，本发明实施例提出一种视频处理器、一种显示系统以及一种视频图像处理方法，以解决缩放器的运行时钟速率要求过高而导致系统无法稳定工作的问题。

一方面，提供了一种视频处理器包括：至少一个视频输入接口、多个视频输出接口、以及多个缩放器。所述多个缩放器用于对从所述至少一个视频输入接口输入的源图像进行图像缩放处理以生成多个缩放处理后图像，所述多个视频输出接口分别用于将所述多个缩放器生成的多个缩放处理后图像输出。

再一方面，提供了一种显示系统，所述显示系统包括视频处理器和拼接式显示屏；其中，所述视频处理器包括多个视频输入接口、多个视频输出接口和多个缩放器，所述多个缩放器用于对从所述多个视频输入接口中的一部分或全部视频输入接口输入的源图像进行图像缩放处理，以生成多个缩放处理后图像；所述多个视频输出接口分别连接所述拼接式显示屏，用于将所述多个缩放处理后图像输出至所述拼接式显示屏进行显示。

另一方面，提供了一种视频图像处理方法，包括：接收输入的第一路源图像；将所述第一路源图像分割成至少两路图像；将所述至少两路图像分别发送给至少两个第一缩放器进行图像缩放处理，生成至少两路第一缩放处理后图像；以及将所述至少两路第一缩放处理后图像分别发送到至少两个第一显示屏上进行多画面拼接显示。

又一方面，提供了一种视频图像处理方法，包括：视频处理器接收外部输入的至少一路源图像，其中所述视频处理器配置有多个缩放器且所述多个缩放器整合于同一个可编程逻辑器件内；利用所述多个缩放器对所述至少一路源图像进行图像缩放处理以分别生成多路缩放处理后图像；以及输出所述多路缩放处理后图像分别至多个显示屏进行显示。

上述技术方案中的一个技术方案具有如下优点或有益效果：(a)多个缩放器提供的多通道缩放处理方案可以降低缩放器的运行时钟速率，使系统稳定工作在视频时钟周期之内；以及(b)多个画面可以灵活输出，方便系统拓展。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中的一种单缩放通道显示系统的架构示意图；

图2A为本发明实施例的一种多缩放通道显示系统的架构示意图；

图2B为本发明实施例的再一种多缩放通道显示系统的架构示意图；

图3为本发明实施例的另一种多缩放通道显示系统的架构示意图；

图4为本发明实施例的又一种多缩放通道显示系统的架构示意图；

图5为本发明实施例的一种带有多缩放通道视频处理器的显示系统的架构示意图；

图6为图像水平方向缩放时进行像素插值的原理示意图；

图7为双线性插值原理示意图；

图8为图像垂直方向缩放时进行像素插值的原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的目的在于提出的一种多缩放通道显示系统，与现有技术相比，采用这种架构的系统设计，可解决系统工作的稳定性和降低硬件资源的消耗，以及更加灵活的拓展多个显示屏无缝拼接显示放大和缩小图像，极大地增强系统对视频图像的处理能力和适用范围。

具体地，本发明实施例提出的一种方案可实现多路图像输入各自的缩放器经缩放之后，拼接显示在一个由“N显示屏*M显示屏”组成的拼接式显示屏例如电视墙上。图2A和图2B所示即为此方案的典型应用，例如将源图像任意分割(均分或非均分)为3路图像后分别输入到相对应的缩放器中；每一路缩放器可以把分割后的任意一路图像缩放为任意大小并显示在由3个显示屏组成的拼接式显示屏中的任意显示屏上，例如图2A所示，经缩放器1、缩放器2和缩放器3分别进行缩放后的图像分别显示在显示屏1、显示屏2和显示屏3上；又或者例如图2B所示，经缩放器1、缩放器2和缩放器3分别进行缩放后的图像分别显示在显示屏3、显示屏1和显示屏2上。再者，每个缩放器通常会预设有输入分辨率大小、显示位置(例如对应哪个显示屏)、缩放比例(也即放大或缩小比例)、起始插值相位、输出分辨率大小等参数，缩放器1、缩放器2和缩放器3分别放大源图像的指定部分并将各自放大部分显示在相对应的显示屏(也即显示屏1、显示屏2或1显示屏3中的对应者)上。另外，值得一提的是，由于本实施例采用多路缩放器(也即多缩放通道)，因此可以进行显示屏的灵活扩展(例如图2A和图2B所示)。

请参见图3，输入的源图像可以是多路，每个缩放器可以单独使用并显示单独的源图像例如视频图像。具体而言，在图3中，源图像1经过缩放器1进行缩放后显示在显示屏1上，源图像2经过缩放器2进行缩放后显示在显示屏2上，以及源图像3经过缩放器3进行缩放后显示在显示屏3上。当然可以理解的是，缩放器1、缩放器2及缩放器3与相互独立控制的显示屏1、显示屏2及显示屏3之间的对应关系可以任意指定。

此外，请参见图4，输入的源图像可以是多路且多路缩放器也可以分组设置。具体而言，在图4中，其将源图像1进行分割后分别输入到缩放器1和缩放器2中，由缩放器1和缩放器2分别对分割的图像进行缩放处理并分别显示在显示屏1和显示屏2上；以及其将源图像2输入到缩放器3中进行缩放处理后显示在显示屏3上。

综合图2A、图2B、图3和图4可知：本发明前述实施例采用的多路缩放器(例如缩放器1、缩放器2和缩放器3)可以对同一个源图像的各个指定部分分别进行图像缩放处理，可以分别对不同源图像进行图像缩放处理，又或者可以分组设置且不同组缩放器分别对不同源图像进行图像缩放处理而同一组缩放器中的各个缩放器处理同一个源图像；简而言之，输入源图像和缩放器之间可以是一对多关系，也可以使多对多关系。此外，缩放器和显示屏(例如显示屏1、显示屏2、显示屏3)之间为多对多关系，甚至还可以是每一路缩放器对应多个显示屏从而实现显示屏显示画面来源的切换。

再者，图5为本发明实施例的一种带有多缩放通道视频处理器的显示系统的架构示意图；在图5中，显示系统包括多缩放通道视频处理器和拼接式显示屏，其中多缩放通道视频处理器包括：多个视频输入接口、可编程逻辑器件和多个视频输出接口；多个视频输入接口例如包括视频输入接口1、视频输入接口2及视频输入接口3以分别用于接收输入的源图像(例如前述的源图像1、源图像2及源图像3)且电连接可编程逻辑器件；可编程逻辑器件配置有多路缩放器例如前述的缩放器1、缩放器2及缩放器3且其可以是现场可编程门阵列(Field Programmable Gate Array，FPGA)器件；多个视频输出接口例如包括视频输出接口1、视频输出接口2及视频输出接口3分别电连接拼接式显示屏中的各个显示屏1、显示屏2及显示屏3，以用于输出各个缩放器1、缩放器2及缩放器3生成的缩放处理后图像至拼接式显示屏中的显示屏1、显示屏2及显示屏3进行显示。再者，各个显示屏1、显示屏2和显示屏3均可以是LED显示屏或者其他显示屏例如LCD显示屏；当其为LED显示屏时，其典型地包括依次信号连接的发送卡、接收卡和LED屏体。

优选地，图5中的多缩放通道视频处理器还包括：多个多路选择器例如多路选择器1、多路选择器2及多路选择器3，以及用于控制各个多路选择器的控制器例如MCU(图5中未绘出)；从而缩放器1、缩放器2及缩放器3中的每一者通过一个多路选择器电连接至多个视频输出接口例如视频输出接口1、视频输出接口2及视频输出接口3。如此一来，通过MCU对各个多路选择器的控制，可以实现各个显示屏例如显示屏1、显示屏2及显示屏3的显示画面来源，例如可以实现将缩放器与显示屏之间的对应关系由图2A所示切换成如图2B所示，又或者可以将图4所示的缩放器2对应显示屏2及缩放器3对应显示屏3切换成缩放器2对应显示屏3且缩放器3对应显示屏2等等，从而实现多个画面可以灵活输出。

另外，值得说明的是，各个缩放器1、缩放器2及缩放器3并不限于图5所示整合于同一个可编程逻辑器件内，其也可以是相互独立的器件。

下面将结合图6、图7和图8详细说明本发明实施例实现多画面无缝拼接的原理。

(1)图像水平方向缩放

例如水平方向计算一个4倍放大(输入5个像素、输出17个像素)的插值位置，插值步长＝(Input_Resolution-1)/(Output_Resolution-1)；其中，Input_Resolution＝5，Output_Resolution＝17，则插值步长＝4/16＝0.25。

又或者例如水平方向计算一个缩小的插值位置，插值步长＝(Input_Resolution-1)/(Output_Resolution-1)，当插值步长＝1.5，即为：输入4个像素，则输出3个像素，如图6所示。

由图像水平方向缩放可知：插值位置的整数部分意味着需要读取新的像素，小数部分用来做双线性(Bilinear)插值的权值；如图7所示，插入的像素＝(B-A)*alpha+A，其中A、B指输入的相邻两个像素，若alpha(权值)为0，则插入的像素为A，参与插值运算的alpha永远小于1。

(2)图像垂直方向缩放：

垂直方向缩放也即垂直方向插值与水平方向插值类似，不同之处在于是从行缓存中同时读出上下两行像素，然后计算出新插值行的像素，直至算出此行的所有数据。如图8所示图像垂直方向放大的示意图，输入2个像素及输出5个像素的插值步长＝0.25，从而基于相邻两个原始像素行例如原始行0和原始行1进行插值放大后得到五个插值行例如插值行0～插值行4作为插值结果输出。

结合前述图像水平方向缩放原理，以双线性插值算法在水平方向放大的情况为例，假定输入源的水平方向上有效像素为N个、放大后的像素数为(N1+N2)个、图像缩放处理由两个缩放器共同完成、其中第一个缩放器进行缩放处理后生成N1个像素以及第二个缩放器进行缩放处理后生成N2个像素，两个缩放器需要的原始像素数与生成的新像素数均不同，但缩放比例一致，均为H_Ratio＝N/(N1+N2)。

其中，第一个缩放器所需要的输入像素数和N1成正比，若为N3，生成的像素数为N1个；如果按照现有的缩放器使用方法，会出现由于输入图像宽度为N3、输出图像宽度为N3，导致缩放比例为1的情况出现。而实际上第一个缩放器的缩放比并不等于1，而是上面计算出来的H_Ratio＝N/(N1+N2)。由于第一个新像素可以由原始像素直接替代产生，因此第一个缩放器的起始插值相位为0，H_Ratio为N/(N1+N2)。

第二个缩放器所需要的输入像素数和N2成正比，若为N4，生成的像素数为N2个。按照现有的缩放器使用方法，会出现输入图像宽度为N4、输出图像高度为N2，H_Ratio＝N4/N2的情况发生。实际上第二缩放器产生的第一个像素应该由原始像素第N3和原始像素第(N3+1)共同产生，起始插值相位不为0，且H_Ratio与第一个缩放器相同，仍为N/(N1+N2)。

由于涉及到分屏显示，因此本发明实施例通过调节每个缩放器的插值起始相位，这样就可以消除拼缝的存在，因此每个缩放器应支持任意插值起始相位，以此保证多个显示屏拼接显示起来画面的一致性。

类似地，在垂直方向当两个缩放器协同工作的时候，可能会出现垂直方向插值起始相位不为0的情况。简而言之，当任意方向(无论垂直方向还是水平方向)，有超过两个以上的缩放器协同工作(例如对同一个源图像的不同部分进行缩放)时，可以为每个缩放器设置正确的插值步进和插值起始相位以实现图像缩放，进而使得各个缩放器能够无缝地协同工作，消除拼缝的存在。

综上所述，本发明前述各个实施例可以达成以下一个或多个有益效果：(a)多通道缩放处理方案可以降低缩放器的系统运行时钟速率，使系统稳定工作在视频时钟周期之内例如系统运行时钟速率Sys_clk＝视频时钟速率video_clk，最高时钟频率不会超过165MHz；(b)通过设置正确的插值步进和插值起始相位，多个缩放器能够无缝地协同工作，消除拼缝的存在；以及(c)多个画面可以灵活输出，方便系统拓展。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种视频处理器，包括至少一个视频输入接口和多个视频输出接口，其特征在于，所述视频处理器还包括多个缩放器和多个多路选择器，所述多个缩放器用于按照相同的缩放比例和不同的插值起始相位对从所述至少一个视频输入接口输入的源图像进行图像缩放处理以生成多个缩放处理后图像，所述多个缩放器中的每一者通过所述多个多路选择器电连接至所述多个视频输出接口使得所述多个缩放处理后图像中的每一者经由所述多个视频输出接口中的一者或多者输出。

2.如权利要求1所述的视频处理器，其特征在于，所述视频处理器包括可编程逻辑器件，所述多个缩放器整合在同一个所述可编程逻辑器件内。

3.如权利要求2所述的视频处理器，其特征在于，所述可编程逻辑器件为现场可编程门阵列器件，所述多个缩放器中的至少两个缩放器作为一组缩放器用于对同一个源图像的不同部分进行缩放处理。

4.一种显示系统，其特征在于，所述显示系统包括视频处理器和拼接式显示屏；其中，

所述视频处理器包括多个视频输入接口、多个视频输出接口、多个缩放器和多个多路选择器，所述多个缩放器用于按照相同的缩放比例和不同的插值起始相位对从所述多个视频输入接口中的一部分或全部视频输入接口输入的源图像进行图像缩放处理，以生成多个缩放处理后图像；所述多个缩放器中的每一者通过所述多个多路选择器电连接至所述多个视频输出接口使得所述多个缩放处理后图像中的每一者经由所述多个视频输出接口中的一者或多者输出，所述多个视频输出接口分别连接所述拼接式显示屏，用于将从所述多个视频输出接口输出的图像输出至所述拼接式显示屏进行显示。

5.如权利要求4所述的显示系统，其特征在于，所述视频处理器包括可编程逻辑器件，所述多个缩放器整合在同一个所述可编程逻辑器件内。

6.一种视频图像处理方法，其特征在于，包括：

接收输入的第一路源图像；

将所述第一路源图像分割成至少两路图像；

将所述至少两路图像分别发送给至少两个第一缩放器进行图像缩放处理，生成至少两路第一缩放处理后图像；

将所述至少两路第一缩放处理后图像中的每一者发送到至少两个第一显示屏中的一者或多者上进行多画面拼接显示；

其中，

所述将所述至少两路图像分别发送给至少两个第一缩放器进行图像缩放处理，生成至少两路第一缩放处理后图像包括：

所述至少两个第一缩放器按照相同的缩放比例和不同的插值起始相位对所述至少两路图像分别进行图像缩放处理。

7.如权利要求6所述的视频图像处理方法，其特征在于，还包括：

接收输入的第二路源图像；

将所述第二路源图像送至第二缩放器进行图像缩放处理，生成第二缩放处理后图像；

将所述第二缩放处理后图像发送至第二显示屏上进行显示；

其中，所述第二显示屏和所述至少两个第一显示屏拼接在一起作为同一个拼接式显示屏的构成部分。

8.如权利要求7所述的视频图像处理方法，其特征在于，还包括：

切换所述至少两个第一缩放器之一者生成的第一缩放处理后图像送至所述第二显示屏上进行显示。

9.如权利要求6所述的视频图像处理方法，其特征在于，还包括：

切换所述至少两个第一缩放器与所述至少两个第一显示屏之间的对应关系，以改变所述至少两个第一显示屏上各自显示的第一缩放处理后图像的来源。

10.一种视频图像处理方法，其特征在于，包括：

视频处理器接收外部输入的至少一路源图像，其中所述视频处理器配置有多个缩放器且所述多个缩放器整合于同一个可编程逻辑器件内；

利用所述多个缩放器按照相同的缩放比例和不同的插值起始相位对所述至少一路源图像进行图像缩放处理以分别生成多路缩放处理后图像；

多个多路选择器将所述多个缩放处理后图像中的每一者经由所述多个视频输出接口中的一者或多者输出；以及

将从所述多路选择器输出的图像分别至多个显示屏进行显示。

11.如权利要求10所述的视频图像处理方法，其特征在于，还包括：

将所述多个缩放器划分为多组，不同组缩放器对不同的源图像进行图像缩放处理、且同一组缩放器对同一个源图像进行图像缩放处理。