CN107197224A - 视频处理器、视频处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种视频处理器，通过将多个图像颜色参数的叠加运算及色彩空间转换进行简单的矩阵运算放置在可编程逻辑器件外部进行，减少了可编程逻辑器件的资源消耗。本发明实施例还公开了相对应的视频处理方法及装置。

Description

视频处理器、视频处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频处理器、一种视频处理方法以及一种视频处理装置。

背景技术

在图像处理领域，FPGA作为图像处理器已有一段历史。由于FPGA内部资源的限制，当需要做大量高分辨率高速图像处理时，其内部代码需要做大量的优化。

在现有的视频图像处理过程中，由于用户可以改变图像的亮度(Luma)、对比度(Contrast)、饱和度(Saturation)和色相(Hue)等颜色参数，这些颜色参数的叠加在YUV空间易实现，所以FPGA需要将图像由非YUV空间4：4：4格式转换成YUV空间4：4：4格式，再叠加亮度、对比度、饱和度和色相等颜色参数。对于YUV 4：4：4格式只需要进行矩阵运算即可转换为RGB 4：4：4格式，而YUV 4：2：2到YUV 4：4：4格式需要额外的格式转换模块。再者，FPGA后端统一采用RGB色彩空间4：4：4格式处理，所以叠加亮度、对比度、饱和度和色相等颜色参数后的YUV空间图像数据需再次经过色彩空间转换模块转成RGB空间格式输出。

由于现有技术中需要在每一个色彩空间转换模块中做一次矩阵相乘及一次矩阵相加、且存在两次这种矩阵相乘及相加运算，再加上亮度、对比度、饱和度和色相等颜色参数的叠加运算，使得FPGA中的整体计算量偏大，非常占用FPGA的内部资源。

发明内容

本发明的实施例提供一种视频处理器、一种视频处理方法以及一种视频处理装置，解决现有技术中FPGA内部资源占用较大，实现减少FPGA资源消耗的技术效果。

一方面，提供了一种视频处理器，包括微处理器和连接所述微处理器的可编程逻辑器件；所述微处理器用于识别输入视频图像的颜色编码格式产生图像格式参数，根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵，输出所述参数矩阵和所述图像格式参数至所述可编程逻辑器件；所述可编程逻辑器件用于根据所述图像格式参数为所述输入视频图像选择图像处理通道，并将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算，得到目标颜色编码格式视频图像作为输出。

再一方面，提供了一种视频处理方法，包括：识别输入视频图像的颜色编码格式；根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵；根据所述颜色编码格式为所述输入视频图像选择相对应的图像处理通道；以及将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算得到目标颜色编码格式视频图像。

另一方面，提供了一种视频处理装置，包括：识别模块，用于识别输入视频图像的颜色编码格式；矩阵产生模块，用于根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵；通道选择模块，用于根据所述颜色编码格式为所述输入视频图像选择相对应的图像处理通道；以及矩阵运算模块，用于将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算得到目标颜色编码格式视频图像。

上述技术方案中的一个技术方案具有如下优点或有益效果：将多个图像颜色参数的叠加运算及色彩空间转换进行简单的矩阵运算放置在微处理器处理，也即放置在可编程逻辑器件外部进行，因此可以减少可编程逻辑器件的资源消耗。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例中的视频处理器的结构示意图；

图2为本发明第二实施例中的视频处理方法的流程示意图；

图3为本发明第三实施例中的视频处理装置的模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例

如图1所示，本发明第一实施例中提供的一种视频处理器10，包括：微处理器11、可编程逻辑器件13和视频输入电路15。微处理器11连接可编程逻辑器件13和视频输入电路15。

其中，微处理器11用于识别输入视频图像的颜色编码格式产生图像格式参数,根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵,输出所述参数矩阵和所述图像格式参数至可编程逻辑器件13。

可编程逻辑器件13用于根据所述图像格式参数为所述输入视频图像选择图像处理通道,并将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算,得到目标颜色编码格式视频图像作为输出。

视频输入电路15连接可编程逻辑器件13,以向可编程逻辑器件提供所述输入视频图像；此外，微处理器11连接视频输入电路15以识别所述输入视频图像的颜色编码格式。

本实施例中，输入视频图像的颜色编码格式例如是YUV4:4:4、YUV4:2:2或RGB4:4:4，目标颜色编码格式视频图像例如为RGB4:4:4颜色编码格式视频图像；当然目标颜色编码格式视频图像并不限于非YUV颜色编码格式例如RGB4:4:4颜色编码格式视频图像，也可以是YUV颜色编码格式视频图像，以满足不同后端设备的实际需求。所述多个图像颜色参数例如为亮度、对比度、饱和度和色相，视频输入电路15例如包括视频接口例如DVI或HDMI接口等和连接视频接口的视频解码芯片，视频解码芯片在对输入视频图像进行解码处理时会生成一些相关于其颜色编码格式的信息，这些信息可以直接上报给微处理器11或者经由可编程逻辑器件13上报给微处理器11，从而微处理器11可以根据这些上报信息识别输入视频图像的颜色编码格式,并产生图像格式参数，此处的图像格式参数为表征颜色编码格式的参数，以便于可编程逻辑器件区分不同的颜色编码格式。

承上述，更具体地，本实施例是将亮度、对比度、饱和度和色相等颜色参数的叠加运算及色彩空间转换进行简单的矩阵运算放置在微处理器11处理，具体计算过程如下：

其中，为RGB转YUV(或称YCbCr)3×3参数矩阵，为RGB转YUV 3×1参数矩阵；为亮度、对比度、饱和度和色相参数叠加矩阵；为亮度参数矩阵，L为亮度参数值；为对比度参数矩阵，C为对比度参数值；为饱和度参数矩阵，S为饱和度参数值；为色相参数矩阵，H为色相参数值；为YUV转RGB 3×3参数矩阵，为YUV转RGB 3×1参数矩阵；为合成后3×3参数矩阵，为合成后3×1参数矩阵；为YUV色彩空间图像数据；为RGB色彩空间图像数据(未叠加亮度、对比度、饱和度及色相)；为RGB色彩空间图像数据(叠加亮度、对比度、饱和度及色相)。

微处理器11进行简单的矩阵运算之后，得到了两个矩阵和然后将其下发给可编程逻辑器件13。这样，可编程逻辑器件13只需要进行3×3的矩阵相乘及3×1的矩阵相加即可完成对RGB4:4:4输入视频图像的处理并最后以RGB4:4:4格式输出，从而减少了可编程逻辑器件13的资源消耗，尤其是其中的DSP乘法器资源。

另外，值得一提的是，当输入视频图像为YUV4:4:4颜色编码格式或YUV4:2:2颜色编码格式，则微处理器11在产生目标参数矩阵时不将公式(1-1)代入公式(1-2)即可，这样就可以产生对YUV4:4:4格式视频图像进行处理所需的3×3和3×1参数矩阵并最后以RGB4:4:4格式输出。

再者，值得说明的是，以上的输入视频图像为YUV4:4:4、YUV4:2:2或RGB4:4:4仅为举例，并非用来限制本发明，也即输入视频图像也可以是其他由三分量构成的颜色编码格式视频图像；同理，可编程逻辑器件13的输出也并不限于前述提及的非YUV颜色编码格式视频图像例如为RGB4:4:4颜色编码格式视频图像，也可以根据后端设备的实际需要设置为其他目标颜色编码格式视频图像，例如也可以是输出YUV颜色编码格式等由三分量构成的颜色编码格式的视频图像。

第二实施例

如图2所示，本发明第二实施例中提供一种视频处理方法，包括：

步骤S21:识别输入视频图像的颜色编码格式；

步骤S23：根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵；

步骤S25：根据所述颜色编码格式为所述输入视频图像选择相对应的图像处理通道；

步骤S27：将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算得到目标颜色编码格式视频图像。

为便于更清楚地理解本实施例，下面特举具体例子并结合图1对前述步骤S21-S27进行详细描述。

在步骤S21中，可以由微处理器11根据来自于视频输入电路15的颜色编码相关信息识别输入视频图像的颜色编码格式为YUV4:4:4、YUV4:2:2或RGB4:4:4，并产生图像格式参数。

在步骤S23中，可以由微处理器11根据亮度、对比度、饱和度和色相等图像颜色参数产生对应识别出的颜色编码格式的参数矩阵，参数矩阵的产生过程可以参见前述第一实施例中的公式(1-1)和公式(1-2),其例如包括3×3参数矩阵和3×1参数矩阵。此外，可以理解的是，针对不同的颜色编码格式，需要相应地产生不同的参数矩阵；例如：当识别出的颜色编码格式为YUV4:4:4或YUV4:2:2，根据多个图像颜色参数产生第一参数矩阵；以及当识别出的颜色编码格式为RGB4:4:4，根据多个图像颜色参数产生第二参数矩阵。此处的第一参数矩阵和第二参数矩阵例如均包含3×3参数矩阵和3×1参数矩阵，且矩阵中的参数数量相等。

在步骤S25中，可以由可编程逻辑器件13例如FPGA芯片根据所述颜色编码格式为所述输入视频图像选择相对应的图像处理通道；具体可为：获取对应所述颜色编码格式的图像格式参数，以及根据所述图像格式参数为所述输入视频图像选择相对应的图像处理通道；也即针对不同的颜色编码格式，需要选择不同的图像处理通道，例如：当识别出的颜色编码格式为YUV4:4:4或RGB4:4:4，为输入视频图像选择第一图像处理通道；当识别出的颜色编码格式为YUV4:2:2，为输入视频图像选择第二图像处理通道，且在第二图像处理通道上将输入视频图像的颜色编码格式从YUV4:2:2转换成YUV4:4:4。

在步骤S27中，可以由可编程逻辑器件13将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算得到目标颜色编码格式视频图像；本实施例中，所选图像处理通道输出的视频图像为RGB4:4:4或YUV4:4:4,通过使用相对应的参数矩阵进行3×3矩阵相乘和3×1矩阵相加的矩阵运算就可以得到RGB4:4:4格式的目标视频图像。之后，可以由可编程逻辑器件13将矩阵运算后得到的例如RGB4:4:4格式的目标视频图像输出至其外部。

本发明第二实施例通过将亮度、对比度、饱和度和色相等颜色参数的叠加运算及色彩空间转换进行简单的矩阵运算放置在可编程逻辑器件外部进行处理，从而可以减少可编程逻辑器件的资源消耗。

第三实施例

如图3所示，本发明第三实施例中提供的一种视频处理装置30，包括：识别模块31、矩阵产生模块33、通道选择模块35、格式转换模块36和矩阵运算模块37。

其中，识别模块31用于识别输入视频图像的颜色编码格式；矩阵产生模块33用于根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵；通道选择模块35用于根据所述颜色编码格式为所述输入视频图像选择相对应的图像处理通道；矩阵运算模块37用于将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算得到目标颜色编码格式视频图像；以及格式转换模块36例如用于将YUV4:2:2格式的图像数据转换成YUV4:4:4格式的图像数据。

为便于更清楚地理解本实施例，下面特举具体例子并结合图1对前述识别模块31、矩阵产生模块33、通道选择模块35、格式转换模块36和矩阵运算模块37进行详细描述。

识别模块31例如整合在微处理器11内，其根据来自于视频输入电路15的颜色编码相关信息识别输入视频图像的颜色编码格式为YUV4:4:4、YUV4:2:2或RGB4:4:4并产生图像格式参数。

矩阵产生模块33例如整合在微处理器11内，其根据亮度、对比度、饱和度和色相等图像颜色参数产生对应识别出的颜色编码格式的参数矩阵，参数矩阵的产生过程可以参见前述第一实施例中的公式(1-1)和公式(1-2),其例如包括3×3参数矩阵和3×1参数矩阵。此外，可以理解的是，针对不同的颜色编码格式，需要相应地产生不同的参数矩阵；例如：当识别出的颜色编码格式为YUV4:4:4或YUV4:2:2，根据多个图像颜色参数产生第一参数矩阵；以及当识别出的颜色编码格式为RGB4:4:4，根据多个图像颜色参数产生第二参数矩阵。此处的第一参数矩阵和第二参数矩阵例如均包含3×3参数矩阵和3×1参数矩阵，且矩阵中的参数数量相等。

通道选择模块35例如整合在可编程逻辑器件13例如FPGA芯片内，其根据所述颜色编码格式为所述输入视频图像选择相对应的图像处理通道；具体可为：获取对应所述颜色编码格式的图像格式参数，以及根据所述图像格式参数为所述输入视频图像选择相对应的图像处理通道；也即针对不同的颜色编码格式，需要选择不同的图像处理通道，例如：当识别出的颜色编码格式为YUV4:4:4或RGB4:4:4，为输入视频图像选择第一图像处理通道，也即图3中YUV4:4:4或RGB4:4:4到达矩阵运算模块37所经历的通道；当识别出的颜色编码格式为YUV4:2:2，为输入视频图像选择第二图像处理通道，也即图3中YUV4:2:2经由格式转换模块36到达矩阵运算模块37所经历的通道，且在第二图像处理通道上由格式转换模块36将输入视频图像的颜色编码格式从YUV4:2:2转换成YUV4:4:4。

矩阵运算模块37例如整合在可编程逻辑器件13内，其将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算得到目标颜色编码格式视频图像；本实施例中，所选图像处理通道输出的视频图像为RGB4:4:4或YUV4:4:4,通过使用相对应的参数矩阵进行3×3矩阵相乘和3×1矩阵相加的矩阵运算就可以得到RGB4:4:4格式的目标视频图像作为输出。

本发明第三实施例通过将亮度、对比度、饱和度和色相等颜色参数的叠加运算及色彩空间转换进行简单的矩阵运算放置在可编程逻辑器件外部进行处理，从而可以减少可编程逻辑器件的资源消耗。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种视频处理器，其特征在于，包括微处理器和连接所述微处理器的可编程逻辑器件；

所述微处理器用于识别输入视频图像的颜色编码格式产生图像格式参数，根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵，输出所述参数矩阵和所述图像格式参数至所述可编程逻辑器件；

所述可编程逻辑器件用于根据所述图像格式参数为所述输入视频图像选择图像处理通道，并将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算，得到目标颜色编码格式视频图像作为输出。

2.根据权利要求1所述的视频处理器，其特征在于，所述视频处理器包括：视频输入电路，所述视频输入电路连接所述可编程逻辑器件以向所述可编程逻辑器件提供所述输入视频图像；所述微处理器连接所述视频输入电路以识别所述输入视频图像的颜色编码格式。

3.根据权利要求1所述的视频处理器，其特征在于，所述多个图像颜色参数包括亮度、对比度、饱和度和色相。

4.一种视频处理方法，其特征在于，包括：

识别输入视频图像的颜色编码格式；

根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵；

根据所述颜色编码格式为所述输入视频图像选择相对应的图像处理通道；

将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算，得到目标颜色编码格式视频图像。

5.根据权利要求4所述的视频处理方法，其特征在于，所述根据所述颜色编码格式为所述输入视频图像选择相对应的图像处理通道包括：

当所述颜色编码格式为YUV4:4:4或RGB4:4:4，为所述输入视频图像选择第一图像处理通道；

当所述颜色编码格式为YUV4:2:2，为所述输入视频图像选择第二图像处理通道，且在所述第二图像处理通道上将所述输入视频图像的颜色编码格式从YUV4:2:2转换成YUV4:4:4。

6.根据权利要求4所述的视频处理方法，其特征在于，所述根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵包括：

当所述颜色编码格式为YUV4:4:4或YUV4:2:2，根据所述多个图像颜色参数产生第一参数矩阵；

当所述颜色编码格式为RGB4:4:4，根据所述多个图像颜色参数产生第二参数矩阵。

7.根据权利要求4所述的视频处理方法，其特征在于，所述多个图像颜色参数包括亮度、对比度、饱和度和色相。

8.一种视频处理装置，其特征在于，包括：

识别模块，用于识别输入视频图像的颜色编码格式；

矩阵产生模块，用于根据多个图像颜色参数产生对应于所述颜色编码格式的参数矩阵；

通道选择模块，用于根据所述颜色编码格式为所述输入视频图像选择相对应的图像处理通道；

矩阵运算模块，用于将所选图像处理通道输出的视频图像与所述参数矩阵进行矩阵运算，得到目标颜色编码格式视频图像。

9.根据权利要求8所述的视频处理装置，其特征在于，所述通道选择模块用于：

当所述颜色编码格式为YUV4:4:4或RGB4:4:4，为所述输入视频图像选择第一图像处理通道；

当所述颜色编码格式为YUV4:2:2，为所述输入视频图像选择第二图像处理通道，且在所述第二图像处理通道中由格式转换模块将所述输入视频图像的颜色编码格式从YUV4:2:2转换成YUV4:4:4。

10.根据权利要求8所述的视频处理装置，其特征在于，所述矩阵产生模块用于：

当所述颜色编码格式为YUV4:4:4或YUV4:2:2，根据所述多个图像颜色参数产生第一参数矩阵；

当所述颜色编码格式为RGB4:4:4，根据所述多个图像颜色参数产生第二参数矩阵。

11.根据权利要求8所述的视频处理装置，其特征在于，所述多个图像颜色参数包括亮度、对比度、饱和度和色相。