CN116137654A - 一种多分割视频图像处理显示装置及显示终端 - Google Patents

Abstract

本发明提供了一种多分割视频图像处理显示装置，包括：输入矩阵跟踪解码单元、多通道视频图像丢帧处理单元、多通道视频图像缩放处理单元、写帧存储控制器单元。输入矩阵跟踪解码单元用于将ITU输入数据经过输入矩阵处理及通道跟踪解码后输出多个通道的通道数据；多通道视频图像丢帧处理单元用于接收多个通道数据并根据需要对各个通道数据进行丢帧处理；多通道视频图像缩放处理单元用于对输入的视频图像进行缩放处理以使图像大小满足多分割显示的需求；写帧存储控制器单元用于向写帧存储控制器发出写帧缓存的请求，写帧存储控制器依次将通道处理后的图像数据通过总线写到帧缓存中。该装置在保证芯片管脚封装以及PCB布线的前提下，在单显示芯片条件下实现灵活高效的分割显示。

Description

一种多分割视频图像处理显示装置及显示终端

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种多分割视频图像处理显示装置及显示终端。

背景技术

在车载多媒体辅助驾驶以及视频监控等领域中，为了更好地适应市场发展，需要将多个摄像头输入的画面显示在同一个终端上，实现两分割、四分割、六分割等画面同时显示。目前的技术方案中，多分割处理系统的输入一般都是摄像头前端生成的ITU656/601信号，再将多通道输入的ITU656/601信号处理后同步显示到一个终端上。普通的多通道ITU信号传输需要多组端口传输多个通道的ITU信号，即端口数和通道数是一一对应的关系，这在芯片管脚封装以及PCB布线上都会带来极大的不便与代价，甚至可能需要多芯片才可能实现融合分割显示的功能。

如何在保证芯片管脚封装以及PCB布线的前提下，在单显示芯片条件下实现灵活高效的分割显示是当前亟待解决的问题。

发明内容

有鉴于此，本发明所要解决的技术问题是提供一种多分割视频图像处理显示装置及显示终端用于解决现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

本发明实施例提供了一种多分割视频图像处理显示装置，包括：输入矩阵跟踪解码单元、多通道视频图像丢帧处理单元、多通道视频图像缩放处理单元、写帧存储控制器单元；

所述输入矩阵跟踪解码单元用于将ITU输入数据经过输入矩阵处理及通道跟踪解码后输出多个通道的通道数据；

所述多通道视频图像丢帧处理单元用于接收多个通道数据并根据需要对各个通道数据进行丢帧处理；

所述多通道视频图像缩放处理单元用于对输入的视频图像进行缩放处理以使图像大小满足多分割显示的需求；

写帧存储控制器单元用于向写帧存储控制器发出写帧缓存的请求，写帧存储控制器依次将通道处理后的图像数据通过总线写到帧缓存中。

进一步地，所述输入矩阵跟踪解码单元包括：输入矩阵子单元、多个端口通道跟踪解码子单元以及通道选中矩阵子单元；

所述输入矩阵子单元用于对输入信号进行选择后输出给对应的端口通道跟踪解码子单元；

所述端口通道跟踪解码子单元用于根据ITU信号时基同步码中嵌入的通道信息对通道进行跟踪解码以实时跟踪接收端与发送端通道；

所述通道选中矩阵子单元用于接收所述端口通道跟踪解码子单元输出的通道信号并根据分割数目输出对应数量的有效通道的通道数据。

进一步地，所述端口通道跟踪解码子单元用端口输入的时钟对输入数据进行采样，以端口复用通道数为间隔预设一个通道计数器，当通道计数器等于0时将输入数据暂存，将暂存后连续的通道数据进行判断，当判断到第一通道信号的同步头后，接着比较同步码后嵌入的通道信息的低位，当低位等于0则证明端口通道跟踪解码正确，否则根据低位的值对通道的计数器进行复位，再继续跟踪通道信息，直到检测到的通道信息等于0，则认为通道跟踪解码正确。

进一步地，所述多通道视频图像丢帧处理单元包括：多通道视频帧同步控制子单元、多个通道控制子单元及多个通道图像输出子单元；

多通道视频帧同步控制子单元用于根据分割数目产生对应数量通道的系统复位信号以及帧同步复位信号以及丢帧控制信号；所述系统复位信号由系统上电时间和软复位决定；所述帧同步复位信号为丢帧处理前为了同步各个通道的丢帧间隔而发出的同步脉冲信号；丢帧控制信号用于控制每个通道的丢帧频率；

通道控制子单元用于接收多通道视频帧同步控制子单元输出的信号和对应通道信号中的时序信号，产生通道输出使能信号；

通道图像输出子单元用于接收对应通道输入的ITU视频信号CH0包括输入的行场同步，有效时序信号以及图像数据，根据对应的通道控制子单元输出的使能信号，对对应通道要处理的视频信号进行控制选择输出。

进一步地，所述通道控制子单元按如下方式设置帧计数器清零信号fcnt_clr：(1)当收到多通道视频帧同步控制子单元输出的系统复位信号后，帧计数器清零信号fcnt_clr设置等于0；(2)当收到帧同步复位信号后，帧计数器清零信号fcnt_clr设置等于1；(3)当fcnt_clr等于1且ITU视频信号CH0中的时序信号场同步vsyn等于1时，fcnt_clr设为0；所述通道控制子单元内置一个帧计数器，按如下方式设置帧计数器：(1)当收到系统复位信号后，帧计数器设置为0；(2)当时序信号场同步vsyn等于1时且fcnt_clr等于1，则帧计数器设置为0；(3)当时序信号场同步vsyn等于1时且fcnt_clr不等于1时，帧计数器加1。

进一步地，所述多通道视频图像丢帧处理单元配置有一个2⁵比特的帧显示寄存器；每位比特位代表帧显示使能信号；所述通道图像输出子单元在帧显示使能信号为1时，输出图像数据等于输入图像数据；当帧显示使能信号为0时，表示要丢帧，输出图像数据等于0。

进一步地，所述多通道视频图像缩放处理单元包括：缩放数据获取子单元、第一缩放缓存、第二缩放缓存、水平缩放控制子单元、第三缩放缓存、垂直缩放控制子单元、缩放处理控制子单元以及缩放逻辑运算部件；所述缩放数据获取子单元用于将ITU输入像素时钟域的图像信号转换为系统总线时钟域的图像数据并发出缩放指示信号给缩放处理控制子单元；所述缩放处理控制子单元用于对水平缩放子单元和垂直缩放控制子单元的缩放过程进行协调控制；所述第一缩放缓存以及第二缩放缓存用于缓存缩放数据获取子单元输出的数据供水平缩放控制子单元使用；所述第三缩放缓存用于缓存水平缩放控制子单元输出的数据供垂直缩放控制子单元使用；所述缩放逻辑运算部件用于为图像有关的像素值与权重值提供运算操作。

进一步地，所述输出的系统总线时钟频率为输入像素时钟频率的整数倍。

进一步地，所述水平缩放控制子单元进行水平缩放和所述垂直缩放控制子单元进行垂直缩放均采用多相位插值算法或均采用双线性插值算法。

本发明实施例还提供一种显示装置，包括以上所述的多分割视频图像处理显示装置。

与现有技术相比，本发明具有如下有益效果：本发明提供的一种多分割视频图像处理显示装置，改变了现有的端口数和通道数一一对应的关系，实现了一端口多通道传输方式。可保证芯片管脚封装以及PCB布线的前提下，在单显示芯片条件下实现高效的分割显示效果。同时，每个通道的图像都需要进行缩放处理，以使得各个通道图像视频能按所需求的比例完好地在多分割系统上进行显示。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种多分割视频图像处理显示装置的结构图；

图2是输入矩阵跟踪解码单元的结构图；

图3是多通道视频图像丢帧处理单元的结构图；

图4是多通道视频图像缩放处理单元的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

所述输入矩阵跟踪解码单元用于将ITU输入数据经过输入矩阵处理及通道跟踪解码后输出多个通道的通道数据；

所述多通道视频图像丢帧处理单元用于接收多个通道数据并根据需要对各个通道数据进行丢帧处理；

所述多通道视频图像缩放处理单元用于对输入的视频图像进行缩放处理以使图像大小满足多分割显示的需求；

写帧存储控制器单元用于向写帧存储控制器发出写帧缓存的请求，写帧存储控制器依次将通道处理后的图像数据通过总线写到帧缓存中。

如图1所示，为本发明实施例一种多分割视频图像处理显示装置的总体结构图。主要包括：输入矩阵跟踪解码单元、多通道视频图像丢帧处理单元、多通道视频图像缩放处理单元、写帧存储控制器单元。

输入矩阵跟踪解码单元，本单元接收多端口ITU656/601输入数据ITUAIN、ITUBIN、ITUCIN，经过输入矩阵处理及通道跟踪解码后，输出端口实际包括的多个通道的通道数据CH0、CH1、CH2、CH3、CH4及CH5。本实施例输入假定为3个端口，输出假定支持6个通道的数据，然而实际应用中，输入端口数以及通道数不局限于此，均可进行变通。输入矩阵跟踪解码单元更详细的结构如图2所示，其包括：输入矩阵子单元、3个端口通道跟踪解码子单元以及通道选中矩阵子单元。3个端口通道跟踪解码子单元依次为：端口A通道跟踪解码子单元、端口B通道跟踪解码子单元以及端口C通道跟踪解码子单元。

输入矩阵子单元主要是为了PCB板级布线的方便进行的端口可配置矩阵的输入信号选择，具体地，ITUAIN1可任意选为ITUAIN，ITUBIN，ITUCIN中的一个端口，ITUBIN1可任选为ITUAIN1选中后的其余两个端口中的一个端口，ITUCIN1为ITUAIN1、ITUBIN1选中后的剩余一个端口，矩阵的参数可由系统配置。

端口A通道跟踪解码子单元，接收端口信号ITUAIN1，本发明假定端口ITUAIN1最多能传输4个通道的ITU656数据，端口A通道跟踪解码子单元负责对ITUAIN1中的4个通道数据进行硬件方式的通道跟踪解码。单端口多通道传输模式下，ITU接收端与发送端系统之间存在异步关系，包括上电时间不一致等都会导致这种异步的情况，ITU接收端直接根据通道复用数进行降采样可能会造成通道不对齐，例如降采样得到的第一通道信号A_CH0不对应发送端的第一通道信号，可能误判为第二、第三、或第四通道的数据，这样会导致多分割显示时图像位置的不定和错乱，再由软件对显示通道进行调整将会耗费巨大的软件资源。本模块根据通道复用时，ITU信号时基同步码中嵌入的通道信息，对通道进行跟踪解码，以实时跟踪接收端与发送端通道。具体地，用端口输入的时钟对ITUAIN1进行采样，以复用通道数为间隔预设一个通道计数器CNT，当CNT等于0时将ITUAIN1暂存，将暂存后连续的通道数据(预设为第一通道)进行判断，当判断到第一通道信号的同步头(例如可以是检测到0xFF0000XY)后，接着比较同步码后嵌入的通道信息XY的低位Y，当Y等于0则证明端口通道跟踪解码正确，否则根据Y的值对通道的计数器进行复位，再继续跟踪通道信息，直到检测到的通道信息等于0，则认为通道跟踪解码正确。本实施例以A端口传输4通道为例子，当CNT等于0时，输出A_CH0，当CNT等于1时输出A_CH1，当CNT等于2时输出A_CH2，当CNT等于3时输出A_CH3。端口A通道跟踪解码也可工作在只传输两通道的模式，与端口B和端口C一一，原理与四通道模式相同，而通道计数器只需要计数0和1即可，此时输出A_CH1、A_CH2有效，A_CH2和A_CH3无效。

端口B通道跟踪解码子单元工作原理与端口A通道跟踪解码子单元相同，不同的是输出端口支持两通道B_CH0、B_CH1输出。跟踪解码的时候，通道计数器只需要计数0和1即可。

端口C通道跟踪解码子单元工作原理与端口A通道跟踪解码子单元相同，不同的是输出端口支持两通道C_CH0、C_CH1输出。跟踪解码的时候，通道计数器只需要计数0和1即可。

端口B通道跟踪解码子单元和端口C通道跟踪解码子单元不再赘述。经过本发明硬件方式的端口通道跟踪解码后，能解决通常做法可能导致的多分割显示时图像位置的不定和错乱的问题，降低软件对显示通道进行调整将会耗费巨大的软件资源。由于是每行同步头都进行检测，即使是系统受到干扰，本模块也能在最快的时间内检测到正确的通道信息。

通道选中矩阵子单元接收端口A/B/C通道跟踪解码子单元输出的通道信号A_CH0、A_CH1、A_CH2、A_CH3、B_CH0、B_CH1、C_CH0、C_CH1，并根据实际需求最多可输出CH0、CH1、CH2、CH3、CH4、CH5六个有效通道的通道数据。如可选的六分割配置为：CH0＝A_CH0,CH1＝A_CH1,CH2＝A_CH2,CH3＝A_CH3，CH4＝B_CH0,CH5＝B_CH1；CH0＝A_CH0,CH1＝A_CH1,CH2＝B_CH0,CH3＝B_CH，CH4＝C_CH0,CH5＝C_CH1。当然，矩阵选中方式不止于此，可根据多端口多通道或单端口多通道的传输方式进行灵活选择。

ITU数据通过输入矩阵跟踪解码单元处理后，使得在支持多分割视频图像处理的芯片中，不仅能支持多端口多通道，而且能支持单端口多通道的传输方式，以硬件的方式实时对端口输入ITU数据进行通道解码跟踪，提高了多个摄像头输入分割显示通道解码跟踪的效率，使得实时多分割画面显示更准确稳定。

多通道视频图像丢帧处理单元，本单元接收多通道CH0、CH1、CH2、CH3、CH4、CH5信号，根据需要可对各个通道的数据进行丢帧处理，再输出多通道信号CH0_SI、CH1_SI、CH2_SI、CH3_SI、CH4_SI、CH5_SI。在多分割视频图像处理中，输入的视频图像和输出的视频图像帧率可能不一样，某些应用还需要将多通道的视频进行录像保存，为了保证每个通道的视频都能较完整地保存下来，当系统数据处理能力达到瓶颈时，如果帧率过高，可能处理不过来，在不影响视频流畅度的情况下，丢帧处理是一个比较有效的选择。现有的处理方式是，当ITU信号经解码缩放等处理写回帧存储后，再由软件响应中断后判断是否将写回存储的图像帧丢掉，这样虽然后续处理单元不用再对该丢弃帧进行处理，可以节省一些资源，但是处理和写回的过程本身也会消耗大量的带宽和功耗。本申请结合多通道多分割显示的应用，在视频图像写回前就对多个通道视频进行丢帧处理，如图3所示，为多通道视频图像丢帧处理单元的具体结构图。主要包括：多通道视频帧同步控制子单元、6个通道控制子单元以及6个通道图像输出子单元。6个通道控制子单元依次为通道0控制子单元、通道1控制子单元、通道2控制子单元、通道3控制子单元、通道4控制子单元、通道5控制子单元；6个通道图像输出子单元依次为通道0图像输出子单元、通道1图像输出子单元、通道2图像输出子单元、通道3图像输出子单元、通道4图像输出子单元和通道5图像输出子单元。

多通道视频帧同步控制子单元，根据系统应用需求产生通道0到通道5六个通道的系统复位信号以及帧同步复位信号以及丢帧控制信号。系统复位信号由系统上电时间和软复位决定。帧同步复位信号为在需要进行丢帧处理前为了同步各个通道的丢帧间隔由软件发出的同步脉冲信号。丢帧控制信号也由软件配置，可控制每个通道的丢帧频率。

通道0控制子单元接收多通道视频帧同步控制子单元输出信号和通道0信号CH0中的时序信号，产生通道0输出使能信号。具体地，先按如下产生帧计数器清零信号fcnt_clr：①当收到同步控制模块输出的系统复位信号后，帧计数器清零信号fcnt_clr设置等于0；②当收到帧同步复位信号后，帧计数器清零信号fcnt_clr设置等于1；③当fcnt_clr等于1且CH0中的时序信号场同步vsyn等于1时，fcnt_clr设为0。

通道0控制子单元内置一个帧计数器，其工作过程如下：1)当收到多通道视频帧同步控制子单元输出的系统复位信号后，帧计数器设置为0；2)当时序信号场同步vsyn等于1时且fcnt_clr等于1，则帧计数器设置为0；3)否则当vsyn等于1时，帧计数器加1。帧计数器位宽设为5比特，溢出不管。由于摄像头视频帧率一般都是25或30帧/秒，与帧计数器对应本申请设定一个2⁵比特的帧显示寄存器frame_en_num0，上电复位默认值为0xffffffff，表示32帧的间隔内全显示不丢帧，若要在32帧间隔内丢掉一半的帧，则可以将帧显示寄存器配置为0x55555555，可理解为32帧内帧显示寄存器的比特0表示第一处理帧，比特31表示第32个处理帧，若想将按顺序排列的视频帧丢掉，则将该比特设置为0，当帧计数器值等于帧显示寄存器对应比特数值时，表示需要进行丢帧处理并产生帧显示使能信号frame_ratio_en为0，否则产生frame_ratio_en为1不丢帧。

由于帧计数器都是在时序信号场同步vsyn等于1的时候变化，所以frame_ratio_en都是与每一视频帧起始完全对齐，用该信号对当前通道的通道数据进行是否丢帧的控制是完全可行的。

通道0图像输出子单元接收通道0输入的ITU视频信号CH0包括输入的行场同步，有效时序信号以及图像数据，根据通道0控制子单元输出的帧显示使能信号frame_ratio_en，对通道0要处理的视频信号进行控制选择输出，具体地，当frame_ratio_en为1时，输出的行场同步，有效时序信号等于输入的行场同步，有效信号，输出图像数据等于输入图像数据；当frame_ratio_en为0时，表示要丢帧，输出的行场同步，有效时序信号等于0，输出图像数据等于0。

由于frame_ratio_en由软件任意可配帧显示寄存器实现，且frame_ratio_en的变化完全与图像帧的起始和结束对齐，所以，经过选择处理后，视频图像可以实现任意可配间隔的丢帧处理，且有效帧与无效帧之间可以硬件方式地无缝切换。当选择丢帧时，输出数据均为0，视频后续处理模块可以进入低功耗模式，视频数据无需写到帧存储器中，这样在降低功耗的同时减轻了系统的带宽需求。

通道1到通道5的丢帧处理与通道0原理一样，具体模块的工作过程不再赘述。值得注意的是，本申请的多通道视频帧同步控制子单元，考虑了多通道协同工作的情况，在系统复位时会同时对6个通道的处理通路进行复位，在应用需要复位的时候也会同时产生6个通道的帧同步复位信号，以使得各个通道的处理能完全同步进行。更进一步地，本发明的有益之处在于，当多通道视频图像处理需要同时打开，而系统同时需要进行多通道录像以及多分割显示时，当输入分辨率较高时可能会造成系统处理能力的瓶颈，而本发明可以通过协同控制各个通道的丢帧间隔，在不影响视频流畅度的情况下，对各个通道进行适当的丢帧处理，从而减轻系统的数据处理量，提高多通道输入视频的接收处理能力。为方便理解，下面以输入4个有效通道为例详述，假设4个通道都是1920x1080@120hz的输入源，系统处理起来是比较吃力的，甚至不能正常接收，本发明可以将1920x1080@120hz的视频进行丢帧处理，使各个通道降低为1920x1080@30hz的数据量，具体如下：

1)将通道0的帧显示寄存器frame_en_num0设为0x11111111，表示通道0每4帧丢掉3帧处理，通道0显示帧为第0、4、8、12、…28…。

2)将通道1的帧显示寄存器frame_en_num1设为0x22222222，表示通道0每4帧丢掉3帧处理，通道1显示帧为第0+1、4+1、8+1、12+1、…28+1…。

3)将通道2的帧显示寄存器frame_en_num2设为0x44444444，表示通道0每4帧丢掉3帧处理，通道2显示帧为第0+2、4+2、8+2、12+2、…28+2…。

4)将通道3的帧显示寄存器frame_en_num3设为0x88888888，表示通道0每4帧丢掉3帧处理，通道3显示帧为第0+3、4+3、8+3、12+3、…28+3…。

由以上处理方法可知，虽然4个通道同时接收，然而在帧显示的控制下，每个通道都是每4帧丢掉3帧，且显示帧的时间都正好错开，一个视频图像帧的时间内只有一个通道的图像需要处理，这样使得每个通道120hz的帧率降到了30hz，而且由于丢帧均匀，系统处理的视频数据量合理地降低了，视频图像在满足帧率需求的基础上每个通道也不会出现卡顿的情况。本发明的丢帧方法在满足显示的同时，能降低系统存储带宽以及功耗，使得多分割视频图像处理能力更好。

多通道视频图像缩放处理单元对输入的视频图像进行缩放处理以使图像大小满足多分割显示的需求。每个通道的缩放处理方法一样，下面以通道0为例进行详述，如图4所示，多通道视频图像缩放处理单元具体包括：缩放数据获取子单元，第一缩放缓存Y缩放缓存10，第二缩放缓存Y缩放缓存11，水平缩放控制子单元，第三缩放缓存Y缩放缓存20，垂直缩放控制子单元，缩放处理控制子单元，缩放逻辑运算部件。

缩放数据获取子单元，接收当前通道的视频图像数据CH0_SI，CH0_SI是ITU输入像素时钟域的信号，根据输入的行场有效信号将图像数据转换为系统总线时钟域的图像数据。假定输入像素时钟为CLK_PIX，输出时钟为系统总线时钟CLK_AXI，由于一般CLK_AXI比CLK_PIX频率要快，一般在多分割显示应用中，CLK_AXI频率为CLK_PIX的数倍，经过转换后，一行时间内有效数据占据一行时间的比例将大大降低，亦可以理解为一行时间内处理数据的能力得到成比例的提高。本发明的图像缩放处理，正是利用了CLK_AXI与CLK_PIX的快慢关系，使得水平缩放和垂直缩放过程都在CLK_AXI时钟域内进行，图像缩放在相同的时间内可以提高数据处理的速率。缩放数据获取单元将获取的图像数据写到第一缩放缓存10和第二缩放缓存11以供水平缩放过程使用。缩放数据获取子单元会将行场有效信号转换后分别输出行有效信号HACT和场有效信号VACT到缩放处理控制子单元。同时在写好一行数据到第一缩放缓存10和第二缩放缓存11后，缩放数据获取子单元会发出行缩放指示信号DO_SCALER给缩放处理控制子单元。

第二缩放缓存11与第一缩放缓存10，该缓存单元先将转为CLK_AXI域的图像数据亮度分量Y进行缓存，而色度分量C的处理与亮度分量Y类似，缩放部分仅以Y为例进行详述即可。缩放数据获取子单元单元写第一缩放缓存10和第二缩放缓存11时是同时进行操作，以满足水平缩放步骤对数据的需求。

缩放处理控制子单元对整个水平缩放和垂直缩放的过程进行协调控制。下面结合水平缩放、垂直缩放以及缩放缓存，对图像缩放步骤进行具体描述：

1)当收到场有效信号VACT的上升沿后缩放控制进入初始待工作状态。

2)初始待工作状态时，当DO_SCALER信号为1，表明一行图像数据已经准备就绪，发出指令控制水平缩放单元读取Y缓存10和Y缓存11中的内容Hdst_data0与Hdst_data1，进行水平缩放，10缓存读取X地址，11缓存读取X+1地址，以满足水平缩放的算法需求，X为自然数。

3)当水平缩放后，将结果Hdst_data写到Y缩放缓存20中的第一行地址，直到将水平缩放后一行数据写完。

4)水平缩放同时读取Y缓存10和Y缓存11中的内容Hdst_data0与Hdst_data1，进行水平缩放，10缓存读取X地址，11缓存读取X+1地址，以满足水平缩放的算法需求，X为自然数。

5)当水平缩放后，将结果Hdst_data写到Y缩放缓存20中的第二行地址，直到将水平缩放后一行数据写完。

6)第二行输入数据写到缓存10和缓存11。

7)当DO_SCALER信号为1后，水平缩放单元同时读取缓存10和11中的图像数据Hdst_data0与Hdst_data1进行水平缩放，10缓存读取X地址，11缓存读取X+1地址，以满足水平缩放的算法需求，X为自然数。

8)当水平缩放后，将结果Hdst_data写到Y缓存20的第三行地址，直到将水平缩放后一行数据写完。

9)第三行输入数据写到缓存10和缓存11。

10)水平缩放控制同时读取缓存10和11中的图像数据Hdst_data0与Hdst_data1进行水平缩放，10缓存读取X地址，11缓存读取X+1地址，以满足水平缩放的算法需求，X为自然数。

11)水平缩放后，将结果Hdst_data写到Y缓存20的第四行地址，直到将水平缩放后一行数据写完。

12)垂直缩放单元依次同时读取Y缓存20中经过水平缩放处理的4行Y数据Vsrc_data进行垂直缩放，并将垂直缩放的结果Vdst_data写到Y缓存10中得到CH0_SO，最后请求写帧存储控制器通过如AXI总线写到帧缓存中。下一步输入第四行后，按步骤9的方式往复进行到步骤12，直到一帧内所有行的图像数据缩放处理完毕。

由以上步骤可知，本发明垂直缩放控制子单元输出的结果仍然控制写到第一缩放缓存10中，与输入数据共用缓存空间，节省了额外的存储资源。这主要得益于本发明利用了多分割视频图像处理时输入时钟与系统时钟之间的关系，由于系统需要处理多个通道的图像数据，系统总线时钟CLK_AXI必然大于单个通道输入的像素时钟CLK_PIX才能保持数据处理吞吐率的平衡。具体到一个通道时，输入图像数据已经转换到更快时钟域CLK_AXI进行处理，所以在CLK_AXI时钟的处理下，一行图像数据的有效处理时间相对CLK_PIX来说已经宽裕很多，使得新的一行图像数据到来时，前一行图像数据经过垂直缩放再写回Y缓存10且已经输出写回帧缓存完毕，即时间上能保证连续行的图像数据不会覆盖冲突。这样处理既满足了多通道图像缩放处理需求，又节省了存储资源，尤其是通道越多资源消耗越大，利用本发明在满足需求同时可以降低多分割视频图像处理显示系统芯片的成本。

缩放逻辑运算部件一般为像素值与权重值的乘加等运算部件，由于水平缩放和垂直缩放是在缩放处理控制子单元的控制下分时协调进行，所以水平缩放和垂直缩放单元的运算部件也可以共用，这同样也能减少逻辑电路的资源。

水平缩放和垂直缩放可以多相位插值算法或双线性插值算法实现，具体实施步骤不再详述。色度分量C的处理与亮度分量Y原理类似，本发明也不再赘述。

写帧存储控制器单元用于各个通道视频图像经过缩放处理后，向写帧存储控制器发出写帧缓存的请求，写帧存储控制器依次将通道处理后的图像数据CH0_SO、CH1_SO、CH2_SO、CH3_SO、CH4_SO、CH5_SO通过总线写到帧缓存中，再经过系统后续处理即可实现多分割视频图像的处理与显示。

本发明实施例以六分割为例进行描述，实际上也可以扩展为支持任意通道的多分割画面显示系统。

本发明提供一种多分割视频图像处理显示装置，使得在支持多分割视频图像处理的芯片中，不仅能支持多端口多通道，而且能支持单端口多通道的传输方式，以硬件的方式实时对端口输入ITU信号进行通道解码跟踪，提高了多个摄像头输入分割显示通道解码跟踪的效率，使得实时多分割画面显示更准确稳定。多通道视频图像的处理要求每个通道图像都要进行缩放，基于芯片性能和成本的最优考虑，本发明提供的多分割视频处理系统充分利用输入时钟和系统时钟之间频率快慢关系、以及各通道协同处理时间关系，在满足了视频实时处理的同时，在水平缩放和垂直缩放中进行了多时段、多步骤的资源共享，极大地提高了多分割视频图像缩放处理的效率和资源利用率，使得芯片性能更好、成本更低。此外，本发明在输入图像帧的选择上提供了硬件方式处理的丢帧处理，相较于软件处理而言，无需CPU响应帧中断后再进行丢帧，减轻了CPU资源的频繁消耗，同时视频图像处理系统对硬件选中要丢的帧可以不处理，不写回帧存储，能降低系统功耗与带宽。

本发明实施例还提供一种显示装置，包括以上所述的多分割视频图像处理显示装置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。

以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内，本发明所主张的权利范围应以发明申请范围所述为准，而非仅限于上述实施例。

Claims (10)

1.一种多分割视频图像处理显示装置，其特征在于，包括：输入矩阵跟踪解码单元、多通道视频图像丢帧处理单元、多通道视频图像缩放处理单元、写帧存储控制器单元；

所述输入矩阵跟踪解码单元用于将ITU输入数据经过输入矩阵处理及通道跟踪解码后输出多个通道的通道数据；

所述多通道视频图像丢帧处理单元用于接收多个通道数据并根据需要对各个通道数据进行丢帧处理；

所述多通道视频图像缩放处理单元用于对输入的视频图像进行缩放处理以使图像大小满足多分割显示的需求；

写帧存储控制器单元用于向写帧存储控制器发出写帧缓存的请求，写帧存储控制器依次将通道处理后的图像数据通过总线写到帧缓存中。

2.根据权利要求1所述的多分割视频图像处理显示装置，其特征在于，所述输入矩阵跟踪解码单元包括：输入矩阵子单元、多个端口通道跟踪解码子单元以及通道选中矩阵子单元；

所述输入矩阵子单元用于对输入信号进行选择后输出给对应的端口通道跟踪解码子单元；

所述端口通道跟踪解码子单元用于根据ITU信号时基同步码中嵌入的通道信息对通道进行跟踪解码以实时跟踪接收端与发送端通道；

所述通道选中矩阵子单元用于接收所述端口通道跟踪解码子单元输出的通道信号并根据分割数目输出对应数量的有效通道的通道数据。

3.根据权利要求2所述的多分割视频图像处理显示装置，其特征在于，所述端口通道跟踪解码子单元用端口输入的时钟对输入数据进行采样，以端口复用通道数为间隔预设一个通道计数器，当通道计数器等于0时将输入数据暂存，将暂存后连续的通道数据进行判断，当判断到第一通道信号的同步头后，接着比较同步码后嵌入的通道信息的低位，当低位等于0则证明端口通道跟踪解码正确，否则根据低位的值对通道的计数器进行复位，再继续跟踪通道信息，直到检测到的通道信息等于0，则认为通道跟踪解码正确。

4.根据权利要求1所述的多分割视频图像处理显示装置，其特征在于，所述多通道视频图像丢帧处理单元包括：多通道视频帧同步控制子单元、多个通道控制子单元及多个通道图像输出子单元；

多通道视频帧同步控制子单元用于根据分割数目产生对应数量通道的系统复位信号以及帧同步复位信号以及丢帧控制信号；所述系统复位信号由系统上电时间和软复位决定；所述帧同步复位信号为丢帧处理前为了同步各个通道的丢帧间隔而发出的同步脉冲信号；丢帧控制信号用于控制每个通道的丢帧频率；

通道控制子单元用于接收多通道视频帧同步控制子单元输出的信号和对应通道信号中的时序信号，产生通道输出使能信号；

通道图像输出子单元用于接收对应通道输入的ITU视频信号CH0包括输入的行场同步，有效时序信号以及图像数据，根据对应的通道控制子单元输出的使能信号，对对应通道要处理的视频信号进行控制选择输出。

5.根据权利要求4所述的多分割视频图像处理显示装置，其特征在于，所述通道控制子单元按如下方式设置帧计数器清零信号fcnt_clr：(1)当收到多通道视频帧同步控制子单元输出的系统复位信号后，帧计数器清零信号fcnt_clr设置等于0；(2)当收到帧同步复位信号后，帧计数器清零信号fcnt_clr设置等于1；(3)当fcnt_clr等于1且ITU视频信号CH0中的时序信号场同步vsyn等于1时，fcnt_clr设为0；所述通道控制子单元内置一个帧计数器，按如下方式设置帧计数器：(1)当收到系统复位信号后，帧计数器设置为0；(2)当时序信号场同步vsyn等于1时且fcnt_clr等于1，则帧计数器设置为0；(3)当时序信号场同步vsyn等于1时且fcnt_clr不等于1时，帧计数器加1。

6.根据权利要求4所述的多分割视频图像处理显示装置，其特征在于，所述多通道视频图像丢帧处理单元配置有一个2⁵比特的帧显示寄存器；每位比特位代表帧显示使能信号；所述通道图像输出子单元在帧显示使能信号为1时，输出图像数据等于输入图像数据；当帧显示使能信号为0时，表示要丢帧，输出图像数据等于0。

7.根据权利要求1所述的多分割视频图像处理显示装置，其特征在于，所述多通道视频图像缩放处理单元包括：缩放数据获取子单元、第一缩放缓存、第二缩放缓存、水平缩放控制子单元、第三缩放缓存、垂直缩放控制子单元、缩放处理控制子单元以及缩放逻辑运算部件；所述缩放数据获取子单元用于将ITU输入像素时钟域的图像信号转换为系统总线时钟域的图像数据并发出缩放指示信号给缩放处理控制子单元；所述缩放处理控制子单元用于对水平缩放子单元和垂直缩放控制子单元的缩放过程进行协调控制；所述第一缩放缓存以及第二缩放缓存用于缓存缩放数据获取子单元输出的数据供水平缩放控制子单元使用；所述第三缩放缓存用于缓存水平缩放控制子单元输出的数据供垂直缩放控制子单元使用；所述缩放逻辑运算部件用于为图像有关的像素值与权重值提供运算操作。

8.根据权利要求7所述的多分割视频图像处理显示装置，其特征在于，所述输出的系统总线时钟频率为输入像素时钟频率的整数倍。

9.根据权利要求7所述的多分割视频图像处理显示装置，其特征在于，所述水平缩放控制子单元进行水平缩放和所述垂直缩放控制子单元进行垂直缩放均采用多相位插值算法或均采用双线性插值算法。

10.一种显示终端，其特征在于，包括：权利要求1-9任一所述的多分割视频图像处理显示装置。

Images