CN101859334A - 视频解码模块与视频显示处理模块的互联缓存结构设计方法 - Google Patents

Abstract

一种视频解码模块与视频显示处理模块的互联缓存结构设计方法，针对复杂的视频解码处理、视频显示处理、数据吞吐量计算、数据带宽、负载平衡等特定应用问题，提出SoC芯片设计中将视频解码模块与显示控制模块直接互联的片上缓存结构设计，对视频实时处理遇到的大数据量实时处理的存储带宽问题，以及并行处理模块之间进行大数据量交换时的数据拥塞问题提出行之有效的解决方案，以适当的硬件代价极大的减少芯片设计中的数据存取带宽，从架构设计层面增强系统实时处理能力，减少多媒体SoC芯片实时处理性能不够而产生画面抖动、闪烁的可能性，并能够对多媒体SoC芯片设计带来创新性进步。

Description

视频解码模块与视频显示处理模块的互联缓存结构设计方法

技术领域

本发明涉及一种视频解码模块与视频显示处理模块的互联缓存结构设计方法，属于集成电路芯片设计技术领域。

背景技术

随着消费电子类芯片产品的不断升级，要求SoC芯片具有视频实时解码、图像实时显示等硬件加速模块以增强SoC的实时处理性能。而传统SoC芯片中的视频实时解码模块、显示控制模块并不直接相连，解码视频信号通过片外存储控制模块首先转存到片外存储器，需要时再由显示控制模块读入，这样就存在以下几个方面的问题：

1)大数据量实时处理必然遇到的存储带宽问题。

视频实时处理具有相当高的存储带宽，对于一路1080p视频实时解码，仅解码和显示的数据存取带宽至少达到300MByte，这成为制约任何传统视频处理芯片的性能瓶颈。必须减少数据与片外存储器的存取带宽才能从根本上提高芯片性能。

2)并行处理模块之间进行大数据量交换时的数据拥塞问题。

SoC芯片各模块在并行处理过程中，必然涉及到数据交换、传递等操作，当视频解码模块与显示处理模块同时访问存储控制模块时，会导致严重的数据拥塞，产生较明显的系统延迟效应，如画面抖动或闪烁。

所以，必须提出创新的芯片设计方法来解决视频实时解码及显示处理并行工作时的存取带宽及数据拥塞问题，以提高SoC芯片的实时处理性能。

传统多媒体SoC芯片受到系统架构和片上存储容量的限制，视频解码数据通常首先转存到片外存储单元，需要时再由显示处理模块读入。图1给出了传统的视频处理数据流。图1中，视频解码模块(VPU，Video Process Unit)负责视频数据解码处理，视频显示控制模块(DPU，Display Process Unit)负责视频解码数据的显示控制与处理、色彩转换、分辨率转换处理，外设控制模块为芯片的标准接口控制单元，存储单元控制模块(EMCU，External Memory Control Unit)负责控制芯片与片外存储单元的数据交换。图1中，VPU、DPU、外设控制模块都通过EMCU与片外存储器进行数据交换。频繁的数据存取增加了系统总的数据传输带宽。一路30帧/秒1080p/YUV420/P帧图像解码最小数据带宽为1920*1080*1.5*30*2＝186.6MByte/s(包括重建帧写出及参考帧读入)。DPU读入一路1080p解码数据还需增加1920*1080*1.5*30＝93.3MB/s，总带宽达到186.6+93.3＝279.9MByte/s。如果考虑芯片总线设计对数据存取的实际影响，以及其他可能的算法额外数据带宽，那么一路信号带宽还会增加50MB到100MB数据带宽。而32位133MHz DDR2能够处理的数据带宽(利用率按50％计算)仅为133*2*0.5*4＝532MByte/s，已经不能满足仅仅一路1080p视频解码及显示的实时处理要求。

发明内容

本发明针对复杂的视频解码处理、视频显示处理、数据吞吐量计算、数据带宽、负载平衡等特定应用问题，提供一种在SoC芯片设计中，将视频解码模块与显示处理模块直接互联的片上缓存结构设计，对视频实时处理遇到的若干问题提出行之有效的解决方案，并能够对多媒体SoC芯片设计带来创新性进步。

一种视频解码模块与视频显示处理模块的互联缓存结构设计方法，压缩视频数据输入到视频解码模块，解码后的解码数据输入到互联缓存模块，视频显示处理模块从互联缓存模块读出并处理解码数据，输出视频显示数据；当视频解码与显示处理速度一致时，对1080p视频解码能够以最大89.5KB的缓存容量建立视频解码与显示处理的动态存取平衡，从而减少芯片设计中数据存取带宽，增强系统实时处理能力，减少芯片由于实时播放视频性能不够而产生画面抖动、闪烁的可能性。

视频解码模块与视频显示处理模块直接通过互联缓存模块一对一连接，N个视频解码模块需要通过N个互联缓存模块与N个显示处理模块对应连接。

所述的互联缓存模块具有输入接口DMA，能够接收视频解码模块标准总线给出的数据；具有输出接口DMA，能够以标准总线协议输出数据给显示处理模块。

所述的互联缓存模块的内部缓存单元具有一读一写端口，及相应控制端口，能够同时进行读写，对应于1080p解码容量最大为89.5KByte。

本发明提出的互联缓存结构设计将VPU输出的视频解码数据通过缓存模块直接与对应的DPU接口，DPU无需再从片外读取待显示的视频数据，而是直接从片上互联缓存模块读出VPU的解码数据，从而极大的减少了系统存取数据量。图2给出了带有互联缓存模块的视频处理数据流。

由于视频信号解码以宏块(MB，Macro Block)为基本单元，而显示处理通常为逐行模式，所以VPU输出解码数据与DPU读入之间存取方式不同。本发明提出的互联缓存模型即使对于1080p分辨率的图像也能够很好的消除上述存取速度差异，减少存取延迟。

在图3互联缓存模块的存储模型中，假设VPU与DPU的处理速度一致。即写入一个字节与读出一个字节的速度相当。对于1080p一个MB行的亮度信号，VPU首先解码若干MB，按地址顺序存放于互联缓存中，然后启动DPU顺序读取互联缓存的第一行数据，同时VPU继续进行MB解码。VPU剩余MB解码完成时间应当与DPU读取第一行解码数据的时间相等，才能保证VPU与DPU之间无存取延迟，防止由于无显示数据而出现的屏幕闪烁或抖动。

令x为VPU需写入的剩余MB数，y为DPU读出的一行MB数，得到(1)的计算方程，求解x＝7，即当该MB行的剩余MB为7时，VPU与DPU达到数据存取平衡。

$\left\{\begin{array}{c}16*16*x=16*y\\ x+y=1920/16\end{array}\right.---\left(1\right)$

当该MB行准备好后，VPU开始解码下一个MB行，DPU则顺序读取当前MB行的第二行解码数据。当DPU读取完当前MB行时，VPU得到下一个MB行的(1920*15+7*16)/(16*16)＝113个MB解码数据。此时下一MB行的剩余MB数刚好为7，DPU读取下一MB行的数据又与VPU写入再下一MB行的速率匹配，VPU与DPU之间联立起数据存取的动态平衡。为保持动态平衡，一路亮度解码信号需要1920*16+113*16*16＝59.7KB的缓存空间，相应色度解码信号需要59.7*0.5＝29.8KB，共需59.7*1.5＝89.5KB，并节省93.3MB读入数据带宽。互联缓存以适中的存储容量代价带来了存取带宽的极大降低，符合提升整个系统处理性能的需求。

在图4中，互联缓存模块设计有标准AHB或AXI总线协议的输入输出DMA控制器，与具有标准接口的视频解码模块和显示处理模块进行连接，接受和送出解码数据。

总之，本发明提出的互联缓存模块结构设计的有益效果是，以适当的硬件代价极大的减少芯片设计中的数据存取带宽，从架构设计层面增强系统实时处理能力，减少多媒体SoC芯片实时处理性能不够而产生画面抖动、闪烁的可能性。

2.附图说明

图1是传统SoC芯片的视频处理数据流。

图2是本发明所阐述的带有直接互联缓存模块的视频处理数据流。

图3是本发明所阐述的互联缓存模块的存储模型。

图4是本发明所阐述的互联缓存模块的设计组成。

图中，1、外设，2、片外存储控制模块，3、片外存储单元，4、视频信号实时解码模块，5、视频解码信号显示处理模块，6、互联缓存模块，7、互联缓存模块输入DMA，8、互联缓存模块输出DMA，9、互联缓存模块缓存单元，10、AHB或AXI总线。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

实施例：

一种视频解码模块(4)与视频显示处理模块(5)的互联缓存结构设计方法，压缩视频数据输入到视频解码模块(4)，解码后的解码数据输入到互联缓存模块(6)，视频显示处理模块(5)从互联缓存模块(6)读出并处理解码数据，输出视频显示数据；当视频解码与显示处理速度一致时，对1080p视频解码能够以最大89.5KB的缓存容量建立视频解码与显示处理的动态存取平衡，从而减少芯片设计中数据存取带宽，增强系统实时处理能力，减少芯片由于实时播放视频性能不够而产生画面抖动、闪烁的可能性。

视频解码模块(4)与视频显示处理模块(5)直接通过互联缓存模块(6)一对一连接，N个视频解码模块(4)需要通过N个互联缓存模块(6)与N个显示处理模块(5)对应连接。

所述的互联缓存模块(6)具有输入接口DMA(7)，能够接收视频解码模块(4)标准总线给出的数据；具有输出接口DMA(8)，能够以标准总线协议输出数据给显示处理模块(5)。

所述的互联缓存模块的内部缓存单元(9)具有一读一写端口，及相应控制端口，能够同时进行读写，对应于1080p解码容量最大为89.5KByte。

图1中，外设(1)数据通过存储单元控制器(2)存储到片外存储单元(3)，再经由(2)从(3)读回到视频解码模块(4)，进行视频解码。视频解码数据通过(2)再次转存到(3)，当需要进行显示处理时，由视频显示处理模块(5)经过(2)再次读入。(4)和(5)之间的数据交换不直接进行，而是通过(2)和(3)的转存间接进行，芯片数据带宽较大。

图2中，外设(1)数据通过存储单元控制器(2)存储到片外存储单元(3)，再经由(2)从(3)读回到视频解码模块(4)，进行视频解码。与图1不同的是，(4)和(5)之间的数据交换不再通过(2)和(3)的转存间接进行，而是通过互联缓存模块(6)直接进行数据交换，从而减少了(5)从(3)读取解码数据的数据带宽。

图3中，互联缓存模块(6)的数据存储模型。对于带宽要求最高的视频1080p实时解码，其容量为89.5KB，即(1920/16+113)*1.5＝349.5个MB，能够满足1080p解码(4)与(5)数据交换的动态存取平衡。

图4中，(7)通过(10)与具有AHB或AXI标准总线接口的(4)相连，写入视频解码数据至(9)。(8)通过(10)与具有标准总线接口的(5)相连，从(9)中读出视频解码数据。

Claims (4)

1.一种视频解码模块与视频显示处理模块的互联缓存结构设计方法，其特征是：压缩视频数据输入到视频解码模块，解码后的解码数据输入到互联缓存模块，视频显示处理模块从互联缓存模块读出并处理解码数据，输出视频显示数据；当视频解码与显示处理速度一致时，对1080p视频解码能够以最大89.5KB的缓存容量建立视频解码与显示处理的动态存取平衡，从而减少芯片设计中数据存取带宽，增强系统实时处理能力，减少芯片由于实时播放视频性能不够而产生画面抖动、闪烁的可能性。

2.根据权利要求1所述的一种视频解码模块与视频显示处理模块的互联缓存结构设计方法，其特征是：视频解码模块与视频显示处理模块直接通过互联缓存模块一对一连接，N个视频解码模块需要通过N个互联缓存模块与N个显示处理模块对应连接。

3.根据权利要求1所述的一种视频解码模块与视频显示处理模块的互联缓存结构设计方法，其特征是：所述的互联缓存模块具有输入接口DMA，能够接收视频解码模块标准总线给出的数据，具有输出接口DMA，能够以标准总线协议输出数据给显示处理模块。

4.根据权利要求1所述的一种视频解码模块与视频显示处理模块的互联缓存结构设计方法，其特征是：所述的互联缓存模块的内部缓存模块具有一读一写端口，及相应控制端口，能够同时进行读写，对应于1080p解码容量最大为89.5KByte。

Images