CN105740196A - 高速串行发送数据预处理方法和系统 - Google Patents

Abstract

本发明涉及一种高速串行发送数据预处理方法和系统，其中所述方法包括以下步骤：获取标准并行视频格式的低速并行数据；利用LZW压缩算法对所述低速并行数据进行无损压缩，得到所述低速并行数据对应的编码数据；存储所述编码数据并判断当前存储的编码数据的数据量是否达到阈值，若是，则读取已存储的编码数据；对读取到的编码数据进行并转串处理，获得所述低速并行数据对应的高速串行发送数据。本发明所提出的高速串行发送数据预处理方法和系统利用LZW压缩算法对低速并行数据进行无损压缩，降低了利用高速串行接口传输数据时对通信带宽的需求，同时降低数据传输对硬件系统的要求，从而减少了高速串行电路中的信号完整性问题，提高了通信系统的稳定性。

Description

高速串行发送数据预处理方法和系统

技术领域

本发明涉及数据传输技术领域，特别是涉及一种高速串行发送数据预处理方法和系统。

背景技术

随着对信息流量需求的不断增长，传统并行接口技术成为进一步提高数据传输速率的瓶颈，而高速串行接口正在取代传统并行总线而成为高速接口技术的主流，开辟了更为广阔的应用前景。高速串行接口是一种时分多路复用(TDM)、点对点的通信技术，即在发送端将多路低速并行信号被转换成高速串行信号，经过传输媒体(光缆或铜线)，最后在接收端高速串行信号重新被转换成低速并行信号。这种常用于芯片至芯片、电路板至电路板之间的点对点的串行通信技术充分利用传输媒体的信道容量，减少了所需的传输信道数目和器件引脚数目，从而大大降低通信成本。目前通信速率从3.125Gbp/s到12.5Gbp/s的串行收发器产品为当前高速串行接口标准的主流。

然而，随着高速串行通信速率的提高，通信速率越高，所带来的技术风险和器件成本也更高，例如在PCB设计与调试中会面临更复杂的信号完整性的问题，如果不能很好地处理好信号完整性的问题，将会直接影响数据的准确发送与接收，降低系统稳定性，使产品失效；同时速度等级更高的高速串行收发器件也增加了芯片的成本。因此，如何利用高速串行接口实现无损的数据或信号传输，保证高速串行通信速率的同时，提高信号的完整性，是本领域技术人员克服传统并行接口数据传输速率瓶颈所亟需解决的问题。

发明内容

基于此，有必要针对如何利用高速串行接口实现无损的数据或信号传输，保证高速串行通信速率的同时，提高信号的完整性的问题，提供一种高速串行发送数据预处理方法和系统。

为解决上述技术问题，本发明采取如下的技术方案：

一种高速串行发送数据预处理方法，所述方法包括以下步骤：

获取标准并行视频格式的低速并行数据；

利用LZW压缩算法对所述低速并行数据进行无损压缩，得到所述低速并行数据对应的编码数据；

存储所述编码数据并判断当前存储的编码数据的数据量是否达到阈值，若是，则读取已存储的编码数据；

对读取到的编码数据进行并转串处理，获得所述低速并行数据对应的高速串行发送数据。

相应地，本发明还提出一种高速串行发送数据预处理系统，所述系统包括：

获取模块，用于获取标准并行视频格式的低速并行数据；

LZW压缩处理模块，用于利用LZW压缩算法对所述低速并行数据进行无损压缩，得到所述低速并行数据对应的编码数据；

缓存模块，用于存储所述编码数据并判断当前存储的编码数据的数据量是否达到阈值；

读取缓存控制模块，用于在当前存储的编码数据的数据量达到阈值时读取已存储的编码数据；

数据串行化模块，用于对读取到的编码数据进行并转串处理，获得所述低速并行数据对应的高速串行发送数据。

上述高速串行发送数据预处理方法和系统针对高速串行接口的实际应用，利用LZW压缩算法对低速并行数据进行无损压缩，降低了利用高速串行接口传输数据时对通信带宽的需求，实现用较低的通信带宽传输更大的数据量，同时降低数据传输对硬件系统的要求，从而减少了高速串行电路中的信号完整性问题，提高了通信系统的稳定性。

附图说明

图1为本发明其中一个实施例中高速串行发送数据预处理方法的流程示意图；

图2为本发明其中一个具体实施方式中利用LZW压缩算法对低速并行数据进行无损压缩的流程示意图；

图3为本发明其中一个实施例中高速串行发送数据预处理系统的结构示意图；

图4为本发明另一个实施例中高速串行发送数据预处理系统的结构示意图。

具体实施方式

下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。

在其中一个实施例中，参见图1所示，一种高速串行发送数据预处理方法，所述方法包括以下步骤：

S100获取标准并行视频格式的低速并行数据。

在S100步骤中，获取标准并行视频格式的低速并行数据，其中，标准并行视频格式包括场同步信号、行同步信号、数据有效标志信号以及视频数据等。

S110利用LZW压缩算法对所述低速并行数据进行无损压缩，得到所述低速并行数据对应的编码数据。

LZW压缩格式叫做“无陨”数据压缩格式，即尽管数据得到压缩，但解压后的数据与原文件完全一样。LZW压缩算法由TerrvWelch在1984年开发，该压缩算法的基本原理：提取原始文本文件数据中的不同字符，基于这些字符创建一个字典库，然后用字典库中的字符的索引来替代原始文本文件数据中的相应字符，从而减少原始数据大小。LZW压缩算法属于字典编码，根据数据本身包含重复代码的特性，用前面已经出现过的字符串的代码来代替后面相同字符串的内容，从而实现数据压缩。一般情况下，LZW压缩算法适用于文本压缩，还能用于图像数据。常用的两种文件压缩格式——GIF和TIFF图像格式，都是基于LZW压缩算法实现的。LZW压缩算法编码是围绕一张转换表完成的，该转换表可以称为“串表"(StringTable)，放入串表的每一个字符串(表项)都对应一个代码(CodeWord)。实际上串表是把8位ASCII字符集进行扩充，用来表示文本或图像数据中出现的字符串(可变长字符)，可以将这些字符串理解为ASCII字符集中新增加的字符，扩充后的ASCII字符集可用9位、10位、11位、12位甚至更多位来表示。例如，若每个字符串用12位表示，可以有4096个不同的12位代码。这就是说，串表有4096个字符串，其中256个表项用来存放已定义的字符(ASCII码)，剩下3840个表项用来存放前缀。

作为一种利用LZW压缩算法对获取到的低速并行数据进行无损压缩的可选的实施方式，如图2所示为利用LZW压缩算法对获取到的低速并行数据进行无损压缩的流程示意图，具体地，

程序初始化后，读取低速并行数据的字符并形成新串；判断新串是否已在串表之中；若新串已在串表中，则用前缀代替新串，输出数据，并判断串表是否为满；若新串不在串表中，则将新串加入到串表中，并输出前缀码，用输出的前缀代替当前字符，输出数据，并判断串表是否为满；

当判断串表为满时，则丢弃现有的编码数据，即删除当前压缩得到的编码数据，返回程序初始化步骤，重新对下一输入的低速并行数据进行压缩；

当判断串表不为满时，则输出数据流；

判断数据流是否完成，若是，则结束压缩编码，否则继续读取输入的低速并行数据的字符。

作为一种具体的实施方式，根据图2可知，利用LZW压缩算法对低速并行数据进行无损压缩时，实时检测无损压缩时生成的串表是否为满，如果是，则删除使串表满的编码数据，该编码数据是指读取字符并形成新串后，将该新串加入到串表中而导致串表满时读取的字符所对应的编码数据。通过对利用LZW压缩算法对低速并行数据进行无损压缩时串表是否为满的实时检测，能够及时发现压缩过程中压缩效果不符合要求的数据，通过剔除这些数据保证了对高速串行发送数据进行预处理时的压缩效率，有利于进一步降低数据传输所需的通信带宽，而且对个别低速并行数据的剔除完全不会影响接收端对数据的解码，即不会影响解码后视频数据的显示效果，因此在保证数据完整性的同时提高了传输效率。

S120存储所述编码数据并判断当前存储的编码数据的数据量是否达到阈值，若是，则读取已存储的编码数据。

利用LZW压缩算法对低速并行数据进行无损压缩，得到低速并行数据对应的编码数据后，将得到的编码数据实时存储，同时判断当前存储的编码数据的数据量是否达到阈值，若当前存储的编码数据的数据量达到阈值，则读取已存储的编码数据，其中用于判断当前存储的编码数据的数据量的阈值可以由用户根据存储模块的实际情况进行设定。

作为一种具体的实施方式，判断当前存储的编码数据的数据量是否达到阈值时，其中的阈值为存储深度的二分之一，该存储深度为存储编码数据的存储器或者缓存模块的存储深度。相比较于实时读取已存储数据的方法，本实施方式通过判断当前存储的编码数据的数据量是否达到小于存储器或者缓存模块的存储深度的某一值，例如存储深度的二分之一，保证了存储器或者缓存模块不会频繁出现将空或者将满的情况，从而最大程度地提高了存储器或者缓存模块的利用效率，同时降低了系统的负荷。

作为一种具体的实施方式，当前存储的编码数据的数据量达到阈值时，读取预设固定数据量的已存储的编码数据。在本实施方式中，当判断当前存储的编码数据的数据量达到阈值，读取已存储的编码数据时，读取的是预设固定数据量的已存储的编码数据，其中预设固定数据量可以根据实际应用进行设定。通过每次读取预设固定数据量的编码数据，即固定每次读取编码数据的数据量，不仅在控制方法上容易实现，而且由于避免了每次读取的数据量可能不同的情况发生，因而提高了系统数据处理的稳定性。

S130对读取到的编码数据进行并转串处理，获得所述低速并行数据对应的高速串行发送数据。

在步骤S130中，对读取到的编码数据进行并转串处理时，可以利用专用串行化电路实现，将读取到的编码数据转换成串行数据流，最终通过高速串行发送电路发送所述串行数据流，从而实现数据的高速串行输出，其中，高速串行发送电路可以是用FPGA的IP核实现的高速发送器或者串行高速收发器专用芯片。

上述高速串行发送数据预处理方法针对高速串行接口的实际应用，利用LZW压缩算法对低速并行数据进行无损压缩，降低了利用高速串行接口传输数据时对通信带宽的需求，实现用较低的通信带宽传输更大的数据量，同时降低数据传输对硬件系统的要求，从而减少了高速串行电路中的信号完整性问题，提高了通信系统的稳定性。为更进一步说明本发明所提出的高速串行发送数据预处理方法的有效性，这里以通信带宽是3.125Gbp/s为例，假设传输RGB888格式的1080P60Hz的视频数据所需带宽为3.48Gbp/s，用通信带宽为3.125Gbp/s的高速串行发送电路明显因为带宽不足而不能正确地传输RGB888格式的视频数据，而目前如果想要满足上述传输需求，就必须将高速串行发送电路的通信带宽升级为6.25Gbp/s，由此将导致由于传输更高速信号所带来的复杂的电路信号完整性问题、系统稳定性下降的风险以及电路升级所带来的成本增加。在本发明所提出的高速串行发送数据预处理方法中，其中LZW压缩算法的压缩率能达到50％以下，最大可达到33％的压缩率，即经过LZW压缩后的数据量为原始数据量的1/3到1/2，因此传输RGB888格式的1080P60Hz的视频数据经过LZW压缩后的带宽应该在1.16Gbp/s-1.74Gbp/s之间，而这样的数据带宽完全可以用通信带宽为3.125Gbp/s的高速串行发送电路进行传输，并且留有设计余量，从而实现了用较低的通信带宽传输更高的数据率。

作为一种具体的实施方式，利用外部存储器存储编码数据。外部存储器具有容量大、价格低、断电后仍能保存数据等特点，因此本实施方式利用外部存储器存储对低速并行数据进行无损压缩后得到的编码数据，能够有效保存编码数据，防止数据丢失。

作为一种具体的实施方式，外部存储器为双倍速率同步动态随机存储器或者静态随机存取存储器。双倍速率同步动态随机存储器(DoubleDataRateSynchronousDynamicRandomAccessMemory，DDRSDRAM)能够在时钟的上升期和下降期各传输一次数据，因此数据传输率更高，而静态随机存取存储器(StaticRandomAccessMemory，SRAM)不需要刷新电路即能保存它内部存储的数据，因此功耗更小。

同时，本发明还提出一种高速串行发送数据预处理系统，在其中一个实施例中，参见图3，高速串行发送数据预处理系统包括：

获取模块300，用于获取标准并行视频格式的低速并行数据；

LZW压缩处理模块310，用于利用LZW压缩算法对所述低速并行数据进行无损压缩，得到所述低速并行数据对应的编码数据；

缓存模块320，用于存储所述编码数据并判断当前存储的编码数据的数据量是否达到阈值；

读取缓存控制模块330，用于在当前存储的编码数据的数据量达到阈值时读取已存储的编码数据；

数据串行化模块340，用于对读取到的编码数据进行并转串处理，获得所述低速并行数据对应的高速串行发送数据。

具体地，获取模块300获取标准并行视频格式的低速并行数据，其中，标准并行视频格式包括场同步信号、行同步信号、数据有效标志信号以及视频数据等，获取模块300将获取到的低速并行数据实时发送给LZW压缩处理模块310；LZW压缩处理模块310实时接收获取模块300发送的低速并行数据，利用LZW压缩算法对低速并行数据进行无损压缩，得到低速并行数据对应的编码数据，并将编码数据输出至缓存模块320；缓存模块320存储LZW压缩处理模块310输出的编码数据，并判断当前存储的编码数据的数据量是否达到阈值，若是，则生成并输出读请求信号至读取缓存控制模块330，其中用于判断当前存储的编码数据的数据量的阈值可以由用户根据存储模块的实际情况进行设定，例如设定阈值为缓存模块320的存储深度的二分之一；读取缓存控制模块330实时监测并接收缓存模块320输出的读请求信号，如果该信号被触发为有效，读取缓存控制模块330将从缓存模块320读取已存储的编码数据并将读取到的编码数据发送至数据串行化模块340，作为一种可选的实施方式，读取缓存控制模块330每次读取预设固定数据量的已存储的编码数据，其中预设固定数据量可以根据实际应用进行设定；数据串行化模块340对读取缓存控制模块330发送的编码数据进行并转串处理，例如利用专用串行化电路进行并转串处理，得到串行数据流，最终通过高速串行发送电路发送所述串行数据流，从而实现数据的高速串行输出，其中，高速串行发送电路可以是用FPGA的IP核实现的高速发送器或者串行高速收发器专用芯片。

上述高速串行发送数据预处理系统针对高速串行接口的实际应用，利用LZW压缩算法对低速并行数据进行无损压缩，降低了利用高速串行接口传输数据时对通信带宽的需求，实现用较低的通信带宽传输更大的数据量，同时降低数据传输对硬件系统的要求，从而减少了高速串行电路中的信号完整性问题，提高了通信系统的稳定性。与高速串行发送数据预处理方法相对应的，本发明所提出的高速串行发送数据预处理系统通过对高速串行发送数据的预处理而利于实现用较低的通信带宽传输更高的数据率。

在另一个实施例中，参见图4所示，高速串行发送数据预处理系统还包括实时检测LZW压缩处理模块进行无损压缩时生成的串表是否为满的监控与异常处理模块，监控与异常处理模块连接LZW压缩处理模块，当监控与异常处理模块检测到LZW压缩处理模块进行无损压缩时生成的串表为满时，监控与异常处理模块控制LZW压缩处理模块删除使串表满的编码数据。下面结合图2和图4对本实施例进行介绍，LZW压缩处理模块对输入的低速并行数据进行无损压缩时，向监控与异常处理模块实时发送状态信号(Status)，监控与异常处理模块根据LZW压缩处理模块发送的状态信号，判断当前正在进行无损压缩的LZW压缩处理模块是否发生串表满这一异常事件，若是，则监控与异常处理模块向LZW压缩处理模块发送初始化信号(Initialize)，从而控制LZW压缩处理模块重新初始化并删除使串表满的编码数据，该编码数据是指读取字符并形成新串后，将该新串加入到串表中而导致串表满时读取的字符所对应的编码数据；否则，LZW压缩处理模块正常进行下一输入数据的无损压缩及数据流输出。本实施例通过在高速串行发送数据预处理系统中设置监控与异常处理模块，实时检测LZW压缩处理模块在进行无损压缩时所生成的串表是否为满，能够及时发现压缩过程中压缩效果不符合要求的数据，通过剔除这些数据保证了对高速串行发送数据进行预处理时的压缩效率，有利于进一步降低数据传输所需的通信带宽，而且对个别低速并行数据的剔除完全不会影响接收端对数据的解码，即不会影响解码后视频数据的显示效果，因此在保证数据完整性的同时提高了传输效率。

作为一种具体的实施方式，利用外部存储器存储编码数据。外部存储器具有容量大、价格低、断电后仍能保存数据等特点，因此本实施方式利用外部存储器存储对低速并行数据进行无损压缩后得到的编码数据，能够有效保存编码数据，防止数据丢失。

作为一种具体的实施方式，外部存储器为双倍速率同步动态随机存储器或者静态随机存取存储器。双倍速率同步动态随机存储器(DoubleDataRateSynchronousDynamicRandomAccessMemory，DDRSDRAM)能够在时钟的上升期和下降期各传输一次数据，因此数据传输率更高，而静态随机存取存储器(StaticRandomAccessMemory，SRAM)不需要刷新电路即能保存它内部存储的数据，因此功耗更小。

由于高速串行发送数据预处理系统的其他技术特征与高速串行发送数据预处理方法部分的内容相同，故此处不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种高速串行发送数据预处理方法，其特征在于，包括以下步骤：

获取标准并行视频格式的低速并行数据；

利用LZW压缩算法对所述低速并行数据进行无损压缩，得到所述低速并行数据对应的编码数据；

存储所述编码数据并判断当前存储的编码数据的数据量是否达到阈值，若是，则读取已存储的编码数据；

对读取到的编码数据进行并转串处理，获得所述低速并行数据对应的高速串行发送数据。

2.根据权利要求1所述的高速串行发送数据预处理方法，其特征在于，

利用LZW压缩算法对所述低速并行数据进行无损压缩时，实时检测无损压缩时生成的串表是否为满，若是，则删除使串表满的编码数据。

3.根据权利要求1或2所述的高速串行发送数据预处理方法，其特征在于，

当前存储的编码数据的数据量达到阈值时，读取预设固定数据量的已存储的编码数据。

4.根据权利要求1或2所述的高速串行发送数据预处理方法，其特征在于，

所述阈值为存储深度的二分之一，所述存储深度为存储所述编码数据的存储器的存储深度。

5.根据权利要求1或2所述的高速串行发送数据预处理方法，其特征在于，

利用外部存储器存储所述编码数据。

6.根据权利要求5所述的高速串行发送数据预处理方法，其特征在于，

所述外部存储器为双倍速率同步动态随机存储器或者静态随机存取存储器。

7.一种高速串行发送数据预处理系统，其特征在于，包括：

获取模块，用于获取标准并行视频格式的低速并行数据；

LZW压缩处理模块，用于利用LZW压缩算法对所述低速并行数据进行无损压缩，得到所述低速并行数据对应的编码数据；

缓存模块，用于存储所述编码数据并判断当前存储的编码数据的数据量是否达到阈值；

读取缓存控制模块，用于在当前存储的编码数据的数据量达到阈值时读取已存储的编码数据；

数据串行化模块，用于对读取到的编码数据进行并转串处理，获得所述低速并行数据对应的高速串行发送数据。

8.根据权利要求7所述的高速串行发送数据预处理系统，其特征在于，还包括实时检测所述LZW压缩处理模块进行无损压缩时生成的串表是否为满的监控与异常处理模块，

所述监控与异常处理模块连接所述LZW压缩处理模块，

当所述监控与异常处理模块检测到所述LZW压缩处理模块进行无损压缩时生成的串表为满时，所述监控与异常处理模块控制所述LZW压缩处理模块删除使串表满的编码数据。

9.根据权利要求7或8所述的高速串行发送数据预处理系统，其特征在于，

所述缓存模块为外部存储器。

10.根据权利要求9所述的高速串行发送数据预处理系统，其特征在于，

所述外部存储器为双倍速率同步动态随机存储器或者静态随机存取存储器。