CN111708621B - 一种基于多线程并行处理的Pattern文件的显示方法 - Google Patents

Abstract

本发明提供了一种基于多线程并行处理的Pattern文件的显示方法，所述Pattern文件包括若干行数据，将所述Pattern文件的数据全部读入内存，读入过程中将所述数据分成多个数据块，根据需要选择对应的所述数据块打开并显示；将所述Pattern文件的数据全部读入内存具体为：建立至少4个线程，所述线程包括数据读取操作线程、数据预处理操作线程、数据解析和分块操作线程、数据打包操作线程，多个线程并行执行，每行数据按照顺序依次执行每个线程。本发明采用多线程流水线工作方式，各个线程协同合作对Pattern文件进行读写、数据解析、数据分块和数据块的打包。

Description

一种基于多线程并行处理的Pattern文件的显示方法

技术领域

本发明涉及半导体芯片自动化测试技术领域，具体涉及一种基于多线程并行处理的Pattern文件的显示方法。

背景技术

目前在半导体芯片自动化测试中会大量使用Pattern文件进行芯片功能测试，Pattern文件是芯片在设计阶段仿真用的配置文件，在测试过程中会对Pattern文件进行修改和调试。

传统的方案是使用文本工具或者ATE厂商开发的Pattern编辑工具进行编辑和调试，随着芯片功能越来越多，需要测试的项目也越来越多，会造成Pattern文件越来越大，目前有些Pattern的文件的大小已经突破5GB，Pattern文件的数据行数超过千万行。传统的方案已经无法满足超大Pattern的编辑功能需求。主要表现在打开和保存Pattern文件时间过长，打开Pattern文件后占用的内存过大，显示和编辑性能低下。

发明内容

本发明的目的就是针对现有技术的缺陷，提供一种基于多线程并行处理的Pattern文件的显示方法，采用多线程流水线工作方式，各个线程协同合作对Pattern文件进行读写、数据解析、数据分块和数据块的打包。

本发明提供了一种基于多线程并行处理的Pattern文件的显示方法，所述Pattern文件包括若干行数据，其特征在于：

将所述Pattern文件的数据全部读入内存，读入过程中将所述数据分成多个数据块，根据需要选择对应的所述数据块打开并显示；将所述Pattern文件的数据全部读入内存具体为：

建立至少4个线程，所述线程依次包括数据读取操作线程、数据预处理操作线程、数据解析和分块操作线程、数据打包操作线程，多个线程并行执行，每行数据按照顺序依次执行每个线程。

上述技术方案，所述多个数据块以列表的形式显示在UI画面导航栏。

上述技术方案，所述数据读取操作线程、数据预处理操作线程、数据解析和分块操作线程中的任意一线程处理完一行数据，则将该行数据存放到对应线程的交换队列中并通知下一线程处理所述对应线程的交换队列中的该行数据，所述任意一线程继续处理下一行数据，当所述任意一线程处理完所有数据则通知下一线程处理完成并退出；

所述数据打包操作线程根据数据解析和分块操作线程的通知内容，对由数据解析和分块操作线程存入“数据”队列中的数据块进行打包，并将打包后的数据块存回“数据”队列中，删除对应的原数据块；当数据打包操作线程收到数据解析和分块操作线程的解析数据完成通知且“数据”队列中的数据块全部打包完成则退出。

上述技术方案，预处理过程包括：删除Pattern数据中的备注数据、Pattern数据后面的空格和空行数据以生成有效的数据后。

上述技术方案，所述数据解析和分块操作包括：将Pattern数据解析成便于显示和编辑的数据结构保存到内存中，对所述内存中预设数量的多行数据组合成一个数据块，

上述技术方案，还包括对显示的数据块进行编辑和将编辑后的数据块存回到内存数据结构中，具体为，

将编辑后的数据块存回到内存数据结构中；打包内存数据结构中的Pattern数据块为新的数据块；用新的数据块替换掉原始数据块。

上述技术方案，还包括将内存数据结构中的数据块存回数据文件中，具体包括：建立至少3个线程，所述线程包括新数据块解包操作线程、新数据块组装操作线程、新数据块写入文件操作线程；多个线程并行执行，每个数据块按照顺序依次执行每个线程。

上述技术方案，所述新数据块解包操作线程、新数据块组装操作线程中的任意一线程处理完一个数据块，则将该数据块对应的数据存放到对应线程的交换队列中并通知下一线程处理所述对应线程的交换队列中的该数据，所述任意一线程继续处理下一个数据块，当所述任意一线程处理完所有数据块则通知下一线程处理完成并退出；

所述新数据块写入文件操作线程根据新数据块组装操作线程的通知内容，将新数据块组装操作线程存入“写数据”队列中的数据写入文件中；当新数据块写入文件操作线程收到新数据块组装操作线程的组装数据完成通知且“写数据”队列中的数据处理完成则退出。

上述技术方案，所述新数据解包操作包括：将数据块解包到内存数据结构中，并将解包后的Pattern数据加入到“解包”交换队列中。

上述技术方案，所述新数据组装操作包括：将解包后的数据组装成格式化的文本Pattern数据，并将格式化的文本Pattern数据放到“写数据”交换队列中。

为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于多线程并行处理的Pattern文件的显示程序，所述基于多线程并行处理的Pattern文件的显示程序被处理器执行时实现如上所述的基于多线程并行处理的Pattern文件的显示方法的步骤。

本发明通过4线程协同工作大大提高超大Pattern文件的打开速度，使用优化算法协调4线程协同工作，使每个线程工作负载均衡，最大程度的提升各个线程的工作效率，发挥多核CPU的并行处理优势，在打开文件的同时完成数据解析、分块和打包，将文件的打开速度提升到硬盘的最大读取速度。在文件打开的时候使用精确的读取文件进度条来改善用户使用体验。

本发明通过对Pattern数据的解析、分块和打包，每次显示和编辑一个数据包的Pattern数据(2048行)，通过数据块导航栏导航到当前数据块，解包数据块的Pattern数据到内存中，然后显示到UI界面，比起显示和编辑全部的Pattern数据效率有很大的提升。对编辑后的数据块进行打包，打包后的新数据块将替换掉原有数据块，Pattern数据以打包后的数据块保存在内存中能大大减少内存的占用。

本发明通过3线程协同工作大大提高超大Pattern文件的保存速度。使用优化算法协调3线程协同工作，使每个线程工作负载均衡，最大程度的提升各个线程的工作效率，发挥多核CPU的并行处理优势，在写入文件的同时完成数据解包和组装，将文件的写入速度提升到硬盘的最大写入速度。在文件保存的时候使用精确的写入文件进度条来改善用户使用体验。

本发明能够将超大Pattern文件的打开和保存速度提高到硬盘的读写速度，对于数据的解析和数据的组装可以忽略不计，相比传统的方案打开和保存速度提升了4倍。Pattern数据分块打包后保存到内存中，大大提高数据显示和编辑的性能，内存占用只有原来Pattern文件大小的十分之一，大大减少了内存的占用。

附图说明

图1是本发明实施例中软件打开Pattern文件的流程图

图2是本发明实施例中软件编辑Pattern数据的流程图

图3是本发明实施例中软件保存Pattern文件的流程图

图4是本发明实施例中线程2操作示意图

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。

图1是打开Pattern文件的流程图，其过程包括以下步骤：

S10：创建3个队列，一个是“读数据”交换队列，一个是“预处理”交换队列，一个是“数据”队列。创建3个数据处理通知事件，一个是“预处理”通知事件，一个是“分块”通知事件，一个是“打包”通知事件。创建3个处理结束通知事件，一个是“读数据”结束通知事件，一个是“预处理”结束通知事件，一个是“分块”结束通知事件。创建4个线程，一个是数据读取操作线程(线程1)，一个是数据预处理操作线程(线程2)，一个数据解析和分块操作线程(线程3)，一个是数据打包操作线程(线程4)。

S11：线程1读取Pattern的数据。

线程1从文件开始按照行来读取Pattern数据，每读取一行数据，将数据放到“读数据”交换队列中，并激活“预处理”通知事件通知线程2处理“读数据”交换队列中的该行数据。如果文件读取完最后一行后激活“读数据”结束通知事件，通知线程2Pattern数据读取完成，同时线程1关闭Pattern文件后退出。

S12：线程2对Pattern的数据进行预处理。

线程2等待“预处理”通知事件，如果收到“预处理”通知，从“读数据”交换队列中取出第一个Pattern数据，并将该数据从“读数据”交换队列中删除。线程2对Pattern数据进行预处理：

第一步去掉备注数据，其中Pattern数据中“//”开始都是备注数据，去掉备注数据后的数据如图4所示。

第二步去掉数据的前后空格，如果Pattern数据是空直接丢弃，如果Pattern数据不是空，将Pattern数据添加到“预处理”交换队列，并激活“分块”通知事件通知线程3处理“预处理”交换队列中的数据。线程2依次处理完“读数据”交换队列中的数据，并判断是否收到“读数据”结束通知事件：如果没有收到就继续等待“预处理”通知事件，如果收到就激活“预处理”结束通知事件，通知线程3Pattern数据预处理完成，同时线程2退出。

S13：线程3对Pattern的数据进行解析和分块。

线程3申请一个数据块，数据块的代码如下：

其中BlockNo为数据数据块的编号，DataBuf为打包后二进制数据，数据大小是原文本数据的十分之一，DataList打包前或者解包后的文本数据列表，可以直接编辑和显示。

线程3对“预处理”交换队列中数据进行解析和分包，对文本的Pattern数据解析成便于显示和编辑的数据结构保存到内存中。线程3等待“分块”通知事件，如果收到“分块”通知，从“预处理”交换队列中取出第一个Pattern数据，并将该数据从“预处理”交换队列中删除。线程3将Pattern数据添加到数据块的DataList中，如果数据块的DataList个数小于2048行，继续从“预处理”交换队列中读取Pattern数据放到数据块的DataList中，如果数据块的DataList个数等于2048行，将数据块添加到“数据”队列，并激活“打包”通知事件通知“打包”线程处理“数据”队列中的数据块。线程3重新申请一个数据块，依次处理完“预处理”交换队列中的数据，判断是否收到“预处理”结束通知事件，如果没有收到就继续等待“分块”通知事件，如果收到就激活“分块”结束通知事件，通知线程4Pattern数据分块完成，同时“分块”线程退出。

S14：线程4对分块的数据进行打包。

线程4对“数据”队列中的数据块进行打包，使用自研的打包算法对数据块进行打包，打包后减少数据的内存占用量，同时降低打包所消耗的时间。线程4设定打包队列索引为0，线程4等待“打包”通知事件，如果收到“打包”通知，根据打包队列索引从“数据”队列中获取对应的数据块，将数据块中的DataList文本数据打包成二进制数据保存到DataBuf中，并删除DataList中的所有文本数据，打包队列索引加一。依次处理完“数据”队列中的数据块，判断是否收到“分块”结束通知事件，如果没有收到就继续等待“打包”通知事件，如果收到就退出线程4。

所有线程完成处理完成后打开Pattern文件就处理完成。Pattern数据以数据块队列的形式保存在内存中，每个数据块保存的打包后的二进制数据，数据解包后以文本的形式保存在列表中，数据最大行数是2048行

图2是Pattern数据编辑的流程图，其过程包括以下步骤：

S21：移动到要编辑Pattern数据对应的数据块。

Pattern文件打开后，默认显示第一个数据块，UI画面有数据块导航栏，可以通过导航栏移动到任意的数据块。

S22：解包当前数据块的数据到内存数据结构中。

S23：将内存数据结构中的Pattern数据显示到UI画面。

S24：编辑完成，将编辑后的Pattern数据保存到内存数据结构中。

S25:打包内存数据结构中的Pattern数据块为新的数据块。

S26：用新数据块替换掉原数据块。

图3是保存Pattern文件的流程图，其过程包括以下步骤：

S30:创建2个队列，一个是“解包”交换队列，一个是“写数据”交换队列。创建2个数据处理通知事件，一个是“组装”通知事件，一个是“写数据”通知事件。创建2个处理结束通知事件，一个是“解包”结束通知事件，一个是“组装”结束通知事件。创建3个线程，一个是新数据块解包操作线程(线程a)，一个是新数据块组装操作线程(线程b)，一个是新数据块写入文件操作线程(线程c)

S31：线程a解包数据块。

线程a从“数据”队列中第一个数据块开始解包，将数据块解包到内存数据结构中，将解包后的Pattern数据依次加入到“解包”交换队列中，并激活“组装”通知事件通知线程b处理“解包”交换队列中的数据的对应的Pattern数据。如果“数据”队列中的数据块全部解包完成，激活“解包”结束通知事件，通知线程b，Pattern数据解包完成，同时线程a退出。

S32：线程b对数据进行组装。

线程b收到“组装”通知，从“解包”交换队列中的取出第一个数据进行组装并将该数据从“解包”交换队列中删除。线程b主要是将数据结构中的Pattern数据组装成格式化的文本Pattern数据，将格式化的文本Pattern数据放到“写数据”交换队列中，并激活“写数据”通知事件通知，线程c处理“写数据”交换队列中的数据。线程b依次处理完“解包”交换队列中的数据，判断是否收到“解包”结束通知事件，如果没有收到就继续等待“组装”通知事件，如果收到就激活“组装”结束通知事件，通知“线程c，Pattern数据组装完成，同时线程b退出。

S33：线程c写Pattern数据到文件。

线程c收到“写数据”通知，对“写数据”交换队列中的文本数据依次按行写入文件中。如果收到线程b的组装数据完成通知，将“写数据”队列中的数据处理完成后退出。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (9)

1.一种基于多线程并行处理的Pattern文件的显示方法，所述Pattern文件包括若干行数据，其特征在于：

将所述Pattern文件的数据全部读入内存，读入过程中将所述数据分成多个数据块，根据需要选择对应的所述数据块打开并显示；将所述Pattern文件的数据全部读入内存具体为：

建立至少4个线程，所述线程依次包括数据读取操作线程、数据预处理操作线程、数据解析和分块操作线程、数据打包操作线程，多个线程并行执行，每行数据按照顺序依次执行每个线程；

所述数据预处理操作包括：删除Pattern数据中的备注数据、Pattern数据后面的空格和空行数据以生成有效的数据；

所述数据解析和分块操作包括：将Pattern数据解析成数据结构保存到内存中，将所述内存中多行数据组合成一个数据块。

2.根据权利要求1所述的基于多线程并行处理的Pattern文件的显示方法，其特征在于所述多个数据块以列表的形式显示在UI画面导航栏。

3.根据权利要求1所述的基于多线程并行处理的Pattern文件的显示方法，其特征在于：所述数据读取操作线程、数据预处理操作线程、数据解析和分块操作线程中的任意一线程处理完一行数据，则将该行数据存放到对应线程的交换队列中并通知下一线程处理所述对应线程的交换队列中的该行数据，所述任意一线程继续处理下一行数据，当所述任意一线程处理完所有数据则通知下一线程处理完成并退出；

所述数据打包操作线程根据数据解析和分块操作线程的通知内容，对由数据解析和分块操作线程存入“数据”队列中的数据块进行打包，并将打包后的数据块存回“数据”队列中，删除对应的原数据块；当数据打包操作线程收到数据解析和分块操作线程的解析数据完成通知且“数据”队列中的数据块全部打包完成则退出。

4.根据权利要求1所述的基于多线程并行处理的Pattern文件的显示方法，其特征在于所述数据解析和分块操作包括：将Pattern数据解析成便于显示和编辑的数据结构保存到内存中，对所述内存中预设数量的多行数据组合成一个数据块。

5.根据权利要求1所述的基于多线程并行处理的Pattern文件的显示方法，其特征在于还包括对显示的数据块进行编辑和将编辑后的数据块存回到内存数据结构中，具体为，

将编辑后的数据块存回到内存数据结构中；打包内存数据结构中的Pattern数据块为新的数据块；用新的数据块替换掉原始数据块。

6.根据权利要求5所述的基于多线程并行处理的Pattern文件的显示方法，其特征在于，还包括将内存数据结构中的数据块存回数据文件中，具体包括：建立至少3个线程，所述线程包括新数据块解包操作线程、新数据块组装操作线程、新数据块写入文件操作线程；多个线程并行执行，每个数据块按照顺序依次执行每个线程；

所述解包操作包括：将数据块解包到内存数据结构中；

所述组装操作包括：将解包后的数据组装成格式化的文本Pattern数据。

7.根据权利要求6所述的基于多线程并行处理的Pattern文件的显示方法，其特征在于所述新数据块解包操作线程、新数据块组装操作线程中的任意一线程处理完一个数据块，则将该数据块对应的数据存放到对应线程的交换队列中并通知下一线程处理所述对应线程的交换队列中的该数据，所述任意一线程继续处理下一个数据块，当所述任意一线程处理完所有数据块则通知下一线程处理完成并退出；

所述新数据块写入文件操作线程根据新数据块组装操作线程的通知内容，将新数据块组装操作线程存入“写数据”队列中的数据写入文件中；当新数据块写入文件操作线程收到新数据块组装操作线程的组装数据完成通知且“写数据”队列中的数据处理完成则退出。

8.根据权利要求6所述的基于多线程并行处理的Pattern文件的显示方法，其特征在于所述解包操作还包括：将解包后的Pattern数据加入到“解包”交换队列中。

9.根据权利要求6所述的基于多线程并行处理的Pattern文件的显示方法，其特征在于所述组装操作还包括：并将格式化的文本Pattern数据放到“写数据”交换队列中。