CN102681903B - 一种数据处理方法和系统 - Google Patents

Abstract

本发明提供一种数据处理方法，方法包括以下步骤：S0：获取待处理的超材料参数数据；S1：判断超材料参数数据是否全部处理完成，若是，程序结束，否则，转至S2；S2：载入N个超材料参数数据；S3：用N个线程，在人造微结构模板池中，分别为N个超材料参数数据寻找匹配的人造微结构模板；S4：分别将N个超材料参数数据应用于所匹配的人造微结构模板，得到N个人造微结构，并将N个人造微结构保存至实体数组；S5：将实体数组输出至一个标准文件中，转至S1。本发明还提供一种数据处理系统实现上述方法。本发明使用分批载入数据和多线程并行转换的方法，从根本上解决了现有方法处理大规模超材料数据存在的系统内存不足的问题。

Description

一种数据处理方法和系统

【技术领域】

本发明涉及一种数据处理方法，特别涉及一种大规模数据处理方法。 

【背景技术】

超材料是由一个个单元结构通过一定规则的排布构成的人造材料，每个单元结构由具有一定几何图案的人造微结构和用于固定人造微结构的自然材料构成。通过改变人造微结构的几何图案的形状和参数，例如由圆环形改变为矩形，例如改变长、宽、高、线宽等，都将改变每个单元结构所呈现的介电常数、磁导率以及损耗。这些单元结构都具有自己特定的电场或磁场响应特征，通过一定的排布规则，使得整体的超材料呈现出现有的自然界材料难以具有的电磁特性，具有广泛的应用前景。 

超材料结构模板数据是超材料单元模型的标准化建模系统所建立的针对具体应用的超材料结构实例，具有描述超材料单元结构特征的信息数据。 

由于超材料所具有的单元格数量在一些应用场合中高达千万、亿的数量级，因此超材料的设计复杂程度和计算量非常大，其大规模数据处理的级别要求是普通材料设计所不具备的数量级。如何将大规模的超材料设计数据转化成工业标准文件最终实现工业化生产，对现有的数据处理来说是一个巨大的难题。 

由于超材料的加工制作涉及电路板加工技术，电路板生产制造行业在加工制造中使用最通用最广泛的电路板加工文件的格式包括dxf-Drawing Exchange File(图形交换文件)和gerber文件。dxf是Autodesk公司开发的 用于AutoCAD与其它软件之间进行CAD数据交换的CAD数据文件格式,是一种基于矢量的ASCII文本格式，因此不同类型的计算机可通过交换dxf文件来达到交换图形的目的,由于dxf文件可读性好,用户可方便地对它进行修改,编程,达到从外部图形进行编辑,修改的目的。其作为基于CAD系统的加工信息文件而得到行业的广泛应用。gerber文件是一种国际标准的光绘格式文件,它包含RS-274-D和RS-274-X两种格式,它能够控制用于绘图的光束的状态，形状，粗细及在感光膜上具体的X,Y坐标感光，从而产生图像。 

在现有技术中，处理大规模数据的方法是将各种参数一次性输入内存，然后对输入的各种参数逐个进行处理，并将处理结果逐个写入dxf和gerber文件，整个转换过程都是串行处理，因此，这样的处理方法只能处理小规模数据，对于超大规模超材料数据的转化，对计算机内存的要求非常高，并且处理效率非常低。 

针对现有技术中的不足，利用多核CPU（central processing unit）和并行计算技术，可以有效的提高大规模超材料数据的处理能力，缩短计算和处理的时间，减少超材料研发过程的时间和资源成本。并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程。为利用并行计算，通常计算问题表现为以下特征：将一个大任务分离成离散独立的几个小任务；随时并及时地执行多个程序指令；多计算资源下解决问题的耗时要少于单个计算资源下的耗时。相对于串行计算，并行计算可以分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。在本发明中，多核CPU技术及并行计算技术的采用，使得对于大规模超材料数据的处理能力获得了相对于传统串行处理技术几倍 的提升，提供了一种具有广泛应用前景的数据处理方法。 

【发明内容】

本发明针对现有只能对小规模数据量进行转化，无法做到对大规模数据量处理，提供一种可以进行大规模数据处理方法。 

本发明提供一种数据处理方法，方法包括以下步骤： 

S0：获取待处理的超材料参数数据； 

S1：判断超材料参数数据是否全部处理完成，如果是，直接转至S6；否则，转至S2; 

S2：载入N个待处理的超材料参数数据，其中N为大于1的自然数； 

S3：使用多线程技术，用N个线程，在人造微结构模板池中，分别为N个超材料参数数据寻找匹配的人造微结构模板； 

S4：分别将N个超材料参数数据应用于所匹配的人造微结构模板，得到N个人造微结构，并将该N个人造微结构保存至实体数组； 

S5：将实体数组保存至工业标准文件中，转至S1； 

S6：程序结束。 

在本发明的优选实施方式中，多线程技术是指为每一批载入的N个超材料参数数据分配N个线程，每个线程处理一个超材料参数数据。 

在本发明的优选实施方式中，人造微结构模板池存储有多种人造微结构模板。 

在本发明的优选实施方式中，步骤S3以及S4由人造微结构模板池模块执行。 

在本发明的优选实施方式中，每个超材料参数数组均预设有映射到其中一个人造微结构模板的标记单元，从而实现匹配。 

在本发明的优选实施方式中，dxf文件为AC1006、AC1009、AC1012、AC1015、AC1018、AC1021、AC1024格式中的一种或几种。 

在本发明的优选实施方式中，gerber文件为RS-274X或RS-274-D格式。 

在本发明的优选实施方式中，人造微结构模板包括定义人造微结构为“I”字型的模板、定义人造微结构为圆型的模板。 

在本发明的优选实施方式中，超材料参数数据包括定义该超材料结构的长、宽、高、介电常数以及磁导率的数据。 

本发明还涉及一种数据处理系统，包括以下模块： 

数据获取模块：获取待处理的多个超材料参数数据； 

数据判断模块：与数据获取模块连接，用于判断多个超材料参数数据是否全部处理完成，如果是，程序结束；否则，转至数据载入模块; 

数据载入模块：与数据判断模块连接，用于从多个超材料参数数据中载入其中的N个，其中N为大于1的自然数； 

数据匹配模块：与数据载入模块连接，用于使用多线程技术，用N个线程，在人造微结构模板池中，分别为N个超材料参数数据寻找匹配的人造微结构模板； 

人造微结构模板池模块：与数据匹配模块连接，用于分别将N个超材料参数数据应用于所匹配的人造微结构模板，得到N个人造微结构，并将N个人造微结构保存至实体数组； 

数据转化模块：与人造微结构模板池模块连接，用于将实体数组保存至一个dxf或gerber文件中，转至数据判断模块。 

本发明针对现有技术的不足，使用分批载入数据和多线程并行转换的方法，从根本上解决了现有方法存在的系统内存不足的问题，极大地减少了系统内存的消耗，和提高了数据转换速度。 

【附图说明】

图1是本发明数据处理方法的流程图； 

图2是本发明数据处理系统中人造微结构模板池模块的结构框图。 

图3是本发明单个超材料参数数据的数据结构示意图。 

【具体实施方式】

下面结合附图和实施例对本发明进行详细说明。 

图1是本发明数据处理方法的流程图； 

参见图1，图1所示的数据处理方法包括以下步骤： 

S0：获取待处理的多个超材料参数数组数据； 

S1：判断超材料参数数组数据是否全部处理完成，如果是，直接转至S6；否则，转至S2。 

当步骤S0中的数据为0个即没有数据时，表明所有数据已经全部处理完成，否则判断为未完成。超材料参数数组包括多个定义超材料参数的数据，其结构如图3所示，包括定义人造微结构的长、宽、高的数据，还包括定义介电常数、磁导率的数据，每个超材料参数数组所对应的人造微结构在超材料中的一个特定位置上，可以用(x,y,z)表示，但也不仅仅限于上述表示方法。 

S2：从所获取的超材料参数数组数据中载入N个待处理的超材料参数数组数据，N为大于1的自然数。 

S3：在人造微结构模板池中储存有多个人造微结构模板，并分别为N个超材料参数数组数据分配N个线程，每个线程处理一个超材料参数数组数据；在每个线程中，为每个超材料参数数组数据寻找匹配的人造微结构模板。 

本发明的创新点在于使用多线程技术来处理超材料的大规模运算。多线程技术是指在人造微结构池模块中使用多线程并行处理的方式来处理数据，上述步骤S3中即采用N个线程来分别载入N个超材料参数数组数据。采用多线程技术，则可以同时处理数据，相较于传统串行数据，其运算速度要快的多。 

本发明的人造微结构模板，用来定义人造微结构的形状，不同的人造微结构模板定义了具有不同形状的超材料结构单元，该模板可以是定义“工”字形、圆形或者其他形状的模板。不同的结构形状拓扑可以定义不同的参数个数和参数种类，因此，根据上述超材料参数数组数据所给出的参数和类型，可以将其匹配到相应的人造微结构模板，例如，定义“工”字形单元结构的人造微结构模板需定义总宽度和总高度两个参数，而圆形人造微结构模板可以定义半径作为参数，因此当待处理的超材料参数数组数据具有两个参数时，即可判定并匹配给“工”字形人造微结构模板。同时，还可以有另外一种匹配方式，即每个超材料参数数组均预设有映射到其中一个人造微结构模板的标记单元，计算机可通过查找找到与之映射的人造微结构模板，从而实现匹配。 

S4：将N个超材料参数数据应用于匹配的人造微结构模板，从而转换成对应的N个人造微结构的标准dxf或gerber文件，人造微结构的标准dxf或gerber文件保存至实体数组； 

也就是说，匹配后，将每个超材料参数数据的数据输入到相应的人造微结 构模板中，则该模板根据这些数据生成相应形状的人造微结构，因此，在计算机中，N个超材料参数数据将对应生成N个人造微结构的图形数据。这N个人造微结构的图形数据将被转换成标准dxf或gerber文件并一起保存至实体数组。 

其中，步骤S5由人造微结构模板池模块执行，其可生成不同版本的标准dxf文件，dxf文件为AC1006、AC1009、AC1012、AC1015、AC1018、AC1021、AC1024格式中的一种或几种；也可生成标准gerber文件如RS-274-X格式或RS-274-D格式，但也不仅仅限于上述格式。 

S5：将类型为实体数组保存至一个dxf或gerber文件中，转至S1； 

S6：程序结束。 

本发明同时提供一种数据处理系统，用于实现上述方法，包括以下模块： 

数据获取模块：获取待处理的多个超材料参数数据； 

数据判断模块：与数据获取模块连接，用于判断多个超材料参数数据是否全部处理完成，如果是，程序结束；否则，转至数据载入模块; 

数据载入模块：与数据判断模块连接，用于从多个超材料参数数据中载入其中的N个，其中N为大于1的自然数； 

数据匹配模块：与数据载入模块连接，用于使用多线程技术，用N个线程，在人造微结构模板池中，分别为N个超材料参数数据寻找匹配的人造微结构模板； 

人造微结构模板池模块：如图2所示，与数据匹配模块连接，用于分别将N个超材料参数数据应用于所匹配的人造微结构模板，得到N个人造微结构，并将N个人造微结构保存至实体数组； 

数据转化模块：与人造微结构模板池模块连接，用于将实体数组保存至一 个dxf或gerber文件中，转至数据判断模块。 

本发明针对现有技术的不足，使用分批载入数据和多线程并行转换的方法，从根本上解决了现有方法存在的系统内存不足的问题，并引入人造微结构模板池模块对所有人造微结构模板进行管理，极大地减少了系统内存的消耗，和提高了数据转换速度。填补了市场上没有任何一款软件产品能够生成亿万级的dxf和gerber文件的空白，极具应用意义。 

在上述实施例中，仅对本发明进行了示范性描述，但是本领域技术人员在阅读本专利申请后可以在不脱离本发明的精神和范围的情况下对本发明进行各种修改。 

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括以下步骤：

S0：获取待处理的多个超材料参数数组数据；

S1：判断所述多个超材料参数数组数据是否全部处理完成，如果是，退出循环,否则，转至S2；

S2：从所述多个超材料参数数组数据中载入其中的N个超材料参数数组数据，所述N为大于1的自然数；

S3：使用多线程技术，用N个线程，在人造微结构模板池中，分别为所述N个超材料参数数组数据寻找匹配的人造微结构模板；

S4：分别将所述N个超材料参数数组数据应用于所述匹配的人造微结构模板，得到N个人造微结构，并将所述N个人造微结构保存至实体数组；

S5：将所述实体数组保存至电路板加工标准文件中，转至S1。

2.根据权利要求1所述的数据处理方法，其特征在于，所述多线程技术是指为每一批载入的所述N个超材料参数数组数据分配N个线程，每个线程处理一个所述超材料参数数组数据。

3.根据权利要求1所述的数据处理方法，其特征在于，所述电路板加工标准文件为dxf或gerber文件。

4.根据权利要求1所述的数据处理方法，其特征在于，步骤S3以及S4由人造微结构模板池模块执行。

5.根据权利要求1所述的数据处理方法，其特征在于，每个超材料参数数组均预设有映射到其中一个人造微结构模板的标记单元，从而实现匹配。

6.根据权利要求3所述的数据处理方法，其特征在于，所述dxf文件为AC1006、AC1009、AC1012、AC1015、AC1018、AC1021、AC1024格式中的一种或几种。

7.根据权利要求3所述的数据处理方法，其特征在于，所述gerber文件为RS-274-X或RS-274-D格式。

8.根据权利要求1所述的数据处理方法，其特征在于，所述人造微结构模板包括定义人造微结构为“I”字型的模板、定义人造微结构为圆型的模板、定义人造微结构为雪花型的模板或这些基本形状构成的其它形状的模板。

9.根据权利要求1所述的数据处理方法，其特征在于，所述超材料参数数组数据包括定义所述超材料结构的长、宽、高、介电常数以及磁导率的数据。

10.一种数据处理系统，用于实现权利要求1所述方法，其特征在于，所述系统包括：

数据获取模块：获取待处理的多个超材料参数数组数据；

数据判断模块：与所述数据获取模块连接，用于判断所述多个超材料参数数组数据是否全部处理完成，如果是，程序结束；否则，转至数据载入模块；

数据载入模块：与所述数据判断模块连接，用于从所述多个超材料参数数组数据中载入其中的N个超材料参数数组数据，所述N为大于1的自然数；

数据匹配模块：与所述数据载入模块连接，用于使用多线程技术，用N个线程，在人造微结构模板池中，分别为所述N个超材料参数数组数据寻找匹配的人造微结构模板；

人造微结构模板池模块：与所述数据匹配模块连接，用于分别将所述N个超材料参数数组数据应用于所匹配的人造微结构模板，得到N个人造微结构，并将所述N个人造微结构保存至实体数组；

数据转化模块：与所述人造微结构模板池模块连接，用于将所述实体数组保存至一个dxf或gerber文件中，转至所述数据判断模块。