CN108920138A - 一种试验数据处理方法 - Google Patents

Abstract

本发明一种试验数据处理方法属于计算机软件领域，特别涉及通用数据处理软件技术领域，本发明设计得到一种基于构件技术的具有较高通用性的试验数据处理系统的构建方法。利用该方法开发的试验数据处理系统基于一套通用的，涵盖数据处理、数值分析、文件操作、图形绘制、脚本执行等功能的基础构件库，提供用户以非编程方式，在一个便捷的图形化环境下快速建立数据分析流程模型的方法。并在此基础上，提供将已有处理流程封装成模板构件的功能，以支持分析方法的高度可重用性。

Description

一种试验数据处理方法

技术领域

本发明涉及计算机领域，尤其涉及一种试验数据处理方法。

背景技术

在工程技术领域的各类物理实验和仿真试验中，通过专业的数据采集设备和 系统收集得到的大量测试数据，或通过仿真系统计算得到的模拟结果数据，一般 而言都需要进行二次处理。也就是说，在试验结果分析阶段，针对不同的试验目 标，试验设计者总是需要使用不同的分析处理方法对采集的数据进行再次加工， 以得到最终的试验结论。

通常，不同工程技术领域的试验数据处理会采用各自专门开发的计算机软件 程序来完成。一般是采用Fortran、C++等编程语言，或者基于Matlab等数值计 算系统的二次开发平台，针对具体计算算法和分析处理方法，定制开发个性化的 设备或系统来满足特定的试验数据分析处理需求。事实上，即便是同一专业技术 领域的同类试验，由于试验者采用的试验设备、数据格式、可视化要求等方面的 不同，或者其它非技术方面的原因，在行业范围内广泛采用同一数据分析处理软 件的情况也并不多见。然而，尽管不同专业技术领域的试验类型千差万别，就数 据处理的技术和方法而言，却是经常是大同小异。除去一些特别的数据处理程序 外，大多数情况下，我们总是或单一地，或组合地使用诸如数据预处理(如文件 解析、数据裁剪、合并、过滤等)、数值计算(如插值、拟合、滤波、求导、积 分等)、小型的计算算法，以及数据可视化(如曲线显示、比较)等手段，来完 成试验数据的处理工作。

因此，定制开发方式在多数情况下是一种低性价比的无奈选择，首先，由于 软件开发的技术门槛所限，试验数据分析人员要想自行开发出高质量的分析软件 并不是一件容易的事情。即便是在专业软件开发人员的协助下，也需要花费大量 的时间和精力来完成，其成本高，周期长，见效慢；其次，由于计算分析处理方 法被固化在软件代码中，因此，即便拥有源代码，要让后来者理解其中的思想与 方法也是困难的；第三，随着技术的进步与发展，处理工具的改进和演变不可避 免，软件的升级将带来更多的重复工作和成本消耗；最后，对于一个涉及众多专 业技术领域的大型企业或研究机构来讲，各专业部门的低水平重复建设不但造成 不必要的浪费，而且妨碍通用技术的共享和企业技术水平的提高。

在试验数据分析处理过程中，采用一套具有通用性和易用性、可支持用户快 速建模的数据处理技术，是解决上述问题的有效手段。在近年来出现的集成化试 验数据管理系统中，已经配套提供了通用的数据分析处理工具，能实现各类数值 计算、数据处理和可视化功能。但这类工具或系统的功能柔性不高，不能支持使 用者快速地构建满足特殊需要的组合式处理能力。例如，一个较为简单的组合式 数据处理流程可能要求对数据进行裁剪、插值对齐、求和计算和曲线绘制等几个 步骤，在这类工具中，用户只能采用Step-By-Step的方式完成上述处理过程， 而不能使用已有的功能进行快速的计算模型组装，当然更谈不上分析模型的固化 与重用。对于更为复杂的计算要求，这类工具或系统则只能依靠嵌入定制开发模 块的方式来解决，本质上与前面所述的传统方法并无二致。

发明内容

本发明的目的是：克服上述现有技术中的缺点，提供一种支持用户采用非编 程方式进行快速定制、简单高效、性能稳定，具有较高通用性和扩展性的，基于 构件化软件技术的试验数据处理方法。

本发明的技术方案是该方法包括以下步骤：一种试验数据处理方法，其特征在于，该方法采取以下步骤：

1)建立基于构件技术的试验数据处理系统结构，该结构满足在非编程模式 下实现试验数据处理方法的建模和运行所需的功能部件，系统结构包括：

a.功能构件定义模块，该模块由基本构件库和扩展构件定义框架两部 分组成，基础构件库是一个内置的基本功能构件包，其所包含的功 能构件实现文件读写、数据转化、通用数值计算和数据可视化等功 能；扩展构件定义框架是一个支持构件库动态扩展的软件扩展开发 框架，支持在本系统结构之外进行特殊功能构件的定义、开发和动 态部署；

b.数据区定义与访问模块，包括数据区定义模块、数据区存取模块和 数据动态缓存模块三各部分，其中，数据区定义模块实现数据区中 各种数据类型和数据结构的参数化定义；数据区存取模块支持在数 据区中以参数名为索引的数据访问；数据动态缓存模块提供大数据 区的动态磁盘缓存机制，保证计算过程中计算机内存空间的合理使 用；

c.处理流程定义模块，包括图形化流程定义模块、构件实例属性配置 模块和流程模型存储模块三个部分，其中，图形化流程定义模块使 用图形化的方式定义数据处理流程模型，支持流程模型文件的加载 重现；构件实例属性配置模块支持流程中构件实例的参数设置，包 括属性配置界面的加载、输入响应、正确性检查；流程模型存储模 块根据图形化流程定义模块和构件实例属性配置模块的定义内容， 生成数据处理流程的完整数据模型，并支持以文件方式存储该模型；

d.处理流程解算模块，该模块由输入输出关系解算模块、数据格式解 算模块、计算功能驱动模块和计算流程控制模块四个部分组成，其 中，输出关系解算模块分析流程中各构件节点会产生哪些输出数据， 以及这些计算结果的输入分别的来源；数据格式解算模块根据输入 输出关系解算模块的分析结果，配合构件的属性配置，分析获得某 计算结果数据的数据区格式；计算功能驱动模块根据构件的配置参 数，驱动构件的实际计算或处理功能的执行；计算流程控制模块根 据流程定义，以及输入输出关系解算模块的分析结果，按照合理的 逻辑顺序控制各构件实例的运行，产生所需的计算结果；

e.模板定义模块，包括模板图形化定义模块、模板封装定义模块和模 板重用控制模块三部分，其中，模板图形化定义模块类似处理流程 的图形化定义模块，并支持模板流程的特殊规则检查；模板封装定 义模块支持模板的外部属性接口定义，实现模板的有效封装；模板 重用控制模块支持模板重用过程中配置控制和运行控制；

2)基础构件库的创建，使用功能构件定义模块，在开发期间通过定义统一 的数据接口和操作接口，将现有各类数值计算算法、数据可视化工具、 以及诸如合并、裁剪、格式转换等通用数据处理功能封装成具有统一定 义的构件模型中，形成基本构件库；

3)处理流程的编辑与存储，以构件和模板为基础部件，使用处理流程定义 模块执行处理流程的创建、编辑与存储，其图形化流程定义模块提供一 个以图形化拖拽方式为交互手段的流程编辑环境，使用者从构件库或模 板库中选择需要的功能部件，加入到流程模型中，并以有向连线示意各 计算节点的输入输出关系，处理流程定义模块采用开环的有向图方式避 免处理流程解算时出现死循环；

4)处理流程的运行与结果生成，在完成3)中的步骤后，处理流程解算模块 对处理流程进行解算运行，首先，输入输出关系解算模块对流程中的所 有节点的输入输出进行关系清理，得到各个构件节点的输入与输出，并 实现在处理流程被修改时及时重新决算关系脉络；其次，计算流程控制 模块针对某一需要计算的输出结果，采用追溯式流程解算方法进行计算 流程控制；最后，计算功能驱动模块根据节点的属性配置，以所需的数 据结构组织输入数据，并调用正确的算法进行计算，然后将计算结果写 入输出结果数据区中的正确位置上；

5)模板的构建与重用，模板定义模块对已经完成建模和计算验证的数据处 理流程执行封装操作，以便在其它数据处理流程中进行重复使用。

本发明的有益效果：本发明一种试验数据处理方法，利用该方法开发的试验数据处理系统基于一套通 用的，涵盖数据处理、数值分析、文件操作、图形绘制、脚本执行等功能的基础 构件库，提供用户以非编程方式，在一个便捷的图形化环境下快速建立数据分析流程模型的方法。并在此基础上，提供将已有处理流程封装成模板构件的功能， 以支持分析方法的高度可重用性。

附图说明

图1实施例中基础构件库的分类与构成图；

图2实施例中扩展构件定义框架的接口定义图；

图3数据区相关对象的定义图；

图4数据处理流程的图形化快速建模示例图；

图5数据处理流程建模及运行相关对象的定义图；

图6模板定义及重用的相关对象的定义图。

具体实施方式

下面结合附图对本发明进行详细说明，一种试验数据处理方法，其系统结构请参见图1至图6所示，其中包括：

1)功能构件定义模块：实现文件读写、数据转化、数值计算、数据可视化 等功能的构件定义和封装，并支持构件实例化后的属性配置和功能运行。其中包 括：

a)基本构件库：一个内置的基本功能构件包，是系统结构中必需的基 础部分，如图1所示，实施例中的基本构件库分为文件处理类、数值计算 类和数据处理类三个部分共12个基础构件，这12个基础构件在实施例的 开发阶段固化在系统中；

b)扩展构件定义框架：一个支持构件在系统体系之外进行定义、开发、 动态部署的框架，是支撑本系统结构可扩展性的重要手段，如图2所示， CFxExtend类定义了扩展构件类。该类在初始化时传入对应扩展类的dll 动态链编库的物理文件名称，确定该类实例最总执行相应接口时的具体执行者，图2中CFxExtend的方法定义了在处理流程中使用一个构件对象所 需的所有操作，包括获取构件的属性配置项GetProterties、设置构件的 属性配置值SetProterties、获取输入端口定义信息GetInPorts、生成构 件的输出列表GenerateResultList、获得输出的数据格式 GetResultFormat、对某一输出执行计算DoCalculate等，这些方法的具 体执行均落实在对应dll的接口函数。

2)数据区定义与访问模块：数据区由数量不限的参数堆砌而成，是一个具 有物理或逻辑含义的数据元素集合，它包括参数定义队列和数据块两部分组成， 支持构件实例的数据存储，以及构件实例之间的数据交换。包括；

a)数据区定义模块，实现数据区中各种数据类型和数据结构的参数化定义， 用以描述数据文件和计算结果的构成内容、构件属性等数据元素，如图 3所示，CParameter类定义了参数对象，包括参数名称、数据类型(支 持int、double、bool、char和struct结构五种)、数组长度(最大可 支持三维数组)、参数大小(字节数)、子域参数数组(仅数据类型为结 构struct时有效)，CParameterZone类定义了数据区对象，包括定义数 据区的参数元素构成m_ParamList、数据区大小m_Size、数据区块数组 m_Buffers，以及临时缓存文件对象m_TempFile，并提供数据读写访问 方法GetValue和SetValue；

b)数据区存取模块，支持在数据区中以参数名为索引的数据访问，由于数 据区支持结构和数组类型，因此，数据区中参数的读写访问过程变得复 杂化。CParameterCell类定义了一个参数单元实例类，也即一个单参数 或一个带有具体数组下标的数组元素，抑或一个结构下子域数据单元。 依靠一个完整参数单元识别名，可在数据区中创建一个参数单元实例的 描述对象，数据区中的数据访问将以该描述对象作为地址索引；

c)数据动态缓存模块，支持大数据区的动态磁盘缓存机制，保证计算过程 中计算机内存空间的合理使用。CParameterZone中的数据存储区域是以 规定大小的若干数据内存块构成，m_Buffers记录了数据区的分块情况。 在内存分配未超过系统阀值的情况下，每个分块都会被分配给相应的内 存数据块用以存储数据。当分块较多以至于超过系统阀值时，已有的内 存数据块会被用于存储当前访问的数据区段，而使用频度较低的分块， 其数据将被记录到临时磁盘文件m_TempFile中，并以m_FileOffset记 录其在文件中的偏移位置；

3)处理流程定义模块。支持以构件实例为节点的处理流程建模，表达数据 处理过程中所使用的功能构件、构件属性配置、计算步骤、输入输出关系。包括：

a)图形化流程定义模块，使用图形化的方式定义数据处理流程模型，支持 流程模型文件的加载重现。图4示意了一个典型的数据处理流程在图形 化建模环境中所呈现的形式。如图5所示，图形化流程定义模块主要由 CDocFlowView类来实现相关的处理功能，例如根据流程文档类CDocFlow 类的内容绘制流程图形的OnDraw方法；当点击图形中流程构件节点时， 消息处理函数OnClickFxNode发送同步消息显示节点属性；右键点击构 件节点是，消息处理函数OnRClickFxNode处理右键菜单功能；

b)构件实例属性配置模块，支持流程中构件实例的参数设置，包括属性配 置界面的加载、输入响应、正确性检查。如图5中CPPHelperFxNode类 定义了构件实例属性配置模块的主体功能实现对象，该对象在需要显示 构件节点属性时被创建，其LoadProperties方法执行属性项的创建与显 示，OnValueModified方法则用于相应属性项的修改事件，同步更新所 表征的构件节点对象的相关属性值；

c)流程模型存储模块，根据图形化流程定义模块和构件实例属性配置模块 的定义内容，生成数据处理流程的完整数据模型，并支持以文件方式存 储该模型。对象CDocFlow类定义了数据处理流程文件的所有信息，其 Save和Load两个方法用于实现文件内容的保存和加载操作；

4)处理流程解算模块。支持数据处理流程的实际执行，完成构件数据关系 的梳理、计算逻辑控制。包括：

a)输入输出关系解算模块，分析流程中各构件节点会产生哪些输出数据， 以及这些计算结果的输入分别的来源。依次调用流程各节点的 GenerateResultList方法执行输入输出关系解算，其运行结果表现为每 个构件节点产生了自己的输出数据列表，每个输出数据的m_Inmarks属 性记录了产生该输出的全部输入数据来源，包括数据来自的构件节点、 输出数据对象指针等信息；

b)数据格式解算模块，根据输入输出关系解算模块的分析结果，配合构件 的属性配置，分析获得某计算结果数据的数据区格式。调用构件节点的 GetResultFormat方法可获取指定输出CDocFxResult的格式化数据区 m_DataZone，该数据区表征了计算结果的元素构成；

c)计算功能驱动模块，根据构件的配置参数，驱动构件的实际计算或处理 功能的执行。其具体的实现包含在构件节点CFxNode的DoCalculate方 法中，每当需要执行某一构件的计算操作时都是通过该方法来达成；

d)计算流程控制模块，根据流程定义，以及输入输出关系解算模块的分析 结果，按照合理的逻辑顺序控制各构件实例的运行，产生所需的计算结 果。其具体的实现逻辑包含在构件节点CFxNode的DoCalculate方法中；

5)模板定义模块。支持处理流程的封装以及封装模板的重用。包括：

a)模板图形化定义模块，类似处理流程的图形化定义模块，并支持模板流 程的特殊规则检查。与一般的处理流程相同，CDocFlowView类用于图形 化界面显示以及用户操作响应，而继承自CDocFlow类的 CDocFlowTemplate类用于记录所有模板定义数据，并完成额外的模板流 程检查功能；

b)模板封装定义模块，支持模板的外部属性接口定义，实现模板的有效封 装。使用CDocFlowTemplate类的GetInsideProperties方法可获得模板 流程中所有基本构件的属性项合集，封装定义模块选择了需要公开的外 部属性项后，使用MarkProperty方法将其标记为公开方式。执行完上述 操作后，模板的定义操作完成；

c)模板重用控制模块，支持模板重用过程中配置控制和运行控制。当需要 显示模板实例类构件(即通过实例化模板所得到的构件代理对象 CFxTempProxy)的配置项时，调用CDocFlowTemplate类的GetProperties 方法可获得其公开的外部属性项；完成设置后，可使用SetProperties 方法更改模板实例的属性值。当处理流程执行时，在模板类构件代理对 象CFxTempProxy的DoCalculate方法中，模板代理对象会内置地执行模 板流程实例m_MasterDoc，并将其计算结果作为模板代理节点的输出数 据展现出来。

Claims (1)

1.一种试验数据处理方法，其特征在于，该方法采取以下步骤：

1)建立基于构件技术的试验数据处理系统结构，该结构满足在非编程模式 下实现试验数据处理方法的建模和运行所需的功能部件，系统结构包括：

a.功能构件定义模块，该模块由基本构件库和扩展构件定义框架两部 分组成，基础构件库是一个内置的基本功能构件包，其所包含的功 能构件实现文件读写、数据转化、通用数值计算和数据可视化等功 能；扩展构件定义框架是一个支持构件库动态扩展的软件扩展开发 框架，支持在本系统结构之外进行特殊功能构件的定义、开发和动 态部署；

b.数据区定义与访问模块，包括数据区定义模块、数据区存取模块和 数据动态缓存模块三各部分，其中，数据区定义模块实现数据区中 各种数据类型和数据结构的参数化定义；数据区存取模块支持在数 据区中以参数名为索引的数据访问；数据动态缓存模块提供大数据 区的动态磁盘缓存机制，保证计算过程中计算机内存空间的合理使 用；

c.处理流程定义模块，包括图形化流程定义模块、构件实例属性配置 模块和流程模型存储模块三个部分，其中，图形化流程定义模块使 用图形化的方式定义数据处理流程模型，支持流程模型文件的加载 重现；构件实例属性配置模块支持流程中构件实例的参数设置，包 括属性配置界面的加载、输入响应、正确性检查；流程模型存储模 块根据图形化流程定义模块和构件实例属性配置模块的定义内容， 生成数据处理流程的完整数据模型，并支持以文件方式存储该模型；

d.处理流程解算模块，该模块由输入输出关系解算模块、数据格式解 算模块、计算功能驱动模块和计算流程控制模块四个部分组成，其 中，输出关系解算模块分析流程中各构件节点会产生哪些输出数据， 以及这些计算结果的输入分别的来源；数据格式解算模块根据输入 输出关系解算模块的分析结果，配合构件的属性配置，分析获得某 计算结果数据的数据区格式；计算功能驱动模块根据构件的配置参 数，驱动构件的实际计算或处理功能的执行；计算流程控制模块根 据流程定义，以及输入输出关系解算模块的分析结果，按照合理的 逻辑顺序控制各构件实例的运行，产生所需的计算结果；

e.模板定义模块，包括模板图形化定义模块、模板封装定义模块和模 板重用控制模块三部分，其中，模板图形化定义模块类似处理流程 的图形化定义模块，并支持模板流程的特殊规则检查；模板封装定 义模块支持模板的外部属性接口定义，实现模板的有效封装；模板 重用控制模块支持模板重用过程中配置控制和运行控制；

2)基础构件库的创建，使用功能构件定义模块，在开发期间通过定义统一 的数据接口和操作接口，将现有各类数值计算算法、数据可视化工具、 以及诸如合并、裁剪、格式转换等通用数据处理功能封装成具有统一定 义的构件模型中，形成基本构件库；

3)处理流程的编辑与存储，以构件和模板为基础部件，使用处理流程定义 模块执行处理流程的创建、编辑与存储，其图形化流程定义模块提供一 个以图形化拖拽方式为交互手段的流程编辑环境，使用者从构件库或模 板库中选择需要的功能部件，加入到流程模型中，并以有向连线示意各 计算节点的输入输出关系，处理流程定义模块采用开环的有向图方式避 免处理流程解算时出现死循环；

4)处理流程的运行与结果生成，在完成3)中的步骤后，处理流程解算模块 对处理流程进行解算运行，首先，输入输出关系解算模块对流程中的所 有节点的输入输出进行关系清理，得到各个构件节点的输入与输出，并 实现在处理流程被修改时及时重新决算关系脉络；其次，计算流程控制 模块针对某一需要计算的输出结果，采用追溯式流程解算方法进行计算 流程控制；最后，计算功能驱动模块根据节点的属性配置，以所需的数 据结构组织输入数据，并调用正确的算法进行计算，然后将计算结果写 入输出结果数据区中的正确位置上；

5)模板的构建与重用，模板定义模块对已经完成建模和计算验证的数据处 理流程执行封装操作，以便在其它数据处理流程中进行重复使用。