CN112559528A - 发动机稳态数据挖掘及统计方法及装置 - Google Patents

Abstract

本发明公开了一种发动机稳态数据挖掘及统计方法及装置，其中，方法包括：传入试验参数名称，并在数据库中创建数据表；获取与试验参数名称相关的配置信息，并将配置信息存储于TDM系统的参数规范表中；将数据存入数据库中相应的数据表里，在数据传输完成后，更新并统计数据库中数据。该方法，可以实现发动机百万条行列化稳态数据的进行数据快速查询、统计挖掘分析。

Description

发动机稳态数据挖掘及统计方法及装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种发动机稳态数据挖掘及统计方法及装置。

背景技术

航天发动机试验测试任务量大，产生的稳态数据量也几何级数增长，对于试验数据管理系统来说，实现对发动机百万条行列化稳态数据进行合理化存储、快速数据查询挖掘和统计十分重要。

相关技术中，一般采用预置数据库模型表的方法，在试验数据管理系统涉及之处就确定好稳态数据的试验参数数量和随着试验任务不断扩充的数据量比例，设计好数据存储表结构；在数据上传入库后，依据设置好的数据表结构进行入库存储；在数据分析挖掘应用时，对已入库的结构化稳态数据进行数据分析查询统计。

然而，目前试验数据管理系统色试验数据大部分以附件的方式保存，难以满足设计人员对试验数据进行深层次分析和应用，同时缺少试验数据的详细描述和说明，在数据应用时提供的查询条件有限，难以满足发动机稳态数据多样化的查询统计分析需求，有待解决。

发明内容

本发明提供一种发动机稳态数据挖掘及统计方法及装置，可以实现发动机百万条行列化稳态数据的进行数据快速查询、统计挖掘分析。

本发明第一方面实施例提供一种发动机稳态数据挖掘及统计方法，包括以下步骤：传入试验参数名称，并在数据库中创建数据表；获取与所述试验参数名称相关的配置信息，并将所述配置信息存储于TDM系统的参数规范表中；将数据存入所述数据库中相应的数据表里，在数据传输完成后，更新并统计所述数据库中数据。

进一步地，在本发明的一个实施例中，所述传入试验参数名称，并在数据库中创建数据表，包括：将传入的试验参数名称与所述参数规范表进行匹配，以验证所述参数名称是否正确；如果验证错误，则返回，否正根据所述试验参数名称创建所述数据表。

进一步地，在本发明的一个实施例中，所述传入试验参数名称，并在数据库中创建数据表，包括：通过调用服务器端提供的Web Service动态创建所述数据表，其中，通过WebService传递参数扫描表以创建所述数据表，同时创建对所述数据表插入数据操作的存储过程。

进一步地，在本发明的一个实施例中，所述将数据存入所述数据库中相应的数据表里，包括：调用所述服务器端提供的Web Service传递数据包到服务器端，且当所述数据传入所述服务器端时，传入的数据包中包含批量的数据，并由所述服务器端解析所述数据包，以调用存储过程批量插入到所述数据库中。

进一步地，在本发明的一个实施例中，还包括：在动态创建所述数据表的同时进行Oracle索引性能优化、Oracle表分区和Oracle索引分区，以进行分表存储，并查询目标数据。

根据本发明实施例的发动机稳态数据挖掘及统计方法，在试验数据管理系统中，通过Oracle动态创建数据表、Oracle索引性能优化、Oracle表分区和Oracle索引分区、分段实时统计等技术手段，实现发动机百万条行列化稳态数据的进行数据快速查询、统计挖掘分析。

本发明第二方面实施例提供一种发动机稳态数据挖掘及统计装置，包括：创建模块，用于传入试验参数名称，并在数据库中创建数据表；存储模块，用于获取与所述试验参数名称相关的配置信息，并将所述配置信息存储于TDM系统的参数规范表中；更新模块，用于将数据存入所述数据库中相应的数据表里，在数据传输完成后，更新并统计所述数据库中数据。

进一步地，在本发明的一个实施例中，所述创建模块，具体用于：将传入的试验参数名称与所述参数规范表进行匹配，以验证所述参数名称是否正确；如果验证错误，则返回，否正根据所述试验参数名称创建所述数据表。

进一步地，在本发明的一个实施例中，所述创建模块，还用于：通过调用服务器端提供的Web Service动态创建所述数据表，其中，通过Web Service传递参数扫描表以创建所述数据表，同时创建对所述数据表插入数据操作的存储过程。

根据本发明实施例的发动机稳态数据挖掘及统计装置，在试验数据管理系统中，通过Oracle动态创建数据表、Oracle索引性能优化、Oracle表分区和Oracle索引分区、分段实时统计等技术手段，实现发动机百万条行列化稳态数据的进行数据快速查询、统计挖掘分析。

本发明第三方面实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行如上述实施例所述的发动机稳态数据挖掘及统计方法。

本发明第四方面实施例提供一种计算机可读存储介质，所述非临时性计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的发动机稳态数据挖掘及统计方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的发动机稳态数据挖掘及统计方法的流程图；

图2为根据本发明一个实施例的发动机稳态数据挖掘及统计方法的流程图；

图3为根据本发明实施例的发动机稳态数据挖掘及统计装置的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的发动机稳态数据挖掘及统计方法及装置。

具体而言，图1为本发明实施例所提供的一种发动机稳态数据挖掘及统计方法的流程示意图。

如图1所示，该发动机稳态数据挖掘及统计方法包括以下步骤：

在步骤S101中，传入试验参数名称，并在数据库中创建数据表。

进一步地，在本发明的一个实施例中，传入试验参数名称，并在数据库中创建数据表，包括：将传入的试验参数名称与参数规范表进行匹配，以验证参数名称是否正确；如果验证错误，则返回，否正根据试验参数名称创建数据表。

进一步地，在本发明的一个实施例中，传入试验参数名称，并在数据库中创建数据表，包括：通过调用服务器端提供的Web Service动态创建数据表，其中，通过Web Service传递参数扫描表以创建数据表，同时创建对数据表插入数据操作的存储过程。

可以理解的是，如图2所示，本发明实施例可以先传入试验参数名称，在数据库中创建数据表。在创建数据表前，先要将传入参数名与参数规范表匹配来验证传入的参数名称是否正确。若错误则返回，正确则在试验下根据参数名创建数据表。

在步骤S102中，获取与试验参数名称相关的配置信息，并将配置信息存储于TDM系统的参数规范表中。

在步骤S103中，将数据存入数据库中相应的数据表里，在数据传输完成后，更新并统计数据库中数据。

进一步地，在本发明的一个实施例中，将数据存入数据库中相应的数据表里，包括：调用服务器端提供的Web Service传递数据包到服务器端，且当数据传入服务器端时，传入的数据包中包含批量的数据，并由服务器端解析数据包，以调用存储过程批量插入到数据库中。

可以理解的是，本发明实施例可以通过动态创建数据表、Web Service技术Oracle.DataAccess.Client组件提供的批量入库。入库策略可以采用Oracle的ADO.Net实现。Oracle.DataAccess.Client利用Oracle数据库自带的批处理功能，通过设定OracleCommand的ArrayBindCount来实现对参数数组的传递。当ArrayBindCount设置为大于1时，传递给OracleCommand参数不再是参数值，而是参数数组，这样，一条Command指令就可以执行多个处理。使用这种方法，利用了数据库本身对批量数据操作的优化机制，极大提高了数据操作效率。

具体地，首先，客户端通过调用服务器端提供的Web Service来动态创建数据表，通过Web Service传递参数扫描表来创建数据表，同时创建对该表插入数据操作的存储过程。

然后，客户端再调用服务器端提供的Web Service传递数据包到服务器端，当数据由客户端传入服务器时，要求客户端传入的数据包中包含批量的数据，即把N秒的数据打成包一次传输，然后由服务器解析该数据包，调用存储过程批量插入到数据库中，实现数据的整体入库。

测试中发现，利用这种方式入库，可以大大的提高入库效率，假如一次试验有300个通道，数据以100hz的频率产生，每10秒钟的数据在客户端打包发送给服务器，在服务器端入库的效率为3～6秒，这说明这种方法的入库时间远远小于数据的产生时间，足以实现用户数据的时实入库。

进一步地，在本发明的一个实施例中，还包括：在动态创建数据表的同时进行Oracle索引性能优化、Oracle表分区和Oracle索引分区，以进行分表存储，并查询目标数据。

可以理解的是，本发明实施例可以通过动态创建数据表、Oracle索引性能优化、Oracle表分区和Oracle索引分区，动态创建数据表，除了提高入库效率，还可以提高查询效率。因为每次试验时都会产生大量的数据，如果把所有试验的数据都存放在同一张表中，长时间后，这个表中的数据量将会特别巨大，势必会造成整个系统的低效甚至崩溃，而分表存储就有效的解决了这个问题。不但解决了每次试验查询的效率问题，同时也解决了同一张表中数据量过大的问题。除了动态创建数据表外，合理的优化也是实现系统高效的必不可少的部分，具体内容如下：

(1)设计合理的表结构；

合理的表结构是实现大量数据高效管理的前提。不同的表结构在数据库中存储数据的物理结构是不一样的，好的表结构易于设计索引，节省存储空间，提高查询效率等。

(2)创建“适当”的索引；

索引有助于提高检索性能，但过多或不当的索引也会导致系统低效。因为用户在表中每加进一个索引，数据库就要做更多的工作。过多的索引甚至会导致索引碎片，所以索引建立的是否得当也是数据管理的一个重要部分，同样的数据库结构，索引的设置的不同对数据的管理效率有很大的差别，所以创建“适当”的索引是必不可少的部分。

(3)改善SQL语句；

对于大量的数据处理，在程序中使用的SQL语句再也不能像平时那么随意了，因为随意的SQL语句可能会导致效率的低下，比如SQL语句中使用了大量的In，Not，Or等等关键字，获取数据时使用“select*from table”等等语句，还有很多很多不合格的SQL语句，这些都会造成获取数据的缓慢。所以，优化的SQL语句也是改善数据管理效率的一个重要方面。

(4)尽量使用存储过程；

存储过程的好处是显而易见的，它是数据库编译过的SQL语句，因而执行效率比普通的SQL语句更高，运行速度更快，它可以减少数据库服务器和应用程序的数据传输量，有效利用带宽，等等。所以尽量多的使用存储过程也可以为数据管理带来意外的效果。

(5)对数据进行分区管理(表分区)；

增强可用性：如果表的一个分区由于系统故障而不能使用，表的其余好的分区仍可以使用；

减少关闭时间：如果系统故障只影响表的一部分分区，那么只有这部分分区需要修复，这能比整个大表修复花的时间少；

均衡I/O：可以把表的不同分区分配到不同的磁盘来平衡I/O改善性能；

改善性能：对大表的查询、增加、修改等操作可以分解到表的不同分区来并行执行，可使运行速度加快。

表分区是Oracle中数据处理的一种方式，它从内部改善数据的存储位置，从而使操作效率更高。

(6)对数据创建不同的索引分区(索引分区)；

有了表分区以后，就可以对不同的表分区创建不同的索引分区，这样在数据查询的时候，数据库会首先判断要查询的数据分布在哪个表分区中，然后在表分区中使用索引查询，从而更快的定位查询目标，实现高效查询。

此外，需要说明的是，本发明实施例通过Oracle的Jobs功能、分段实时统计，实现数据的快速统计挖掘。由于数据统计涉及到的表很多，且数据量大，本系统采用了定时统计和实时统计两种方式：对于试验过程中客户端发送到服务器端的数据，系统会实时的分析该数据包，计算符合统计条件的数据，然后把所有对数据包统计的结果在试验结束后存入数据库。对于试验后再进行的统计，可以利用Oracle的Jobs来定期处理统计，系统会定时(时间可以用户自己设定，比如每天的0点开始统计)统计，统计由系统内部(Oracle的Jobs)的程序完成，统计结束后，存入数据库，供用户查看时调用。在等待计算结果的过程中，用户可以做其他的工作，不影响系统进行数据统计。

另外，针对发动机海量稳态数据查询统计挖掘，可以采用预置数据库模型表的方法，将数据结构化入库后实现数据分析查询统计，但此类方法当数据达到一定量时，在固定表海量数据中进行快速查询统计效率会有所降低。

综上，本发明实施例在现有试验数据管理系统基础上进行发动机稳态技术挖掘和统计技术研究，建立数据结构化管理规范，覆盖发动机测量原始数据，试验后性能分析数据，实现在线分析处理，对比统计分析，提升试验数据的利用及试验数据的深入应用，提高试验业务的管理水平与数据应用效率，最终实现缩短试验周期，提高试验和产品质量。其中能达到的技术效果主要为下面三点：

(1)保证大量的、连续的、长时间的数据准确、快速地入库，是本技术的效果之一，尤其是当表的字段数(即通道数)可能多达几百个，还要考虑到以后试验通道增加、字段数扩充情况，试验数据的准确快速入库就尤为重要。

(2)对于百万条数据记录级别的查询，特别是能够确保试验稳态数据高效的快速的查询，也是本技术的效果之一。对单一的表来说，它的数据量超过百万级别时，可以称之为大表，要对大表要实现快速高效的查询，必须要优化Sql语句或者数据的存储结构，否则查询效率低下，速度非常缓慢。在发明的实施例中，面对的难点不只是对单一的大表进行查询，甚至可能是很多个大表一起查询，这更是一个非常复杂的工作，系统不仅要对数据库的查询结构进行优化，还要对表的设计进行优化，还有可能对数据库的物理存储结构进行优化。

(3)通过对大量无关联的表之间的数据进行数据挖掘、数据分析和数据计算，实现试验数据的分段实时统计。尤其是随着试验的增多，统计的效率会越来越慢，通过本技术能够解决试验数据的分段实时统计，有效的提升了试验数据的利用率。

根据本发明实施例提出的发动机稳态数据挖掘及统计方法，在试验数据管理系统中，通过Oracle动态创建数据表、Oracle索引性能优化、Oracle表分区和Oracle索引分区、分段实时统计等技术手段，实现发动机百万条行列化稳态数据的进行数据快速查询、统计挖掘分析。

其次参照附图描述根据本发明实施例提出的发动机稳态数据挖掘及统计装置。

图3是本发明实施例的发动机稳态数据挖掘及统计装置的方框示意图。

如图3所示，该发动机稳态数据挖掘及统计装置10包括：创建模块100、存储模块200和更新模块300。

其中，创建模块100用于传入试验参数名称，并在数据库中创建数据表。存储模块200用于获取与试验参数名称相关的配置信息，并将配置信息存储于TDM系统的参数规范表中。更新模块300用于将数据存入数据库中相应的数据表里，在数据传输完成后，更新并统计数据库中数据

进一步地，在本发明的一个实施例中，创建模块，具体用于：将传入的试验参数名称与参数规范表进行匹配，以验证参数名称是否正确；如果验证错误，则返回，否正根据试验参数名称创建数据表。

进一步地，在本发明的一个实施例中，创建模块，还用于：通过调用服务器端提供的Web Service动态创建数据表，其中，通过Web Service传递参数扫描表以创建数据表，同时创建对数据表插入数据操作的存储过程。

需要说明的是，前述对发动机稳态数据挖掘及统计方法实施例的解释说明也适用于该实施例的发动机稳态数据挖掘及统计装置，此处不再赘述。

根据本发明实施例提出的发动机稳态数据挖掘及统计装置，在试验数据管理系统中，通过Oracle动态创建数据表、Oracle索引性能优化、Oracle表分区和Oracle索引分区、分段实时统计等技术手段，实现发动机百万条行列化稳态数据的进行数据快速查询、统计挖掘分析。

为了实现上述实施例，本发明还提出了一种电子设备，包括：至少一个处理器和存储器。其中，存储器与至少一个处理器通信连接，其中，存储器存储有可被至少一个处理器执行的指令，指令被设置为用于执行上述实施例的发动机稳态数据挖掘及统计方法，如以用于：

传入试验参数名称，并在数据库中创建数据表；

获取与试验参数名称相关的配置信息，并将配置信息存储于TDM系统的参数规范表中；以及

将数据存入数据库中相应的数据表里，在数据传输完成后，更新并统计数据库中数据。

为了实现上述实施例，本发明还提出了一种计算机可读存储介质，其存储计算机指令，计算机指令用于使计算机执行上述实施例的发动机稳态数据挖掘及统计方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种发动机稳态数据挖掘及统计方法，其特征在于，包括以下步骤：

传入试验参数名称，并在数据库中创建数据表；

获取与所述试验参数名称相关的配置信息，并将所述配置信息存储于TDM系统的参数规范表中；以及

将数据存入所述数据库中相应的数据表里，在数据传输完成后，更新并统计所述数据库中数据。

2.根据权利要求1所述的方法，其特征在于，所述传入试验参数名称，并在数据库中创建数据表，包括：

将传入的试验参数名称与所述参数规范表进行匹配，以验证所述参数名称是否正确；

如果验证错误，则返回，否正根据所述试验参数名称创建所述数据表。

3.根据权利要求1所述的方法，其特征在于，所述传入试验参数名称，并在数据库中创建数据表，包括：

通过调用服务器端提供的Web Service动态创建所述数据表，其中，通过Web Service传递参数扫描表以创建所述数据表，同时创建对所述数据表插入数据操作的存储过程。

4.根据权利要求2所述的方法，其特征在于，所述将数据存入所述数据库中相应的数据表里，包括：

调用所述服务器端提供的Web Service传递数据包到服务器端，且当所述数据传入所述服务器端时，传入的数据包中包含批量的数据，并由所述服务器端解析所述数据包，以调用存储过程批量插入到所述数据库中。

5.根据权利要求1所述的方法，其特征在于，还包括：

在动态创建所述数据表的同时进行Oracle索引性能优化、Oracle表分区和Oracle索引分区，以进行分表存储，并查询目标数据。

6.一种发动机稳态数据挖掘及统计装置，其特征在于，包括：

创建模块，用于传入试验参数名称，并在数据库中创建数据表；

存储模块，用于获取与所述试验参数名称相关的配置信息，并将所述配置信息存储于TDM系统的参数规范表中；以及

更新模块，用于将数据存入所述数据库中相应的数据表里，在数据传输完成后，更新并统计所述数据库中数据。

7.根据权利要求6所述的装置，其特征在于，所述创建模块，具体用于：

将传入的试验参数名称与所述参数规范表进行匹配，以验证所述参数名称是否正确；

如果验证错误，则返回，否正根据所述试验参数名称创建所述数据表。

8.根据权利要求6所述的装置，其特征在于，所述创建模块，还用于：

通过调用服务器端提供的Web Service动态创建所述数据表，其中，通过Web Service传递参数扫描表以创建所述数据表，同时创建对所述数据表插入数据操作的存储过程。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的发动机稳态数据挖掘及统计方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的发动机稳态数据挖掘及统计方法。

Images