CN116450586A - 火箭数据解析方法、系统、电子设备及计算机存储介质 - Google Patents
火箭数据解析方法、系统、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN116450586A CN116450586A CN202310394124.1A CN202310394124A CN116450586A CN 116450586 A CN116450586 A CN 116450586A CN 202310394124 A CN202310394124 A CN 202310394124A CN 116450586 A CN116450586 A CN 116450586A
- Authority
- CN
- China
- Prior art keywords
- data
- rocket
- test data
- test
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 344
- 238000013075 data extraction Methods 0.000 claims abstract description 42
- 238000002360 preparation method Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims description 72
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000011049 filling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 5
- 238000007689 inspection Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013144 data compression Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
- G06F8/42—Syntactic analysis
- G06F8/427—Parsing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种火箭数据解析方法、系统、电子设备及计算机存储介质,涉及数据提取与解析领域,方法包括获取火箭测试数据;所述火箭测试数据包括技术准备测试数据和发射准备测试数据;对所述火箭测试数据进行文件预处理,得到预处理后火箭测试数据;将所述预处理后火箭测试数据作为临时数据存入数据库;根据所述预处理后火箭测试数据的文件名称和格式后缀,确定测试项目和数据类型;根据所述测试项目和所述数据类型对所述预处理后火箭测试数据进行数据提取和解析,得到数据库格式火箭测试数据;将所述数据库格式测试数据存入所述数据库;所述数据库用于对火箭状态进行评估。本发明通过对火箭数据进行规范化处理,提高火箭状态评估的准确性。
Description
技术领域
本发明涉及数据提取与解析领域,特别是涉及一种火箭数据解析方法、系统、电子设备及计算机存储介质。
背景技术
火箭从生产出厂、转载运输、技术准备、发射准备、退役报废等全寿命周期内,会进行频繁、大量的技术测试,产生各种各类的测试数据。在进行装备数字化保障的当前,这些来源广泛、种类多样、格式各异的测试数据要形成可分析利用的“数据资产”,就需要进行开发相应的数据提取与解析方法。现有技术主要集中在单一类型数据的提取方法上,对火箭测试产生的二进制数据、图元文件和文本文件等异构文件的数据提取方法尚无相关研究,无法兼容所有采集数据和历史数据,无法包容所有结构化数据和非结构化数据,无法通过统一的方法进行浏览、查询,无法对数据进行分析,挖掘其与火箭状态的关联性的问题,容易形成“数据孤岛”,不利于准确评估火箭状态。
发明内容
本发明的目的是提供一种火箭数据解析方法、系统、电子设备及计算机存储介质,通过对火箭数据进行规范化处理,提高火箭状态评估的准确性。
为实现上述目的,本发明提供了如下方案:
一种火箭数据解析方法,包括:
获取火箭测试数据;所述火箭测试数据包括技术准备测试数据和发射准备测试数据;
对所述火箭测试数据进行文件预处理,得到预处理后火箭测试数据;
将所述预处理后火箭测试数据作为临时数据存入数据库;
根据所述预处理后火箭测试数据的文件名称和格式后缀,确定测试项目和数据类型;
根据所述测试项目和所述数据类型对所述预处理后火箭测试数据进行数据提取和解析,得到数据库格式火箭测试数据;所述数据类型包括二进制类型、图元类型和文本类型;所述数据库格式火箭测试数据包括格式化二进制数据、格式化图元数据和格式化文本数据;
将所述数据库格式测试数据存入所述数据库;所述数据库用于对火箭状态进行评估。
本发明还提供一种火箭数据提取和解析系统,包括:
获取模块,用于获取火箭测试数据;所述火箭测试数据包括技术准备测试数据和发射准备测试数据;
文件预处理模块,用于对所述火箭测试数据进行文件预处理,得到预处理后火箭测试数据;
临时存入模块,用于将所述预处理后火箭测试数据作为临时数据存入数据库;
测试项目和数据类型确定模块,用于根据所述预处理后火箭测试数据的文件名称和格式后缀,确定测试项目和数据类型;
数据提取和解析模块,用于根据所述测试项目和所述数据类型对所述预处理后火箭测试数据进行数据提取和解析,得到数据库格式火箭测试数据;所述数据类型包括二进制类型、图元类型和文本类型;所述数据库格式火箭测试数据包括格式化二进制数据、格式化图元数据和格式化文本数据;
数据库存入模块,用于将所述数据库格式测试数据存入所述数据库;所述数据库用于对火箭状态进行评估。
本发明还提供一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如所述的方法。
本发明还提供一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如所述的方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明获取火箭测试数据;所述火箭测试数据包括技术准备测试数据和发射准备测试数据;对所述火箭测试数据进行文件预处理,得到预处理后火箭测试数据;将所述预处理后火箭测试数据作为临时数据存入数据库;根据所述预处理后火箭测试数据的文件名称和格式后缀,确定测试项目和数据类型;根据所述测试项目和所述数据类型对所述预处理后火箭测试数据进行数据提取和解析,得到数据库格式火箭测试数据;所述数据类型包括二进制类型、图元类型和文本类型;所述数据库格式火箭测试数据包括格式化二进制数据、格式化图元数据和格式化文本数据;将所述数据库格式火箭测试数据存入所述数据库;所述数据库用于对火箭状态进行评估。通过对不同数据类型的数据进行转换,得到统一格式的火箭测试数据,提高火箭测试数据的规范性。将数据库格式测试数据和数据库格式准备测试数据存入数据库,在进行火箭状态评估时直接采用数据库中统一格式的数据,能够提高火箭状态评估的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的火箭数据解析方法总体示意图;
图2为二进制类型数据提取和解析流程图;
图3为文本类型数据提取和解析流程图;
图4为图元类型数据提取和解析流程图;
图5为火箭综合测试数据采集流程图;
图6为弹测设备数据采集流程图;
图7为箭载计算机数据采集流程图;
图8为压力传感器设备数据采集流程图;
图9为平台设备数据采集流程图;
图10为速率陀螺数据采集流程图;
图11为伺服系统数据采集流程图;
图12为总检查数据采集流程图;
图13为本发明提供的火箭数据解析方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种火箭数据解析方法、系统、电子设备及计算机存储介质,通过对火箭数据进行规范化处理,提高火箭状态评估的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。如图13和图1所示,本发明一种火箭数据提取和解析方法,包括:
步骤101:获取火箭测试数据;所述火箭测试数据包括技术准备测试数据和发射准备测试数据。
步骤102:根对所述火箭测试数据进行文件预处理,得到预处理后火箭测试数据。
步骤102,具体包括:对所述火箭测试数据的文件格式进行转换,得到转换后的测试数据;对所述转换后的测试数据进行文件内容转换,得到预处理后火箭测试数据。
步骤103:将所述预处理后火箭测试数据作为临时数据存入数据库。
火箭全寿命周期中,包括技术准备和发射准备,会产生技术准备测试数据(包括综合测试、弹测设备测试、箭载计算机测试、压力传感器测试、平台测试、速率陀螺测试、伺服检查测试、总检查测试等数据)和发射准备测试数据(包括综合测试、总检查测试等数据)。根据总体设计可知,这两类数据需要进行一定的转换,方便后续数据库索引和保存,具体转换操作如下:
技术准备测试数据
1)文件格式转换
目前,技术准备测试数据是与现有纸质测试数据内容一致的原始测试数据报表信息(以下简称“原始信息”)。对原始信息进行格式转换操作后,转换后数据称之为“格式转换信息”,统一转换成一种数据格式,以“测试项目”为一个文件夹,以“测试数据名称”为一个数据压缩包。
如前所述,火箭测试数据主要包括二进制、图元和文本三种类型。
二进制数据可以直接进行数据提取,一般不进行格式转换,按照上述要求建立文件夹和压缩包即可。
图元数据格式的转换运算处理较为复杂,且多为报表文件导出的图片或历史测试记录的扫描图片,数量不多,因此,一般不在数据预处理环节做过多转换操作,按照上述要求建立文件夹和压缩包即可。
文本数据格式样式较多,原始信息的数据格式可为word、txt、HTML文件格式,以“测试数据名称”为一个文件。为方便后续数据提取和解析,本发明对该类数据进行预处理,即将类型文本数据统一转换为txt数据格式,再以“测试项目”为一个文件夹,以“测试数据名称”为一个数据压缩包。
2)文件内容转换
为方便后续数据库操作,本发明通过人机界面输入测试数据归档所需要的信息,形成XML索引标签,信息内容如表1所示,原始信息文件名称和转换数据压缩包的名称根据XML索引标签自动生成。在格式转换数据压缩包中包含XML索引标签文件。XML索引标签中,任务名称,任务代号,测试名称,火箭编号,被测设备名称,被测设备代号都通过全寿命周期下发计划生成选项,用户选择输入,测试日期按当前转换时间自动生成,或者读取原始数据的测试日期,单位为年月日时分秒,测试人需要用户填写输入。
表1技术准备测试数据添加的XML索引标签内容列表
原始信息文件内容与现有纸质测试数据内容保持一致。
转换信息文件内容如表2所示,以文件名称开头,后面的参数以参数块的形式出现,系统识别关键字“参数名:”为参数块的起始,在参数块中第一行为参数名称,参数名称如需可用逗号分隔,如参数名“插座1,33-2,点号1-1,插座2,33-2,点号2-2”,第二行包括参数的设计指标,包括上限值,下限值,标准值,单位和结论,中间用tab键间隔,测试结论为合格或不合格,若参数无技术指标,此行为空。第三行为实测值名称,实测值名称之间tab键间隔。第四行到第N行,为实测值名称对应的具体参数值,参数值之间用tab键间隔,只要设计指标和参数值名称一致的情况,都可以作为一个参数块。一个参数块结束后,下一个参数块以“参数名:”开头。
表2测试数据转换信息版本的内容格式要求
发射准备测试数据(发射准备测试数据与技术准备测试数据的操作类似)
1)文件格式操作
发射准备测试数据保留原始测试数据报表信息(以下简称“原始信息”),执行本操作后可获得格式转换信息。文件格式转换方法与技术准备测试数据的操作相同。
2)文件内容操作
此处需要注意的是原始信息和格式转换信息都需要增加表头信息(如表3所示),测试时间由转换软件自动提供,格式为年月日时分秒。表头信息若原始数据中已包含,需从原始数据中自动读取填写,若原始数据不包含的,本发明提供界面进行人工输入。
表3发射准备测试数据增加表头信息
格式转换信息的数据格式要求如表4所示,以测试项为单位,进行数据格式化。测试项结论为{合格/不合格},每个测试项都包含一个测试表如表5所示,若原始数据中没有对应数值的情况,相应表格值为空。
表4对发射准备测试数据格式转换表
测试项名称 | 测试项说明(可空) | 测试项结论 |
表5测试参数表
步骤104:根据所述预处理后火箭测试数据的文件名称和格式后缀,确定测试项目和数据类型。
步骤105:根据所述测试项目和所述数据类型对所述预处理后火箭测试数据进行数据提取和解析,得到数据库格式火箭测试数据;所述数据类型包括二进制类型、图元类型和文本类型;所述数据库格式火箭测试数据包括格式化二进制数据、格式化图元数据和格式化文本数据。
步骤105,具体包括:读取测试项目名称和文件格式名称,将测试项目名称和文件格式名称存入数据库表头;对所述数据类型为二进制类型的预处理后火箭测试数据依次进行字符分段读取、ASCII码转换、数据分段提取和解析,得到格式化二进制数据;对所述数据类型为图元类型的预处理后火箭测试数据依次进行图元文件解析和文本文件解析,得到格式化图元数据;对所述数据类型为文本类型的预处理后火箭测试数据依次进行逐行读取、分割和匹配,得到格式化文本数据。
其中,对所述数据类型为图元类型的预处理后火箭测试数据依次进行图元文件解析和文本文件解析,得到格式化图元数据,具体包括:将所述数据类型为图元类型的预处理后火箭测试数据按照页数分割为多个页文件;分别对每个所述页文件进行扫描和文本图元读取,得到行字符串;读取所述页文件的制表符;根据所述制表符位置在所述行字符串中进行空格补齐,得到字符串变量;将所述字符串变量存入文本文件,得到格式化图元数据。
步骤106:将所述数据库格式火箭测试数据存入所述数据库;所述数据库用于对火箭状态进行评估。
经过对火箭测试数据数据类别和特性分析,目前测试数据主要包括二进制类型、图元类型和文本类型三种类别。本发明针对二进制测试数据,通过每行的字节长度和字符间分隔符等进行分隔从而实现数据的解析;针对图元文件,按像素从顶部自左向右逐行扫描,读取文本数据到行字符串中,以空格代替非文本图元(制表符),并将字符串存入文本文件;针对文本文件,按行读取文件,逐行读取字符串数据并根据表头元素大致位置拆分数据元素到各个字段,结合文件的任务标定组织SQL语句,获得格式化数据。该发明提出的技术方案可以将各类测试记录转化成统一、可识别、可利用的数据,便于挖掘数据价值,为火箭测试性能评价和健康状态智能评估奠定基础,解决各类数据难融合应用的问题。具体操作如下:
二进制测试数据经过分析可以通过每行的字节长度和字符间分隔符等进行分隔从而实现数据的解析,但由于报表格式多样,处理上可按报表样式进行解析,通过读取文件头的方式来确定测试项目,从而将文件与报表对应上,然后再进行解析运算。
如图2所示,二进制测试数据具体转换步骤如下:
①选择待转换文件;
②以二进制流的方式读取选中文件的前100个字节;
③对这100个字节进行ASCII转换得到长度大于实际标题的字符串;
④然后用定义好的标题与之模糊匹配,确定被测设备的型号及测试项目;
⑤根据设备型号和测试项目,找到指定的数据解析方法;
⑥找到对应的解析方法后,以二进制流的方式读取选中文件,从第101个字节开始按换行符(系统对实际数据的实时分析得出)逐行读取,由于可能存在读取产生的乱码,需要自动删除每一行的前、后特殊符号;未找到解析方法则返回错误提示;
⑦为实现二进制码向字符的转换,以元素分割符将每一行数据分割为若干个数据单元;
⑧将第一个数据单元进行解码分析后得到测试项目参数名称,存为数组名;对其他数据单元进行解析,将结果按位存放到相应数组中,形成对应测试项目参数的测试结果数据;
⑨获得解析后的临时数组数据;根据该临时数组数据,组织数据库(SQL)语句,并提交入库得到格式化数据。
文本文件是一种较为常见的测试设备输出类型,可以从文件中按顺序进行读取,进而开展解析。分析发现,含有火箭测试数据的文本文件中除了包含测试数据以外,往往还含有一些其他信息;或者文件本身不是由技术准备或发射准备相关测试产生,而是由其他技术工作(如定期检查、出厂测试、维修等)产生。为此,需要对文本文件的属性进行判断,对文本内容进行逐行读取和解析,提取与预置的测试项目相关的数据,删除不必要的信息。
如图3所示,文本测试数据提取解析具体流程如下:
①选择待转换文件;
②逐行顺序读取文件内容,针对某一行,按字符串分割成若干数据元素;
③判断第一个数据元素是否为测试项目(程序中预先定义的),如果是则确定当前读到的测试项目,如果不是则测试项目则逐行查找后续的数据元素,找到当前文本中的测试内容,读取出对应的测试项目;
④继续逐行读取下面几行的内容(跟在测试项目下几行的测试内容是该测试项目的测试内容)并解析测试内容及测试值;
⑤整理解析得到的测试项目和测试内容,对照预置的测试项目数据,完成有用数据筛选,形成临时测试数据;
⑥利用分析得到的测试临时数据,结合文件的任务标定,组织数据库(SQL)语句,并提交入库得到格式化数据。
有少量的火箭测试数据以电子图片(报表控件导出图片文件或纸质文档扫描文件)的形式存放,这类测试数据实质是一种图元类性的报表文件。图元数据解析时先通过调用C++编写的动态库或应用程序将文件转换为可识别的文本文件,再由Web程序将文本文件按数据内容解析出测试项数据。
如图4所示,图元测试数据采集具体流程如下:
①选择待转换文件;
②调用QRP文件解析程序,利用QuickReport控件读取QRP文件,获得该报表文件的总页数,并通过QuickReport控件将每一页输出为一个文件(这些文件为图元文件);
③循环每一个图元文件,调用图元文件解析程序进行图元文件解析;
④在图元文件解析程序中载入图元文件,按像素从顶部自左向右逐行扫描,当找到文本图元时读取其文本数据到行字符串中,并继续向后读取,当找到非文本图元(制表符)时记下大致位置,并在行字符串中加入适当的空格补齐位置,直到行扫描完毕,并将字符串另存为一个文本文件,得到每一个图元文件对应的文本文件;
⑤将每一个图元文件转换得到的文本文件汇总为一个文本文件,得到整个原始图元文件的初始文本文件;
⑥调用文本文件解析算法,解析初始文本文件内容:首先载入文本文件,按行读取文件,在读取首行时获得表头元素和大致位置;继续逐行读取字符串数据并根据表头元素大致位置拆分数据元素到各个字段;最终获得解析后的临时数据。需要说明的是,与普通的文本文件解析方法(如图3所示)不同,由于初始文本文件的数据来源是图元,文本中会存在大量的空格,以表达各项数据的对应位置,因此,该类数据解析的重难点都集中在数据格式和逻辑关系的整理;
⑦利用分析得到的字段和字段值结合文件的任务标定,组织数据库(SQL)语句,并提交入库得到格式化数据。
本发明提出的方法能实现测试设备输出数据的提取、数据解析还原以及对测试数据项的解析,实现对火箭测试数据的电子化,可将各类测试记录转化成统一、可识别、可利用的数据,便于挖掘数据价值,为火箭测试性能评价和健康状态智能评估奠定基础,解决各类数据难融合应用的问题。火箭原始测试数据来自于多种测试设备的输出数据,本发明实现了针对这些多源异构数据的按规范数据库格式解析功能;实现多种类测试数据,在解析后按要求存入中心数据库功能。
目前,待处理的火箭数据可划分为异构非数据库数据和数据库数据。异构非数据库数据主要来源于各类火箭测试设备,由于研制以及测试需求不同的原因,各类测试设备生成的单元测试结果数据结构多样,无法统一判读和存储,需要经过数据提取解析成数据库数据后才能够统一判读及存储。数据库数据主要来源于火箭综合测试数据,这类数据则可以直接实时处理存储。本发明主要针对第一类数据,即异构非数据库数据的数据提取和解析方法。
火箭测试设备生成的测试结果数据格式多样,经采集汇聚的多源异构测试数据无法直接进行数据判读,必须进行数据的预处理,完成其提取、解析并形成统一格式规范后,才能够实现数据的高效判读。进过梳理发现火箭测试数据包括两大类:技术准备测试数据和发射准备测试数据。本发明的最终目的是希望实现这些异构数据的规范化,方便后续形成可分析利用的“数据资产”,因此本发明主要集中在将这些异构数据提取、解析,最终形成可保存的数据库格式数据,因此总体思路如图1所示。
火箭测试设备类型多,因此输出数据类型也不一致,包括火箭综合测试数据、弹测数据、箭载计算机测试数据、压力传感器测试数据、平台测试数据、速率陀螺测试数据、伺服测试数据、总检查测试数据等。
其中,火箭综合测试数据、压力传感器测试数据和总检查测试数据为二进制数据,采用本发明所述的二进制数据提取与解析方法;箭载计算机测试数据、平台测试测试数据和速率陀螺测试数据为文本数据,采用本发明所述的文本数据提取与解析方法;弹测数据和伺服测试数据为图元数据,采用本发明所述的图元数据提取与解析方法。各测试项目在进行数据提取和解析时,在遵循对应提取与解析方法的同时,为符合系统的数据要求和数据来源的特点,进行了适应性的调整。
本发明以某型火箭进行实例验证,该火箭综合测试数据格式为二进制数据,可采用二进制类型数据的提取与解析方法,通过每行字节长度和字符间分隔符等进行分隔实现数据解析。另外,由于火箭综合测试数据报表的格式多样(共有5种),在进行数据提取和解析之前,需要先按报表样式进行解析,通过读取文件头的方式来确定测试项目,从而将文件与报表对应上,然后再进行数据解析运算。具体流程如图5所示:
(1)选择待转换的文件;
(2)读取文件头;
(3)按照报表样式解析,确定文件测试项目;
(4)调用该测试项目对应的二进制数据解析方法,进行数据解析,并组织SQL语句提交;
(5)得到格式化数据;
(6)保存文件并结束该文件的提取和解析工作。
具体实施时,火箭综合测试设备输出数据到达摆渡中心后,操作人员下载测试文件,并对这些数据文件进行初步标定,标定的主要内容为,任务名称、火箭编号、测试流程和测试时间;经过标定的文件数据按照图5的流程,经过测试项目识别、测试数据解析与转换、数据格式化后存储到mysql数据库中;最后将文件按要求存入数据中心保存。
以弹测设备数据为例,某型火箭的弹测设备数据是一组报表文件,该文件实际由一组图元文件组成,因此,可采用本发明提出的图元文件提取与解析方法。弹测设备测试数据采集具体流程如图6所示:
(1)选择待转换的文件;
(2)采用图元类型数据提取与解析方法,首先调用C++编写的动态库或应用程序,将图元文件转化为可识别的文本文件;
(3)再提取该文本文件中的测试项目和测试内容数据,并组织SQL语句提交;
(4)得到格式化数据;
(5)保存文件并结束该文件的提取和解析工作。
以箭载计算机测试数据为例,从箭载计算机测试设备得到的数据是一个文本文件,文件中包含了箭载计算机测试的所有项目,因此,可采用本发明提出的文本文件提取与解析方法。箭载计算机测试数据采集具体流程如图7所示:
(1)选择待转换的文件;
(2)调用箭载计算机项目解析方法,该方法是基于文本类型数据提取与解析方法,根据箭载计算机测试项目和内容进行了适应性调整;
(3)由于箭载计算机部分测试项目数据复杂度高,为确保数据准确,引入了项目参数解析算法,实际是二进制类型数据提取与解析方法,实现对数据进一步整备;
(4)得到格式化数据;
(5)保存文件并结束该文件的提取和解析工作。
本发明以某型火箭进行实例验证,从压力传感器测试设备得到的数据为*.DAT文件,为二进制文件数据,需要知道写入算法才能进行解析;其次数据存储的是原始数据,不是打印出的报表数据,需要根据规定的算法计算形成报表数据;再次,该二进制文件存储的是多批数据,需要对解析后的数据进行筛选,取最后一次任务的数据为本次任务数据。根据以上要求,确定压力传感器测试数据的采集流程如图8所示。
(1)选择待转换的文件;
(2)调用压力数据读取方法,得到可识别的初始数据文本;该方法是基于二进制类型数据提取与解析方法,根据压力传感器测试项目和内容进行了适应性调整;
(3)根据原始数据规则(*.DAT文件写入算法),编写原始数据解析方法;将识别后的初始数据文本导入该方法中,计算获得原始数据存入原始格式化数据格中;
(4)根据报表数据规则,编写报表数据计算方法;将经原始数据解析获得的原始数据文本导入该方法中,计算获得报表数据存入报表格式化数据中;
(5)保存文件并结束该文件的提取和解析工作。
本发明以某型火箭进行实例验证,从平台测试设备得到的数据为6组数据,这些文件都是文本文件,可以按文件内容编写相应的解析程序进行数据解析。根据以上要求,确定平台测试数据采集流程如图9所示。
(1)选择待转换的文件;
(2)调用平台数据解析方法,得到可识别的文本;该方法是基于文本类型数据提取与解析方法,根据平台测试项目和内容进行了适应性调整;
(3)根据原始文件中对平台误差系数的计算规则,编制平台误差系数计算方法;调用该方法,将上一步骤得出的可识别文本导入,计算并记录平台误差数据;
(4)得到格式化数据;
(5)保存文件并结束该文件的提取和解析工作。
本发明以某型火箭进行实例验证,从速率陀螺测试设备得到的数据为一组.DAT文件,是一组文本文件,经过分析最终确定了文件内容对应的测试项目。根据以上要求,确定速率陀螺测试数据采集流程如图10所示。
(1)选择待转换的文件;
(2)调用速率陀螺测试数据解析方法,得到可识别的文本;该方法是基于文本类型数据提取与解析方法,根据速率陀螺测试项目和内容进行了适应性调整;
(3)得到格式化数据;
(4)保存文件并结束该文件的提取和解析工作。
本发明以某型火箭进行实例验证,从伺服测试设备得到的数据为一组.QRP文件,这是一组报表文件,是由早期的QuickReport报表控件开发并导出的文件,这类文件实际是由一组图元文件组成的,因此,按照如图4所示的图元数据解析方法进行数据提取和解析。伺服测试数据采集流程如图11所示:
(1)选择待转换的文件;
(2)采用图元类型数据提取与解析方法,首先调用C++编写的动态库或应用程序,将图元文件转化为可识别的文本文件;
(3)再提取该文本文件中的测试项目和测试内容数据,并组织SQL语句提交;
(4)得到格式化数据;
(5)保存文件并结束该文件的提取和解析工作。
从总检查测试设备得到的数据为一组.DB文件,研究发现,这是一组由早期的BDE桌面数据库文件,需要安装BDE数据库引擎,然后通过DELPHI编写的动态库或可执行文件将其中的数据转换为文本文件,再由WEB程序对可识别的文本文件进行内容解析,最后得到测试项数据。另外,火箭在进行总检查时,会使用预先设定好的判读数据,对照测试数据进行人工或者自动判读,因此,在进行数据采集时,不仅要完成测试数据的提取和解析,还需要进行判读数据的提取和解析。总检查测试数据采集流程如图12所示:
(1)选择待转换的文件;
(2)调用总检查数据解析方法,得到可识别的初始数据文本;该方法是基于二进制类型数据提取与解析方法,根据原始文件编写规则进行了适应性调整;
(3)根据总检查测试设备的数据规则,编写测试数据项解析方法;将识别后的初始数据文本导入该方法中,解析并保存测试数据项的格式化数据;
(4)根据判读数据的规则,编写判读数据项解析方法;将识别后的初始数据文本导入该方法中,解析并保存判读数据项的格式化数据;
(5)保存文件并结束该文件的提取和解析工作。
本发明针对火箭全寿命周期中,技术准备测试数据、发射准备测试数据,以及其他阶段的火箭测试数据为研究对象,提出了异构多源数据的提取与解析方法,并形成了统一的数据库存储形式,为这些数据后续的开发利用提供了高效的接口,极大提高了这些“数据资产”的利用率。
本发明还提供一种火箭数据解析系统,包括:
获取模块,用于获取火箭测试数据;所述火箭测试数据包括技术准备测试数据和发射准备测试数据。
文件预处理模块,用于对所述火箭测试数据进行文件预处理,得到预处理后火箭测试数据。
临时存入模块,用于将所述预处理后火箭测试数据作为临时数据存入数据库。
测试项目和数据类型确定模块,用于根据所述预处理后火箭测试数据的文件名称和格式后缀,确定测试项目和数据类型。
数据提取和解析模块,用于根据所述测试项目和所述数据类型对所述预处理后火箭测试数据进行数据提取和解析,得到数据库格式火箭测试数据;所述数据类型包括二进制类型、图元类型和文本类型;所述数据库格式火箭测试数据包括格式化二进制数据、格式化图元数据和格式化文本数据。
数据库存入模块,用于将所述数据库格式测试数据存入所述数据库;所述数据库用于对火箭状态进行评估。
在实际应用中,所述文件预处理模块具体包括:文件格式转换单元,用于对所述火箭测试数据的文件格式进行转换,得到转换后的测试数据;文件内容转换单元,用于对所述转换后的测试数据进行文件内容转换,得到预处理后火箭测试数据。
在实际应用中,所述数据提取和解析模块具体包括:读取单元,用于读取测试项目名称和文件格式名称,将测试项目名称和文件格式名称存入数据库表头;二进制类型转换单元,用于对所述数据类型为二进制类型的预处理后火箭测试数据依次进行字符分段读取、ASCII码转换、数据分段提取和解析,得到格式化二进制数据;图元类型转换单元,用于对所述数据类型为图元类型的预处理后火箭测试数据依次进行图元文件解析和文本文件解析,得到格式化图元数据;文本类型转换单元,用于对所述数据类型为文本类型的预处理后火箭测试数据依次进行逐行读取、分割和匹配,得到格式化文本数据。
在实际应用中,所述图元类型转换单元具体包括:分解子单元,用于将所述数据类型为图元类型的预处理后火箭测试数据按照页数分割为多个页文件;扫描和读取子单元,用于分别对每个所述页文件进行扫描和文本图元读取,得到行字符串;制表符读取子单元,用于读取所述页文件的制表符;补齐子单元,用于根据所述制表符位置在所述行字符串中进行空格补齐,得到字符串变量;存入子单元,用于将所述字符串变量存入文本文件,得到格式化图元数据。
本发明还提供一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述任意一项所述的方法。
本发明还提供一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如上述任意一项所述的方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种火箭数据解析方法,其特征在于,包括:
获取火箭测试数据;所述火箭测试数据包括技术准备测试数据和发射准备测试数据;
对所述火箭测试数据进行文件预处理,得到预处理后火箭测试数据;
将所述预处理后火箭测试数据作为临时数据存入数据库;
根据所述预处理后火箭测试数据的文件名称和格式后缀,确定测试项目和数据类型;
根据所述测试项目和所述数据类型对所述预处理后火箭测试数据进行数据提取和解析,得到数据库格式火箭测试数据;所述数据类型包括二进制类型、图元类型和文本类型;所述数据库格式火箭测试数据包括格式化二进制数据、格式化图元数据和格式化文本数据;
将所述数据库格式火箭测试数据存入所述数据库;所述数据库用于对火箭状态进行评估。
2.根据权利要求1所述的火箭数据解析方法,其特征在于,对所述火箭测试数据进行文件预处理,得到预处理后火箭测试数据,具体包括:
对所述火箭测试数据的文件格式进行转换,得到转换后的测试数据;
对所述转换后的测试数据进行文件内容转换,得到预处理后火箭测试数据。
3.根据权利要求1所述的火箭数据解析方法,其特征在于,根据所述测试项目和所述数据类型对所述预处理后火箭测试数据进行数据提取和解析,得到数据库格式火箭测试数据,具体包括:
读取测试项目名称和文件格式名称,将测试项目名称和文件格式名称存入数据库表头;
对所述数据类型为二进制类型的预处理后火箭测试数据依次进行字符分段读取、ASCII码转换、数据分段提取和解析,得到格式化二进制数据;
对所述数据类型为图元类型的预处理后火箭测试数据依次进行图元文件解析和文本文件解析,得到格式化图元数据;
对所述数据类型为文本类型的预处理后火箭测试数据依次进行逐行读取、分割和匹配,得到格式化文本数据。
4.根据权利要求3所述的火箭数据解析方法,其特征在于,对所述数据类型为图元类型的预处理后火箭测试数据依次进行图元文件解析和文本文件解析,得到格式化图元数据,具体包括:
将所述数据类型为图元类型的预处理后火箭测试数据按照页数分割为多个页文件;
分别对每个所述页文件进行扫描和文本图元读取,得到行字符串;
读取所述页文件的制表符;
根据所述制表符位置在所述行字符串中进行空格补齐,得到字符串变量;
将所述字符串变量存入文本文件,得到格式化图元数据。
5.一种火箭数据解析系统,其特征在于,包括:
获取模块,用于获取火箭测试数据;所述火箭测试数据包括技术准备测试数据和发射准备测试数据;
文件预处理模块,用于对所述火箭测试数据进行文件预处理,得到预处理后火箭测试数据;
临时存入模块,用于将所述预处理后火箭测试数据作为临时数据存入数据库;
测试项目和数据类型确定模块,用于根据所述预处理后火箭测试数据的文件名称和格式后缀,确定测试项目和数据类型;
数据提取和解析模块,用于根据所述测试项目和所述数据类型对所述预处理后火箭测试数据进行数据提取和解析,得到数据库格式火箭测试数据;所述数据类型包括二进制类型、图元类型和文本类型;所述数据库格式火箭测试数据包括格式化二进制数据、格式化图元数据和格式化文本数据;
数据库存入模块,用于将所述数据库格式测试数据存入所述数据库;所述数据库用于对火箭状态进行评估。
6.根据权利要求5所述的火箭数据解析系统,其特征在于,所述文件预处理模块具体包括:
文件格式转换单元,用于对所述火箭测试数据的文件格式进行转换,得到转换后的测试数据;
文件内容转换单元,用于对所述转换后的测试数据进行文件内容转换,得到预处理后火箭测试数据。
7.根据权利要求5所述的火箭数据解析系统,其特征在于,所述数据提取和解析模块具体包括:
读取单元,用于读取测试项目名称和文件格式名称,将测试项目名称和文件格式名称存入数据库表头;
二进制类型转换单元,用于对所述数据类型为二进制类型的预处理后火箭测试数据依次进行字符分段读取、ASCII码转换、数据分段提取和解析,得到格式化二进制数据;
图元类型转换单元,用于对所述数据类型为图元类型的预处理后火箭测试数据依次进行图元文件解析和文本文件解析,得到格式化图元数据;
文本类型转换单元,用于对所述数据类型为文本类型的预处理后火箭测试数据依次进行逐行读取、分割和匹配,得到格式化文本数据。
8.根据权利要求7所述的火箭数据解析系统,其特征在于,所述图元类型转换单元具体包括:
分解子单元,用于将所述数据类型为图元类型的预处理后火箭测试数据按照页数分割为多个页文件;
扫描和读取子单元,用于分别对每个所述页文件进行扫描和文本图元读取,得到行字符串;
制表符读取子单元,用于读取所述页文件的制表符;
补齐子单元,用于根据所述制表符位置在所述行字符串中进行空格补齐,得到字符串变量;
存入子单元,用于将所述字符串变量存入文本文件,得到格式化图元数据。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至4中任意一项所述的方法。
10.一种计算机存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310394124.1A CN116450586B (zh) | 2023-04-13 | 2023-04-13 | 火箭数据解析方法、系统、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310394124.1A CN116450586B (zh) | 2023-04-13 | 2023-04-13 | 火箭数据解析方法、系统、电子设备及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116450586A true CN116450586A (zh) | 2023-07-18 |
CN116450586B CN116450586B (zh) | 2024-01-26 |
Family
ID=87129751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310394124.1A Active CN116450586B (zh) | 2023-04-13 | 2023-04-13 | 火箭数据解析方法、系统、电子设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116450586B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105893482A (zh) * | 2016-03-29 | 2016-08-24 | 西安航天动力试验技术研究所 | 发动机试验数据全自动化提取与Word报告生成方法 |
US20180173812A1 (en) * | 2016-12-19 | 2018-06-21 | American Express Travel Related Services Company, Inc. | Systems and methods for parsing and ingesting data in big data environments |
CN109815286A (zh) * | 2019-01-18 | 2019-05-28 | 北京信成未来科技有限公司 | 一种自适应火箭遥测系统及其实现方法 |
CN112181679A (zh) * | 2020-09-13 | 2021-01-05 | 中国运载火箭技术研究院 | 火箭数据处理方法、装置及计算机存储介质、电子设备 |
CN112528554A (zh) * | 2020-11-17 | 2021-03-19 | 中国运载火箭技术研究院 | 一种适于多发多源火箭试验数据的数据融合方法及系统 |
CN113836038A (zh) * | 2021-10-21 | 2021-12-24 | 中国平安人寿保险股份有限公司 | 测试数据构造方法、装置、设备及存储介质 |
CN114697156A (zh) * | 2022-03-16 | 2022-07-01 | 航天科工火箭技术有限公司 | 火箭总线数据监控方法、装置、终端设备及介质 |
-
2023
- 2023-04-13 CN CN202310394124.1A patent/CN116450586B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105893482A (zh) * | 2016-03-29 | 2016-08-24 | 西安航天动力试验技术研究所 | 发动机试验数据全自动化提取与Word报告生成方法 |
US20180173812A1 (en) * | 2016-12-19 | 2018-06-21 | American Express Travel Related Services Company, Inc. | Systems and methods for parsing and ingesting data in big data environments |
CN109815286A (zh) * | 2019-01-18 | 2019-05-28 | 北京信成未来科技有限公司 | 一种自适应火箭遥测系统及其实现方法 |
CN112181679A (zh) * | 2020-09-13 | 2021-01-05 | 中国运载火箭技术研究院 | 火箭数据处理方法、装置及计算机存储介质、电子设备 |
CN112528554A (zh) * | 2020-11-17 | 2021-03-19 | 中国运载火箭技术研究院 | 一种适于多发多源火箭试验数据的数据融合方法及系统 |
CN113836038A (zh) * | 2021-10-21 | 2021-12-24 | 中国平安人寿保险股份有限公司 | 测试数据构造方法、装置、设备及存储介质 |
CN114697156A (zh) * | 2022-03-16 | 2022-07-01 | 航天科工火箭技术有限公司 | 火箭总线数据监控方法、装置、终端设备及介质 |
Non-Patent Citations (2)
Title |
---|
赵瑞国等: "液体火箭发动机高速采集数据工程数据库设计及应用", 火箭推进, vol. 37, no. 3, pages 60 - 64 * |
连彦泽等: "运载火箭试验大数据存储架构设计与应用", 遥测遥控, vol. 43, no. 6, pages 78 - 88 * |
Also Published As
Publication number | Publication date |
---|---|
CN116450586B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6947947B2 (en) | Method for adding metadata to data | |
CN107704539B (zh) | 大规模文本信息批量结构化的方法及装置 | |
US9690788B2 (en) | File type recognition analysis method and system | |
CN111367886A (zh) | 数据库中数据迁移的方法及装置 | |
KR101679050B1 (ko) | 규칙 기반 로그 데이터 그룹화를 이용한 개인 맞춤형 로그 분석 시스템 및 그 방법 | |
CN106909609A (zh) | 确定相似字符串的方法、文件查重的方法及系统 | |
CN112883066B (zh) | 一种数据库上的多维范围查询基数估计方法 | |
CN111898351B (zh) | 基于Aviator的Excel数据自动导入方法、装置、终端设备及存储介质 | |
CN116450586B (zh) | 火箭数据解析方法、系统、电子设备及计算机存储介质 | |
CN111680082B (zh) | 基于数据整合的政府财政数据采集系统及数据采集方法 | |
CN113238865A (zh) | 基于Excel一键导入的快速构建知识图谱的方法 | |
US8346785B1 (en) | Performing abstraction and/or integration of information | |
CN117194410B (zh) | 一种人工智能语言模型生成业务报表的方法及系统 | |
CN116737698B (zh) | 分布式数据库配置比对方法、装置、设备及存储介质 | |
CN117725437B (zh) | 一种基于机器学习的数据精准匹配分析方法 | |
CN117632249A (zh) | 一种基于节点特征融合的图神经网络代码差异检测方法 | |
WO2022211099A1 (en) | Patent valuation using artificial intelligence | |
CN115237781A (zh) | 一种动态关联文件参数的接口测试方法 | |
US11250010B2 (en) | Data access generation providing enhanced search models | |
Zamyatina | Text mining of companies annual reports in PDF format | |
CN116841558A (zh) | 代码文件实体关系的解析方法及其装置、电子设备 | |
CN117473452A (zh) | 一种多源数据标签自动化映射与融合方法及系统 | |
CN113495819A (zh) | 一种整车测试报告的处理方法、装置及电动汽车 | |
CN115688712A (zh) | 一种元数据驱动的表格数据解析重构方法 | |
CN117787237A (zh) | 一种发动机试验报告的智能生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |