CN110442551B

CN110442551B - 数据提取方法、装置、可读存储介质及计算机设备

Info

Publication number: CN110442551B
Application number: CN201910704693.5A
Authority: CN
Inventors: 刘洲; 阮航; 黄晖; 段龙杨; 吴和兴; 杨新星; 朱书林; 葛文韬; 魏益国; 余显忠
Original assignee: Jiangling Motors Corp Ltd
Current assignee: Jiangling Motors Corp Ltd
Priority date: 2019-07-31
Filing date: 2019-07-31
Publication date: 2021-10-08
Anticipated expiration: 2039-07-31
Also published as: CN110442551A

Abstract

一种数据提取方法、装置、可读存储介质及计算机设备，该方法包括：获取Adams.Car软件输出的res文件，res文件包括多个项目数据，每个项目数据包括至少一组件数据，每个组件数据对应一个原始数据集；根据项目数据的名称和组件数据的名称从所述res文件中查找目标组件数据，并为目标组件数据添加标识名称；提取目标组件数据中的单位和列号，并将目标组件数据的标识名称，及提取的单位和列号建立对应关系；根据原始数据集的类型名称查找目标原始数据集，并提取目标原始数据集中数据列号等于列号的目标列数据；根据对应关系将目标列数据与标识名称及单位对应存储在结果集文件中。本发明提升了相关数据的获取效率，以及提取数据单位，便于后续数据的处理。

Description

数据提取方法、装置、可读存储介质及计算机设备

技术领域

本发明涉及数据处理领域，特别是涉及一种数据提取方法、装置、可读存储介质及计算机设备。

背景技术

现有技术中通常采用Adams.Car软件对整车的动力学性能进行分析，ADAMS，全称Automatic Dynamic Analysis of Mechanical Systems，现归属MSC.Software公司的一款多体动力学分析软件，Car为其中一个专门处理、求解汽车专业的模块。在采用Adams.Car软件进行整车多体动力学开发时，很多时间和精力要花费在分析结果的后处理，尤其是在提取关键数据和对其进行后续数据挖掘时存在着较大的工作量大。

现有的Adams.Car软件模块分析结果数据提取主要常规方法有：

1)在Adams.post软件模块中手工或导入plot配置文件，选取所需数据，然后导出到单独的文本。该方法需要根据每个工况进行单独提取，整个工作周期时间长，效率低，同时还需要对数据单独处理。

2)读取后缀的req文件，根据req文件和以nam结尾的nam文件进行数据的选择和导出，但该方法一般需要设定Adams生成req文件。并且，经通过对req结果文件内部结构的研究发现，其文档结构实为XML(eXtensible Markup Language)格式的文本文件，由于其存在xmlns的设定，因此无法直接通过查找所需节点的名字来获取所需内容，此外，由于所需数据的所在节点名称，存在着同名问题，因此也无法直接获取所需数据。因此，该方法数据提取不全面，效率低。

发明内容

鉴于上述状况，有必要针对现有技术中整车动力学分析时关键数据提取效率低的问题，提供一种数据提取方法、装置、可读存储介质及计算机设备。

一种数据提取方法，包括：

获取Adams.Car软件输出的res文件，所述res文件包括多个项目数据，每个所述项目数据包括至少一组件数据，每个所述组件数据对应一个原始数据集；

根据所述项目数据的名称和所述组件数据的名称从所述res文件中查找目标组件数据，并为所述目标组件数据添加标识名称；

提取所述目标组件数据中的单位和列号，并将所述目标组件数据的标识名称，及提取的单位和列号建立对应关系；

根据所述原始数据集的类型名称查找目标原始数据集，并提取所述目标原始数据集中数据列号等于所述列号的目标列数据；

根据所述对应关系将所述目标列数据与所述标识名称及所述单位对应存储在结果集文件中。

进一步的，上述数据提取方法，其中，所述根据所述项目数据的名称和所述组件数据的名称从所述res文件中查找目标组件数据的步骤包括：

遍历所述res文件中的所有的项目数据，并查询所述项目数据的名称属于的第一词表中的目标项目数据；

将所述目标项目的名称分别与所述目标项目下各个所述组件数据的名称以预设的连接符相连，得到各个组件数据的关联名称；

查询各个所述组件数据中所述关联名称属于预设的第二词表中的目标组件数据。

进一步的，上述数据提取方法，其中，所述目标组件数据的标识名称为所述目标组件数据的关联名称。

进一步的，上述数据提取方法，其中，所述根据所述对应关系将所述目标列数据与所述标识名称及所述单位对应存储在结果集文件中的步骤包括：

将所述目标组件数据的标识名称以预设的间隔符进行间隔，并排列在结果集文件中的第一行；

根据所述对应关系，将所述单位分别以所述间隔符进行间隔并排列在所述结果集文件中的第二行，并位于对应的标识名称下；

根据所述对应关系，将所述目标列数据存储在对应的单位下。

进一步的，上述数据提取方法，其中，当提取的所述目标原始数据有多个时，所述提取所述目标原始数据集中数据列号等于所述列号的目标列数据的步骤包括：

依次读取每个所述目标原始数据集的数据，去掉每行的换行符，并以预设的间隔符分隔；

按照读取的顺将各个所述目标原始数据集的数据逐行添加至数据集文件中，每个所述目标原始数据集的数据作为所述数据集文件中的一行数据；

从所述数据集中提取所述目标原始数据集中数据列号等于所述列号的目标列数据。

进一步的，上述数据提取方法，其中，所述项目数据为名称以字符Entity结尾的节点数据。

进一步的，上述数据提取方法，其中，所述组件数据为以字符Component结尾的子节点数据。

进一步的，上述数据提取方法，其中，所述原始数据集为名称以字符Step结尾的节点数据。

本发明实施例还提供了一种数据提取装置，包括：

获取模块，用于获取Adams.Car软件输出的res文件，所述res文件包括多个项目数据，每个所述项目数据包括至少一组件数据，每个所述组件数据对应一个原始数据集；

查找模块，用于根据所述项目数据的名称和所述组件数据的名称从所述res文件中查找目标组件数据，并为所述目标组件数据添加标识名称；

第一提取模块，用于提取所述目标组件数据中的单位和列号，并将所述目标组件数据的标识名称，及提取的单位和列号建立对应关系；

第二提取模块，用于根据所述原始数据集的类型名称查找目标原始数据集，并提取所述目标原始数据集中数据列号等于所述列号的目标列数据；

存储模块，用于根据所述对应关系将所述目标列数据与所述标识名称及所述单位对应存储在结果集文件中。

进一步的，上述数据提取装置，其中，所述查找模块具体用于：

查询各个所述组件数据中所述关联名称属于的第二词表中的目标组件数据。

本发明实施例还提供了一种可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一所述的方法。

本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述任意一项所述的方法。

本发明实施例中，通过自动读取res结果文件，并根据数据名称查找确定用户需要关注的目标项目数据，以及查找该项目数据中用户关注的目标组件数据，并从该目标组件数据中提取列号和单位。进而根据用户关注的数据的类型从res文件中查找目标原始数据集，并根据提取的列号提取目标原始数据集中对应的列数据。最后将提取的列数据、单位以及组件数据的标识对应存储在结果文件集中。从而便于今后数据的处理时的单位识别或同一，提升了相关数据的获取效率，增强了后续数据的分析和处理、绘图和存档等工作便利。

附图说明

图1为本发明第一实施例中数据提取方法的流程图；

图2为res文件中一项目数据的内容；

图3为res文件中原始数据集的部分数据内容；

图4为本发明第二实施例中数据提取方法的流程图；

图5为本发明第三实施例中数据提取装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

请参阅图1，为本发明第一实施例中的数据提取方法，该方法基于Adams.Car软件对整车动力学分析结果进行关键数据的提取。Adams.Car软件计算分析后多种文件，其包括以res为后缀的分析结果文件，以下简称res文件。该数据提取方法包括步骤S11～S15。

步骤S11，获取Adams.Car软件输出的res文件，所述res文件包括多个项目数据，每个所述项目数据包括至少一组件数据，每个所述组件数据对应一个原始数据集。

该res文件中包括多个项目数据，即res文件中的节点段数据，本实施例中该项目数据为名称以字符“Entity”结尾的节点段数据。项目数据为名称例如为Entiy name＝”gel_upper_strut_XFORM”ENTITY。每个项目数据包括多个组件数据，该组件数据为以字符“Component”结尾的子节点数据。例如一项目数据中及其包含的部分组件数据如图2所示。

每个子节点对应一个分析结果数据，即原始数据集，该原始数据集为名称以Step结尾的节点数据，例如一段原始数据集中部分数据表示如图3中所示。

步骤S12，根据所述项目数据的名称和所述组件数据的名称从所述res文件中查找目标组件数据，并为所述目标组件数据添加标识名称。

该目标组件数据为用于需要关注的数据，其可通过项目数据名称和组件数据名称进行查询，当一项目数据名称下的组件数据名称与用户关注数据的名称相同时，即获取该组件数据。具体实施时，可根据查表的方式进行查询，其具体步骤可如下：

步骤S121，遍历所述res文件中的所有的项目数据，并查询所述项目数据的名称属于的第一词表中的目标项目数据；

步骤S122，将所述目标项目的名称分别与所述目标项目下各个所述组件数据的名称以预设的连接符相连，得到各个组件数据的关联名称；

步骤S123，查询各个所述组件数据中所述关联名称属于的第二词表中的目标组件数据。

该词表一和词表二为预先建立的词表，在词表一中，主要记录所需关注的数据字段名称，如下列词汇：

1、TIME；

2、til_wheel_tire_forces；

3、condition_sensors。

词表二记录在词表一下所需关注的子数据字段名称，如time(时间)、normal_front(正常锋)等，然后用预设的连接符如点号“.”等符号来与词表一中的数据段名称连接后生产的词汇。词表二中包括的词汇如下所示：

1、TIME.time；

2、til_wheel_tire_forces.normal_front；

3、condition_sensors.side_slip_angle。

查找目标组件数据时，先查询项目数据的名称属于的第一词表中的目标项目数据，具体实施时可通过Python程序实现查找功能。然后将目标项目数据的名称和该目标项目数据下所有组件数据的名称通过预设的连接符连接，生成新的名称，将该新的名称作为组件的关联名称。此处的连接符与词表二中的连接符要相同，例如都为符号“.”。依次将各个组件数据的关联名称与词表二中的词汇进行比对，以查找关联名称中属于的第二词表中的目标组件数据。

其中为目标组件数据添加标识名称的目的是便于区分提取的数据。此处可将目标组件数据的关联名称作为标识名称。

步骤S13，提取所述目标组件数据中的单位和列号，并将所述目标组件数据的标识名称，及提取的单位和列号建立对应关系。

各个组件数据中包含有列号和单位，其中列号对应原始数据集中的一列数据，该单位及为该列数据的单位。在组件数据中列号一般用ID表示，单位通常用字符unitsValue或plotLabel表示。提取数据时，例如提取“ID＝X”中的X数据、“unitsValue＝Y”中的Y字符串、“plotLabel＝Z”中的Z字符串。其中，X即为所需提取出来的每段数据列号,Y或Z为每段数据的单位。

将目标组件数据的标识名称、提取的列号和单位建立对应关系，当查询到多个目标组件时，可根据该对应关系可清楚的知道每个目标组件数据对应的分析结果数据的列号以及该分析结果数据对应的单位。

步骤S14，根据所述原始数据集的类型名称查找目标原始数据集，并提取所述目标原始数据集中数据列号等于所述列号的目标列数据。

每个原始数据集对应一个类型名称，查找目标原始数据集时可通过类型名称进行查找。即将各个原始数据集的类型名称依次与用户设定的目标类型名称进行比对，当比对的当前原始数据集的类型名称等于目标类型名称时，获取当前原始数据集。

根据步骤13中提取的列号将该目标原始数据集中对应列的目标列数据。

步骤S15，根据所述对应关系将所述目标列数据与所述标识名称及所述单位对应存储在结果集文件中。

根据步骤S13中建立的对应关系将各个目标列数据、标识名称、单位对应存储在结果集文件中。本实施例中，各个标识名称存储在结果集文件中的第一行，单位存储在第二行，并且位于对应的标识名称下，目标列数据存储在对应的单位下。

从一个目标原始数据集中提取的目标列数据作为一条记录存储在结果集文件中。当只查询到一个目标原始数据集时，在最终的结果集文件中目标列数据只有一行。当查询到多个目标原始数据集时，每个目标原始数据集中的目标列数据作为一行存储在结果文件集中。根据该多个目标原始数据集在res文件中的位置顺序依次提取目标列数据，并按照该提取顺序依次逐行存储在结果集文件中。

表1

标识名称1 标识名称2 标识名称3 标识名称4
	单位1 单位2 单位3 单位4
数据列11 数据列12 数据列13 数据列14
	数据列21 数据列22 数据列23 数据列24
数据列31 数据列32 数据列33 数据列34

可以理解的，结果文件集中内容的呈现方式不限于上述表1中提到的，在本发明的其他实施例中标识名称、单位也可以位于对应数据列的下方，此处不予限定。

本实施例中，通过自动读取res结果文件，并根据数据名称查找确定用户需要关注的目标项目数据，以及查找该项目数据中用户关注的目标组件数据，并从该目标组件数据中提取列号和单位。进而根据用户关注的数据的类型从res文件中查找目标原始数据集，并根据提取的列号提取目标原始数据集中对应的列数据。最后将提取的列数据、单位以及组件数据的标识对应存储在结果文件集中。从而便于今后数据的处理时的单位识别或同一，提升了相关数据的获取效率，增强了后续数据的分析和处理、绘图和存档等工作便利。

请参阅图4，为本发明第二实施例中的数据提取方法，包括步骤S21～S29。

步骤S21，获取Adams.Car软件输出的res文件，所述res文件包括多个项目数据，每个所述项目数据包括至少一组件数据，每个所述组件数据对应一个原始数据集。

其中，该项目数据为名称以“Entity”结尾的节点段数据，该组件数据为以“Component”结尾的子节点数据。系统可根据字符“Entity”来查找文件中项目数据，根据字符“Component”来查找文件中的组件数据。

步骤S22，遍历所述res文件中的所有的项目数据，并查询所述项目数据的名称属于的第一词表中的目标项目数据。

步骤S23，将所述目标项目的名称分别与所述目标项目下各个所述组件数据的名称以预设的连接符相连，得到各个组件数据的关联名称，并将所述关联名称作为所述组件数据的标识名称。

步骤S24，查询各个所述组件数据中所述关联名称属于的第二词表中的目标组件数据。

步骤S25，提取所述目标组件数据中的单位和列号，并将所述目标组件数据的标识名称，及提取的单位和列号建立对应关系。

获取res文件中各个项目数据的名称，如该名称包含在词表1中，则进一步获取其下以所有的组件数据和组件数据名称，如获取的组件数据名称与该项目数据名称通过连接符连接后的字符串包含在词表2中，那么则记录下其各个组件数据中如“ID＝X”中的X数据、“unitsValue＝Y”中的Y字符串、“plotLabel＝Z”中的Z字符串，其中，X即为所需提取出来的每段数据列号，Y或Z为每段数据的单位。以Python程序为例，关键程序段的伪代码为：

if elem.tag[-len('Entity'):]＝＝'Entity'and elem.get('name').lower().strip()in词表1；

结合的字符串＝elem.get('name').strip().lower()+'.'+el2.get('name').lower().strip()；

if结合的字符串in词表2；

el2.get('unitsValue')或el2.get('plotLabel')。

将各个目标组件数据的标识名称，及在目标组件数据中提取的单位和列号建立对应关系，例如可通过建立对应关系表的方式将各个信息进行存储。

步骤S26，根据所述原始数据集的类型名称查找目标原始数据集，并提取所述目标原始数据集中数据列号等于所述列号的目标列数据。

查找所有名称以字符“Step”结尾的原始数据集，如果该原始数据集类型(type)等于目标类型名称时，则确定为目标原始数据集。读取每个目标原始数据集的整个数据段，然后去掉每行的换行符，并以预设的间隔符分隔后，依次以追加方式存入到同一个数据集文件中，其中，每个目标原始数据集记为一行记录。根据步骤S25中提取的列号从数据集文件中提取对应列号的列数据。

本实施例中该目标类型名称例如为quasiStatic(准静态)、Dynamic(动态)、static(静态)和input(输入)等中的一种。

步骤S27，将所述目标组件数据的关联名称以预设的间隔符进行间隔，并排列在结果集文件中的第一行。

步骤S28，根据所述对应关系，将所述单位分别以所述间隔符进行间隔并排列在所述结果集文件中的第二行，并位于对应的关联名称下。

步骤S29，根据所述对应关系，将所述目标列数据存储在对应的单位下。

其中，间隔符可进行设置，例如本实施例可设置为空格符，结果集文件中每行的数据以空格符进行间隔。可以理解在在本发明的其他实施例中还可采用其他的符号作为间隔符，此处不予限定。

本实施例，一种目标类型名称对应的数据存储在一个结果文件集中。在本发明的其他实施例中，还可将多种目标类型对应的列数据存储在一个文件集中，并且该文件集中为每种类型的列数据添加类型标识以进行区分。

进一步的，本发明实施例中还可将结果集文件中的内容生成图表。其中该结果集文件中的内容根据间隔符依次导出生成的表格，并可根据用户的需求将结果文件中的内容生成直观的数据图。

本实施例可快速缩短提取Adams.Car仿真结果的数据，可在同一文件下实现数据和单位的关联与统一，并且可加速实现后续图表制作以及分析结果数据的二次处理等工作。

请参阅图5，为本发明第三实施例中的数据提取装置，包括：

获取模块10，用于获取Adams.Car软件输出的res文件，所述res文件包括多个项目数据20，每个所述项目数据包括至少一组件数据，每个所述组件数据对应一个原始数据集；

查找模块30，用于根据所述项目数据的名称和所述组件数据的名称从所述res文件中查找目标组件数据，并为所述目标组件数据添加标识名称；

第一提取模块40，用于提取所述目标组件数据中的单位和列号，并将所述目标组件数据的标识名称，及提取的单位和列号建立对应关系；

第二提取模块50，用于根据所述原始数据集的类型名称查找目标原始数据集，并提取所述目标原始数据集中数据列号等于所述列号的目标列数据；

存储模块60，用于根据所述对应关系将所述目标列数据与所述标识名称及所述单位对应存储在结果集文件中。

进一步的，上述数据提取装置，其特征在于，所述查找模块30具体用于：

本发明实施例所提供的数据提取装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的数据提取方法。

本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现上述的方法。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种数据提取方法，其特征在于，包括：

根据所述原始数据集的类型名称查找目标原始数据集，并提取所述目标原始数据集中数据列号等于所述目标组件数据中提取的列号的目标列数据；

2.如权利要求1所述的数据提取方法，其特征在于，所述根据所述项目数据的名称和所述组件数据的名称从所述res文件中查找目标组件数据的步骤包括：

遍历所述res文件中的所有的项目数据，并查询所述项目数据的名称属于的第一词表中的目标项目数据，所述第一词表中记录需要关注的数据字段的数据字段名称；

查询各个所述组件数据中所述关联名称属于预设的第二词表中的目标组件数据，所述第二词表用于记录所述第一词表中各数据字段中需要关注的子数据字段的信息，所述第二词表中的子数据字段的信息为子数据字段名称和对应的数据字段名称通过预设的连接符连接后形成的词汇。

3.如权利要求2所述的数据提取方法，其特征在于，所述目标组件数据的标识名称为所述目标组件数据的关联名称。

4.如权利要求1所述的数据提取方法，其特征在于，所述根据所述对应关系将所述目标列数据与所述标识名称及所述单位对应存储在结果集文件中的步骤包括：

5.如权利要求1所述的数据提取方法，其特征在于，当提取的所述目标原始数据有多个时，所述提取所述目标原始数据集中数据列号等于所述列号的目标列数据的步骤包括：

6.如权利要求1所述的数据提取方法，其特征在于，所述项目数据为名称以字符Entity结尾的节点数据。

7.如权利要求1所述的数据提取方法，其特征在于，所述组件数据为以字符Component结尾的子节点数据。

8.一种数据提取装置，其特征在于，包括：

第二提取模块，用于根据所述原始数据集的类型名称查找目标原始数据集，并提取所述目标原始数据集中数据列号等于所述目标组件数据中提取的列号的目标列数据；

9.一种可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1－7任一所述的方法。

10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1－7任意一项所述的方法。