CN110555067A - 装配质量数据的采集、处理和集成管理方法 - Google Patents

Abstract

本发明公开了一种装配质量数据的采集、处理和集成管理方法。该方法包括装配数据的采集和管理，具体如下：1)通过无线射频识别技术和条码识别的方式采集人员和物料的信息；2)通过激光跟踪仪、激光雷达、三维坐标测量仪、室内iGPS测量、关节臂测量的数字化测量仪器设备采集物料和环境的信息；3)从CAD、DELMIA、3DVIA Composer、ERP、MES的数字化应用系统转换和导出方法信息；4)对装配质量数据源进行数据访问；5)对数据进行预处理即数据抽取、数据转换和数据加载；6)构造临时数据存储方式将第一次处理的数据存放在临时过渡区域；7)返回步骤5)，直至得到目标数据。本发明适应于数据维度高、信息量大和结构复杂的数据管理，分析方法更科学合理。

Description

装配质量数据的采集、处理和集成管理方法

技术领域

本发明涉及工业数据管理技术领域，特别是一种装配质量数据的采集、处理和集成管理方法。

背景技术

装配过程产生大量的过程信息和数据，这些数据对飞机装配及其执行情况进行了详细的记录，涉及人员、设备、零件、检验、质量、工艺、制造和管理等各个方面。由于数据类型多种多样，相互关联性明显且来源繁多，传统的数据分析依赖专家的经验，存在以下的缺点：1、工程数据类型繁杂，关系松散，丰富的数据资源未有效整合，缺乏统一、有效的分析与处理手段2、分析过程严重依赖主观经验，效率低下，分析流程不规范，理论依据不充足，分析结果难以重现。

发明内容

本发明的目的在于提供一种装配质量数据的采集、处理和集成管理方法，从而实时、准确、完整地获得装配质量数据的采集与集成管理并进行后续质量分析与控制。

实现本发明目的的技术解决方案为：一种装配质量数据的采集、处理和集成管理方法，包括装配数据的采集和管理，具体如下：

步骤1：通过无线射频识别技术和条码识别的方式采集人员和物料的信息；

步骤2：通过激光跟踪仪、激光雷达、三维坐标测量仪、室内iGPS测量、关节臂测量的数字化测量仪器设备采集物料和环境的信息；

步骤3：从CAD、DELMIA、3DVIA Composer、ERP、MES的数字化应用系统转换和导出方法信息；

步骤4：对装配质量数据源进行数据访问；

步骤5：对数据进行预处理即数据抽取、数据转换和数据加载；

步骤6：构造临时数据存储方式将第一次处理的数据存放在临时过渡区域；

步骤7：重复步骤5～步骤7，直至得到目标数据。

进一步地，步骤5所述的数据抽取，具体如下：

数据抽取是数据的输入环节，即从包括外部各应用系统、各数据库的多个异构数据源抽取数据到统一的数据存储区域；

根据抽取时间不同把ETL数据抽取分为全量抽取和增量抽取，全量ETL抽取为数据仓库初始化时将源数据中所有图表的数据全部提取出来，增量ETL抽取为数据仓库增量维护中只针对上一次抽取后更改和新增的数据进行抽取；

通过利用触发器采取增量ETL抽取方法来实现数据仓库的维护更新工作，在抽取的数据安装新建、更改和删除3个触发器；当数据发生更改变化情况，触发器开始工作并将数据记录在临时过渡表中，在从临时过渡表中抽取增量数据。

进一步地，步骤5所述的数据转换，具体如下：数据转换是将抽取的数据进行数据合并汇总、格式统一、文件过滤、关键数据的重构及定位。

进一步地，步骤5所述的数据加载，具体如下：

数据加载就是数据的输出环节，即将抽取、转换、清洗后的干净数据，按照物理和逻辑模型定义从统一的数据临时存储加载到目标数据库，同时允许人工干预以及提供系统日志、错误报警、数据备份和恢复功能。

本发明与现有技术相比，其显著优点为：(1)从设备，环境，物料等方面实时采集到数据，用大数据技术对数据进行存储、清洗和分析，避免了经验数据分析，分析方法更科学合理；(2)适应数据维度高、信息量大和结构复杂的特点，能够实时、准确、完整地获得装配质量数据的采集与集成管理，并进行后续质量分析与控制。

附图说明

图1是本发明装配质量数据的采集、处理和集成管理方法的总体方案图。

图2是本发明方法中数据映像模型结构图。

图3是本发明的数据抽取、转换和加载关系图。

具体实施方式

本发明装配质量数据的采集、处理和集成管理方法，包括装配数据的采集和管理，具体如下：

步骤1：通过无线射频识别技术和条码识别的方式采集人员和物料的信息；

步骤2：通过激光跟踪仪、激光雷达、三维坐标测量仪、室内iGPS测量、关节臂测量的数字化测量仪器设备采集物料和环境的信息；

步骤3：从CAD、DELMIA、3DVIA Composer、ERP、MES的数字化应用系统转换和导出方法信息；

步骤4：对装配质量数据源进行数据访问；

步骤5：对数据进行预处理即数据抽取、数据转换和数据加载；

步骤6：构造临时数据存储方式将第一次处理的数据存放在临时过渡区域；

步骤7：重复步骤5～步骤7，直至得到目标数据。

进一步地，步骤5所述的数据抽取，具体如下：

数据抽取是数据的输入环节，即从包括外部各应用系统、各数据库的多个异构数据源抽取数据到统一的数据存储区域；

根据抽取时间不同把ETL数据抽取分为全量抽取和增量抽取，全量ETL抽取为数据仓库初始化时将源数据中所有图表的数据全部提取出来，增量ETL抽取为数据仓库增量维护中只针对上一次抽取后更改和新增的数据进行抽取；

通过利用触发器采取增量ETL抽取方法来实现数据仓库的维护更新工作，在抽取的数据安装新建、更改和删除3个触发器；当数据发生更改变化情况，触发器开始工作并将数据记录在临时过渡表中，在从临时过渡表中抽取增量数据。

进一步地，步骤5所述的数据转换，具体如下：数据转换是将抽取的数据进行数据合并汇总、格式统一、文件过滤、关键数据的重构及定位。

进一步地，步骤5所述的数据加载，具体如下：

数据加载就是数据的输出环节，即将抽取、转换、清洗后的干净数据，按照物理和逻辑模型定义从统一的数据临时存储加载到目标数据库，同时允许人工干预以及提供系统日志、错误报警、数据备份和恢复功能。

实施例1

装配是工业制造过程最重要的环节，其质量数据的及时有效采集与高效合理集成直接影响着装配质量水平。本发明用于实时、准确、完整地获得装配质量数据的采集与集成管理并进行后续质量分析与控制。

1、装配数据采集的内容和方法

(1)数据采集内容：

装配车间现场随着装配流程的进行会产生大量动态装配数据流，我们根据经典质量数据分类方法提出简称4M1E的“人员、设备、物料、方法和环境”

具体内容如下：

1)人员(Man)：包括设计人员、工艺人员、装配人员、检测人员等，人员的受教育程度、专业技术水平、身体健康状况、心理素质情况等数据。

2)设备(Machine)：设备的使用年限、运行状况、保养维护情况、故障频率等数据可以作为统计分析的装配数据内容。

3)物料(Material)：物料的制造精度、材质、外形尺寸等数据都将作为装配的基础数据内容。

4)方法(Method)：工艺方法包括飞机装配工艺计划和检测工艺计划等数据。

5)环境(Environment):装配现场的环境因素，比如湿度、温度、照明、气压、噪声、震动等因素都会对人员、设备、物料等数据。

(2)数据采集方法：

数字化采集方法主要包括无线射频识别技术(Radio FrequencyIdentification,FRID)和条码识别技术等数据采集方式。以及各种先进装配测量设备比如激光跟踪仪、激光雷达、三维坐标测量仪、室内iGPS测量、关节臂测量等数字化测量仪器设备。同时还有包括各数字化应用系统数据的转换和导入，比如CAD、DELMIA、3DVIAComposer、ERP、MES等应用系统生成的数据信息。

2、质量数据集成管理

数据集成就是以整合各系统数据实现各个信息系统之间数据共享，为充分有效利用系统资源提供便利服务为目的的数据管理技术。数字化装配质量数据因为采集生成方式多样以及制造过程复杂等原因，导致其具有以下特征：数据高维、数据多源、信息量大、数据异构、数据质量差等特点。针对这种数据缺乏统一规范、未标准化不能很好实现数据共享以及充分利用数据来改进装配质量等现状，本技术对数据进行集成管理，建立数据集成管理系统，实现多源异构数据集成。

(1)总体方案设计

质量多源异构数据集成本质就是通过一定数据管理手段把各来源、各种格式、各种性质特点的数据在物理和逻辑上科学合理地有机集合，为我们进行科学分析等工作提供基础数据条件。该方案首先对装配质量数据源进行数据访问并设计通用访问接口。同时采用数据抽取、转换和加载(Extract Transform Load,ETL)技术通过建立元数据和目标数据之间对应的映像模型来对数据进行预处理即数据转换、数据抽取和数据加载等操作。因为数据高维量大等特点简单进行常规的一次ETL很难得到理想的目标数据，所以采取构造临时数据存储方式将第一次ETL数据存放在临时过渡区域，然后再对数据进行一次ETL就能容易得到目标数据，从而实现理想多源异构质量数据集成管理。总体方案设计如图1所示。

(2)数据映像模型

质量数据映像是指通过数据访问接口收集到的源数据建立与其目标数据库相对应的逻辑关系，同时数据映像并不是简单的对应关系，它是通过一定算法将两者数据之间的内在联系找出并进行结构化处理的一个过程。建立质量数据映像模型，映像模型分为四级，分别为字段级、表级、文件级、数据库级，如图2所示。

(3)ETL方案

数据抽取、转换和加载(Extract Transform Load，ETL)是随着数据仓库而提出，数据仓库也是数据集成的一个重要方法。ETL技术主要对各信息系统数据进行抽取、转换、清洗和装载等数据准备活动，为智能系统提供所需要的数据准备，所以ETL是数据集成的关键环节，如图3所示。

1)数据抽取

数据抽取是数据的输入环节，主要是解决数据多源异构问题，即从外部各应用系统、各数据库等多个异构数据源抽取数据到统一的数据存储区域。根据抽取时间不同可以把ETL数据抽取分为全量抽取和增量抽取，全量ETL抽取为数据仓库初始化时将源数据中所有图表等数据全部提取出来，增量ETL抽取为数据仓库增量维护中只针对上一次抽取后更改和新增的数据进行抽取。本ETL设计通过利用触发器采取增量ETL抽取方法来实现数据仓库的维护更新工作，在抽取的数据安装新建、更改和删除3个触发器，当数据发生更改等变化情况触发器开始工作并将数据记录在临时过渡表中，在从临时过渡表中抽取增量数据。

2)数据转换

数据转换指将抽取的数据进行数据合并汇总、格式统一、文件过滤、关键数据的重构及定位等操作，因为数据格式不统一、数据不完整容易造成数据读取失败等问题，所以对数据进行转换和加工就显得尤为重要。

3)数据加载

数据加载就是数据的输出环节，即将抽取、转换、清洗后的干净数据按照物理和逻辑模型定义从统一的数据临时存储加载到目标数据库的过程，同时允许人工干预以及提供系统日志、错误报警、数据备份和恢复功能，该过程是ETL的最终步骤。

Claims (4)

1.一种装配质量数据的采集、处理和集成管理方法，其特征在于，包括装配数据的采集和管理，具体如下：

步骤1：通过无线射频识别技术和条码识别的方式采集人员和物料的信息；

步骤2：通过激光跟踪仪、激光雷达、三维坐标测量仪、室内iGPS测量、关节臂测量的数字化测量仪器设备采集物料和环境的信息；

步骤3：从CAD、DELMIA、3DVIA Composer、ERP、MES的数字化应用系统转换和导出方法信息；

步骤4：对装配质量数据源进行数据访问；

步骤5：对数据进行预处理即数据抽取、数据转换和数据加载；

步骤6：构造临时数据存储方式将第一次处理的数据存放在临时过渡区域；

步骤7：重复步骤5～步骤7，直至得到目标数据。

2.根据权利要求1所述的装配质量数据的采集、处理和集成管理方法，其特征在于，步骤5所述的数据抽取，具体如下：

数据抽取是数据的输入环节，即从包括外部各应用系统、各数据库的多个异构数据源抽取数据到统一的数据存储区域；

根据抽取时间不同把ETL数据抽取分为全量抽取和增量抽取，全量ETL抽取为数据仓库初始化时将源数据中所有图表的数据全部提取出来，增量ETL抽取为数据仓库增量维护中只针对上一次抽取后更改和新增的数据进行抽取；

通过利用触发器采取增量ETL抽取方法来实现数据仓库的维护更新工作，在抽取的数据安装新建、更改和删除3个触发器；当数据发生更改变化情况，触发器开始工作并将数据记录在临时过渡表中，在从临时过渡表中抽取增量数据。

3.根据权利要求1所述的装配质量数据的采集、处理和集成管理方法，其特征在于，步骤5所述的数据转换，具体如下：数据转换是将抽取的数据进行数据合并汇总、格式统一、文件过滤、关键数据的重构及定位。

4.根据权利要求1所述的装配质量数据的采集、处理和集成管理方法，其特征在于，步骤5所述的数据加载，具体如下：

数据加载就是数据的输出环节，即将抽取、转换、清洗后的干净数据，按照物理和逻辑模型定义从统一的数据临时存储加载到目标数据库，同时允许人工干预以及提供系统日志、错误报警、数据备份和恢复功能。