CN110930069A - 数据采集打包方法和系统，可读存储介质和计算机 - Google Patents

Abstract

本发明提供一种数据采集打包方法和系统，可读存储介质和计算机。数据采集打包方法包括：数据建模，用于建立设备模型、业务模型、工艺模型与数据模型，并对设备模型、工艺模型赋值；数据采集，根据设备模型，确定所有设备对象，配置数据采集规则，进行数据采集；数据解析，以工艺模型作为依据，将数据采集步骤中采集到的各种数据中需要的字段提取组合成数据模型的结构化数据；数据打包，根据业务模型确定所有业务数据，自动根据业务数据进行分类、打包压缩和加密。根据本发明技术方案，能够通过建模方式，快速、高效、便捷、安全地进行设备数据采集、解析与打包，极大减少了人工录入数据的工作量，保证数据的完整性、正确性、统一性与安全性。

Description

数据采集打包方法和系统，可读存储介质和计算机

技术领域

本发明涉及数据采集与数据解析、打包领域，更具体地，涉及一种数据采集打包方法和系统，可读存储介质和计算机。

背景技术

在人工智能高速发展的时代，大数据分析、机器学习、深度挖掘随着人工智能走进各行各业，而支撑各项技术高速发展与不断优化的源泉是海量的数据，在工业领域中，如何便捷、高效、完整、安全地获取设备数据、解析数据、进行数据分类就显得尤为重要。

公开号为CN110417712的专利申请文件中，提供了一种基于网络数据传输设备实时数据采集与解析方法，该文件中提到的方法实现了数据采集模块DCP、数据解析模块与数据过滤模块，虽然提供了通过web界面配置采集的数据协议与数据格式，但是只封装目前主流的几种数据协议处理器，而对于复杂多变的数据文件格式，并不能快速、高效地满足需求。此外，数据采集、数据解析是为了后续的业务应用，所以，业务需求相关的不同类型数据需要标签化，根据业务进行数据文件分类打包。

目前，并没有一种灵活地、高效地随着设备变更、数据文件格式变化而可以快速配置化完成数据采集、数据解析、数据打包的方法，更没有一种通过快速建模将各种不同类型数据进行关联、标签化的方法。

发明内容

有鉴于此，本发明实施例提供了一种数据采集打包方法和设备，计算机存储介质和计算机，以解决现有技术中无法随着设备变更、数据文件格式变化快速配置化完成数据采集、数据解析、数据打包的技术问题。

根据本发明一方面，提供一种数据采集打包方法，包括：数据建模，用于建立设备模型、业务模型、工艺模型与数据模型，并对设备模型、工艺模型赋值，其中各模型包括属性与特征值，所述设备模型包括通用设备模型与摄像头模型，所述通用设备模型和所述摄像头模型的属性包括：身份证明、创建人、创建时间、权限；所述通用设备模型的特征值包括：设备编号、设备名称、负责人、备注、设备IP、共享目录、用户名与密码；所述摄像头模型的特征值包括：设备编号、设备名称、端口、通道号、设备IP、位置、主要内容、保留周期、时间间隔、用户名、密码；所述工艺模型的属性包括：身份证明、创建人、创建时间与权限；所述工艺模型的特征值包括：产品型号、产品图号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限与公差下限，且检测项的结构体数组长度根据检测项目动态分配存储空间；所述数据模型的属性包括：身份证明、关联业务模型、关联工艺模型、创建人、创建时间与权限，所述数据模型的特征值包括：产品型号、产品图号、产品编号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限、公差下限、实测值与检测结论；所述业务模型包括检测业务模型和试验业务模型，所述检测业务模型和所述试验业务模型的属性包括：身份证明、创建人、创建时间与权限，所述检测业务模型的特征值包括：任务号、产品图号、产品型号、产品名称、数量、检测结果、检测员、检测开始时间、检测结束时间；所述试验业务模型的特征值包括：任务号、批次号、产品型号、产品编号、试验项目、试验类型、试验员、试验开始时间、试验结束时间、试验结论、试验地点、试验描述；数据采集，根据所述设备模型，确定所有设备对象，配置数据采集规则，进行数据采集；数据解析，以所述工艺模型作为依据，将数据采集步骤中采集到的各种数据中需要的字段提取组合成所述数据模型的结构化数据；数据打包，根据所述业务模型确定所有业务数据，自动根据业务数据对解析后的结构化数据、数据采集步骤中采集的数据进行分类、打包压缩和加密。

根据本发明另一方面，提供一种数据采集打包系统，包括：数据建模模块，用于建立设备模型、业务模型、工艺模型与数据模型，并对设备模型、工艺模型赋值，其中各模型包括属性与特征值，所述设备模型包括通用设备模型与摄像头模型，所述通用设备模型和所述摄像头模型的属性包括：身份证明、创建人、创建时间、权限；所述通用设备模型的特征值包括：设备编号、设备名称、负责人、备注、设备IP、共享目录、用户名与密码；所述摄像头模型的特征值包括：设备编号、设备名称、端口、通道号、设备IP、位置、主要内容、保留周期、时间间隔、用户名、密码；所述工艺模型的属性包括：身份证明、创建人、创建时间与权限；所述工艺模型的特征值包括：产品型号、产品图号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限与公差下限，且检测项的结构体数组长度根据检测项目动态分配存储空间；所述数据模型的属性包括：身份证明、关联业务模型、关联工艺模型、创建人、创建时间与权限，所述数据模型的特征值包括：产品型号、产品图号、产品编号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限、公差下限、实测值与检测结论；所述业务模型包括检测业务模型和试验业务模型，所述检测业务模型和所述试验业务模型的属性包括：身份证明、创建人、创建时间与权限，所述检测业务模型的特征值包括：任务号、产品图号、产品型号、产品名称、数量、检测结果、检测员、检测开始时间、检测结束时间；所述试验业务模型的特征值包括：任务号、批次号、产品型号、产品编号、试验项目、试验类型、试验员、试验开始时间、试验结束时间、试验结论、试验地点、试验描述；数据采集模块，用于根据所述设备模型，确定所有设备对象，配置数据采集规则，进行数据采集；数据解析模块，用于以所述工艺模型作为依据，将数据采集步骤中采集到的各种数据中需要的字段提取组合成所述数据模型的结构化数据；数据打包模块，用于根据所述业务模型确定所有业务数据，自动根据业务数据对解析后的结构化数据、数据采集步骤中采集的数据进行分类、打包压缩和加密。

根据本发明另一方面，提供一种可读存储介质，其上存储有计算机可读指令，该计算机可读指令在被计算机运行时执行上述方法。

根据本发明再一方面，提供一种计算机，包括：存储器，用于存储由处理器运行的指令；处理器，用于运行指令以执行上述方法。

根据本发明的技术方案，能够通过快速建模的方式，快速、高效、便捷地实现数据采集、解析、打包与标签化，能够灵活高效地随着设备变更、数据文件格式变化，快速配置化完成数据采集、数据解析、数据打包。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，使其相对于在依据本发明实际制造的示例性装置中的其它部件变得更大。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1示出了根据本发明实施方式的数据采集打包方法的示意性框图。

图2示出了根据本发明实施方式的数据建模的示意性图示。

图3示出了根据本发明实施方式的文本解析规则配置工具的示意性图示。

图4示出了根据本发明实施方式的数据采集打包系统的示意性框图。

图5是示出了可作为用来实现根据本发明实施例的数据采集打包方法的信息处理设备的通用计算机系统的结构简图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

为了解决现有技术中无法随着设备变更、数据文件格式变化快速配置化完成数据采集、数据解析、数据打包的技术问题，设计了本申请的技术方案。下面描述根据本申请实施方式的数据采集打包方法。图1示出了该方法的示意性框图。如图1所示，该方法包括如下步骤：数据建模、数据采集、数据解析和数据打包。各部分的连接关系是：数据建模完成后进行模型发布，根据具体需求确定所有采集数据的设备，从目标设备获取数据后根据配置的解析规则进行文件解析，将数据文件解析为结构化数据。再将多个设备的不同类型数据文件，根据业务模型进行组织分类、组织打包，便于后续的数据传输、分发与专业数据分析。

数据建模的功能是确定数据采集的设备对象、解析后结构化数据展示内容、后续数据打包与检索时的标签项；数据采集的功能是制定数据采集的方式；数据解析的功能是将各种数据文件中需要的字段提取组合成建模中需要的结构化数据；数据打包的功能是按照标签项，将各种类型的数据源文件与数据编制后文件进行打包压缩加密。

下面参照图1分别详细描述四个步骤：

S110，数据建模，用于建立设备模型、业务模型、工艺模型与数据模型，各模型包括属性与特征值，并对设备模型、工艺模型赋值。

数据建模需要提取通用的一些特征值，能正确地表述后续数据采集对象、数据解析规则和数据打包的方式。根据本实施方式，提取了设备模型、业务模型、工艺模型与数据模型这四种模型，来全面精准地描述数据采集、数据解析与数据打包的全过程，如图2所示。各种模型包括属性与特征值两部分，不同模型的属性不同，用于模型区分；相同或不同模型的特征值不同，根据实际使用情况进行提炼。

设备模型的属性为设备模型，还包括身份证明(ID)、创建人、创建时间、权限。其中，ID在建模时自动生成，不同模型的ID前缀不同，后续的编号唯一，便于后续模型的检索。创建人与创建时间也由系统生成，创建人拥有对模型的修改、删除权限。权限用于指定可访问的人员或角色。

根据本实施方式的技术方案，设备模型包括两类，分别为通用设备模型与摄像头模型。

通过模型的特征值可以准确定位到设备，在进行数据采集时，这是必备条件。通用设备模型的特征值包括：设备编号、设备名称、负责人、备注、设备IP、共享目录、用户名与密码。摄像头模型的特征值包括设备编号、设备名称、端口、通道号、设备IP、位置、主要内容、保留周期(比如可以以天为单位)、时间间隔(比如可以以分钟为单位)、用户名、密码。

通过对设备模型的特征值赋值后，即可在下面描述的数据采集阶段，通过3G网络、4G网络、5G网络或wifi在设备通过身份验证后，按照网络层源IP地址信息与共享文件夹去指定位置抓取数据文件。

工艺模型的属性为工艺模型，还包括ID、创建人、创建时间与权限。其中，ID在建模时自动生成，不同模型的ID前缀不同，后续的编号唯一，便于后续模型的检索。创建人与创建时间也由系统生成，创建人拥有对模型的修改、删除权限。权限用于指定可访问的人员或角色。

工艺模型是后续创建数据模型的依据，因为工艺决定了数据文件解析时的有效信息，同时又与设备模型进行关联，因为不同的工艺参数可能来自于不同设备数据文件。

根据本申请的实施方式，工艺模型可以是结构件检测工艺模型，工艺特征值通用于绝大部分的结构件检测工艺，工艺模型的特征值包括产品型号、产品图号、产品名称与检测项，其中检测项是一个不定长的结构体数组，包括多个检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限与公差下限。检测项的结构体数组长度可以根据检测项目动态分配存储空间。

数据模型的属性为数据模型，还包括ID、关联业务模型、关联工艺模型、创建人、创建时间与权限。其中，ID在建模时自动生成，不同模型的ID前缀不同，后续的编号唯一，便于后续模型的检索。关联业务模型便于后续各种数据标签化管理、检索与打包。创建人与创建时间也由系统生成，创建人拥有对模型的修改、删除权限。权限用于指定可访问的人员或角色。

数据模型作为数据文件解析的结构化存储依据，与工艺模型关联，数据模型的特征值继承于工艺模型，并且可以在此基础上进行修改、增加和删除。对应于结构件检测工艺模型，数据模型可以是检测数据模型，其特征值包括：产品型号、产品图号、产品编号、产品名称与检测项，检测项由检测工艺模型决定，其中检测项包括检测项目标识(可以是多个)、检测项目名称、检测项目描述、检测设备、理论值、公差上限、公差下限、实测值与检测结论。

数据模型的特征值由各种数据文件解析后自动赋值，根据特征值中的检测设备、检测项目名称、检测标识进行匹配，减少人员录入、合并检测数据的工作量，避免由于人员过失带来的错误数据，提高了数据存储入库的效率和准确度。

业务模型的属性为业务模型，还包括ID、创建人、创建时间与权限。其中，ID在建模时自动生成，不同模型的ID前缀不同，后续的编号唯一，便于后续模型的检索。创建人与创建时间也由系统生成，创建人拥有对模型的修改、删除权限。权限用于指定可访问的人员或角色。

业务模型作为大量相关数据的标签化管理，可以提高各种复杂格式数据关联管理的效率。本方法提取了两种业务模型，可以分类管理检测数据与试验数据。检测业务模型特征值包括任务号、产品图号、产品型号、产品名称、数量、检测结果、检测员、检测开始时间、检测结束时间。其中，选择产品图号后，会自动根据工艺模型填充产品型号、产品名称，减少人员重复录入数据的工作量，确保数据统一性。试验业务模型的特征值包括任务号、批次号、产品型号、产品编号、试验项目、试验类型、试验员、试验开始时间、试验结束时间、试验结论、试验地点、试验描述。

通过使用业务模型特征值进行检索，即可获取与业务模型相关的所有数据，包括结构化数据、视频数据、图片数据、附件等；同时，业务模型中的特征值还可以作为导航以树形结构进行展示，增加各种格式数据的组织方式，便于用户可视化分组浏览数据。此业务数据作为相关其他类型数据的标签页，可以为XML格式文件，其他数据可以存储于关系库与分布式文件数据库中。

以上描述了步骤S110中数据建模的具体内容。数据建模是实现稍后描述的数据采集、数据解析与展示、数据打包的基础。其中，设备模型包括了设备IP、文件目录、用户名、密码等信息，在数据采集时，会调用模型实例化的对象，来确定数据采集的具体设备。工艺模型是包括检测工艺结构的一种模型，模型包括检测项、理论值、上下偏差等信息，在数据解析与判读时，作为依据。数据模型，检测时根据工艺模型生成，除了工艺模型中的检测项、理论值、上下偏差外，还包括实测值、检测结论(如合格或不会合格)，主要作为解析后数据的组织方式。业务模型是作为数据打包时的标签页，用户数据包组织与检索，数据包一般包括解析后的结构化数据、原始数据文件(特殊格式)、视频、图片、附件等。

该步骤还包括赋值，赋值是在完成建模后，具体实施项目的时候，根据项目需求进行实例化。如建模时，创建了一个设备模型(通用)，有一个检测项目有50个检测设备的数据文件需求采集，则需要根据模型赋值50个设备数据。通过前期建模与赋值后，可以确定数据采集设备的信息，根据信息(包括IP、目录)自动抓取文件。

S120，数据采集。数据采集时，需要根据设备模型确定所有设备对象，包括设备IP、共享文件夹、用户名、密码。确定所有设备对象后，配置数据采集规则，采集规则可以包括：采集设备对象、是否解析数据、是否采集源数据文件、采集方式(比如可以是事件型/周期性/触发式)、解析协议。

通过灵活、便捷地配置化采集方式，高效实现数据采集，并在采集对象、规则发生变化时，能及时修改调整，快速响应需求变更，不需要再进行重新修改代码、调试、上线等一系列复杂的传统需求变更方式，能够敏捷响应项目需求变更。

S130，数据解析。在该步骤，主要是以工艺模型作为依据，将数据采集步骤中采集到的各种数据文件中需要的字段提取组合成数据模型的结构化数据。

另外，在该步骤，还可以管理不同格式(可以包括：txt、dat、csv、uff、unv、二进制文件)数据文件的解析规则，通过部分插入解析规则脚本与通用化配置结合，实现数据解析规则的不断积累与完善，以供在数据采集时配置调用。

具体地，数据文件解析可以通过配置化设置，针对不同的文件格式(包括txt、dat、csv、uff、unv、二进制文件)，配置解析规则，快速高效实现数据文件解析，在数据文件格式发生变化时，也可以通过配置增加或改变解析规则，实现数据文件解析。数据解析发生时间可以配置，可以在采集时直接进行解析，只返回解析后的结构化数据，也可以将源数据采集到数据存储服务器后，再进行解析，这样有利于根据服务器性能与数据文件大小配置化实现不同数据文件的解析方式。

下面以txt文件为例来说明解析规则的生成。对于txt文件数据解析提供通用化配置，界面如图3所示。配置文本文件的解析规则，包括数据行设置与数据列设置。数据行设置时，填写起始行、结束行、每帧点数与采样频率；数据列设置包括第一列非时间列选择、自动修正行数、列全选与列范围。通过文本文件解析工具实现配置化、无代码化快速高效的解析规则生成。

S140，数据打包。数据打包时需要根据业务模型确定所有业务数据，后续自动根据具体数据对象中选择的业务数据，将解析后的结构化数据、数据采集步骤中采集的数据分类打包压缩和加密。该打包为后续的数据传输、分发与深度数据分析提供了标签化、模块化的完整数据块。

根据以上所述的本实施方式的技术方案，能够通过建模方式，快速、高效、便捷、安全地进行设备数据采集、解析与打包，极大减少了人工录入数据的工作量，保证数据的正确性与统一性；而且可以快速高效响应现场需求的变更，比如通过配置化设置，随着设备数量增加、设备对象变化而快速响应变化，变更时不需要经过传统的代码开发、调试、上线运行模式，不需要考虑代码的兼容性等问题，直接通过基于建模配置化实现需求的变更，在确保数据完整性、准确性、安全性的前提下，减少开发工作量、开发周期与项目变更成本。

根据本申请实施方式的技术方案，还可以灵活地根据业务需求将不同的数据文件组织进行分类、整合打包，将不同数据类型同业务的数据进行关联组织，如：不同的数据文件、视频、图片和动画，便于后续的数据传输、分发与深度分析。

根据本发明另一实施方式，提供一种数据采集打包系统。图4示出了该数据采集打包系统的示意性框图。如图4所示，该系统包括：

数据建模模块410，用于建立设备模型、业务模型、工艺模型与数据模型，各模型包括属性与特征值，并对设备模型和工艺模型赋值。

设备模型包括通用设备模型与摄像头模型，通用设备模型和摄像头模型的属性包括：ID、创建人、创建时间、权限。所述通用设备模型的特征值包括：设备编号、设备名称、负责人、备注、设备IP、共享目录、用户名与密码。摄像头模型的特征值包括：设备编号、设备名称、端口、通道号、设备IP、位置、主要内容、保留周期、时间间隔、用户名、密码。

工艺模型的属性包括：ID、创建人、创建时间与权限。特征值包括：产品型号、产品图号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限与公差下限，且检测项的结构体数组长度根据检测项目动态分配存储空间。

数据模型的属性包括：ID、关联业务模型、关联工艺模型、创建人、创建时间与权限。特征值包括：产品型号、产品图号、产品编号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限、公差下限、实测值与检测结论。

业务模型包括检测业务模型和试验业务模型，所述检测业务模型和试验业务模型的属性包括：ID、创建人、创建时间与权限。检测业务模型特征值包括：任务号、产品图号、产品型号、产品名称、数量、检测结果、检测员、检测开始时间、检测结束时间。试验业务模型的特征值包括：任务号、批次号、产品型号、产品编号、试验项目、试验类型、试验员、试验开始时间、试验结束时间、试验结论、试验地点、试验描述。

数据采集模块420，用于根据设备模型确定所有设备对象，配置数据采集规则，进行数据采集。

数据解析模块430，用于以工艺模型作为依据，将数据采集步骤中采集到的各种数据文件中需要的字段提取组合成数据模型的结构化数据。

该数据解析模块430还可以管理不同格式数据文件的解析规则，部分插入解析规则脚本，与通用化配置结合，提供优化的数据解析规则。

数据打包模块440，用于根据业务模型确定所有业务数据，自动根据数据对象中选择的业务数据对数据进行分类、打包压缩和加密。

该系统用于执行以上实施方式中描述的方法，上述系统实施方式中未详述部分，请参见方法实施方式中的描述，在此不再赘述。

下面以实现某批不同产品图号、不同产品型号检测数据的采集、解析与打包为例，详细描述本发明实施方式的应用。

在本例中，先根据上述通用设备模型与摄像头模型，确定实际设备特征值。在本实施方式中，通用设备模型是依据三坐标仪和六自由度建立的：

三坐标仪：设备名称(三坐标仪)、设备编号(SZBY654889)、负责人(李树)、备注(无)、设备IP(172.168.12.4)、共享目录(D:\D_检测数据文件)、用户名(Administrator)密码(123456aa)；

六自由度：设备名称(六自由度)、设备编号(LZYD723851)、负责人(张书)、备注(无)、设备IP(172.168.12.12)、共享目录(D:\D_检测数据文件)、用户名(Administrator)密码(123456bb)；

摄像头N01：设备编号(N01)、设备名称(海康威视摄像头)、端口(4)、通道号(4)、设备IP(172.168.13.2)、位置(区域1)、主要内容(无)、保留周期(30天)、时间间隔(50分钟)、用户名(Administrator)、密码(123456cc)。

然后根据工艺模型确定不同产品图号的具体检测工艺项，即进行工艺模型赋值，形成不同型号产品的工艺数据。这是在进行数据解析后，进行数据判读使用的，根据实测值与工艺理论值对比，确定检测项是否合格。下面以某种产品图号**为例说明：

表1**产品检测工艺数据

根据此产品工艺生成的产品数据如下表2。其中，表1是对工艺模型赋值得到的具体产品的工艺数据，表2是检测数据，根据检测工艺模型扩展而来，且比工艺模型多了两个字段：实测值与检测结论。

表2**产品检测数据

完成以上赋值后，进行数据采集。一个产品的完整检测数据包括工艺数据、实测数据、视频与图片。其中，工艺数据是理论数据，是数据判读依据；其他的实测数据、视频与图片在采集步骤中得到。而实测数据可能来自于以上多个检测设备，包括：三坐标仪、六自由度、带蓝牙功能的游标卡尺等。

在采集步骤，根据设备信息获取了数据之后，将从三坐标仪与六自由度设备上采集到的数据文件，按照配置解析规则解析，然后填充到上表对应检测项目名称的实测值与检测结论，完成数据采集、解析与判读。

对于解析后的检测数据、源检测数据文件、视频文件、图片，再按业务数据进行打包。针对此案例的业务数据如下表：

表3业务数据

在完成数据采集后，在数据打包时填写表内数据项，可以用来作为后续数据的检索。根据表中的任意一个特征值，即可检索相关的所有数据，包括源数据文件、解析后结构化数据、视频、图片，同时，可以根据数据类型进一步过滤刷选，查看具体某种类型的数据。

此业务数据作为相关其他类型数据的标签页，为XML格式文件，与其他类型数据进行打包压缩加密，进行后续的数据传输、数据分发与深度数据分析。

上述方法处理流程图中的各个步骤可以通过软件、固件、硬件或其任意组合的方式来执行。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机(例如图5所示的通用计算机500)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能。

因此，本发明还提出了一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的数据采集打包方法。相应地，用于承载这种程序产品的上面列举的各种存储介质也包括在本发明的公开中。

图5是示出了可作为用来实现根据本发明实施例的数据采集打包方法的信息处理设备的通用计算机系统的结构简图。计算机系统500只是一个示例，并非暗示对本发明的方法和装置的使用范围或者功能的局限。也不应将计算机系统500解释为对示例性操作系统500中示出的任一组件或其组合具有依赖或需求。

在图5中，中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM 503中，还根据需要存储当CPU 501执行各种处理等等时所需的数据。CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出接口505也连接到总线504。

下述部件也连接到输入/输出接口505：输入部分506(包括键盘、鼠标等等)、输出部分507(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分508(包括硬盘等)、通信部分509(包括网络接口卡例如LAN卡、调制解调器等)。通信部分509经由网络例如因特网执行通信处理。根据需要，驱动器510也可连接到输入/输出接口505。可拆卸介质511例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器510上，使得从中读出的计算机程序可根据需要被安装到存储部分508中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质511安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 502、存储部分508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语“第一”，“第二”等并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种数据采集打包方法，其特征在于，包括：

数据建模，用于建立设备模型、业务模型、工艺模型与数据模型，并对设备模型、工艺模型赋值，其中各模型包括属性与特征值，

所述设备模型包括通用设备模型与摄像头模型，所述通用设备模型和所述摄像头模型的属性包括：身份证明、创建人、创建时间、权限；所述通用设备模型的特征值包括：设备编号、设备名称、负责人、备注、设备IP、共享目录、用户名与密码；所述摄像头模型的特征值包括：设备编号、设备名称、端口、通道号、设备IP、位置、主要内容、保留周期、时间间隔、用户名、密码；

所述工艺模型的属性包括：身份证明、创建人、创建时间与权限；所述工艺模型的特征值包括：产品型号、产品图号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限与公差下限，且检测项的结构体数组长度根据检测项目动态分配存储空间；

所述数据模型的属性包括：身份证明、关联业务模型、关联工艺模型、创建人、创建时间与权限，所述数据模型的特征值包括：产品型号、产品图号、产品编号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限、公差下限、实测值与检测结论；

所述业务模型包括检测业务模型和试验业务模型，所述检测业务模型和所述试验业务模型的属性包括：身份证明、创建人、创建时间与权限，所述检测业务模型的特征值包括：任务号、产品图号、产品型号、产品名称、数量、检测结果、检测员、检测开始时间、检测结束时间；所述试验业务模型的特征值包括：任务号、批次号、产品型号、产品编号、试验项目、试验类型、试验员、试验开始时间、试验结束时间、试验结论、试验地点、试验描述；

数据采集，根据所述设备模型，确定所有设备对象，配置数据采集规则，进行数据采集；

数据解析，以所述工艺模型作为依据，将数据采集步骤中采集到的各种数据中需要的字段提取组合成所述数据模型的结构化数据；

数据打包，根据所述业务模型确定所有业务数据，自动根据业务数据对解析后的结构化数据、数据采集步骤中采集的数据进行分类、打包压缩和加密。

2.根据权利要求1所述的数据采集方法，其中，所述采集规则包括采集设备对象、是否解析数据、是否采集源数据文件、采集方式、解析协议，所述采集方式包括：事件型，周期性，触发式。

3.根据权利要求1所述的数据采集打包方法，其中，

在所述数据解析步骤中，还管理各种格式数据文件的解析规则，部分插入解析规则脚本，与通用化配置结合，提供优化的数据解析规则。

4.根据权利要求1所述的数据采集打包方法，其中，

在数据采集步骤中，采集到的数据包括实测数据、视频与图片，且实测数据来自于多个检测设备，包括以下至少之一：三坐标仪、六自由度、带蓝牙功能的游标卡尺。

5.一种数据采集打包系统，其特征在于，包括：

数据建模模块，用于建立设备模型、业务模型、工艺模型与数据模型，并对设备模型、工艺模型赋值，其中各模型包括属性与特征值，

所述设备模型包括通用设备模型与摄像头模型，所述通用设备模型和所述摄像头模型的属性包括：身份证明、创建人、创建时间、权限；所述通用设备模型的特征值包括：设备编号、设备名称、负责人、备注、设备IP、共享目录、用户名与密码；所述摄像头模型的特征值包括：设备编号、设备名称、端口、通道号、设备IP、位置、主要内容、保留周期、时间间隔、用户名、密码；

所述工艺模型的属性包括：身份证明、创建人、创建时间与权限；所述工艺模型的特征值包括：产品型号、产品图号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限与公差下限，且检测项的结构体数组长度根据检测项目动态分配存储空间；

所述数据模型的属性包括：身份证明、关联业务模型、关联工艺模型、创建人、创建时间与权限，所述数据模型的特征值包括：产品型号、产品图号、产品编号、产品名称与检测项，其中检测项包括检测项目标识、检测项目名称、检测项目描述、检测设备、理论值、公差上限、公差下限、实测值与检测结论；

所述业务模型包括检测业务模型和试验业务模型，所述检测业务模型和所述试验业务模型的属性包括：身份证明、创建人、创建时间与权限，所述检测业务模型的特征值包括：任务号、产品图号、产品型号、产品名称、数量、检测结果、检测员、检测开始时间、检测结束时间；所述试验业务模型的特征值包括：任务号、批次号、产品型号、产品编号、试验项目、试验类型、试验员、试验开始时间、试验结束时间、试验结论、试验地点、试验描述；

数据采集模块，用于根据所述设备模型，确定所有设备对象，配置数据采集规则，进行数据采集；

数据解析模块，用于以所述工艺模型作为依据，将数据采集步骤中采集到的各种数据中需要的字段提取组合成所述数据模型的结构化数据；

数据打包模块，用于根据所述业务模型确定所有业务数据，自动根据业务数据对解析后的结构化数据、数据采集步骤中采集的数据进行分类、打包压缩和加密。

6.根据权利要求5所述的数据采集打包系统，其中，所述采集规则包括采集设备对象、是否解析数据、是否采集源数据文件、采集方式、解析协议，所述采集方式包括：事件型，周期性，触发式。

7.根据权利要求5所述的数据采集打包系统，其中，所述数据解析模块还管理不同格式数据文件的解析规则，部分插入解析规则脚本，与通用化配置结合，提供优化的数据解析规则。

8.根据权利要求5所述的数据采集打包系统，其中，所述数据采集模块采集到的数据包括实测数据、视频与图片，且实测数据来自于多个检测设备，包括以下至少之一：三坐标仪、六自由度、带蓝牙功能的游标卡尺。

9.一种可读存储介质，其上存储有计算机可读指令，该计算机可读指令在被计算机运行时执行根据权利要求1-4中任一项所述的方法。

10.一种计算机，其特征在于包括：

存储器，用于存储由处理器运行的指令；

处理器，用于运行指令以执行根据权利要求1-4中任一项所述的方法。

Images