CN115438033A - 一种数字孪生运维数据质量检验方法 - Google Patents

Abstract

本发明公开了一种数字孪生运维数据质量检验方法，包括：数字孪生运维数据前处理模块，对数据进行分组、转化和剔除；数字孪生运维数据完整性检验模块，从数据采集完整性、覆盖完整性和构成完整性角度检验数据完整性；数字孪生运维数据一致性检验模块，从数据统计一致性、趋势一致性和关联一致性角度检验数据一致性；数字孪生运维数据特征检验模块，从数据分布及约束特征、相关性特征和深层特征角度检验数据是否具备所需特征；数字孪生运维数据质量综合评价模块，基于用户定义设置权重，对数据质量进行综合评估。本发明能够对数字孪生数据的质量进行检验和评价，为数据的质量优化以及数据驱动的运维控制、优化、决策等方法实现提供参考和指导。

Description

一种数字孪生运维数据质量检验方法

技术领域

本发明属于电子工程和计算机科学领域，具体涉及一种数字孪生运维数据质量检验方法。

背景技术

随着新兴信息技术在制造业的中的不断发展和应用，制造车间数字化水平逐步提高，车间能获取的数据种类和数据数量得到了较大的提升。为了提升制造车间的运行效率，提升产品质量，数字孪生等技术和理念在智能车间运维过程中得到应用已成为当前制造业关注的热点和目标，进一步提升了用户对精准模型、实时数据和智能运维的需求。在将前沿科技，如数字孪生应用的过程中，用户往往会面对多种类、大批量的运维数据，这些数据不仅在内容和形式上有较大区别，数据的质量也参差不齐。未经过处理的低质量原始数据无法支撑优化算法和数据模型的实现；部分处理过的历史数据也因为处理方式、处理手段的差别导致数据质量的不统一，从而间接影响了算法、模型的性能；对于实时性要求高的智能运维算法及模型，更是需要高质量的实时数据作为支撑。

发明内容

为解决智能运维过程中算法和模型在实现和验证过程中面临的数据质量不确定、数据范围难以选择的问题，本发明提出一种数字孪生运维数据质量检验方法，首先依据数据的来源和内容对数据进行多次分组，并从形式上统一数据格式，去除无效数据。从数据采集、覆盖和构成角度验证数据的完整性，确定完整性指标细化权重；从数据统计、趋势和关联角度验证数据的一致性，确定一致性指标细化权重；从数据分布及约束、相关性和深层特征角度验证数据特征，确定数据特征指标细化权重。最后综合三种检验指标，结合用户需求对数据质量进行综合评价。本发明能够基于用户的使用需求对数据质量进行判断，从而为后续的数据选择以及数据质量优化提供支撑和指导。

为达到上述目的，本发明采取以下技术方案：

一种数字孪生运维数据质量检验方法，其特征在于，包括如下步骤：

步骤1、数字孪生运维数据前处理，其具体实现如下：

(1)基于当前数据库系统与数据采集系统实际情况，以数据来源作为依据进行分组，数据的来源为采集数据、仿真数据、混合数据；

(2)基于数据使用需求以及用户定义，以数据范围作为依据对数据进行二次分组，数据范围粒度可自由变化，包括粒度较大的车间数据、环境数据、物流数据，粒度较小的产线数据、设备数据、人员数据，粒度更小的零部件参数、故障参数、运行参数，划分结果将在后续的数据质量检验中使用；

(3)基于数据内容，设置统一的数据显示格式，并将每一组的数据显示格式统一；

(4)基于数据物理意义，剔除明显无效数据；

步骤2、数字孪生运维数据完整性检验，其具体实现如下：

(1)数据采集完整性检验，针对数据采集、传输过程中是否存在漏采、丢失情况进行检验，该情况的具体体现为数据点缺失、数据点无效，基于用户定义计算检验结果，即数据采集完整性程度A₁，取值范围为[0,100]；

(2)数据覆盖完整性检验，针对场景、任务、对象所需范围中是否缺少某一部分数据的情况进行检验，该情况的具体体现为部分数据是可采集的但未能获取，基于用户定义计算检验结果，即数据覆盖完整性程度A₂，取值范围为[0,100]；

(3)数据构成完整性检验，针对场景、任务、对象所需范围中是否缺少某种不可采集或难以采集的数据，但该类数据具备作用及特征的情况进行检验，基于用户定义计算检验结果，即数据构成完整性程度A₃，取值范围为[0,100]；

(4)基于数据用途和用户需求，确定数据完整性指标细化权重i_1,2,3∈[0,1]，其中i₁+i₂+i₃＝1；

步骤3、数字孪生运维数据一致性检验，其具体实现如下：

(1)数据统计一致性检验，针对生成数据与采集数据的相似、拟合程度进行检验，选取相同的场景、对象及输入情况，比较并拟合单次时间、任务序列下的输出，计算统计学指标，基于用户定义计算检验结果，即数据统计一致性程度B₁，取值范围为[0,100]；

(2)数据趋势一致性检验，针对同组数据趋势进行检验，选取相同的场景、任务及对象，比较多组数据的偏离程度、变化趋势指标，基于用户定义计算检验结果，即数据趋势一致性程度B₂，取值范围为[0,100]；

(3)数据关联一致性检验，依据人工经验及机理可以获取部分数据间的关系，所述关系包括数据内容关联、制约关联、从属关联，针对孪生数据间的各关联关系是否一致进行检验基于用户定义计算检验结果，即数据关联一致性程度B₃，取值范围为[0,100]；

(4)基于数据用途和用户需求，确定数据一致性指标细化权重j_1,2,3∈[0,1]，其中j₁+j₂+j₃＝1；

步骤4、数字孪生运维数据特征检验，其具体实现如下：

(1)数据分布及约束特征检验，针对孪生数据是否具备与内容及用途相关的领域、场景、原理特征进行检验，包括数据的疏密、极值、均值、变化方向，基于用户定义计算检验结果，即数据分布及运维特征指标C₁，取值范围为[0,100]；

(2)数据相关性特征检验，针对各组数据之中是否存在相关程度密切的变量元素进行检验，相关性特征包括皮尔逊相关系数、斯皮尔曼等级相关系数、秩相关系数，基于用户定义计算检验结果，即数据相关性特征指标C₂，取值范围为[0,100]；

(3)数据深层特征检验，部分数据的用途涉及使用深度学习等算法挖掘深层特征的情况，基于用户定义计算检验结果，即数据深层特征指标C₃，取值范围为[0,100]；

(4)基于数据用途和用户需求，确定数据特征指标细化权重k_1,2,3∈[0,1]，其中k₁+k₂+k₃＝1；

步骤5、数字孪生运维数据质量综合评价，其具体实现如下：

(1)首先基于用户需求，确定数据用途，不同的用途对应各类指标的权重不同，权重a,b,c的取值范围为[0,1]，当用户选择不进行某一类检验时，则该类指标权重设置为0；

(2)计算每一类指标的检验结果，数据完整性检验结果

数据一致性检验结果

数据特征检验结果

(3)计算数据质量检验综合评价结果

本发明与现有技术相比的优点在于：

(1)本发明从数据质量的角度出发，从数据的完整性、一致性和特征三个维度对数据进行评价，评价的结果对后续数据的选择、使用和质量优化有明显的指导意义。

(2)本发明设置的权重能够根据用户的需求自定义调整，使用户能够更好的判断和选择最符合其期望的高质量数据。

附图说明

图1为本发明的数字孪生运维数据质量验证方法结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明涉及一种数字孪生运维数据质量检验方法。该方法依据数据的来源和内容对数据进行多次分组，并从形式上统一数据格式，去除无效数据。从数据采集、覆盖和构成角度验证数据的完整性，确定完整性指标细化权重；从数据统计、趋势和关联角度验证数据的一致性，确定一致性指标细化权重；从数据分布及约束、相关性和深层特征角度验证数据特征，确定数据特征指标细化权重。最后综合三种检验指标，结合用户需求对数据质量进行综合评价。本发明能够基于用户的使用需求对数据质量进行判断，从而为后续的数据选择以及数据质量优化提供支撑和指导。

如图1所示，本发明的一种数字孪生运维数据质量检验方法，通过数字孪生运维数据前处理模块1、数字孪生运维数据完整性检验模块2、数字孪生运维数据一致性检验模块3、数字孪生运维数据特征检验模块4和数字孪生运维数据质量综合评价模块5实现，具体步骤如下：

(1)所述数字孪生运维数据前处理模块1的具体实现如下：

①基于当前数据库系统与数据采集系统实际情况，以数据来源作为依据进行分组，数据的来源为“采集数据、仿真数据、混合数据(即采集数据与仿真数据都存在)等”；

②基于数据使用需求以及用户定义，以数据范围作为依据对数据进行二次分组，数据范围粒度可自由变化，例如粒度较大的“车间数据、环境数据、物流数据等”，粒度较小的“产线数据、设备数据、人员数据等”，粒度更小的“零部件参数、故障参数、运行参数等”，划分结果将在后续的数据质量检验中使用；

③基于数据内容，设置统一的数据显示格式，并将每一组的数据显示格式统一，例如表示“时间”的数据，“2022-01-01”与“2022/01/01”数据内容完全相同；

④基于数据物理意义，剔除明显无效数据，例如“以K(开尔文)为单位的温度数据为-9”，显然超出了有意义的范围，将此类明显的无效数据进行剔除处理；

(2)所述数字孪生运维数据完整性检验模块2的具体实现如下：

①数据采集完整性检验，针对数据采集、传输过程中是否存在漏采、丢失等情况进行检验，该情况的具体体现为数据点缺失、数据点无效等，基于用户定义计算检验结果，即数据采集完整性程度A₁，取值范围为[0,100]；

②数据覆盖完整性检验，针对场景、任务、对象所需(研究、分析、评估、决策等)范围中是否缺少某一部分数据的情况进行检验，该情况的具体体现为部分数据是可采集的但未能获取，例如运维过程中的生产物流配送“产线数据”及“设备数据”都已获取，而“人员数据”并未获取的情况，显然“人员数据”在“生产物流配送”的研究范围内，并可以通过手工录入，图像识别等方式进行获取，基于用户定义计算检验结果，即数据覆盖完整性程度A₂，取值范围为[0,100]；

③数据构成完整性检验，针对场景、任务、对象所需(研究、分析、评估、决策等)范围中是否缺少某种不可采集或难以采集的数据，但该类数据具备作用及特征的情况进行检验，例如极端环境下的“工况数据”、高实验成本极低频率发生的“故障数据”等，基于用户定义计算检验结果，即数据构成完整性程度A₃，取值范围为[0,100]；

④基于数据用途和用户需求，确定数据完整性指标细化权重i_1,2,3∈[0,1]，其中i₁+i₂+i₃＝1；

(3)所述数字孪生运维数据一致性检验模块3的具体实现如下：

①数据统计一致性检验，针对生成数据与采集数据的相似、拟合程度进行检验，选取相同的场景、对象及输入情况，比较并拟合单次时间、任务序列下的输出，计算统计学指标，基于用户定义计算检验结果，即数据统计一致性程度B₁，取值范围为[0,100]；

②数据趋势一致性检验，针对同组数据趋势进行检验，选取相同的场景、任务及对象，比较多组数据的偏离程度、变化趋势等指标，例如热压罐设备在固化任务下的“温度数据”的整体变化趋势为“升温-保温-降温”，其中温度变化范围在2摄氏度内，该类数据的每一组温度数据都应该满足整体变化趋势以及范围约束，基于用户定义计算检验结果，即数据趋势一致性程度B₂，取值范围为[0,100]；

③数据关联一致性检验，依据人工经验及机理可以获取部分数据间的关系，例如数据内容关联、制约关联、从属关联等，针对孪生数据间的关联关系是否一致进行检验基于用户定义计算检验结果，即数据关联一致性程度B₃，取值范围为[0,100]；

④基于数据用途和用户需求，确定数据一致性指标细化权重j_1,2,3∈[0,1]，其中j₁+j₂+j₃＝1；

(4)所述数字孪生运维数据特征检验模块4的具体实现如下：

①数据分布及约束特征检验，针对孪生数据是否具备与内容及用途相关的领域、场景、原理特征进行检验，例如数据的疏密、极值、均值、变化方向等，基于用户定义计算检验结果，即数据分布及运维特征指标C₁，取值范围为[0,100]；

②数据相关性特征检验，针对各组数据之中是否存在相关程度密切的变量元素进行检验，相关性特征包括皮尔逊相关系数、斯皮尔曼等级相关系数、秩相关系数等，基于用户定义计算检验结果，即数据相关性特征指标C₂，取值范围为[0,100]；

③数据深层特征检验，部分数据的用途涉及使用深度学习等算法挖掘深层特征的情况，例如采用生成仿真数据的方法补充数据样本，对“仿真数据”是否具备与“物理数据”相同或相似的深层特征进行检验，基于用户定义计算检验结果，即数据深层特征指标C₃，取值范围为[0,100]；

④基于数据用途和用户需求，确定数据特征指标细化权重k_1,2,3∈[0,1]，其中k₁+k₂+k₃＝1；

(5)所述数字孪生运维数据质量综合评价模块5的具体实现如下：

①首先基于用户需求，确定数据用途，不同的用途对应各类指标的权重也将不同，例如数据的用途为监控，则数据完整性指标权重上升，权重a,b,c的取值范围为[0,1]，特别的，用户可以选择不进行某一类检验，则该类指标权重设置为0；

②计算每一类指标的检验结果，数据完整性检验结果

数据一致性检验结果

数据特征检验结果

③计算数据质量检验综合评价结果

综上所述，本发明公开了一种数字孪生运维数据质量检验方法，包括：数字孪生运维数据前处理模块、数字孪生运维数据完整性检验模块、数字孪生运维数据一致性检验模块、数字孪生运维数据特征检验模块和数字孪生运维数据质量综合评价模块。本发明公开的方法能够解决智能运维过程中算法和模型在实现和验证过程中面临的数据质量不确定、数据范围难以选择的问题，为后续的数据选择以及数据质量优化提供支撑和指导。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种数字孪生运维数据质量检验方法，其特征在于，包括如下步骤：

步骤1、数字孪生运维数据前处理，其具体实现如下：

(1)基于当前数据库系统与数据采集系统实际情况，以数据来源作为依据进行分组，数据的来源为采集数据、仿真数据、混合数据；

(2)基于数据使用需求以及用户定义，以数据范围作为依据对数据进行二次分组，数据范围粒度可自由变化，包括粒度较大的车间数据、环境数据、物流数据，粒度较小的产线数据、设备数据、人员数据，粒度更小的零部件参数、故障参数、运行参数，划分结果将在后续的数据质量检验中使用；

(3)基于数据内容，设置统一的数据显示格式，并将每一组的数据显示格式统一；

(4)基于数据物理意义，剔除明显无效数据；

步骤2、数字孪生运维数据完整性检验，其具体实现如下：

(1)数据采集完整性检验，针对数据采集、传输过程中是否存在漏采、丢失情况进行检验，所述漏采、丢失情况的具体体现为数据点缺失、数据点无效，基于用户定义计算检验结果，即数据采集完整性程度A₁，取值范围为[0,100]；

(2)数据覆盖完整性检验，针对场景、任务、对象所需范围中是否缺少某一部分数据的情况进行检验，该情况的具体体现为部分数据是可采集的但未能获取，基于用户定义计算检验结果，即数据覆盖完整性程度A₂，取值范围为[0,100]；

(3)数据构成完整性检验，针对场景、任务、对象所需范围中是否缺少某种不可采集或难以采集的数据，但该类数据具备作用及特征的情况进行检验，基于用户定义计算检验结果，即数据构成完整性程度A₃，取值范围为[0,100]；

(4)基于数据用途和用户需求，确定数据完整性指标细化权重i_1,2,3∈[0,1]，其中i₁+i₂+i₃＝1；

步骤3、数字孪生运维数据一致性检验，其具体实现如下：

(1)数据统计一致性检验，针对生成数据与采集数据的相似、拟合程度进行检验，选取相同的场景、对象及输入情况，比较并拟合单次时间、任务序列下的输出，计算统计学指标，基于用户定义计算检验结果，即数据统计一致性程度B₁，取值范围为[0,100]；

(2)数据趋势一致性检验，针对同组数据趋势进行检验，选取相同的场景、任务及对象，比较多组数据的偏离程度、变化趋势指标，基于用户定义计算检验结果，即数据趋势一致性程度B₂，取值范围为[0,100]；

(3)数据关联一致性检验，依据人工经验及机理获取部分数据间的关系，所述关系包括数据内容关联、制约关联、从属关联，针对孪生数据间的各关联关系是否一致进行检验基于用户定义计算检验结果，即数据关联一致性程度B₃，取值范围为[0,100]；

(4)基于数据用途和用户需求，确定数据一致性指标细化权重j_1,2,3∈[0,1]，其中j₁+j₂+j₃＝1；

步骤4、数字孪生运维数据特征检验，其具体实现如下：

(1)数据分布及约束特征检验，针对孪生数据是否具备与内容及用途相关的领域、场景、原理特征进行检验，包括数据的疏密、极值、均值、变化方向，基于用户定义计算检验结果，即数据分布及运维特征指标C₁，取值范围为[0,100]；

(2)数据相关性特征检验，针对各组数据之中是否存在相关程度密切的变量元素进行检验，相关性特征包括皮尔逊相关系数、斯皮尔曼等级相关系数、秩相关系数，基于用户定义计算检验结果，即数据相关性特征指标C₂，取值范围为[0,100]；

(3)数据深层特征检验，部分数据的用途涉及使用深度学习等算法挖掘深层特征的情况，基于用户定义计算检验结果，即数据深层特征指标C₃，取值范围为[0,100]；

(4)基于数据用途和用户需求，确定数据特征指标细化权重k_1,2,3∈[0,1]，其中k₁+k₂+k₃＝1；

步骤5、数字孪生运维数据质量综合评价，其具体实现如下：

(1)首先基于用户需求，确定数据用途，不同的用途对应各类指标的权重不同，权重a,b,c的取值范围为[0,1]，当用户选择不进行某一类检验时，则该类指标权重设置为0；

(2)计算每一类指标的检验结果，数据完整性检验结果

数据一致性检验结果

数据特征检验结果

(3)计算数据质量检验综合评价结果

Images