CN117272704B - 一种面向多源异构数据的数字孪生驱动的数据处理系统 - Google Patents
一种面向多源异构数据的数字孪生驱动的数据处理系统 Download PDFInfo
- Publication number
- CN117272704B CN117272704B CN202311568261.9A CN202311568261A CN117272704B CN 117272704 B CN117272704 B CN 117272704B CN 202311568261 A CN202311568261 A CN 202311568261A CN 117272704 B CN117272704 B CN 117272704B
- Authority
- CN
- China
- Prior art keywords
- data
- dimension
- dimensions
- individual
- preliminary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000007405 data analysis Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013112 stability test Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
本发明涉及数据分析技术领域,具体涉及一种面向多源异构数据的数字孪生驱动的数据处理系统,包括:数据采集模块,用于采集所有维度的真实数据;初步拟合模块,用于根据所有维度的真实数据,获取所有维度中缺失数据的局部范围的初步拟合结果以及初步数据;数据分析模块,根据所有维度中缺失数据的局部范围的初步拟合结果以及初步数据,获取每个维度的缺失数据的局部范围内每个初步数据的置信度;最终拟合模块,用于根据每个维度的缺失数据的局部范围内每个初步数据的置信度,获取最终拟合结果,并构建数字孪生模型。本发明通过结合多个维度的数据进行分析填补缺失数据,使填补的数据更加准确,进而使构建的数字孪生模型更加准确。
Description
技术领域
本发明涉及数据分析技术领域,具体涉及一种面向多源异构数据的数字孪生驱动的数据处理系统。
背景技术
数字孪生系统作为一种能够实时监测设备状态的系统,能够极大的提高设备的监测管理效率,但是由于在构建数字孪生模型的过程中,需要通过许多传感器采集许多数据,而在采集数据的过程由于外部环境因素的影响,导致所采集的数据中缺失的数据,而构建数字孪生模型又对数据的精度要求十分苛刻;当采集的数据中出现缺失数据,若直接传统的多项式拟合填补缺失数据,则可能会由于拟合结果的精度不够,导致无法准确建立的数字孪生模型,使得最终的数字孪生模型无法准确的对现实进行模拟。
发明内容
本发明提供一种面向多源异构数据的数字孪生驱动的数据处理系统,以解决现有的问题:传统的多项式拟合填补缺失数据,则可能会由于拟合结果的精度不够,导致无法准确建立的数字孪生模型。
本发明的一种面向多源异构数据的数字孪生驱动的数据处理系统采用如下技术方案:
包括以下模块:
数据采集模块,用于采集所有维度的真实数据;
初步拟合模块,用于根据所有维度的真实数据,获取所有维度中缺失数据的局部范围;根据所有维度中缺失数据的局部范围,获取所有维度中缺失数据的局部范围的初步拟合结果以及初步数据;
数据分析模块,用于根据所有维度中缺失数据的局部范围的初步拟合结果以及初步数据,获取不同维度之间在缺失数据范围内的关联程度;根据不同维度之间在缺失数据范围内的关联程度,获取每个维度的缺失数据的局部范围内每个初步数据的置信度;
最终拟合模块,用于根据每个维度的缺失数据的局部范围内每个初步数据的置信度,获取最终拟合结果;根据最终拟合结果填补缺失数据;构建数字孪生模型。
优选的,所述采集所有维度的真实数据,包括的具体方法为:
通过温度传感器、压力传感器、流量传感器采集所有时刻下工厂中对应维度的数据,将通过传感器采集的数据记为真实数据;将同一传感器采集的真实数据记为同一维度数据,得到所有维度的真实数据。
优选的,所述根据所有维度的真实数据,获取所有维度中缺失数据的局部范围,包括的具体方法为:
首先,根据每个维度传感器采集数据的频率,结合每个维度传感器采集数据的起始时间,获得每个维度的理论数据时刻序列,对于第个维度,将第/>个维度的数据按照时刻填入第/>个维度的理论数据时刻序列中,记为第/>个维度的真实序列,将第/>个维度的真实序列中空白的位置作为缺失数据的位置,其中,/>;
再预设一个时间跨度,对于任意一个缺失数据的位置,选取距离缺失数据最近的/>个真实数据,作为缺失数据的局部范围,得到所有维度中缺失数据的局部范围,其中,。
优选的,所述根据所有维度中缺失数据的局部范围,获取所有维度中缺失数据的局部范围的初步拟合结果以及初步数据,包括的具体方法为:
对每一个维度的真实数据均进行一阶差分运算,得到所有维度的一阶差分运算结果;再使用时间序列平稳性检验所有维度的一阶差分运算结果,记录通过时间序列平稳性检验的维度的差分阶数;
然后,对缺失数据的局部范围进行多项式拟合,其中多项式拟合中的多项式阶数为维度的差分阶数,得到缺失数据的局部范围的初步拟合结果,并将初步拟合结果中的数据记为初步数据。
优选的,所述根据所有维度中缺失数据的局部范围的初步拟合结果以及初步数据,获取不同维度之间在缺失数据范围内的关联程度,包括的具体方法为:
对于获取第个维度下的第/>个缺失数据的局部范围与第/>个维度的关联程度;首先将第/>个维度下的第/>个缺失数据的局部范围所处的时间范围,记为目标范围,其中,;其中,t表示对应维度下缺失数据的索引,其为正整数,且取值范围小于等于每一维度下缺失数据的总数量;
然后,获取目标范围内第个维度的初步拟合结果与第/>个维度的初步拟合结果的皮尔逊相关系数;
接着,获取目标范围内第个维度的初步拟合结果的均方误差和第/>个维度的初步拟合结果的均方误差,分别记为目标范围内第/>个维度的均方误差和第/>个维度的均方误差;
最后,根据目标范围内第个维度的均方误差与第/>个维度的均方误差以及目标范围内第/>个维度与第/>个维度的皮尔逊相关系数,获取目标范围内第/>个维度与第/>个维度的关联程度。
优选的,所述获取目标范围内第个维度与第/>个维度的关联程度,包括的具体方法为:
式中,表示目标范围内第/>个维度与第/>个维度的关联程度;/>表示目标范围内第/>个维度的均方误差;/>表示目标范围内第/>个维度的均方误差;表示目标范围内第/>个维度的初步拟合结果与第/>个维度的初步拟合结果的皮尔逊相关系数;/>表示以自然常数为底数的指数函数。
优选的,所述根据不同维度之间在缺失数据范围内的关联程度,获取每个维度的缺失数据的局部范围内每个初步数据的置信度,包括的具体方法为:
对于获取第个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度;
首先,获取除第个维度外的各个维度在目标范围内的均值;以及除第/>个维度外的各个维度在目标范围内第/>个初步数据,在各自维度的目标范围内的离差值;
然后,根据不同维度之间在缺失数据的局部范围内的关联程度、除第个维度外的各个维度在目标范围内的均值、除第/>个维度外的各个维度在目标范围内第/>个初步数据,在各自维度的目标范围内的离差值,获取第/>个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度。
优选的,所述获取第个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度,包括的具体计算公式为:
式中,表示第/>个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度;/>表示维度的数量,/>;/>表示第/>个维度下的第/>个缺失数据的局部范围与第/>个维度的关联程度;/>表示第/>个维度外的第/>个维度在目标范围内第/>个初步数据,在各自维度的目标范围内的离差值;/>表示第/>个维度外的第/>个维度在目标范围内的均值;/>表示线性归一化函数;/>表示绝对值运算;/>表示预设的超参数。
优选的,所述根据每个维度的缺失数据的局部范围内每个初步数据的置信度,获取最终拟合结果,包括的具体方法为:
式中,表示拟合误差参数;/>表示第/>个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度;/>表示第/>个维度的第/>个缺失数据的局部范围内每个真实数据;/>表示在第/>个维度的第/>个缺失数据的局部范围内初步数据的数量;表示线性归一化函数;/>表示在多项式拟合过程中,利用第/>个维度的第/>个缺失数据的局部范围的每个假定多项式拟合出的与第/>个初步数据对应的拟合值;
当的值达到最小值时,将第/>个维度的第/>个缺失数据的局部范围内的假定多项式,作为第/>个维度的第/>个缺失数据的局部范围的最终拟合结果。
优选的,所述根据最终拟合结果填补缺失数据,包括的具体方法为:
对于获取第个维度的第/>个缺失数据,首先获取第/>个维度的第/>个缺失数据对应的时刻,将第/>个维度的第/>个缺失数据对应的时刻,输入到第/>个维度的第/>个缺失数据的局部范围的最终拟合结果中得到第/>个维度的第/>个缺失数据的拟合值,将第/>个维度的第/>个缺失数据的拟合值填补第/>个维度的第/>个缺失数据。
本发明的技术方案的有益效果是:由于在构建数字孪生模型的过程中,需要通过许多传感器采集许多数据,而在采集数据的过程由于外部环境因素的影响,导致所采集的数据中缺失的数据,而构建数字孪生模型又对数据的精度要求十分苛刻;当采集的数据中出现缺失数据,若直接传统的多项式拟合填补缺失数据,则可能会由于拟合结果的精度不够,导致无法准确建立的数字孪生模型;因此本实施例通过每个维度与每个维度之间的联系,结合每个维度的初步拟合结果,使最终的拟合结果更加准确,以提高数字孪生模型的精准程度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种面向多源异构数据的数字孪生驱动的数据处理系统的结构框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种面向多源异构数据的数字孪生驱动的数据处理系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种面向多源异构数据的数字孪生驱动的数据处理系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种面向多源异构数据的数字孪生驱动的数据处理系统的结构框图,该系统包括以下模块:
数据采集模块101,用于采集所有维度的真实数据。
需要说明的是,数字孪生是模拟现实世界的虚拟模型,可以在数字环境中测试和验证各种方案和决策,具有很高的价值和应用前景,而本实施例作为一种面向多源异构数据的数字孪生驱动的数据处理系统;因此需要构建数字孪生模型,而构建数字孪生模型,首先需要采集各种数据。
具体的,通过温度传感器、压力传感器、流量传感器采集所有时刻下工厂中对应维度的数据,将通过传感器采集的数据记为真实数据;将同一传感器采集的真实数据记为同一维度数据,得到所有维度的真实数据。本发明以温度传感器、压力传感器、流量传感器为不同维度数据的采集设备进行具体示例性说明,也即包含有三个维度:温度维度、压力维度和流量维度,当然,在本发明的其他实施例中,还可以包括多种其他任意可能的维度,其分析和处理过程与本方案后续对这三种维度的分析处理过程相类似,对此不作限制。
至此,得到所有维度的真实数据。
初步拟合模块102,用于根据所有维度的真实数据,获取所有维度中缺失数据的局部范围;根据所有维度中缺失数据的局部范围,获取所有维度中缺失数据的局部范围的初步拟合结果以及初步数据。
需要说明的是,在构建数字孪生模型的过程中,需要通过许多传感器采集许多数据,而在采集数据的过程由于外部环境因素的影响,导致所采集的数据中存在缺失的数据;而本实施例作为一种面向多源异构数据的数字孪生驱动的数据处理系统,为了能够是建立的数字孪生模型更加准确,因此需要补齐采集的数据中缺失的数据;为了能够使填补的数据更加贴合实际数据,所以需要对工厂中的所有数据进行预处理。
具体的,根据每个维度传感器采集数据的频率,结合每个维度传感器采集数据的起始时间,获得每个维度的理论数据时刻序列,对于第个维度,将第/>个维度的数据按照时刻填入第/>个维度的理论数据时刻序列中,记为第/>个维度的真实序列,将第/>个维度的真实序列中空白的位置作为缺失数据的位置。
再预设一个时间跨度,/>的具体大小可结合实际情况设置,本实施例不做硬性要求,在本实施例中以/>进行叙述,对于任意一个缺失数据的位置,选取距离缺失数据最近的/>个真实数据,作为缺失数据的局部范围;
对每一个维度的真实数据均进行一阶差分运算,得到所有维度的一阶差分运算结果;再使用时间序列平稳性检验所有维度的一阶差分运算结果,记录通过时间序列平稳性检验的维度的差分阶数;由于时间序列平稳性检验的具体方法作为一种公知的现有技术,故在本实施例中不再进行赘述;
然后,对缺失数据的局部范围进行多项式拟合,其中多项式拟合中的多项式阶数为维度的差分阶数,得到缺失数据的局部范围的初步拟合结果,并将初步拟合结果中的数据记为初步数据;由于多项式拟合的具体计算过程作为一种公知的现有技术,故在本实施例中不再进行赘述。
至此,得到所有维度的初步拟合结果以及初步数据。
数据分析模块103,用于根据所有维度中缺失数据的局部范围的初步拟合结果以及初步数据,获取不同维度之间在缺失数据范围内的关联程度;根据不同维度之间在缺失数据范围内的关联程度,获取每个维度的缺失数据的局部范围内每个初步数据的置信度。
需要说明的是,由于本实施例作为一种面向多源异构数据的数字孪生驱动的数据处理系统,所以需要构建数字孪生模型,而构建数字孪生模型对数据的精度要求十分苛刻,即通过初步拟合模块102得到的缺失数据的局部范围的初步拟合结果,不够精准,因此需要进一步的根据缺失数据的局部范围的初步拟合结果进行修正。
需要进一步说明的是,在同一个系统中,即使是不同维度的数据依然存在关联,故可以根据缺失数据的局部范围的初步拟合结果,因此首先需要获取不同维度之间在缺失数据的局部范围内的关联程度。
具体的,对于获取第个维度下的第/>个缺失数据的局部范围与第/>个维度的关联程度;首先将第/>个维度下的第/>个缺失数据的局部范围所处的时间范围,记为目标范围,其中,/>;其中,t表示对应维度下缺失数据的索引,其为正整数,且取值范围小于等于每一维度下缺失数据的总数量;
然后,获取目标范围内第个维度的初步拟合结果与第/>个维度的初步拟合结果的皮尔逊相关系数,由于皮尔逊相关系数的具体计算公式作为一种公知的现有技术,故在本实施例中不再进行赘述。
接着,获取目标范围内第个维度的初步拟合结果的均方误差和第/>个维度的初步拟合结果的均方误差,分别记为目标范围内第/>个维度的均方误差和第/>个维度的均方误差,其中由于均方误差的具体计算过程作为一种公知的现有技术,故在本实施例中不再进行赘述。
最后,根据目标范围内第个维度的均方误差与第/>个维度的均方误差以及目标范围内第/>个维度与第/>个维度的皮尔逊相关系数,获取目标范围内第/>个维度与第/>个维度的关联程度,其具体的计算公式为:
式中,表示目标范围内第/>个维度与第/>个维度的关联程度;/>表示目标范围内第/>个维度的均方误差;/>表示目标范围内第/>个维度的均方误差;表示目标范围内第/>个维度的初步拟合结果与第/>个维度的初步拟合结果的皮尔逊相关系数;/>表示以自然常数为底数的指数函数。
需要说明的是,的值越大,则说明第/>个维度下的第/>个缺失数据的局部范围与第/>个维度的关联程度越高;但/>是由不同维度在相同时间段内的维度的初步拟合结果得到的,因此均方误差越大,对应的误差也就越大,即第/>个维度下的第/>个缺失数据的局部范围与第/>个维度的关联程度也就越低。
需要进一步说明的是,由于在同一缺失数据的局部范围内每个数据点的置信度是不同的,为了能够得到更加准确的预测结果,在得到不同维度之间在缺失数据的局部范围内的关联程度后,即可不同维度在缺失数据的局部范围内的关联程度,获取每个维度的缺失数据的局部范围内每个初步数据的置信度。
具体的,对于获取第个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度;
首先,获取除第个维度外的各个维度在目标范围内的均值;以及除第/>个维度外的各个维度在目标范围内第/>个初步数据,在各自维度的目标范围内的离差值;由于离差值的具体计算方法作为一种公知的现有技术故在本实施例中不再进行赘述;
然后,根据不同维度之间在缺失数据的局部范围内的关联程度、除第个维度外的各个维度在目标范围内的均值、除第/>个维度外的各个维度在目标范围内第/>个初步数据,在各自维度的目标范围内的离差值,获取第/>个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度,其具体的计算公式为:
式中,表示第/>个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度;/>表示维度的数量,在本发明实施例中,/>;/>表示第/>个维度下的第/>个缺失数据的局部范围与第/>个维度的关联程度;/>表示第/>个维度外的第/>个维度在目标范围内第/>个初步数据,在各自维度的目标范围内的离差值;/>表示第/>个维度外的第个维度在目标范围内的均值;/>表示线性归一化函数;/>表示绝对值运算;/>表示预设的超参数,其目的是为了避免在分式运算的过程中出现分母为零的情况,/>的具体大小可结合实际情况自行设置,在本实施例中以/>进行叙述。
需要进一步说明的是,表示的是第/>个目标维度的目标范围内第/>个初步数据的离差值,因此/>的值越大,则说明第/>个目标维度的初步拟合结果中的目标范围内的第/>个初步数据的误差就越大,即第/>个目标维度的初步拟合结果中的目标范围内的第/>个初步数据的置信度就越低;同时由于每个维度的数据在数值上存在差异,使得即使不同维度的离差值相同,其置信度不同,故通过/>比上/>,对每个维度的置信度进行标准化;/>表示第/>个维度下的第/>个缺失数据的局部范围与第/>个维度的关联程度,而的值越大,第/>个维度对第/>个维度的置信度就越高;因此/>的值越大,通过其他维度的数据得到的第/>个维度的数据的可信程度就越高。
至此,得到缺失数据的局部范围内每个初步数据的置信度。
最终拟合模块104,用于根据每个维度的缺失数据的局部范围内每个初步数据的置信度,获取最终拟合结果;根据最终拟合结果填补缺失数据;构建数字孪生模型。
需要说明的是,由于本实施例作为一种面向多源异构数据的数字孪生驱动的数据处理系统,所以需要构建数字孪生模型,而构建数字孪生模型对数据的精度要求十分苛刻;当采集的数据中出现缺失数据,若直接传统的多项式拟合填补缺失数据,则可能会由于拟合结果的精度不够,导致无法准确建立的数字孪生模型;因此本实施例通过每个维度与每个维度之间的联系,结合每个维度的初步拟合结果,使最终的拟合结果更加准确,以提高数字孪生模型的精准程度。
需要进一步说明的是,通过数据分析模块103得到缺失数据的局部范围内每个初步数据的置信度,而当缺失数据的局部范围内每个初步数据的置信度越大,就越应该偏向通过其他维度的数据得到最终拟合结果;当缺失数据的局部范围内每个初步数据的置信度越小,就越不应该偏向通过其他维度的数据得到最终拟合结果;同时在缺失数据的局部范围内,初步数据与真实数据之间的差异越大,则越应该偏向通过其他维度的数据得到最终拟合结果;初步数据与真实数据之间的差异越小,则越不应该偏向通过其他维度的数据得到最终拟合结果。
具体的,对于第个维度的第/>个缺失数据的局部范围的最终拟合结果,通过第/>个维度的第/>个缺失数据的局部范围内每个初步数据的置信度、第/>个维度的第/>个缺失数据的局部范围内每个初步数据以及第/>个维度的第/>个缺失数据的局部范围内每个真实数据,获取第/>个维度的第/>个缺失数据的局部范围的最终拟合结果,其具体的计算公式为:
式中,表示拟合误差参数;/>表示第/>个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度;/>表示第/>个维度的第/>个缺失数据的局部范围内每个真实数据;/>表示在第/>个维度的第/>个缺失数据的局部范围内初步数据的数量;表示线性归一化函数;/>表示在多项式拟合过程中,利用第/>个维度的第/>个缺失数据的局部范围的每个假定多项式拟合出的与第/>个初步数据对应的拟合值,其中多项式拟合中假定多项式的获取作为一种公知的现有技术,故在本实施例中不再进行赘述。
当的值达到最小值时,将第/>个维度的第/>个缺失数据的局部范围内的假定多项式,作为第/>个维度的第/>个缺失数据的局部范围的最终拟合结果。
最后,对于获取第个维度的第/>个缺失数据,首先获取第/>个维度的第/>个缺失数据对应的时刻,将第/>个维度的第/>个缺失数据对应的时刻,输入到第/>个维度的第/>个缺失数据的局部范围的最终拟合结果中得到第/>个维度的第/>个缺失数据的拟合值,将第/>个维度的第/>个缺失数据的拟合值填补第/>个维度的第/>个缺失数据;
得到所有缺失数据后,构建数字孪生模型,使构建的数字孪生模型更加准确,其中由于数字孪生模型的构建作为一种公知的现有技术,故在本实施例中不再进行赘述。
至此,本实施例完成。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种面向多源异构数据的数字孪生驱动的数据处理系统,其特征在于,该系统包括以下模块:
数据采集模块,用于采集所有维度的真实数据;
初步拟合模块,用于根据所有维度的真实数据,获取所有维度中缺失数据的局部范围;根据所有维度中缺失数据的局部范围,获取所有维度中缺失数据的局部范围的初步拟合结果以及初步数据;
数据分析模块,用于根据所有维度中缺失数据的局部范围的初步拟合结果以及初步数据,获取不同维度之间在缺失数据范围内的关联程度;根据不同维度之间在缺失数据范围内的关联程度,获取每个维度的缺失数据的局部范围内每个初步数据的置信度;
最终拟合模块,用于根据每个维度的缺失数据的局部范围内每个初步数据的置信度,获取最终拟合结果;根据最终拟合结果填补缺失数据;构建数字孪生模型;
所述根据所有维度中缺失数据的局部范围,获取所有维度中缺失数据的局部范围的初步拟合结果以及初步数据,包括的具体方法为:
对每一个维度的真实数据均进行一阶差分运算,得到所有维度的一阶差分运算结果;再使用时间序列平稳性检验所有维度的一阶差分运算结果,记录通过时间序列平稳性检验的维度的差分阶数;
然后,对缺失数据的局部范围进行多项式拟合,其中多项式拟合中的多项式阶数为维度的差分阶数,得到缺失数据的局部范围的初步拟合结果,并将初步拟合结果中的数据记为初步数据。
2.根据权利要求1所述一种面向多源异构数据的数字孪生驱动的数据处理系统,其特征在于,所述采集所有维度的真实数据,包括的具体方法为:
通过温度传感器、压力传感器、流量传感器采集所有时刻下工厂中对应维度的数据,将通过传感器采集的数据记为真实数据;将同一传感器采集的真实数据记为同一维度数据,得到所有维度的真实数据。
3.根据权利要求2所述一种面向多源异构数据的数字孪生驱动的数据处理系统,其特征在于,所述根据所有维度的真实数据,获取所有维度中缺失数据的局部范围,包括的具体方法为:
首先,根据每个维度传感器采集数据的频率,结合每个维度传感器采集数据的起始时间,获得每个维度的理论数据时刻序列,对于第个维度,将第/>个维度的数据按照时刻填入第/>个维度的理论数据时刻序列中,记为第/>个维度的真实序列,将第/>个维度的真实序列中空白的位置作为缺失数据的位置,其中,/>;
再预设一个时间跨度,对于任意一个缺失数据的位置,选取距离缺失数据最近的/>个真实数据,作为缺失数据的局部范围,得到所有维度中缺失数据的局部范围,其中,。
4.根据权利要求2所述一种面向多源异构数据的数字孪生驱动的数据处理系统,其特征在于,所述根据所有维度中缺失数据的局部范围的初步拟合结果以及初步数据,获取不同维度之间在缺失数据范围内的关联程度,包括的具体方法为:
对于获取第个维度下的第/>个缺失数据的局部范围与第/>个维度的关联程度;首先将第/>个维度下的第/>个缺失数据的局部范围所处的时间范围,记为目标范围,其中,;其中,t表示对应维度下缺失数据的索引,其为正整数,且取值范围小于等于每一维度下缺失数据的总数量;
然后,获取目标范围内第个维度的初步拟合结果与第/>个维度的初步拟合结果的皮尔逊相关系数;
接着,获取目标范围内第个维度的初步拟合结果的均方误差和第/>个维度的初步拟合结果的均方误差,分别记为目标范围内第/>个维度的均方误差和第/>个维度的均方误差;
最后,根据目标范围内第个维度的均方误差与第/>个维度的均方误差以及目标范围内第/>个维度与第/>个维度的皮尔逊相关系数,获取目标范围内第/>个维度与第/>个维度的关联程度。
5.根据权利要求4所述一种面向多源异构数据的数字孪生驱动的数据处理系统,其特征在于,所述获取目标范围内第个维度与第/>个维度的关联程度,包括的具体方法为:
式中,表示目标范围内第/>个维度与第/>个维度的关联程度;/>表示目标范围内第/>个维度的均方误差;/>表示目标范围内第/>个维度的均方误差;表示目标范围内第/>个维度的初步拟合结果与第/>个维度的初步拟合结果的皮尔逊相关系数;/>表示以自然常数为底数的指数函数。
6.根据权利要求4所述一种面向多源异构数据的数字孪生驱动的数据处理系统,其特征在于,所述根据不同维度之间在缺失数据范围内的关联程度,获取每个维度的缺失数据的局部范围内每个初步数据的置信度,包括的具体方法为:
对于获取第个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度;
首先,获取除第个维度外的各个维度在目标范围内的均值;以及除第/>个维度外的各个维度在目标范围内第/>个初步数据,在各自维度的目标范围内的离差值;
然后,根据不同维度之间在缺失数据的局部范围内的关联程度、除第个维度外的各个维度在目标范围内的均值、除第/>个维度外的各个维度在目标范围内第/>个初步数据,在各自维度的目标范围内的离差值,获取第/>个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度。
7.根据权利要求6所述一种面向多源异构数据的数字孪生驱动的数据处理系统,其特征在于,所述获取第个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度,包括的具体计算公式为:
式中,表示第/>个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度;/>表示维度的数量,/>;/>表示第/>个维度下的第/>个缺失数据的局部范围与第/>个维度的关联程度;/>表示第/>个维度外的第/>个维度在目标范围内第/>个初步数据,在各自维度的目标范围内的离差值;/>表示第/>个维度外的第/>个维度在目标范围内的均值;/>表示线性归一化函数;/>表示绝对值运算;/>表示预设的超参数。
8.根据权利要求7所述一种面向多源异构数据的数字孪生驱动的数据处理系统,其特征在于,所述根据每个维度的缺失数据的局部范围内每个初步数据的置信度,获取最终拟合结果,包括的具体方法为:
式中,表示拟合误差参数;/>表示第/>个维度的第/>个缺失数据的局部范围内第/>个初步数据的置信度;/>表示第/>个维度的第/>个缺失数据的局部范围内每个真实数据;/>表示在第/>个维度的第/>个缺失数据的局部范围内初步数据的数量;表示线性归一化函数;/>表示在多项式拟合过程中,利用第/>个维度的第/>个缺失数据的局部范围的每个假定多项式拟合出的与第/>个初步数据对应的拟合值;
当的值达到最小值时,将第/>个维度的第/>个缺失数据的局部范围内的假定多项式,作为第/>个维度的第/>个缺失数据的局部范围的最终拟合结果。
9.根据权利要求8所述一种面向多源异构数据的数字孪生驱动的数据处理系统,其特征在于,所述根据最终拟合结果填补缺失数据,包括的具体方法为:
对于获取第个维度的第/>个缺失数据,首先获取第/>个维度的第/>个缺失数据对应的时刻,将第/>个维度的第/>个缺失数据对应的时刻,输入到第/>个维度的第/>个缺失数据的局部范围的最终拟合结果中得到第/>个维度的第/>个缺失数据的拟合值,将第/>个维度的第/>个缺失数据的拟合值填补第/>个维度的第/>个缺失数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311568261.9A CN117272704B (zh) | 2023-11-23 | 2023-11-23 | 一种面向多源异构数据的数字孪生驱动的数据处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311568261.9A CN117272704B (zh) | 2023-11-23 | 2023-11-23 | 一种面向多源异构数据的数字孪生驱动的数据处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117272704A CN117272704A (zh) | 2023-12-22 |
CN117272704B true CN117272704B (zh) | 2024-01-26 |
Family
ID=89206750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311568261.9A Active CN117272704B (zh) | 2023-11-23 | 2023-11-23 | 一种面向多源异构数据的数字孪生驱动的数据处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117272704B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301296A (zh) * | 2017-06-27 | 2017-10-27 | 西安电子科技大学 | 基于数据的断路器故障影响因素定性分析方法 |
CN108549732A (zh) * | 2017-12-19 | 2018-09-18 | 中南大学 | 基于局部二次加权核主成分回归的辊道窑温度软测量建模方法 |
CN110766066A (zh) * | 2019-10-18 | 2020-02-07 | 天津理工大学 | 一种基于fnn的张量异质集成车联网缺失数据估计方法 |
CN110826231A (zh) * | 2019-11-08 | 2020-02-21 | 南京南瑞继保电气有限公司 | 一种气象站点多源数据整合方法 |
JP2020191005A (ja) * | 2019-05-23 | 2020-11-26 | 株式会社モリタ製作所 | データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム |
CN112765748A (zh) * | 2021-01-25 | 2021-05-07 | 长安大学 | 机理-数据异构信息融合的旋转机械数字孪生建模方法 |
WO2021098615A1 (zh) * | 2019-11-22 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 基因型数据缺失的填充方法、装置及服务器 |
KR102297468B1 (ko) * | 2020-11-30 | 2021-09-03 | 서울시립대학교 산학협력단 | 디지털 트윈 모델링 장치 및 이를 이용한 모델링 방법 |
CN113780375A (zh) * | 2021-08-26 | 2021-12-10 | 同济大学 | 一种基于数字孪生的虚实交互风电场风力监测系统及应用 |
CN114417991A (zh) * | 2022-01-13 | 2022-04-29 | 哈尔滨工业大学 | 基于时空注意力网络的缺失结构健康监测数据恢复方法 |
KR102435919B1 (ko) * | 2021-11-02 | 2022-08-24 | 주식회사 토이코스 | 다차원 데이터를 이용한 옥내 누수 탐지 및 유형 구분 장치, 방법 및 프로그램 |
CN115562158A (zh) * | 2022-11-10 | 2023-01-03 | 北京机床研究所有限公司 | 一种数字孪生驱动的数控机床智能诊断方法、系统及终端机 |
CN116166650A (zh) * | 2023-02-20 | 2023-05-26 | 重庆大学 | 一种基于生成对抗网络的多源异构数据清洗方法 |
CN116226626A (zh) * | 2022-12-19 | 2023-06-06 | 国网浙江省电力有限公司营销服务中心 | 一种多源异构数据关联方法 |
CN116595813A (zh) * | 2023-07-18 | 2023-08-15 | 中交一公局第五工程有限公司 | 智能网联汽车测试的数字孪生构建方法与装置 |
CN116821646A (zh) * | 2023-07-14 | 2023-09-29 | 四川启睿克科技有限公司 | 数据处理链构建方法、数据缩减方法、装置、设备及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220245574A1 (en) * | 2019-11-05 | 2022-08-04 | Strong Force Vcn Portfolio 2019, Llc | Systems, Methods, Kits, and Apparatuses for Digital Product Network Systems and Biology-Based Value Chain Networks |
-
2023
- 2023-11-23 CN CN202311568261.9A patent/CN117272704B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301296A (zh) * | 2017-06-27 | 2017-10-27 | 西安电子科技大学 | 基于数据的断路器故障影响因素定性分析方法 |
CN108549732A (zh) * | 2017-12-19 | 2018-09-18 | 中南大学 | 基于局部二次加权核主成分回归的辊道窑温度软测量建模方法 |
JP2020191005A (ja) * | 2019-05-23 | 2020-11-26 | 株式会社モリタ製作所 | データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム |
CN110766066A (zh) * | 2019-10-18 | 2020-02-07 | 天津理工大学 | 一种基于fnn的张量异质集成车联网缺失数据估计方法 |
CN110826231A (zh) * | 2019-11-08 | 2020-02-21 | 南京南瑞继保电气有限公司 | 一种气象站点多源数据整合方法 |
WO2021098615A1 (zh) * | 2019-11-22 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 基因型数据缺失的填充方法、装置及服务器 |
KR102297468B1 (ko) * | 2020-11-30 | 2021-09-03 | 서울시립대학교 산학협력단 | 디지털 트윈 모델링 장치 및 이를 이용한 모델링 방법 |
CN112765748A (zh) * | 2021-01-25 | 2021-05-07 | 长安大学 | 机理-数据异构信息融合的旋转机械数字孪生建模方法 |
CN113780375A (zh) * | 2021-08-26 | 2021-12-10 | 同济大学 | 一种基于数字孪生的虚实交互风电场风力监测系统及应用 |
KR102435919B1 (ko) * | 2021-11-02 | 2022-08-24 | 주식회사 토이코스 | 다차원 데이터를 이용한 옥내 누수 탐지 및 유형 구분 장치, 방법 및 프로그램 |
CN114417991A (zh) * | 2022-01-13 | 2022-04-29 | 哈尔滨工业大学 | 基于时空注意力网络的缺失结构健康监测数据恢复方法 |
CN115562158A (zh) * | 2022-11-10 | 2023-01-03 | 北京机床研究所有限公司 | 一种数字孪生驱动的数控机床智能诊断方法、系统及终端机 |
CN116226626A (zh) * | 2022-12-19 | 2023-06-06 | 国网浙江省电力有限公司营销服务中心 | 一种多源异构数据关联方法 |
CN116166650A (zh) * | 2023-02-20 | 2023-05-26 | 重庆大学 | 一种基于生成对抗网络的多源异构数据清洗方法 |
CN116821646A (zh) * | 2023-07-14 | 2023-09-29 | 四川启睿克科技有限公司 | 数据处理链构建方法、数据缩减方法、装置、设备及介质 |
CN116595813A (zh) * | 2023-07-18 | 2023-08-15 | 中交一公局第五工程有限公司 | 智能网联汽车测试的数字孪生构建方法与装置 |
Non-Patent Citations (2)
Title |
---|
基于数字孪生的航班链延误动态预测模型;丁建立 等;《南京航空航天大学学报》;第55卷(第5期);859-867 * |
基坑轴力智能化监测中缺失与异常数据分析处理的研究与应用;朱毅;刘永辉;涂业奇;;广州建筑(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117272704A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110827443B (zh) | 一种遥测事后数据处理系统 | |
CN103758700B (zh) | 一种校准风机对风偏差的方法 | |
CN109727446B (zh) | 一种用电数据异常值的识别与处理方法 | |
CN102521080B (zh) | 一种电力用户用电信息采集系统的计算机数据修复方法 | |
CN109187021B (zh) | 基于熵的多源风电机组轴承故障诊断方法 | |
CN117195137B (zh) | 基于数据分析的转子压铸误差检测系统 | |
KR101908865B1 (ko) | 기온 측정 자료의 품질 분석방법 | |
CN115908051A (zh) | 一种电力系统储能容量确定方法 | |
CN117436845A (zh) | 一种智慧小区供热系统异常数据监测方法 | |
CN118211721B (zh) | 基于人工智能的建筑能耗预测方法 | |
CN117272704B (zh) | 一种面向多源异构数据的数字孪生驱动的数据处理系统 | |
CN118050538A (zh) | 一种三维风向检测方法及系统 | |
CN113886992A (zh) | 一种基于多保真度数据的数字孪生建模方法 | |
CN117553840A (zh) | 一种基于智能化管理的仪表及其系统 | |
CN112529003A (zh) | 一种基于Faster-RCNN的仪表盘数字识别方法 | |
CN110083804B (zh) | 基于条件分布回归的风电场scada数据缺失的智能修复方法 | |
CN105528735A (zh) | 基于量测风速与空间相关性的异常数据点的校正方法 | |
CN114722717A (zh) | 钻井液流速的获取方法及装置 | |
CN113408076A (zh) | 基于支持向量机模型的小样本机械剩余寿命预测方法 | |
CN112632785A (zh) | 一种改进非参数核密度估计光伏出力建模方法 | |
CN118626752B (zh) | 一种变计数时钟的转速采样计算方法 | |
CN116401103B (zh) | 一种飞行员便携式电子图囊的数据安全管理系统 | |
CN111047352A (zh) | 一种渐进式电力现货市场运营效率测度方法及系统 | |
CN117990187B (zh) | 基于人工智能的地下水水位动态监测方法 | |
CN117214461B (zh) | 一种基于融合算法的悬翼式流速仪标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |