CN110674375A - 一种数据处理方法及电子设备 - Google Patents
一种数据处理方法及电子设备 Download PDFInfo
- Publication number
- CN110674375A CN110674375A CN201910912792.2A CN201910912792A CN110674375A CN 110674375 A CN110674375 A CN 110674375A CN 201910912792 A CN201910912792 A CN 201910912792A CN 110674375 A CN110674375 A CN 110674375A
- Authority
- CN
- China
- Prior art keywords
- data
- data set
- sub
- target object
- probability density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 79
- 230000008569 process Effects 0.000 claims abstract description 54
- 230000008859 change Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 76
- 238000012549 training Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 210000001503 joint Anatomy 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000000491 multivariate analysis Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000000540 analysis of variance Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000037182 bone density Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种数据处理方法及电子设备，其中，所述方法包括：获取目标对象满足预设时间序列的数据集；确定所述数据集中满足预设要求，可表征所述目标对象特征的子数据集，其中，所述预设要求用于体现所述子数据集的数据分类目标；处理所述子数据集确定匹配的概率密度函数；基于所述概率密度函数确定能够生成描述所述目标对象满足预设时间序列的变化过程图像的模型。本申请实施例方法用于制备能够有效减小电子设备处理负载的模型，使电子设备基于该模型而能够在无较高硬件水平的情况下快速高效地绘制出可反应目标对象在预设时间段内的变化过程图像。
Description
技术领域
本申请实施例涉及智能设备领域，特别涉及一种数据处理方法及电子设备。
背景技术
目前物联网、大数据、云计算、深度学习技术的快速发展，有效地拓展了“智能+”在垂直领域的应用。但伴随着各领域对产品、设备等对象的运维策略由预防性维护向预测性维护的转变，这就需要实现对目标对象的衰减过程分阶段、分时、分级的进行识别确定。而要实现对被测试对象衰减过程的分阶段、分时、分级地进行表征，以更好的辅助推理机进行识别，需要全面地采集受测试对象运行过程的数据，以尽可能地包含更多可准确描述目标对象潜在状态的信息，故使得数据采集、存储和分析的过程中负载显著增大，对计算基础设施提出了更高的要求。也即，目前在对目标对象做预测性维护时，由于需要采集及处理的数据量较大，故使得电子设备负载过大，对其硬件设备要求过高。
发明内容
本申请实施例提供了一种用于制备能够有效减小电子设备处理负载的模型的数据处理方法，使电子设备基于该模型而能够在无较高硬件水平的情况下快速高效地绘制出可反应目标对象在预设时间段内的变化过程图像，同时本申请实施例还提供一种应用该方法的电子设备。
为了解决上述技术问题，本申请实施例提供了一种数据处理方法，其中，包括：
获取目标对象满足预设时间序列的数据集；
确定所述数据集中满足预设要求，可表征所述目标对象特征的子数据集，其中，所述预设要求用于体现所述子数据集的数据分类目标；
处理所述子数据集确定匹配的概率密度函数；
基于所述概率密度函数确定能够生成描述所述目标对象满足预设时间序列的变化过程图像的模型。
作为优选，所述确定所述数据集中满足预设要求，可表征所述目标对象特征的子数据集包括：
至少预先确定所述子数据集的数据收敛条件；
基于所述数据收敛条件自所述数据集中提取出可表征所述目标对象特征的子数据集。
作为优选，所述基于所述数据收敛条件自所述数据集中提取出可表征所述目标对象特征的子数据集包括：
至少基于所述数据收敛条件确定所选数据的互相关性；
基于确定的所述互相关性自所述数据集中提取出可表征所述目标对象特征的子数据集。
作为优选，所述基于所述数据收敛条件自所述数据集中提取出可表征所述目标对象特征的子数据集包括：
至少基于所述目标对象的第一特征以及数据收敛条件自所述数据集中提取出可表征所述第一特征在满足所述预设时间序列的条件下的衰减过程的子数据集，其中，所述子数据集中至少部分子数据为所述第一特征所包含的数据。
作为优选，所述子数据为多个，所述处理所述子数据集形成匹配的概率密度函数包括：
将所述子数据集中的子数据进行组合；
确定组合后的所述子数据的概率密度函数。
作为优选，还包括：
确定多个概率密度函数中能够体现所述数据分类目标的最优概率密度函数。
作为优选，所述基于所述概率密度函数建立能够生成描述所述目标对象满足预设时间序列的变化过程图像的模型包括：
基于所述最优概率密度函数建立所述模型。
作为优选，还包括：
基于所述目标对象的历史数据分类目标确定匹配的待解决问题；
基于所述历史数据分类目标、对应的历史子数据集以及用于解决所述待解决问题的解决策略训练所述模型，以使所述模型能够基于所述预设要求确定出所述目标对象的子数据集，并自动生成相应的解决策略。
本申请实施例同时提供一种电子设备，其中，包括：
获取器，其用于获取目标对象满足预设时间序列的数据集；
处理器，其用于确定所述数据集中满足预设要求，可表征所述目标对象特征的子数据集，其中，所述预设要求用于体现所述子数据集的数据分类目标，并处理所述子数据集确定匹配的概率密度函数，使基于所述概率密度函数确定能够生成描述所述目标对象满足预设时间序列的变化过程图像的模型。
作为优选，所述处理器还用于：
至少预先确定所述子数据集的数据收敛条件；
基于所述数据收敛条件自所述数据集中提取出可表征所述目标对象特征的子数据集。
基于上述实施例的公开可以获知，本申请实施例的有益效果在于本申请实施例建造的模型能够有效减小电子设备的数据处理负载，使电子设备无需配备较高标准的硬件设施便可实现对数据的处理，提高了用户的使用便捷度以及普适性。另外，通过本申请实施例中的方法制备的模型可通过生成可视化图像而清楚的表现出对目标对象在某一领域的预测，精度较高，为用户提供了有利的参考价值。
附图说明
图1为本申请实施例中的数据处理方法的流程图。
图2为本申请实另一施例中的数据处理方法的流程图。
图3为本申请实施例中的电子设备的结构框图。
具体实施方式
下面，结合附图对本申请的具体实施例进行详细的描述，但不作为本申请的限定。
应理解的是，可以对此处公开的实施例做出各种修改。因此，下述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。
下面，结合附图详细的说明本申请实施例。
如图1所示，一种数据处理方法，其中，包括：
获取目标对象满足预设时间序列的数据集；
确定数据集中满足预设要求，可表征目标对象特征的子数据集，其中，预设要求用于体现子数据集的数据分类目标；
处理子数据集确定匹配的概率密度函数；
基于概率密度函数确定能够生成描述目标对象满足预设时间序列的变化过程图像的模型。
例如，用户主动将收集的关于目标对象的满足时间序列的数据集输入至设备中，或者设备主动实时或定时采集目标对象的满足时间序列的数据集，然后设备的系统确定该数据集中能够较好地体现出用户制定的数据分类目标，也即是用户制定的用于通过采集的数据集而体现出的目标对象的问题的子数据集，该如目标对象为人体，用户想要确定出采集的数据集中有助于确定人体腿部关节在未来会出现的问题的数据，或者目标对象为人群，用户想要确定出能够辅助其确定该群人中的男女寿命变化等问题的数据。同时该子数据集还要同时能够表征目标对象特征，如该子数据集能够表征人体腿部转动速度，或者能够表征人群中每个人的身高、体重、骨密度等特征。接着，系统会处理提取出的子数据集，使其形成能够体现上述用户制定的数据分类目标的概率密度函数，使系统可基于该概率密度函数制备出能够绘制出可表征目标对象在未来一段时间内匹配上述目标对象特征的变化的图像的模型，其中，该图像可用来表征上述人体腿部关节在未来一段时间内的转动速度变化过程，或用来表征上述男女比例在未来一段时间内的变化来体现男女在未来一段时间内的寿命变化过程，使用户可高效快速地对目标问题或目标对象做出预测性判断。而由于本申请在制备目标对象最终的变化过程图像时，并不是将获取的全部数据均进行了处理，而仅是对其中的部分更能够体现目标对象问题的数据进行了处理，故使得处理过程中的数据负载相比以往大大地进行了缩减，提高了处理效率，且无需设备具有较高硬件水平，为用户的使用提供了方便。
由此可知，本申请实施例的有益效果在于本实施例建造的模型能够有效减小电子设备的数据处理负载，使电子设备无需配备较高标准的硬件设施便可实现对数据的处理，提高了用户的使用便捷度以及普适性。另外，通过本申请实施例中的方法制备的模型可通过生成可视化图像而清楚的表现出对目标对象在某一领域的预测，精度较高，为用户提供了有利的参考价值。本申请中的模型可用于表征具有一定机械关联性的结构的衰减过程，因此，在工业领域，适用于无损探伤、设备状态监测、故障诊断、设备资产管理；而在医疗工程和康复工程领域，适用于人体关节等复杂人体机械学结构的衰减辅助诊断。也就是本申请实施例的方法对数据源具有良好的普适性，可接收主流的声音、超声、视频、涡流等检测源输出的数据，而且还具有良好的跨领域兼容性，支持与跨平面、跨领域的优化搜索、多元统计、机器学习、有限元分析等数值分析和模式识别技术的联合应用。鲁棒性较佳，因环境噪声等因素导致的计算误差通常可低于0.1％。
进一步地，本实施例中在确定数据集中满足预设要求，可表征目标对象特征的子数据集时包括：
至少预先确定子数据集的数据收敛条件；
基于数据收敛条件自数据集中提取出可表征目标对象特征的子数据集。
例如，如图2所示，根据用户的指令预先确定出用户想要子数据集以哪些条件进行收敛，也即，子数据集的选取条件，使仅满足数据收敛条件的子数据才会被选取形成子数据集。而该数据收敛条件与用户想要表现出的想要解决的实际问题而定，如用户想要表现出人体腿部的转动速度随着时间的变化而产生的磨损度，故其收敛条件便可为腿部关节角速度在预设时间段内收敛。当系统确定出数据收敛条件后，便可基于该收敛条件自数据集中提取出可表征人体腿部的转动角速度的子数据集。当然，上述仅为一实施例，具体应用时收敛条件可为不同内容的多个，对应的，子数据集中的子数据对应的类型也可不同。例如，用户想要对一机械设备的使用寿命进行预测，那么该机械设备中的各个部件的劣化过程均可设置一对应的数据收敛条件，并基于该收敛条件确定出匹配地子数据集，最后融合所有子数据集进行处理计算形成模型，利用该模型构建体现该设备劣化过程的烈度图像，劣化趋势图谱，帮助工业管理者实时准确地掌握设备运行过程、提前抓取设备劣化衰减的征兆并基于此开展设备资产的预测性维护，同时，帮助工业管理者根据设备即时状态以及所处的寿命周期，优化生产排程。其中，采集的数据可通过用于监测设备运行状态的各个传感器获得，或自用于控制设备状态的控制器等边缘端工业要素所收集的数据中获得，而获得的具体数据可包括设备即时状态的时序瞬态信号，包括声信号(振动、声发射、声超声)、超声成像、图像和视频数据等。而提取出的子数据集中的数据可包括预设时间段内设备的信号幅度、运行持续时间、触发次数、运行时能量上升至峰值的时间等特征，还可包括运行时传输的信号/图像能量、峰值频率等频域信号。
进一步地，本实施例中在基于数据收敛条件自数据集中提取出可表征目标对象特征的子数据集包括：
至少基于数据收敛条件确定所选数据的互相关性；
基于确定的互相关性自数据集中提取出可表征目标对象特征的子数据集。
例如，根据用户最终欲使模型制备出的可视化图像解决的技术问题和数据收敛条件确定所要选取出的子数据的互相关性，例如当用于想要确定人群中男女寿命的变化趋势时，首先要确定出人群中的男性和女性，故当涉及该问题时所要选取的子数据的互相关性就要较弱，而当确定男性群体的寿命或女群体的寿命时，那么所要选取的子数据的互相关性就要较强。也即，当用户要解决某问题时，其所要选取的子数据的相关性即可以相关性较弱，也可相关性较强，也可同时包含相关性较弱的多个子数据和相关性较强的多个字数据，具体不唯一。
进一步地，本实施例中在基于数据收敛条件自数据集中提取出可表征目标对象特征的子数据集包括：
至少基于目标对象的第一特征以及数据收敛条件自数据集中提取出可表征第一特征在满足预设时间序列的条件下的衰减过程的子数据集，其中，子数据集中至少部分子数据为第一特征所包含的数据。
例如，用户欲确定某机械设备的磨损度随时间的变化过程时，可基于该目的或目标确定出目标对象，即机械设备，确定出会影响目标对象衰减过程的第一特征，也即，确定出其会随着时间而影响设备的磨损度的第一特征，该第一特征可为设备内齿轮组的传动速度、转轴的转速、滑动轮的转速等等。当确定出该第一特征后，系统基于该第一特征以及数据收敛条件，也就是基于第一特征以及用户想要解决的实际问题而自数据集中提取出可表征第一特征满足预设时间序列(相当于预设时间段)的条件下的衰减过程的子数据集。其中，该子数据集中的至少部分子数据为上述列举的第一特征中的数据，如转速、传动速度等。而若当第一特征为一特征集，包含多个不同的子特征时，或者说，系统根据用户想要解决的实际问题而确定出了多个不同的第一特征时，那么最终选取的子数据集中就不仅只包括一种第一特征中的数据，而是包含所有第一特征中的至少部分数据。
进一步地，本实施例中的子数据为多个，当处理子数据集形成匹配的概率密度函数时包括：
将子数据集中的子数据进行组合；
确定组合后的子数据的概率密度函数。
例如，在具体应用时，上述关于子数据集的确定步骤以及该字子数据的组合的具体执行过程可交由特征工程执行。该特征工程可基于例如遗传算法而对子数据进行随机匹配组合，接着确定出各组合后的子数据的概率密度函数，以基于该概率密度函数来确定最终的模型。
进一步地，本实施例中的方法还包括：
确定多个概率密度函数中能够体现数据分类目标的最优概率密度函数；
基于最优概率密度函数以及用于实现绘图功能的数据建立模型。
具体地，确定该最优概率密度函数不仅是为了简化设备的处理负载，而且能够更好地反应出用户想要解决的技术问题，也就是该最优概率密度函数的确定可更具代表性地表现出用户想要解决的技术问题，使在最后基于该最优概率密度函数建立模型时，该模型可在后续工作中更能够快速地自大量采集数据中识别确定出最能够体现、表达用户想要解决的技术问题，使最后呈现出的可视化图像能够完美地反应出满足该技术问题的数据随着时间的变化过程，为用户提供更有价值的参考数据。实际应用时，该模型可为一N*N的矩阵，矩阵中的每一个量值(即每一子数据对应的权重等)均通过预设的约束算法进行确定，该约束算法具体不定，例如前期确定子数据集的过程均相同，而最终确定最优概率密度函数时可选择其中概率密度值最大的函数，使基于该概率密度最大的函数最终确定模型的整体架构。而为了使模型具有绘图功能，例如能够绘制出用于表征目标对象满足时间序列的衰变过程的图像的功能，在建模时还要同时基于用于实现模型具有绘图功能的数据一同实现模型的建立。其中，该绘图功能的相关数据具体不唯一，例如可为任何用于实现绘图功能的程序数据等。
进一步地，本实施例中的方法还包括：
基于目标对象的历史数据分类目标确定匹配的待解决问题；
基于历史数据分类目标、对应的历史子数据集以及用于解决待解决问题的解决策略训练模型，以使模型能够基于预设要求确定出目标对象的子数据集，并自动生成相应的解决策略。
例如，当模型确定后，可根据历史数据以及匹配该历史数据对应的用户想要解决的实际技术问题、最终用户选择解决该技术问题或缓解该技术问题的解决方案，解决策略来训练该模型，使该模型在获取大量的数据集后，能够基于该数据集确定出能够反映出用户想要实际解决的技术问题的可视化图像，并同时附上解决该技术问题的策略，为用户进一步提供方便。
另外，本实施例中的模型还支持多源异构传感系统产生的瞬态工业数据的特征提取、特征融合、数据建模、数据约减、数据可视化分析；支持与模拟退火、遗传算法、ANOVA等跨平面特征优化搜索算法的协同，实现特征组合迭代寻优；由于应用此模型选出的特征的概率密度函数彼此间可以具有极低的互相关性(互相关系数低于0.1)，故该模型还支持包括PCA、KPCA、ICA等矩阵投影变换和多元统计的数据约减和特征抽取。而且，本实施例中的模型可为深度学习、支持向量机等模式识别和人工智能推理机提供关键的辨识标签，如基于用户实际想要解决的技术问题而对子数据集定义辨识标签等。当通过应用此模型对采集的数据集进行处理和变换后，模型将制备出匹配目标对象衰减过程的可视化图像，其通过图像在不同区域中的色差、灰度的随时间变化的表征，实现对衰减过程快速简单的表示。而且本实施例中的模型可与PCA、K-均值等聚类分析工具结合，以通过降维、散点图和线性拟合表征的方式，实现对象衰减过程的可视化展示。
实际操作时，例如以用户欲建立一能够预测工业设备的发动机的衰变过程，以及该发动机在未来一预设时间段内的使用状态模型为例。首先，获取例如近三个月的工业设备中发动机的运行数据，然后将其输入至建模设备的系统中，接着用户输入欲表现出发动机的特征数据的分布类型，如离散型还是收敛型等，使系统可基于该分布类型确定所要提取出的用于形成建模数据的各特征数据间的互相关性，例如分布类型为离散型，则数据相关性则并不需要较强，反之则需要数据相关性强。接着，用户可输入欲表现出例如为发动机的转速随时间的衰减过程的目标，基于此，系统便可结合该目标以及数据分布类型、数据相关性等而自上述运行数据中提取出用于形成建模数据的关于能够体现出发送机转速，或能够影响发动机转速的特征数据。该特征数据例如包括发动机运行时的声音数据、转速数据、转轴磨损数据等等，接着系统会将该多个提取出的数据进行随机分组，每形成一组的数据量可相同也可不同，然后确定出每组数据的概率密度函数。为了能够使得建造的模型对发电机的最终预测效果更精准，可对该多个概率密度函数进行筛选，例如可对该概率密度函数的权重进行比对，筛选出权重相比较大的概率密度函数，然后基于该筛选出的多个概率密度函数作为建模数据来实现模型的建立。当制备好模型后可输入大量有关工业设备衰变的数据，以及对应的用于解决该衰变或缓解改善该衰变的历史策略数据来训练模型，同时可将该模型内输入绘图程序数据，使该模型能够最终基于确定出的衰变数据而绘制出能够表征预设对象的衰变过程的可视化图像，待该模型训练好后，便可投入正常的使用。例如，用户想要对工业设备的发动机进行预估时，便可将例如2个月，1个月内的关于该发动机的运行数据输入至模型中，之后该模型便可输出该发动机在未来2个月或其他时间区间内的衰变图像，以供用户参考。
如图3所示，本申请实施例同时提供一种电子设备，其中，包括：
获取器，其用于获取目标对象满足预设时间序列的数据集；
处理器，其用于确定数据集中满足预设要求，可表征目标对象特征的子数据集，其中，预设要求用于体现子数据集的数据分类目标，并处理子数据集确定匹配的概率密度函数，使基于概率密度函数确定能够生成描述目标对象满足预设时间序列的变化过程图像的模型。
例如，用户主动将收集的关于目标对象的满足时间序列的数据集输入至设备中，或者设备主动实时或定时采集目标对象的满足时间序列的数据集，然后设备的系统确定该数据集中能够较好地体现出用户制定的数据分类目标，也即是用户制定的用于通过采集的数据集而体现出的目标对象的问题的子数据集，该如目标对象为人体，用户想要确定出采集的数据集中有助于确定人体腿部关节在未来会出现的问题的数据，或者目标对象为人群，用户想要确定出能够辅助其确定该群人中的男女寿命变化等问题的数据。同时该子数据集还要同时能够表征目标对象特征，如该子数据集能够表征人体腿部转动速度，或者能够表征人群中每个人的身高、体重、骨密度等特征。接着，系统会处理提取出的子数据集，使其形成能够体现上述用户制定的数据分类目标的概率密度函数，使系统可基于该概率密度函数制备出能够绘制出可表征目标对象在未来一段时间内匹配上述目标对象特征的变化的图像的模型，其中，该图像可用来表征上述人体腿部关节在未来一段时间内的转动速度变化过程，或用来表征上述男女比例在未来一段时间内的变化来体现男女在未来一段时间内的寿命变化过程，使用户可高效快速地对目标问题或目标对象做出预测性判断。而由于本申请在制备目标对象最终的变化过程图像时，并不是将获取的全部数据均进行了处理，而仅是对其中的部分更能够体现目标对象问题的数据进行了处理，故使得处理过程中的数据负载相比以往大大地进行了缩减，提高了处理效率，且无需设备具有较高硬件水平，为用户的使用提供了方便。
由此可知，本申请实施例的有益效果在于本实施例建造的模型能够有效减小电子设备的数据处理负载，使电子设备无需配备较高标准的硬件设施便可实现对数据的处理，提高了用户的使用便捷度以及普适性。另外，通过本申请实施例中的方法制备的模型可通过生成可视化图像而清楚的表现出对目标对象在某一领域的预测，精度较高，为用户提供了有利的参考价值。本申请中的模型可用于表征具有一定机械关联性的结构的衰减过程，因此，在工业领域，适用于无损探伤、设备状态监测、故障诊断、设备资产管理；而在医疗工程和康复工程领域，适用于人体关节等复杂人体机械学结构的衰减辅助诊断。也就是本申请实施例的方法对数据源具有良好的普适性，可接收主流的声音、超声、视频、涡流等检测源输出的数据，而且还具有良好的跨领域兼容性，支持与跨平面、跨领域的优化搜索、多元统计、机器学习、有限元分析等数值分析和模式识别技术的联合应用。鲁棒性较佳，因环境噪声等因素导致的计算误差通常可低于0.1％。
进一步地，本实施例中的处理器在确定数据集中满足预设要求，可表征目标对象特征的子数据集时包括：
至少预先确定子数据集的数据收敛条件；
基于数据收敛条件自数据集中提取出可表征目标对象特征的子数据集。
例如，根据用户的指令预先确定出用户想要子数据集以哪些条件进行收敛，也即，子数据集的选取条件，使仅满足数据收敛条件的子数据才会被选取形成子数据集。而该数据收敛条件与用户想要表现出的想要解决的实际问题而定，如用户想要表现出人体腿部的转动速度随着时间的变化而产生的磨损度，故其收敛条件便可为腿部关节角速度在预设时间段内收敛。当处理器确定出数据收敛条件后，便可基于该收敛条件自数据集中提取出可表征人体腿部的转动角速度的子数据集。当然，上述仅为一实施例，具体应用时收敛条件可为不同内容的多个，对应的，子数据集中的子数据对应的类型也可不同。例如，用户想要对一机械设备的使用寿命进行预测，那么该机械设备中的各个部件的劣化过程均可设置一对应的数据收敛条件，并基于该收敛条件确定出匹配地子数据集，最后融合所有子数据集进行处理计算形成模型，利用该模型构建体现该设备劣化过程的烈度图像，劣化趋势图谱，帮助工业管理者实时准确地掌握设备运行过程、提前抓取设备劣化衰减的征兆并基于此开展设备资产的预测性维护，同时，帮助工业管理者根据设备即时状态以及所处的寿命周期，优化生产排程。其中，采集的数据可通过用于监测设备运行状态的各个传感器获得，或自用于控制设备状态的控制器等边缘端工业要素所收集的数据中获得，而获得的具体数据可包括设备即时状态的时序瞬态信号，包括声信号(振动、声发射、声超声)、超声成像、图像和视频数据等。而提取出的子数据集中的数据可包括预设时间段内设备的信号幅度、运行持续时间、触发次数、运行时能量上升至峰值的时间等特征，还可包括运行时传输的信号/图像能量、峰值频率等频域信号。
进一步地，本实施例中的处理器在基于数据收敛条件自数据集中提取出可表征目标对象特征的子数据集时包括：
至少基于数据收敛条件确定所选数据的互相关性；
基于确定的互相关性自数据集中提取出可表征目标对象特征的子数据集。
例如，根据用户最终欲使模型制备出的可视化图像解决的技术问题和数据收敛条件确定所要选取出的子数据的互相关性，例如当用于想要确定人群中男女寿命的变化趋势时，首先要确定出人群中的男性和女性，故当涉及该问题时所要选取的子数据的互相关性就要较弱，而当确定男性群体的寿命或女群体的寿命时，那么所要选取的子数据的互相关性就要较强。也即，当用户要解决某问题时，其所要选取的子数据的相关性即可以相关性较弱，也可相关性较强，也可同时包含相关性较弱的多个子数据和相关性较强的多个字数据，具体不唯一。
进一步地，本实施例中的处理器在基于数据收敛条件自数据集中提取出可表征目标对象特征的子数据集时包括：
至少基于目标对象的第一特征以及数据收敛条件自数据集中提取出可表征第一特征在满足预设时间序列的条件下的衰减过程的子数据集，其中，子数据集中至少部分子数据为第一特征所包含的数据。
例如，用户欲确定某机械设备的磨损度随时间的变化过程时，可基于该目的或目标确定出目标对象，即机械设备，确定出会影响目标对象衰减过程的第一特征，也即，确定出其会随着时间而影响设备的磨损度的第一特征，该第一特征可为设备内齿轮组的传动速度、转轴的转速、滑动轮的转速等等。当确定出该第一特征后，处理器基于该第一特征以及数据收敛条件，也就是基于第一特征以及用户想要解决的实际问题而自数据集中提取出可表征第一特征满足预设时间序列(相当于预设时间段)的条件下的衰减过程的子数据集。其中，该子数据集中的至少部分子数据为上述列举的第一特征中的数据，如转速、传动速度等。而若当第一特征为一特征集，包含多个不同的子特征时，或者说，处理器根据用户想要解决的实际问题而确定出了多个不同的第一特征时，那么最终选取的子数据集中就不仅只包括一种第一特征中的数据，而是包含所有第一特征中的至少部分数据。
进一步地，本实施例中的子数据为多个，当处理子数据集形成匹配的概率密度函数时包括：
将子数据集中的子数据进行组合；
确定组合后的子数据的概率密度函数。
例如，在具体应用时，上述关于子数据集的确定步骤以及该字子数据的组合的具体执行过程可交由特征工程执行。该特征工程可基于例如遗传算法而对子数据进行随机匹配组合，接着确定出各组合后的子数据的概率密度函数，以基于该概率密度函数来确定最终的模型。
进一步地，本实施例中的处理器还用于：
确定多个概率密度函数中能够体现数据分类目标的最优概率密度函数；
基于最优概率密度函数以及用于实现绘图功能的数据建立模型。
具体地，确定该最优概率密度函数不仅是为了简化设备的处理负载，而且能够更好地反应出用户想要解决的技术问题，也就是该最优概率密度函数的确定可更具代表性地表现出用户想要解决的技术问题，使在最后基于该最优概率密度函数建立模型时，该模型可在后续工作中更能够快速地自大量采集数据中识别确定出最能够体现、表达用户想要解决的技术问题，使最后呈现出的可视化图像能够完美地反应出满足该技术问题的数据随着时间的变化过程，为用户提供更有价值的参考数据。实际应用时，该模型可为一N*N的矩阵，矩阵中的每一个量值(即每一子数据对应的权重等)均通过预设的约束算法进行确定，该约束算法具体不定，例如前期确定子数据集的过程均相同，而最终确定最优概率密度函数时可选择其中概率密度值最大的函数，使基于该概率密度最大的函数最终确定模型的整体架构。而为了使模型具有绘图功能，例如能够绘制出用于表征目标对象满足时间序列的衰变过程的图像的功能，在建模时还要同时基于用于实现模型具有绘图功能的数据一同实现模型的建立。其中，该绘图功能的相关数据具体不唯一，例如可为任何用于实现绘图功能的程序数据等。
进一步地，本实施例中的处理器还用于：
基于目标对象的历史数据分类目标确定匹配的待解决问题；
基于历史数据分类目标、对应的历史子数据集以及用于解决待解决问题的解决策略训练模型，以使模型能够基于预设要求确定出目标对象的子数据集，并自动生成相应的解决策略。
例如，当模型确定后，可根据历史数据以及匹配该历史数据对应的用户想要解决的实际技术问题、最终用户选择解决该技术问题或缓解该技术问题的解决方案，解决策略来训练该模型，使该模型在获取大量的数据集后，能够基于该数据集确定出能够反映出用户想要实际解决的技术问题的可视化图像，并同时附上解决该技术问题的策略，为用户进一步提供方便。
另外，本实施例中的模型还支持多源异构传感处理器产生的瞬态工业数据的特征提取、特征融合、数据建模、数据约减、数据可视化分析；支持与模拟退火、遗传算法、ANOVA等跨平面特征优化搜索算法的协同，实现特征组合迭代寻优；由于应用此模型选出的特征的概率密度函数彼此间可以具有极低的互相关性(互相关系数低于0.1)，故该模型还支持包括PCA、KPCA、ICA等矩阵投影变换和多元统计的数据约减和特征抽取。而且，本实施例中的模型可为深度学习、支持向量机等模式识别和人工智能推理机提供关键的辨识标签，如基于用户实际想要解决的技术问题而对子数据集定义辨识标签等。当通过应用此模型对采集的数据集进行处理和变换后，模型将制备出匹配目标对象衰减过程的可视化图像，其通过图像在不同区域中的色差、灰度的随时间变化的表征，实现对衰减过程快速简单的表示。而且本实施例中的模型可与PCA、K-均值等聚类分析工具结合，以通过降维、散点图和线性拟合表征的方式，实现对象衰减过程的可视化展示。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的数据处理电子设备所应用于的电子设备，可以参考前述产品实施例中的对应描述，在此不再赘述。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种数据处理方法，其中，包括：
获取目标对象满足预设时间序列的数据集；
确定所述数据集中满足预设要求，可表征所述目标对象特征的子数据集，其中，所述预设要求用于体现所述子数据集的数据分类目标；
处理所述子数据集确定匹配的概率密度函数；
基于所述概率密度函数确定能够生成描述所述目标对象满足预设时间序列的变化过程图像的模型。
2.根据权利要求1所述的方法，其中，所述确定所述数据集中满足预设要求，可表征所述目标对象特征的子数据集包括：
至少预先确定所述子数据集的数据收敛条件；
基于所述数据收敛条件自所述数据集中提取出可表征所述目标对象特征的子数据集。
3.根据权利要求2所述的方法，其中，所述基于所述数据收敛条件自所述数据集中提取出可表征所述目标对象特征的子数据集包括：
至少基于所述数据收敛条件确定所选数据的互相关性；
基于确定的所述互相关性自所述数据集中提取出可表征所述目标对象特征的子数据集。
4.根据权利要求2所述的方法，其中，所述基于所述数据收敛条件自所述数据集中提取出可表征所述目标对象特征的子数据集包括：
至少基于所述目标对象的第一特征以及数据收敛条件自所述数据集中提取出可表征所述第一特征在满足所述预设时间序列的条件下的衰减过程的子数据集，其中，所述子数据集中至少部分子数据为所述第一特征所包含的数据。
5.根据权利要求2所述的方法，其中，所述子数据为多个，所述处理所述子数据集形成匹配的概率密度函数包括：
将所述子数据集中的子数据进行组合；
确定组合后的所述子数据的概率密度函数。
6.根据权利要求5所述的方法，其中，还包括：
确定多个概率密度函数中能够体现所述数据分类目标的最优概率密度函数。
7.根据权利要求6所述的方法，其中，所述基于所述概率密度函数建立能够生成描述所述目标对象满足预设时间序列的变化过程图像的模型包括：
基于所述最优概率密度函数以及用于实现绘图功能的数据建立所述模型。
8.根据权利要求7所述的方法，其中，还包括：
基于所述目标对象的历史数据分类目标确定匹配的待解决问题；
基于所述历史数据分类目标、对应的历史子数据集以及用于解决所述待解决问题的解决策略训练所述模型，以使所述模型能够基于所述预设要求确定出所述目标对象的子数据集，并自动生成相应的解决策略。
9.一种电子设备，其中，包括：
获取器，其用于获取目标对象满足预设时间序列的数据集；
处理器，其用于确定所述数据集中满足预设要求，可表征所述目标对象特征的子数据集，其中，所述预设要求用于体现所述子数据集的数据分类目标，并处理所述子数据集确定匹配的概率密度函数，使基于所述概率密度函数确定能够生成描述所述目标对象满足预设时间序列的变化过程图像的模型。
10.根据权利要求9所述的电子设备，其中，所述处理器还用于：
至少预先确定所述子数据集的数据收敛条件；
基于所述数据收敛条件自所述数据集中提取出可表征所述目标对象特征的子数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910912792.2A CN110674375A (zh) | 2019-09-25 | 2019-09-25 | 一种数据处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910912792.2A CN110674375A (zh) | 2019-09-25 | 2019-09-25 | 一种数据处理方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110674375A true CN110674375A (zh) | 2020-01-10 |
Family
ID=69079078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910912792.2A Pending CN110674375A (zh) | 2019-09-25 | 2019-09-25 | 一种数据处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110674375A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235981A (zh) * | 2013-04-10 | 2013-08-07 | 东南大学 | 一种风电电能质量趋势预测方法 |
| JPWO2013069078A1 (ja) * | 2011-11-07 | 2015-04-02 | 株式会社日立製作所 | 時系列データ処理装置、時系列データ処理方法、及び時系列データ処理プログラムを格納したコンピュータ読み取り可能な記録媒体 |
| CN105320787A (zh) * | 2014-07-22 | 2016-02-10 | 张琳 | 一种网络链路可靠性动态评估模型构建方法 |
| CN107516114A (zh) * | 2017-08-28 | 2017-12-26 | 湖南大学 | 一种时间序列处理方法及装置 |
| CN108398260A (zh) * | 2018-01-10 | 2018-08-14 | 浙江大学 | 基于混合概率方法的齿轮箱瞬时角速度的快速评估方法 |
| CN109856702A (zh) * | 2019-01-29 | 2019-06-07 | 南京泛在地理信息产业研究院有限公司 | 一种基于聚类的降水日变化类型划分与空间分布提取方法 |
-
2019
- 2019-09-25 CN CN201910912792.2A patent/CN110674375A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2013069078A1 (ja) * | 2011-11-07 | 2015-04-02 | 株式会社日立製作所 | 時系列データ処理装置、時系列データ処理方法、及び時系列データ処理プログラムを格納したコンピュータ読み取り可能な記録媒体 |
| CN103235981A (zh) * | 2013-04-10 | 2013-08-07 | 东南大学 | 一种风电电能质量趋势预测方法 |
| CN105320787A (zh) * | 2014-07-22 | 2016-02-10 | 张琳 | 一种网络链路可靠性动态评估模型构建方法 |
| CN107516114A (zh) * | 2017-08-28 | 2017-12-26 | 湖南大学 | 一种时间序列处理方法及装置 |
| CN108398260A (zh) * | 2018-01-10 | 2018-08-14 | 浙江大学 | 基于混合概率方法的齿轮箱瞬时角速度的快速评估方法 |
| CN109856702A (zh) * | 2019-01-29 | 2019-06-07 | 南京泛在地理信息产业研究院有限公司 | 一种基于聚类的降水日变化类型划分与空间分布提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kou et al. | An integrated expert system for fast disaster assessment | |
| CN113222149B (zh) | 模型训练方法、装置、设备和存储介质 | |
| Feng et al. | A cellular automata model based on nonlinear kernel principal component analysis for urban growth simulation | |
| KR20200010672A (ko) | 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템 | |
| Chen et al. | Applying Machine Learning Algorithm to Optimize Personalized Education Recommendation System | |
| CN114730407A (zh) | 使用神经网络对工作环境中的人类行为进行建模 | |
| Wu | MOOC learning behavior analysis and teaching intelligent decision support method based on improved decision tree C4. 5 algorithm | |
| Nababan et al. | Determination feasibility of poor household surgery by using weighted product method | |
| Swazinna et al. | Measuring data quality for dataset selection in offline reinforcement learning | |
| Weatherill et al. | Capturing directivity in probabilistic seismic hazard analysis for New Zealand: Challenges, implications, and a machine learning approach for implementation | |
| JP2021135611A (ja) | 流用設計支援システム及び流用設計支援方法 | |
| CN110674375A (zh) | 一种数据处理方法及电子设备 | |
| Henmi et al. | Interactive evolutionary computation with evaluation characteristics of Multi-IEC users | |
| EP2357603A1 (en) | Evolutionary design optimization of real world structures with adaptive manipulation of nonlinear constraints | |
| Xing et al. | Rapid development of knowledge-based systems via integrated knowledge acquisition | |
| Tselentis et al. | An attempt to model the relationship between MMI attenuation and engineering ground-motion parameters using artificial neural networks and genetic algorithms | |
| Barceló | The role of computers to understand the past. The case of archaeological research | |
| KR20150053736A (ko) | 핵심 특허의 시장 가치를 평가하는 방법 | |
| Bai et al. | Depth feature fusion based surface defect region identification method for steel plate manufacturing | |
| Qin et al. | Remaining useful life estimation of bearing via temporal convolutional networks enhanced by a gated convolutional unit | |
| MacAllister | Investigating the use of Bayesian networks for small dataset problems | |
| Eder et al. | Gaining Insights into a Robot Localization Monitor Using Explainable Artificial Intelligence | |
| Popova et al. | Obtaining the Dynamic Coefficients of Structuredness for Assessing a Domain | |
| Panda et al. | Machine learning using exploratory analysis to predict taxi fare | |
| Rijwani et al. | A Preliminary Performance Eualuation Of Machinelearing Algorithm For Software Effort Estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |
|
| RJ01 | Rejection of invention patent application after publication |