CN113420876B - 基于无监督学习的实时运行数据处理方法、装置、设备 - Google Patents
基于无监督学习的实时运行数据处理方法、装置、设备 Download PDFInfo
- Publication number
- CN113420876B CN113420876B CN202110731411.8A CN202110731411A CN113420876B CN 113420876 B CN113420876 B CN 113420876B CN 202110731411 A CN202110731411 A CN 202110731411A CN 113420876 B CN113420876 B CN 113420876B
- Authority
- CN
- China
- Prior art keywords
- data
- current
- value
- index value
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001914 filtration Methods 0.000 claims abstract description 169
- 238000009499 grossing Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 12
- 238000012163 sequencing technique Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008451 emotion Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及人工智能领域,尤其是一种基于无监督学习的实时运行数据处理方法、装置、设备。该方法包括:获取实时运行数据,根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;根据当前周期获取对应每个预设指标类型的历史数据;将当前指标值和历史数据按照时间进行排序,得到当前周期对应的初始指标值;通过预先训练得到的滤波模型,对每一预设指标对应的初始指标值进行滤波处理得到待处理数据;滤波模型是通过无监督学习训练得到的;将各预设指标对应的待处理数据进行合成得到综合数据;对综合数据进行平滑处理得到目标数据。采用本方法能够提高准确性且节省人力。此外,本申请还涉及区块链技术,目标数据可存储于区块链节点中。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种基于无监督学习的实时运行数据处理方法、装置、设备。
背景技术
市场情绪的正确判断是投资交易的重要步骤。目前市场情绪的判断一方面可以通过直接调查参与市场的投资者,来统计投资者对市场长势的态度,从而获取市场悲观或者乐观情绪指标。但是通过调查问卷的方式时间成本较高,且周期偏长,无法做到实时跟踪短期的市场情绪。
另一方面还可以采用基于深度学习的情感分析算法,例如对特定的网页上的文本进行爬取,然后将文本表示为向量矩阵的形式,输入到深度神经网络中根据训练数据对网络进行训练。但是深度神经网络的准确率依赖于大规模、高质量的标注数据,随着舆情数据的不断增加需要大量的人力来标注训练集,费时费力。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高准确性且节省人力的基于无监督学习的实时运行数据处理方法、装置、设备。
一种基于无监督学习的实时运行数据处理方法,所述方法包括:
获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;
根据所述当前周期获取对应每个预设指标类型的历史数据;
将对应的所述预设指标类型的所述当前指标值和所述历史数据按照时间进行排序,得到所述当前周期对应的初始指标值;
通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据;所述滤波模型是通过无监督学习训练得到的;
将各所述预设指标对应的所述待处理数据进行合成得到综合数据;
对所述综合数据进行平滑处理得到目标数据。
在其中一个实施例中,所述综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;所述对所述综合数据进行平滑处理得到目标数据,包括:
获取初始观测指标值作为前一时刻对应的前一估计值,并指定所述前一估计值对应的前一估计精度;
根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度;
根据所述当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据所述增益系数、所述当前时刻对应的观测指标值、所述前一估计值以及所述当前预测值计算得到当前估计值;
根据所述增益系数以及所述当前预测精度得到当前估计精度;
将所述当前估计值作为前一估计值,所述当前估计精度作为前一估计精度,并继续根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度,直至所述综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据。
在其中一个实施例中,所述通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据包括:
获取各个所述预设指标类型对应的滤波模型;
将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理。
在其中一个实施例中,所述将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理,包括:
对所述初始指标值进行去中心化;
计算去中心化后的初始指标值的协方差矩阵;
对所述协方差矩阵进行特征分解;
获取满足要求的特征值;
根据满足要求的特征值对所述初始指标值滤波得到待处理数据。
在其中一个实施例中,所述对所述综合数据进行平滑处理得到目标数据之后,还包括:
根据所述目标数据绘制折线图;
根据所述待处理数据中每个所述预设指标的值在每一时刻进行累加绘制得到堆叠柱状图,且每一时刻对应的每个所述预设指标的柱长用于表征所述预设指标在所述时刻的贡献度。
一种基于无监督学习的实时运行数据处理装置,所述装置包括:
运行数据获取模块,用于获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;
历史数据获取模块,用于根据所述当前周期获取对应每个预设指标类型的历史数据;
排序模块,用于将对应的所述预设指标类型的所述当前指标值和所述历史数据按照时间进行排序,得到所述当前周期对应的初始指标值;
滤波模块,用于通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据;所述滤波模型是通过无监督学习训练得到的;
合成模块,用于将各所述预设指标对应的所述待处理数据进行合成得到综合数据;
平滑模块,用于对所述综合数据进行平滑处理得到目标数据。
在其中一个实施例中,所述综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;所述平滑模块包括:
初值获取单元,用于获取初始观测指标值作为前一时刻对应的前一估计值,并指定所述前一估计值对应的前一估计精度;
预测单元,用于根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度;
估计值计算单元,用于根据所述当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据所述增益系数、所述当前时刻对应的观测指标值、所述前一估计值以及所述当前预测值计算得到当前估计值;
估计精度计算单元,用于根据所述增益系数以及所述当前预测精度得到当前估计精度;
循环单元,用于将所述当前估计值作为前一估计值,所述当前估计精度作为前一估计精度,并继续根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度,直至所述综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据。
在其中一个实施例中,所述滤波模块包括:
模型获取单元,用于获取各个所述预设指标类型对应的滤波模型;
第一滤波单元,用于将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任意一个实施例中的方法的步骤。
一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
上述基于无监督学习的实时运行数据处理方法、装置、设备,先对单一指标的数据进行处理以保证单一指标值的准确性,后续再将单一预设指标处理后得到的待处理数据合成得到综合数据,这样所得到的综合数据也是准确的,最后再对该综合数据进行平滑处理,从而使所得到的数据更加准确,所使用的滤波模型是通过无监督学习训练得到的,不需要进行人工标注等,可以节省人力物力。
附图说明
图1为一个实施例中基于无监督学习的实时运行数据处理方法的应用场景图;
图2为一个实施例中基于无监督学习的实时运行数据处理方法的流程示意图;
图3为图2所示实施例中的步骤S208的流程图;
图4为一个实施例中堆叠柱状图的示意图;
图5为一个实施例中基于无监督学习的实时运行数据处理装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的基于无监督学习的实时运行数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104通过网络进行通信。终端104可以获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值,终端102根据当前周期从服务器104获取对应每个预设指标类型的历史数据;将对应的预设指标类型的当前指标值和历史数据按照时间进行排序,得到当前周期对应的初始指标值,这样终端102通过预先训练得到的滤波模型,对每一预设指标对应的初始指标值进行滤波处理以得到待处理数据;滤波模型是通过无监督学习训练得到的;将各预设指标对应的待处理数据进行合成得到综合数据;对综合数据进行平滑处理得到目标数据,这样首先获取的是实时运行数据,这样进行处理后所得到的目标数据的时效性得到了保证,其次,先对单一指标的数据进行处理以保证单一指标值的准确性,后续再将单一预设指标处理后得到的待处理数据合成得到综合数据,这样所得到的综合数据也是准确的,最后再对该综合数据进行平滑处理,从而使所得到的数据更加准确。且滤波模型是通过无监督学习训练得到的,不需要进行人工标注等,可以节省人力物力。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种基于无监督学习的实时运行数据处理方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
S202:获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值。
具体地,实时运行数据是市场运行产生的数据,该数据的发布频率为实时发布或者是日频,这样通过该些实时运行数据来计算目标数据,可以使得目标数据具有时效性。
在实际应用中,终端获取到实时运行数据,例如从官方网站爬取到实时运行数据,然后计算实时运行数据对应时刻的每个预设指标类型对应的当前指标值;例如计算某一天的当前指标值。
S204:根据当前周期获取对应每个预设指标类型的历史数据。
具体地,当前周期是目标数据的衡量周期,该周期可以是用户根据需要确定,例如一周、一月或者是一年等,在此不做具体限定,但是需要说明的一点是该当前周期的周期长度需要大于实时运行数据的发布周期。
具体地,终端从服务器根据当前周期获取到每个预设指标类型的历史数据,例如当前周期为7天,则服务器从数据库中获取到以实时运行数据为当前时刻之前的6天所计算得到的每个预设指标类型对应的指标值。
S206:将对应的预设指标类型的当前指标值和历史数据按照时间进行排序,得到当前周期对应的初始指标值。
具体地,预设指标类型是基于基金公司及其产品的交易数据进行编制,基金公司及其产品是债券交易的主要活跃参与方,其交易行为能够比较客观准确地反映债券市场的交易情绪,其中该预设指标类型包括但不限于基金杠杆率、交易久期、Taken占比_10年、Taken占比_5年和Taken占比_3年。其中基金杠杆率等于(累计净买入)/基金规模,其中累计净买入包括同业存单和短融或超短融,杠杆率越高,债市交易情绪越好。交易久期是指基金公司及其产品净买入的债券久期;交易久期越大,债市交易情绪越好。Taken占比是指活跃券里成交方向是taken的笔数/该券的所有成交笔数;市场taken占比越高,债市交易情绪越好。
终端在从服务器获取到实时运行数据后,根据上述各个指标对应的预先的计算公式计算得到各个指标的初始指标值,从而便于后续处理。
在实际应用中,终端按照时间顺序对每一预设指标类型的指标值进行排序得到指标序列,也即初始指标值。
S208:通过预先训练得到的滤波模型,对每一预设指标对应的初始指标值进行滤波处理以得到待处理数据;滤波模型是通过无监督学习训练得到的。
具体地,预先训练得到的滤波模型是通过无监督学习训练得到的,其通过将历史数据按照时间序列输入至机器学习模型中进行无监督训练以得到对应的滤波模型。
终端将每一预设指标对应的初始指标值输入至该滤波模型中,该滤波模型对初始指标值进行滤波,包括滤除不符合变化趋势和/或不符合变化量的值,从而实现对初始指标值的滤波处理。
这样该步骤中由于模型的训练是不需要进行标注的,可以节省大量的时间。
此外,可选地,随着时间的发展,当数据量变大,终端可以通过新增的数据来对滤波模型进行更新,以使得滤波模型可以更加准确。
可选地,存在多个滤波模型,每一个滤波模型对应一个预设指标,从而在处理的时候,终端通过对应的滤波模型对预设指标的初始指标值进行滤波处理。优选地,多个滤波模型可以并行处理,即终端并行将初始指标值分别输入至对应的滤波模型中以进行处理得到每一预设指标对应的待处理数据。
S210:将各预设指标对应的待处理数据进行合成得到综合数据。
具体地,合成可以是将待处理数据进行叠加,在其他的实施例中,还可以对各个待处理数据进行权重分配,以根据分配的权重计算得到综合数据。
S212:对综合数据进行平滑处理得到目标数据。
具体地,平滑处理是指去除综合数据中不符合变化规律的数据,可选地,该平滑处理可以采用卡尔曼滤波的方式进行处理,以去除不符合变化规律的数据。
终端通过对综合数据进行平滑处理,滤除不符合变化规律的数据得到目标数据,通过该目标数据来表征市场情绪,这样由于单个指标均是用于衡量市场情绪的,这样根据其综合后的综合数据更能表征市场情绪,保证了准确性。
上述基于无监督学习的实时运行数据处理方法,首先获取的是实时运行数据,这样进行处理后所得到的目标数据的时效性得到了保证,其次,先对单一指标的数据进行处理以保证单一指标值的准确性,后续再将单一预设指标处理后得到的待处理数据合成得到综合数据,这样所得到的综合数据也是准确的,最后再对该综合数据进行平滑处理,从而使所得到的数据更加准确。且滤波模型是通过无监督学习训练得到的,不需要进行人工标注等,可以节省人力物力。
在其中一个实施例中,参见图3所示,图3为图2所示实施例中的步骤S208的流程图,在该实施例中,综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;该步骤S208,即对综合数据进行平滑处理得到目标数据,包括:
S302:获取初始观测指标值作为前一时刻对应的前一估计值,并指定前一估计值对应的前一估计精度。
其中综合数据是包括时间序列以及对应时间序列上的时刻的观测指标值,其中该观测指标值即各个预设指标对应的处理后的待处理数据的和。
在实际应用中,需要先确定初始估计值和初始估计精度,其中该初始估计精度不为0,可选地,可以将初始观测指标值作为初始估计精度。
其中以时间序列为排序方式,终端依次计算下一时刻所对应的最优估计值,最后将每一时刻所对应的最优估计值作为目标数据以完成对综合数据的平滑处理。
终端根据以下公式计算得到当前预测值:
其中,为当前预测值,x′k-1|k-1为上一时刻的估计值,μk为当前时刻的控制量,其中A为状态转换矩阵,B为控制输入矩阵。
S304:根据前一估计值计算得到当前时刻对应的当前预测值,并根据前一估计精度计算得到当前预测精度。
终端根据以下公式计算得到当前预测精度:
其中,为当前预测精度,Pk-1为前一估计精度,AT为A的转置矩阵,Q为过程噪声的协方差矩阵。
S306:根据当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据增益系数、当前时刻对应的观测指标值、前一估计值以及当前预测值计算得到当前估计值。
终端根据以下公式计算得到增益系数:
其中,R为测量噪声所对应的协方差矩阵,其中过程噪声和测量噪声均为高斯噪声。
终端根据以下公式计算得到当前时刻的估计值,
其中,为当前估计值,zk为当前时刻对应的观测指标值,x′k-1为前一估计值,为当前预测值。
S308:根据增益系数以及当前预测精度得到当前估计精度。
终端根据以下公式计算得到当前估计精度:
S310:将当前估计值作为前一估计值,当前估计精度作为前一估计精度,并继续根据前一估计值计算得到当前时刻对应的当前预测值,并根据前一估计精度计算得到当前预测精度,直至综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据。
这样终端可以将当前估计值和当前估计精度作为前一估计值和前一估计精度,从而继续上述步骤以进行循环,这样根据k-1时刻的后验估计值来估计当前k时刻的状态,得到k时刻的先验估计值,然后使用当前时刻的测量值来更正预测阶段估计值,得到当前时刻k的后验估计值,循环更新,以得到当前周期内各个时刻对应的后验估计值,即目标数据,这样实现对综合数据的平滑处理。
上述实施例中,根据观测值来进行最优估计得到估计值,这样可以去除掉噪声数据,对观测值进行平滑处理,从而得到真实的数据。
在其中一个实施例中,通过预先训练得到的滤波模型,对每一预设指标对应的初始指标值进行滤波处理以得到待处理数据包括:获取各个预设指标类型对应的滤波模型;将每一预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过滤波模型根据初始指标值的趋势和变化量对初始指标值进行滤波处理。
具体地,在该实施例中每个预设指标类型均对应有滤波模型,这样终端在得到初始指标值后,按照类型将初始指标值输入至对应的滤波模型中,从而滤波模型学习初始指标值的趋势和变化量,也即根据输入的按照时间排序的指标值得到指标序列的趋势和变化量,进而根据该趋势和变化量来进行滤波处理。
可选地,终端可以并行对每个预设指标类型对应的初始指标值进行处理,例如终端可以调用滤波服务,以将所得到的初始指标值分别发送给不同的滤波服务,从而该些服务并行对初始指标值进行处理以达到提高处理效率的效果。
在其中一个实施例中,将每一预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过滤波模型根据初始指标值的趋势和变化量对初始指标值进行滤波处理,包括:对初始指标值进行去中心化;计算去中心化后的初始指标值的协方差矩阵;对协方差矩阵进行特征分解;获取满足要求的特征值;根据满足要求的特征值对初始指标值滤波得到待处理数据。
具体地,以其中一个初始指标值为例以说明滤波过程,终端将该初始指标值的d维特征映射到d’维上(d’<d),根据该d’维的特征进行滤波处理。
其中假设初始指标值为D={x_1,x_2,...x_m};低维空间维数d’。
然后终端对所有初始指标值进行中心化:这样在计算去中心化后的样本的协方差矩阵XXT,终端对协方差矩阵XXT做特征值分解,取最大的d’个特征值所对应的特征向量。
这样终端根据该d’个特征值对初始指标进行滤波处理得到待处理数据。其中,终端先根据d′个特征值得到投影矩阵W=(w1,w2,...wd′),然后根据以下公式对初始指标值进行滤波处理:
上述实施例中,先根据初始指标值得到特征向量,然后再根据该特征向量来进行滤波。
在其中一个实施例中,对综合数据进行平滑处理得到目标数据之后,还包括:根据目标数据绘制折线图;根据待处理数据中每个预设指标的值在每一时刻进行累加绘制得到堆叠柱状图,且每一时刻对应的每个预设指标的柱长用于表征预设指标在时刻的贡献度。
具体地,结合图4所示:终端根据目标数据绘制折线图,该折线图表示了市场情绪随时间的变化。而对于待处理数据,则在每一个时刻进行累加得到堆叠柱状图,且每个柱状图的柱长用于表征预设指标类型在该时刻的贡献度。其中如下图所示,不同的预设指标类型的可以通过不同的延时来进行标识,且当指标的变化代表积极的市场情绪时,其贡献为正,反之为负。
上述实施例中,通过单一的合成指标科学地描述其成分指标的综合趋势,还可以对对各成分的影响和贡献进行量化和分解,更加直观,智能化水平提高。
需要强调的是,为进一步保证上述实时运行数据、历史数据、初始指标值、滤波模型、综合数据以及目标数据的私密和安全性,上述实时运行数据、历史数据、初始指标值、滤波模型、综合数据以及目标数据还可以存储于一区块链的节点中。
应该理解的是,虽然图2和图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2和图3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种基于无监督学习的实时运行数据处理装置,包括:运行数据获取模块100、历史数据获取模块200、排序模块300、滤波模块400、合成模块500和平滑模块600,其中:
运行数据获取模块100,用于获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;
历史数据获取模块200,用于根据当前周期获取对应每个预设指标类型的历史数据;
排序模块300,用于将对应的预设指标类型的当前指标值和历史数据按照时间进行排序,得到当前周期对应的初始指标值;
滤波模块400,用于通过预先训练得到的滤波模型,对每一预设指标对应的初始指标值进行滤波处理以得到待处理数据;滤波模型是通过无监督学习训练得到的;
合成模块500,用于将各预设指标对应的待处理数据进行合成得到综合数据;
平滑模块600,用于对综合数据进行平滑处理得到目标数据。
在其中一个实施例中,综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;平滑模块600包括:
初值获取单元,用于获取初始观测指标值作为前一时刻对应的前一估计值,并指定前一估计值对应的前一估计精度;
预测单元,用于根据前一估计值计算得到当前时刻对应的当前预测值,并根据前一估计精度计算得到当前预测精度;
估计值计算单元,用于根据当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据增益系数、当前时刻对应的观测指标值、前一估计值以及当前预测值计算得到当前估计值;
估计精度计算单元,用于根据增益系数以及当前预测精度得到当前估计精度;
循环单元,用于将当前估计值作为前一估计值,当前估计精度作为前一估计精度,并继续根据前一估计值计算得到当前时刻对应的当前预测值,并根据前一估计精度计算得到当前预测精度,直至综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据。
在其中一个实施例中,滤波模块400包括:
模型获取单元,用于获取各个预设指标类型对应的滤波模型;
第一滤波单元,用于将每一预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过滤波模型根据初始指标值的趋势和变化量对初始指标值进行滤波处理。
在其中一个实施例中,上述滤波模块400包括:
去中心化单元,用于对初始指标值进行去中心化;
协方差矩阵计算单元,用于计算去中心化后的初始指标值的协方差矩阵;
特征分解单元,用于对协方差矩阵进行特征分解;
特征值获取单元,用于获取满足要求的特征值;
第二滤波单元,用于根据满足要求的特征值对初始指标值滤波得到待处理数据。
在其中一个实施例中,基于无监督学习的实时运行数据处理装置还包括:
绘制模块,用于根据目标数据绘制折线图;
贡献度输出模块,用于根据待处理数据中每个预设指标的值在每一时刻进行累加绘制得到堆叠柱状图,且每一时刻对应的每个预设指标的柱长用于表征预设指标在时刻的贡献度。
关于基于无监督学习的实时运行数据处理装置的具体限定可以参见上文中对于基于无监督学习的实时运行数据处理方法的限定,在此不再赘述。上述基于无监督学习的实时运行数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于无监督学习的实时运行数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;根据当前周期获取对应每个预设指标类型的历史数据;将对应的预设指标类型的当前指标值和历史数据按照时间进行排序,得到当前周期对应的初始指标值;通过预先训练得到的滤波模型,对每一预设指标对应的初始指标值进行滤波处理以得到待处理数据;滤波模型是通过无监督学习训练得到的;将各预设指标对应的待处理数据进行合成得到综合数据;对综合数据进行平滑处理得到目标数据。
在一个实施例中,处理器执行计算机程序时所涉及的综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;处理器执行计算机程序时所实现的对综合数据进行平滑处理得到目标数据,包括:获取初始观测指标值作为前一时刻对应的前一估计值,并指定前一估计值对应的前一估计精度;根据前一估计值计算得到当前时刻对应的当前预测值,并根据前一估计精度计算得到当前预测精度;根据当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据增益系数、当前时刻对应的观测指标值、前一估计值以及当前预测值计算得到当前估计值;根据增益系数以及当前预测精度得到当前估计精度;将当前估计值作为前一估计值,当前估计精度作为前一估计精度,并继续根据前一估计值计算得到当前时刻对应的当前预测值,并根据前一估计精度计算得到当前预测精度,直至综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据。
在一个实施例中,处理器执行计算机程序时所实现的通过预先训练得到的滤波模型,对每一预设指标对应的初始指标值进行滤波处理以得到待处理数据包括:获取各个预设指标类型对应的滤波模型;将每一预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过滤波模型根据初始指标值的趋势和变化量对初始指标值进行滤波处理。
在一个实施例中,处理器执行计算机程序时所实现的将每一预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过滤波模型根据初始指标值的趋势和变化量对初始指标值进行滤波处理,包括:对初始指标值进行去中心化;计算去中心化后的初始指标值的协方差矩阵;对协方差矩阵进行特征分解;获取满足要求的特征值;根据满足要求的特征值对初始指标值滤波得到待处理数据。
在一个实施例中,处理器执行计算机程序时所实现的对综合数据进行平滑处理得到目标数据之后,还包括:根据目标数据绘制折线图;根据待处理数据中每个预设指标的值在每一时刻进行累加绘制得到堆叠柱状图,且每一时刻对应的每个预设指标的柱长用于表征预设指标在时刻的贡献度。
在一个实施例中,提供了一种计算机存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;根据当前周期获取对应每个预设指标类型的历史数据;将对应的预设指标类型的当前指标值和历史数据按照时间进行排序,得到当前周期对应的初始指标值;通过预先训练得到的滤波模型,对每一预设指标对应的初始指标值进行滤波处理以得到待处理数据;滤波模型是通过无监督学习训练得到的;将各预设指标对应的待处理数据进行合成得到综合数据;对综合数据进行平滑处理得到目标数据。
在一个实施例中,计算机程序被处理器执行时所涉及的综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;计算机程序被处理器执行时所实现的对综合数据进行平滑处理得到目标数据,包括:获取初始观测指标值作为前一时刻对应的前一估计值,并指定前一估计值对应的前一估计精度;根据前一估计值计算得到当前时刻对应的当前预测值,并根据前一估计精度计算得到当前预测精度;根据当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据增益系数、当前时刻对应的观测指标值、前一估计值以及当前预测值计算得到当前估计值;根据增益系数以及当前预测精度得到当前估计精度;将当前估计值作为前一估计值,当前估计精度作为前一估计精度,并继续根据前一估计值计算得到当前时刻对应的当前预测值,并根据前一估计精度计算得到当前预测精度,直至综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据。
在一个实施例中,计算机程序被处理器执行时所实现的通过预先训练得到的滤波模型,对每一预设指标对应的初始指标值进行滤波处理以得到待处理数据包括:获取各个预设指标类型对应的滤波模型;将每一预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过滤波模型根据初始指标值的趋势和变化量对初始指标值进行滤波处理。
在一个实施例中,计算机程序被处理器执行时所实现的将每一预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过滤波模型根据初始指标值的趋势和变化量对初始指标值进行滤波处理,包括:对初始指标值进行去中心化;计算去中心化后的初始指标值的协方差矩阵;对协方差矩阵进行特征分解;获取满足要求的特征值;根据满足要求的特征值对初始指标值滤波得到待处理数据。
在一个实施例中,计算机程序被处理器执行时所实现的对综合数据进行平滑处理得到目标数据之后,还包括:根据目标数据绘制折线图;根据待处理数据中每个预设指标的值在每一时刻进行累加绘制得到堆叠柱状图,且每一时刻对应的每个预设指标的柱长用于表征预设指标在时刻的贡献度。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于无监督学习的实时运行数据处理方法,所述方法包括:
获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;
根据当前周期获取对应每个预设指标类型的历史数据;
将对应的所述预设指标类型的所述当前指标值和所述历史数据按照时间进行排序,得到所述当前周期对应的初始指标值;
通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据;所述滤波模型是通过无监督学习训练得到的;
将各所述预设指标对应的所述待处理数据进行合成得到综合数据;
对所述综合数据进行平滑处理得到目标数据;
所述综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;所述对所述综合数据进行平滑处理得到目标数据,包括:
获取初始观测指标值作为前一时刻对应的前一估计值,并指定所述前一估计值对应的前一估计精度;
根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度;
根据所述当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据所述增益系数、所述当前时刻对应的观测指标值、所述前一估计值以及所述当前预测值计算得到当前估计值;
根据所述增益系数以及所述当前预测精度得到当前估计精度;
将所述当前估计值作为前一估计值,所述当前估计精度作为前一估计精度,并继续根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度,直至所述综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据;
所述通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据包括:
获取各个所述预设指标类型对应的滤波模型;
将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理;
所述将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理,包括:
对所述初始指标值进行去中心化;
计算去中心化后的初始指标值的协方差矩阵;
对所述协方差矩阵进行特征分解;
获取满足要求的特征值;
根据满足要求的特征值对所述初始指标值滤波得到待处理数据。
2.根据权利要求1所述的方法,其特征在于,所述对所述综合数据进行平滑处理得到目标数据之后,还包括:
根据所述目标数据绘制折线图;
根据所述待处理数据中每个所述预设指标的值在每一时刻进行累加绘制得到堆叠柱状图,且每一时刻对应的每个所述预设指标的柱长用于表征所述预设指标在所述时刻的贡献度。
3.一种基于无监督学习的实时运行数据处理装置,其特征在于,所述装置包括:
运行数据获取模块,用于获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;
历史数据获取模块,用于根据当前周期获取对应每个预设指标类型的历史数据;
排序模块,用于将对应的所述预设指标类型的所述当前指标值和所述历史数据按照时间进行排序,得到所述当前周期对应的初始指标值;
滤波模块,用于通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据;所述滤波模型是通过无监督学习训练得到的;
合成模块,用于将各所述预设指标对应的所述待处理数据进行合成得到综合数据;
平滑模块,用于对所述综合数据进行平滑处理得到目标数据;
所述综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;所述平滑模块包括:
初值获取单元,用于获取初始观测指标值作为前一时刻对应的前一估计值,并指定所述前一估计值对应的前一估计精度;
预测单元,用于根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度;
估计值计算单元,用于根据所述当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据所述增益系数、所述当前时刻对应的观测指标值、所述前一估计值以及所述当前预测值计算得到当前估计值;
估计精度计算单元,用于根据所述增益系数以及所述当前预测精度得到当前估计精度;
循环单元,用于将所述当前估计值作为前一估计值,所述当前估计精度作为前一估计精度,并继续根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度,直至所述综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据;
所述滤波模块包括:
模型获取单元,用于获取各个所述预设指标类型对应的滤波模型;
第一滤波单元,用于将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理;
所述滤波模块包括:
去中心化单元,用于对所述初始指标值进行去中心化;
协方差矩阵计算单元,用于计算去中心化后的初始指标值的协方差矩阵;
特征分解单元,用于对所述协方差矩阵进行特征分解;
特征值获取单元,用于获取满足要求的特征值;
第二滤波单元,用于根据满足要求的特征值对所述初始指标值滤波得到待处理数据。
4.根据权利要求3所述的装置,其特征在于,所述装置还包括:
绘制模块,用于根据所述目标数据绘制折线图;
贡献度输出模块,用于根据所述待处理数据中每个所述预设指标的值在每一时刻进行累加绘制得到堆叠柱状图,且每一时刻对应的每个所述预设指标的柱长用于表征所述预设指标在所述时刻的贡献度。
5.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现以下步骤:
获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;
根据当前周期获取对应每个预设指标类型的历史数据;
将对应的所述预设指标类型的所述当前指标值和所述历史数据按照时间进行排序,得到所述当前周期对应的初始指标值;
通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据;所述滤波模型是通过无监督学习训练得到的;
将各所述预设指标对应的所述待处理数据进行合成得到综合数据;
对所述综合数据进行平滑处理得到目标数据;
所述综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;所述对所述综合数据进行平滑处理得到目标数据,包括:
获取初始观测指标值作为前一时刻对应的前一估计值,并指定所述前一估计值对应的前一估计精度;
根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度;
根据所述当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据所述增益系数、所述当前时刻对应的观测指标值、所述前一估计值以及所述当前预测值计算得到当前估计值;
根据所述增益系数以及所述当前预测精度得到当前估计精度;
将所述当前估计值作为前一估计值,所述当前估计精度作为前一估计精度,并继续根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度,直至所述综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据;
所述通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据包括:
获取各个所述预设指标类型对应的滤波模型;
将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理;
所述将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理,包括:
对所述初始指标值进行去中心化;
计算去中心化后的初始指标值的协方差矩阵;
对所述协方差矩阵进行特征分解;
获取满足要求的特征值;
根据满足要求的特征值对所述初始指标值滤波得到待处理数据。
6.根据权利要求5所述的计算机设备,其特征在于,所述处理器执行所述计算机程序时所实现的所述对所述综合数据进行平滑处理得到目标数据之后,还包括:
根据所述目标数据绘制折线图;
根据所述待处理数据中每个所述预设指标的值在每一时刻进行累加绘制得到堆叠柱状图,且每一时刻对应的每个所述预设指标的柱长用于表征所述预设指标在所述时刻的贡献度。
7.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现以下步骤:
获取实时运行数据,并根据实时运行数据计算对应时刻的每个预设指标类型对应的当前指标值;
根据当前周期获取对应每个预设指标类型的历史数据;
将对应的所述预设指标类型的所述当前指标值和所述历史数据按照时间进行排序,得到所述当前周期对应的初始指标值;
通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据;所述滤波模型是通过无监督学习训练得到的;
将各所述预设指标对应的所述待处理数据进行合成得到综合数据;
对所述综合数据进行平滑处理得到目标数据;
所述综合数据包括时间序列以及对应时间序列上的时刻的观测指标值;所述对所述综合数据进行平滑处理得到目标数据,包括:
获取初始观测指标值作为前一时刻对应的前一估计值,并指定所述前一估计值对应的前一估计精度;
根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度;
根据所述当前预测精度计算得到增益系数,获取当前时刻对应的观测指标值,根据所述增益系数、所述当前时刻对应的观测指标值、所述前一估计值以及所述当前预测值计算得到当前估计值;
根据所述增益系数以及所述当前预测精度得到当前估计精度;
将所述当前估计值作为前一估计值,所述当前估计精度作为前一估计精度,并继续根据所述前一估计值计算得到当前时刻对应的当前预测值,并根据所述前一估计精度计算得到当前预测精度,直至所述综合数据处理完成时,输出所得到的每个时刻上的估计值作为目标数据;
所述通过预先训练得到的滤波模型,对每一所述预设指标对应的初始指标值进行滤波处理以得到待处理数据包括:
获取各个所述预设指标类型对应的滤波模型;
将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理;
所述将每一所述预设指标类型对应的初始指标值输入至对应的滤波模型中,以通过所述滤波模型根据所述初始指标值的趋势和变化量对所述初始指标值进行滤波处理,包括:
对所述初始指标值进行去中心化;
计算去中心化后的初始指标值的协方差矩阵;
对所述协方差矩阵进行特征分解;
获取满足要求的特征值;
根据满足要求的特征值对所述初始指标值滤波得到待处理数据。
8.根据权利要求7所述的计算机存储介质,其特征在于,所述计算机程序被处理器执行时所实现的所述对所述综合数据进行平滑处理得到目标数据之后,还包括:
根据所述目标数据绘制折线图;
根据所述待处理数据中每个所述预设指标的值在每一时刻进行累加绘制得到堆叠柱状图,且每一时刻对应的每个所述预设指标的柱长用于表征所述预设指标在所述时刻的贡献度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110731411.8A CN113420876B (zh) | 2021-06-29 | 2021-06-29 | 基于无监督学习的实时运行数据处理方法、装置、设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110731411.8A CN113420876B (zh) | 2021-06-29 | 2021-06-29 | 基于无监督学习的实时运行数据处理方法、装置、设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113420876A CN113420876A (zh) | 2021-09-21 |
CN113420876B true CN113420876B (zh) | 2023-10-27 |
Family
ID=77717248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110731411.8A Active CN113420876B (zh) | 2021-06-29 | 2021-06-29 | 基于无监督学习的实时运行数据处理方法、装置、设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113420876B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114416814B (zh) * | 2021-12-14 | 2024-09-27 | 中国安全生产科学研究院 | 一种数据处理的方法、装置、电子设备和存储介质 |
CN116499529B (zh) * | 2023-06-25 | 2023-09-22 | 北京电科智芯科技有限公司 | 设备运行状态监测方法、装置、管理终端和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3223227A1 (en) * | 2016-03-22 | 2017-09-27 | Zharko Asenov | System and method for predicting financial and / or market data |
CN109726735A (zh) * | 2018-11-27 | 2019-05-07 | 南京邮电大学 | 一种基于K-means聚类和随机森林算法的移动应用程序识别方法 |
CN111723870A (zh) * | 2020-06-22 | 2020-09-29 | 中国平安人寿保险股份有限公司 | 基于人工智能的数据集获取方法、装置、设备和介质 |
CN112508308A (zh) * | 2020-12-29 | 2021-03-16 | 易方达基金管理有限公司 | 一种数据处理方法、装置、设备及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060242706A1 (en) * | 2005-03-11 | 2006-10-26 | Ross Robert B | Methods and systems for evaluating and generating anomaly detectors |
US20170286856A1 (en) * | 2016-04-05 | 2017-10-05 | Omni Al, Inc. | Trend analysis for a neuro-linguistic behavior recognition system |
-
2021
- 2021-06-29 CN CN202110731411.8A patent/CN113420876B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3223227A1 (en) * | 2016-03-22 | 2017-09-27 | Zharko Asenov | System and method for predicting financial and / or market data |
CN109726735A (zh) * | 2018-11-27 | 2019-05-07 | 南京邮电大学 | 一种基于K-means聚类和随机森林算法的移动应用程序识别方法 |
CN111723870A (zh) * | 2020-06-22 | 2020-09-29 | 中国平安人寿保险股份有限公司 | 基于人工智能的数据集获取方法、装置、设备和介质 |
CN112508308A (zh) * | 2020-12-29 | 2021-03-16 | 易方达基金管理有限公司 | 一种数据处理方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113420876A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113420876B (zh) | 基于无监督学习的实时运行数据处理方法、装置、设备 | |
CN112749723B (zh) | 样本标注方法、装置、计算机设备和存储介质 | |
CN110147502B (zh) | 基于大数据分析的产品推荐方法、装置、介质及服务器 | |
CN112182243B (zh) | 基于实体识别模型构建知识图谱的方法、终端及存储介质 | |
Shiono | Estimation of agent-based models using Bayesian deep learning approach of BayesFlow | |
CN115099326A (zh) | 基于人工智能的行为预测方法、装置、设备及存储介质 | |
Hozman et al. | A discontinuous Galerkin method for numerical pricing of European options under Heston stochastic volatility | |
CN110807693A (zh) | 专辑的推荐方法、装置、设备和存储介质 | |
Limmer et al. | Robust Hedging GANs | |
Zhao et al. | An efficient algorithm for the valuation of a guaranteed annuity option with correlated financial and mortality risks | |
US20220383110A1 (en) | System and method for machine learning architecture with invertible neural networks | |
CN113722437B (zh) | 基于人工智能的用户标签识别方法、装置、设备及介质 | |
Su et al. | Deep learning of transition probability densities for stochastic asset models with applications in option pricing | |
CN114565470A (zh) | 基于人工智能的金融产品推荐方法、及其相关设备 | |
CN114219184A (zh) | 产品交易数据预测方法、装置、设备、介质和程序产品 | |
Bakery et al. | A new double truncated generalized gamma model with some applications | |
Belomestny et al. | Optimal stopping via deeply boosted backward regression | |
CN115689648B (zh) | 应用于定向投放的用户信息处理方法及系统 | |
Zhu | Advanced Monte Carlo methods for pricing Bermudan options and their applications in real options analysis | |
Ding et al. | Full-information Bayesian estimation of cross-sectional sample selection models | |
Kolawole | Pricing European Put Option in a Geometric Brownian Motion Stochastic Volatility Model | |
Akpabio et al. | On Uses of Noise Analysis for the Uncertainty Quantification of Line Edge Roughness Estimation | |
ADRIKO DEBO et al. | Predicting Implicit Patterns and Optimizing Market Entry and Exit Decisions in Stock Prices using integrated Bayesian CNN-LSTM with Deep Q-Learning as a Meta-Labeller | |
Nteumagn et al. | Symmetry Analysis of Options Pricing with Transactions Costs Driven by Fractional Brownian Noises | |
Ayu | Long Short Term Memory (LSTM) Algorithm for Artificial Intelligence-Based Bitcoin Price Index Prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |