CN108549709B - 区块链内外多源异构数据基于广度学习算法的融合方法 - Google Patents
区块链内外多源异构数据基于广度学习算法的融合方法 Download PDFInfo
- Publication number
- CN108549709B CN108549709B CN201810357191.5A CN201810357191A CN108549709B CN 108549709 B CN108549709 B CN 108549709B CN 201810357191 A CN201810357191 A CN 201810357191A CN 108549709 B CN108549709 B CN 108549709B
- Authority
- CN
- China
- Prior art keywords
- data
- visual angle
- vector
- formula
- block chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种区块链内外多源异构数据基于广度学习算法的融合方法,应用机器学习中的广度学习来进行区块链内外关联数据的知识融合。通过将多种数据源融合进一个模型进行挖掘,首先定义并获取有用的数据源,其次设计一种模型来将异质数据源信息融合起来,最后基于模型整体的需求从各种数据源中深度挖掘信息。
Description
技术领域
本发明涉及一种区块链内外多源异构数据基于广度学习算法的融合方法。
背景技术
在已经来临的信息化时代,进入人们视野的信息越来越多,来源越来越多,相关的信息复杂度也越来越大。因此,在信息处理中心,已经绝对不允许多源的观测信息仅仅是持续的简单的堆积,需要对其进行有效的融合处理。而信息表现表现形式的多样性,信息容量以及信息的处理速度等,都已经远远超出了以往系统的处理能力,需要有信息融合技术的更新换代。
目前,区块链的产业应用已经从1.0时代的数字货币应用(例如,比特币),进化到2.0时代的智能合约应用(例如,跨境支付、证券发行与交易、数字资产管理等)。随着研究的深入及数据的多元化呈现,区块链技术正在向3.0时代的各行各业迈进(例如,数据追踪、防伪溯源、身份认证、知识产权保护、能源管理等领域)。那么随着越来越多的区块链技术的成熟和应用的落地,在区块链技术领域的数据的积累也势必将越来越多。这就催促着人们能够有效地对区块链中的数据进行分析与处理。
区块链主要涉及三类数据:链内区块数据、链外关联数据、链间迁移数据。
链内区块数据记录着整个区块链的所有交易;链外关联数据是链内区块数据的外部关联与补充;链间迁移数据是不同区块链间的流通数据。基于这三类数据开展数据建模、学习与融合研究,有助于分析区块链系统各核心要素的行为特征,预测演化规律和相互作用关系。
现有研究者已围绕区块链环境下的数据融合这一崭新领域展开了一定的调研与探索,但并不成熟,缺乏一个以机器学习理论为工具支撑的解决方案,总体研究尚处于起步阶段,没有形成较为完善的特征学习理论体系。
发明内容
有鉴于此,本发明的目的在于提供一种区块链内外多源异构数据基于广度学习算法的融合方法,用于区块链内外多源异构数据的趋势预测。
为实现上述目的,本发明采用如下技术方案:
一种区块链内外多源异构数据基于广度学习算法的融合方法,其特征在于:
步骤S1:将多种类型的数据包括用户视角的数据和行为视角的数据,映射到高维非线性的潜在空间中的多源数据;
步骤S2:使用词嵌入技术将多源数据转化为低维空间中的向量,得到多源数据简单的,初步的分布式表示Xp和Xu,Xp和Xu分别为行为视角的数据分布式表示和用户视角的数据分布式表示,将其作为卷积神经网络模型的输入;
步骤S3:将Xp和Xu通过卷积神经网络模型进行卷积操作,得到卷积操作提取的用户视角抽象特征cu和行为视角抽象特征cp;
步骤S4:对于行为视角抽象特征cp,继续作为LSTM模块的输入,可以得到LSTM模块的最后时刻隐藏层输出ht,并将最后时刻隐藏的输出ht作为行为视角的最终特征。
步骤S5:通过趋势预测层联合优化用户视角抽象特征cu和行为视角的最终特征ht,并预设整个模型架构的最小化误差值,且误差值公式为:
其中nsamples表示n个样本,nlabels表示n个标签,是数据的真实趋势,Lij={(k,l):fik<fij,yik=1,yil=0},是分类器的预测趋势,若ranking(y,f)小于预设的最小化误差值,则说明本模型得到的分类器的预测趋势与数据的真实趋势满足数据趋势预测的要求。
进一步的,所述步骤S2使用词嵌入技术将多源数据转化为低维空间中的向量,具体为:
假定向量维度为d,行为视角的评论句子的长度为lp,用户视角的评论句子的长度为lu,则行为视角的数据分布式表示为:
用户视角的数据分布式表示为:
且其中,R表示向量空间,和分别是Xp和Xu的第i个位置的词向量;
进一步的,所述卷积操作得到用户视角抽象特征cu具体包括:
假定数据分布表达式中的第i到j个词向量拼接为
对拼接的词向量xij进行卷积操作,公式为:
得到对应数据分布表达式的抽象特征:
其中,h为卷积核的长度,W∈Rh*d为卷积核的权重矩阵,L为一条评论的长度,b∈Rd为偏置项。
进一步的,所述卷积操作得到行为视角抽象特征cp具体包括:
假定数据分布表达式中的第i到j个词向量拼接为
对拼接的词向量xij进行卷积操作,公式为:
得到对应数据分布表达式的抽象特征:
其中,h为卷积核的长度,W∈Rh*d为卷积核的权重矩阵,L为一条评论的长度,b∈Rd为偏置项。
进一步的,所述步骤S4具体为:
LSTM能学习到文本的语义序列特征,这是因为它以指定的周期循环地执行cell块,每个cell块依赖于前一个时刻隐藏层的输出ht-1和当前时刻的输入xt;每个cell块包含三个门限:遗忘门ft,输入门it,输出门ot,其公式分别为:
it=δ(Wf·[ht-1,xt]+bf) (6)
ft=δ(Wi·[ht-1,xt]+bi) (7)
ot=δ(Wo·[ht-1,xt]+bo) (8)
其中δ表示激活函Wf,Wi,Wo分别是遗忘门ft,输入门it,输出门ot的权重参数,bf,bi,bo分别是遗忘门,输入门,输出门的偏置项;
根据遗忘门ft,输入门it,可以得到当前时刻遗忘门的临时状态Ct为:
Ct和Ct-1分别为当前时刻和上一时刻遗忘门的临时状态
根据当前时刻遗忘门的临时状态Ct,可以得到LSTM模块的最后时刻隐藏层输出ht为:
ht=ot*tanh(Ct) (11)
并将最后时刻隐藏的输出ht作为行为视角的最终特征。
步骤S5:通过趋势预测层联合优化用户视角抽象特征cu和行为视角的最终特征ht,并预设整个模型架构的最小化误差值,且误差值公式为:
其中nsamples表示n个样本,nlabels表示n个标签,是数据的真实趋势,Lij={(k,l):fik<fij,yik=1,yil=0},是分类器的预测趋势,若ranking(y,f)小于预设的最小化误差值,则说明本模型得到的分类器的预测趋势与数据的真实趋势满足数据趋势预测的要求。
本发明与现有技术相比具有以下有益效果:
本发明是区块链内外多源异构数据基于广度学习算法的融合方法。面向区块链环境下的数据融合领域,借助机器学习理论,链内与链外关联数据的融合理论与关键方法,具有重要的学术与应用价值。
附图说明
图1是本发明模型图
图2是本发明整体架构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1,本发明提供一种区块链内外多源异构数据基于广度学习算法的融合方法,其特征在于:
步骤S1:将多种类型的数据包括用户视角的数据和行为视角的数据,映射到高维非线性的潜在空间中的多源数据;
步骤S2:使用词嵌入技术将多源数据转化为低维空间中的向量,得到多源数据简单的,初步的分布式表示Xp和Xu,Xp和Xu分别为行为视角的数据分布式表示和用户视角的数据分布式表示,将其作为卷积神经网络模型的输入;
步骤S3:将Xp和Xu通过卷积神经网络模型进行卷积操作,得到卷积操作提取的用户视角抽象特征cu和行为视角抽象特征cp;
步骤S4:对于行为视角抽象特征cp,继续作为LSTM模块的输入,可以得到LSTM模块的最后时刻隐藏层输出ht,并将最后时刻隐藏的输出ht作为行为视角的最终特征。
步骤S5:通过趋势预测层联合优化用户视角抽象特征cu和行为视角的最终特征ht,并设定整个模型架构的目的为最小化误差。
在本发明一实施例中,进一步的,所述步骤S2使用词嵌入技术将多源数据转化为低维空间中的向量,具体为:
假定向量维度为d,行为视角的评论句子的长度为lp,用户视角的评论句子的长度为lu,则行为视角的数据分布式表示为:
用户视角的数据分布式表示为:
且其中,R表示向量空间,和分别是Xp和Xu的第i个位置的词向量;
在本发明一实施例中,进一步的,所述卷积操作具体包括:
假定数据分布表达式中的第i到j个词向量拼接为xij,则:
ci=f(W*Xij+b)ci (4)
c=[c1,c2,...,cL-b+1] (5)
其中,h为卷积核的长度,W∈Rh*d为卷积核的权重矩阵,L为一条评论的长度,b∈Rd为偏置项。
在本发明一实施例中,进一步的,所述步骤S4具体为:
LSTM能学习到文本的语义序列特征,这是因为它以指定的周期循环地执行cell块,每个cell块依赖于前一个时刻隐藏层的输出ht-1和当前时刻的输入xt;每个cell块包含三个门限:遗忘门ft,输入门it,输出门ot;具体的计算过程如下公式所示:
it=δ(Wf·[ht-1,xt]+bf) (6)
ft=δ(Wi·[ht-1,xt]+bi) (7)
ot=δ(Wo·[ht-1,xt]+bo) (10)
ht=ot*tanh(Ct) (11)
δ表示激活函其中Wf,Wi,Wo分别是遗忘门ft,输入门it,输出门ot的权重参数,bf,bi,bo分别是遗忘门,输入门,输出门的偏置项,Ct和Ct-1分别为当前时刻和上一时刻遗忘门的临时状态。每个门限采用sigmoid函数将各自的值处理成[0,1]内的概率值。cell块将遗忘门和前一时刻的状态Ct-1相乘,目的在于以一定概率丢弃旧状态中无用的信息,仅保留重要的信息以便后续的传递。则是根据之前的输入ht-1和当前的输入xt并结合tanh函数计算出的当前时刻t的临时状态,因此将和输入门xt相乘能够提取其中的重要信息。在此基础上,根据公式(9)可计算出当前时刻t的状态Ct,最终将其用tanh函数进行非线性变换后再乘上输出门即可得到当前时刻的输出ht。我们取LSTM的最后时刻的输出ht作为POI视角对应评论的最终特征。
在本发明一实施例中,进一步的,所述设定定整个模型架构的目的为最小化误差,
如下公式所示:
其中nsamples表示n个样本,nlabels表示n个标签,是数据的真实标签,Lij={(k,l):fik<fij,yik=1,yil=0},是分类器的预测情况。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (5)
1.一种区块链内外多源异构数据基于广度学习算法的融合方法,其特征在于:
步骤S1:将多种类型的数据包括用户视角的数据和行为视角的数据,映射到高维非线性的潜在空间中的多源数据;
步骤S2:使用词嵌入技术将多源数据转化为低维空间中的向量,得到多源数据简单的,初步的分布式表示Xp和Xu,Xp和Xu分别为行为视角的数据分布式表示和用户视角的数据分布式表示,将其作为卷积神经网络模型的输入;
步骤S3:将Xp和Xu通过卷积神经网络模型进行卷积操作,得到卷积操作提取的用户视角抽象特征cu和行为视角抽象特征cp;
步骤S4:对于行为视角抽象特征cp,继续作为LSTM模块的输入,可以得到LSTM模块的最后时刻隐藏层输出ht,并将最后时刻隐藏的输出ht作为行为视角的最终特征;
步骤S5:通过趋势预测层联合优化用户视角抽象特征cu和行为视角的最终特征ht,并预设整个模型架构的最小化误差值,且误差值公式为:
其中nsamples表示n个样本,nlabels表示n个标签,是数据的真实趋势,Lij={(k,l):fik<fij,yik=1,yil=0},Lij表示第i个样本对应第j个标签的预测误差值,其中(k,l)是行向量,表示第k个预测标签与第l个实际标签的误差值;fik<fij表示第i个样本对应的第k个标签的预测值小于第i个样本对应的第j个标签的预测值,即表示预测错误;yik表示第i个样本对应的第k个标签的真实值,yil表示第i个样本对应的第l个标签的真实值;是分类器的预测趋势,若ranking(y,f)小于预设的最小化误差值,则说明本模型得到的分类器的预测趋势满足预设的数据趋势预测的要求。
2.根据权利要求1所述的一种区块链内外多源异构数据基于广度学习算法的融合方法,其特征在于:所述步骤S2使用词嵌入技术将多源数据转化为低维空间中的向量,具体为:
假定向量维度为d,行为视角的评论句子的长度为lp,用户视角的评论句子的长度为lu,则行为视角的数据分布式表示为:
用户视角的数据分布式表示为:
且其中,R表示向量空间,和分别是Xp和Xu的第i个位置的词向量。
3.根据权利要求2所述的一种区块链内外多源异构数据基于广度学习算法的融合方法,其特征在于:所述卷积操作得到用户视角抽象特征cu具体包括:
假定数据分布表达式中的第i到j个词向量拼接为
对拼接的词向量xij进行卷积操作,公式为:
得到对应数据分布表达式的抽象特征:
其中,h为卷积核的长度,W∈Rh*d为卷积核的权重矩阵,L为一条评论的长度,b∈Rd为偏置项。
4.根据权利要求2所述的一种区块链内外多源异构数据基于广度学习算法的融合方法,其特征在于:所述卷积操作得到行为视角抽象特征cp具体包括:
假定数据分布表达式中的第i到j个词向量拼接为
对拼接的词向量xij进行卷积操作,公式为:
得到对应数据分布表达式的抽象特征:
其中,h为卷积核的长度,W∈Rh*d为卷积核的权重矩阵,L为一条评论的长度,b∈Rd为偏置项。
5.根据权利要求1所述的一种区块链内外多源异构数据基于广度学习算法的融合方法,其特征在于:所述步骤S4具体为:
LSTM能学习到文本的语义序列特征,这是因为它以指定的周期循环地执行cell块,每个cell块依赖于前一个时刻隐藏层的输出ht-1和当前时刻的输入xt;每个cell块包含三个门限:遗忘门ft,输入门it,输出门ot,其公式分别为:
it=δ(Wf·[ht-1,xt]+bf) (6)
ft=δ(Wi·[ht-1,xt]+bi) (7)
ot=δ(Wo·[ht-1,xt]+bo) (8)
其中δ表示激活函数,Wf,Wi,Wo分别是遗忘门ft,输入门it,输出门ot的权重参数,bf,bi,bo分别是遗忘门,输入门,输出门的偏置项;WC为候选值向量的权重参数;bC为候选值向量的偏置项;
根据遗忘门ft,输入门it,可以得到当前时刻遗忘门的临时状态Ct为:
Ct和Ct-1分别为当前时刻和上一时刻遗忘门的临时状态
根据当前时刻遗忘门的临时状态Ct,可以得到LSTM模块的最后时刻隐藏层输出ht为:
ht=ot*tanh(Ct) (11)
并将最后时刻隐藏的输出ht作为行为视角的最终特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810357191.5A CN108549709B (zh) | 2018-04-20 | 2018-04-20 | 区块链内外多源异构数据基于广度学习算法的融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810357191.5A CN108549709B (zh) | 2018-04-20 | 2018-04-20 | 区块链内外多源异构数据基于广度学习算法的融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108549709A CN108549709A (zh) | 2018-09-18 |
CN108549709B true CN108549709B (zh) | 2019-02-22 |
Family
ID=63511806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810357191.5A Active CN108549709B (zh) | 2018-04-20 | 2018-04-20 | 区块链内外多源异构数据基于广度学习算法的融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108549709B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376504B (zh) * | 2018-09-26 | 2022-04-12 | 福州大学 | 一种基于区块链技术的图片隐私保护方法 |
CN109587125B (zh) * | 2018-11-23 | 2021-09-14 | 南方电网科学研究院有限责任公司 | 一种网络安全大数据分析方法、系统及相关装置 |
CN110070912B (zh) * | 2019-04-15 | 2023-06-23 | 桂林电子科技大学 | 一种CRISPR/Cas9脱靶效应的预测方法 |
CN110472741B (zh) * | 2019-06-27 | 2022-06-03 | 广东工业大学 | 一种三域模糊小波宽度学习滤波系统及方法 |
CN111324881B (zh) * | 2020-02-20 | 2020-10-30 | 铭数科技(青岛)有限公司 | 一种融合Kerberos认证服务器与区块链的数据安全分享系统及方法 |
CN113742665B (zh) * | 2020-06-05 | 2024-03-26 | 国家计算机网络与信息安全管理中心 | 用户身份识别模型构建、用户身份验证方法及装置 |
CN113268760B (zh) * | 2021-07-19 | 2021-11-02 | 浙江数秦科技有限公司 | 一种基于区块链的分布式数据融合平台 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9946933B2 (en) * | 2016-08-18 | 2018-04-17 | Xerox Corporation | System and method for video classification using a hybrid unsupervised and supervised multi-layer architecture |
CN107197036A (zh) * | 2017-06-22 | 2017-09-22 | 广东网金控股股份有限公司 | 一种基于区块链的信息一致处理方法及终端 |
CN107391623B (zh) * | 2017-07-07 | 2020-03-31 | 中国人民大学 | 一种融合多背景知识的知识图谱嵌入方法 |
CN107688821B (zh) * | 2017-07-11 | 2021-08-06 | 西安电子科技大学 | 基于视觉显著性与语义属性跨模态图像自然语言描述方法 |
CN107357789B (zh) * | 2017-07-14 | 2020-10-02 | 哈尔滨工业大学 | 融合多语编码信息的神经机器翻译方法 |
CN107908927A (zh) * | 2017-10-27 | 2018-04-13 | 福州大学 | 基于改进PSO和ELM的疾病‑lncRNA关系预测方法 |
-
2018
- 2018-04-20 CN CN201810357191.5A patent/CN108549709B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108549709A (zh) | 2018-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108549709B (zh) | 区块链内外多源异构数据基于广度学习算法的融合方法 | |
Baruffaldi et al. | Identifying and measuring developments in artificial intelligence: Making the impossible possible | |
Huynh et al. | A new model for stock price movements prediction using deep neural network | |
Dong et al. | Character-based LSTM-CRF with radical-level features for Chinese named entity recognition | |
Chiarello et al. | Towards ESCO 4.0–Is the European classification of skills in line with Industry 4.0? A text mining approach | |
Soares et al. | Neural network programming with Java | |
Hordri et al. | A systematic literature review on features of deep learning in big data analytics | |
CN107239444A (zh) | 一种融合词性与位置信息的词向量训练方法及系统 | |
CN112084327A (zh) | 在保留语义的同时对稀疏标注的文本文档的分类 | |
Zhao et al. | The study on the text classification for financial news based on partial information | |
CN111222318A (zh) | 基于双通道双向lstm-crf网络的触发词识别方法 | |
Xu et al. | Stock market trend prediction using recurrent convolutional neural networks | |
CN114896386A (zh) | 基于BiLSTM的电影评论语义情感分析方法及系统 | |
Ali et al. | The KEEN universe: An ecosystem for knowledge graph embeddings with a focus on reproducibility and transferability | |
Jamil et al. | Toward intelligent open-ended questions evaluation based on predictive optimization | |
Gaye et al. | Sentiment classification for employees reviews using regression vector-stochastic gradient descent classifier (RV-SGDC) | |
Kumar et al. | Cross-document structural relationship identification using supervised machine learning | |
Rakshit et al. | A supervised deep learning-based sentiment analysis by the implementation of Word2Vec and GloVe Embedding techniques | |
CN112132269B (zh) | 模型处理方法、装置、设备及存储介质 | |
Alturayeif et al. | An automated approach to aspect-based sentiment analysis of apps reviews using machine and deep learning | |
Karatzoglou et al. | Applying depthwise separable and multi-channel convolutional neural networks of varied kernel size on semantic trajectories | |
Qi et al. | Adversarial transfer for classical Chinese NER with translation word segmentation | |
Majeed et al. | Technical Analysis of Data-Centric and Model-Centric Artificial Intelligence | |
Erkartal et al. | Sentiment analysis of Elon Musk’s Twitter data using LSTM and ANFIS-SVM | |
Lai | A comparative study of different neural networks in predicting gross domestic product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |