CN112925826A - 基于区块链技术构建城市智能交通多维大数据平台 - Google Patents

基于区块链技术构建城市智能交通多维大数据平台 Download PDF

Info

Publication number
CN112925826A
CN112925826A CN202110222195.4A CN202110222195A CN112925826A CN 112925826 A CN112925826 A CN 112925826A CN 202110222195 A CN202110222195 A CN 202110222195A CN 112925826 A CN112925826 A CN 112925826A
Authority
CN
China
Prior art keywords
data
block
endorsement
node
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110222195.4A
Other languages
English (en)
Inventor
周洪成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN202110222195.4A priority Critical patent/CN112925826A/zh
Publication of CN112925826A publication Critical patent/CN112925826A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2255Hash tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

基于区块链技术构建城市智能交通多维大数据平台。该方法以区块数据为核心,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。其次,借助数据仓库的统计分析技术多维度多层次地展现数据及发现隐藏在数据背后的规律,可以为决策者提供不同层次的决策支持,充分利用积累的历史数据数据,使用联机分析处理技术汇总和展现一些已有的数据。为决策者提供支持,使用数据挖掘的相关技术分析历史数据,从海量的历史数据中发现具有价值的信息。

Description

基于区块链技术构建城市智能交通多维大数据平台
技术领域
本发明涉及区块链技术和数据仓库的统计分析技术在城市智能交通的运用领域,特别是涉及基于区块链技术构建城市智能交通多维大数据平台。
背景技术
随着现代社会的飞速发展,交通数据对有关部门的决策和人们出行的影响越来越大。但传统的城市智能交通数据网络架构层级分布,各组织机构独立管理和上传数据,导致数据共享难以实现。对于该问题提出一种采用区块链技术构建城市智能交通大数据平台的方法。该方法以区块数据为核心,去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。
作为构建该城市智能交通大数据平台方法的区块链是一种去中心化、不可篡改、可追溯、多方共同维护的分布式数据库,能够将传统单方维护的仅涉及自己业务的多个孤立数据整合在一起,分布式的存储在多方共同维护多个节点,任何一方都无法完全控制这些数据,只能按照严格的规则和共识进行更新,从而实现了可信的多方面的信息共享和监督,提高了业务处理效率,也提高了交通数据的可靠性。
解决了数据共享问题,区块链技术的城市智能交通大数据平台要解决及面临的另一个主要问题即不同数据源数据的统一,数据的统一监管及运营,以及与其他先进技术的技术兼容。为解决这些问题,本方法从技术的角度探讨了大数据平台的区块链关键技术,并给出了切实可行的解决方案。
最后,在城市智能交通大数据平台上,借助数据仓库的统计分析技术多维度多层次地展现数据及发现隐藏在数据背后的规律,可以为决策者提供不同层次的决策支持,充分利用积累的历史数据数据,使用联机分析处理技术汇总和展现一些已有的数据。为决策者提供支持,使用数据挖掘的相关技术分析历史数据,从海量的历史数据中发现具有价值的信息。
数据仓库是面向主题的、集成的、随时间变化的非易失性数据的集合,可有效地管理海量数据,为这些数据的分析和进一步利用奠定基础,它的数据从联机的事务处理系统中来、从异构的外部数据来源、从脱机的历史业务数据中来。这个数据中心是一个联机的系统,它是专门为分析统计和决策支持应用服务的,通过它可以满足决策支持和联机分析应用所要求的一切。
交通数据的多维数据模型的特征之一是通过能够反映交通状况的信息来提高整个系统的性能。可以预见,随着该技术的深入开发与实施,将产生大量精度高、时空跨度大、费用低的多维数据。同时,还可以在此基础之上通过合理的商业模式来提供相应的信息增值服务。
结果表明,在传统的智能交通数据网络架构下,受设备安装布局和分属管理机构的限制,取得的数据受客观环境的影响较大,可能导致数据缺失;数据采集系统均要独立运行,不能在网络底层共享数据。随着交通数据的多维数据模型从研究、规划到实施的展开,传统数据库的处理方式和决策分析中的数据需求不相称。这点在系统响应时间、数据求和数据操作等方面都有体现。数据仓库技术允许将各种应用系统集成在一起,为统一的历史数据分析提供坚实的平台,对信息的管理和分析提供支持。
基于区块链技术构建城市智能交通多维大数据平台打破了各组织机构的局限,采用区块链技术改变了传统交通数据网络架构,去其中心化,变集中式为分布式。并在此基础上,重建数据模型和存储结构。提高系统内功能模块间的共识度,激励系统各机构部门间的大数据共享,构建基于数据的智能分析或决策算法,扩展智能交通大数据平台的应用领域。实现了城市智能交通的数据共享,并进一步解决了传统网络架构下的数据缺失问题。利用数据仓库技术,对数据进行多维建模,可从不用侧面和粒度来管理和分析这些数据,为不同的需求提供服务。通过对区块链技术构建城市智能交通多维大数据平台的管理、分析和共享,可以为交通运输系统规划、管理、运营和研究提供有力地支撑,提高有关部门和人员的决策水平,具有非常好的应用背景和发展优势。
发明内容
为解决上述问题,本发明提出了基于区块链技术构建城市智能交通多维大数据平台。以区块数据为核心,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。为达此目的,本发明提供基于区块链技术构建城市智能交通多维大数据平台,其特征在于:所述的城市智能交通多维大数据平台包括数据层、网络层、共识层、激励层、合约层、数据仓库层和应用层,区块链节点数据包括监管准入服务器、企业基础数据库、政府部门基础数据库、行业组织基础数据库、相关科研机构基础数据库、车载设备、道路检测设备、安保设备、传感器和其他数据源;
所述的数据层采用哈希函数构建基于时间戳的数据区块链式结构,并采用加密算法进行加密处理,让区块链各区块中包含了记录数据时对应时间的“时间戳”,形成不可篡改和不可伪造的区块数据,保证交通数据在后期二次处理前的真实性和可靠性;
所述的加密算法采用非对称加密技术,确保数据安全采用Merkle树数据结构构造区块底层交易数据来完成区块数据的快速校验,网络层的P2P组网方式采用去中心化的节点和层级结构,保证区块链的去中心化,网络各节点均按照数字传播协议参与验证其他新生成的区块数据,保证区块数据的可信度,数据验证机制则确保验证无效的数据被及时废止;
所述的共识层的共识机制采用优化后的Hyperledger Fabric算法,目标是在系统去中心化的前提下使各节点对区块数据有效性达成共识,使用固定背书节点处理交易所带来的安全风险和性能瓶颈问题,提出一种非交互、可验证的随机化背书节点优化方案;
所述的Hyperledger Fabric共识模型基于“背书-排序-验证”,引入背书节点候选集,使用可验证随机函数随机抽取背书节点进行交易背书,实现了可验证情况下背书节点的非交互式随机选取和背书过程的并行处理;
共识层的共识机制采用优化后的Hyperledger Fabric算法,其优化后的共识机制原理包括:
(1)客户端生成提案proposal<req,s>sig,其中req为交易数据,包括希望调用的chaincode及其参数。s为客户端选择的随机值,作为节点身份抽取算法的种子,客户端对proposal签名后将其发送给背书节点候选集。交易发送成功后,客户端会启动一个计时器;
(2)各个候选背书节点收到客户端的proposal后,首先根据签名验证proposal的完整性,验证失败则终止交易。候选背书节点执行背书节点身份抽取算法(r,proof,result)=VRF_Result(s,SK),并根据result判断自己是否为背书节点;
(3)如果确定自己是背书节点,执行提案并生成读写集rw_set以及背书结果edm。随后生成提案响应信息:proposal_response<rw_set,edm,(r,proof)>sig;
(4)在计时器结束前的这段时间内,客户端持续收集来自不同背书节点的proposal_response并根据签名验证proposal_response的完整性,验证失败则终止交易,使用背书节点身份验证算法VRF_Verify()验证该节点是否为合法的背书节点,如果不是则丢弃其该背书结果,在合法的proposal response中,如果大部分即超过一半读写集一致,则根据这些背书结果生成交易tx<r_w_set,{edm}k>sig,其中{edm}k表示来自k个合法背书节点的签名。客户端将交易tx签名后发送给排序节点;
(5)排序节点监听并接收全网所有交易,并将交易打包成区块block<{tx}m>sig,{tx}m表示区块中包含的m个有序交易,排序节点对block签名后将其进行广播;
(6)提交节点收到blcok后首先验证签名检查区块完整性,之后对读写集进行验证,并依此更新账本,当各个提交节点完成以上操作后,可以视为对该客户端发起的交易达成了共识;
所述的数据仓库层包含源数据、仓库管理、数据仓库和分析工具,通过预处理数据源,采用查询、规则推理、神经网络、机器学习和统计方法模型进行搜寻有用信息为决策分析人员提供分析依据从而采取相应措施;
所述的应用层包括企业用户、政府部门和个人用户,这些应用对象均具有可编程、可数字化的基本特征,应用城市智能交通多维大数据平台时,通过分析应用对象的其他具体特征,需要选择适合的版本、平台、编程语言、数据结构和共识协议;
所述的数据仓库层中的数据仓库是基于多维数据模型的构建的,多维数据模型将数据看作数据立方体,允许以多维对数据建模和分析;
所述数据立方体包括维和事实两个要素,所述维是关于一个组织想要记录的透视或实体,所述事实是多维数据模型所围绕的中心主题,用数值度量;
在数据仓库中,数据立方体是n维的,多维数据模型中,数据组织成多维,每维包含由概念分层定义的多个抽象层,给定一个维的集合,构造方体的格,存放最低层汇总的方体成为基本方体,存放最高层汇总的方体成为顶点方体;
数据仓库的数据挖掘的过程中采用联机分析处理技术,联机分析处理可以对数据立方体和数据挖掘的中间结果进行数据的下钻、上卷、旋转、过滤、切块和切片操作;
作为本发明进一步改进,所述哈希函数使用的是FIPS180-2标准中SHA2算法中的SHA256算法,具体如下:
SHA256函数中使用有六个逻辑函数、两个移位函数以及8个32bit的初始化哈希值,所有函数的操作均是以32bit的数据块为单位进行运算的,同时所有的加法操作都是模232的加法,算法的具体内容如下所示:
1)移位函数:
SHRn(x)=x>>n (1)
ROTLn(x)=(x<<n)(x>>w-n) (2)
逻辑操作函数:
Figure BDA0002955406210000041
Figure BDA0002955406210000042
Figure BDA0002955406210000043
Figure BDA0002955406210000044
Figure BDA0002955406210000045
Figure BDA0002955406210000046
初始化哈希值:
Figure BDA0002955406210000051
Figure BDA0002955406210000052
Figure BDA0002955406210000053
Figure BDA0002955406210000054
Figure BDA0002955406210000055
Figure BDA0002955406210000056
Figure BDA0002955406210000057
Figure BDA0002955406210000058
2)附加填充信息模块中,对输入的明文进行附加填充比特,使得整个明文的数据位数是512的整数倍,同时要求填充后的数据中包含原明文原有数据位数的信息;
3)SHA256每次对数据的处理是以512bits的数据块为处理单元的,每次读入第i个512bits的数据块后,会将512bits的数据分成16份32bits的数据块,假设第一个32bits的数据块为
Figure BDA0002955406210000059
则依次往后第二个为
Figure BDA00029554062100000510
直到最后一个
Figure BDA00029554062100000511
随后通过公式(9)将16X32bits的数据扩展成64X32bits的数据,并将扩展后的结果存放在Wt中;
Figure BDA00029554062100000512
4)在循环迭代计算这个部分果面主要完成的工作是,计算出当前512bits的哈希值,具体内容为:
(1)如果是加密数据的第一个数据块,首先要使用1)当中的初始化哈希值对内部的8个32bits的数据块a,b,c,d,e,f,g,h进行8X32bits的迭代计算对内部哈希值初始化,否则将使用上一个数据块循环迭代后计算得出的内部哈希值对其进行初始化;
(2)初始化完成后,对a~h进行64次循环计算,如下所示:
For t=0to 63:
{
Figure BDA00029554062100000513
Figure BDA00029554062100000514
h=g
g=f
f=e
e=d+T1
d=c
c=b
b=a
a=T1+T2
}
其中
Figure BDA0002955406210000061
为查找表HASH表中的值;
(3)完成64次循环运算后,将得到的a~h与第一步中所用的初始化值做模232的加法运算后,得到本次运算的哈希值,如下所示:
Figure BDA0002955406210000062
Figure BDA0002955406210000063
Figure BDA0002955406210000064
Figure BDA0002955406210000065
Figure BDA0002955406210000066
Figure BDA0002955406210000067
Figure BDA0002955406210000068
Figure BDA0002955406210000069
(4)重复上面1~3的步骤,直到全部的数据被处理完;
5)将通过前面几个部分计算后最终得到的256bit哈希值输出。
作为本发明进一步改进,优化后的Hyperledger Fabric算法的背书节点抽取算法流程如下所示:
1)根据输入生成随机数及其证明(r,proof)=F(s,SK);
2)返回抽签结果依据r计算抽取结果并与阈值进行λ比较,其中hash()为密码杂凑算法,hashlen是hash算法的输出长度,如果
Figure BDA00029554062100000610
返回(r,proof,yes);否则返回(r,proof,no)。
作为本发明进一步改进,优化后的Hyperledger Fabric算法的背书节点身份验证算法流程如下所示:
1)验证随机数合法性bool=V(s,r,PK);
2)返回验证结果如果随机数合法且满足阈值条件,认定其为背书节点,如果
Figure BDA0002955406210000071
返回yes;否则返回no。需要注意的是由于背书节点身份抽取是一个概率算法,可能存在一笔交易没有对应的背书节点的情况,因此需要设置适当的阈值λ来降低这种情况产生的概率。
本发明一种基于区块链技术构建城市智能交通多维大数据平台。该方法以区块数据为核心,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。其次,借助数据仓库的统计分析技术多维度多层次地展现数据及发现隐藏在数据背后的规律,可以为决策者提供不同层次的决策支持,充分利用积累的历史数据数据,使用联机分析处理技术汇总和展现一些已有的数据。为决策者提供支持,使用数据挖掘的相关技术分析历史数据,从海量的历史数据中发现具有价值的信息。
附图说明
图1为城市智能交通多维数据平台架构图;
图2为城市智能交通数据接入关系图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提出了基于区块链技术构建城市智能交通多维大数据平台。以区块数据为核心,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。
一种基于区块链技术构建城市智能交通多维大数据平台,以区块数据为核心,通过各区块链节点数据的接入其中城市智能交通数据接入关系图如图2所示,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。其次,借助数据仓库的统计分析技术多维度多层次地展现数据及发现隐藏在数据背后的规律,可以为决策者提供不同层次的决策支持,充分利用积累的历史数据数据,使用联机分析处理技术汇总和展现一些已有的数据。为决策者提供支持,使用数据挖掘的相关技术分析历史数据,从海量的历史数据中发现具有价值的信息。
所述的城市智能交通多维大数据平台的城市智能交通多维数据平台架构图如图1所示包括数据层、网络层、共识层、激励层、合约层、数据仓库层和应用层。区块链节点数据包括监管准入服务器、企业基础数据库、政府部门基础数据库、行业组织基础数据库、相关科研机构基础数据库、车载设备、道路检测设备、安保设备、传感器和其他数据源。
数据层采用哈希函数构建基于时间戳的数据区块链式结构,并采用加密算法进行加密处理,让区块链各区块中包含了记录数据时对应时间的“时间戳”,有助于形成不可篡改和不可伪造的区块数据,保证交通数据在后期二次处理前的真实性和可靠性。加密算法采用非对称加密技术,确保数据安全采用Merkle树数据结构构造区块底层交易数据来完成区块数据的快速校验。网络层的P2P组网方式采用去中心化的节点和层级结构,保证区块链的去中心化。网络各节点均可按照数字传播协议参与验证其他新生成的区块数据,保证区块数据的可信度。数据验证机制则确保验证无效的数据被及时废止。
所述哈希函数使用的是FIPS180-2标准中SHA2算法中的SHA256算法,具体如下:
SHA256函数中使用有六个逻辑函数、两个移位函数以及8个32bit的初始化哈希值,所有函数的操作均是以32bit的数据块为单位进行运算的,同时所有的加法操作都是模232的加法,算法的具体内容如下所示:
1)移位函数:
SHRn(x)=x>>n (1)
ROTLn(x)=(x<<n)(x>>w-n) (2)
逻辑操作函数:
Figure BDA0002955406210000081
Figure BDA0002955406210000082
Figure BDA0002955406210000083
Figure BDA0002955406210000084
Figure BDA0002955406210000085
Figure BDA0002955406210000086
初始化哈希值:
Figure BDA0002955406210000087
Figure BDA0002955406210000088
Figure BDA0002955406210000089
Figure BDA00029554062100000810
Figure BDA00029554062100000811
Figure BDA0002955406210000091
Figure BDA0002955406210000092
Figure BDA0002955406210000093
2)附加填充信息模块中,对输入的明文进行附加填充比特,使得整个明文的数据位数是512的整数倍,同时要求填充后的数据中包含原明文原有数据位数的信息;
3)SHA256每次对数据的处理是以512bits的数据块为处理单元的,每次读入第i个512bits的数据块后,会将512bits的数据分成16份32bits的数据块,假设第一个32bits的数据块为
Figure BDA0002955406210000094
则依次往后第二个为
Figure BDA0002955406210000095
直到最后一个
Figure BDA0002955406210000096
随后通过公式(9)将16X32bits的数据扩展成64X32bits的数据,并将扩展后的结果存放在Wt中;
Figure BDA0002955406210000097
4)在循环迭代计算这个部分果面主要完成的工作是,计算出当前512bits的哈希值,具体内容为:
(1)如果是加密数据的第一个数据块,首先要使用1)当中的初始化哈希值对内部的8个32bits的数据块a,b,c,d,e,f,g,h进行8X32bits的迭代计算对内部哈希值初始化,否则将使用上一个数据块循环迭代后计算得出的内部哈希值对其进行初始化;
(2)初始化完成后,对a~h进行64次循环计算,如下所示:
For t=0to 63:
{
Figure BDA0002955406210000098
Figure BDA0002955406210000099
h=g
g=f
f=e
e=d+T1
d=c
c=b
b=a
a=T1+T2
}
其中
Figure BDA0002955406210000101
为查找表HASH表中的值,SHA256的哈希表如下表所示:
表1 SHA256哈希表
1 2 3 4 5 6 7 8
1 428a2f98 71374491 b5c0fbcf e9b5dba5 3956c25b 59f111f1 923f82a4 ab1c5ed5
2 d807aa89 12835b01 243185be 550c7dc3 72be5d74 80de1fe 9bdc06a7 c19bf174
3 e49b69c1 Dfbe4786 0fc19dc6 240ca1cc 2de92c6f 4a7484aa 5cb0a9dc 76f988da
4 983e5152 a831c66d b00327c8 bf597fc7 c6c00bf3 d5a79147 06ca6351 14292967
5 27b70a85 2e1b2138 4d2c6dfc 53380d13 650a7354 766a0abb 81c2c92e 92722c85
6 a2bfe8a1 a81a664b c24b8b70 c76c51a3 a192e819 a6990624 f40c3585 106aa070
7 19a4c116 1e376c08 2748774c 34b0bcb5 391c0cb3 4cd8aa4a 5b9cca4f 682e6ff3
8 748f82ee 78a5636f 84c87814 8cc70208 90befffa a4506ceb bef9a3f7 c67178f2
(3)完成64次循环运算后,将得到的a~h与第一步中所用的初始化值做模232的加法运算后,得到本次运算的哈希值,如下所示:
Figure BDA0002955406210000102
Figure BDA0002955406210000103
Figure BDA0002955406210000104
Figure BDA0002955406210000105
Figure BDA0002955406210000106
Figure BDA0002955406210000107
Figure BDA0002955406210000108
Figure BDA0002955406210000109
(4)重复上面1~3的步骤,直到全部的数据被处理完。
5)将通过前面几个部分计算后最终得到的256bit哈希值输出。
共识层的共识机制采用优化后的Hyperledger Fabric算法,目标是在系统去中心化的前提下使各节点对区块数据有效性达成共识。使用固定背书节点处理交易所带来的安全风险和性能瓶颈问题,提出一种非交互、可验证的随机化背书节点优化方案。基于“背书-排序-验证”的Hyperledger Fabric共识模型,引入背书节点候选集,使用可验证随机函数随机抽取背书节点进行交易背书,实现了可验证情况下背书节点的非交互式随机选取和背书过程的并行处理。优化后的共识机制具有更高的安全性和更快的交易处理速度。
数据仓库层包含源数据、仓库管理、数据仓库和分析工具。通过预处理数据源,采用查询、规则推理、神经网络、机器学习、统计方法等模型进行搜寻有用信息为决策分析人员提供分析依据从而采取相应措施。
应用层包括企业用户、政府部门和个人用户。这些应用对象均具有可编程、可数字化的基本特征。应用城市智能交通多维大数据平台时,通过分析应用对象的其他具体特征,需要选择适合的版本、平台、编程语言、数据结构、共识协议等。
数据仓库层中的数据仓库是基于多维数据模型的构建的。多维数据模型将数据看作数据立方体,允许以多维对数据建模和分析。数据立方体包括维和事实两个要素。维是关于一个组织想要记录的透视或实体。事实是多维数据模型所围绕的中心主题,用数值度量。在数据仓库中,数据立方体是n维的,多维数据模型中,数据组织成多维,每维包含由概念分层定义的多个抽象层。给定一个维的集合,可以构造方体的格。存放最低层汇总的方体成为基本方体,存放最高层汇总的方体成为顶点方体。
数据仓库的数据挖掘的过程中采用联机分析处理技术,联机分析处理可以对数据立方体和数据挖掘的中间结果进行数据的下钻、上卷、旋转、过滤、切块和切片等操作,这些将极大地增强数据挖掘的功能和灵活性。
共识层的共识机制采用优化后的Hyperledger Fabric算法,其优化后的共识机制原理包括:
(1)客户端生成提案proposal<req,s>sig,其中req为交易数据,包括希望调用的chaincode及其参数。s为客户端选择的随机值,作为节点身份抽取算法的种子。客户端对proposal签名后将其发送给背书节点候选集。交易发送成功后,客户端会启动一个计时器;
(2)各个候选背书节点收到客户端的proposal后,首先根据签名验证proposal的完整性,验证失败则终止交易。候选背书节点执行背书节点身份抽取算法(r,proof,result)=VRF_Result(s,SK),并根据result判断自己是否为背书节点;
(3)如果确定自己是背书节点,执行提案并生成读写集rw_set以及背书结果edm。随后生成提案响应信息:proposal_response<rw_set,edm,(r,proof)>sig。背书节点抽取算法流程如下所示:
1)根据输入生成随机数及其证明(r,proof)=F(s,SK)
2)返回抽签结果依据r计算抽取结果并与阈值进行λ比较,其中hash()为密码杂凑算法,hashlen是hash算法的输出长度,如果
Figure BDA0002955406210000111
返回(r,proof,yes);否则返回(r,proof,no)
(4)在计时器结束前的这段时间内,客户端持续收集来自不同背书节点的proposal_response并根据签名验证proposal_response的完整性,验证失败则终止交易。使用背书节点身份验证算法VRF_Verify()验证该节点是否为合法的背书节点。如果不是则丢弃其该背书结果。在合法的proposal response中,如果大部分(超过一半)读写集一致,则根据这些背书结果生成交易tx<r_w_set,{edm}k>sig。其中{edm}k表示来自k个合法背书节点的签名。客户端将交易tx签名后发送给排序节点。
背书节点身份验证算法流程如下所示:
1)验证随机数合法性bool=V(s,r,PK);
2)返回验证结果如果随机数合法且满足阈值条件,认定其为背书节点。如果
Figure BDA0002955406210000121
返回yes;否则返回no。需要注意的是由于背书节点身份抽取是一个概率算法,可能存在一笔交易没有对应的背书节点的情况,因此需要设置适当的阈值λ来降低这种情况产生的概率;
(5)排序节点监听并接收全网所有交易,并将交易打包成区块block<{tx}m>sig,{tx}m表示区块中包含的m个有序交易。排序节点对block签名后将其进行广播;
(6)提交节点收到blcok后首先验证签名检查区块完整性,之后对读写集进行验证,并依此更新账本。当各个提交节点完成以上操作后,可以视为对该客户端发起的交易达成了共识。
优化的共识机制方案引入了背书节点候选集,通过可验证随机函数在候选集中随机选取交易背书节点完成交易背书。方案的改进一方面实现了交易背书前背书节点的身份隐私保护;另一方面也动态随机扩展了交易背书节点的数量,提高了数据处理能力。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。

Claims (4)

1.基于区块链技术构建城市智能交通多维大数据平台,其特征在于:所述的城市智能交通多维大数据平台包括数据层、网络层、共识层、激励层、合约层、数据仓库层和应用层,区块链节点数据包括监管准入服务器、企业基础数据库、政府部门基础数据库、行业组织基础数据库、相关科研机构基础数据库、车载设备、道路检测设备、安保设备、传感器和其他数据源;
所述的数据层采用哈希函数构建基于时间戳的数据区块链式结构,并采用加密算法进行加密处理,让区块链各区块中包含了记录数据时对应时间的“时间戳”,形成不可篡改和不可伪造的区块数据,保证交通数据在后期二次处理前的真实性和可靠性;
所述的加密算法采用非对称加密技术,确保数据安全采用Merkle树数据结构构造区块底层交易数据来完成区块数据的快速校验,网络层的P2P组网方式采用去中心化的节点和层级结构,保证区块链的去中心化,网络各节点均按照数字传播协议参与验证其他新生成的区块数据,保证区块数据的可信度,数据验证机制则确保验证无效的数据被及时废止;
所述的共识层的共识机制采用优化后的Hyperledger Fabric算法,目标是在系统去中心化的前提下使各节点对区块数据有效性达成共识,使用固定背书节点处理交易所带来的安全风险和性能瓶颈问题,提出一种非交互、可验证的随机化背书节点优化方案;
所述的Hyperledger Fabric共识模型基于“背书-排序-验证”,引入背书节点候选集,使用可验证随机函数随机抽取背书节点进行交易背书,实现了可验证情况下背书节点的非交互式随机选取和背书过程的并行处理;
共识层的共识机制采用优化后的Hyperledger Fabric算法,其优化后的共识机制原理包括:
(1)客户端生成提案proposal<req,s>sig,其中req为交易数据,包括希望调用的chaincode及其参数。s为客户端选择的随机值,作为节点身份抽取算法的种子,客户端对proposal签名后将其发送给背书节点候选集。交易发送成功后,客户端会启动一个计时器;
(2)各个候选背书节点收到客户端的proposal后,首先根据签名验证proposal的完整性,验证失败则终止交易。候选背书节点执行背书节点身份抽取算法(r,proof,result)=VRF_Result(s,SK),并根据result判断自己是否为背书节点;
(3)如果确定自己是背书节点,执行提案并生成读写集rw_set以及背书结果edm。随后生成提案响应信息:proposal_response<rw_set,edm,(r,proof)>sig;
(4)在计时器结束前的这段时间内,客户端持续收集来自不同背书节点的proposal_response并根据签名验证proposal_response的完整性,验证失败则终止交易,使用背书节点身份验证算法VRF_Verify()验证该节点是否为合法的背书节点,如果不是则丢弃其该背书结果,在合法的proposal response中,如果大部分即超过一半读写集一致,则根据这些背书结果生成交易tx<r_w_set,{edm}k>sig,其中{edm}k表示来自k个合法背书节点的签名。客户端将交易tx签名后发送给排序节点;
(5)排序节点监听并接收全网所有交易,并将交易打包成区块block<{tx}m>sig,{tx}m表示区块中包含的m个有序交易,排序节点对block签名后将其进行广播;
(6)提交节点收到blcok后首先验证签名检查区块完整性,之后对读写集进行验证,并依此更新账本,当各个提交节点完成以上操作后,可以视为对该客户端发起的交易达成了共识;
所述的数据仓库层包含源数据、仓库管理、数据仓库和分析工具,通过预处理数据源,采用查询、规则推理、神经网络、机器学习和统计方法模型进行搜寻有用信息为决策分析人员提供分析依据从而采取相应措施;
所述的应用层包括企业用户、政府部门和个人用户,这些应用对象均具有可编程、可数字化的基本特征,应用城市智能交通多维大数据平台时,通过分析应用对象的其他具体特征,需要选择适合的版本、平台、编程语言、数据结构和共识协议;
所述的数据仓库层中的数据仓库是基于多维数据模型的构建的,多维数据模型将数据看作数据立方体,允许以多维对数据建模和分析;
所述数据立方体包括维和事实两个要素,所述维是关于一个组织想要记录的透视或实体,所述事实是多维数据模型所围绕的中心主题,用数值度量;
在数据仓库中,数据立方体是n维的,多维数据模型中,数据组织成多维,每维包含由概念分层定义的多个抽象层,给定一个维的集合,构造方体的格,存放最低层汇总的方体成为基本方体,存放最高层汇总的方体成为顶点方体;
数据仓库的数据挖掘的过程中采用联机分析处理技术,联机分析处理可以对数据立方体和数据挖掘的中间结果进行数据的下钻、上卷、旋转、过滤、切块和切片操作。
2.根据权利要求1所述的基于区块链技术构建城市智能交通多维大数据平台,其特征在于:所述哈希函数使用的是FIPS180-2标准中SHA2算法中的SHA256算法,具体如下:
SHA256函数中使用有六个逻辑函数、两个移位函数以及8个32bit的初始化哈希值,所有函数的操作均是以32bit的数据块为单位进行运算的,同时所有的加法操作都是模232的加法,算法的具体内容如下所示:
1)移位函数:
SHRn(x)=x>>n (1)
ROTLn(x)=(x<<n)(x>>w-n) (2)
逻辑操作函数:
Figure FDA0002955406200000031
Figure FDA0002955406200000032
Figure FDA0002955406200000033
Figure FDA0002955406200000034
Figure FDA0002955406200000035
Figure FDA0002955406200000036
初始化哈希值:
Figure FDA0002955406200000037
Figure FDA0002955406200000038
Figure FDA0002955406200000039
Figure FDA00029554062000000310
Figure FDA00029554062000000311
Figure FDA00029554062000000312
Figure FDA00029554062000000313
Figure FDA00029554062000000314
2)附加填充信息模块中,对输入的明文进行附加填充比特,使得整个明文的数据位数是512的整数倍,同时要求填充后的数据中包含原明文原有数据位数的信息;
3)SHA256每次对数据的处理是以512bits的数据块为处理单元的,每次读入第i个512bits的数据块后,会将512bits的数据分成16份32bits的数据块,假设第一个32bits的数据块为
Figure FDA00029554062000000315
则依次往后第二个为
Figure FDA00029554062000000316
直到最后一个
Figure FDA00029554062000000317
随后通过公式(9)将16X32bits的数据扩展成64X32bits的数据,并将扩展后的结果存放在Wt中;
Figure FDA00029554062000000318
4)在循环迭代计算这个部分果面主要完成的工作是,计算出当前512bits的哈希值,具体内容为:
(1)如果是加密数据的第一个数据块,首先要使用1)当中的初始化哈希值对内部的8个32bits的数据块a,b,c,d,e,f,g,h进行8X32bits的迭代计算对内部哈希值初始化,否则将使用上一个数据块循环迭代后计算得出的内部哈希值对其进行初始化;
(2)初始化完成后,对a~h进行64次循环计算,如下所示:
For t=0 to 63:
{
Figure FDA0002955406200000041
Figure FDA0002955406200000042
h=g
g=f
f=e
e=d+T1
d=c
c=b
b=a
a=T1+T2
}
其中
Figure FDA0002955406200000043
为查找表HASH表中的值;
(3)完成64次循环运算后,将得到的a~h与第一步中所用的初始化值做模232的加法运算后,得到本次运算的哈希值,如下所示:
Figure FDA0002955406200000044
Figure FDA0002955406200000045
Figure FDA0002955406200000046
Figure FDA0002955406200000047
Figure FDA0002955406200000048
Figure FDA0002955406200000049
Figure FDA00029554062000000410
Figure FDA00029554062000000411
(4)重复上面1~3的步骤,直到全部的数据被处理完;
5)将通过前面几个部分计算后最终得到的256bit哈希值输出。
3.根据权利要求1所述的基于区块链技术构建城市智能交通多维大数据平台,其特征在于:优化后的Hyperledger Fabric算法的背书节点抽取算法流程如下所示:
1)根据输入生成随机数及其证明(r,proof)=F(s,SK);
2)返回抽签结果依据r计算抽取结果并与阈值进行λ比较,其中hash()为密码杂凑算法,hashlen是hash算法的输出长度,如果
Figure FDA0002955406200000051
返回(r,proof,yes);否则返回(r,proof,no)。
4.根据权利要求1所述的基于区块链技术构建城市智能交通多维大数据平台,其特征在于:优化后的Hyperledger Fabric算法的背书节点身份验证算法流程如下所示:
1)验证随机数合法性bool=V(s,r,PK);
2)返回验证结果如果随机数合法且满足阈值条件,认定其为背书节点,如果
Figure FDA0002955406200000052
返回yes;否则返回no。需要注意的是由于背书节点身份抽取是一个概率算法,可能存在一笔交易没有对应的背书节点的情况,因此需要设置适当的阈值λ来降低这种情况产生的概率。
CN202110222195.4A 2021-02-28 2021-02-28 基于区块链技术构建城市智能交通多维大数据平台 Withdrawn CN112925826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110222195.4A CN112925826A (zh) 2021-02-28 2021-02-28 基于区块链技术构建城市智能交通多维大数据平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110222195.4A CN112925826A (zh) 2021-02-28 2021-02-28 基于区块链技术构建城市智能交通多维大数据平台

Publications (1)

Publication Number Publication Date
CN112925826A true CN112925826A (zh) 2021-06-08

Family

ID=76172506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110222195.4A Withdrawn CN112925826A (zh) 2021-02-28 2021-02-28 基于区块链技术构建城市智能交通多维大数据平台

Country Status (1)

Country Link
CN (1) CN112925826A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961545A (zh) * 2021-10-26 2022-01-21 北京市科学技术情报研究所 基于区块链的信息价值数据库构建方法
CN114024985A (zh) * 2021-10-29 2022-02-08 湖南大学 一种区块链的预言机计算架构及处理大量数据的方法
CN114170722A (zh) * 2021-12-14 2022-03-11 杨宁波 一种基于链上随机数的选房摇号方法
WO2024027514A1 (zh) * 2022-08-04 2024-02-08 腾讯科技(深圳)有限公司 区块链数据处理方法、装置、计算机设备、介质及产品

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961545A (zh) * 2021-10-26 2022-01-21 北京市科学技术情报研究所 基于区块链的信息价值数据库构建方法
CN114024985A (zh) * 2021-10-29 2022-02-08 湖南大学 一种区块链的预言机计算架构及处理大量数据的方法
CN114170722A (zh) * 2021-12-14 2022-03-11 杨宁波 一种基于链上随机数的选房摇号方法
WO2024027514A1 (zh) * 2022-08-04 2024-02-08 腾讯科技(深圳)有限公司 区块链数据处理方法、装置、计算机设备、介质及产品

Similar Documents

Publication Publication Date Title
CN112925826A (zh) 基于区块链技术构建城市智能交通多维大数据平台
Shen et al. Secure SVM training over vertically-partitioned datasets using consortium blockchain for vehicular social networks
Huang et al. Behavior pattern clustering in blockchain networks
EP3693886B1 (en) Optimizations for verification of interactions system and method
Meng et al. Grecs: Graph encryption for approximate shortest distance queries
Karaarslan et al. Data storage in the decentralized world: Blockchain and derivatives
CN109766389B (zh) 一种基于位图索引的区块链轻客户端验证查询方法
CN106897368A (zh) Merkle哈希求和树及其可验证数据库更新操作方法
JP2021515271A (ja) コンピュータにより実施される投票処理およびシステム
Liu et al. An improved dynamic provable data possession model
CN104809244A (zh) 一种大数据环境下的数据挖掘方法和装置
CN112686393A (zh) 一种联邦学习系统
CN112613601A (zh) 神经网络模型更新方法、设备及计算机存储介质
CN113626875A (zh) 一种区块链分片赋能的知识图谱文件存储方法
Li et al. Privacy-preserving reverse nearest neighbor query over encrypted spatial data
Mizrahi et al. State sharding with space-aware representations
Behera Privacy preserving C4. 5 using Gini index
Sriramoju et al. An Analysis on Effective, Precise and Privacy Preserving Data Mining Association Rules with Partitioning on Distributed Databases
CN116484399A (zh) 构建密文范围检索结果完备性验证数据结构的方法及系统
KumaraSwamy et al. Association rule sharing model for privacy preservation and collaborative data mining efficiency
Groot Roessink et al. Experimental review of the IKK query recovery attack: Assumptions, recovery rate and improvements
Mishra et al. Fibonacci tree structure based privacy preserving public auditing for IoT enabled data in cloud environment
Shuguo et al. Multi-party privacy-preserving decision trees for arbitrarily partitioned data
Aldoubaee et al. A Systematic Review on Blockchain Scalability
Dass et al. Hybrid coherent encryption scheme for multimedia big data management using cryptographic encryption methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210608

WW01 Invention patent application withdrawn after publication