CN112925826A - 基于区块链技术构建城市智能交通多维大数据平台 - Google Patents
基于区块链技术构建城市智能交通多维大数据平台 Download PDFInfo
- Publication number
- CN112925826A CN112925826A CN202110222195.4A CN202110222195A CN112925826A CN 112925826 A CN112925826 A CN 112925826A CN 202110222195 A CN202110222195 A CN 202110222195A CN 112925826 A CN112925826 A CN 112925826A
- Authority
- CN
- China
- Prior art keywords
- data
- block
- endorsement
- node
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000008520 organization Effects 0.000 claims abstract description 13
- 238000007619 statistical method Methods 0.000 claims abstract description 13
- 238000007418 data mining Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 29
- 238000012795 verification Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 16
- 238000013499 data model Methods 0.000 claims description 15
- 239000004744 fabric Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 claims description 11
- 229960004134 propofol Drugs 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000013524 data verification Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005553 drilling Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000013523 data management Methods 0.000 abstract description 6
- 238000013500 data storage Methods 0.000 abstract description 6
- 230000006872 improvement Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 241000838698 Togo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
基于区块链技术构建城市智能交通多维大数据平台。该方法以区块数据为核心,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。其次,借助数据仓库的统计分析技术多维度多层次地展现数据及发现隐藏在数据背后的规律,可以为决策者提供不同层次的决策支持,充分利用积累的历史数据数据,使用联机分析处理技术汇总和展现一些已有的数据。为决策者提供支持,使用数据挖掘的相关技术分析历史数据,从海量的历史数据中发现具有价值的信息。
Description
技术领域
本发明涉及区块链技术和数据仓库的统计分析技术在城市智能交通的运用领域,特别是涉及基于区块链技术构建城市智能交通多维大数据平台。
背景技术
随着现代社会的飞速发展,交通数据对有关部门的决策和人们出行的影响越来越大。但传统的城市智能交通数据网络架构层级分布,各组织机构独立管理和上传数据,导致数据共享难以实现。对于该问题提出一种采用区块链技术构建城市智能交通大数据平台的方法。该方法以区块数据为核心,去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。
作为构建该城市智能交通大数据平台方法的区块链是一种去中心化、不可篡改、可追溯、多方共同维护的分布式数据库,能够将传统单方维护的仅涉及自己业务的多个孤立数据整合在一起,分布式的存储在多方共同维护多个节点,任何一方都无法完全控制这些数据,只能按照严格的规则和共识进行更新,从而实现了可信的多方面的信息共享和监督,提高了业务处理效率,也提高了交通数据的可靠性。
解决了数据共享问题,区块链技术的城市智能交通大数据平台要解决及面临的另一个主要问题即不同数据源数据的统一,数据的统一监管及运营,以及与其他先进技术的技术兼容。为解决这些问题,本方法从技术的角度探讨了大数据平台的区块链关键技术,并给出了切实可行的解决方案。
最后,在城市智能交通大数据平台上,借助数据仓库的统计分析技术多维度多层次地展现数据及发现隐藏在数据背后的规律,可以为决策者提供不同层次的决策支持,充分利用积累的历史数据数据,使用联机分析处理技术汇总和展现一些已有的数据。为决策者提供支持,使用数据挖掘的相关技术分析历史数据,从海量的历史数据中发现具有价值的信息。
数据仓库是面向主题的、集成的、随时间变化的非易失性数据的集合,可有效地管理海量数据,为这些数据的分析和进一步利用奠定基础,它的数据从联机的事务处理系统中来、从异构的外部数据来源、从脱机的历史业务数据中来。这个数据中心是一个联机的系统,它是专门为分析统计和决策支持应用服务的,通过它可以满足决策支持和联机分析应用所要求的一切。
交通数据的多维数据模型的特征之一是通过能够反映交通状况的信息来提高整个系统的性能。可以预见,随着该技术的深入开发与实施,将产生大量精度高、时空跨度大、费用低的多维数据。同时,还可以在此基础之上通过合理的商业模式来提供相应的信息增值服务。
结果表明,在传统的智能交通数据网络架构下,受设备安装布局和分属管理机构的限制,取得的数据受客观环境的影响较大,可能导致数据缺失;数据采集系统均要独立运行,不能在网络底层共享数据。随着交通数据的多维数据模型从研究、规划到实施的展开,传统数据库的处理方式和决策分析中的数据需求不相称。这点在系统响应时间、数据求和数据操作等方面都有体现。数据仓库技术允许将各种应用系统集成在一起,为统一的历史数据分析提供坚实的平台,对信息的管理和分析提供支持。
基于区块链技术构建城市智能交通多维大数据平台打破了各组织机构的局限,采用区块链技术改变了传统交通数据网络架构,去其中心化,变集中式为分布式。并在此基础上,重建数据模型和存储结构。提高系统内功能模块间的共识度,激励系统各机构部门间的大数据共享,构建基于数据的智能分析或决策算法,扩展智能交通大数据平台的应用领域。实现了城市智能交通的数据共享,并进一步解决了传统网络架构下的数据缺失问题。利用数据仓库技术,对数据进行多维建模,可从不用侧面和粒度来管理和分析这些数据,为不同的需求提供服务。通过对区块链技术构建城市智能交通多维大数据平台的管理、分析和共享,可以为交通运输系统规划、管理、运营和研究提供有力地支撑,提高有关部门和人员的决策水平,具有非常好的应用背景和发展优势。
发明内容
为解决上述问题,本发明提出了基于区块链技术构建城市智能交通多维大数据平台。以区块数据为核心,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。为达此目的,本发明提供基于区块链技术构建城市智能交通多维大数据平台,其特征在于:所述的城市智能交通多维大数据平台包括数据层、网络层、共识层、激励层、合约层、数据仓库层和应用层,区块链节点数据包括监管准入服务器、企业基础数据库、政府部门基础数据库、行业组织基础数据库、相关科研机构基础数据库、车载设备、道路检测设备、安保设备、传感器和其他数据源;
所述的数据层采用哈希函数构建基于时间戳的数据区块链式结构,并采用加密算法进行加密处理,让区块链各区块中包含了记录数据时对应时间的“时间戳”,形成不可篡改和不可伪造的区块数据,保证交通数据在后期二次处理前的真实性和可靠性;
所述的加密算法采用非对称加密技术,确保数据安全采用Merkle树数据结构构造区块底层交易数据来完成区块数据的快速校验,网络层的P2P组网方式采用去中心化的节点和层级结构,保证区块链的去中心化,网络各节点均按照数字传播协议参与验证其他新生成的区块数据,保证区块数据的可信度,数据验证机制则确保验证无效的数据被及时废止;
所述的共识层的共识机制采用优化后的Hyperledger Fabric算法,目标是在系统去中心化的前提下使各节点对区块数据有效性达成共识,使用固定背书节点处理交易所带来的安全风险和性能瓶颈问题,提出一种非交互、可验证的随机化背书节点优化方案;
所述的Hyperledger Fabric共识模型基于“背书-排序-验证”,引入背书节点候选集,使用可验证随机函数随机抽取背书节点进行交易背书,实现了可验证情况下背书节点的非交互式随机选取和背书过程的并行处理;
共识层的共识机制采用优化后的Hyperledger Fabric算法,其优化后的共识机制原理包括:
(1)客户端生成提案proposal<req,s>sig,其中req为交易数据,包括希望调用的chaincode及其参数。s为客户端选择的随机值,作为节点身份抽取算法的种子,客户端对proposal签名后将其发送给背书节点候选集。交易发送成功后,客户端会启动一个计时器;
(2)各个候选背书节点收到客户端的proposal后,首先根据签名验证proposal的完整性,验证失败则终止交易。候选背书节点执行背书节点身份抽取算法(r,proof,result)=VRF_Result(s,SK),并根据result判断自己是否为背书节点;
(3)如果确定自己是背书节点,执行提案并生成读写集rw_set以及背书结果edm。随后生成提案响应信息:proposal_response<rw_set,edm,(r,proof)>sig;
(4)在计时器结束前的这段时间内,客户端持续收集来自不同背书节点的proposal_response并根据签名验证proposal_response的完整性,验证失败则终止交易,使用背书节点身份验证算法VRF_Verify()验证该节点是否为合法的背书节点,如果不是则丢弃其该背书结果,在合法的proposal response中,如果大部分即超过一半读写集一致,则根据这些背书结果生成交易tx<r_w_set,{edm}k>sig,其中{edm}k表示来自k个合法背书节点的签名。客户端将交易tx签名后发送给排序节点;
(5)排序节点监听并接收全网所有交易,并将交易打包成区块block<{tx}m>sig,{tx}m表示区块中包含的m个有序交易,排序节点对block签名后将其进行广播;
(6)提交节点收到blcok后首先验证签名检查区块完整性,之后对读写集进行验证,并依此更新账本,当各个提交节点完成以上操作后,可以视为对该客户端发起的交易达成了共识;
所述的数据仓库层包含源数据、仓库管理、数据仓库和分析工具,通过预处理数据源,采用查询、规则推理、神经网络、机器学习和统计方法模型进行搜寻有用信息为决策分析人员提供分析依据从而采取相应措施;
所述的应用层包括企业用户、政府部门和个人用户,这些应用对象均具有可编程、可数字化的基本特征,应用城市智能交通多维大数据平台时,通过分析应用对象的其他具体特征,需要选择适合的版本、平台、编程语言、数据结构和共识协议;
所述的数据仓库层中的数据仓库是基于多维数据模型的构建的,多维数据模型将数据看作数据立方体,允许以多维对数据建模和分析;
所述数据立方体包括维和事实两个要素,所述维是关于一个组织想要记录的透视或实体,所述事实是多维数据模型所围绕的中心主题,用数值度量;
在数据仓库中,数据立方体是n维的,多维数据模型中,数据组织成多维,每维包含由概念分层定义的多个抽象层,给定一个维的集合,构造方体的格,存放最低层汇总的方体成为基本方体,存放最高层汇总的方体成为顶点方体;
数据仓库的数据挖掘的过程中采用联机分析处理技术,联机分析处理可以对数据立方体和数据挖掘的中间结果进行数据的下钻、上卷、旋转、过滤、切块和切片操作;
作为本发明进一步改进,所述哈希函数使用的是FIPS180-2标准中SHA2算法中的SHA256算法,具体如下:
SHA256函数中使用有六个逻辑函数、两个移位函数以及8个32bit的初始化哈希值,所有函数的操作均是以32bit的数据块为单位进行运算的,同时所有的加法操作都是模232的加法,算法的具体内容如下所示:
1)移位函数:
SHRn(x)=x>>n (1)
ROTLn(x)=(x<<n)(x>>w-n) (2)
逻辑操作函数:
初始化哈希值:
2)附加填充信息模块中,对输入的明文进行附加填充比特,使得整个明文的数据位数是512的整数倍,同时要求填充后的数据中包含原明文原有数据位数的信息;
3)SHA256每次对数据的处理是以512bits的数据块为处理单元的,每次读入第i个512bits的数据块后,会将512bits的数据分成16份32bits的数据块,假设第一个32bits的数据块为则依次往后第二个为直到最后一个随后通过公式(9)将16X32bits的数据扩展成64X32bits的数据,并将扩展后的结果存放在Wt中;
4)在循环迭代计算这个部分果面主要完成的工作是,计算出当前512bits的哈希值,具体内容为:
(1)如果是加密数据的第一个数据块,首先要使用1)当中的初始化哈希值对内部的8个32bits的数据块a,b,c,d,e,f,g,h进行8X32bits的迭代计算对内部哈希值初始化,否则将使用上一个数据块循环迭代后计算得出的内部哈希值对其进行初始化;
(2)初始化完成后,对a~h进行64次循环计算,如下所示:
For t=0to 63:
{
h=g
g=f
f=e
e=d+T1
d=c
c=b
b=a
a=T1+T2
}
(3)完成64次循环运算后,将得到的a~h与第一步中所用的初始化值做模232的加法运算后,得到本次运算的哈希值,如下所示:
(4)重复上面1~3的步骤,直到全部的数据被处理完;
5)将通过前面几个部分计算后最终得到的256bit哈希值输出。
作为本发明进一步改进,优化后的Hyperledger Fabric算法的背书节点抽取算法流程如下所示:
1)根据输入生成随机数及其证明(r,proof)=F(s,SK);
作为本发明进一步改进,优化后的Hyperledger Fabric算法的背书节点身份验证算法流程如下所示:
1)验证随机数合法性bool=V(s,r,PK);
2)返回验证结果如果随机数合法且满足阈值条件,认定其为背书节点,如果返回yes;否则返回no。需要注意的是由于背书节点身份抽取是一个概率算法,可能存在一笔交易没有对应的背书节点的情况,因此需要设置适当的阈值λ来降低这种情况产生的概率。
本发明一种基于区块链技术构建城市智能交通多维大数据平台。该方法以区块数据为核心,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。其次,借助数据仓库的统计分析技术多维度多层次地展现数据及发现隐藏在数据背后的规律,可以为决策者提供不同层次的决策支持,充分利用积累的历史数据数据,使用联机分析处理技术汇总和展现一些已有的数据。为决策者提供支持,使用数据挖掘的相关技术分析历史数据,从海量的历史数据中发现具有价值的信息。
附图说明
图1为城市智能交通多维数据平台架构图;
图2为城市智能交通数据接入关系图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提出了基于区块链技术构建城市智能交通多维大数据平台。以区块数据为核心,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。
一种基于区块链技术构建城市智能交通多维大数据平台,以区块数据为核心,通过各区块链节点数据的接入其中城市智能交通数据接入关系图如图2所示,借助数据仓库的统计分析技术。去除了各组织机构的中心化数据管理,彻底改变了数据采集、数据处理分析、数据存储模式及方法,充分实现了城市智能交通这一多源系统的平台化大数据共享、去中心化和分布式计算。其次,借助数据仓库的统计分析技术多维度多层次地展现数据及发现隐藏在数据背后的规律,可以为决策者提供不同层次的决策支持,充分利用积累的历史数据数据,使用联机分析处理技术汇总和展现一些已有的数据。为决策者提供支持,使用数据挖掘的相关技术分析历史数据,从海量的历史数据中发现具有价值的信息。
所述的城市智能交通多维大数据平台的城市智能交通多维数据平台架构图如图1所示包括数据层、网络层、共识层、激励层、合约层、数据仓库层和应用层。区块链节点数据包括监管准入服务器、企业基础数据库、政府部门基础数据库、行业组织基础数据库、相关科研机构基础数据库、车载设备、道路检测设备、安保设备、传感器和其他数据源。
数据层采用哈希函数构建基于时间戳的数据区块链式结构,并采用加密算法进行加密处理,让区块链各区块中包含了记录数据时对应时间的“时间戳”,有助于形成不可篡改和不可伪造的区块数据,保证交通数据在后期二次处理前的真实性和可靠性。加密算法采用非对称加密技术,确保数据安全采用Merkle树数据结构构造区块底层交易数据来完成区块数据的快速校验。网络层的P2P组网方式采用去中心化的节点和层级结构,保证区块链的去中心化。网络各节点均可按照数字传播协议参与验证其他新生成的区块数据,保证区块数据的可信度。数据验证机制则确保验证无效的数据被及时废止。
所述哈希函数使用的是FIPS180-2标准中SHA2算法中的SHA256算法,具体如下:
SHA256函数中使用有六个逻辑函数、两个移位函数以及8个32bit的初始化哈希值,所有函数的操作均是以32bit的数据块为单位进行运算的,同时所有的加法操作都是模232的加法,算法的具体内容如下所示:
1)移位函数:
SHRn(x)=x>>n (1)
ROTLn(x)=(x<<n)(x>>w-n) (2)
逻辑操作函数:
初始化哈希值:
2)附加填充信息模块中,对输入的明文进行附加填充比特,使得整个明文的数据位数是512的整数倍,同时要求填充后的数据中包含原明文原有数据位数的信息;
3)SHA256每次对数据的处理是以512bits的数据块为处理单元的,每次读入第i个512bits的数据块后,会将512bits的数据分成16份32bits的数据块,假设第一个32bits的数据块为则依次往后第二个为直到最后一个随后通过公式(9)将16X32bits的数据扩展成64X32bits的数据,并将扩展后的结果存放在Wt中;
4)在循环迭代计算这个部分果面主要完成的工作是,计算出当前512bits的哈希值,具体内容为:
(1)如果是加密数据的第一个数据块,首先要使用1)当中的初始化哈希值对内部的8个32bits的数据块a,b,c,d,e,f,g,h进行8X32bits的迭代计算对内部哈希值初始化,否则将使用上一个数据块循环迭代后计算得出的内部哈希值对其进行初始化;
(2)初始化完成后,对a~h进行64次循环计算,如下所示:
For t=0to 63:
{
h=g
g=f
f=e
e=d+T1
d=c
c=b
b=a
a=T1+T2
}
表1 SHA256哈希表
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |
1 | 428a2f98 | 71374491 | b5c0fbcf | e9b5dba5 | 3956c25b | 59f111f1 | 923f82a4 | ab1c5ed5 |
2 | d807aa89 | 12835b01 | 243185be | 550c7dc3 | 72be5d74 | 80de1fe | 9bdc06a7 | c19bf174 |
3 | e49b69c1 | Dfbe4786 | 0fc19dc6 | 240ca1cc | 2de92c6f | 4a7484aa | 5cb0a9dc | 76f988da |
4 | 983e5152 | a831c66d | b00327c8 | bf597fc7 | c6c00bf3 | d5a79147 | 06ca6351 | 14292967 |
5 | 27b70a85 | 2e1b2138 | 4d2c6dfc | 53380d13 | 650a7354 | 766a0abb | 81c2c92e | 92722c85 |
6 | a2bfe8a1 | a81a664b | c24b8b70 | c76c51a3 | a192e819 | a6990624 | f40c3585 | 106aa070 |
7 | 19a4c116 | 1e376c08 | 2748774c | 34b0bcb5 | 391c0cb3 | 4cd8aa4a | 5b9cca4f | 682e6ff3 |
8 | 748f82ee | 78a5636f | 84c87814 | 8cc70208 | 90befffa | a4506ceb | bef9a3f7 | c67178f2 |
(3)完成64次循环运算后,将得到的a~h与第一步中所用的初始化值做模232的加法运算后,得到本次运算的哈希值,如下所示:
(4)重复上面1~3的步骤,直到全部的数据被处理完。
5)将通过前面几个部分计算后最终得到的256bit哈希值输出。
共识层的共识机制采用优化后的Hyperledger Fabric算法,目标是在系统去中心化的前提下使各节点对区块数据有效性达成共识。使用固定背书节点处理交易所带来的安全风险和性能瓶颈问题,提出一种非交互、可验证的随机化背书节点优化方案。基于“背书-排序-验证”的Hyperledger Fabric共识模型,引入背书节点候选集,使用可验证随机函数随机抽取背书节点进行交易背书,实现了可验证情况下背书节点的非交互式随机选取和背书过程的并行处理。优化后的共识机制具有更高的安全性和更快的交易处理速度。
数据仓库层包含源数据、仓库管理、数据仓库和分析工具。通过预处理数据源,采用查询、规则推理、神经网络、机器学习、统计方法等模型进行搜寻有用信息为决策分析人员提供分析依据从而采取相应措施。
应用层包括企业用户、政府部门和个人用户。这些应用对象均具有可编程、可数字化的基本特征。应用城市智能交通多维大数据平台时,通过分析应用对象的其他具体特征,需要选择适合的版本、平台、编程语言、数据结构、共识协议等。
数据仓库层中的数据仓库是基于多维数据模型的构建的。多维数据模型将数据看作数据立方体,允许以多维对数据建模和分析。数据立方体包括维和事实两个要素。维是关于一个组织想要记录的透视或实体。事实是多维数据模型所围绕的中心主题,用数值度量。在数据仓库中,数据立方体是n维的,多维数据模型中,数据组织成多维,每维包含由概念分层定义的多个抽象层。给定一个维的集合,可以构造方体的格。存放最低层汇总的方体成为基本方体,存放最高层汇总的方体成为顶点方体。
数据仓库的数据挖掘的过程中采用联机分析处理技术,联机分析处理可以对数据立方体和数据挖掘的中间结果进行数据的下钻、上卷、旋转、过滤、切块和切片等操作,这些将极大地增强数据挖掘的功能和灵活性。
共识层的共识机制采用优化后的Hyperledger Fabric算法,其优化后的共识机制原理包括:
(1)客户端生成提案proposal<req,s>sig,其中req为交易数据,包括希望调用的chaincode及其参数。s为客户端选择的随机值,作为节点身份抽取算法的种子。客户端对proposal签名后将其发送给背书节点候选集。交易发送成功后,客户端会启动一个计时器;
(2)各个候选背书节点收到客户端的proposal后,首先根据签名验证proposal的完整性,验证失败则终止交易。候选背书节点执行背书节点身份抽取算法(r,proof,result)=VRF_Result(s,SK),并根据result判断自己是否为背书节点;
(3)如果确定自己是背书节点,执行提案并生成读写集rw_set以及背书结果edm。随后生成提案响应信息:proposal_response<rw_set,edm,(r,proof)>sig。背书节点抽取算法流程如下所示:
1)根据输入生成随机数及其证明(r,proof)=F(s,SK)
(4)在计时器结束前的这段时间内,客户端持续收集来自不同背书节点的proposal_response并根据签名验证proposal_response的完整性,验证失败则终止交易。使用背书节点身份验证算法VRF_Verify()验证该节点是否为合法的背书节点。如果不是则丢弃其该背书结果。在合法的proposal response中,如果大部分(超过一半)读写集一致,则根据这些背书结果生成交易tx<r_w_set,{edm}k>sig。其中{edm}k表示来自k个合法背书节点的签名。客户端将交易tx签名后发送给排序节点。
背书节点身份验证算法流程如下所示:
1)验证随机数合法性bool=V(s,r,PK);
2)返回验证结果如果随机数合法且满足阈值条件,认定其为背书节点。如果返回yes;否则返回no。需要注意的是由于背书节点身份抽取是一个概率算法,可能存在一笔交易没有对应的背书节点的情况,因此需要设置适当的阈值λ来降低这种情况产生的概率;
(5)排序节点监听并接收全网所有交易,并将交易打包成区块block<{tx}m>sig,{tx}m表示区块中包含的m个有序交易。排序节点对block签名后将其进行广播;
(6)提交节点收到blcok后首先验证签名检查区块完整性,之后对读写集进行验证,并依此更新账本。当各个提交节点完成以上操作后,可以视为对该客户端发起的交易达成了共识。
优化的共识机制方案引入了背书节点候选集,通过可验证随机函数在候选集中随机选取交易背书节点完成交易背书。方案的改进一方面实现了交易背书前背书节点的身份隐私保护;另一方面也动态随机扩展了交易背书节点的数量,提高了数据处理能力。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。
Claims (4)
1.基于区块链技术构建城市智能交通多维大数据平台,其特征在于:所述的城市智能交通多维大数据平台包括数据层、网络层、共识层、激励层、合约层、数据仓库层和应用层,区块链节点数据包括监管准入服务器、企业基础数据库、政府部门基础数据库、行业组织基础数据库、相关科研机构基础数据库、车载设备、道路检测设备、安保设备、传感器和其他数据源;
所述的数据层采用哈希函数构建基于时间戳的数据区块链式结构,并采用加密算法进行加密处理,让区块链各区块中包含了记录数据时对应时间的“时间戳”,形成不可篡改和不可伪造的区块数据,保证交通数据在后期二次处理前的真实性和可靠性;
所述的加密算法采用非对称加密技术,确保数据安全采用Merkle树数据结构构造区块底层交易数据来完成区块数据的快速校验,网络层的P2P组网方式采用去中心化的节点和层级结构,保证区块链的去中心化,网络各节点均按照数字传播协议参与验证其他新生成的区块数据,保证区块数据的可信度,数据验证机制则确保验证无效的数据被及时废止;
所述的共识层的共识机制采用优化后的Hyperledger Fabric算法,目标是在系统去中心化的前提下使各节点对区块数据有效性达成共识,使用固定背书节点处理交易所带来的安全风险和性能瓶颈问题,提出一种非交互、可验证的随机化背书节点优化方案;
所述的Hyperledger Fabric共识模型基于“背书-排序-验证”,引入背书节点候选集,使用可验证随机函数随机抽取背书节点进行交易背书,实现了可验证情况下背书节点的非交互式随机选取和背书过程的并行处理;
共识层的共识机制采用优化后的Hyperledger Fabric算法,其优化后的共识机制原理包括:
(1)客户端生成提案proposal<req,s>sig,其中req为交易数据,包括希望调用的chaincode及其参数。s为客户端选择的随机值,作为节点身份抽取算法的种子,客户端对proposal签名后将其发送给背书节点候选集。交易发送成功后,客户端会启动一个计时器;
(2)各个候选背书节点收到客户端的proposal后,首先根据签名验证proposal的完整性,验证失败则终止交易。候选背书节点执行背书节点身份抽取算法(r,proof,result)=VRF_Result(s,SK),并根据result判断自己是否为背书节点;
(3)如果确定自己是背书节点,执行提案并生成读写集rw_set以及背书结果edm。随后生成提案响应信息:proposal_response<rw_set,edm,(r,proof)>sig;
(4)在计时器结束前的这段时间内,客户端持续收集来自不同背书节点的proposal_response并根据签名验证proposal_response的完整性,验证失败则终止交易,使用背书节点身份验证算法VRF_Verify()验证该节点是否为合法的背书节点,如果不是则丢弃其该背书结果,在合法的proposal response中,如果大部分即超过一半读写集一致,则根据这些背书结果生成交易tx<r_w_set,{edm}k>sig,其中{edm}k表示来自k个合法背书节点的签名。客户端将交易tx签名后发送给排序节点;
(5)排序节点监听并接收全网所有交易,并将交易打包成区块block<{tx}m>sig,{tx}m表示区块中包含的m个有序交易,排序节点对block签名后将其进行广播;
(6)提交节点收到blcok后首先验证签名检查区块完整性,之后对读写集进行验证,并依此更新账本,当各个提交节点完成以上操作后,可以视为对该客户端发起的交易达成了共识;
所述的数据仓库层包含源数据、仓库管理、数据仓库和分析工具,通过预处理数据源,采用查询、规则推理、神经网络、机器学习和统计方法模型进行搜寻有用信息为决策分析人员提供分析依据从而采取相应措施;
所述的应用层包括企业用户、政府部门和个人用户,这些应用对象均具有可编程、可数字化的基本特征,应用城市智能交通多维大数据平台时,通过分析应用对象的其他具体特征,需要选择适合的版本、平台、编程语言、数据结构和共识协议;
所述的数据仓库层中的数据仓库是基于多维数据模型的构建的,多维数据模型将数据看作数据立方体,允许以多维对数据建模和分析;
所述数据立方体包括维和事实两个要素,所述维是关于一个组织想要记录的透视或实体,所述事实是多维数据模型所围绕的中心主题,用数值度量;
在数据仓库中,数据立方体是n维的,多维数据模型中,数据组织成多维,每维包含由概念分层定义的多个抽象层,给定一个维的集合,构造方体的格,存放最低层汇总的方体成为基本方体,存放最高层汇总的方体成为顶点方体;
数据仓库的数据挖掘的过程中采用联机分析处理技术,联机分析处理可以对数据立方体和数据挖掘的中间结果进行数据的下钻、上卷、旋转、过滤、切块和切片操作。
2.根据权利要求1所述的基于区块链技术构建城市智能交通多维大数据平台,其特征在于:所述哈希函数使用的是FIPS180-2标准中SHA2算法中的SHA256算法,具体如下:
SHA256函数中使用有六个逻辑函数、两个移位函数以及8个32bit的初始化哈希值,所有函数的操作均是以32bit的数据块为单位进行运算的,同时所有的加法操作都是模232的加法,算法的具体内容如下所示:
1)移位函数:
SHRn(x)=x>>n (1)
ROTLn(x)=(x<<n)(x>>w-n) (2)
逻辑操作函数:
初始化哈希值:
2)附加填充信息模块中,对输入的明文进行附加填充比特,使得整个明文的数据位数是512的整数倍,同时要求填充后的数据中包含原明文原有数据位数的信息;
3)SHA256每次对数据的处理是以512bits的数据块为处理单元的,每次读入第i个512bits的数据块后,会将512bits的数据分成16份32bits的数据块,假设第一个32bits的数据块为则依次往后第二个为直到最后一个随后通过公式(9)将16X32bits的数据扩展成64X32bits的数据,并将扩展后的结果存放在Wt中;
4)在循环迭代计算这个部分果面主要完成的工作是,计算出当前512bits的哈希值,具体内容为:
(1)如果是加密数据的第一个数据块,首先要使用1)当中的初始化哈希值对内部的8个32bits的数据块a,b,c,d,e,f,g,h进行8X32bits的迭代计算对内部哈希值初始化,否则将使用上一个数据块循环迭代后计算得出的内部哈希值对其进行初始化;
(2)初始化完成后,对a~h进行64次循环计算,如下所示:
For t=0 to 63:
{
h=g
g=f
f=e
e=d+T1
d=c
c=b
b=a
a=T1+T2
}
(3)完成64次循环运算后,将得到的a~h与第一步中所用的初始化值做模232的加法运算后,得到本次运算的哈希值,如下所示:
(4)重复上面1~3的步骤,直到全部的数据被处理完;
5)将通过前面几个部分计算后最终得到的256bit哈希值输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110222195.4A CN112925826A (zh) | 2021-02-28 | 2021-02-28 | 基于区块链技术构建城市智能交通多维大数据平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110222195.4A CN112925826A (zh) | 2021-02-28 | 2021-02-28 | 基于区块链技术构建城市智能交通多维大数据平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112925826A true CN112925826A (zh) | 2021-06-08 |
Family
ID=76172506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110222195.4A Withdrawn CN112925826A (zh) | 2021-02-28 | 2021-02-28 | 基于区块链技术构建城市智能交通多维大数据平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112925826A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113961545A (zh) * | 2021-10-26 | 2022-01-21 | 北京市科学技术情报研究所 | 基于区块链的信息价值数据库构建方法 |
CN114024985A (zh) * | 2021-10-29 | 2022-02-08 | 湖南大学 | 一种区块链的预言机计算架构及处理大量数据的方法 |
CN114170722A (zh) * | 2021-12-14 | 2022-03-11 | 杨宁波 | 一种基于链上随机数的选房摇号方法 |
WO2024027514A1 (zh) * | 2022-08-04 | 2024-02-08 | 腾讯科技(深圳)有限公司 | 区块链数据处理方法、装置、计算机设备、介质及产品 |
-
2021
- 2021-02-28 CN CN202110222195.4A patent/CN112925826A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113961545A (zh) * | 2021-10-26 | 2022-01-21 | 北京市科学技术情报研究所 | 基于区块链的信息价值数据库构建方法 |
CN114024985A (zh) * | 2021-10-29 | 2022-02-08 | 湖南大学 | 一种区块链的预言机计算架构及处理大量数据的方法 |
CN114170722A (zh) * | 2021-12-14 | 2022-03-11 | 杨宁波 | 一种基于链上随机数的选房摇号方法 |
WO2024027514A1 (zh) * | 2022-08-04 | 2024-02-08 | 腾讯科技(深圳)有限公司 | 区块链数据处理方法、装置、计算机设备、介质及产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112925826A (zh) | 基于区块链技术构建城市智能交通多维大数据平台 | |
Shen et al. | Secure SVM training over vertically-partitioned datasets using consortium blockchain for vehicular social networks | |
Huang et al. | Behavior pattern clustering in blockchain networks | |
EP3693886B1 (en) | Optimizations for verification of interactions system and method | |
Meng et al. | Grecs: Graph encryption for approximate shortest distance queries | |
Karaarslan et al. | Data storage in the decentralized world: Blockchain and derivatives | |
CN109766389B (zh) | 一种基于位图索引的区块链轻客户端验证查询方法 | |
CN106897368A (zh) | Merkle哈希求和树及其可验证数据库更新操作方法 | |
JP2021515271A (ja) | コンピュータにより実施される投票処理およびシステム | |
Liu et al. | An improved dynamic provable data possession model | |
CN104809244A (zh) | 一种大数据环境下的数据挖掘方法和装置 | |
CN112686393A (zh) | 一种联邦学习系统 | |
CN112613601A (zh) | 神经网络模型更新方法、设备及计算机存储介质 | |
CN113626875A (zh) | 一种区块链分片赋能的知识图谱文件存储方法 | |
Li et al. | Privacy-preserving reverse nearest neighbor query over encrypted spatial data | |
Mizrahi et al. | State sharding with space-aware representations | |
Behera | Privacy preserving C4. 5 using Gini index | |
Sriramoju et al. | An Analysis on Effective, Precise and Privacy Preserving Data Mining Association Rules with Partitioning on Distributed Databases | |
CN116484399A (zh) | 构建密文范围检索结果完备性验证数据结构的方法及系统 | |
KumaraSwamy et al. | Association rule sharing model for privacy preservation and collaborative data mining efficiency | |
Groot Roessink et al. | Experimental review of the IKK query recovery attack: Assumptions, recovery rate and improvements | |
Mishra et al. | Fibonacci tree structure based privacy preserving public auditing for IoT enabled data in cloud environment | |
Shuguo et al. | Multi-party privacy-preserving decision trees for arbitrarily partitioned data | |
Aldoubaee et al. | A Systematic Review on Blockchain Scalability | |
Dass et al. | Hybrid coherent encryption scheme for multimedia big data management using cryptographic encryption methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210608 |
|
WW01 | Invention patent application withdrawn after publication |