CN116366678B - 一种数据运营智能平台动态数据分布式存储系统 - Google Patents
一种数据运营智能平台动态数据分布式存储系统 Download PDFInfo
- Publication number
- CN116366678B CN116366678B CN202310646409.XA CN202310646409A CN116366678B CN 116366678 B CN116366678 B CN 116366678B CN 202310646409 A CN202310646409 A CN 202310646409A CN 116366678 B CN116366678 B CN 116366678B
- Authority
- CN
- China
- Prior art keywords
- data
- new block
- block
- index
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 238000013500 data storage Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000009825 accumulation Methods 0.000 claims description 4
- 244000089409 Erythrina poeppigiana Species 0.000 claims description 3
- 101100113998 Mus musculus Cnbd2 gene Proteins 0.000 claims description 3
- 235000009776 Rathbunia alamosensis Nutrition 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 16
- 238000000034 method Methods 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/105—Multiple levels of security
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
- H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
- H04L2463/102—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying security measure for e-commerce
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及电数字数据存储技术领域,具体涉及一种数据运营智能平台动态数据分布式存储系统,该系统包括存储器和处理器,处理器执行存储器存储的计算机程序,以实现如下步骤:获取新区块和新区块的上一区块对应的数据摘要,根据数据摘要中的各个属性摘要数据,确定差异度指标;若差异度指标不小于预设差异度指标,则确定各目标属性摘要数据,进而确定合理度指标;若合理度指标不小于预设合理度指标,则确定可信度指标;若可信度指标不小于预设可信度指标,则对商品供应链数据集合进行存储处理。本发明对新区块对应的数据进行多次数据审查,有助于提升数据运营平台动态数据存储的可靠性,主要应用于数据分布式存储领域。
Description
技术领域
本发明涉及电数字数据存储技术领域,具体涉及一种数据运营智能平台动态数据分布式存储系统。
背景技术
随着云计算、大数据、人工智能和知识应用的发展,以往的商业模式被不断颠覆,数据智能和人工智能(Artificial Intelligence,AI)决策成为新的驱动力。对于数据运营,数据智能和AI决策提出了更具体和更复杂的要求,数据运营是指通过运用数据来指导决策、实现业务增长的过程。数据运营智能平台的主要业务为供应链、商品数据和终端渠道数据,其中,终端渠道数据的数据洞察包含计划、采购、生产、仓储、销售、履约、营销等环节,其可以通过数字大屏、商务智能(Business Intelligence,BI)数据仓库可视化报表、数据智能应用、用户洞察以及智能推荐等实现。实现对各个环节的业务数据监测、分析以及智能决策已然成为了促进行业高质量发展的关键内容,故需要对整个供应链的各个环节的供应链商品数据进行安全可靠存储,以便于后续进行供应链全流程的数据共享,实现产品溯源操作。
现如今数据运营智能平台通过基于区块链的分布存储系统进行数据洞察,以保证已记录数据的可靠性和可信度,保护数据不被篡改和伪造。作为一个分布式完成的链式结构,对于存入的数据是否合理,是否是伪造信息以及安全程度,并不能做出准确判断。同时,对于一些用户的输入性错误,也不能有一个很有效的监测,这样存入区块链的数据区块不但无用,还会扰乱产品溯源,甚至导致关键数据泄露。最终,造成数据运营平台动态数据存储的可靠性较差的结果。
发明内容
为了解决上述数据运营平台动态数据存储可靠性较差的技术问题,本发明的目的在于提一种数据运营智能平台动态数据分布式存储系统,所采用的技术方案具体如下:
本发明一个实施例提供了一种数据运营智能平台动态数据分布式存储系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现如下步骤:
获取数据运营平台中新区块和新区块的上一区块对应的商品供应链数据集合和新区块的用户权限等级;其中,所述商品供应链数据集合包括至少两种属性的商品环节数据;
获取所述新区块和新区块的上一区块的商品供应链数据集合的数据摘要,根据新区块和新区块的上一区块对应的数据摘要中的各个属性摘要数据,确定新区块的差异度指标;其中,所述数据摘要包括与各个商品环节数据相对应的属性摘要数据;
若新区块的差异度指标不为预设差异度指标,则确定新区块对应的数据摘要中的各目标属性摘要数据;
根据新区块和新区块的上一区块对应的数据摘要中的各目标属性摘要数据,确定各目标属性摘要数据的合理度,进而将最小合理度确定为新区块的合理度指标;
若新区块的合理度指标不小于预设合理度指标,则根据新区块的差异度指标、用户权限等级和所述各目标属性摘要数据的合理度,确定新区块的可信度指标;
若新区块的可信度指标不小于预设可信度指标,则对新区块对应的商品供应链数据集合进行存储处理。
进一步地,根据新区块和新区块的上一区块对应的数据摘要中的各个属性摘要数据,确定新区块的差异度指标,包括:
计算新区块中任意一个属性摘要数据与新区块的上一区块中对应属性摘要数据之间的差值,将所述差值确定为新区块中对应属性摘要数据的第一差异因子;
将所述对应属性摘要数据的第一差异因子与新区块的上一区块中对应属性摘要数据的比值的平方,确定为新区块中对应属性摘要数据的第二差异因子;
计算新区块中所有属性摘要数据的第二差异因子的累加和,将所述累加和确定为新区块的第三差异因子;
对所述第三差异因子进行开平方处理,将开平方处理后的第三差异因子确定为新区块的差异度指标。
进一步地,确定新区块对应的数据摘要中的各目标属性摘要数据,包括:将第一差异因子不为预设差异度指标的属性摘要数据确定为新区块对应的数据摘要中的目标属性摘要数据,从而获得新区块对应的数据摘要中的各目标属性摘要数据。
进一步地,根据新区块和新区块的上一区块对应的数据摘要中的各目标属性摘要数据,确定各目标属性摘要数据的合理度,包括:
计算新区块对应的数据摘要中任意一个目标属性摘要数据与新区块的上一区块中对应的数据摘要中对应目标属性摘要数据之间的差值的绝对值;获取各目标属性摘要数据的正常波动范围宽度,将所述绝对值与对应目标属性摘要数据的正常波动范围宽度之间的比值确定为对应目标属性摘要数据的初始合理度,对所述初始合理度进行反比例的归一化处理,获得对应目标属性摘要数据的合理度。
进一步地,所述可信度指标的计算公式为:
其中,Cr为新区块的可信度指标,L为新区块的用户权限等级,L为0、0.5或1,为圆周率,S为新区块的差异度指标,n为新区块对应的数据摘要中目标属性摘要数据的个数,j为目标属性摘要数据的序号,/>为新区块对应的数据摘要中第j个目标属性摘要数据的合理度,/>为第j个目标属性摘要数据的合理标准值,sin为正弦函数。
进一步地,获取所述新区块和新区块的上一区块的商品供应链数据集合的数据摘要,包括:
利用哈希函数对新区块和新区块的上一区块对应的商品供应链数据集合进行摘要提取处理,获得新区块和新区块的上一区块对应的数据摘要。
本发明具有如下有益效果:
本发明提供了一种数据运营智能平台动态数据分布式存储系统,应用于数据分布式存储领域,数据运营智能平台动态数据属于电数字数据,首先,本发明利用电数字数据处理技术,对新区块和新区块的上一区块对应的商品供应链数据集合进行数据量化处理,确定新区块的差异度指标;将差异度指标作为初次异常判断的指标,评判新区块与前一区块之间的相似程度,通过差异度指标,可以有效判断新区块对应的商品供应链数据集合是否存在严重的数据错误问题。然后,当不存在严重的数据错误问题,确定新区块和新区块的上一区块对应的各目标属性摘要数据,根据各目标属性摘要数据,确定可以评估新区块对应的动态数据合理程度的指标,即新区块的合理度指标;将合理度指标作为再次异常判断的指标,评判新区块对应的各目标属性摘要数据的数值变化合理程度,通过合理度指标,可以准确判断新区块对应的各目标属性摘要数据是否存在不合理的数值变化。其次,新区块对应的各目标属性摘要数据的数值变化均为合理变化时,根据新区块的差异度指标、用户权限等级和各目标属性摘要数据的合理度,确定可以评估新区块对应的动态数据的可信程度,即新区块的可信度指标;将可信度指标作为最后一次异常判断的指标,评判新区块对应的商品供应链数据集合的可靠程度,通过可信度指标,可以精准分析新区块对应的商品供应链数据集合在规定流程标准下的正确程度。本发明对数据运营智能平台的供应链数据进行分布式存储同时,依据区块之间的数据关系以及上传方的用户权限等信息,对新区块的数据信息进行多次数据审查,有效防范用户误操作以及数据篡改伪造,使得在进行数据运营智能平台的供应链数据洞察时使用数据的可靠性得到保障,进一步提高了数据运营平台动态数据存储的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一种数据运营智能平台动态数据分布式存储方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
为了进一步提高数据运营平台动态数据存储的可靠性,本发明在区块链技术的基础上,利用整个供应链中新区块以及前一区块对应的商品供应链数据集合和用户权限等因素,对通过智能合约检测的数据进行可信度和合理度的判断分析,以便于对异常供应链数据进行检测提醒以及防范黑客的伪装攻击。具体,本实施例提供了一种数据运营智能平台动态数据分布式存储系统,包括存储器和处理器,处理器执行存储器存储的计算机程序,以实现如下步骤:
获取数据运营平台中新区块和新区块的上一区块对应的商品供应链数据集合和新区块的用户权限等级;
获取新区块和新区块的上一区块的商品供应链数据集合的数据摘要,根据新区块和新区块的上一区块对应的数据摘要中的各个属性摘要数据,确定新区块的差异度指标;
若新区块的差异度指标不小于预设差异度指标,则确定新区块对应的数据摘要中的各目标属性摘要数据;
根据新区块和新区块的上一区块对应的数据摘要中的各目标属性摘要数据,确定新区块的合理度指标;
若新区块的合理度指标不小于预设合理度指标,则根据新区块的差异度指标、合理度指标和用户权限等级,确定新区块的可信度指标;
若新区块的可信度指标不小于预设可信度指标,则对新区块对应的商品供应链数据集合进行存储处理。
下面对上述各个步骤进行详细展开:
参考图1,示出了本发明一种数据运营智能平台动态数据分布式存储方法的流程图,该存储方法包括以下步骤:
S1,获取数据运营平台中新区块和新区块的上一区块对应的商品供应链数据集合和新区块的用户权限等级。
在本实施例中,对于数据运营平台的供应链业务,先获取供应链的全流程中新区块中用户需要存储到区块的所有数据信息,即商品供应链数据集合,商品供应链数据集合包含了不同属性的商品环节数据。商品环节数据为每个供应链环节产生的数据,供应链环节可以包括:供应商、厂家、分销企业、零售企业和消费者。
然后,利用数据采集系统,获取新区块进行数据上传的用户权限等级,用户权限等级共分为0,0.5,1,三个级别,其中,0可以被表征为最高等级,即系统管理员,系统管理员上传的数据默认为合理数据;0.5可以被表征为供应链环节所对应的公司老板或管理员,一般情况下在通过管理员审核的情况下对该环节上传的数据具有绝对正确权;1可以被表征为供应链环节所对应的员工,该员工只负责上传数据,对上传数据的正确性不产生任何影响。
最后,将新区块中用户需要存储到区块的商品供应链数据集合输入到智能合约分析系统中,对不满足行业标准的数据进行筛选回退,将通过智能合约筛选的数据组成的集合更新为对应新区块的商品供应链数据集合,也就是商品供应链数据集合为通过智能合约筛选且由各个供应链环节产生的数据集合。为了便于后续计算新区块的差异度指标,从关联数据库中选取出新区块的前一区块对应的商品供应链数据集合。对于新区块对应的商品供应链数据集合,需要先进行可信度分析,符合存入条件后,才能将商品供应链数据集合存入到新区块和关系型数据库中。
其中,智能合约是一种基于区块链技术的自动化合约,可以在没有第三方干预的情况下执行和管理合约。智能合约的本质是一段代码,其可以自动执行合约条款,根据预设条件自动触发交易和支付,并将交底记录保存在区块链上,以确保交易的可靠性和可信度。关联数据库是与区块所关联的关系型数据库,其独立于整个区块链之外,查询时也是利用区块中的摘要信息进行检索获取真实数据,真实数据也就是已经存储在区块内动态数据。
值得说明的是,第一个区块的数据信息为原始数据信息,一般为最高用户等级进行数据存储处理,不会存在存储可靠性较差的问题,故新区块不为整个供应链中的第一个区块,也就是不需要对第一个区块的供应链商品数据集合进行可信度分析。
至此,本实施例获得了数据运营平台中新区块和新区块的上一区块对应的商品供应链数据集合和新区块的用户权限等级。
S2,获取新区块和新区块的上一区块的商品供应链数据集合的数据摘要,根据新区块和新区块的上一区块对应的数据摘要中的各个属性摘要数据,确定新区块的差异度指标。
第一步,获取新区块和新区块的上一区块的商品供应链数据集合的数据摘要。
在本实施例中,利用哈希函数算法,对新区块和新区块的上一区块对应的商品供应链数据集合进行摘要提取处理,可以获得了新区块和新区块的上一区块对应的数据摘要,数据摘要包括与各个供应链商品数据相对应的属性摘要数据,属性摘要数据可以为供货量、损坏率、出货量、产品入库时间、物流编号、销售数量、销售额、买入价和卖出价等。将新区块对应的数据摘要记为,将新区块的上一区块对应的数据摘要记为/>,数据摘要中包含不同属性的属性摘要数据,每个区块对应的属性摘要数据的种类个数相等。哈希函数算法的实现过程为现有技术,不在本发明的技术范围,此处不再进行详细阐述。
第二步,根据新区块和新区块的上一区块对应的数据摘要中的各个属性摘要数据,确定新区块的差异度指标。
需要说明的是,在供应链的全流程中,对于每个区块的属性摘要数据,尤其库存量、价格等,在新区块的上一区块的数量基础上,新区块的数量进行增加或是减少,即新区块的上一区块和新区块对应的数据摘要必要是存在差异的。整个供应链中区块前后对应的某些种类的属性摘要数据存在着递增或是递减的数据变化关系,因此,对供应链的商品供应链数据集合进行可信度计算时,通过分析新区块和新区块的上一区块对应的两组数据之间的所有属性摘要数据的数值差异情况,确定新区块的差异度指标,以便于判断新区块对应的商品供应链数据集合是否存在异常。差异度指标的具体实现的步骤可以包括:
在本实施例中,计算新区块中任意一个属性摘要数据与新区块的上一区块中对应属性摘要数据之间的差值,将差值确定为新区块中对应属性摘要数据的第一差异因子;将对应属性摘要数据的第一差异因子与新区块的上一区块中对应属性摘要数据的比值的平方,确定为新区块中对应属性摘要数据的第二差异因子;计算新区块中所有属性摘要数据的第二差异因子的累加和,将累加和确定为新区块的第三差异因子;对第三差异因子进行开平方处理,将开平方处理后的第三差异因子确定为新区块的差异度指标。
作为示例,新区块的差异度指标的计算公式可以为:
其中,S为新区块的差异度指标,n为新区块和新区块的上一区块对应的数据摘要中属性摘要数据的种类个数,i为新区块和新区块的上一区块对应的数据摘要中不同属性摘要数据的序号,为新区块对应的数据摘要中第i个属性摘要数据,/>为新区块的上一区块对应的数据摘要中第i个属性摘要数据,/>为新区块中第i个属性摘要数据的第一差异因子,/>为新区块中第i个属性摘要数据的第二差异因子,/>为新区块中第i个属性摘要数据的第三差异因子。
在差异度指标的计算公式中,差异度指标可以被表征为新区块和新区块的上一区块对应的数据摘要之间的相似度,新区块的差异度指标越大时,新区块与新区块的上一区块越不相似,说明新区块对应的商品供应链数据集合没有出现异常;新区块的差异度指标越小时,新区块与新区块的上一区块越相似,说明新区块对应的商品供应链数据集合出现异常,系统应自动驳回新区块的存储申请并进行警告。第一差异因子与差异度指标S为正相关,第一差异因子越大,差异度指标S越大,新区块与前一区块越不相似;第二差异因子/>可以被表征为两个区块的第i个属性摘要数据之间的差异情况,由于不同属性摘要数据在相邻区块中数值变化不同,故/>存在负数、正数和零的情况,而差异度指标衡量两个区块相同种类的属性摘要数据之间的数值差异,而且开平方内的数值需要大于0,故需要对/>进行平方处理,即/>;第三差异因子/>可以被表征为两个区块内所有属性摘要数据之间的差异情况。
至此,本实施例获得了新区块的差异度指标。
S3,若新区块的差异度指标不为预设差异度指标,则确定新区块对应的数据摘要中的各目标属性摘要数据。
需要说明的是,为了进一步分析新区块对应的商品供应链数据集合的异常情况,判断新区块的差异度指标是否为预设差异指标,这里的预设差异指标为数值0。若新区块的差异度指标为预设差异指标0,说明新区块对应的数据摘要和前一区块对应的数据摘要的属性摘要数据完全一致,没有发生任何变化,但供应链的每个环节的产品会出现卖出、加价以及运输损耗等问题,当差异度指标为数值0时,两组数据完全相同,属于严重的数据错误异常问题,应当截止新区块对应的商品供应链数据集合的上传并进行驳回处理,终止上传;若新区块的差异度指标不为预设差异指标0,通过数据摘要查询新区块中发生变化的属性摘要数据,发生变化的属性摘要数据一般为库存、价格和损失率等,对发生变化的属性摘要数据进行分析,以便后续获得合理度指标。
在本实施例中,当新区块的差异度指标不为预设差异度指标0时,将第一差异因子不为预设差异度指标0的属性摘要数据确定为新区块对应的数据摘要中的目标属性摘要数据,从而获得新区块对应的数据摘要中的各目标属性摘要数据。例如,新区块和新区块的上一区块对应的数据摘要中第2个属性摘要数据发生变化,第2个属性摘要数据可以为损失率,即第一差异因子,说明第2个属性摘要数据损失率为目标属性摘要数据。新区块对应的数据摘要中每个属性摘要数据均进行第一差异因子计算,获得每个属性摘要数据的第一差异因子,将数值不为0的属性摘要数据判定为目标属性摘要数据。新区块对应的目标属性摘要数据可以为:在新区块对应的数据摘要中,与新区块的上一区块中对应属性摘要数据相比存在数值变化的属性摘要数据。
至此,本实施例获得了新区块对应的数据摘要中的各目标属性摘要数据。
S4,根据新区块和新区块的上一区块对应的数据摘要中的各目标属性摘要数据,确定各目标属性摘要数据的合理度,进而将最小合理度确定为新区块的合理度指标。
第一步,根据新区块和新区块的上一区块对应的数据摘要中的各目标属性摘要数据,确定各目标属性摘要数据的合理度。
需要说明的是,对于需要存储到新区块的商品供应链数据集合,若存在一个或多个目标属性摘要数据的变化异常,则整个商品供应链数据集合中的所有数据均不可上传到新区块。因此,通过新区块和前一区块对应的数据摘要中各目标属性摘要数据的变化情况,结合历史数据统计所得的属于目标属性摘要数据的正常变化区间,量化新区块对应的数据摘要中每个目标属性摘要数据的合理程度。合理度的具体的实现步骤可以包括:
在本实施例中,计算新区块对应的数据摘要中任意一个目标属性摘要数据与新区块的上一区块中对应的数据摘要中对应目标属性摘要数据之间的差值的绝对值,获取各目标属性摘要数据的正常波动范围宽度,将绝对值与对应目标属性摘要数据的正常波动范围宽度之间的比值确定为对应目标属性摘要数据的初始合理度,对初始合理度进行反比例的归一化处理,获得对应目标属性摘要数据的合理度。其中,对于各目标属性摘要数据的正常波动范围宽度,可以通过历史数据确定各目标属性摘要数据的数值变化范围,计算目标属性摘要数据在历史上的最大值和最小值之间的差值绝对值,将最大值和最小值之间的差值绝对值作为对应目标属性摘要数据的正常波动范围宽度。
作为示例,计算每个目标属性摘要数据的合理度,目标属性摘要数据的合理度的计算公式可以为:
其中,为新区块的第j个目标属性摘要数据的合理度,e为自然常数,/>为新区块的第j个目标属性摘要数据,/>为新区块的上一区块的第j个目标属性摘要数据,为对/>求绝对值,/>为第j个目标属性摘要数据的正常波动范围宽度,为新区块的第j个目标属性摘要数据的初始合理度,/>为自然常数的次幂。
在目标属性摘要数据的合理度的计算公式中,可以被用于表征新区块的第j个目标属性摘要数据与新区块的上一区块的第j个目标属性摘要数据之间的数值差异程度,/>可以被用于表征两个区块的第j个目标属性摘要数据之间的数值差异程度,在第j个目标属性摘要数据的正常波动范围宽度中的占比情况;数据差异程度在正常波动范围宽度中的占比/>越大,新区块的第j个目标属性摘要数据的合理度/>越小,说明新区块的第j个目标属性摘要数据的数值变化越不合理,否则,说明新区块的第j个目标属性摘要数据的数值变化越合理;为了实现/>的量化处理,通过大数据统计获得目标属性摘要数据程度的正常波动范围/>,并以正常波动范围为基准实现量化,即/>;为了使得到的合理度更加直观,利用以自然常数e为底的指数函数对目标属性摘要数据进行了区间变换处理,使初始合理度与合理度为负相关关系,即/>初始合理度越大,合理度/>越小。
第二步,根据每个目标属性摘要数据的合理度,确定新区块的合理度指标。
在本实施例中,获得每个目标属性摘要数据的合理度后,选取合理度最小的数值评判新区块的整体合理度,即选取最不合理的一项目标属性摘要数据的合理度作为整体合理度进行后续的评判。具体为:从新区块对应的数据摘要中确定最小合理度,将最小合理度确定为新区块的合理度指标,从而获得新区块的合理度指标,新区块的合理度指标的表示形式可以为:,其中,R为新区块的合理度指标,/>为求最小值函数,/>为第1个目标属性摘要数据的合理度,/>为第j个目标属性摘要数据的合理度,/>为第m个目标属性摘要数据的合理度,m为新区块对应的数据摘要中目标属性摘要数据的种类个数。
至此,本实施例获得了新区块的合理度指标。
S5,若新区块的合理度指标不小于预设合理度指标,则根据新区块的差异度指标、每个目标属性摘要数据的合理度和用户权限等级,确定新区块的可信度指标。
需要说明的是,在获得新区块的合理度指标后,结合大量的历史数据分析获得的预设合理度指标,判断新区块的合理度指标是否小于预设合理度指标。其中,对于预设合理度指标,首先,确定合理度指标对应的属性摘要数据,然后通过大数据中所存储的变化最为明显的对应属性摘要数据计算得到的,具体为计算在对应环节中对应属性摘要数据的大量历史数值的众数,作为对应属性摘要数据的预设合理度指标。通过合理度指标与预设合理度指标之间的对比,可以有效排除新区块对应环节受顾客激增或是自然现象等原因的影响,导致新区块出现伪异常,避免将受外界因素影响的动态数据判定为异常数据。
在本实施例中,若新区块的合理度指标小于预设合理度指标,说明新区块对应的商品供应链数据集合的不合理程度较大,则对新区块本次上传用户进行警告并阻断本次的数据存储;若新区块的合理度指标不小于预设合理度指标,说明新区块对应的商品供应链数据集合存在异常的可能性很小,则基于新区块的差异度指标、每个目标属性摘要数据的合理度和用户权限等级,进一步衡量新区块的可信度。其中,可信度指标用于量化该次上传数据在规定流程标准下的正确程度,正确程度与数据合理度、差异度指标以及用户权限等级有关,可信度指标与数据合理度、差异度为正相关关系,与用户权限等级为负相关关系。可信度指标的具体实现步骤可以包括:
首先,量化每个目标属性摘要数据的合理度与合理标准值;然后,结合差异度指标,对新区块对应的所有目标属性摘要数据进行量化处理;其次,利用三角函数中的正弦函数对数值范围进行调节,得到可信因子;接着,由于存储系统存在用户倍数关系,利用用户权限等级对可信因子进行调节,并进行相应调整,符合各个计算因素与可信度指标的相关关系。作为示例,新区块的可信度指标的计算公式可以为:
其中,Cr为新区块的可信度指标,L为新区块的用户权限等级,为圆周率,S为新区块的差异度指标,n为新区块对应的数据摘要中目标属性摘要数据的个数,j为目标属性摘要数据的序号,/>为新区块对应的数据摘要中第j个目标属性摘要数据的合理度,/>为第j个目标属性摘要数据的合理标准值,sin为正弦函数。
在可信度指标的计算公式中,的取值范围为0到1之间,/>可以实现对新区块对应的不同目标属性摘要数据的合理度的整体量化;同时,结合可以表征新区块差异程度的差异度指标S,有助于增强可信程度计算的准确性,差异度指标/>的取值范围为0到1之间,差异度指标在可信度指标的计算公式中可以被表征为调节参数或是影响因子,不会对可信度指标计算的整体走向产生影响;/>为新区块对应的数据摘要中第j个目标属性摘要数据的合理度与第j个目标属性摘要数据的合理标准值之间的比值;每个目标属性摘要数据均有其对应的合理标准值,合理标准值的确定方式与预设合理度指标的确定方式保持一致,即通过不同目标属性摘要数据对应的大量的历史数值的众数确定;为了结合所有不同目标属性摘要数据,对/>进行累乘计算,对/>进行n次方根操作,可以有效降低目标属性摘要数据的数量的影响;/>的取值范围同样为0到1之间,正弦函数可以适用于范围调节,将一组递增的数值以同样递增方式在0到1上分布,另外利用/>正弦函数先快后慢的变化趋势,放大数据中小幅度变化所产生的影响,由于大幅度变化已近超过变化区间,故大幅度变化的辨识不会产生太大影响,可以放缓大幅度变化的变化趋势;/>的取值范围为0到1之间,用户权限等级/>与可信度指标/>为负相关,用户权限等级/>越高,用户等级越低,最高用户等级对应的用户权限等级/>为0,说明在对应用户权限等级上获取的动态数据的可信度越差,新区块的可信度指标/>越小;当用户权限等级/>为0时,新区块的可信度指标最大,可信度指标Cr为1。
至此,本实施例获得了新区块的可信度指标。
S6,若新区块的可信度指标不小于预设可信度指标,则对新区块对应的商品供应链数据集合进行存储处理。
在本实施例中,在获得新区块的可信度指标后,按照新区块的可信度指标的确定方式,获取多个历史供应链中对应区块的可信度指标,将多个历史供应链中对应环节区块的可信度指标的平均值作为预设可信度指标,预设可信度指标可以由实施者根据具体实际情况进行设置。使新区块的可信度指标与预设可信度指标进行比对处理,若新区块的可信度指标小于预设可信度指标,则通知审查员对新区块对应的商品供应链数据集合进行审查,当审查通过时,进行后续步骤,当审查不通过时,进行驳回处理并发出警告,同时截断新区块的本次存储流程;若新区块的可信度指标不小于预设可信度指标,则将商品供应链数据集合存入新区块中,并将新区块对应的商品供应链数据集合按其类型存储到关系型数据库中,对新区块与区块链的新区块的上一区块进行连接,完成新区块的本次环节的数据上传工作,并等待下一环节生成的区块时的调用和后续区块的连接。
值得说明的是,区块链中的区块连接是通过哈希指针实现的。每个区块都有一个唯一的哈希值,该哈希值是由对应区块中所有交易记录的哈希值和一些其他信息计算得出的,每个区块还包含了前一个区块的哈希值,每个区块都依赖于前一个区块的哈希值,形成了一个链式结构。若需要篡改某个区块中的交易记录,就必须同时篡改该区块及其后面的所有区块的交易记录,否则整个区块链就会失效。因此,本实施例的分布式存储的可靠性更高,可以有效避免供应链的溯源困难以及整条供应链的数据信息失效等问题。
至此,本实施例实现了对新区块对应的商品供应链数据集合进行分布式存储。
本发明提供了一种数据运营智能平台动态数据分布式存储系统,在区块链技术本身的基础上,对于通过智能合约检测的数据,利用新区块和新区块的上一区块信息以及用户权限等因素,对新区块的数据进行可信度判断,从而做到对异常数据的检测提醒以及伪装攻击防范,使得该分布式存储系统更加安全,有效提高数据运营平台动态数据存储的可靠性。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,均应包含在本发明的保护范围之内。
Claims (6)
1.一种数据运营智能平台动态数据分布式存储系统,其特征在于,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现如下步骤:
获取数据运营平台中新区块和新区块的上一区块对应的商品供应链数据集合和新区块的用户权限等级;其中,所述商品供应链数据集合包括至少两种属性的商品环节数据;
获取所述新区块和新区块的上一区块的商品供应链数据集合的数据摘要,根据新区块和新区块的上一区块对应的数据摘要中的各个属性摘要数据,确定新区块的差异度指标;其中,所述数据摘要包括与各个商品环节数据相对应的属性摘要数据;
若新区块的差异度指标不为预设差异度指标,则确定新区块对应的数据摘要中的各目标属性摘要数据;
根据新区块和新区块的上一区块对应的数据摘要中的各目标属性摘要数据,确定各目标属性摘要数据的合理度,进而将最小合理度确定为新区块的合理度指标;
若新区块的合理度指标不小于预设合理度指标,则根据新区块的差异度指标、用户权限等级和所述各目标属性摘要数据的合理度,确定新区块的可信度指标;
若新区块的可信度指标不小于预设可信度指标,则对新区块对应的商品供应链数据集合进行存储处理。
2.根据权利要求1所述的一种数据运营智能平台动态数据分布式存储系统,其特征在于,根据新区块和新区块的上一区块对应的数据摘要中的各个属性摘要数据,确定新区块的差异度指标,包括:
计算新区块中任意一个属性摘要数据与新区块的上一区块中对应属性摘要数据之间的差值,将所述差值确定为新区块中对应属性摘要数据的第一差异因子;
将所述对应属性摘要数据的第一差异因子与新区块的上一区块中对应属性摘要数据的比值的平方,确定为新区块中对应属性摘要数据的第二差异因子;
计算新区块中所有属性摘要数据的第二差异因子的累加和,将所述累加和确定为新区块的第三差异因子;
对所述第三差异因子进行开平方处理,将开平方处理后的第三差异因子确定为新区块的差异度指标。
3.根据权利要求2所述的一种数据运营智能平台动态数据分布式存储系统,其特征在于,确定新区块对应的数据摘要中的各目标属性摘要数据,包括:将第一差异因子不为预设差异度指标的属性摘要数据确定为新区块对应的数据摘要中的目标属性摘要数据,从而获得新区块对应的数据摘要中的各目标属性摘要数据。
4.根据权利要求1所述的一种数据运营智能平台动态数据分布式存储系统,其特征在于,根据新区块和新区块的上一区块对应的数据摘要中的各目标属性摘要数据,确定各目标属性摘要数据的合理度,包括:
计算新区块对应的数据摘要中任意一个目标属性摘要数据与新区块的上一区块中对应的数据摘要中对应目标属性摘要数据之间的差值的绝对值;获取各目标属性摘要数据的正常波动范围宽度,将所述绝对值与对应目标属性摘要数据的正常波动范围宽度之间的比值确定为对应目标属性摘要数据的初始合理度,对所述初始合理度进行反比例的归一化处理,获得对应目标属性摘要数据的合理度。
5.根据权利要求1所述的一种数据运营智能平台动态数据分布式存储系统,其特征在于,所述可信度指标的计算公式为:
其中,Cr为新区块的可信度指标,L为新区块的用户权限等级,L为0、0.5或1,为圆周率,S为新区块的差异度指标,n为新区块对应的数据摘要中目标属性摘要数据的个数,j为目标属性摘要数据的序号,/>为新区块对应的数据摘要中第j个目标属性摘要数据的合理度,/>为第j个目标属性摘要数据的合理标准值,sin为正弦函数。
6.根据权利要求1所述的一种数据运营智能平台动态数据分布式存储系统,其特征在于,获取所述新区块和新区块的上一区块的商品供应链数据集合的数据摘要,包括:
利用哈希函数对新区块和新区块的上一区块对应的商品供应链数据集合进行摘要提取处理,获得新区块和新区块的上一区块对应的数据摘要。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310646409.XA CN116366678B (zh) | 2023-06-02 | 2023-06-02 | 一种数据运营智能平台动态数据分布式存储系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310646409.XA CN116366678B (zh) | 2023-06-02 | 2023-06-02 | 一种数据运营智能平台动态数据分布式存储系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116366678A CN116366678A (zh) | 2023-06-30 |
CN116366678B true CN116366678B (zh) | 2023-08-01 |
Family
ID=86929106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310646409.XA Active CN116366678B (zh) | 2023-06-02 | 2023-06-02 | 一种数据运营智能平台动态数据分布式存储系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116366678B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108595126A (zh) * | 2018-04-27 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 数据存储系统、查询方法、查询装置、服务器及存储介质 |
CN111553710A (zh) * | 2020-04-08 | 2020-08-18 | 深圳壹账通智能科技有限公司 | 基于区块链的企业数据处理方法、装置、设备和存储介质 |
CN111865985A (zh) * | 2020-07-21 | 2020-10-30 | 安徽高山科技有限公司 | 一种基于区块链的供应链金融数据维护方法 |
WO2020233613A1 (zh) * | 2019-05-20 | 2020-11-26 | 创新先进技术有限公司 | 结合代码标注与交易类型的有条件的收据存储方法和节点 |
WO2020259629A1 (zh) * | 2019-06-24 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种基于区块链的数据检验方法及装置 |
WO2022151990A1 (zh) * | 2021-01-16 | 2022-07-21 | 苏州浪潮智能科技有限公司 | 基于区块链的透明供应链认证方法、装置、设备及介质 |
CN115237909A (zh) * | 2022-06-30 | 2022-10-25 | 北京思特奇信息技术股份有限公司 | 一种多系统的批量数据差异发现方法和系统 |
CN115482012A (zh) * | 2022-09-14 | 2022-12-16 | 浪潮工业互联网股份有限公司 | 一种基于区块链的粮油食品可信追溯方法及设备 |
-
2023
- 2023-06-02 CN CN202310646409.XA patent/CN116366678B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108595126A (zh) * | 2018-04-27 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 数据存储系统、查询方法、查询装置、服务器及存储介质 |
WO2020233613A1 (zh) * | 2019-05-20 | 2020-11-26 | 创新先进技术有限公司 | 结合代码标注与交易类型的有条件的收据存储方法和节点 |
WO2020259629A1 (zh) * | 2019-06-24 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种基于区块链的数据检验方法及装置 |
CN111553710A (zh) * | 2020-04-08 | 2020-08-18 | 深圳壹账通智能科技有限公司 | 基于区块链的企业数据处理方法、装置、设备和存储介质 |
WO2021203590A1 (zh) * | 2020-04-08 | 2021-10-14 | 深圳壹账通智能科技有限公司 | 基于区块链的企业数据处理方法、装置、设备和存储介质 |
CN111865985A (zh) * | 2020-07-21 | 2020-10-30 | 安徽高山科技有限公司 | 一种基于区块链的供应链金融数据维护方法 |
WO2022151990A1 (zh) * | 2021-01-16 | 2022-07-21 | 苏州浪潮智能科技有限公司 | 基于区块链的透明供应链认证方法、装置、设备及介质 |
CN115237909A (zh) * | 2022-06-30 | 2022-10-25 | 北京思特奇信息技术股份有限公司 | 一种多系统的批量数据差异发现方法和系统 |
CN115482012A (zh) * | 2022-09-14 | 2022-12-16 | 浪潮工业互联网股份有限公司 | 一种基于区块链的粮油食品可信追溯方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116366678A (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021052031A1 (zh) | 基于统计四分位距的商品库存风险预警方法、系统及计算机可读存储介质 | |
CN110807700A (zh) | 一种基于政府数据的无监督融合模型个人信用评分方法 | |
CA2726790A1 (en) | System and method of detecting and assessing multiple types of risks related to mortgage lending | |
CN115330531B (zh) | 一种基于用电变动周期的企业风险预测方法 | |
Wong et al. | Financial accounting fraud detection using business intelligence | |
CN111192140A (zh) | 客户违约概率预测的方法及装置 | |
CN113763154A (zh) | 一种基于模糊灰色评价的钢贸供应链金融风险评估方法 | |
CN114298547A (zh) | 用户忠诚度的评分方法、装置、设备及可读存储介质 | |
CN116366678B (zh) | 一种数据运营智能平台动态数据分布式存储系统 | |
Juma et al. | Exploratory Analysis of Risk Management Process of UAE Police Department | |
CN115496205A (zh) | 检测模型训练、数据检测方法、装置、设备及存储介质 | |
CN114663108A (zh) | 一种基于大数据技术的电商产品销量检测方法及检测系统 | |
CN113298575A (zh) | 一种商标价值批量评估的方法、系统、设备及存储介质 | |
CN113743752A (zh) | 一种数据处理方法及装置 | |
CN110472827B (zh) | 系统策略预警方法、装置、服务器及可读存储介质 | |
Hasan et al. | A Cross-Country Study on Corporate Accruals and Financial Ratios Using Confirmatory Factor Analysis. | |
KR102488653B1 (ko) | 재무제표 분석을 통한 가치 산출 및 차트 표시 서비스 제공 시스템 | |
CN117114589B (zh) | 基于互联网的跨境企业营销产品的库存管理系统 | |
CN117093916B (zh) | 基于物联网技术的pos机智能化监控系统 | |
CN116797253B (zh) | 一种基于客户资源的分类管理方法 | |
CN115660406A (zh) | 一种危化企业安全分级方法、装置、电子设备及存储介质 | |
Lokeshnath et al. | INSOLVENCY AND BANKRUPTCY CODE: A STUDY OF INDIAN BANKS WITH REFERENCE TO ALTMAN Z SCORE | |
CN118014735A (zh) | 资产价值波动的确定方法及装置、存储介质、电子设备 | |
El Farme | A switcher skip lot-sampling plan under resubmitted lots using the Taguchi capability index for building a solid vendor-customer relationship | |
CN117172931A (zh) | 银行信用风险智能检测方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |