CN116109372A - 基于多层次区块链的冷链物流产品联邦推荐方法及装置 - Google Patents

基于多层次区块链的冷链物流产品联邦推荐方法及装置 Download PDF

Info

Publication number
CN116109372A
CN116109372A CN202211553232.0A CN202211553232A CN116109372A CN 116109372 A CN116109372 A CN 116109372A CN 202211553232 A CN202211553232 A CN 202211553232A CN 116109372 A CN116109372 A CN 116109372A
Authority
CN
China
Prior art keywords
data
product
chain
user
cold chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211553232.0A
Other languages
English (en)
Other versions
CN116109372B (zh
Inventor
李翔
费晶茹
任珂
孙纪舟
朱全银
谢乾
高尚兵
周泓
肖绍章
宋珂
陈仁文
顾泽峄
廉梓豪
熊政杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202211553232.0A priority Critical patent/CN116109372B/zh
Publication of CN116109372A publication Critical patent/CN116109372A/zh
Application granted granted Critical
Publication of CN116109372B publication Critical patent/CN116109372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0832—Special goods or special handling procedures, e.g. handling of hazardous or fragile goods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于多层次区块链的冷链产品联邦推荐方法及装置，将用户使用冷链物流产品网的行为数据存储到本地数据库中；并进行预处理和链下层次的上链存储，冷链物流产品监管者对产品温度数据上传至链上层次存储，构成多层次区块链网络；通过智能合约对多层次区块链网络进行链上和链下交互的访问控制后，启动联邦学习将区块链中存储数据共享问题转为训练模型，只共享模型参数而不共享原始数据；接着通过基于优化的协同过滤推荐算法计算生成推荐列表，最终返回给用户。与现有技术相比，本发明有效解决冷链物流产品领域中海量数据在本地存储受限、用户隐私数据泄露以及用户获取到的推荐产品温度数据存在安全隐患的问题。

Description

基于多层次区块链的冷链物流产品联邦推荐方法及装置
技术领域
本发明属于区块链技术和联邦学习融合领域，特别涉及基于多层次区块链的冷链产品联邦推荐方法及装置。
背景技术
目前，随着城市居民对优质冷链物流产品需求的增加，冷链传输产业迅速发展。在生鲜食品或某些药品传输过程中，对于温度控制的要求很高，一旦传输过程中温度失控，则容易导致食品或药品质量出现变化。另外，在用户购买冷链产品的推荐系统中通常忽略潜在的个人身份信息泄露问题，这也会存在各种安全隐患问题。
近年来兴起的区块链技术成为解决冷链物流产品数据存储与隐私数据保护的可行方法，区块链技术是由密码学、数据库等多种技术融合的底层核心技术，本质是一种去中性化的分布式账本，核心是采用链式数据结构保证数据不被篡改，因公开透明、防篡改、集体维护性等特征，使其具有较高的可信性和安全性。然而，区块链的存储能力受到节点的限制，另外，在满足用户需求的推荐系统中，需要考虑到保护用户和数据安全。
因此，上述提到的在冷链物流产品领域中区块链的存储局限性和推荐系统出现数据泄露的风险，提出使用联邦学习协同解决。联邦学习(Federated Leamig，FL)是一个旨在训练高质量的集成模型的机器学习框架，在这个框架中训练数据被分布式存放多个客户端上，每个客户端在本地进行计算，将计算结果加密上传到共享的集成模型中。因此，联邦学习在处理数据时仅需要模型参数而不是原始数据，且仅存储计算结果，在降低存储的资源开销的同时也可以达到用户隐私数据保护和产品严格控制数据在数据共享时不被篡改的目的。
发明内容
发明目的：针对上述问题，本发明提供了一种基于多层次区块链的冷链物流产品联邦推荐方法及装置，使用链上和链下相结合的方式存储产品基本属性信息和用户行为数据信息，保证数据完整性和安全性的同时，解决区块链系统存储受限和隐私数据泄露的问题。同时本发明融合联邦学习和基于优化的协同过滤推荐算法对链上和链下进行推荐计算获得推荐列表，最后返回给用户安全可信的冷链产品信息，继而提高区块链运行效率，为冷链物流产业发展提供便利。
技术方案：本发明提出一种基于多层次区块链的冷链物流产品联邦推荐方法，包括如下步骤：
步骤1：通过应用服务器将用户使用冷链物流产品网的行为数据批量采集并存储到本地数据库中；
步骤2：将本地数据库存储到的数据以及产品属性信息进行上链前的预处理，利用区块链加密机制将对产品温度数据和索引信息进行链上存储，对用户行为数据和冷链产品基本属性进行链下存储，链上产品索引区块节点与链下产品区块节点相连从而构建多层次区块链网络；
步骤3：通过智能合约对多层次区块链网络进行链上链下的访问控制，启动联邦学习对区块链中存储数据转化为模型共享，生成数据共享训练集；
步骤4：根据数据共享的训练集采用优化的协同过滤算法，通过量化哈希函数权重和评分加权预测方法从而生成推荐列表返回给用户。
进一步地，所述步骤1的具体方法为：
步骤1.1：通过在产品网页面调用SDK对行为数据进行埋点上报，把不同的用户行为相关的业务字段放在data数组中，避免上报大量的重复数据；
步骤1.2：后端日志服务器http通过接口接收数据；
步骤1.3：接口接收到数据后，对数据进行拆分，将包含了多个用户的数据拆开，输出多条日志数据；
步骤1.4：根据日志数据构建日志数据字段在MySQL数据库中创建产品基本属性数据表和用户行为数据表；
步骤1.5：根据上述两个表定义表结构，产品数据表主要包括产品ID，产品名称name，产品数量number，用户行为数据表主要包括用户ID、产品ID、行为状态type，并将产品ID定义为外键，构建两表关联关系。
进一步地，所述步骤2的具体方法为：
步骤2.1：将构建的产品基本属性数据表和用户行为数据表的用户ID、产品ID、产品名称Name、行为状态type数据提取出作为关键词，得到关键词集合U_P＝(UP1，UP2，...，UPn)将其作为用户-产品元数据集；
步骤2.2：冷链物流产品监管者Mad提供严格控制的产品温度数据Temp，附着在用户-产品元数据集下，作为链上存储的叶子区块节点，形成U户(Temp)；
步骤2.3：根据上述的含叶子区块节点的关键词元数据集U_P(Temp)＝(U_P1，U_P2，...，U_Pn)，对于每个关键词U_Pi构建密文关键词EUPi作为一个元组插入到索引链表，记作IC，按时间戳记录多个元数据块Indi，其中i为根据创建时间戳给出的顺序编号；
步骤2.4：冷链物流产品监管者Mad使用初始化策略PreP向链下存储池所有节点OFc提出预上链申请；
步骤2.5：OFc设置预判断策略PreJuge，首先与合约控制机制SC通信，判断该索引链表的有效性；首先搜索已有的索引链是否已有该产品信息、判断是否涉及重复上链和过期的现象；
步骤2.6：利用预判断策略PreJuge通过共识算法raft(BC)返回信息为True，即该产品验证有效，得到合约控制链IC-SC；
步骤2.7：产品通过验证有效后，IC-SC正式进行上链，IC-SC的签名策略合约Sign-SC向链上系统BC-OnSy发送上链的签名邀请，只有获得产品所有者签名的材料才能被运行链上可见和后续使用；
步骤2.8：然后产品所有者使用自己的私钥对IC-SC进行对称密钥加密，生成加密元数据；
步骤2.9：链上系统BC-OnSy进行p2p交易广播，网络中所有的节点通过PBFT共识算法达成区块共识，将加密元数据存入区块；
步骤2.10：链下系统BC-OFSy同样进行广播交易，将叶子区块节点通过PBFT共识算法达成区块共识，最终实现上链，形成多层次区块链网络On-Chain。
进一步地，所述步骤3的具体方法为：
步骤3.1：冷链物流产品监管者Mad根据区块中存储的产品类型将区块链中的所有节点划分不同的社区；
步骤3.2：冷链物流产品监管者Mad首先将自己的公钥PKr发送到不同社区的节点进行注册，生成Mad的数据检索记录；
步骤3.3：数据检索记录由节点广播到许可的On-Chain中的合约控制链IC-SC上的其他节点进行验证，其他节点收集所有收到的记录，并在将它们写入许可区块链之前对其进行验证；
步骤3.4：数据请求者r向其社区附近的超级节点SNreq发送数据共享请求Req，Req包含Mad的ID、请求的数据类型和时间戳，由Mad用其私钥SKr签名；
步骤3.5：一旦附近社区的节点收到数据共享请求，则会验证Mad的身份；
步骤3.6：然后节点搜索许可的区块链搜索区块链，以了解改请求之前是否已被处理；
步骤3.7：如果有记录，查找命中，则将缓存数据模型M作为反馈返回；
步骤3.8：否则返回步骤3.6继续查找相关方；
步骤3.9：最后生成查询结果ReqX作为训练集，供联邦学习训练全局数据模型使用。
进一步地，所述步骤4的具体方法为：
步骤4.1：将数据共享训练集ReqX作为训练集，利用协方差矩阵得到投影向量的特征向量和特征值，从而构建哈希表，假设高维特征数据集ReqX中的τ个元素均为n维向量，用矩阵表示：
Figure BDA0003981458340000041
Figure BDA0003981458340000042
其中，ui表示用户i的评分向量，rij表示用户i对项目j的评分，vi表示每个维度；
步骤4.2：为了保证所有维度上的偏移都是以零为基点的，将样本去中心化，表示
Figure BDA0003981458340000043
其中，
Figure BDA0003981458340000044
表示每个维度的平均值；由
Figure BDA0003981458340000045
得到协方差矩阵表示：
Figure BDA0003981458340000046
其中
Figure BDA0003981458340000047
表示各个维度上的方差，Sij两两维度间的协方差；
步骤4.3：对上述的协方差矩阵S进行特征值分解得到特征向量集合V和特征值集合N；
步骤4.4：根据步骤4.2获得的协方差矩阵得到特征值集合N和特征向量集合V，选择前m(m＝kl)个特征向量组成集合V′＝(v1，v2，…，vm)，其中，k表示每个哈希表中哈希函数的个数，l表示哈希表个数；
步骤4.5：根据相应的特征值计算每个哈希表中k个哈希函数权重
Figure BDA0003981458340000048
Figure BDA0003981458340000051
并根据
Figure BDA0003981458340000052
计算桶间隔，利用
Figure BDA0003981458340000053
对每一个数据点进行哈希值的计算，从而将数据点插入到对应的哈希桶中，得到整个数据集优化后的索引，其中W0为初始默认值，λi为特征值，λ1代表最大特征值；
步骤4.6：在从第二个哈希表开始，利用
Figure BDA0003981458340000054
Figure BDA0003981458340000055
记录于数据点x冲突次数达到t次以上的点，并将该点存储在数据集中，其中conf(p)表示冲突次数，p在l个哈希表中的冲突次数，q为候选点，t为冲突阈值；
步骤4.7：将得到的数据集中的点x′与查询点x进行比较，如果距离大于给定的检索半径r即D(x，x′)＞r，则将该点从结果集中删除，从而获得数据点x的所有近似近邻结果集，否则继续比较；
步骤4.8：根据上述算法得到的最近邻用户集合，利用
Figure BDA0003981458340000056
其中，ζ为常数1，当用户u和用户v的欧氏距离为0时，用户间的相似系数为1，计算目标用户与近邻用户之间相似度；
步骤4.9：通过
Figure BDA0003981458340000057
加权平均策略进行评分预测，得到用户对未评分项目的预测评分，其中Pui表示用户u对项目i的预测评分，Ψ为用户u的最近邻集合，
Figure BDA0003981458340000058
评分项目的平均评分；
步骤4.10：依据上述评分的高低，产生项目推荐列表，最后返回给客户端。
本发明还公开一种基于多层次区块链的冷链物流产品联邦推荐装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时执行如权利要求1-4任一项所述的基于多层次区块链的冷链物流产品联邦推荐方法的步骤。
本发明还公开一种基于多层次区块链的冷链物流产品联邦推荐装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时执行如上所述的基于多层次区块链的冷链物流产品联邦推荐方法的步骤。
有益效果：
1、本发明将区块链与本地数据库相结合的方式存储冷链物流产品网站中的冷链产品数据和用户行为数据，区块链通过加密机制主要解决用户行为数据存储在本地数据库容易被管理员恶意篡改和使用的问题。
2、本发明采用一种多层次结构的区块链存储方式对冷链物流产品数据和用户行为数据分散开，将产品的索引和严格控制的温度数据进行链上区块存储，对用户-产品的行为数据进行链下区块存储，用来数据分析，链上和链下使用智能合约进行节点访问控制，从而解决产品信息安全无法溯源、单链存储压力大、区块链网络运行耗时的问题。
3、本发明采用链上链下访问控制优化方案，通过对从本地数据库中的数据表进行结构设计数据上链前的预处理，再通过智能合约和共识方法验证产品合法性，最后利用p2p交易广播达成共识后将加密数据存入区块实现上链，进一步发挥区块链安全可信、性能拓展和去中性化的能力。
4、本发明采用联邦学习与区块链结合的方法，用户行为数据需要进行数据分析才能在推荐系统上进行推荐，但是又不能泄露用户的个人隐私数据，因此利用联邦学习建立数据模型，将区块链数据共享问题转化为机器学习问题，只共享数据检索记录的参数不提供原始数据，保障了用户隐私数据安全。
5、本发明采用基于优化后的协同过滤的推荐算法，对传统的基于近邻的协同过滤进行改进，量化哈希函数的权重，根据冲突次数的大小细化查询结果集，并采用对近邻用户集合的评分加权预测实现推荐，有效解决用户评分数据维度高、规模大而造成的推荐效率低下的问题。
附图说明
图1为本发明整体框架图；
图2为多层次区块链存储结构示意图；
图3为本发明基于多层次区块链的冷链物流产品联邦推荐方法流程图；
图4为数据采集与存储流程图；
图5为数据预处理和上链流程图；
图6为链上数据转化模型共享流程图；
图7为基于优化的协同过滤推荐计算流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明公开了一种基于多层次区块链的冷链物流产品联邦推荐方法及装置，包括海量数据的多层次区块链存储模块、数据预处理和上链模块、数据转化模型共享模块、基于优化的协同过滤推荐计算模块，该方法及装置框架如图1所示，包括如下步骤：
步骤1：通过应用服务器将用户使用冷链物流产品网的行为数据批量采集并存储到本地数据库中。
步骤1.1：通过在产品网页面调用SDK对行为数据进行埋点上报，把不同的用户行为相关的业务字段放在data数组中，避免上报大量的重复数据。
步骤1.2：后端日志服务器http通过接口接收数据。
步骤1.3：接口接收到数据后，对数据进行拆分，将包含了多个用户的数据拆开，输出多条日志数据。
步骤1.4：根据日志数据构建日志数据字段在MySQL数据库中创建产品基本属性数据表和用户行为数据表。
步骤1.5：根据上述两个表定义表结构，产品数据表主要包括产品ID，产品名称name，产品数量number，用户行为数据表主要包括用户ID、产品ID、行为状态type(如收藏、加购、购买、浏览等)，并将产品ID定义为外键，构建两表关联关系。
步骤2：为保障用户行为数据的隐私、冷链产品基本属性和严格控制的温度数据，对本地数据库中的数据进行预处理后进行区块链上链，具体数据预处理和上链如图4所示：
步骤2.1：将步骤1.5构建的两个数据表的用户ID、产品ID、产品名称Name、行为状态type数据提取出作为关键词，得到关键词集合U_P＝(UP1，UP2，...，UPn)将其作为用户-产品元数据集。
步骤2.2：冷链物流产品监管者Mad提供严格控制的产品温度数据Temp，附着在用户-产品元数据集下，作为链上存储的叶子区块节点，形成U_P(Temp)。
步骤2.3：根据上述的含叶子区块节点的关键词元数据集U_P(Temp)＝(U_P1，U_P2，...，U_Pn)，对于每个关键词U_Pi构建密文关键词E_UPi作为一个元组插入到索引链表，记作IC(E_UPi)，按时间戳记录多个元数据块Indi，其中i为根据创建时间戳给出的顺序编号。
步骤2.4：冷链物流产品公司监管者Mad使用初始化策略PreP(IC)向链下存储池所有节点OFc提出预上链申请。
步骤2.5：OFc设置预判断策略PreJuge(PreP)，首先与合约控制机制SC通信，判断该索引链表的有效性。首先搜索已有的索引链是否已有该产品信息、判断是否涉及重复上链和过期的现象。
步骤2.6：利用预判断策略PreJuge(PreP)通过共识算法raft(BC)返回信息为True，即该产品验证有效，得到合约控制链IC-SC。
步骤2.7：产品通过验证有效后，IC-SC正式进行上链，IC-SC的签名策略合约Sign-SC向链上系统BC-OnSy发送上链的签名邀请，只有获得产品所有者签名的材料才能被运行链上可见和后续使用。
步骤2.8：然后产品所有者使用自己的私钥对IC-SC进行对称密钥加密，生成加密元数据。
步骤2.9：链上系统BC-OnSy进行p2p交易广播，网络中所有的节点通过PBFT共识算法达成区块共识，将加密元数据存入区块。
步骤2.10：链下系统BC-OFSy同样进行广播交易，将叶子区块节点通过PBFT共识算法达成区块共识，最终实现上链，形成多层次区块链网络On-Chain。
步骤3：通过上述步骤2实现数据上链后，由于区块链存储空间受限，且用户行为数据等需要共享到系统才能实现检索与推荐，因此需要将数据共享问题转化为模型共享，只共享数据参数而不是原始数据，有助于保护数据所有者的隐私，具体数据共享如图5所示：
步骤3.1：冷链物流产品监管者Mad加入数据共享模型之前，为提高计算效率，根据区块中存储的产品类型将区块链中的所有节点划分不同的社区。
步骤3.2：冷链物流产品监管者Mad首先将自己的公钥PKr发送到不同社区的节点进行注册，生成Mad的数据检索记录。
步骤3.3：数据检索记录由节点广播到许可的On-Chain中的合约控制链IC-SC上的其他节点进行验证，其他节点收集所有收到的记录，并在将它们写入许可区块链之前对其进行验证。
步骤3.4：数据请求者r向其社区附近的超级节点SNreq发送数据共享请求Req，Req包含Mad的ID、请求的数据类型和时间戳，由Mad用其私钥SKr签名。
步骤3.5：一旦附近社区的节点收到数据共享请求，则会验证Mad的身份。
步骤3.6：然后节点搜索许可的区块链搜索区块链，以了解改请求之前是否已被处理。
步骤3.7：如果有记录，查找命中，则将缓存数据模型M作为反馈返回。
步骤3.8：否则返回步骤3.6继续查找相关方。
步骤3.9：最后生成查询结果ReqX作为训练集，供后续联邦推荐计算使用。
步骤4：通过上述步骤3生成的数据共享训练集，采用优化的协同过滤算法，针对冷链产品不同用户相同的情况，通过量化哈希函数权重和评分加权预测方法从而实现产品信息的推荐，具体如图6所示：
步骤4.1：将步骤3.9生成的数据共享训练集ReqX作为训练集，利用协方差矩阵得到投影向量的特征向量和特征值，从而构建哈希表，减少空间开销。假设高维特征数据集ReqX中的τ个元素均为n维向量，用矩阵表示：
Figure BDA0003981458340000091
Figure BDA0003981458340000092
其中，ui表示用户i的评分向量，rij表示用户i对项目j的评分，vi表示每个维度。
步骤4.2：为了保证所有维度上的偏移都是以零为基点的，将样本去中心化，表示
Figure BDA0003981458340000093
其中，
Figure BDA0003981458340000094
表示每个维度的平均值。由
Figure BDA0003981458340000095
得到协方差矩阵表示：
Figure BDA0003981458340000096
其中
Figure BDA0003981458340000097
表示各个维度上的方差，Sij两两维度间的协方差。
步骤4.3：对上述的协方差矩阵S进行特征值分解得到特征向量集合V和特征值集合N。
步骤4.4：根据步骤3.3获得的协方差矩阵得到特征值集合N和特征向量集合V，选择前m(m＝kl)个特征向量组成集合V′＝(v1，v2，…，vm)，其中，k表示每个哈希表中哈希函数的个数，l表示哈希表个数。
步骤4.5：根据相应的特征值计算每个哈希表中k个哈希函数权重
Figure BDA0003981458340000098
Figure BDA0003981458340000101
并根据
Figure BDA0003981458340000102
计算桶间隔，利用
Figure BDA0003981458340000103
对每一个数据点进行哈希值的计算，从而将数据点插入到对应的哈希桶中，得到整个数据集优化后的索引，其中W0为初始默认值，λi为特征值，λ1代表最大特征值。
步骤4.6：在从第二个哈希表开始，利用
Figure BDA0003981458340000104
Figure BDA0003981458340000105
记录于数据点x冲突次数达到t次以上的点，并将该点存储在数据集中，其中conf(p)表示冲突次数，p在l个哈希表中的冲突次数，q为候选点，t为冲突阈值。
步骤4.7：将得到的数据集中的点x′与查询点x进行比较，如果距离大于给定的检索半径r即D(x，x′)＞r，则将该点从结果集中删除，从而获得数据点x的所有近似近邻结果集，否则继续比较。
步骤4.8：根据上述算法得到的最近邻用户集合，利用
Figure BDA0003981458340000106
其中，ζ为常数1，当用户u和用户v的欧氏距离为0时，用户间的相似系数为1，计算目标用户与近邻用户之间相似度。
步骤4.9：通过
Figure BDA0003981458340000107
加权平均策略进行评分预测，得到用户对未评分项目的预测评分，其中Pui表示用户u对项目i的预测评分，Ψ为用户u的最近邻集合，
Figure BDA0003981458340000108
评分项目的平均评分。
步骤4.10：依据上述评分的高低，产生项目推荐列表，最后返回给客户端。
下表为本申请中涉及的相关字母含义解释。
Figure BDA0003981458340000109
Figure BDA0003981458340000111
Figure BDA0003981458340000121
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于多层次区块链的冷链物流产品联邦推荐方法，其特征在于，包括如下步骤：
步骤1：通过应用服务器将用户使用冷链物流产品网的行为数据批量采集并存储到本地数据库中；
步骤2：将本地数据库存储到的数据以及产品属性信息进行上链前的预处理，利用区块链加密机制将对产品温度数据和索引信息进行链上存储，对用户行为数据和冷链产品基本属性进行链下存储，链上产品索引区块节点与链下产品区块节点相连从而构建多层次区块链网络；
步骤3：通过智能合约对多层次区块链网络进行链上链下的访问控制，启动联邦学习对区块链中存储数据转化为模型共享，生成数据共享训练集；
步骤4：根据数据共享的训练集采用优化的协同过滤算法，通过量化哈希函数权重和评分加权预测方法从而生成推荐列表返回给用户。
2.根据权利要求1所述的基于多层次区块链的冷链物流产品联邦推荐方法，其特征在于，所述步骤1的具体方法为：
步骤1.1：通过在产品网页面调用SDK对行为数据进行埋点上报，把不同的用户行为相关的业务字段放在data数组中，避免上报大量的重复数据；
步骤1.2：后端日志服务器http通过接口接收数据；
步骤1.3：接口接收到数据后，对数据进行拆分，将包含了多个用户的数据拆开，输出多条日志数据；
步骤1.4：根据日志数据构建日志数据字段在MySQL数据库中创建产品基本属性数据表和用户行为数据表；
步骤1.5：根据上述两个表定义表结构，产品数据表主要包括产品ID，产品名称name，产品数量number，用户行为数据表主要包括用户ID、产品ID、行为状态type，并将产品ID定义为外键，构建两表关联关系。
3.根据权利要求1所述的基于多层次区块链的冷链物流产品联邦推荐方法及装置，其特征在于，所述步骤2的具体方法为：
步骤2.1：将构建的产品基本属性数据表和用户行为数据表的用户ID、产品ID、产品名称Name、行为状态type数据提取出作为关键词，得到关键词集合U_P＝(UP1，UP2，...，UPn)将其作为用户-产品元数据集；
步骤2.2：冷链物流产品监管者Mad提供严格控制的产品温度数据Temp，附着在用户-产品元数据集下，作为链上存储的叶子区块节点，形成U_P(Temp)；
步骤2.3：根据上述的含叶子区块节点的关键词元数据集U_P(Temp)＝(U_P1，U_P2，...，U_Pn)，对于每个关键词U_Pi构建密文关键词E_UPi作为一个元组插入到索引链表，记作IC，按时间戳记录多个元数据块Indi，其中i为根据创建时间戳给出的顺序编号；
步骤2.4：冷链物流产品监管者Mad使用初始化策略PreP向链下存储池所有节点OFc提出预上链申请；
步骤2.5：OFc设置预判断策略PreJuge，首先与合约控制机制SC通信，判断该索引链表的有效性；首先搜索已有的索引链是否已有该产品信息、判断是否涉及重复上链和过期的现象；
步骤2.6：利用预判断策略PreJuge通过共识算法raft(BC)返回信息为True，即该产品验证有效，得到合约控制链IC-SC；
步骤2.7：产品通过验证有效后，IC-SC正式进行上链，IC-SC的签名策略合约Sign-SC向链上系统BC-OnSy发送上链的签名邀请，只有获得产品所有者签名的材料才能被运行链上可见和后续使用；
步骤2.8：然后产品所有者使用自己的私钥对IC-SC进行对称密钥加密，生成加密元数据；
步骤2.9：链上系统BC-OnSy进行p2p交易广播，网络中所有的节点通过PBFT共识算法达成区块共识，将加密元数据存入区块；
步骤2.10：链下系统BC-OFSy同样进行广播交易，将叶子区块节点通过PBFT共识算法达成区块共识，最终实现上链，形成多层次区块链网络On-Chain。
4.根据权利要求1所述的基于多层次区块链的冷链物流产品联邦推荐方法，其特征在于，所述步骤3的具体方法为：
步骤3.1：冷链物流产品监管者Mad根据区块中存储的产品类型将区块链中的所有节点划分不同的社区；
步骤3.2：冷链物流产品监管者Mad首先将自己的公钥PKr发送到不同社区的节点进行注册，生成Mad的数据检索记录；
步骤3.3：数据检索记录由节点广播到许可的On-Chain中的合约控制链IC-SC上的其他节点进行验证，其他节点收集所有收到的记录，并在将它们写入许可区块链之前对其进行验证；
步骤3.4：数据请求者r向其社区附近的超级节点SNreq发送数据共享请求Req，Req包含Mad的ID、请求的数据类型和时间戳，由Mad用其私钥SKr签名；
步骤3.5：一旦附近社区的节点收到数据共享请求，则会验证Mad的身份；
步骤3.6：然后节点搜索许可的区块链搜索区块链，以了解改请求之前是否已被处理；
步骤3.7：如果有记录，查找命中，则将缓存数据模型M作为反馈返回；
步骤3.8：否则返回步骤3.6继续查找相关方；
步骤3.9：最后生成查询结果ReqX作为训练集，供联邦学习训练全局数据模型使用。
5.根据权利要求1所述的基于多层次区块链的冷链物流产品联邦推荐方法及装置，其特征在于，所述步骤4的具体方法为：
步骤4.1：将数据共享训练集ReqX作为训练集，利用协方差矩阵得到投影向量的特征向量和特征值，从而构建哈希表，假设高维特征数据集ReqX中的τ个元素均为n维向量，用矩阵表示：
Figure FDA0003981458330000031
Figure FDA0003981458330000032
其中，ui表示用户i的评分向量，rij表示用户i对项目j的评分，vi表示每个维度；
步骤4.2：为了保证所有维度上的偏移都是以零为基点的，将样本去中心化，表示
Figure FDA0003981458330000033
其中，
Figure FDA0003981458330000034
表示每个维度的平均值；由
Figure FDA0003981458330000035
得到协方差矩阵表示：
Figure FDA0003981458330000036
其中
Figure FDA0003981458330000037
表示各个维度上的方差，Sij两两维度间的协方差；
步骤4.3：对上述的协方差矩阵S进行特征值分解得到特征向量集合V和特征值集合N；
步骤4.4：根据步骤4.2获得的协方差矩阵得到特征值集合N和特征向量集合V，选择前m(m＝kl)个特征向量组成集合V′＝(v1，v2，…，vm)，其中，k表示每个哈希表中哈希函数的个数，l表示哈希表个数；
步骤4.5：根据相应的特征值计算每个哈希表中k个哈希函数权重
Figure FDA0003981458330000041
Figure FDA0003981458330000042
并根据
Figure FDA0003981458330000043
计算桶间隔，利用
Figure FDA0003981458330000044
对每一个数据点进行哈希值的计算，从而将数据点插入到对应的哈希桶中，得到整个数据集优化后的索引，其中W0为初始默认值，λi为特征值，λ1代表最大特征值；
步骤4.6：在从第二个哈希表开始，利用
Figure FDA0003981458330000045
Figure FDA0003981458330000046
记录于数据点x冲突次数达到t次以上的点，并将该点存储在数据集中，其中con f(p)表示冲突次数，p在l个哈希表中的冲突次数，q为候选点，t为冲突阈值；
步骤4.7：将得到的数据集中的点x与查询点x进行比较，如果距离大于给定的检索半径r即D(x，x′)＞r，则将该点从结果集中删除，从而获得数据点x的所有近似近邻结果集，否则继续比较；
步骤4.8：根据上述算法得到的最近邻用户集合，利用
Figure FDA0003981458330000047
其中，ζ为常数1，当用户u和用户v的欧氏距离为0时，用户间的相似系数为1，计算目标用户与近邻用户之间相似度；
步骤4.9：通过
Figure FDA0003981458330000048
加权平均策略进行评分预测，得到用户对未评分项目的预测评分，其中Pui表示用户u对项目i的预测评分，Ψ为用户u的最近邻集合，
Figure FDA0003981458330000049
评分项目的平均评分；
步骤4.10：依据上述评分的高低，产生项目推荐列表，最后返回给客户端。
6.一种基于多层次区块链的冷链物流产品联邦推荐装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时执行如权利要求1-5任一项所述的基于多层次区块链的冷链物流产品联邦推荐方法的步骤。
CN202211553232.0A 2022-12-05 2022-12-05 基于多层次区块链的冷链物流产品联邦推荐方法及装置 Active CN116109372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211553232.0A CN116109372B (zh) 2022-12-05 2022-12-05 基于多层次区块链的冷链物流产品联邦推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211553232.0A CN116109372B (zh) 2022-12-05 2022-12-05 基于多层次区块链的冷链物流产品联邦推荐方法及装置

Publications (2)

Publication Number Publication Date
CN116109372A true CN116109372A (zh) 2023-05-12
CN116109372B CN116109372B (zh) 2023-09-29

Family

ID=86253540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211553232.0A Active CN116109372B (zh) 2022-12-05 2022-12-05 基于多层次区块链的冷链物流产品联邦推荐方法及装置

Country Status (1)

Country Link
CN (1) CN116109372B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401640A (zh) * 2023-06-07 2023-07-07 国网福建省电力有限公司 一种基于区块链的电力数据不一致的网络对齐系统及方法
CN116913541A (zh) * 2023-09-12 2023-10-20 万链指数(青岛)信息科技有限公司 基于物联网的健康数据共享方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146645A (zh) * 2018-09-05 2019-01-04 深圳正品创想科技有限公司 基于区块链的商品推荐方法、区块链节点及系统
CN109388960A (zh) * 2018-10-24 2019-02-26 全链通有限公司 基于区块链的信息共享及安全多方计算模型
CN111553742A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 联邦产品推荐方法、装置、设备及计算机存储介质
US20210020285A1 (en) * 2019-07-16 2021-01-21 Michael James Hall Blockchain and cloud-based healthcare management (expert) system
CN112287244A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 基于联邦学习的产品推荐方法、装置、计算机设备及介质
CN112395640A (zh) * 2020-11-16 2021-02-23 国网河北省电力有限公司信息通信分公司 一种基于区块链的行业物联数据轻量可信共享技术
CN112714050A (zh) * 2020-12-22 2021-04-27 齐鲁工业大学 一种基于区块链和联邦学习的数据共享与隐私保护方法
CN113051609A (zh) * 2021-03-12 2021-06-29 广西综合交通大数据研究院 基于区块链的食材溯源系统、方法、设备及存储介质
WO2022126916A1 (zh) * 2020-12-18 2022-06-23 平安科技（深圳）有限公司 一种产品推荐方法、系统、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146645A (zh) * 2018-09-05 2019-01-04 深圳正品创想科技有限公司 基于区块链的商品推荐方法、区块链节点及系统
CN109388960A (zh) * 2018-10-24 2019-02-26 全链通有限公司 基于区块链的信息共享及安全多方计算模型
US20210020285A1 (en) * 2019-07-16 2021-01-21 Michael James Hall Blockchain and cloud-based healthcare management (expert) system
CN111553742A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 联邦产品推荐方法、装置、设备及计算机存储介质
CN112287244A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 基于联邦学习的产品推荐方法、装置、计算机设备及介质
CN112395640A (zh) * 2020-11-16 2021-02-23 国网河北省电力有限公司信息通信分公司 一种基于区块链的行业物联数据轻量可信共享技术
WO2022126916A1 (zh) * 2020-12-18 2022-06-23 平安科技（深圳）有限公司 一种产品推荐方法、系统、计算机设备及存储介质
CN112714050A (zh) * 2020-12-22 2021-04-27 齐鲁工业大学 一种基于区块链和联邦学习的数据共享与隐私保护方法
CN113051609A (zh) * 2021-03-12 2021-06-29 广西综合交通大数据研究院 基于区块链的食材溯源系统、方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张桉,杨通来,黄家铭等: ""一种基于区块链与联邦学习的数据隐私保护方法"", 《企业科技与发展》, vol. 492, no. 10 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401640A (zh) * 2023-06-07 2023-07-07 国网福建省电力有限公司 一种基于区块链的电力数据不一致的网络对齐系统及方法
CN116401640B (zh) * 2023-06-07 2023-09-22 国网福建省电力有限公司 一种基于区块链的电力数据不一致的网络对齐系统及方法
CN116913541A (zh) * 2023-09-12 2023-10-20 万链指数(青岛)信息科技有限公司 基于物联网的健康数据共享方法及系统

Also Published As

Publication number Publication date
CN116109372B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
Xia et al. EPCBIR: An efficient and privacy-preserving content-based image retrieval scheme in cloud computing
Zhang et al. PIC: Enable large-scale privacy preserving content-based image search on cloud
Qin et al. An encrypted image retrieval method based on Harris corner optimization and LSH in cloud computing
Liu et al. Verifiable Diversity Ranking Search Over Encrypted Outsourced Data.
CN116109372B (zh) 基于多层次区块链的冷链物流产品联邦推荐方法及装置
Zhang et al. SE-PPFM: A searchable encryption scheme supporting privacy-preserving fuzzy multikeyword in cloud systems
CN116529730A (zh) 使用安全多方计算的隐私保护机器学习
CN109885650B (zh) 一种外包云环境隐私保护密文排序检索方法
Patel et al. A state of art survey on shilling attack in collaborative filtering based recommendation system
Qin et al. A privacy-preserving image retrieval method based on deep learning and adaptive weighted fusion
Cuzzocrea et al. Effective and efficient skyline query processing over attribute-order-preserving-free encrypted data in cloud-enabled databases
Guo et al. A provably secure and efficient range query scheme for outsourced encrypted uncertain data from cloud-based Internet of Things systems
Zhu et al. Cloud-assisted secure biometric identification with sub-linear search efficiency
Zhang et al. Efficient and privacy-preserving search over edge–cloud collaborative entity in IoT
Yin et al. On-Device Recommender Systems: A Comprehensive Survey
Li et al. DVPPIR: privacy-preserving image retrieval based on DCNN and VHE
Yan et al. Multi-keywords fuzzy search encryption supporting dynamic update in an intelligent edge network
Magdy et al. Privacy preserving search index for image databases based on SURF and order preserving encryption
Wang et al. Recommender systems and their security concerns
Wang et al. Supervised prototypical variational autoencoder for shilling attack detection in recommender systems
Cheng et al. Enabling secure and efficient kNN query processing over encrypted spatial data in the cloud
Bakkiam David et al. Synonym‐based multi‐keyword ranked search with secure k‐NN in 6G network
Indhuja et al. A multi-keyword ranked search scheme over encrypted based on hierarchical clustering index
Tian et al. BPPIR: Blockchain-assisted privacy-preserving similarity image retrieval over multiple clouds
Zou et al. Secure encrypted image search in mobile cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant