CN111629051B - 一种用于工业互联网标识解析系统的性能优化方法及装置 - Google Patents

一种用于工业互联网标识解析系统的性能优化方法及装置 Download PDF

Info

Publication number
CN111629051B
CN111629051B CN202010456024.3A CN202010456024A CN111629051B CN 111629051 B CN111629051 B CN 111629051B CN 202010456024 A CN202010456024 A CN 202010456024A CN 111629051 B CN111629051 B CN 111629051B
Authority
CN
China
Prior art keywords
node
dht
target
nodes
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010456024.3A
Other languages
English (en)
Other versions
CN111629051A (zh
Inventor
谢人超
赵浩然
任语铮
喻嘉艺
黄韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010456024.3A priority Critical patent/CN111629051B/zh
Publication of CN111629051A publication Critical patent/CN111629051A/zh
Application granted granted Critical
Publication of CN111629051B publication Critical patent/CN111629051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供的一种用于工业互联网标识解析系统的性能优化方法及装置,获取客户端的目标请求;在DHT网络中生成各DHT节点对应的一个或多个虚拟节点;通过预设算法计算多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值;在多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点;将目标请求发送到请求通道的目标分条中;将目标请求发送到目标节点。从而通过代理服务器中的数据通道与DHT节点建立长连接,进行请求的异步缓存,无需在每次发送请求时均进行三次握手,从而减小通讯耗时,避免信息传输过程中的阻塞,提升系统的性能。

Description

一种用于工业互联网标识解析系统的性能优化方法及装置
技术领域
本发明涉及信息技术领域,特别是涉及一种用于工业互联网标识解析系统的性能优化方法及装置。
背景技术
DHT(Distributed Hash Table,分布式哈希表)是利用hash算法实现的一种数据分布式存储方法,不需要中心服务器,每个节点负责一个小范围的路由,并负责存储一小部分数据,从而实现整个DHT网络的寻址和存储,可有效解决工业互联网海量数据解析过程中出现的单点故障、负载过重问题。
然而,当前工业互联网中,用户与DHT节点以及DHT节点之间的通信目前都是基于TCP传输,每一次的信息存储和读取操作都需要经过三次握手与DHT节点建立连接,因此,系统需要耗费大量时间在网络通信上,从而可能造成信息传输过程中的阻塞,导致响应时间过久,影响系统性能。
发明内容
本发明实施例的目的在于提供一种用于工业互联网标识解析系统的性能优化方法及装置,以实现提高网络通信效率的目的。具体技术方案如下:
本发明实施例的第一方面,提供了一种用于工业互联网标识解析系统的性能优化方法,包括:
获取客户端的目标请求,其中,目标请求为对DHT网络的节点中的数据进行操作的请求;
根据DHT网络的多个DHT节点,在DHT网络中生成各DHT节点对应的一个或多个虚拟节点;
通过预设算法计算多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与目标请求的哈希值;
在多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点;
将目标请求发送到请求通道的目标分条中,其中,请求通道被划分为多个分条,各分条对应一个DHT节点,目标分条为目标节点对应的分条;
将目标请求发送到目标节点。
可选的,将目标请求发送到请求通道的目标分条中,包括:
当目标节点为多个DHT节点中的节点时,将目标请求发送到目标节点所对应的分条中;当目标节点为DHT节点对应的一个或多个虚拟节点中的节点时,将目标请求发送到虚拟节点对应的多个DHT节点中的节点所对应的分条中。
可选的,上述方法还包括:
获取待缓存数据;
通过预设分类规则判断待缓存数据的优先级;
根据待缓存数据的优先级按照预设缓存规则将待缓存数据缓存到指定位置,其中,预设缓存规则为将第一优先级的数据缓存到客户端,将第二优先级的数据缓存到代理服务器,将第三优先级的数据缓存到DHT节点。
可选的,上述方法还包括:
获取目标请求的特征信息,其中,特征信息为用于表征目标请求的一组或多组信息;
通过预设算法计算特征信息对应的哈希值,与各背书节点的哈希值,并根据各背书节点的哈希值对各背书节点进行排序;
根据各背书节点的排序,在大于特征信息对应的哈希值的背书节点中依次选取预设数量个背书节点作为目标请求的背书节点,其中,背书节点为对目标请求进行验证和响应的节点。
本发明实施例的第二方面,提供了一种用于工业互联网标识解析系统的性能优化装置,包括:
数据获取模块,用于获取客户端的目标请求,其中,目标请求为对DHT网络的节点中的数据进行操作的请求;
虚拟节点模块,用于根据DHT网络的多个DHT节点,在DHT网络中生成各DHT节点对应的一个或多个虚拟节点;
哈希值计算模块,用于通过预设算法计算多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与目标请求的哈希值;
目标节点模块,用于在多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点;
数据缓存模块,用于将目标请求发送到请求通道的目标分条中,其中,请求通道被划分为多个分条,各分条对应一个DHT节点,目标分条为目标节点对应的分条;
数据发送模块,用于将目标请求发送到目标节点。
可选的,数据缓存模块,包括:
缓存区域子模块,用于当目标节点为多个DHT节点中的节点时,将目标请求发送到目标节点所对应的分条中;当目标节点为DHT节点对应的一个或多个虚拟节点中的节点时,将目标请求发送到虚拟节点对应的多个DHT节点中的节点所对应的分条中。
可选的,上述装置还包括:
缓存数据模块,用于获取待缓存数据;
优先级判断模块,用于通过预设分类规则判断待缓存数据的优先级;
数据缓存模块,用于根据待缓存数据的优先级按照预设缓存规则将待缓存数据缓存到指定位置,其中,预设缓存规则为将第一优先级的数据缓存到客户端,将第二优先级的数据缓存到代理服务器,将第三优先级的数据缓存到DHT节点。
可选的,上述装置还包括:
特征获取模块,用于获取目标请求的特征信息,其中,特征信息为用于表征目标请求的一组或多组信息;
哈希值排序模块,用于通过预设算法计算特征信息对应的哈希值,与各背书节点的哈希值,并根据各背书节点的哈希值对各背书节点进行排序;
节点选取模块,用于根据各背书节点的排序,在大于特征信息对应的哈希值的背书节点中依次选取预设数量个背书节点作为目标请求的背书节点,其中,背书节点为对目标请求进行验证和响应的节点。
本发明实施例的第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一的用于工业互联网标识解析系统的性能优化方法。
本发明实施例的第四方面,提供了一种计算机可读存储介质,其特征在于,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行上述任一的用于工业互联网标识解析系统的性能优化方法。
本发明实施例的第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的用于工业互联网标识解析系统的性能优化方法。
本发明实施例有益效果:
本发明实施例提供的一种用于工业互联网标识解析系统的性能优化方法及装置,获取客户端的目标请求;根据DHT网络的多个DHT节点,在DHT网络中生成各DHT节点对应的一个或多个虚拟节点;通过预设算法计算多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与目标请求的哈希值;在多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点;将目标请求发送到请求通道的目标分条中;将目标请求发送到目标节点。从而通过代理服务器中的请求通道与DHT节点建立长连接,进行请求的异步缓存,无需在每次发送请求时均进行三次握手,从而减小通讯耗时,避免信息传输过程中的阻塞,提升系统的性能。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种用于工业互联网标识解析系统的性能优化方法的流程图;
图2为本发明实施例的一种生成虚拟节点的实例图;
图3为本发明实施例的一种生成数据缓存区域的实例图;
图4为本发明实施例的一种将目标数据缓存到目标缓存区域的流程图;
图5为本发明实施例的一种查找目标数据的流程图;
图6为本发明实施例的一种选取背书节点的流程图;
图7为本发明实施例的一种区块链数据结构示意图;
图8为本发明实施例的一种选取背书节点的实例图;
图9a为本发明实施例的一种DHT网络的第一种结构示意图;
图9b为本发明实施例的一种DHT网络的第二种结构示意图;
图9c为本发明实施例的一种DHT网络的第三种结构示意图;
图10为本发明实施例的一种用于工业互联网标识解析系统的性能优化装置的第一种示意图;
图11为本发明实施例的一种用于工业互联网标识解析系统的性能优化装置的第二种示意图;
图12为本发明实施例的一种用于工业互联网标识解析系统的性能优化装置的第三种示意图;
图13为本发明实施例的一种用于工业互联网标识解析系统的性能优化装置的第四种示意图;
图14为本发明实施例的一种电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种用于工业互联网标识解析系统的性能优化方法,包括:
获取客户端的目标请求,其中,目标请求为对DHT网络的节点中的数据进行操作的请求;
根据DHT网络的多个DHT节点,在DHT网络中生成各DHT节点对应的一个或多个虚拟节点;
通过预设算法计算多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与目标请求的哈希值;
在多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点;
将目标请求发送到请求通道的目标分条中,其中,请求通道被划分为多个分条,各分条对应一个DHT节点,目标分条为目标节点对应的分条;
将目标请求发送到目标节点。
可见通过本申请实施例的一种用于工业互联网标识解析系统的性能优化方法,可以通过代理服务器中的请求通道与DHT节点建立长连接,实现请求的负载均衡和数据的缓存,无需在每次通讯均进行三次握手,减小通讯耗时,避免信息传输过程中的阻塞,提升系统的性能。
以下进行详细说明,参见图1,图1为本发明实施例的一种用于工业互联网标识解析系统的性能优化方法的流程图,包括:
步骤S11,获取客户端的目标请求。
其中,目标请求为对DHT网络的节点中的数据进行操作的请求。例如,对DHT网络的节点中的数据进行提取的请求等。
本发明实施例的用于工业互联网标识解析系统的性能优化方法针对的针对工业互联网标识解析系统中产生的信息,因此可以通过工业互联网对应的客户端执行,具体的客户端可以为电脑或服务器的等。
步骤S12,根据DHT网络的多个DHT节点,在DHT网络中生成各DHT节点对应的一个或多个虚拟节点。
参见图2,节点1和节点2各有3个虚拟节点,均匀地分布在网络当中,每个虚拟节点都会关联到一个真实节点,即通过运算映射到虚拟节点的请求会发送给真实的DHT节点。
步骤S13,通过预设算法计算多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与目标请求的哈希值。
其中,通过预设算法计算多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,可以为通过一致性哈希算法计算上述DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与目标数据的哈希值。
步骤S14,在多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点。
其中,在多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点。本领域技术人员可以理解,通过计算各个节点的哈希值后,可以参见图3将各个节点依据哈希值的大小排列成一个环形的数据队列,如,哈希值大小一般处于20到232之间,通过将数据20到232的所有数字按照大小进行环状排序,其中数字由小到达的方向可以对应环状队列中顺时针的方向,然而通过计算各个节点的哈希值,根据所得到的哈希值将对应的节点排列到对应的位置,当通过一致性哈希算法计算出目标请求的哈希值后,根据目标请求的哈希值在上述环形队列中的位置,顺时针选取该位置对应的下一个DHT节点作为当前请求的目标节点。
步骤S15,将目标请求发送到请求通道的目标分条中。
其中,请求通道被划分为多个分条,各分条对应一个DHT节点,目标分条为目标节点对应的分条。参见图3,当通过客户端量DHT节点发送请求时,可以通过代理服务器通过负载均衡将客户端的请求发送至特定的DHT节点,并通过将请求通道划分为多个分片。
步骤S16,将目标请求发送到目标节点。
其中,将目标请求发送到请求通道的目标分条中后,将目标请求发送到目标节点。可以为基于消息机制的异步通信,其中,消息机制是一种服务间的异步通信方法,通过在客户端与服务器之间创建通道进行数据交换。在工业互联网标识解析系统中,可以将代理服务器作为数据代理,充当所有数据的中介节点。创建客户端与DHT节点之间的请求通道,进行长连接,通道创建后可以一直传输数据,不存在频繁的连接或中断,如TCP连接中的三次握手等,任何数量的发送方都可以向通道发送数据,任何数量的接收方都可以向通道接收数据。
通过客户端将数据写入代理服务器,代理服务器根据一致性哈希负载均衡算法,将数据转发至目标DHT节点。用户可以不需要知道当前网络中DHT节点的位置和状态信息,一切都交由代理服务器完成。同时,代理服务器还能通过队列缓冲数据,可以有效实现异步通信,避免阻塞,降低网络延迟,流量削峰,提高系统性能。
可见通过本申请实施例的一种用于工业互联网标识解析系统的性能优化方法,可以通过代理服务器中的请求通道与DHT节点建立长连接,实现消息的异步缓存,无需在每次通讯均进行三次握手,减小通讯耗时,避免信息传输过程中的阻塞,提升系统的性能。
可选的,参见图4,步骤S15将目标请求发送到请求通道的目标分条中,包括:
步骤S151,当目标节点为多个DHT节点中的节点时,将目标请求发送到目标节点所对应的分条中;当目标节点为DHT节点对应的一个或多个虚拟节点中的节点时,将目标请求发送到虚拟节点对应的多个DHT节点中的节点所对应的分条中。
其中,当目标节点为DHT节点对应的一个或多个虚拟节点中的节点时,将目标请求发送到请求通道的目标分条中,例如当通过一致性哈希算法计算得到目标请求对应的目标节点为某一节点对应的虚拟节点时,将该目标请求缓存到该虚拟节点对应的原节点的缓存通道对应的分条中,例如,参见图2,目标请求对应的目标节点为节点1对应的虚拟节点时,将该目标数据缓存到节点1对应的缓存通道对应的分条中。
由于当DHT网络中节点数量较少或位置分布不均匀时,基于一致性哈希算法的负载均衡策略,依然会造成数据转发的不平均,并且还有可能造成数据缓冲队列长度超过上限,从而无法响应客户端的请求等。
通过根据DHT网络的多个DHT节点,在DHT网络中生成各DHT节点对应的一个或多个虚拟节点后,通过预设算法计算多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与目标数据的哈希值,在多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标数据的哈希值的多个节点中哈希值最小的节点作为目标节点,将目标请求发送到对应的分片中,可以有效避免了网络中节点分布不均匀导致的请求和数据存储倾斜,并且在个别节点失效后,在进行数据和服务迁移时,不容易造成雪崩现象,提高了系统可用性和伸缩性。
可选的,参见图5,上述方法还包括:
可选的,上述方法还包括:
步骤S51,获取待缓存数据。
缓存是存储在计算机上的一个原始数据复制集,使用缓存技术可以将系统中重复获取的数据信息从数据库加载到本地,不仅能减轻数据库的负载,还可以降低系统响应时间,减少网络传输时间和应用延迟时间,进而提高系统的吞吐量,增加系统的并发用户数。本申请中,通过在客户段和DHT节点之间加入代理服务器,可以形成三级缓存,并针对不同的缓存区域的优势存储不同类型的数据。获取待缓存数据可以为获取任一需要进行缓存的数据。
步骤S52,通过预设分类规则判断待缓存数据的优先级。
其中,预设分类规则为对不同类型的数据进行优先级的判断的规则,通过预设分类规则可以将待缓存数据分为第一优先级、第二优先级和第三优先级。
其中,第一优先级的数据可以为安全级别较低的数据。如在使用页面缓存时,将之前渲染的页面保存得到的数据等。通过对该类数据进行缓存,当用户再次访问时可以避开网络连接,从而减少负载,优化系统性能,提升用户体验。也可以使用浏览器缓存来存储少量安全密级相对较低的数据,通过在本地硬盘开辟一块空间存储资源副本作为缓存,在用户触发“后退”操作或访问之前浏览过的地址时,浏览器缓存会立刻调出缓存资源并显示出来。
第二优先级的数据可以为全网热点数据,通过全网热点数据的缓存,可以减少对DHT网络的访问次数,提高系统响应速度,提升系统性能。
第三优先级的数据可以为安全级别较高的数据,应储存与DHT节点中的数据。
步骤S53,根据待缓存数据的优先级按照预设缓存规则将待缓存数据缓存到指定位置。
其中,预设缓存规则为将第一优先级的数据缓存到客户端,将第二优先级的数据缓存到代理服务器,将第三优先级的数据缓存到DHT节点。
其中,由于客户端使用简单,响应迅速,但存储空间有限,安全级别较低。因此,在客户端中可以缓存并查找第一优先级的数据。
由于代理服务器介于客户端与DHT服务器之间,主要用于实现负载均衡功能,通过实时获取所有DHT节点状态信息,并计算出DHT节点的哈希值,然后根据当前在线节点的性能、正在处理的请求数,将客户端数据相对均匀地转发至合适的节点,保证网络的伸缩性和高可用。为减少客户端配置,本申请使用反向代理缓存,由于代理服务器相较于DHT节点来说更靠近用户侧,故也称作边缘缓存。其中,代理服务器中存储的数据可以为第二优先级的数据。通过在代理服务器中存储第二优先级的数据可以减少对DHT网络的访问次数,提高系统响应速度,提升系统性能。
其中,DHT节点即服务端缓存,服务端缓存可以包括数据库缓存、平台级缓存和应用级缓存,能很大程度上减轻数据库负载,同时响应大量用户请求,显著提高系统性能。服务端缓存部署在每个DHT节点,可以使用单独的缓存服务器来进行存储,或者采用集群的方式,以增加缓存数据量,提高命中率。其中,缓存服务器存储的目标数据可以为该DHT节点的热点数据,并且为每条记录设置一个过期时间,以保证数据的准确有效。当缓存池达到容量上限时,可以通过增加服务器数量或者采用一定的缓存替换策略,以满足较高的命中率。
由于当前工业互联网标识解析系统的请求主要有4种:注册、删除、更新、解析。前三类请求都是有状态的,会改变服务端数据,故为了确保安全性,每一次请求都需要调用区块链进行身份验证和权限校验。在实际应用场景中,解析请求的数量通常占全部请求数的90%以上,对于DHT分布式网络,为了满足可用性,并且实现性能提升,可考虑牺牲一段时间内的数据强一致性:由于解析请求是无状态的,故可以省去鉴权认证环节,或使用安全级别更低的代理服务器代替区块链进行验证,以减少背书执行和共识时间;当数据第一次从数据库中读出后,需调用区块链进行可信验证以确保数据的正确性,然后返回给用户并且写入缓存,后续对于相同数据的请求将直接从缓存获取,即无需访问数据库,也无需调用区块链验证,直至该数据过期被清除。
从而可以在工业互联网标识解析系统中使用多级缓存提高请求响应速度,降低系统响应时间,提高系统的吞吐量,增加系统的并发用户数,提高系统整体性能。
其中,在进行缓存数据的查找时,可以先从客户端的缓存中查找预先缓存的数据,当未找到时,再从代理服务器的缓存中查找,当代理服务器的缓存中未找到时,在从DHT节点中查找。
可选的,参见图6,上述方法还包括:
步骤S61,获取目标请求的特征信息。
其中,特征信息为用于表征目标请求的一组或多组信息。其中,上述交易请求可以为HF(Hyperledger Fabric,超级账本)中的交易请求。
其中,HF引入了通道的概念,是构建在Fabric(超级账本网络架构)网络上的私有区块链,参见图7,可以通过数据的隔离和保密,将工业互联网标识解析系统的局部域数据用一个通道进行维护,从而进行各行业数据的隔离,以及各企业信息的共享。
步骤S62,通过预设算法计算特征信息对应的哈希值,与各背书节点的哈希值,并根据各背书节点的哈希值对各背书节点进行排序。
本领域技术人员可以理解,通过一致性哈希算法计算各背书节点的哈希值,并根据各背书节点的哈希值将各背书节点进行排序,可以为根据各背书节点的哈希值将区块链中背书节点排成环装的队列。如,将数据20到232的所有数字按照大小进行环状排序,其中数字由小到达的方向可以对应环状队列中顺时针的方向,然而通过计算各背书节点的哈希值,根据所得到的哈希值将对应的背书节点排列到对应的位置。
步骤S63,根据各背书节点的排序,在大于特征信息对应的哈希值的背书节点中依次选取预设数量个背书节点作为目标请求的背书节点。
其中,背书节点为对目标请求进行验证和响应的节点。选取预设数量个背书节点作为当前交易请求的背书节点,可以为在上述环状队列中,按照顺时针方向选取大于特征信息对应的哈希值的预设数量个背书节点作为当前交易请求的背书节点。其中,由于一致性哈希算法的随机性,其过程可以等价于在所有背书节点中随机抽取若干个节点进行验证工作,这使得少数节点可以使用较少的工作量代替大多数节点响应,同时这些节点又很难被预测和攻击,从而可以有效保证数据的私密和安全。
本申请通过根据企业内部制定的背书策略,从各企业中选出若干背书节点,参见图8,图中当交易请求的哈希值处于当前位置时,当根据交易请求需选取三个背书节点时,可以选取图交易请求的哈希值的顺时针方向选取三个背书节点,即图中的背书节点2、背书节点3、背书节点4。HF采用的是execute-order-validate架构,参见图9a,图中,虚线为DHT网络,1为选举的边界节点,2为局部域DHT节点,3为区块链排序节点,4为区块链背书节点,5为区块链普通节点。DHT网络代表一个行业,其中有若干企业,根据各自的规模和资源,每个企业负责维护一个或多个DHT节点,同时每个DHT节点又与若干区块链节点相关联。应用程序生成一个交易提案后,将发送给每个必需的背书节点进行背书,每个背书节点对交易提案独立执行智能合约,生成交易提案响应,并对其进行签名并返回给应用程序。一旦应用程序收到了足够数量的已签名提案响应,交易流程的第一阶段便完成了。参见图9b,图中,虚线为DHT网络,1为选举的边界节点,2为局部域DHT节点,3为区块链排序节点,4为区块链背书节点,5为区块链普通节点。在工业互联网标识解析系统中,每个DHT节点将单独作为一个客户端,在处理各自的业务流程期间向区块链网络发起请求、收集背书并交给排序节点进行排序。排序节点由全网所有节点竞争选出,会随着网络状况以及各节点资源情况动态变化。在阶段一结束时,应用程序将交易响应汇总在一起进行比较,并丢弃不一致的事务响应,从而消除了所有的不确定性,同时因为所有的背书节点是并行执行,从而可以提升系统的性能。然后,通过排序节点同时接收来自不同应用程序客户端的事务,进行排序、打包成区块。参见图9c,图中,虚线为DHT网络,1为选举的边界节点,2为局部域DHT节点,3为区块链排序节点,4为区块链背书节点,5为区块链普通节点,6为领袖节点。最后,每个记账节点将独立地但以确定性的方式验证区块中的每个交易,以确保其已被所需组织的记账节点认可,即背书要相匹配,并且未被其他最新提交的交易使之无效。无效的交易仍保留在排序节点创建的不可变块中,但记账节点将其标记为无效,并且不会更新账本的状态。
参见图10,图10为本发明实施例的一种用于工业互联网标识解析系统的性能优化装置的第一种示意图,包括:
数据获取模块1001,用于获取客户端的目标请求,其中,目标请求为对DHT网络的节点中的数据进行操作的请求;
虚拟节点模块1002,用于根据DHT网络的多个DHT节点,在DHT网络中生成各DHT节点对应的一个或多个虚拟节点;
哈希值计算模块1003,用于通过预设算法计算多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与目标请求的哈希值;
目标节点模块1004,用于在多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点;
数据缓存模块1005,用于将目标请求发送到请求通道的目标分条中,其中,请求通道被划分为多个分条,各分条对应一个DHT节点,目标分条为目标节点对应的分条;
数据发送模块1006,用于将目标请求发送到目标节点。
可选的,参见图11,数据缓存模块1005,包括:
缓存区域子模块10051,用于当目标节点为多个DHT节点中的节点时,将目标请求发送到目标节点所对应的分条中;当目标节点为DHT节点对应的一个或多个虚拟节点中的节点时,将目标请求发送到虚拟节点对应的多个DHT节点中的节点所对应的分条中。
可选的,参见图12,上述装置还包括:
缓存数据模块1201,用于获取待缓存数据;
优先级判断模块1202,用于通过预设分类规则判断待缓存数据的优先级;
数据缓存模块1203,用于根据待缓存数据的优先级按照预设缓存规则将待缓存数据缓存到指定位置,其中,预设缓存规则为将第一优先级的数据缓存到客户端,将第二优先级的数据缓存到代理服务器,将第三优先级的数据缓存到DHT节点。
可选的,参见图13,上述装置还包括:
特征获取模块1301,用于获取目标请求的特征信息,其中,特征信息为用于表征目标请求的一组或多组信息;
哈希值排序模块1302,用于通过预设算法计算特征信息对应的哈希值,与各背书节点的哈希值,并根据各背书节点的哈希值对各背书节点进行排序;
节点选取模块1303,用于根据各背书节点的排序,在大于特征信息对应的哈希值的背书节点中依次选取预设数量个背书节点作为目标请求的背书节点,其中,背书节点为对目标请求进行验证和响应的节点。
本发明实施例还提供了一种电子设备,如图14所示,包括处理器1401、通信接口1402、存储器1403和通信总线1404,其中,处理器1401,通信接口1402,存储器1403通过通信总线1404完成相互间的通信,
存储器1403,用于存放计算机程序;
处理器1401,用于执行存储器1403上所存放的程序时,实现上述任一一种用于工业互联网标识解析系统的性能优化方法。
可见通过本申请实施例的一种用于工业互联网标识解析系统的性能优化方法,可以通过代理服务器中的请求通道与DHT节点建立长连接,实现数据的异步缓存,无需在每次数据通过过程中进行三次握手,减小通讯耗时,避免信息传输过程中的阻塞,提升系统的性能。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一一种用于工业互联网标识解析系统的性能优化方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一一种用于工业互联网标识解析系统的性能优化方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种用于工业互联网标识解析系统的性能优化方法,其特征在于,包括:
获取客户端的目标请求,其中,所述目标请求为对DHT网络的节点中的数据进行操作的请求;
根据DHT网络的多个DHT节点,在所述DHT网络中生成各DHT节点对应的一个或多个虚拟节点;
通过预设算法计算所述多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与所述目标请求的哈希值;
在所述多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点;
将目标请求发送到代理服务器中的请求通道的目标分条中,其中,请求通道被划分为多个分条,各分条对应一个DHT节点,所述目标分条为所述目标节点对应的分条;
将所述目标请求发送到所述目标节点。
2.根据权利要求1所述的方法,其特征在于,所述将目标请求发送到请求通道的目标分条中,包括:
当所述目标节点为多个DHT节点中的节点时,将所述目标请求发送到所述目标节点所对应的分条中;当所述目标节点为所述DHT节点对应的一个或多个虚拟节点中的节点时,将所述目标请求发送到所述虚拟节点对应的所述多个DHT节点中的节点所对应的分条中。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取待缓存数据;
通过预设分类规则判断所述待缓存数据的优先级;
根据所述待缓存数据的优先级按照预设缓存规则将所述待缓存数据缓存到指定位置,其中,所述预设缓存规则为将第一优先级的数据缓存到客户端,将第二优先级的数据缓存到代理服务器,将第三优先级的数据缓存到DHT节点。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取目标请求的特征信息,其中,所述特征信息为用于表征目标请求的一组或多组信息;
通过预设算法计算所述特征信息对应的哈希值,与各背书节点的哈希值,并根据所述各背书节点的哈希值对所述各背书节点进行排序;
根据所述各背书节点的排序,在大于所述特征信息对应的哈希值的背书节点中依次选取预设数量个背书节点作为所述目标请求的背书节点,其中,所述背书节点为对所述目标请求进行验证和响应的节点。
5.一种用于工业互联网标识解析系统的性能优化装置,其特征在于,包括:
数据获取模块,用于获取客户端的目标请求,其中,所述目标请求为对DHT网络的节点中的数据进行操作的请求;
虚拟节点模块,用于根据DHT网络的多个DHT节点,在所述DHT网络中生成各DHT节点对应的一个或多个虚拟节点;
哈希值计算模块,用于通过预设算法计算所述多个DHT节点与各DHT节点对应的一个或多个虚拟节点中各节点的哈希值,与所述目标请求的哈希值;
目标节点模块,用于在所述多个DHT节点与各DHT节点对应的一个或多个虚拟节点中选取节点的哈希值大于目标请求的哈希值的节点中哈希值最小的节点作为目标节点;
数据缓存模块,用于将目标请求发送到代理服务器中的请求通道的目标分条中,其中,请求通道被划分为多个分条,各分条对应一个DHT节点,所述目标分条为所述目标节点对应的分条;
数据发送模块,用于将所述目标请求发送到所述目标节点。
6.根据权利要求5所述的装置,其特征在于,所述数据缓存模块,包括:
缓存区域子模块,用于当所述目标节点为多个DHT节点中的节点时,将所述目标请求发送到所述目标节点所对应的分条中;当所述目标节点为所述DHT节点对应的一个或多个虚拟节点中的节点时,将所述目标请求发送到所述虚拟节点对应的所述多个DHT节点中的节点所对应的分条中。
7.根据权利要求5所述的装置,其特征在于,所述装置还包括:
缓存数据模块,用于获取待缓存数据;
优先级判断模块,用于通过预设分类规则判断所述待缓存数据的优先级;
数据缓存模块,用于根据所述待缓存数据的优先级按照预设缓存规则将所述待缓存数据缓存到指定位置,其中,所述预设缓存规则为将第一优先级的数据缓存到客户端,将第二优先级的数据缓存到代理服务器,将第三优先级的数据缓存到DHT节点。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
特征获取模块,用于获取目标请求的特征信息,其中,所述特征信息为用于表征目标请求的一组或多组信息;
哈希值排序模块,用于通过预设算法计算所述特征信息对应的哈希值,与各背书节点的哈希值,并根据所述各背书节点的哈希值对所述各背书节点进行排序;
节点选取模块,用于根据所述各背书节点的排序,在大于所述特征信息对应的哈希值的背书节点中依次选取预设数量个背书节点作为所述目标请求的背书节点,其中,所述背书节点为对所述目标请求进行验证和响应的节点。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN202010456024.3A 2020-05-26 2020-05-26 一种用于工业互联网标识解析系统的性能优化方法及装置 Active CN111629051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010456024.3A CN111629051B (zh) 2020-05-26 2020-05-26 一种用于工业互联网标识解析系统的性能优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010456024.3A CN111629051B (zh) 2020-05-26 2020-05-26 一种用于工业互联网标识解析系统的性能优化方法及装置

Publications (2)

Publication Number Publication Date
CN111629051A CN111629051A (zh) 2020-09-04
CN111629051B true CN111629051B (zh) 2021-12-03

Family

ID=72260012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010456024.3A Active CN111629051B (zh) 2020-05-26 2020-05-26 一种用于工业互联网标识解析系统的性能优化方法及装置

Country Status (1)

Country Link
CN (1) CN111629051B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114531486B (zh) * 2020-10-30 2023-08-15 中移物联网有限公司 一种工业互联网数据处理方法、装置、设备及存储介质
CN112087530B (zh) * 2020-11-02 2022-06-03 支付宝(杭州)信息技术有限公司 一种将数据上传至区块链系统的方法、装置、设备及介质
CN112511634A (zh) * 2020-12-02 2021-03-16 北京邮电大学 一种数据获取方法、装置、电子设备及存储介质
CN112866029B (zh) * 2021-02-03 2023-09-29 树根互联股份有限公司 基于云平台的日志数据处理方法、装置以及服务端设备
CN115208841B (zh) * 2021-07-09 2024-01-26 江苏省未来网络创新研究院 一种基于sdn的工业互联网标识流量缓存处理方法
CN113965615A (zh) * 2021-10-29 2022-01-21 重庆信息通信研究院 一种基于工业互联网的标识解析方法与系统
CN116743764B (zh) * 2023-08-11 2023-10-24 智联信通科技股份有限公司 工业互联网标识解析管理系统
CN117221324B (zh) * 2023-11-09 2024-03-08 腾讯科技(深圳)有限公司 云服务器的创建任务分发方法、装置、电子设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184016A (zh) * 2007-12-10 2008-05-21 华中科技大学 混杂式对等网络环境下的通用资源管理方法
CN101945034A (zh) * 2009-07-08 2011-01-12 中兴通讯股份有限公司 一种身份标识与位置分离协议数据转发系统及方法
WO2013188816A1 (en) * 2012-06-15 2013-12-19 Cisco Technology, Inc. Distributed stateful path computation element overlay architecture
CN103475649A (zh) * 2013-08-30 2013-12-25 中国科学院信息工程研究所 一种基于对等网络实现的隐蔽匿名通信方法
CN106027416A (zh) * 2016-05-23 2016-10-12 北京邮电大学 一种基于时空结合的数据中心网络流量调度方法及系统
CN109996229A (zh) * 2019-02-28 2019-07-09 深圳前海达闼云端智能科技有限公司 基于dht网络的数据传输方法、装置、电子设备和存储介质
CN110730244A (zh) * 2019-10-22 2020-01-24 深圳市网心科技有限公司 Dht系统的组网方法、系统及网络设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140032714A1 (en) * 2012-07-27 2014-01-30 Interdigital Patent Holdings, Inc. Method and apparatus for publishing location information for a content object
CN110784549A (zh) * 2019-11-01 2020-02-11 深圳市网心科技有限公司 网络节点选择方法、装置、第一网络节点及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184016A (zh) * 2007-12-10 2008-05-21 华中科技大学 混杂式对等网络环境下的通用资源管理方法
CN101945034A (zh) * 2009-07-08 2011-01-12 中兴通讯股份有限公司 一种身份标识与位置分离协议数据转发系统及方法
WO2013188816A1 (en) * 2012-06-15 2013-12-19 Cisco Technology, Inc. Distributed stateful path computation element overlay architecture
CN103475649A (zh) * 2013-08-30 2013-12-25 中国科学院信息工程研究所 一种基于对等网络实现的隐蔽匿名通信方法
CN106027416A (zh) * 2016-05-23 2016-10-12 北京邮电大学 一种基于时空结合的数据中心网络流量调度方法及系统
CN109996229A (zh) * 2019-02-28 2019-07-09 深圳前海达闼云端智能科技有限公司 基于dht网络的数据传输方法、装置、电子设备和存储介质
CN110730244A (zh) * 2019-10-22 2020-01-24 深圳市网心科技有限公司 Dht系统的组网方法、系统及网络设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
新型工业互联网标识解析体系探讨与实践;任语铮等;《信息通信技术与政策》;20190831;全文 *

Also Published As

Publication number Publication date
CN111629051A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111629051B (zh) 一种用于工业互联网标识解析系统的性能优化方法及装置
CN108551452B (zh) 网络爬虫方法、终端及存储介质
Conner et al. A trust management framework for service-oriented environments
US10223541B2 (en) Adaptive permission token
CN109240830B (zh) 基于服务器健康以及客户端信息的应用智能请求管理
JP5638082B2 (ja) 権利者向けデータのキャッシュ管理法
JP2018088293A (ja) 単一テナント及び複数テナント環境を提供するデータベースシステム
JP2021526751A (ja) 自己監視ブロックチェーンのための安全な合意に基づくエンドースメント
US9015414B2 (en) Load balancing based upon data usage
US11841910B2 (en) Token-based authentication for a proxy web scraping service
JP6491352B2 (ja) サービスのバッチ請求を規制する方法および装置
US20190089812A1 (en) Routing method and device
US20120210017A1 (en) Efficiently isolating malicious data requests
CN105939313A (zh) 状态码重定向方法及装置
CN111161006A (zh) 一种区块链信用服务方法、系统及存储介质
US9600251B1 (en) Enhancing API service schemes
EP4227829A1 (en) Web scraping through use of proxies, and applications thereof
US20230018983A1 (en) Traffic counting for proxy web scraping
US20220283706A1 (en) Media storage for online meetings in edge network storage
Kozina et al. Data consistency protocol for multicloud systems
US11526418B2 (en) System and method for optimizing technology stack architecture
US11647031B2 (en) Determining an origin server is potentially compromised
Satsyk et al. Increasing the Speed and Performance of the Drupal CMS Server for Industrial IoT Technologies
CN112968980B (zh) 一种概率确定方法、装置、存储介质及服务器
WO2023280593A1 (en) Web scraping through use of proxies, and applications thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant