CN112165505B - 去中心化的数据处理方法、电子装置和存储介质 - Google Patents

去中心化的数据处理方法、电子装置和存储介质 Download PDF

Info

Publication number
CN112165505B
CN112165505B CN202010848051.5A CN202010848051A CN112165505B CN 112165505 B CN112165505 B CN 112165505B CN 202010848051 A CN202010848051 A CN 202010848051A CN 112165505 B CN112165505 B CN 112165505B
Authority
CN
China
Prior art keywords
data
node
request message
data processing
processing identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010848051.5A
Other languages
English (en)
Other versions
CN112165505A (zh
Inventor
张�杰
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202010848051.5A priority Critical patent/CN112165505B/zh
Publication of CN112165505A publication Critical patent/CN112165505A/zh
Application granted granted Critical
Publication of CN112165505B publication Critical patent/CN112165505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种去中心化的数据处理方法、电子装置和存储介质。其中,该方法包括:第一节点接收第二节点发送的数据请求消息,其中,数据请求消息包括:数据处理标识和所请求数据的描述信息,数据处理标识用于指示第一节点对第二节点所请求的数据的处理方式;第一节点按照预设规则对数据请求消息中的数据处理标识进行修改,将修改后的数据请求消息发送给第三节点,并接收第三节点响应于数据请求消息而返回的第一数据;第一节点根据描述信息确定数据请求消息所请求的第二数据;第一节点根据与数据处理标识对应的处理方式处理第二数据,得到第三数据,并将第三数据和第一数据发送给第二节点处理。通过本申请,降低了大数据集群运算负荷。

Description

去中心化的数据处理方法、电子装置和存储介质
技术领域
本申请涉及数据处理领域,特别是涉及一种去中心化的数据处理方法、电子装置和存储介质。
背景技术
机器在进行数据分析过程中,如果将数据分析结果临时存储,则会增加因临时存储导致的额外I/O开销;如果不对数据分析结果进行临时存储,则在该机器偶然宕机时会丢失之前所作的数据分析结果。
这样的问题在大数据处理中尤为突出:目前的大数据分析方法多数是将各个设备的各类数据集中汇集到大数据集群进行统一存储、查询和数据分析,在这种情况下,数据的收集不仅会占用大量的带宽。并且,大数据集群中的机器同样面临I/O开销大的问题,或者因大数据集中在大数据集群的机器中处理,导致机器宕机后大量数据分析结果丢失的问题。
针对相关技术中由大数据集群集对大数据进行分析处理,从而导致大数据集群运算负荷大的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种去中心化的数据处理方法、电子装置和存储介质,以至少解决相关技术中由大数据集群集对大数据进行分析处理,从而导致大数据集群运算负荷大的问题。
第一方面,本申请实施例提供了一种去中心化的数据处理方法,应用于具有多个节点的网络,包括:第一节点接收第二节点发送的数据请求消息,其中,所述数据请求消息包括:数据处理标识和所请求数据的描述信息,所述数据处理标识用于指示所述第一节点对所述第二节点所请求的数据的处理方式,所述处理方式包括以下至少之一:对所述第二节点所请求的数据进行分析后发送给所述第二节点,直接将所述第二节点所请求的数据发送给所述第二节点;所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点,并接收所述第三节点响应于所述数据请求消息而返回的第一数据;所述第一节点根据所述描述信息确定所述数据请求消息所请求的第二数据;所述第一节点根据与所述数据处理标识对应的处理方式处理所述第二数据,得到第三数据,并将所述第三数据和所述第一数据发送给所述第二节点。
在其中一些实施例中,所述第一节点包括与所述第二节点邻近的一个或者多个节点;所述第三节点包括与所述第一节点邻近的一个或者多个节点。
在其中一些实施例中,第一节点获取所述网络的拓扑结构;第一节点确定在所述拓扑结构中与所述第一节点直接连接的一个或者多个节点为所述第三节点。
在其中一些实施例中,第一节点获取所述网络中所有节点的IP地址特征值;第一节点根据IP地址特征值,确定与所述第一节点的IP地址特征值的相似度大于预设阈值的一个或多个节点为所述第三节点。
在其中一些实施例中,第一节点获取所述网络中所有节点的IP地址特征值;第一节点根据IP地址特征值,确定与所述第一节点的IP地址特征值的相似度大于预设阈值的一个或多个节点为所述第三节点。
在其中一些实施例中,数据处理标识包括以下至少之一:第一数据处理标识和第二数据处理标识;其中,所述第一处理标识对应的处理方式包括:获取所述第一节点中存储的与所述数据对应的原始数据,将所述原始数据作为所述第三数据;所述第二处理标识对应的处理方式包括:获取所述第一节点中存储的与所述数据对应的原始数据,对所述原始数据进行数据分析,将进行数据分析后得到的数据作为所述第三数据。
在其中一些实施例中,数据处理标识还包括第三数据处理标识,所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点包括:在所述数据请求消息中的所述数据处理标识不为所述第三数据处理标识的情况下,所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点;其中,所述第三数据处理标识对应的处理方式包括:获取所述第一节点中存储的与所述数据对应的原始数据,对所述原始数据进行数据分析,将进行数据分析后得到的数据作为所述第三数据。
在其中一些实施例中,预设规则包括以下至少之一:在所述数据请求消息中包括所述第一数据处理标识的情况下,将所述第一数据处理标识修改为所述第二数据处理标识或者第三数据处理标识;在所述数据请求消息中包括所述第二数据处理标识的情况下,将所述第二数据处理标识修改为第三数据处理标识。
第二方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的一种去中心化的数据处理方法。
第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的一种去中心化的数据处理方法。
相比于相关技术,本申请实施例提供的去中心化的数据处理方法、电子装置和存储介质,解决了相关技术中由大数据集群集对大数据进行分析处理,从而导致大数据集群运算负荷大的问题,降低了大数据集群运算负荷。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1本发明实施例的去中心化的数据处理方法的终端的硬件结构框图;
图2是根据本申请实施例的去中心化的数据处理方法的流程图;
图3是根据本申请优选实施例的去中心化的数据处理方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例,图1是本发明实施例的去中心化的数据处理方法的终端的硬件结构框图。如图1所示,包括处理器11以及存储有计算机程序指令的存储器12。
具体地,上述处理器11可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器12可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器12可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器12可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器12可在数据处理装置的内部或外部。在特定实施例中,存储器12是非易失性(Non-Volatile)存储器。在特定实施例中,存储器12包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器12可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器11所执行的可能的计算机程序指令。
处理器11通过读取并执行存储器12中存储的计算机程序指令,以实现上述实施例中的任意一种去中心化的数据处理方法。
在其中一些实施例中,终端还可包括通信接口13和总线10。其中,如图1所示,处理器11、存储器12、通信接口13通过总线10连接并完成相互间的通信。
通信接口13用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口13还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线10包括硬件、软件或两者,将终端的部件彼此耦接在一起。总线10包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线10可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线10可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
本实施例提供了一种去中心化的数据处理方法,图2是根据本申请实施例的去中心化的数据处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,第一节点接收第二节点发送的数据请求消息,其中,数据请求消息包括:数据处理标识和所请求数据的描述信息,数据处理标识用于指示第一节点对第二节点所请求的数据的处理方式,处理方式包括以下至少之一:对第二节点所请求的数据进行分析后发送给第二节点,直接将第二节点所请求的数据发送给第二节点。
步骤S202,第一节点按照预设规则对数据请求消息中的数据处理标识进行修改,将修改后的数据请求消息发送给第三节点,并接收第三节点响应于数据请求消息而返回的第一数据。
步骤S203,第一节点根据描述信息确定数据请求消息所请求的第二数据。
步骤S204,第一节点根据与数据处理标识对应的处理方式处理第二数据,得到第三数据,并将第三数据和第一数据发送给第二节点。
通过上述步骤S201至步骤S204,一方面,第二节点在数据请求消息中携带数据处理标识,以指示接收到该数据请求消息的第一节点根据与数据处理标识对应的处理方式处理数据,并将该数据返回给第二节点。另一方面,第一节点在对数据请求消息中的数据处理标识进行修改后发送给第三节点,从而获取由第三节点响应于数据请求消息而返回的数据。通过这样的方式,使得第二节点所请求的数据能够在第一节点和第三节点中被处理,从而解决了相关技术中由大数据集群集对大数据进行分析处理,从而导致大数据集群运算负荷大的问题,降低了大数据集群运算负荷。
此外,通过上述步骤S201至步骤S204,由于数据在多个节点中被分析处理,分析处理后得到的数据相对于原始数据而言,数据量变小,因此,在数据被分析处理后再传输给相应的节点能够降低整个网络中传输数据量,降低网络传输开销。
在其中一些实施例中,网络中的节点还会存储响应于数据请求消息而获取的数据,并在下一次接收到用于请求相同的数据请求消息时,将存储的这些数据作为该数据请求消息的响应数据。
在其中一些实施例中,为了进一步地降低网络传输开销,第一节点包括与第二节点邻近的一个或者多个节点;第三节点包括与第一节点邻近的一个或者多个节点。通过上述方式,使得数据在被处理后传输给邻近节点,而尽量避免数据被多跳转发,能够降低网络传输的开销。
确定节点是否属于邻近节点的方式有多种。在本实施例中,可以通过网络拓扑结构或者节点的IP地址特征值的相似度来判断节点是否是邻近节点。
例如,在其中一个实施例中,第一节点获取网络的拓扑结构,第一节点确定在拓扑结构中与第一节点直接连接的一个或者多个节点为第三节点。
又例如,在其中一个实施例中,第一节点获取网络中所有节点的IP地址特征值,第一节点根据IP地址特征值,确定与第一节点的IP地址特征值的相似度大于预设阈值的一个或多个节点为第三节点。
其中,上述的拓扑结构和上述的IP地址特征值是在节点新加入网络时通过向网络中的其他节点请求而来的,并在有新的节点加入网络时,根据新加入的节点发送的请求消息而更新这些拓扑结构或IP地址特征值。
在其中一些实施例中,数据请求消息是由第二节点根据第二节点待分析的数据生成并发送给第一节点的。在这种情况下,第二节点是数据请求消息的发起者,第二节点向其他节点发送数据请求消息,从而获取第二节点待分析的数据或者待分析的数据的分析结果。
在另一些实施例中,数据请求消息是由第二节点按照预设规则对第二节点接收到的数据请求消息中的数据处理标识进行修改后,发送给第一节点的。在这种情况下,第二节点不是数据请求消息的发起者。例如,假设数据请求消息的发起者是网络中的第四节点,并且第四节点将数据请求消息发送给了第二节点,那么与第一节点类似地,第二节点接收第四节点发送的数据请求消息,其中,数据请求消息包括:数据处理标识和所请求数据的描述信息,数据处理标识用于指示第二节点对第四节点所请求的数据的处理方式,处理方式包括以下至少之一:对第四节点所请求的数据进行分析后发送给第四节点,直接将第四节点所请求的数据发送给第四节点。第二节点按照预设规则对数据请求消息中的数据处理标识进行修改,将修改后的数据请求消息发送给第三节点,并接收第三节点响应于数据请求消息而返回的第四数据。第二节点根据描述信息确定数据请求消息所请求的第五数据。第二节点根据与数据处理标识对应的处理方式处理第五数据,得到第六数据,并将第六数据和第四数据发送给第四节点。
在其中一个实施例中,数据处理标识包括以下至少之一:第一数据处理标识和第二数据处理标识。数据处理标识的类型可以是字符串类型或者数值类型。
其中,第一处理标识对应的处理方式包括:获取第一节点中存储的与数据对应的原始数据,将原始数据作为第三数据。
其中,第二处理标识对应的处理方式包括:获取第一节点中存储的与数据对应的原始数据,对原始数据进行数据分析,将进行数据分析后得到的数据作为第三数据。通过上述方式,能够知道与数据处理标识对应的处理方式。通过上述方式,能够确定第一数据处理标识和第二数据处理标识对应的数据处理策略。
在其中一个实施例中,数据处理标识还可以包括第三数据处理标识。第一节点按照预设规则对数据请求消息中的数据处理标识进行修改,将修改后的数据请求消息发送给第三节点包括:在数据请求消息中的数据处理标识不为第三数据处理标识的情况下,第一节点按照预设规则对数据请求消息中的数据处理标识进行修改,将修改后的数据请求消息发送给第三节点。其中,第三数据处理标识对应的处理方式包括:获取第一节点中存储的与数据对应的原始数据,对原始数据进行数据分析,将进行数据分析后得到的数据作为第三数据。
其中,在数据请求消息中的数据处理标识为第三数据处理标识的情况下,第一节点将不会再发送该数据请求消息给其他节点。通过上述方式,能够避免数据请求消息在网络中无限次转发或者广播给其他节点造成广播风暴,而导致网络传输性能下降或者网络瘫痪。
下面通过优选实施例对本申请进行描述和说明。本实施例中,新节点表示第二节点,以新节点加请求加入网络并获取网络中所有邻近节点的数据为例,用权重值表示数据处理标识。
图3是根据本申请优选实施例的一种去中心化的数据处理方法流程图,如图3所示,该流程包括如下步骤:
步骤S301,第一节点接收新节点发送的数据请求消息,其中,数据请求消息包括:权重值和所请求数据的描述信息,权重值用于指示第一节点对新节点所请求的数据的处理方式,处理方式包括以下至少之一:对新节点所请求的数据进行分析后发送给新节点,直接将新节点所请求的数据发送给新节点。
在其中一个实施例中,第一节点包括与新节点邻近的一个或者多个节点;第三节点包括与第一节点邻近的一个或者多个节点。通过上述方式,能够降低网络传输的开销。
在其中一个实施例中,第一节点获取网络的拓扑结构,第一节点确定在拓扑结构中与第一节点直接连接的一个或者多个节点为第三节点。通过上述方式,能够确定网络节点之间的邻近关系。
在其中一个实施例中,第一节点获取网络中所有节点的距离标签,网络中所有节点的距离标签由IP地址决定,越相近的IP打上的距离标签越近,通过所有节点的距离标签确定网络的拓扑结构,通过设置距离标签值确定第一节点所有的邻近节点,即第三节点。通过上述方式,能够确定网络的拓扑结构。
步骤S302,第一节点按照预设规则对数据请求消息中的权重值进行修改,将修改后的数据请求消息发送给第三节点,并接收第三节点响应于数据请求消息而返回的第一数据。
在其中一个实施例中,先根据权重值的范围来设置预设规则,当权重值的范围在1~7之间时,第一节点接收新节点数据请求消息,将权重值减1后,第一节点以自身为新加入的节点向邻近的第三节点发送数据请求消息,第三节点响应数据请求消息向第一节点返回第一数据,当权重值为0时,第一节点接收新节点数据请求消息,将新节点所请求的数据描述信息发送给新节点。通过上述方式,能够获取第一节点的邻近点响应数据请求消息返回的第一数据,其中任何节点因为计算力不够导致的宕机都不会影响网络中其他节点的分析任务,因为数据的存储分布在整个网络中的不同节点中,任意一个节点的宕机,都还可以从其他节点中获得宕机节点中存储的数据。
步骤S303,第一节点根据描述信息确定数据请求消息所请求的第二数据。即第一节点通过描述信息确认新节点所要请求的数据信息。
步骤S304,第一节点根据权重值对应的处理方式处理第二数据,得到第三数据,并将第三数据和第一数据发送给新节点。
在其中一个实施例中,权重值对应的处理方式主要包括以下至少之一:当权重值范围在0~4之间时,获取第一节点中存储的与数据对应的原始数据,对原始数据进行数据分析,将进行数据分析后得到的数据作为第三数据。当权重值范围在5~7之间时,获取第一节点中存储的与数据对应的原始数据,将原始数据作为第三数据。通过上述方式,能够通过权重值确定处理方式和返回的第三数据,新节点接收第一节点返回的第三数据和第一数据,根据数据中带上的数据类型进行相关操作,数据类型包括原始数据和分析后的数据,对于原始数据可以进行较为详细的数据分析,对于分析后的数据可以对其保存并与自身的数据分析结果相互关联分析。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,第一节点接收第二节点发送的数据请求消息,其中,数据请求消息包括:数据处理标识和所请求数据的描述信息,数据处理标识用于指示第一节点对第二节点所请求的数据的处理方式,处理方式包括以下至少之一:对第二节点所请求的数据进行分析后发送给第二节点,直接将第二节点所请求的数据发送给第二节点;
S2,第一节点按照预设规则对数据请求消息中的数据处理标识进行修改,将修改后的数据请求消息发送给第三节点,并接收第三节点响应于数据请求消息而返回的第一数据;
S3,第一节点根据描述信息确定数据请求消息所请求的第二数据;
S4,第一节点根据与数据处理标识对应的处理方式处理第二数据,得到第三数据,并将第三数据和第一数据发送给第二节点;
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的一种去中心化的数据处理方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种去中心化的数据处理方法。
本领域的技术人员应该明白,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种去中心化的数据处理方法,应用于具有多个节点的网络,其特征在于包括:
第一节点接收第二节点发送的数据请求消息,其中,所述数据请求消息包括:数据处理标识和所请求数据的描述信息,所述数据处理标识用于指示所述第一节点对所述第二节点所请求的数据的处理方式,所述处理方式包括以下至少之一:对所述第二节点所请求的数据进行分析后发送给所述第二节点,直接将所述第二节点所请求的数据发送给所述第二节点;
所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点,并接收所述第三节点响应于所述数据请求消息而返回的第一数据;
所述第一节点根据所述描述信息确定所述数据请求消息所请求的第二数据;
所述第一节点根据与所述数据处理标识对应的处理方式处理所述第二数据,得到第三数据,并将所述第三数据和所述第一数据发送给所述第二节点;
所述数据处理标识包括以下至少之一:第一数据处理标识和第二数据处理标识;其中,所述第一数据处理标识对应的处理方式包括:获取所述第一节点中存储的与所述数据对应的原始数据,将所述原始数据作为所述第三数据;
所述第二数据处理标识对应的处理方式包括:获取所述第一节点中存储的与所述数据对应的原始数据,对所述原始数据进行数据分析,将进行数据分析后得到的数据作为所述第三数据;
所述数据处理标识还包括第三数据处理标识,其中,所述第三数据处理标识对应的处理方式包括:获取所述第一节点中存储的与所述数据对应的原始数据,对所述原始数据进行数据分析,将进行数据分析后得到的数据作为所述第三数据;
所述预设规则包括以下至少之一:
在所述数据请求消息中包括所述第一数据处理标识的情况下,将所述第一数据处理标识修改为所述第二数据处理标识或者第三数据处理标识;
在所述数据请求消息中包括所述第二数据处理标识的情况下,将所述第二数据处理标识修改为第三数据处理标识。
2.根据权利要求1所述的方法,其特征在于,所述第一节点包括与所述第二节点邻近的一个或者多个节点;所述第三节点包括与所述第一节点邻近的一个或者多个节点。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述第一节点获取所述网络的拓扑结构;
所述第一节点确定在所述拓扑结构中与所述第一节点直接连接的一个或者多个节点为所述第三节点。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述第一节点获取所述网络中所有节点的IP地址特征值;
所述第一节点根据IP地址特征值,确定与所述第一节点的IP地址特征值的相似度大于预设阈值的一个或多个节点为所述第三节点。
5.根据权利要求1所述的方法,其特征在于,所述数据请求消息是由所述第二节点按照所述预设规则对所述第二节点接收到的数据请求消息中的数据处理标识进行修改后,发送给所述第一节点的;或者,所述数据请求消息是由所述第二节点根据所述第二节点待分析的数据生成并发送给所述第一节点的。
6.根据权利要求5所述的方法,其特征在于,所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点包括:
在所述数据请求消息中的所述数据处理标识不为所述第三数据处理标识的情况下,所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点。
7.一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的去中心化的数据处理方法。
8.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至6中任一项所述的去中心化的数据处理方法。
CN202010848051.5A 2020-08-21 2020-08-21 去中心化的数据处理方法、电子装置和存储介质 Active CN112165505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010848051.5A CN112165505B (zh) 2020-08-21 2020-08-21 去中心化的数据处理方法、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010848051.5A CN112165505B (zh) 2020-08-21 2020-08-21 去中心化的数据处理方法、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN112165505A CN112165505A (zh) 2021-01-01
CN112165505B true CN112165505B (zh) 2022-07-19

Family

ID=73859679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010848051.5A Active CN112165505B (zh) 2020-08-21 2020-08-21 去中心化的数据处理方法、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN112165505B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312224A (zh) * 2022-06-27 2023-12-29 华为技术有限公司 数据处理系统、方法、装置和控制器
CN117113310B (zh) * 2023-10-16 2024-03-08 北京华鲲振宇智能科技有限责任公司 一种数据传输控制方法及系统、设备、介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193032A (zh) * 2006-11-29 2008-06-04 曲锐 基于分布式哈希表的数据处理方法和网络
CN111371686A (zh) * 2020-03-19 2020-07-03 刘奇峰 一种报文转发方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160378570A1 (en) * 2015-06-25 2016-12-29 Igor Ljubuncic Techniques for Offloading Computational Tasks between Nodes
US10440096B2 (en) * 2016-12-28 2019-10-08 Intel IP Corporation Application computation offloading for mobile edge computing
US11442836B2 (en) * 2018-02-23 2022-09-13 Dynatrace Llc Method and system for real-time correlation of disparate sources of topological information to create a unified topological model of a distributed information system
US11061735B2 (en) * 2019-01-02 2021-07-13 Alibaba Group Holding Limited System and method for offloading computation to storage nodes in distributed system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193032A (zh) * 2006-11-29 2008-06-04 曲锐 基于分布式哈希表的数据处理方法和网络
CN111371686A (zh) * 2020-03-19 2020-07-03 刘奇峰 一种报文转发方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
分布式处理平台节能计算研究综述;于炯等;《新疆大学学报(自然科学版)》;20181106(第04期);第15-27页 *
移动云计算中的任务卸载技术研究;张强;《中国博士学位论文全文数据库 (信息科技辑) 月刊》;20180115;第I136-57页 *

Also Published As

Publication number Publication date
CN112165505A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN112165505B (zh) 去中心化的数据处理方法、电子装置和存储介质
CN102880628B (zh) 哈希数据存储方法和装置
CN112311600A (zh) 基于网络数据分析的策略建议生成方法、装置
CN111338806B (zh) 一种业务控制方法及装置
CN110413845B (zh) 基于物联网操作系统的资源存储方法及装置
CN110427386B (zh) 数据处理方法、装置及计算机存储介质
CN112995053A (zh) 发送报文的方法及装置
CN110213365B (zh) 基于用户分区的用户访问请求处理方法及电子设备
CN112527950B (zh) 一种基于MapReduce的图数据删除方法及系统
US9923794B2 (en) Method, apparatus, and system for identifying abnormal IP data stream
CN107870925B (zh) 一种字符串过滤方法和相关装置
JPWO2009110445A1 (ja) アドレス検索方法およびパケット処理装置
CN113760519B (zh) 分布式事务处理方法、装置、系统和电子设备
CN111464395B (zh) 一种创建区块链的方法、装置及可读存储介质
CN116847432A (zh) 一种子网融合方法、装置、电子设备及存储介质
WO2021155529A1 (zh) 资源删除方法、装置、设备及存储介质
CN114143367A (zh) 区块链网络中优化邻居节点的方法及装置
CN111506658B (zh) 数据处理方法、装置、第一设备及存储介质
CN108809916B (zh) 一种业务处理方法及装置
CN117075966B (zh) 指令处理方法、装置、设备及可读存储介质
CN111476663B (zh) 一种数据处理方法、装置、节点设备及存储介质
EP4383085A1 (en) Text search processing method and related device
CN111291136B (zh) 标识关联关系处理方法、装置、计算机设备和存储介质
CN110213314B (zh) 确定存储节点的方法、装置、服务器
CN111090629A (zh) 一种数据文件存储方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant