CN110351375A - 一种数据处理方法、装置及计算机装置、可读存储介质 - Google Patents

一种数据处理方法、装置及计算机装置、可读存储介质 Download PDF

Info

Publication number
CN110351375A
CN110351375A CN201910641445.0A CN201910641445A CN110351375A CN 110351375 A CN110351375 A CN 110351375A CN 201910641445 A CN201910641445 A CN 201910641445A CN 110351375 A CN110351375 A CN 110351375A
Authority
CN
China
Prior art keywords
node
network
server
network node
node server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910641445.0A
Other languages
English (en)
Other versions
CN110351375B (zh
Inventor
罗来堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201910641445.0A priority Critical patent/CN110351375B/zh
Publication of CN110351375A publication Critical patent/CN110351375A/zh
Application granted granted Critical
Publication of CN110351375B publication Critical patent/CN110351375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/101Server selection for load balancing based on network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894Packet rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Power Sources (AREA)

Abstract

本发明实施例提供了一种数据处理方法、装置及计算机装置、可读存储介质,用于从与服务器连接的网络节点中,获取至少一个节点服务器,使得节点服务器从服务器上获取计算任务,并将该计算任务分配至其他网络节点,从而缓解服务器的数据压力,提升计算任务的处理速度。本发明实施例方法包括:获取与服务器网络连接的网络节点信息;根据所述网络节点信息,从网络节点中确定至少一个节点服务器,使得所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点。

Description

一种数据处理方法、装置及计算机装置、可读存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据处理方法、装置及计算机装置、可读存储介质。
背景技术
在数据处理技术领域,越来越多的网络节点可以加入网络处理数据任务,从而实现对数据的快速处理,及闲置资源的充分利用。
但网络节点在处理数据前,一般需要从服务器获取数据任务,然后执行数据任务,但随着网络节点数量的增加,服务器的数据压力会越来越大,当网络节点的基数足够大时,服务器的网络性能将成为制约数据任务处理的瓶颈。
发明内容
本发明实施例提供了一种数据处理方法、装置及计算机装置、可读存储介质,用于从与服务器连接的网络节点中,获取至少一个节点服务器,使得节点服务器从服务器上获取计算任务,并将该计算任务分配至其他网络节点,从而缓解服务器的数据压力,提升计算任务的处理速度。
本申请实施例第一方面提供了一种数据处理方法,包括:
获取与服务器网络连接的网络节点信息;
根据所述网络节点信息,从网络节点中确定至少一个节点服务器,使得所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点。
优选的,所述方法还包括:
从所述网络节点中为所述节点服务器确定至少一个候选节点服务器,所述候选节点服务器上的数据与所述节点服务器上的数据保持同步。
优选的,所述网络节点的信息至少包括网络节点的归属区域及运营商信息;
所述从所述终端中确定至少一个节点服务器,包括:
获取所述网络节点的归属区域和/或运营商信息;
从隶属于相同区域和/或相同运营商的第一网络节点中,确定至少一个节点服务器。
优选的,所述节点服务器的数量正相关于所述第一网络节点的数量。
优选的,所述网络节点的信息还包括:网络节点的在线时长及网络带宽;
所述从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器,包括:
获取所述网络节点的连续在线时长及网络带宽;
当所述连续在线时长及网络带宽都不小于对应阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
优选的,所述网络节点的信息还包括:网络节点的品牌、CPU芯片及存储空间;
所述当所述连续在线时长及网络带宽都不小于对应阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器,包括:
根据所述网络节点的品牌、CPU芯片及存储空间,评估所述网络节点的算力;
当所述连续在线时长及网络带宽都不小于对应阈值,且所述算力也不小于预设算力阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
优选的,所述根据所述网络节点的品牌、CPU芯片及存储空间,评估所述网络节点的算力,包括:
查询第一映射表,以确定所述网络节点的算力,所述第一映射表中记录了所述品牌、CPU芯片及存储空间与算力之间的映射关系;
或;
利用预先设定的计算公式计算所述网络节点的算力;
或;
向所述网络节点下发第一测试任务;
根据对所述第一测试任务的完成结果,获取所述网络节点的算力。
优选的,所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点,包括:
所述节点服务器从所述服务器获取计算任务,评估所述计算任务的第一算力;
所述节点服务器获取其他网络节点的第二算力;
所述节点服务器根据所述第一算力、所述第二算力,将所述计算任务分配至至少一个其他网络节点。
优选的,所述节点服务器获取其他网络节点的第二算力,包括:
所述节点服务器周期性地向其他网络节点下发第二测试任务;
所述节点服务器根据其他网络节点对所述第二测试任务的多次完成结果,获取其他网络节点的第二算力。
优选的,所述方法还包括:
所述节点服务器根据其他网络节点对所述第二测试任务的完成结果,评估其他网络节点的稳定性;
所述节点服务器根据所述稳定性,将其他网络节点划分为不同的级别;
所述节点服务器根据所述第一算力、所述第二算力,将所述计算任务分配至至少一个其他网络节点,包括:
所述节点服务器根据所述第一算力、所述第二算力,及其他网络节点的稳定性级别将所述计算任务分配至其他网络节点中的至少一个。
优选的,所述方法还包括:
当所述稳定性的级别不符合预设标准时,则在向其他网络节点分配计算任务之前,所述方法还包括:
所述节点服务器向其他网络节点下发第三测试任务;
所述节点服务器接收其他网络节点对所述第三测试任务的完成结果;
当所述第三测试任务的完成结果符合预设标准时,则触发向其他网络节点分配计算任务的步骤。
优选的,在所述节点服务器评估所述计算任务的第一算力之后,所述方法还包括:
若所述第一算力大于第一阈值时,则将所述计算任务拆分为多个子任务;
所述将所述计算任务分配至至少一个其他网络节点,包括:
将所述多个子任务分配至至少一个其他网络节点。
优选的,所述方法还包括:
所述节点服务器接收其他网络节点对所述计算任务的完成结果;
所述节点服务器验证所述完成结果是否正确;
若是,则所述节点服务器根据所述完成结果向其他网络节点发送任务奖励。
本申请实施例第二方面提供了一种数据处理装置,包括:
获取单元,用于获取与服务器网络连接的网络节点信息;
确定单元,用于根据所述网络节点信息,从网络节点中确定至少一个节点服务器,使得所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点。
优选的,所述确定单元,还用于:
从所述终端中为所述节点服务器确定至少一个候选节点服务器,以防止所述节点服务器发生宕机,所述候选节点服务器上的数据与所述节点服务器上的数据保持同步。
优选的,所述网络节点的信息至少包括网络节点的归属区域及运营商信息;
所述确定单元,具体用于:
获取所述网络节点的归属区域和/或运营商信息;
从隶属于相同区域和/或相同运营商的第一网络节点中,确定至少一个节点服务器。
优选的,所述节点服务器的数量正相关于所述第一网络节点的数量。
优选的,所述网络节点的信息还包括:网络节点的在线时长及网络带宽;
所述确定单元,具体用于:
获取所述网络节点的连续在线时长及网络带宽;
当所述连续在线时长及网络带宽都不小于对应阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
优选的,所述网络节点的信息还包括:网络节点的品牌、CPU芯片及存储空间;
所述确定单元,具体用于:
根据所述网络节点的品牌、CPU芯片及存储空间,评估所述网络节点的算力;
当所述连续在线时长及网络带宽都不小于对应阈值,且所述算力也不小于预设算力阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
优选的,所述确定单元,具体用于:
查询第一映射表,以确定所述网络节点的算力,所述第一映射表中记录了所述品牌、CPU芯片及存储空间与算力之间的映射关系;
或;
利用预先设定的计算公式计算所述网络节点的算力;
或;
向所述网络节点下发第一测试任务;
根据对所述第一测试任务的完成结果,获取所述网络节点的算力。
优选的,所述确定单元,具体用于:
所述节点服务器从所述服务器获取计算任务,评估所述计算任务的第一算力;
所述节点服务器获取其他网络节点的第二算力;
所述节点服务器根据所述第一算力、所述第二算力,将所述计算任务分配至至少一个网络节点。
本申请实施例还提供了一种计算机装置,包括处理器,该处理器在执行存储于存储器上的计算机程序时,用于实现本申请实施例第一方面提供的数据处理方法。
本申请实施例还提供了一种可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,用于实现本申请实施例第一方面提供的数据处理方法。
从以上技术方案可以看出,本发明实施例具有以下优点:
本申请实施例中,获取与服务器网络连接的网络节点信息,根据网络节点信息,从网络节点中确定至少一个节点服务器,使得节点服务器从服务器获取计算任务,并将计算任务分配至其他网络节点。因为本实施例中,通过确定节点服务器,使得节点服务器从服务器获取计算任务,并将计算任务分配至其他网络节点,从而减轻了服务器的数据负载,提升了计算任务的处理速度。
附图说明
图1为本实施例中数据处理方法的一个实施例示意图;
图2为本申请实施例中图1实施例中步骤102的细化步骤;
图3为本申请实施例中图2实施例中步骤202的细化步骤;
图4为本申请实施例中图3实施例中步骤302的细化步骤;
图5为本申请实施例中数据处理方法的另一个实施例示意图;
图6为本申请实施例中图5实施例中步骤502的细化步骤;
图7为本申请实施例中数据处理方法的另一个实施例示意图;
图8为本申请实施例中数据处理装置的一个实施例示意图。
具体实施方式
本发明实施例提供了一种数据处理方法、装置及计算机装置、可读存储介质,用于从与服务器连接的网络节点中,获取至少一个节点服务器,使得节点服务器从服务器上获取计算任务,并将该计算任务分配至其他网络节点,从而缓解服务器的数据压力,提升数据任务的处理速度。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决现有技术中,所有的网络节点都从服务器获取数据任务,从而使得服务器的网络性能成为制约数据任务处理速度的问题,本申请实施例提出了一种数据处理方法,以减轻服务器的负载,提升数据任务的处理速度。
为方便理解,下面对本申请实施例中的数据处理方法进行描述,请参阅图1,本申请实施例中数据处理方法的一个实施例,包括:
101、获取与服务器网络连接的网络节点信息;
本申请实施例中,为了减轻服务器的数据负载,从与服务器网络连接的网络节点中确定一个节点服务器,以执行步骤102。
具体的,本实施例中的网络节点是指可以通过有线或无线网络连接至服务器的设备。
在确定节点服务器时,可以获取与服务器网络连接的网络节点信息,以根据网络节点信息,从与服务器连接的网络节点中,确定一个节点服务器。
具体的,网络节点信息的内容关联于节点服务器的确定过程,将在下面的实施例中详细描述,此处不再赘述。
102、根据所述网络节点信息,从网络节点中确定至少一个节点服务器,使得所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点。
确定了与服务器连接的网络节点信息后,根据该网络节点信息,从多个网络节点中确定至少一个节点服务器,使得节点服务器从服务器上获取计算任务,并将该计算任务分配至其他网络节点,以减轻服务器的负载,提升数据任务的处理速度。
本申请实施例中,获取与服务器网络连接的网络节点信息,根据网络节点信息,从网络节点中确定至少一个节点服务器,使得节点服务器从服务器获取计算任务,并将计算任务分配至其他网络节点。因为本实施例中,通过确定节点服务器,使得节点服务器从服务器获取计算任务,并将计算任务分配至其他网络节点,从而减轻了服务器的数据负载,提升了计算任务的处理速度。
基于图1所述的实施例,下面基于网络节点信息所包含的内容,对步骤102做详细描述,请参阅图2,图2为图1实施例中步骤102的细化步骤:
当网络节点的信息至少包括网络节点的归属区域和/或运营商信息时,图2的实施例包括以下步骤:
201、获取所述网络节点的归属区域和/或运营商信息;
在网络通信的过程中,跨区域通信会增加通信的距离,从而导致通信的延时增大,而跨运营商通信,因为在通信的过程中需要执行运营商的切换协商指令,也会因为通信流程繁琐导致通信延时增大。
而为了保证通信的速率,可以获取网络节点的归属区域和/或运营商信息,并根据上述信息执行步骤202。
202、从隶属于相同区域和/或相同运营商的第一网络节点中,确定至少一个节点服务器。
获取到网络节点的归属区域和/或运营商信息后,为了减少通信的延时,保证通信的质量以及计算任务完成的时效性,可以从隶属于相同区域和/或相同运营商的第一网络节点中,确定至少一个节点服务器,从而使得节点服务器向隶属于相同区域和/或相同运营商的网络节点分配计算任务,以提高计算任务的执行效率。
为了进一步提升计算任务的分配效率,还可以在确定节点服务器时,使得节点服务器的数量正相关于第一网络节点的数量,如当第一网络节点为500个时,确定一个节点服务器,而当第一网络节点为1000个时,则确定2个节点服务器,从而使得第一网络节点可以从更多的节点服务器上获取计算任务,以提升计算任务的执行效率。
本申请实施例对节点服务器的确定过程,做了详细描述,提升了本申请实施例的可实施性。
进一步,为了保证节点服务器在宕机时,还可以使得计算任务被及时分配执行,在确定节点服务器时,还可以为每个节点服务器设置至少一个候选节点服务器,且候选节点服务器上的数据与节点服务器上的数据保持同步,以使得节点服务器在宕机时,候选节点服务器可以替代节点服务器,从服务器获取计算任务,并将计算任务分配至其他网络节点,以保证计算任务被及时分配执行,同时也提升了本申请中节点服务器的稳定性。
基于图2所述的实施例,为了进一步提升计算任务的分配及执行效率,还可以在确定节点服务器时,执行以下步骤,请参阅图3,图3为图2实施例中步骤202的细化步骤;
301、获取所述网络节点的连续在线时长及网络带宽;
为了保证节点服务器的通信速度及通信的稳定性,还可以获取网络节点的网络带宽及连续在线时长,并根据上述参数确定节点服务器。
302、当所述连续在线时长及网络带宽都不小于对应阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
为了保证通信速率,可以为网络带宽及连续在线时长设置对应的阈值,并从隶属于相同区域和/或相同运营商的网络节点中,选取连续在线时长及网络带宽都不小于对应阈值的网络节点,作为节点服务器。其中,网络带宽及连续在线时长对应的阈值,可以根据需求执行自定义设置,此处不做具体限制。
具体的,为了提高网络带宽及连续在线时长测试的稳定性,可以通过不同的时间段,对网络带宽及连续在线时长进行测试,如每天的8点钟,12点钟及晚上5点钟,对网络节点的网络带宽及连续在线时长进行测试,并将测试结果的平均值作为最终的测试值,以提高网络带宽及连续在线时长参数的稳定性。
基于图3的实施例,为了再进一步提升计算任务的分配及执行效率,还可以执行以下步骤,具体请参阅图4,图4为图3实施例中步骤302的细化步骤:
401、根据所述网络节点的品牌、CPU芯片及存储空间,评估所述网络节点的算力;
为了进一步提升计算任务的分配及执行效率,还可以获取网络节点的品牌、CPU芯片及存储空间,并根据上述参数,评估网络节点的算力。
具体的,评估网络节点的算力过程可以如下所述:
A、查询第一映射表,以确定所述网络节点的算力,所述第一映射表中记录了所述品牌、CPU芯片及存储空间与算力之间的映射关系;
得到网络节点的基本配置后,可以通过查新预先设置的第一映射表,以根据映射表,获取与该网络节点基本配置对应的算力。
具体的,第一映射表中记录了网络带宽、CPU芯片及存储空间与算力之间的映射关系。
或;
B、利用预先设定的计算公式计算所述网络节点的算力;
作为另一种可选的方式,评估网络节点的算力时,还可以是预先设定一计算公式,将配置参数代入计算公式后计算出第二算力。
或;
B、向所述网络节点下发第一测试任务;
根据对所述第一测试任务的完成结果,获取所述网络节点的算力。
作为另一种可选的方式,评估网络节点的算力时,还可以是向该网络节点下发第一测试任务,并根据该网络节点对第一测试任务的完成结果,来评估网络节点的算力。
进一步的,为了提高算力评估的准确率,服务器还可以是周期性的向网络节点下发第一测试任务,如一天中,每隔4个小时向网络节点下发第一测任务,以获取网络节点对第一测试任务的多次完成结果,并根据多次完成结果的平均值,来评估网络节点的第二算力。
需要说明的是,本实施例中的第一测试任务只是对测试任务的统称,可以是每次下发的测试任务不同,且测试任务所需的算力也不同。
服务器将第一测试任务下发至网络节点后,根据网络节点对第一测试任务的完成结果,获取网络节点的算力。
当服务器是周期性向网络节点下发第一测试任务时,服务器则是根据网络节点对第一测试任务的多次完成结果,来评估网络节点的算力,如计算多次完成结果的平均值。
402、当所述连续在线时长及网络带宽都不小于对应阈值,且所述算力也不小于预设算力阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
为了保证节点服务器的网络性能,还可以为网络节点的算力设置对应的阈值,并从隶属于相同区域和/或相同运营商的网络节点中,选取连续在线时长及网络带宽不小于对应阈值,且算力也不小于预设算力阈值的网络节点,作为节点服务器,以提升节点服务器的处理性能,保证计算任务的分配及执行。
本申请实施例中,为了提升节点服务器的处理性能,保证计算任务被及时分配及执行,对节点服务器的确定过程做了详细描述,提升了本申请实施例的可实施性。
基于图1所述的实施例,下面接着对图1实施例中节点服务器从服务器获取计算任务,并将计算任务分配至其他网络节点的过程做详细描述,请参阅图5,本申请实施例中数据处理方法的另一个实施例,包括:
501、节点服务器从所述服务器获取计算任务,评估所述计算任务的第一算力;
当节点服务器从服务器上获取到计算任务后,评估该计算任务所需的第一算力,以用于根据第一算力的大小,来分配该计算任务。
具体的,节点服务器对该计算任务算力的评估可以是根据历史经验,也可以是选取该计算任务的一定比例(如千分之一)来执行运算,然后根据该比例所需要的算力,来评估完成整个计算任务所需的算力。
502、节点服务器获取其他网络节点的第二算力;
节点服务器将计算任务分配至在线网络节点时,不仅需要评估该计算任务所需的第一算力,还需要评估在线网络节点可提供的第二算力,以根据第一算力和第二算力来分配计算任务,如节点服务器评估整个计算任务大概需要1个小时完成时,若选取的在线网络节点的算力很小时,则可能导致该计算任务延期,从而影响该计算任务的完成度。
故节点服务器在分配计算任务时,不仅会评估计算任务所需要的第一算力,还需要评估在线网络节点可提供的的第二算力,以执行步骤503。
503、节点服务器根据所述第一算力、所述第二算力,将所述计算任务分配至至少一个网络节点。
服务器获取到计算任务所需的第一算力,在线网络节点可提供的第二算力后,即可根据第一算力、第二算力的大小,将该计算任务分配至至少一个网络节点。
本申请实施例中,对节点服务器从服务器获取计算任务,并将计算任务分配至其他网络节点的过程,做了详细描述,提升了计算任务的处理效率。
基于图5所述的实施例,下面对步骤502做详细描述,请参阅图6,图6为图5实施例中步骤502的细化步骤:
601、所述节点服务器周期性地向其他网络节点下发第二测试任务;
作为获取第二算力的一种方式,同时为了提高第二算力的准确率,节点服务器可以是周期性的向其他网络节点下发第二测试任务,如一天中,每隔4个小时向其他网络节点下发第二测任务,以获取其他网络节点对第二测试任务的多次完成结果,并根据多次完成结果的平均值,来评估其他网络节点的第二算力。
需要说明的是,本实施例中的第二测试任务只是对测试任务的统称,可以是每次下发的测试任务不同,且测试任务所需的算力也不同。
602、所述节点服务器根据其他网络节点对所述第二测试任务的多次完成结果,获取其他网络节点的第二算力。
节点服务器将第二测试任务下发至其他网络节点后,根据其他网络节点对第二测试任务的多次完成结果,获取其他网络节点的第二算力,如计算多次完成结果的平均值。
基于图6所述的实施例,在根据其他网络节点对第二测试任务的完成结果,评估其他网络节点的第二算力时,还可以对其他网络节点第二算力的稳定性进行评估,并根据评估结果,将其他网络节点划分为不同的级别。
具体的,对其他网络节点第二算力的稳定性进行评估的过程可以是,对其他网络节点每隔3小时进行一次算力测试,并长时间跟踪其算力的变化情况,如连续7天跟踪算力的变化情况,若网络节点的算力波动超过预设阈值(如20%),则标记为异常节点(即稳定性最差);若网络节点的算力波动未超过预设阈值(如20%),则标记为正常节点(即稳定性一般);若网络节点的算力波动为负值,即其他网络节点提前完成测试任务,则标记为优选节点(稳定性最佳),以使得节点服务器在分配计算任务时,不仅参考其他网络节点的第二算力,还参考其他网络节点算力的稳定性,以保证计算任务的完成度。
当网络节点为异常节点时,即该网络节点的稳定性最差,还可以在向该网络节点下发计算任务前,向该异常节点下发第三测试任务,以根据异常节点对第三测试任务的完成结果,来评估是否向该异常节点下发计算任务。
具体的,若该异常节点对第三测试任务的完成符合预设标准时,则触发向该异常节点下发计算任务的步骤,否则,则拒绝向该异常节点下发计算任务,以保证对计算任务的完成度。
基于图5所述的实施例,当节点服务器评估计算任务的第一算力较大时,还可以执行以下步骤,以保证对计算任务的完成度,具体请参参阅图7,本申请实施例中一种数据处理方法的另一个实施例,包括:
701、若第一算力大于第一阈值时,节点服务器将计算任务拆分为多个子任务;
当计算任务所需的第一算力较大时,即第一算力大于第一阈值时,将计算任务拆分为多个子任务;
其中,第一阈值的大小可以根据用户的需求自定义,而将计算任务拆分为子任务的方式,可以是根据每个子任务的算力,进行平均拆分,或根据子任务的相关度,进行拆分,此处对子任务的拆分方式不做具体限制。
702、节点服务器将所述多个子任务分配至至少一个其他网络节点;
将计算任务拆分为多个子任务后,则是将多个子任务分配至至少一个其他网络节点。
具体的,本实施例中所分配的网络节点数量,可以根据实际任务需求进行选择,此处不做具体限制。
703、节点服务器接收其他网络节点对所述计算任务的完成结果;
节点服务器将计算任务下发至其他网络节点后,其他网络节点对该计算任务执行运算,并在运算结束后,将该计算任务的完成结果发送至节点服务器,使得节点服务器对该计算任务的完成结果进行验证。
704、节点服务器验证所述完成结果是否正确,若是,则执行步骤/705,
若否,则执行步骤706;
服务器接收到移动终端对计算任务的完成结果后,对该完成结果进行验证,以判断该完成结果是否正确,若是,则执行步骤705,若否,则执行步骤706。
705、节点服务器根据所述完成结果向所述移动终端发送任务奖励;
若节点服务器验证其他网络节点对计算任务的完成结果正确,则根据预设的奖励机制向其他网络节点发送任务奖励,具体的,奖励机制可以是根据计算任务所需的算力进行奖励,还可以是根据移动终端对计算任务的完成时间进行奖励,此处对具体的奖励机制不做限制。
706、节点服务器执行其他流程。
若节点服务器验证其他网络节点对计算任务的完成结果错误,则执行其他流程,如对该节点进行惩罚,或将该计算任务下发至原有网络节点重新执行运算,或限制该节点参加计算任务等,此处也不做具体限制。
上面对本申请实施例中的数据处理方法进行了描述,下面对本申请实施例中的数据处理装置进行描述,请参阅图8,本申请实施例中数据处理装置的一个实施例,包括:
获取单元801,用于获取与服务器网络连接的网络节点信息;
确定单元802,用于根据所述网络节点信息,从网络节点中确定至少一个节点服务器,使得所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点。
优选的,所述确定单元802,还用于:
从所述终端中为所述节点服务器确定至少一个候选节点服务器,以防止所述节点服务器发生宕机,所述候选节点服务器上的数据与所述节点服务器上的数据保持同步。
优选的,所述网络节点的信息至少包括网络节点的归属区域及运营商信息;
所述确定单元802,具体用于:
获取所述网络节点的归属区域和/或运营商信息;
从隶属于相同区域和/或相同运营商的第一网络节点中,确定至少一个节点服务器。
优选的,所述节点服务器的数量正相关于所述第一网络节点的数量。
优选的,所述网络节点的信息还包括:网络节点的在线时长及网络带宽;
所述确定单元802,具体用于:
获取所述网络节点的连续在线时长及网络带宽;
当所述连续在线时长及网络带宽都不小于对应阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
优选的,所述网络节点的信息还包括:网络节点的品牌、CPU芯片及存储空间;
所述确定单元802,具体用于:
根据所述网络节点的品牌、CPU芯片及存储空间,评估所述网络节点的算力;
当所述连续在线时长及网络带宽都不小于对应阈值,且所述算力也不小于预设算力阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
优选的,所述确定单元802具体用于:
查询第一映射表,以确定所述网络节点的算力,所述第一映射表中记录了所述品牌、CPU芯片及存储空间与算力之间的映射关系;
或;
利用预先设定的计算公式计算所述网络节点的算力;
或;
向所述网络节点下发第一测试任务;
根据对所述第一测试任务的完成结果,获取所述网络节点的算力。
优选的,所述确定单元802,还用于:
使得所述节点服务器从所述服务器获取计算任务,评估所述计算任务的第一算力;
所述节点服务器获取其他网络节点的第二算力;
所述节点服务器根据所述第一算力、所述第二算力,将所述计算任务分配至至少一个其他网络节点。
优选的,所述确定单元802,具体用于:
使得所述节点服务器周期性地向其他网络节点下发第二测试任务;
使得所述节点服务器根据其他网络节点对所述第二测试任务的多次完成结果,获取其他网络节点的第二算力。
优选的,所述确定单元802,还用于:
使得所述节点服务器根据其他网络节点对所述第二测试任务的完成结果,评估其他网络节点的稳定性;
使得所述节点服务器根据所述稳定性,将其他网络节点划分为不同的级别;
使得所述节点服务器根据所述第一算力、所述第二算力,及其他网络节点的稳定性级别将所述计算任务分配至其他网络节点中的至少一个。
优选的,当所述稳定性的级别不符合预设标准时,则在向其他网络节点
分配计算任务之前,,所述确定单元802,还用于:
使得所述节点服务器向其他网络节点下发第三测试任务;
使得所述节点服务器接收其他网络节点对所述第三测试任务的完成结果;
当所述第三测试任务的完成结果符合预设标准时,则触发向其他网络节点分配计算任务的步骤。
优选的,所述确定单元802,还用于:
若所述第一算力大于第一阈值时,则将所述计算任务拆分为多个子任务;
将所述多个子任务分配至至少一个其他网络节点。
优选的,所述确定单元802,还用于:
所述节点服务器接收其他网络节点对所述计算任务的完成结果;
所述节点服务器验证所述完成结果是否正确;
若是,则所述节点服务器根据所述完成结果向其他网络节点发送任务奖励。
需要说明的是,本实施例中各单元的作用与图1至图7实施例中描述的类似,此处不再赘述。
本申请实施例中,获取单元801获取与服务器网络连接的网络节点信息,根据网络节点信息,确定单元802从网络节点中确定至少一个节点服务器,使得节点服务器从服务器获取计算任务,并将计算任务分配至其他网络节点。因为本实施例中,通过确定节点服务器,使得节点服务器从服务器获取计算任务,并将计算任务分配至其他网络节点,从而减轻了服务器的数据负载,提升了计算任务的处理速度。
上面从模块化功能实体的角度对本发明实施例中的数据处理装置进行了描述,下面从硬件处理的角度对本发明实施例中的计算机装置进行描述:
该计算机装置用于实现数据处理装置的功能,本发明实施例中计算机装置一个实施例包括:
处理器以及存储器;
存储器用于存储计算机程序,处理器用于执行存储器中存储的计算机程序时,可以实现如下步骤:
获取与服务器网络连接的网络节点信息;
根据所述网络节点信息,从网络节点中确定至少一个节点服务器,使得所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
从所述终端中为所述节点服务器确定至少一个候选节点服务器,以防止所述节点服务器发生宕机,所述候选节点服务器上的数据与所述节点服务器上的数据保持同步。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
获取所述网络节点的归属区域和/或运营商信息;
从隶属于相同区域和/或相同运营商的第一网络节点中,确定至少一个节点服务器。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
获取所述网络节点的连续在线时长及网络带宽;
当所述连续在线时长及网络带宽都不小于对应阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
根据所述网络节点的品牌、CPU芯片及存储空间,评估所述网络节点的算力;
当所述连续在线时长及网络带宽都不小于对应阈值,且所述算力也不小于预设算力阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
查询第一映射表,以确定所述网络节点的算力,所述第一映射表中记录了所述品牌、CPU芯片及存储空间与算力之间的映射关系;
或;
利用预先设定的计算公式计算所述网络节点的算力;
或;
向所述网络节点下发第一测试任务;
根据对所述第一测试任务的完成结果,获取所述网络节点的算力。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
所述节点服务器从所述服务器获取计算任务,评估所述计算任务的第一算力;
所述节点服务器获取其他网络节点的第二算力;
所述节点服务器根据所述第一算力、所述第二算力,将所述计算任务分配至至少一个其他网络节点;
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
所述节点服务器周期性地向其他网络节点下发第二测试任务;
所述节点服务器根据其他网络节点对所述第二测试任务的多次完成结果,获取其他网络节点的第二算力。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
所述节点服务器根据其他网络节点对所述第二测试任务的完成结果,评估其他网络节点的稳定性;
所述节点服务器根据所述稳定性,将其他网络节点划分为不同的级别;
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
所述节点服务器根据所述第一算力、所述第二算力,及其他网络节点的稳定性级别将所述计算任务分配至其他网络节点中的至少一个。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
当所述稳定性的级别不符合预设标准时,则在向其他网络节点分配计算任务之前,所述方法还包括:
所述节点服务器向其他网络节点下发第三测试任务;
所述节点服务器接收其他网络节点对所述第三测试任务的完成结果;
当所述第三测试任务的完成结果符合预设标准时,则触发向其他网络节点分配计算任务的步骤。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
若所述第一算力大于第一阈值时,则将所述计算任务拆分为多个子任务;
将所述多个子任务分配至至少一个其他网络节点。
在本发明的一些实施例中,处理器,还可以用于实现如下步骤:
所述节点服务器接收其他网络节点对所述计算任务的完成结果;
所述节点服务器验证所述完成结果是否正确;
若是,则所述节点服务器根据所述完成结果向其他网络节点发送任务奖励。
可以理解的是,上述说明的计算机装置中的处理器执行所述计算机程序时,也可以实现上述对应的各装置实施例中各单元的功能,此处不再赘述。示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述数据处理装置中的执行过程。例如,所述计算机程序可以被分割成上述数据处理装置中的各单元,各单元可以实现如上述相应数据处理装置说明的具体功能。
所述计算机装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解,处理器、存储器仅仅是计算机装置的示例,并不构成对计算机装置的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述计算机装置还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质用于实现数据处理装置的功能,其上存储有计算机程序,计算机程序被处理器执行时,处理器,可以用于执行如下步骤:
获取与服务器网络连接的网络节点信息;
根据所述网络节点信息,从网络节点中确定至少一个节点服务器,使得所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
从所述终端中为所述节点服务器确定至少一个候选节点服务器,以防止所述节点服务器发生宕机,所述候选节点服务器上的数据与所述节点服务器上的数据保持同步。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处
理器执行时,处理器,可以具体用于执行如下步骤:
获取所述网络节点的归属区域和/或运营商信息;
从隶属于相同区域和/或相同运营商的第一网络节点中,确定至少一个节点服务器。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处
理器执行时,处理器,可以具体用于执行如下步骤:
获取所述网络节点的连续在线时长及网络带宽;
当所述连续在线时长及网络带宽都不小于对应阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
根据所述网络节点的品牌、CPU芯片及存储空间,评估所述网络节点的算力;
当所述连续在线时长及网络带宽都不小于对应阈值,且所述算力也不小于预设算力阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
查询第一映射表,以确定所述网络节点的算力,所述第一映射表中记录了所述品牌、CPU芯片及存储空间与算力之间的映射关系;
或;
利用预先设定的计算公式计算所述网络节点的算力;
或;
向所述网络节点下发第一测试任务;
根据对所述第一测试任务的完成结果,获取所述网络节点的算力。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
所述节点服务器从所述服务器获取计算任务,评估所述计算任务的第一算力;
所述节点服务器获取其他网络节点的第二算力;
所述节点服务器根据所述第一算力、所述第二算力,将所述计算任务分配至至少一个网络节点。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
所述节点服务器周期性地向其他网络节点下发第二测试任务;
所述节点服务器根据其他网络节点对所述第二测试任务的多次完成结果,获取其他网络节点的第二算力。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
所述节点服务器根据其他网络节点对所述第二测试任务的完成结果,评估其他网络节点的稳定性;
所述节点服务器根据所述稳定性,将其他网络节点划分为不同的级别;
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
所述节点服务器根据所述第一算力、所述第二算力,及其他网络节点的稳定性级别将所述计算任务分配至其他网络节点中的至少一个。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
当所述稳定性的级别不符合预设标准时,则在向其他网络节点分配计算任务之前,所述方法还包括:
所述节点服务器向其他网络节点下发第三测试任务;
所述节点服务器接收其他网络节点对所述第三测试任务的完成结果;
当所述第三测试任务的完成结果符合预设标准时,则触发向其他网络节点分配计算任务的步骤。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
若所述第一算力大于第一阈值时,则将所述计算任务拆分为多个子任务;
将所述多个子任务分配至至少一个其他网络节点。
在本发明的一些实施例中,计算机可读存储介质存储的计算机程序被处理器执行时,处理器,可以具体用于执行如下步骤:
所述节点服务器接收其他网络节点对所述计算任务的完成结果;
所述节点服务器验证所述完成结果是否正确;
若是,则所述节点服务器根据所述完成结果向其他网络节点发送任务奖励。
可以理解的是,所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在相应的一个计算机可读取存储介质中。基于这样的理解,本发明实现上述相应的实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (17)

1.一种数据处理方法,其特征在于,所述方法包括:
获取与服务器网络连接的网络节点信息;
根据所述网络节点信息,从网络节点中确定至少一个节点服务器,使得所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从所述网络节点中为所述节点服务器确定至少一个候选节点服务器,所述候选节点服务器上的数据与所述节点服务器上的数据保持同步。
3.根据权利要求1所述的方法,其特征在于,所述网络节点的信息至少包括网络节点的归属区域及运营商信息;
所述从网络节点中确定至少一个节点服务器,包括:
获取所述网络节点的归属区域和/或运营商信息;
从隶属于相同区域和/或相同运营商的第一网络节点中,确定至少一个节点服务器。
4.根据权利要求3所述的方法,其特征在于,所述节点服务器的数量正相关于所述第一网络节点的数量。
5.根据权利要求3所述的方法,其特征在于,所述网络节点的信息还包括:网络节点的在线时长及网络带宽;
所述从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器,包括:
获取所述网络节点的连续在线时长及网络带宽;
当所述连续在线时长及网络带宽都不小于对应阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
6.根据权利要求5所述的方法,其特征在于,所述网络节点的信息还包括:网络节点的品牌、CPU芯片及存储空间;
所述当所述连续在线时长及网络带宽都不小于对应阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器,包括:
根据所述网络节点的品牌、CPU芯片及存储空间,评估所述网络节点的算力;
当所述连续在线时长及网络带宽都不小于对应阈值,且所述算力也不小于预设算力阈值时,从隶属于相同区域和/或相同运营商的网络节点中,确定至少一个节点服务器。
7.根据权利要求6所述的方法,其特征在于,所述根据所述网络节点的品牌、CPU芯片及存储空间,评估所述网络节点的算力,包括:
查询第一映射表,以确定所述网络节点的算力,所述第一映射表中记录了所述品牌、CPU芯片及存储空间与算力之间的映射关系;
或;
利用预先设定的计算公式计算所述网络节点的算力;
或;
向所述网络节点下发第一测试任务;
根据对所述第一测试任务的完成结果,获取所述网络节点的算力。
8.根据权利要求1所述的方法,其特征在于,所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点,包括:
所述节点服务器从所述服务器获取计算任务,评估所述计算任务的第一算力;
所述节点服务器获取其他网络节点的第二算力;
所述节点服务器根据所述第一算力、所述第二算力,将所述计算任务分配至至少一个其他网络节点。
9.根据权利要求8所述的方法,其特征在于,所述节点服务器获取其他网络节点的第二算力,包括:
所述节点服务器周期性地向其他网络节点下发第二测试任务;
所述节点服务器根据其他网络节点对所述第二测试任务的多次完成结果,获取其他网络节点的第二算力。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
所述节点服务器根据所述第二测试任务的完成结果,评估其他网络节点的稳定性;
所述节点服务器根据所述稳定性,将其他网络节点划分为不同的级别;
所述节点服务器根据所述第一算力、所述第二算力,将所述计算任务分配至至少一个其他网络节点,包括:
所述节点服务器根据所述第一算力、所述第二算力,及其他网络节点的稳定性级别将所述计算任务分配至其他网络节点中的至少一个。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
当所述稳定性的级别不符合预设标准时,则在向其他网络节点分配计算任务之前,所述方法还包括:
所述节点服务器向其他网络节点下发第三测试任务;
所述节点服务器接收其他网络节点对所述第三测试任务的完成结果;
当所述第三测试任务的完成结果符合预设标准时,则触发向其他网络节点分配计算任务的步骤。
12.根据权利要求8至11中任一项所述的方法,其特征在于,在所述节点服务器评估所述计算任务的第一算力之后,所述方法还包括:
若所述第一算力大于第一阈值时,则将所述计算任务拆分为多个子任务;
所述将所述计算任务分配至至少一个其他网络节点,包括:
将所述多个子任务分配至至少一个其他网络节点。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
所述节点服务器接收其他网络节点对所述计算任务的完成结果;
所述节点服务器验证所述完成结果是否正确;
若是,则所述节点服务器根据所述完成结果向其他网络节点发送任务奖励。
14.一种数据处理装置,其特征在于,包括:
获取单元,用于获取与服务器网络连接的网络节点信息;
确定单元,用于根据所述网络节点信息,从网络节点中确定至少一个节点服务器,使得所述节点服务器从所述服务器获取计算任务,并将所述计算任务分配至其他网络节点。
15.一种计算机装置,包括处理器,其特征在于,所述处理器在执行存储于存储器上的计算机程序时,用于实现如权利要求1至13中任一项所述的数据处理方法。
16.根据权利要求15所述的装置,其特征在于,所述计算机装置为CDN组网节点或区块链节点。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,用于实现如权利要求1至13中任一项所述的数据处理方法。
CN201910641445.0A 2019-07-16 2019-07-16 一种数据处理方法、装置及计算机装置、可读存储介质 Active CN110351375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910641445.0A CN110351375B (zh) 2019-07-16 2019-07-16 一种数据处理方法、装置及计算机装置、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910641445.0A CN110351375B (zh) 2019-07-16 2019-07-16 一种数据处理方法、装置及计算机装置、可读存储介质

Publications (2)

Publication Number Publication Date
CN110351375A true CN110351375A (zh) 2019-10-18
CN110351375B CN110351375B (zh) 2022-08-12

Family

ID=68176544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910641445.0A Active CN110351375B (zh) 2019-07-16 2019-07-16 一种数据处理方法、装置及计算机装置、可读存储介质

Country Status (1)

Country Link
CN (1) CN110351375B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837421A (zh) * 2019-11-13 2020-02-25 北京知道创宇信息技术股份有限公司 一种任务分配方法及装置
CN110866264A (zh) * 2019-11-15 2020-03-06 成都卫士通信息产业股份有限公司 一种多芯片多板卡协同运算方法、装置及设备
CN110944061A (zh) * 2019-12-06 2020-03-31 北京博睿宏远数据科技股份有限公司 内容分发网络调度方法、装置、计算机设备及存储介质
CN111432159A (zh) * 2020-03-19 2020-07-17 深圳市鹏创软件有限公司 计算任务处理方法、装置、系统与计算机可读存储介质
CN112003930A (zh) * 2020-08-21 2020-11-27 深圳柏成科技有限公司 任务分配方法、装置、设备及存储介质
CN112187656A (zh) * 2020-09-30 2021-01-05 安徽极玩云科技有限公司 一种cdn节点的管理系统
CN114500521A (zh) * 2020-11-13 2022-05-13 中国移动通信有限公司研究院 一种算力调度方法、装置、调度设备、系统和存储介质
CN115297014A (zh) * 2022-09-29 2022-11-04 浪潮通信信息系统有限公司 零信任算网操作系统、管理方法、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713468A (zh) * 2016-12-29 2017-05-24 深圳云天励飞技术有限公司 一种分布式集群服务结构及其节点协同方法
CN109412838A (zh) * 2018-09-29 2019-03-01 吴志培 基于散列计算以及性能评估的服务器集群主节点选择方法
CN109873868A (zh) * 2019-03-01 2019-06-11 深圳市网心科技有限公司 一种计算能力共享方法、系统及相关设备
CN109981405A (zh) * 2019-03-20 2019-07-05 上海和数软件有限公司 节点管理方法、装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713468A (zh) * 2016-12-29 2017-05-24 深圳云天励飞技术有限公司 一种分布式集群服务结构及其节点协同方法
CN109412838A (zh) * 2018-09-29 2019-03-01 吴志培 基于散列计算以及性能评估的服务器集群主节点选择方法
CN109873868A (zh) * 2019-03-01 2019-06-11 深圳市网心科技有限公司 一种计算能力共享方法、系统及相关设备
CN109981405A (zh) * 2019-03-20 2019-07-05 上海和数软件有限公司 节点管理方法、装置及计算机可读存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837421A (zh) * 2019-11-13 2020-02-25 北京知道创宇信息技术股份有限公司 一种任务分配方法及装置
CN110837421B (zh) * 2019-11-13 2022-09-20 北京知道创宇信息技术股份有限公司 一种任务分配方法及装置
CN110866264A (zh) * 2019-11-15 2020-03-06 成都卫士通信息产业股份有限公司 一种多芯片多板卡协同运算方法、装置及设备
CN110944061A (zh) * 2019-12-06 2020-03-31 北京博睿宏远数据科技股份有限公司 内容分发网络调度方法、装置、计算机设备及存储介质
CN111432159A (zh) * 2020-03-19 2020-07-17 深圳市鹏创软件有限公司 计算任务处理方法、装置、系统与计算机可读存储介质
CN111432159B (zh) * 2020-03-19 2022-05-17 深圳市鹏创软件有限公司 计算任务处理方法、装置、系统与计算机可读存储介质
CN112003930A (zh) * 2020-08-21 2020-11-27 深圳柏成科技有限公司 任务分配方法、装置、设备及存储介质
CN112187656A (zh) * 2020-09-30 2021-01-05 安徽极玩云科技有限公司 一种cdn节点的管理系统
CN112187656B (zh) * 2020-09-30 2023-10-03 安徽极玩云科技有限公司 一种cdn节点的管理系统
CN114500521A (zh) * 2020-11-13 2022-05-13 中国移动通信有限公司研究院 一种算力调度方法、装置、调度设备、系统和存储介质
CN115297014A (zh) * 2022-09-29 2022-11-04 浪潮通信信息系统有限公司 零信任算网操作系统、管理方法、电子设备、存储介质
CN115297014B (zh) * 2022-09-29 2022-12-27 浪潮通信信息系统有限公司 零信任算网操作系统、管理方法、电子设备、存储介质

Also Published As

Publication number Publication date
CN110351375B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110351375A (zh) 一种数据处理方法、装置及计算机装置、可读存储介质
CN110231987A (zh) 一种数据处理方法及相关装置
CN108777625A (zh) 签名的验证方法、装置和系统、存储介质、电子装置
CN110812835B (zh) 云游戏的检测方法和装置、存储介质及电子装置
Van den Bossche et al. Cost-optimal scheduling in hybrid iaas clouds for deadline constrained workloads
CN107682397B (zh) 客户资源获取方法、装置、终端设备及存储介质
CN107358340A (zh) 一种基于工程清单的工程项目管理系统
CN103763130B (zh) 大规模集群的管理方法、装置和系统
CN110351378A (zh) 一种物联网设备的控制方法及系统
CN104541247A (zh) 用于调整云计算系统的系统和方法
CN110413673A (zh) 数据库数据统一采集与分发方法及系统
CN105988879A (zh) 用于优化多任务处理服务器的分配的方法和系统
CN103765408A (zh) 利用真实数据中心测试的服务质量感知捕获型聚集
CN109842670A (zh) 运算装置、其资源分配方法及通信系统
CN111443870B (zh) 一种数据处理的方法、设备及存储介质
CN109829015A (zh) 基于HBase的金融数据存储方法、装置以及存储介质
CN103595815A (zh) 基于云计算的存储资源分配方法
CN115421930B (zh) 任务处理方法、系统、装置、设备及计算机可读存储介质
CN107004003B (zh) 模型参数融合方法及装置
CN105335376B (zh) 一种流处理方法、装置及系统
CN105511959A (zh) 虚拟资源分配方法和装置
CN110489151A (zh) 一种终端升级方法及系统
CN106155978B (zh) 可重构系统的构建方法和装置
CN113138847A (zh) 基于联邦学习的计算机资源分配调度方法和装置
CN110377769A (zh) 基于图数据结构的建模平台系统、方法、服务器及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant