CN110324426A - 一种数据获取方法、装置和系统 - Google Patents
一种数据获取方法、装置和系统 Download PDFInfo
- Publication number
- CN110324426A CN110324426A CN201910616018.7A CN201910616018A CN110324426A CN 110324426 A CN110324426 A CN 110324426A CN 201910616018 A CN201910616018 A CN 201910616018A CN 110324426 A CN110324426 A CN 110324426A
- Authority
- CN
- China
- Prior art keywords
- address information
- node
- server
- node address
- scheduling system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4535—Network directories; Name-to-address mapping using an address exchange platform which sets up a session between two nodes, e.g. rendezvous servers, session initiation protocols [SIP] registrars or H.323 gatekeepers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种数据获取方法,服务器接收到节点的注册信息时,生成与注册信息相对应的初始节点地址信息;将自身的服务器地址信息和初始节点地址信息作为节点地址信息反馈给节点。节点将接收到的节点地址信息传输至调度系统;向调度系统发送数据调度请求;解析调度系统反馈的目标节点地址信息,根据得到的服务器地址信息,向目标服务器发送数据获取请求,以获取目标服务器反馈的目标数据。本发明还公开了一种数据获取装置和系统。节点通过从调度系统获取节点地址信息,便可以实现与服务器的交互,从而获取到所需的数据。该实现过程不需要增加额外的节点,并且实现过程不涉及复杂的交互流程,提升了数据获取的效率。
Description
技术领域
本发明涉及节点网络技术领域,尤其涉及一种数据获取方法、装置和系统。
背景技术
最近几年,对等计算(Peer to Peer,P2P)迅速成为计算机界关注的热门话题之一。对等计算采用内网穿透原理实现节点和节点之间的交互。节点(Peer)之间的数据交互必须通过服务器(Server)转发。
随着网络规模的扩大,节点的个数越来越多,相应的配置的服务器个数也有所增加。如图1所示为节点之间数据交互的网络结构示意图,包括有Peer1、Server1、Peer2、Server2以及Server_master。Peer1向Server1注册,以实现Peer1和Server1的通信;Peer2向Server2注册,以实现Peer2和Server2的通信。Server_master主要作用是汇总Server与Peer的对应关系,并且向Peer提供查询接口;其中,该对应关系中包括有Server的地址信息。当Peer1需要获取数据时,Peer1从调度系统中获知所需获取的数据存储在Peer2上时,Peer1从Server_master中获取Server2的地址信息,并根据该地址信息,建立与Server2通信连接,Peer1将数据获取请求转发给Server2,经由Server2将数据获取请求转发给Peer2,从而实现Peer1与Peer2的交互。但是该实现过程必须依赖于Server_master节点,增加了系统的硬件成本。
可见,如何在不增加硬件成本的情况下,实现节点间的数据交互,是本领域技术人员需要解决的问题。
发明内容
本发明的主要目的在于提供一种数据获取方法、装置和系统,旨在解决如何在不增加硬件成本的情况下,实现节点间的数据交互的问题。
为实现上述目的,本发明提供的一种数据获取方法,适用于节点,所述方法包括:
接收到服务器反馈的节点地址信息时,将所述节点地址信息传输至调度系统;其中,所述节点地址信息中包括有所述服务器的服务器地址信息;
向调度系统发送数据调度请求;其中,所述调度系统中存储有各节点的节点地址信息;
解析所述调度系统反馈的目标节点地址信息,以得到目标服务器的服务器地址信息;
根据所述目标服务器的服务器地址信息,向所述目标服务器发送数据获取请求,以获取所述目标服务器反馈的目标数据。
可选的,在向所述调度系统发送数据调度请求之后还包括:
判断在预设时间内是否接收到所述调度系统反馈的目标节点地址信息;
若是,则执行所述解析所述调度系统反馈的目标节点地址信息,以得到目标服务器的服务器地址信息的步骤;
若否,则重新向所述调度系统发送数据调度请求。
可选的,在重新向所述调度系统发送数据调度请求之后还包括:
统计向调度系统发送数据调度请求的次数;
当所述次数大于预设值时,则停止向所述调度系统发送数据调度请求,并展示调度系统故障提示信息。
可选的,在接收到服务器反馈的节点地址信息之后,并将所述节点地址信息传输至调度系统之前还包括:
当接收到服务器反馈的节点地址信息为加密后的节点地址信息时,将所述加密后的节点地址信息传输至调度系统;并利用预设密钥对所述加密后的节点地址信息进行解密处理,存储解密后的节点地址信息。
为实现上述目的,本发明进一步提供一种数据获取装置,所述装置包括存储器和处理器,所述存储器和所述处理器通过总线连接,所述存储器上存储有可在所述处理器上运行的数据获取程序,所述数据获取程序被所述处理器执行时实现如上述任一项所述的方法。
为实现上述目的,本发明进一步提供一种数据获取方法,适用于服务器,所述方法包括:
接收到节点的注册信息时,生成与所述注册信息相对应的初始节点地址信息;
将自身的服务器地址信息和所述初始节点地址信息作为节点地址信息反馈给所述节点。
可选的,所述服务器地址信息包括IP地址和端口号。
可选的,所述将自身的服务器地址信息和所述初始节点地址信息作为节点地址信息反馈给所述节点包括:
将自身的服务器地址信息按照编码规则内嵌至所述初始节点地址信息,得到节点地址信息;并将所述节点地址信息反馈给所述节点。
可选的,所述将自身的服务器地址信息按照编码规则内嵌至所述初始节点地址信息,得到节点地址信息包括:
按照所述初始节点地址信息、所述IP地址的16进制和所述端口号的16进制的顺序排列得到节点地址信息。
为实现上述目的,本发明进一步提供一种数据获取系统,包括服务器、节点和调度系统;
所述服务器,用于接收到节点的注册信息时,生成与所述注册信息相对应的初始节点地址信息;将自身的服务器地址信息和所述初始节点地址信息作为节点地址信息反馈给所述节点;
所述节点,用于接收到服务器反馈的节点地址信息时,将所述节点地址信息传输至调度系统;其中,所述节点地址信息中包括有所述服务器的服务器地址信息;向调度系统发送数据调度请求;其中,所述调度系统中存储有各节点的节点地址信息;解析所述调度系统反馈的目标节点地址信息,以得到目标服务器的服务器地址信息;根据所述目标服务器的服务器地址信息,向所述目标服务器发送数据获取请求,以获取所述目标服务器反馈的目标数据;
所述调度系统,用于接收各节点传输节点地址信息,并存储所述节点地址信息;当接收到节点发送的数据调度请求时,向节点反馈目标节点地址信息。
为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据获取程序,所述数据获取程序可被一个或者多个处理器执行,以实现如上述任一项所述的数据获取方法。
为实现上述目的,本发明进一步提供一种计算机程序产品,包括计算机指令,当其在计算机上运行时,使得计算机可以执行上述任一项所述的数据获取方法。
由上述技术方案可以看出,节点发送注册信息至服务器;服务器生成与该注册信息相对应的初始节点地址信息;将自身的服务器地址信息和初始节点地址信息作为节点地址信息反馈给节点。节点接收到服务器反馈的节点地址信息时,会将节点地址信息传输至调度系统。调度系统中包含有所有节点的节点地址信息。在此基础上,当节点存在数据需求时,节点可以向调度系统发送数据调度请求;解析调度系统反馈的目标节点地址信息,由于目标节点地址信息中包括有目标服务器的服务器地址信息,因此节点可以根据目标服务器的服务器地址信息,向该目标服务器发送数据获取请求,从而获取目标服务器反馈的目标数据。在该技术方案中,采用在节点地址信息中添加服务器地址信息的方式,使得节点通过从调度系统获取节点地址信息,便可以解析得到目标服务器地址信息,从而获取到所需的数据。该实现过程不需要增加额外的节点,便可以实现节点间数据的交互。并且实现过程不涉及复杂的交互流程,提升了数据获取的效率。
附图说明
图1为现有技术提供的节点之间数据交互的网络结构示意图;
图2为本发明一实施例提供的一种数据获取方法的流程图;
图3为本发明一实施例提供的另一种数据获取方法的流程图;
图4为本发明一实施例揭露的数据获取装置的内部结构示意图;
图5为本发明一实施例揭露的数据获取系统的系统运行环境示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明实施例提供的数据获取方法可以应用于大规模节点网络中节点间的数据交互。在大规模节点网络中包含有较多的节点,每个节点获取数据的方式类似,在此以一个节点为例展开介绍。
如图2所示为本发明提供一种数据获取方法的流程图,适用于节点,方法包括:
S201:接收到服务器反馈的节点地址信息时,将节点地址信息传输至调度系统。
其中,节点地址信息中包括有服务器的服务器地址信息。
在初始状态下,节点首先向服务器发送注册信息,以实现与服务器的连通。服务器根据节点发送的注册信息,生成初始节点地址信息,并将自身的服务器地址信息和初始节点地址信息作为节点地址信息反馈给节点。相应的,节点接收到其对应的节点地址信息之后,可以将节点地址信息传输至调度系统。
需要说明的是,当节点完成在服务器的注册之后,便可以实现与服务器的通信,后续无需再重复执行注册操作。
S202:节点向调度系统发送数据调度请求。
调度系统用于存储各节点的节点地址信息。并且调度系统中记载有各节点存储的数据类型,当节点需要获取某类数据时,通过查询调度系统便可以获知该数据当前存储在哪个节点上。因此,当节点存在数据需求时,可以直接向调度系统发送数据调度请求。
S203:解析调度系统反馈的目标节点地址信息,以得到目标服务器的服务器地址信息。
在实际应用中,节点向调度系统发送的数据调度请求中可以携带数据类型的标识信息,以便于调度系统接收到数据调度请求之后,可以获知节点所需获取的数据类型。
当调度系统根据节点所需的数据类型查找与该数据类型相匹配的节点时,可以将该节点的节点地址信息反馈给当前发送数据调度请求的节点。为了便于和其它节点地址信息区分,可以将调度系统反馈的节点地址信息称作目标节点地址信息。该目标节点地址信息所对应的节点可以称作目标节点。
在本发明实施中,调度系统中存储的各节点地址信息中均包含有相应的服务器地址信息。因此,节点获取到调度系统反馈的目标节点地址信息之后,可以解析出该目标节点地址信息中包含的服务器地址信息。为了便于和其它服务器相区分,可以将目标节点地址信息中包含的服务器地址信息所对应的服务器称作目标服务器。
S204:根据目标服务器的服务器地址信息,向目标服务器发送数据获取请求,以获取目标服务器反馈的目标数据。
由于节点之间无法直接进行数据交互,当节点需要获取目标节点上的数据时,需要与该目标节点所属的目标服务器建立通信连接。
当节点获取到目标服务器的服务器地址信息之后,根据该服务器地址信息便可以访问该目标服务器。相应的,目标服务器根据接收到的数据获取请求,可以从目标节点中读取相应的目标数据,并将该目标数据反馈给发送数据获取请求的节点。
以一个节点Peer1为例,当Peer1需要获取A类数据时,Peer1向调度系统发送数据调度请求,假定A类数据存储在Peer2,Peer2注册于Server2上,此时调度系统会将Peer2的节点地址信息反馈给Peer1。Peer1可以解析出节点地址信息中包含的Server2的服务器地址信息,此时Peer1可以根据该服务器地址信息向Server2发送数据获取请求,相应的,Server2可以从Peer2中读取A类数据,并将A类数据反馈给Peer1。
由上述技术方案可以看出,节点接收到服务器反馈的节点地址信息时,会将节点地址信息传输至调度系统。其中,节点地址信息中包括有服务器的服务器地址信息。调度系统中包含有所有节点的节点地址信息。在此基础上,当节点存在数据需求时,节点可以向调度系统发送数据调度请求;解析调度系统反馈的目标节点地址信息,由于目标节点地址信息中包括有目标服务器的服务器地址信息,因此节点可以根据目标服务器的服务器地址信息,向该目标服务器发送数据获取请求,从而获取目标服务器反馈的目标数据。在该技术方案中,采用在节点地址信息中添加服务器地址信息的方式,使得节点通过从调度系统获取节点地址信息,便可以解析得到目标服务器地址信息,从而获取到所需的数据。该实现过程不需要增加额外的节点,便可以实现节点间数据的交互。并且实现过程不涉及复杂的交互流程,提升了数据获取的效率。
考虑到受网络不稳定等因素的影响,节点向调度系统发送数据获取请求之后可能无法接收到调度系统反馈的信息。在本发明实施例中,可以设置重传机制。
可选的,节点在向调度系统发送数据调度请求之后,判断在预设时间内是否接收到调度系统反馈的目标节点地址信息。
其中,预设时间的取值可以根据信息在调度系统与节点之间的正常传输时间设置。预设时间的取值可以设置的稍微大于正常传输时间。
当节点在预设时间内接收到调度系统反馈的目标节点地址信息时,则可以解析调度系统反馈的目标节点地址信息,以得到目标服务器的服务器地址信息。
当节点在预设时间内未接收到调度系统反馈的目标节点地址信息时,则重新向调度系统发送数据调度请求。
通过重新向调度系统发送数据调度请求,可以有效的降低网络不稳定等因素对数据传输造成的影响,提升节点顺利获取目标节点地址信息的机率。
除了网络不稳定等因素造成节点无法获取到目标节点地址信息之外,也有可能是调度系统无法匹配到目标节点地址信息或者是调度系统自身出现故障,从而造成节点无法获取到目标节点地址信息。为了进一步确定造成节点无法接收到目标节点地址信息的原因,降低节点长时间做无用功。在本发明实施例中,节点在重新向调度系统发送数据调度请求之后,可以统计向调度系统发送数据调度请求的次数;当次数大于预设值时,则停止向调度系统发送数据调度请求,并展示调度系统故障提示信息。
其中,预设值的取值可以根据实际需求进行设置,例如,预设值可以设置为5。当节点向调度系统发送了5次数据调度请求,节点均未接收到调度系统反馈的目标节点地址信息时,基本上可以排除网络不稳定导致目标地址信息传输失败的情况,此时节点可以停止向调度系统发送数据调度请求,并展示调度系统故障提示信息。
若调度系统无法匹配到目标节点地址信息或者是调度系统自身出现故障,即使节点多次发送数据调度请求也无法接收到目标节点地址信息。通过对节点发送数据调度请求的次数进行限定,有效的降低了节点做无用功。
在本发明实施例中,为了提升节点地址信息的安全性,服务器在生成节点地址信息之后,可以对该节点地址信息进行加密处理,并将加密后的节点地址信息反馈给发送注册信息的节点。
在服务器、节点以及调度系统中均可以预先存储密钥,当节点接收到服务器反馈的加密后的节点地址信息时,可以将加密后的节点地址信息传输至调度系统;并利用预设密钥对加密后的节点地址信息进行解密处理,存储解密后的节点地址信息。
通过对节点地址信息进行加密处理,将节点地址信息以密文形式在服务器和节点以及节点和调度系统之间传输,有效的提升了节点地址信息的安全性。即使节点地址信息被恶意截获,由于节点地址信息以密文形式呈现,保证了明文节点地址信息的安全性。
如图3所示为本发明提供一种数据获取方法的流程图,适用于服务器,方法包括:
S301:服务器接收到节点的注册信息时,生成与注册信息相对应的初始节点地址信息。
初始状态下,每个节点均会向相应的服务器发送注册信息,以实现与服务器的连通。同一个服务器所管理的节点可以有多个,针对于每个节点,服务器会为其分配唯一的节点地址信息。为了便于区分,在本发明实施例中,可以将服务器依据注册信息生成的节点地址信息称作初始节点地址信息。
S302:服务器将自身的服务器地址信息和初始节点地址信息作为节点地址信息反馈给节点。
为了降低节点间数据交互操作流程的复杂度,本发明实施例中,服务器在生成初始节点地址信息之后,可以将自身的服务器信息和初始节点地址信息作为节点地址信息反馈给节点。以便于节点通过调度系统获取目标节点地址信息,从而直接与目标服务器建立连接发送消息。
为了便于节点地址信息的管理,服务器可以将自身的服务器地址信息按照编码规则内嵌至初始节点地址信息,得到节点地址信息,并将该节点地址信息反馈给节点。
通过将服务器地址信息内嵌至初始节点地址信息,可以使得服务器地址信息和初始节点地址信息整合为一个数据信息。
其中,将服务器地址信息内嵌至初始节点地址信息可以是将服务器地址信息作为后缀信息添加在初始节点地址信息的后端,也可以是将服务器地址信息作为前缀信息添加在初始节点地址信息的前端。
服务器地址信息可以包括服务器的IP地址和端口号。在实际应用中,可以按照初始节点地址信息、IP地址的16进制和端口号的16进制的顺序排列得到节点地址信息。
其中,IP地址、IP地址的16进制、端口号的16进制和初始节点地址信息这四部分数据之间可以采用分隔符连接。例如,可以采用“+”或者“-”作为分隔符。
由上述技术方案可以看出,服务器接收到节点发送的注册信息时,会生成与该注册信息相对应的初始节点地址信息;并将自身的服务器地址信息和初始节点地址信息作为节点地址信息反馈给节点。在调度系统中存储有各节点的节点地址信息。在此基础上,当节点存在数据需求时,节点可以直接从调度系统中获取到目标节点地址信息,由于目标节点地址信息中包括有目标服务器的服务器地址信息,因此节点可以根据目标服务器的服务器地址信息,向该目标服务器发送数据获取请求,从而获取目标服务器反馈的目标数据。在该技术方案中,采用在节点地址信息中添加服务器地址信息的方式,使得节点通过从调度系统获取节点地址信息,便可以解析得到目标服务器地址信息,从而获取到所需的数据。该实现过程不需要增加额外的节点,便可以实现节点间数据的交互。并且实现过程不涉及复杂的交互流程,提升了数据获取的效率。
图4为本发明实施例揭露的数据获取装置1的内部结构示意图,在本实施例中,数据获取装置1可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机终端设备。数据获取装置1可以包括存储器11和处理器12,存储器11和处理器12通过总线13连接。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是视频播放装置1的内部存储单元,例如该视频播放装置1的硬盘。存储器11在另一些实施例中也可以是视频播放装置1的外部存储设备,例如视频播放装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括视频播放装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于视频播放装置1的应用软件及各类数据,例如视频播放程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行视频播放程序等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,数据获取装置1还可以包括网络接口,网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该视频播放装置1与其他电子设备之间建立通信连接。
存储器11上存储有可在处理器12上运行的数据获取程序,数据获取程序被处理器执行时实现上述任一项的数据获取方法。
可选地,该数据获取装置1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在数据获取装置1中处理的信息以及用于显示可视化的用户界面。
由上述技术方案可以看出,节点发送注册信息至服务器;服务器生成与该注册信息相对应的初始节点地址信息;将自身的服务器地址信息和初始节点地址信息作为节点地址信息反馈给节点。节点接收到服务器反馈的节点地址信息时,会将节点地址信息传输至调度系统。调度系统中包含有所有节点的节点地址信息。在此基础上,当节点存在数据需求时,节点可以向调度系统发送数据调度请求;解析调度系统反馈的目标节点地址信息,由于目标节点地址信息中包括有目标服务器的服务器地址信息,因此节点可以根据目标服务器的服务器地址信息,向该目标服务器发送数据获取请求,从而获取目标服务器反馈的目标数据。在该技术方案中,采用在节点地址信息中添加服务器地址信息的方式,使得节点通过从调度系统获取节点地址信息,便可以解析得到目标服务器地址信息,从而获取到所需的数据。该实现过程不需要增加额外的节点,便可以实现节点间数据的交互。并且实现过程不涉及复杂的交互流程,提升了数据获取的效率。
图4仅示出了具有组件11-13的数据获取装置1,本领域技术人员可以理解的是,图4示出的结构并不构成对数据获取装置1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
如图5所示为本发明实施例揭露的数据获取系统5的系统运行环境示意图,包括服务器51、节点52和调度系统53;
服务器51,用于接收到节点52的注册信息时,生成与注册信息相对应的初始节点地址信息;将自身的服务器地址信息和初始节点地址信息作为节点地址信息反馈给节点52;
节点52,用于接收到服务器51反馈的节点地址信息时,将节点地址信息传输至调度系统;其中,节点地址信息中包括有服务器的服务器地址信息;向调度系统发送数据调度请求;其中,调度系统中存储有各节点的节点地址信息;解析调度系统反馈的目标节点地址信息,以得到目标服务器的服务器地址信息;根据目标服务器的服务器地址信息,向目标服务器发送数据获取请求,以获取目标服务器反馈的目标数据;
调度系统53,用于接收各节点传输节点地址信息,并存储节点地址信息;当接收到节点52发送的数据调度请求时,向节点52反馈目标节点地址信息。
数据获取系统5中包含的服务器的个数以及节点的个数可以有多个,图5中是以两个服务器(Server1和Server 2)和两个节点(Peer1和Peer 2)为例,图5中箭头方向表示的数据流向。其中,Peer1通过向Server1注册,可以实现与Server1的通信;Peer2通过向Server2注册,可以实现与Server2的通信。Peer1根据Server2的服务器地址信息,可以与Server2建立通信连接,从而实现与Peer 2的数据交互。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有数据获取程序,数据获取程序可被一个或者多个处理器执行,以实现如上述任一项的数据获取方法。
本发明实施例还提供了一种计算机程序产品,包括计算机指令,当其在计算机上运行时,使得计算机可以执行上述任一项的数据获取方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据获取方法,其特征在于,适用于节点,所述方法包括:
接收到服务器反馈的节点地址信息时,将所述节点地址信息传输至调度系统;其中,所述节点地址信息中包括有所述服务器的服务器地址信息;
向调度系统发送数据调度请求;其中,所述调度系统中存储有各节点的节点地址信息;
解析所述调度系统反馈的目标节点地址信息,以得到目标服务器的服务器地址信息;
根据所述目标服务器的服务器地址信息,向所述目标服务器发送数据获取请求,以获取所述目标服务器反馈的目标数据。
2.根据权利要求1所述的方法,其特征在于,在向所述调度系统发送数据调度请求之后还包括:
判断在预设时间内是否接收到所述调度系统反馈的目标节点地址信息;
若是,则执行所述解析所述调度系统反馈的目标节点地址信息,以得到目标服务器的服务器地址信息的步骤;
若否,则重新向所述调度系统发送数据调度请求。
3.根据权利要求2所述的方法,其特征在于,在重新向所述调度系统发送数据调度请求之后还包括:
统计向调度系统发送数据调度请求的次数;
当所述次数大于预设值时,则停止向所述调度系统发送数据调度请求,并展示调度系统故障提示信息。
4.根据权利要求1所述的方法,其特征在于,在接收到服务器反馈的节点地址信息之后,并将所述节点地址信息传输至调度系统之前还包括:
当接收到服务器反馈的节点地址信息为加密后的节点地址信息时,将所述加密后的节点地址信息传输至调度系统;并利用预设密钥对所述加密后的节点地址信息进行解密处理,存储解密后的节点地址信息。
5.一种数据获取装置,其特征在于,所述装置包括存储器和处理器,所述存储器和所述处理器通过总线连接,所述存储器上存储有可在所述处理器上运行的数据获取程序,所述数据获取程序被所述处理器执行时实现如权利要求1-4任一项所述的方法。
6.一种数据获取方法,其特征在于,适用于服务器,所述方法包括:
接收到节点的注册信息时,生成与所述注册信息相对应的初始节点地址信息;
将自身的服务器地址信息和所述初始节点地址信息作为节点地址信息反馈给所述节点。
7.根据权利要求6所述的方法,其特征在于,所述服务器地址信息包括IP地址和端口号。
8.根据权利要求7所述的方法,其特征在于,所述将自身的服务器地址信息和所述初始节点地址信息作为节点地址信息反馈给所述节点包括:
将自身的服务器地址信息按照编码规则内嵌至所述初始节点地址信息,得到节点地址信息;并将所述节点地址信息反馈给所述节点。
9.根据权利要求8所述的方法,其特征在于,所述将自身的服务器地址信息按照编码规则内嵌至所述初始节点地址信息,得到节点地址信息包括:
按照所述初始节点地址信息、所述IP地址的16进制和所述端口号的16进制的顺序排列得到节点地址信息。
10.一种数据获取系统,其特征在于,包括服务器、节点和调度系统;
所述服务器,用于接收到节点的注册信息时,生成与所述注册信息相对应的初始节点地址信息;将自身的服务器地址信息和所述初始节点地址信息作为节点地址信息反馈给所述节点;
所述节点,用于接收到服务器反馈的节点地址信息时,将所述节点地址信息传输至调度系统;其中,所述节点地址信息中包括有所述服务器的服务器地址信息;向调度系统发送数据调度请求;其中,所述调度系统中存储有各节点的节点地址信息;解析所述调度系统反馈的目标节点地址信息,以得到目标服务器的服务器地址信息;根据所述目标服务器的服务器地址信息,向所述目标服务器发送数据获取请求,以获取所述目标服务器反馈的目标数据;
所述调度系统,用于接收各节点传输节点地址信息,并存储所述节点地址信息;当接收到节点发送的数据调度请求时,向节点反馈目标节点地址信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910616018.7A CN110324426B (zh) | 2019-07-09 | 2019-07-09 | 一种数据获取方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910616018.7A CN110324426B (zh) | 2019-07-09 | 2019-07-09 | 一种数据获取方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110324426A true CN110324426A (zh) | 2019-10-11 |
CN110324426B CN110324426B (zh) | 2022-04-29 |
Family
ID=68123168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910616018.7A Active CN110324426B (zh) | 2019-07-09 | 2019-07-09 | 一种数据获取方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110324426B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113612866A (zh) * | 2021-08-04 | 2021-11-05 | 北京金山云网络技术有限公司 | 地址检测方法、装置、计算机设备和存储介质 |
CN117806546A (zh) * | 2023-12-08 | 2024-04-02 | 行吟信息科技(武汉)有限公司 | 数据处理方法及相关产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101534309A (zh) * | 2009-04-14 | 2009-09-16 | 华为技术有限公司 | 节点注册方法、路由更新方法、通讯系统以及相关设备 |
US20110082941A1 (en) * | 2009-10-06 | 2011-04-07 | Electronics And Telecommunications Research Institute | Method of providing direct communication in internet protocol network |
CN103024085A (zh) * | 2013-01-11 | 2013-04-03 | 乐视网信息技术(北京)股份有限公司 | 一种处理p2p节点请求的系统及方法 |
CN105871591A (zh) * | 2015-12-21 | 2016-08-17 | 乐视云计算有限公司 | 一种分发cdn地址的方法及装置 |
US20160380964A1 (en) * | 2015-06-23 | 2016-12-29 | Vivotek Inc. | Network transmission method and network transmission system for a multi-layer network address translator structure |
CN106973125A (zh) * | 2017-03-16 | 2017-07-21 | 中国联合网络通信集团有限公司 | 域名解析实现方法及装置 |
-
2019
- 2019-07-09 CN CN201910616018.7A patent/CN110324426B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101534309A (zh) * | 2009-04-14 | 2009-09-16 | 华为技术有限公司 | 节点注册方法、路由更新方法、通讯系统以及相关设备 |
US20110082941A1 (en) * | 2009-10-06 | 2011-04-07 | Electronics And Telecommunications Research Institute | Method of providing direct communication in internet protocol network |
CN103024085A (zh) * | 2013-01-11 | 2013-04-03 | 乐视网信息技术(北京)股份有限公司 | 一种处理p2p节点请求的系统及方法 |
US20160380964A1 (en) * | 2015-06-23 | 2016-12-29 | Vivotek Inc. | Network transmission method and network transmission system for a multi-layer network address translator structure |
CN105871591A (zh) * | 2015-12-21 | 2016-08-17 | 乐视云计算有限公司 | 一种分发cdn地址的方法及装置 |
CN106973125A (zh) * | 2017-03-16 | 2017-07-21 | 中国联合网络通信集团有限公司 | 域名解析实现方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113612866A (zh) * | 2021-08-04 | 2021-11-05 | 北京金山云网络技术有限公司 | 地址检测方法、装置、计算机设备和存储介质 |
CN113612866B (zh) * | 2021-08-04 | 2023-01-20 | 北京金山云网络技术有限公司 | 地址检测方法、装置、计算机设备和存储介质 |
CN117806546A (zh) * | 2023-12-08 | 2024-04-02 | 行吟信息科技(武汉)有限公司 | 数据处理方法及相关产品 |
Also Published As
Publication number | Publication date |
---|---|
CN110324426B (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018177124A1 (zh) | 业务处理方法、装置、数据共享系统及存储介质 | |
CN110311983B (zh) | 服务请求的处理方法、装置、系统、电子设备及存储介质 | |
CN110119292B (zh) | 系统运行参数查询方法、匹配方法、装置及节点设备 | |
CN108432200B (zh) | 用于保护和控制对私密个人信息的访问的方法 | |
CN109246220B (zh) | 一种消息推送系统及方法 | |
CN109635581A (zh) | 一种数据处理方法、设备、系统及存储介质 | |
CN113422686B (zh) | 网关层鉴权方法、系统、电子设备及存储介质 | |
CN109275042A (zh) | 一种弹幕消息的分发方法、装置、终端和存储介质 | |
CN110708366A (zh) | 一种插件进程的管理方法及相关方法和相关装置 | |
CN110324426A (zh) | 一种数据获取方法、装置和系统 | |
CN103477329A (zh) | 用于促进对本地连接到客户端的设备进行解锁的系统和方法 | |
CN102893296B (zh) | 在合作式环境中选择性地控制信息流 | |
CN108540552A (zh) | 设备互连方法、装置、系统、设备和存储介质 | |
CN110417789A (zh) | 服务器连接方法、电子设备、系统及介质 | |
CN108600255B (zh) | Mock服务管理方法、装置、计算机设备以及存储介质 | |
CN101283540B (zh) | 在数字权限管理中共享权限对象的方法及其装置和系统 | |
CN107277163B (zh) | 一种设备远程映射方法及装置 | |
CN106997554A (zh) | 一种红字发票信息表处理方法和处理系统 | |
CN114428661A (zh) | 一种镜像管理方法及装置 | |
CN109815202B (zh) | 日志编辑方法及相关装置 | |
CN110166575A (zh) | 一种http代理方法、系统、装置及计算机介质 | |
CN109684115A (zh) | 一种应用于插件间的通信方法及相关设备 | |
CN103248668B (zh) | 虚拟桌面服务参数的协商方法、装置及系统 | |
CN109450781B (zh) | 一种基于分布式网络的邮件通信方法及相关装置 | |
CN105519069A (zh) | 数据处理系统、中心装置以及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |