CN117201516A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117201516A CN117201516A CN202311219099.XA CN202311219099A CN117201516A CN 117201516 A CN117201516 A CN 117201516A CN 202311219099 A CN202311219099 A CN 202311219099A CN 117201516 A CN117201516 A CN 117201516A
- Authority
- CN
- China
- Prior art keywords
- network node
- virtual network
- client
- virtual
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 230000001360 synchronised effect Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000004048 modification Effects 0.000 description 26
- 238000012986 modification Methods 0.000 description 26
- 238000007726 management method Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种数据处理方法、装置、电子设备及存储介质。该方法包括:获取第一客户端发送的第一数据同步指令;根据第一客户端地址信息,确定目标网络系统中的第一虚拟网络节点;根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新;在第二虚拟网络节点同步更新完成后,第二虚拟网络节点向第一虚拟网络节点反馈同步更新结果,以使第一虚拟网络节点将同步更新结果反馈至第一客户端。本申请的方法,提高了数据同步效率和网络资源利用率,满足用户对数据响应低延时、高可靠的需求。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
随着分布式文件系统的大规模应用,数据共享的应用场景也越来越复杂,数据不仅需要在不同用户之间共享,还需要在不同应用、不同设备和不同应用系统等访问主体之间共享。
现有的分布式部署方式,利用每一个遥感数据提供方,部署节点服务器,包括联盟链节点与分布式存储节点,分别由各联盟链节点和分布式存储节点组成一个联盟链系统和分布式存储系统,共同组成一个遥感数据共享交换平台;然后构建联盟链加解密环境,包括交易数据生成端、客户以及交易数据使用端;交易数据生成端发送交易数据至客户,然后客户选择上传数据,采用智能合约上传方法将数据打包成共享数据,并广播至全网各网络节点,从而实现数据共享。
然而,现有方法数据共享时的传输效率并不理想,且对于全网部署的网络节点来说,各节点间流量的请求路由时间较长,数据共享系统不得不延迟处理该共享任务,从而对数据共享的处理效率产生不良影响。
发明内容
本申请提供一种数据处理方法、装置、电子设备及存储介质,用以解决现有数据处理方法中各节点数据传输时存在的网络带宽瓶颈和数据共享效率较低的问题。
第一方面,本申请提供一种数据处理方法,包括:
获取第一客户端发送的第一数据同步指令,第一数据同步指令包括第一客户端的地址信息和修改数据信息;
根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点,第一虚拟网络节点为根据第一网络节点构建的虚拟节点,第一网络节点的地址与客户端的地址满足预设的地址要求;
根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新,其中,第二虚拟网络节点为根据第二网络节点构建的虚拟节点,第二网络节点和第一网络节点均为目标网络环境内的节点;
在第二虚拟网络节点同步更新完成后,第二虚拟网络节点向第一虚拟网络节点反馈同步更新结果,以使第一虚拟网络节点将同步更新结果反馈至第一客户端。
在本申请实施例中,根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点之前,该方法还包括:
确定目标网络系统中目标网络环境的网络节点信息,网络节点信息包括网络节点、以及网络节点的配置信息;
根据网络节点信息,构建与网络节点对应的虚拟网络节点;
根据虚拟网络节点,构建虚拟网络环境,以执行根据客户端的地址信息,确定目标网络系统中的第一虚拟网络节点的步骤。
在本申请实施例中,根据虚拟网络节点,构建虚拟网络环境,包括:
根据虚拟网络节点,配置DOTS网络协议;
根据DOTS网络协议,配置各个虚拟网络节点的DOTS服务器;
在各个虚拟网络节点的DOTS服务器中部署页面管理平台和图谱数据库,得到虚拟网络环境。
在本申请实施例中,根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点,包括:
获取目标网络系统中目标网络环境的网络节点的配置信息;
根据网络节点的配置信息,确定网络节点的节点地址;
将第一客户端的地址信息与网络节点的节点地址进行比对,确定网络节点中与第一客户端的地址信息满足预设的地址要求的第一网络节点;
根据第一网络节点,确定第一虚拟网络节点。
在本申请实施例中,根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新,包括:
确定第一虚拟网络节点中的DOTS服务器;
根据第一虚拟网络节点中的DOTS服务器,确定第一虚拟网络节点中记录的数据信息;
根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新。
在本申请实施例中,该方法还包括:
接收第二客户端发送的查询数据信息,查询数据信息包括第二客户端地址和查询数据指令;
根据第二客户端地址,确定第三虚拟网络节点;
根据查询数据指令,从第三虚拟网络节点中的图谱数据库信息,得到数据查询结果;
将数据查询结果发送至第二客户端。
在本申请实施例中,根据第二客户端地址,确定第三虚拟网络节点,包括;
获取目标网络系统中目标网络环境的网络节点的配置信息;
根据网络节点的配置信息,确定网络节点的节点地址;
将第二客户端的地址信息与网络节点的节点地址进行比对,确定网络节点中与第二客户端的地址信息满足预设的地址要求的第三网络节点;
根据第三网络节点,确定第三虚拟网络节点。
第二方面,本申请提供一种数据处理装置,包括:
获取模块,用于获取第一客户端发送的第一数据同步指令,第一数据同步指令包括第一客户端的地址信息和修改数据信息;
确定模块,用于根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点,第一虚拟网络节点为根据第一网络节点构建的虚拟节点,第一网络节点的地址与客户端的地址满足预设的地址要求;
响应模块,用于根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新,其中,第二虚拟网络节点为根据第二网络节点构建的虚拟节点,第二网络节点和第一网络节点均为目标网络环境内的节点;
发送模块,用于在第二虚拟网络节点同步更新完成后,第二虚拟网络节点向第一虚拟网络节点反馈同步更新结果,以使第一虚拟网络节点将同步更新结果反馈至第一客户端。
第三方面,本申请提供了一种电子设备,包括:处理器,以及与处理器通信连接的存储器;
存储器存储计算机执行指令;
处理器执行存储器存储的计算机执行指令,以实现本申请实施例的数据处理方法。
第四方面,一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现本申请实施例的数据处理方法。
本申请提供的数据处理方法、装置、电子设备及存储介质,通过获取第一客户端发送的第一数据同步指令,第一数据同步指令包括第一客户端的地址信息和修改数据信息;根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点,第一虚拟网络节点为根据第一网络节点构建的虚拟节点,第一网络节点的地址与客户端的地址满足预设的地址要求;根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新,其中,第二虚拟网络节点为根据第二网络节点构建的虚拟节点,第二网络节点和第一网络节点均为目标网络环境内的节点;在第二虚拟网络节点同步更新完成后,第二虚拟网络节点向第一虚拟网络节点反馈同步更新结果,以使第一虚拟网络节点将同步更新结果反馈至第一客户端的手段,使得数据可以在根据目标网络环境节点构建的虚拟网络环境中实现跨地域、超长距离的同步传输,并且目标网络环境可以提供各节点数据传输的目标网络带宽,提高各节点访问效率,同时为了实现全网各节点数据一致性,缩短客户端请求响应时间,且利用目标网络系统构建虚拟网络节点,使用虚拟网络节点进行共享数据同步,可以省去传统共享方案中目标网络到服务器的路径,减少了数据库数据同步的时间延迟,提高数据传输的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种数据处理方法的结构示意图;
图2为本申请实施例提供的一种数据处理方法的流程示意图;
图3为本申请实施例提供的另一种数据处理方法的流程示意图;
图4为本申请实施例提供的一种数据处理方法的数据查询时序示意图;
图5为本申请实施例提供的一种数据处理方法的数据修改时序示意图;
图6为本申请实施例提供的一种数据处理装置的结构示意图;
图7为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
现有技术中,采用基于联盟链的数据共享方法,在所有数据提供方都部署联盟链节点与分布式存储节点,共同组成一个遥感数据共享交换平台,将共享数据存储在分布式存储系统中,将遥感元数据编目至联盟链系统,客户通过遥感数据共享交换平台进行数据检索,对所需数据进行数据访问请求,共享平台验证客户信息后通过智能合约自动化执行数据共享服务。此方法虽然提高了共享交换环境的安全可信度和共享交换效率,但是在全网范围内部署分布式存储节点,将服务部署在数据提供方所在地的机房中,会导致各存储节点间流量的请求路由较长,极大地限制数据同步时间。而且在数据提供方和数据需求方设置第三方数据共享平台的方法,对安全性需求低的大量服务请求来说并不适用,会面临网络带宽不够用,数据传输时间延迟的现象。
为了解决上述问题,可以利用目标网络系统网络传输速度快、带宽上限高、网络安全稳定的网络环境优势,在目标网络环境构建虚拟网络节点。具体的,在获取到第一客户端发出的第一数据同步指令后,根据第一客户端的地址信息,找到与第一客户端地址信息位置距离最近的目标网络系统中的第一虚拟网络节点;并对第一虚拟网络节点中记录的数据信息进行修改更新操作,再通过第一虚拟网络节点将数据同步至其他虚拟网络节点;在第一虚拟网络节点接收到其他虚拟网络节点反馈的同步消息后,将同步完成的结果反馈至第一客户端,此方法利用目标网络系统构建虚拟网络节点,使用虚拟网络节点进行共享数据同步,从而去掉了传统共享方案中目标网络到服务器的路径,减少了数据库之间数据同步的时间延迟,且传输过程中的网络质量高可靠,从而提高数据同步传输效率。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图对本申请的实施例进行描述。
图1为本申请实施例提供的一种数据处理方法的场景示意图。如图1所示,该数据处理方法的应用主体可以为目标网络系统。目标网络系统的A省、B省、C省、D省和其他省节点可以指需要构建虚拟网络节点的网络节点,各网络节点之间通过网络节点的路由器IP地址进行连接,以实现各网络节点间的数据路由。针对每个网络节点部署虚拟交换机,虚拟交换机通过MAC地址与对应网络节点连接,虚拟交换机中部署DOTS服务器,从而构建出该网络节点对应的虚拟网络节点,其中,目标网络系统可以是运营商提供的具有数据中心、云资源池及办公场所之间快速、扁平的互通功能的数据网络系统;MAC地址也叫硬件地址,用于识别网络节点的身份,在一个稳定的网络系统中,IP地址和MAC地址是成对出现的,IP地址专注于网络层,将数据包从一个网络转发到另外一个网络;而MAC地址专注于数据链路层,将一个数据帧从一个节点传送到相同链路的另一个节点,因此虚拟网络节点的数据可以通过网络节点共享至其他网络节点对应的虚拟网络节点;DOTS服务器中包括web管理平台服务器和数据库服务器,web管理平台服务器即页面管理平台,用于响应客户端的请求;数据库服务器即图谱数据库,用于存储虚拟网络节点中的共享数据以及对数据查询或数据修改的请求进行响应。
本实施例对目标网络系统的选择类型不做特别限制,只要能够获取第一客户端发送的第一数据同步指令,第一数据同步指令包括第一客户端的地址信息和修改数据信息;根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点,第一虚拟网络节点为根据第一网络节点构建的虚拟节点,第一网络节点的地址与客户端的地址满足预设的地址要求;根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新,其中,第二虚拟网络节点为根据第二网络节点构建的虚拟节点,第二网络节点和第一网络节点均为目标网络环境内的节点;在第二虚拟网络节点同步更新完成后,第二虚拟网络节点向第一虚拟网络节点反馈同步更新结果,以使第一虚拟网络节点将同步更新结果反馈至第一客户端即可。
其中,客户端可以指用户发出数据查询或数据修改指令的一端,客户端可以通过虚拟网络节点中页面管理平台提供的操作页面提交数据查询或数据修改指令,操作页面配置包括客户端所在位置的客户网络节点名称以及客户网络节点IP地址,客户网络节点可以是目标网络系统中的任意位置的网络节点。
虚拟网络节点可以指根据目标网络系统中的网络节点构建的虚拟服务节点,虚拟网络节点上部署的页面管理平台可以增加多个操作页面,在每个操作页面上拟定一个客户网络节点名称,当页面管理平台收到客户访问请求时,会根据不同的客户网络节点名称来访问不同的虚拟网络节点,从而在目标网络系统中实现数据在各网络节点之间的快速传输。
图2为本申请实施例提供的一种数据处理方法的流程示意图,该数据处理方法的执行主体可以为服务器,如图2所示,该数据处理方法包括以下步骤:
S201、获取第一客户端发送的第一数据同步指令,第一数据同步指令包括第一客户端的地址信息和修改数据信息。
其中,第一客户端可以指在目标网络系统中的客户网络节点发出操作指令的客户端。
第一数据同步指令可以指客户端发出的修改数据以及需要对虚拟网络节点中数据进行同步修改的指令。
地址信息可以指第一客户端使用的操作页面所配置的客户网络节点IP地址信息。
修改数据信息可以指客户在对应操作页面提交的修改内容且需要对虚拟网络节点对应数据库存储历史数据进行同步修改的数据内容。
S202、根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点,第一虚拟网络节点为根据第一网络节点构建的虚拟节点,第一网络节点的地址与客户端的地址满足预设的地址要求。
其中,目标网络系统可以是运营商提供的数据网络系统,数据网络系统满足数据中心、云资源池及办公场所之间快速、扁平的互通需求。
网络节点可以是指一台电脑或其他设备与一个有独立地址和具有传送或接收数据功能的网络相连。节点可以是工作站、客户、网络用户或个人计算机,还可以是服务器、打印机和其他网络连接的设备。每一个工作站﹑服务器、终端设备、网络设备,即拥有自己唯一网络地址的设备都是网络节点。其中,本申请实施例中可以将目标网络系统中需要构建虚拟网络节点的多个网络节点用主网络节点表示,以区别客户网络节点。
第一虚拟网络节点可以指与第一客户端所在客户网络节点路径最短的主网络节点对应的虚拟网络节点,采用优先修改原则对第一虚拟网络节点进行数据修改,再由第一虚拟网络节点将修改数据同步给其他虚拟网络节点。
第一网络节点可以指与第一客户端所在客户网络节点路径最短的主网络节点。
预设的地址要求可以指客户网络节点与主网络节点之间形成最短路径的地址要求,预设的地址要求可以通过算法来实现自动比对客户网络节点与主网络节点的地址信息,从而找到与客户网络节点形成最短路径的第一网络节点。
在本申请实施例中,根据第一客户端的地址信息,从目标网络系统中确定第一虚拟网络节点的方法可以为客户在a客户网络节点的操作页面进行数据修改操作,页面管理平台接收到数据修改操作指令,获取a客户网络节点IP地址,通过最短路径算法查找与a客户网络节点IP地址路径最近的网络节点为B网络节点,B网络节点对应的虚拟网络节点即第一虚拟网络节点。其中,采用a、b等小写字母举例区分不同的客户网络节点,采用A、B等大写字母举例区别不同的构建了虚拟网络节点且具有共享数据存储功能的主网络节点。
其中,在本申请实施例中,根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点之前,数据处理方法还可以包括:
确定目标网络系统中目标网络环境的网络节点信息,网络节点信息包括网络节点、以及网络节点的配置信息;
根据网络节点信息,构建与网络节点对应的虚拟网络节点;
根据虚拟网络节点,构建虚拟网络环境,以执行根据客户端的地址信息,确定目标网络系统中的第一虚拟网络节点的步骤。
其中,目标网络环境可以由多个进行网络连接的网络节点构成,网络节点信息中的网络节点可以是有需要构建虚拟网络节点的多个主网络节点。网络节点的配置信息可以包括主网络节点的域名、IP地址、内存信息、网关信息。在构建虚拟网络节点时需要写入主网络节点IP地址的映射地址,以使虚拟网络节点的IP地址与对应的主网络节点的IP地址在同一段网络IP中,若主网络节点测试可以ping通虚拟网络节点的IP,则可以实现虚拟网络节点与主网络节点的网络连接功能。
其中,在本申请实施例中,根据虚拟网络节点,构建虚拟网络环境的方法可以包括:
根据虚拟网络节点,配置DOTS网络协议;
根据DOTS网络协议,配置各个虚拟网络节点的DOTS服务器;
在各个虚拟网络节点的DOTS服务器中部署页面管理平台和图谱数据库,得到虚拟网络环境。
其中,利用DOTS对虚拟网络节点内部进行配置,DOTS指的是多线程式数据导向型技术栈(Data oriented Tech Stack),DOTS包括ECS(Entity Component System)、JobSystem、Burst编译器,其中,ECS指编写高性能代码,可以将数据和行为进行分离,JobSystem指编写多线程代码,可以使用多线程做数据、网络等功能的开发,利用多核处理器,避免出现线程安全等问题,Burst编译器指编译生成高性能代码,可以把C#jobs编译高度优化的机器码,充分利用目标平台的特定能力。
页面管理平台可以直接在web页面上更新网站的内容,实现客户端查询或修改时的同步更新显示,其中,页面管理平台的操作实现需要网络连接和数据库配合提供数据支持。
图谱数据库指的是以图这种数据结构存储和查询数据,图谱数据库是一种在线数据库管理系统,具有处理图形数据模型的创建、读取、更新和删除操作,与其他数据库相比,图谱数据库的数据模型简单,是由节点和关系组成的图,可以利用图结构相关算法快速查找数据信息,其中,图结构相关算法可以包括最短路径、节点度关系查找。
其中,在本申请实施例中,根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点的方法可以包括:
获取目标网络系统中目标网络环境的网络节点的配置信息;
根据网络节点的配置信息,确定网络节点的节点地址;
将第一客户端的地址信息与网络节点的节点地址进行比对,确定网络节点中与第一客户端的地址信息满足预设的地址要求的第一网络节点;
根据第一网络节点,确定第一虚拟网络节点。
其中,根据网络节点的配置信息,确定网络节点的节点地址可以指查找构建有虚拟网络节点的主网络节点的IP地址信息。
第一客户端地址信息可以是当前客户使用的操作页面所配置的客户网络节点IP地址信息,客户网络节点可以是与主网络节点相同或者不同IP地址的网络节点。
当a客户进行修改操作之后,采用优先距离修改原则,比对a客户网络节点IP地址与各主网络节点IP地址之间的路径距离,比对结果为B网络节点的IP地址与a客户网络节点IP地址路径距离最短,由此可以确定B网络节点为第一网络节点。
S203、根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新,其中,第二虚拟网络节点为根据第二网络节点构建的虚拟节点,第二网络节点和第一网络节点均为目标网络环境内的节点。
第二虚拟网络节点可以是还未进行数据修改的虚拟网络节点,是需要通过第一虚拟网络节点传输同步修改数据的虚拟网络节点,在进行数据修改同步过程中,第二虚拟网络可以有多个,即第一虚拟网络可以同时将修改数据同步给其他多个虚拟网络节点。
其中,在本申请实施例中,根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新的方法可以包括:
确定第一虚拟网络节点中的DOTS服务器;
根据第一虚拟网络节点中的DOTS服务器,确定第一虚拟网络节点中记录的数据信息;
根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新。
S204、在第二虚拟网络节点同步更新完成后,第二虚拟网络节点向第一虚拟网络节点反馈同步更新结果,以使第一虚拟网络节点将同步更新结果反馈至第一客户端。
其中,在本申请实施例中,数据处理方法还可以包括:
接收第二客户端发送的查询数据信息,查询数据信息包括第二客户端地址和查询数据指令;
根据第二客户端地址,确定第三虚拟网络节点;
根据查询数据指令,从第三虚拟网络节点中的图谱数据库信息,得到数据查询结果;
将数据查询结果发送至第二客户端。
其中,第二客户端可以是与第一客户端不同的客户端,第二客户端可以是目标网络系统中任意网络节点位置对应的客户端。
第三虚拟网络节点可以是构建的多个虚拟网络节点中的任意一个,例如第三虚拟网络节点的确定方法可以是当b客户进行查询操作之后,采用优先距离查询原则,比对b客户网络节点IP地址与各主网络节点IP地址之间的路径距离,比对结果为C网络节点的IP地址与b客户网络节点IP地址路径距离最短,由此可以确定C网络节点为第三网络节点,由第三网络节点对应的第三虚拟网络节点为b客户提供查询数据结果。
其中,在本申请实施例中,根据第二客户端地址,确定第三虚拟网络节点的方法可以包括;
获取目标网络系统中目标网络环境的网络节点的配置信息;
根据网络节点的配置信息,确定网络节点的节点地址;
将第二客户端的地址信息与网络节点的节点地址进行比对,确定网络节点中与第二客户端的地址信息满足预设的地址要求的第三网络节点;
根据第三网络节点,确定第三虚拟网络节点。
本申请实施例提供的数据处理方法,可以根据目标网络环境节点构建的虚拟网络环境中实现跨地域、超长距离的同步传输,并且目标网络环境可以提供各节点数据传输的目标网络带宽,快速提高各节点访问效率,同时,在该虚拟网络环境中部署DOTS服务器,部署的服务器包括页面管理平台和数据库存储平台,可以对客户端数据请求进行响应,也可以在客户端进行数据查询或修改时对虚拟网络环境中各节点的数据进行查询或同步更新存储,缩短了客户端请求响应时间,减少数据库数据同步的时间延迟,从而实现全网各节点数据一致性,提高数据传输的效率。
图3为本申请实施例提供的另一种数据处理方法的流程示意图,如图3所示,该方法包括以下步骤:
S301、构建基于目标网络的分布式图谱库,主要包括在多个网络节点搭建DOTS服务器,在服务器中部署图谱数据库以及页面web服务。
其中,目标网络可以指运营商提供的目标网络系统中的核心网络。
其中,在本申请实施例中,构建基于目标网络的分布式图谱库的方法可以包括;
模拟目标网络构建多节点大网环境;
基于构建的大网环境,在各个网络节点下搭建DOTS服务器并部署数据库和页面web服务;
环境搭建完成后,在节点修改数据,模拟数据同步。
具体的,模拟目标网络构建多节点大网环境可以是指创建虚机模拟大网节点,给各个节点分配路由,串联大网环境。
基于构建的大网环境,在各个网络节点下搭建DOTS服务器并部署数据库和页面web服务可以是指创建虚机并安装DOTS网络协议,在形成的DOTS服务器上部署web管理平台和图谱数据库。
模拟数据同步可以是在网络环境和服务器全部部署完成后,在大网节点下的DOTS服务器进行数据同步操作。
其中,虚机指的是虚拟主机(virtual hosting),又称为共享主机(shared webhosting),是一种在单一主机或主机群上,实现多网域服务的方法,可以运行多个网站或服务的技术,虚机的搭建方式包括桥接、nat和host-only,其中,桥接方式,不仅当前服务器(搭建虚拟机的机器)可以和虚拟机进通信,而且同一网段的其他服务器也可以和虚拟机进行通信;nat方式,仅当前服务器能和虚拟机进行通信,并且当前服务器能够访问网络时,虚拟机也可以访问网络;host-only方式,仅当前服务器能和虚拟机进行通信,并且当前服务器能够访问网络时,虚拟机不可以访问网络,这里的创建虚拟主机对应上述的构建虚拟网络节点的步骤。
路由是指通过相互连接的网络把数据包从源站传送到目的站的活动,在路由过程中数据包通常会经过一个或多个中转节点,即路由器;路由器用于连接不同的网络,是网络之间互相连接的枢纽,主要工作是为经过路由器的每个数据包寻找一条对应的传输路径,并将该数据有效地传送到目的地。
S302、基于构建的虚拟网络环境,实现数据处理操作,数据处理包括数据查询和数据修改,即数据查询时,接收客户发送的查询请求,从请求发起的最近节点查询数据反馈给客户;数据变更时,变更节点给其余节点广播数据变更命令,其他节点同步完成数据变更操作,保证数据一致性。
具体的,数据查询时,客户通过页面web管理平台提交数据查询指令,服务器确定与客户请求发起的位置节点最近的省节点,在该节点数据库读取数据信息,再通过页面web管理平台反馈给客户。
具体的,数据变更时,客户通过页面web管理平台进行数据修改操作后,服务器确定与客户请求发起的位置节点最近的省节点,对该省节点数据进行修改操作,然后通过上述省节点将修改数据同步到其他多个省节点数据库中。
本申请实施例提供的数据处理方法,可以基于目标网络环境的带宽,提供各个节点数据最快的传输速度,由于服务直接部署在大网节点中,去掉了大网到服务的路径,很大程度的减少了数据库到数据库数据同步的时间延迟,且网络质量可靠,并且在各个节点都部署页面控制中心,节省了请求响应的时间,为使用人员带来了良好的使用体验。
图4为本申请实施例提供的一种数据处理方法的数据查询时序示意图。如图4所示,客户进行数据查询操作,通过目标网络环境确定与客户网络节点IP地址路径最短的虚拟网络节点,即A省节点,然后在A省节点的图谱数据库中查询对应的结果,将查询结果反馈给客户。
图5为本申请实施例提供的一种数据处理方法的数据修改时序示意图。如图5所示,客户进行数据修改操作,通过目标网络环境确定与客户网络节点IP地址路径最短的虚拟网络节点,即C省节点,将C省节点的图谱数据库中对应的历史数据进行修改,然后由C省将需要修改的同步数据发送给A、B、D等其他多个还未同步的省节点,其他省节点同步修改之后将同步结果反馈给C省节点,最后由C省节点将同步修改结果反馈给客户。
图6为本申请实施例提供的一种数据处理装置的结构示意图。如图6所示,该数据处理装置60包括:获取模块601、确定模块602、响应模块603以及发送模块604。其中:
获取模块601,用于获取第一客户端发送的第一数据同步指令,第一数据同步指令包括第一客户端的地址信息和修改数据信息;
确定模块602,用于根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点,第一虚拟网络节点为根据第一网络节点构建的虚拟节点,第一网络节点的地址与客户端的地址满足预设的地址要求;
响应模块603,用于根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新,其中,第二虚拟网络节点为根据第二网络节点构建的虚拟节点,第二网络节点和第一网络节点均为目标网络环境内的节点;
发送模块604,用于在第二虚拟网络节点同步更新完成后,第二虚拟网络节点向第一虚拟网络节点反馈同步更新结果,以使第一虚拟网络节点将同步更新结果反馈至第一客户端。
在本申请实施例中,确定模块602还可以用于:
确定目标网络系统中目标网络环境的网络节点信息,网络节点信息包括网络节点、以及网络节点的配置信息;
根据网络节点信息,构建与网络节点对应的虚拟网络节点;
根据虚拟网络节点,构建虚拟网络环境,以执行根据客户端的地址信息,确定目标网络系统中的第一虚拟网络节点的步骤。
在本申请实施例中,确定模块602还可以用于:
根据虚拟网络节点,配置DOTS网络协议;
根据DOTS网络协议,配置各个虚拟网络节点的DOTS服务器;
在各个虚拟网络节点的DOTS服务器中部署页面管理平台和图谱数据库,得到虚拟网络环境。
在本申请实施例中,确定模块602还可以用于:
获取目标网络系统中目标网络环境的网络节点的配置信息;
根据网络节点的配置信息,确定网络节点的节点地址;
将客户端的地址信息与网络节点的节点地址进行比对,确定网络节点中与客户端的地址信息满足预设的地址要求的第一网络节点;
根据第一网络节点,确定第一虚拟网络节点。
在本申请实施例中,响应模块603还可以用于:
确定第一虚拟网络节点中的DOTS服务器;
根据第一虚拟网络节点中的DOTS服务器,确定第一虚拟网络节点中记录的数据信息;
根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新。
在本申请实施例中,响应模块603还可以用于:
接收第二客户端发送的查询数据信息,查询数据信息包括第二客户端地址和查询数据指令;
根据第二客户端地址,确定第三虚拟网络节点;
根据查询数据指令,从第三虚拟网络节点中的图谱数据库信息,得到数据查询结果;
将数据查询结果发送至第二客户端。
在本申请实施例中,响应模块603还可以用于:
获取目标网络系统中目标网络环境的网络节点的配置信息;
根据网络节点的配置信息,确定网络节点的节点地址;
将第二客户端的地址信息与网络节点的节点地址进行比对,确定网络节点中与第二客户端的地址信息满足预设的地址要求的第三网络节点;
根据第三网络节点,确定第三虚拟网络节点。
由上可知,本申请实施例的数据处理装置有获取模块601,用于获取第一客户端发送的第一数据同步指令,第一数据同步指令包括第一客户端的地址信息和修改数据信息;确定模块602,用于根据第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点,第一虚拟网络节点为根据第一网络节点构建的虚拟节点,第一网络节点的地址与客户端的地址满足预设的地址要求;响应模块603,用于根据修改数据信息,对第一虚拟网络节点中记录的数据信息进行同步更新,以在第一虚拟网络节点同步更新完成后,第一虚拟网络节点将修改数据信息发送至第二虚拟网络节点,并使第二虚拟网络节点根据修改数据信息进行同步更新,其中,第二虚拟网络节点为根据第二网络节点构建的虚拟节点,第二网络节点和第一网络节点均为目标网络环境内的节点;发送模块604,用于在第二虚拟网络节点同步更新完成后,第二虚拟网络节点向第一虚拟网络节点反馈同步更新结果,以使第一虚拟网络节点将同步更新结果反馈至第一客户端。由此,本申请实施例可以根据数据处理装置,实现全网各节点数据一致性,缩短客户端请求响应时间,减少数据库数据同步的时间延迟,提高数据传输的效率。
图7为本申请实施例提供的电子设备的结构示意图。如图7所示,该电子设备70包括:
该电子设备70可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、网络接口703等部件。其中,处理器701、存储器702以及网络接口703通过总线704连接。
在具体实现过程中,至少一个处理器701执行存储器702存储的计算机执行指令,使得至少一个处理器701执行如上的数据处理方法。
处理器701的具体实现过程可参见上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
在上述的图7所示的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速存储器(Random Access Memory,RAM),也可能还包括非易失性存储器(Non-volatile Memory,NVM),例如至少一个磁盘存储器。
网络接口可以是无线网络接口或有线网络接口,该网络接口通常用于在电子设备与其他电子设备之间建立通信连接。例如,网络接口用于通过网络将电子设备与外部终端相连,在电子设备与外部终端之间的建立数据传输通道和通信连接等。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
在一些实施例中,还提出一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现上述任一种数据处理方法中的步骤。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于任一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种数据处理方法中的步骤。
其中,该存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种数据处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种数据处理方法,其特征在于,应用于目标网络系统,包括:
获取第一客户端发送的第一数据同步指令,所述第一数据同步指令包括第一客户端的地址信息和修改数据信息;
根据所述第一客户端的地址信息,确定所述目标网络系统中的第一虚拟网络节点,所述第一虚拟网络节点为根据第一网络节点构建的虚拟节点,所述第一网络节点的地址与所述客户端的地址满足预设的地址要求;
根据所述修改数据信息,对所述第一虚拟网络节点中记录的数据信息进行同步更新,以在所述第一虚拟网络节点同步更新完成后,所述第一虚拟网络节点将所述修改数据信息发送至第二虚拟网络节点,并使所述第二虚拟网络节点根据所述修改数据信息进行同步更新,其中,所述第二虚拟网络节点为根据第二网络节点构建的虚拟节点,所述第二网络节点和所述第一网络节点均为目标网络环境内的节点;
在所述第二虚拟网络节点同步更新完成后,所述第二虚拟网络节点向所述第一虚拟网络节点反馈同步更新结果,以使所述第一虚拟网络节点将所述同步更新结果反馈至所述第一客户端。
2.根据权利要求1所述的方法,其特征在于,在所述根据所述第一客户端的地址信息,确定所述目标网络系统中的第一虚拟网络节点之前,所述方法还包括:
确定所述目标网络系统中目标网络环境的网络节点信息,所述网络节点信息包括网络节点、以及所述网络节点的配置信息;
根据所述网络节点信息,构建与所述网络节点对应的虚拟网络节点;
根据所述虚拟网络节点,构建虚拟网络环境,以执行所述根据所述客户端的地址信息,确定所述目标网络系统中的第一虚拟网络节点的步骤。
3.根据权利要求2所述的方法,其特征在于,所述根据所述虚拟网络节点,构建虚拟网络环境,包括:
根据所述虚拟网络节点,配置DOTS网络协议;
根据所述DOTS网络协议,配置各个所述虚拟网络节点的DOTS服务器;
在各个所述虚拟网络节点的DOTS服务器中部署页面管理平台和图谱数据库,得到虚拟网络环境。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一客户端的地址信息,确定所述目标网络系统中的第一虚拟网络节点,包括:
获取所述目标网络系统中目标网络环境的网络节点的配置信息;
根据所述网络节点的配置信息,确定所述网络节点的节点地址;
将所述第一客户端的地址信息与所述网络节点的节点地址进行比对,确定所述网络节点中与所述第一客户端的地址信息满足预设的地址要求的所述第一网络节点;
根据所述第一网络节点,确定所述第一虚拟网络节点。
5.根据权利要求1所述的方法,其特征在于,所述根据所述修改数据信息,对所述第一虚拟网络节点中记录的数据信息进行同步更新,以在所述第一虚拟网络节点同步更新完成后,所述第一虚拟网络节点将所述修改数据信息发送至第二虚拟网络节点,并使所述第二虚拟网络节点根据所述修改数据信息进行同步更新,包括:
确定所述第一虚拟网络节点中的DOTS服务器;
根据所述第一虚拟网络节点中的DOTS服务器,确定所述第一虚拟网络节点中记录的数据信息;
根据所述修改数据信息,对所述第一虚拟网络节点中记录的数据信息进行同步更新,以在所述第一虚拟网络节点同步更新完成后,所述第一虚拟网络节点将所述修改数据信息发送至第二虚拟网络节点,并使所述第二虚拟网络节点根据所述修改数据信息进行同步更新。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收第二客户端发送的查询数据信息,所述查询数据信息包括第二客户端地址和查询数据指令;
根据所述第二客户端地址,确定第三虚拟网络节点;
根据所述查询数据指令,从所述第三虚拟网络节点中的图谱数据库信息,得到数据查询结果;
将所述数据查询结果发送至所述第二客户端。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第二客户端地址,确定第三虚拟网络节点,包括;
获取所述目标网络系统中目标网络环境的网络节点的配置信息;
根据所述网络节点的配置信息,确定所述网络节点的节点地址;
将所述第二客户端的地址信息与所述网络节点的节点地址进行比对,确定所述网络节点中与所述第二客户端的地址信息满足预设的地址要求的第三网络节点;
根据所述第三网络节点,确定所述第三虚拟网络节点。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取第一客户端发送的第一数据同步指令,所述第一数据同步指令包括第一客户端的地址信息和修改数据信息;
确定模块,用于根据所述第一客户端的地址信息,确定目标网络系统中的第一虚拟网络节点,所述第一虚拟网络节点为根据第一网络节点构建的虚拟节点,所述第一网络节点的地址与所述客户端的地址满足预设的地址要求;
响应模块,用于根据所述修改数据信息,对所述第一虚拟网络节点中记录的数据信息进行同步更新,以在所述第一虚拟网络节点同步更新完成后,所述第一虚拟网络节点将所述修改数据信息发送至第二虚拟网络节点,并使所述第二虚拟网络节点根据所述修改数据信息进行同步更新,其中,所述第二虚拟网络节点为根据第二网络节点构建的虚拟节点,所述第二网络节点和所述第一网络节点均为目标网络环境内的节点;
发送模块,用于在所述第二虚拟网络节点同步更新完成后,所述第二虚拟网络节点向所述第一虚拟网络节点反馈同步更新结果,以使所述第一虚拟网络节点将所述同步更新结果反馈至所述第一客户端。
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311219099.XA CN117201516A (zh) | 2023-09-20 | 2023-09-20 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311219099.XA CN117201516A (zh) | 2023-09-20 | 2023-09-20 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117201516A true CN117201516A (zh) | 2023-12-08 |
Family
ID=88984772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311219099.XA Pending CN117201516A (zh) | 2023-09-20 | 2023-09-20 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117201516A (zh) |
-
2023
- 2023-09-20 CN CN202311219099.XA patent/CN117201516A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180239726A1 (en) | Data transmission method, device, and system | |
JP2017118575A (ja) | データネットワークにおける負荷分散 | |
US11489918B2 (en) | State management and object storage in a distributed cloud computing network | |
CN106713391B (zh) | 一种session信息的共享方法和共享系统 | |
CN101729425B (zh) | Vrrp组网中流量发送的方法及设备 | |
JP5804189B2 (ja) | 情報処理システム,情報処理方法,プログラム | |
CN111338806B (zh) | 一种业务控制方法及装置 | |
CN110830574B (zh) | 一种基于docker容器实现内网负载均衡的方法 | |
CN104717081A (zh) | 一种网关功能的实现方法及装置 | |
CN111193773A (zh) | 负载均衡方法、装置、设备及存储介质 | |
CN111404628B (zh) | 一种时间同步方法和装置 | |
CN111327651A (zh) | 资源下载方法、装置、边缘节点及存储介质 | |
CN110971702A (zh) | 服务调用方法、装置、计算机设备及存储介质 | |
WO2015006970A1 (zh) | 交换设备、控制器、交换设备配置、报文处理方法及系统 | |
EP3937502A1 (en) | Method, apparatus and device for pushing video stream, and storage medium | |
CN115086330A (zh) | 跨集群负载均衡系统 | |
CN107483628B (zh) | 基于dpdk的单向代理方法及系统 | |
JPH07105815B2 (ja) | データ・パケツトの転送システム及びデータ・パケツトの転送方法 | |
CN100423514C (zh) | 分布式设备中地址解析协议数据同步的方法 | |
CN117201516A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN115665026A (zh) | 一种集群组网的方法和装置 | |
US20210367877A1 (en) | File control for data packet routers using consensus and inter-planetary file system (ipfs) | |
CN114885007A (zh) | 用于实时的强一致性会话同步的方法和电子设备 | |
CN114124890A (zh) | 一种确定方法、虚拟路由器、控制设备及域名解析系统 | |
CN113434290A (zh) | 基于raft协议的数据处理方法和设备,及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |