CN109639811A - 数据传输方法、数据存储方法、装置、服务器及存储介质 - Google Patents
数据传输方法、数据存储方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN109639811A CN109639811A CN201811574403.1A CN201811574403A CN109639811A CN 109639811 A CN109639811 A CN 109639811A CN 201811574403 A CN201811574403 A CN 201811574403A CN 109639811 A CN109639811 A CN 109639811A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- transfer request
- batch
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/62—Establishing a time schedule for servicing the requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种数据传输方法、数据存储方法、装置、服务器及存储介质，其中传输方法包括：获取待传输数据如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识；发送数据传输请求。其中存储方法包括：接收数据传输请求；判断本地是否存在批次标识的已存储标记；当存在批次标识的已存储标记时，确定批次数据已被存储，数据传输请求为重复传输请求；当不存在批次标识的已存储标记时，确定批次数据未被存储；存储批次数据，为批次标识增加已存储标记。本发明实施例能够提高大数据量传输时的数据传输准确性。
Description
技术领域
本发明涉及大数据通信技术领域，特别是涉及一种数据传输方法、数据存储方法、装置、服务器及存储介质。
背景技术
大型互联网服务提供商的服务节点通常分布于全国各地，用于提供业务服务。为了优化、保障或辅助于业务服务，分布于全国各地的服务节点需要与后端节点进行通信，向后端节点发送业务相关数据，以便后端节点能够针对业务相关数据进行运算处理，从而实现实时或者离线的分析统计、业务计费等。具体的，各服务节点中部署的代理服务Agent(代理端服务器)通过网络与后端节点的服务Server(服务端服务器)建立连接，实现代理端服务器与服务端服务器之间的数据传输。
例如，位于不同地域的代理端服务器将大量日志数据发送至服务端服务器，服务端服务器接收日志数据后，对大量的日志数据进行统计分析。
服务端服务器通常会接收来自不同地域的代理端服务器的数据，以基于接收到的数据进行运算处理。当分布于不同地域的数个代理端服务器与服务端服务器进行数据传输时，其数据传输规模可能高达5Gbps甚至50Gbps，可以认为是一种大数据传输过程，大数据传输的准确性，对于后续的数据运算是至关重要的。
而现有的数据传输方法，代理端服务器通常是逐条发送数据，服务端服务器也是逐条接收数据，在进行数据传输时，尤其是大数据量数据传输时，在网络状况异常时，很容易出现数据的丢失和数据的重复传输，非常影响数据传输准确性。
发明内容
本发明实施例的目的在于提供一种数据传输方法、数据存储方法、装置、服务器及存储介质，以提高数据传输过程中数据的准确性。具体技术方案如下：
第一方面，本发明实施例提供了一种数据传输方法，应用于代理端服务器，所述方法包括：
获取待传输数据；
如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；
发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。
可选地，在所述发送数据传输请求前，所述方法还包括：
对所述数据传输请求进行第一处理；
所述发送数据传输请求包括：
发送所述第一处理后的数据传输请求；
其中，所述第一处理包括压缩处理和/或加密处理。
可选地，所述加密处理包括AK/SK加密处理。
可选地，所述发送数据传输请求之前，所述方法还包括：
基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息；
所述发送数据传输请求的步骤，包括：
通过所确定的路由信息确定数据的传输链路后，向服务端服务器发送所述数据传输请求。
可选地，述基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息的步骤包括：
确定所述代理端服务器的网络运营商；
根据所确定的网络运营商，在预设的多个目标IP地址中选择与该网络运营商对应的目标IP地址，其中，所述目标IP地址为所述服务端服务器的IP地址，不同的目标IP地址分配有不同的传输链路，且所述多个目标IP地址对应同一域名。
可选地，当所选择的目标IP地址分配的传输链路出现异常时，所述方法还包括：
将当前选择的目标IP地址切换至所述预设的多个目标IP地址中的其它目标IP地址；
通过切换后的目标IP地址分配的传输链路，发送所述数据传输请求。
可选地，所述方法还包括：
判断当前已发送的数据总量是否达到第一预设阈值；
如果已发送的数据总量达到第一预设阈值，停止获取预设的低优先级的待传输数据，和/或，延长数据传输请求的发送时间间隔。
第二方面，本发明实施例提供了一种数据存储方法，应用于服务端服务器，所述方法包括：
接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的批次；
判断本地是否存在所述批次标识的已存储标记；
当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储；
存储所述批次数据，并为所述批次标识增加已存储标记。
可选地，所述代理端服务器对所述数据传输请求进行了第一处理；
在接收代理端服务器的数据传输请求后，所述方法还包括：
对所述数据传输请求进行与所述第一处理对应的第二处理；
其中，所述第一处理包括压缩和/或加密处理，所述第二处理相应包括解压缩和/或解密处理。
可选地，所述加密处理为AK/SK加密处理；
所述对所述数据传输请求进行与所述第一处理对应的第二处理包括：
对所述数据传输请求进行AK/SK解密处理，以确定所述数据传输请求中的批次数据没有恶意数据灌入。
可选地，在所述接收代理端服务器的数据传输请求后，所述方法还包括：
判断所述代理端服务器是否属于预设白名单中的服务器；
当判断为所述代理端服务器属于预设白名单中的服务器时，确定所述服务器为安全服务器。
可选地，所述方法还包括：
判断当前所接收的数据总量是否达到第二预设阈值；
如果当前所接收的数据总量达到第二预设阈值时，停止接收预设的低优先级批次数据，并继续接收预设的高优先级批次数据。
第三方面，本发明实施例提供了一种数据传输装置，应用于代理端服务器，所述装置包括：
应用于代理端服务器，所述装置包括：
获取模块，用于获取待传输数据；
批次确定模块，用于如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；
发送模块，用于发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。
可选地，所述装置还包括：
第一处理模块，用于对所述数据传输请求进行第一处理；
所述发送模块，具体用于：
发送所述第一处理后的数据传输请求；
其中，所述第一处理包括压缩处理和/或加密处理。
可选地，所述加密处理包括AK/SK加密处理。
可选地，所述装置还包括：
第一确定模块，用于基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息。
所述发送模块，具体用于：
通过所确定的路由信息，向服务端服务器发送所述数据传输请求。
可选地，所述第一确定模块，包括：
确定子模块，用于确定所述代理端服务器的网络运营商；
选择子模块，用于根据所确定的网络运营商，在预设的多个目标IP地址中选择与该网络运营商对应的目标IP地址，其中，所述目标IP地址为所述服务端服务器的IP地址，不同的目标IP地址分配有不同的传输链路，且所述多个目标IP地址对应同一域名。
可选地，所述装置还包括：
切换模块，用于当所选择的目标IP地址分配的传输链路出现异常时，将当前选择的目标IP地址切换至所述预设的多个目标IP地址中的其它目标IP地址；
所述发送模块，具体用于：
通过切换后的目标IP地址分配的传输链路，发送所述数据传输请求。
可选地，所述装置还包括：
第一判断模块，用于判断当前已发送的数据总量是否达到第一预设阈值；
停止模块，用于如果已发送的数据总量达到第一预设阈值，停止获取预设的低优先级的待传输数据，和/或，延长数据传输请求的发送时间间隔。
第四方面，发明实施例提供了一种数据存储装置，应用于服务端服务器，所述装置包括：
接收模块，用于接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的批次；
第二判断模块，用于判断本地是否存在所述批次标识的已存储标记；
第二确定模块，用于当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储；
存储模块，用于存储所述批次数据，并为所述批次标识增加已存储标记。
可选地，所述代理端服务器对所述数据传输请求进行了第一处理；
所述装置还包括：
第二处理模块，用于对所述数据传输请求进行与所述第一处理对应的第二处理；其中，所述第一处理包括压缩和/或加密处理，所述第二处理相应包括解压缩和/或解密处理。
可选地，所述加密处理为AK/SK加密处理；
所述第二处理模块，具体用于：
对所述数据传输请求进行AK/SK解密处理，以确定所述数据传输请求中的批次数据没有恶意数据灌入。
可选地，所述装置还包括：
第三判断模块，用于判断所述代理端服务器是否属于预设白名单中的服务器；
第四确定模块，用于当所述第三判断模块判断为所述代理端服务器属于预设白名单中的服务器时，确定所述服务器为安全服务器。
可选地，所述装置还包括：
第四判断模块，用于判断当前所接收的数据总量是否达到第二预设阈值；
所述接收模块，具体用于：
如果当前所接收的数据总量达到第二预设阈值时，停止接收预设的低优先级批次数据，并继续接收预设的高优先级批次数据。
第五方面，本发明实施例提供了一种数据传输系统，包括：多个分布式部署的代理端服务器，以及服务端服务器，各个所述代理端服务器通过所述服务端服务器进行配置及管理；
所述代理端服务器用于：获取待传输数据；如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔；
所述服务端服务器用于：接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的批次；判断本地是否存在所述批次标识的已存储标记；当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储；存储所述批次数据，并为所述批次标识增加已存储标记。
第六方面，本发明实施例提供了一种服务器，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现上述第一方面提供的数据传输方法的方法步骤。
第七方面，本发明实施例提供了另一种服务器，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现上述第一方面提供的数据存储方法的方法步骤。
第八方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面提供的数据传输方法的方法步骤。
第九方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面提供的数据存储方法的方法步骤。
第十方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面提供的数据传输方法的方法步骤。
第十一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面提供的数据存储方法的方法步骤。
第十二方面，本发明实施例还提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面提供的数据传输方法的方法步骤。
第十三方面，本发明实施例还提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面提供的数据存储方法的方法步骤。
本发明实施例提供的一种数据传输方法、传输装置，代理端服务器获取待传输数据后，当达到预设发送条件时将所获取的待传输数据确定为批次数据，并为批次数据设置唯一的批次标识，进而发送数据传输请求。由于每批次数据均具有唯一的批次标识，因此能够使服务端服务器能够在接收该批次数据时通过批次标识进行识别，避免批次数据重复传输，从而提高数据传输准确性；并且，由于数据是压缩后分批次发送的，因此能够降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
本发明实施例提供的一种数据存储方法、存储装置，服务端服务器接收携带有批次标识及批次数据的数据传输请求后，通过判断本地是否存在批次标识的已存储标记，当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储。由于每批次数据均具有唯一的批次标识，因此服务端服务器能够通过批次标识确认该批次数据是否被重复传输，从而提高数据传输准确性。并且，由于服务端服务器接收的是分批次发送的数据，在接收一个批次数据后，只需确认该批次数据是否重复传输，相比于现有的逐条传输数据的方法，不需要再逐条地确认数据是否重复传输，能够显著降低服务端服务器的去重成本，还能降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据传输方法的一种流程示意图；
图2为本发明实施例提供的数据传输方法的另一种流程示意图；
图3为本发明实施例中S207的一种流程示意图；
图4为本发明实施例提供的数据存储方法的一种流程示意图；
图5为本发明实施例提供的数据存储方法的另一种流程示意图；
图6为本发明实施例提供的数据传输系统的一种结构示意图；
图7为本发明实施例提供的数据传输装置的一种结构示意图；
图8为本发明实施例提供的数据传输装置的另一种结构示意图；
图9为本发明实施例中第一确定模块的一种结构示意图；
图10为本发明实施例提供的数据存储装置的一种结构示意图；
图11为本发明实施例提供的数据存储装置的另一种结构示意图；
图12为本发明实施例提供的服务器的一种结构示意图；
图13为本发明实施例提供的服务器的另一种结构示意图；
图14为本发明实施例提供的一种大数据传输系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中的数据传输方法，在数据传输过程中，尤其是大数据传输过程中存在数据丢失严重或数据重复率较高的问题，而大数据传输的准确、稳定，对于整个大数据平台的实时、离线计算至关重要，是整个大数据平台的基石。例如，对于数据量庞大的日志数据而言，有的用于实时分析统计(例如视频直播服务器产生的日志)，有的用于实时计费，同时这些日志数据对传输的时效性、准确性要求高。但是，相关技术中的数据传输方法，在面对跨地域、跨运营商的大数据实时传输情景时，经常出现数据传输延时严重、数据丢失严重和数据重复率高等问题，还会导致后续实时统计或实时计费不精确，影响业务正常运行。
方法实施例1
有鉴于此，如图1所示，本发明实施例提供了一种数据传输方法，应用于代理端服务器，该方法可以包括以下步骤：
S101，获取待传输数据。
本发明实施例中，代理端服务器可以通过不同的业务服务获取不同的数据，即，可以获取待传输数据，例如，通过日志业务服务获取日志数据，或者，通过用户交互业务获取用户的查询数据。所获取数据的具体格式可以为日志格式、文件格式等数据格式。
S102，如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为批次数据设置唯一的批次标识。
容易理解，在代理端服务器运作过程中，其数据获取过程是持续不断的。因此，可以预先设置一发送条件，当达到该预设发送条件时，可以将所获取的多条数据组成一个批次从而用于批量发送。
在一种示例中，上述预设发送条件可以为：所获取的数据条数达到预设条数。具体地，预设条数可以为100条，当获取的数据条数达到100条时，将这100条数据组成为一个批次，也即，该批次中包含100条数据。上述预设条数还可以为1条或者1000条，可以由服务器运维人员根据实际业务情况设置。
在另一种示例中，上述预设发送条件可以为：发送时间间隔达到预设时间间隔。具体地，预设时间间隔可以为3秒，当距离上次发送的时间间隔达到3秒时，将这3秒内获取的多条数据组成为一个批次。虽然可能出现获取的数据条数还未达到预设条数便已经先达到时间间隔的情况，但由于及时地将所获取的数据组成批次，因此能够提高数据的时效性。当然，上述预设时间间隔还可以为1秒、5秒或者10秒，可以由服务器运维人员根据实际业务情况设置。
本发明实施例中，可以为批次数据设置唯一的批次标识，批次标识用于标示批次数据的批次，从而使服务端服务器在接收一个批次数据后，能够通过批次标识识别该批次数据，并能够进一步地判断该批次数据是否被重复传输。通过为批次数据设置批次标识可以降低服务端服务器的去重成本，这是由于当为一个批次数据打上批次标识后，只需通过批次标识确认该批次数据是否被重复传输，而不需要再逐条地确认数据是否重复传输，进行去重操作时的操作量是原本数据条数的几百甚至几千分之一。例如，当一个批次数据中含有1000条数据时，原本需要判断这一千条数据是否被重复传输，即，进行1000次去除操作；本发明实施例只需要通过批次数据的批次标识判断一个批次数据是否被重复传输，即，进行1次去重操作即可。
S103，发送数据传输请求，数据传输请求中携带有批次标识及批次数据。
代理端服务器可以向服务端服务器发送数据传输请求，该数据传输请求中携带有批次标识及批次数据。示例性地，代理端服务器可以以报文形式向服务端服务器持续发送数据传输请求，直到服务端服务器响应为止，如果服务端服务器未响应，可以再次发送数据传输请求。当然，除所举的例子所示的实现方式以外，实现该特征的方式均属于本发明实施例的保护范围。
作为本发明实施例一种可选的实施方式，在所述发送数据传输请求前，本发明实施例的数据传输方法还可以包括：
对所述数据传输请求进行第一处理。
所说的第一处理可以包括：包括压缩处理和/或加密处理，其中，加密处理可以包括AK/SK加密处理。
对于所组成的一个批次的数据，可以将它进行压缩，形成批次数据，从而降低数据的体积。例如，可以通过lzo(Lempel-Ziv-Oberhume，一种数据压缩算法)、glib(Linux平台下的C语言函数库)、snappy(一个C++语言的用于压缩和解压缩的开发包)、zstd(Zstandard，一种快速压缩算法)等压缩算法进行压缩。上述的批次数据，可以是一个经压缩后的数据压缩包，数据压缩包中至少可以包含一条数据，也即，一个批次数据中至少包含一条数据。当然，除所举的例子所示的实现方式以外，实现该特征的方式均属于本发明实施例的保护范围。
总体而言，所组成的一个批次的数据，批量越大压缩率越高，压缩效果越好，因此可以基于压缩率设定每个批次数据的批量，即每个批次数据中数据的条数。通过对数据进行压缩形成批次数据，可以有效减少数据传输量，降低带宽占用程度。
本发明实施例提供的一种数据传输方法，代理端服务器获取待传输数据后，当达到预设发送条件时将所获取的待传输数据确定为批次数据，并为批次数据设置唯一的批次标识，进而发送数据传输请求。由于每批次数据均具有唯一的批次标识，因此能够使服务端服务器能够在接收该批次数据时通过批次标识进行识别，避免批次数据重复传输，从而提高数据传输准确性；并且，由于数据是压缩后分批次发送的，因此能够降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
方法实施例2
如图2所示，本发明实施例还提供了一种数据传输方法，应用于代理端服务器，该方法可以包括以下步骤：
S201，判断当前已发送的数据总量是否达到第一预设阈值。
为了防止服务端服务器雪崩(由于接收的数据量过多导致崩溃)，当代理端服务器符合预设条件时，可以限制代理端服务器的数据发送量。例如，为代理端服务器的已发送数据总量设置第一预设阈值，从而基于当前已发送的批次数据的数据总量与第一预设阈值之间的大小关系进行判断。上述第一预设阈值，可以由服务器运维人员根据实际业务情况设置，例如，设置为500GB、1TB、10TB，本发明实施例在此不再赘述。
S202，如果已发送的批次数据的数据总量达到第一预设阈值时，停止获取预设的低优先级的待传输数据。
当代理端服务器判定已发送的批次数据的数据总量达到第一预设阈值时，可以停止获取预设的低优先级数据，从而保证高优先级数据顺利传输，还能防止服务端服务器因接收过多数据出现雪崩。
所说的低优先级数据和高优先级数据，可以根据业务服务产生的数据进行预设。例如，当为日志业务服务时，产生的日志数据通常与计时、计费相关，相对而言重要，因此可以为高优先级数据；当为用户交互业务服务时，产生的用户查询数据相对而言不重要，可以为低优先级数据。
S203、如果已发送的批次数据的数据总量未达到第一预设阈值时，发送数据传输请求。
S204，延长数据传输请求的发送时间间隔。
为了进一步防止服务端服务器出现雪崩，还可以延长代理端服务器的发送时间间隔，例如，原先的发送时间间隔为3秒，当代理端服务器判定已发送的批次数据的数据总量达到第一预设阈值时，可以将时间间隔从3秒调整为5秒，即，每隔5秒发送一次数据传输请求。
S205，获取多条预设的高优先级数据。
代理端服务器在停止获取预设的低优先级数据后，可以继续保持获取预设的高优先级数据。
S206，如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识。
上述步骤S206与本发明图1所示方法实施例1中的S102相同，在此不再赘述。
S207，基于代理端服务器的网络运营商，确定用于进行数据传输的路由信息。
代理端服务器通常由网络运营商提供网络服务，例如，中国移动、中国电信、中国联通等网络运营商，不同的网络运营商提供有不同的数据传输链路。一般而言，通过选择与代理端服务器的网络运营商一致的数据传输链路进行数据传输时，传输速度快且稳定。例如，当代理端服务器的网络运营商为中国电信时，其通过中国电信的传输链路进行数据传输时传输速度更快。
因此，本发明实施例中的代理端服务器可以基于其自身的网络运营商确定一个用于进行数据传输路由信息，从而使数据能够稳定快速地进行传输，提升传输性能。
作为本发明实施例一种可选的实施方式，如图3所示，上述步骤S207可以包括以下流程：
S2071，确定代理端服务器的网络运营商。
代理端服务器的网络运营商通常在配置代理端服务器时已经预设好，因此代理端服务器可以容易地确定自身的网络运营商。
S2072，根据所确定的网络运营商，在预设的多个目标IP地址中选择与该网络运营商对应的目标IP地址。
本发明实施例中，可以预先设置多个目标IP地址，不同的目标IP地址分配有不同的传输链路。例如，可以在服务端服务器分别建立静态移动IP、静态电信IP、静态联通IP和BGP(Border Gateway Protocol，边界网关协议)多线IP四个目标IP地址，并为这四个目标IP地址配置同一个域名，该域名可以为服务端服务器的域名，然后将配置信息发送给代理端服务器。
代理端服务器接收配置信息后，获取上述多个目标IP地址，根据自身所确定的网络运营商，选择与该网络运营商对应的目标IP地址，从而利用目标IP地址所分配的传输链路进行数据传输。
作为本发明实施例一种可选的实施方式，代理端服务器在发送数据的时候，可以按照所在的运营商自动选择目标IP，对于预设的小运营商，例如，鹏博士、教育网、铁通等，则自动选择BGP多线。虽然BGP多线成本高，但小运营商的流量通常不高，所以服务端服务器端的BGP多线入口带宽不需很高，相应成本也不会很高。
S208，通过所确定的路由信息确定数据的传输链路后，向服务端服务器发送数据传输请求。
确定路由信息后，代理端服务器即可确定服务端服务器的传输链路，从而向服务端服务器发送数据传输请求，通过多低成本的静态IP链路和多线BGP链路来传输数据，从而提升总体传输性能。
作为本发明实施例一种可选的实施方式，当所确定的路由信息为目标IP地址时，可以通过所选择的目标IP地址分配的传输链路，发送经加密的数据传输请求。由于本发明实施例可以通过公网环境传输数据，数据传输过程中会中会通过各地的网关，为保证数据本身的安全，可以对批次数据进行加密，例如，可以采用非对称加密技术将批次数据加密后传输，以提高数据传输安全性。当然，除所举的例子所示的实现方式以外，实现该特征的方式均属于本发明实施例的保护范围。
作为本发明实施例一种可选的实施方式，代理端服务端可以具有重试策略，即，在网络传输状况好时提高发送频率，例如，提高到每1秒发送一次，以尽可能多地传输数据；代理端服务端还可以具有发送回避策略，即，在网络传输状况异常时降低发送频率，例如，提高到每5秒发送一次。代理端服务器可以根据网络状况调整发送频率，从而使得既可以多地发送数据，还可以尽量避免服务端服务器出现雪崩。
作为本发明实施例一种可选的实施方式，当上述所选择的目标IP地址分配的传输链路出现异常时，本发明实施例可以包括以下流程：
将当前选择的目标IP地址切换至预设的多个目标IP地址中的其它目标IP地址。
通过切换后的目标IP地址分配的传输链路，发送经加密的数据传输请求。
本发明实施例中，当上述所选择的目标IP地址分配的传输链路出现异常时，例如，当服务端服务器的某一运营商出现光纤断开等异常情况时，代理端服务器可以通过自动调配，切换目标IP地址，临时将数据传到其它运营商的静态IP，从而规避某一运营商异常时带来的传输不稳定情况，进一步保证数据正常、稳定地传输。可选地，如果在初次选则传输链路时，如果网络运营商对应的目标IP地址异常，也可以选择其他运营商的IP地址。
本发明实施例提供的一种数据传输方法，通过判断当前已发送的批次数据的数据总量是否达到第一预设阈值，当达到第一预设阈值时，停止获取预设的低优先级待传输数据，从而保证高优先级待传输数据顺利传输，又能防止服务端服务器因接收过多数据出现雪崩；通过延长数据传输请求的发送时间间隔，进一步防止服务端服务器出现雪崩；并且，通过代理端服务器能够通过所确定的路由信息，确定数据的传输链路，从而通过特定的传输链路发送数据传输请求，提升总体传输性能。
方法实施例3
如图4所示，本发明实施例提供了一种数据存储方法，应用于服务端服务器，该方法可以包括以下步骤：
S301，接收代理端服务器的数据传输请求。
本发明实施例中，服务端服务器可以接收由代理端服务器发送的数据传输请求，数据传输请求中可以携带有批次标识及批次数据，其中，批次标识用于标示批次数据的批次，批次数据由至少一条数据经压缩后形成，当还，可以为1条或者1000条，可以由服务器运维人员根据实际业务情况设置。
所接收的批次数据中具有唯一的批次标识，从而使服务端服务器在接收一个批次数据后，能够通过批次标识识别该批次数据。
S302，判断本地是否存在批次标识的已存储标记。
服务端服务器在每接收一个批次数据并落盘后，可以为该批次数据生成一个已存储标记。例如，在基于Redis存储系统的服务端服务器中，为每个落盘的批次数据的批次标识打上已存储标记，具体地，可以在服务端服务器中建立一张表，表中列出所接收的批次数据的批次标识，以及对应的标记，可以直接为所存储的批次数据的批次标识打上标记“已存储”，或者特定的字符。
表1不同批次数据的批次标识对应的标记
| 批次标识 | 标记 |
| …… | …… |
| 100 | 已存储 |
| 101 | 已存储 |
| …… | …… |
进一步地，当服务端服务器新接收一个批次数据后，可以先判断本地是否存在批次标识的已存储标记，以判断数据是否被重复传输。
S303，当存在批次标识的已存储标记时，确定批次数据已被存储，数据传输请求为重复传输请求。
如果存在批次标识的已存储标记，表明批次数据已被存储，进一步表明代理端服务器曾经发送过该批次数据，则服务端服务器可以确定数据传输请求为重复传输请求。
S304，当不存在批次标识的已存储标记时，确定批次数据未被存储。
容易理解地，当不存在批次标识的已存储标记时，表明批次数据未被存储，进一步表明代理端服务器曾经未发送过该批次数据。
S305，存储批次数据，并为批次标识增加已存储标记。
当确定批次数据未被存储，则服务端服务器可以接收并存储该批次数据，并为批次标识增加已存储标记。
本发明实施例提供的一种数据存储方法，接收携带有批次标识及批次数据的数据传输请求后，通过判断本地是否存在批次标识的已存储标记，当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储。由于每批次数据均具有唯一的批次标识，因此服务端服务器能够通过批次标识确认该批次数据是否被重复传输，从而提高数据传输准确性。并且，由于服务端服务器接收的是分批次发送的数据，在接收一个批次数据后，只需确认该批次数据是否重复传输，相比于现有的逐条传输数据的方法，不需要再逐条地确认数据是否重复传输，能够显著降低服务端服务器的去重成本，还能降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
方法实施例4
如图5所示，本发明实施例还提供了一种数据存储方法，应用于服务端服务器，该方法可以包括以下步骤：
S401，接收数据传输请求。
上述步骤S401与本发明图4所示方法实施例1中的S301相同，本实施例在此不再赘述。
S402，对数据传输请求进行与第一处理对应的第二处理，当认证通过时，确定数据传输请求中的批次数据没有恶意数据灌入。
本发明实施例中，第一处理包括压缩和/或加密处理，第二处理相应包括解压缩和/或解密处理，以防止批次数据中其它恶意数据灌入。加密处理为AK/SK加密处理，因此可以对所述数据传输请求进行AK/SK解密处理。AK/SK认证是一种成熟的请求认证方式，它可以对请求进行加密签名，从而防止请求被修改。
S403，判断代理端服务器是否属于预设白名单中的服务器。
服务端服务器还可以预设建立一个服务器白名单，白名中记录有安全的代理端服务器，从而判断发送数据传输请求的代理端服务器是否属于预设白名单中的服务器，如果不属于白名单中的服务器，则可以直接拒绝该数据传输请求，以最简单的方式实现防DDOS(Distributed Denial of Service，分布式拒绝服务)攻击。
S404，当判断为代理端服务器属于预设白名单中的服务器时，确定服务器为安全服务器。
S406，判断本地是否存在批次标识的已存储标记。
S407，当存在批次标识的已存储标记时，确定批次数据已存储，数据传输请求为重复传输请求。
S408，当不存在批次标识的已存储标记时，确定批次数据未被存储。
S409，存储批次数据，并为批次标识增加已存储标记。
上述步骤S406～S409与本发明图4所示方法实施例中的S302～S305相同，本实施例在此不再赘述。
作为本发明实施例一种可选的实施方式，本发明实施例的数据存储方法还可以包括：
判断当前所接收的数据总量是否达到第二预设阈值；
当前所接收的数据总量达到第二预设阈值时，停止接收预设的低优先级批次数据，并继续接收预设的高优先级批次数据。
本发明实施例还可以为不同的批次数据设置不同的优先级，当服务端服务器已接收的数据总量达到第二预设阈值时，可以使用熔断策略，即，停止接收预设的低优先级批次数据，并继续接收预设的高优先级批次数据，使得优先存储高优先级批次数据，从而能够使高优先级数据顺利存储，还能防止服务端服务器因存储过多数据出现雪崩。上述第二预设阈值，可以由服务器运维人员根据实际业务情况设置，例如，设置为1TB、10TB、100TB，本发明实施例在此不再赘述。
本发明实施例提供的一种数据存储方法，接收数据传输请求后，通过对数据传输请求进行第二处理，确定数据传输请求中的批次数据没有恶意数据灌入，从而防止请求被修改，保证数据传输安全性；通过进一步判断代理端服务器是否属于预设白名单中的服务器，防止恶意数据传输请求，进一步保证数据传输安全性。
相应于上面的方法实施例，本发明实施例还提供了相应的系统/装置实施例。
系统实施例
如图6所示，本发明实施例还提供了一种数据传输系统，多个分布式部署的代理端服务器，以及服务端服务器，各个代理端服务器可以通过服务端服务器进行配置及管理，服务端服务器中可以运行有Kafka或者HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)，其中，Kafka是由Apache软件基金会开发的一个开源流处理平台。
其中，代理端服务器用于：获取待传输数据；如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔；
服务端服务器用于：接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的批次；判断本地是否存在所述批次标识的已存储标记；当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储；存储所述批次数据，并为所述批次标识增加已存储标记。
本发明实施例提供的一种数据传输系统，代理端服务器获取待传输数据后，当达到预设发送条件时将所获取的待传输数据确定为批次数据，并为批次数据设置唯一的批次标识，进而发送数据传输请求。由于每批次数据均具有唯一的批次标识，因此能够使服务端服务器能够在接收该批次数据时通过批次标识进行识别，避免批次数据重复传输，从而提高数据传输准确性；并且，由于数据是压缩后分批次发送的，因此能够降低数据传输过程中的带宽占用程度；服务端服务器接收携带有批次标识及批次数据的数据传输请求后，通过判断本地是否存在批次标识的已存储标记，当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储。由于每批次数据均具有唯一的批次标识，因此服务端服务器能够通过批次标识确认该批次数据是否被重复传输，从而提高数据传输准确性。并且，由于服务端服务器接收的是分批次发送的数据，在接收一个批次数据后，只需确认该批次数据是否重复传输，相比于现有的逐条传输数据的方法，不需要再逐条地确认数据是否重复传输，能够显著降低服务端服务器的去重成本，还能降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
装置实施例1
如图7所示，本发明实施例提供了一种数据传输装置，与图1所示流程对应，应用于代理端服务器，包括：
获取模块501，用于获取待传输数据。
批次确定模块502，用于如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次。所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。
发送模块503，用于发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据。
本发明实施例提供的一种数据传输装置，代理端服务器获取待传输数据后，当达到预设发送条件时将所获取的待传输数据确定为批次数据，并为批次数据设置唯一的批次标识，进而发送数据传输请求。由于每批次数据均具有唯一的批次标识，因此能够使服务端服务器能够在接收该批次数据时通过批次标识进行识别，避免批次数据重复传输，从而提高数据传输准确性；并且，由于数据是压缩后分批次发送的，因此能够降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
装置实施例2
本发明实施例还提供了一种数据传输装置，在图7所示结构的基础上，如图8所示，还包括：
第一处理模块503，用于对所述数据传输请求进行第一处理。
第一判断模块508，用于判断当前已发送的批次数据的数据总量是否达到第一预设阈值。
停止模块509，用于如果已发送的数据总量达到第一预设阈值，停止获取预设的低优先级的待传输数据，和/或，延长数据传输请求的发送时间间隔。
第一确定模块506，用于基于代理端服务器的网络运营商，确定用于进行数据传输的路由信息。
切换模块507，用于当所选择的目标IP地址分配的传输链路出现异常时，将当前选择的目标IP地址切换至预设的多个目标IP地址中的其它目标IP地址；
其中，发送模块503，具体用于：
通过切换后的目标IP地址分配的传输链路，发送数据传输请求。
其中，发送模块503，具体用于：
通过所确定的路由信息，向服务端服务器发送数据传输请求。
其中，如图9所示，第一确定模块506，包括：
确定子模块5061，用于确定代理端服务器的网络运营商。
选择子模块5062，用于根据所确定的网络运营商，在预设的多个目标IP地址中选择与该网络运营商对应的目标IP地址，其中，目标IP地址为服务端服务器的IP地址，不同的目标IP地址分配有不同的传输链路，且多个目标IP地址对应同一域名。
其中，发送模块503，具体用于：
通过所选择的目标IP地址分配的传输链路，发送数据传输请求。
本发明实施例提供的一种数据传输装置，通过判断当前已发送的批次数据的数据总量是否达到第一预设阈值，当达到第一预设阈值时，停止获取预设的低优先级数据，从而保证高优先级数据顺利传输，又能防止服务端服务器因接收过多数据出现雪崩；通过延长数据传输请求的发送时间间隔，进一步防止服务端服务器出现雪崩；并且，通过代理端服务器能够通过所确定的路由信息，确定数据的传输链路，从而通过特定的传输链路发送数据传输请求，提升总体传输性能。
装置实施例3
如图10所示，本发明实施例提供了一种数据存储装置，与图4所示流程对应，应用于服务端服务器，包括：
接收模块601，用于接收数据传输请求，数据传输请求中携带有批次标识及批次数据；批次标识用于标示批次数据的批次，批次数据由至少一条数据经压缩后形成。
第二判断模块602，用于判断本地是否存在批次标识的已存储标记。
第二确定模块603，用于当存在批次标识的已存储标记时，确定批次数据已被存储，数据传输请求为重复传输请求；当不存在批次标识的已存储标记时，确定批次数据未被存储。
存储模块604，用于存储批次数据，并为批次标识增加已存储标记。
本发明实施例提供的一种数据存储装置，接收携带有批次标识及批次数据的数据传输请求后，通过判断本地是否存在批次标识的已存储标记，当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储。由于每批次数据均具有唯一的批次标识，因此服务端服务器能够通过批次标识确认该批次数据是否被重复传输，从而提高数据传输准确性。并且，由于服务端服务器接收的是分批次发送的数据，在接收一个批次数据后，只需确认该批次数据是否重复传输，相比于现有的逐条传输数据的方法，不需要再逐条地确认数据是否重复传输，能够显著降低服务端服务器的去重成本，还能降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
装置实施例4
本发明实施例还提供了一种数据存储装置，在图10所示结构的基础上，如图11所示，还包括：
第二处理模块，用于对所述数据传输请求进行与所述第一处理对应的第二处理；其中，所述第一处理包括压缩和/或加密处理，所述第二处理相应包括解压缩和/或解密处理。
第二处理模块605，具体用于：
对所述数据传输请求进行AK/SK解密处理，以确定所述数据传输请求中的批次数据没有恶意数据灌入。
第三判断模块607，用于判断所述代理端服务器是否属于预设白名单中的服务器；
第四确定模块608，用于当所述第三判断模块判断为所述代理端服务器属于预设白名单中的服务器时，确定所述服务器为安全服务器。
第四判断模块609，用于判断当前所接收的数据总量是否达到第二预设阈值；
所述接收模块，具体用于：
如果当前所接收的数据总量达到第二预设阈值时，停止接收预设的低优先级批次数据，并继续接收预设的高优先级批次数据。
本发明实施例提供的一种数据存储装置，接收数据传输请求后，通过对数据传输请求进行第二处理，确定数据传输请求中的批次数据没有恶意数据灌入，从而防止请求被修改，保证数据传输安全性；通过进一步判断代理端服务器是否属于预设白名单中的服务器，防止恶意数据传输请求，进一步保证数据传输安全性。
本发明实施例还提供了一种服务器，具体可以为服务器，如图12所示，该设备700包括处理器701和机器可读存储介质702，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令实现以下步骤：
获取待传输数据；
如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；
发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。
本发明实施例提供的服务器，获取待传输数据后，当达到预设发送条件时将所获取的待传输数据确定为批次数据，并为批次数据设置唯一的批次标识，进而发送数据传输请求。由于每批次数据均具有唯一的批次标识，因此能够使服务端服务器能够在接收该批次数据时通过批次标识进行识别，避免批次数据重复传输，从而提高数据传输准确性；并且，由于数据是压缩后分批次发送的，因此能够降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
本发明实施例还提供了一种服务器，具体可以为服务器，如图13所示，该设备800包括处理器801和机器可读存储介质802，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令实现以下步骤：
接收数据传输请求，数据传输请求中携带有批次标识及批次数据；批次标识用于标示批次数据的批次，批次数据由至少一条数据经压缩后形成；
判断本地是否存在批次标识的已存储标记；
当存在批次标识的已存储标记时，确定批次数据已被存储，数据传输请求为重复传输请求；
当不存在批次标识的已存储标记时，确定批次数据未被存储；
存储批次数据，并为批次标识增加已存储标记。
本发明实施例提供的一种服务器，接收携带有批次标识及批次数据的数据传输请求后，通过判断本地是否存在批次标识的已存储标记，当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储。由于每批次数据均具有唯一的批次标识，因此服务端服务器能够通过批次标识确认该批次数据是否被重复传输，从而提高数据传输准确性。并且，由于服务端服务器接收的是分批次发送的数据，在接收一个批次数据后，只需确认该批次数据是否重复传输，相比于现有的逐条传输数据的方法，不需要再逐条地确认数据是否重复传输，能够显著降低服务端服务器的去重成本，还能降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
机器可读存储介质可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，用以执行如下步骤：
获取待传输数据；
如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；
发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。
本发明实施例提供的计算机可读存储介质，获取待传输数据后，当达到预设发送条件时将所获取的待传输数据确定为批次数据，并为批次数据设置唯一的批次标识，进而发送数据传输请求。由于每批次数据均具有唯一的批次标识，因此能够使服务端服务器能够在接收该批次数据时通过批次标识进行识别，避免批次数据重复传输，从而提高数据传输准确性；并且，由于数据是压缩后分批次发送的，因此能够降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，用以执行如下步骤：
接收数据传输请求，数据传输请求中携带有批次标识及批次数据；批次标识用于标示批次数据的批次，批次数据由至少一条数据经压缩后形成；
判断本地是否存在批次标识的已存储标记；
当存在批次标识的已存储标记时，确定批次数据已被存储，数据传输请求为重复传输请求；
当不存在批次标识的已存储标记时，确定批次数据未被存储；
存储批次数据，并为批次标识增加已存储标记。
本发明实施例提供的计算机可读存储介质，接收携带有批次标识及批次数据的数据传输请求后，通过判断本地是否存在批次标识的已存储标记，当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储。由于每批次数据均具有唯一的批次标识，因此服务端服务器能够通过批次标识确认该批次数据是否被重复传输，从而提高数据传输准确性。并且，由于服务端服务器接收的是分批次发送的数据，在接收一个批次数据后，只需确认该批次数据是否重复传输，相比于现有的逐条传输数据的方法，不需要再逐条地确认数据是否重复传输，能够显著降低服务端服务器的去重成本，还能降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行以下步骤：
获取待传输数据；
如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；
发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。
本发明实施例提供的包含指令的计算机程序产品，获取待传输数据后，当达到预设发送条件时将所获取的待传输数据确定为批次数据，并为批次数据设置唯一的批次标识，进而发送数据传输请求。由于每批次数据均具有唯一的批次标识，因此能够使服务端服务器能够在接收该批次数据时通过批次标识进行识别，避免批次数据重复传输，从而提高数据传输准确性；并且，由于数据是压缩后分批次发送的，因此能够降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行以下步骤：
接收数据传输请求，数据传输请求中携带有批次标识及批次数据；批次标识用于标示批次数据的批次，批次数据由至少一条数据经压缩后形成；
判断本地是否存在批次标识的已存储标记；
当存在批次标识的已存储标记时，确定批次数据已被存储，数据传输请求为重复传输请求；
当不存在批次标识的已存储标记时，确定批次数据未被存储；
存储批次数据，并为批次标识增加已存储标记。
本发明实施例提供的包含指令的计算机程序产品，接收携带有批次标识及批次数据的数据传输请求后，通过判断本地是否存在批次标识的已存储标记，当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储。由于每批次数据均具有唯一的批次标识，因此服务端服务器能够通过批次标识确认该批次数据是否被重复传输，从而提高数据传输准确性。并且，由于服务端服务器接收的是分批次发送的数据，在接收一个批次数据后，只需确认该批次数据是否重复传输，相比于现有的逐条传输数据的方法，不需要再逐条地确认数据是否重复传输，能够显著降低服务端服务器的去重成本，还能降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
本发明实施例还提供了一种计算机程序，当其在计算机上运行时，使得计算机执行以下步骤：
获取待传输数据；
如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；
发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。
本发明实施例提供的包含指令的计算机程序，获取待传输数据后，当达到预设发送条件时将所获取的待传输数据确定为批次数据，并为批次数据设置唯一的批次标识，进而发送数据传输请求。由于每批次数据均具有唯一的批次标识，因此能够使服务端服务器能够在接收该批次数据时通过批次标识进行识别，避免批次数据重复传输，从而提高数据传输准确性；并且，由于数据是压缩后分批次发送的，因此能够降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
本发明实施例还提供了一种计算机程序，当其在计算机上运行时，使得计算机执行以下步骤：
接收数据传输请求，数据传输请求中携带有批次标识及批次数据；批次标识用于标示批次数据的批次，批次数据由至少一条数据经压缩后形成；
判断本地是否存在批次标识的已存储标记；
当存在批次标识的已存储标记时，确定批次数据已被存储，数据传输请求为重复传输请求；
当不存在批次标识的已存储标记时，确定批次数据未被存储；
存储批次数据，并为批次标识增加已存储标记。
本发明实施例提供的包含指令的计算机程序，接收携带有批次标识及批次数据的数据传输请求后，通过判断本地是否存在批次标识的已存储标记，当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储。由于每批次数据均具有唯一的批次标识，因此服务端服务器能够通过批次标识确认该批次数据是否被重复传输，从而提高数据传输准确性。并且，由于服务端服务器接收的是分批次发送的数据，在接收一个批次数据后，只需确认该批次数据是否重复传输，相比于现有的逐条传输数据的方法，不需要再逐条地确认数据是否重复传输，能够显著降低服务端服务器的去重成本，还能降低数据传输过程中的带宽占用程度，更加适合需要进行大数据量传输的数据传输情形。
本发明实施例还提供了一种大数据传输系统，如图14所示，包括各地节点，即代理端服务器，大数据接收服务器(即服务端服务器)，接收server(大数据平台)，大数据接收服务器中运行有大数据接收服务。其中，各地节点能够获取待传输数据，并将待传输数据批量发送给大数据接收服务器，大数据接收服务器在接收各地节点传输的大数据后，能够按照batch-id(批次标识)进行去重，还能进行数据的解压和解密、数据认证(例如白名单认证)、防雪崩、熔断降级、负载均衡等操作，然后将数据传输至接收server进行存储和运算。
本发明实施例的大数据传输系统，更加适合需要进行大数据量传输的数据传输情形。
对于系统/装置/设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (29)
1.一种数据传输方法，其特征在于，应用于代理端服务器，所述方法包括：
获取待传输数据；
如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；
发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。
2.根据权利要求1所述的方法，其特征在于，在所述发送数据传输请求前，所述方法还包括：
对所述数据传输请求进行第一处理；
所述发送数据传输请求包括：
发送所述第一处理后的数据传输请求；
其中，所述第一处理包括压缩处理和/或加密处理。
3.根据权利要求2所述的方法，其特征在于，所述加密处理包括AK/SK加密处理。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述发送数据传输请求之前，所述方法还包括：
基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息；
所述发送数据传输请求的步骤，包括：
通过所确定的路由信息确定数据的传输链路后，向服务端服务器发送所述数据传输请求。
5.根据权利要求4所述的方法，其特征在于，所述基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息的步骤包括：
确定所述代理端服务器的网络运营商；
根据所确定的网络运营商，在预设的多个目标IP地址中选择与该网络运营商对应的目标IP地址，其中，所述目标IP地址为所述服务端服务器的IP地址，不同的目标IP地址分配有不同的传输链路，且所述多个目标IP地址对应同一域名。
6.根据权利要求5所述的方法，其特征在于，当所选择的目标IP地址分配的传输链路出现异常时，所述方法还包括：
将当前选择的目标IP地址切换至所述预设的多个目标IP地址中的其它目标IP地址；
通过切换后的目标IP地址分配的传输链路，发送所述数据传输请求。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
判断当前已发送的数据总量是否达到第一预设阈值；
如果已发送的数据总量达到第一预设阈值，停止获取预设的低优先级的待传输数据，和/或，延长数据传输请求的发送时间间隔。
8.一种数据存储方法，其特征在于，应用于服务端服务器，所述方法包括：
接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的批次；
判断本地是否存在所述批次标识的已存储标记；
当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储；
存储所述批次数据，并为所述批次标识增加已存储标记。
9.根据权利要求8所述的方法，其特征在于，所述代理端服务器对所述数据传输请求进行了第一处理；
在接收代理端服务器的数据传输请求后，所述方法还包括：
对所述数据传输请求进行与所述第一处理对应的第二处理；
其中，所述第一处理包括压缩和/或加密处理，所述第二处理相应包括解压缩和/或解密处理。
10.根据权利要求9所述的方法，其特征在于，所述加密处理为AK/SK加密处理；
所述对所述数据传输请求进行与所述第一处理对应的第二处理包括：
对所述数据传输请求进行AK/SK解密处理，以确定所述数据传输请求中的批次数据没有恶意数据灌入。
11.根据权利要求10所述的方法，其特征在于，在所述接收代理端服务器的数据传输请求后，所述方法还包括：
判断所述代理端服务器是否属于预设白名单中的服务器；
当判断为所述代理端服务器属于预设白名单中的服务器时，确定所述服务器为安全服务器。
12.根据权利要求8或9所述的方法，其特征在于，所述方法还包括：
判断当前所接收的数据总量是否达到第二预设阈值；
如果当前所接收的数据总量达到第二预设阈值时，停止接收预设的低优先级批次数据，并继续接收预设的高优先级批次数据。
13.一种数据传输装置，其特征在于，应用于代理端服务器，所述装置包括：
获取模块，用于获取待传输数据；
批次确定模块，用于如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；
发送模块，用于发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
第一处理模块，用于对所述数据传输请求进行第一处理；
所述发送模块，具体用于：
发送所述第一处理后的数据传输请求；
其中，所述第一处理包括压缩处理和/或加密处理。
15.根据权利要求14所述的装置，其特征在于，所述加密处理包括AK/SK加密处理。
16.根据权利要求13-15任一项所述的装置，其特征在于，所述装置还包括：
第一确定模块，用于基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息；
所述发送模块，具体用于：
通过所确定的路由信息，向服务端服务器发送所述数据传输请求。
17.根据权利要求16所述的装置，其特征在于，所述第一确定模块，包括：
确定子模块，用于确定所述代理端服务器的网络运营商；
选择子模块，用于根据所确定的网络运营商，在预设的多个目标IP地址中选择与该网络运营商对应的目标IP地址，其中，所述目标IP地址为所述服务端服务器的IP地址，不同的目标IP地址分配有不同的传输链路，且所述多个目标IP地址对应同一域名。
18.根据权利要求17所述的装置，其特征在于，所述装置还包括：
切换模块，用于当所选择的目标IP地址分配的传输链路出现异常时，将当前选择的目标IP地址切换至所述预设的多个目标IP地址中的其它目标IP地址；
所述发送模块，具体用于：
通过切换后的目标IP地址分配的传输链路，发送所述数据传输请求。
19.根据权利要求13所述的装置，其特征在于，所述装置还包括：
第一判断模块，用于判断当前已发送的数据总量是否达到第一预设阈值；
停止模块，用于如果已发送的数据总量达到第一预设阈值，停止获取预设的低优先级的待传输数据，和/或，延长数据传输请求的发送时间间隔。
20.一种数据存储装置，其特征在于，应用于服务端服务器，所述装置包括：
接收模块，用于接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的批次；
第二判断模块，用于判断本地是否存在所述批次标识的已存储标记；
第二确定模块，用于当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储；
存储模块，用于存储所述批次数据，并为所述批次标识增加已存储标记。
21.根据权利要求20所述的装置，其特征在于，所述代理端服务器对所述数据传输请求进行了第一处理；
所述装置还包括：
第二处理模块，用于对所述数据传输请求进行与所述第一处理对应的第二处理；其中，所述第一处理包括压缩和/或加密处理，所述第二处理相应包括解压缩和/或解密处理。
22.根据权利要求21所述的装置，其特征在于，所述加密处理为AK/SK加密处理；
所述第二处理模块，具体用于：
对所述数据传输请求进行AK/SK解密处理，以确定所述数据传输请求中的批次数据没有恶意数据灌入。
23.根据权利要求22所述的装置，其特征在于，所述装置还包括：
第三判断模块，用于判断所述代理端服务器是否属于预设白名单中的服务器；
第四确定模块，用于当所述第三判断模块判断为所述代理端服务器属于预设白名单中的服务器时，确定所述服务器为安全服务器。
24.根据权利要求20或21所述的装置，其特征在于，所述装置还包括：
第四判断模块，用于判断当前所接收的数据总量是否达到第二预设阈值；
所述接收模块，具体用于：
如果当前所接收的数据总量达到第二预设阈值时，停止接收预设的低优先级批次数据，并继续接收预设的高优先级批次数据。
25.一种数据传输系统，其特征在于，包括：多个分布式部署的代理端服务器，以及服务端服务器，各个所述代理端服务器通过所述服务端服务器进行配置及管理；
所述代理端服务器用于：获取待传输数据；如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔；
所述服务端服务器用于：接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的批次；判断本地是否存在所述批次标识的已存储标记；当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储；存储所述批次数据，并为所述批次标识增加已存储标记。
26.一种服务器，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-7任一项所述的方法步骤。
27.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
28.一种服务器，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求8-12任一项所述的方法步骤。
29.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求8-12任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811574403.1A CN109639811B (zh) | 2018-12-21 | 2018-12-21 | 数据传输方法、数据存储方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811574403.1A CN109639811B (zh) | 2018-12-21 | 2018-12-21 | 数据传输方法、数据存储方法、装置、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109639811A true CN109639811A (zh) | 2019-04-16 |
| CN109639811B CN109639811B (zh) | 2022-01-25 |
Family
ID=66076508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811574403.1A Active CN109639811B (zh) | 2018-12-21 | 2018-12-21 | 数据传输方法、数据存储方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109639811B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110650155A (zh) * | 2019-10-16 | 2020-01-03 | 杭州安恒信息技术股份有限公司 | 网络安全态势感知平台中安全隐患信息的快速传递方法 |
| CN111010399A (zh) * | 2019-12-20 | 2020-04-14 | 北京天融信网络安全技术有限公司 | 一种数据传输方法、装置、电子设备及存储介质 |
| CN111031067A (zh) * | 2019-12-24 | 2020-04-17 | 上海中信信息发展股份有限公司 | 分布式系统的监控数据传输方法、装置及电子设备 |
| CN111062721A (zh) * | 2019-12-31 | 2020-04-24 | 南京金宁汇科技有限公司 | 一种应用于区块链的签名方法、系统及存储介质 |
| CN111294331A (zh) * | 2020-01-08 | 2020-06-16 | 北京奇艺世纪科技有限公司 | 一种数据交互方法及装置 |
| CN111327687A (zh) * | 2020-01-21 | 2020-06-23 | 香港乐蜜有限公司 | 一种数据传输方法、装置、电子设备及存储介质 |
| CN111611229A (zh) * | 2020-06-11 | 2020-09-01 | 上海乾臻信息科技有限公司 | 数据储存方法及用于数据储存的装置 |
| CN112948386A (zh) * | 2021-03-04 | 2021-06-11 | 电信科学技术第五研究所有限公司 | 一种针对etl异常数据的简易索引及加密落盘机制 |
| CN112988881A (zh) * | 2019-12-13 | 2021-06-18 | Oppo广东移动通信有限公司 | 一种数据同步方法、装置及计算机可读存储介质 |
| CN114172609A (zh) * | 2021-12-06 | 2022-03-11 | 深圳益邦阳光有限公司 | 一种数据传输方法、装置、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1568609A (zh) * | 2002-04-19 | 2005-01-19 | 松下电器产业株式会社 | 数据接收装置和数据发布系统 |
| CN102625156A (zh) * | 2011-01-27 | 2012-08-01 | 天脉聚源(北京)传媒科技有限公司 | 一种信息同步的方法和系统 |
| CN102916833A (zh) * | 2012-09-20 | 2013-02-06 | 瑞斯康达科技发展股份有限公司 | 远程调试方法、系统及调试目标设备 |
| CN104331660A (zh) * | 2014-10-31 | 2015-02-04 | 北京奇虎科技有限公司 | 一种系统文件修复的方法、装置及系统 |
| CN104468594A (zh) * | 2014-12-15 | 2015-03-25 | 北京奇虎科技有限公司 | 一种数据请求的方法、装置及系统 |
| CN104598303A (zh) * | 2013-10-31 | 2015-05-06 | 中国电信股份有限公司 | 基于kvm的虚拟机间在线迁移方法与装置 |
| CN105653652A (zh) * | 2015-12-28 | 2016-06-08 | 上海瀚银信息技术有限公司 | 一种数据同步方法及系统 |
| CN106230561A (zh) * | 2016-07-22 | 2016-12-14 | 努比亚技术有限公司 | 数据收集方法、装置及系统 |
-
2018
- 2018-12-21 CN CN201811574403.1A patent/CN109639811B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1568609A (zh) * | 2002-04-19 | 2005-01-19 | 松下电器产业株式会社 | 数据接收装置和数据发布系统 |
| CN102625156A (zh) * | 2011-01-27 | 2012-08-01 | 天脉聚源(北京)传媒科技有限公司 | 一种信息同步的方法和系统 |
| CN102916833A (zh) * | 2012-09-20 | 2013-02-06 | 瑞斯康达科技发展股份有限公司 | 远程调试方法、系统及调试目标设备 |
| CN104598303A (zh) * | 2013-10-31 | 2015-05-06 | 中国电信股份有限公司 | 基于kvm的虚拟机间在线迁移方法与装置 |
| CN104331660A (zh) * | 2014-10-31 | 2015-02-04 | 北京奇虎科技有限公司 | 一种系统文件修复的方法、装置及系统 |
| CN104468594A (zh) * | 2014-12-15 | 2015-03-25 | 北京奇虎科技有限公司 | 一种数据请求的方法、装置及系统 |
| CN105653652A (zh) * | 2015-12-28 | 2016-06-08 | 上海瀚银信息技术有限公司 | 一种数据同步方法及系统 |
| CN106230561A (zh) * | 2016-07-22 | 2016-12-14 | 努比亚技术有限公司 | 数据收集方法、装置及系统 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110650155A (zh) * | 2019-10-16 | 2020-01-03 | 杭州安恒信息技术股份有限公司 | 网络安全态势感知平台中安全隐患信息的快速传递方法 |
| CN112988881A (zh) * | 2019-12-13 | 2021-06-18 | Oppo广东移动通信有限公司 | 一种数据同步方法、装置及计算机可读存储介质 |
| CN111010399A (zh) * | 2019-12-20 | 2020-04-14 | 北京天融信网络安全技术有限公司 | 一种数据传输方法、装置、电子设备及存储介质 |
| CN111031067A (zh) * | 2019-12-24 | 2020-04-17 | 上海中信信息发展股份有限公司 | 分布式系统的监控数据传输方法、装置及电子设备 |
| CN111062721A (zh) * | 2019-12-31 | 2020-04-24 | 南京金宁汇科技有限公司 | 一种应用于区块链的签名方法、系统及存储介质 |
| CN111062721B (zh) * | 2019-12-31 | 2023-12-12 | 南京金宁汇科技有限公司 | 一种应用于区块链的签名方法、系统及存储介质 |
| CN111294331A (zh) * | 2020-01-08 | 2020-06-16 | 北京奇艺世纪科技有限公司 | 一种数据交互方法及装置 |
| CN111327687A (zh) * | 2020-01-21 | 2020-06-23 | 香港乐蜜有限公司 | 一种数据传输方法、装置、电子设备及存储介质 |
| CN111611229A (zh) * | 2020-06-11 | 2020-09-01 | 上海乾臻信息科技有限公司 | 数据储存方法及用于数据储存的装置 |
| CN111611229B (zh) * | 2020-06-11 | 2023-05-26 | 上海乾臻信息科技有限公司 | 数据储存方法及用于数据储存的装置 |
| CN112948386B (zh) * | 2021-03-04 | 2023-09-22 | 电信科学技术第五研究所有限公司 | 一种针对etl异常数据的简易索引及加密落盘机制 |
| CN112948386A (zh) * | 2021-03-04 | 2021-06-11 | 电信科学技术第五研究所有限公司 | 一种针对etl异常数据的简易索引及加密落盘机制 |
| CN114172609A (zh) * | 2021-12-06 | 2022-03-11 | 深圳益邦阳光有限公司 | 一种数据传输方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109639811B (zh) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109639811A (zh) | 数据传输方法、数据存储方法、装置、服务器及存储介质 | |
| KR101420548B1 (ko) | 오버레이 네트워크에서 통신 피어들의 선택을 지원하는 방법 및 시스템 | |
| US6282562B1 (en) | Method for economically sub-optimizing interactions in data-communications network environments, and a device according to the method | |
| CN103781055A (zh) | 一种数据下载方法及相关设备 | |
| CN105071989A (zh) | 视频内容分发质量监控系统及其监控方法 | |
| CN101843134A (zh) | 用于网络业务量监视的方法和监视组件 | |
| US20180124168A1 (en) | Load balancing server for forwarding prioritized traffic from and to one or more prioritized auto-configuration servers | |
| CN107426007A (zh) | 用于跟踪网络交换机中的网络装置信息的方法及系统 | |
| US20150127837A1 (en) | Relay apparatus and data transfer method | |
| CN109819068A (zh) | 用户终端及其区块链域名解析方法 | |
| CN103220228A (zh) | 一种bgp路由的发送方法和设备 | |
| JP2015023533A (ja) | 通信システム | |
| US10211995B2 (en) | Background traffic downloading method, device, and system | |
| CN101355585B (zh) | 一种分布式架构数据通信设备的消息保护系统及方法 | |
| KR20110067871A (ko) | Ｉｐ 망에서 ｏａｍ 패킷을 이용한 트래픽 감시 및 제어를 위한 네트워크 액세스 장치 및 방법 | |
| CN102316086B (zh) | 业务数据的中继方法及中继节点系统 | |
| KR102442169B1 (ko) | 엣지 클라우드 시스템에서 이종 사업자 간 로그 검증을 위한 방법 및 장치 | |
| CN109495477A (zh) | 一种认证方法、设备及系统 | |
| EP3412047B1 (en) | Method and network entity for control of charging for value added service (vas) | |
| CN114584558B (zh) | 云边协同分布式api网关系统及api调用方法 | |
| JP2017135545A (ja) | ネットワーク管理システム、ネットワーク管理方法、及びプログラム | |
| CN109639831A (zh) | 与网络服务匹配的传输资源的分配方法及装置 | |
| JP5894981B2 (ja) | 複数基準の選択を有するトポロジサーバを用いて通信アーキテクチャにわたって分散されたノードのネットワークへのアクセス | |
| US20180123913A1 (en) | Method and network entity for control of value added service (vas) | |
| KR100901703B1 (ko) | 개방형 비동기 응용 서비스 이벤트 처리 방법 및 이를구현한 개방형 웹서비스 게이트웨이 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |