CN110519217A - 跨集群数据传输方法、装置、计算机设备及存储介质 - Google Patents
跨集群数据传输方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110519217A CN110519217A CN201910606142.5A CN201910606142A CN110519217A CN 110519217 A CN110519217 A CN 110519217A CN 201910606142 A CN201910606142 A CN 201910606142A CN 110519217 A CN110519217 A CN 110519217A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- sent
- requesting instructions
- company
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/29—Flow control; Congestion control using a combination of thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0263—Rule management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
- H04L67/1046—Joining mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
- H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
- H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
Abstract
本发明公开了跨集群数据传输方法、电子装置、计算机设备及存储介质，方法包括：接收第一集群发送的数据请求指令，其中，所述数据请求指令中包含数据所在的第二集群信息；验证所述数据请求指令的合法性；在所述数据请求指令为合法的情况下，开通所述第一集群与所述第二集群之间的防火墙；基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群。应用本发明实施例提供的跨集群数据传输方法、电子装置、设备及存储介质，能够实时进行两个集群之间的数据传输且保证两个集群之间数据传输的安全性。
Description
技术领域
本发明涉及跨集群之间的数据传输技术领域，尤其涉及一种跨集群数据传输方法、电子装置、计算机设备及存储介质。
背景技术
集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器，集群配置是用于提高可用性和可缩放性。可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。
在集群的数据传输过程中，首先是要进行安全性保证，现有技术中通过防火墙进行隔离，隔离集群之间的物理通讯链路，非法的数据获取者可以通过伪装或者暴力破解官方安全性组件的验证机制从而突破对其身份的验证进而获取到数据，或者第三方将截获的数据进行非法篡改后再将数据发送给消息获取者而导致不安全的数据传输。
因此，现有技术中，提供一种安全的集群之间数据传输方法是亟待解决的技术问题。
发明内容
有鉴于此，本发明提出一种跨集群数据传输方法、电子装置、计算机设备及存储介质，旨在能够实时进行两个集群之间的数据传输且保证两个集群之间数据传输的安全性。
首先，为实现上述目的，本发明提出一种跨集群数据传输方法，所述方法包括步骤：
接收第一集群发送的数据请求指令，其中，所述数据请求指令中包含数据所在的第二集群信息；
验证所述数据请求指令的合法性；
在所述数据请求指令为合法的情况下，开通所述第一集群与所述第二集群之间的通讯链路；
基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群。
进一步地，在所述基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群的步骤之前，所述方法还包括：
根据过滤规则，对所述第二集群发送的数据执行过滤处理，以识别需要处理的数据。
进一步地，所述基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群的步骤，包括：
基于当前数据流量，判断是否对所述数据从所述第二集群发送至所述第一集群进行限流；
如果是，根据数据优先级别，将所述数据发送至传输队列中；
根据所述传输队列中的数据发送顺序，将所述数据从所述第二集群发送至所述第一集群。
进一步地，在所述基于当前数据流量，判断是否对所述数据从所述第二集群发送至所述第一集群进行限流的步骤之前，所述方法还包括：
判断所述数据发送的速率是否小于预设速率阈值；
如果是；暂停发送所述数据，并判断在所述第二集群中是否存在服务器断开；
如果断开，采用轮询的方式直至判断数据发送的速率不小于所述速率阈值，恢复所述数据发送。
进一步地，所述方法还包括：
在所述数据请求指令为合法的情况下，随机产生会话秘钥，使用数字证书中提取的公钥加密后，发送到所述第一集群。
进一步地，所述方法还包括：
在所述数据请求指令为不合法的情况下，确定所述身份合法性校验失败，并发送身份验证失败提示信息至所述第一集群。
进一步地，所述验证所述数据请求指令的合法性的步骤，包括：
所述第一集群随机产生一份消息原文，并计算消息原文的第一哈希值，并加密所述第一哈希值；
获取所述消息原文、所述第一哈希值和所述第一集群的身份的数字证书发送对所述第一哈希值进行解密并得到解密后的第二哈希值，以及根据所述第二哈希值计算消息原文的第三哈希值；
在所述第一哈希值和所述第三哈希值一致的情况下，表示验证所述数据请求指令的合法。
此外，为实现上述目的，本发明还提供一种电子装置，所述电子装置包括：
接收模块，用于接收第一集群发送的数据请求指令，其中，所述数据请求指令中包含数据所在的第二集群；
验证模块，用于验证所述数据请求指令的合法性；
开通模块，用于在所述数据请求指令为合法的情况下，开通所述第一集群与所述第二集群之间的通讯链路；
发送模块，用于基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群。
进一步地，所述发送模块，具体用于：根据过滤规则，对所述第二集群发送的数据执行过滤处理，以识别需要处理的数据。
进一步地，所述发送模块，包括：
第一判断子模块，用于基于当前数据流量，判断是否对所述数据从所述第二集群发送至所述第一集群进行限流；
第一发送子模块，用于在所述第一判断子模块判断结果为是的情况下，根据数据优先级别，将所述数据发送至传输队列中；
第二发送子模块，用于根据所述传输队列中的数据发送顺序，将所述数据从所述第二集群发送至所述第一集群。
进一步地，所述发送模块还包括：
第二判断模块，用于判断所述数据发送的速率是否小于预设速率阈值；
第三判断模块，用于在所述第二判断模块的判断结果为是的情况下，暂停发送所述数据，并判断在所述第二集群中是否存在服务器断开；
恢复模块，用于在所述第三判断模块的判断结果为是的情况下，采用轮询的方式直至判断数据发送的速率不小于所述速率阈值，恢复所述数据发送。
进一步地，所述电子装置还包括：
加密模块，用于在所述数据请求指令为合法的情况下，随机产生会话秘钥，使用数字证书中提取的公钥加密后，发送到所述第一集群。
进一步地，所述电子装置还包括：
提示模块，用于在所述数据请求指令为不合法的情况下，确定所述身份合法性校验失败，并发送身份验证失败提示信息至所述第一集群。
进一步地，所述验证模块包括：
计算子模块，用于所述第一集群随机产生一份消息原文，并计算消息原文的第一哈希值，并加密所述第一哈希值；
获取子模块，用于获取所述消息原文、所述第一哈希值和所述第一集群的身份的数字证书发送对所述第一哈希值进行解密并得到解密后的第二哈希值，以及根据所述第二哈希值计算消息原文的第三哈希值；
验证子模块，用于在所述第一哈希值和所述第三哈希值一致的情况下，表示验证所述数据请求指令的合法。
此外，为实现上述目的，本发明还提供一种存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行任一项所述的跨集群数据传输的步骤。
相较于现有技术，本发明所提出的跨集群数据传输方法、电子装置、计算机设备及存储介质，通过接收第一集群发送的数据请求指令，其中，所述数据请求指令中包含数据所在的第二集群信息；然后验证第一集群的所述数据请求指令的合法性；然后在所述数据请求指令为合法的情况下，开通所述第一集群与所述第二集群之间的通讯链路；使得第一集群和第二集群之间可以进行数据传输，再基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群。通过控制通讯链路的开启，对集群进行身份认证统一防护，还可通过限流等措施保证集群的稳定性，防止数据泄露。
附图说明
图1是本发明第一实施例之跨集群数据传输方法的流程示意图；
图2是本发明第二实施例之跨集群数据传输方法的流程示意图；
图3是本发明第三实施例之跨集群数据传输方法的流程示意图；
图4是本发明实施例之电子装置一可选的应用环境图；
图5是本发明第一实施例之电子装置的硬件架构示意图；
图6是本发明第一实施例之电子装置的程序模块示意图；
图7是本发明第二实施例之电子装置的程序模块示意图；
图8是本发明第三实施例之电子装置的程序模块示意图；
图9是本发明第四实施例之电子装置的程序模块示意图。
附图标记：
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
为解决现有技术问题，如图1所示，本发明实施例提供了一种跨集群数据传输方法，包括步骤如下：
S101，接收第一集群发送的数据请求指令，其中，所述数据请求指令中包含数据所在的第二集群信息。
需要说明的是，数据的发送过程，包括数据的请求方和数据发送方，数据请求方发送数据请求至数据发送方，以便数据发送方进行识别是否需要对该数据请求方进行发送数据。本发明实施例中增加确定数据请求方是否为合法的数据请求方法的安全性判断过程。
本发明实施例中，第一集群发送数据请求指令至第二集群，数据请求指令至少包括：需要请求发送的数据、数据请求方，本发明实施例中，数据请求方为第一集群，请求数据的所在方为第二集群。
S102，验证所述数据请求指令的合法性。
本发明的具体实现方式中，可以通过加密算法进行数据请求指令合法性的验证。
一种实现方式中，每个集群都分配有不同的加密算法，在进行数据请求发送的时候，针对不同的数据发送方集群都会有一个加密算法。
数据请求方将自身所支持的加密算法，例如对称算法列表和非对称算法列表通过数据请求指令进行发送，具体的，对称算法包括：DES、3DES和AES；非对称算法包括RSA和DSA。接收到数据请求指令中对应的加密算法以后，选择一种对称算法与非对称算法返回给第二集群者用以确定二者之间的加解密算法；如果确定第一集群身份的合法，通过产生会话秘钥，使用数字证书中提取的公钥加密后，发送到第二集群进行身份合法性校验，身份合法性校验通过后进行身份验证结果提示。
具体过程包括：第一集群随机产生一份消息原文，并计算消息原文的第一哈希值，并加密第一哈希值；获取消息原文、第一哈希值和第一集群的身份的数字证书发送对第一哈希值进行解密并得到解密后的第二哈希值，以及根据第二哈希值计算消息原文的第三哈希值；在第一哈希值和第三哈希值一致的情况下，表示验证数据请求指令的合法。
S103，在所述数据请求指令为合法的情况下，开通所述第一集群与所述第二集群之间的通讯链路。
本领域技术人员可以理解的是，在第一集群与第二集群之间设有防火墙，防火墙用于隔离第一集群到第二集群之间的通讯链路。
需要说明的是，防火墙(Firewall)，也称防护墙，于内部网和外部网之间的屏障，按照系统管理员预先定义好的规则来控制数据包的进出。防火墙是系统的第一道防线，其作用是防止非法用户的进入。
具体的，防火墙是由软件和硬件设备组合而成、在内部网和外部网之间、专用网与公共网之间的边界上构造的保护屏障。使Internet与Intranet之间建立起一个安全网关，从而保护内部网免受非法用户的侵入，防火墙主要由服务访问规则、验证工具、包过滤和应用网关4个部分组成，流入和流出的数据包需要通过通讯链路进行传输，因此均需要开启此防火墙。
通过在步骤S103中，确定了第一集群的身份合法的情况下，开通第一集群与第二集群之间的通讯链路，从而连通第一集群到第二集群之间的通讯链路，从而实现数据的传输。
那么在所述数据请求指令为不合法的情况下，确定所述身份合法性校验失败，并发送身份验证失败提示信息至所述第一集群。
S104，基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群。
可以理解的是，数据请求包含了具体请求的数据，然后第二集群通过数据请求查询到数据请求指令所请求的数据位置，然后第二集群将对应的数据发送至第一集群，实现集群之间的数据传输。
相较于现有技术，本发明所提出的跨集群数据传输方法通过接收第一集群发送的数据请求指令，其中，所述数据请求指令中包含数据所在的第二集群；然后验证第一集群的所述数据请求指令的合法性；然后在所述数据请求指令为合法的情况下，开通所述第一集群与所述第二集群之间的通讯链路；使得第一集群和第二集群之间可以进行数据传输，再基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群。通过控制通讯链路的开启，对集群进行身份认证统一防护，还可通过限流等措施保证集群的稳定性，防止数据泄露。
为了进一步提高数据传输的安全性，数据发送方的第二集群之前，本发明实施例还包括根据过滤规则，对所述第二集群发送的数据执行过滤处理，以识别需要处理的数据。
本发明实施例中，具体的过滤规则可以进行预先设置，例如过滤规则当中包括木马拦截、病毒检测、病毒拦截等等，以避免在第二集群的数据受到安全威胁的情况下，将有害数据发送至第一集群进行传播。
为了进一步提高数据传输的效率，针对步骤S104的数据发送过程，本发明提供了如图2所示的具体实现方式，包括步骤如下：
S201，基于当前数据流量，判断是否对所述数据从所述第二集群发送至所述第一集群进行限流；如果是，执行步骤S202。
可以理解的是，数据传输的速度受当前环境的影响，包括当前的带宽、传输介质等因素，因此，在一定的环境因素限制下会形成当前数据的发送流程。具体的，本发明实施例中，可以测得当前的数据流量，已通过当前整体的数据发送流量判断是否允许第二集群与第一集群之间顺利的进行数据发送。
假设，如果当前数据流量低于20M，则表示当前数据传输过慢，如果在进行第二集群和第一集群之间的发送，则可能会造成数据发送的丢失和失败，所以可以暂停数据的发送。如果当前数据流量40-60M，那么表示当前正在进行数据传输，为了避免当前的数据传输不受影响，以及第二集群和第一集群之间的数据传输不受影响，那么对第二集群和第一集群之间的数据传输也进行限流，保证其他路数据传输不受影响的同时，也能保证第二集群和第一集群之间进行数据传输，因此，能够形成多个集群之间良性的数据传输保证。
S202，根据数据优先级别，将所述数据发送至传输队列中。
本发明的一种实现方式中，在限流的同时，为了保证重要的数据进行优先传输，所以讲数据通过传输队列进行传输，优先级别高的进行优先传输，因此，在限流的同时又不会影响级别高的数据的传输。
本发明的另一种实现方式中，还可以提高优先级别高数据的传输速度，根据数据的优先级设置不同的传输速度。
S203，根据所述传输队列中的数据发送顺序，将所述数据从所述第二集群发送至所述第一集群。
然后按照顺序从传输队列中按照先入先出的规则进行数据的发送，直至与请求指令所对应的所有数据全部从第二集群发送至第一集群。
如图3所示所示的实施例，为了进一步避免当前数据传输速率过慢导致数据传输收到影响，所以在图2所示实施例的基础上，所述方法还包括：
S301，判断所述数据发送的速率是否小于预设速率阈值；如果是，执行步骤S302。
本发明实施例中，设定一个预设的速度阈值，并判断当前数据进行发送的速度是否低于这个预设速度阈值，可以理解的是，如果低于这个速率阈值，则表示数据发送缓慢或者不成功。
S302，暂停发送所述数据，并判断在所述第二集群中是否存在服务器断开；如果是，执行步骤S303。
S303，采用轮询的方式直至判断数据发送的速率不小于所述速率阈值，恢复所述数据发送。
在短暂的进行数据延迟时，会不停的探测当前网络的情况，并按照一定的周期判断数据发送的速率是否小于预设速率阈值。
参阅图4和图5所示，是本发明电子装置40一可选的应用环境示意图。
本实施例中，所述电子装置40连接在第一集群20和第二集群30之间，并将数据信息从第二集群通过网络接口43发送至第一集群，从而实现跨集群数据传输。
参阅图4所示，是本发明电子装置40一可选的硬件架构示意图。电子装置40包括，但不仅限于，可通过系统总线相互通信连接存储器41、处理器42以及网络接口43，图4仅示出了具有组件41-43的电子装置40，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述电子装置40的内部存储单元，例如该电子装置40的硬盘或内存。在另一些实施例中，所述存储器也可以是所述电子装置40的外部存储设备，例如该电子装置40上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述电子装置20的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述电子装置40的操作系统和各类应用软件，例如跨集群数据传输系统44的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述电子装置40的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行所述跨集群数据传输系统44等。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述电子装置40与其他电子设备之间建立通信连接。
至此，己经详细介绍了本发明相关设备的硬件结构和功能。下面，将基于上述介绍提出本发明的各个实施例。
首先，本发明提出一种电子装置40。
参阅图4所示，是本发明第一实施例之电子装置40的程序模块示意图。
本实施例中，所述电子装置40包括一系列的存储于存储器41上的计算机程序指令，当该计算机程序指令被处理器42执行时，可以实现本发明各实施例的跨集群数据传输操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，电子装置40可以被划分为一个或多个模块。例如，在图6中，所述电子装置40可以被分割成接收模块401、验证模块402、开通模块403、发送模块404。其中：
接收模块401，用于接收第一集群发送的数据请求指令，其中，所述数据请求指令中包含数据所在的第二集群信息；
验证模块402，用于验证所述数据请求指令的合法性；
开通模块403，用于在所述数据请求指令为合法的情况下，开通所述第一集群与所述第二集群之间的通讯链路；
发送模块404，用于基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群。
进一步地，所述发送模块404，具体用于：根据过滤规则，对所述第二集群发送的数据执行过滤处理，以识别需要处理的数据。
如图7所示，进一步地，所述发送模块404，包括：
第一判断子模块701，用于基于当前数据流量，判断是否对所述数据从所述第二集群发送至所述第一集群进行限流；
第一发送子模块702，用于在所述第一判断子模块701判断结果为是的情况下，根据数据优先级别，将所述数据发送至传输队列中；
第二发送子模块703，用于根据所述传输队列中的数据发送顺序，将所述数据从所述第二集群发送至所述第一集群。
进一步地，如图8所示，所述发送模块404还包括：
第二判断模块801，用于判断所述数据发送的速率是否小于预设速率阈值；
第三判断模块802，用于在所述第二判断模块801的判断结果为是的情况下，暂停发送所述数据，并判断在所述第二集群中是否存在服务器断开；
恢复模块803，用于在所述第三判断模块802的判断结果为是的情况下，采用轮询的方式直至判断数据发送的速率不小于所述速率阈值，恢复所述数据发送。
进一步地，所述电子装置40还包括：
加密模块，用于在所述数据请求指令为合法的情况下，随机产生会话秘钥，使用数字证书中提取的公钥加密后，发送到所述第一集群。
进一步地，所述电子装置40还包括：
提示模块，用于在所述数据请求指令为不合法的情况下，确定所述身份合法性校验失败，并发送身份验证失败提示信息至所述第一集群。
进一步地，如图9所示，所述验证模块402包括：
计算子模块901，用于所述第一集群随机产生一份消息原文，并计算消息原文的第一哈希值，并加密所述第一哈希值；
获取子模块902，用于获取所述消息原文、所述第一哈希值和所述第一集群的身份的数字证书发送对所述第一哈希值进行解密并得到解密后的第二哈希值，以及根据所述第二哈希值计算消息原文的第三哈希值；
验证子模块903，用于在所述第一哈希值和所述第三哈希值一致的情况下，表示验证所述数据请求指令的合法。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储电子装置20，被处理器执行时实现本发明的跨集群数据传输方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种跨集群数据传输方法，其特征在于，所述方法包括步骤：
接收第一集群发送的数据请求指令，其中，所述数据请求指令中包含数据所在的第二集群信息；
验证所述数据请求指令的合法性；
在所述数据请求指令为合法的情况下，开通所述第一集群与所述第二集群之间的通讯链路；
基于所述数据请求指令，将所述数据从所述第二集群通过所述通讯链路发送至所述第一集群。
2.根据权利要求1所述的跨集群数据传输方法，其特征在于，在所述基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群的步骤之前，所述方法还包括：
根据过滤规则，对所述第二集群发送的数据执行过滤处理，以识别需要处理的数据。
3.根据权利要求1所述的跨集群数据传输方法，其特征在于，所述基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群的步骤，包括：
基于当前数据流量，判断是否对所述数据从所述第二集群发送至所述第一集群进行限流；
如果是，根据数据优先级别，将所述数据发送至传输队列中；
根据所述传输队列中的数据发送顺序，将所述数据从所述第二集群发送至所述第一集群。
4.根据权利要求3所述的跨集群数据传输方法，其特征在于，在所述基于当前数据流量，判断是否对所述数据从所述第二集群发送至所述第一集群进行限流的步骤之前，所述方法还包括：
判断所述数据发送的速率是否小于预设速率阈值；
如果是，暂停发送所述数据，并判断在所述第二集群中是否存在服务器断开；
如果断开，采用轮询的方式直至判断数据发送的速率不小于所述速率阈值，恢复所述数据发送。
5.根据权利要求1所述的跨集群数据传输方法，其特征在于，所述方法还包括：
在所述数据请求指令为合法的情况下，随机产生会话秘钥，使用数字证书中提取的公钥加密后，发送到所述第一集群。
6.根据权利要求1所述的跨集群数据传输方法，其特征在于，所述方法还包括：
在所述数据请求指令为不合法的情况下，确定所述身份合法性校验失败，并发送身份验证失败提示信息至所述第一集群。
7.根据权利要求1所述的跨集群数据传输方法，其特征在于，所述验证所述数据请求指令的合法性的步骤，包括：
所述第一集群随机产生一份消息原文，并计算消息原文的第一哈希值，并加密所述第一哈希值；
获取所述消息原文、所述第一哈希值和所述第一集群的身份的数字证书发送对所述第一哈希值进行解密并得到解密后的第二哈希值，以及根据所述第二哈希值计算消息原文的第三哈希值；
在所述第一哈希值和所述第三哈希值一致的情况下，表示验证所述数据请求指令的合法。
8.一种电子装置，其特征在于，所述电子装置包括：
接收模块，用于接收第一集群发送的数据请求指令，其中，所述数据请求指令中包含数据所在的第二集群；
验证模块，用于验证所述数据请求指令的合法性；
开通模块，用于在所述数据请求指令为合法的情况下，开通所述第一集群与所述第二集群之间的通讯链路；
发送模块，用于基于所述数据请求指令，将所述数据从所述第二集群发送至所述第一集群。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述跨集群数据传输的步骤。
10.一种存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1-7中任一项所述的跨集群数据传输的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910606142.5A CN110519217A (zh) | 2019-07-05 | 2019-07-05 | 跨集群数据传输方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910606142.5A CN110519217A (zh) | 2019-07-05 | 2019-07-05 | 跨集群数据传输方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110519217A true CN110519217A (zh) | 2019-11-29 |
Family
ID=68622615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910606142.5A Pending CN110519217A (zh) | 2019-07-05 | 2019-07-05 | 跨集群数据传输方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110519217A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111147496A (zh) * | 2019-12-27 | 2020-05-12 | 北京奇艺世纪科技有限公司 | 数据处理方法及装置 |
| CN111314230A (zh) * | 2020-01-16 | 2020-06-19 | 深圳壹账通智能科技有限公司 | 数据上报和接收方法、电子装置、计算机设备及存储介质 |
| CN114723045A (zh) * | 2022-04-06 | 2022-07-08 | 北京百度网讯科技有限公司 | 模型训练方法、装置、系统、设备、介质及程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104065540A (zh) * | 2014-07-11 | 2014-09-24 | 网之易信息技术（北京）有限公司 | 一种数据监控系统和方法 |
| CN105306300A (zh) * | 2015-11-03 | 2016-02-03 | 北京京东尚科信息技术有限公司 | 网络集群实时监控方法和系统 |
| CN107888543A (zh) * | 2016-09-30 | 2018-04-06 | 江苏神州信源系统工程有限公司 | 基于分布式集群环境下保护集群数据安全的方法和系统 |
| CN109218451A (zh) * | 2018-11-14 | 2019-01-15 | 郑州云海信息技术有限公司 | 一种分布式集群系统的数据传输方法、装置、设备及介质 |
| CN109871708A (zh) * | 2018-12-15 | 2019-06-11 | 平安科技（深圳）有限公司 | 数据传输方法、装置、电子设备及存储介质 |
| CN109885399A (zh) * | 2019-01-17 | 2019-06-14 | 平安普惠企业管理有限公司 | 数据处理方法、电子装置、计算机设备及存储介质 |
-
2019
- 2019-07-05 CN CN201910606142.5A patent/CN110519217A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104065540A (zh) * | 2014-07-11 | 2014-09-24 | 网之易信息技术（北京）有限公司 | 一种数据监控系统和方法 |
| CN105306300A (zh) * | 2015-11-03 | 2016-02-03 | 北京京东尚科信息技术有限公司 | 网络集群实时监控方法和系统 |
| CN107888543A (zh) * | 2016-09-30 | 2018-04-06 | 江苏神州信源系统工程有限公司 | 基于分布式集群环境下保护集群数据安全的方法和系统 |
| CN109218451A (zh) * | 2018-11-14 | 2019-01-15 | 郑州云海信息技术有限公司 | 一种分布式集群系统的数据传输方法、装置、设备及介质 |
| CN109871708A (zh) * | 2018-12-15 | 2019-06-11 | 平安科技（深圳）有限公司 | 数据传输方法、装置、电子设备及存储介质 |
| CN109885399A (zh) * | 2019-01-17 | 2019-06-14 | 平安普惠企业管理有限公司 | 数据处理方法、电子装置、计算机设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111147496A (zh) * | 2019-12-27 | 2020-05-12 | 北京奇艺世纪科技有限公司 | 数据处理方法及装置 |
| CN111147496B (zh) * | 2019-12-27 | 2022-04-08 | 北京奇艺世纪科技有限公司 | 数据处理方法及装置 |
| CN111314230A (zh) * | 2020-01-16 | 2020-06-19 | 深圳壹账通智能科技有限公司 | 数据上报和接收方法、电子装置、计算机设备及存储介质 |
| CN114723045A (zh) * | 2022-04-06 | 2022-07-08 | 北京百度网讯科技有限公司 | 模型训练方法、装置、系统、设备、介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209334B (zh) | 基于区块链的电力终端数据安全管理方法 | |
| CN105450406B (zh) | 数据处理的方法和装置 | |
| CN106453361B (zh) | 一种网络信息的安全保护方法及系统 | |
| US20170063557A1 (en) | Detection of fraudulent certificate authority certificates | |
| CN110011958B (zh) | 信息加密方法、装置、计算机设备及存储介质 | |
| CN104753674B (zh) | 一种应用身份的验证方法和设备 | |
| CN104199657B (zh) | 开放平台的调用方法及装置 | |
| CN110519217A (zh) | 跨集群数据传输方法、装置、计算机设备及存储介质 | |
| CN108111497A (zh) | 摄像机与服务器相互认证方法和装置 | |
| US20170026184A1 (en) | Detection of fraudulent digital certificates | |
| CN109831311A (zh) | 一种服务器验证方法、系统、用户终端及可读存储介质 | |
| CN109729000B (zh) | 一种即时通信方法及装置 | |
| CN108462700A (zh) | 后台服务器、终端设备、适用于人脸识别的安全预警方法及存储介质 | |
| CN102333068B (zh) | 一种基于ssh、sftp隧道智能管控系统及方法 | |
| CN110213247A (zh) | 一种提高推送信息安全性的方法及系统 | |
| Rani et al. | Cyber security techniques, architectures, and design | |
| CN109218334A (zh) | 数据处理方法、装置、接入控制设备、认证服务器及系统 | |
| CN106657002A (zh) | 一种新型防撞库关联时间多密码的身份认证方法 | |
| CN117155716B (zh) | 访问校验方法和装置、存储介质及电子设备 | |
| CN106850592B (zh) | 一种信息处理方法、服务器及终端 | |
| CN112291248A (zh) | 一种防护HTTPS DDoS攻击的方法及设备 | |
| CN108900595B (zh) | 访问云存储服务器数据的方法、装置、设备及计算介质 | |
| Furtak et al. | Procedures for sensor nodes operation in the secured domain | |
| CN111651740B (zh) | 一种面向分布式智能嵌入式系统的可信平台共享系统 | |
| CN105610770A (zh) | 访问方法、访问装置、终端、加密方法、加密装置和终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |
|
| RJ01 | Rejection of invention patent application after publication |