CN111262706A - 一种数据的传输方法、服务器以及存储装置 - Google Patents
一种数据的传输方法、服务器以及存储装置 Download PDFInfo
- Publication number
- CN111262706A CN111262706A CN202010043576.1A CN202010043576A CN111262706A CN 111262706 A CN111262706 A CN 111262706A CN 202010043576 A CN202010043576 A CN 202010043576A CN 111262706 A CN111262706 A CN 111262706A
- Authority
- CN
- China
- Prior art keywords
- data center
- information
- data information
- data
- digital signature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Communication Control (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种数据的传输方法、服务器以及存储装置,该传输方法包括:接收源数据中心发送的数据信息,并记录数据信息的数字签名;根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中,以使目标数据中心从消息队列中获取到数据信息;检测是否接收到目标数据中心返回发送的数字签名;如果没有接收到目标数据中心返回发送的数字签名,向源数据中心发送重发指令,以使源数据中心重新发送数据信息。通过上述方式,本申请能够通过转发数据信息到相应消息队列中的方式,使目标数据中心获取到源数据中心发送的数据信息,且能够通过检测是否接收到数据信息的数字签名来确定数据信息是否落地成功,以保证数据信息能够有效地同步传输。
Description
技术领域
本申请涉及数据传输的技术领域,尤其涉及一种数据的传输方法、服务器以及存储装置。
背景技术
目前,在全球数据服务中,为了提高用户的访问速度,通常采用的是根据用户所在的地区选择最近的数据中心,以使单个用户可能访问多个数据中心,但这多个数据中心的数据是相互隔离的,从而导致无法在一个数据中心获取全部的用户数据。
而目前对于云厂商的解决方案,同步应用数据的常用方法,最主要包含以下两种方案:其一,业务方停机,源数据库中的全部数据写入目标库,以在迁移完后将业务方切到新库;其二,业务方不停机,在同步开始后,将源数据库的全量数据同步到目标库,并记录源数据库的增量变更记录,并在全量数据同步完成后再同步增量数据,以在增量同步完成后,切换数据源。
则可理解的是,在上述的现有方式中,因业务停机,会影响用户的使用,也会对公司造成不利的影响,并不适合全球多数据中心之间数据同步的应用场景;且因没有比对方案,无法确定源数据中心同步的数据落地是否成功,也无法设置灵活的方案以实现定制化的需求,如库表列替换,数据分表等。
发明内容
本申请提供了一种数据的传输方法、服务器以及存储装置,该传输方法能够解决数据传输过程中因业务方停机影响用户的使用,以及因没有比对方案,而无法确定源数据中心同步的数据落地是否成功的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种数据的传输方法,其中,该传输方法包括:接收源数据中心发送的数据信息,并记录数据信息的数字签名;根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中,以使目标数据中心从消息队列中获取到数据信息;检测是否接收到目标数据中心返回发送的数字签名;如果没有接收到目标数据中心返回发送的数字签名,向源数据中心发送重发指令,以使源数据中心重新发送数据信息。
其中,接收源数据中心发送的数据信息,并记录数据信息的数字签名的步骤之前,还包括:获取到源数据中心和目标数据中心约定的网络协议,以对应生成预设配置信息,其中,预设配置信息包括由目标数据中心的身份识别信息构成的库表列信息。
其中,传输方法还包括:如果接收到目标数据中心返回发送的数字签名,则进一步校验是否与记录的数据信息的数字签名一致;若是,则确定数据信息发送成功;若否,则向源数据中心发送重发指令,以使源数据中心重新发送数据信息,以再次将数据信息发送到目标数据中心对应的消息队列中,以使目标数据中心从消息队列中获取到数据信息。
其中,检测是否接收到目标数据中心返回发送的数字签名包括:检测是否接收到目标数据中心返回发送的落地成功的通知消息以及数字签名;如果接收到目标数据中心返回发送的数字签名,则进一步校验是否与记录的数据信息的数字签名一致的步骤,还包括:如果接收到落地成功的通知消息,且接收到目标数据中心返回发送的数字签名,则进一步校验是否与记录的数据信息的数字签名一致。
其中,如果没有接收到目标数据中心返回发送的数字签名,向源数据中心发送重发指令,以使源数据中心重新发送数据信息的步骤之后,还包括:在重新发送数据信息到目标数据中心的次数超过预设阈值而仍未接收到目标数据中心返回发送的数字签名时,发出告警指示。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种数据的传输方法,其中,该数据的传输方法包括:从中间节点应用终端与目标数据中心对应的消息队列中拉取数据信息,其中,数据信息是由中间节点应用终端在接收到源数据中心发送的数据信息时,根据预设配置信息将数据信息转发到消息队列中的;落地数据信息,并在数据信息落地成功后,向中间节点应用终端返回发送数据信息的数字签名,以使中间节点应用终端在没有接收到目标数据中心返回发送的数字签名时,向源数据中心发送重发指令,以使源数据中心重新发送数据信息。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种数据的传输方法,其中,该传输方法包括:将数据信息发送给中间节点应用终端,以使中间节点应用终端记录数据信息的数字签名,并根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中,以进一步使目标数据中心从消息队列中获取到数据信息;检测是否接收到中间节点应用终端在没有接收到目标数据中心返回发送的数字签名时,发送的重发指令;如果接受到重发指令,则向中间节点应用终端重新发送数据信息。
其中,将数据信息发送给中间节点应用终端,以使中间节点应用终端记录数据信息的数字签名,并根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中,以进一步使目标数据中心从消息队列中获取到数据信息的步骤之前,还包括:获取到相应数据库中的增量数据,并接收中间节点应用终端发送的预设配置信息,以根据预设配置信息对增量数据进行过滤处理以获取到数据信息,其中,预设配置信息包括预设目标字段信息。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种服务器,其中,该服务器包括相互耦接的存储器和处理器;存储器存储有程序数据;处理器用于执行程序数据,以实现如上任一项所述的传输方法。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种存储装置,其中,该存储装置存储有程序数据,程序数据能够被执行以实现如上任一所述的传输方法。
本申请的有益效果是:区别于现有技术,本申请中的数据的传输方法包括将接收到的源数据中心发送的数据信息根据预设配置信息转发送到目标数据中心对应的消息队列中,以使目标数据中心从消息队列中获取到数据信息,并记录数据信息的数字签名,以能够通过检测是否有接收到目标数据中心返回发送的数字签名来确定是否需向源数据中心发送重发指令,以使源数据中心重新发送该数据信息,从而能够避免源数据中心停机而影响用户使用,且能够通过检测是否接收到数据信息的数字签名来确定数据信息是否落地成功,以保证数据信息的有效地同步传输,且能够完成数据信息传输过程中的定制化需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请数据的传输方法第一实施例的流程示意图;
图2是本申请数据的传输方法第二实施例的流程示意图;
图3是本申请数据的传输方法第三实施例的流程示意图;
图4是本申请数据的传输方法第四实施例的流程示意图;
图5是本申请数据的传输方法第五实施例的流程示意图;
图6是本申请数据的传输方法第六实施例的流程示意图;
图7是本申请数据的传输方法第七实施例的流程示意图;
图8是本申请数据的传输方法第八实施例的流程示意图;
图9是本申请数据的传输方法一应用场景的结构示意图;
图10是本申请服务器一实施例的结构示意图。
图11是本申请存储装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,均属于本申请保护的范围。
请参阅图1,图1为本申请数据的传输方法第一实施例的流程示意图,本实施方式包括如下步骤:
S110:接收源数据中心发送的数据信息,并记录数据信息的数字签名。
在本实施例中,首先通过一中间节点应用终端接收源数据中心发送的数据信息,并记录该数据信息的数字签名。其中,该中间节点应用终端可以为一服务器,以用于在接收到源数据中心发送的需要同步的数据信息时,将该数据信息转发送给相应的目标数据中心。其中,该数据信息可以是源数据中心当前存储的全量数据,也可以是源数据中心当前产生的增量数据,其可以由源数据中心逐条发送给中间节点应用终端,也可以将每一设定数量的数据信息依次打包,以分包发送给中间节点应用终端,本申请对此不做限定。
其中,该数据信息的数字签名可理解为一种类似写在纸上的普通的物理签名,但是使用了公钥加密领域的技术实现,以用于鉴别数字信息的方法。而一套数字签名通常定义有两种互补的运算,一个用于签名,另一个用于验证。该数字签名为只有信息的发送者,也即源数据中心才能产生,且别人无法伪造的一段数字串,而这段数字串同时也是对信息的发送者发送信息的真实性的一个有效证明。其中,该数字签名是非对称密钥加密技术与数字摘要技术的应用。
S120:根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中,以使目标数据中心从消息队列中获取到数据信息。
在本实施例中,在中间节点应用终端接收到源数据中心发送的数据信息时,进一步根据预设配置信息将该数据信息发送到相应的目标数据中心对应的消息队列中。
其中,该消息队列可理解为在消息的传输过程中用于保存消息的容器,而消息队列能够在将消息从其源数据中心中继到目标数据中心的过程中充当中间人,其主要目的是提供路由并保证消息的有效传递,如果在发送消息时判定接收者不可用,则该消息队列会保留该消息,直到可以成功地将消息传递给接收者。
其中,预设配置信息可理解为数据信息的发送者将数据信息发送给目标数据中心的预设配置规则,其至少包括需要将相应的数据信息发送给哪一或哪几个目标数据中心,以使相应的中间节点应用终端根据预设的配置信息查找到相对应的目标数据中心,以将相应的数据信息发送到目标数据中心对应的消息队列中,从而使目标数据中心能够从该消息队列中获取到该数据信息。
S130:检测是否接收到目标数据中心返回发送的数字签名。
在本实施例中,中间节点应用终端在根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中后,进一步检测是否有接收到相应目标数据中心返回发送的该数据信息的数字签名。
可选地,中间节点应用终端中可集成有一定时任务,以在将相应的数据信息发送到目标数据中心对应的消息队列中时,启动计时,并在经过一设定时间后,如10分钟或15分钟或其他合理的设定时间后,触发该定时任务执行,以检测是否有接收到目标数据中心返回发送的相应数据信息的数字签名。
其中,中间节点应用终端还可设定每间隔一指定时间,如1分钟或3分钟扫描一次中间节点应用终端中的数据库,以将接收到的目标数据中心返回发送的数字签名与之前存储的数字签名进行比对,以查找是否存在有数字签名没有接收到,直到接收到的数字签名与之前存储的数字签名完全一致时,则终止本次扫描任务。
S140:如果没有接收到目标数据中心返回发送的数字签名,向源数据中心发送重发指令,以使源数据中心重新发送数据信息。
在本实施例中,中间节点应用终端在根据预设配置信息将相应的数据信息发送到目标数据中心对应的消息队列中,且经过了一设定时间后,检测出中间节点应用终端并未接收到相应目标数据中心返回发送的该数据信息的数字签名时,向源数据中心发送一重发指令,以使源数据中心在接收到该重发指令时,将未接收到数字签名的相应数据信息重新发送给中间节点应用终端,以再次发送到相应目标数据中心对应的消息队列中,以使该目标数据中心能够重新从该消息队列中获取该数据信息。
在一个可选的实施例中,源数据中心对应需同步数据信息的目标数据中心可以有多个,而该源数据中心可首先将相应的数据信息发送到一中间节点应用终端,以使该中间节点应用终端统一将该数据信息发送到与每一目标数据中心对应的消息队列中,从而使各目标数据中心均能够从相应的消息队列中获取到该数据信息。其中,各目标数据中心中的每一个均可以作为源数据中心,以将其产生的增量数据或当前存储的全量数据同步到其他目标数据中心以及源数据中心中,且通过在多数据中心之间相互同步数据信息的应用场景中引入一中间节点应用终端转接的方式,能够有效地解决全球各数据中心同步数据量大,维护成本高的问题,并满足数据信息传输的定制化需求。
在一个具体的实施例中,中间节点应用终端集成有预设的NSQ(实时分布式消息传递平台)、mysql(关系数据库管理系统)以及java应用程序,其中,中间节点应用终端可使用NSQ作为数据信息传递的中间件,而mysql可用于记录相应数据信息的数字签名,并使用java应用程序处理相应数据信息的转换和数据的比对,以及通知数据信息重发等业务操作。
其中,中间节点应用终端在接受到源数据中心生产并发送的数据信息后,首先通过mysql记录该数据信息的基本特征信息和其数字签名,而该数据信息的基本特征信息可具体包括源数据中心与相应目标数据中心之间约定的网络协议、目标数据中心的特征信息构成的库表信息、以及中间节点应用终端接收并转发数据信息的时间等。
中间节点应用终端可进一步根据预设的配置信息将该数据信息发送到对应的目标数据中心的NSQ队列中,并通过预设定时任务在发送该数据信息的设定时间后,检测是否接收到相应目标数据中心返回发送的该数据信息的数字签名,以在没有接收到相应的数据信息的数字签名时,通知相应的源数据中心再同步一次该数据消息。
区别于现有技术,本申请中的数据的传输方法包括:接收源数据中心发送的数据信息,并记录数据信息的数字签名;根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中,以使目标数据中心从消息队列中获取到数据信息;检测是否接收到目标数据中心返回发送的数字签名;如果没有接收到目标数据中心返回发送的数字签名,向源数据中心发送重发指令,以使源数据中心重新发送数据信息。通过上述方式,本申请能够通过转发数据信息到相应消息队列中的方式,使目标数据中心从该消息队列中获取到源数据中心发送的数据信息,从而避免源数据中心停机而影响用户使用,且能够通过检测是否接收到数据信息的数字签名来确定数据信息是否落地成功,以保证数据信息的有效地同步传输。
请参阅图2,图2是本申请数据的传输方法第二实施例的流程示意图。可以理解的是,本实施例的数据的传输方法是图1中数据的传输方法一细化实施方式的流程示意图,包括如下步骤:
其中,图2中的S220、S230、S240以及S250分别与图1中的S110、S120、S130以及S140相同,具体请参阅图1及其相关的文字描述,在此不再赘述,而在S220之前,还包括如下步骤:
S210:获取到源数据中心和目标数据中心约定的网络协议,以对应生成预设配置信息,其中,预设配置信息包括由目标数据中心的身份识别信息构成的库表列信息。
在本实施例中,中间节点应用终端首先获取到源数据中心与目标数据中心预先约定的网络协议,以能够根据约定的网络协议确定需进行数据信息同步的目标数据中心,从而对应生成相应的预设配置信息。其中,该预设配置信息可包括由目标数据中心的身份识别信息构成的库表列信息,而相应的中间节点应用终端能够根据该库表列信息确定相应的目标数据信息的身份,以在中间节点应用终端接收到源数据中心发送的数据信息时,能够根据该预设配置信息查找到相应的目标数据中心,并将该数据信息发送到与目标数据中心对应的消息队列中。
请参阅图3,图3是本申请数据的传输方法第三实施例的流程示意图。可以理解的是,本实施例的数据的传输方法是图1中数据的传输方法又一细化实施方式的流程示意图,包括如下步骤:
其中,图3中的S310、S320以及S330分别与图1中的S110、S120以及S130相同,具体请参阅图1及其相关的文字描述,在此不再赘述,而在S330之后,如果检测有接收到目标数据中心返回发送的数字签名时,则执行S340,如果检测出没有接收到目标数据中心返回发送的数字签名时,则执行S370。
S340:校验是否与记录的数据信息的数字签名一致。
在本实施例中,当中间节点应用终端在根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中后,检测到有接收到相应目标数据中心返回发送的该数据信息的数字签名时,进一步校验接收到的该数据信息的数字签名是否与之间记录的数据信息的数字签名一致。
其中,如果校验接收到的该数据信息的数字签名与记录的数据信息的数字签名一致时,则执行S350,如果校验接收到的数字签名与记录的数据信息的数字签名不一致时,则执行S360。
S350:确定数据信息发送成功。
在本实施例中,当中间节点应用终端检测到有接收到相应目标数据中心返回发送的数据信息的数字签名,且校验该数字签名与之前记录的数据信息的数字签名一致时,则确定本次数据信息发送成功。
S360:向源数据中心发送重发指令,以使源数据中心重新发送数据信息,以再次将数据信息发送到目标数据中心对应的消息队列中,以使目标数据中心从消息队列中获取到数据信息。
在本实施例中,当中间节点应用终端检测到有接收到相应目标数据中心返回发送的该数据信息的数字签名,但校验出该数字签名与之前记录的数据信息的数字签名不一致时,则判定本次数据信息发送失败,并向源数据中心发送重发指令,以使源数据中心重新发送该数据信息,并再次将该数据信息发送到相应的目标数据中心对应的消息队列中,以使该目标数据中心能够从该消息队列中获取到该数据信息。
S370:向源数据中心发送重发指令,以使源数据中心重新发送数据信息,以再次将数据信息发送到目标数据中心对应的消息队列中,以使目标数据中心从消息队列中获取到数据信息。
在本实施例中,当中间节点应用终端在根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中后,检测到并没有接收到相应目标数据中心返回发送的该数据信息的数字签名时,则判定本次数据信息发送失败,并向源数据中心发送重发指令,以使源数据中心重新发送该数据信息,并再次将该数据信息发送到相应的目标数据中心对应的消息队列中,以使该目标数据中心能够从该消息队列中获取到该数据信息。
其中,当目标数据中心有多个,且仅是其中的一个或几个未返回发送相应的数字签名时,则相应地,仅通过中间节点应用节点转发送源数据中心重新发送的相应数据信息到未发送该数字签名的目标数据中心对应的消息队列中,以使该目标数据中心重新从相应的消息对列中获取到重新发送的该数据信息。
请参阅图4,图4是本申请数据的传输方法第四实施例的流程示意图。可以理解的是,本实施例的数据的传输方法是图3中数据的传输方法又一细化实施方式的流程示意图,包括如下步骤:
其中,图4中的S410、S420、S460以及S470分别与图3中的S310、S320、S360以及S370相同,具体请参阅图3及其相关的文字描述,在此不再赘述,而在S420之后,S460之前,还包括如下步骤:
S430:检测是否接收到目标数据中心返回发送的落地成功的通知消息以及数字签名。
在本实施例中,中间节点应用终端在根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中后,进一步检测是否接收到相应目标数据中心返回发送的该数据信息的数字签名以及落地成功的通知消息。其中,目标数据中心在从相应的消息队列中下载完成相应的数据信息后,能够生成一落地成功的通知消息,以发送给中间节点应用终端,并指示终止该数据信息的发送。
其中,如果接收到落地成功的通知消息,且接收到目标数据中心返回发送的数字签名时,则执行S440,如果检测没有接收到落地成功的通知消息以及目标数据中心返回发送的数字签名时,则执行S470。
S440:校验接收到的数字签名是否与记录的数据信息的数字签名一致。
在本实施例中,当中间节点应用终端在根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中后,检测到有接收到相应目标数据中心返回发送的该数据信息落地成功的通知消息以及该数据信息的数字签名时,进一步校验接收到的该数据信息的数字签名是否与之间记录的数据信息的数字签名一致。
其中,如果校验接收到的数字签名与记录的数据信息的数字签名一致时,则执行S450,如果校验接收到的数字签名与记录的数据信息的数字签名不一致时,则执行S460。
S450:确定数据信息落地成功。
在本实施例中,当中间节点应用终端检测到有接收到相应目标数据中心返回发送的落地成功的通知消息以及该数据信息的数字签名,且校验该数据信息的数字签名与之前记录的数据信息的数字签名一致时,则确定本次数据信息落地成功,相应数据信息已被目标数据中心下载完成,可终止本次发送的该数据信息的发送流程。
在一个可选的实施例中,当检测有接收到目标数据中心返回发送的相应数据信息的数字签名,但在一预设时间后并未接收到目标数据中心返回发送的落地成功的通知消息时,则判定目标数据中心下载该数据信息失败,本次数据信息落地失败,需向源数据中心发送重发指令,以使源数据中心重新发送该数据信息,并再次将该数据信息发送到相应的目标数据中心对应的消息队列中,以使该目标数据中心能够从该消息队列中获取到该数据信息。
请参阅图5,图5是本申请数据的传输方法第五实施例的流程示意图。可以理解的是,本实施例的数据的传输方法是图1中数据的传输方法又一细化实施方式的流程示意图,包括如下步骤:
其中,图5中的S510、S520、S530以及S540分别与图1中的S110、S120、S130以及S140相同,具体请参阅图1及其相关的文字描述,在此不再赘述,而在S540之后,还包括如下步骤:
S550:在重新发送数据信息到目标数据中心的次数超过预设阈值而仍未接收到目标数据中心返回发送的数字签名时,发出告警指示。
在本实施例中,在中间节点应用终端根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中的设定时间后,未接收到目标数据中心返回发送的该数据信息的数字签名时,则通知源数据中心重新发送该数据信息,而在检测到重新发送该数据信息的次数超过预设阈值,例如,重新发送该数据信息的次数已超过3次或5次等,仍未接收到目标数据中心返回发送的数字签名时,发出告警指示,以提醒中间节点应用终端处的用户本次数据信息发送失败。其中,该告警指示可通过中间节点应用终端相应的显示屏弹出一个告警视频,或发出声光报警,也可以向相应的管理人员发送通知讯息的方式发出告警,本申请对此不作限定。
在一个可选的实施例中,中间节点应用终端在未接收到目标数据中心返回发送的数据信息的数字签名时,可每间隔15分钟或30分钟等任一合理的时间,重新发送一次该数据信息到相应目标数据中心的消息队列中,并检测是否接收到该目标数据中心返回发送的数据信息的数字签名,而在重新发送该数据信息超过3次后,仍未接收到目标数据中心返回发送的该数据信息的数字签名时,则发出告警指示。而在在其他实施例中,中间节点应用终端还可以设定在发送相应数据信息到目标数据中心对应的消息队列一设定时间,如6小时或24小时后,仍未接收到该目标数据中心返回发送的该数据信息的数字签名时,则发出告警指示。
基于总的发明构思,本申请还提供了一种数据的传输方法。请参阅图6,图6是本申请数据的传输方法第六实施例的流程示意图。包括如下步骤:
S610:从中间节点应用终端与目标数据中心对应的消息队列中拉取数据信息,其中,数据信息是由中间节点应用终端在接收到源数据中心发送的数据信息时,根据预设配置信息将数据信息转发到消息队列中的。
在本实施例中,目标数据中心可从中间节点应用终端与该目标数据中心对应的消息队列中拉取到相应的数据信息,其中,该数据信息是由中间节点应用终端在接收到源数据中心发送的数据信息时,根据预设配置信息将数据信息转发到该消息队列中的,其可以是源数据中心中当前存储的全量数据,也可以是源数据中心当前产生的增量数据。
S620:落地数据信息,并在数据信息落地成功后,向中间节点应用终端返回发送数据信息的数字签名,以使中间节点应用终端在没有接收到目标数据中心返回发送的数字签名时,向源数据中心发送重发指令,以使源数据中心重新发送数据信息。
在本实施例中,目标数据中心在从相应的消息队列中拉取到相应的数据信息时,进一步下载并落地该数据信息,以在使该数据信息成功落地后,向对应的中间节点应用终端返回发送该数据信息的数字签名。
其中,当中间节点应用终端检测到并没有接收到该目标数据中心返回发送的该数据信息的数字签名时,可向源数据中心发送重发指令,以使源数据中心在接收到该重发指令时,将未接收到数字签名的相应数据信息重新发送给中间节点应用终端,以再次发送到相应目标数据中心对应的消息队列中,从而使该目标数据中心能够重新获取该数据信息。
基于总的发明构思,本申请还提供了一种数据的传输方法。请参阅图7,图7是本申请数据的传输方法第七实施例的流程示意图。包括如下步骤:
S710:将数据信息发送给中间节点应用终端,以使中间节点应用终端记录数据信息的数字签名,并根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中,以进一步使目标数据中心从消息队列中获取到数据信息。
在本实施例中,源数据中心首先将其当前存储的全量数据信息,或当前产生的增量数据信息发送给相应的中间节点应用终端,以使该中间节点应用终端进一步根据预设的配置信息将该数据信息发送到相应的目标数据中心对应的消息队列中,并记录该数据信息的数字签名,以进一使该目标数据中心能够从该消息队列中获取到该数据信息。其中,源数据中心可以将相应的数据信息逐条发送给中间节点应用终端,也可以将每一设定数量的数据信息依次打包,以分包发送给中间节点应用终端,本申请对此不做限定。
S720:检测是否接收到中间节点应用终端在没有接收到目标数据中心返回发送的数字签名时,发送的重发指令。
在本实施例中,在源数据中心将相应的数据信息发送给相应的中间节点应用终端后,进一步检测是否有接收到中间节点应用终端发送的重发指令。其中,中间节点应用终端可通过检测是否有接收到目标数据中心返回发送的相应数据信息的数字签名的方式来决定是否需向源数据中心发送重发指令,以在没有接收到目标数据中心返回发送的该数据信息的数字签名时,向源数据中心发送重发指令。
S730:如果接受到重发指令,则向中间节点应用终端重新发送数据信息。
在本实施例中,当源数据中心将相应的数据信息发送给中间节点应用终端后,又接收到中间节点应用终端发送的重发指令时,再次向中间节点应用终端发送该数据信息,以使该中间节点应用终端再次将该数据信息发送给与目标数据中心相对应的消息队列中,以进一步使目标数据中心重新从该消息队列获取到该数据信息。
在一个可选的实施例中,源数据中心还可以通过对称加密的方式将相应的数据信息加密发送给中间节点应用终端,以使中间节点应用终端在拿到加密后的数据信息时,发送给目标数据中心对应的消息队列中,以进一步使相应的目标数据中心从该消息队列中获取到加密后的数据信息,并对其进行解密以获得相应的数据信息,从而保证数据信息在同步传输过程中的信息安全。
请参阅图8,图8是本申请数据的传输方法第八实施例的流程示意图。可以理解的是,本实施例的数据的传输方法是图7中数据的传输方法又一细化实施方式的流程示意图,包括如下步骤:
其中,图8中的S820、S830以及S840分别与图7中的S710、S720、以及S730相同,具体请参阅图7及其相关的文字描述,在此不再赘述,而在S820之前,还包括如下步骤:
S810:获取到相应数据库中的增量数据,并接收中间节点应用终端发送的预设配置信息,以根据预设配置信息对增量数据进行过滤处理以获取到数据信息,其中,预设配置信息包括预设目标字段信息。
在本实施例中,源数据中心首先从相应的数据库中获取到对应的增量数据,并接收中间节点应用终端发送的预设配置信息,其中,该预设配置信息包括预设目标字段信息,该预设目标字段信息可理解为源数据中心需要同步到目标数据中心的有效字段信息。源数据中心可根据预设配置信息中的预设目标字段信息对源数据中心当前产生的增量数据进行过滤处理,以选择其中需要被同步的有效数据信息发送到中间节点应用终端,从而排除非有效数据信息的干扰,并影响数据信息的同步效率。
请参阅图9,图9是本申请数据的传输方法一应用场景的结构示意图。
在本实施例中,源数据中心可以包括源数据库和基础库镜像;中间节点应用终端可包括NSQ集群、基础库(主)以及定时任务处理器;而目标数据中心可包括目标数据库、基础库镜像以及分发系统。
其中,中间节点应用终端可首先根据用户需求获取到源数据中心与相应的目标数据中心约定的网络协议和预设目标字段信息,以对应生成预设配置信息。
则可理解的是,该预设配置信息可以包括各数据中心与中间节点应用终端统一分配的配置信息、各区域的目标数据中心构成的库表列信息、预设目标字段信息、目标数据中心特定格式的分表信息,以及源数据中心与目标数据中心约定的网络协议等。中间节点应用终端能够将该预设配置信息集成于基础库(主)中,并依次同步到源数据中心和目标数据中心,以在源数据中心和目标数据中心中建立起相应的基础库镜像。
其中,源数据中心可将源数据库中当前存储的全量数据信息,或当前产生的增量数据信息发送给相应的中间节点应用终端的NSQ集群,以通过该NSQ集群和基础库(主)中的预设配置信息将接收到的数据信息发送到与目标数据中心相对应的消息队列中,并记录该数据信息的数字签名,且同时启动定时任务处理器开始计时。
目标数据中心可从相应的消息队列中获取到相应的数据信息,以下载到目标数据库,并向中间节点应用终端返回发送该数据信息的数字签名,且能够通过相应的分发系统将该数据信息分发到相应的应用节点。
其中,中间节点应用终端还能够通过定时任务处理器设定在预设时间后触发相应的定时任务执行,以检测是否接收到目标数据中心发送的数据信息的数字签名,并在没有接收该数据信息的数字签名时,向源数据中心发送重发指令,以使源数据中心重新发送该数据信息到中间节点应用终端,从而能够再次将该数据信息发送到目标数据中心对应的消息队列中,以使目标数据中心能够从该消息队列中重新获得该数据信息。
可选地,当源数据中心中所需要同步的数据信息比较紧急,或需要进行高速传输时,也可以通过源数据中心与目标数据中心建立的网关将相应的数据信息直接传输到目标数据中心的目标数据库。
基于总的发明构思,本申请还提供了一种服务器,请参阅图10,图10是本申请服务器一实施例的结构示意图。其中,该服务器100包括相互耦接的存储器1010和处理器1020。
在本实施例中,服务器100可理解为一可实现数据同步传输的数据服务中心,其中,存储器1010中存储有用于实现对数据信息进行传输的相应程序数据,处理器1020用于执行该程序数据以实现如上任一所述的数据的传输方法。
基于总的发明构思,本申请还提供了一种存储装置,请参阅图11,图11是本申请存储装置一实施例的结构示意图。其中,存储装置110中存储有程序数据1110,该程序数据1110能够被执行以实现以上任一所述的视频帧数据的封装方法。
在一个实施例中,存储装置110可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具,还可以是服务器等等。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,处理器或存储器的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个处理器与存储器实现的功能可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或连接可以是通过一些接口,装置或单元的间接耦合或连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
区别于现有技术,本申请中的数据的传输方法包括:接收源数据中心发送的数据信息,并记录数据信息的数字签名;根据预设配置信息将数据信息发送到目标数据中心对应的消息队列中,以使目标数据中心从消息队列中获取到数据信息;检测是否接收到目标数据中心返回发送的数字签名;如果没有接收到目标数据中心返回发送的数字签名,向源数据中心发送重发指令,以使源数据中心重新发送数据信息。通过上述方式,本申请能够通过转发数据信息到相应消息队列中的方式,使目标数据中心从该消息队列中获取到源数据中心发送的数据信息,从而避免源数据中心停机而影响用户使用,且能够通过检测是否接收到数据信息的数字签名来确定数据信息是否落地成功,以保证数据信息的有效地同步传输。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种数据的传输方法,其特征在于,所述传输方法包括:
接收源数据中心发送的数据信息,并记录所述数据信息的数字签名;
根据预设配置信息将所述数据信息发送到目标数据中心对应的消息队列中,以使所述目标数据中心从所述消息队列中获取到所述数据信息;
检测是否接收到所述目标数据中心返回发送的数字签名;
如果没有接收到所述目标数据中心返回发送的数字签名,向所述源数据中心发送重发指令,以使所述源数据中心重新发送所述数据信息。
2.根据权利要求1所述的传输方法,其特征在于,所述接收源数据中心发送的数据信息,并记录所述数据信息的数字签名的步骤之前,还包括:
获取到所述源数据中心和所述目标数据中心约定的网络协议,以对应生成所述预设配置信息,其中,所述预设配置信息包括由所述目标数据中心的身份识别信息构成的库表列信息。
3.根据权利要求1所述的传输方法,其特征在于,所述传输方法还包括:
如果接收到所述目标数据中心返回发送的数字签名,则进一步校验是否与记录的所述数据信息的数字签名一致;
若是,则确定所述数据信息发送成功;
若否,则向所述源数据中心发送重发指令,以使所述源数据中心重新发送所述数据信息,以再次将所述数据信息发送到所述目标数据中心对应的消息队列中,以使所述目标数据中心从所述消息队列中获取到所述数据信息。
4.根据权利要求3所述的传输方法,其特征在于,所述检测是否接收到所述目标数据中心返回发送的所述数字签名包括:
检测是否接收到所述目标数据中心返回发送的落地成功的通知消息以及所述数字签名;
所述如果接收到所述目标数据中心返回发送的数字签名,则进一步校验是否与记录的所述数据信息的数字签名一致的步骤,还包括:
如果接收到所述落地成功的通知消息,且接收到所述目标数据中心返回发送的数字签名,则进一步校验是否与记录的所述数据信息的数字签名一致。
5.根据权利要求1所述的传输方法,其特征在于,所述如果没有接收到所述目标数据中心返回发送的数字签名,向所述源数据中心发送重发指令,以使所述源数据中心重新发送所述数据信息的步骤之后,还包括:
在重新发送所述数据信息到所述目标数据中心的次数超过预设阈值而仍未接收到所述目标数据中心返回发送的数字签名时,发出告警指示。
6.一种数据的传输方法,其特征在于,所述传输方法包括:
从中间节点应用终端与目标数据中心对应的消息队列中拉取数据信息,其中,所述数据信息是由所述中间节点应用终端在接收到源数据中心发送的所述数据信息时,根据预设配置信息将所述数据信息转发到所述消息队列中的;
落地所述数据信息,并在所述数据信息落地成功后,向所述中间节点应用终端返回发送所述数据信息的数字签名,以使所述中间节点应用终端在没有接收到所述目标数据中心返回发送的数字签名时,向所述源数据中心发送重发指令,以使所述源数据中心重新发送所述数据信息。
7.一种数据的传输方法,其特征在于,所述传输方法包括:
将数据信息发送给中间节点应用终端,以使所述中间节点应用终端记录所述数据信息的数字签名,并根据预设配置信息将所述数据信息发送到目标数据中心对应的消息队列中,以进一步使所述目标数据中心从所述消息队列中获取到所述数据信息;
检测是否接收到所述中间节点应用终端在没有接收到所述目标数据中心返回发送的数字签名时,发送的重发指令;
如果接受到所述重发指令,则向所述中间节点应用终端重新发送所述数据信息。
8.根据权利要求7所述的传输方法,其特征在于,所述将数据信息发送给中间节点应用终端,以使所述中间节点应用终端记录所述数据信息的数字签名,并根据预设配置信息将所述数据信息发送到目标数据中心对应的消息队列中,以进一步使所述目标数据中心从所述消息队列中获取到所述数据信息的步骤之前,还包括:
获取到相应数据库中的增量数据,并接收所述中间节点应用终端发送的所述预设配置信息,以根据所述预设配置信息对所述增量数据进行过滤处理以获取到所述数据信息,其中,所述预设配置信息包括预设目标字段信息。
9.一种服务器,其特征在于,所述服务器包括相互耦接的存储器和处理器;
所述存储器存储有程序数据;
所述处理器用于执行所述程序数据,以实现如权利要求1-5或6或7-8中任一项所述的传输方法。
10.一种存储装置,其特征在于,所述存储装置存储有程序数据,所述程序数据能够被执行以实现如权利要求1-5或6或7-8中任一项所述的传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010043576.1A CN111262706B (zh) | 2020-01-15 | 2020-01-15 | 一种数据的传输方法、服务器以及存储装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010043576.1A CN111262706B (zh) | 2020-01-15 | 2020-01-15 | 一种数据的传输方法、服务器以及存储装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111262706A true CN111262706A (zh) | 2020-06-09 |
CN111262706B CN111262706B (zh) | 2023-05-16 |
Family
ID=70952113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010043576.1A Active CN111262706B (zh) | 2020-01-15 | 2020-01-15 | 一种数据的传输方法、服务器以及存储装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111262706B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109714409A (zh) * | 2018-12-21 | 2019-05-03 | 优估(上海)信息科技有限公司 | 一种消息的管理方法和系统 |
CN109743142A (zh) * | 2018-09-30 | 2019-05-10 | 比亚迪股份有限公司 | 消息通信方法及装置 |
CN109766195A (zh) * | 2018-12-13 | 2019-05-17 | 平安普惠企业管理有限公司 | 监测消息队列中数据丢失的方法及相关产品 |
CN110636128A (zh) * | 2019-09-20 | 2019-12-31 | 苏州浪潮智能科技有限公司 | 一种数据同步方法、系统、电子设备及存储介质 |
-
2020
- 2020-01-15 CN CN202010043576.1A patent/CN111262706B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109743142A (zh) * | 2018-09-30 | 2019-05-10 | 比亚迪股份有限公司 | 消息通信方法及装置 |
CN109766195A (zh) * | 2018-12-13 | 2019-05-17 | 平安普惠企业管理有限公司 | 监测消息队列中数据丢失的方法及相关产品 |
CN109714409A (zh) * | 2018-12-21 | 2019-05-03 | 优估(上海)信息科技有限公司 | 一种消息的管理方法和系统 |
CN110636128A (zh) * | 2019-09-20 | 2019-12-31 | 苏州浪潮智能科技有限公司 | 一种数据同步方法、系统、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111262706B (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107465767B (zh) | 一种数据同步的方法和系统 | |
TWI250743B (en) | A peer-to-peer relay network, a system and method of relaying data in the peer-to-peer relay network, and computer-readable recording medium thereof | |
WO2018214865A1 (zh) | 消息回执的处理方法、相关装置、存储介质和处理器 | |
CN103780615B (zh) | 一种在多个服务器间客户端会话数据共享方法 | |
CN115004673B (zh) | 消息推送方法、装置、电子设备及计算机可读介质 | |
KR20170117111A (ko) | 메시지 푸시 방법 및 장치 | |
CN110351569B (zh) | 一种直播内容处理方法、装置、设备及介质 | |
CN111831748A (zh) | 数据同步方法、装置及存储介质 | |
CN108228581B (zh) | Zookeeper兼容通信方法、服务器及系统 | |
CN112152914A (zh) | 一种基于北斗短报文的即时通信方法以及系统 | |
CN111431790A (zh) | 一种即时通讯方法、装置、系统及存储介质 | |
CN111416823A (zh) | 一种数据传输方法和装置 | |
CN110442461A (zh) | 一种消息投递方法、存储介质 | |
CN106790728A (zh) | 消息推送方法和系统 | |
CN104901865A (zh) | 一种基于全局单调序列号的移动端即时通讯信号同步方法 | |
CN111262706B (zh) | 一种数据的传输方法、服务器以及存储装置 | |
CN105812492A (zh) | 一种数据同步方法及系统 | |
KR101005986B1 (ko) | 이동통신 시스템에서의 멀티미디어 메시지 전송방법 | |
US20170142215A1 (en) | Relaying mobile communications | |
WO2016177222A1 (zh) | 一种漏话提醒方法及装置 | |
CN102137346A (zh) | 多媒体消息业务处理方法和相关设备以及系统 | |
CN113794620A (zh) | 消息发送方法、装置、设备、系统与存储介质 | |
WO2013063934A1 (zh) | 媒体消息发送方法、装置及系统 | |
CN113904860A (zh) | 数据传输方法、装置、设备、系统及存储介质 | |
US20150019664A1 (en) | Spam message processing method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |