CN114710333A - 数据传输及校验的方法、系统、计算机设备及存储介质 - Google Patents

数据传输及校验的方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN114710333A
CN114710333A CN202210290375.0A CN202210290375A CN114710333A CN 114710333 A CN114710333 A CN 114710333A CN 202210290375 A CN202210290375 A CN 202210290375A CN 114710333 A CN114710333 A CN 114710333A
Authority
CN
China
Prior art keywords
service
data
service data
processing platform
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210290375.0A
Other languages
English (en)
Inventor
徐从洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weikun Shanghai Technology Service Co Ltd
Original Assignee
Weikun Shanghai Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weikun Shanghai Technology Service Co Ltd filed Critical Weikun Shanghai Technology Service Co Ltd
Priority to CN202210290375.0A priority Critical patent/CN114710333A/zh
Publication of CN114710333A publication Critical patent/CN114710333A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据传输及校验的方法、系统、计算机设备及存储介质，所述方法包括：业务接收接口接收由用户端发送的业务数据，将业务数据存储到第一数据表中并将业务数据通过接口传输协议实时发送至业务处理平台；业务处理平台将通过接口传输协议实时发送来的业务数据存储到第二数据表中；业务接收接口将包含在第一数据表中的多个业务数据形成批次文件，并将批次文件通过文件传输协议发送至业务处理平台；业务处理平台利用通过文件传输协议发送来的批次文件对第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据；本发明能够校验数据传输过程中是否出现丢失的业务数据，并对业务数据进行修正。

Description

数据传输及校验的方法、系统、计算机设备及存储介质
技术领域
本发明涉及传输协议技术领域，特别涉及一种数据传输及校验的方法、系统、计算机设备及存储介质。
背景技术
在现有的数据传输的过程中，通常使用超文本传输协议HTTP进行实时的数据传输，但该传输方式可以会受到网络抖动的影响而造成数据丢失；此外，如果使用安全文件传送协议SFTP进行文件传输，会导致数据无法实时发送至业务处理平台，从而影响数据的处理时效，同时，对一些需要在较短时间内做出及时反馈的数据，无法及时将处理结果反馈给用户，影响用户体验。
有鉴于此，有必要对目前数据的传输方式进行进一步的改进。
发明内容
本发明的目的在于提供一种数据传输及校验的方法、系统、计算机设备及存储介质，能够校验数据传输过程中是否出现丢失的业务数据，并对业务数据进行修正。
根据本发明的一个方面，提供了一种数据传输及校验的方法，应用于业务系统，其中，所述业务系统包括：业务接收接口和业务处理平台，该方法包括如下步骤：
所述业务接收接口接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台；
所述业务处理平台将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；
所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台；
所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
可选的，所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，具体包括：
所述业务接收接口按照预设时间间隔定期从所述第一数据表中获取在所述预设时间间隔内新增的业务数据，并将在所述预设时间间隔内新增的业务数据形成一个批次文件；或者，
所述业务接收接口每当在所述第一数据表中新增设定数量的业务数据时，将新增的设定数量的业务数据形成一个批次文件；或者，
所述业务接收接口在一个时间周期内，判断在所述第一数据表中新增的业务数据是否达到设定数量，若是，则将所述设定数量的业务数据形成一个批次文件并结束当前时间周期进入下一时间周期，若否，则当所述时间周期结束时将在所述时间周期内产生的业务数据形成一个批次文件。
可选的，所述将所述批次文件通过文件传输协议发送至所述业务处理平台，具体包括：
所述业务接收接口将所述批次文件中各个业务数据中的指定指标的指标值进行累加得到指标参考值；
所述业务接收接口利用哈希算法根据所述批次文件中所有业务数据生成第一校验值；
所述业务接收接口将所述批次文件、所述指标参考值和所述第一校验值通过文件传输协议发送至所述业务处理平台。
可选的，所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据，具体包括：
当所述业务处理平台接收到通过文件传输协议发送来的批次文件时，从所述第二数据库中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据；
所述业务处理平台将各个校验业务数据中的指定指标的指标值进行累加得到指标校验值；
所述业务处理平台判断所述指标校验值与所述指标参考值是否一致，若是，则判定通过接口传输协议实时发送来的业务数据完整；若否，则通过所述批次文件对所述校验业务数据进行核查，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
可选的，所述当所述业务处理平台接收到通过文件传输协议发送来的批次文件时，从所述第二数据库中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据，具体包括：
所述业务处理平台利用哈希算法根据接收到的所述批次文件中所有业务数据生成第二校验值；
所述业务处理平台判断所述第一校验值和所述第二校验值是否一致，若是，则从所述第二数据表中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据。
可选的，所述通过所述批次文件对所述校验业务数据进行核查，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据，具体包括：
所述业务处理平台为接收到的所述批次文件中的每个业务数据均添加未匹配的匹配标识符；其中，所述匹配标识符包括：未匹配和已匹配；
所述业务处理平台将所述批次文件中的业务数据与所述校验业务数据进行匹配，并将与所述校验业务数据完成匹配的所述批次文件中的业务数据的匹配标识符修改为已匹配；
所述业务处理平台将所述批次文件中匹配标识符为未匹配的业务数据作为丢失的业务数据添加到所述第二数据表中。
可选的，所述接口传输协议为超文本传输协议HTTP，所述文件传输协议为安全文件传送协议SFTP。
为了实现上述目的，本发明还提供一种数据传输及校验的方法的系统，该系统具体包括以下组成部分：业务接收接口和业务处理平台；
其中，所述业务接收接口，用于接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台；将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台；
所述业务处理平台，用于将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
为了实现上述目的，本发明还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的数据传输及校验的方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的数据传输及校验的方法的步骤。
本发明提供的数据传输及校验的方法、系统、计算机设备及存储介质，业务接收接口通过接口传输协议业务处理平台发送业务数据以及通过文件传输协议向业务处理平台发送批次文件，并在业务处理平台使用哈希算法校验批次文件，并通过业务数据的指标校验值校验指标参考值，可以有效的检测业务数据的完整性，以及检测批次文件是否被篡改；当在通过接口传输协议进行数据传输过程中出现丢失业务数据的情况时，可以使用校验后的批次文件作为参考文件进行业务数据的逐条匹配，迅速查找出在数据传输的过程丢失的业务数据，对业务数据进行及时修正，保证业务数据的完整性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为实例一提供的数据传输及校验的方法的一种可选的流程示意图；
图2为实例二提供的数据传输及校验的系统的一种可选的组成结构示意图；
图3为实例三提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种数据传输及校验的方法，应用于业务系统，其中，所述业务系统包括：业务接收接口和业务处理平台，如图1所示，该方法具体包括以下步骤：
步骤S101：所述业务接收接口接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台。
其中，所述业务数据为用户端产生的交易业务(如：购买商品)相关的数据，每条业务数据中均包含一个指定指标(如：业务金额)，所述接口传输协议为HTTP协议(Hyper TextTransfer Protocol，超文本传输协议)，用于从用户端向服务端实时传输业务数据。
具体的，所述第一数据表用于实时存储用户端发送来的每一条业务数据。
在本实施例中，现有的常规业务数据的传输方式为通过HTTP协议进行传输，该方式可以保证数据传输的实时性，但是由于HTTP协议会受到网络抖动的影响造成“丢包”，导致传输到服务端的业务数据存在数据丢失的情况。
步骤S102：所述业务处理平台将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理。
其中，所述第二数据表用于记录由接口传输协议实时发送来的业务数据，用于与第一数据表中的业务数据进行比对，判断是否在通过接口传输协议传输业务数据的过程中出现丢失数据的情况。
在本实施例中，业务处理平台会对接收到的业务数据进行正常的业务处理，并将处理结果返回用户端，本实施例提供的数据传输逻辑在不影响原有的业务数据处理的前提下，通过对业务处理平台接收到的业务数据进行校验，进一步保证业务数据在传输过程中的一致性和完成性。
步骤S103：所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台。
其中，所述文件传输协议为SFTP协议(Secret File Transfer Protocol，安全文件传送协议)，用于业务接收接口将批次文件通过文件传输协议传输至业务处理平台。
在本实施例中提供三种生成批次文件的逻辑，分别是：设定时间间隔、设定数量、设定时间间隔和数量。
具体的，所述将包含在所述第一数据表中的多个业务数据形成批次文件，包括以下三种情况：
情况1：所述业务接收接口按照预设时间间隔定期从所述第一数据表中获取在所述预设时间间隔内新增的业务数据，并将在所述预设时间间隔内新增的业务数据形成一个批次文件。
进一步的，所述情况1，具体包括：
通过计时器计时，每当计时器达到设定时长时将在该设定时长内产生的业务数据形成一个批次文件，并将该计时器清零以重新计时。
情况2：所述业务接收接口每当在所述第一数据表中新增设定数量的业务数据时，将新增的设定数量的业务数据形成一个批次文件。
进一步的，所述情况2，具体包括：
通过计数器统计出现在第一数据表中的业务数据的条数，每次计数器达到设定数量时将该设定数量的业务数据形成一个批次文件，并将该计数器清零以重新计数。
情况3：所述业务接收接口在一个时间周期内，判断在所述第一数据表中新增的业务数据是否达到设定数量，若是，则将所述设定数量的业务数据形成一个批次文件并结束当前时间周期进入下一时间周期，若否，则当所述时间周期结束时将在所述时间周期内产生的业务数据形成一个批次文件。
进一步的，所述情况3，具体包括：
同时使用计时器和计数器，当该计时器未达到设定时长时，判断计数器是否达到设定数量，若是，则将该设定数量的业务数据形成一个批次文件，以及将该计数器清零以重新计数并且将该计时器清零以重新计时，若否，则当该计时器达到该设定时长时，将在所述设定时长内出现在所述第一数据表的业务数据形成一个批次文件，以及将该计数器清零以重新计数并且将该计时器清零以重新计时。
在本实施例中，提供了多种生成批次文件的逻辑，以便于面对不同的业务场景，开发人员可以按照业务场景的业务数据的特点选择不同的生成批次文件的逻辑，以达到对业务数据进行削峰填谷的目的，防止出现服务器瞬时承载大量业务数据而造成服务器宕机的情况。
更进一步的，所述将所述批次文件通过文件传输协议发送至所述业务处理平台，具体包括以下步骤：
步骤B1：所述业务接收接口将所述批次文件中各个业务数据中的指定指标的指标值进行累加得到指标参考值。
步骤B2：所述业务接收接口利用哈希算法根据所述批次文件中所有业务数据生成第一校验值。
其中，所述哈希算法为MD5算法、SHA1算法、SHA2算法，优选的，所述哈希算法为MD5算法。
步骤B3：所述业务接收接口将所述批次文件、所述指标参考值和所述第一校验值通过文件传输协议发送至所述业务处理平台。
在本实施例中，业务接收接口不仅通过HTTP协议向业务处理平台实时发送业务数据，还在本地生成第一数据表，并根据第一数据表得到批次文件、指标参考值和第一校验值，通过SFTP协议向业务处理平台发送批次文件、指标参考值和第一校验值，用于校验业务处理平台接收的业务数据是否完成。
步骤S104：所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
具体的，所述步骤S104包括以下步骤：
步骤C1：当所述业务处理平台接收到通过文件传输协议发送来的批次文件时，从所述第二数据库中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据。
进一步的，所述步骤C1，具体包括以下步骤：
步骤C11：所述业务处理平台利用哈希算法根据接收到的所述批次文件中所有业务数据生成第二校验值。
步骤C12：所述业务处理平台判断所述第一校验值和所述第二校验值是否一致，若是，则从所述第二数据表中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据；若否，则向所述业务接收接口发送申请，以通知所述业务接收接口重新发送所述批次文件。
在本实施例中，通过使用哈希算法校验使用文件传输协议传输前后的批次文件是否相同，防止在传输过程中出现数据丢失或文件被篡改的情况，保证了业务处理平台接收到的批次文件的完整性，以用来确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
步骤C2：所述业务处理平台将各个校验业务数据中的指定指标的指标值进行累加得到指标校验值。
其中，当业务数据为购买商品的业务数据时，指定指标为交易金额，指标值为交易金额的实际值。此外，在获取业务数据的指标值时，需要确定出包含在所有业务数据中的共同指标，且该共同指标均包含一个指标值，并将确定出的共同指标作为指定指标，即，指定指标包含在每个业务数据中。
步骤C3：所述业务处理平台判断所述指标校验值与所述指标参考值是否一致，若是，则判定通过接口传输协议实时发送来的业务数据完整；若否，则通过所述批次文件对所述校验业务数据进行核查，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
在本实施例中，通过对业务接收接口和业务处理平台的同一批次文件的中的业务数据分别使用哈希算法得到第一校验值和第二校验值，进行第一次校验；再通过分别计算业务接收接口的批次文件中的业务数据的指定指标的指标值的和，即指标参考值，以及该批次文件对应的第二数据表中的业务数据的指定指标的指标值的和，即指标校验值，并将指标校验值与指标参考值进行第二次校验，使得校验结果更加精准。
更进一步的，所述通过所述批次文件对所述校验业务数据进行核查，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据，具体包括以下步骤：
步骤C31：所述业务处理平台为接收到的所述批次文件中的每个业务数据均添加未匹配的匹配标识符；其中，所述匹配标识符包括：未匹配和已匹配。
具体的，由于业务处理平台的经过哈希算法校验的批次文件是完整的，所以可以将该批次文件作为参考文件，并通过该参考文件来查找在通过接口传输协议进行数据传输过程中丢失的业务数据。
步骤C32：所述业务处理平台将所述批次文件中的业务数据与所述校验业务数据进行匹配，并将与所述校验业务数据完成匹配的所述批次文件中的业务数据的匹配标识符修改为已匹配。
步骤C33：所述业务处理平台将所述批次文件中匹配标识符为未匹配的业务数据作为丢失的业务数据添加到所述第二数据表中。
在本实施例中，业务接收接口通过接口传输协议业务处理平台发送业务数据以及通过文件传输协议向业务处理平台发送批次文件，并在业务处理平台使用哈希算法校验批次文件，并通过业务数据的指标校验值校验指标参考值，可以有效的检测业务数据的完整性，以及检测批次文件是否被篡改；当在通过接口传输协议进行数据传输过程中出现丢失业务数据的情况时，可以使用校验后的批次文件作为参考文件进行业务数据的逐条匹配，迅速查找出在数据传输的过程丢失的业务数据，对业务数据进行及时修正，保证业务数据的完整性。
实施例二
基于上述实施例一中提供的数据传输及校验的方法，本实施例中提供一种数据传输及校验的系统，具体地，图2示出了该数据传输及校验的系统的可选的结构框图，如图2所示，该系统具体包括以下组成部分：业务接收接口201和业务处理平台202；
其中，所述业务接收接口201，用于接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台202；将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台202；
具体的，所述业务接收接口201，还用于按照预设时间间隔定期从所述第一数据表中获取在所述预设时间间隔内新增的业务数据，并将在所述预设时间间隔内新增的业务数据形成一个批次文件；或者，每当在所述第一数据表中新增设定数量的业务数据时，将新增的设定数量的业务数据形成一个批次文件；或者，在一个时间周期内，判断在所述第一数据表中新增的业务数据是否达到设定数量，若是，则将所述设定数量的业务数据形成一个批次文件并结束当前时间周期进入下一时间周期，若否，则当所述时间周期结束时将在所述时间周期内产生的业务数据形成一个批次文件。
进一步的，所述业务接收接口201，还用于将所述批次文件中各个业务数据中的指定指标的指标值进行累加得到指标参考值；利用哈希算法根据所述批次文件中所有业务数据生成第一校验值；将所述批次文件、所述指标参考值和所述第一校验值通过文件传输协议发送至所述业务处理平台202。
具体的，所述业务处理平台202，用于将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
进一步的，所述业务处理平台202，还用于当接收到通过文件传输协议发送来的批次文件时，从所述第二数据库中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据；将各个校验业务数据中的指定指标的指标值进行累加得到指标校验值；判断所述指标校验值与所述指标参考值是否一致，若是，则判定通过接口传输协议实时发送来的业务数据完整；若否，则通过所述批次文件对所述校验业务数据进行核查，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
进一步的，所述业务处理平台202，还用于利用哈希算法根据接收到的所述批次文件中所有业务数据生成第二校验值；判断所述第一校验值和所述第二校验值是否一致，若是，则从所述第二数据表中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据。
更进一步的，所述业务处理平台202，还用于为接收到的所述批次文件中的每个业务数据均添加未匹配的匹配标识符；其中，所述匹配标识符包括：未匹配和已匹配；将所述批次文件中的业务数据与所述校验业务数据进行匹配，并将与所述校验业务数据完成匹配的所述批次文件中的业务数据的匹配标识符修改为已匹配；将所述批次文件中匹配标识符为未匹配的业务数据作为丢失的业务数据添加到所述第二数据表中。
实施例三
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图3所示，本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器301、处理器302。需要指出的是，图3仅示出了具有组件301-302的计算机设备30，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器301(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器301可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器301也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。当然，存储器301还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。在本实施例中，存储器301通常用于存储安装于计算机设备30的操作系统和各类应用软件。此外，存储器301还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器302在一些实施例中可以是中央处理器(CentralProcessingUnit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器302通常用于控制计算机设备30的总体操作。
具体的，在本实施例中，处理器302用于执行存储器301中存储的数据传输及校验的方法的程序，所述数据传输及校验的方法的程序被执行时实现如下步骤：
所述业务接收接口接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台；
所述业务处理平台将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；
所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台；
所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
上述方法步骤的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
所述业务接收接口接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台；
所述业务处理平台将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；
所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台；
所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
上述方法步骤的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据传输及校验的方法，其特征在于，应用于业务系统，其中，所述业务系统包括：业务接收接口和业务处理平台，所述方法包括：
所述业务接收接口接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台；
所述业务处理平台将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；
所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台；
所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
2.根据权利要求1所述的数据传输及校验的方法，其特征在于，所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，具体包括：
所述业务接收接口按照预设时间间隔定期从所述第一数据表中获取在所述预设时间间隔内新增的业务数据，并将在所述预设时间间隔内新增的业务数据形成一个批次文件；或者，
所述业务接收接口每当在所述第一数据表中新增设定数量的业务数据时，将新增的设定数量的业务数据形成一个批次文件；或者，
所述业务接收接口在一个时间周期内，判断在所述第一数据表中新增的业务数据是否达到设定数量，若是，则将所述设定数量的业务数据形成一个批次文件并结束当前时间周期进入下一时间周期，若否，则当所述时间周期结束时将在所述时间周期内产生的业务数据形成一个批次文件。
3.根据权利要求1所述的数据传输及校验的方法，其特征在于，所述将所述批次文件通过文件传输协议发送至所述业务处理平台，具体包括：
所述业务接收接口将所述批次文件中各个业务数据中的指定指标的指标值进行累加得到指标参考值；
所述业务接收接口利用哈希算法根据所述批次文件中所有业务数据生成第一校验值；
所述业务接收接口将所述批次文件、所述指标参考值和所述第一校验值通过文件传输协议发送至所述业务处理平台。
4.根据权利要求3所述的数据传输及校验的方法，其特征在于，所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据，具体包括：
当所述业务处理平台接收到通过文件传输协议发送来的批次文件时，从所述第二数据库中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据；
所述业务处理平台将各个校验业务数据中的指定指标的指标值进行累加得到指标校验值；
所述业务处理平台判断所述指标校验值与所述指标参考值是否一致，若是，则判定通过接口传输协议实时发送来的业务数据完整；若否，则通过所述批次文件对所述校验业务数据进行核查，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
5.根据权利要求4所述的数据传输及校验的方法，其特征在于，所述当所述业务处理平台接收到通过文件传输协议发送来的批次文件时，从所述第二数据库中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据，具体包括：
所述业务处理平台利用哈希算法根据接收到的所述批次文件中所有业务数据生成第二校验值；
所述业务处理平台判断所述第一校验值和所述第二校验值是否一致，若是，则从所述第二数据表中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据。
6.根据权利要求5所述的数据传输及校验的方法，其特征在于，所述通过所述批次文件对所述校验业务数据进行核查，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据，具体包括：
所述业务处理平台为接收到的所述批次文件中的每个业务数据均添加未匹配的匹配标识符；其中，所述匹配标识符包括：未匹配和已匹配；
所述业务处理平台将所述批次文件中的业务数据与所述校验业务数据进行匹配，并将与所述校验业务数据完成匹配的所述批次文件中的业务数据的匹配标识符修改为已匹配；
所述业务处理平台将所述批次文件中匹配标识符为未匹配的业务数据作为丢失的业务数据添加到所述第二数据表中。
7.根据权利要求1至6中任一项所述的数据传输及校验的方法，其特征在于，所述接口传输协议为超文本传输协议HTTP，所述文件传输协议为安全文件传送协议SFTP。
8.一种数据传输及校验的系统，其特征在于，所述系统包括：业务接收接口和业务处理平台；
其中，所述业务接收接口，用于接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台；将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台；
所述业务处理平台，用于将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
9.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202210290375.0A 2022-03-23 2022-03-23 数据传输及校验的方法、系统、计算机设备及存储介质 Pending CN114710333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210290375.0A CN114710333A (zh) 2022-03-23 2022-03-23 数据传输及校验的方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210290375.0A CN114710333A (zh) 2022-03-23 2022-03-23 数据传输及校验的方法、系统、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114710333A true CN114710333A (zh) 2022-07-05

Family

ID=82168296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210290375.0A Pending CN114710333A (zh) 2022-03-23 2022-03-23 数据传输及校验的方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114710333A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030046415A1 (en) * 2001-08-30 2003-03-06 Takahiro Kaijyu File transmitting method and system
CN101447856A (zh) * 2007-11-28 2009-06-03 新奥特（北京）视频技术有限公司 一种大容量文件传输方法
CN103067505A (zh) * 2012-12-30 2013-04-24 乐视网信息技术（北京）股份有限公司 一种上传文件到服务器的方法
CN103780632A (zh) * 2014-02-28 2014-05-07 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种互联网文件完整性验证方法及其系统
CN104618182A (zh) * 2015-01-21 2015-05-13 中国移动通信集团广东有限公司 一种支持多种移动业务协议的模拟测试系统
WO2017045528A1 (zh) * 2015-09-18 2017-03-23 中兴通讯股份有限公司 组播传输方法、装置及系统
CN107705084A (zh) * 2016-08-08 2018-02-16 张永平 一种基于gis的水文站数据管理系统
CN109325028A (zh) * 2018-08-22 2019-02-12 平安普惠企业管理有限公司 一种对账文件验证方法及终端设备
CN110995697A (zh) * 2019-11-29 2020-04-10 济南慧天云海信息技术有限公司 一种大数据传输方法及系统
CN112491989A (zh) * 2020-11-17 2021-03-12 平安普惠企业管理有限公司 数据传输方法、装置、设备及存储介质
CN112995685A (zh) * 2021-02-05 2021-06-18 杭州朗和科技有限公司 数据发送方法及装置、数据接收方法及装置、介质、设备
CN113535260A (zh) * 2021-06-29 2021-10-22 未鲲(上海)科技服务有限公司 基于模拟器的数据处理方法、装置、设备及存储介质
CN113965395A (zh) * 2021-10-28 2022-01-21 绿盟科技集团股份有限公司 一种实时安全访问内网的方法、系统及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030046415A1 (en) * 2001-08-30 2003-03-06 Takahiro Kaijyu File transmitting method and system
CN101447856A (zh) * 2007-11-28 2009-06-03 新奥特（北京）视频技术有限公司 一种大容量文件传输方法
CN103067505A (zh) * 2012-12-30 2013-04-24 乐视网信息技术（北京）股份有限公司 一种上传文件到服务器的方法
CN103780632A (zh) * 2014-02-28 2014-05-07 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种互联网文件完整性验证方法及其系统
CN104618182A (zh) * 2015-01-21 2015-05-13 中国移动通信集团广东有限公司 一种支持多种移动业务协议的模拟测试系统
WO2017045528A1 (zh) * 2015-09-18 2017-03-23 中兴通讯股份有限公司 组播传输方法、装置及系统
CN107705084A (zh) * 2016-08-08 2018-02-16 张永平 一种基于gis的水文站数据管理系统
CN109325028A (zh) * 2018-08-22 2019-02-12 平安普惠企业管理有限公司 一种对账文件验证方法及终端设备
CN110995697A (zh) * 2019-11-29 2020-04-10 济南慧天云海信息技术有限公司 一种大数据传输方法及系统
CN112491989A (zh) * 2020-11-17 2021-03-12 平安普惠企业管理有限公司 数据传输方法、装置、设备及存储介质
CN112995685A (zh) * 2021-02-05 2021-06-18 杭州朗和科技有限公司 数据发送方法及装置、数据接收方法及装置、介质、设备
CN113535260A (zh) * 2021-06-29 2021-10-22 未鲲(上海)科技服务有限公司 基于模拟器的数据处理方法、装置、设备及存储介质
CN113965395A (zh) * 2021-10-28 2022-01-21 绿盟科技集团股份有限公司 一种实时安全访问内网的方法、系统及装置

Similar Documents

Publication Publication Date Title
US20190386834A1 (en) Blockchain management apparatus, blockchain management method, and program
CN110597511B (zh) 一种页面自动生成方法、系统、终端设备及存储介质
CN113326165B (zh) 基于区块链的数据处理方法、设备及计算机可读存储介质
CN110599354A (zh) 线上对账方法、系统、计算机设备和计算机可读存储介质
CN109145651B (zh) 一种数据处理方法及装置
CN109284331B (zh) 基于业务数据资源的制证信息获取方法、终端设备及介质
CN109586949A (zh) 区块生成方法及计算机存储介质
CN111026737A (zh) 一种任务处理方法及装置
CN115730935A (zh) 基于区块链的数据处理方法、装置、设备及可读存储介质
CN113254210A (zh) 一种基于云服务的ofd文件签章验证方法、系统及设备
CN117036115A (zh) 合同数据的核验方法、装置和服务器
CN114710333A (zh) 数据传输及校验的方法、系统、计算机设备及存储介质
CN112070470B (zh) 一种年报申报方法、装置、电子设备及存储介质
CN114254991A (zh) 目标对象的提报方法、装置及设备
CN111198986B (zh) 信息发送方法、装置、电子设备及存储介质
CN113221151A (zh) 基于区块链的数据处理方法、装置及存储介质
CN111367634A (zh) 信息处理方法、信息处理装置及终端设备
CN110879835A (zh) 基于区块链的数据处理方法、装置、设备及可读存储介质
CN111833051A (zh) 基于pbft共识的实物抵押数据存储方法及装置
CN114679466B (zh) 区块链网络的共识处理方法、装置、计算机设备和介质
CN112788077A (zh) 数据采集方法、装置、计算机设备和计算机可读存储介质
CN109471790A (zh) 送核参数比对方法及装置、计算机装置及可读存储介质
CN111711537B (zh) 备用主节点列表更新方法、装置及设备
CN112463076B (zh) 一种数据导出方法、计算机设备以及存储介质
CN115361390B (zh) 用于加入区块链网络的方法、计算机存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination