CN111526207A - 数据传输方法及相关设备 - Google Patents

数据传输方法及相关设备 Download PDF

Info

Publication number
CN111526207A
CN111526207A CN202010371561.8A CN202010371561A CN111526207A CN 111526207 A CN111526207 A CN 111526207A CN 202010371561 A CN202010371561 A CN 202010371561A CN 111526207 A CN111526207 A CN 111526207A
Authority
CN
China
Prior art keywords
data
service data
target service
platform
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010371561.8A
Other languages
English (en)
Inventor
邓志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingdee Software China Co Ltd
Original Assignee
Kingdee Software China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingdee Software China Co Ltd filed Critical Kingdee Software China Co Ltd
Priority to CN202010371561.8A priority Critical patent/CN111526207A/zh
Publication of CN111526207A publication Critical patent/CN111526207A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90348—Query processing by searching ordered data, e.g. alpha-numerically ordered data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请实施例公开了一种数据传输方法及相关设备，用于解决发生网络故障或服务器宕机时部分业务数据传输异常而造成数据丢失、数据不一致的技术问题。本申请实施例方法包括：云平台生成业务数据，并向数据平台发送目标业务数据，此过程中，云平台判断目标业务数据是否发送异常，若此时发生服务器宕机、网络波动、丢包、阻塞等网络异常情况，会导致目标业务数据发送异常，则云平台确定目标业务数据发送异常时，会在间隔预设时长之后，重新向数据平台发送目标业务数据，确保目标业务数据可以被接收到，并且数据平台可以对目标业务数据进行重复性校验。因此，数据平台可以接收到完整的业务数据，而不会造成数据丢失，也不会造成数据重复。

Description

数据传输方法及相关设备
技术领域
本申请实施例涉及数据传输领域，具体涉及一种数据传输方法及相关设备。
背景技术
在餐饮系统中，餐饮系统设置有云平台和数据平台，云平台在日常的餐饮业务管理中会生成大量的业务数据，例如在餐饮门店的营业期间生成营业数据，在餐饮门店的财务管理、人事管理过程中生成财务数据或人事管理数据，等等。云平台还用于存储餐饮门店的业务数据，并可以对业务数据进行管理。数据平台主要用于对业务数据进行数据分析，在需要进行数据分析时，数据平台从云平台获取业务数据，云平台可以将业务数据传输给数据平台。
云平台向数据平台传输业务数据的过程中，可能会出现服务器宕机、网络波动、丢包、阻塞或者其他特殊异常情况，进而导致部分业务数据无法传输，数据平台无法接收到完整的业务数据，造成部分数据丢失。
发明内容
本申请实施例提供了一种数据传输方法及相关设备，用于解决发生网络故障时部分业务数据无法传输而造成数据丢失的技术问题。
本申请实施例第一方面提供了一种数据传输方法，所述方法应用于云平台，所述方法包括：
生成业务数据，生成所述业务数据的索引信息；
根据多个所述索引信息建立数据队列，所述数据队列包括多个所述索引信息；
在所述数据队列中确定所述目标索引信息，查找所述目标索引信息对应的目标业务数据；
向数据平台发送所述目标业务数据；
判断所述目标业务数据是否发送异常；
若是，则间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
优选的，所述向数据平台发送所述目标业务数据，包括：
向所述数据平台发送所述目标业务数据及所述目标业务数据的唯一性标识，以使所述数据平台根据所述目标业务数据的唯一性标识判断是否已存储有所述目标业务数据。
优选的，若所述目标业务数据正常发送，则所述方法还包括：
回写所述数据队列，清除所述数据队列中的所述目标索引信息。
优选的，所述在所述数据队列中确定所述目标索引信息，包括：
按照预设的时间点或预设频率，依次在所述数据队列中确定所述目标索引信息。
优选的，所述向数据平台发送所述目标业务数据之后，所述方法还包括：
接收所述数据平台发送的反馈信息，所述反馈信息用于表示数据接收成功或者数据接收失败；
所述判断所述目标业务数据是否发送异常，包括：
根据所述反馈信息判断所述数据平台是否成功接收所述目标业务数据；
若是，则清除所述目标索引信息；
若否，则间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
优选的，所述判断所述目标业务数据是否发送异常，包括：
判断所述数据平台的应用程序接口是否调用超时；
若否，则清除所述目标索引信息；
若是，则间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
本申请实施例第二方面提供了一种数据传输方法，所述方法应用于数据平台，所述方法包括：
接收云平台发送的目标业务数据及所述目标业务数据的唯一性标识；
判断所存储的多个业务数据中是否存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据；
若存在，则向所述云平台发送反馈信息，且不存储所述目标业务数据，所述反馈信息用于表示数据接收成功；
若不存在，则存储所述目标业务数据，并向所述云平台发送所述反馈信息。
本申请实施例第三方面提供了一种云平台，所述云平台包括：
生成单元，用于生成业务数据，生成所述业务数据的索引信息；
建立单元，用于根据多个所述索引信息建立数据队列，所述数据队列包括多个所述索引信息；
查找单元，用于在所述数据队列中确定所述目标索引信息，查找所述目标索引信息对应的目标业务数据；
发送单元，用于向数据平台发送所述目标业务数据；
判断单元，用于判断所述目标业务数据是否发送异常；
所述发送单元还用于当所述目标业务数据发送异常时，间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
优选的，所述发送单元具体用于向所述数据平台发送所述目标业务数据及所述目标业务数据的唯一性标识，以使所述数据平台根据所述目标业务数据的唯一性标识判断是否已存储有所述目标业务数据。
优选的，所述云平台还包括：
清除单元，用于当所述目标业务数据正常发送时，回写所述数据队列，清除所述数据队列中的所述目标索引信息。
优选的，所述查找单元具体用于按照预设的时间点或预设频率，依次在所述数据队列中确定所述目标索引信息。
优选的，所述云平台还包括：
接收单元，用于接收所述数据平台发送的反馈信息，所述反馈信息用于表示数据接收成功或者数据接收失败；
所述判断单元具体用于根据所述反馈信息判断所述数据平台是否成功接收所述目标业务数据；
所述清除单元具体用于当所述数据平台成功接收所述目标业务数据时，清除所述目标索引信息；
所述发送单元具体用于当所述数据平台未成功接收所述目标业务数据时，间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
优选的，所述判断单元具体用于判断所述数据平台的应用程序接口是否调用超时；
所述清除单元具体用于当所述数据平台的应用程序接口未调用超时时，清除所述目标索引信息；
所述发送单元具体用于当所述数据平台的应用程序接口调用超时时，间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
本申请实施例第四方面提供了一种数据平台，所述数据平台包括：
接收单元，用于接收云平台发送的目标业务数据及所述目标业务数据的唯一性标识；
判断单元，用于判断所存储的多个业务数据中是否存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据；
发送单元，用于当存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据时，向所述云平台发送反馈信息，且不存储所述目标业务数据，所述反馈信息用于表示数据接收成功；
存储单元，用于当不存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据时，存储所述目标业务数据；
所述发送单元还用于当不存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据时，向所述云平台发送所述反馈信息。
本申请实施例第五方面提供了一种云平台，包括：
处理器、存储器、输入输出设备；
所述处理器与所述存储器、输入输出设备相连；
所述处理器用于生成业务数据，生成所述业务数据的索引信息，根据多个所述索引信息建立数据队列，所述数据队列包括多个所述索引信息，在所述数据队列中确定所述目标索引信息，查找所述目标索引信息对应的目标业务数据；
所述输入输出设备用于向数据平台发送所述目标业务数据；
所述处理器还用于判断所述目标业务数据是否发送异常；
所述输入输出设备还用于当所述目标业务数据发送异常时，间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
本申请实施例第六方面提供了一种计算机存储介质，计算机存储介质中存储有指令，该指令在计算机上执行时，使得计算机执行前述第一方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，云平台生成业务数据，并向数据平台发送目标业务数据，此过程中，云平台判断目标业务数据是否发送异常，若此时发生服务器宕机、网络波动、丢包、阻塞等网络异常情况，会导致目标业务数据发送异常，则云平台确定目标业务数据发送异常时，会在间隔预设时长之后，重新向数据平台发送目标业务数据，确保目标业务数据可以被接收到，因此，数据平台可以接收到完整的业务数据，而不会造成数据丢失。同时，本申请实施例的方法开发使用非常方便，成本低廉，不用耗费过多的精力和成本去集成第三方的框架或者组件，适用于解决中小企业分布式系统数据一致性问题。
附图说明
图1为本申请实施例中网络框架示意图；
图2为本申请实施例中数据传输方法一个流程示意图；
图3为本申请实施例中数据传输方法另一流程示意图；
图4为本申请实施例中云平台一个结构示意图；
图5为本申请实施例中云平台另一结构示意图；
图6为本申请实施例中数据平台另一结构示意图；
图7为本申请实施例中云平台另一结构示意图。
具体实施方式
本申请实施例提供了一种数据传输方法及相关设备，用于解决发生网络故障时部分业务数据无法传输而造成数据丢失的技术问题。
请参阅图1，本申请实施例中网络框架包括：
云平台101、数据平台102及网络103。
其中，云平台及数据平台可以是服务器、终端或者其他可以进行数据处理的计算机设备。
云平台和数据平台之间通过网络103建立连接，并通过网络103进行数据交互。网络103一般为无线网络，也可以是有线网络，如果是无线网络，其类型可以为蜂窝状无线网络，或者是WiFi网络，或者是其他类型的无线网络。如果是有线网络，一般的网络形式为光纤网络。
云平台用于对日常业务活动进行管理，在日常的业务管理过程中会生成大量的业务数据，并可以对业务数据进行存储、更新、清除以及对业务数据执行其他操作。例如云平台可用于对餐饮业务、零售业务以及其他经营业务进行管理，工作人员可借助云平台生成大量的业务数据，如生成营业数据、财务管理数据、人事管理数据以及其他业务数据。
云平台生成业务数据之后，若数据平台需要获取该业务数据，则云平台可将该业务数据传输给数据平台，数据平台利用业务数据进行数据分析。
下面结合图1的网络框架，对本申请实施例中的数据传输方法进行描述：
请参阅图2，本申请实施例中数据传输方法一个实施例包括：
201、生成业务数据，生成业务数据的索引信息；
本实施例中，云平台可以在业务管理过程中生成大量的业务数据。以餐饮系统为例，顾客在点餐、消费以及支付的过程中，通过终端向云平台发送数据，云平台根据顾客发送的数据生成订单信息、支付信息以及顾客身份信息等业务数据。同样的，餐饮系统的工作人员也可以在终端上录入经营过程中产生的财务数据、人事管理数据等数据，然后云平台根据工作人员录入的数据生成对应的业务数据。
为便于业务数据的查找，云平台可以生成业务数据的索引信息，该索引信息与业务数据关联，索引信息指向业务数据，根据索引信息即可查找到对应的业务数据。
202、根据多个索引信息建立数据队列；
本实施例中，为便于对多个索引信息进行管理，云平台可以建立数据队列，也就是将多个索引信息组建成数据队列，数据队列包括了多个索引信息。其中，将多个索引信息组建成数据队列的方式可以是，若索引信息包括业务数据的地址信息，则可以根据地址信息所表示的存储位置来依次排列地址信息，进而得到多个地址信息组成的数据队列；若索引信息包括业务数据的时间信息，则可以按照时间顺序依次排列时间信息；若索引信息包括流水号、序列号等唯一性标识，则可以按照唯一性标识的顺序依次排列唯一性标识，得到多个唯一性标识组成的数据队列。
通过建立数据队列，可以有序地处理队列中的索引信息，同时也方便查找特定的索引信息。
本实施例中，根据索引信息建立数据队列的方式是任意的，可以根据具体的实际情况组建数据队列，本实施例对该方式不作限定。
203、在数据队列中确定目标索引信息，查找目标索引信息对应的目标业务数据；
当云平台需要调取特定的业务数据时，可以在数据队列包括的多个索引信息中确定需要调取的目标索引信息，并在多个业务数据中查找该目标索引信息对应的目标业务数据，从而可以调取所需的业务数据。
204、向数据平台发送目标业务数据；
云平台调取到目标业务数据之后，向数据平台发送该目标业务数据，以便于数据平台可以根据目标业务数据进行数据分析。
205、判断目标业务数据是否发送异常，若是，则执行步骤205；
由于数据大量传输的过程中会偶尔发生服务器宕机、网络波动以及网络不稳定造成的数据丢包、网络阻塞等网络异常情况，因此，云平台需要判断目标业务数据是否发送异常，并在确定发送异常之后采取进一步的补救措施。若目标业务数据发送异常，则执行步骤205。
206、间隔预设时长之后，向数据平台重新发送目标业务数据；
若确定目标业务数据发送异常，则云平台在间隔预设时长之后，重新向数据平台发送该目标业务数据，以确保数据平台可以接收到目标业务数据。
若确定目标业务数据可以正常发送，表明此时网络状态稳定且正常，则云平台可以进行下一个业务数据的发送。
本实施例中，云平台确定目标业务数据发送异常时，会在间隔预设时长之后，重新向数据平台发送目标业务数据，确保目标业务数据可以被接收到，因此，数据平台可以接收到完整的业务数据，而不会造成数据丢失。同时，本申请实施例的方法开发使用非常方便，成本低廉，不用耗费过多的精力和成本去集成第三方的框架或者组件，适用于解决中小企业分布式系统数据一致性问题。
下面将在前述图2所示实施例的基础上，进一步地详细描述本申请实施例。请参阅图3，本申请实施例中数据传输方法另一实施例包括：
301、云平台生成业务数据，生成业务数据的索引信息；
本步骤所执行的操作与前述图2所示实施例中的步骤201所执行的操作类似。其中，索引信息是指具有指向性作用的信息。例如，索引信息可以是地址信息，该地址信息指向业务数据的存储地址，云平台根据业务数据的地址信息即可确定存储业务数据的地址，进而调取到地址信息对应的业务数据。
此外，索引信息也可以是业务数据的时间信息，该时间信息可以指向业务数据的存储时间或生成时间，从而云平台可以根据时间信息查找到对应的业务数据。
索引信息还可以是云平台生成的唯一性标识，该唯一性标识可以标识唯一的一个业务数据，即一个唯一性标识仅对应一个业务数据。唯一性标识可以是序列号或流水号，只要是能够唯一地标识某一个业务数据的信息即可，唯一性标识的具体形式不作限定。
可以理解的是，索引信息还可以包括多种具有指向性作用的信息，索引信息的具体形式不作限定。此外，索引信息可以只包括唯一性标识，也可以包括唯一性标识、地址信息、时间信息以及其他多种索引信息，具体此处不作限定。
302、云平台根据多个索引信息建立数据队列；
本步骤所执行的操作与前述图2所示实施例中的步骤202所执行的操作类似，此处不再赘述。
303、云平台在数据队列中确定目标索引信息，查找目标索引信息对应的目标业务数据；
本实施例中，若通过数据队列的方式来管理索引信息，则当云平台需要获取业务数据时，可以在数据队列的多个索引信息中确定目标索引信息，并查找到目标索引信息对应的目标业务数据。
云平台确定目标索引信息的方式可以是，云平台按照预设的时间点或预设频率，依次在数据队列中确定目标索引信息。例如，可设置云平台确定目标索引信息的时间点，则云平台在每次到达预设的时间点时在数据队列中确定目标索引信息；或者设置云平台每1分钟确定目标索引信息，则云平台将每隔1分钟在数据队列中确定目标索引信息。
若云平台需要发送多个目标业务数据，则需要确定多个目标索引信息。云平台可依次在数据队列中确定目标索引信息，例如可以根据目标索引信息的加入时间、生成时间或者排列顺序等信息来依次地确定目标索引信息。目标索引信息的加入时间是指目标索引信息加入到数据队列的时间，生成时间是指云平台生成目标索引信息的时间。
本实施例中，业务数据可以被存储在数据库中，该数据库可以是SQL server数据库或者其他关系型数据库。当云平台需要查找目标索引信息对应的目标业务数据时，可以在数据库中查找对应的目标业务数据。
304、云平台向数据平台发送目标业务数据及目标业务数据的唯一性标识；
云平台获取到目标业务数据之后，向数据平台发送该目标业务数据，从而数据平台可以对接收到的数据进行存储，并利用接收到的数据进行数据分析。本实施例中，云平台发送的目标业务数据携带有目标业务数据的唯一性标识，数据平台可以根据接收到的目标业务数据的唯一性标识判断是否已存储有目标业务数据。
305、数据平台判断所存储的多个业务数据中是否存在唯一性标识与目标业务数据的唯一性标识相同的业务数据，若存在，则执行步骤306；若不存在，则执行步骤307；
本实施例中，云平台向数据平台传输的业务数据可以携带有每一个业务数据的唯一性标识，因此，数据平台保存有每个业务数据对应的唯一性标识。在数据平台接收到目标业务数据及其唯一性标识之后，判断所存储的多个业务数据中是否存在唯一性标识与目标业务数据的唯一性标识相同的业务数据，也就是判断是否有某个业务数据的唯一性标识与目标业务数据的唯一性标识相同。若存在相同的唯一性标识，则表明已存储了目标业务数据；若没有相同的唯一性标识，则表明数据平台没有存储该目标业务数据。
306、数据平台向云平台发送反馈信息，且不存储目标业务数据；
若数据平台确定所保存的多个唯一性标识中有某个唯一性标识与目标业务数据的唯一性标识相同，表明数据平台已存储了目标业务数据，此时，数据平台也就无需再次存储接收到的目标业务数据，从而避免数据重复。数据平台只需向云平台发送反馈信息，反馈信息表示数据平台成功接收到目标业务数据。
307、数据平台存储目标业务数据，并向云平台发送反馈信息；
若数据平台确定不存在唯一性标识与目标业务数据的唯一性标识相同的业务数据，表明数据平台在此之前未存储该目标业务数据，则数据平台需要存储接收到的目标业务数据，以用于数据分析。并且，可以向云平台发送反馈信息，以表示接收到目标业务数据。
308、云平台接收数据平台发送的反馈信息；
本实施例中，云平台向数据平台发送目标业务数据之后，无论目标业务数据是否发送正常，数据平台均向云平台发送反馈信息，该反馈信息用于表示数据接收成功或者数据接收失败。例如，在上述步骤304至307中，数据平台接收到目标业务数据之后，向云平台发送数据接收成功的反馈信息。
同样的，若由于服务器宕机或网络故障等异常情况导致数据平台无法接收到目标业务数据，则数据平台向云平台发送数据接收失败的反馈信息。
309、云平台判断目标业务数据是否发送异常，若是，则执行步骤310；若否，则执行步骤311；
云平台向数据平台发送目标业务数据之后，可以判断目标业务数据是否发送异常。
本实施例中，云平台判断目标业务数据是否发送异常的方式可以是，云平台根据反馈信息判断数据平台是否成功接收目标业务数据，若云平台接收到的反馈信息表示数据接收成功，则云平台可以确定数据平台成功接收到目标业务数据；反之，若数据平台向云平台发送数据接收失败的反馈信息，则云平台可以确定目标业务数据发送异常。
云平台在向数据平台发送目标业务数据时，可以调用数据平台的应用程序接口(application programming interface，API)，通过数据平台的API接口将目标业务数据传输至数据平台。若调用API接口的过程中发生服务器宕机或网络波动等故障情况，会造成API接口调用超时，即调用API接口的时长超出了预设时长。
因此，本实施例中，云平台判断目标业务数据是否发送异常的方式还可以是，判断数据平台的API接口是否调用超时。若API接口调用超时，表明网络出现故障，目标业务数据无法正常发送；若API接口调用正常，表明网络状态良好，目标业务数据可以正常发送。
当云平台可以成功调用数据平台的API接口时，数据平台会向云平台发送API接口调用成功的信息，若云平台接收不到该信息，表明此时网络状况出现异常，该信息受到网络异常的影响而无法成功接收。因此，云平台判断目标业务数据是否发送异常的方式还可以是，云平台判断是否接收到了数据平台发送的API接口调用成功的信息，若接收到该信息，表明网络状态良好，目标业务数据可以正常发送；若接收不到该信息，表明此时网络状况出现异常，目标业务数据无法正常发送。
本实施例中，云平台判断目标业务数据是否发送异常还可以有其他方式，具体此处不作限定。
310、云平台间隔预设时长之后，向数据平台重新发送目标业务数据；
若云平台根据数据平台发送的反馈信息确定目标业务数据发送异常，或者云平台确定数据平台的API接口调用超时，表明目标业务数据发送异常，则云平台可间隔预设时长之后，向数据平台重新发送目标业务数据。
例如，若目标业务数据发送异常，则每间隔1秒钟发送一次目标业务数据，直至成功发送为止，即确定发送异常之后，间隔1秒钟进行首次重发；若首次重发仍未发送成功，则间隔1秒钟进行第2次重发；若第2次重发仍未发送成功，则间隔1秒钟进行第3次重发，以此类推，直至发送成功为止，例如若第2次重发便可成功发送目标业务数据，则停止；若第1次重发便可成功发送，则停止。
本实施例中，可以设置重发次数的上限为3次，即若第3次重发仍未发送成功，则停止，等待网络恢复正常以及恢复稳定时，再重新发送目标业务数据，这样可以避免系统资源的浪费。
311、云平台回写数据队列，清除数据队列中的目标索引信息；
本实施例中，若云平台根据数据平台发送的反馈信息确定目标业务数据已正常发送，或者数据平台的API接口可以正常调用，表明目标业务数据发送正常，则云平台可以继续发送下一个业务数据，也可以清除目标业务数据对应的目标索引信息。
若云平台采用数据队列来管理索引信息，则清除目标索引信息时，云平台回写数据队列，即对数据队列进行更新，清除数据队列中的目标索引信息。清除目标索引信息的目的是，控制数据队列的数据量，节约存储空间。
本实施例中，若云平台在回写数据队列的过程中发生服务器宕机、网络波动等网络异常情况，导致数据队列中的目标索引信息未被清除，从而云平台认为目标索引信息对应的目标业务数据未被成功发送，此时，云平台会默认地继续向数据平台发送目标业务数据，若数据平台仍然存储云平台继续发送的目标业务数据，则目标业务数据会出现重复。因此，数据平台可以根据接收到的目标业务数据的唯一性标识来判断是否已存储过目标业务数据，若确定已存储过，则无需再次存储接收到的目标业务数据，从而避免了数据重复。
本实施例中，若云平台采用数据队列可以使用队列管理工具来管理索引信息，队列管理工具可以是队列消费服务、Celery工具、QueueExplorer工具或者其他队列管理工具。利用队列消费服务等工具可以在数据队列中查找目标索引信息、清除目标索引信息或者执行其他队列管理的操作。其中，Celery是一个用python语言编写的简单、灵活、可靠的用来处理大量信息的队列管理工具，QueueExplorer是微软消息队列(Microsoft messagequeue，MSMQ)中用于进行消息队列管理的工具。
上面对本申请实施例中的数据传输方法进行了描述，下面对本申请实施例中的云平台进行描述，请参阅图4，本申请实施例中云平台一个实施例包括：
生成单元401，用于生成业务数据，生成业务数据的索引信息；
建立单元402，用于根据多个所述索引信息建立数据队列，所述数据队列包括多个所述索引信息；
查找单元403，用于在所述数据队列中确定所述目标索引信息，查找目标索引信息对应的目标业务数据；
发送单元404，用于向数据平台发送目标业务数据；
判断单元405，用于判断目标业务数据是否发送异常；
发送单元404还用于当目标业务数据发送异常时，间隔预设时长之后，向数据平台重新发送目标业务数据。
本实施例中，云平台中各单元所执行的操作与前述图2所示实施例中描述的类似，此处不再赘述。
本实施例中，生成单元401生成业务数据，发送单元404向数据平台发送目标业务数据，此过程中，判断单元405判断目标业务数据是否发送异常，若此时发生服务器宕机、网络波动、丢包、阻塞等网络异常情况，会导致目标业务数据发送异常，则发送单元404确定目标业务数据发送异常时，会在间隔预设时长之后，重新向数据平台发送目标业务数据，确保目标业务数据可以被接收到，因此，数据平台可以接收到完整的业务数据，而不会造成数据丢失。
请参阅图5，本申请实施例中云平台一个实施例包括：
生成单元501，用于生成业务数据，生成业务数据的索引信息；
建立单元502，用于根据多个所述索引信息建立数据队列，所述数据队列包括多个所述索引信息；
查找单元503，用于在所述数据队列中确定所述目标索引信息，查找目标索引信息对应的目标业务数据；
发送单元504，用于向数据平台发送目标业务数据；
判断单元505，用于判断目标业务数据是否发送异常；
发送单元504还用于当目标业务数据发送异常时，间隔预设时长之后，向数据平台重新发送目标业务数据。
本实施例的一种优选实施方式中，发送单元504具体用于向数据平台发送目标业务数据及目标业务数据的唯一性标识，以使数据平台根据目标业务数据的唯一性标识判断是否已存储有目标业务数据。
本实施例另一优选实施方式中，云平台还包括：
清除单元506，用于当目标业务数据正常发送时，回写数据队列，清除数据队列中的目标索引信息。
本实施例另一优选实施方式中，查找单元503具体用于按照预设的时间点或预设频率，依次在数据队列中确定目标索引信息。
本实施例另一优选实施方式中，云平台还包括：
接收单元507，用于接收数据平台发送的反馈信息，反馈信息用于表示数据接收成功或者数据接收失败；
判断单元505具体用于根据反馈信息判断数据平台是否成功接收目标业务数据；
清除单元506具体用于当数据平台成功接收目标业务数据时，清除目标索引信息；
发送单元504具体用于当数据平台未成功接收目标业务数据时，间隔预设时长之后，向数据平台重新发送目标业务数据。
本实施例另一优选实施方式中，判断单元505具体用于判断数据平台的应用程序接口是否调用超时；
清除单元506具体用于当数据平台的应用程序接口未调用超时时，清除目标索引信息；
发送单元504具体用于当数据平台的应用程序接口调用超时时，间隔预设时长之后，向数据平台重新发送目标业务数据。
本实施例中，云平台中各单元所执行的操作与前述图3所示实施例中描述的类似，此处不再赘述。
请参阅图6，本申请实施例中数据平台一个实施例包括：
接收单元601，用于接收云平台发送的目标业务数据及目标业务数据的唯一性标识；
判断单元602，用于判断所存储的多个业务数据中是否存在唯一性标识与目标业务数据的唯一性标识相同的业务数据；
发送单元603，用于当存在唯一性标识与目标业务数据的唯一性标识相同的业务数据时，向云平台发送反馈信息，且不存储目标业务数据，反馈信息用于表示数据接收成功；
存储单元604，用于当不存在唯一性标识与目标业务数据的唯一性标识相同的业务数据时，存储目标业务数据；
发送单元603还用于当不存在唯一性标识与目标业务数据的唯一性标识相同的业务数据时，向云平台发送反馈信息。
本实施例中，数据平台中各单元所执行的操作与前述图3所示实施例中描述的类似，此处不再赘述。
下面对本申请实施例中的云平台进行描述，请参阅图7，本申请实施例中云平台一个实施例包括：
该云平台700可以包括一个或一个以上中央处理器(central processing units，CPU)701和存储器705，该存储器705中存储有一个或一个以上的应用程序或数据。
其中，存储器705可以是易失性存储或持久存储。存储在存储器705的程序可以包括一个或一个以上模块，每个模块可以包括对云平台中的一系列指令操作。更进一步地，中央处理器701可以设置为与存储器705通信，在云平台700上执行存储器705中的一系列指令操作。
云平台700还可以包括一个或一个以上电源702，一个或一个以上有线或无线网络接口703，一个或一个以上输入输出接口704，和/或，一个或一个以上操作系统，例如WindowsS erverTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器701可以执行前述图2至图3所示实施例中云平台所执行的操作，具体此处不再赘述。
本申请实施例还提供了一种计算机存储介质，其中一个实施例包括：该计算机存储介质中存储有指令，该指令在计算机上执行时，使得该计算机执行前述图2至图3所示实施例中云平台所执行的操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种数据传输方法，其特征在于，所述方法应用于云平台，所述方法包括：
生成业务数据，生成所述业务数据的索引信息；
根据多个所述索引信息建立数据队列，所述数据队列包括多个所述索引信息；
在所述数据队列中确定所述目标索引信息，查找所述目标索引信息对应的目标业务数据；
向数据平台发送所述目标业务数据；
判断所述目标业务数据是否发送异常；
若是，则间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
2.根据权利要求1所述的数据传输方法，其特征在于，所述向数据平台发送所述目标业务数据，包括：
向所述数据平台发送所述目标业务数据及所述目标业务数据的唯一性标识，以使所述数据平台根据所述目标业务数据的唯一性标识判断是否已存储有所述目标业务数据。
3.根据权利要求1所述的数据传输方法，其特征在于，若所述目标业务数据正常发送，则所述方法还包括：
回写所述数据队列，清除所述数据队列中的所述目标索引信息。
4.根据权利要求1所述的数据传输方法，其特征在于，所述在所述数据队列中确定所述目标索引信息，包括：
按照预设的时间点或预设频率，依次在所述数据队列中确定所述目标索引信息。
5.根据权利要求1至4任一项所述的数据传输方法，其特征在于，所述向数据平台发送所述目标业务数据之后，所述方法还包括：
接收所述数据平台发送的反馈信息，所述反馈信息用于表示数据接收成功或者数据接收失败；
所述判断所述目标业务数据是否发送异常，包括：
根据所述反馈信息判断所述数据平台是否成功接收所述目标业务数据；
若是，则清除所述目标索引信息；
若否，则间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
6.根据权利要求1至4任一项所述的数据传输方法，其特征在于，所述判断所述目标业务数据是否发送异常，包括：
判断所述数据平台的应用程序接口是否调用超时；
若否，则清除所述目标索引信息；
若是，则间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
7.一种数据传输方法，其特征在于，所述方法应用于数据平台，所述方法包括：
接收云平台发送的目标业务数据及所述目标业务数据的唯一性标识；
判断所存储的多个业务数据中是否存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据；
若存在，则向所述云平台发送反馈信息，且不存储所述目标业务数据，所述反馈信息用于表示数据接收成功；
若不存在，则存储所述目标业务数据，并向所述云平台发送所述反馈信息。
8.一种云平台，其特征在于，所述云平台包括：
生成单元，用于生成业务数据，生成所述业务数据的索引信息；
建立单元，用于根据多个所述索引信息建立数据队列，所述数据队列包括多个所述索引信息；
查找单元，用于在所述数据队列中确定所述目标索引信息，查找所述目标索引信息对应的目标业务数据；
发送单元，用于向数据平台发送所述目标业务数据；
判断单元，用于判断所述目标业务数据是否发送异常；
所述发送单元还用于当所述目标业务数据发送异常时，间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
9.一种数据平台，其特征在于，所述数据平台包括：
接收单元，用于接收云平台发送的目标业务数据及所述目标业务数据的唯一性标识；
判断单元，用于判断所存储的多个业务数据中是否存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据；
发送单元，用于当存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据时，向所述云平台发送反馈信息，且不存储所述目标业务数据，所述反馈信息用于表示数据接收成功；
存储单元，用于当不存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据时，存储所述目标业务数据；
所述发送单元还用于当不存在唯一性标识与所述目标业务数据的唯一性标识相同的业务数据时，向所述云平台发送所述反馈信息。
10.一种云平台，其特征在于，包括：
处理器、存储器、输入输出设备；
所述处理器与所述存储器、输入输出设备相连；
所述处理器用于生成业务数据，生成所述业务数据的索引信息，根据多个所述索引信息建立数据队列，所述数据队列包括多个所述索引信息，在所述数据队列中确定所述目标索引信息，查找所述目标索引信息对应的目标业务数据；
所述输入输出设备用于向数据平台发送所述目标业务数据；
所述处理器还用于判断所述目标业务数据是否发送异常；
所述输入输出设备还用于当所述目标业务数据发送异常时，间隔预设时长之后，向所述数据平台重新发送所述目标业务数据。
11.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如权利要求1至6中任一项所述的方法。
CN202010371561.8A 2020-05-06 2020-05-06 数据传输方法及相关设备 Pending CN111526207A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010371561.8A CN111526207A (zh) 2020-05-06 2020-05-06 数据传输方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010371561.8A CN111526207A (zh) 2020-05-06 2020-05-06 数据传输方法及相关设备

Publications (1)

Publication Number Publication Date
CN111526207A true CN111526207A (zh) 2020-08-11

Family

ID=71906988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010371561.8A Pending CN111526207A (zh) 2020-05-06 2020-05-06 数据传输方法及相关设备

Country Status (1)

Country Link
CN (1) CN111526207A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112445640A (zh) * 2020-10-19 2021-03-05 苏州浪潮智能科技有限公司 一种服务器宕机故障定位隔离系统及方法
CN117033061A (zh) * 2023-10-07 2023-11-10 天津渤海物联科技股份有限公司 一种产量数据的修正方法、装置、设备及存储介质
WO2024087206A1 (zh) * 2022-10-28 2024-05-02 深圳市锐明技术股份有限公司 数据处理系统及其数据上传方法和数据处理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656726A (zh) * 2009-09-21 2010-02-24 中兴通讯股份有限公司 一种数据传输方法、服务器和数据传输系统
CN103248452A (zh) * 2012-02-10 2013-08-14 宇龙计算机通信科技(深圳)有限公司 数据发送装置、数据接收装置、终端和数据传输方法
CN103560976A (zh) * 2013-11-20 2014-02-05 迈普通信技术股份有限公司 一种控制数据发送的方法、装置及系统
CN106209764A (zh) * 2016-05-27 2016-12-07 北京畅游天下网络技术有限公司 一种基于udp协议的数据传输方法及系统
CN108076085A (zh) * 2016-11-10 2018-05-25 北京国双科技有限公司 一种数据传输的方法及数据传输装置
CN108595121A (zh) * 2018-04-17 2018-09-28 湖北文理学院 数据存储方法和装置
CN110110006A (zh) * 2019-04-15 2019-08-09 平安普惠企业管理有限公司 数据管理方法及相关产品
CN110324322A (zh) * 2019-06-18 2019-10-11 中国南方电网有限责任公司 数据传输方法、装置、计算机设备
CN110572421A (zh) * 2018-06-05 2019-12-13 北京京东尚科信息技术有限公司 数据传输方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656726A (zh) * 2009-09-21 2010-02-24 中兴通讯股份有限公司 一种数据传输方法、服务器和数据传输系统
CN103248452A (zh) * 2012-02-10 2013-08-14 宇龙计算机通信科技(深圳)有限公司 数据发送装置、数据接收装置、终端和数据传输方法
CN103560976A (zh) * 2013-11-20 2014-02-05 迈普通信技术股份有限公司 一种控制数据发送的方法、装置及系统
CN106209764A (zh) * 2016-05-27 2016-12-07 北京畅游天下网络技术有限公司 一种基于udp协议的数据传输方法及系统
CN108076085A (zh) * 2016-11-10 2018-05-25 北京国双科技有限公司 一种数据传输的方法及数据传输装置
CN108595121A (zh) * 2018-04-17 2018-09-28 湖北文理学院 数据存储方法和装置
CN110572421A (zh) * 2018-06-05 2019-12-13 北京京东尚科信息技术有限公司 数据传输方法和系统
CN110110006A (zh) * 2019-04-15 2019-08-09 平安普惠企业管理有限公司 数据管理方法及相关产品
CN110324322A (zh) * 2019-06-18 2019-10-11 中国南方电网有限责任公司 数据传输方法、装置、计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112445640A (zh) * 2020-10-19 2021-03-05 苏州浪潮智能科技有限公司 一种服务器宕机故障定位隔离系统及方法
WO2024087206A1 (zh) * 2022-10-28 2024-05-02 深圳市锐明技术股份有限公司 数据处理系统及其数据上传方法和数据处理方法
CN117033061A (zh) * 2023-10-07 2023-11-10 天津渤海物联科技股份有限公司 一种产量数据的修正方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111526207A (zh) 数据传输方法及相关设备
US11681697B2 (en) Method and device for interface operation and maintenance
CN110730246A (zh) 一种微服务架构下的分布式链路跟踪方法
CN107992415B (zh) 一种交易系统的故障定位和分析方法及相关服务器
US8843940B2 (en) Centralized audit and error handling
CN111277639A (zh) 一种保持数据一致性的方法和装置
CN110796545A (zh) 一种区块链交易的批处理方法、设备和存储介质
CN112288577B (zh) 分布式服务的交易处理方法、装置、电子设备和介质
US10176069B2 (en) Quorum based aggregator detection and repair
CN114513762A (zh) 一种业务处理方法、装置、电子设备及计算机可读介质
CN107885634B (zh) 监控中异常信息的处理方法和装置
US20170222893A1 (en) Distributed Business Transaction Path Network Metrics
CN112783629A (zh) 服务调用方法、装置、电子设备及存储介质
CN115951923B (zh) 订阅事件管理方法、显示系统、设备和存储介质
CN113422739B (zh) 数据传输方法、发送端及数据传输系统
CN113794620B (zh) 消息发送方法、装置、设备、系统与存储介质
CN115037653A (zh) 业务流量监控方法、装置、电子设备和存储介质
CN110545296A (zh) 一种日志数据获取方法、装置及其设备
CN112925623A (zh) 任务处理方法、装置、电子设备和介质
CN112134764A (zh) 测试环境连通性的确定方法及装置
CN109801052B (zh) 一种转账方法以及支付平台
WO2018121353A1 (zh) 数据通路的测试方法、测试服务器及测试系统
CN110430256B (zh) 推送交易消息报文的方法、装置和计算机系统
CN113762677B (zh) 一种业务处理方法和装置
CN106547679B (zh) 脚本管理的方法和脚本管理平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200811

RJ01 Rejection of invention patent application after publication