CN112511507A - 一种数据处理装置及数据处理方法 - Google Patents

一种数据处理装置及数据处理方法 Download PDF

Info

Publication number
CN112511507A
CN112511507A CN202011288452.6A CN202011288452A CN112511507A CN 112511507 A CN112511507 A CN 112511507A CN 202011288452 A CN202011288452 A CN 202011288452A CN 112511507 A CN112511507 A CN 112511507A
Authority
CN
China
Prior art keywords
data
verification
json file
operation platform
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011288452.6A
Other languages
English (en)
Inventor
方达通
王子涛
羊祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Medical Union Co ltd
Original Assignee
Wuhan Medical Union Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Medical Union Co ltd filed Critical Wuhan Medical Union Co ltd
Priority to CN202011288452.6A priority Critical patent/CN112511507A/zh
Publication of CN112511507A publication Critical patent/CN112511507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供一种数据处理装置及数据处理方法，装置包括前置系统、运营平台和后台核心系统；前置系统，用于收集每一个机构的数据，对每一个机构的数据进行格式校验，格式校验通过后，生成每一个机构的json文件；以及对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台；运营平台，用于读取每一个机构的加密后的json文件，对其进行完整性校验，当完整性校验通过时，对其进行解密；还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。本发明能够实现数据的自动上传、数据自动校验以及加密等处理，实现了数据的自动化处理，相比人工处理，提高了效率。

Description

一种数据处理装置及数据处理方法
技术领域
本发明涉及数据处理领域，更具体地，涉及一种数据处理装置及数据处理方法。
背景技术
在会计或者保险行业，需要对出账信息进行校验审核，将校验审核通过的数据上传到后台进行保存。
目前传统的方式是原来在每次出账后，需要工作人员手工将账目信息上传至甲方服务器，因为数据量巨大，人力无法胜任，并且效率也很低下。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理装置，包括前置系统、运营平台和后台核心系统；
所述前置系统，用于收集每一个机构的数据，对每一个机构的数据进行格式校验，格式校验通过后，生成每一个机构的json文件；以及对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台；
所述运营平台，用于读取每一个机构的加密后的json文件，对其进行完整性校验，当完整性校验通过时，对其进行解密；还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。
在上述技术方案的基础上，本发明实施例还可以作出如下改进。
作为一种可能的实施方式，所述前置还用于：
在对每一个机构的数据进行格式校验后，向运营平台发送数据校验通知，所述数据校验通知为数据校验成功或者数据校验失败；
当数据校验失败时，所述数据校验通知中还包括本次校验失败的数据的位置和校验失败的详细原因。
作为一种可能的实施方式，所述前置系统对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台包括：
根据前置系统的当前时间计算出加密密钥，对每一个机构的json文件进行加密，且根据加密密钥计算出对应的MD5码，将加密后的json文件通过运营平台的静态资源接口上传至运营平台的静态资源中；
当上传成功后，向运营平台发送通知消息，所述通知消息中包括前置系统的终端唯一标识码、上传的总金额和总笔数、文件的MD5码和上传的文件名称。
作为一种可能的实施方式，所述所述运营平台，用于读取每一个机构的加密后的json文件，对其进行完整性校验包括：
当运营平台接收到所述前置系统发送的通知消息时，从静态资源目录处通过文件名称获取json文件，并计算所述json文件的MD5码；
将计算出的MD5码与所述通知消息中的MD5码进行对比，以对文件进行完整性校验，且对完整性校验通过后，将json文件移动到临时目录中。
作为一种可能的实施方式，所述运营平台还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统包括：
对解密后的json文件进行解析，解析出总金额和总笔数；
将从json文件中解析出的总金额和总笔数与所述通知消息中的总金额和总笔数进行校验，校验通过后，将json文件的数据入库；
对入库的数据进行多轮校验，当多轮校验均通过时，将入库数据的状态标记为有效状态；
将标记为有效状态的数据发送给后台核心系统。
作为一种可能的实施方式，所述运营平台通过预约发送模式或立刻发送模式将标记为有效状态的数据发送给后台核心系统。
作为一种可能的实施方式，所述运营平台通过预约发送模式或立刻发送模式将标记为有效状态的数据发送给后台核心系统包括：
生成一个排列队列，将需要发送的数据存储于排列队列中；
若为立刻发送模式，则将排列队列中所有的数据放到redis的发送队列中，调用异步线程从发送队列中取出数据逐条发送给后台核心系统；
若为预约发送模式，则设置预约发送时间，从排列队列中取出所有还未发送且预约发送时间小于当前时间的数据，并存储于发送队列中，调用异步线程从发送队列中取出数据逐条发送给后台核心系统。
作为一种可能的实施方式，所述运营平台，还用于：
当向所述后台核心系统发送的数据量达到设定的阈值量时，则暂停发送，直到等到所述后台核心系统发送的再次发送数据的消息时，启动数据的再次发送。
作为一种可能的实施方式，所述后台核心系统还用于：
根据数据生成统计报表，当统计报表的数据条数超出预设值，将统计报表转换成excel格式供下载。
根据本发明的第二方面，提供一种数据处理方法，包括：
前置系统收集每一个机构的数据，对每一个机构的数据进行格式校验，格式校验通过后，生成每一个机构的json文件；以及对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台；
运营平台读取每一个机构的加密后的json文件，对其进行完整性校验，当完整性校验通过时，对其进行解密；还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。
本发明实施例提供的一种数据处理装置和数据处理方法，装置包括前置系统、运营平台和后台核心系统；前置系统，用于收集每一个机构的数据，对每一个机构的数据进行格式校验，格式校验通过后，生成每一个机构的json文件；以及对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台；运营平台，用于读取每一个机构的加密后的json文件，对其进行完整性校验，当完整性校验通过时，对其进行解密；还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。本发明能够实现数据的自动上传、数据自动校验以及加密等处理，实现了数据的自动化处理，相比人工处理，提高了效率。
附图说明
图1是本发明实施例提供的一种数据处理装置结构图；
图2是本发明实施例提供的一种数据处理方法流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1是本发明实施例提供的一种数据处理装置结构图，如图1所示，数据处理装置包括前置系统、运营平台和后台核心系统。
前置系统，用于收集每一个机构的数据，对每一个机构的数据进行格式校验，格式校验通过后，生成每一个机构的json文件；以及对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台；运营平台，用于读取每一个机构的加密后的json文件，对其进行完整性校验，当完整性校验通过时，对其进行解密；还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。
可以理解的是，针对传统的人工对数据处理的方式，本发明实施例提出了一种能够自动处理数据的装置，该装置主要包括前置系统、运营平台和后台核心系统。其中，一个机构对应有一个前置系统，前置系统主要用于收集对应机构的数据，并对机构的数据进行格式校验，将不同机构格式的数据转换成统一格式。当格式校验通过后，对数据进行解析，并生成机构对应的json文件。随后，对生成的json文件进行加密，将加密后的json文件上传至运营平台。
运营平台对接收到的json文件进行完整性校验，当完整性校验通过后，对加密的json文件进行解密，得到解密后的明文json文件，对其中的数据进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。
本发明实施例能够实现数据的自动上传、数据自动校验以及加密等处理，实现了数据的自动化处理，相比人工处理，提高了效率。
在一种可能的实施例方式中，前置系统还用于：在对每一个机构的数据进行格式校验后，向运营平台发送数据校验通知，数据校验通知为数据校验成功或者数据校验失败；当数据校验失败时，数据校验通知中还包括本次校验失败的数据的位置和校验失败的详细原因。
可以理解的是，前置系统对对应机构的数据进行格式校验后，无论数据格式是否通过，均会向运营平台发送数据校验通知。当数据格式校验成功时，前置系统会向运营平台发送数据格式校验成功的通知；当数据格式校验失败，则前置系统会向运营平台发送数据格式校验失败的通知，其中数据格式校验失败的通知中包括本次数据格式校验失败的数据的位置和每一条数据格式校验失败的详细原因，以便供工作人员查看。
在一种可能的实施例方式中，前置系统对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台包括：根据前置系统的当前时间计算出加密密钥，对每一个机构的json文件进行加密，且根据加密密钥计算出对应的MD5码，将加密后的json文件通过运营平台的静态资源接口上传至运营平台的静态资源中；当上传成功后，向运营平台发送通知消息，通知消息中包括前置系统的终端唯一标识码、上传的总金额和总笔数、文件的MD5码和上传的文件名称。
可以理解的是，当前置系统对收集的数据的格式校验通过后，对生成的每一个机构的json文件进行加密，其中，加密的过程为，前置系统在格式验证和解析同时，将原始数据按每个机构来生成固定格式的json文件，将JSON文件和格式校验成功的数据，通过ZIP压缩再对该ZIP文件进行加密。文件加密方式是获取前置系统的当前系统时间，以yyyymmdd的日期格式，通过写在代码中的公式计算出加密密钥，最后通过计算出的密钥，计算出加密后的文件的MD5码。
前置系统将加密后的json文件上传至运营平台的服务器静态资源接口中。当文件上传成功后，前置系统需要给运营平台发送一个通知，通知中包含：该前置系统的终端唯一识别码，这批数据的总笔数、总金额，以及上传到数据文件的MD5码和文件名称。
在一种可能的实施例方式中，运营平台，用于读取每一个机构的加密后的json文件，对其进行完整性校验包括：当运营平台接收到所述前置系统发送的通知消息时，从静态资源目录处通过文件名称获取json文件，并计算所述json文件的MD5码；将计算出的MD5码与所述通知消息中的MD5码进行对比，以对文件进行完整性校验，且对完整性校验通过后，将json文件移动到临时目录中。
其中，运营平台对收到的数据进行数据校验的过程为，对解密后的json文件进行解析，解析出总金额和总笔数；将从json文件中解析出的总金额和总笔数与所述通知消息中的总金额和总笔数进行校验，校验通过后，将json文件的数据入库；对入库的数据进行多轮校验，当多轮校验均通过时，将入库数据的状态标记为有效状态；将标记为有效状态的数据发送给后台核心系统。
可以理解的是，当运营平台接收到前置系统通过静态资源接口发送的数据时，先去静态资源目录处通过文件名称来获取该文件，然后再对该文件做MD5码计算，通过计算出的MD5码和前置系统通过通知接口传递过来的MD5码做文件完整性验证。
若文件的完整性验证失败，则需要重新上传数据；当验证通过后将该文件复制到服务器的临时目录，该临时目录会对3天前的文件做移除操作。当文件移动到临时目录后需要对该文件做解密操作，加密文件的解密方式是依赖于该前置系统的终端ID，通过终端ID查询到该终端密钥密钥的计算公式，调用该计算公式计算出密钥，使用该密钥来尝试解密。运营平台在对文件数据解密成功后，将数据保存到订单表中并同步生成订单ID，通过订单ID将前置系统生成的固定格式的JSON文件保存到指定的目录中。
对文件进行解密后，将所有数据解析出来，合计出：总金额和总笔数。该合计出的金额和笔数与通知接口传来的通知消息中的总金额和总笔数做校验，总金额校验成功后入库，但此时数据状态还是无效，还需要多轮校验，只有当多轮校验均通过后，数据状态才能标记为有效。对于标记有效的数据，才能发送给后台核心系统。
在一种可能的实施例方式中，运营平台通过预约发送模式或立刻发送模式将标记为有效状态的数据发送给后台核心系统。
可以理解的是，运营平台向后台核心系统发送数据时，可以采用两种模式进行发送，预约发送和立刻发送，在预约发送模式下，该批数据将会在预约的时间进行发送，但如果选择立刻发送时，系统将会将该批次的所有数据做立刻发送操作。
其中，预约发送和立刻发送的区别是，在选择预约发送模式后，会设置一个预约发送时间，比如，每隔一定时间间隔发送一次。不管是预约发送还是立刻发送模式，都会生成一个排队队列，当排列队列生成后，如果是立即发送，就将该排列队列中所有的数据放到REDIS的发送队列中；如果不是立刻发送，那么该排列队列中的数据将不会放到发送队列中。当待数据放到发送队列中时，立刻调用异步，开启五至十条异步线程,从发送队列中取出数据逐条发送。
针对预约发送模式，运营平台的系统中有定时任务模块，定时任务会以每一小时为周期重复调方法。该方法就是将所有还未发送并且预约发送时间小于当前时间的排队队列，查询出来放到发送队列中，调用异步线程，从发送队列中逐条发送。
在一种可能的实施例方式中，运营平台，还用于：当向后台核心系统发送的数据量达到设定的阈值量时，则暂停发送，直到等到后台核心系统发送的再次发送数据的消息时，启动数据的再次发送。
可以理解的是，为避免后台核心系统崩溃，会对接收的数据量进行限流，当后台核心系统接收的数据量达到设定值时，向运营平台发送限流通知。运营平台接收到后台核心系统的限流通知时，暂停向后台核心系统发送数据，直到后台核心系统向运营平台发送可以发送数据的通知时，运营平台才再次向后台核心系统发送数据。
在一种可能的实施例方式中，后台核心系统还用于：根据数据生成统计报表，当统计报表的数据条数超出预设值，将统计报表转换成excel格式供下载。
可以理解的是，对于上传到后台核心系统上的数据，可以根据年、月、季度星期，来实现横向统计；或者以个人或者是部门为纵向统计方式来生成报表统计。当统计数量大于100条时，会将统计报表自动转换成EXCEL形式以供下载。
图2是本发明实施例提供的一种数据处理方法流程图，该数据处理方法包括：
201、前置系统收集每一个机构的数据，对每一个机构的数据进行格式校验，格式校验通过后，生成每一个机构的json文件；
202、对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台；
203、运营平台读取每一个机构的加密后的json文件，对其进行完整性校验，当完整性校验通过时，对其进行解密；
204、对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。
可以理解的是，本发明实施例提供的数据处理方法为基于前述各实施例提供的数据处理装置完成的，具体采用数据处理装置对数据处理的方法流程可参考数据处理装置对数据处理的流程，在此不再重复说明。
本发明实施例提供一种数据处理装置及数据处理方法，装置包括前置系统、运营平台和后台核心系统；前置系统，用于收集每一个机构的数据，对每一个机构的数据进行格式校验，格式校验通过后，生成每一个机构的json文件；以及对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台；运营平台，用于读取每一个机构的加密后的json文件，对其进行完整性校验，当完整性校验通过时，对其进行解密；还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。本发明能够实现数据的自动上传、数据自动校验以及加密等处理，实现了数据的自动化处理，相比人工处理，提高了效率。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。

Claims (10)

1.一种数据处理装置，其特征在于，包括前置系统、运营平台和后台核心系统；
所述前置系统，用于收集每一个机构的数据，对每一个机构的数据进行格式校验，格式校验通过后，生成每一个机构的json文件；以及对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台；
所述运营平台，用于读取每一个机构的加密后的json文件，对其进行完整性校验，当完整性校验通过时，对其进行解密；还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。
2.根据权利要求1所述的数据处理装置，其特征在于，所述前置还用于：
在对每一个机构的数据进行格式校验后，向运营平台发送数据校验通知，所述数据校验通知为数据校验成功或者数据校验失败；
当数据校验失败时，所述数据校验通知中还包括本次校验失败的数据的位置和校验失败的详细原因。
3.根据权利要求1所述的数据处理装置，其特征在于，所述前置系统对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台包括：
根据前置系统的当前时间计算出加密密钥，对每一个机构的json文件进行加密，且根据加密密钥计算出对应的MD5码，将加密后的json文件通过运营平台的静态资源接口上传至运营平台的静态资源中；
当上传成功后，向运营平台发送通知消息，所述通知消息中包括前置系统的终端唯一标识码、上传的总金额和总笔数、文件的MD5码和上传的文件名称。
4.根据权利要求3所述的数据处理装置，其特征在于，所述所述运营平台，用于读取每一个机构的加密后的json文件，对其进行完整性校验包括：
当运营平台接收到所述前置系统发送的通知消息时，从静态资源目录处通过文件名称获取json文件，并计算所述json文件的MD5码；
将计算出的MD5码与所述通知消息中的MD5码进行对比，以对文件进行完整性校验，且对完整性校验通过后，将json文件移动到临时目录中。
5.根据权利要求1或4所述的数据处理装置，其特征在于，所述运营平台还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统包括：
对解密后的json文件进行解析，解析出总金额和总笔数；
将从json文件中解析出的总金额和总笔数与所述通知消息中的总金额和总笔数进行校验，校验通过后，将json文件的数据入库；
对入库的数据进行多轮校验，当多轮校验均通过时，将入库数据的状态标记为有效状态；
将标记为有效状态的数据发送给后台核心系统。
6.根据权利要求5所述的数据处理装置，其特征在于，所述运营平台通过预约发送模式或立刻发送模式将标记为有效状态的数据发送给后台核心系统。
7.根据权利要求6所述的数据处理装置，其特征在于，所述运营平台通过预约发送模式或立刻发送模式将标记为有效状态的数据发送给后台核心系统包括：
生成一个排列队列，将需要发送的数据存储于排列队列中；
若为立刻发送模式，则将排列队列中所有的数据放到redis的发送队列中，调用异步线程从发送队列中取出数据逐条发送给后台核心系统；
若为预约发送模式，则设置预约发送时间，从排列队列中取出所有还未发送且预约发送时间小于当前时间的数据，并存储于发送队列中，调用异步线程从发送队列中取出数据逐条发送给后台核心系统。
8.根据权利要求6或7所述的数据处理装置，其特征在于，所述运营平台，还用于：
当向所述后台核心系统发送的数据量达到设定的阈值量时，则暂停发送，直到等到所述后台核心系统发送的再次发送数据的消息时，启动数据的再次发送。
9.根据权利要求8所述的数据处理装置，其特征在于，所述后台核心系统还用于：
根据数据生成统计报表，当统计报表的数据条数超出预设值，将统计报表转换成excel格式供下载。
10.一种数据处理方法，其特征在于，包括：
前置系统收集每一个机构的数据，对每一个机构的数据进行格式校验，格式校验通过后，生成每一个机构的json文件；以及对生成的每一个机构的json文件进行加密，将加密后的json文件上传至运营平台；
运营平台读取每一个机构的加密后的json文件，对其进行完整性校验，当完整性校验通过时，对其进行解密；还用于对解密后的json文件进行数据校验，当数据校验通过后，将每一个机构的数据发送给后台核心系统。
CN202011288452.6A 2020-11-17 2020-11-17 一种数据处理装置及数据处理方法 Pending CN112511507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011288452.6A CN112511507A (zh) 2020-11-17 2020-11-17 一种数据处理装置及数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011288452.6A CN112511507A (zh) 2020-11-17 2020-11-17 一种数据处理装置及数据处理方法

Publications (1)

Publication Number Publication Date
CN112511507A true CN112511507A (zh) 2021-03-16

Family

ID=74956563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011288452.6A Pending CN112511507A (zh) 2020-11-17 2020-11-17 一种数据处理装置及数据处理方法

Country Status (1)

Country Link
CN (1) CN112511507A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205655A (zh) * 2021-12-09 2022-03-18 中国电影科学技术研究所 数字电影拷贝分发方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156715A1 (en) * 2001-06-12 2003-08-21 Reeds James Alexander Apparatus, system and method for validating integrity of transmitted data
US20030233455A1 (en) * 2002-06-14 2003-12-18 Mike Leber Distributed file sharing system
CN103701897A (zh) * 2013-12-18 2014-04-02 兴天通讯技术（天津）有限公司 服务器、终端和文件传输方法
CN104022870A (zh) * 2014-06-24 2014-09-03 杭州奕锐电子有限公司 一种云端数据的加密方法
CN106161473A (zh) * 2016-09-06 2016-11-23 北京恒华伟业科技股份有限公司 一种数据的上传方法及系统
CN110163735A (zh) * 2019-04-09 2019-08-23 平安科技（深圳）有限公司 涉税数据处理方法、装置、计算机设备及存储介质
CN110858249A (zh) * 2018-08-24 2020-03-03 中移（杭州）信息技术有限公司 一种数据库文件加密方法、解密方法和相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156715A1 (en) * 2001-06-12 2003-08-21 Reeds James Alexander Apparatus, system and method for validating integrity of transmitted data
US20030233455A1 (en) * 2002-06-14 2003-12-18 Mike Leber Distributed file sharing system
CN103701897A (zh) * 2013-12-18 2014-04-02 兴天通讯技术（天津）有限公司 服务器、终端和文件传输方法
CN104022870A (zh) * 2014-06-24 2014-09-03 杭州奕锐电子有限公司 一种云端数据的加密方法
CN106161473A (zh) * 2016-09-06 2016-11-23 北京恒华伟业科技股份有限公司 一种数据的上传方法及系统
CN110858249A (zh) * 2018-08-24 2020-03-03 中移（杭州）信息技术有限公司 一种数据库文件加密方法、解密方法和相关装置
CN110163735A (zh) * 2019-04-09 2019-08-23 平安科技（深圳）有限公司 涉税数据处理方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郝斐等: "基于CIFS协议的云存储安全网关的设计与实现", 《计算机应用与软件》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205655A (zh) * 2021-12-09 2022-03-18 中国电影科学技术研究所 数字电影拷贝分发方法及系统
CN114205655B (zh) * 2021-12-09 2023-10-13 中国电影科学技术研究所 数字电影拷贝分发方法及系统

Similar Documents

Publication Publication Date Title
CN107645511B (zh) 一种电子证据固化方法、系统和设备
CN110716932B (zh) 数据处理方法、系统、设备及存储介质
CN112184066A (zh) 用于建设工程质量检测监管的区块链系统
CN106815779B (zh) 建设工程质量检测防假样系统及方法
CN109885790B (zh) 获取满意度评价数据的方法和装置
CN112511507A (zh) 一种数据处理装置及数据处理方法
CN103530932A (zh) 一种实时验证发票的真伪的系统和方法
CN111475120A (zh) 智能打印盖章的方法及设备
CN113034124A (zh) 一种交通二维码跨区域交易清分结算方法及系统
CA2862584C (en) Method for certifying delivery of sms/mms data messages to mobile terminals
CN112949798B (zh) 基于rfid技术的实验室设备管理方法及其系统
CN111161448A (zh) 数据存储方法、数据校验方法、装置、设备及存储介质
WO2019157778A1 (zh) 邮政单打印方法、电子装置及计算机可读存储介质
CN102661487A (zh) 一种管道燃气物联网的移动数据采集方法
CN116279682A (zh) 高速综合检测列车的检测数据传输方法及装置
CN213122985U (zh) 一种pis认证系统
CN114567469A (zh) 基于b/s模式下的应用密码类型检测方法及平台
CN114301643A (zh) 电子数据鉴定加密传输方法
CN111669649A (zh) 一种实地影像数据的防篡改方法及其系统
CN112765266A (zh) 数据资产管理的方法、装置、设备及计算机存储介质
CN113347245A (zh) 一种基于消息队列的文件分片断点传输方法及装置
CN110019967B (zh) 一种获取企业异常发票信息的方法及系统
CN111182047A (zh) 用于在跨网络的大数据平台之间转移文件的方法和系统
CN109040078B (zh) 一种报备ip地址的方法、装置、设备及可读存储介质
CN108134656A (zh) 投保数据回传方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210316

RJ01 Rejection of invention patent application after publication