CN112508380A - 一种应用于高并发评价数据异步处理的系统及方法 - Google Patents

一种应用于高并发评价数据异步处理的系统及方法 Download PDF

Info

Publication number
CN112508380A
CN112508380A CN202011394969.3A CN202011394969A CN112508380A CN 112508380 A CN112508380 A CN 112508380A CN 202011394969 A CN202011394969 A CN 202011394969A CN 112508380 A CN112508380 A CN 112508380A
Authority
CN
China
Prior art keywords
data
evaluation
concurrency
asynchronous processing
middleware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011394969.3A
Other languages
English (en)
Inventor
李�杰
宋勇
宁方刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202011394969.3A priority Critical patent/CN112508380A/zh
Publication of CN112508380A publication Critical patent/CN112508380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)

Abstract

本发明公开了一种应用于高并发评价数据异步处理的系统及方法，属于计算机应用技术领域。本发明的应用于高并发评价数据异步处理的系统包括若干评价服务程序、数据保存程序、数据上报程序、Redis存储中间件和Rocketmq消息队列中间件，评价服务程序通过Redis存储中间件、Rocketmq消息队列中间件与数据保存程序、数据上报程序分别通信。该发明的应用于高并发评价数据异步处理的系统能够提高请求的相应速度，保证评价服务的高可靠性及高可用性，具有很好的推广应用价值。

Description

一种应用于高并发评价数据异步处理的系统及方法
技术领域
本发明涉及计算机应用技术领域，具体提供一种应用于高并发评价数据异步处理的系统及方法。
背景技术
为了实现每个政务服务事项均可评价，每个政务服务机构、政务服务平台和人员都接受评价，每个办事企业和群众都能自愿自主真实评价，评价数据作为政务数据的重要组成部分，具有数据量大、产生时间集中的特点，如果是全市乃至全省在提供统一的评价服务时，怎样提供高可靠性、高响应速度的评价服务成为需要解决的首要问题。并且应国办好差评的相关要求，评价产生时必须实时通过接口将数据上报。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够提高请求的相应速度，保证评价服务的高可靠性及高可用性的应用于高并发评价数据异步处理的系统。
本发明进一步的技术任务是提供一种应用于高并发评价数据异步处理的方法。
为实现上述目的，本发明提供了如下技术方案：
一种应用于高并发评价数据异步处理的系统，包括若干评价服务程序、数据保存程序、数据上报程序、Redis存储中间件和Rocketmq消息队列中间件，评价服务程序通过Redis存储中间件、Rocketmq消息队列中间件与数据保存程序、数据上报程序分别通信。
作为优选，所述评价服务程序的个数为2-5个。
本发明中包括评价服务程序1、评价服务程序2和评价服务程序3。
作为优选，通过所述Redis存储中间件生成唯一的评价流水号。
作为优选，通过所述Rocketmq消息队列中间件实现前端操作与业务逻辑的分离。
一种应用于高并发评价数据异步处理的方法，该方法通过权利要求本发明所述应用于高并发评价数据异步处理的系统实现，评价数据通过加密校验、权限校验、数据校验，若校验成功则将数据发送Rocketmq消息队列中间件，并通过Redis存储中间件生成唯一的评价流水号，之后进行数据存储和数据上报，数据存储及数据上报成功后进行数据归集。
作为优选，所述加密校验为拦截器取出appCode、timestamp以及sign，从应用接入管理表中根据appCode取出令牌密钥appPersonCode，使用令牌密钥解密sign，验证解密结果与appCode、timestamp值是否一致，若不一致则加密校验失败，请求返回错误提示。
作为优选，所述权限校验为加密校验通过后，验证timestamp是否在当前系统时间的正常的延时时间段内，若不在，说明该数据不是在规定的权限时间内正常访问的，请求返回错误提示。
作为优选，所述数据校验时，数据参数分为两种，一种是加密后传递的敏感信息数据，一种是直接传递的原始数据。
经过加密校验、权限校验和数据校验，过滤掉绝大部分异常数据，严格的校验过程是非常必要的，首先由于本应用于高并发评价数据异步处理的系统及方法对数据是异步处理的，如果没有严格的校验导致已处理处理过程中出现问题，不能及时响应问题，而且如果大量不规范的数据流入异步处理逻辑，导致失败记录中存在大量不可用的数据，增加了维护和补偿的难度。如果所有校验规则都通过了，在业务处理层调用redis服务生成唯一流水号补充完整的评价数据通过rocketmq的producer发送到rocketmq消息队列，接收发送成功的提示后即可直接反馈给操作人操作成功，校验通过但发送消息队列的数据写入存失败记录表。
作为优选，所述数据存储与数据上报同时进行。
与现有技术相比，本发明的应用于高并发评价数据异步处理的方法具有以下突出的有益效果：
(一)在高并发环境下响应速度快，解耦了前端操作和部分业务逻辑的处理，简化了请求的业务处理过程，在根本上提高了请求的相应速度，保证了评价服务的高可靠性及高可用性；
(二)数据保存逻辑跟数据上报逻辑互不影响，数据保存和上报都是多线程处理，并且互不干扰，分别有自己的错误记录表，提高了系统稳定性，具有良好的推广应用价值。
附图说明
图1是本发明所述应用于高并发评价数据异步处理的系统架构图；
图2是本发明所述应用于高并发评价数据异步处理的方法流程图；
图3是本发明所述应用于高并发评价数据异步处理的方法发送消息队列之前数据流程图；
图4是本发明所述应用于高并发评价数据异步处理的方法发送消息队列之后数据流程图。
具体实施方式
下面将结合附图和实施例，对本发明的应用于高并发评价数据异步处理的系统及方法作进一步详细说明。
实施例
如图1所示，本发明的应用于高并发评价数据异步处理的系统，包括评价服务程序1、评价程序2、评价程序3、数据保存程序、数据上报程序、Redis存储中间件和Rocketmq消息队列中间件。
评价服务程序1、评价程序2、评价程序3通过Redis存储中间件、Rocketmq消息队列中间件与数据保存程序、数据上报程序分别通信。
其中通过所述Redis存储中间件生成唯一的评价流水号。通过所述Rocketmq消息队列中间件实现前端操作与业务逻辑的分离。
本发明的应用于高并发评价数据异步处理的方法，该方法通过本发明的应用于高并发评价数据异步处理的系统实现。
如图2、图3和图4所示，应用于高并发评价数据异步处理的方法流程为评价数据通过加密校验、权限校验、数据校验，若校验成功则将数据发送Rocketmq消息队列中间件，并通过Redis存储中间件生成唯一的评价流水号，之后进行数据存储和数据上报，数据存储及数据上报成功后进行数据归集。
权限校验的相关参数，应用编码(appCode),令牌id(appPublicCode),13为时间戳(timestamp)，加密sign＝SmCryptoUtil.sm2Encode(appCode+timestamp，appPublicCode)，评价数据提交请求中添加参数appCode，timestamp以及sign。敏感信息参数加密param＝SmCryptoUtil.sm2Encode(param，appPublicCode)。
其中加密校验时约定加密算法，对数据中敏感信息进行加密，确保信息不会泄露。加密校验为拦截器取出appCode、timestamp以及sign，从应用接入管理表中取出令牌密钥appPersonCode，验证appCode加timestamp与SmCryptoUtil.sm2Decode(sign,appPersonCode)结果是否一致，若不一致则加密校验失败，请求返回错误提示。
权限校验主要是校验调用评价服务的应用是否被授权，调用时间是否再合理的时间延迟之内。权限校验为加密校验通过后，验证timestamp是否在当前系统时间的正常的延时时间段内，若不在，说明该数据不是在规定的权限时间内正常访问的，请求返回错误提示。
加密校验和权限校验的基础是应用接入管理功能，系统为想接入评价服务的应用提供注册功能，并为他们分配sm2加密的明文和密文。
数据校验时，数据参数分为两种，一种是加密后传递的敏感信息数据，一种是直接传递的原始数据。敏感数据需要解密后验证规范性，SmCryptoUtil.sm2Decode(param,appPersonalCode),非敏感信息则只需要直接取出验证规范性。
经过加密校验、权限校验和数据校验，过滤掉绝大部分异常数据，严格的校验过程是非常必要的，首先由于本应用于高并发评价数据异步处理的系统及方法对数据是异步处理的，如果没有严格的校验导致已处理处理过程中出现问题，不能及时响应问题，而且如果大量不规范的数据流入异步处理逻辑，导致失败记录中存在大量不可用的数据，增加了维护和补偿的难度。如果所有校验规则都通过了，在业务处理层调用redis服务生成唯一流水号补充完整的评价数据通过rocketmq的producer发送到rocketmq消息队列，接收发送成功的提示后即可直接反馈给操作人操作成功，校验通过但发送消息队列的数据写入存失败记录表。
数据存储、数据上报等耗时较长的复杂逻辑都可以进行异步处理，数据存储跟上报原则上是同时的、互不影响的。
创建数据保存消费者，设置每次拉取合适数量的数据，多线程处理保存逻辑，判断是否是重复数据，如果是重复数据则丢弃，如果不是重复数据则保存评价数据和评价衍生数据，保存失败的写入保存失败记录表。
创建数据上报消费者，设置每次拉取合适数量的数据，多线程执行上报逻辑，上报失败的数据写入上报失败记录表。
至此该应用于高并发评价数据异步处理的系统及方法已经运行完成，发送消息队列端的各种校验功能，组成的严密数据过滤拦截器是整个模型及方法的前提条件，rocketmq的高性能、高稳定性以及优质的消息堆积能力是支持高并发处理的核心，redis高性能在高并发条件下的计数器服务是模型及方法的重要组成部分。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (9)

1.一种应用于高并发评价数据异步处理的系统，其特征在于：包括若干评价服务程序、数据保存程序、数据上报程序、Redis存储中间件和Rocketmq消息队列中间件，评价服务程序通过Redis存储中间件、Rocketmq消息队列中间件与数据保存程序、数据上报程序分别通信。
2.根据权利要求1所述的应用于高并发评价数据异步处理的系统，其特征在于：所述评价服务程序的个数为2-5个。
3.根据权利要求2所述的应用于高并发评价数据异步处理的系统，其特征在于：通过所述Redis存储中间件生成唯一的评价流水号。
4.根据权利要求3所述的应用于高并发评价数据异步处理的系统，其特征在于：通过所述Rocketmq消息队列中间件实现前端操作与业务逻辑的分离。
5.一种应用于高并发评价数据异步处理的方法，其特征在于：该方法通过权利要求1-4任意一项所述应用于高并发评价数据异步处理的系统实现，评价数据通过加密校验、权限校验、数据校验，若校验成功则将数据发送Rocketmq消息队列中间件，并通过Redis存储中间件生成唯一的评价流水号，之后进行数据存储和数据上报，数据存储及数据上报成功后进行数据归集。
6.根据权利要求5所述的应用于高并发评价数据异步处理的方法，其特征在于：所述加密校验为拦截器取出appCode、timestamp以及sign，从应用接入管理表中根据appCode取出令牌密钥appPersonCode，使用令牌密钥解密sign，验证解密结果与appCode、timestamp值是否一致，若不一致则加密校验失败，请求返回错误提示。
7.根据权利要求6所述的应用于高并发评价数据异步处理的方法，其特征在于：所述权限校验为加密校验通过后，验证timestamp是否在当前系统时间的正常的延时时间段内，若不在，说明该数据不是在规定的权限时间内正常访问的，请求返回错误提示。
8.根据权利要求7所述的应用于高并发评价数据异步处理的方法，其特征在于：所述数据校验时，数据参数分为两种，一种是加密后传递的敏感信息数据，一种是直接传递的原始数据。
9.根据权利要求8所述的应用于高并发评价数据异步处理的方法，其特征在于：所述数据存储与数据上报同时进行。
CN202011394969.3A 2020-12-03 2020-12-03 一种应用于高并发评价数据异步处理的系统及方法 Pending CN112508380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011394969.3A CN112508380A (zh) 2020-12-03 2020-12-03 一种应用于高并发评价数据异步处理的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011394969.3A CN112508380A (zh) 2020-12-03 2020-12-03 一种应用于高并发评价数据异步处理的系统及方法

Publications (1)

Publication Number Publication Date
CN112508380A true CN112508380A (zh) 2021-03-16

Family

ID=74969380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011394969.3A Pending CN112508380A (zh) 2020-12-03 2020-12-03 一种应用于高并发评价数据异步处理的系统及方法

Country Status (1)

Country Link
CN (1) CN112508380A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731682A (zh) * 2014-01-26 2014-04-16 飞狐信息技术（天津）有限公司 多种观影设备之间保持同步观看记录的方法、设备及系统
WO2019196244A1 (zh) * 2018-04-10 2019-10-17 平安科技（深圳）有限公司 实时回调订单的方法和系统
CN111083199A (zh) * 2019-11-23 2020-04-28 上海畅星软件有限公司 基于高并发、高可用性、服务可扩展的平台处理架构
CN111831458A (zh) * 2020-06-11 2020-10-27 武汉烽火技术服务有限公司 一种高并发高解耦数据处理方法及数据中台系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731682A (zh) * 2014-01-26 2014-04-16 飞狐信息技术（天津）有限公司 多种观影设备之间保持同步观看记录的方法、设备及系统
WO2019196244A1 (zh) * 2018-04-10 2019-10-17 平安科技（深圳）有限公司 实时回调订单的方法和系统
CN111083199A (zh) * 2019-11-23 2020-04-28 上海畅星软件有限公司 基于高并发、高可用性、服务可扩展的平台处理架构
CN111831458A (zh) * 2020-06-11 2020-10-27 武汉烽火技术服务有限公司 一种高并发高解耦数据处理方法及数据中台系统

Similar Documents

Publication Publication Date Title
AU2017240682B2 (en) Systems and methods for providing data privacy in a private distributed ledger
US10404471B1 (en) Secure ledger assurance tokenization
CN109902091B (zh) 数据区块在区块链上记录的方法、领导记账节点和介质
US20190303623A1 (en) Promotion smart contracts for software development processes
US20190305959A1 (en) Announcement smart contracts to announce software release
US20190303579A1 (en) Decentralized, immutable, tamper-evident, directed acyclic graphs documenting software supply-chains with cryptographically signed records of software-development life cycle state and cryptographic digests of executable code
US20190306173A1 (en) Alert smart contracts configured to manage and respond to alerts related to code
US6622247B1 (en) Method for certifying the authenticity of digital objects by an authentication authority and for certifying their compliance by a testing authority
CN109657492B (zh) 数据库管理方法、介质及电子设备
US11693948B2 (en) Verifiable labels for mandatory access control
CN115552441A (zh) 低信任特权访问管理
US20230062434A1 (en) Efficient and secure blockchains using cloud resource primitives
AU2021302873B2 (en) Secure secret recovery
CN115004625A (zh) 用于区块链分类账的索引结构
CN111949726A (zh) 一种基于区块链的关系型数据库同步方法及同步系统
EP4147416B1 (en) Blockchain-based accountable distributed computing system
US20230101685A1 (en) Parallel processing of blockchain procedures
CN116415222B (zh) 流程工业数字工厂云设计平台的授权管理方法及系统
CN112508380A (zh) 一种应用于高并发评价数据异步处理的系统及方法
CN116910023A (zh) 一种数据治理系统
Zhang et al. FutureText: A blockchain-based contract signing prototype with security and convenience
CN115760422A (zh) 一种基于区块链技术的电力市场交易系统及方法
CN114676192A (zh) 电能计量数据的共享方法、装置、存储介质及计算机设备
CN111342970A (zh) 一种数字证书管理方法及系统
CN112804053B (zh) 数据恢复方法、加密机、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210316