CN112769948A - 消息处理方法及装置 - Google Patents

消息处理方法及装置 Download PDF

Info

Publication number
CN112769948A
CN112769948A CN202110074125.9A CN202110074125A CN112769948A CN 112769948 A CN112769948 A CN 112769948A CN 202110074125 A CN202110074125 A CN 202110074125A CN 112769948 A CN112769948 A CN 112769948A
Authority
CN
China
Prior art keywords
data
message
message processing
module
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110074125.9A
Other languages
English (en)
Inventor
刘娟
李军刚
王志锋
孔巧
曾熙鸿
孙超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Citic Bank Corp Ltd
Original Assignee
China Citic Bank Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Citic Bank Corp Ltd filed Critical China Citic Bank Corp Ltd
Priority to CN202110074125.9A priority Critical patent/CN112769948A/zh
Publication of CN112769948A publication Critical patent/CN112769948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06Message adaptation to terminal or network requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • H04W4/14Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/548Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种消息处理方法,包括:采集至少一个数据表,将所述数据表存储至第一kafka队列中;分拣所述数据表中数据,得到待处理数据;将所述待处理数据路由至消息服务平台进行加工,得到待发送消息。本发明通过将消息处理系统与交易系统解耦,实现一种异步的、可扩展高并发的实时消息处理系统,同时解决AS400系统高并发时消息拥堵及丢失问题。

Description

消息处理方法及装置
技术领域
本发明涉及互联网技术领域,特别是涉及一种消息处理方法和装置。
背景技术
AS/400是当今世界上最流行的中小型、多用户商业计算机系统,其广泛应用于流通、金融证券、制造、运输,安防等各个行业。
现有的AS400系统虽然从架构上实现了交易处理系统和消息处理模块的异步设计,但是因为数据库系统的集中式部署,实际并未实现交易处理系统与消息处理模块的真正解耦;且AS400大型机横向扩展和纵向扩展高难度性,也决定了原主机系统很难达到消息处理服务的高并发性要求。
现有技术中常见的交易处理系统与交易后的消息通知是一个整体模块,交易后消息处理功能必将给交易系统带来性能的损耗;同时,AS400主机系统是将消息存储在队列中,通过socket通信将消息发给短信平台,此种方式的队列是有存储容量限制的,会造成消息丢失。
发明内容
基于此,本发明提供一种消息处理的方法和装置,能够解耦交易系统和交易消息处理系统,保证消息服务系统的高可用和高可靠性;同时解决AS/400系统高并发时消息拥堵及丢失问题。
本发明第一个方面,提供一种消息处理方法,该方法包括:
采集至少一个数据表,将所述数据表存储至第一kafka队列中;
分拣所述数据表中数据,得到待处理数据;
将所述待处理数据路由至消息服务平台进行加工,得到待发送消息。
具体地,所述分拣所述数据表中数据包括:
订阅所述数据、分类处理所述数据、判断所述数据的签约关系、控制所述数据的处理渠道、按所述处理渠道将所述数据进行路由。
具体地,所述将所述待处理数据按类型路由至消息服务平台进行加工包括:
将所述待处理数据按所述处理渠道分别路由至短信处理服务、公众号消息处理服务、或实时短信处理服务;
具体地,该方法还包括:
将所述待发送消息与短信处理服务、公众号消息处理服务、或实时短信处理服务适配。
具体地,该方法还包括:
配置所述待发送消息模板属性、模板变量、变量规则、和消息渠道。
本发明第二个方面,提供一种消息处理装置,该装置包括:
一种消息处理装置,其特征在于,所述装置包括:
采集模块,用于采集至少一个数据表,将所述数据表存储至第一kafka队列中;
分拣模块,用于分拣所述数据表中数据,得到待处理数据
加工模块,用于将所述待处理数据路由至消息服务平台进行加工,得到待发送消息。
具体地,所述分拣模块包括:
订阅模块、分类模块、判断签约关系模块、渠道控制模块,渠道路由模块。
具体地,所述加工模块还包括:
短信加工模块,公众号消息加工模块、实时短信加工模块。
具体地,所述消息处理模块还包括:
适配模块,用于将所述待发送消息与短信处理服务、公众号消息处理服务、或实时短信处理服务适配。
具体地,所述消息处理模块还包括:
内管模块,用于配置所述待发送消息模板属性、模板变量、变量规则、和消息渠道。
本发明第三方面,提供一种终端,所述终端包括处理器以及存储器:
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序执行本申请第一方面所述的消息处理方法。
本发明第四方面提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述第一方面所述的消息处理方法。
综上本发明通过将消息处理系统与交易系统解耦,实现一种异步的、可扩展高并发的实时消息处理系统,同时解决AS400系统高并发时消息拥堵及丢失问题。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例中消息处理方法的流程示意图;
图2为本发明另一实施例中消息处理装置的架构示意图;
图3为本发明另一实施例中消息处理终端的架构示意图。
具体实施方式
下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
实施例1
如图1所示,一种消息处理方法,包括:
S001采集至少一个数据表,将所述数据表存储至第一kafka队列中;
采用kafka大数据分布式存储,数据存储无限制,有副本机制保证数据完整以及安全。
S002分拣所述数据表中数据,得到待处理数据;
S003将所述待处理数据路由至消息服务平台进行加工,得到待发送消息。
具体地,所述分拣所述数据表中数据包括:
订阅所述数据、分类处理所述数据、判断所述数据的签约关系、控制所述数据的处理渠道、按所述处理渠道将所述数据进行路由。
具体地,所述将所述待处理数据按类型路由至消息服务平台进行加工包括:
将所述待处理数据按所述处理渠道分别路由至短信处理服务、公众号消息处理服务、或实时短信处理服务;
具体地,该方法还包括:
将所述待发送消息与短信处理服务、公众号消息处理服务、或实时短信处理服务适配。
所述短信处理服务、所述公众号消息处理服务、和所述实时短信处理服务分别对接收到的所述待处理数据进行消息处理,所述消息处理包括数据查询、数据计算、规则引擎决策、决策结果解析、消息模板和模块变量加工、营销短信处理、记录消息历史、发送消息至所述第二kafka队列
具体地,该方法还包括:
配置所述待发送消息模板属性、模板变量、变量规则、和消息渠道。
该发明通过kafka集群采集授权交易流水,消息服务系统实时消费数据,并将处理结果实时发送给短信平台和微信公众平台。一方面将授权交易系统与授权后短信&公众号消息推送系统完全解耦,极大的缓解了授权交易系统的处理负荷,实现更高的授权交易吞吐量;另一方面,解决了原AS400主机系统授权交易和授权后实时短信处理模块共用内存,当并发过高时,机器容量不足时将堆积的消息自动清理导致消息丢失的技术痛点。
该发明采用线程池+countdown技术实现并行化处理以提高系统吞吐量;同时借助容器云平台的流水线的编排,动态的调整服务数量与服务启停,可根据需要调整消息服务部署节点,实现消息服务动态扩展以及高并发性能需求。
该发明借助新核心系统内管平台和规则引擎平台,通过在内管平台配置短信模板的变量,以及对应的变量规则,借助规则引擎平台的规则计算模型,可动态计算模块变量值,实现短信模板配置化,极大的减少了短信模板变更时的代码变更频率,解决了业务需求变更投产难、投产慢的痛点。
实施例2
如图2所示,一种消息处理装置100,包括:
采集模块110,用于采集至少一个数据表,将所述数据表存储至第一kafka队列中;采集交易生成的授权流水表记录(或其他需要处理发送消息的数据表),存储至kafka中,供消息服务消费使用
分拣模块120,用于分拣所述数据表中数据,得到待处理数据
加工模块130,用于将所述待处理数据路由至消息服务平台进行加工,得到待发送消息。
其中,所述分拣模块120包括:
订阅模块121、分类模块122、判断签约关系模块123、渠道控制模块124,渠道路由模块125。
优选地,所述加工模块还130包括:
短信加工模块131,公众号消息加工模块132、实时短信加工模块133。其中每个加工模块,需要完成数据查询、数据计算、规则引擎决策、决策结果解析、消息模板和模块变量加工、营销短信处理、记录消息历史、发送消息至kafka队列等功能。
该发明采用线程池+countdown技术实现并行化处理以提高系统吞吐量;同时借助容器云平台的流水线的编排,动态的调整服务数量与服务启停,可根据需要调整消息服务部署节点,实现消息服务动态扩展以及高并发性能需求;
优选地,所述消息处理模块还包括:
适配模块140,用于将所述待发送消息与短信处理服务、公众号消息处理服务、或实时短信处理服务适配。该模块可适配下游短信平台和公众消息平台,实现消息调用、消息推送错误重试的功能。该模块将消息推送与消息处理模块解耦,当在外围系统消息拥堵或者环境异常时,可保证消息处理模块的高稳定性
优选地,所述消息处理模块100还包括:
内管模块160,用于配置所述待发送消息模板属性、模板变量、变量规则、和消息渠道。
优选地,所述消息处理模块100还包括:
营销模块,用于实现授权交易后的实时营销短信和消息的生成。
数据存储层,该层使用hbase+es存储数据,海量数据下查询的耗时明显降低。
实施例3
如图3所示,一种消息处理终端3。
所述终端包括存储器301、处理器302,所述存储器用于存储计算机程序303;其特征在于,所述处理器用于执行所述计算机程序时实现如上实施例1中消息处理方法所述的步骤。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种消息处理方法、消息处理装置进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种消息处理方法,其特征在于,包括:
采集至少一个数据表,将所述数据表存储至第一kafka队列中;
分拣所述数据表中数据,得到待处理数据;
将所述待处理数据路由至消息服务平台进行加工,得到待发送消息。
2.根据权利要求1所述的消息处理方法,其特征在于,所述分拣所述数据表中数据包括:
订阅所述数据、分类处理所述数据、判断所述数据的签约关系、控制所述数据的处理渠道、按所述处理渠道将所述数据进行路由。
3.根据权利要求2所述的消息处理方法,其特征在于,所述将所述待处理数据按类型路由至消息服务平台进行加工包括:
将所述待处理数据按所述处理渠道分别路由至短信处理服务、公众号消息处理服务、或实时短信处理服务。
4.根据权利要求3所述的消息处理方法,其特征在于,该方法还包括:
将所述待发送消息与短信处理服务、公众号消息处理服务、或实时短信处理服务适配。
5.根据权利要求1~4任一项所述的消息处理方法,其特征在于,该方法还包括:
配置所述待发送消息模板属性、模板变量、变量规则、和消息渠道。
6.一种消息处理装置,其特征在于,所述装置包括:
采集模块,用于采集至少一个数据表,将所述数据表存储至第一kafka队列中;
分拣模块,用于分拣所述数据表中数据,得到待处理数据
加工模块,用于将所述待处理数据路由至消息服务平台进行加工,得到待发送消息。
7.根据权利要求6所述的消息处理装置,其特征在于,所述分拣模块包括:
订阅模块、分类模块、判断签约关系模块、渠道控制模块,渠道路由模块。
8.根据权利要求7所述的消息处理装置,其特征在于,所述加工模块还包括:
短信加工模块,公众号消息加工模块、实时短信加工模块。
9.一种终端,所述终端包括存储器、处理器,所述存储器用于存储计算机程序;其特征在于,所述处理器用于执行所述计算机程序时实现如上述权利要求1至5任一项所述的消息处理方法所述的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序由处理器执行时实现权利要求1至5任一项所述的消息处理方法所述的步骤。
CN202110074125.9A 2021-01-20 2021-01-20 消息处理方法及装置 Pending CN112769948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110074125.9A CN112769948A (zh) 2021-01-20 2021-01-20 消息处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110074125.9A CN112769948A (zh) 2021-01-20 2021-01-20 消息处理方法及装置

Publications (1)

Publication Number Publication Date
CN112769948A true CN112769948A (zh) 2021-05-07

Family

ID=75703382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110074125.9A Pending CN112769948A (zh) 2021-01-20 2021-01-20 消息处理方法及装置

Country Status (1)

Country Link
CN (1) CN112769948A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955857A (zh) * 2019-10-18 2020-04-03 苏宁云计算有限公司 一种用于高并发环境的业务处理方法及装置
CN111371892A (zh) * 2020-03-05 2020-07-03 中国银行股份有限公司 高并发分布式消息推送系统及方法
CN111897878A (zh) * 2020-08-25 2020-11-06 中国工商银行股份有限公司 主辅数据同步方法及系统
CN112134707A (zh) * 2020-09-04 2020-12-25 苏州浪潮智能科技有限公司 一种针对多个kerberos集群的并发访问方法和装置
WO2020259354A1 (zh) * 2019-06-26 2020-12-30 深圳前海微众银行股份有限公司 队列调整方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259354A1 (zh) * 2019-06-26 2020-12-30 深圳前海微众银行股份有限公司 队列调整方法、装置、设备及计算机可读存储介质
CN110955857A (zh) * 2019-10-18 2020-04-03 苏宁云计算有限公司 一种用于高并发环境的业务处理方法及装置
CN111371892A (zh) * 2020-03-05 2020-07-03 中国银行股份有限公司 高并发分布式消息推送系统及方法
CN111897878A (zh) * 2020-08-25 2020-11-06 中国工商银行股份有限公司 主辅数据同步方法及系统
CN112134707A (zh) * 2020-09-04 2020-12-25 苏州浪潮智能科技有限公司 一种针对多个kerberos集群的并发访问方法和装置

Similar Documents

Publication Publication Date Title
CN111367983A (zh) 数据库访问方法、系统、设备和存储介质
WO2020220860A1 (zh) 一种基于区块链系统的交易处理方法及装置
CN108833161B (zh) 一种建立基于雾计算的智能合约微服务模型的方法
CN108681569A (zh) 一种数据自动分析系统及其方法
CN106815254A (zh) 一种数据处理方法和装置
CN105681426B (zh) 异构系统
CN110347888B (zh) 订单数据的处理方法、装置及存储介质
CN111400011A (zh) 一种实时任务调度方法、系统、设备及可读存储介质
CN111210340A (zh) 一种自动任务处理方法、装置、服务器及存储介质
CN108519987A (zh) 一种数据持久化方法和装置
CN112866421A (zh) 基于分布式缓存以及nsq的智能合约运行方法及装置
CN113420323B (zh) 数据共享方法及终端设备
CN113486118A (zh) 共识节点选取方法及装置
CN112769948A (zh) 消息处理方法及装置
CN112511312A (zh) 一种可组装的共识方法及系统
JP2009545043A (ja) バス接続されたコンシューマとプロデューサとの間でのメッセージ・フローを削減するためのシステム、方法、およびコンピュータ・プログラム
CN107329832A (zh) 一种数据接收方法及装置
CN115098528B (zh) 业务处理方法、装置、电子设备及计算机可读存储介质
CN111614726A (zh) 一种数据转发方法、集群系统及存储介质
CN109146672B (zh) 一种基于生产模式的撮合匹配方法和装置
CN116226178A (zh) 一种数据查询方法、装置、存储介质及电子装置
CN111064715A (zh) 一种防火墙的编排方法、装置和计算机可读存储介质
CN113240499B (zh) 一种基于系统切换的订单处理方法和装置
CN111414567A (zh) 数据处理方法、装置
US6781961B1 (en) Systems and methods for routing messages sent between computer systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507

RJ01 Rejection of invention patent application after publication