CN108170802A - 一种数据分类缓存下发方法及系统装置 - Google Patents

一种数据分类缓存下发方法及系统装置 Download PDF

Info

Publication number
CN108170802A
CN108170802A CN201711460240.XA CN201711460240A CN108170802A CN 108170802 A CN108170802 A CN 108170802A CN 201711460240 A CN201711460240 A CN 201711460240A CN 108170802 A CN108170802 A CN 108170802A
Authority
CN
China
Prior art keywords
business datum
database
newer
intermediate buffer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711460240.XA
Other languages
English (en)
Inventor
胡斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Ding Ting Information Technology Co Ltd
Original Assignee
Wuhan Ding Ting Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Ding Ting Information Technology Co Ltd filed Critical Wuhan Ding Ting Information Technology Co Ltd
Priority to CN201711460240.XA priority Critical patent/CN108170802A/zh
Publication of CN108170802A publication Critical patent/CN108170802A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据分类缓存下发方法及系统装置，其中所述的方法包括：运营管理平台获取更新的业务数据下发至数据库；运营管理平台调用事件通知模块；事件通知模块通知中间缓存服务模块更新业务数据；中间缓存服务模块从数据库中拉取更新的业务数据发送至内存存储。本发明应用于互联网或软件公司内部作为数据统一缓存管理和下发的数据缓存下发方法及系统装置。应用在运营管理平台、配置平台等需要实时改动数据并且与之对应的客户端并发访问量比较高的业务系统中。本发明减少了包头等地方臃肿的数据，减少了流量耗费，加快了传输速率；极大降低了沟通成本；不会存在读取DB时访问速度缓慢、阻塞、锁等问题，做到了数据及时性。

Description

一种数据分类缓存下发方法及系统装置
技术领域
本发明涉及一种数据缓存技术，尤其涉及一种应用于互联网或软件公司内部作为数据统一缓存管理和下发的数据分类缓存下发方方法及系统装置。应用在运营管理平台、配置平台等需要实时改动数据并且与之对应的客户端并发访问量比较高的业务系统中。
背景技术
目前，大部分公司在使用的内部管理系统、配置平台等，都会在线上直接读取DB，这样虽说数据同步较好，及时性高，但是在HTTP协议带来的一部分流量耗费的同时更大的问题是网络IO并发量较大的时候，DB查询速度跟不上，大量读取和写入同一个库带来的死锁、阻塞等问题将会造成灾难性后果。另一种方法是直接使用缓存中间件提供额外的HTTP接口来访问，这样带来的问题是数据更新不及时，额外的流量耗费，多余的沟通成本，并且不能做到同步更新。
由上可知，现有技术中主要存在如下两个技术问题：
1.线上直接读取DB，查询速度跟不上，大量读取和写入同一个库带来的死锁、阻塞等问题；
2.使用缓存中间件提供额外的HTTP接口来访问，数据更新不及时不能做到同步更新。
发明内容
为解决上述背景技术中指出的技术问题，本发明提供了一种用一个中间缓存服务将与管理平台对接的关系型数据库中所有需要的数据读取到该服务所在内存中并做好数据整理和内存分块的数据分类缓存下发方方法及系统装置，其具体的技术方案如下：
第一方面，一种数据分类缓存下发方方法，所述方法包括：
运营管理平台获取更新的业务数据下发至数据库；
运营管理平台调用事件通知模块；所述事件通知模块是一个独立的proxy服务，专门提供内部接口来代理通知事件并定向转发到其他服务和进程；
事件通知模块通知中间缓存服务模块更新业务数据；
中间缓存服务模块获取事件通知模块发送的业务数据的业务类型从数据库中拉取相应业务类型的更新的业务数据分发至相应业务类型的内存分块中存储。
结合第一方面，在第一方面可能的实现方式中的第一种情况为，所述中间缓存服务模块更新业务数据为：所述中间缓存服务模块定时从数据库中拉取更新的业务数据。
结合第一方面，在第一方面可能的实现方式中的第二种情况为，所述线上服务端通过所述中间缓存服务模块的内部接口调用内存中存储的业务数据。所述内部接口基于TCP协议，应用层经过一系列的自定义封装，实现了自己的序列化和反序列化，以及可以由接口描述文件自动转换成代码类，省去了HTTP接口带有的各种包头，数据传输速率快。
第二方面，一种数据分类缓存下发方系统，所述系统包括：
运营管理平台，用于操作数据库生成用户的运营数据和内容，调用事件通知模块，更新业务数据；
事件通知模块，用于提供内部接口来代理通知事件并定向转发到其他服务和进程，通知中间缓存服务模块更新业务数据；
中间缓存服务模块，用于从数据库中拉取更新的各类型业务数据发送至相应业务类型的内存分块中存储；
数据库，用于存储用户的运营数据和内容及更新的业务数据；
内存分块，用于存储更新的各类型业务数据。
第三方面，一种数据分类缓存下发方系统装置，所述系统装置包括：
运营管理平台，用于操作数据库生成用户的运营数据和内容，调用事件通知模块，更新业务数据；
事件通知模块，用于提供内部接口来代理通知事件并定向转发到其他服务和进程。用于通知中间缓存服务模块更新业务数据；
中间缓存服务模块，用于从数据库中拉取更新的各类型业务数据发送至相应业务类型的内存分块中存储；
数据库，用于存储用户的运营数据和内容及更新的业务数据；
内存分块，用于存储更新的各类型业务数据；
所述系统装置还包括存储器、处理器、总线，所述存储器同所述处理器通过总线连接，所述存储器存储多条操作指令，所述处理器加载所述操作指令并执行，实现上述第一方面及第一方面的第一种至第二种情况所述的方法。
有益效果：
1.使用基于TCP的自定义传输协议减少了HTTP协议中包头等地方臃肿的数据，减少了流量耗费的同时加快传输速率；
2.自定义接口中的业务数据清晰，极大降低了沟通成本；
3.所有接口数据先读取内存，再从内存中分发，不会存在读取DB时访问速度缓慢、阻塞、锁等问题；
4.在后台操作改变DB数据的同时，能立即利用服务进程间事件通知模块通知中间缓存服务模块更新内存业务数据，做到了数据及时性。
附图说明
图1为实施例一的流程示意图；
图2为实施例一、二的流程示意图；
图3为实施例三的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
如图1和图2所示，一种数据分类缓存下发方方法，所述方法包括：
步骤101，运营管理人员将更新的业务数据输入运营管理平台；
步骤102，运营管理平台获取更新的业务数据下发至数据库；
步骤103，运营管理平台调用事件通知模块；
步骤104，事件通知模块将更新业务数据及对应的业务类型事件代理到中间缓存服务模块，通知中间缓存服务模块更新各类型的业务数据；
步骤105，中间缓存服务模块根据业务类型从数据库中拉取相应业务类型的更新的业务数据发送至相应业务类型的内存分块中存储。
实施例二：
如图2所示，用户登录客户端后，通过承载用户的线上服务从中间缓存服务模块拉取业务数据，所述线上服务通过中间缓存服务模块提供的接口随时拉取业务数据，中间缓存服务会提供内部自定义的接口，来供线上服务调用内存中的数据。该接口基于TCP协议，应用层经过一系列的自定义封装，实现了自己的序列化和反序列化以及可以由接口描述文件自动转换成代码类，省去了HTTP接口带有的各种包头，数据传输速率快。
同时，如图2所示，所述中间缓存服务模块除根据事件通知模块的通知从数据库拉取业务数据外，还可以根据系统预设的固定时间周期自动从数据库拉取业务数据，保证其中间缓存服务模块能及时的提供最新的业务数据，做到了数据及时性，使用户获得更佳的使用体验。
实施例三：
如图3所示，本发明基于上述方法提供了一种数据分类缓存下发方系统，所述系统包括：
运营管理平台，用于操作数据库生成用户的运营数据和内容，调用事件通知模块，更新业务数据；
事件通知模块，用于提供内部接口来代理通知事件并定向转发到其他服务和进程，通知中间缓存服务模块更新业务数据；
中间缓存服务模块，用于从数据库中拉取更新的各类型业务数据发送至相应业务类型的内存分块中存储；
数据库，用于存储用户的运营数据和内容及更新的业务数据；
内存分块，用于存储更新的各类型业务数据。
基于上述系统，本发明还提供了一种数据分类缓存下发方系统装置，所述系统装置包括：
运营管理平台，用于操作数据库生成用户的运营数据和内容，调用事件通知模块，更新业务数据；
事件通知模块，用于提供内部接口来代理通知事件并定向转发到其他服务和进程。用于通知中间缓存服务模块更新业务数据；
中间缓存服务模块，用于从数据库中拉取更新的各类型业务数据发送至相应业务类型的内存分块中存储；
数据库，用于存储用户的运营数据和内容及更新的业务数据；
内存分块，用于存储更新的各类型业务数据；
所述系统装置还包括存储器、处理器、总线，所述存储器同所述处理器通过总线连接，所述存储器存储多条操作指令，所述处理器加载所述操作指令并执行，实现说明书中所述的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，可以是设计成一体设备，也可以是组合成一套设备，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件和必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种数据分类缓存下发方法，其特征在于，所述方法包括：
运营管理平台获取更新的业务数据下发至数据库；
运营管理平台调用事件通知模块；
事件通知模块通知中间缓存服务模块更新业务数据；
中间缓存服务模块获取事件通知模块发送的业务数据的业务类型从数据库中拉取相应业务类型的更新的业务数据分发至相应业务类型的内存分块中存储。
2.根据权利要求1所述的一种数据分类缓存下发方方法，其特征在于，所述中间缓存服务模块更新业务数据为：所述中间缓存服务模块定时从数据库中拉取更新的业务数据。
3.根据权利要求1所述的一种数据分类缓存下发方方法，其特征在于，所述线上服务端通过所述中间缓存服务模块的内部接口调用内存中存储的业务数据。
4.一种数据分类缓存下发方系统，其特征在于，所述系统包括：
运营管理平台，用于操作数据库生成用户的运营数据和内容，调用事件通知模块，更新业务数据；
事件通知模块，用于提供内部接口来代理通知事件并定向转发到其他服务和进程，通知中间缓存服务模块更新业务数据；
中间缓存服务模块，用于从数据库中拉取更新的各类型业务数据发送至相应业务类型的内存分块中存储；
数据库，用于存储用户的运营数据和内容及更新的业务数据；
内存分块，用于存储更新的各类型业务数据。
5.一种数据分类缓存下发方系统装置，其特征在于，所述系统装置包括：
运营管理平台，用于操作数据库生成用户的运营数据和内容，调用事件通知模块，更新业务数据；
事件通知模块，用于提供内部接口来代理通知事件并定向转发到其他服务和进程，通知中间缓存服务模块更新业务数据；
中间缓存服务模块，用于从数据库中拉取更新的各类型业务数据发送至相应业务类型的内存分块中存储；
数据库，用于存储用户的运营数据和内容及更新的业务数据；
内存分块，用于存储更新的各类型业务数据；
所述系统装置还包括存储器、处理器、总线，所述存储器同所述处理器通过总线连接，所述存储器存储多条操作指令，所述处理器加载所述操作指令并执行，实现上述权利要求1-3所述的方法。
CN201711460240.XA 2017-12-28 2017-12-28 一种数据分类缓存下发方法及系统装置 Pending CN108170802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711460240.XA CN108170802A (zh) 2017-12-28 2017-12-28 一种数据分类缓存下发方法及系统装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711460240.XA CN108170802A (zh) 2017-12-28 2017-12-28 一种数据分类缓存下发方法及系统装置

Publications (1)

Publication Number Publication Date
CN108170802A true CN108170802A (zh) 2018-06-15

Family

ID=62519136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711460240.XA Pending CN108170802A (zh) 2017-12-28 2017-12-28 一种数据分类缓存下发方法及系统装置

Country Status (1)

Country Link
CN (1) CN108170802A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875016A (zh) * 2018-06-20 2018-11-23 上海百林通信网络科技服务股份有限公司 一种基于人脸识别应用的样本共享技术和评价方法
CN109408751A (zh) * 2018-09-27 2019-03-01 腾讯科技(成都)有限公司 一种数据处理方法、终端、服务器及存储介质
CN112468511A (zh) * 2020-12-11 2021-03-09 建信金融科技有限责任公司 文件传输方法和装置
CN113221195A (zh) * 2021-04-23 2021-08-06 北京达佳互联信息技术有限公司 一种保存业务数据的方法、装置及存储介质
CN113934793A (zh) * 2021-09-07 2022-01-14 华数传媒网络有限公司 一种运营系统的分布式数据管理系统和方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875016A (zh) * 2018-06-20 2018-11-23 上海百林通信网络科技服务股份有限公司 一种基于人脸识别应用的样本共享技术和评价方法
CN109408751A (zh) * 2018-09-27 2019-03-01 腾讯科技(成都)有限公司 一种数据处理方法、终端、服务器及存储介质
CN109408751B (zh) * 2018-09-27 2022-08-30 腾讯科技(成都)有限公司 一种数据处理方法、终端、服务器及存储介质
CN112468511A (zh) * 2020-12-11 2021-03-09 建信金融科技有限责任公司 文件传输方法和装置
CN112468511B (zh) * 2020-12-11 2023-02-03 建信金融科技有限责任公司 文件传输方法和装置
CN113221195A (zh) * 2021-04-23 2021-08-06 北京达佳互联信息技术有限公司 一种保存业务数据的方法、装置及存储介质
CN113934793A (zh) * 2021-09-07 2022-01-14 华数传媒网络有限公司 一种运营系统的分布式数据管理系统和方法

Similar Documents

Publication Publication Date Title
CN108170802A (zh) 一种数据分类缓存下发方法及系统装置
CN104216695B (zh) 提供页面待展现信息及展现页面信息的方法及系统
CN107357896A (zh) 数据库集群的扩容方法、装置、系统和数据库集群系统
CN103888378B (zh) 一种基于缓存机制的数据交换系统和方法
CN107391664A (zh) 基于web的页面数据处理方法和系统
CN105897850A (zh) 用于cdn平台的响应处理方法、调度代理服务器及系统
CN108196964A (zh) 一种将数据流模块化的方法和装置
CN108055199A (zh) 支持离线消息保存的移动推送方法及系统
CN107480205A (zh) 一种进行数据分区的方法和装置
CN106921721A (zh) 一种服务器、会话管理方法和系统
CN107729570A (zh) 用于服务器的数据迁移方法和装置
CN106357791A (zh) 业务处理方法、装置及系统
CN107197359A (zh) 视频文件缓存方法及装置
CN108134839A (zh) 一种数据定时缓存下发方法及系统装置
CN107479873A (zh) 一种app页面模块化开发方法、电子设备及存储介质
CN109697020A (zh) 一种数据存储方法、服务器及系统
CN112650545A (zh) 一种配置管理系统、方法及存储介质
CN104778049A (zh) 基于Android系统的用于人机交互APP应用的实现方法及交互系统
CN107943589A (zh) 一种数据缓存的管理方法及装置
CN108366110A (zh) 一种网站数据交互系统及方法
CN102447714A (zh) Cookie管理方法
US20200394085A1 (en) Smart contract information redirect to updated version of smart contract
CN103873525B (zh) 创建数字内容运营平台的系统及方法
CN101388863A (zh) 一种wap网关提取业务的实现方法和系统
CN110162410A (zh) 一种消息处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180615

WD01 Invention patent application deemed withdrawn after publication