CN112650913A - 一种应对大数据高并发计数场景的计数方法及系统 - Google Patents
一种应对大数据高并发计数场景的计数方法及系统 Download PDFInfo
- Publication number
- CN112650913A CN112650913A CN202011610208.7A CN202011610208A CN112650913A CN 112650913 A CN112650913 A CN 112650913A CN 202011610208 A CN202011610208 A CN 202011610208A CN 112650913 A CN112650913 A CN 112650913A
- Authority
- CN
- China
- Prior art keywords
- counting
- count
- platform
- storage
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种应对大数据高并发计数场景的计数方法,包括以下步骤:构建活动参与历史存储数据库,并按用户唯一标识建立索引;构建平台计数存储,并按计数项建立唯一索引;根据业务规则,参与主体主题活动时,在活动参与历史存储中记录数据;用户进入各种主题活动时,直接通过检索平台计数存储得到参与各种主题活动所需的营销数据。本发明能够有效减少数据规模,实现业务数据存储和计数检索分离。
Description
技术领域
本发明涉及大数据高并发领域,具体涉及一种应对大数据高并发计数场景的计数方法及系统。
背景技术
面对大数据高并发的业务场景,每个登录平台的用户,根据业务规则每天都可以参加平台制定并开放的各类主题活动,这些场景需要统计各类主题活动的营销数据,即存在计数需求。现有技术方案:存储每次参与主题活动的的数据到活动参与历史存储中,它的特点是数据规模增长迅速,数据量大,并发量大,即大数据高并发。需要获各类营销数据时,平台都需要检索活动参与历史存储,从海量的数据中检索出历史数据并根据业务规则检索出计数项。
现有技术的缺点:用户每次进入各种主题活动,平台都需要检索活动参与历史存储,然后计算出对应的营销数据,该检索数据规模大,每个检索耗时大,在千万级别的数据量级下,每个检索大概耗时30分钟以上,在大并发场景下,这些主题活动占用了平台存储全部可用连接,造成整个平台无法访问,甚至奔溃。
发明内容
有鉴于此,本发明的目的在于提供一种应对大数据高并发计数场景的计数方法及系统,能够有效减少数据规模,实现业务数据存储和计数检索分离。
为实现上述目的,本发明采用如下技术方案:
一种应对大数据高并发计数场景的计数方法,包括以下步骤:
构建活动参与历史存储;
构建平台计数存储;
根据业务规则,参与这类主题活动时,在活动参与历史存储中记录数据;
用户进入各类主题活动时,直接通过检索平台计数存储得到参与各类主题活动所需的营销数据(计数类数据)。
进一步的,所述平台计数存储关键信息包括计数项(COUNT_ITEM)和计数值(COUNT_VALUE)。
进一步的,所述记录数据之前,平台会根据业务规则(计数项)进行计数。如果需要进行计数,就会在平台计数存储中,根据对应的计数项,新增一个计数;如果不需要进行计数,则不进行平台计数存储的计数操作;如果需要减少计数,则进行扣减一个计数。
进一步的,所述用户进入各类主题活动时,直接通过 平台计数存储来检索到参与该主题活动的营销数据(计数类数据)。
一种应对大数据高并发计数场景的计数系统,包括活动参与历史存储、平台计数存储、查询模块和用户端;所述活动参与历史存储、平台计数存储和查询模块依次连接。
本发明与现有技术相比具有以下有益效果:
本发明能够有效减少检索数据规模,实现业务数据存储和计数检索分离。
具体实施方式
下面实施例对本发明做进一步说明。
本发明提供一种应对大数据高并发计数场景的计数方法,包括以下步骤:
构建活动参与历史存储,存储活动参与历史数据;
构建平台计数存储,关键信息包括计数项(COUNT_ITEM)、计数值(COUNT_VALUE);
平台各类主题活动,根据业务规则,参与主题活动时,都会在活动参与历史存储中记录数据。在记录数据之前,平台会根据业务规则进行计数,如果需要进行计数,就会在平台计数存储中,根据对应的计数项,新增一个计数;如果不需要进行计数,则不进行平台计数存储的计数操作;如果需要减少计数,则进行扣减一个计数;
用户进入各类主题活动时,直接通过检索平台计数存储可以得到参与各种主题活动所需的营销数据(计数类数据),这种情况下的检索,就把大数据转换成了小数据,缩小了数据范围,提升了检索效率。在大数据高并发的各种活动下,平台查询耗时的问题得到了彻底解决,平台稳定性得到提升和保障。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (5)
1.一种应对大数据高并发计数场景的计数方法,其特征在于,包括以下步骤:
构建活动参与历史存储;
构建平台计数存储;
根据业务规则,参与各类主题活动时,在活动参与历史存储中记录数据;
用户进入各类主题活动时,直接通过检索平台计数存储得到参与各类主题活动所需的营销数据。
2.根据权利要求1所述的一种应对大数据高并发计数场景的计数方法,其特征在于,所述平台计数存储关键信息包括计数项COUNT_ITEM和计数值COUNT_VALUE。
3.根据权利要求1所述的一种应对大数据高并发计数场景的计数方法,其特征在于,所述记录数据之前,平台会根据业务规则进行计数,如果需要进行计数,就会在平台计数存储中,根据对应的计数项,新增一个计数;如果不需要进行计数,则不进行平台计数存储的计数操作;如果需要减少计数,则进行扣减一个计数。
4.根据权利要求1所述的一种应对大数据高并发计数场景的计数方法,其特征在于,所述用户进入各类主题活动时,直接通过 平台技术存储来检索到参与该类主题活动的营销数据。
5.一种应对大数据高并发计数场景的计数系统,其特征在于,包括活动参与历史存储、平台计数存储、查询模块和用户端;所述活动参与历史存储、平台计数存储和查询模块依次连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011610208.7A CN112650913A (zh) | 2020-12-30 | 2020-12-30 | 一种应对大数据高并发计数场景的计数方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011610208.7A CN112650913A (zh) | 2020-12-30 | 2020-12-30 | 一种应对大数据高并发计数场景的计数方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112650913A true CN112650913A (zh) | 2021-04-13 |
Family
ID=75364119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011610208.7A Pending CN112650913A (zh) | 2020-12-30 | 2020-12-30 | 一种应对大数据高并发计数场景的计数方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112650913A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101923577A (zh) * | 2010-09-02 | 2010-12-22 | 北京开心人信息技术有限公司 | 一种可扩展的计数方法与系统 |
CN102722405A (zh) * | 2012-06-06 | 2012-10-10 | 新浪网技术(中国)有限公司 | 高并发、多线程应用中的计数方法及系统 |
US20170263068A1 (en) * | 2016-03-14 | 2017-09-14 | Le Holdings (Beijing) Co., Ltd. | Method for generating counting events and electronic device |
CN108460629A (zh) * | 2018-02-10 | 2018-08-28 | 深圳壹账通智能科技有限公司 | 用户营销推荐方法、装置、终端设备及存储介质 |
CN109582307A (zh) * | 2018-10-26 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 基于统一入口的活动创建方法、装置、设备及存储介质 |
-
2020
- 2020-12-30 CN CN202011610208.7A patent/CN112650913A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101923577A (zh) * | 2010-09-02 | 2010-12-22 | 北京开心人信息技术有限公司 | 一种可扩展的计数方法与系统 |
CN102722405A (zh) * | 2012-06-06 | 2012-10-10 | 新浪网技术(中国)有限公司 | 高并发、多线程应用中的计数方法及系统 |
US20170263068A1 (en) * | 2016-03-14 | 2017-09-14 | Le Holdings (Beijing) Co., Ltd. | Method for generating counting events and electronic device |
CN108460629A (zh) * | 2018-02-10 | 2018-08-28 | 深圳壹账通智能科技有限公司 | 用户营销推荐方法、装置、终端设备及存储介质 |
CN109582307A (zh) * | 2018-10-26 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 基于统一入口的活动创建方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2895893C (en) | Searchable data archive | |
CN108595621B (zh) | 一种虚开增值税发票的预警分析方法及系统 | |
CN102929961A (zh) | 基于构建快速数据分级通道的数据处理方法及其装置 | |
CN104391948A (zh) | 数据仓库的数据标准化构建方法及系统 | |
CN101650717A (zh) | 一种节约数据库存储空间的方法和系统 | |
US10936627B2 (en) | Systems and methods for intelligently grouping financial product users into cohesive cohorts | |
CN110413624A (zh) | 一种基于列存的多列联合存储的方法 | |
CN101572762B (zh) | 基于统计的存储管理和快速索引实现海量话单合并的方法 | |
CN107657286A (zh) | 一种广告识别方法及计算机可读存储介质 | |
CN109669975A (zh) | 一种工业大数据处理系统及方法 | |
CN114004654A (zh) | 基于大数据分析的互联网卡用户画像构建方法及系统 | |
CN105468740B (zh) | 一种游戏玩家数据的存储、分析方法及装置 | |
US7899824B2 (en) | Distributing advertisements to distribution target nodes based on a clustering coefficient | |
CN112650913A (zh) | 一种应对大数据高并发计数场景的计数方法及系统 | |
CN112988783A (zh) | 一种基于多维数据模型的舆情发生时序分析方法 | |
CN115048682B (zh) | 一种土地流转信息的安全存储方法 | |
CN106682106A (zh) | 基于海量电力实时数据的分布式管理系统 | |
CN106919712A (zh) | 报表的数据统计方法和系统 | |
CN111666263A (zh) | 一种数据湖环境下异构数据管理的实现方法 | |
CN112966001B (zh) | 一种基于区块链的BCTkPQ查询方法 | |
CN115423361A (zh) | 风险视图的数据处理方法、装置、存储介质和设备 | |
CN115344633A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN103617181A (zh) | 一种亲缘关系通用数据库构建方法和装置 | |
CN109189743A (zh) | 一种面向大流量实时图数据的低资源消耗的超级节点识别过滤方法和系统 | |
CN116720578B (zh) | 一种具有时空特性的知识图谱的存储方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |