CN112650913A - 一种应对大数据高并发计数场景的计数方法及系统 - Google Patents

一种应对大数据高并发计数场景的计数方法及系统 Download PDF

Info

Publication number
CN112650913A
CN112650913A CN202011610208.7A CN202011610208A CN112650913A CN 112650913 A CN112650913 A CN 112650913A CN 202011610208 A CN202011610208 A CN 202011610208A CN 112650913 A CN112650913 A CN 112650913A
Authority
CN
China
Prior art keywords
counting
count
platform
storage
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011610208.7A
Other languages
English (en)
Inventor
罗立锋
林万青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Funo Mobile Communication Technology Co ltd
Original Assignee
Fujian Funo Mobile Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Funo Mobile Communication Technology Co ltd filed Critical Fujian Funo Mobile Communication Technology Co ltd
Priority to CN202011610208.7A priority Critical patent/CN112650913A/zh
Publication of CN112650913A publication Critical patent/CN112650913A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种应对大数据高并发计数场景的计数方法，包括以下步骤：构建活动参与历史存储数据库,并按用户唯一标识建立索引；构建平台计数存储，并按计数项建立唯一索引；根据业务规则，参与主体主题活动时，在活动参与历史存储中记录数据；用户进入各种主题活动时，直接通过检索平台计数存储得到参与各种主题活动所需的营销数据。本发明能够有效减少数据规模，实现业务数据存储和计数检索分离。

Description

一种应对大数据高并发计数场景的计数方法及系统
技术领域
本发明涉及大数据高并发领域，具体涉及一种应对大数据高并发计数场景的计数方法及系统。
背景技术
面对大数据高并发的业务场景，每个登录平台的用户，根据业务规则每天都可以参加平台制定并开放的各类主题活动，这些场景需要统计各类主题活动的营销数据，即存在计数需求。现有技术方案：存储每次参与主题活动的的数据到活动参与历史存储中，它的特点是数据规模增长迅速，数据量大，并发量大，即大数据高并发。需要获各类营销数据时，平台都需要检索活动参与历史存储，从海量的数据中检索出历史数据并根据业务规则检索出计数项。
现有技术的缺点：用户每次进入各种主题活动，平台都需要检索活动参与历史存储，然后计算出对应的营销数据，该检索数据规模大，每个检索耗时大，在千万级别的数据量级下，每个检索大概耗时30分钟以上，在大并发场景下，这些主题活动占用了平台存储全部可用连接，造成整个平台无法访问，甚至奔溃。
发明内容
有鉴于此，本发明的目的在于提供一种应对大数据高并发计数场景的计数方法及系统，能够有效减少数据规模，实现业务数据存储和计数检索分离。
为实现上述目的，本发明采用如下技术方案：
一种应对大数据高并发计数场景的计数方法，包括以下步骤：
构建活动参与历史存储；
构建平台计数存储；
根据业务规则，参与这类主题活动时，在活动参与历史存储中记录数据；
用户进入各类主题活动时，直接通过检索平台计数存储得到参与各类主题活动所需的营销数据（计数类数据）。
进一步的，所述平台计数存储关键信息包括计数项（COUNT_ITEM）和计数值（COUNT_VALUE）。
进一步的，所述记录数据之前，平台会根据业务规则（计数项）进行计数。如果需要进行计数，就会在平台计数存储中，根据对应的计数项，新增一个计数；如果不需要进行计数，则不进行平台计数存储的计数操作；如果需要减少计数，则进行扣减一个计数。
进一步的，所述用户进入各类主题活动时，直接通过 平台计数存储来检索到参与该主题活动的营销数据（计数类数据）。
一种应对大数据高并发计数场景的计数系统，包括活动参与历史存储、平台计数存储、查询模块和用户端；所述活动参与历史存储、平台计数存储和查询模块依次连接。
本发明与现有技术相比具有以下有益效果：
本发明能够有效减少检索数据规模，实现业务数据存储和计数检索分离。
具体实施方式
下面实施例对本发明做进一步说明。
本发明提供一种应对大数据高并发计数场景的计数方法，包括以下步骤：
构建活动参与历史存储,存储活动参与历史数据；
构建平台计数存储，关键信息包括计数项（COUNT_ITEM）、计数值（COUNT_VALUE）；
平台各类主题活动，根据业务规则，参与主题活动时，都会在活动参与历史存储中记录数据。在记录数据之前，平台会根据业务规则进行计数，如果需要进行计数，就会在平台计数存储中，根据对应的计数项，新增一个计数；如果不需要进行计数，则不进行平台计数存储的计数操作；如果需要减少计数，则进行扣减一个计数；
用户进入各类主题活动时，直接通过检索平台计数存储可以得到参与各种主题活动所需的营销数据（计数类数据），这种情况下的检索，就把大数据转换成了小数据，缩小了数据范围，提升了检索效率。在大数据高并发的各种活动下，平台查询耗时的问题得到了彻底解决，平台稳定性得到提升和保障。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种应对大数据高并发计数场景的计数方法，其特征在于，包括以下步骤：
构建活动参与历史存储；
构建平台计数存储；
根据业务规则，参与各类主题活动时，在活动参与历史存储中记录数据；
用户进入各类主题活动时，直接通过检索平台计数存储得到参与各类主题活动所需的营销数据。
2.根据权利要求1所述的一种应对大数据高并发计数场景的计数方法，其特征在于，所述平台计数存储关键信息包括计数项COUNT_ITEM和计数值COUNT_VALUE。
3.根据权利要求1所述的一种应对大数据高并发计数场景的计数方法，其特征在于，所述记录数据之前，平台会根据业务规则进行计数，如果需要进行计数，就会在平台计数存储中，根据对应的计数项，新增一个计数；如果不需要进行计数，则不进行平台计数存储的计数操作；如果需要减少计数，则进行扣减一个计数。
4.根据权利要求1所述的一种应对大数据高并发计数场景的计数方法，其特征在于，所述用户进入各类主题活动时，直接通过 平台技术存储来检索到参与该类主题活动的营销数据。
5.一种应对大数据高并发计数场景的计数系统，其特征在于，包括活动参与历史存储、平台计数存储、查询模块和用户端；所述活动参与历史存储、平台计数存储和查询模块依次连接。
CN202011610208.7A 2020-12-30 2020-12-30 一种应对大数据高并发计数场景的计数方法及系统 Pending CN112650913A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011610208.7A CN112650913A (zh) 2020-12-30 2020-12-30 一种应对大数据高并发计数场景的计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011610208.7A CN112650913A (zh) 2020-12-30 2020-12-30 一种应对大数据高并发计数场景的计数方法及系统

Publications (1)

Publication Number Publication Date
CN112650913A true CN112650913A (zh) 2021-04-13

Family

ID=75364119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011610208.7A Pending CN112650913A (zh) 2020-12-30 2020-12-30 一种应对大数据高并发计数场景的计数方法及系统

Country Status (1)

Country Link
CN (1) CN112650913A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923577A (zh) * 2010-09-02 2010-12-22 北京开心人信息技术有限公司 一种可扩展的计数方法与系统
CN102722405A (zh) * 2012-06-06 2012-10-10 新浪网技术(中国)有限公司 高并发、多线程应用中的计数方法及系统
US20170263068A1 (en) * 2016-03-14 2017-09-14 Le Holdings (Beijing) Co., Ltd. Method for generating counting events and electronic device
CN108460629A (zh) * 2018-02-10 2018-08-28 深圳壹账通智能科技有限公司 用户营销推荐方法、装置、终端设备及存储介质
CN109582307A (zh) * 2018-10-26 2019-04-05 深圳壹账通智能科技有限公司 基于统一入口的活动创建方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923577A (zh) * 2010-09-02 2010-12-22 北京开心人信息技术有限公司 一种可扩展的计数方法与系统
CN102722405A (zh) * 2012-06-06 2012-10-10 新浪网技术(中国)有限公司 高并发、多线程应用中的计数方法及系统
US20170263068A1 (en) * 2016-03-14 2017-09-14 Le Holdings (Beijing) Co., Ltd. Method for generating counting events and electronic device
CN108460629A (zh) * 2018-02-10 2018-08-28 深圳壹账通智能科技有限公司 用户营销推荐方法、装置、终端设备及存储介质
CN109582307A (zh) * 2018-10-26 2019-04-05 深圳壹账通智能科技有限公司 基于统一入口的活动创建方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CA2895893C (en) Searchable data archive
CN108595621B (zh) 一种虚开增值税发票的预警分析方法及系统
CN102929961A (zh) 基于构建快速数据分级通道的数据处理方法及其装置
CN104391948A (zh) 数据仓库的数据标准化构建方法及系统
CN107045679A (zh) 一种基于数据挖掘的电子商品库存管理系统
CN108052551A (zh) 一种在redis上实现的存储大量时序数据的方法
CN103176988A (zh) 基于SaaS的数据迁移系统
CN110413624A (zh) 一种基于列存的多列联合存储的方法
US10936627B2 (en) Systems and methods for intelligently grouping financial product users into cohesive cohorts
CN106503054A (zh) 一种数据查询方法及服务器
CN105468740B (zh) 一种游戏玩家数据的存储、分析方法及装置
US7899824B2 (en) Distributing advertisements to distribution target nodes based on a clustering coefficient
CN104750860B (zh) 一种不确定数据的数据存储方法
CN102262675B (zh) 数据库查询方法及智能卡
CN112650913A (zh) 一种应对大数据高并发计数场景的计数方法及系统
CN114004654A (zh) 基于大数据分析的互联网卡用户画像构建方法及系统
CN107657286A (zh) 一种广告识别方法及计算机可读存储介质
CN106682106A (zh) 基于海量电力实时数据的分布式管理系统
CN106919712A (zh) 报表的数据统计方法和系统
CN111552679A (zh) 基于简单需求的快速建模方法及装置
CN112966001B (zh) 一种基于区块链的BCTkPQ查询方法
CN115048682A (zh) 一种土地流转信息的安全存储方法
CN115423361A (zh) 风险视图的数据处理方法、装置、存储介质和设备
CN115344633A (zh) 数据处理方法、装置、设备和存储介质
CN101799803B (zh) 信息处理方法、模块及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination