CN107026881B - 业务数据的处理方法、装置及系统 - Google Patents

业务数据的处理方法、装置及系统 Download PDF

Info

Publication number
CN107026881B
CN107026881B CN201610071149.8A CN201610071149A CN107026881B CN 107026881 B CN107026881 B CN 107026881B CN 201610071149 A CN201610071149 A CN 201610071149A CN 107026881 B CN107026881 B CN 107026881B
Authority
CN
China
Prior art keywords
distributed
statistical data
region
message
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610071149.8A
Other languages
English (en)
Other versions
CN107026881A (zh
Inventor
黄俊深
王翔
刘婷婷
蔡飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610071149.8A priority Critical patent/CN107026881B/zh
Priority to PCT/CN2017/072185 priority patent/WO2017133539A1/zh
Publication of CN107026881A publication Critical patent/CN107026881A/zh
Application granted granted Critical
Publication of CN107026881B publication Critical patent/CN107026881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种业务数据的处理方法、装置及系统。其中，方法包括：分布式计算服务器接收来自业务系统的业务消息及其属性信息；所述属性信息包括用户标识和来源地理位置信息；分布式计算服务器按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中。本发明中的技术方案能够快速的确定业务消息相关信息的地域分布。

Description

业务数据的处理方法、装置及系统
技术领域
本发明涉及信息监控领域，特别是一种业务数据的处理方法、装置及系统。
背景技术
在有些应用场景中，需要对业务消息的一些信息，如消息量和/或用户数等业务数据，进行地域分布的统计和确定等处理。例如，在各业务可能存在恶意消息来源时，需要确定该恶意消息在各个地区中的分布情况，以便针对重点业务进行监控。又如，在某业务可能存在恶意剧增时，需要确定该恶意剧增的业务地区，以迅速对相应业务调整策略，压制恶意进一步蔓延。此外，需要辅助进行线下打击，杜绝恶意来源时，也需要对业务消息的目标信息的地域分布进行统计和确定。
发明内容
有鉴于此，本发明实施例中一方面提供一种业务数据的处理方法，另一方面提供一种业务数据的处理装置和系统，用以确定业务消息相关信息的地域分布。
本发明实施例中提供的一种业务数据的处理方法，包括：
分布式计算服务器接收来自业务系统的业务消息及其属性信息；所述属性信息包括用户标识和来源地理位置信息；
分布式计算服务器按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；
将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中。
本发明实施例中提供的一种业务数据的处理方法，包括：
查询服务器接收来自用户的查询请求，根据所述查询请求从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据，并展示所述各地分布的用户数的统计数据；
所述分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据为：所述分布式计算服务器按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息。
本发明实施例中提供的一种业务数据的处理装置，包括：至少一个计算服务器和至少一个汇总服务器；其中，
每个计算服务器用于接收来自业务系统的业务消息及其属性信息，所述属性信息包括用户标识和来源地理位置信息；按照第一时间间隔根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息，根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据；
每个汇总服务器用于按照第一时间间隔对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据。
本发明实施例中提供的一种业务数据的处理装置，包括：
请求接收模块，用于接收来自用户的查询请求；
查询模块，用于根据所述查询请求，从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据；
展示模块，用于展示所述查询模块查询到的统计数据。
本发明实施例中提供的一种业务消息的目标信息地域分布确定系统，包括：
实时检索分析服务器，用于从业务系统接收来自业务系统的业务消息及其属性信息，并采用嵌套式的列存储以及位图的方式存储所述业务消息及其属性信息；所述属性信息包括用户标识和来源地理位置信息；根据存储的所述业务消息及其属性信息中的来源地理位置信息，实时确定业务消息在各地分布的消息量的统计数据；
分布式计算服务器，用于从业务系统或所述实时检索分析服务器接收来自业务系统的业务消息及其属性信息；按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中。
可见，本发明实施例中，通过利用分布式计算服务器对来自业务系统的业务消息，按照其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，便可方便快速的确定各地分布的用户数的统计信息，之后可将该统计数据存储到一数据库中，以便查询展示。
附图说明
为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中，
图1为本发明各个实施例所涉及的一种实施环境的结构示意图；
图2A和图2B分别为本发明实施例中一种查询服务器的结构示意图；
图3为本发明实施例中一种业务消息的目标信息地域分布确定方法的示例性流程图；
图4和图5分别为本发明实施例中一种业务消息的目标信息地域分布展示方法的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。
图1为本发明各个实施例所涉及的一种实施环境的结构示意图。如图1所示，该实施环境包括：业务系统101、实时检索分析服务器102、分布式计算服务器103、数据库104和查询服务器105。
其中，业务系统101用于提供业务消息以及该业务消息的属性信息。业务消息可以是业务系统过滤得到的恶意消息，也可以是设定需要监控的某业务的消息等，此处不对业务消息的具体类型进行限定。业务消息的属性信息可以包括用户标识和来源地理位置信息等。
实时检索分析服务器102用于从业务系统101实时接收来自业务系统101的业务消息及其属性信息，并可采用嵌套式的列存储以及位图(bit-map)等方式组织存储所述业务消息及其属性信息。这种结构的存储方式，在分析大规模复杂数据，如TB级规模的复杂数据时，能实现关键数据的快速定位，从而可实现秒级的数据访问分析。因此，实时检索分析服务器102可根据存储的所述业务消息及其属性信息中的来源地理位置信息，快速、低延迟地实时确定业务消息在各地分布的消息量的统计数据。
实时检索分析服务器102可以为已有的检索分析平台，如Hermes实时检索分析服务器，Hermes实时检索分析服务器基于搜索引擎技术，将检索与数据分析相结合，可实现万亿级别的数据秒级的定向检索分析和模糊检索分析。此外，实时检索分析服务器102也可以为其它能实现类似功能的实时检索分析服务器。
分布式计算服务器103用于从业务系统101或实时检索分析服务器102接收来自业务系统101的业务消息及其属性信息。按照设定的第一时间间隔，对所述来自业务系统101的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到数据库104中。这里的第一时间间隔可以为1小时，即可每隔1小时计算一次。此外，第一时间间隔也可以为其它的时间段，如半小时、45分钟、1.5小时或2小时等。
其中，分布式计算服务器103可以为已有的分布式计算服务器，如Hadoop计算集群，Hadoop计算集群是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的性能进行高速运算和存储。此外，分布式计算服务器103也可以为其它可以实现类似功能的计算集群。
分布式计算服务器103可以是一个包括多台服务器的服务器集群。在一次处理中，这些服务器可分别用于进行单机计算或多机汇总。其中，每个用于进行计算的服务器(简称计算服务器)用于接收来自业务系统的业务消息及其属性信息，所述属性信息包括用户标识和来源地理位置信息；按照第一时间间隔根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息，根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据。例如，假设地域层级包括城市、省份和国家三个层级，则如需统计分布在A省的用户数，以及分布在B城市的用户数，则至少一个计算服务器用于对A省的业务消息，根据各业务消息的用户标识进行用户数去重计算，得到A省的用户数统计数据，至少一个计算服务器用于对B城市的业务消息，根据各业务消息的用户标识进行用户数去重计算，得到B城市的用户数统计数据。之后每个用于汇总的服务器(简称汇总服务器)用于对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据。例如，至少一汇总服务器用于对不同计算服务器的A省用户数统计结果进行汇总，得到A省分布的用户数的统计数据；至少一汇总服务器用于对不同计算服务器的B城市用户数统计结果进行汇总，得到B城市分布的用户数的统计数据。在某些应用中，汇总服务器也可以为一台。当然，地域层级也可以划分为包括县、地区、省份、国家四个地域层级等，具体如何划分此处不对其进行具体限定。
此外，分布式计算服务器103还可进一步用于按照设定的第二时间间隔，对来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据；并对所述业务消息根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据；将按照所述第二时间间隔得到的各地分布的用户数及消息量的统计数据存储到数据库104中。其中，第二时间间隔大于第一时间间隔。例如，第二时间间隔可以为一天，即每天计算一次各地分布的消息量及用户数的统计数据。此外，第二时间间隔也可以为其它的时间间隔，例如，2天、3天，4天，……。具体地，每个计算服务器进一步用于按照第二时间间隔根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据；以及根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息进行消息量统计，得到该地域的消息量统计数据；每个汇总服务器用于按照第二时间间隔对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据；以及对不同计算服务器的相同地域的用户消息量统计结果进行汇总，得到各地分布的消息量的统计数据。通过进一步按照第二时间间隔计算用户数和消息量的地域分布，可以减少查询历史数据时不必要的重复计算。
其中，以统计A省和B城市的消息量和用户数的统计数据的情况为例，当统计消息量时，可由至少一个计算服务器用于对A省的业务消息进行消息量统计，得到A省的消息量统计数据，至少一个计算服务器用于对B城市的业务消息进行消息量统计，得到B城市的消息量统计数据。至少一汇总服务器用于对不同计算服务器的A省消息量统计结果进行汇总，得到A省分布的消息量的统计数据；至少一汇总服务器用于对不同计算服务器的B城市消息量统计结果进行汇总，得到B城市分布的消息量的统计数据。在某些应用中，汇总服务器也可以为一台。
数据库104可以为Cloud Database(CDB)，CDB的主要特点包括：高性能、高可靠的MySQL服务；同时整合自动化管理工具，最大程度减少开发人员在部署、监控、扩容和故障恢复等方面的投入。此外，数据库104也可以为传统数据库，或者集成在计算集群服务器上的数据库。
查询服务器105用于接收来自用户的查询请求，判断需要查询的统计数据是实时数据还是历史数据，如果为实时数据，则从数据库104中获取按照最近的第一时间间隔得到的各地分布的用户数的统计数据，从实时检索分析服务器102获取所述实时得到的各地分布的消息量的统计数据，并展示所述各地分布的用户数及消息量的统计数据；如果为历史数据，则从数据库104中查询对应第二时间间隔得到的各地分布的用户数及消息量的统计数据，并展示所述各地分布的用户数及消息量的统计数据。
当然，查询服务器105也可以默认为从数据库104中获取按照最近的第一时间间隔得到的各地分布的用户数的统计数据或根据所述查询请求，从数据库104中获取分布式计算服务器103按照第一时间间隔得到的各地分布的用户数的统计数据。和/或，还可默认从实时检索分析服务器102获取所述实时得到的各地分布的消息量的统计数据。
本发明实施例中的技术方案，初次查询请求的响应延迟可在10秒(s)以下，连续查询请求的响应延迟可在5s以下。也就是说，该技术方案能够在低延迟的状况下，准实时展示业务消息量和用户数的地域分布统计信息。
本发明实施例中提出的一种业务数据的处理系统可仅包括上述的分布式计算服务器103。
本发明实施例中提出的又一种业务数据的处理系统可仅包括上述的实时检索分析服务器102。
本发明实施例中提出的再一种业务数据的处理系统可同时包括上述的实时检索分析服务器102和分布式计算服务器103。
上述各业务数据的处理系统还可以进一步包括查询服务器105。
本发明实施例中提出的一种业务数据的处理系统可仅包括上述的查询服务器105。
本发明实施例中提出的又一种业务数据的处理系统可包括上述的分布式计算服务器103和查询服务器105。
本发明实施例中提出的再一种业务数据的处理系统可包括上述的实时检索分析服务器102和查询服务器105。
本发明实施例中提出的再一种业务数据的处理系统可包括上述的实时检索分析服务器102、分布式计算服务器103和查询服务器105。
本发明实施例中的查询服务器105可有多种具体实现方式，图2A和图2B分别示出了其中一种。
如图2A所示，该查询服务器105可包括请求接收模块201、查询模块202和展示模块203。
其中，请求接收模块201用于接收来自用户的查询请求。
查询模块202用于根据所述查询请求，从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据。
展示模块203用于展示所述查询模块查询到的统计数据。
如图2B所示，该查询服务器105可包括请求接收模块201、判断模块204、查询模块202和展示模块203。
其中，请求接收模块201用于接收来自用户的查询请求。
判断模块202用于根据所述查询请求判断需要查询的统计数据是实时数据还是历史数据。
查询模块203用于在需要查询的统计数据为实时数据时，从一数据库中获取一分布式计算服务器按照最近的第一时间间隔得到的各地分布的用户数的统计数据；在需要查询的统计数据为历史数据时，从所述数据库中查询所述分布式计算服务器对应第二时间间隔得到的各地分布的用户数及消息量的统计数据。
展示模块204用于展示所述查询模块查询到的统计数据。
在一个实施方式中，查询模块203还可进一步用于在需要查询的统计数据为实时数据时，从一实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据。
本发明实施例中还提出一种业务数据的处理方法，该方法可在图1所示实施环境中实现。
图3为本发明实施例中一种业务数据的处理方法的示例性流程图。该方法可应用于分布式计算服务器中。如图3所示，该方法可包括如下步骤：
步骤301，分布式计算服务器接收来自业务系统的业务消息及其属性信息；所述属性信息包括用户标识和来源地理位置信息。
步骤302，分布式计算服务器按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息。
其中，不同的地域层级可根据实际需要进行划分，例如，可划分为包括城市、省份、国家三个地域层级，或者还可以划分为包括县、地区、省份、国家四个地域层级等。
步骤303，分布式计算服务器将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中。
该方法还可进一步包括如下的步骤304和步骤305。
步骤304，分布式计算服务器按照设定的第二时间间隔，对来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据；并对所述业务消息根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据。其中，第二时间间隔大于所述第一时间间隔。
步骤305，将按照所述第二时间间隔得到的各地分布的用户数及消息量的统计数据存储到一数据库中。
上述方法中，对来自业务系统的业务消息数据根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据，可包括：分布式计算服务器中的每台计算服务器根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据；分布式计算服务器中的每台汇总服务器对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据。
上述方法中，对所述业务消息根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据，可包括：分布式计算服务器中的每台计算服务器根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息进行消息量统计，得到该地域的消息量统计数据；分布式计算服务器中的每台汇总服务器对不同计算服务器的相同地域的消息量统计结果进行汇总，得到各地分布的消息量的统计数据。
此外，上述方法还可以进一步包括：实时检索分析服务器从业务系统接收来自业务系统的业务消息及其属性信息，并采用嵌套式的列存储以及位图的方式存储所述业务消息及其属性信息；根据存储的所述业务消息及其属性信息中的来源地理位置信息，实时确定业务消息在各地分布的消息量的统计数据。
图4和图5分别为本发明实施例中一种业务数据的处理方法的流程示意图。该方法可应用于查询服务器中。
对应步骤301～303，本实施例中提供的一种业务数据的处理方法可如图4所示，包括如下步骤：
步骤401，查询服务器接收来自用户的查询请求。
步骤402，查询服务器根据所述查询请求从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据。
本步骤中，若需展示最近第一时间间隔得到的各地分布的用户数的统计数据，则从数据库中获取所述分布式计算服务器在最近的第一时间间隔得到的各地分布的用户数的统计数据；若需展示之前的某第一时间间隔得到的各地分布的用户数的统计数据，则从数据库中获取所述分布式计算服务器在对应的第一时间间隔得到的各地分布的用户数的统计数据。
步骤403，展示所述各地分布的用户数的统计数据。
此外，该图4所示方法还可以进一步包括：从实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据，并展示所述各地分布的消息量的统计数据。
对应步骤301～305，本实施例中提供的一种业务消息的目标信息地域分布展示方法可如图5所示，包括如下步骤：
步骤501，查询服务器接收来自用户的查询请求。
步骤502，查询服务器接收来自用户的查询请求，判断需要查询的统计数据是实时数据还是历史数据，如果为实时数据，则执行步骤503；否则，执行步骤504。
步骤503，从所述数据库中获取所述分布式计算服务器在最近的第一时间间隔得到的各地分布的用户数的统计数据，并展示所述各地分布的用户数的统计数据。
步骤504，从所述数据库中查询所述分布式计算服务器在对应的第二时间间隔得到的各地分布的用户数及消息量的统计数据，并展示所述各地分布的用户数及消息量的统计数据。
此外，该图5所示方法还可以进一步包括：在需要查询的统计数据为实时数据时，从实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据，并展示所述各地分布的消息量的统计数据。
另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的处理器等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。其中，该处理器可包括有一个或者一个以上处理核心。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种业务数据的处理方法，其特征在于，包括：
实时检索分析服务器从业务系统接收来自业务系统的业务消息及其属性信息，并采用嵌套式的列存储以及位图的方式存储所述业务消息及其属性信息；根据存储的所述业务消息及其属性信息中的来源地理位置信息，实时确定业务消息在各地分布的消息量的统计数据；
分布式计算服务器接收从所述实时检索分析服务器导出的来自业务系统的业务消息及其属性信息；或者，分布式计算服务器从所述业务系统接收来自业务系统的业务消息及其属性信息；所述属性信息包括用户标识和来源地理位置信息；
分布式计算服务器按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据；将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中；
查询服务器接收来自用户的查询请求，从所述数据库中获取在最近的第一时间间隔得到的各地分布的用户数的统计数据，从实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据，并展示所述各地分布的用户数的统计数据及各地分布的消息量的统计数据。
2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：分布式计算服务器按照设定的第二时间间隔，对来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据；并对所述业务消息根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据；
将按照所述第二时间间隔得到的各地分布的用户数及消息量的统计数据存储到一数据库中；
所述第二时间间隔大于所述第一时间间隔。
3.根据权利要求2所述的方法，其特征在于，该方法进一步包括：查询服务器接收来自用户的查询请求，判断需要查询的统计数据是实时数据还是历史数据，如果为实时数据，则执行所述从所述数据库中获取在最近的第一时间间隔得到的各地分布的用户数的统计数据，从所述实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据的操作；如果为历史数据，从所述数据库中查询在对应的第二时间间隔得到的各地分布的用户数及消息量的统计数据，并展示所述各地分布的用户数及消息量的统计数据。
4.根据权利要求1所述的方法，其特征在于，所述地域层级包括城市、省份和国家三个层级，或者包括县、地区、省份和国家四个层级；所述分布式计算服务器对应每个层级包括：至少一个计算服务器和至少一个汇总服务器。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述对来自业务系统的业务消息数据根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据，包括：
分布式计算服务器中的每台计算服务器根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据；
分布式计算服务器中的每台汇总服务器对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据；
所述对所述业务消息根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据，包括：
分布式计算服务器中的每台计算服务器根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息进行消息量统计，得到该地域的消息量统计数据；
分布式计算服务器中的每台汇总服务器对不同计算服务器的相同地域的消息量统计结果进行汇总，得到各地分布的消息量的统计数据。
6.一种业务数据的处理方法，其特征在于，包括：
查询服务器接收来自用户的查询请求，根据所述查询请求从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据，从一实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据，并展示所述各地分布的用户数的统计数据及各地分布的消息量的统计数据；
所述分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据为：所述分布式计算服务器按照设定的第一时间间隔，对来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；所述实时检索分析服务器实时得到的各地分布的消息量的统计数据为：所述实时检索分析服务器从业务系统接收来自业务系统的业务消息及其属性信息，并采用嵌套式的列存储以及位图的方式存储所述业务消息及其属性信息；根据存储的所述业务消息及其属性信息中的来源地理位置信息，实时确定的业务消息在各地分布的消息量的统计数据。
7.根据权利要求6所述的方法，其特征在于，该方法进一步包括：
根据所述查询请求判断需要查询的统计数据是实时数据还是历史数据，如果为实时数据，则从所述数据库中获取所述分布式计算服务器按照最近的第一时间间隔得到的各地分布的用户数的统计数据，从所述实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据，并展示所述各地分布的用户数的统计数据及各地分布的消息量的统计数据；如果为历史数据，则从所述数据库中查询所述分布式计算服务器对应第二时间间隔得到的各地分布的用户数及消息量的统计数据，并展示所述各地分布的用户数及消息量的统计数据；
所述分布式计算服务器对应第二时间间隔得到的各地分布的用户数及消息量的统计数据为：分布式计算服务器按照设定的第二时间间隔，对来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据；并对所述业务消息根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据。
8.根据权利要求6或7所述的方法，其特征在于，所述地域层级包括城市、省份和国家三个层级，或者包括县、地区、省份和国家四个层级；所述分布式计算服务器对应每个层级包括：至少一个计算服务器和至少一个汇总服务器。
9.一种业务数据的处理装置，其特征在于，包括：至少一个计算服务器和至少一个汇总服务器；其中，
每个计算服务器用于接收从一实时检索分析服务器导出的来自业务系统的业务消息及其属性信息，所述属性信息包括用户标识和来源地理位置信息；按照第一时间间隔根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息，根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据；
每个汇总服务器用于按照第一时间间隔对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据，并将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中；
其中，所述实时检索分析服务器从业务系统接收来自业务系统的业务消息及其属性信息，并采用嵌套式的列存储以及位图的方式存储所述业务消息及其属性信息；根据存储的所述业务消息及其属性信息中的来源地理位置信息，实时确定业务消息在各地分布的消息量的统计数据。
10.根据权利要求9所述的装置，其特征在于，所述计算服务器进一步用于按照第二时间间隔根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据；以及根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息进行消息量统计，得到该地域的消息量统计数据；
每个汇总服务器用于按照第二时间间隔对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据；以及对不同计算服务器的相同地域的消息量统计结果进行汇总，得到各地分布的消息量的统计数据；将按照所述第二时间间隔得到的各地分布的用户数及消息量的统计数据存储到一数据库中。
11.根据权利要求9或10所述的装置，其特征在于，所述地域层级包括城市、省份和国家三个层级，或者包括县、地区、省份和国家四个层级。
12.一种业务数据的处理装置，其特征在于，包括：
请求接收模块，用于接收来自用户的查询请求；
查询模块，用于根据所述查询请求，从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据，从一实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据；所述分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据为：所述分布式计算服务器按照设定的第一时间间隔，对来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；所述实时检索分析服务器实时得到的各地分布的消息量的统计数据为：所述实时检索分析服务器从业务系统接收来自业务系统的业务消息及其属性信息，并采用嵌套式的列存储以及位图的方式存储所述业务消息及其属性信息；根据存储的所述业务消息及其属性信息中的来源地理位置信息，实时确定的业务消息在各地分布的消息量的统计数据；
展示模块，用于展示所述查询模块查询到的统计数据及各地分布的消息量的统计数据。
13.根据权利要求12所述的装置，其特征在于，该装置进一步包括：
判断模块，用于根据所述查询请求判断需要查询的统计数据是实时数据还是历史数据；
所述查询模块进一步用于在需要查询的统计数据为实时数据时，执行所述从所述数据库中获取一分布式计算服务器按照最近的第一时间间隔得到的各地分布的用户数的统计数据，从所述实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据的操作；在需要查询的统计数据为历史数据时，从所述数据库中查询所述分布式计算服务器对应第二时间间隔得到的各地分布的用户数及消息量的统计数据。
14.根据权利要求12或13所述的装置，其特征在于，所述地域层级包括城市、省份和国家三个层级，或者包括县、地区、省份和国家四个层级；所述分布式计算服务器对应每个层级包括：至少一个计算服务器和至少一个汇总服务器。
15.一种业务数据的处理系统，其特征在于，包括：
实时检索分析服务器，用于从业务系统接收来自业务系统的业务消息及其属性信息，并采用嵌套式的列存储以及位图的方式存储所述业务消息及其属性信息；所述属性信息包括用户标识和来源地理位置信息；根据存储的所述业务消息及其属性信息中的来源地理位置信息，实时确定业务消息在各地分布的消息量的统计数据；
分布式计算服务器，用于从业务系统或所述实时检索分析服务器接收来自业务系统的业务消息及其属性信息；按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中；
查询服务器，用于接收来自用户的查询请求，从所述数据库中获取在最近的第一时间间隔得到的各地分布的用户数的统计数据，从实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据，并展示所述各地分布的用户数的统计数据及各地分布的消息量的统计数据。
16.根据权利要求15所述的系统，其特征在于，所述分布式计算服务器进一步用于按照设定的第二时间间隔，对来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据；并对所述业务消息根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据；将按照所述第二时间间隔得到的各地分布的用户数及消息量的统计数据存储到一数据库中；所述第二时间间隔大于所述第一时间间隔。
17.根据权利要求16所述的系统，其特征在于，所述查询服务器进一步用于判断需要查询的统计数据是实时数据还是历史数据，如果为实时数据，则执行所述从所述数据库中获取按照最近的第一时间间隔得到的各地分布的用户数的统计数据，从所述实时检索分析服务器获取所述实时得到的各地分布的消息量的统计数据的操作；如果为历史数据，则从所述数据库中查询对应第二时间间隔得到的各地分布的用户数及消息量的统计数据，并展示所述各地分布的用户数及消息量的统计数据。
18.根据权利要求15至17中任一项所述的系统，其特征在于，所述地域层级包括城市、省份和国家三个层级，或者包括县、地区、省份和国家四个层级；所述分布式计算服务器对应每个层级包括：至少一个计算服务器和至少一个汇总服务器。
19.一种计算机可读存储介质，其上存储有计算机程序；其特征在于，所述计算机程序能够被一处理器执行并实现如权利要求1至8中任一项所述的业务数据的处理方法。
CN201610071149.8A 2016-02-02 2016-02-02 业务数据的处理方法、装置及系统 Active CN107026881B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610071149.8A CN107026881B (zh) 2016-02-02 2016-02-02 业务数据的处理方法、装置及系统
PCT/CN2017/072185 WO2017133539A1 (zh) 2016-02-02 2017-01-23 业务数据的处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610071149.8A CN107026881B (zh) 2016-02-02 2016-02-02 业务数据的处理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107026881A CN107026881A (zh) 2017-08-08
CN107026881B true CN107026881B (zh) 2020-04-03

Family

ID=59500271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610071149.8A Active CN107026881B (zh) 2016-02-02 2016-02-02 业务数据的处理方法、装置及系统

Country Status (2)

Country Link
CN (1) CN107026881B (zh)
WO (1) WO2017133539A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273512B (zh) * 2017-06-21 2020-06-16 深圳市盛路物联通讯技术有限公司 一种基于设备类型和地理位置进行数据去重的方法及设备
CN108427725B (zh) * 2018-02-11 2021-08-03 华为技术有限公司 数据处理方法、装置和系统
CN108491732A (zh) * 2018-03-13 2018-09-04 山东超越数控电子股份有限公司 一种基于业务隔离存储的海量存储数据保护系统及方法
CN110166344B (zh) * 2018-04-25 2021-08-24 腾讯科技（深圳）有限公司 一种身份标识识别方法、装置以及相关设备
CN108764532B (zh) * 2018-05-04 2021-07-09 金华市智甄通信设备有限公司 一种基于路由器的物流流量预测系统和方法
CN110347343B (zh) * 2019-07-16 2020-09-18 珠海格力电器股份有限公司 数据管理方法和装置
CN110532253B (zh) * 2019-09-05 2023-11-24 北京博睿宏远数据科技股份有限公司 一种业务分析方法、系统及集群
CN111160975A (zh) * 2019-12-30 2020-05-15 中国移动通信集团黑龙江有限公司 一种目标用户确定方法、装置、设备及计算机存储介质
CN112131276A (zh) * 2020-09-27 2020-12-25 深圳市欢太科技有限公司 一种数据统计的方法、电子设备及可读存储介质
CN113469741B (zh) * 2021-06-30 2024-08-02 杭州云深科技有限公司 App地域分布等级确定方法、装置、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058482A (ja) * 2001-08-14 2003-02-28 Fujitsu Ltd エリアチャットルーム提供方法，端末側エリアチャット処理方法，エリアチャットルーム提供処理プログラム記録媒体，エリアチャットルーム提供装置
US9451401B2 (en) * 2011-05-27 2016-09-20 Qualcomm Incorporated Application transport level location filtering of internet protocol multicast content delivery
CN103310087B (zh) * 2012-03-16 2016-03-16 腾讯科技（深圳）有限公司 业务数据统计分析方法和装置
CN102789508A (zh) * 2012-07-27 2012-11-21 吴建辉 基于地理位置的分布式实况搜索引擎及聊天系统
CN102760174A (zh) * 2012-08-06 2012-10-31 吴建辉 基于地理位置的分布式实况搜索引擎及交易系统
CN103092950B (zh) * 2013-01-15 2016-01-06 重庆邮电大学 一种网络舆情地理位置实时监控系统和方法
CN103227821B (zh) * 2013-04-03 2015-07-01 腾讯科技（深圳）有限公司 一种目标用户位置数据的处理方法及装置
CN104598503A (zh) * 2014-05-14 2015-05-06 腾讯科技（深圳）有限公司 地理信息数据查询方法、装置及系统
EP2955879B1 (en) * 2014-06-12 2018-07-18 Geo Communication Group bvba A method and system for providing electronic information to a virtual mailbox based on a geographical address

Also Published As

Publication number Publication date
WO2017133539A1 (zh) 2017-08-10
CN107026881A (zh) 2017-08-08

Similar Documents

Publication Publication Date Title
CN107026881B (zh) 业务数据的处理方法、装置及系统
US10281284B2 (en) Hybrid road network and grid based spatial-temporal indexing under missing road links
US10242116B2 (en) Grid-based geofence data indexing
US9460138B2 (en) Managing an index of a table of a database
CN107391744B (zh) 数据存储、读取方法、装置及其设备
US10686686B2 (en) Performance monitoring in a distributed storage system
US10002170B2 (en) Managing a table of a database
CN111767407A (zh) 用可搜索的地理时间值对知识图条目进行编码以评估实体提及的传递地理时间接近度
EP3502916A1 (en) Generating a data lineage record to facilitate source system and destination system mapping
CN109213604A (zh) 一种数据源的管理方法和装置
CN103793439A (zh) 一种实时检索信息获取方法、装置及服务器
CN104077082A (zh) 网络投票数据存储方法和装置
CN112783711A (zh) NodeJS上程序内存分析的方法、存储介质
CN115374109B (zh) 数据访问方法、装置、计算设备和系统
US11856473B2 (en) Intelligent geofence provisioning
CN111131393B (zh) 用户活跃度数据统计方法、电子装置及存储介质
CN113724009A (zh) 一种运力定价方法、装置、电子设备及机器可读存储介质
CN108665221B (zh) 业绩数据的处理方法及装置、计算机设备及可读介质
CN107679093B (zh) 一种数据查询方法及装置
CN117421297B (zh) 一种分布式数据库动态分区表统计信息收集方法
CN116010677B (zh) 空间索引方法、装置及其电子设备
US20230401269A1 (en) System And Method For Representing Busyness Using Content Specific To A Place
CN113536153A (zh) 兴趣点获取方法、装置、电子设备和存储介质
CN112380220A (zh) 一种数据展示方法、装置及设备
CN111737600A (zh) 信息提供方法、装置和设备以及展示顾客信息的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant