CN103853838A - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN103853838A
CN103853838A CN201410099394.0A CN201410099394A CN103853838A CN 103853838 A CN103853838 A CN 103853838A CN 201410099394 A CN201410099394 A CN 201410099394A CN 103853838 A CN103853838 A CN 103853838A
Authority
CN
China
Prior art keywords
data
application
field
data table
sheet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410099394.0A
Other languages
English (en)
Other versions
CN103853838B (zh
Inventor
李娜
廖慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201410099394.0A priority Critical patent/CN103853838B/zh
Publication of CN103853838A publication Critical patent/CN103853838A/zh
Application granted granted Critical
Publication of CN103853838B publication Critical patent/CN103853838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof

Abstract

本发明提出了一种数据处理方法和装置，包括：对数据进行分析处理；在需要对数据进行查询时，根据查询请求在分析处理后的数据中查找对应的数据，并返回查找到的数据；所述对数据进行分析处理包括：将来自不同系统的数据，归整到原始数据表中，然后再按照数据的分层结构分别生成基础数据表、分类数据表和应用数据表；所述数据的分层结构为原始数据层、数据预处理层、数据分析层和应用层。本发明实现了对海量数据的快速查询。

Description

一种数据处理方法和装置
技术领域
本发明涉及数据处理技术，尤指一种数据处理方法和装置。
背景技术
随着移动互联网信息量的快速增长，从太字节（PB，Petabyte）级的海量数据中快速分析并查找出所需要的信息已成为人们的迫切需要。
现有的数据分析方法是：采用映射/化简（Map/Reduce）先对数据进行拆分使得数据量变小，然后再对拆分后的数据分别进行分析或查询。
现有的数据分析方法缺乏对数据的完整分析，无法实现对数据的深度分析。例如，Map/Reduce需要对来自不同数据系统的数据分别进行分析，将各数据系统的分析结果分别输出，而无法将各数据系统的分析结果进行合并分析。同样，如果需要查找的数据包含在不同的数据系统中，也无法查找到对应的数据或者查找效率低。Map/Reduce的计算效率会随着数据量级的增大而降低，无法满足对海量数据快速分析和查询的要求。
发明内容
为了解决上述问题，本发明提出了一种数据处理方法和装置，能够对海量数据进行快速分析和查询。
为了达到上述目的，本发明提出了一种数据处理方法，包括：
对数据进行分析处理；
在需要对数据进行查询时，根据查询请求在分析处理后的数据中查找对应的数据，并返回查找到的数据；
所述对数据进行分析处理包括：
将来自不同系统的数据，归整到原始数据表中，然后再按照数据的分层结构分别生成基础数据表、分类数据表和应用数据表；所述数据的分层结构为原始数据层、数据预处理层、数据分析层和应用层。
优选地，所述对数据进行分析处理具体包括：
获取数据，根据获得的数据生成原始数据表；
对所述原始数据表中的第一字段进行合并生成至少一个基础数据表；
对所述基础数据表中的第二字段进行合并生成至少一个分类数据表；
对所述分类数据表中的第三字段进行合并生成至少一个应用数据表；
所述查询请求包括查询关键字和限定条件；
所述根据查询请求在分析处理后的数据中查找对应的数据包括：
根据所述查询关键字查找对应的应用数据表；
当查找不到对应的应用数据表时，根据所述查询关键字和所述分类数据表生成新的应用数据表；
在查找到的应用数据表中查找所述限定条件对应的字段的数据。
优选地，所述原始数据表、基础数据表、分类数据表和应用数据表保存在HBase数据库中。
优选地，所述数据为互联网数据。
优选地，所述第一字段为按时间段进行统计的流量字段、或按地域进行统计的流量字段、或按应用进行统计的流量字段、或按终端进行统计的流量字段；。
优选地，所述第二字段为按第一主键进行统计的字段，所述第一主键包括移动终端标识、时间和分类标识，所述分类标识为流量类型、或终端类型、或应用类型；。
优选地，所述第三字段为按第二主键进行统计的字段，所述第二主键为移动终端标识；。
优选地，所述查询字段为所述应用数据表的第二主键字段中的一个或多个，所述限定条件为手机号、或所述应用数据表中除所述第二主键和所述手机号外的其他字段的限定条件中的一个或多个。
本发明还提出了一种数据处理装置，至少包括：
分析模块，用于对数据进行分析处理；所述对数据进行分析处理包括：将来自不同系统的数据，归整到原始数据表中，然后再按照数据的分层结构分别生成基础数据表、分类数据表和应用数据表；所述数据的分层结构为原始数据层、数据预处理层、数据分析层和应用层；
查找模块，用于在需要对数据进行查询时，根据查询请求在分析处理后的数据中查找对应的数据，并返回查找到的数据。
优选地，所述分析模块，具体用于：获取数据，根据获得的数据生成原始数据表；对所述原始数据表中的第一字段进行合并生成至少一个基础数据表；对所述基础数据表中的第二字段进行合并生成至少一个分类数据表；对所述分类数据表中的第三字段进行合并生成至少一个应用数据表；
所述查询请求包括查询关键字和限定条件；
所述查找模块，具体用于：
根据所述查询关键字查找对应的应用数据表；查找不到对应的应用数据表，根据所述查询关键字和所述分类数据表生成新的应用数据表；在查找到的应用数据表中查找所述限定条件对应的字段的数据。与现有技术相比，本发明包括：对数据进行分析处理；在需要对数据进行查询时，根据查询请求在分析处理后的数据中查找对应的数据，并返回查找到的数据；所述对数据进行分析处理包括：将来自不同系统的数据，归整到原始数据表中，然后再按照数据的分层结构分别生成基础数据表、分类数据表和应用数据表；所述数据的分层结构为原始数据层、数据预处理层、数据分析层和应用层。通过本发明的方案，在进行数据查找之前首先进行数据分析，再从分析处理后的数据中查找，实现了对海量数据的快速查询。
其中，在进行数据分析过程中，将来自不同系统的数据，归整到原始数据表中，然后再按照对数据的分层结构分别生成基础数据表、分类数据表和应用数据表，实现了对海量数据的完整分析，该分析方法能够简单的进行增加或删除字段，满足了系统的线性扩展性。
附图说明
下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。
图1为本发明数据处理方法中对数据进行分析处理具体实现的流程图；
图2为本发明数据处理装置的结构组成图。
具体实施方式
为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。
参见图1，本发明提出了一种数据处理方法，基于HIVE，HIVE是一个构建在Hadoop上的数据仓库工具，其核心思想是将数据文件映射为一张数据库表，然后在此表上进行任务操作，如查询任务或统计任务。
该方法包括：
对数据进行分析处理；在需要对数据进行查询时，根据查询请求在分析处理后的数据中查找对应的数据，并返回查找到的数据。
其中，对于大数据的集中处理，一张表无法满足多维度分析和实时性查询的要求，所以需要对数据进行分层处理。具体的分层方法是：
首先需要将来自不同系统的数据进行整合，从而生成一个原始数据表，即原始数据层；然后根据任务，为提高数据处理效率，在总量数据上进行串行任务，生成基础数据表，即数据预处理层；其次进行并行任务，生成分类数据表，即数据分析层；各分类数据表最后再进行汇总形成应用数据表，即应用层。
对数据进行分析处理包括：将来自不同系统的数据，归整到原始数据表中，然后再按照数据的分层结构分别生成基础数据表、分类数据表和应用数据表。其中，数据的分层结构是指原始数据层、数据预处理层、数据分析层和应用层。
对数据进行分析处理具体包括：
步骤100、获取数据，根据获得的数据生成原始数据表。
本步骤中，数据为互联网数据，包括流量采集系统采集的数据、终端管理系统采集的数据、基站管理系统采集的数据和应用管理系统采集的数据中的一个或多个。
其中，流量采集系统从3G或4G核心网的网元设备上，通过分光方式对用户数据业务流量进行镜像，对镜像数据进行采集和分析，形成用户上网的记录信息，该记录信息属于非结构化数据，数据格式如表1所示。
Figure BDA0000477934130000051
表1
终端管理系统负责管理和维护全网所有移动用户的终端信息，属于结构化数据，数据格式如表2所示。
Figure BDA0000477934130000052
表2
基站管理系统负责管理和维护3G和4G核心网的所有基站信息，属于结构化数据，数据格式如表3所示。
Figure BDA0000477934130000053
Figure BDA0000477934130000061
表3
应用管理系统负责管理和维护所有移动互联网的应用信息，属于结构化数据，数据格式如表4所示。
Figure BDA0000477934130000062
表4
本步骤中，原始数据表保存了所有获得的数据，如表5所示。
Figure BDA0000477934130000063
表5
本步骤中，原始数据表保存在HBase数据库中。
本步骤中，由于流量数据实时产生，所以流量采集系统实时获取数据，然后根据获取到的记录，生成一条中间记录；而终端管理系统、基站管理系统和应用管理系统采集的数据为非实时数据，通过定期获取后保存为多个信息表（如基站信息表、应用信息表、终端信息表等），在生成一条中间记录时，到各信息表中匹配关键字段，生成一条完整的原始数据记录，并删除中间记录，所生成的完整的原始数据记录以手机号码为主键插入到原始数据表中。
步骤101、对原始数据表中的第一字段进行合并生成至少一个基础数据表。
本步骤中，基础数据表保存在HBase数据库中。
本步骤中，第一字段可以但不限于是按时间段进行统计的流量字段、或按地域进行统计的流量字段、或按应用进行统计的流量字段、或按终端进行统计的流量字段。
例如，按时间段进行统计的流量字段可以包括3个基础数据表，分别为按时段统计的基础数据表，如表6所示；按日统计的基础数据表，如表7所示；按月统计的基础数据表，如表8所示。
Figure BDA0000477934130000071
表6
Figure BDA0000477934130000072
表7
Figure BDA0000477934130000073
Figure BDA0000477934130000081
表8
步骤102、对基础数据表中的第二字段进行合并生成至少一个分类数据表。
本步骤中，分类数据表保存在HBase数据库中。
本步骤中，第二字段可以是按第一主键进行统计的字段，第一主键的格式可以是移动终端标识+时间+分类标识，分类标识可以但不限于是流量类型、或终端类型、或应用类型。
例如，分类数据表可以是应用使用情况分类表，用于维护每个用户在不同时间段或日或月的应用使用情况，数据格式如表9所示。
省分编码 城市编码 省分名称 城市名称 月
日 时段 手机号 流量 时长
应用编码 应用类型编码 应用名称 应用类型名称 所属SP/CP
时段分区 日分区 月分区 第一主键 ……
表9
分类数据表也可以是互联网使用程度分类表，用于维护每个用户在不同时间段或日或月的互联网使用程度，数据格式如表10所示。
省分编码 城市编码 省分名称 城市名称 月
日 时段 手机号 2G上行流量 2G下行流量
2G总流量 3G上行流量 3G下行流量 3G总流量 2G访问时长
3G访问时长 总流量 总时长 时段分区 日分区
月分区 第一主键 ……
表10
分类数据表也可以是终端分布分类表，用于维护每个用户在不同时间段或日或月的终端使用情况，数据格式表11所示。
省分编码 城市编码 省分名称 城市名称 月
日 时段 手机号 总流量 总时长
IMEI 品牌 型号 操作系统 ……
时段分区 日分区 月分区 第一主键
表11
步骤103、对分类数据表中的第三字段进行合并生成至少一个应用数据表。
本步骤中，应用数据表保存在HBase数据库中。
本步骤中，第三字段可以是按第二主键进行统计的字段，第二主键可以但不限于是移动终端标识。
例如，应用数据表可以是应用偏好应用数据表，用于维护用户的应用偏好信息，可由应用使用情况分类表和终端分布分类表计算获得，了解不同类型终端用户对不同移动互联网应用的偏好情况。应用偏好应用数据表格式可以是如表12所示的格式。
省分编码 城市编码 省分名称 城市名称 月
日 时段 手机号 总流量 总时长
应用编码 应用类型编码 应用名称 应用类型名称 所属SP/CP
IMEI 品牌 型号 操作系统 ……
表12
其中，查询请求包括查询关键字和限定条件。
其中，根据查询请求在分析处理后的数据中查找对应的数据包括：
根据查询关键字查找对应的应用数据表；
当查找不到对应的应用数据表时，根据查询关键字和分类数据表生成新的应用数据表。
查询时，首先根据查询关键字与应用数据表中的第二主键进行匹配查找对应的应用数据表，如果无法匹配，再根据查询关键字与分类数据表中的第一主键进行匹配查找对应的分类数据表，根据查询关键字和分类数据表生成新的应用数据表。
其中，查询关键字可以是应用数据表的第二主键字段中的一个或多个，比如对于第二主键为终端的应用数据表，其对应查询关键字为终端类型。
查询关键字中包含的各个字段为并列关系。查询时，将查询关键字将逐个字段与应用数据表的第二主键进行匹配，如果匹配，则为待查找的应用数据表。
其中，根据查询请求中的限定条件在查找到的数据中查找对应的数据包括：
在查找到的数据表中查找限定条件对应的字段的数据。
限定条件可以是手机号、或应用数据表中除了第二主键和手机号以外的其他字段的限定条件中的一个或多个。例如，在表12中，对于总流量字段，其对应的限定条件可以是某个范围内的流量值；对于操作系统字段，其对应的限定条件可以是某一个具体的操作系统，或某一类操作系统；等等。
同样，若查找到满足条件的应用数据表只有一个，则在该应用数据表中查找限定条件对应的字段的数据；若查找到多个满足条件的应用数据表，则在每一个应用数据表中查找限定条件对应的字段的数据。
本发明在进行分析过程中，将来自不同系统的数据归整到原始数据表中，然后根据对数据的分层结构分别生成基础数据表、分类数据表和应用数据表，实现了对海量数据的完整分析，该分析方法能够简单的进行增加或删除字段，满足了系统的线性扩展性。查找时从分析结果中直接进行查找，而不需要从原始的海量数据中进行查找，从而加快了查找速度。
本发明还提出了一种数据分析方法，包括：
对数据进行分析处理，将来自不同系统的数据，归整到原始数据表中，然后再按照数据的分层结构分别生成基础数据表、分类数据表和应用数据表；所述数据的分层结构为原始数据层、数据预处理层、数据分析层和应用层。
其中，对数据进行分析处理具体包括：
获取数据，根据获得的数据生成原始数据表；对所述原始数据表中的第一字段进行合并生成至少一个基础数据表；对所述基础数据表中的第二字段进行合并生成至少一个分类数据表；对所述分类数据表中的第三字段进行合并生成至少一个应用数据表。
参见图2，本发明还提出了一种数据处理装置，至少包括：
分析模块，用于对数据进行分析处理；对数据进行分析处理包括：将来自不同系统的数据，归整到原始数据表中，然后再按照数据的分层结构分别生成基础数据表、分类数据表和应用数据表；所述数据的分层结构为原始数据层、数据预处理层、数据分析层和应用层；
查找模块，用于在需要对数据进行查询时，根据查询请求在分析处理后的数据中查找对应的数据，并返回查找到的数据。
本发明的数据处理装置，分析模块，具体用于：
获取数据，根据获得的数据生成原始数据表；对原始数据表中的第一字段进行合并生成至少一个基础数据表；对基础数据表中的第二字段进行合并生成至少一个分类数据表；对分类数据表中的第三字段进行合并生成至少一个应用数据表；
查询请求包括查询关键字和限定条件；
查找模块，具体用于：
根据查询关键字查找对应的应用数据表；查找不到对应的应用数据表，根据查询关键字和分类数据表生成新的应用数据表；在查找到的应用数据表中查找限定条件对应的字段的数据。
需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
对数据进行分析处理；
在需要对数据进行查询时，根据查询请求在分析处理后的数据中查找对应的数据，并返回查找到的数据；
所述对数据进行分析处理包括：
将来自不同系统的数据，归整到原始数据表中，然后再按照数据的分层结构分别生成基础数据表、分类数据表和应用数据表；所述数据的分层结构为原始数据层、数据预处理层、数据分析层和应用层。
2.根据权利要求1所述的数据处理方法，其特征在于，所述对数据进行分析处理具体包括：
获取数据，根据获得的数据生成原始数据表；
对所述原始数据表中的第一字段进行合并生成至少一个基础数据表；
对所述基础数据表中的第二字段进行合并生成至少一个分类数据表；
对所述分类数据表中的第三字段进行合并生成至少一个应用数据表；
所述查询请求包括查询关键字和限定条件；
所述根据查询请求在分析处理后的数据中查找对应的数据包括：
根据所述查询关键字查找对应的应用数据表；
当查找不到对应的应用数据表时，根据所述查询关键字和所述分类数据表生成新的应用数据表；
在查找到的应用数据表中查找所述限定条件对应的字段的数据。
3.根据权利要求2所述的数据处理方法，其特征在于，所述原始数据表、基础数据表、分类数据表和应用数据表保存在HBase数据库中。
4.根据权利要求2所述的数据处理方法，其特征在于，所述数据为互联网数据。
5.根据权利要求2所述的数据处理方法，其特征在于，所述第一字段为按时间段进行统计的流量字段、或按地域进行统计的流量字段、或按应用进行统计的流量字段、或按终端进行统计的流量字段。
6.根据权利要求2所述的数据处理方法，其特征在于，所述第二字段为按第一主键进行统计的字段，所述第一主键包括移动终端标识、时间和分类标识，所述分类标识为流量类型、或终端类型、或应用类型。
7.根据权利要求2所述的数据处理方法，其特征在于，所述第三字段为按第二主键进行统计的字段，所述第二主键为移动终端标识。
8.根据权利要求2所述的数据处理方法，其特征在于，所述查询字段为所述应用数据表的第二主键字段中的一个或多个，所述限定条件为手机号、或所述应用数据表中除所述第二主键和所述手机号外的其他字段的限定条件中的一个或多个。
9.一种数据处理装置，其特征在于，至少包括：
分析模块，用于对数据进行分析处理；所述对数据进行分析处理包括：将来自不同系统的数据，归整到原始数据表中，然后再按照数据的分层结构分别生成基础数据表、分类数据表和应用数据表；所述数据的分层结构为原始数据层、数据预处理层、数据分析层和应用层；
查找模块，用于在需要对数据进行查询时，根据查询请求在分析处理后的数据中查找对应的数据，并返回查找到的数据。
10.根据权利要求9所述的数据处理装置，其特征在于，所述分析模块，具体用于：获取数据，根据获得的数据生成原始数据表；对所述原始数据表中的第一字段进行合并生成至少一个基础数据表；对所述基础数据表中的第二字段进行合并生成至少一个分类数据表；对所述分类数据表中的第三字段进行合并生成至少一个应用数据表；
所述查询请求包括查询关键字和限定条件；
所述查找模块，具体用于：
根据所述查询关键字查找对应的应用数据表；查找不到对应的应用数据表，根据所述查询关键字和所述分类数据表生成新的应用数据表；在查找到的应用数据表中查找所述限定条件对应的字段的数据。
CN201410099394.0A 2014-03-17 2014-03-17 一种数据处理方法和装置 Active CN103853838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410099394.0A CN103853838B (zh) 2014-03-17 2014-03-17 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410099394.0A CN103853838B (zh) 2014-03-17 2014-03-17 一种数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN103853838A true CN103853838A (zh) 2014-06-11
CN103853838B CN103853838B (zh) 2017-09-12

Family

ID=50861493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410099394.0A Active CN103853838B (zh) 2014-03-17 2014-03-17 一种数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN103853838B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989015A (zh) * 2015-01-28 2016-10-05 阿里巴巴集团控股有限公司 一种数据库扩容方法和装置以及访问数据库的方法和装置
CN106096877A (zh) * 2016-05-31 2016-11-09 乐视控股（北京）有限公司 一种数据生成方法及生成系统
CN108805597A (zh) * 2017-05-05 2018-11-13 百度在线网络技术（北京）有限公司 模型构建方法及装置、数据报表生成方法及装置
CN109634947A (zh) * 2018-12-19 2019-04-16 深圳创维数字技术有限公司 一种数据处理方法、系统、设备及介质
CN109684355A (zh) * 2018-11-26 2019-04-26 北斗位通科技（深圳）有限公司 安防数据处理方法、装置、计算机设备和存储介质
CN110785749A (zh) * 2018-06-25 2020-02-11 北京嘀嘀无限科技发展有限公司 用于生成宽表的系统和方法
CN114528288A (zh) * 2021-08-31 2022-05-24 天津工业大学 一种多类型器官芯片数据库的设计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197876A (zh) * 2006-12-06 2008-06-11 中兴通讯股份有限公司 一种对消息类业务数据进行多维分析的方法和系统
CN101477526A (zh) * 2008-12-31 2009-07-08 中兴通讯股份有限公司 一种实现统计报表定制的方法及系统
CN102301764A (zh) * 2011-07-01 2011-12-28 华为技术有限公司 终端分布信息获取方法、数据获取装置以及通信系统
CN102404772A (zh) * 2011-10-24 2012-04-04 深圳市深信服电子科技有限公司 Wlan业务数据分析的方法、系统及装置
CN102916856A (zh) * 2012-10-30 2013-02-06 中国工商银行股份有限公司 一种面向应用的网络流量监控方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197876A (zh) * 2006-12-06 2008-06-11 中兴通讯股份有限公司 一种对消息类业务数据进行多维分析的方法和系统
CN101477526A (zh) * 2008-12-31 2009-07-08 中兴通讯股份有限公司 一种实现统计报表定制的方法及系统
CN102301764A (zh) * 2011-07-01 2011-12-28 华为技术有限公司 终端分布信息获取方法、数据获取装置以及通信系统
CN102404772A (zh) * 2011-10-24 2012-04-04 深圳市深信服电子科技有限公司 Wlan业务数据分析的方法、系统及装置
CN102916856A (zh) * 2012-10-30 2013-02-06 中国工商银行股份有限公司 一种面向应用的网络流量监控方法、装置及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989015A (zh) * 2015-01-28 2016-10-05 阿里巴巴集团控股有限公司 一种数据库扩容方法和装置以及访问数据库的方法和装置
CN105989015B (zh) * 2015-01-28 2021-01-29 创新先进技术有限公司 一种数据库扩容方法和装置以及访问数据库的方法和装置
CN106096877A (zh) * 2016-05-31 2016-11-09 乐视控股（北京）有限公司 一种数据生成方法及生成系统
CN108805597A (zh) * 2017-05-05 2018-11-13 百度在线网络技术（北京）有限公司 模型构建方法及装置、数据报表生成方法及装置
CN110785749A (zh) * 2018-06-25 2020-02-11 北京嘀嘀无限科技发展有限公司 用于生成宽表的系统和方法
CN110785749B (zh) * 2018-06-25 2020-08-21 北京嘀嘀无限科技发展有限公司 用于生成宽表的系统和方法
US11061882B2 (en) 2018-06-25 2021-07-13 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for generating a wide table
CN109684355A (zh) * 2018-11-26 2019-04-26 北斗位通科技（深圳）有限公司 安防数据处理方法、装置、计算机设备和存储介质
CN109634947A (zh) * 2018-12-19 2019-04-16 深圳创维数字技术有限公司 一种数据处理方法、系统、设备及介质
CN114528288A (zh) * 2021-08-31 2022-05-24 天津工业大学 一种多类型器官芯片数据库的设计方法

Also Published As

Publication number Publication date
CN103853838B (zh) 2017-09-12

Similar Documents

Publication Publication Date Title
CN103853838A (zh) 一种数据处理方法和装置
CN107451861B (zh) 一种大数据下用户上网特征识别的方法
CN101572629B (zh) 一种ip数据的处理方法及装置
CN103164427A (zh) 新闻聚合方法及装置
CN102426610A (zh) 微博搜索排名方法及微博搜索引擎
CN103473230A (zh) 服务范围确定方法、物流服务提供方推荐方法及相应装置
CN104462222A (zh) 一种卡口车辆通行数据的分布式存储方法及系统
CN104820715A (zh) 基于多维度关联的数据共享和分析方法及系统
CN104216889B (zh) 基于云服务的数据传播性分析预测方法及系统
CN103646078A (zh) 一种实现互联网宣传监测目标评估的方法及装置
CN103678293A (zh) 一种数据存储方法及装置
CN103605714A (zh) 网站异常数据的识别方法及装置
US20190149344A1 (en) Intelligent search system for service cost and method thereof
CN104077407A (zh) 一种智能数据搜索系统及方法
CN104462096B (zh) 舆情监测分析方法和装置
CN107276854B (zh) 一种大数据下molap统计分析的方法
CN104778231A (zh) 一种地理区域的特征识别方法和装置
CN103324696A (zh) 一种数据日志收集与统计分析系统和方法
CN103200269A (zh) 互联网信息统计方法及系统
CN104123318A (zh) 一种地图显示兴趣点的方法及系统
CN107644050A (zh) 一种基于solr的Hbase的查询方法及装置
CN102222112A (zh) 资源管理装置和资源管理方法
CN106257457B (zh) 一种舆情收集整理方法
CN105095224A (zh) 一种在移动通信网络中进行olap分析的方法、装置和系统
CN106354846A (zh) 基于大数据的新闻智能选稿方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant