CN116501778A - 基于ClickHouse的实时用户行为数据分析方法 - Google Patents
基于ClickHouse的实时用户行为数据分析方法 Download PDFInfo
- Publication number
- CN116501778A CN116501778A CN202310546206.3A CN202310546206A CN116501778A CN 116501778 A CN116501778 A CN 116501778A CN 202310546206 A CN202310546206 A CN 202310546206A CN 116501778 A CN116501778 A CN 116501778A
- Authority
- CN
- China
- Prior art keywords
- user
- analysis
- event
- time
- events
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000007405 data analysis Methods 0.000 title claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 69
- 238000006243 chemical reaction Methods 0.000 claims abstract description 45
- 230000014759 maintenance of location Effects 0.000 claims abstract description 10
- 230000006399 behavior Effects 0.000 claims description 36
- 238000012216 screening Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000000379 polymerizing effect Effects 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 3
- 241000282813 Aepyceros melampus Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了基于ClickHouse的实时用户行为数据分析方法，属于数据分析技术领域，包括事件分析、漏斗分析、留存分析、归因分析、用户路径分析、属性分析和间隔分析，其中，漏斗分析用于计算目标用户在一系列设定点击事件中的表现，留存分析用于计算指定时间段内用户留存的情况，归因分析则用于计算待归因事件的点击次数、有效用户数和转化值；用户路径分析旨在了解不同点击事件的组合情况，属性分析可根据设定属性或标签来筛选特定用户集合，并得出各属性或标签的出现比例；间隔分析用于计算用户的转化时间和存在信息的间隔，从而深入挖掘用户行为数据背后的含义和规律；本发明为实时用户行为管理提供了更全面的分析手段。
Description
技术领域
本发明涉及数据分析技术领域，具体涉及基于ClickHouse的实时用户行为数据分析方法。
背景技术
当前互联网飞速发展的背景下，大量用户数据产生，大数据计算能力也随之快速发展。对于数据分析、营销、数据挖掘、推荐算法等数据应用场景，实时数据存储和分析能力需求与日俱增。传统关系型数据库对于海量数据处理已捉襟见肘，因此，海量数据分析的系统应运而生，其中基于Hadoop和Hive构建出的大数据平台应用最为广泛。
使用Hive作为计算引擎，其基于磁盘计算的特性决定了只能用于离线数据分析，动辄几分钟甚至几小时的计算时间让其很难应用在实时查询的场景上，而且基于HDFS的数据存储也无法做数据的实时接入。
Apache Spark可以很好地集成Hadoop和Hive，解决了磁盘性能瓶颈，但是其仍然摆脱不了基于HDFS存储数据无法实时入库的缺陷，即使使用数据湖解决方案，也无法实现数据的实时入库。
基于Impala和Kudu的方案，缺陷也十分明显，Kudu随着数据量越来越大，其服务启动速度、数据加载速度会急剧下降。虽然其可以通过将冷热数据分开存储，将不经常使用的冷数据迁移至HDFS中存储，Kudu中只保留热数据，但是同时维护两种存储方式以及查询数据时同时使用两种存储结构的数据，在维护成本和使用成本都是不小的开销。同时，基于Impala的计算也存在性能瓶颈，有时还得直接操作不支持SQL的Kudu。
发明内容
本发明的目的在于提供基于ClickHouse的实时用户行为数据分析方法，解决以下技术问题：
现有的数据分析方案维护成本和使用成本较高，且存在性能瓶颈。
本发明的目的可以通过以下技术方案实现：
基于ClickHouse的实时用户行为数据分析方法，包括以下步骤：
事件分析：获取用户n天内的行为数据，n为正整数，筛选出符合设定标签的用户id，提取同时符合所有标签的用户标记为目标用户，通过group by聚合函数和bitmapBuild函数将目标用户id压缩为Bitmap集合；
漏斗分析：通过ClickHouse查询在n天内进行若干设定点击事件的目标用户，按照日期对点击事件进行分类汇总统计；
留存分析：获取目标用户任一天内触发的浏览事件和点击事件，统计当天目标用户的漏斗转化率，以日期顺序输出n天内的用户行为数据；
归因分析：根据所述用户行为数据计算出待归因事件的总点击次数、有效点击数、有效用户数和目标转化次数；
用户路径分析：将设定点击事件按时间顺序生成事件序列，将事件序列分割成多个子链，将每个子链按照时间顺序分割成多个session，并统计每个session中点击事件的出现次数；
属性分析：筛选符合设定属性和标签的用户集合，统计用户集合中属性和标签的出现次数，按照出现次数进行排序分为两类，统计每一类中属性和标签值的出现次数和出现比例；
间隔分析：将所述事件序列拼接成一个新的事件序列，从新事件序列中提取出转化时长信息，计算出n天内每个日期的转化数据。
作为本发明进一步的方案：所述漏斗分析具体包括：
查询在n天内进行若干设定点击事件的用户，所述点击事件之间依次为递进关系，每个点击事件均有对应的分层标签，计算每一分层标签对应的用户数量，统计n天内所有进行设定点击时间的用户总数，进行漏斗分析，得到每个用户的每个点击事件的转化漏斗情况，编制成level_index数组，按照用户id和事件日期分组，对level_index数组的各项进行求和，将所有用户id所获得的统计结果再取一次sum聚合函数生成漏斗分析总计数据。
作为本发明进一步的方案：所述留存分析具体包括：
使用窗口函数和分组操作来统计目标用户在某一天内触发了浏览事件和相应点击事件的时间和次数，计算浏览事件与点击事件之间的时间差，并计算出目标用户在漏斗转化路径中所处的位置，根据返回结果再次聚合，统计在某一天内特定用户群体的漏斗转化率，包括从某个状态到另一状态的转化次数，最后按照事件日期、事件剩余日期、日期差值将结果进行分组并计算出每组内的总次数。
作为本发明进一步的方案：所述归因分析具体包括：
通过查询命令返回设定点击事件以及总点击次数、有效点击数、有效用户数和目标转化次数；
通过语法WITH AS对用户行为数据中的点击事件进行排序和整理，按时间顺序排列并形成了一个有序的事件序列；
查询命令使用ARRAY JOIN操作将每个用户的不同行为重新组合成新的事件序列，并进行过滤；
利用GROUP BY操作将所有行为按照每个用户进行分组，算出每个用户在待归因事件中的指标：待归因事件总数、有效点击数、转化次数以及有效用户数；
最后通过SELECT查询命令返回每个用户的指标总和，构成所有用户行为的汇总数据。
作为本发明进一步的方案：所述用户路径分析具体包括：
设定点击事件按时间顺序生成事件序列，并按照用户ID分组，从事件序列中筛选出包含设定点击事件的子链；
将子链中相邻的事件组成元组，得到一个新的数组；将元组根据首个元素的大小进行排序，并筛选出第一个元素大于等于设定点击事件时间点的元素，去除数组中的NULL元素，并标记出分割点；
将子链按照分割点分割成多个session；统计每个session中点击事件的出现次数，返回分割后的子链、session和设定点击事件出现次数。
作为本发明进一步的方案：所述属性分析具体包括：
获取用户的属性和标签，并进行去重，筛选符合设定属性和标签的用户集合，统计每个属性和标签值的出现次数；
按照出现次数进行排序，得到每个属性和标签值的出现次数；
将出现次数排名前m名的属性和标签值作为一类，m为正整数，剩下的属性和标签值作为另一类；
统计每一类中每个属性和标签值在所有用户中出现的比例；
返回统计结果，包括属性和标签值、出现次数和出现比例。
作为本发明进一步的方案：所述间隔分析具体包括：
使用ARRAY SPLIT把每条记录按照事件类型分离成不同的数组元素，并按照事件发生时间进行排序，然后通过ARRAY JOIN操作把所有用户的数据链接成一个大的关系型表格，所述记录为某个用户在某个日期内完成的所有事件；
使用ARRAY REVERSESPLIT和ARRAYMAP操作把每个用户的行为序列重新排列配对，将配对后的事件用ARRAYJOIN连接起来并按照事件发生时间进行排序生成新的事件序列。
作为本发明进一步的方案：从所述用户行为数据和新的事件序列中对每个用户在n天内的转化时间进行了统计计算；按照日期顺序对转化时间进行了分组聚合，获得每个日期的转化用户数、人均转化时间、最小值、最大值、四分之一点、中位数和四分之三点。
本发明的有益效果：
（1）本发明利用ClickHouse特性，通过构建BitMap对用户数据做快速聚合、交并集、总数计算等，相对于传统的计算方式，在节省计算资源的同时，大幅提升计算效率；
（2）本发明通过巧妙地结合数组函数、窗口函数等，避免了通过传统的先join匹配再过滤筛选计算的方式，实现了对用户行为序列分析、有时间窗口需求的分析模型；
（3）本发明基于ClickHouse实现了多种分析模型，如事件分析、漏斗分析、留存分析、归因分析、分布分析、用户路径、属性分析、间隔分析等，满足了对用户行为数据的多维度分析需求。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为基于ClickHouse的实时用户行为数据分析方法，包括以下步骤：
事件分析：获取用户n天内的行为数据，n为正整数，筛选出符合设定标签的用户id，提取同时符合所有标签的用户标记为目标用户，通过group by聚合函数和bitmapBuild函数将目标用户id压缩为Bitmap集合；
漏斗分析：通过ClickHouse查询在n天内进行若干设定点击事件的目标用户，按照日期对点击事件进行分类汇总统计；
留存分析：获取目标用户任一天内触发的浏览事件和点击事件，统计当天目标用户的漏斗转化率，以日期顺序输出n天内的用户行为数据；
归因分析：根据所述用户行为数据计算出待归因事件的总点击次数、有效点击数、有效用户数和目标转化次数；
用户路径分析：将设定点击事件按时间顺序生成事件序列，将事件序列分割成多个子链，将每个子链按照时间顺序分割成多个session，并统计每个session中点击事件的出现次数；
属性分析：筛选符合设定属性和标签的用户集合，统计用户集合中属性和标签的出现次数，按照出现次数进行排序分为两类，统计每一类中属性和标签值的出现次数和出现比例；
间隔分析：将所述事件序列拼接成一个新的事件序列，从新事件序列中提取出转化时长信息，计算出n天内每个日期的转化数据。
在本发明的一种优选的实施例中，所述漏斗分析具体包括：
查询在n天内进行若干设定点击事件的用户，包括click_null、click02、click03，所述点击事件之间依次为递进关系，每个点击事件均有对应的分层标签，计算每一分层标签对应的用户数量，统计n天内所有进行设定点击时间的用户总数，进行漏斗分析，得到每个用户的每个点击事件的转化漏斗情况，编制成level_index数组，按照用户id和事件日期分组，对level_index数组的各项进行求和，将所有用户id所获得的统计结果再取一次sum聚合函数生成漏斗分析总计数据。
在本发明的另一种优选的实施例中，所述留存分析具体包括：
使用窗口函数和分组操作来统计目标用户在某一天内触发了浏览事件和相应点击事件的时间和次数，计算浏览事件与点击事件之间的时间差，并计算出目标用户在漏斗转化路径中所处的位置，根据返回结果再次聚合，统计在某一天内特定用户群体的漏斗转化率，包括从某个状态到另一状态的转化次数，最后按照事件日期、事件剩余日期、日期差值将结果进行分组并计算出每组内的总次数。
在本发明的另一种优选的实施例中，所述归因分析具体包括：
通过查询命令返回设定点击事件以及总点击次数、有效点击数、有效用户数和目标转化次数；
通过语法WITH AS对用户行为数据中的点击事件进行排序和整理，按时间顺序排列并形成了一个有序的事件序列；
查询命令使用ARRAY JOIN操作将每个用户的不同行为重新组合成新的事件序列，并进行过滤；
利用GROUP BY操作将所有行为按照每个用户进行分组，算出每个用户在待归因事件中的指标：待归因事件总数、有效点击数、转化次数以及有效用户数；
最后通过SELECT查询命令返回每个用户的指标总和，构成所有用户行为的汇总数据。
在本发明的另一种优选的实施例中，所述用户路径分析具体包括：
设定点击事件按时间顺序生成事件序列，并按照用户ID分组，从事件序列中筛选出包含设定点击事件的子链；
将子链中相邻的事件组成元组，得到一个新的数组；将元组根据首个元素的大小进行排序，并筛选出第一个元素大于等于设定点击事件时间点的元素，去除数组中的NULL元素，并标记出分割点；
将子链按照分割点分割成多个session；统计每个session中点击事件的出现次数，返回分割后的子链、session和设定点击事件出现次数。
在本发明的另一种优选的实施例中，所述属性分析具体包括：
获取用户的属性和标签，并进行去重，筛选符合设定属性和标签的用户集合，统计每个属性和标签值的出现次数；
按照出现次数进行排序，得到每个属性和标签值的出现次数；
将出现次数排名前m名的属性和标签值作为一类，m为正整数，剩下的属性和标签值作为另一类；
统计每一类中每个属性和标签值在所有用户中出现的比例；
返回统计结果，包括属性和标签值、出现次数和出现比例。
在本发明的另一种优选的实施例中，所述间隔分析具体包括：
使用ARRAY SPLIT把每条记录按照事件类型分离成不同的数组元素，并按照事件发生时间进行排序，然后通过ARRAY JOIN操作把所有用户的数据链接成一个大的关系型表格，所述记录为某个用户在某个日期内完成的所有事件；
使用ARRAY REVERSESPLIT和ARRAYMAP操作把每个用户的行为序列重新排列配对，将配对后的事件用ARRAYJOIN连接起来并按照事件发生时间进行排序生成新的事件序列。
在本实施例的一种优选的情况中，从所述用户行为数据和新的事件序列中对每个用户在n天内的转化时间进行了统计计算；按照日期顺序对转化时间进行了分组聚合，获得每个日期的转化用户数、人均转化时间、最小值、最大值、四分之一点、中位数和四分之三点。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (8)
1.基于ClickHouse的实时用户行为数据分析方法，其特征在于，包括以下步骤：
事件分析：获取用户n天内的行为数据，n为正整数，筛选出符合设定标签的用户id，提取同时符合所有标签的用户标记为目标用户，通过group by聚合函数和bitmapBuild函数将目标用户id压缩为Bitmap集合；
漏斗分析：通过ClickHouse查询在n天内进行若干设定点击事件的目标用户，按照日期对点击事件进行分类汇总统计；
留存分析：获取目标用户任一天内触发的浏览事件和点击事件，统计当天目标用户的漏斗转化率，以日期顺序输出n天内的用户行为数据；
归因分析：根据所述用户行为数据计算出待归因事件的总点击次数、有效点击数、有效用户数和目标转化次数；
用户路径分析：将设定点击事件按时间顺序生成事件序列，将事件序列分割成多个子链，将每个子链按照时间顺序分割成多个session，并统计每个session中点击事件的出现次数；
属性分析：筛选符合设定属性和标签的用户集合，统计用户集合中属性和标签的出现次数，按照出现次数进行排序分为两类，统计每一类中属性和标签值的出现次数和出现比例；
间隔分析：将所述事件序列拼接成一个新的事件序列，从新事件序列中提取出转化时长信息，计算出n天内每个日期的转化数据。
2.根据权利要求1所述的基于ClickHouse的实时用户行为数据分析方法，其特征在于，所述漏斗分析具体包括：
查询在n天内进行若干设定点击事件的用户，所述点击事件之间依次为递进关系，每个点击事件均有对应的分层标签，计算每一分层标签对应的用户数量，统计n天内所有进行设定点击时间的用户总数，进行漏斗分析，得到每个用户的每个点击事件的转化漏斗情况，编制成level_index数组，按照用户id和事件日期分组，对level_index数组的各项进行求和，将所有用户id所获得的统计结果再取一次sum聚合函数生成漏斗分析总计数据。
3.根据权利要求1所述的基于ClickHouse的实时用户行为数据分析方法，其特征在于，所述留存分析具体包括：
使用窗口函数和分组操作来统计目标用户在某一天内触发了浏览事件和相应点击事件的时间和次数，计算浏览事件与点击事件之间的时间差，并计算出目标用户在漏斗转化路径中所处的位置，根据返回结果再次聚合，统计在某一天内特定用户群体的漏斗转化率，包括从某个状态到另一状态的转化次数，最后按照事件日期、事件剩余日期、日期差值将结果进行分组并计算出每组内的总次数。
4.根据权利要求1所述的基于ClickHouse的实时用户行为数据分析方法，其特征在于，所述归因分析具体包括：
通过查询命令返回设定点击事件以及总点击次数、有效点击数、有效用户数和目标转化次数；
通过语法WITH AS对用户行为数据中的点击事件进行排序和整理，按时间顺序排列并形成了一个有序的事件序列；
查询命令使用ARRAY JOIN操作将每个用户的不同行为重新组合成新的事件序列，并进行过滤；
利用GROUP BY操作将所有行为按照每个用户进行分组，算出每个用户在待归因事件中的指标：待归因事件总数、有效点击数、转化次数以及有效用户数；
最后通过SELECT查询命令返回每个用户的指标总和，构成所有用户行为的汇总数据。
5.根据权利要求1所述的基于ClickHouse的实时用户行为数据分析方法，其特征在于，所述用户路径分析具体包括：
设定点击事件按时间顺序生成事件序列，并按照用户ID分组，从事件序列中筛选出包含设定点击事件的子链；
将子链中相邻的事件组成元组，得到一个新的数组；将元组根据首个元素的大小进行排序，并筛选出第一个元素大于等于设定点击事件时间点的元素，去除数组中的NULL元素，并标记出分割点；
将子链按照分割点分割成多个session；统计每个session中点击事件的出现次数，返回分割后的子链、session和设定点击事件出现次数。
6.根据权利要求1所述的基于ClickHouse的实时用户行为数据分析方法，其特征在于，所述属性分析具体包括：
获取用户的属性和标签，并进行去重，筛选符合设定属性和标签的用户集合，统计每个属性和标签值的出现次数；
按照出现次数进行排序，得到每个属性和标签值的出现次数；
将出现次数排名前m名的属性和标签值作为一类，m为正整数，剩下的属性和标签值作为另一类；
统计每一类中每个属性和标签值在所有用户中出现的比例；
返回统计结果，包括属性和标签值、出现次数和出现比例。
7.根据权利要求1所述的基于ClickHouse的实时用户行为数据分析方法，其特征在于，所述间隔分析具体包括：
使用ARRAY SPLIT把每条记录按照事件类型分离成不同的数组元素，并按照事件发生时间进行排序，然后通过ARRAY JOIN操作把所有用户的数据链接成一个大的关系型表格，所述记录为某个用户在某个日期内完成的所有事件；
使用ARRAY REVERSESPLIT和ARRAYMAP操作把每个用户的行为序列重新排列配对，将配对后的事件用ARRAYJOIN连接起来并按照事件发生时间进行排序生成新的事件序列。
8.根据权利要求7所述的基于ClickHouse的实时用户行为数据分析方法，其特征在于，从所述用户行为数据和新的事件序列中对每个用户在n天内的转化时间进行了统计计算；按照日期顺序对转化时间进行了分组聚合，获得每个日期的转化用户数、人均转化时间、最小值、最大值、四分之一点、中位数和四分之三点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310546206.3A CN116501778A (zh) | 2023-05-16 | 2023-05-16 | 基于ClickHouse的实时用户行为数据分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310546206.3A CN116501778A (zh) | 2023-05-16 | 2023-05-16 | 基于ClickHouse的实时用户行为数据分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116501778A true CN116501778A (zh) | 2023-07-28 |
Family
ID=87322997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310546206.3A Pending CN116501778A (zh) | 2023-05-16 | 2023-05-16 | 基于ClickHouse的实时用户行为数据分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116501778A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944059A (zh) * | 2017-12-29 | 2018-04-20 | 深圳市中润四方信息技术有限公司西安分公司 | 一种基于流计算的用户行为分析方法及系统 |
| CN111127099A (zh) * | 2019-12-24 | 2020-05-08 | 济宁和佳寰宇软件技术有限公司 | 一种基于大数据的电商用户分析系统及其分析方法 |
| EP3780504A1 (en) * | 2019-08-15 | 2021-02-17 | Juniper Networks, Inc. | System and method for determining a data flow path in an overlay network |
| CN114238360A (zh) * | 2021-12-24 | 2022-03-25 | 上海观安信息技术股份有限公司 | 一种用户行为分析系统 |
| CN115098029A (zh) * | 2022-06-30 | 2022-09-23 | 上海哔哩哔哩科技有限公司 | 数据处理方法及装置 |
| CN116016628A (zh) * | 2022-12-09 | 2023-04-25 | 中国电力科学研究院有限公司 | 一种api网关埋点分析方法及装置 |
-
2023
- 2023-05-16 CN CN202310546206.3A patent/CN116501778A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944059A (zh) * | 2017-12-29 | 2018-04-20 | 深圳市中润四方信息技术有限公司西安分公司 | 一种基于流计算的用户行为分析方法及系统 |
| EP3780504A1 (en) * | 2019-08-15 | 2021-02-17 | Juniper Networks, Inc. | System and method for determining a data flow path in an overlay network |
| CN111127099A (zh) * | 2019-12-24 | 2020-05-08 | 济宁和佳寰宇软件技术有限公司 | 一种基于大数据的电商用户分析系统及其分析方法 |
| CN114238360A (zh) * | 2021-12-24 | 2022-03-25 | 上海观安信息技术股份有限公司 | 一种用户行为分析系统 |
| CN115098029A (zh) * | 2022-06-30 | 2022-09-23 | 上海哔哩哔哩科技有限公司 | 数据处理方法及装置 |
| CN116016628A (zh) * | 2022-12-09 | 2023-04-25 | 中国电力科学研究院有限公司 | 一种api网关埋点分析方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019396B (zh) | 一种基于分布式多维分析的数据分析系统及方法 | |
| EP3117347B1 (en) | Systems and methods for rapid data analysis | |
| US20110119300A1 (en) | Method Of Generating An Analytical Data Set For Input Into An Analytical Model | |
| CN111475509A (zh) | 一种基于大数据的用户画像和多维分析系统 | |
| CN110647512B (zh) | 一种数据存储和分析方法、装置、设备和可读介质 | |
| CN113064866B (zh) | 一种电力业务数据整合系统 | |
| CN102708130A (zh) | 计算用户微细分以用于要约匹配的可扩展引擎 | |
| CN111127105A (zh) | 用户分层模型构建方法及系统、运营分析方法及系统 | |
| CN112396462B (zh) | 基于Clickhouse的人群圈选方法及装置 | |
| CN111966677A (zh) | 数据报表的处理方法、装置、电子设备及存储介质 | |
| CN114579584B (zh) | 数据表处理方法、装置、计算机设备和存储介质 | |
| CN110716950A (zh) | 一种口径系统建立方法、装置、设备及计算机存储介质 | |
| CN115408381A (zh) | 数据处理方法及相关设备 | |
| CN114238360A (zh) | 一种用户行为分析系统 | |
| CN110737673B (zh) | 一种数据处理的方法及系统 | |
| CN105468740B (zh) | 一种游戏玩家数据的存储、分析方法及装置 | |
| CN113485989A (zh) | 一种监管数据的综合分析方法、系统、介质和设备 | |
| CN117573646A (zh) | 一种基于维度建模的数据管理方法及系统 | |
| CN111125045B (zh) | 一种轻量级etl处理平台 | |
| CN109241048A (zh) | 用于数据统计的数据处理方法、服务器及存储介质 | |
| CN116501778A (zh) | 基于ClickHouse的实时用户行为数据分析方法 | |
| CN106933909B (zh) | 多维度数据的查询方法及装置 | |
| CN115470279A (zh) | 基于企业数据的数源转换方法、装置、设备及介质 | |
| CN109063201B (zh) | 一种基于混合存储方案的impala在线交互式查询方法 | |
| US20150081735A1 (en) | System and method for fast identification of variable roles during initial data exploration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |