CN114756537A - 一种基于数据埋点的用户画像的方法、系统和装置 - Google Patents

一种基于数据埋点的用户画像的方法、系统和装置 Download PDF

Info

Publication number
CN114756537A
CN114756537A CN202210400533.3A CN202210400533A CN114756537A CN 114756537 A CN114756537 A CN 114756537A CN 202210400533 A CN202210400533 A CN 202210400533A CN 114756537 A CN114756537 A CN 114756537A
Authority
CN
China
Prior art keywords
data
module
user
tag
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210400533.3A
Other languages
English (en)
Inventor
陈包容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Ge'ermen Intelligent Technology Co ltd
Original Assignee
Changsha Ge'ermen Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Ge'ermen Intelligent Technology Co ltd filed Critical Changsha Ge'ermen Intelligent Technology Co ltd
Priority to CN202210400533.3A priority Critical patent/CN114756537A/zh
Publication of CN114756537A publication Critical patent/CN114756537A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及大数据用户画像技术领域，且公开了一种基于数据埋点的用户画像的方法、系统和装置，所述采集单元包括数据库模块，所述数据库模块的输出端信号连接有客户端SDK模块，所述数据库模块的输出端信号连接有服务端SDK模块，所述数据库模块的输出端信号连接有Importer模块,所述客户端SDK模块客户端通过客户端SDK埋点，采集iOS、Android、小程序、网站等各种客户端的用户行为数据和用户属性信息，所述服务端SDK模块对开发语言的服务端SDK进行数据的采集。该基于数据埋点的用户画像的方法、系统和装置，通过设置的采集单元可以采集iOS、Android、小程序、网站等各种客户端的用户行为数据和用户属性信息，并将文件数据导进用户画像产品系统进行分析，便于收集用户信息。

Description

一种基于数据埋点的用户画像的方法、系统和装置
技术领域
本发明涉及大数据用户画像技术领域，具体为一种基于数据埋点的用户画像的方法、系统和装置。
背景技术
随着大数据技术的发展，出现了各种各样的场景，其中对于用户进行画像构建是一个比较重要的需求，对用户进行画像构建是通过对用户进行打标签、划分客群、构建画像，加深企业对用户的理解，从而提供有针对性的服务和营销，减轻企业的营销成本。而现有技术中，缺少对数据埋点用户群进行用户画像的方法，因此需要发明出一种基于数据埋点的用户画像的方法、系统和装置来解决上述问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于数据埋点的用户画像的方法、系统和装置以解决上述背景技术中提出的问题。
(二)技术方案
为实现上述对用户进行用户画像，本发明提供如下技术方案：一种基于数据埋点的用户画像的方法、系统和装置，包括以下步骤：
S1、基础数据采集；
S2、数据接入与整合；
S3、标签计算与管理；
S4、用户分群画像。
优选的，所述步骤S1中设置有采集单元，所述采集单元包括数据库模块，所述数据库模块的输出端信号连接有客户端SDK模块，所述数据库模块的输出端信号连接有服务端SDK模块，所述数据库模块的输出端信号连接有Importer模块。
优选的，所述客户端SDK模块客户端通过客户端SDK埋点，采集iOS、Android、小程序、网站等各种客户端的用户行为数据和用户属性信息，通过可视化埋点与无埋点进行数据埋点，可视化埋点以前端可视化的方式记录前端设置页面元素与对其操作的关系，然后以后端截屏的方式统计数据，无埋点绑定页面的各个控件，当事件触发时就会调用相关的接口上报数据，所述服务端SDK模块对开发语言的服务端SDK进行数据的采集，所述Importer模块根据运行环境、源数据格式、导入数据量的大小等影响因素，选择不同的导入方式，把历史文件数据导进用户画像产品系统。
优选的，所述步骤S2中设置有数据处理单元，所述数据处理单元包括接入模块，所述接入模块的输出端信号连接有处理模块，所述处理模块的输出端信号连接有ID Mapping模块。
优选的，通过所述接入模块将埋点数据先大量进入Kafka，然后慢慢接入后续的数据整合存储系统中，通过所述处理模块将接入的数据进行脏数据清洗、格式转换、用户识别与合并等整合工作，并将用户信息转换成IPB标准编码，通过所述ID Mapping模块通过unionID将独立数据进行整合。
优选的，所述步骤S3中设置有标签单元，所述标签单元包括读取模块，所述读取模块的输出端信号连接有标签计算模块，所述标签计算单元的输出端信号连接有标签应用管理模块。
优选的，所述读取模块对整合后的编码数据进行读取并通过标签规则进行赋值，所述标签计算模块使用批量离线标签处理引擎对赋值后的标签进行计算处理，所述标签应用管理模块通过API接入前端系统展示，并通过行为数据与属性数据创建标签。
优选的，所述步骤S4中设置有用户画像单元，所述用户画像单元包括单用户画像模块与用户分群模块，所述用户分群模块输送端信号连接有用户群画像模块。
优选的，所述单用户画像模块通过输入用户ID，来查看单用户画像的详情数据，如用户的属性信息、用户行为等数据，所述用户分群模块通过组合标签圈定用户群体，随后通过所述用户群画像模块输入关键词进行检索，查看群用户画像的详情数据，如用户的属性信息、用户行为等数据。
(三)有益效果
与现有技术相比，本发明提供了一种基于数据埋点的用户画像的方法、系统和装置，具备以下有益效果：
1、该基于数据埋点的用户画像的方法、系统和装置，通过设置的采集单元可以采集iOS、Android、小程序、网站等各种客户端的用户行为数据和用户属性信息，并将文件数据导进用户画像产品系统进行分析，便于收集用户信息。
2、该基于数据埋点的用户画像的方法、系统和装置，通过设置的数据处理单元与标签单元，在使用过程中，可以对收集的信息进行脏数据清洗、格式转换、用户识别与合并，并将合并后的数据进行标签处理，便于后续进行查看。
3、该基于数据埋点的用户画像的方法、系统和装置，通过设置的用户画像单元，在使用过程中，可以对单独用户以及群用户进行画像，便于通过关键信息查找对应用户，加深对用户的理解，从而提供有针对性的服务和营销，减轻营销成本。
4、通过可视化埋点与无埋点进行数据埋点，可视化埋点以前端可视化的方式记录前端设置页面元素与对其操作的关系，然后以后端截屏的方式统计数据，无埋点绑定页面的各个控件，当事件触发时就会调用相关的接口上报数据。
附图说明
图1为本发明流程结构示意图；
图2为本发明采集单元系统框图；
图3为本发明数据处理单元系统框图；
图4为本发明标签单元系统框图；
图5为本发明用户画像单元系统框图。
图中：1、采集单元；101、数据库模块；102、客户端SDK模块；103、服务端SDK模块；104、Importer模块；2、数据处理单元；201、接入模块；202、处理模块；203、ID Mapping模块；3、标签单元；301、读取模块；302、标签计算模块；303、标签应用管理模块；4、用户画像单元；401、单用户画像模块；402、用户分群模块；403、用户群画像模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
请参阅图1-5，本发明提供一种技术方案：一种基于数据埋点的用户画像的方法、系统和装置，包括以下步骤：
S1、基础数据采集；
采集单元1包括数据库模块101，数据库模块101的输出端信号连接有客户端SDK模块102，数据库模块101的输出端信号连接有服务端SDK模块103，数据库模块101的输出端信号连接有Importer模块104，客户端SDK模块102客户端通过客户端SDK埋点，采集iOS、Android、小程序、网站等各种客户端的用户行为数据和用户属性信息，服务端SDK模块103对开发语言的服务端SDK进行数据的采集，Importer模块104根据运行环境、源数据格式、导入数据量的大小等影响因素，选择不同的导入方式，把历史文件数据导进用户画像产品系统。
S2、数据接入与整合；
数据处理单元2包括接入模块201，接入模块201的输出端信号连接有处理模块202，处理模块202的输出端信号连接有ID Mapping模块203，通过接入模块201将埋点数据先大量进入Kafka，然后慢慢接入后续的数据整合存储系统中，通过处理模块202将接入的数据进行脏数据清洗、格式转换、用户识别与合并等整合工作，并将用户信息转换成IPB标准编码，通过ID Mapping模块203中的unionID将独立数据进行整合。
S3、标签计算与管理；
标签单元3包括读取模块301，读取模块301的输出端信号连接有标签计算模块302，标签计算单元302的输出端信号连接有标签应用管理模块303，读取模块301对整合后的编码数据进行读取并通过标签规则进行赋值，标签计算模块302使用批量离线标签处理引擎对赋值后的标签进行计算处理，标签应用管理模块303通过API接入前端系统展示，并通过行为数据与属性数据创建标签。
S4、用户分群画像。
用户画像单元4包括单用户画像模块401，单用户画像模块401通过输入用户ID，来查看单用户画像的详情数据，如用户的属性信息、用户行为等数据。
实施例2：
请参阅图1-5，本发明提供一种技术方案：一种基于数据埋点的用户画像的方法、系统和装置，包括以下步骤：
S1、基础数据采集；
采集单元1包括数据库模块101，数据库模块101的输出端信号连接有客户端SDK模块102，数据库模块101的输出端信号连接有服务端SDK模块103，数据库模块101的输出端信号连接有Importer模块104，客户端SDK模块102客户端通过客户端SDK埋点，采集iOS、Android、小程序、网站等各种客户端的用户行为数据和用户属性信息，服务端SDK模块103对开发语言的服务端SDK进行数据的采集，Importer模块104根据运行环境、源数据格式、导入数据量的大小等影响因素，选择不同的导入方式，把历史文件数据导进用户画像产品系统。
通过可视化埋点与无埋点进行数据埋点，可视化埋点以前端可视化的方式记录前端设置页面元素与对其操作的关系，然后以后端截屏的方式统计数据，无埋点绑定页面的各个控件，当事件触发时就会调用相关的接口上报数据。
S2、数据接入与整合；
数据处理单元2包括接入模块201，接入模块201的输出端信号连接有处理模块202，处理模块202的输出端信号连接有ID Mapping模块203，通过接入模块201将埋点数据先大量进入Kafka，然后慢慢接入后续的数据整合存储系统中，通过处理模块202将接入的数据进行脏数据清洗、格式转换、用户识别与合并等整合工作，并将用户信息转换成IPB标准编码，通过ID Mapping模块203中的unionID将独立数据进行整合。
S3、标签计算与管理；
标签单元3包括读取模块301，读取模块301的输出端信号连接有标签计算模块302，标签计算单元302的输出端信号连接有标签应用管理模块303，读取模块301对整合后的编码数据进行读取并通过标签规则进行赋值，标签计算模块302使用批量离线标签处理引擎对赋值后的标签进行计算处理，标签应用管理模块303通过API接入前端系统展示，并通过行为数据与属性数据创建标签。
S4、用户分群画像。
用户画像单元4包括单用户，用户分群模块402，用户分群模块402输送端信号连接有用户群画像模块403，用户分群模块402通过组合标签圈定用户群体，随后通过用户群画像模块403输入关键词进行检索，查看群用户画像的详情数据，如用户的属性信息、用户行为等数据。
该基于数据埋点的用户画像的方法、系统和装置通过设置的采集单元可以采集iOS、Android、小程序、网站等各种客户端的用户行为数据和用户属性信息，并将文件数据导进用户画像产品系统进行分析，便于收集用户信息，通过设置的数据处理单元与标签单元，在使用过程中，可以对收集的信息进行脏数据清洗、格式转换、用户识别与合并，并将合并后的数据进行标签处理，便于后续进行查看，通过设置的用户画像单元，在使用过程中，可以对单独用户以及群用户进行画像，便于通过关键信息查找对应用户，加深对用户的理解，从而提供有针对性的服务和营销，减轻营销成本。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于数据埋点的用户画像的方法、系统和装置，其特征在于，包括以下步骤：
S1、基础数据采集；
S2、数据接入与整合；
S3、标签计算与管理；
S4、用户分群画像。
2.根据权利要求1所述的一种基于数据埋点的用户画像的方法、系统和装置，其特征在于，所述步骤S1中设置有采集单元(1)，所述采集单元(1)包括数据库模块(101)，所述数据库模块(101)的输出端信号连接有客户端SDK模块(102)，所述数据库模块(101)的输出端信号连接有服务端SDK模块(103)，所述数据库模块(101)的输出端信号连接有Importer模块(104)。
3.根据权利要求2所述的一种基于数据埋点的用户画像的方法、系统和装置，其特征在于，所述客户端SDK模块(102)客户端通过客户端SDK埋点，采集iOS、Android、小程序、网站等各种客户端的用户行为数据和用户属性信息，通过可视化埋点与无埋点进行数据埋点，可视化埋点以前端可视化的方式记录前端设置页面元素与对其操作的关系，然后以后端截屏的方式统计数据，无埋点绑定页面的各个控件，当事件触发时就会调用相关的接口上报数据，所述服务端SDK模块(103)对开发语言的服务端SDK进行数据的采集，所述Importer模块(104)根据运行环境、源数据格式、导入数据量的大小等影响因素，选择不同的导入方式，把历史文件数据导进用户画像产品系统。
4.根据权利要求1所述的一种基于数据埋点的用户画像的方法、系统和装置，其特征在于，所述步骤S2中设置有数据处理单元(2)，所述数据处理单元(2)包括接入模块(201)，所述接入模块(201)的输出端信号连接有处理模块(202)，所述处理模块(202)的输出端信号连接有ID Mapping模块(203)。
5.根据权利要求4所述的一种基于数据埋点的用户画像的方法、系统和装置，其特征在于，通过所述接入模块(201)将埋点数据先大量进入Kafka，然后慢慢接入后续的数据整合存储系统中，通过所述处理模块(202)将接入的数据进行脏数据清洗、格式转换、用户识别与合并等整合工作，并将用户信息转换成IPB标准编码，通过所述ID Mapping模块(203)中的unionID将独立数据进行整合。
6.根据权利要求1所述的一种基于数据埋点的用户画像的方法、系统和装置，其特征在于，所述步骤S3中设置有标签单元(3)，所述标签单元(3)包括读取模块(301)，所述读取模块(301)的输出端信号连接有标签计算模块(302)，所述标签计算模块(302)的输出端信号连接有标签应用管理模块(303)。
7.根据权利要求6所述的一种基于数据埋点的用户画像的方法、系统和装置，其特征在于，所述读取模块(301)对整合后的编码数据进行读取并通过标签规则进行赋值，所述标签计算模块(302)使用批量离线标签处理引擎对赋值后的标签进行计算处理，所述标签应用管理模块(303)通过API接入前端系统展示，并通过行为数据与属性数据创建标签。
8.根据权利要求1所述的一种基于数据埋点的用户画像的方法、系统和装置，其特征在于，所述步骤S4中设置有用户画像单元(4)，所述用户画像单元(4)包括单用户画像模块(401)与用户分群模块(402)，所述用户分群模块(402)输送端信号连接有用户群画像模块(403)。
9.根据权利要求8所述的一种基于数据埋点的用户画像的方法、系统和装置，其特征在于，所述单用户画像模块(401)通过输入用户ID，来查看单用户画像的详情数据，如用户的属性信息、用户行为等数据，所述用户分群模块(402)通过组合标签圈定用户群体，随后通过所述用户群画像模块(403)输入关键词进行检索，查看群用户画像的详情数据，如用户的属性信息、用户行为等数据。
CN202210400533.3A 2022-04-16 2022-04-16 一种基于数据埋点的用户画像的方法、系统和装置 Withdrawn CN114756537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210400533.3A CN114756537A (zh) 2022-04-16 2022-04-16 一种基于数据埋点的用户画像的方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210400533.3A CN114756537A (zh) 2022-04-16 2022-04-16 一种基于数据埋点的用户画像的方法、系统和装置

Publications (1)

Publication Number Publication Date
CN114756537A true CN114756537A (zh) 2022-07-15

Family

ID=82332146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210400533.3A Withdrawn CN114756537A (zh) 2022-04-16 2022-04-16 一种基于数据埋点的用户画像的方法、系统和装置

Country Status (1)

Country Link
CN (1) CN114756537A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115600556A (zh) * 2022-12-15 2023-01-13 京华信息科技股份有限公司（Cn） 一种文档的目录信息推荐方法及系统
CN115757980A (zh) * 2022-12-21 2023-03-07 北京政务科技有限公司 一种政务服务的用户画像方法、装置、设备和介质
CN115834940A (zh) * 2022-11-14 2023-03-21 浪潮通信信息系统有限公司 Iptv/ott端到端数据逆向采集分析方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115834940A (zh) * 2022-11-14 2023-03-21 浪潮通信信息系统有限公司 Iptv/ott端到端数据逆向采集分析方法及系统
CN115600556A (zh) * 2022-12-15 2023-01-13 京华信息科技股份有限公司（Cn） 一种文档的目录信息推荐方法及系统
CN115600556B (zh) * 2022-12-15 2023-03-03 京华信息科技股份有限公司 一种文档的目录信息推荐方法及系统
CN115757980A (zh) * 2022-12-21 2023-03-07 北京政务科技有限公司 一种政务服务的用户画像方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN114756537A (zh) 一种基于数据埋点的用户画像的方法、系统和装置
CN111831636B (zh) 一种数据处理方法、装置、计算机系统及可读存储介质
CN108537544A (zh) 一种交易系统实时监控方法及其监控系统
CN110619568A (zh) 风险评估报告的生成方法、装置、设备及存储介质
CN112632405B (zh) 一种推荐方法、装置、设备及存储介质
CN107918618B (zh) 数据处理方法及装置
Japec et al. AAPOR report on big data
CN105117482B (zh) 一种实现网站导航的方法和装置
CN111552800A (zh) 摘要生成方法、装置、电子设备及介质
CN107784551A (zh) 股票舆情数据处理方法、装置、计算机设备和存储介质
CN106682206A (zh) 一种大数据处理方法及系统
CN112506981A (zh) 一种线上培训服务推送方法和装置
US9665574B1 (en) Automatically scraping and adding contact information
CN116453125A (zh) 基于人工智能的数据录入方法、装置、设备及存储介质
CN114398560A (zh) 基于web平台的营销界面设置方法、装置、设备及介质
CN113407696A (zh) 收集表处理方法、装置、设备以及存储介质
CN116452212B (zh) 一种智能客服商品知识库信息管理方法及系统
CN112561636A (zh) 一种推荐方法、装置、终端设备及介质
CN116680422A (zh) 一种多模态题库资源查重方法、系统、装置及存储介质
CN115567563B (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
CN116703515A (zh) 基于人工智能的推荐方法、装置、计算机设备及存储介质
CN110990692A (zh) 基于画像分析的数据处理方法及装置
CN112084408B (zh) 名单数据筛选方法、装置、计算机设备及存储介质
CN114841155A (zh) 主题内容智能聚合方法、装置、电子设备及存储介质
CN113609270A (zh) 一种可标签区分客户的用户行为数据分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220715

WW01 Invention patent application withdrawn after publication