CN110196849A - 基于大数据治理技术实现用户画像构建处理的系统及其方法 - Google Patents
基于大数据治理技术实现用户画像构建处理的系统及其方法 Download PDFInfo
- Publication number
- CN110196849A CN110196849A CN201910487607.XA CN201910487607A CN110196849A CN 110196849 A CN110196849 A CN 110196849A CN 201910487607 A CN201910487607 A CN 201910487607A CN 110196849 A CN110196849 A CN 110196849A
- Authority
- CN
- China
- Prior art keywords
- user
- data
- user behavior
- behavior data
- portrait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 230000008569 process Effects 0.000 title claims description 25
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000007689 inspection Methods 0.000 claims abstract description 11
- 230000003542 behavioural effect Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 44
- 238000010276 construction Methods 0.000 abstract description 25
- 238000003326 Quality management system Methods 0.000 abstract description 5
- 230000006399 behavior Effects 0.000 description 233
- 238000002372 labelling Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于大数据治理技术实现用户画像构建处理的系统，包括用户行为数据接引模块，对数据进行实时清洗，去除冗余数据；用户行为数据融合模块，构建用户行为数据标准和用户行为数据质量检核规则；用户行为数据建模分析模块，用于创建用户行为标签模型，标签用户行为数据；用户画像产出模块，用于根据用户标签库数据生成用户画像API接口。本发明还涉及一种实现基于大数据治理技术的用户画像构建处理的方法。采用了本发明的基于大数据治理技术实现用户画像构建处理的系统及其方法，实现了用户行为数据标准体系及闭环质量管理体系的建立，从而提升用户行为数据的标准化程度及用户行为数据质量，解决目前用户画像技术中标准不统一、质量管理薄弱的问题。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及用户画像构建领域，具体是指一种基于大数据治理技术实现用户画像构建处理的系统及其方法。
背景技术
在进入大数据时代，精细化运营成为企业重要的竞争力，而“用户画像”是实现企业精细化运营的有力手段。用户画像又称用户角色，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。依托于企业多年积累的海量数据及强大的数据分析能力，将数据抽象成标签，并通过标签将用户形象具体化，以此形成用户画像，通过用户画像可帮助企业了解用户信息，实现目标用户精准筛选，提升企业在大数据时代的竞争力。
现有的用户画像构建方法，主要是通过对海量多源异构用户行为数据的收集、处理、分析，从而将数据抽象成标签，利用这些标签将用户形象具体化，形成用户画像，从而了解用户的信息。下面分别从用户行为数据的收集、处理和分析三个步骤说明现有的用户画像构建方法：
一、用户行为数据收集：
采用数据集成工具收集用户行为数据，如：年龄、性别、身高、体重、职业、收入、消费能力、兴趣爱好等数据，并将收集的用户行为数据集中存储。
二、用户行为数据处理：
使用大数据工具对用户行为数据进行清洗，去除冗余数据，在数据处理过程中会使用到交互计算和多种复杂算法，一定程度上保证数据的质量。
三、用户行为数据建模：
使用机器学习等技术，实现用户行为数据建模，模型实现对用户行为数据主动学习，进行用户行为判断，产出用户标签。
经过以上三步，形成了用户画像数据，基于用户画像可实现精准的内容推荐，实现千人千面运营。
现有的技术实现了用户画像的构建，满足了企业对于用户画像构建的需求。但是在实际的应用中，用户画像会产生一定的波动，现有的技术仅仅依靠单个或者几个大数据工具对用户行为数据进行清洗、处理，缺乏成体系的闭环的质量管控措施，并不能很好的控制用户画像的波动。
其次，对于用户行为数据的处理缺乏相关的依据，无法形成统一权威的标准，就这造成了产生的用户画像缺乏权威性，难以得到各方的认同。
最后，用户画像是经过很多步骤处理产生的，当用户画像出现波动时，现有的技术无法对用户画像产生过程进行追溯，要想查找用户画像波动根源费时费力。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种准确性高、操作简便、适用范围较为广泛的基于大数据治理技术实现用户画像构建处理的系统及其方法。
为了实现上述目的，本发明的基于大数据治理技术实现用户画像构建处理的系统及其方法如下：
该基于大数据治理技术实现用户画像构建处理的系统，其主要特点是，所述的系统包括：
用户行为数据接引模块，用于接引用户行为数据，对数据进行实时清洗，去除冗余数据，并将接引数据存储到数据湖中；
用户行为数据融合模块，与所述的用户行为数据接引模块相连接，用于获取用户行为元数据信息，构建用户行为数据标准和用户行为数据质量检核规则，并将元数据、数据标准和质量规则存入融合库中；
用户行为数据建模分析模块，与所述的用户行为数据接引模块和用户行为数据融合模块相连接，用于创建用户行为标签模型，标签用户行为数据，并对用户行为数据的标签聚类和存储；
用户画像产出模块，与所述的用户行为数据建模分析模块相连接，用于根据用户标签库数据生成用户画像API接口。
较佳地，所述的用户行为数据融合模块包括：
采集元数据单元，与所述的用户行为数据接引模块相连接，用于采集数据湖中数据库信息；
创建标准单元，与所述的采集元数据单元相连接，用于根据用户行为元数据信息，参考相关标准，建立用户行为数据标准；
创建质量规则单元，与所述的创建标准单元相连接，用于定义用户行为数据质量的检测范围、检测属性和检测规则，并设置任务执行质量规则。
较佳地，所述的采集元数据单元采集的数据库信息包括用户行为对象信息、用户行为日志信息的相关的表名、字段名、视图、关系、主键和外键。
较佳地，所述的用户行为数据接引模块包括多源适配器。
较佳地，所述的用户行为数据建模分析模块包括：
标签建模单元，与所述的融合库相连接，用于根据用户画像的数据建立用户行为标签表；
画像预测单元，与所述的标签建模单元相连接，用于建立临时表，存储用户行为对象信息和用户行为日志信息，并将用户行为产生的标签插入到用户行为表中，分别从对应的表中获取不同的类型的用户行为数据；
标签聚类单元，与所述的画像预测单元相连接，用于通过聚类计算实现标签聚类，将结果保存入库。
较佳地，所述的用户行为数据接引模块接引至数据湖中的数据包括用户信息表、手机信息表、手机类目表和日志表。
较佳地，所述的用户行为数据融合模块采集的元数据包括用户信息表、手机信息表、手机类目表和WEB端日志表的元数据信息。
较佳地，所述的用户行为数据融合模块采集的元数据还包括用户行为数据的加工过程元数据以及计算过程元数据信息。
较佳地，所述的标签聚类单元通过K-means聚类算法计算并实现标签聚类。
该利用上述系统实现基于大数据治理技术的用户画像构建处理的方法，其主要特点是，所述的方法包括以下步骤：
(1)所述的用户行为数据接引模块接引用户行为数据，对数据进行实时清洗，去除冗余数据，并将接引数据存储到数据湖中；
(2)所述的用户行为数据融合模块获取用户行为元数据信息，构建用户行为数据标准和用户行为数据质量检核规则，并将元数据、数据标准和质量规则存入融合库中；
(3)所述的用户行为数据建模分析模块创建用户行为标签模型，标签用户行为数据，并对用户行为数据的标签聚类和存储；
(4)所述的用户画像产出模块根据用户标签库数据生成用户画像API接口。
较佳地，所述的用户行为数据融合模块包括采集元数据单元、创建标准单元和创建质量规则单元，所述的步骤(2)具体包括以下步骤：
(2.1)所述的采集元数据单元采集数据湖中数据库信息；
(2.2)所述的创建标准单元根据用户行为元数据信息，参考相关标准，建立用户行为数据标准；
(2.3)所述的创建质量规则单元定义用户行为数据质量的检测范围、检测属性和检测规则，并设置任务执行质量规则。
较佳地，所述的用户行为数据建模分析模块包括标签建模单元、画像预测单元和标签聚类单元，所述的步骤(3)具体包括以下步骤：
(3.1)所述的标签建模单元根据用户画像的数据建立用户行为标签表；
(3.2)所述的画像预测单元建立临时表，存储用户行为对象信息和用户行为日志信息，并将用户行为产生的标签插入到用户行为表中，分别从对应的表中获取不同的类型的用户行为数据；
(3.3)所述的标签聚类单元通过聚类计算实现标签聚类，将结果保存入库。
采用了本发明的基于大数据治理技术实现用户画像构建处理的系统及其方法，提供了基于大数据治理技术实现用户画像构建的系统及方法，在用户画像构建之前引入了大数据治理技术，实现了用户行为数据标准体系及闭环质量管理体系的建立，从而提升用户行为数据的标准化程度及用户行为数据质量，降低用户画像波动，解决目前用户画像技术中标准不统一、质量管理薄弱的问题。另外，通过用户行为元数据技术，还能对用户画像数据问题进行追溯定位，解决了目前用户画像技术中难以追溯造成用户画像波动原因的弊端。
附图说明
图1为本发明的基于大数据治理技术实现用户画像构建处理的系统的结构示意图。
图2为本发明的基于大数据治理技术实现用户画像构建处理的系统的用户行为数据融合模块的结构示意图。
图3为本发明的基于大数据治理技术实现用户画像构建处理的系统的用户行为数据建模分析模块的结构示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
本发明的该基于大数据治理技术实现用户画像构建处理的系统，其中包括：
用户行为数据接引模块，用于接引用户行为数据，对数据进行实时清洗，去除冗余数据，并将接引数据存储到数据湖中；
用户行为数据融合模块，与所述的用户行为数据接引模块相连接，用于获取用户行为元数据信息，构建用户行为数据标准和用户行为数据质量检核规则，并将元数据、数据标准和质量规则存入融合库中；
用户行为数据建模分析模块，与所述的用户行为数据接引模块和用户行为数据融合模块相连接，用于创建用户行为标签模型，标签用户行为数据，并对用户行为数据的标签聚类和存储；
用户画像产出模块，与所述的用户行为数据建模分析模块相连接，用于根据用户标签库数据生成用户画像API接口。
作为本发明的优选实施方式，所述的用户行为数据融合模块包括：
采集元数据单元，与所述的用户行为数据接引模块相连接，用于采集数据湖中数据库信息；
创建标准单元，与所述的采集元数据单元相连接，用于根据用户行为元数据信息，参考相关标准，建立用户行为数据标准；
创建质量规则单元，与所述的创建标准单元相连接，用于定义用户行为数据质量的检测范围、检测属性和检测规则，并设置任务执行质量规则。
作为本发明的优选实施方式，所述的采集元数据单元采集的数据库信息包括用户行为对象信息、用户行为日志信息的相关的表名、字段名、视图、关系、主键和外键。
作为本发明的优选实施方式，所述的用户行为数据接引模块包括多源适配器。
作为本发明的优选实施方式，所述的用户行为数据建模分析模块包括：
标签建模单元，与所述的融合库相连接，用于根据用户画像的数据建立用户行为标签表；
画像预测单元，与所述的标签建模单元相连接，用于建立临时表，存储用户行为对象信息和用户行为日志信息，并将用户行为产生的标签插入到用户行为表中，分别从对应的表中获取不同的类型的用户行为数据；
标签聚类单元，与所述的画像预测单元相连接，用于通过聚类计算实现标签聚类，将结果保存入库。
作为本发明的优选实施方式，所述的用户行为数据接引模块接引至数据湖中的数据包括用户信息表、手机信息表、手机类目表和日志表。
作为本发明的优选实施方式，所述的用户行为数据融合模块采集的元数据包括用户信息表、手机信息表、手机类目表和WEB端日志表的元数据信息。
作为本发明的优选实施方式，所述的用户行为数据融合模块采集的元数据还包括用户行为数据的加工过程元数据以及计算过程元数据信息。
作为本发明的优选实施方式，所述的标签聚类单元通过K-means聚类算法计算并实现标签聚类。
本发明的该利用上述系统实现基于大数据治理技术的用户画像构建处理的方法，其中包括以下步骤：
(1)所述的用户行为数据接引模块接引用户行为数据，对数据进行实时清洗，去除冗余数据，并将接引数据存储到数据湖中；
(2)所述的用户行为数据融合模块获取用户行为元数据信息，构建用户行为数据标准和用户行为数据质量检核规则，并将元数据、数据标准和质量规则存入融合库中；
(2.1)所述的采集元数据单元采集数据湖中数据库信息；
(2.2)所述的创建标准单元根据用户行为元数据信息，参考相关标准，建立用户行为数据标准；
(2.3)所述的创建质量规则单元定义用户行为数据质量的检测范围、检测属性和检测规则，并设置任务执行质量规则；
(3)所述的用户行为数据建模分析模块创建用户行为标签模型，标签用户行为数据，并对用户行为数据的标签聚类和存储；
(3.1)所述的标签建模单元根据用户画像的数据建立用户行为标签表；
(3.2)所述的画像预测单元建立临时表，存储用户行为对象信息和用户行为日志信息，并将用户行为产生的标签插入到用户行为表中，分别从对应的表中获取不同的类型的用户行为数据；
(3.3)所述的标签聚类单元通过聚类计算实现标签聚类，将结果保存入库；
(4)所述的用户画像产出模块根据用户标签库数据生成用户画像API接口。
本发明的具体实施方式中，本发明提供基于大数据治理技术实现用户画像构建的系统及方法，包括用户行为数据接引模块、用户行为数据融合模块、用户行为数据建模分析模块及用户画像产出模块。
在大数据时代，通过对海量数据进行清洗、聚类、分析，从而将数据抽象成标签，利用这些标签将用户形象具体化，形成用户画像。但是在处理海量多源异构数据时，仅仅依靠单个或者几个工具的能力去处理，往往造成用户画像波动，影响结果的准确性，同时出现用户画像波动时，查找原因较为困难。
本发明通过用户行为数据接引模块，实现海量多源异构的用户行为数据的接引，并对数据进行实时清洗，去除冗余数据，将接引数据存储到数据湖中。用户行为数据融合模块采用大数据治理技术获取数据湖中的用户行为元数据信息，并以此为核心构建用户行为数据标准及用户行为数据质量检核规则，以此提升数据湖中用户行为数据的标准化程度及数据质量，使得用户行为数据能够有机融合，并将元数据、数据标准、质量规则存入融合库中。用户行为数据建模分析模块创建用户行为标签模型并实现对用户行为数据打标签操作，采用机器学习中的聚类(无监督学习)技术实现对用户行为数据的标签聚类，形成不同类型的用户标签，并将标签信息存入用户标签库。最终用户画像产出模块根据用户标签库数据生成用户画像API接口，供第三方系统通过调用API接口查询用户画像信息。
本发明提供了基于大数据治理技术实现用户画像构建的系统及方法，核心在于通过大数据治理技术获取接引并存储于数据湖中的用户行为元数据信息，并以此为核心构建用户行为数据标准及用户行为数据质量检核规则，从而构建用户行为数据标准体系及闭环质量管理体系，提升用户行为数据的标准化程度及用户行为数据质量，降低用户画像波动，解决目前用户画像技术中标准不统一、质量管理薄弱的问题。同时通过用户行为元数据，实现用户画像数据问题的追溯定位，解决了目前用户画像技术中难以追溯造成用户画像波动原因的弊端。
本技术方案提供基于大数据治理技术实现用户画像构建的系统及方法，包括用户行为数据接引模块、用户行为数据融合模块、用户行为数据建模分析模块及用户画像产出模块，如图1所示。
下面详细描述“用户行为数据接引模块”、“用户行为数据融合模块”、“用户行为数据建模分析模块”及“用户画像产出模块”的构成和原理。
一、用户行为数据接引模块
在实际应用中，用户行为数据的来源多样，数据库不尽相同。用户行为数据接引模块拥有多源适配器，可实现对Oracle、MySQL、Sqlserver、DB2等数据库及国产数据库(达梦数据库、南大通用、人大金仓)的支持，并实现对用户行为数据的实时清洗、转换和加工，去除冗余数据，按照要求的数据格式将用户行为数据存储到数据湖中。
二、用户行为数据融合模块
由于用户行为数据来源不同，数据采用的标准不统一同时数据质量也存在各种问题，数据无法完全融合。
用户行为数据融合模块如图2所示，以元数据技术为核心，采集数据湖中用户行为元数据及用户行为数据采集、算法加工过程元数据，并将其存储至融合库中，同时以元数据为基础，参考相关标准规范制定用户行为数据标准，并通过用户行为数据融合模块实现用户行为数据标准与用户行为元数据的关联，然后在二者基础上制定用户行为数据质量规则，从而构建用户行为数据标准体系及闭环质量管理体系，提升数据湖中用户行为数据的标准化程度及用户行为数据质量，有效降低用户画像波动，解决目前用户画像技术中标准不统一、质量管理薄弱的问题。同时基于元数据技术，实现对用户行为数据采集及加工流转过程全链分析，当用户画像出现波动时，可通过全链分析清晰掌握用户画像数据从采集到算法加工全过程，实现问题定位。
1、采集用户行为元数据：采集数据湖中数据库信息，包括用户行为对象信息、用户行为日志信息的相关的表名、字段名、视图、关系、主键和外键等。
2、创建用户行为数据标准：根据用户行为元数据信息，参考相关标准，建立用户行为数据标准，标准纳入用户行为数据融合模块中管理，并将制定的标准与元数据关联，标准可参考以下模型创建：
3、在数据融合模块中，根据数据标准及元数据创建质量规则，质量规则定义了用户行为数据质量的检测范围、检测属性和检测规则，可设置任务执行质量规则，实现对用户行为数据质量的检测，并可将质量问题实时反馈给相关人员，及时发现用户行为数据质量问题，从而降低用户画像波动，保证了用户画像的准确性。
三、用户行为数据建模分析模块
用户行为数据建模分析模块如图3所示，创建用户行为标签模型，实现对用户行为数据的打标签操作，并将标签数值化(标签ID)，然后采用机器学习中的聚类(无监督学习)技术实现对用户行为数据标签聚类，形成不同类型的用户标签，并将标签信息存入用户标签库。
首先，从数据湖选择要建立用户画像的数据，并根据这些数据的信息建立用户行为标签表，用户行为标签表结构如下所示：
| 序号 | 标签名 | 标签解释 |
| 1 | 标签ID | 标签的唯一标识 |
| 2 | 用户ID | 用户的唯一标识 |
| 3 | 标签名称 | 标签名称 |
| 4 | 用户行为次数 | 用户当日与该标签相关行为次数 |
| 5 | 用户行为类型 | 用户通过哪些行为带来的标签 |
| 6 | 标签类型 | 标签类型 |
| 7 | 日期 | 用户行为产生标签的日期 |
用户行为标签表创建代码如下(基于Hive工具)：
在进行用户画像预测(打标签)的过程中，需要建立一系列的临时表，分别存储用户行为对象信息、用户行为日志信息，并将用户行为产生的标签插入到用户行为表中，对于不同的类型的用户行为(如浏览、搜索、购买、评论，在实际应用场景中，用户行为不仅限于这三种，下面以浏览行为为例，其他行为实现方式一样)，需要分别从对应的表中获取相关数据。
假设用户行为对象为A，存储用户行为对象信息表为A_table，用户行为日志表为B_table，页面浏览表为C_table。
表A_table中存储了对象A的相关信息，如编码、名称、类型等，在实践中可能需要和其他表关联获取对象A的完整信息。
表B_table中存储了用户针对对象A的每一次浏览行为发生的时间、日期、页面url、用户id、设备id、ip地址等数据，在页面url中包含了对象A的编码信息，因此通过正则表达式可以匹配出用户浏览对象A时页面url所对应的对象A的ID，从而实现将用户操作行为存储到临时表中。
1、用户行为对象信息临时表创建代码如下：
2、建立临时表从日志数据中提取用户浏览信息，临时表创建代码如下：
其中正则表达式需要根据实际情况编写。
1、将用户浏览对象A产生的标签插入到用户行为标签表中，代码如下：
以上完成了用户行为标签表的创建工作。
最后使用聚类算法如K-means实现标签聚类，并将结果保存入库。
四、用户画像产出模块
最后，用户画像产出模块根据用户画像标签库中的用户画像数据生成API接口，供第三方系统通过调用查询用户画像信息。
下面以某手机电商平台为例，说明本发明在的具体实施方式。
该手机电商平台拥有2000万左右的网购用户，销售的各类手机1万余种。用户在平台上的行为包括浏览、搜索、购买、收藏等。在本案例中，可以获取的数据分为业务类数据和用户行为数据，业务类数据包含用户在电商平台的购买、收藏、物流等与业务有关数据；用户行为数据包含用户搜索手机信息、浏览页面、点击按钮、提交等通过操作产生的数据。该电商平台采用Oracle数据库。
在本实施案例中，将以浏览行为作为示例，其他行为实现方式一样。
一、通过用户行为数据接引模块将所需数据接引至数据湖
用户行为数据接引模块有多源适配器支持本例中的Oracle数据库，只需在用户行为接引模块中配置好该手机电商平台Oralce数据库数据源及目标数据库信息，即可完成数据接引。
接引到数据湖中的表包括：用户信息表、手机信息表、手机类目表、日志表等，具体的表信息如下(本实施案例作为示例，只填写部分数据内容)：
1、用户信息表(user_basic_info)
2、手机信息表(phone_base_basic_info)
3、手机类目表(phone_std_type_df)
4、WEB端日志表(beacon_phones_client_pv_log)
二、通过用户行为数据融合模块获取用户行为元数据，制定标准规范及质量检核规则
用户行为数据融合模块采集数据湖中用户行为元数据，并存储至融合库中，采集的元数据包括用户信息表、手机信息表、手机类目表、WEB端日志表的元数据信息，采集结果如下：
1、用户信息表(user_basic_info)
2、手机信息表(phone_base_basic_info)
| 字段 | 字段名 | 类型 | 备注 |
| phone_id | 手机ID | varchar2(50) | |
| phone_name | 手机名称 | varchar2(50) | |
| system | 操作系统类型 | varchar2(20) | |
| processor | 处理器类型 | varchar2(20) | |
| price | 价格 | number(5) | |
| list_date | 上市日期 | date |
3、手机类目表(phone_std_type_df)
| 字段 | 字段名 | 类型 | 备注 |
| phone_id | 手机ID | varchar2(50) | |
| phone_name | 手机名称 | varchar2(50) | |
| phone_type_tag | 手机类型编码 | varchar2(50) | |
| phone_type_name | 手机类型名称 | varchar2(50) | |
| create_time | 创建时间 | date | |
| modify_time | 更新时间 | date |
4、日志表(beacon_phones_client_pv_log)
| 字段 | 字段名 | 类型 | 备注 |
| login_id | 设备登录名 | varchar2(50) | |
| user_id | 用户ID | varchar2(50) | |
| session_id | 设备ID | varchar2(50) | |
| visit_time | 访问时间 | date | |
| province | 用户所在省份 | varchar2(50) | |
| city | 用户所在市 | varchar2(50) | |
| url | 页面访问链接 | varchar2(100) | |
| system1 | 操作系统 | number(1) |
在实际应用中，元数据的管理范围不仅仅是用户行为表，还包含用户行为数据的加工过程元数据、计算过程元数据等信息，从而通过元数据技术可以清晰的掌控用户画像数据加工全过程链路。
本例中以用户信息表(user_basic_info)中的性别(gender)字段为例，参考《中华人民共和国国家标准:人的性别代码(GB 2261-1980)》，可见获取的元数据中人的性别并不符合标准，因此根据国标建立用户行为数据标准，梳理的数据标准如下：
该标准制定完成后纳入用户行为融合模块统一管理，并和信息表(user_basic_info)中的性别(gender)元数据关联，然后结合性别元数据及其标准可建立数据质量检核规则，如下：
最终数据融合模块通过定时任务执行质量规则，实现对用户行为数据质量的检测，并将检核出来的质量问题通过预置的流程实时反馈给相关人员，从而建立起用户行为质量问题闭环的处理机制，降低用户画像波动，保证了用户画像的准确性。
三、通过用户行为数据建模分析模块开发用户行为标签，并进行数据标签聚类
1、创建用户行为标签表，创建代码如下(基于Hive工具)：
2、建立临时表获取手机及手机类型信息：
执行代码临时表中存储的手机信息如下：
2、建立临时表从日志数据中提取用户浏览手机信息，代码如下：
建立的临时表中存储的信息如下：
| user_id | visit_time | phone_id | cnt |
| u01021231 | 2019-03-08 11:11:00 | p02011231 | 1 |
| u01021231 | 2019-03-23 14:11:00 | p02011232 | 1 |
| u01021231 | 2019-04-18 10:00:00 | p02011233 | 1 |
| u01021232 | 2019-05-12 13:21:00 | p02011231 | 1 |
| u01021235 | 2019-01-08 11:14:12 | p02011234 | 1 |
| u01021236 | 2019-02-18 09:32:12 | p02011232 | 1 |
2、将用户浏览手机产生的标签插入到用户行为标签表中，代码如下：
以上完成了用户行为标签表的创建工作。
最终获得的用户行为标签表内容如下所示：
最后使用聚类算法K-means实现标签聚类，并将结果保存入库。
四、利用画像产出模块生产用户画像API
通过用户画像产出模块根据用户画像标签库中的用户画像数据生成API接口，供第三方系统通过调用查询用户画像信息。
采用了本发明的基于大数据治理技术实现用户画像构建处理的系统及其方法，提供了基于大数据治理技术实现用户画像构建的系统及方法，在用户画像构建之前引入了大数据治理技术，实现了用户行为数据标准体系及闭环质量管理体系的建立，从而提升用户行为数据的标准化程度及用户行为数据质量，降低用户画像波动，解决目前用户画像技术中标准不统一、质量管理薄弱的问题。另外，通过用户行为元数据技术，还能对用户画像数据问题进行追溯定位，解决了目前用户画像技术中难以追溯造成用户画像波动原因的弊端。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (12)
1.一种基于大数据治理技术实现用户画像构建处理的系统，其特征在于，所述的系统包括：
用户行为数据接引模块，用于接引用户行为数据，对数据进行实时清洗，去除冗余数据，并将接引数据存储到数据湖中；
用户行为数据融合模块，与所述的用户行为数据接引模块相连接，用于获取用户行为元数据信息，构建用户行为数据标准和用户行为数据质量检核规则，并将元数据、数据标准和质量规则存入融合库中；
用户行为数据建模分析模块，与所述的用户行为数据接引模块和用户行为数据融合模块相连接，用于创建用户行为标签模型，标签用户行为数据，并对用户行为数据的标签聚类和存储；
用户画像产出模块，与所述的用户行为数据建模分析模块相连接，用于根据用户标签库数据生成用户画像API接口。
2.根据权利要求1所述的基于大数据治理技术实现用户画像构建处理的系统，其特征在于，所述的用户行为数据融合模块包括：
采集元数据单元，与所述的用户行为数据接引模块相连接，用于采集数据湖中数据库信息；
创建标准单元，与所述的采集元数据单元相连接，用于根据用户行为元数据信息，参考相关标准，建立用户行为数据标准；
创建质量规则单元，与所述的创建标准单元相连接，用于定义用户行为数据质量的检测范围、检测属性和检测规则，并设置任务执行质量规则。
3.根据权利要求2所述的基于大数据治理技术实现用户画像构建处理的系统，其特征在于，所述的采集元数据单元采集的数据库信息包括用户行为对象信息、用户行为日志信息的相关的表名、字段名、视图、关系、主键和外键。
4.根据权利要求1所述的基于大数据治理技术实现用户画像构建处理的系统，其特征在于，所述的用户行为数据接引模块包括多源适配器。
5.根据权利要求1所述的基于大数据治理技术实现用户画像构建处理的系统，其特征在于，所述的用户行为数据建模分析模块包括：
标签建模单元，与所述的融合库相连接，用于根据用户画像的数据建立用户行为标签表；
画像预测单元，与所述的标签建模单元相连接，用于建立临时表，存储用户行为对象信息和用户行为日志信息，并将用户行为产生的标签插入到用户行为表中，分别从对应的表中获取不同的类型的用户行为数据；
标签聚类单元，与所述的画像预测单元相连接，用于通过聚类计算实现标签聚类，将结果保存入库。
6.根据权利要求1所述的基于大数据治理技术实现用户画像构建处理的系统，其特征在于，所述的用户行为数据接引模块接引至数据湖中的数据包括用户信息表、手机信息表、手机类目表和日志表。
7.根据权利要求1所述的基于大数据治理技术实现用户画像构建处理的系统，其特征在于，所述的用户行为数据融合模块采集的元数据包括用户信息表、手机信息表、手机类目表和WEB端日志表的元数据信息。
8.根据权利要求1所述的基于大数据治理技术实现用户画像构建处理的系统，其特征在于，所述的用户行为数据融合模块采集的元数据还包括用户行为数据的加工过程元数据以及计算过程元数据信息。
9.根据权利要求5所述的基于大数据治理技术实现用户画像构建处理的系统，其特征在于，所述的标签聚类单元通过K-means聚类算法计算并实现标签聚类。
10.一种利用权利要求1所述的系统实现基于大数据治理技术的用户画像构建处理的方法，其特征在于，所述的方法包括以下步骤：
(1)所述的用户行为数据接引模块接引用户行为数据，对数据进行实时清洗，去除冗余数据，并将接引数据存储到数据湖中；
(2)所述的用户行为数据融合模块获取用户行为元数据信息，构建用户行为数据标准和用户行为数据质量检核规则，并将元数据、数据标准和质量规则存入融合库中；
(3)所述的用户行为数据建模分析模块创建用户行为标签模型，标签用户行为数据，并对用户行为数据的标签聚类和存储；
(4)所述的用户画像产出模块根据用户标签库数据生成用户画像API接口。
11.根据权利要求10所述的实现基于大数据治理技术的用户画像构建处理的方法，其特征在于，所述的用户行为数据融合模块包括采集元数据单元、创建标准单元和创建质量规则单元，所述的步骤(2)具体包括以下步骤：
(2.1)所述的采集元数据单元采集数据湖中数据库信息；
(2.2)所述的创建标准单元根据用户行为元数据信息，参考相关标准，建立用户行为数据标准；
(2.3)所述的创建质量规则单元定义用户行为数据质量的检测范围、检测属性和检测规则，并设置任务执行质量规则。
12.根据权利要求10所述的实现基于大数据治理技术的用户画像构建处理的方法，其特征在于，所述的用户行为数据建模分析模块包括标签建模单元、画像预测单元和标签聚类单元，所述的步骤(3)具体包括以下步骤：
(3.1)所述的标签建模单元根据用户画像的数据建立用户行为标签表；
(3.2)所述的画像预测单元建立临时表，存储用户行为对象信息和用户行为日志信息，并将用户行为产生的标签插入到用户行为表中，分别从对应的表中获取不同的类型的用户行为数据；
(3.3)所述的标签聚类单元通过聚类计算实现标签聚类，将结果保存入库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910487607.XA CN110196849B (zh) | 2019-06-05 | 2019-06-05 | 基于大数据治理技术实现用户画像构建处理的系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910487607.XA CN110196849B (zh) | 2019-06-05 | 2019-06-05 | 基于大数据治理技术实现用户画像构建处理的系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110196849A true CN110196849A (zh) | 2019-09-03 |
| CN110196849B CN110196849B (zh) | 2023-04-18 |
Family
ID=67754067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910487607.XA Active CN110196849B (zh) | 2019-06-05 | 2019-06-05 | 基于大数据治理技术实现用户画像构建处理的系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110196849B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444368A (zh) * | 2020-03-25 | 2020-07-24 | 平安科技（深圳）有限公司 | 构建用户画像的方法、装置、计算机设备及存储介质 |
| CN113672818A (zh) * | 2020-05-13 | 2021-11-19 | 中南大学 | 一种获取社交媒体用户画像的方法及系统 |
| CN116226894A (zh) * | 2023-05-10 | 2023-06-06 | 杭州比智科技有限公司 | 一种基于元仓的数据安全治理系统及方法 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608171A (zh) * | 2015-12-22 | 2016-05-25 | 青岛海贝易通信息技术有限公司 | 用户画像构建方法 |
| CN105677710A (zh) * | 2015-12-28 | 2016-06-15 | 曙光信息产业(北京)有限公司 | 大数据的处理方法和系统 |
| CN105741134A (zh) * | 2016-01-26 | 2016-07-06 | 北京百分点信息科技有限公司 | 跨数据源的营销人群在市场营销中应用的方法及装置 |
| CN106373026A (zh) * | 2016-08-24 | 2017-02-01 | 国网冀北电力有限公司电力科学研究院 | 一种电力行业的用户画像构建方法 |
| CN106446045A (zh) * | 2016-08-31 | 2017-02-22 | 上海交通大学 | 基于对话交互的用户画像的构建方法及系统 |
| CN106504099A (zh) * | 2015-09-07 | 2017-03-15 | 国家计算机网络与信息安全管理中心 | 一种构建用户画像的系统 |
| CN106980663A (zh) * | 2017-03-21 | 2017-07-25 | 上海星红桉数据科技有限公司 | 基于海量跨屏行为数据的用户画像方法 |
| CN107016103A (zh) * | 2017-04-12 | 2017-08-04 | 北京焦点新干线信息技术有限公司 | 一种构建用户画像的方法及装置 |
| CN107229708A (zh) * | 2017-05-27 | 2017-10-03 | 科技谷（厦门）信息技术有限公司 | 一种个性化出行服务大数据应用系统及方法 |
| WO2017186106A1 (zh) * | 2016-04-29 | 2017-11-02 | 腾讯科技（深圳）有限公司 | 获取用户画像的方法及装置 |
| CN107341206A (zh) * | 2017-06-23 | 2017-11-10 | 南京甄视智能科技有限公司 | 基于多个数据源构建精准的用户画像系统及方法 |
| CN107633075A (zh) * | 2017-09-22 | 2018-01-26 | 吉林大学 | 一种多源异构数据融合平台及融合方法 |
| CN108021929A (zh) * | 2017-11-16 | 2018-05-11 | 华南理工大学 | 基于大数据的移动端电商用户画像建立与分析方法及系统 |
| CN108829721A (zh) * | 2018-05-08 | 2018-11-16 | 浪潮软件集团有限公司 | 一种基于数据模型的科技用户画像构建方法及系统 |
| CN109002490A (zh) * | 2018-06-26 | 2018-12-14 | 腾讯科技（深圳）有限公司 | 用户画像生成方法、装置、服务器及存储介质 |
| CN109213802A (zh) * | 2018-08-16 | 2019-01-15 | 北京百度网讯科技有限公司 | 用户画像构建方法、装置、终端和计算机可读存储介质 |
-
2019
- 2019-06-05 CN CN201910487607.XA patent/CN110196849B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504099A (zh) * | 2015-09-07 | 2017-03-15 | 国家计算机网络与信息安全管理中心 | 一种构建用户画像的系统 |
| CN105608171A (zh) * | 2015-12-22 | 2016-05-25 | 青岛海贝易通信息技术有限公司 | 用户画像构建方法 |
| CN105677710A (zh) * | 2015-12-28 | 2016-06-15 | 曙光信息产业(北京)有限公司 | 大数据的处理方法和系统 |
| CN105741134A (zh) * | 2016-01-26 | 2016-07-06 | 北京百分点信息科技有限公司 | 跨数据源的营销人群在市场营销中应用的方法及装置 |
| WO2017186106A1 (zh) * | 2016-04-29 | 2017-11-02 | 腾讯科技（深圳）有限公司 | 获取用户画像的方法及装置 |
| CN106373026A (zh) * | 2016-08-24 | 2017-02-01 | 国网冀北电力有限公司电力科学研究院 | 一种电力行业的用户画像构建方法 |
| CN106446045A (zh) * | 2016-08-31 | 2017-02-22 | 上海交通大学 | 基于对话交互的用户画像的构建方法及系统 |
| CN106980663A (zh) * | 2017-03-21 | 2017-07-25 | 上海星红桉数据科技有限公司 | 基于海量跨屏行为数据的用户画像方法 |
| CN107016103A (zh) * | 2017-04-12 | 2017-08-04 | 北京焦点新干线信息技术有限公司 | 一种构建用户画像的方法及装置 |
| CN107229708A (zh) * | 2017-05-27 | 2017-10-03 | 科技谷（厦门）信息技术有限公司 | 一种个性化出行服务大数据应用系统及方法 |
| CN107341206A (zh) * | 2017-06-23 | 2017-11-10 | 南京甄视智能科技有限公司 | 基于多个数据源构建精准的用户画像系统及方法 |
| CN107633075A (zh) * | 2017-09-22 | 2018-01-26 | 吉林大学 | 一种多源异构数据融合平台及融合方法 |
| CN108021929A (zh) * | 2017-11-16 | 2018-05-11 | 华南理工大学 | 基于大数据的移动端电商用户画像建立与分析方法及系统 |
| CN108829721A (zh) * | 2018-05-08 | 2018-11-16 | 浪潮软件集团有限公司 | 一种基于数据模型的科技用户画像构建方法及系统 |
| CN109002490A (zh) * | 2018-06-26 | 2018-12-14 | 腾讯科技（深圳）有限公司 | 用户画像生成方法、装置、服务器及存储介质 |
| CN109213802A (zh) * | 2018-08-16 | 2019-01-15 | 北京百度网讯科技有限公司 | 用户画像构建方法、装置、终端和计算机可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444368A (zh) * | 2020-03-25 | 2020-07-24 | 平安科技（深圳）有限公司 | 构建用户画像的方法、装置、计算机设备及存储介质 |
| CN111444368B (zh) * | 2020-03-25 | 2023-01-17 | 平安科技（深圳）有限公司 | 构建用户画像的方法、装置、计算机设备及存储介质 |
| CN113672818A (zh) * | 2020-05-13 | 2021-11-19 | 中南大学 | 一种获取社交媒体用户画像的方法及系统 |
| CN113672818B (zh) * | 2020-05-13 | 2023-11-14 | 中南大学 | 一种获取社交媒体用户画像的方法及系统 |
| CN116226894A (zh) * | 2023-05-10 | 2023-06-06 | 杭州比智科技有限公司 | 一种基于元仓的数据安全治理系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110196849B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444236B (zh) | 一种基于大数据的移动终端用户画像构建方法及系统 | |
| CN112579707A (zh) | 一种日志数据的知识图谱构建方法 | |
| CN108021929A (zh) | 基于大数据的移动端电商用户画像建立与分析方法及系统 | |
| CN111627552B (zh) | 一种医疗流式数据血缘关系分析、存储方法及装置 | |
| CN104361436B (zh) | 基于立体bom结构的工程变更信息传递装置及其方法 | |
| CN112116331B (zh) | 一种人才推荐方法及装置 | |
| CN107066512A (zh) | 一种基于Hadoop的用户偏好评估方法及系统 | |
| CN110196849B (zh) | 基于大数据治理技术实现用户画像构建处理的系统及其方法 | |
| US10924551B2 (en) | IRC-Infoid data standardization for use in a plurality of mobile applications | |
| CN107368521B (zh) | 一种基于大数据和深度学习的知识推介方法及系统 | |
| CN104850632A (zh) | 一种通用的基于异构信息网络的相似度计算方法与系统 | |
| CN107633093A (zh) | 一种供电决策知识图谱的构建及其查询方法 | |
| CN111931022A (zh) | Ai热点内容智能编辑系统 | |
| CN115309749A (zh) | 一种用于科技服务的大数据实验系统 | |
| CN114328980A (zh) | 结合rpa及ai的知识图谱构建方法、装置、终端及存储介质 | |
| CN117993772A (zh) | 一种基于知识图谱的众包数据采集方法、系统及电子设备 | |
| CN104794209A (zh) | 基于马尔科夫逻辑网络的中文微博情绪分类方法及系统 | |
| CN114218291A (zh) | 基于目标对象的画像生成方法、装置、设备及存储介质 | |
| Li et al. | Big data gathering and mining pipelines for CRM using open-source | |
| US20180150543A1 (en) | Unified multiversioned processing of derived data | |
| Li et al. | [Retracted] Design of Human Resource Management System Based on Deep Learning | |
| CN118035056A (zh) | 一种面向多模态数据查询的基准测试方法和测试框架 | |
| CN117312303A (zh) | 一种自动化的数据资产盘点方法、装置、电子设备及介质 | |
| CN113868322B (zh) | 一种语义结构解析方法、装置、设备及虚拟化系统、介质 | |
| Anand | ETL and its impact on Business Intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20241202 Address after: 200120, No. 26, Lane 36, Xuelin Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: Shanghai Puyuan Xinchuang Software Technology Co.,Ltd. Country or region after: China Address before: 4th floor, 456 Bibo Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Patentee before: PRIMETON INFORMATION TECHNOLOGY Co.,Ltd. Country or region before: China |