CN112487039B - 一种数据处理方法、装置、设备及可读存储介质 - Google Patents
一种数据处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112487039B CN112487039B CN202011488707.3A CN202011488707A CN112487039B CN 112487039 B CN112487039 B CN 112487039B CN 202011488707 A CN202011488707 A CN 202011488707A CN 112487039 B CN112487039 B CN 112487039B
- Authority
- CN
- China
- Prior art keywords
- data
- portrait
- database
- identification information
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000013499 data model Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Computational Linguistics (AREA)
- Accounting & Taxation (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、装置、设备及可读存储介质，该方法包括：接收包括目标用户的识别信息和预设数据模型的数据处理指令；按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；接收包括所述识别信的画像生成指令；从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像；本发明可以提高数据查询效率、更有效的形成用户画像。
Description
技术领域
本发明涉及数据分析技术领域，特别涉及一种数据处理方法、装置、设备及可读存储介质。
背景技术
在基于用户数据形成用户画像的过程中，需要根据用户画像的需求，在数据库中进行数据查询、数据分析、数据处理等操作；但是，用户数据量级较大、且涉及多维度数据，在形成用户画像过程中需要在数据库中进行统计筛选，频繁的从量级较大的数据库中筛选数据，响应较慢，影响用户体验。而且，每次切换查询条件时，都需要重新与数据库做交互，较为繁琐。
发明内容
本发明的目的在于提供一种数据处理方法、装置、设备及可读存储介质，可以提高数据查询效率、更有效的形成用户画像。
根据本发明的一个方面，提供了一种数据处理方法，所述方法包括：
接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型；
按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；
按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；
将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；
接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；
从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。
可选的，所述画像生成指令还包括：筛选维度和筛选范围；
所述基于所述画像数据集形成所述目标用户的可视化的用户画像，具体包括：
按照所述筛选维度从所述画像数据集中确定出对应展示维度的特征数据；
按照所述筛选范围从所述对应展示维度的特征数据中筛选出目标特征数据；
基于所述目标特征数据形成所述目标用户的可视化的用户画像。
可选的，所述按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据，具体包括：
根据所述数据模型中的基础数据获取规则，从所述原始数据库中获取与所述识别信息关联的原始数据，并对所述原始数据进行数据清洗以得到基础数据；
将所述基础数据存储到大数据数据库中。
可选的，所述按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据，具体包括：
针对每个展示维度，根据所述数据模型中对应的特征数据生成规则，从所述大数据数据库中获取用于生成所述展示维度的特征数据的基础数据；
根据所述基础数据，按照所述特征数据生成规则计算出所述特征数据；
将所述特征数据存储到所述大数据数据库中。
可选的，所述将所述画像数据集与所述识别信息关联后存储到缓存数据库中，具体包括：
将所述画像数据集与所述识别信息关联后分别存储到Redis数据库和Ehcache数据库中；
所述从所述缓存数据库中获取与所述识别信息关联的画像数据集，具体包括：
判断在所述Ehcache数据库中是否存在与所述识别信息关联的画像数据集；
若是，则从所述Ehcache数据库中获取与所述识别信息关联的画像数据集；
若否，则从所述Redis数据库中获取与所述识别信息关联的画像数据集。
可选的，所述方法还包括：
按照设定时间间隔，定期分别从所述Redis数据库和Ehcache数据库中获取与目标识别信息关联的目标画像数据集；
对比两个目标画像数据集中的数据是否一致，若不一致，则对不一致的数据进行标记，并向预设终端发送告警信息。
为了实现上述目的，本发明还提供一种数据处理装置，所述装置包括：
第一接收模块，用于接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型，且所述预设数据模块用于生成用户画像所需的数据；
获取模块，用于按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；
转化模块，用于按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；
存储模块，用于将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；
第二接收模块，用于接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；
处理模块，用于从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。
可选的，所述画像生成指令还包括：筛选维度和筛选范围；
所述处理模块，具体用于按照所述筛选维度从所述画像数据集中确定出对应展示维度的特征数据；按照所述筛选范围从所述对应展示维度的特征数据中筛选出目标特征数据；基于所述目标特征数据形成所述目标用户的可视化的用户画像。
为了实现上述目的，本发明还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的数据处理方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的数据处理方法的步骤。
本发明提供的数据处理方法、装置、设备及可读存储介质，预先从海量级别的原始数据库中获取用于构成用户画像的画像数据，以对数据降维，并将处理过的画像数据存储在缓存数据库中；当用户需要生成用户画像时，用户可直接基于缓存数据库生成用户画像，而不再需要从原始数据库中查询数据，接口响应速度提高，可以实现海量级别数据的毫秒级别的响应与展示，提高了数据查询效率，从而更有效的形成用户画像。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为实施例一提供的数据处理方法的一种可选的流程示意图；
图2为实施例二提供的数据处理装置的一种可选的组成结构示意图；
图3为实施例三提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种数据处理方法，如图1所示，该方法具体包括以下步骤：
步骤S101：接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型。
在本实施例中，预设数据模型用于计算出构建目标用户的用户画像所需的数据。
具体的，在步骤S101之前，所述方法还包括：
步骤A1：接收建模指令；其中，所述建模指令包括：用户画像的展示维度；
用户画像是由不同展示维度的特征数据构成的，在本实施例中，以保险行业为例，投保企业的用户画像包括以下展示维度：企业基础属性、企业全局特征、企业位置特征、企业投保规模特征和投保渠道特征。在每个展示维度的特征数据中包括多个特征数据项以及每个特征数据项的特征数据值。
步骤A2：设置基础数据获取规则；其中，所述基础数据获取规则用于从原始数据库中获取用于形成用户画像的基础数据；
基础数据是构成特征数据的最小单位数据，且基础数据是可以直接从原始数据库中获取到的。
步骤A3：分别为每个展示维度设置对应的特征数据生成规则；其中，所述特征数据生成规则用于根据基础数据生成对应展示维度的特征数据；
一个特征数据由一个或多个基础数据按照一定处理逻辑计算出得到，其中，处理逻辑包括：由求和、求差、求平均等运算逻辑组合而成。
步骤A4：根据所述基础数据获取规则和所述特征数据生成规则形成数据模型。
在本实施例中，事先根据形成用户画像所需的数据设置数据模型；其中，所述数据模块包括：基础数据获取规则和特征数据生成规则。
步骤S102：按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据。
具体的，步骤S102，包括：
步骤B1：根据所述数据模型中的基础数据获取规则，从所述原始数据库中获取与所述识别信息关联的原始数据，并对所述原始数据进行数据清洗以得到基础数据；
优选的，所述对所述原始数据进行数据清洗包括：删除空值数据和重复数据。
步骤B2：将所述基础数据存储到大数据数据库中。
在本实施例中设置大数据数据库，通过大数据数据库存储数据处理的中间结果数据。
优选的，在实际应用中，采用ETL方式对客户有关投保数据做数据抽取，并将抽取到的投保数据存储到大数据数据库中。此外，通过对从原始数据库中抽取的原始数据进行加工清洗，以清除噪声数据，从而提高分析结果的可用性。
步骤S103：按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据。
具体的，步骤S103，包括：
步骤C1：针对每个展示维度，根据所述数据模型中对应的特征数据生成规则，从所述大数据数据库中获取用于生成所述展示维度的特征数据的基础数据；
步骤C2：根据所述基础数据，按照所述特征数据生成规则计算出所述特征数据；
步骤C3：将所述特征数据存储到所述大数据数据库中。
在本实施例中，以保险行业为例，针对一个展示维度，根据与所述展示维度对应的特征数据生成规则从所述大数据数据库中获取对应的基础数据，并根据所述基础数据形成保险明细数据；将属于同一保单的保险明细数据形成保单数据；按照保险种类，对所有保单数据进行分类，以形成多个险种汇总数据；基于所述保险明细数据、保单数据、险种汇总数据，按照所述特征数据生成规则计算出所述展示维度的特征数据。
普通数据库对于用户画像这种海量数据无法分析、或需要消耗数据库大量资源以统计分析数据；在本实施例中，先从原始数据库中抽取出用户画像所需的基础数据，从数据级上做了降维处理；同时基于大数据查询工具统计数据，并采用分层处理原则，依次生成保险明细层、保单层、险种汇总层、特征层的用户画像数据。
步骤S104：将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中。
具体的，步骤S104，包括：
将所述画像数据集与所述识别信息关联后分别存储到Redis数据库和Ehcache数据库中。
进一步的，所述从所述缓存数据库中获取与所述识别信息关联的画像数据集，具体包括：
判断在所述Ehcache数据库中是否存在与所述识别信息关联的画像数据集；
若是，则从所述Ehcache数据库中获取与所述识别信息关联的画像数据集；
若否，则从所述Redis数据库中获取与所述识别信息关联的画像数据集。
为了保证数据的高可用性，在本实施例中，引入Redis数据库和Ehcache数据库两部分作为缓存媒介；在后续步骤中优先使用Ehcache数据库中的数据，省去了网络方面的握手耗时；当Ehcache数据库中的数据不准确、或出现故障时再从Redis数据库中查询数据，从而来应对特殊情况下某种缓存数据库性能出现的问题。
更进一步的，所述方法还包括：
步骤D1：按照第一设定时间间隔，定期分别从所述Redis数据库和Ehcache数据库中获取与目标识别信息关联的目标画像数据集；
步骤D2：对比两个目标画像数据集中的数据是否一致，若不一致，则对不一致的数据进行标记，并向预设终端发送告警信息。
步骤S105：接收画像生成指令；其中，所述画像生成指令包括：所述识别信息。
步骤S106：从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。
具体的，所述画像生成指令还包括：筛选维度和筛选范围；
进一步的，所述基于所述画像数据集形成所述目标用户的可视化的用户画像，具体包括：
步骤E1：按照所述筛选维度从所述画像数据集中确定出对应展示维度的特征数据；
步骤E2：按照所述筛选范围从所述对应展示维度的特征数据中筛选出目标特征数据；
以保险行业为例，当与所述筛选维度对应的展示维度为企业位置特征时，企业位置特征包括多个可选项，例如：北京、上海、广州、深圳、成都、重庆、西安；其中，若筛选范围为：北京、上海、深圳，则只从展示维度为企业位置特征的特征数据中获取北京、上海、深圳三地的目标特征数据。
步骤E3：基于所述目标特征数据形成所述目标用户的可视化的用户画像。
在本实施例中，在缓存数据库中包含了用于形成用户画像的所有特征数据，但有些展示维度的特征数据是可筛选的，用户在形成用户画像时，会根据需要对特征数据进行筛选，由于事先已将所有特征数据存储到了缓存数据库中，所以可以直接从缓存数据库中进行查询，而不需要再请求原始数据库，从而减少了原始数据库的查询压力，也提高了数据查询效率。
更进一步的，所述方法还包括：
按照第二设定时间间隔，定期将在所述大数据数据库中生成的特征数据同步到所述Redis数据库和Ehcache数据库中。
在本实施例中，通过预先对画像数据进行处理，以对数据降维，并将处理过的数据存储在缓存数据库中，用户可直接基于缓存数据库生成用户画像，接口响应速度提高，从原来的2.5秒缩减至0.3秒，可以实现海量级别数据的毫秒级别的响应与展示，提高了数据查询效率，从而更有效的形成用户画像。
实施例二
本发明实施例提供了一种数据处理装置，如图2所示，该装置具体包括以下组成部分：
第一接收模块201，用于接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型，且所述预设数据模块用于生成用户画像所需的数据；
获取模块202，用于按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；
转化模块203，用于按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；
存储模块204，用于将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；
第二接收模块205，用于接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；
处理模块206，用于从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。
具体的，所述画像生成指令还包括：筛选维度和筛选范围
处理模块206，具体用于：
按照所述筛选维度从所述画像数据集中确定出对应展示维度的特征数据；按照所述筛选范围从所述对应展示维度的特征数据中筛选出目标特征数据；基于所述目标特征数据形成所述目标用户的可视化的用户画像。
进一步的，获取模块202，用于：
根据所述数据模型中的基础数据获取规则，从所述原始数据库中获取与所述识别信息关联的原始数据，并对所述原始数据进行数据清洗以得到基础数据；将所述基础数据存储到大数据数据库中。
进一步的，转化模块203，用于：
针对每个展示维度，根据所述数据模型中对应的特征数据生成规则，从所述大数据数据库中获取用于生成所述展示维度的特征数据的基础数据；根据所述基础数据，按照所述特征数据生成规则计算出所述特征数据；将所述特征数据存储到所述大数据数据库中。
进一步的，存储模块204，用于：
将所述画像数据集与所述识别信息关联后分别存储到Redis数据库和Ehcache数据库中。
进一步的，处理模块206，还用于：
判断在所述Ehcache数据库中是否存在与所述识别信息关联的画像数据集；若是，则从所述Ehcache数据库中获取与所述识别信息关联的画像数据集；若否，则从所述Redis数据库中获取与所述识别信息关联的画像数据集。
更进一步的，所述方法还包括：
告警模块，用于按照设定时间间隔，定期分别从所述Redis数据库和Ehcache数据库中获取与目标识别信息关联的目标画像数据集；对比两个目标画像数据集中的数据是否一致，若不一致，则对不一致的数据进行标记，并向预设终端发送告警信息。
实施例三
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图3所示，本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器301、处理器302。需要指出的是，图3仅示出了具有组件301-302的计算机设备30，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器301(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器301可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器301也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器301还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。在本实施例中，存储器301通常用于存储安装于计算机设备30的操作系统和各类应用软件。此外，存储器301还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器302在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器302通常用于控制计算机设备30的总体操作。
具体的，在本实施例中，处理器302用于执行存储器301中存储的数据处理方法的程序，所述数据处理方法的程序被执行时实现如下步骤：
接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型；
按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；
按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；
将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；
接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；
从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型；
按照所述预设数据模型，从原始数据库中获取与所述识别信息关联的基础数据；
按照所述预设数据模型，将所述基础数据转化为用于构成所述目标用户的用户画像的不同展示维度的特征数据；
将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；
接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；
从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种数据处理方法，其特征在于，所述方法包括：
接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型；
根据所述预设数据模型中的基础数据获取规则，从原始数据库中获取与所述识别信息关联的原始数据，并对所述原始数据进行数据清洗以得到基础数据；
将所述基础数据存储到大数据数据库中；
针对每个展示维度，根据所述预设数据模型中对应的特征数据生成规则，从所述大数据数据库中获取用于生成所述展示维度的特征数据的基础数据；
根据所述基础数据，按照所述特征数据生成规则计算出用于构成所述目标用户的用户画像的不同展示维度的特征数据；
将所述特征数据存储到所述大数据数据库中；
将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；
接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；
从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。
2.根据权利要求1所述的数据处理方法，其特征在于，所述画像生成指令还包括：筛选维度和筛选范围；
所述基于所述画像数据集形成所述目标用户的可视化的用户画像，具体包括：
按照所述筛选维度从所述画像数据集中确定出对应展示维度的特征数据；
按照所述筛选范围从所述对应展示维度的特征数据中筛选出目标特征数据；
基于所述目标特征数据形成所述目标用户的可视化的用户画像。
3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述画像数据集与所述识别信息关联后存储到缓存数据库中，具体包括：
将所述画像数据集与所述识别信息关联后分别存储到Redis数据库和Ehcache数据库中；
所述从所述缓存数据库中获取与所述识别信息关联的画像数据集，具体包括：
判断在所述Ehcache数据库中是否存在与所述识别信息关联的画像数据集；
若是，则从所述Ehcache数据库中获取与所述识别信息关联的画像数据集；
若否，则从所述Redis数据库中获取与所述识别信息关联的画像数据集。
4.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：
按照设定时间间隔，定期分别从所述Redis数据库和Ehcache数据库中获取与目标识别信息关联的目标画像数据集；
对比两个目标画像数据集中的数据是否一致，若不一致，则对不一致的数据进行标记，并向预设终端发送告警信息。
5.一种数据处理装置，其特征在于，所述装置包括：
第一接收模块，用于接收数据处理指令；其中，所述数据处理指令包括：目标用户的识别信息和预设数据模型，且所述预设数据模型用于生成用户画像所需的数据；
获取模块，用于根据所述预设数据模型中的基础数据获取规则，从原始数据库中获取与所述识别信息关联的原始数据，并对所述原始数据进行数据清洗以得到基础数据；将所述基础数据存储到大数据数据库中；
转化模块，用于针对每个展示维度，根据所述预设数据模型中对应的特征数据生成规则，从所述大数据数据库中获取用于生成所述展示维度的特征数据的基础数据；根据所述基础数据，按照所述特征数据生成规则计算出用于构成所述目标用户的用户画像的不同展示维度的特征数据；将所述特征数据存储到所述大数据数据库中；
存储模块，用于将所述不同展示维度的特征数据形成画像数据集，并将所述画像数据集与所述识别信息关联后存储到缓存数据库中；
第二接收模块，用于接收画像生成指令；其中，所述画像生成指令包括：所述识别信息；
处理模块，用于从所述缓存数据库中获取与所述识别信息关联的画像数据集，并基于所述画像数据集形成所述目标用户的可视化的用户画像。
6.根据权利要求5所述的数据处理装置，其特征在于，所述画像生成指令还包括：筛选维度和筛选范围；
所述处理模块，具体用于按照所述筛选维度从所述画像数据集中确定出对应展示维度的特征数据；按照所述筛选范围从所述对应展示维度的特征数据中筛选出目标特征数据；基于所述目标特征数据形成所述目标用户的可视化的用户画像。
7.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011488707.3A CN112487039B (zh) | 2020-12-16 | 2020-12-16 | 一种数据处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011488707.3A CN112487039B (zh) | 2020-12-16 | 2020-12-16 | 一种数据处理方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112487039A CN112487039A (zh) | 2021-03-12 |
| CN112487039B true CN112487039B (zh) | 2024-04-30 |
Family
ID=74917360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011488707.3A Active CN112487039B (zh) | 2020-12-16 | 2020-12-16 | 一种数据处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112487039B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114756938A (zh) * | 2022-04-21 | 2022-07-15 | 广联达科技股份有限公司 | 一种数据处理方法、装置、设备及可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107624187A (zh) * | 2015-05-18 | 2018-01-23 | S·阿卡拉威特塔亚普姆 | 用于创建链接到交互式数字地图上的位置的用户管理在线页面（MAPpage）的系统和方法 |
| CN109684330A (zh) * | 2018-12-17 | 2019-04-26 | 深圳市华云中盛科技有限公司 | 用户画像库构建方法、装置、计算机设备及存储介质 |
| CN109871415A (zh) * | 2019-01-21 | 2019-06-11 | 武汉光谷信息技术股份有限公司 | 一种基于图数据库的用户画像构建方法、系统及存储介质 |
| CN110110321A (zh) * | 2019-03-19 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 基于语音数据的产品推荐方法、装置、设备及存储介质 |
| CN110347823A (zh) * | 2019-06-06 | 2019-10-18 | 平安科技（深圳）有限公司 | 基于语音的用户分类方法、装置、计算机设备及存储介质 |
| CN111198988A (zh) * | 2019-12-25 | 2020-05-26 | 中国平安财产保险股份有限公司 | 业务推荐方法、训练方法、装置、计算机设备和存储介质 |
| CN111651668A (zh) * | 2020-05-06 | 2020-09-11 | 上海晶赞融宣科技有限公司 | 用户画像的标签生成方法及装置、存储介质、终端 |
| CN111861697A (zh) * | 2020-07-02 | 2020-10-30 | 北京睿知图远科技有限公司 | 一种基于贷款多头数据的用户画像生成方法及系统 |
-
2020
- 2020-12-16 CN CN202011488707.3A patent/CN112487039B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107624187A (zh) * | 2015-05-18 | 2018-01-23 | S·阿卡拉威特塔亚普姆 | 用于创建链接到交互式数字地图上的位置的用户管理在线页面（MAPpage）的系统和方法 |
| CN109684330A (zh) * | 2018-12-17 | 2019-04-26 | 深圳市华云中盛科技有限公司 | 用户画像库构建方法、装置、计算机设备及存储介质 |
| CN109871415A (zh) * | 2019-01-21 | 2019-06-11 | 武汉光谷信息技术股份有限公司 | 一种基于图数据库的用户画像构建方法、系统及存储介质 |
| CN110110321A (zh) * | 2019-03-19 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 基于语音数据的产品推荐方法、装置、设备及存储介质 |
| CN110347823A (zh) * | 2019-06-06 | 2019-10-18 | 平安科技（深圳）有限公司 | 基于语音的用户分类方法、装置、计算机设备及存储介质 |
| CN111198988A (zh) * | 2019-12-25 | 2020-05-26 | 中国平安财产保险股份有限公司 | 业务推荐方法、训练方法、装置、计算机设备和存储介质 |
| CN111651668A (zh) * | 2020-05-06 | 2020-09-11 | 上海晶赞融宣科技有限公司 | 用户画像的标签生成方法及装置、存储介质、终端 |
| CN111861697A (zh) * | 2020-07-02 | 2020-10-30 | 北京睿知图远科技有限公司 | 一种基于贷款多头数据的用户画像生成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112487039A (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109997126B (zh) | 事件驱动提取、变换、加载（etl）处理 | |
| CN109672888B (zh) | 图片压缩方法、设备及计算机可读存储介质 | |
| CN112052138A (zh) | 业务数据质量检测方法、装置、计算机设备及存储介质 | |
| CN111708771A (zh) | 数据查重方法、装置、设备及计算机存储介质 | |
| CN109933502B (zh) | 电子装置、用户操作记录的处理方法和存储介质 | |
| CN112416972A (zh) | 实时数据流处理方法、装置、设备、及可读存储介质 | |
| CN112115145A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
| CN111949550B (zh) | 自动生成测试数据的方法、装置、设备及存储介质 | |
| CN110781372A (zh) | 一种优化网站的方法、装置、计算机设备及存储介质 | |
| CN110784377A (zh) | 一种多云环境下的云监控数据统一管理的方法 | |
| CN112487039B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| CN112035551A (zh) | 时间序列数据转换方法、系统、计算机设备和存储介质 | |
| CN109522282B (zh) | 图片管理方法、装置、计算机装置及存储介质 | |
| CN111124470A (zh) | 基于云平台的程序包自动优化方法及装置 | |
| CN114610418A (zh) | 数字内容处理方法、装置、电子设备、存储介质及产品 | |
| CN113850065A (zh) | 报告生成方法、装置、计算机设备和存储介质 | |
| CN113656098A (zh) | 配置获取方法及系统 | |
| CN112528189B (zh) | 基于数据的组件封装方法、装置、计算机设备及存储介质 | |
| CN114969089A (zh) | 数据获得方法、装置、电子设备及存储介质 | |
| CN112950167A (zh) | 设计服务匹配方法、装置、设备及存储介质 | |
| CN114169306A (zh) | 一种生成电子回执单的方法、装置、设备及可读存储介质 | |
| CN114625743A (zh) | 一种人事主数据的数据更新方法、装置及电子设备 | |
| CN111610908B (zh) | 一种生成框架图的方法、计算机设备及可读存储介质 | |
| CN113836130A (zh) | 数据质量评估方法、装置、设备及存储介质 | |
| CN109977992B (zh) | 电子装置、批量注册行为的识别方法和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |