CN110737706A - 数据管理方法、装置、设备及计算机可读存储介质 - Google Patents

数据管理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110737706A
CN110737706A CN201910845596.8A CN201910845596A CN110737706A CN 110737706 A CN110737706 A CN 110737706A CN 201910845596 A CN201910845596 A CN 201910845596A CN 110737706 A CN110737706 A CN 110737706A
Authority
CN
China
Prior art keywords
data
user
target
label
data management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910845596.8A
Other languages
English (en)
Inventor
路一迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Urban Construction Technology Shenzhen Co Ltd
Original Assignee
Ping An Urban Construction Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Urban Construction Technology Shenzhen Co Ltd filed Critical Ping An Urban Construction Technology Shenzhen Co Ltd
Priority to CN201910845596.8A priority Critical patent/CN110737706A/zh
Publication of CN110737706A publication Critical patent/CN110737706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0203Market surveys; Market polls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据分析技术领域,提供一种数据管理方法、装置、设备及计算机可读存储介质,该方法包括:接收数据管理请求,根据数据管理请求获取目标数据源和用户数据管理规则;从目标数据源采集用户原始数据,根据用户数据管理规则中的目标数据属性从用户原始数据中获取第一目标用户数据;对第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据;基于用户存储数据和用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。本发明通过对分散的多数据源和多属性的数据进行整合标注,形成标签数据库,可实现用户数据的细化管理,有利于提高后续信息推荐的准确性。

Description

数据管理方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及数据分析技术领域,尤其涉及一种数据管理方法、装置、设备及计算机可读存储介质。
背景技术
随着大数据时代的到来,根源于大数据技术支撑的现代技术——网络精准营销已越发盛行。网络精准营销就是通过现代信息技术手段,搜集采样并分析用户的网络行为数据,计算出目标用户潜存的消费走向,并将广告信息精准投放的一种营销方式。目前,主要是通过用户画像来进行营销,用户画像,即用户信息标签化,就是企业通过收集与分析消费者社会属性、生活习惯、消费行为等主要信息的数据之后,完美地抽象出一个用户的商业全貌。精准的用户画像可以为企业提供了足够的信息基础,能够帮助企业快速找到精准用户群体以及用户需求等更为广泛的反馈信息。然而,目前主要是单一的针对静态属性数据或动态行为数据生成标签,且数据来源单一,从而导致用户标签单一化,进而导致后续基于用户标签进行信息推荐时,准确性较差。
发明内容
本发明的主要目的在于提供一种数据管理方法、装置、设备及计算机可读存储介质,旨在实现用户数据的细化管理,从而提高后续信息推荐的准确性。
为实现上述目的,本发明提供一种数据管理方法,所述数据管理方法包括:
在接收到数据管理请求时,根据所述数据管理请求获取目标数据源和用户数据管理规则;
从所述目标数据源采集用户原始数据,并根据所述用户数据管理规则中的目标数据属性从所述用户原始数据中获取第一目标用户数据;
对所述第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据;
基于所述用户存储数据和所述用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。
可选地,所述基于所述用户存储数据和所述用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库的步骤包括:
根据所述用户数据管理规则中的标签标注规则确定标签属性和标签计算规则,并根据所述标签属性从所述用户存储数据中获取第二目标用户数据;
根据所述标签计算规则对所述第二目标用户数据进行聚合,得到目标标注用户,并对所述目标标注用户进行标签标注;
根据标签标注结果和所述用户存储数据构建标签数据库。
可选地,所述对所述第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据的步骤包括:
对所述第一目标用户数据进行格式转换,得到框表格式的第一目标用户数据;
获取所述框表格式的第一目标用户数据中的各条数据的数据源ID;
基于所述数据源ID和预设ID信息关联表,对所述框表格式的第一目标用户数据中来源于多个数据源的同一用户的数据进行整合,得到整合后的数据,记为用户存储数据。
可选地,所述数据管理方法还包括:
在接收到查询终端发送的数据查询请求时,确定所述数据查询请求的请求类型;
基于所述请求类型调用所述标签数据库的对应接口,以提供对应的数据查询服务。
可选地,所述基于所述请求类型调用所述标签数据库的对应接口,以提供对应的数据查询服务的步骤包括:
若所述请求类型为标签查询,则根据所述数据查询请求获取目标用户ID,并检测所述目标用户ID的类型是否为预设索引ID类型;
若所述目标用户ID的类型为预设索引ID类型,则调用所述标签数据库的标签查询接口,根据所述目标用户ID从所述标签数据库中获取对应的用户标签,并发送至所述查询终端;
若所述目标用户ID的类型不为预设索引ID类型,则根据所述预设ID信息关联表对所述目标用户ID进行转换,得到预设索引ID类型的用户ID,记为第一用户ID;
调用所述标签数据库的标签查询接口,根据所述第一用户ID从所述标签数据库中获取对应的用户标签,并发送至所述查询终端。
可选地,所述基于所述请求类型调用所述标签数据库的对应接口,以提供对应的数据查询服务的步骤还包括:
若所述请求类型为用户查询,则根据所述数据查询请求获取目标标签信息,所述目标标签信息包括目标标签和标签逻辑运算规则;
调用所述标签数据库的用户查询接口,从所述标签数据库中获取与所述目标标签对应的第二用户ID及其用户标签;
基于所述标签逻辑运算规则对所述第二用户ID及其用户标签进行逻辑运算,得到目标查询用户ID,并将所述目标查询用户ID发送至所述查询终端。
可选地,所述确定所述数据查询请求的请求类型的步骤之前,所述数据管理方法还包括:
根据所述数据查询请求获取查询账户,并检测所述查询账户是否具有查询权限;
若所述查询账户具有查询权限,则执行步骤:确定所述数据查询请求的请求类型;
若所述查询账户不具有查询权限,则生成对应的提示信息,并返回至所述查询终端。
此外,为实现上述目的,本发明还提供一种数据管理装置,所述数据管理装置包括:
第一获取模块,用于在接收到数据管理请求时,根据所述数据管理请求获取目标数据源和用户数据管理规则;
第二获取模块,用于从所述目标数据源采集用户原始数据,并根据所述用户数据管理规则中的目标数据属性从所述用户原始数据中获取第一目标用户数据;
数据整合模块,用于对所述第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据;
标签标注模块,用于基于所述用户存储数据和所述用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。
此外,为实现上述目的,本发明还提供一种数据管理设备,所述数据管理设备包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的数据管理程序,其中所述数据管理程序被所述处理器执行时,实现如上所述的数据管理方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据管理程序,其中所述数据管理程序被处理器执行时,实现如上所述的数据管理方法的步骤。
本发明提供一种数据管理方法、装置、设备及计算机可读存储介质,在接收到数据管理请求时,根据该数据管理请求获取目标数据源和用户数据管理规则;从目标数据源采集用户原始数据,然后根据用户数据管理规则中的目标数据属性从用户原始数据中获取第一目标用户数据;对第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据;基于用户存储数据和用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。通过上述方式,本发明可对分散的多数据源的数据进行整合,将同一用户的数据整合关联在一起,并基于标签标注规则进行标签标注,以构建标签库,实现了用户数据的细化管理,可用于后续的数据分析、查询和信息推荐等,达到精细化的运营支持,同时,本发明通过对用户的多数据源的数据和多属性的数据进行整合,标签标注的准确性更高,有利于提高后续信息推荐的准确性。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明数据管理方法第一实施例的流程示意图;
图3为本发明数据管理方法第二实施例的流程示意图;
图4为本发明数据管理装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例涉及的数据管理设备可以是PC(personal computer,个人计算机)、笔记本电脑、服务器等具有显示和处理功能的终端设备。
如图1所示,该数据管理设备可以包括:处理器1001,例如CPU(CentralProcessing Unit,中央处理器),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真Wireless-Fidelity,Wi-Fi接口);存储器1005可以是高速随机存取存储器(random accessmemory,RAM),也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解,图1中示出的数据管理设备结构并不构成对数据管理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及数据管理程序。在图1中,网络通信模块可用于连接服务器,与服务器进行数据通信;而处理器1001可以用于调用存储器1005中存储的数据管理程序,并执行本发明实施例提供的数据管理方法。
基于上述硬件结构,提出本发明数据管理方法的各个实施例。
本发明提供一种数据管理方法。
请参照图2,图2为本发明数据管理方法第一实施例的流程示意图。
在本实施例中,该数据管理方法包括:
步骤S10,在接收到数据管理请求时,根据所述数据管理请求获取目标数据源和用户数据管理规则;
在本实施例中,该数据管理方法由数据管理设备实现,该数据管理设备可以是PC、笔记本电脑、服务器等设备,该数据管理设备以服务器为例进行说明。
在本实施例中,服务器在接收到数据管理请求时,根据该数据管理请求获取目标数据源和用户数据管理规则。其中,目标数据源可以包括行为日志、业务数据、营销数据和外部对接数据等数据源。其中,行为日志为埋点行为日志或nginx(nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件代理服务器)日志数据,包括Web/H5(Web页面/移动端页面)、APP(Application,应用程序)埋点日志数据等,还可根据需求提取相应pageid(页面编号)和事件id(编号)的记录;业务数据为来源于业务系统的数据,如新房业务数据和其他业务线数据,包括各业务线的流程数据、各业务线中与人的基础属性或业务行为相关的字段数据等;营销数据为营销活动的数据,包括客户对营销活动的行为反馈,和客户在活动中反馈的意向和属性信息;外部对接数据为从外部系统接入或购买的数据,如房贷数据、征信数据等。用户数据管理规则包括目标数据属性和标签标注规则,其中,目标数据属性可以包括静态属性和动态属性两大类,具体的,静态属性可以包括固有属性(如性别、年龄、籍贯等)和特征属性(如兴趣、爱好、财务、健康、信用等),动态属性可以包括A行为、B行为等行为属性,其中,A行为、B行为可以根据工作人员的需要进行设定,如可设置为访问A网页中的商品A,或购买物品B等行为;标签标注规则包括标签属性和标签计算规则,标签属性即为需标注的标签所属的属性,对应的,与目标数据属性的类型相同,标签计算规则即规定了属性的计算及其与标签之间的标注规则,例如,规定性别属性为男时,设定标签为性别-男。当然,为方便管理和查询,还可以对设定标签ID,建立标签ID与具体标签之间的映射关系,如设定标签“1”对应标签“性别-男”,标签“2”对应标签“性别-女”。
步骤S20,从所述目标数据源采集用户原始数据,并根据所述用户数据管理规则中的目标数据属性从所述用户原始数据中获取第一目标用户数据;
服务器在获取到目标数据源和用户数据管理规则之后,从目标数据源采集用户原始数据,然后根据用户数据管理规则中的目标数据属性从用户原始数据中获取第一目标用户数据。例如,目标数据属性为性别、年龄、籍贯、爱好和访问“商品详情页”中的商品A(记为行为A)时,则从用户原始数据中提取得到各条数据中的性别数据、年龄数据、籍贯数据、爱好数据和行为A的数据。
步骤S30,对所述第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据;
在获取到第一目标用户数据后,对第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据。
具体的,步骤S30包括:
步骤a1,对所述第一目标用户数据进行格式转换,得到框表格式的第一目标用户数据;
由于不同数据源的数据格式不统一,为便于数据的管理,方便后续获取信息,需对第一目标用户数据进行格式转换,由于框表格式有利于索引查询,故可转换成框表格式,以得到统一格式的用户数据,即框表格式的第一目标用户数据。需要说明的是,在格式转换的过程中,还可以创建多个框表来分别存储静态属性数据(包括固有属性和特征属性)和动态属性数据,以进行数据的分类整理,便于数据的管理。
步骤a2,获取所述框表格式的第一目标用户数据中的各条数据的数据源ID;
由于数据源的不同,数据源ID也可能不同,为对不同数据源的同一用户的数据进行整合,需先获取框表格式的第一目标用户数据中的各条数据的数据源ID。其中,数据源ID的类型可以包括UID(注册用户唯一标识)、phone(用户手机号)、device ID(设备ID,包括GUID(web和h5用户cookie的唯一标识)、IMEI(Android移动设备标识码)、IDFA(iOS移动设备标识码)和Open UDID(设备上第一个使用Open UDID方案的应用的唯一标识码))。
步骤a3,基于所述数据源ID和预设ID信息关联表,对所述框表格式的第一目标用户数据中来源于多个数据源的同一用户的数据进行整合,得到整合后的数据,记为用户存储数据。
然后,基于数据源ID和预设ID信息关联表,对框表格式的第一目标用户数据中来源于多个数据源的同一用户的数据进行整合,得到整合后的数据,记为用户存储数据。其中,该预设ID信息关联表中包括UID与其他类型的ID(如phone、device ID中的GUID、IMEI、IDFA和Open UDID)之间的对应关系,是预先建立的。
步骤S40,基于所述用户存储数据和所述用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。
在进行数据整合,得到用户存储数据之后,基于用户存储数据和用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。具体的,步骤S40包括:
步骤b1,根据所述用户数据管理规则中的标签标注规则确定标签属性和标签计算规则,并根据所述标签属性从所述用户存储数据中获取第二目标用户数据;
先根据用户数据管理规则中的标签标注规则确定标签属性和标签计算规则,然后根据标签属性从用户存储数据中获取第二目标用户数据。其中,标签计算规则包括静态属性的标签计算规则和动态行为的标签计算规则,其中,静态属性的标签计算规则是基于属性或特征的值进行属于、大于、小于、等于、优先级等规则的判断,动态行为的标签计算规则是基于对动态行为数据的聚合维度进行筛选后进行行为次数大于、小于、等于的判断。
例如,当设定的用户数据管理规则为:设定性别为男、女的标签分别为性别-男、性别-女,年龄为12岁至18岁(不包括18岁)、18-44岁、45-59岁、60岁以上(包括60岁)的标签分别为年龄-少年、年龄-青年、年龄-中年和年龄-老年,过去三天访问“商品详情页”中的商品A的行为标签为行为-A,则可确定对应的标签属性为性别、年龄和过去三天访问“商品详情页”中的商品A这一行为,对应的性别和年龄的标签计算规则为:性别=男,标签为性别-男;性别=女,标签为性别-女;12≤年龄<18,标签为年龄-少年;18≤年龄≤44,标签为年龄-青年;45≤年龄≤59,标签为年龄-中年;年龄≥60,标签为年龄-老年。对于行为A的标签计算规则为:先进行维度筛选:日期为过去三天,访问的页面为“商品详情页”,商品为“A”,然后进行行为次数判断:次数为大于2次,标签为行为-A。
需要说明的是,为方便管理和查询,还可以对设定标签ID,建立标签ID与具体标签之间的映射关系,如设定标签“1”对应标签“性别-男”,标签“2”对应标签“性别-女”。
步骤b2,根据所述标签计算规则对所述第二目标用户数据进行聚合,得到目标标注用户,并对所述目标标注用户进行标签标注;
然后,根据标签计算规则对第二目标用户数据进行聚合,具体的,在进行聚合时,对于固有属性数据和特征属性的聚合,主要是根据各属性下各类型的数量进行聚合,例如,对于性别,当多个数据源的性别类性均为男性,而较少数据源的性别类型为女性,则确定性别为男性;而对于动态属性数据的聚合,可根据设定的维度(包括时间、行为、对象等维度)进行聚合,例如上述例中,是对各数据源中满足3天内访问“商品详情页”中的商品A的这一行为A的次数进行聚合统计,进而判断行为A的次数是否大于设定次数(如上述例中的2次)。
在聚合完成后,会得到目标标注用户,然后对目标标注用户进行标签标注。
步骤b3,根据标签标注结果和所述用户存储数据构建标签数据库。
在标签标注完成后,根据标签标注结果和用户存储数据构建标签数据库。
本发明提供一种数据管理方法,在接收到数据管理请求时,根据该数据管理请求获取目标数据源和用户数据管理规则;从目标数据源采集用户原始数据,然后根据用户数据管理规则中的目标数据属性从用户原始数据中获取第一目标用户数据;对第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据;基于用户存储数据和用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。通过上述方式,本发明可对分散的多数据源的数据进行整合,将同一用户的数据整合关联在一起,并基于标签标注规则进行标签标注,以构建标签库,实现了用户数据的细化管理,可用于后续的数据分析、查询和信息推荐等,达到精细化的运营支持,同时,本发明通过对用户的多数据源的数据和多属性的数据进行整合,标签标注的准确性更高,有利于提高后续信息推荐的准确性。
进一步的,参照图3,图3为本发明数据管理方法第二实施例的流程示意图。
基于上述图2所示的第一实施例,在步骤S40之后,该数据管理方法还包括:
步骤S50,在接收到查询终端发送的数据查询请求时,确定所述数据查询请求的请求类型;
在本实施例中,在构建完标签数据库后,可基于该标签数据库针对不同的服务类型(如标签查询、用户查询),设定不同的接口,以提供不同的数据查询服务。具体的,服务器在接收到查询终端发送的数据查询请求时,确定数据查询请求的请求类型。
步骤S60,基于所述请求类型调用所述标签数据库的对应接口,以提供对应的数据查询服务。
在确定出请求类型后,基于该请求类型调用标签数据库的对应接口,以提供对应的数据查询服务。
作为其中一实施例,步骤S60可以包括:
步骤c1,若所述请求类型为标签查询,则根据所述数据查询请求获取目标用户ID,并检测所述目标用户ID的类型是否为预设索引ID类型;
在本实施例中,若请求类型为标签查询,则根据该数据查询请求获取目标用户ID,并检测该目标用户ID的类型是否为预设索引ID类型。其中,为方便索引,可以以其中一种类型的ID(如UID)为索引方式。
若所述目标用户ID的类型为预设索引ID类型,则执行步骤c21:调用所述标签数据库的标签查询接口,根据所述目标用户ID从所述标签数据库中获取对应的用户标签,并发送至所述查询终端;
若目标用户ID的类型为预设索引ID类型,则无需进行ID的类型转换,此时,则调用标签数据库的标签查询接口,根据该目标用户ID从标签数据库中获取对应的用户标签,并发送至查询终端;
若所述目标用户ID的类型不为预设索引ID类型,则执行步骤c22:根据所述预设ID信息关联表对所述目标用户ID进行转换,得到预设索引ID类型的用户ID,记为第一用户ID;
步骤c23,调用所述标签数据库的标签查询接口,根据所述第一用户ID从所述标签数据库中获取对应的用户标签,并发送至所述查询终端。
若所述目标用户ID的类型不为预设索引ID类型,则需先进行ID的类型转换,具体的,可根据预设ID信息关联表对目标用户ID进行转换,得到预设索引ID类型的用户ID,记为第一用户ID,其中,预设ID信息关联表中包括UID与其他类型的ID(如phone、device ID中的GUID、IMEI、IDFA和Open UDID)之间的对应关系。然后,调用标签数据库的标签查询接口,根据第一用户ID从标签数据库中获取对应的用户标签,并发送至查询终端。
作为另一实施例,步骤S60还可以包括:
步骤c3,若所述请求类型为用户查询,则根据所述数据查询请求获取目标标签信息,所述目标标签信息包括目标标签和标签逻辑运算规则;
在本实施例中,若请求类型为用户查询,则根据数据查询请求获取目标标签信息,该目标标签信息包括目标标签和标签逻辑运算规则。
步骤c4,调用所述标签数据库的用户查询接口,从所述标签数据库中获取与所述目标标签对应的第二用户ID及其用户标签;
步骤c5,基于所述标签逻辑运算规则对所述第二用户ID及其用户标签进行逻辑运算,得到目标查询用户ID,并将所述目标查询用户ID发送至所述查询终端。
在获取到目标标签和标签逻辑运算规则后,调用标签数据库的用户查询接口,从标签数据库中获取与目标标签对应的第二用户ID及其用户标签。然后,基于标签逻辑运算规则对第二用户ID及其用户标签进行逻辑运算,得到目标查询用户ID,并将目标查询用户ID发送至查询终端。
对于用户查询的具体查询过程,以下述两场景为例进行说明。例如,若要查询性别为男、年龄为18-44岁、且在3天内访问“商品详情页”中的商品A的次数大于2次的用户,则对应的目标标签为性别-男、年龄-中年、行为-A,标签逻辑计算规则为:性别-男,且年龄-中年,且行为-A,即进行逻辑且运算,得到三类标签用户的交集,即为目标查询用户。再例如,若要查询性别为男、年龄为18-44岁或40-60岁、且在3天内访问“商品详情页”中的商品A的次数大于2次的用户,则对应的目标标签为性别-男、年龄-中年、年龄-老年、行为-A,标签逻辑计算规则为:“性别-男,且年龄-中年,且行为-A”and“性别-男,且年龄-老年,且行为-A”,即先进行逻辑且运算,分别得到满足“性别-男,且年龄-中年,且行为-A”三类标签的用户(记为第一用户群集合)和满足“性别-男,且年龄-老年,且行为-A”三类标签的用户(记为第二用户群集合),然后取第一用户群集合和第二用户群集合的并集,即为目标查询用户。
本实施例中通过不同的接口形式为标签查询和用户查询等服务提供查询功能,以便于查询者基于该标签数据库进行数据查询。
进一步的,基于上述图3所示的第二实施例,提出本发明数据管理方法的第三实施例。
在本实施例中,在步骤“确定所述数据查询请求的请求类型”之前,该数据管理方法还包括:
根据所述数据查询请求获取查询账户,并检测所述查询账户是否具有查询权限;
若所述查询账户具有查询权限,则执行步骤:确定所述数据查询请求的请求类型;
若所述查询账户不具有查询权限,则生成对应的提示信息,并返回至所述查询终端。
在本实施例中,为保障数据的安全性,避免数据泄露,服务器在接收到查询终端发送的数据查询请求时,需先检测查询账户是否具有查询权限,在确认查询者身份的安全性之后,方可提供查询服务。具体的,服务器在接收到查询终端发送的数据查询请求时,先根据该数据查询请求获取查询账户,并检测查询账户是否具有查询权限。查询权限的检测方法可以为检测查询账户是否在预设查询权限名单中,若在,则说明有查询权限,若不在,则说明无查询权限。当然,在具体实施例中,还可以采用其他方式进行权限检查,例如,获取查询者的人脸信息,并与预设数据库中的人脸信息进行比对,若比对通过,则说明有查询权限;或显示对应的验证信息输入界面,要求查询者输入权限密码或验证码一类的验证信息,当检测到输入的验证信息正确时,则说明有查询权限。
若检测到查询账户具有查询权限,则确定该数据查询请求的请求类型,并执行后续步骤,具体的,可参照上述第二实施例,此处不作赘述。
若检测到查询账户不具有查询权限,则生成对应的提示信息,并将提示信息返回至查询终端,以提示查询者无查询权限,查询失败。
本实施例中通过检测查询者是否具有查询权限,拒绝非权限用户查询数据,可避免数据泄露,保障数据的安全性。
本发明还提供一种数据管理装置。
参照图4,图4为本发明数据管理装置第一实施例的功能模块示意图。
在本实施例中,所述数据管理装置包括:
第一获取模块10,用于在接收到数据管理请求时,根据所述数据管理请求获取目标数据源和用户数据管理规则;
第二获取模块20,用于从所述目标数据源采集用户原始数据,并根据所述用户数据管理规则中的目标数据属性从所述用户原始数据中获取第一目标用户数据;
数据整合模块30,用于对所述第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据;
标签标注模块40,用于基于所述用户存储数据和所述用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。
其中,上述数据管理装置的各虚拟功能模块存储于图1所示数据管理设备的存储器1005中,用于实现数据管理程序的所有功能;各模块被处理器1001执行时,可实现对分散的多数据源的用户数据进行细化管理的功能。
进一步的,所述标签标注模块40包括:
数据获取单元,用于根据所述用户数据管理规则中的标签标注规则确定标签属性和标签计算规则,并根据所述标签属性从所述用户存储数据中获取第二目标用户数据;
标签标注单元,用于根据所述标签计算规则对所述第二目标用户数据进行聚合,得到目标标注用户,并对所述目标标注用户进行标签标注;
数据库构建单元,用于根据标签标注结果和所述用户存储数据构建标签数据库。
进一步的,所述数据整合模块30包括:
格式转换单元,用于对所述第一目标用户数据进行格式转换,得到框表格式的第一目标用户数据;
ID获取单元,用于获取所述框表格式的第一目标用户数据中的各条数据的数据源ID;
数据整合单元,用于基于所述数据源ID和预设ID信息关联表,对所述框表格式的第一目标用户数据中来源于多个数据源的同一用户的数据进行整合,得到整合后的数据,记为用户存储数据。
进一步的,所述数据管理装置还包括:
类型确定模块,用于在接收到查询终端发送的数据查询请求时,确定所述数据查询请求的请求类型;
查询服务模块,用于基于所述请求类型调用所述标签数据库的对应接口,以提供对应的数据查询服务。
进一步的,所述查询服务模块包括:
第一检测单元,用于若所述请求类型为标签查询,则根据所述数据查询请求获取目标用户ID,并检测所述目标用户ID的类型是否为预设索引ID类型;
第一发送单元,用于若所述目标用户ID的类型为预设索引ID类型,则调用所述标签数据库的标签查询接口,根据所述目标用户ID从所述标签数据库中获取对应的用户标签,并发送至所述查询终端;
ID转换单元,用于若所述目标用户ID的类型不为预设索引ID类型,则根据所述预设ID信息关联表对所述目标用户ID进行转换,得到预设索引ID类型的用户ID,记为第一用户ID;
第二发送单元,用于调用所述标签数据库的标签查询接口,根据所述第一用户ID从所述标签数据库中获取对应的用户标签,并发送至所述查询终端。
进一步的,所述查询服务模块还包括:
第一获取单元,用于若所述请求类型为用户查询,则根据所述数据查询请求获取目标标签信息,所述目标标签信息包括目标标签和标签逻辑运算规则;
第二获取单元,用于调用所述标签数据库的用户查询接口,从所述标签数据库中获取与所述目标标签对应的第二用户ID及其用户标签;
第三发送单元,用于基于所述标签逻辑运算规则对所述第二用户ID及其用户标签进行逻辑运算,得到目标查询用户ID,并将所述目标查询用户ID发送至所述查询终端。
进一步的,所述查询服务模块还包括:
权限检测单元,用于根据所述数据查询请求获取查询账户,并检测所述查询账户是否具有查询权限;
所述类型确定单元,具体用于若所述查询账户具有查询权限,则执行步骤:确定所述数据查询请求的请求类型;
信息提示模块,用于若所述查询账户不具有查询权限,则生成对应的提示信息,并返回至所述查询终端。
其中,上述数据管理装置中各个模块的功能实现与上述数据管理方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质上存储有数据管理程序,所述数据管理程序被处理器执行时实现如以上任一项实施例所述的数据管理方法的步骤。
本发明计算机可读存储介质的具体实施例与上述数据管理方法各实施例基本相同,在此不作赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据管理方法,其特征在于,所述数据管理方法包括以下步骤:
在接收到数据管理请求时,根据所述数据管理请求获取目标数据源和用户数据管理规则;
从所述目标数据源采集用户原始数据,并根据所述用户数据管理规则中的目标数据属性从所述用户原始数据中获取第一目标用户数据;
对所述第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据;
基于所述用户存储数据和所述用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。
2.如权利要求1所述的数据管理方法,其特征在于,所述基于所述用户存储数据和所述用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库的步骤包括:
根据所述用户数据管理规则中的标签标注规则确定标签属性和标签计算规则,并根据所述标签属性从所述用户存储数据中获取第二目标用户数据;
根据所述标签计算规则对所述第二目标用户数据进行聚合,得到目标标注用户,并对所述目标标注用户进行标签标注;
根据标签标注结果和所述用户存储数据构建标签数据库。
3.如权利要求1所述的数据管理方法,其特征在于,所述对所述第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据的步骤包括:
对所述第一目标用户数据进行格式转换,得到框表格式的第一目标用户数据;
获取所述框表格式的第一目标用户数据中的各条数据的数据源ID;
基于所述数据源ID和预设ID信息关联表,对所述框表格式的第一目标用户数据中来源于多个数据源的同一用户的数据进行整合,得到整合后的数据,记为用户存储数据。
4.如权利要求3所述的数据管理方法,其特征在于,所述数据管理方法还包括:
在接收到查询终端发送的数据查询请求时,确定所述数据查询请求的请求类型;
基于所述请求类型调用所述标签数据库的对应接口,以提供对应的数据查询服务。
5.如权利要求4所述的数据管理方法,其特征在于,所述基于所述请求类型调用所述标签数据库的对应接口,以提供对应的数据查询服务的步骤包括:
若所述请求类型为标签查询,则根据所述数据查询请求获取目标用户ID,并检测所述目标用户ID的类型是否为预设索引ID类型;
若所述目标用户ID的类型为预设索引ID类型,则调用所述标签数据库的标签查询接口,根据所述目标用户ID从所述标签数据库中获取对应的用户标签,并发送至所述查询终端;
若所述目标用户ID的类型不为预设索引ID类型,则根据所述预设ID信息关联表对所述目标用户ID进行转换,得到预设索引ID类型的用户ID,记为第一用户ID;
调用所述标签数据库的标签查询接口,根据所述第一用户ID从所述标签数据库中获取对应的用户标签,并发送至所述查询终端。
6.如权利要求4所述的数据管理方法,其特征在于,所述基于所述请求类型调用所述标签数据库的对应接口,以提供对应的数据查询服务的步骤还包括:
若所述请求类型为用户查询,则根据所述数据查询请求获取目标标签信息,所述目标标签信息包括目标标签和标签逻辑运算规则;
调用所述标签数据库的用户查询接口,从所述标签数据库中获取与所述目标标签对应的第二用户ID及其用户标签;
基于所述标签逻辑运算规则对所述第二用户ID及其用户标签进行逻辑运算,得到目标查询用户ID,并将所述目标查询用户ID发送至所述查询终端。
7.如权利要求4所述的数据管理方法,其特征在于,所述确定所述数据查询请求的请求类型的步骤之前,所述数据管理方法还包括:
根据所述数据查询请求获取查询账户,并检测所述查询账户是否具有查询权限;
若所述查询账户具有查询权限,则执行步骤:确定所述数据查询请求的请求类型;
若所述查询账户不具有查询权限,则生成对应的提示信息,并返回至所述查询终端。
8.一种数据管理装置,其特征在于,所述数据管理装置包括:
第一获取模块,用于在接收到数据管理请求时,根据所述数据管理请求获取目标数据源和用户数据管理规则;
第二获取模块,用于从所述目标数据源采集用户原始数据,并根据所述用户数据管理规则中的目标数据属性从所述用户原始数据中获取第一目标用户数据;
数据整合模块,用于对所述第一目标用户数据进行格式转换,并对经格式转换后的第一目标用户数据进行数据整合,得到整合后的数据,记为用户存储数据;
标签标注模块,用于基于所述用户存储数据和所述用户数据管理规则中的标签标注规则对用户进行标签标注,以构建标签数据库。
9.一种数据管理设备,其特征在于,所述数据管理设备包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的数据管理程序,其中所述数据管理程序被所述处理器执行时,实现如权利要求1至7中任一项所述的数据管理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据管理程序,其中所述数据管理程序被处理器执行时,实现如权利要求1至7中任一项所述的数据管理方法的步骤。
CN201910845596.8A 2019-09-06 2019-09-06 数据管理方法、装置、设备及计算机可读存储介质 Pending CN110737706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910845596.8A CN110737706A (zh) 2019-09-06 2019-09-06 数据管理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845596.8A CN110737706A (zh) 2019-09-06 2019-09-06 数据管理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110737706A true CN110737706A (zh) 2020-01-31

Family

ID=69267522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845596.8A Pending CN110737706A (zh) 2019-09-06 2019-09-06 数据管理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110737706A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522854A (zh) * 2020-03-18 2020-08-11 大箴(杭州)科技有限公司 一种数据标注方法、装置、存储介质及计算机设备
CN111931504A (zh) * 2020-08-13 2020-11-13 北京深演智能科技股份有限公司 实体的标签的确定方法、装置、存储介质和处理器
CN112289454A (zh) * 2020-09-10 2021-01-29 上海柯林布瑞信息技术有限公司 临床数据的打标签方法及装置、存储介质、终端
CN113742375A (zh) * 2020-06-18 2021-12-03 北京沃东天骏信息技术有限公司 一种目标对象搜索方法和装置
CN113836136A (zh) * 2021-08-20 2021-12-24 南京博雅区块链研究院有限公司 防贫预警方法、装置、电子设备及存储介质
CN114327665A (zh) * 2020-09-28 2022-04-12 浙江大搜车软件技术有限公司 一种数据处理方法、装置及设备
CN115034830A (zh) * 2022-06-29 2022-09-09 腾云天宇科技(苏州)有限公司 数据处理的方法、装置、设备、存储介质和程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6484162B1 (en) * 1999-06-29 2002-11-19 International Business Machines Corporation Labeling and describing search queries for reuse
CN108009216A (zh) * 2017-11-17 2018-05-08 无锡雅座在线科技股份有限公司 目标对象的处理方法、装置和系统、存储介质、处理器
CN108268512A (zh) * 2016-12-30 2018-07-10 中国移动通信集团上海有限公司 一种标签查询方法及装置
CN109711874A (zh) * 2018-12-17 2019-05-03 平安科技(深圳)有限公司 用户画像生成方法、装置、计算机设备和存储介质
CN109872173A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 构建用户画像标签的方法、系统及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6484162B1 (en) * 1999-06-29 2002-11-19 International Business Machines Corporation Labeling and describing search queries for reuse
CN108268512A (zh) * 2016-12-30 2018-07-10 中国移动通信集团上海有限公司 一种标签查询方法及装置
CN108009216A (zh) * 2017-11-17 2018-05-08 无锡雅座在线科技股份有限公司 目标对象的处理方法、装置和系统、存储介质、处理器
CN109872173A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 构建用户画像标签的方法、系统及终端设备
CN109711874A (zh) * 2018-12-17 2019-05-03 平安科技(深圳)有限公司 用户画像生成方法、装置、计算机设备和存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522854A (zh) * 2020-03-18 2020-08-11 大箴(杭州)科技有限公司 一种数据标注方法、装置、存储介质及计算机设备
CN111522854B (zh) * 2020-03-18 2023-08-01 大箴(杭州)科技有限公司 一种数据标注方法、装置、存储介质及计算机设备
CN113742375A (zh) * 2020-06-18 2021-12-03 北京沃东天骏信息技术有限公司 一种目标对象搜索方法和装置
CN111931504A (zh) * 2020-08-13 2020-11-13 北京深演智能科技股份有限公司 实体的标签的确定方法、装置、存储介质和处理器
CN112289454A (zh) * 2020-09-10 2021-01-29 上海柯林布瑞信息技术有限公司 临床数据的打标签方法及装置、存储介质、终端
CN112289454B (zh) * 2020-09-10 2022-06-17 上海柯林布瑞信息技术有限公司 临床数据的打标签方法及装置、存储介质、终端
CN114327665A (zh) * 2020-09-28 2022-04-12 浙江大搜车软件技术有限公司 一种数据处理方法、装置及设备
CN113836136A (zh) * 2021-08-20 2021-12-24 南京博雅区块链研究院有限公司 防贫预警方法、装置、电子设备及存储介质
CN115034830A (zh) * 2022-06-29 2022-09-09 腾云天宇科技(苏州)有限公司 数据处理的方法、装置、设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
CN110737706A (zh) 数据管理方法、装置、设备及计算机可读存储介质
US20190138653A1 (en) Calculating relationship strength using an activity-based distributed graph
US9824321B2 (en) System and method for categorization of social media conversation for response management
US20140114822A1 (en) Method and system for creating tax configuration templates
WO2019024496A1 (zh) 企业推荐方法及应用服务器
US20140222800A1 (en) Personalization of news articles based on news sources
CN108243219B (zh) 信息推送的方法和装置
CN106021583B (zh) 页面流量数据的统计方法及其系统
US9578119B2 (en) Method, server, and client for pushing and displaying splash screen
US10002187B2 (en) Method and system for performing topic creation for social data
CN111459624B (zh) 资源数据的发放方法、装置及设备
CN113220657B (zh) 数据处理方法、装置及计算机设备
CN111311294A (zh) 数据处理方法、装置、介质及电子设备
CN112597147A (zh) 一种生成场景配置策略的方法、场景配置方法及其装置
CN111177481B (zh) 用户标识映射方法及装置
CN106384255B (zh) 一种创建信息码推广信息的方法和装置
US11238105B2 (en) Correlating user device attribute groups
US11514481B2 (en) Sales support marketing system
WO2014108920A2 (en) Data management system and tool
JP6702625B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US10824803B2 (en) System and method for logical identification of differences between spreadsheets
CN104750823B (zh) 推广情况数据的查询方法及装置
CN112346938B (zh) 操作审计方法、装置及服务器和计算机可读存储介质
CN110020166A (zh) 一种数据分析方法及相关设备
CN114154052A (zh) 信息推荐方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200131

WD01 Invention patent application deemed withdrawn after publication