CN112416488A - 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质 - Google Patents

一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112416488A
CN112416488A CN202011210947.7A CN202011210947A CN112416488A CN 112416488 A CN112416488 A CN 112416488A CN 202011210947 A CN202011210947 A CN 202011210947A CN 112416488 A CN112416488 A CN 112416488A
Authority
CN
China
Prior art keywords
crowd
data
calculation
portrait
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011210947.7A
Other languages
English (en)
Other versions
CN112416488B (zh
Inventor
凌霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yishi Huolala Technology Co Ltd
Original Assignee
Shenzhen Yishi Huolala Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yishi Huolala Technology Co Ltd filed Critical Shenzhen Yishi Huolala Technology Co Ltd
Priority to CN202011210947.7A priority Critical patent/CN112416488B/zh
Priority claimed from CN202011210947.7A external-priority patent/CN112416488B/zh
Publication of CN112416488A publication Critical patent/CN112416488A/zh
Application granted granted Critical
Publication of CN112416488B publication Critical patent/CN112416488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos

Abstract

本申请实施例公开了一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质，统一对接层和对接方式，并可视化配置各个系统参数的界面；通过可视化界面配置人群及标签组合，自定义人群计算时间/获取数据时间，并通过分布式定时任务框架将计算任务负载均衡到各个画像服务器；定时计算注册的人群，并将计算结果存储至画像元数据库。本发明旨在提供一种能支撑各种营销场景下的用户画像服务系统，让业务对接人员通过简单的技术对接与配置，安全而高效地完成特定系统对标签/人群数据的操作。

Description

一种用户画像实现的方法、装置、计算机设备及计算机可读存 储介质
技术领域
本申请实施例涉及数据处理的领域，尤其涉及一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着大数据技术的不断发展与进步，基于大数据的应用与服务也随之在各种场景下扩展。用户画像服务基于大数据平台为各业务方提供完整、快速的用户个体与群体精确描述与标签服务以支撑精准营销、产品迭代、用研、行研报告、BI/AI等多方需求。
1、业务系统产品与数据产品对接标签需求与口径；业务开发与画像/数据中台进行服务对接，业务开发使用长链接/API方式获取需要的数据；
2、ETL/数仓/算法工程师根据需求计算出离线的基础/统计/算法标签并存储于对应介质；
3、数据开发工程师按各对接系统需求进行标签的组合并在固定的时间圈选计算出人群存储于对应介质；
4、对应业务系统在标签/人群数据导入或计算完成之后根据对接方式获取数据至业务系统存储或处理使用；
5、手动将业务库数据与画像数据导出进行数据建模与效果回收。
上述方案的缺点在于：
1、画像对接的营销系统复杂多样，通常一种业务类型就需要开发一个或多个新的接口；
2、不同的系统之间权限管控粒度粗，不能细化到具体的标签/人群，在安全、性能、可视化方面性能差；
3、人群的计算无法依赖标签数据/父人群的计算结果，造成数据不准确问题；
4、人群的计算依靠与业务方技术/运营约定固定时间或者修改调度任务配置，灵活性差；
5、不同标签的具体量级缺乏快照，数仓数据准确性有问题时无法横向对比快速定位；
6、所有标签/人群数据链路基于Lambda架构，无法很好地使用实时人群/标签；
7、数据建模与效果回收依赖开发/数仓工程师沟通定位数据源。
发明内容
本申请实施例的目的是提供一种用户画像实现的方法、系统、计算机设备及计算机可读存储介质，旨在发明一种能支撑各种营销场景下的用户画像服务系统，让业务对接人员通过简单的技术对接与配置，安全而高效地完成特定系统对标签/人群数据的操作。
本申请实施例的一个方面提供了一种用户画像实现的方法，所述方法包括：
统一对接层和对接方式，并可视化配置各个系统参数的界面，所述系统参数包括：各个系统的token校验、标签或者人群的权限校验；
计算离线或实时的基础、统计或者算法标签，统一输入层并储存于画像元数据库；
通过可视化界面配置人群及标签组合，自定义人群计算时间/获取数据时间，并通过分布式定时任务框架将计算任务负载均衡到各个画像服务器；
定时计算注册的人群，并将计算结果存储至画像元数据库。
本申请实施例的一个方面提供了一种用户画像实现的装置，所述装置包括：
配置模块，用于统一对接层和对接方式，并可视化配置各个系统参数的界面，所述系统参数包括：各个系统的token校验、标签/人群的权限校验；
计算模块，用于计算离线或实时的基础、统计或者算法标签，统一输入层并储存于画像元数据库；
均衡模块，用于通过可视化界面配置人群及标签组合，自定义人群计算时间/获取数据时间，并通过分布式定时任务框架将计算任务负载均衡到各个画像服务器；
存储模块，用于定时计算注册的人群，并将计算结果存储至画像元数据库。
本申请实施例的一个方面又提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本申请实施例提供的一种用户画像实现的方法、系统、计算机设备及计算机可读存储介质，统一对接层和对接方式，并可视化配置各个系统参数的界面，所述系统参数包括：各个系统的token校验、标签或者人群的权限校验；计算离线或实时的基础、统计或者算法标签，统一输入层并储存于画像元数据库；通过可视化界面配置人群及标签组合，自定义人群计算时间/获取数据时间，并通过分布式定时任务框架将计算任务负载均衡到各个画像服务器；定时计算注册的人群，并将计算结果存储至画像元数据库。本发明旨在提供一种能支撑各种营销场景下的用户画像服务系统，让业务对接人员通过简单的技术对接与配置，安全而高效地完成特定系统对标签/人群数据的操作；系统对接的方式比较灵活，不需要根据特定场景再开发新的接口或者长链接，配合服务本身的安全/权限校验与限流功能，从而保证数据的安全性与服务的稳定性；通过多种框架实现离线/实时的人群计算，简单配置即可实现人群计算自定义时间与例行调用策略，保证了画像能支撑各种营销场景。
附图说明
图1示意性示出了根据本申请实施例的用户画像实现的方法的应用环境图；
图2示意性示出了根据本申请实施例一的用户画像实现的方法的流程图；
图3示意性示出了根据本申请实施例一的用户画像实现的示意图；
图4示意性示出了根据本申请实施例一的用户画像实现的示意图；
图5示意性示出了根据本申请实施例一的用户画像实现的方法的流程图；
图6示意性示出了根据本申请实施例三的用户画像实现的装置的框图；
图7示意性示出了根据本申请实施例四的适于实现用户画像实现的方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
图1示意性示出了根据本申请实施例的环境应用示意图。
图1示意性示出了根据本申请实施例的环境应用示意图。
服务器20通过网络9连接多个移动终端10。
服务器20可以由一个或多个计算设备实现。一个或多个计算设备可以包括虚拟化的计算实例。虚拟化的计算实例可以包括虚拟机，例如计算机系统，操作系统，服务器等的仿真。计算设备可以基于虚拟映像和/或定义用于仿真的特定软件(例如，操作系统，专用应用程序，服务器)的其他数据，由计算设备加载虚拟机。随着对不同类型的处理服务的需求改变，可以在一个或多个计算设备上加载和/或终止不同的虚拟机。可以实现管理程序来管理同一计算设备上不同虚拟机的使用。
多个移动终端10可以被配置为访问服务器20的内容和服务。多个移动终端10可以包括任何类型的电子设备，诸如移动设备、平板设备、膝上型计算机、工作站、虚拟现实设备，游戏设备、机顶盒、数字流媒体设备、车辆终端、智能电视、机顶盒等。
多个移动终端10可以与一个或多个用户相关联。单个用户可以使用多个移动终端10中的一个或多个来访问服务器20。多个移动终端10可以旅行到各种位置并使用不同的网络来访问服务器20。
网络9包括各种网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥，中继器，防火墙，代理设备和/或类似。网络9可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，其组合等。网络9可以包括无线链路，诸如蜂窝链路，卫星链路，Wi-Fi链路等。
实施例一
图2示意性示出了根据本申请实施例一的用户画像实现的方法的流程图。可以理解，本方法实施例可以被执行在服务器20中，且本方法实施例的流程图不用于对执行步骤的顺序进行限定。
如图2所示，该用户画像实现的方法可以包括步骤S200～S206，其中：
步骤S200，统一对接层和对接方式，并可视化配置各个系统参数的界面，所述系统参数包括：各个系统的token校验、标签或者人群的权限校验；
可选的，所述统一对接层和对接方式，包括：
业务系统产品与数据产品对接标签需求与口径。
可选的，所述统一对接层和对接方式，包括：
令牌桶获取各系统配置以及相关接口限流参数；
令牌桶根据不同的Key按不同的速率生成令牌；
预设实施例接收到请求后，根据系统以及调用API请求所述令牌；
若取得令牌则执行服务逻辑调用。
具体的，参考图3，业务系统产品与数据产品对接标签需求与口径；业务开发使用画像系统统一的对接层与对接方式实现业务对接，无需开发额外API或者长链接；同时画像服务可通过可视化配置实现对各个系统的token校验、标签/人群的权限校验以及实现了分布式服务下对特定系统的特定API限流以保障性能稳定。
步骤S202，计算离线或实时的基础、统计或者算法标签，统一输入层并储存于画像元数据库；
可选的，所述统一输入层并储存于画像元数据库，包括：
在离线数据链路中，标签数据储存在Hive、ES或者Impala中各一份；
在实时数据链路中，所述标签数据储存于HBase、ES或者Redis中各一份，并将所述标签元数据储存于同一个Mysql中实现统一管理及CRUD。
步骤S204，通过可视化界面配置人群及标签组合，自定义人群计算时间/获取数据时间，并通过分布式定时任务框架将计算任务负载均衡到各个画像服务器；
可选的，所述通过分布式定时任务框架将计算任务负载均衡到各个画像服务器，包括：
所有服务实例向任务调度器注册；
通过服务界面提交具体计算任务以及任务的详细描述；
一个任务注册一个计算任务触发至任务触发器；
所述任务触发器分配任务至所述任务调度器进行调度。
具体的，如图4，业务方通过可视化界面配置人群及标签组合自定义人群计算时间/获取数据时间，画像服务通过分布式定时任务框架将计算任务负载均衡到各个画像服务器，并注册特定的人群计算触发器进行定时计算，然后返回部分计算结果存储至画像元数据库。
步骤S206，定时计算注册的人群，并将计算结果存储至画像元数据库。
可选的，所述定时计算注册的人群，包括：
在计算人群数据后，根据实时/离线链路的不同，选择不同的计算引擎，落入不同的存储介质；其中，离线人群使用ES或者Impala计算，实时人群使用ES或者HBase计算。
可选的，所述将计算结果存储至画像元数据库，包括：
计算完成后存储对应人群数据与元数据信息提供至所述画像服务器调用，所述画像服务器根据业务要求或者场景使用不同的API进行人群查询与输出。
作为另一种可选的实施例，所述方法还包括：
对应业务系统在标签或者人群数据导入或计算完成后，从统一的API或者MQ中获取对应数据并进行数据建模与效果回收。
本申请实施例提供的一种用户画像实现的方法，统一对接层和对接方式，并可视化配置各个系统参数的界面，所述系统参数包括：各个系统的token校验、标签或者人群的权限校验；计算离线或实时的基础、统计或者算法标签，统一输入层并储存于画像元数据库；通过可视化界面配置人群及标签组合，自定义人群计算时间/获取数据时间，并通过分布式定时任务框架将计算任务负载均衡到各个画像服务器；定时计算注册的人群，并将计算结果存储至画像元数据库。本发明旨在提供一种能支撑各种营销场景下的用户画像服务系统，让业务对接人员通过简单的技术对接与配置，安全而高效地完成特定系统对标签/人群数据的操作；系统对接的方式比较灵活，不需要根据特定场景再开发新的接口或者长链接，配合服务本身的安全/权限校验与限流功能，从而保证数据的安全性与服务的稳定性；通过多种框架实现离线/实时的人群计算，简单配置即可实现人群计算自定义时间与例行调用策略，保证了画像能支撑各种营销场景。
实施例二
参考图5，图5示意性示出了根据本申请实施例一的用户画像实现的方法的流程图。可以理解，本方法实施例可以被执行在服务器20中，且本方法实施例的流程图不用于对执行步骤的顺序进行限定。
在本实施例中，如图5所示：
1、业务系统产品与数据产品对接标签需求与口径；业务开发使用画像系统统一的对接层与对接方式实现业务对接，无需开发额外API或者长链接；同时画像服务可通过可视化配置实现对各个系统的token校验、标签/人群的权限校验以及实现了分布式服务下对特定系统的特定API限流以保障性能稳定。
2、ETL/数仓/算法工程师根据需求计算出离线或实时的基础/统计/算法标签，通过统一输入层储存于特定数据库；在离线数据链路种，标签数据储存在Hive/ES/Impala中各一份，在实时数据链路中，标签数据储存于HBase/ES/Redis中各一份，并将所有标签元数据储存于同一个Mysql中实现统一管理及CRUD。
3、业务方通过可视化界面配置人群及标签组合自定义人群计算时间/获取数据时间，画像服务通过分布式定时任务框架将计算任务负载均衡到各个画像服务器，并注册特定的人群计算触发器进行定时计算，然后返回部分计算结果存储至画像元数据库。
4、人群数据在计算完毕后根据实时/离线链路的不同，选择不同的计算引擎，落入不同的存储介质，其中离线人群使用ES/Impala计算，实时人群使用ES/HBase进行计算，计算完成后存储对应人群数据与元数据信息提供至画像服务调用，画像服务根据业务要求/场景使用不同的API进行人群查询与输出；
5、对应业务系统在标签/人群数据导入或计算完成之后从统一的API/MQ中获取对应数据并进行数据建模与效果回收。
在本实施例中，统一单体/群体查询接口与对接格式，通过对接系统token对不同系统的对接方式及细节区分，对接配置可视化；按系统分配权限，粒度细化到具体的标签与人群，权限配置可视化；增加单机与分布式限流功能，可以对不同系统的不同接口限流，保证服务性能；增加标签数据导入与人群计算依赖，保证计算顺序；人群计算自定义时间与例行调用策略，通过分布式调度框架分配到任一节点运行；整合离线与实时标签元数据，实现离线与实时标签与人群的统一管理与查询；统一存储标签与人群数据至数据仓库，简化数据建模与效果回收流程。
实施例三
图6示意性示出了根据本申请实施例三的用户画像实现的装置的框图，该弹幕彩蛋的交互系统可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
如图6所示，该用户画像实现的装置600可以包括配置模块610、计算模块620、均衡模块630、存储模块640，其中：
配置模块610，用于统一对接层和对接方式，并可视化配置各个系统参数的界面，所述系统参数包括：各个系统的token校验、标签/人群的权限校验；
计算模块620，用于计算离线或实时的基础、统计或者算法标签，统一输入层并储存于画像元数据库；
均衡模块630，用于通过可视化界面配置人群及标签组合，自定义人群计算时间/获取数据时间，并通过分布式定时任务框架将计算任务负载均衡到各个画像服务器；
存储模块640，用于定时计算注册的人群，并将计算结果存储至画像元数据库。
1、业务系统产品与数据产品对接标签需求与口径；业务开发使用画像系统统一的对接层与对接方式实现业务对接，无需开发额外API或者长链接；同时画像服务可通过可视化配置实现对各个系统的token校验、标签/人群的权限校验以及实现了分布式服务下对特定系统的特定API限流以保障性能稳定。
2、ETL/数仓/算法工程师根据需求计算出离线或实时的基础/统计/算法标签，通过统一输入层储存于特定数据库；在离线数据链路种，标签数据储存在Hive/ES/Impala中各一份，在实时数据链路中，标签数据储存于HBase/ES/Redis中各一份，并将所有标签元数据储存于同一个Mysql中实现统一管理及CRUD。
3、业务方通过可视化界面配置人群及标签组合自定义人群计算时间/获取数据时间，画像服务通过分布式定时任务框架将计算任务负载均衡到各个画像服务器，并注册特定的人群计算触发器进行定时计算，然后返回部分计算结果存储至画像元数据库。
4、人群数据在计算完毕后根据实时/离线链路的不同，选择不同的计算引擎，落入不同的存储介质，其中离线人群使用ES/Impala计算，实时人群使用ES/HBase进行计算，计算完成后存储对应人群数据与元数据信息提供至画像服务调用，画像服务根据业务要求/场景使用不同的API进行人群查询与输出；
5、对应业务系统在标签/人群数据导入或计算完成之后从统一的API/MQ中获取对应数据并进行数据建模与效果回收。
在本实施例中，统一单体/群体查询接口与对接格式，通过对接系统token对不同系统的对接方式及细节区分，对接配置可视化；按系统分配权限，粒度细化到具体的标签与人群，权限配置可视化；增加单机与分布式限流功能，可以对不同系统的不同接口限流，保证服务性能；增加标签数据导入与人群计算依赖，保证计算顺序；人群计算自定义时间与例行调用策略，通过分布式调度框架分配到任一节点运行；整合离线与实时标签元数据，实现离线与实时标签与人群的统一管理与查询；统一存储标签与人群数据至数据仓库，简化数据建模与效果回收流程。
实施例四
图7示意性示出了根据本申请实施例四的适于实现用户画像实现的方法的计算机设备的硬件架构示意图。
本实施例中，计算机设备700可以用于作为提供商网络或组成提供商网络的组成部分，计算机设备700可以是诸如虚拟机主机进程和一个或多个虚拟机实例，或者是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。
本实施例中，计算机设备700也可以用于作为是移动终端或组成移动终端的组成部分。当计算机设备700是移动终端或组成移动终端的组成部分时，计算机设备700可以是诸如智能手机、电脑、投影仪、机顶盒等。
本实施例中，计算机设备700是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。如图7所示，计算机设备700至少包括但不限于：可通过系统总线相互通信链接存储器710、处理器720、网络接口730。
其中：
存储器710至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器710可以是计算机设备700的内部存储模块，例如该计算机设备700的硬盘或内存。在另一些实施例中，存储器710也可以是计算机设备700的外部存储设备，例如该计算机设备700上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器710还可以既包括计算机设备700的内部存储模块也包括其外部存储设备。本实施例中，存储器710通常用于存储安装于计算机设备700的操作系统和各类应用软件，例如用户画像实现的方法的程序代码等。此外，存储器710还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器720在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器720通常用于控制计算机设备700的总体操作，例如执行与计算机设备700进行数据交互或者通信相关的控制和处理等。本实施例中，处理器720用于运行存储器710中存储的程序代码或者处理数据。
网络接口730可包括无线网络接口或有线网络接口，该网络接口730通常用于在计算机设备700与其他计算机设备之间建立通信链接。例如，网络接口730用于通过网络将计算机设备700与外部终端相连，在计算机设备700与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，简称为GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图7仅示出了具有部件710-730的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器710中的用户画像实现的方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器720)所执行，以完成本申请。
实施例五
本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的用户画像实现的方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的用户画像实现的方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种用户画像实现的方法，其特征在于，所述方法包括：
统一对接层和对接方式，并可视化配置各个系统参数的界面，所述系统参数包括：各个系统的token校验、标签或者人群的权限校验；
计算离线或实时的基础、统计或者算法标签，统一输入层并储存于画像元数据库；
通过可视化界面配置人群及标签组合，自定义人群计算时间/获取数据时间，并通过分布式定时任务框架将计算任务负载均衡到各个画像服务器；
定时计算注册的人群，并将计算结果存储至画像元数据库。
2.根据权利要求1所述的方法，其特征在于，所述统一对接层和对接方式，包括：
业务系统产品与数据产品对接标签需求与口径。
3.根据权利要求1所述的方法，其特征在于，所述统一对接层和对接方式，包括：
令牌桶获取各系统配置以及相关接口限流参数；
令牌桶根据不同的Key按不同的速率生成令牌；
预设实施例接收到请求后，根据系统以及调用API请求所述令牌；
若取得令牌则执行服务逻辑调用。
4.根据权利要求1所述的方法，其特征在于，所述统一输入层并储存于画像元数据库，包括：
在离线数据链路中，标签数据储存在Hive、ES或者Impala中各一份；
在实时数据链路中，所述标签数据储存于HBase、ES或者Redis中各一份，并将所述标签元数据储存于同一个Mysql中实现统一管理及CRUD。
5.根据权利要求1所述的方法，其特征在于，所述通过分布式定时任务框架将计算任务负载均衡到各个画像服务器，包括：
所有服务实例向任务调度器注册；
通过服务界面提交具体计算任务以及任务的详细描述；
一个任务注册一个计算任务触发至任务触发器；
所述任务触发器分配任务至所述任务调度器进行调度。
6.根据权利要求1所述的方法，其特征在于，所述定时计算注册的人群，包括：
在计算人群数据后，根据实时/离线链路的不同，选择不同的计算引擎，落入不同的存储介质；其中，离线人群使用ES或者Impala计算，实时人群使用ES或者HBase计算。
7.根据权利要求6所述的方法，其特征在于，所述将计算结果存储至画像元数据库，包括：
计算完成后存储对应人群数据与元数据信息提供至所述画像服务器调用，所述画像服务器根据业务要求或者场景使用不同的API进行人群查询与输出。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：
对应业务系统在标签或者人群数据导入或计算完成后，从统一的API或者MQ中获取对应数据并进行数据建模与效果回收。
9.一种用户画像实现的装置，其特征在于，所述装置包括：
配置模块，用于统一对接层和对接方式，并可视化配置各个系统参数的界面，所述系统参数包括：各个系统的token校验、标签/人群的权限校验；
计算模块，用于计算离线或实时的基础、统计或者算法标签，统一输入层并储存于画像元数据库；
均衡模块，用于通过可视化界面配置人群及标签组合，自定义人群计算时间/获取数据时间，并通过分布式定时任务框架将计算任务负载均衡到各个画像服务器；
存储模块，用于定时计算注册的人群，并将计算结果存储至画像元数据库。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至8任一项所述方法的步骤。
CN202011210947.7A 2020-11-03 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质 Active CN112416488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011210947.7A CN112416488B (zh) 2020-11-03 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011210947.7A CN112416488B (zh) 2020-11-03 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112416488A true CN112416488A (zh) 2021-02-26
CN112416488B CN112416488B (zh) 2024-05-14

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726359A (zh) * 2024-02-08 2024-03-19 成都纳宝科技有限公司 一种互动营销方法、系统和设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229708A (zh) * 2017-05-27 2017-10-03 科技谷（厦门）信息技术有限公司 一种个性化出行服务大数据应用系统及方法
CN107315810A (zh) * 2017-06-27 2017-11-03 济南浪潮高新科技投资发展有限公司 一种物联网设备行为画像方法
CN107464142A (zh) * 2017-08-09 2017-12-12 南京甄视智能科技有限公司 基于营销反馈结果反哺用户画像系统的方法、用户画像系统
CN107967359A (zh) * 2017-12-21 2018-04-27 百度在线网络技术（北京）有限公司 数据可视分析方法、系统、终端和计算机可读存储介质
CN108596679A (zh) * 2018-04-27 2018-09-28 中国联合网络通信集团有限公司 用户画像的构建方法、装置、终端及计算机可读存储介质
CN108664657A (zh) * 2018-05-20 2018-10-16 湖北九州云仓科技发展有限公司 一种大数据任务调度方法、电子设备、存储介质及平台
CN109360106A (zh) * 2018-09-27 2019-02-19 北京京东金融科技控股有限公司 画像构建方法、系统、介质和计算机系统
CN109726247A (zh) * 2018-12-28 2019-05-07 山东浪潮商用系统有限公司 一种数据可视化分析系统及方法
CN109740620A (zh) * 2018-11-12 2019-05-10 平安科技（深圳）有限公司 人群画像分类模型的建立方法、装置、设备和存储介质
CN109785034A (zh) * 2018-11-13 2019-05-21 北京码牛科技有限公司 用户画像生成方法、装置、电子设备及计算机可读介质
US10296750B1 (en) * 2014-09-10 2019-05-21 Amazon Technologies, Inc. Robust data tagging
CN109872173A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 构建用户画像标签的方法、系统及终端设备
WO2019178979A1 (zh) * 2018-03-21 2019-09-26 平安科技（深圳）有限公司 报表数据查询方法、装置、存储介质和服务器
CN110502538A (zh) * 2019-07-05 2019-11-26 中国平安人寿保险股份有限公司 画像标签生成逻辑映射的方法、系统、设备及存储介质
CN110659414A (zh) * 2019-09-02 2020-01-07 惠州学院 一种基于用户画像的个性化信息推送方法及用户端
CN111475509A (zh) * 2020-04-03 2020-07-31 李俊宏 一种基于大数据的用户画像和多维分析系统
CN111753026A (zh) * 2020-06-28 2020-10-09 中国银行股份有限公司 一种用户画像生成系统、方法、装置、设备和介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296750B1 (en) * 2014-09-10 2019-05-21 Amazon Technologies, Inc. Robust data tagging
CN107229708A (zh) * 2017-05-27 2017-10-03 科技谷（厦门）信息技术有限公司 一种个性化出行服务大数据应用系统及方法
CN107315810A (zh) * 2017-06-27 2017-11-03 济南浪潮高新科技投资发展有限公司 一种物联网设备行为画像方法
CN107464142A (zh) * 2017-08-09 2017-12-12 南京甄视智能科技有限公司 基于营销反馈结果反哺用户画像系统的方法、用户画像系统
CN109872173A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 构建用户画像标签的方法、系统及终端设备
CN107967359A (zh) * 2017-12-21 2018-04-27 百度在线网络技术（北京）有限公司 数据可视分析方法、系统、终端和计算机可读存储介质
US20190196933A1 (en) * 2017-12-21 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd . Data visual analysis method, system and terminal and computer readable storage medium
WO2019178979A1 (zh) * 2018-03-21 2019-09-26 平安科技（深圳）有限公司 报表数据查询方法、装置、存储介质和服务器
CN108596679A (zh) * 2018-04-27 2018-09-28 中国联合网络通信集团有限公司 用户画像的构建方法、装置、终端及计算机可读存储介质
CN108664657A (zh) * 2018-05-20 2018-10-16 湖北九州云仓科技发展有限公司 一种大数据任务调度方法、电子设备、存储介质及平台
CN109360106A (zh) * 2018-09-27 2019-02-19 北京京东金融科技控股有限公司 画像构建方法、系统、介质和计算机系统
CN109740620A (zh) * 2018-11-12 2019-05-10 平安科技（深圳）有限公司 人群画像分类模型的建立方法、装置、设备和存储介质
WO2020098308A1 (zh) * 2018-11-12 2020-05-22 平安科技（深圳）有限公司 人群画像分类模型的建立方法、装置、设备和存储介质
CN109785034A (zh) * 2018-11-13 2019-05-21 北京码牛科技有限公司 用户画像生成方法、装置、电子设备及计算机可读介质
CN109726247A (zh) * 2018-12-28 2019-05-07 山东浪潮商用系统有限公司 一种数据可视化分析系统及方法
CN110502538A (zh) * 2019-07-05 2019-11-26 中国平安人寿保险股份有限公司 画像标签生成逻辑映射的方法、系统、设备及存储介质
CN110659414A (zh) * 2019-09-02 2020-01-07 惠州学院 一种基于用户画像的个性化信息推送方法及用户端
CN111475509A (zh) * 2020-04-03 2020-07-31 李俊宏 一种基于大数据的用户画像和多维分析系统
CN111753026A (zh) * 2020-06-28 2020-10-09 中国银行股份有限公司 一种用户画像生成系统、方法、装置、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726359A (zh) * 2024-02-08 2024-03-19 成都纳宝科技有限公司 一种互动营销方法、系统和设备
CN117726359B (zh) * 2024-02-08 2024-04-26 成都纳宝科技有限公司 一种互动营销方法、系统和设备

Similar Documents

Publication Publication Date Title
US9348650B2 (en) Determining an optimal computing environment for running an image based on performance of similar images
US8843889B2 (en) Managing application template artifacts in a networked computing environment
US10031798B2 (en) Adjusting an operation of a computer using generated correct dependency metadata
US20130191105A1 (en) Virtual systems testing
US9733970B2 (en) Placement of virtual machines on preferred physical hosts
US20160357584A1 (en) Hybrid simulation in a cloud computing environment
US20170033979A1 (en) Restoration of consistent regions within a streaming environment
US20220050728A1 (en) Dynamic data driven orchestration of workloads
WO2022179342A1 (en) Application deployment in computing environment
US11853749B2 (en) Managing container images in groups
WO2023050956A1 (en) Automatic selection of nodes on which to perform tasks
US10168999B2 (en) Software object definition and integration
CN112416488B (zh) 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质
CN112416488A (zh) 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质
US20180004629A1 (en) Run time smf/rmf statistical formula methodology for generating enhanced workload data points for customer profiling visualization
CN114564249A (zh) 推荐调度引擎、推荐调度方法及计算机可读存储介质
CN115686811A (zh) 进程管理方法、装置、计算机设备及存储介质
CN116601604A (zh) 基于成本和服务级别优化多平台即服务的工作负载的布置
US10922312B2 (en) Optimization of data processing job execution using hash trees
CN108551484B (zh) 用户信息同步方法、装置、计算机装置及存储介质
CN113741868A (zh) 业务计算任务处理方法、装置、计算机设备和存储介质
CN116909816B (zh) 数据库恢复方法和装置、存储介质及电子设备
WO2023061125A1 (en) Processing concurrent message sequences
US11556425B2 (en) Failover management for batch jobs
CN113129049B (zh) 用于模型训练和应用的文件配置方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant