CN114971744B - 一种依据稀疏矩阵的用户画像确定方法及装置 - Google Patents

一种依据稀疏矩阵的用户画像确定方法及装置 Download PDF

Info

Publication number
CN114971744B
CN114971744B CN202210792813.3A CN202210792813A CN114971744B CN 114971744 B CN114971744 B CN 114971744B CN 202210792813 A CN202210792813 A CN 202210792813A CN 114971744 B CN114971744 B CN 114971744B
Authority
CN
China
Prior art keywords
character string
information
data
user
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210792813.3A
Other languages
English (en)
Other versions
CN114971744A (zh
Inventor
李龙
林月冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qilu Information Technology Co Ltd
Original Assignee
Beijing Qilu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qilu Information Technology Co Ltd filed Critical Beijing Qilu Information Technology Co Ltd
Priority to CN202210792813.3A priority Critical patent/CN114971744B/zh
Publication of CN114971744A publication Critical patent/CN114971744A/zh
Application granted granted Critical
Publication of CN114971744B publication Critical patent/CN114971744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Class or cluster creation or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • G06F16/90344Query processing by using string matching techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种依据稀疏矩阵的用户画像确定方法、装置、电子设备及计算机可读介质。该方法包括:对经授权后的标注信息进行切词处理以生成字符串集合;将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;将所述信息矩阵转化为稀疏矩阵;将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像;本申请能够深度挖掘用户的信息,快速准确的对用户画像进行定位,在保证用户隐私安全的同时,提高系统交易安全性。

Description

一种依据稀疏矩阵的用户画像确定方法及装置
技术领域
本申请涉及计算机信息处理领域,具体而言,涉及一种依据稀疏矩阵的用户画像确定方法、装置、电子设备及计算机可读介质。
背景技术
用户画像又称用户角色,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。用户画像最初是在电商领域得到应用的,在大数据时代背景下,用户信息充斥在网络中,将用户的每个具体信息抽象成标签,利用这些标签将用户形象具体化,从而为用户提供有针对性的服务。
目前用户画像基本是通过大数据生成的,根据海量用户数据,提取出用户的特征,然后企业根据自己的需要对用户进行分类,制定不同的用户标签。在现有技术中,为了对用户特征进行分析,会由各个渠道获取能反映用户各种特征的特征数据,一个用户的特征经常有1万多个,如此大量的特征如果全部用来进行模型训练的话,会花费大量的时间。目前比较流行的文本分类技术都是基于深度学习,包括bert、textCNN和FASTText等。通过建模可以预测用户的各个维度特征,一方面可以补充用户画像,一方面也可以用来下游模型任务。基于深度学习的文本分类技术存在一些弊端。首先无法获取特征重要性,也就无法得知哪些备注中的核心词会影响模型预估结果,影响建模人员对数据和模型的理解,无法对模型结果给出解释。深度学习模型训练依赖较多的计算资源,硬件条件不完备的话,也很难完成模型训练。另外即使使用树模型建模,备注信息的切词是高维的类别特征,无法直接使用。
在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本申请提供一种依据稀疏矩阵的用户画像确定方法、装置、电子设备及计算机可读介质,能够深度挖掘用户的信息,快速准确的对用户画像进行定位,在保证用户隐私安全的同时,提高系统交易安全性。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请的一方面,提出一种依据稀疏矩阵的用户画像确定方法,该方法包括:对经授权后的标注信息进行切词处理以生成字符串集合;将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;将所述信息矩阵转化为稀疏矩阵;将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像。
可选地,还包括:根据多个授权后的标注信息生成多个字符串集合;依据多个字符串集合生成向量映射表;将多个字符串集合和所述向量映射表进行匹配以生成多个稀疏矩阵;通过多个稀疏矩阵对梯度提升树模型进行训练生成所述特征模型。
可选地,对经授权后的标注信息进行切词处理以生成字符串集合,包括:提取所述标注信息中的主备注数据和被备注数据;将所述主备注数据和所述被备注数据分别进行切词处理以生成主备注字符串集合和被备注字符串集合;将主备注字符串集合和被备注字符串进行拼接以生成所述字符串集合。
可选地,将所述主备注数据和所述被备注数据分别进行切词处理以生成主备注字符串集合和被备注字符串集合,包括:将所述主备注数据和所述被备注数据分别和预设词表进行匹配;根据匹配结果生成所述主备注数据和所述被备注数据分别对应的字符和/或字符串;通过所述主备注数据和所述被备注数据分别对应的字符串生成所述主备注字符串集合和所述被备注字符串集合。
可选地,将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵,包括:逐一提取所述字符串集合中的字符串;将所述字符串和所述向量映射表进行匹配;根据匹配结果生成所述字符串对应的字符向量;通过所述字符串集合中所有字符串对应的字符向量生成所述用户的信息矩阵。
可选地,通过所述字符串集合中所有字符串对应的字符向量生成所述标注信息的稀疏矩阵,包括:通过所述字符串集合中所有字符串对应的字符向量生成字符矩阵;将所述字符矩阵每个字符串对应的向量用三元组表示,所述三元组包括行号、列号和词频;根据三元组表示的所述字符串集合中的所有字符串生成所述标注信息的稀疏矩阵。
可选地,将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像,包括:将所述稀疏矩阵输入经过训练的特征模型中生成多个特征评分;通过多个特征评分确定用户画像。
可选地,依据多个字符串集合生成向量映射表,包括:提取多个字符串集合中的多个字符串;将多个字符串进行去重处理;将去重处理之后的多个字符串进行整数编码;根据多个字符串和其对应的整数编码之间的关系生成所述向量映射表。
可选地,通过多个稀疏矩阵对梯度提升树模型进行训练生成所述特征模型,包括:为多个稀疏矩阵分配特征标签;通过带有特征标签的多个稀疏矩阵对梯度提升树模型进行训练以生成所述特征模型。
根据本申请的一方面,提出一种依据稀疏矩阵的用户画像确定装置,该装置包括:集合模块,用于对经授权后的标注信息进行切词处理以生成字符串集合;匹配模块,用于将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;矩阵模块,用于将所述信息矩阵转化为稀疏矩阵;特征模块,用于将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像。
根据本申请的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本申请的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。
根据本申请的依据稀疏矩阵的用户画像确定方法、装置、电子设备及计算机可读介质,通过对经授权后的标注信息进行切词处理以生成字符串集合;将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;将所述信息矩阵转化为稀疏矩阵;将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像的方式,能够深度挖掘用户的信息,快速准确的对用户画像进行定位,在保证用户隐私安全的同时,提高系统交易安全性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
通过参照附图详细描述其示例实施例,本申请的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种依据稀疏矩阵的用户画像确定方法及装置的系统框图。
图2是根据一示例性实施例示出的一种依据稀疏矩阵的用户画像确定方法的流程图。
图3是根据另一示例性实施例示出的一种依据稀疏矩阵的用户画像确定方法的流程图。
图4是根据另一示例性实施例示出的一种依据稀疏矩阵的用户画像确定方法的示意图。
图5是根据一示例性实施例示出的一种依据稀疏矩阵的用户画像确定装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本申请将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本申请概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本申请所必须的,因此不能用于限制本申请的保护范围。
图1是根据一示例性实施例示出的一种依据稀疏矩阵的用户画像确定方法及装置的系统框图。
如图1所示,系统架构10可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如互联网服务类应用、购物类应用、网页浏览器应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
终端设备101、102、103可例如对经授权后的标注信息进行切词处理以生成字符串集合;终端设备101、102、103可例如将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;终端设备101、102、103可例如将所述信息矩阵转化为稀疏矩阵;终端设备101、102、103可例如将所述稀疏矩阵输入由服务器105获取的特征模型中以确定用户画像。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的互联网服务类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的标注信息进行分析等处理,并将处理结果(例如用户画像)反馈给互联网服务网站的管理员和/或终端设备101、102、103。
服务器105可例如根据多个授权后的标注信息生成多个字符串集合;服务器105可例如依据多个字符串集合生成向量映射表;服务器105可例如将多个字符串集合和所述向量映射表进行匹配以生成多个稀疏矩阵;服务器105可例如通过多个稀疏矩阵对梯度提升树模型进行训练生成所述特征模型。
服务器105还例如由终端设备101、102、103获取标注信息,并进行切词处理以生成字符串集合;将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;将所述信息矩阵转化为稀疏矩阵;将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像。
服务器105可以是一个实体的服务器,还可例如为多个服务器组成,需要说明的是,本申请实施例所提供的依据稀疏矩阵的用户画像确定方法可以由服务器105和/或终端设备101、102、103执行,相应地,依据稀疏矩阵的用户画像确定装置可以设置于服务器105和/或终端设备101、102、103中。而提供给用户进行互联网服务平台浏览的网页端一般位于终端设备101、102、103中。
图2是根据一示例性实施例示出的一种依据稀疏矩阵的用户画像确定方法的流程图。依据稀疏矩阵的用户画像确定方法20至少包括步骤S202至S208。
如图2所示,在S202中,对经授权后的标注信息进行切词处理以生成字符串集合。
在本申请实施例中,用户可为个人用户或者企业用户,标注信息可包括经过授权的基础信息,可例如为业务账号信息、用户的终端设备标识信息、用户所处地域信息等;标注信息还可包括行为信息,可例如为用户的页面操作数据、用户的业务访问时长、用户的业务访问频率等,标注信息的具体内容可根据实际应用场景确定,在此不做限制。
在一个实施例中,标注信息可包括用户通信录上的备注信息。更具体的可为通过授权后获取的通讯录中的名称。一个用户的备注信息可以分成两种来源,一种是用户备注其他人的信息,一种是用户被别人备注的信息,分别叫做主备注数据,被备注数据。
在一个实施例中,可例如,提取所述标注信息中的主备注数据和被备注数据;将所述主备注数据和所述被备注数据分别进行切词处理以生成主备注字符串集合和被备注字符串集合;将主备注字符串集合和被备注字符串进行拼接以生成所述字符串集合。
在一个实施例中,可例如将所述主备注数据和所述被备注数据分别和预设词表进行匹配;根据匹配结果生成所述主备注数据和所述被备注数据分别对应的字符和/或字符串;通过所述主备注数据和所述被备注数据分别对应的字符串生成所述主备注字符串集合和所述被备注字符串集合。
更具体的,切词的结果可能会包含词语组成的字符串,还可能会包含单个汉字或者单个标点符号形式的字符,由于单个汉字和标点符号含有的信息量较少,为了提高后续识别效率,可以将切词结果长度为1的字符过滤掉,最终将主备注数据和所述被备注数据的切词结果(字符串)排序后用分隔符间隔排列。
在S204中,将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵。可例如,逐一提取所述字符串集合中的字符串;将所述字符串和所述向量映射表进行匹配;根据匹配结果生成所述字符串对应的字符向量;根据所述字符串集合中所有字符串对应的字符向量生成所述用户的信息矩阵。
向量映射表是字符串和向量之间的关系映射,在向量映射表中,每个字符串均对应着唯一的一个向量。将字符串集合中的每个字符串逐一和向量映射表进行匹配,根据匹配结果生成信息矩阵。
在S206中,将所述信息矩阵转化为稀疏矩阵。可将所述信息矩阵中每个字符串对应的向量用三元组表示,所述三元组包括行号、列号和词频;根据三元组表示的所述字符串集合中的所有字符串生成所述标注信息的稀疏矩阵。
一般而言,信息矩阵的维度为10万多,在机器学习模型的计算中会占用大量的内存空间,所以,可将信息矩阵进行压缩处理,生成稀疏矩阵。可将信息矩阵中的用户向量特征用3元组表示成(row, col, value), row表示行号,col表示列号,value表示词频,从而将信息矩阵转换为稀疏矩阵的形式。
在S208中,将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像。将所述稀疏矩阵输入经过训练的特征模型中生成多个特征评分;通过多个特征评分确定用户画像。
用户备注数据可以覆盖绝大部分注册用户,包括很多用户维度特征。这些特征不可以直接使用的,需要训练模型建立备注信息与用户特征的关系,例如通过建模备注信息与用户性别的关系,可以预估用户的性别。由于备注信息覆盖大部分注册用户,因此模型预估的特征同样可以覆盖大部分用户。还可通过备注信息预估用户性别,学历,是否有车,是否小微企业主等。
根据不同的训练数据,特征模型中生成多种类别的特征评分,比如,将用户对应的稀疏矩阵输入训练好的特征模型中,生成该用户是男性的概率为80%,本科学历的概率为90%,硕士学历的概率为60%,企业主的概率为40%。可通过上述用户特征评分确定用户的用户画像。
还可根据用户画像为该用户提供其他的服务内容,可推送广告信息、产品信息等等。
根据本申请的依据稀疏矩阵的用户画像确定方法,通过对经授权后的标注信息进行切词处理以生成字符串集合;将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;将所述信息矩阵转化为稀疏矩阵;将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像的方式,能够深度挖掘用户的信息,快速准确的对用户画像进行定位,在保证用户隐私安全的同时,提高系统交易安全性。
应清楚地理解,本申请描述了如何形成和使用特定示例,但本申请的原理不限于这些示例的任何细节。相反,基于本申请公开的内容的教导,这些原理能够应用于许多其它实施例。
图3是根据另一示例性实施例示出的一种依据稀疏矩阵的用户画像确定方法的流程图。图3所示的流程30是对图2所示的流程的补充描述。
如图3所示,在S302中,根据多个授权后的标注信息生成多个字符串集合。将多个用户的标注信息经过切分处理生成多个字符串集合。
在一个具体的实施例中,可见该用户的备注信息列表进行切词。在本申请中可通过actree进行切词。可预先生成存储有常见词组的词表,词表中的词会可被快速切分出来。Actree切词方式的速度是jieba切词的100倍,在处理大批量文本切词时有很大优势。
切词的结果可能会包括单个汉字,如上文所述,为了加快后续处理的速度,可以将切词结果长度为1的过滤掉,最终将切词结果排序后用分隔符间隔排列。
在S304中,依据多个字符串集合生成向量映射表。可提取多个字符串集合中的多个字符串;将多个字符串进行去重处理;将去重处理之后的多个字符串进行整数编码;根据多个字符串和其对应的整数编码之间的关系生成所述向量映射表。
可将切词结果做index映射,即每个词给一个唯一的整数编号,编号从0开始且连续。例如切词后去重有13万个词汇,那么编号即为0-129999。将word->index的映射关系保存到文本,后续在模型训练和预估时使用。由于特征分为备注和被备注两个数据源,备注在前,被备注在后,依次生成模型训练的数据格式,具体如图4所示。
如图4所示,每条样本词频作为value,未出现的词value是0,词的index作为列编码。例如一个用户备注信息中出现1次购物,购物列编码是0,那么第一列值为1。
在S306中,将多个字符串集合和所述向量映射表进行匹配以生成多个稀疏矩阵。在本申请中,标注信息的数据维度是len(dict)*2,一般情况下,切词词典中词组大概有10万多,通过切词计算之后,字符集合中数据样本的维度就有超过20万。这种情况下直接计算会占用加大的内存空间。
在一个实施例中,可将图4中非0部分表示成稀疏矩阵,在矩阵中,若数值为0的元素数目远远多于非0元素的数目,并且非0元素分布没有规律时,则称该矩阵为稀疏矩阵。其他部分在稀疏矩阵中默认是0。特征在稀疏矩阵用3元组表示成(row, col, value), row表示行号,col表示列号,value表示词频。
例如图4的第二行样本可以表示为:
(1,0,1),(1,129998,4),(1,120000,3),(1,120001,1),(1,259998,1)。
在一个具体的应用场景中,还可将数据转成sparse.csc_matrix或xgb.Dmatrix格式以便进行模型训练。
在S308中,通过多个稀疏矩阵对梯度提升树模型进行训练生成所述特征模型。可为多个稀疏矩阵分配特征标签;通过带有特征标签的多个稀疏矩阵对梯度提升树模型进行训练以生成所述特征模型。
在一个实施例中,可使用梯度提升树模型(XGB模型)训练和效果评估。将用户的备注信息可以分成两种来源,一种是用户备注其他人的信息,一种是用户被别人备注的信息,分别叫做主备注数据,被备注数据。
其中,XGB模型是梯度提升树模型的一种。将损失函数作二阶泰勒展开,利用损失函数的二阶导数信息优化损失函数,根据损失函数是否减小来贪心的选择是否分裂节点。同时,XGB模型在防止过拟合方面加入了正则化、学习率、列采样、近似最优分割点等手段。在处理缺失值方面也做了一定的优化。
基于这两种特征生成训练样本,如图4所示,每条样本3个字段,分别是主备注数据,被备注数据,label。主备注数据和被备注数据就是多条备注按固定分隔符分开的列表,label是待预测的用户特征。可根据训练模型的不同目的为训练样本确定多个不同的label,label类型可包括:性别、年龄、地址、学历等等。
数据拆分训练集、验证集和测试集,样本比为7:1:3,训练集、验证集和测试集处理成稀疏矩阵后,开始XGB的模型训练。通过训练集和验证集完成XGB的参数调优,找到较好的训练参数后,在测试集上完成效果评估,最终将训练好的模型保存下来。
具体的,针对每个样本集合,分别构建调整模型,将所述样本集合中的稀疏矩阵输入所述调整模型,以得到预测标签,将所述预测标签与相应的真实的标签进行比对,判断预测标签与真实的标签是否一致,统计与真实的标签一致的预测标签的数量,并计算与真实的标签一致的预测标签的数量在所有预测标签的数量中的占比,若所述占比大于或等于预设占比值,则所述调整模型收敛,得到训练完成的特征模型,若所述占比小于所述预设占比值,则调整所述调整模型中的参数,通过调整后的调整模型重新预测各个样本的预测标签,直至所述占比大于或等于预设占比值。其中,调整所述调整模型中的参数的方法可以采用随机梯度下降算法、梯度下降算法或正规方程进行。
若调整所述调整模型的参数的次数超过预设次数时,可以更换构建调整模型所使用的模型,以提高特征模型训练效率。
本申请中训练得到的特征模型可对用户特征进行预估。将备注信息覆盖用户通过模型完成预估,从而获得基于备注信息预估的用户特征值,可以用来补充用户画像以及下游模型任务使用。
本申请中训练得到的特征模型可以输出特征重要性,更有助于理解模型和数据,有预估结果的可解释性特点,而深度模型对预估结果无法解释。另外,经实验证明,使用备注信息建模用户特征,深度模型和树模型效果基本持平。
本申请中训练得到的特征模型,通过对文本特征的稀疏矩阵表示,XGB可以完成对文本分类场景的训练,训练速度较快。32核 cpu,100万训练样本,10min就可完成训练,不再依赖GPU资源。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU 执行的计算机程序。在该计算机程序被CPU 执行时,执行本申请提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图5是根据一示例性实施例示出的一种依据稀疏矩阵的用户画像确定装置的框图。如图5所示,依据稀疏矩阵的用户画像确定装置50包括:集合模块502,匹配模块504,矩阵模块506,特征模块508,模型模块510。
集合模块502用于对经授权后的标注信息进行切词处理以生成字符串集合;集合模块502还用于提取所述标注信息中的主备注数据和被备注数据;将所述主备注数据和所述被备注数据分别进行切词处理以生成主备注字符串集合和被备注字符串集合;将主备注字符串集合和被备注字符串进行拼接以生成所述字符串集合。
匹配模块504用于将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;匹配模块504还用于逐一提取所述字符串集合中的字符串;将所述字符串和所述向量映射表进行匹配;根据匹配结果生成所述字符串对应的字符向量;根据所述字符串集合中所有字符串对应的字符向量生成所述用户的信息矩阵。
矩阵模块506用于将所述信息矩阵转化为稀疏矩阵;矩阵模块506还用于将所述信息矩阵中每个字符串对应的向量用三元组表示,所述三元组包括行号、列号和词频;根据三元组表示的所述字符串集合中的所有字符串生成所述标注信息的稀疏矩阵。
特征模块508用于将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像。特征模块508还用于将所述稀疏矩阵输入经过训练的特征模型中生成多个特征评分;通过多个特征评分确定用户画像。
模型模块510用于根据多个授权后的标注信息生成多个字符串集合;依据多个字符串集合生成向量映射表;将多个字符串集合和所述向量映射表进行匹配以生成多个稀疏矩阵;通过多个稀疏矩阵对梯度提升树模型进行训练生成所述特征模型。
根据本申请的依据稀疏矩阵的用户画像确定装置,通过对经授权后的标注信息进行切词处理以生成字符串集合;将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;将所述信息矩阵转化为稀疏矩阵;将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像的方式,能够深度挖掘用户的信息,快速准确的对用户画像进行定位,在保证用户隐私安全的同时,提高系统交易安全性。
图6是根据一示例性实施例示出的一种电子设备的框图。
下面参照图6来描述根据本申请的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元610执行,使得所述处理单元610执行本说明书中的根据本申请各种示例性实施方式的步骤。例如,所述处理单元610可以执行如图2,图3中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备600’(例如键盘、指向设备、蓝牙设备等)通信,使得用户能与该电子设备600交互的设备通信,和/或该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,如图7所示,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本申请实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:对经授权后的标注信息进行切词处理以生成字符串集合;将所述字符串集合和向量映射表进行匹配以生成对应的信息矩阵;将所述信息矩阵转化为稀疏矩阵;将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像。使得该计算机可读介质还可实现如下功能:根据多个授权后的标注信息生成多个字符串集合;依据多个字符串集合生成向量映射表;将多个字符串集合和所述向量映射表进行匹配以生成多个稀疏矩阵;通过多个稀疏矩阵对梯度提升树模型进行训练生成所述特征模型。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施例的方法。
以上具体地示出和描述了本申请的示例性实施例。应可理解的是,本申请不限于这里描述的详细结构、设置方式或实现方法;相反,本申请意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (8)

1.一种依据稀疏矩阵的用户画像确定方法,其特征在于,包括:
根据多个授权后的标注信息生成多个字符串集合,其中标注信息为数据维度是len(dict)*2的用户通信录上的备注信息;所述备注信息包括主备注数据和被备注数据;
依据多个字符串集合生成向量映射表;
将多个字符串集合和所述向量映射表进行匹配以生成多个信息矩阵;
将多个信息矩阵中每个字符串对应的向量用三元组表示以生成多个稀疏矩阵,所述三元组包括行号、列号和词频;其中,行号和列号在三元组中用于表示稀疏矩阵的行号和列号,词频用于表示该行号和列号位置的值;
为多个稀疏矩阵分配特征标签,特征标签、主备注数据、被备注数据分别作为样本的三个字段之一;
通过带有特征标签的多个稀疏矩阵按照训练集、验证集、测试集7:1:3的比例对梯度提升树模型进行训练以生成特征模型;
对经授权后的标注信息进行切词处理并将切词结果长度为1的字符过滤掉,将所述主备注数据和所述被备注数据的切词结果排序后用分隔符间隔排列以生成字符串集合;
逐一提取所述字符串集合中的字符串;
将所述字符串和向量映射表进行匹配;
根据匹配结果生成所述字符串对应的字符向量;
根据所述字符串集合中所有字符串对应的字符向量生成信息矩阵;
将所述信息矩阵中每个字符串对应的向量用三元组表示;
根据三元组表示的所述字符串集合中的所有字符串生成所述标注信息的稀疏矩阵;
将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像。
2.如权利要求1所述的方法,其特征在于,对授权后的标注信息进行切词处理以生成字符串集合,包括:
提取所述标注信息中的主备注数据和被备注数据;
将所述主备注数据和所述被备注数据分别进行切词处理以生成主备注字符串集合和被备注字符串集合;
将所述主备注字符串集合和所述被备注字符串进行拼接以生成所述字符串集合。
3.如权利要求2所述的方法,其特征在于,将所述主备注数据和所述被备注数据分别进行切词处理以生成主备注字符串集合和被备注字符串集合,包括:
将所述主备注数据和所述被备注数据分别和预设词表进行匹配;
根据匹配结果生成所述主备注数据和所述被备注数据分别对应的字符和/或字符串;
通过所述主备注数据和所述被备注数据分别对应的字符串生成所述主备注字符串集合和所述被备注字符串集合。
4.如权利要求1所述的方法,其特征在于,将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像,包括:
将所述稀疏矩阵输入经过训练的特征模型中生成多个特征评分;
通过多个特征评分确定用户画像。
5.如权利要求1所述的方法,其特征在于,依据多个字符串集合生成所述向量映射表,包括:
提取多个字符串集合中的多个字符串;
将多个字符串进行去重处理;
将去重处理之后的多个字符串进行整数编码;
根据多个字符串和其对应的整数编码之间的关系生成所述向量映射表。
6.一种依据稀疏矩阵的用户画像确定装置,其特征在于,包括:
模型模块,用于根据多个授权后的标注信息生成多个字符串集合,其中标注信息为数据维度是len(dict)*2的用户通信录上的备注信息;所述备注信息包括主备注数据和被备注数据;依据多个字符串集合生成向量映射表;将多个字符串集合和所述向量映射表进行匹配以生成多个信息矩阵;将多个信息矩阵中每个字符串对应的向量用三元组表示以生成多个稀疏矩阵,所述三元组包括行号、列号和词频;其中,行号和列号在三元组中用于表示稀疏矩阵的行号和列号,词频用于表示该行号和列号位置的值;为多个稀疏矩阵分配特征标签,特征标签、主备注数据、被备注数据分别作为样本的三个字段之一;通过带有特征标签的多个稀疏矩阵按照训练集、验证集、测试集7:1:3的比例对梯度提升树模型进行训练以生成特征模型;
集合模块,用于对经授权后的标注信息进行切词处理并过滤以生成字符串集合;
匹配模块,用于逐一提取所述字符串集合中的字符串;将所述字符串和向量映射表进行匹配;根据匹配结果生成所述字符串对应的字符向量;根据所述字符串集合中所有字符串对应的字符向量生成信息矩阵;
矩阵模块,用于将所述信息矩阵中每个字符串对应的向量用三元组表示;根据三元组表示的所述字符串集合中的所有字符串生成所述标注信息的稀疏矩阵;
特征模块,用于将所述稀疏矩阵输入至经过训练的特征模型中以确定用户画像。
7.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202210792813.3A 2022-07-07 2022-07-07 一种依据稀疏矩阵的用户画像确定方法及装置 Active CN114971744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210792813.3A CN114971744B (zh) 2022-07-07 2022-07-07 一种依据稀疏矩阵的用户画像确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210792813.3A CN114971744B (zh) 2022-07-07 2022-07-07 一种依据稀疏矩阵的用户画像确定方法及装置

Publications (2)

Publication Number Publication Date
CN114971744A CN114971744A (zh) 2022-08-30
CN114971744B true CN114971744B (zh) 2022-11-15

Family

ID=82968214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210792813.3A Active CN114971744B (zh) 2022-07-07 2022-07-07 一种依据稀疏矩阵的用户画像确定方法及装置

Country Status (1)

Country Link
CN (1) CN114971744B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512245A (zh) * 2015-11-30 2016-04-20 青岛智能产业技术研究院 一种基于回归模型建立企业画像的方法
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
CN109785034A (zh) * 2018-11-13 2019-05-21 北京码牛科技有限公司 用户画像生成方法、装置、电子设备及计算机可读介质
CN111523960A (zh) * 2020-03-16 2020-08-11 平安国际智慧城市科技股份有限公司 基于稀疏矩阵的产品推送方法、装置、计算机设备及介质
CN112989215A (zh) * 2019-12-13 2021-06-18 复旦大学 一种基于稀疏用户行为数据的知识图谱增强的推荐系统
CN114119058A (zh) * 2021-08-10 2022-03-01 国家电网有限公司 用户画像模型的构建方法、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463719B2 (en) * 2009-03-11 2013-06-11 Google Inc. Audio classification for information retrieval using sparse features
CN109359180B (zh) * 2018-09-20 2021-03-02 腾讯科技(深圳)有限公司 用户画像生成方法、装置、电子设备及计算机可读介质
US20210182752A1 (en) * 2019-12-17 2021-06-17 Beijing Didi Infinity Technology And Development Co., Ltd. Comment-based behavior prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
CN105512245A (zh) * 2015-11-30 2016-04-20 青岛智能产业技术研究院 一种基于回归模型建立企业画像的方法
CN109785034A (zh) * 2018-11-13 2019-05-21 北京码牛科技有限公司 用户画像生成方法、装置、电子设备及计算机可读介质
CN112989215A (zh) * 2019-12-13 2021-06-18 复旦大学 一种基于稀疏用户行为数据的知识图谱增强的推荐系统
CN111523960A (zh) * 2020-03-16 2020-08-11 平安国际智慧城市科技股份有限公司 基于稀疏矩阵的产品推送方法、装置、计算机设备及介质
CN114119058A (zh) * 2021-08-10 2022-03-01 国家电网有限公司 用户画像模型的构建方法、设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
XGBoost:A Scalable Tree Boosting System;Tianqi Chen等;《Prpceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining》;20160831;第785-794页 *
一种用户成长性画像的建模方法;董哲瑾等;《山东大学学报(理学版)》;20190331;第54卷(第3期);第38-45页 *
基于NWD集成算法的多粒度微博用户兴趣画像构建;张舒等;《广东工业大学学报》;20200731;第37卷(第4期);第42-50页 *
基于搜索引擎的用户画像构建方法研究;李雅坤;《中国优秀硕士学位论文全文数据库 经济与管理科学辑(月刊)》;20190115(第01期);第J152-2261页 *
李雅坤.基于搜索引擎的用户画像构建方法研究.《中国优秀硕士学位论文全文数据库 经济与管理科学辑(月刊)》.2019,(第01期),第J152-2261页. *

Also Published As

Publication number Publication date
CN114971744A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
JP7302022B2 (ja) テキスト分類方法、装置、コンピュータ読み取り可能な記憶媒体及びテキスト分類プログラム。
CN107679039B (zh) 用于确定语句意图的方法和装置
CN107808011B (zh) 信息的分类抽取方法、装置、计算机设备和存储介质
JP6661790B2 (ja) テキストタイプを識別する方法、装置及びデバイス
CN110532381B (zh) 一种文本向量获取方法、装置、计算机设备及存储介质
CN111709240A (zh) 实体关系抽取方法、装置、设备及其存储介质
WO2022048363A1 (zh) 网站分类方法、装置、计算机设备及存储介质
JP2019519019A5 (zh)
CN111177532A (zh) 一种垂直搜索方法、装置、计算机系统及可读存储介质
US11651015B2 (en) Method and apparatus for presenting information
WO2021184640A1 (zh) 基于稀疏矩阵的产品推送方法、装置、计算机设备及介质
CN111783450B (zh) 语料文本中的短语提取方法、装置、存储介质及电子设备
CN111753082A (zh) 基于评论数据的文本分类方法及装置、设备和介质
CN112863683A (zh) 基于人工智能的病历质控方法、装置、计算机设备及存储介质
CN111198967A (zh) 基于关系图谱的用户分组方法、装置及电子设备
CN107943788B (zh) 企业简称生成方法、装置及存储介质
CN108268629B (zh) 基于关键词的图像描述方法和装置、设备、介质
CN112084342A (zh) 试题生成方法、装置、计算机设备及存储介质
CN111190967B (zh) 用户多维度数据处理方法、装置及电子设备
CN112560504A (zh) 抽取表单文档中信息的方法、电子设备和计算机可读介质
CN107766498A (zh) 用于生成信息的方法和装置
CN111241273A (zh) 文本数据分类方法、装置、电子设备及计算机可读介质
CN112906368B (zh) 行业文本增量方法、相关装置及计算机程序产品
WO2021042529A1 (zh) 文章摘要自动生成方法、装置及计算机可读存储介质
CN114971744B (zh) 一种依据稀疏矩阵的用户画像确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant