CN112613938B - 模型训练方法、装置及计算机设备 - Google Patents
模型训练方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN112613938B CN112613938B CN202011462635.5A CN202011462635A CN112613938B CN 112613938 B CN112613938 B CN 112613938B CN 202011462635 A CN202011462635 A CN 202011462635A CN 112613938 B CN112613938 B CN 112613938B
- Authority
- CN
- China
- Prior art keywords
- user
- storage unit
- target
- time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Computation (AREA)
- Finance (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种模型训练方法、装置及计算机设备,该方法包括:获取目标用户集的用户基础特征数据集以及用户实时产生的用户行为数据;将所述用户行为数据存储到目标存储单元,统计出所述每一条用户行为数据的用户兴趣标签;对所述存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集;将所述用户兴趣标签集从所述目标存储单元取出,与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集,用于对预设模型进行模型训练。本申请还提供一种计算机可读存储介质。本申请能够快速生成用户实时特征数据从而有效降低模型训练的资源消耗,提升点击率预估模型的训练效率。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种模型训练方法、装置及计算机设备。
背景技术
随着互联网技术的发展,越来越多的用户选择在网上浏览、挑选或者购买自己需要的商品。随着商品数目和种类的增多,用户往往需要花费大量的时间才能找到自己需要的商品。为了解决这个问题,各个电商平台都不同程度地采用各种形式的推荐技术向用户进行商品推荐。其中,为了达到向用户及时推荐各种有用信息又尽量避免推荐无用信息的目的,通常会先根据用户信息构建出用户的用户特征数据;然后再将用户的用户特征数据输入到初始点击率预估模型,从而训练出能够预估出不同的用户对于推荐数据的点击概率的点击率预估模型。
其中,点击率预估模型的预估准确度与训练数据的新鲜度息息相关,因此现有技术中通常会周期性获取用户数据并进行用户特征数据提取,以用于对初始点击率预估模型进行模型训练。然而,现有技术中的做法通常需要将用户数据缓存到内存中,然后通过设置时间窗口的方式对所述用户数据进行用户特征提取,因此,需要耗费较多的内存资源,且效率低下。
发明内容
本申请提出一种模型训练方法、装置及计算机设备,能够解决上述的点击率预估模型的训练过程耗费资源较多、效率低下的问题。
首先,为实现上述目的,本申请提供一种模型训练方法,所述方法包括:
获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集;获取所述目标用户集的用户实时产生的用户行为数据,将所述用户行为数据存储到目标存储单元;在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签;对所述存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集;将所述用户兴趣标签集从所述目标存储单元取出,与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集;将所述用户实时特征数据集输入到预设的模型进行模型训练。
在一个例子中,所述目标存储单元为SSD磁盘。
在一个例子中,通过RocksDB数据库引擎技术实现所述将所述用户行为数据存储到目标存储单元的步骤和所述将所述用户兴趣标签集从所述目标存储单元取出的步骤。
在一个例子中,所述对所述存储单元中的用户兴趣标签进行分组包括:识别出每一条用户兴趣标签对应的用户行为数据的产生时间;对所述目标存储单元中产生时间处于所述目标时间区段用户兴趣标签分组为所述用户兴趣标签集。
在一个例子中,所述对所述存储单元中的用户兴趣标签进行分组包括:获取用户输入的或预先设置的拉取周期;根据所述拉取周期,周期性执行所述对所述存储单元中的用户兴趣标签进行分组的步骤。
在一个例子中,所述方法还包括:监测所述目标存储单元中的用户行为数据的最小产生时间和当前时间的时间差;当所述时间差大于预设的时间阈值时,将产生时间最小的用户行为数据清除。
在一个例子中,所述用户基础特征数据集包括:用户性别、年龄、职业或在网年龄中的至少一项用户基础特征数据;所述用户兴趣标签集包括:教育资源偏好标签、鬼畜视频偏好标签、动漫视频偏好标签或二次元视频偏好标签的至少一项用户兴趣标签。
此外,为实现上述目的,本申请还提供一种模型训练装置,所述装置包括:
获取模块,用于获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集;以及获取所述目标用户集的用户实时产生的用户行为数据;存取模块,用于将所述用户行为数据存储到目标存储单元;识别模块,用于在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签;分组模块,用于对所述存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集;所述存取模块,还用于将所述用户兴趣标签集从所述目标存储单元取出;聚合模块,用于将所述用户兴趣标签集与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集;训练模块,用于将所述用户实时特征数据集输入到预设的模型进行模型训练。
进一步地,本申请还提出一种计算机设备,所述计算机设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述的模型训练方法的步骤。
进一步地,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的模型训练方法的步骤。
相较于现有技术,本申请所提出的模型训练方法、装置、计算机设备及计算机可读存储介质,能够获获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集;获取所述目标用户集的用户实时产生的用户行为数据,将所述用户行为数据存储到目标存储单元;在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签;对所述存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集;将所述用户兴趣标签集从所述目标存储单元取出,与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集;将所述用户实时特征数据集输入到预设的模型进行模型训练。通过对用户实时行为数据单独处理,得到用户兴趣标签,然后与用户基础特征数据聚合,从而快速生成用户实时特征数据用于进行模型训练,能够有效降低资源消耗,提升点击率预估模型的训练效率。
附图说明
图1是本申请一实施例的应用环境示意图;
图2是本申请模型训练方法一具体实施例的流程示意图;
图3是本申请模型训练装置一实施例的程序模块示意图;
图4是本申请计算机设备一可选的硬件架构的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本申请中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
图1是本申请一实施例的应用环境示意图。参阅图1所示,所述计算机设备1与数据服务器20连接,所述数据服务器20与用户端10连接。任一用户端10均可以访问所述数据服务器20上的数据,比如通过访问App页面或者网页的方式访问所述数据服务器20上的数据,然后所述数据服务器20可以将推荐数据通过所述App页面或者网页推荐给用户端10,并且,所述数据服务器20可以通过得到用户端10的授权后获取用户端10上的用户数据。
因此,所述计算机设备1与所述数据服务器20连接后,能够通过所述数据服务器20获取到获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集;获取所述目标用户集的用户实时产生的用户行为数据,将所述用户行为数据存储到目标存储单元;在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签;对所述存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集;将所述用户兴趣标签集从所述目标存储单元取出,与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集;将所述用户实时特征数据集输入到预设的模型进行模型训练,比如预设的点击率预估模型。最后,所述计算机设备1将所述点击率预估模型发送至所述数据服务器20以用于预估用户端10对于推荐数据的点击率。
在本实施例中,所述数据服务器20可作为手机、平板、便携设备、PC机或者其他数据服务平台,比如视频服务平台,网购平台等;所述用户端10可作为手机、平板、便携设备、PC机等;所述计算机设备1可作为手机、平板、便携设备、PC机或者服务器等。当然,在其他实施例中,所述计算机设备1可以与所述数据服务器20合并为同一个电子设备,或者所述计算机设备1也可以作为独立的功能模块附加到所述数据服务器20上以实现模型训练的功能。
实施例一
图2是本申请模型训练方法一实施例的流程示意图。可以理解,本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备1为执行主体进行示例性描述。
如图2所示,所述模型训练方法可以包括步骤S200~S210。
步骤S200,获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集。
步骤S202,获取所述目标用户集的用户实时产生的用户行为数据,将所述用户行为数据存储到目标存储单元。
具体的,所述计算机设备1与数据服务器连接,而所述数据服务器专为用户提供数据服务,每个用户端都可以访问所述数据服务器上的数据,比如通过访问App页面或者网页的方式访问所述数据服务器上的数据,然后所述数据服务器则可以在得到用户端授权后所述数据服务器还可以获取用户端上的用户数据。因此,所述计算机设备1通过所述数据服务器可以获取到预设的目标用户集的用户信息数据。接着,所述计算机设备1从所述目标用户集的用户信息数据中识别出对应的用户基础特征数据集。
在一具体实施例中用户基础特征数据集是根据预设的特征字段对所述用户信息数据进行识别得到的,所述用户基础特征数据集包括:用户性别、年龄、职业或在网年龄中的至少一项用户基础特征数据。例如,通过预设的“年龄”和“数字”组合字段可以识别出用户信息数据中的用户年龄;通过预设的“性别”和/或“男”“女”组合字段可以识别出用户信息数据中的用户性别;通过“职业”和/或“岗位”和/或“xxx工程师”等组合字段可以识别出用户信息数据中的用户职业;以及根据用户注册到所述数据服务器上的时间,识别出所述用户信息数据中的在网年龄。所述计算机设备1将所述目标用户集对应的所有用户信息数据进行识别之后,得到所述目标用户集对应的用户基础特征数据集。
所述计算机设备1识别出所述目标用户集对应的用户基础特征数据集之后,还会进一步通过所述数据服务器获取所述目标用户集的用户实时产生的用户行为数据,并存储到预设的目标存储单元。
具体的,每个用户通过各自的用户端在访问所述数据服务器上的数据时,比如通过访问App页面或者网页的方式访问所述数据服务器上的目标数据,然后所述数据服务器则可以记录每个用户的对于所述目标数据的访问日志信息。例如,所述数据服务器预先对目标数据的网页或App页面进行埋点,然后可以检测到每一个用户对于所述目标数据的网页或App页面的访问情况;预先对目标数据的视频帧数据进行埋点,然后可以检测到每一个用户对于所述目标数据的视频数据的观看情况。其中,所述计算机设备1实际检测到的是用户对于目标数据的点击次数、浏览次数、评论次数、访问时间以及是否购买服务等用户行为记录。
所述计算机设备1在采集到所述用户行为数据之后,则会存储到预设的目标单元。在本实施例中,所述计算机设备1通过RocksDB数据库引擎技术实现将所述用户行为数据存储到目标存储单元,其中,所述目标存储单元为SSD磁盘。RocksDB是一个高效、高性能、单点的数据库引擎,而SSD磁盘则是一个存取速度快的大容量存储介质;因此,所述计算机设备1通过RocksDB数据库引擎技术将所述用户行为数据存储到SSD磁盘上,一方面减少了内存空间占用过多的情况,减少了训练数据准备过程对于模型的实时训练过程的内存资源竞争,而且还能够实现快速高效地执行训练数据准备过程,从而提高了整体模型训练的效率。当然,在其他实施例中,所述目标存储单元还可以是其他能够快速存储的存储介质,包括缓存单元。
步骤S204,在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签。
具体的,所述计算机设备1将每一条用户行为数据存储到目标存储单元之后,还会对该条用户行为数据进行识别,并统计出对应的用户兴趣标签。在一具体实施例中,用户兴趣标签集是通过预设的用户画像模型对所述用户行为数据进行识别得到的,所述用户兴趣标签集包括:教育资源偏好标签、鬼畜视频偏好标签、动漫视频偏好标签或二次元视频偏好标签的至少一项用户兴趣标签。例如,当前大多数用户画像模型主要是通过构建一个深度学习模型对用户行为数据进行学习,从而识别出用户的用户兴趣标签,比如,可以通过对用户的点击、浏览某一类型内容的网页的行为,或者观看某一类型内容的视频的行为,从而识别出用户对于该类型内容的兴趣标签特征;或者通过用户对于检索、浏览、问答、购买某一类型的商品或商品信息的行为识别出用户对于该类型商品的兴趣标签。因此,所述计算机设备1可以通过预设的用户画像模型对每一条所述用户行为数据进行识别,从而得到对应的用户兴趣标签。
步骤S206,对所述存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集。
具体的,所述计算机设备1对所述目标存储单元中的用户行为数据进行识别得到对应的用户兴趣标签之后,还会进一步对所述存储单元中的用户兴趣标签进行分组。在本实施例中,所述计算机设备1对所述存储单元中的用户兴趣标签进行分组包括:识别出每一条用户兴趣标签对应的用户行为数据的产生时间;对所述目标存储单元中产生时间处于所述目标时间区段用户兴趣标签分组为所述用户兴趣标签集。
其中,由于数据服务器采集到的每一条用户行为数据包括对应的产生时间,也就是用户执行对应的用户行为的时间,比如,用户点击所述目标数据的网页的点击时间,或者观看目标数据对应的视频内容的观看时间等等。所述计算机设备1获取所述用户行为数据,然后将所述用户行为数据识别出对应的用户兴趣标签后,会将所述用户行为数据的产生时间标记到所述用户兴趣标签上。因此,每一条用户行为数据所产生的训练数据,也就是用户兴趣标签,都会带有对应的产生时间,表示该训练数据的产生时间;而特定时间区段的训练数据,则可以训练出该特定时间区段内的点击率预估模型。
因此,所述计算机设备1能够根据预设的分组方式,比如根据用户预先设置的,或者输入的分组方式,对所述目标存储单元中的用户兴趣标签进行分组。而一般的分组方式都是基于时间线的,也就是说,所述计算机设备1需要先识别出每一条用户兴趣标签对应的用户行为数据的产生时间,然后才能进一步执行分组。在一具体实施例中,由于GroupBy语句用于结合合计函数,根据一个或多个列对结果集进行分组,如合计函数(比如SUM)常常需要添加GroupBy语句用于分组,而且GroupBy语句适用范围广,兼容性强。因此,所述计算机设备1可以根据预设的GroupBy语句对所述目标存储单元中产生时间处于所述目标时间区段用户兴趣标签分组为所述用户兴趣标签集,比如,目标时间区段可以为1小时,2小时,4小时和12小时;那么所述计算机设备1则可以对所述目标存储单元中的用户兴趣标签分组为产生时间为1小时内的用户兴趣标签集,产生时间为2小时内的用户兴趣标签集,产生时间为4小时内的用户兴趣标签集,以及产生时间为12小时内的用户兴趣标签集。
在另一具体实施例中,所述计算机设备1对所述存储单元中的用户兴趣标签进行分组包括:获取用户输入的或预先设置的拉取周期;根据所述拉取周期,周期性执行所述对所述存储单元中的用户兴趣标签进行分组的步骤。具体的,所述计算机设备1能够根据用户预先设置的,或者输入的对于所述目标存储单元中的用户兴趣标签执行分组的一个拉取周期,然后周期性地对所述存储单元中的用户兴趣标签对应的实时数据进行分组。比如,所述计算机设备1获取到拉取周期为1分钟,那么,所述计算机设备1则会每一分钟执行对所述目标存储单元中的用户兴趣标签进行分组,从而实现每一分钟分组出对应的实时的用户兴趣标签集。通过这种设置拉取周期的方式,可以更加灵活地获取到实时的用户兴趣标签,然后根据这些实时的用户兴趣标签则可以训练出实时性较强的点击率预估模型。
当然,对于所述目标存储单元中的用户行为数据,所述计算机设备1还会:监测所述目标存储单元中的用户行为数据的最小产生时间和当前时间的时间差;当所述时间差大于预设的时间阈值时,将产生时间最小的用户行为数据清除。所述计算机设备1通过将最早存储到所述目标存储单元中的用户行为数据中产生时间在预设的时间区段之外的,即产生时间与当前时间的时间差大于预设的时间阈值的用户行为数据清除,从而保证所述目标存储单元中的用户行为数据都是“新鲜”的,从而保证训练模型的训练数据,即用户兴趣标签的新鲜度。
步骤S208,将所述用户兴趣标签集从所述目标存储单元取出,与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集。
步骤S210,将所述用户实时特征数据集输入到预设的模型进行模型训练。
具体的,所述计算机设备1在获取到所述用户兴趣标签集之后,则会将所述用户兴趣标签集与对应的用户基础特征数据集聚合,从而得到所述目标时间区段的用户实时特征数据集。其中,由于用户基础特征数据集是所述目标用户集的基础特征,是相对固定的,而所述用户兴趣标签集是所述目标用户集的用户行为数据生成的,是随着时间变化而变化的。因此,所述计算机设备1通过先获取所述目标用户集的用户基础特征数据集,然后再实时获取所述目标用户集的用户行为数据,并识别出对应的用户兴趣标签集;最后再将所述用户兴趣标签集和所述用户基础特征集中相同用户的用户兴趣标签和用户基础特征聚合,从而得到所述目标用户集对应于所述目标时间区段的实时特征数据集。
在一示例性例子中,所述计算机设备1通过UDF(User-Defined Functions,用户自定义函数)实现对于所述目标存储单元中用户行为数据的操作,包括存入和取出的操作,以及对用户兴趣标签的分组操作。
最后,所述计算机设备1将得到的所述用户实时特征数据集输入到预设模型进行模型训,比如,输入到预设的初始点击率预估模型进行模型训练,从而生成实时的点击率预估模型。其中,所述存世点击率预估模型,可以是相对于当前时间段之前的已训练的点击率预估模型,所述计算机设备1通过将所述用户实时特征数据对所述初始点击率预估模型进行训练,从而得到相对于当前时间来说,准确度最好的点击率预估模型。
综上所述,本实施例所提出的模型训练方法能够获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集;获取所述目标用户集的用户实时产生的用户行为数据,将所述用户行为数据存储到目标存储单元;在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签;对所述存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集;将所述用户兴趣标签集从所述目标存储单元取出,与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集;将所述用户实时特征数据集输入到预设的模型进行模型训练。通过对用户实时行为数据单独处理,得到用户兴趣标签,然后与用户基础特征数据聚合,从而快速生成用户实时特征数据用于进行模型训练,能够有效降低资源消耗,提升点击率预估模型的训练效率。
实施例二
图3示意性示出了根据本申请实施例二的模型训练装置的框图,该模型训练装置可以被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,以下描述将具体介绍本实施例中各程序模块的功能。
如图3所示,该模型训练装置400可以包括获取模块410、存取模块420、识别模块430、分组模块440、聚合模块450和训练模块460,其中:
所述获取模块410,用于获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集;以及获取所述目标用户集的用户实时产生的用户行为数据。其中,所述用户基础特征数据集包括:用户性别、年龄、职业或在网年龄中的至少一项用户基础特征数据。
所述存取模块420,用于将所述用户行为数据存储到目标存储单元。其中,所述目标存储单元为SSD磁盘。
所述识别模块430,用于在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签。其中,所述用户兴趣标签集包括:教育资源偏好标签、鬼畜视频偏好标签、动漫视频偏好标签或二次元视频偏好标签的至少一项用户兴趣标签。
所述分组模块440,用于对所述存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集。
所述存取模块420,还用于将所述用户兴趣标签集从所述目标存储单元取出。
所述聚合模块450,用于将所述用户兴趣标签集与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集。
所述训练模块460,用于将所述用户实时特征数据集输入到预设的模型进行模型训练。
在示例性的实施例中,所述存取模块420,还用于:通过RocksDB数据库引擎技术实现所述将所述用户行为数据存储到目标存储单元以及将所述用户兴趣标签集从所述目标存储单元取出。
在示例性的实施例中,所述分组模块440,还用于:识别出每一条用户兴趣标签对应的用户行为数据的产生时间;对所述目标存储单元中产生时间处于所述目标时间区段用户兴趣标签分组为所述用户兴趣标签集。以及,获取用户输入的或预先设置的拉取周期;根据所述拉取周期,周期性执行所述对所述存储单元中的用户兴趣标签进行分组的步骤。
在示例性的实施例中,所述存取模块420,还用于:监测所述目标存储单元中的用户行为数据的最小产生时间和当前时间的时间差;当所述时间差大于预设的时间阈值时,将产生时间最小的用户行为数据清除。
实施例三
图4示意性示出了根据本申请实施例三的适于实现模型训练方法的计算机设备1的硬件架构示意图。本实施例中,计算机设备1是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。例如,可以是具有网关功能的机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图4所示,计算机设备1至少包括但不限于:可通过系统总线相互通信链接存储器510、处理器520、网络接口530。其中:
存储器510至少包括一种类型的计算机可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器510可以是计算机设备1的内部存储模块,例如该计算机设备1的硬盘或内存。在另一些实施例中,存储器510也可以是计算机设备1的外部存储设备,例如该计算机设备1上配备的插接式硬盘,智能存储卡(SmartMedia Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,存储器510还可以既包括计算机设备1的内部存储模块也包括其外部存储设备。本实施例中,存储器510通常用于存储安装于计算机设备1的操作系统和各类应用软件,例如模型训练方法的程序代码等。此外,存储器510还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器520在一些实施例中可以是中央处理器(Central Processing Unit,简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器520通常用于控制计算机设备1的总体操作,例如执行与计算机设备1进行数据交互或者通信相关的控制和处理等。本实施例中,处理器520用于运行存储器510中存储的程序代码或者处理数据。
网络接口530可包括无线网络接口或有线网络接口,该网络接口530通常用于在计算机设备1与其他计算机设备之间建立通信链接。例如,网络接口530用于通过网络将计算机设备1与外部终端相连,在计算机设备1与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication,简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access,简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图4仅示出了具有部件510-530的计算机设备,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器510中的模型训练方法的程序代码还可以被分割为一个或者多个程序模块,并由一个或多个处理器(本实施例为处理器520)所执行,以完成本申请实施例。
实施例四
本实施例还提供一种计算机可读存储介质,计算机可读存储介质其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集;获取所述目标用户集的用户实时产生的用户行为数据,将所述用户行为数据存储到目标存储单元;在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签;对所述存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集;将所述用户兴趣标签集从所述目标存储单元取出,与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集;将所述用户实时特征数据集输入到预设的模型进行模型训练。
本实施例中,计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,计算机可读存储介质可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,计算机可读存储介质也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例中模型训练方法的程序代码等。此外,计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然,本领域的技术人员应该明白,上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请实施例的优选实施例,并非因此限制本申请实施例的专利范围,凡是利用本申请实施例说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请实施例的专利保护范围内。
Claims (9)
1.一种模型训练方法,其特征在于,所述方法包括:
获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集;
获取所述目标用户集的用户实时产生的用户行为数据,将所述用户行为数据存储到目标存储单元,所述目标存储单元为SSD磁盘;
在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签;
对所述目标存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集;
将所述用户兴趣标签集从所述目标存储单元取出,与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集;
将所述用户实时特征数据集输入到预设的模型进行模型训练。
2.如权利要求1所述的模型训练方法,其特征在于,通过RocksDB数据库引擎技术实现所述将所述用户行为数据存储到目标存储单元的步骤和所述将所述用户兴趣标签集从所述目标存储单元取出的步骤。
3.如权利要求1所述的模型训练方法,其特征在于,所述对所述目标存储单元中的用户兴趣标签进行分组包括:
识别出每一条用户兴趣标签对应的用户行为数据的产生时间;
对所述目标存储单元中产生时间处于所述目标时间区段用户兴趣标签分组为所述用户兴趣标签集。
4.如权利要求1所述的模型训练方法,其特征在于,所述对所述目标存储单元中的用户兴趣标签进行分组包括:
获取用户输入的或预先设置的拉取周期;
根据所述拉取周期,周期性执行所述对所述目标存储单元中的用户兴趣标签进行分组的步骤。
5.如权利要求1所述的模型训练方法,其特征在于,所述方法还包括:
监测所述目标存储单元中的用户行为数据的最小产生时间和当前时间的时间差;
当所述时间差大于预设的时间阈值时,将产生时间最小的用户行为数据清除。
6.如权利要求1~5中任一项所述的模型训练方法,其特征在于,
所述用户基础特征数据集包括:用户性别、年龄、职业或在网年龄中的至少一项用户基础特征数据;
所述用户兴趣标签集包括:教育资源偏好标签、鬼畜视频偏好标签、动漫视频偏好标签或二次元视频偏好标签的至少一项用户兴趣标签。
7.一种模型训练装置,其特征在于,所述装置包括:
获取模块,用于获取目标用户集的用户信息数据,识别出对应的用户基础特征数据集;以及获取所述目标用户集的用户实时产生的用户行为数据;
存取模块,用于将所述用户行为数据存储到目标存储单元,所述目标存储单元为SSD磁盘;
识别模块,用于在每一条用户行为数据存入到所述目标存储单元时统计出所述每一条用户行为数据的用户兴趣标签;
分组模块,用于对所述目标存储单元中的用户兴趣标签进行分组以得到目标时间区段内的用户兴趣标签集;
所述存取模块,还用于将所述用户兴趣标签集从所述目标存储单元取出;
聚合模块,用于将所述用户兴趣标签集与所述用户基础特征数据集聚合,生成所述目标时间区段的用户实时特征数据集;
训练模块,用于将所述用户实时特征数据集输入到预设的模型进行模型训练。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1~6任一项所述的模型训练方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被至少一个处理器执行,以使所述至少一个处理器执行如权利要求1~6中任一项所述的模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011462635.5A CN112613938B (zh) | 2020-12-11 | 2020-12-11 | 模型训练方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011462635.5A CN112613938B (zh) | 2020-12-11 | 2020-12-11 | 模型训练方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112613938A CN112613938A (zh) | 2021-04-06 |
CN112613938B true CN112613938B (zh) | 2023-04-07 |
Family
ID=75233560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011462635.5A Active CN112613938B (zh) | 2020-12-11 | 2020-12-11 | 模型训练方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112613938B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220657B (zh) * | 2021-05-14 | 2022-12-06 | 上海哔哩哔哩科技有限公司 | 数据处理方法、装置及计算机设备 |
CN113836411A (zh) * | 2021-09-22 | 2021-12-24 | 上海哔哩哔哩科技有限公司 | 数据处理方法、装置及计算机设备 |
CN113962316A (zh) * | 2021-10-27 | 2022-01-21 | 维沃移动通信有限公司 | 模型训练方法、装置及电子设备 |
CN114567815B (zh) * | 2022-01-20 | 2023-05-02 | 清华大学 | 一种基于预训练的慕课自适应学习系统构建方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110489380A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及设备 |
CN111460150A (zh) * | 2020-03-27 | 2020-07-28 | 北京松果电子有限公司 | 一种分类模型的训练方法、分类方法、装置及存储介质 |
WO2020211388A1 (zh) * | 2019-04-16 | 2020-10-22 | 深圳壹账通智能科技有限公司 | 基于预测模型的行为预测方法、装置、设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105023170A (zh) * | 2015-06-26 | 2015-11-04 | 深圳市腾讯计算机系统有限公司 | 一种点击流数据的处理方法及装置 |
CN108804619B (zh) * | 2018-05-31 | 2020-11-03 | 腾讯科技(深圳)有限公司 | 兴趣偏好预测方法、装置、计算机设备及存储介质 |
CN110888668B (zh) * | 2018-09-07 | 2024-04-16 | 腾讯科技(北京)有限公司 | 一种模型更新的系统、方法、装置、终端设备和介质 |
CN111930305A (zh) * | 2020-07-24 | 2020-11-13 | 北京金山云网络技术有限公司 | 数据的存储方法和装置、存储介质、电子装置 |
CN112001500B (zh) * | 2020-08-13 | 2021-08-03 | 星环信息科技(上海)股份有限公司 | 基于纵向联邦学习系统的模型训练方法、设备及存储介质 |
CN111967611A (zh) * | 2020-08-20 | 2020-11-20 | 贝壳技术有限公司 | 特征生成方法和装置、电子设备和存储介质 |
-
2020
- 2020-12-11 CN CN202011462635.5A patent/CN112613938B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020211388A1 (zh) * | 2019-04-16 | 2020-10-22 | 深圳壹账通智能科技有限公司 | 基于预测模型的行为预测方法、装置、设备及存储介质 |
CN110489380A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及设备 |
CN111460150A (zh) * | 2020-03-27 | 2020-07-28 | 北京松果电子有限公司 | 一种分类模型的训练方法、分类方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112613938A (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112613938B (zh) | 模型训练方法、装置及计算机设备 | |
CN110941740B (zh) | 视频推荐方法及计算机可读存储介质 | |
CN105224623B (zh) | 数据模型的训练方法及装置 | |
CN111798273A (zh) | 产品的购买概率预测模型的训练方法及购买概率预测方法 | |
CN113220657B (zh) | 数据处理方法、装置及计算机设备 | |
CN112837106A (zh) | 商品推荐方法、装置、计算机设备 | |
CN109213802B (zh) | 用户画像构建方法、装置、终端和计算机可读存储介质 | |
US20180218425A1 (en) | System and method for prioritized index searching | |
CN107908616B (zh) | 预测趋势词的方法和装置 | |
CN112508638B (zh) | 数据处理的方法、装置及计算机设备 | |
JP2011227721A (ja) | 関心抽出装置、関心抽出方法、及び関心抽出プログラム | |
US20160092519A1 (en) | System and method for capturing seasonality and newness in database searches | |
CN107977678A (zh) | 用于输出信息的方法和装置 | |
US10002172B2 (en) | System and method for integrating business logic into a hot/cold prediction | |
CN117235586B (zh) | 酒店客户画像构建方法、系统、电子设备及存储介质 | |
CN112423134B (zh) | 视频内容推荐方法、装置、计算机设备及存储介质 | |
CN110659404A (zh) | 一种信息推荐方法、装置及存储介质 | |
CN103595747A (zh) | 用户信息推荐方法和系统 | |
CN108563648B (zh) | 数据显示方法和装置、存储介质及电子装置 | |
CN112560939B (zh) | 模型验证方法、装置及计算机设备 | |
CN110851708B (zh) | 负样本的抽取方法、装置、计算机设备和存储介质 | |
CN111127057B (zh) | 一种多维用户画像恢复方法 | |
CN112560938B (zh) | 模型训练方法、装置及计算机设备 | |
CN115187330A (zh) | 基于用户标签的产品推荐方法、装置、设备和介质 | |
CN110837596B (zh) | 一种智能推荐方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |