CN117034963A - 模型训练方法、翻译方法、预估方法、推荐方法及装置 - Google Patents
模型训练方法、翻译方法、预估方法、推荐方法及装置 Download PDFInfo
- Publication number
- CN117034963A CN117034963A CN202310814025.4A CN202310814025A CN117034963A CN 117034963 A CN117034963 A CN 117034963A CN 202310814025 A CN202310814025 A CN 202310814025A CN 117034963 A CN117034963 A CN 117034963A
- Authority
- CN
- China
- Prior art keywords
- target domain
- sample
- domain
- model
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013519 translation Methods 0.000 title claims abstract description 525
- 238000012549 training Methods 0.000 title claims abstract description 274
- 238000000034 method Methods 0.000 title claims abstract description 239
- 238000000605 extraction Methods 0.000 claims description 265
- 230000004044 response Effects 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 167
- 230000008569 process Effects 0.000 description 54
- 238000012545 processing Methods 0.000 description 21
- 230000006399 behavior Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000002787 reinforcement Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种翻译模型的训练方法、预估模型的训练方法、翻译方法、预估方法、推荐方法、装置、电子设备及计算机可读存储介质,翻译模型的训练方法包括:获取目标域样本;利用待训练的目标域翻译模型将目标域样本翻译为目标域翻译样本,以使目标域翻译样本与目标域样本的语义相关联、且满足源域样本对应的特征结构属性;利用源域预估模型,对目标域翻译样本进行预估,得到第一源域预估结果;基于第一源域预估结果对待训练的目标域翻译模型进行训练,得到训练后的目标域翻译模型。本申请提供的方案能够使得预估模型学习到更多有效的特征,从而提高了预估模型预估点击率的准确性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种翻译模型的训练方法、预估模型的训练方法、翻译方法、预估方法、推荐方法、装置、电子设备及计算机可读存储介质。
背景技术
在向用户推荐商品、视频、电子图书、广告等信息时,通常会预估用户对推荐信息的点击率,根据预估结果确定是否向用户推荐该信息以及确定推荐信息的排序位置等。实际应用中,可以通过预估模型预估用户对推荐信息的点击率,因此,需要预先训练预估模型。由于互联网平台的应用领域可能包括多个,例如,包括从文字检索商品、从图片检索商品等,为了提高预估准确率,通常每个域都有自己对应的预估模型。
由于不同领域的样本通常拥有不同的用户行为模式,即不同领域的样本是异构的,因此,为了提高预估模型的准确性,通常会选择相同域的样本训练预估模型,例如,若预估模型用于预估用户输入文字时对各个物品的点击率,则会使用用户历史上输入文字后产生的样本数据训练预估模型。
然而,由于单个领域的样本数据可能存在数据稀疏的现象,使得训练后的预估模型难以学习到更多有效的特征,从而可能使得预估模型对点击率预估不准确。
发明内容
本申请提供一种翻译模型的训练方法、预估模型的训练方法、翻译方法、预估方法、推荐方法、装置、电子设备及计算机可读存储介质。能够使得预估模型学习到更多有效的特征,从而提高了预估模型预估点击率的准确性。
第一方面,本申请提供一种翻译模型的训练方法,所述方法包括:
获取目标域样本;
利用待训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,以使所述目标域翻译样本与所述目标域样本的语义相关联、且满足源域样本对应的特征结构属性;
利用源域预估模型,对所述目标域翻译样本进行预估,得到第一源域预估结果;
基于所述第一源域预估结果对所述待训练的目标域翻译模型进行训练,得到训练后的目标域翻译模型。
可选地,所述基于所述第一源域预估结果对所述待训练的目标域翻译模型进行训练,包括:
基于所述第一源域预估结果以及所述目标域翻译样本对应的标签,对所述待训练的目标域翻译模型进行训练。
可选地,所述方法还包括:
获取源域样本;
利用源域预估模型,对所述源域样本进行预估,得到第二源域预估结果;
基于所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域预估模型进行更新训练,得到更新训练后的源域预估模型。
可选地,所述基于所述第一源域预估结果对所述待训练的目标域翻译模型进行训练,包括:
基于所述第一源域预估结果,以使所述目标域翻译模型满足正交约束规则为训练限制条件,对所述待训练的目标域翻译模型进行训练。
可选地,所述方法还包括:
利用待训练的源域翻译模型将所述源域样本翻译为源域翻译样本,以使所述源域翻译样本与所述源域样本的语义相关联、且满足所述目标域样本对应的特征结构属性;
利用目标域预估模型,对所述源域翻译样本进行预估,得到第一目标域预估结果;
基于所述第一目标域预估结果以及所述源域翻译样本对应的标签,对所述待训练的源域翻译模型进行训练,得到训练后的源域翻译模型。
可选地,所述方法还包括:
利用目标域预估模型,对所述目标域样本进行预估,得到第二目标域预估结果;
基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域预估模型进行更新训练,得到更新训练后的目标域预估模型。
可选地,所述利用待训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,包括:
利用特征提取模型对所述目标域样本进行特征提取,得到所述目标域样本对应的目标域提取样本;
根据所述目标域提取样本确定目标域特征样本;
利用待训练的目标域翻译模型将所述目标域特征样本翻译为目标域翻译样本;
所述利用待训练的源域翻译模型将所述源域样本翻译为源域翻译样本,包括:
利用所述特征提取模型对所述源域样本进行特征提取,得到所述源域样本对应的源域提取样本;
根据所述源域提取样本确定源域特征样本;
利用待训练的源域翻译模型将所述源域特征样本翻译为源域翻译样本。
可选地,所述特征提取模型包括多个,多个所述特征提取模型分别用于进行不同类型的特征提取,所述目标域样本对应多个目标域提取样本,所述源域样本对应多个源域提取样本;
所述根据所述目标域提取样本确定目标域特征样本,包括:
基于所述目标域样本确定多个所述特征提取模型的目标域权重,所述目标域权重用于表示所述特征提取模型对所述目标域样本的重要程度;
根据所述目标域权重对多个所述目标域提取样本进行加权处理,得到目标域特征样本;
所述根据所述源域提取样本确定源域特征样本,包括:
基于所述源域样本确定多个所述特征提取模型的源域权重,所述源域权重用于表示所述特征提取模型对所述源域样本的重要程度;
根据所述源域权重对多个所述源域提取样本进行加权处理,得到源域特征样本。
可选地,所述基于所述目标域样本确定多个所述特征提取模型的目标域权重,包括:
将所述目标域样本输入目标域门控网络中,得到多个所述特征提取模型的目标域权重;
所述基于所述源域样本确定多个所述特征提取模型的源域权重,包括:
将所述源域样本输入源域门控网络中,得到多个所述特征提取模型的源域权重。
可选地,所述方法还包括:
基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域门控网络进行更新训练,得到更新训练后的源域门控网络;
基于所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域门控网络进行更新训练,得到更新训练后的目标域门控网络。
可选地,所述方法还包括:
基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签、第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述特征提取模型进行更新训练,得到更新训练后的特征提取模型。
可选地,所述利用待训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,包括:
将所述目标域样本通过目标域编码模型进行数值化编码,得到目标域编码样本;
利用待训练的目标域翻译模型将所述目标域编码样本翻译为目标域翻译样本;
所述利用待训练的源域翻译模型将所述源域样本翻译为源域翻译样本,包括:
将所述源域样本通过源域编码模型进行数值化编码,得到源域编码样本;
利用待训练的源域翻译模型将所述源域编码样本翻译为源域翻译样本;
所述利用源域预估模型,对所述源域样本进行预估,得到第二源域预估结果,包括:利用源域预估模型对所述源域编码样本进行预估,得到第二源域预估结果;
所述利用目标域预估模型,对所述目标域样本进行预估,得到第二目标域预估结果,包括:利用目标域预估模型对所述目标域编码样本进行预估,得到第二目标域预估结果。
可选地,所述方法还包括:
根据所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域编码模型进行更新训练,得到更新训练后的源域编码模型;
根据所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域编码模型进行更新训练,得到更新训练后的目标域编码模型。
可选地,所述利用源域预估模型,对所述源域样本进行预估,得到第二源域预估结果,包括:将所述源域特征样本输入源域预估模型中,得到第二源域预估结果;
所述利用目标域预估模型,对所述目标域样本进行预估,得到目标域预估结果,包括:将所述目标域特征样本输入目标域预估模型中,得到第二目标域预估结果。
第二方面,本申请实施例还提供了一种预估模型的训练方法,所述方法包括:
获取用于训练所述预估模型的目标域样本;
将所述目标域样本翻译为目标域翻译样本,所述目标域翻译样本与所述目标域样本的语义相关联、且满足源域样本对应的特征结构属性;
基于所述目标域样本以及所述目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型。
可选地,所述将所述目标域样本翻译目标域翻译样本,包括:
利用预先训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,所述目标域翻译模型通过第一方面任一项所述的翻译模型的训练方法训练得到。
可选地,所述利用预选训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,包括:
利用预先训练的特征提取模型对所述目标域样本进行特征提取,得到所述目标域样本对应的目标域提取样本,所述预先训练的特征提取模型通过第一方面所述的方法中对特征提取模型进行更新训练的方法更新训练得到;
根据所述目标域提取样本确定目标域特征样本;
利用预选训练的翻译模型将所述目标域特征样本翻译为目标域翻译样本。
可选地,所述预先训练的特征提取模型包括多个,通过多个所述预先训练的特征提取模型得到的所述目标域提取样本包括多个;
所述根据所述目标域提取样本确定目标域特征样本,包括:
基于所述目标域样本确定多个所述预先训练的特征提取模型的目标域权重,所述目标域权重用于表示所述预先训练的特征提取模型对所述目标域样本的重要程度;
根据所述目标域权重对多个所述目标域提取样本进行加权处理,得到目标域特征样本。
可选地,所述基于所述目标域样本确定多个所述预先训练的特征提取模型的目标域权重,包括:
将所述目标域样本输入预先训练的目标域门控网络中,得到多个所述预先训练的特征提取模型的目标域权重,所述预先训练的目标域门控网络基于第一方面所述的方法中对目标域门控网络进行更新训练的方法更新训练得到。
可选地,所述将所述目标域样本翻译为目标域翻译样本,包括:
将所述目标域样本进行数值化编码,得到目标域编码样本;
将所述目标域编码样本翻译为目标域翻译样本;
所述基于所述目标域样本以及所述目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型,包括:
基于所述目标域编码样本以及所述目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型。
可选地,所述将所述目标域样本进行数值化编码,得到目标域编码样本,包括:
将所述目标域样本输入预先训练的目标域编码模型中进行数值化编码,得到目标域编码样本,所述预先训练的目标域编码模型基于第一方面所述的方法中对目标域编码模型进行更新训练的方法更新训练得到。
可选地,所述基于所述目标域样本以及所述目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型,包括:
基于所述目标域特征样本以及所述目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型。
第三方面本申请实施例还提供了一种翻译方法,所述方法包括:
获取待翻译目标域数据;
利用目标域翻译模型将所述待翻译目标域数据翻译为目标域翻译数据,所述目标域翻译数据与所述目标域数据的语义相关联、且满足源域数据对应的特征结构属性,所述目标域翻译模型基于第一方面任一项所述的翻译模型训练方法训练得到。
可选地,所述利用目标域翻译模型将所述待翻译目标域数据翻译为目标域翻译数据,包括:
利用特征提取模型对所述待翻译目标域数据进行特征提取,得到待翻译目标域提取数据,所述特征提取模型基于第一方面所述的方法中对特征提取模型进行更新训练的方法更新训练得到;
根据所述待翻译目标域提取数据确定待翻译目标域特征数据;
利用目标域翻译模型将所述待翻译目标域特征数据翻译为目标域翻译数据。
可选地,所述特征提取模型包括多个,通过多个所述特征提取模型得到的所述待翻译目标域提取数据包括多个;
所述根据所述待翻译目标域提取数据确定待翻译目标域特征数据,包括:
基于所述待翻译目标域数据确定多个所述特征提取模型的目标域权重,所述目标域权重用于表示所述特征提取模型对所述待翻译目标域数据的重要程度;
根据所述目标域权重对多个所述待翻译目标域提取数据进行加权处理,得到待翻译目标域特征数据。
可选地,所述基于所述待翻译目标域数据确定多个所述特征提取模型的目标域权重,包括:
将所述待翻译目标域数据输入目标域门控网络中,得到多个所述特征提取模型的目标域权重,所述目标域门控网络基第一方面所述的方法中对目标域门控网络进行更新训练的方法更新训练得到。
第四方面,本申请实施例还提供了一种预估方法,所述方法包括:
获取待预估目标域数据;
将所述待预估目标域数据翻译为待预估目标域翻译数据,所述待预估目标域翻译数据与所述待预估目标域数据语义相关联、且满足源域数据对应的特征结构属性;
基于所述待预估目标域数据与所述待预估目标域翻译数据,确定所述待预估目标域数据对应的预估结果。
可选地,所述将所述待预估目标域数据翻译为待预估目标域翻译数据,包括:
基于第三方面任一项所述的翻译方法将所述待预估目标域数据翻译为待预估目标域翻译数据。
可选地,所述基于所述待预估目标域数据与所述待预估目标域翻译数据,确定所述待预估目标域数据对应的预估结果,包括:
利用预估模型对所述待预估目标域数据与所述待预估目标域翻译数据进行预估,得到所述待预估目标域数据对应的预估结果,所述预估模型基于第二方面任一项所述的预估模型的训练方法训练得到。
第五方面,本申请实施例还提供一种信息推荐方法,所述方法包括:
响应于接收到信息获取请求,确定与所述信息获取请求匹配的候选数据;
基于第四方面任一项所述的预估方法,对所述候选数据进行预估,得到预估结果;
基于所述预估结果向发送所述信息获取请求的客户端发送所述候选数据。
第六方面,本申请实施例还提供一种翻译模型的训练装置,包括:
第一获取单元,用于获取目标域样本;
第一翻译单元,用于利用待训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,以使所述目标域翻译样本与所述目标域样本的语义相关联、且满足源域样本对应的特征结构属性;
第一预估单元,用于利用源域预估模型,对所述目标域翻译样本进行预估,得到第一源域预估结果;
第一训练单元,用于基于所述第一源域预估结果对所述待训练的目标域翻译模型进行训练,得到训练后的目标域翻译模型。
可选地,所述第一训练单元具体用于:
基于所述第一源域预估结果以及所述目标域翻译样本对应的标签,对所述待训练的目标域翻译模型进行训练。
可选地,所述第一获取单元还用于:获取源域样本;
所述第一预估单元,还用于利用源域预估模型,对所述源域样本进行预估,得到第二源域预估结果;
所述第一训练单元,还用于基于所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域预估模型进行更新训练,得到更新训练后的源域预估模型。
可选地,所述第一训练单元具体用于:基于所述第一源域预估结果,以使所述目标域翻译模型满足正交约束规则为训练限制条件,对所述待训练的目标域翻译模型进行训练。
可选地,所述第一翻译单元还用于:利用待训练的源域翻译模型将所述源域样本翻译为源域翻译样本,以使所述源域翻译样本与所述源域样本的语义相关联、且满足所述目标域样本对应的特征结构属性;
所述第一预估单元还用于:利用目标域预估模型,对所述源域翻译样本进行预估,得到第一目标域预估结果;
所述第一训练单元还用于:基于所述第一目标域预估结果以及所述源域翻译样本对应的标签,对所述待训练的源域翻译模型进行训练,得到训练后的源域翻译模型。
可选地,所述第一预估单元还用于:利用目标域预估模型,对所述目标域样本进行预估,得到第二目标域预估结果;
所述第一训练单元,还用于基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域预估模型进行更新训练,得到更新训练后的目标域预估模型。
可选地,所述第一翻译单元具体用于:
利用特征提取模型对所述目标域样本进行特征提取,得到所述目标域样本对应的目标域提取样本;根据所述目标域提取样本确定目标域特征样本;利用待训练的目标域翻译模型将所述目标域特征样本翻译为目标域翻译样本;
利用所述特征提取模型对所述源域样本进行特征提取,得到所述源域样本对应的源域提取样本;根据所述源域提取样本确定源域特征样本;利用待训练的源域翻译模型将所述源域特征样本翻译为源域翻译样本。
可选地,所述特征提取模型包括多个,多个所述特征提取模型分别用于进行不同类型的特征提取,所述目标域样本对应多个目标域提取样本,所述源域样本对应多个源域提取样本;
所述第一翻译单元具体用于:基于所述目标域样本确定多个所述特征提取模型的目标域权重,所述目标域权重用于表示所述特征提取模型对所述目标域样本的重要程度;根据所述目标域权重对多个所述目标域提取样本进行加权处理,得到目标域特征样本;
基于所述源域样本确定多个所述特征提取模型的源域权重,所述源域权重用于表示所述特征提取模型对所述源域样本的重要程度;根据所述源域权重对多个所述源域提取样本进行加权处理,得到源域特征样本。
可选地,第一翻译单元具体用于:将所述目标域样本输入目标域门控网络中,得到多个所述特征提取模型的目标域权重;将所述源域样本输入源域门控网络中,得到多个所述特征提取模型的源域权重。
可选地,所述第一训练单元还用于:
基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域门控网络进行更新训练,得到更新训练后的源域门控网络;
基于所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域门控网络进行更新训练,得到更新训练后的目标域门控网络。
可选地,所述第一训练单元还用于:
基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签、第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述特征提取模型进行更新训练,得到更新训练后的特征提取模型。
可选地,所述第一翻译单元具体用于:
将所述目标域样本通过目标域编码模型进行数值化编码,得到目标域编码样本;利用待训练的目标域翻译模型将所述目标域编码样本翻译为目标域翻译样本;
将所述源域样本通过源域编码模型进行数值化编码,得到源域编码样本;利用待训练的源域翻译模型将所述源域编码样本翻译为源域翻译样本;
所述第一预估单元具体用于:利用源域预估模型对所述源域编码样本进行预估,得到第二源域预估结果;
利用目标域预估模型对所述目标域编码样本进行预估,得到第二目标域预估结果。
可选地,所述第一训练单元还用于:
根据所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域编码模型进行更新训练,得到更新训练后的源域编码模型;
根据所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域编码模型进行更新训练,得到更新训练后的目标域编码模型。
可选地,所述第一预估单元具体用于:将所述源域特征样本输入源域预估模型中,得到第二源域预估结果;
将所述目标域特征样本输入目标域预估模型中,得到第二目标域预估结果。
第七方面,本申请实施例还提供一种预估模型的训练装置,所述装置包括:
第二获取单元,用于获取用于训练所述预估模型的目标域样本;
第二翻译单元,用于将所述目标域样本翻译为目标域翻译样本,所述目标域翻译样本与所述目标域样本的语义相关联、且满足源域样本对应的特征结构属性;
第二训练单元,用于基于所述目标域样本以及所述目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型。
第八方面,本申请实施例还提供一种翻译装置,所述装置包括:
第三获取单元,用于获取待翻译目标域数据;
第三翻译单元,用于利用目标域翻译模型将所述待翻译目标域数据翻译为目标域翻译数据,所述目标域翻译数据与所述目标域数据的语义相关联、且满足源域数据对应的特征结构属性,所述翻译模型基于第一方面任一项所述的翻译模型训练方法训练得到。
第九方面,本申请实施例还提供一种预估装置,所述装置包括:
第四获取单元,用于获取待预估目标域数据;
第四翻译单元,用于将所述待预估目标域数据翻译为待预估目标域翻译数据,所述待预估目标域翻译数据与所述待预估目标域数据语义相关联、且满足源域数据对应的特征结构属性;
第四预估单元,用于基于所述待预估目标域数据与所述待预估目标域翻译数据,确定所述待预估目标域数据对应的预估结果。
第十方面,本申请实施例还提供一种信息推荐装置,所述装置包括:
确定单元,用于响应于接收到信息获取请求,确定与所述信息获取请求匹配的候选数据;
第五预估单元,用于基于第四方面任一项所述的预估方法,对所述候选数据进行预估,得到预估结果;
发送单元,用于基于所述预估结果向发送所述信息获取请求的客户端发送所述候选数据。
第十一方面,本申请实施例还提供了一种电子设备,包括:
处理器、存储器以及存储在所述存储器上并可在处理器上运行的计算机程序指令;所述处理器执行所述计算机程序指令时实现上述第一方面至第五方面任一项所述的方法。
第十二方面,本申请实施例还提供一种计算机存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述第一方面至第五方面任一项所述的方法。
与现有技术相比,本申请具有以下优点:
本申请提供的翻译模型的训练方法以及翻译方法,利用待训练的目标域翻译模型将目标域样本翻译为目标域翻译样本,由于翻译后的目标域翻译样本与目标域样本的语义是相关联的,所以目标域翻译样本能够很好地表征目标域样本所表达的语义,又由于目标域翻译样本满足源域样本对应的特征结构属性,所以,翻译后的目标域翻译样本与源域样本的结构特征是一致的,所以,翻译后的目标域翻译样本可以被源域预估模型进行准确预估,利用源域预估模型对目标域翻译样本进行预估得到第一源域预估结果后,基于第一源域预估结果能够确定待训练的目标域翻译模型翻译是否准确,从而可以基于第一源域预估结果对待训练的目标域翻译模型进行训练,得到训练后的目标域翻译模型,所得到的目标翻译模型能够准确地将目标域样本翻译为语义不变、结构特征满足源域样本特征结构属性的目标域翻译样本。
可见,本申请提供的翻译模型的训练方法所训练出的翻译模型,能够准确地将目标域样本翻译为满足源域样本特征结构属性的样本,即本申请提供的翻译模型的训练方法训练出的翻译模型能够将一个域的样本翻译为与另一个域结构特征一致的样本,这样,可以学习更有效的知识迁移,将翻译后的样本也用于对预估模型进行训练,从而可以丰富预估模型训练时的样本数据,使得预估模型学习到更多有效的特征,从而可能使得预估模型对点击率预估更准确。
本申请提供的预估模型的训练方法,获取用于训练所述预估模型的目标域样本后,将目标域样本翻译为目标域翻译样本,由于目标域翻译样本与目标域样本的语义相关联、且满足源域样本对应的特征结构属性,因此,目标域翻译样本即是对目标域样本在源域特征结构上的扩充丰富,基于目标域样本以及目标域翻译样本对待训练的预估模型进行训练,训练样本结构更丰富,所得到的训练后的预估模型的预估结果更准确。
本申请提供的预估方法,将待预估目标域数据翻译为待预估目标域翻译数据后,由于待预估目标域翻译数据与待预估目标域数据语义相关联、且满足源域数据对应的特征结构属性,因此,基于待预估目标域数据与待预估目标域翻译数据进行预估时,能够使得预估所基于的数据更丰富,从而能够使得确定出的待预估目标域数据对应的预估结果更准确。
附图说明
图1是本申请提供的应用场景示意图;
图2是本申请提供的翻译模型的训练方法的一例流程图。
图3是本申请实施例进行翻译模型训练和预估模型训练的一列的流程图。
图4是本申请实施例进行翻译模型训练和预估模型训练的另一列的流程图
图5是本申请实施例提供的预估模型的训练方法的一例流程图。
图6是本申请实施例提供的翻译方法的一例的流程图。
图7是本申请实施例提供的预估方法的一例的流程图。
图8是本申请实施例提供的推荐方法的一例的流程图。
图9是本申请源域实施例提供的翻译模型的训练装置的单元框图。
图10是本申请实施例提供的电子设备的结构框图。
具体实施方式
为了使本领域的技术人员能够更好的理解本申请的技术方案,下面结合本申请实施例中的附图,对本申请进行清楚、完整地描述。但本申请能够以很多不同于下述描述的其他方式进行实施,因此,基于本申请提供的实施例,本领域普通技术人员在不经过创造性劳动的情况下,所获得的所有其他实施例,都应属于本申请保护的范围。
需要说明的是,本申请的权利要求书、说明书及附图中的术语“第一”、“源域”、“第三”等是用于区别类似的对象,并不用于描述特定的顺序或先后次序。这样使用的数据在适当情况下是可以互换的,以便于本文所描述的本申请的实施例,能够以除了在本文图示或描述的内容以外的顺序实施。此外,术语“包括”、“具有”以及他们的变形形式,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解本申请的各实施例,对实施例的应用背景进行说明。
在信息检索、电商平台、广告平台等各种网络平台中,通常需要向用户推荐各种信息,例如,推荐待售商品、推荐视频或音频、推荐电子图书、推荐广告、推荐文章等,在向用户推荐这些信息时,通常会预估用户点击这些推荐信息的概率,即点击率(click-throughrate,CTR)预估,根据预估结果确定是否向用户推荐该信息,或者根据预估结果确定这些推荐信息的排序位置,例如,哪个信息预估的点击率比较大,就将该信息展示在更靠前的位置。
实际应用中,随着机器学习的广泛使用,通过预估模型预估用户对推荐信息的点击率是常用的预估方法,使用这种方法,需要预先训练预估模型。由于互联网平台的应用领域可能包括多个,例如,用户可能通过文字搜索到商品、也可能通过图片搜索到商品,或者也可能通过其他领域的搜索信息搜索到商品,由于不同领域的搜索信息对应的用户行为特征是不同的,为了提高预估准确率,每个域通常都有自己对应的预估模型。例如,文字域对应有文字域的预估模型、图片域对应有图片域的预估模型。
由于不同领域的搜索信息对应的用户行为特征是不同的,不同领域的样本通常拥有不同的用户行为模式,即不同领域的样本是异构的,因此,为了提高预估模型的准确性,通常会选择相同域的样本训练预估模型,例如,若预估模型用于预估用户输入文字时对各个物品的点击率,则会使用用户历史上输入文字后产生的样本数据训练预估模型。
然而,由于单个领域的样本数据可能存在数据稀疏的现象,使得训练后的预估模型难以学习到更多有效的特征,从而可能使得预估模型对点击率预估不准确。
为了解决以上问题,本申请实施例提供一种翻译模型的训练方法、预估模型的训练方法、翻译方法、预估方法、装置、电子设备及计算机可读存储介质。旨在能够使得预估模型学习到更多有效的特征,从而提高了预估模型预估点击率的准确性,以及提高预估用户点击行为的准确率;自然地,本申请的方法也能够应用于现实场景中需要实现对象推荐的其他场合,本申请对具体应用领域不做限制,仅仅是为了叙述方便,以下以电商平台向用户推荐合适的商品(用户线上购物)作为典型的应用场景,并围绕该场景说明本申请提供的上述方法,当然,本申请各实施例也可应用于购物场景、视频播放场景、广告互动场景等。
为了便于理解本申请的方法实施例,对其应用场景进行介绍。请参考图1,图1为本申请方法实施例的应用场景示意图。可以应用于云服务端,该应用场景为一种示意性的举例说明,并不作为限定其应用场景的具体描述,云服务端也可以替换为其他服务端。如图1所示,在该应用场景中设置有客户端101和云服务端102。在本实施例中,客户端101与云服务端102之间直接通过网络通信建立连接,客户端程序运行于客户端101上,服务端程序运行于云服务端102的服务器上。
客户端101(client)也可以称为用户端或工作站(workstation),与服务端相对应,接受服务端的控制和管理,在本实施例的实现方案中,客户端可以理解为运行某个具体应用的客户端设备,如手机,平板电脑(pad),也可以更具体的理解为是某个用于为用户提供本地服务的应用程序(application,APP)。客户端设备还可以是车载设备、可穿戴设备,端设备,逻辑实体,或者网关,基站,控制器等通信设备,或者物联网设备,如传感器,电表,水表等物联网(internet ofthings,IoT)设备。在客户端101和云服务端102之间,需要建立特定的通信连接,从而为用户提供各类服务。在本申请各实施例中,客户端101用于获取用户相关数据,并且,客户端101能够发出的用于请求获得页面内容的页面内容请求消息。
云服务端102具有较高的运算能力。云服务端102的服务器具有高速的处理器(central processing unit,CPU)运算能力、长时间的可靠运行、强大的输入/输出(input/output,I/O)外部数据吞吐能力以及更好的扩展性。服务器102可以是单个服务器,也可以是服务器集群。云服务端102为布置预估网络的一端,预估网络可以包括翻译模型、预估模型以及其他进行用户数据处理的模型中的至少一种。当然,本申请的预估网络也可直接布置于客户端101,本实施例作为一种示意,并非实际限定。具体实施时,云服务端102的服务器中设置有预估网络,服务器用于接收客户端101的页面内容请求消息,以及所传输的用户的相关数据,并作为预估网络的输入,预估网络的输入包括用户的用户特征、待预估数据的数据特征、用户输入的搜索信息特征等。通过该预估网络运算处理,能够获得用户点击待预估数据的概率结果,并根据预估的结果将待预估数据以页面内容形式通过网络通信连接传输给客户端101,以用于客户端101向用户进行展示。
客户端101可以与云服务端102进行通信。客户端101与云服务端102可以利用各种通信系统进行通信,例如可以是利用有线通信系统或无线通信系统。无线通信系统例如可以是全球移动通信(global system for mobile communications,GSM)系统、码分多址(code division multiple access,CDMA)系统、宽带码分多址(wideband code divisionmultiple access,WCDMA)系统、通用分组无线服务(general packet radio service,GPRS)、长期演进(long term evolution,LTE)系统、LTE频分双工(frequency divisionduplex,FDD)系统、LTE时分双工(time division duplex,TDD)、通用移动通信系统(universal mobile telecommunication system,UMTS)、全球互联微波接入(worldwideinteroperability formicrowave access,WiMAX)通信系统、未来的第五代(5thgeneration,5G)系统或新无线(newradio,NR)、卫星通信系统等。
在本实施例中,客户端101主要用于将获取的用户的相关数据,如点击行为数据、浏览行为数据、加购行为数据等,通过网络通信连接传输给云服务端102的服务器;客户端101还可以发出用于请求获得页面内容的页面内容请求消息;云服务端102的服务器获得客户端101发出的用于请求获得页面内容的页面内容请求消息,由于该服务器上布置有预估网络,服务器获取用户的用户特征、待预估数据的数据特征、用户输入的搜索信息特征等作为预估网络的输入,进而获得待预估数据的预估结果,并基于预估结果确定待预估数据的推荐结果;服务器根据待预估数据的推荐结果以页面内容形式网络传输给客户端101,以展示给用户。
实施例一
本申请第一实施例提供一种翻译模型的训练方法,该方法的执行主体可以是电子设备,该电子设备可以是服务器、台式电脑、笔记本电脑、智能移动终端、客户端设备等,也可以是其他具有数据处理能力的电子设备。本申请实施例提供的翻译模型的训练方法训练得到的翻译模型可以应用于将一种场景的信息转换成另一种场景的信息,具体的,翻译模型可以用于不同场景对应的不同域数据之间的相互转化,例如,将文字搜索场景对应的搜索信息转换为图片搜索场景对应的搜索信息,具体为将通过文字域搜索到的商品信息对应的搜索数据转换为通过图片域搜索到的商品信息对应的搜索数据,或者,将移动端场景对应的数据转换为台式电脑端场景对应的数据,具体可以为将用户在移动端的视频浏览信息转换为用户在台式电脑端的视频浏览信息,也可以用于其他不同场景之间进行数据转换,本申请不具体限定,本申请实施例中的翻译模型也可以理解为是转换模型。
如图2至图4所示,本申请第一实施例提供的翻译模型的训练方法包括以下步骤S110~步骤S140。
步骤S110:获取目标域样本。
目标域样本也可以理解为目标域数据,是目标域翻译模型用于进行翻译的样本。目标域样本可以是用户通过文字域搜索商品的搜索信息,也可以是用户通过图片域搜索商品的搜索信息,也可以是用户通过短视频或者音频等搜索商品的搜索信息;目标域样本也可以是用户在移动端浏览视频的浏览信息,或者可以是用户在台式电脑端浏览商品的浏览信息;目标域样本也可以是用户搜索电影的搜索信息,或者搜索小说的搜索信息,本申请不具体限定。
本申请实施例中,目标域样本是根据目标域翻译模型所用于翻译的样本确定的,当目标域翻译模型用于将通过文字域搜索商品的搜索信息翻译为通过图片域搜索商品的搜索信息时,目标域样本可以为用户通过文字域搜索商品的搜索信息。
步骤S110中,电子设备可以从大量用户的历史行为数据中获取目标域样本。具体的,可以获取用户在目标域的历史行为数据,从用户在目标域的历史行为数据中提取目标域样本。
目标域样本可以包括用户基于目标域发生的用户行为数据,可以包括用户特征、商品特征、搜索域以及用户是否点击商品的标签信息等,但不限于此。
所获取的目标域样本即图3中的xt。例如,如图4所示,当目标域样本为用户通过图片域搜索商品的搜索信息时,目标域样本可以包括用户性别、年龄、商品图片、商品价格、商品销量、用户基于图像的搜索请求、用户是否点击商品的标签等,但不限于此。
步骤S120:利用待训练的目标域翻译模型将目标域样本翻译为目标域翻译样本,以使目标域翻译样本与目标域样本的语义相关联、且满足源域样本对应的特征结构属性。
本步骤中,可以直接将目标域样本输入待训练的目标域翻译模型中得到目标域翻译样本,也可以将目标域样本经过一次或多次特征处理后再输入到待训练的目标域翻译模型中得到目标域翻译样本,如图3、图4中翻译网络中的内容所示,可以将目标域样本经过特征编码模型处理。特征处理的方式例如可以包括:向量化编码处理、特征提取处理等,但不限于此。其中,图3、图4中的翻译网络用于对翻译模型进行训练。当将目标域样本经过特征处理后,所得到的目标域翻译样本的数据形式也与经过特征处理后的目标域样本的数据形式一致,例如,当对目标域样本经过了向量化编码处理后,目标域翻译样本也为向量化的数据形式。
源域样本与目标域样本属于不同领域,例如,当目标域样本为小说领域时,源域样本可以为电影领域、电视剧领域等;当目标域样本为通过文字搜索信息领域时,源域样本可以为通过图片、短视频、音频等搜索信息领域;当目标域样本为通过手机端搜索信息时,源域样本可以为通过电脑(即PC)端搜索信息。本申请不具体限定源域和目标域所述的具体领域。
源域样本与目标域样本各自具有自身的特征结构属性,例如,当目标域样本为小说领域时,目标域样本的特征结构属性为小说,源域样本为电影领域时,源域样本的特征结构属性为电影。
目标域翻译样本与目标域样本的语义相关联、且满足源域样本对应的特征结构属性,可以理解为目标域翻译样本保持了目标域样本的语义内容且特征结构与源域样本一致,例如,当目标域样本为用户购买了武侠小说时,若源域样本对应的特征结构属性为电影,则翻译后的目标域翻译样本可以为武侠电影。
待训练的目标域翻译模型可以包括神经网络模型、深度神经网络模型、卷积神经网络模型、逻辑回归模型、决策树模型、支持向量机模型、朴素贝叶斯模型中的至少一种,但不限于此。
图3中的跨域监督翻译器包括目标域翻译器和源域翻译器,目标域翻译器即步骤S130中的目标域翻译模型。
步骤S130:利用源域预估模型,对所述目标域翻译样本进行预估,得到第一源域预估结果。
源域预估模型用于对满足源域样本的特征结构属性的数据进行预估。源域预估模型可以是预先训练好的模型,也可以是未训练好的模型,当源域预估模型为未训练好的模型时,可以基于第一源域预估结果以及其他样本对源域预估模型进行训练。源域预估模型可以包括神经网络模型、深度神经网络模型、卷积神经网络模型、逻辑回归模型、决策树模型、支持向量机模型、朴素贝叶斯模型中的至少一种,但不限于此。
本步骤中,可以将目标域翻译样本输入源域预估模型中,得到第一源域预估结果,也可以将目标域翻译样本进行处理后再输入源域预估模型中,得到第一源域预估结果,上述第一源域预估结果可以为用户对目标域翻译样本的感兴趣程度、或者用户对目标域翻译样本的点击率。
步骤S140:基于第一源域预估结果对待训练的目标域翻译模型进行训练,得到训练后的目标域翻译模型。
本步骤中,可以使用监督学习训练算法、无监督学习训练算法、半监督学习训练算法、强化学习训练算法等对待训练的目标域翻译模型进行训练,本申请不具体限定。可选地,可以使用梯度回转算法对对待训练的目标域翻译模型进行训练,例如,通过随机梯度下降(Stochastic Gradient Descent,简称SGD)算法、自适应矩阵估计(Adaptive MomentEstimation,简称Adam)算法等对待训练的目标域翻译模型进行训练。
在一种可选的实施方式中,步骤S140中,具体可以基于第一源域预估结果以及目标域翻译样本对应的标签,对待训练的目标域翻译模型进行训练。
目标域翻译样本对应的标签即目标域样本对应的标签,例如,当目标域样本对应的标签为用户点击时,则目标域翻译样本对应的标签也为用户点击,当目标域样本对应的标签为用户未点击时,则目标域翻译样本对应的标签也为用户未点击,也就是说,翻译后的样本依然保持原有的标签信息。
具体的,可以基于第一源域预估结果与目标域翻译样本对应的标签之间的差距小于第一预设阈值为收敛条件,对待训练的目标域翻译模型进行训练。
本实施方式可以基于目标域翻译样本对应的标签使用监督学习训练算法或者半监督学习训练算法对待训练的目标域翻译模型进行训练,从而使得模型训练更准确。
本申请提供的翻译模型的训练方法,利用待训练的目标域翻译模型将目标域样本翻译为目标域翻译样本,由于翻译后的目标域翻译样本与目标域样本的语义是相关联的,所以目标域翻译样本能够很好地表征目标域样本所表达的语义,又由于目标域翻译样本满足源域样本对应的特征结构属性,所以,翻译后的目标域翻译样本与源域样本的结构特征是一致的,所以,翻译后的目标域翻译样本可以被源域预估模型进行准确预估,利用源域预估模型对目标域翻译样本进行预估得到第一源域预估结果后,基于第一源域预估结果能够确定待训练的目标域翻译模型翻译是否准确,从而可以基于第一源域预估结果对待训练的目标域翻译模型进行训练,得到训练后的目标域翻译模型,所得到的目标翻译模型能够准确地将目标域样本翻译为语义不变、结构特征满足源域样本特征结构属性的目标域翻译样本。
可见,本申请提供的翻译模型的训练方法能够训练出翻译模型,训练处的翻译模型能够准确地将目标域样本翻译为满足源域样本特征结构属性的样本,即本申请提供的翻译模型的训练方法训练出的翻译模型能够将一个域的样本翻译为与另一个域结构特征一致的样本,这样,可以将翻译后的样本也用于对预估模型进行训练,从而可以丰富预估模型训练时的样本数据,使得预估模型学习到更多有效的特征,从而可能使得预估模型对点击率预估更准确。
在一种实施方式中,如图3、图4所示,上述翻译模型的训练方法还可以包括以下步骤S150~步骤S170。
步骤S150:获取源域样本。
源域样本也可以理解为源域数据,是用于对源域预估模型进行训练的样本。源域样本可以包括用户基于源域发生的用户行为数据,可以包括用户特征、商品特征、搜索域以及用户是否点击商品的标签信息等,但不限于此。例如,如图3所示,当源域样本为用户通过文字域搜索商品的搜索信息时,源域样本可以包括用户性别、年龄、商品标题、商品价格、商品销量、用户基于文字的搜索请求、用户是否点击商品的标签等,但不限于此。
源域样本的获取方式可以参考步骤S110中获取目标域样本的方式,此处不再赘述。步骤S120中已经对源域样本的具体内容以及与目标域样本之间的关系进行了说明,此处不再详述。
步骤S160:利用源域预估模型,对源域样本进行预估,得到第二源域预估结果。
本步骤中,可以将源域样本输入源域预估模型中,得到第二源域预估结果,也可以将源域样本进行数值化编码、特征提取等数据处理后再输入源域预估模型中,得到第二源域预估结果。上述第二源域预估结果可以为用户对源域样本的感兴趣程度、或者用户对源域样本的点击率等。
步骤S170:基于第一源域预估结果与第二源域预估结果,对源域预估模型进行更新训练,得到更新训练后的源域预估模型。
当源域预估模型为未训练好的模型时,可以在对目标域翻译模型进行训练的过程中,对源域预估模型也进行训练,这样,在后续通过样本训练目标翻译模型时,可以通过更准确的源域预估模型得到更准确的源域预估结果,从而可以更准确地对目标域翻译模型进行训练。
步骤S170中,可以通过监督学习训练算法、无监督学习训练算法、半监督学习训练算法、强化学习训练算法等对源域预估模型进行更新训练,本申请不具体限定。可选地,可以使用梯度回转算法对对源域预估模型进行更新训练,例如,通过SGD算法、Adam算法等对源域预估模型进行训练。
可选地,当通过监督学习训练算法对源域预估模型进行更新训练时,步骤S170可以按以下步骤实现:基于第一源域预估结果与目标域翻译样本对应的标签、第二源域预估结果与源域样本对应的标签,对源域预估模型进行更新训练,得到更新训练后的源域预估模型。通过监督学习训练算法对源域预估模型下进行训练,由于准确地获知了源域样本和目标域翻译样本对应的样本标签,因此可以使得更新训练后的源域预估模型的预估准确更高。
本实施方式对源域预估模型也进行了更新训练,这样,可以使得源域预估模型的预估结果更准确,从而使得对目标域翻译模型的训练也更准确。另外,这样也可以无需预先将源域预估模型训练出来,而是可以在对目标域翻译模型进行训练的过程中对源域预估模型进行训练,也就是说同步训练目标域翻译模型和源域预估模型,使得训练过程更高效。
在一种实施方式中,如图4所示,所述翻译模型的训练方法还可以包括以下步骤S180~步骤S1100。
步骤S180:利用待训练的源域翻译模型将源域样本翻译为源域翻译样本,以使源域翻译样本与源域样本的语义相关联、且满足目标域样本对应的特征结构属性。
源域翻译模型即图4中的源域翻译器。
步骤S190:利用目标域预估模型,对源域翻译样本进行预估,得到第一目标域预估结果。
步骤S1100:基于第一目标域预估结果对待训练的源域翻译模型进行训练,得到训练后的源域翻译模型。
步骤S1100中,具体可以基于第一目标域预估结果以及源域翻译样本对应的标签,对待训练的源域翻译模型进行训练。
步骤S180~步骤S1100对源域翻译模型的训练过程可以参考上述步骤S120~步骤S140对目标域翻译模型的训练过程,此处不再详述。
本实施方式在对目标域翻译模型进行训练的过程中,对源域翻译模型也进行了训练,可以使得同时得到源域翻译模型,使得一次训练过程可以得到不同域的翻译模型,提高了模型训练效率。
在一种实施方式中,如图4所示,上述翻译模型的训练方法还可以包括以下步骤S1110~步骤S1120。
步骤S1110:利用目标域预估模型,对目标域样本进行预估,得到第二目标域预估结果。
步骤S1120:基于第一目标域预估结果与源域翻译样本对应的标签、第二目标域预估结果与目标域样本对应的标签,对目标域预估模型进行更新训练,得到更新训练后的目标域预估模型。
当目标域预估模型为未训练好的模型时,可以在对目标域翻译模型和源域翻译模型进行训练的过程中,对目标域预估模型也进行训练,这样,再后续通过样本训练源域翻译模型时,可以通过更准确的目标域预估模型得到更准确的目标域预估结果,从而可以更准确地对源域翻译模型进行训练。
步骤S1110~步骤S1120对目标域预估模型的更新训练过程可以参考步骤S160~步骤S170中对源域预估模型的更新训练过程,此处不再详述。
本实施方式对目标域预估模型也进行了更新训练,这样,可以使得目标域预估模型的预估结果更准确,从而使得对源域翻译模型的训练也更准确。另外,这样也可以无需预先将目标域预估模型训练出来,而是可以在对目标域翻译模型和源域翻译模型进行训练的过程中对目标域预估模型进行训练,也就是说同步训练目标域翻译模型、源域翻译模型和源域预估模型,使得训练过程更高效。
在一个具体实施例中,步骤S120可以按以下步骤S121~步骤S123实现,步骤S180可以按以下步骤S181~步骤S183实现。
步骤S121:利用特征提取模型对目标域样本进行特征提取,得到目标域样本对应的目标域提取样本。
上述特征提取模型可以是预先训练好的模型,也可以是未训练好的模型。当特征提取模型为未训练好的模型时,可以在对翻译模型进行训练的过程中也对特征提取模型进行训练。特征提取模型可以是对目标域样本进行文本特征提取、消费能力特征提取、用户画像特征提取、购买商品特征提取等,本申请不具体限定特征提取模型进行特征提取的方式。如图4所示,图4中翻译网络中的各个专家模型即特征提取模型。
步骤S122:根据所述目标域提取样本确定目标域特征样本。
本步骤可以直接将目标域提取样本确定为目标域特征样本,也可以对目标域提取样本进行处理后得到目标域特征样本,本申请不具体限定。
步骤S123:利用待训练的目标域翻译模型将目标域特征样本翻译为目标域翻译样本。
步骤S181:利用上述特征提取模型对源域样本进行特征提取,得到源域样本对应的源域提取样本。
步骤S181中的特征提取模型及步骤S121中的特征提取模型。
步骤S182:根据源域提取样本确定源域特征样本。
步骤S183:利用待训练的源域翻译模型将所述源域特征样本翻译为源域翻译样本。
步骤S181~步骤S183的执行过程可以参考步骤S121~步骤S123,此处不再详述。
如图4所示,上述目标域特征样本、源域特征样本也可以理解为翻译网络在进行翻译模型训练过程中的隐空间特征。
本实施例中,通过同一个特征提取模型对源域样本和目标域样本均进行了特征提取,即目标域样本和源域样本经过了共享的模型处理,这样,所提取的源域提取样本和目标域提取样本能够更好地体现对方的特征属性,更便于后续翻译模型进行翻译时共享对方的特征,使得训练出的翻译模型能够学习到更多多不同域的特征,从而使得翻译出的翻译模型更准确。
在一个具体实施例中,步骤S1110中,具体可以通过以下步骤得到第二目标域预估结果:将目标域特征样本输入目标域预估模型中,得到第二目标域预估结果。也就是说,步骤S1110在利用目标域预估模型对目标域样本进行预估时,先将目标域样本经过上述步骤S121和步骤S122得到目标域特征样本,再利用目标域预估模型对目标域特征样本进行预估,这样,通过对目标域样本进行特征提取等处理后在通过预估模型进行预估,可以使得模型预估的有效性、准确性更强,由于进行了特征提取优化,使得预估效率更高,从而提高了模型的训练效率和准确性。
在一个具体实施例中,步骤S160中,具体可以通过以下步骤得到第二源域预估结果:将源域特征样本输入源域预估模型中,得到第二源域预估结果。也就是说,步骤S160在利用源域预估模型对源域样本进行预估时,先将源域样本经过上述步骤S181和步骤S182得到源域特征样本,再利用源域预估模型对源域特征样本进行预估,这样,通过对源域样本进行特征提取等处理后在通过预估模型进行预估,可以使得模型预估的有效性、准确性更强,由于进行了特征提取优化,使得预估效率更高,从而提高了模型的训练效率和准确性。
在一个具体实施例中,步骤S121与步骤S181中的特征提取模型可以包括多个,多个特征提取模型分别用于进行不同类型的特征提取,例如,包括六个个特征提取模型,分别用于进行文本特征提取、图像特征提取、消费能力特征提取、用户画像特征提取、视频特征提取、音频特征提取。这样,步骤S121中,能够得到目标域样本对应的多个目标域提取样本,步骤S181中,能够得到源域样本对应的多个源域提取样本。
步骤S122中,可以按以下步骤S122a~步骤S122b根据目标域提取样本确定目标域特征样本。
步骤S122a:基于目标域样本确定多个特征提取模型的目标域权重。
目标域权重用于表示特征提取模型对目标域样本的重要程度。
具体的,可以根据目标域样本的样本特征确定各个特征提取模型的目标域权重。例如,若目标域样本为用户通过文字进行商品搜索的文字搜索数据时,文本特征提取模型的目标域权重可以设置的较大,而图像特征提取模型的目标域权重可以设置的较小,再例如,若目标域样本为小说领域,则文字特征提取模型的目标域权重可以设置的较大,视频特征提取模型的目标域权重可以设置的较小。
步骤S122b:根据目标域权重对多个目标域提取样本进行加权处理,得到目标域特征样本。
特征提取模型提取到的目标域提取样本对应的权重即该特征提取模型对应的目标域权重。例如,文本特征提取模型对应的目标域权重为0.2,图像特征提取模型对应的目标域权重为0.4,则针对文本特征提取模型所提取到的目标域样本对应的目标域文本特征的权重也为0.2,针对图像特征提取模型所提取到的目标域样本对应的目标域图像特征的权重也为0.4。
本实施例中,可以直接将加权后的各个特征进行拼接得到的特征确定为目标域特征样本。对多个目标域提取样本进行加权处理后,权重大的特征在后续进行翻译和预估时参考比例会更大,权重小的特征在后续进行翻译和预估时参考比例会更小。
由于不同域的样本进行翻译和预估时进行特征提取的侧重点不同,本实施例根据目标域样本确定出了多个特征提取模型的目标域权重,以根据目标域样本自身的特点对不同特征提取模型所提取的特征进行取舍,可以更好地避免模型训练过程中不同域的模型训练冲突的问题,使得训练后的翻译模型和预估模型能够更准确地对自己领域的数据进行处理,提高了所训练模型的准确率。另外,本实施例使用多个特征提取模型对样本进行特征提取,可以有效地捕捉到输入数据中的不同特征,提高了预测精度和鲁棒性。
步骤S182中,可以按以下步骤S182a~步骤S182b根据源域提取样本确定源域特征样本。
步骤S182a:基于源域样本确定多个特征提取模型的源域权重。
源域权重用于表示特征提取模型对源域样本的重要程度。
步骤S182b:根据源域权重对多个源域提取样本进行加权处理,得到源域特征样本。
步骤S182a~步骤S182b的执行过程以及对应效果与步骤S122a~步骤S122b相似,此处不再赘述。
本申请实施例中,上述多个特征提取模型可以理解为是多专家网络(Multi-ExpertNetwork,简称MEN),多专家网络包括多个功能不同的专家模型,例如,如图4所示,包括3个专家模型,多个专家模型即上述多个特征提取模型。
在一个具体实施例中,如图4所示,上述多专家网络可以是基于多门控混合专家模型(Multi-gate Mixture-of-Experts,结构MMOE)结构的特征提取模型。MMOE的主要框架包括两个部分:门控机制和混合层。其中,门控机制用于确定哪些专家模型对样本的处理最有效,而混合层则用于将不同专家模型的信息进行加权平均。
具体的,步骤S122a中,可以按以下步骤确定多个特征提取模型的目标域权重:将目标域样本输入目标域门控网络中,得到多个特征提取模型的目标域权重。步骤S182a中,可以按以下步骤确定多个所述特征提取模型的源域权重:将所述源域样本输入源域门控网络中,得到多个所述特征提取模型的源域权重。
上述目标域门控网络和源域门控网络可以是预先训练后的网络模型,也可以是未训练好的网络模型,当门控网络为未训练好的网络模型时,可以在翻译模型的训练过程中对门控网络也进行训练,得到训练好的门控网络。
本实施例通过门控网络可以方便、快速、准确地得到每个特征提取模型的权重。
在一个具体实施例中,上述翻译模型的训练方法还可以包括以下步骤S1130~步骤S1140。
步骤S1130:基于第一目标域预估结果与源域翻译样本对应的标签、第二源域预估结果与源域样本对应的标签,对源域门控网络进行更新训练,得到更新训练后的源域门控网络。
步骤S1140:基于所述第一源域预估结果与目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域门控网络进行更新训练,得到更新训练后的目标域门控网络。
在对源域门控网络进行训练的过程中,可以基于第一源域预估结果与目标域翻译样本对应的标签之间的差距小于第一预设阈值、第二源域预估结果与源域样本对应的标签之间的差距小于第三预设阈值为收敛条件,对源域门控网络进行更新训练,训练过程可以采用SGD、Adam等梯度回转算法进行参数优化,对目标域门控网络的训练过程与源域门控网络相似,此处不再详述。对目标域门控网络和源域门控网络的更新训练也可以采用无监督训练算法、强化学习训练算法等,本申请不具体限定。
当源域门控网络为未训练好的模型时,可以在对翻译模型进行训练的过程中,对源域门控网络也进行训练,这样,在后续通过样本训练翻译模型时,可以通过更准确的源域门控网络得到更准确的权重分配结果,从而可以更准确地对翻译模型进行训练。对目标域门控网络进行训练具有与源域门控网络相同的效果,此处不再赘述。
在一个具体实施例中,上述翻译模型的训练方法还可以包括以下步骤S1150。
步骤S1150:基于第一目标域预估结果与源域翻译样本对应的标签、第二源域预估结果与源域样本对应的标签、第一源域预估结果与目标域翻译样本对应的标签、第二目标域预估结果与目标域样本对应的标签,对特征提取模型进行更新训练,得到更新训练后的特征提取模型。
在对各个特征提取模型进行训练的过程中,可以基于第一目标域预估结果与源域翻译样本对应的标签之间的差距小于第四预设阈值、第二源域预估结果与源域样本对应的标签之间的差距小于第三预设阈值、第一源域预估结果与目标域翻译样本对应的标签之间的差距小于第一预设阈值、第二目标域预估结果与目标域样本对应的标签之间的差距小于第五预设阈值为收敛条件,对各特征提取模型进行更新训练,训练过程可以采用SGD、Adam等梯度回转算法进行参数优化,也可以采用无监督训练算法、强化学习训练算法等进行优化训练,本申请不具体限定。
当特征提取模型为未训练好的模型时,可以在对翻译模型进行训练的过程中,对特征提取模型也进行训练,这样,在后续通过样本训练翻译模型时,可以通过更准确的特征提取模型得到更准确的特征提取结果,从而可以更准确地对翻译模型进行训练。
在一个具体实施例中,上述步骤S120中,可以按以下步骤S124~步骤S125实现将目标域样本翻译为目标域翻译样本。
步骤S124:将目标域样本通过目标域编码模型进行数值化编码,得到目标域编码样本。
目标域编码模型可以用于将目标域样本编码为向量数据、矩阵数据等,也可以编码为其他形式的数值化数据。目标域编码模型可以是神经网络模型、深度神经网络模型、卷积神经网络模型、逻辑回归模型、决策树模型、支持向量机模型中的至少一种,但不限于此。目标域编码模型可以是训练好的模型,也可以是未训练好的模型,当目标域编码模型是未训练好的模型时,可以在翻译模型的训练过程中同时对目标域编码模型进行训练。
步骤S125:利用待训练的目标域翻译模型将目标域编码样本翻译为目标域翻译样本。
步骤S125中,可以直接将目标域编码样本输入待训练的目标域翻译模型中,得到目标域翻译样本。也可以将目标域编码样本通过其他的特征处理得到处理后样本,再将处理后样本输入待训练的目标域翻译模型中,得到目标域翻译样本。例如,可以将目标域编码样本通过上述特征提取模型和目标域门控网络进行特征处理后得到目标域特征样本,再将目标域特征样本输入待训练的目标域翻译模型中,得到目标域翻译样本。
上述步骤S180中,可以按以下步骤S184~步骤S185实现将将源域样本翻译为源域翻译样本。
步骤S184:将源域样本通过源域编码模型进行数值化编码,得到源域编码样本;
步骤S185:利用待训练的源域翻译模型将所述源域编码样本翻译为源域翻译样本。
对源域样本进行数值化编码的方式与对目标域样本进行数值化编码的方式相似,此处不再详述。
步骤S160中,可以按以下步骤实现对源域样本进行预估得到第二源域预估结果:利用源域预估模型对源域编码样本进行预估,得到第二源域预估结果。也就是说,在对源域样本进行预估时,可以先通过步骤S184对源域样本进行数值化编码,得到源域编码样本,再利用源域预估模型对源域编码样本进行预估。
步骤S1110中,可以按以下步骤实现对对目标域样本进行预估得到第二目标域预估结果:利用目标域预估模型对目标域编码样本进行预估,得到第二目标域预估结果。
由于数值化的特征形式更便于机器学习算法进行训练和数据处理,因此,本申请将目标域样本、源域样本经过数值化处理后再利用翻译模型和预估模型进行翻译和预估,可以使得电子设备更快速、高效、准确地进行模型训练。
在一个具体实施例中,上述翻译模型训练方法还可以包括以下步骤S1160~步骤S1170。
步骤S1160:根据第一目标域预估结果与源域翻译样本对应的标签、第二源域预估结果与源域样本对应的标签,对源域编码模型进行更新训练,得到更新训练后的源域编码模型。
步骤S1170:根据第一源域预估结果与目标域翻译样本对应的标签、第二目标域预估结果与目标域样本对应的标签,对目标域编码模型进行更新训练,得到更新训练后的目标域编码模型。
当源域编码模型、目标域编码模型为未训练好的模型时,可以在对翻译模型进行训练的过程中,对源域编码模型和目标域编码模型也进行训练,这样,在后续通过样本训练翻译模型时,可以通过更准确的编码模型得到更准确的编码结果,从而可以更准确地对翻译模型进行训练。
步骤S1160、步骤S1170中,可以通过监督学习训练算法、无监督学习训练算法、半监督学习训练算法、强化学习训练算法等对源域编码模型和目标域编码模型进行更新训练,本申请不具体限定。可选地,可以使用SGD算法、Adam算法等梯度回转算法对源域编码模型和目标域编码模型进行更新训练。具体训练过程此处不再详述。
本实施方式对源域编码模型和目标域编码模型也进行了更新训练,这样,可以使得源域编码模型和目标域编码模型各自的编码结果更准确,从而使得对翻译模型的训练也更准确。另外,这样也可以无需预先将编码模型训练出来,而是可以在对翻译模型进行训练的过程中对编码模型进行训练,也就是说同步训练翻译模型和编码模型,使得训练过程更高效。
在一种实施方式中,步骤S140具体可以按以下步骤实现:基于第一源域预估结果,以使目标域翻译模型满足正交约束规则为训练限制条件,对待训练的目标域翻译模型进行训练。
如图4所示,本实施例进行翻译模型训练过程中的各个模型可以理解为是翻译网络,翻译网络中的各个模型用于对目标域翻译模型进行翻译。
目标域翻译模型满足正交约束规则,也可以理解为满足保距变化规则,是一种线性变换形式,可以使得数据之间在变换前后保持一致的距离角度关系。目标域翻译模型满足正交约束规则,即对目标域翻译模型的权重参数添加正交约束优化目标,具体的,正交约束规则可以为:目标域翻译模型的各权重参数组成的权重矩阵与该权重矩阵的转置矩阵相乘后得到的结果与单位矩阵之间的差距小于第二预设阈值,也就是说目标域翻译模型的各权重参数组成的权重矩阵与该权重矩阵的转置矩阵相乘后得到的结果逼近单位矩阵。通过这个正交约束可以使得多个样本数据通过目标域翻译模型翻译前后保持一致的相似度和距离关系,更好地避免了多个样本数据在翻译后坍缩到一个局部空间出现模式崩塌的问题。
实施例二
本申请第二实施例提供一种预估模型的训练方法,该方法的执行主体可以是电子设备,该电子设备可以是服务器、台式电脑、笔记本电脑、智能移动终端、客户端设备等,也可以是其他具有数据处理能力的电子设备。本申请实施例提供的预估模型的训练方法训练得到的预估模型可以用于预估用户点击待预估数据的点击率,或者预估用户对待预估数据的感兴趣程度,例如,预估用户点击候选商品的概率,预估用户点击候选文章的概率,预估用户对候选商品的感兴趣程度等,本申请不具体限定预估内容。
如图3至图5所示,本申请第二实施例提供的预估模型的训练方法包括以下步骤S210~步骤S230。图3、图4中的增强网络用于对预估模型进行训练。
步骤S210:获取用于训练预估模型的目标域样本。
步骤S210中的目标域样本也可以理解为目标域数据,目标域样本所属的领域与预估模型用于预估时对应的领域相同,例如,当预估模型用于预估用户通过文字域搜索到的商品时,目标域样本可以为用户通过文字域搜索商品的搜索信息,当预估模型用于预估用户对电影的点击率时,目标域样本可以为用户搜索电影的搜索信息,本申请不具体限定。
步骤S210中,电子设备可以从大量用户的历史行为数据中获取目标域样本。具体的,可以获取用户在目标域的历史行为数据,从用户在目标域的历史行为数据中提取目标域样本。
步骤S210中的目标域样本可以包括用户基于目标域发生的用户行为数据,可以包括用户特征、商品特征、搜索域以及用户是否点击商品的标签信息等,但不限于此。例如,如图3所示,当目标域样本为用户通过图片域搜索商品的搜索信息时,目标域样本可以包括用户性别、年龄、商品图片、商品价格、商品销量、用户基于图像的搜索请求、用户是否点击商品的标签等,但不限于此。
第二实施例中获取目标域样本的方式与第一实施例中获取目标域样本的方式相似,相似之处不再详述。不同之处在于,第一实施例是根据目标域翻译模型的领域确定的目标域翻译样本的领域,第二实施例是根据预估模型的领域确定的目标域翻译样本。
步骤S220:将目标域样本翻译为目标域翻译样本,目标域翻译样本与目标域样本的语义相关联、且满足源域样本对应的特征结构属性。
步骤S220中,可以使用预先训练的目标域翻译模型将目标域样本翻译为目标域翻译样本,也可以通过预先设置的目标域翻译规则将目标域样本翻译为目标域翻译样本。
预先设置的目标域翻译规则可以规定将目标域样本翻译为源域样本的翻译规则,翻译规则例如可以包括:将实体信息进行翻译、将限定性的信息保留。实体信息例如可以包括:地点、时间、物品等,限定性信息例如可以是形容词。示例性地,当目标域样本为“点击了科幻小说”其中,“小说”为物品这一实体,“科幻”为限定性信息,若源域属于电影领域,则基于翻译规则进行翻译后的目标域翻译样本可以为“点击了科幻电影”。翻译规则可以基于历史经验人工制定,也可以通过专家经验制定,也可以通过机器算法得到,本申请不具体限定。
为了更准确地对目标域样本进行翻译,步骤S220具体可以按以下步骤S221实现。
步骤S221:利用预先训练的翻译模型将目标域样本翻译为目标域翻译样本。
目标域翻译模型通过第一实施例中提供的翻译模型的训练方法训练得到。预先训练的目标翻译模型的具体训练过程请参考第一实施例,此处不再赘述。
步骤S230:基于上述目标域样本以及上述目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型。
步骤S230中,可以将目标域样本和目标域翻译样本进行组合后形成组合样本,基于组合样本对待训练的预估模型进行训练,也可以通过目标域样本、目标域翻译样本分别对待训练的预估模型进行训练。
待训练的预估模型可以包括神经网络模型、深度神经网络模型、卷积神经网络模型、逻辑回归模型、决策树模型、支持向量机模型、朴素贝叶斯模型中的至少一种,但不限于此。
具体的,可以通过监督学习训练算法、无监督学习训练算法、半监督学习训练算法、强化学习训练算法等对待训练的预估模型进行训练,本申请不具体限定。可选地,可以使用梯度回转算法对对待训练的预估模型进行训练,例如,通过SGD算法、Adam算法等对待训练的预估模型进行训练。
可选地,当通过监督学习训练算法对待训练的预估模型进行训练时,步骤S230可以按以下步骤实现:基于目标域样本、目标域翻译样本以及目标域样本对应的标签,对待训练的预估模型进行训练,得到训练后的预估模型。通过监督学习训练算法对待训练的预估模型进行训练,由于准确地获知了目标域样本对应的样本标签,因此可以使得训练后的预估模型的预估准确更高。
本实施例中对待训练的预估模型进行训练的方法可以参考第一实施例中对源域预估模型或者对目标域预估模型的训练方法,此处不再详述。
本申请提供的预估模型的训练方法,获取用于训练所述预估模型的目标域样本后,将目标域样本翻译为目标域翻译样本,由于目标域翻译样本与目标域样本的语义相关联、且满足源域样本对应的特征结构属性,因此,目标域翻译样本即是对目标域样本在源域特征结构上的扩充丰富,基于目标域样本以及目标域翻译样本对待训练的预估模型进行训练,训练样本结构更丰富,所得到的训练后的预估模型的预估结果更准确。
另外,本实施例提供的预估模型的训练方法先将翻译模型训练出来,翻译模型训练过程中,能够更好地对异构的输入特征进行编码并迁移知识,学习并训练出较好的跨域翻译模型以供后续预估模型进行训练时使用。在预估模型的训练过程中,只有目标域的点击率预估目标,对目标域的每个输入样本可以得到其对应的翻译后的隐空间特征,作为额外信息辅助最终目标域预估模型的学习。这种序列化训练方式能够有效缓解联合训练带来的优化冲突问题,且能够适应异构的输入特征。
在一种实施方式中,上述步骤S221可以按以下步骤S221a~步骤S221c实现。
步骤S221a:利用预先训练的特征提取模型对目标域样本进行特征提取,得到目标域样本对应的目标域提取样本。
预先训练的特征提取模型通过第一实施例提供的对特征提取模型进行更新训练的方法训练得到。特征提取模型的训练方式具体参考第一实施例,此处不再详述。
步骤S221b:根据目标域提取样本确定目标域特征样本。
步骤S221c:利用预先训练的翻译模型将目标域特征样本翻译为目标域翻译样本。
步骤S221a~步骤S221c的执行过程可以参考第一实施例中步骤S121~步骤S123的执行过程,此处不再详述。
本实施方式通过预先训练的特征提取模型对目标域样本进行了特征提取,由于预先训练的特征提取模型是通过第一实施例中对特征提取模型的训练方式训练得到的,该特征提取模型在训练过程中共享了目标域样本与源域样本的参数特性,这样,通过特征提取模型所提取的样本能够更好地体现不同域的特征属性,更便于后续进行翻译时共享其他域的特征,使得翻译出的目标域翻译样本更准确。
在一种实施方式中,步骤S221a中预先训练的特征提取模型可以包括多个,通过多个预先训练的特征提取模型得到的目标域提取样本相对应的也包括多个。
上述步骤S221b中,可以按以下步骤A~步骤B。
步骤A:基于目标域样本确定多个预先训练的特征提取模型的目标域权重,所述目标域权重用于表示预先训练的特征提取模型对目标域样本的重要程度。
步骤B:根据预先训练的特征提取模型对应的目标域权重对多个目标域提取样本进行加权处理,得到目标域特征样本。
如图4所示,步骤B得到的目标域特征样本也可以理解为模型训练过程中的隐空间特征。
步骤A~步骤B的执行过程可以参考第一实施例中步骤S122a~步骤S122b,此处不再详述。
由于不同域的样本进行翻译和预估时进行特征提取的侧重点不同,本实施例根据目标域样本确定出了多个特征提取模型的目标域权重,以根据目标域样本自身的特点对不同特征提取模型所提取的特征进行取舍,可以使得翻译结果和训练后的模型更准确。另外,本实施例使用多个特征提取模型对样本进行特征提取,可以有效地捕捉到目标域样本中的不同特征,提高了预测精度和鲁棒性。
在一种实施方式中,上述步骤A可以按以下步骤a实现。
步骤a:将目标域样本输入预先训练的目标域门控网络中,得到多个预先训练的特征提取模型的目标域权重。
所述预先训练的目标域门控网络第一实施例中对目标域门控网络进行更新训练的方法训练得到。
基于门控网络可以方便、快速、准确地得到每个特征提取模型的权重。
在一种实施方式中,上述步骤S220可以按以下步骤S222~步骤S223实现。
步骤S222:将目标域样本进行数值化编码,得到目标域编码样本。
数值化编码可以为向量化编码、矩阵化编码,也可以为其他方式的数值化编码方式,本申请不具体限定。进行数值化编码时,可以基于One-Hot编码、二进制编码、静态编码、分桶编码和序列编码中的至少一种编码方式将目标域样本进行数值化编码,本申请不具体限定。
步骤S223:将目标域编码样本翻译为目标域翻译样本。
步骤S223进行翻译的过程可以参考步骤S220,此处不再详述。
上述步骤S230可以按以下步骤S231实现。
步骤S231:基于目标域编码样本以及目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型。
由于数值化的特征形式更便于计算机进行数据处理,因此,本申请将目标域样本经过数值化处理后再进行翻译和预估模型的训练,可以使得电子设备更快速、高效、准确地进行模型训练。
在一种实施方式中,上述步骤S222可以按以下步骤实现:
将目标域样本输入预先训练的目标域编码模型中进行数值化编码,得到目标域编码样本,预先训练的目标域编码模型基于第一实施例提供的对目标域编码模型进行更新训练的方法训练得到。
本实施方式基于预先训练的目标域编码模型可以非常高效、准确地得到目标域编码样本。
在一种实施方式中,上述步骤S230可以按以下步骤实现:基于目标域特征样本以及目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型。其中,目标域翻译样本基于上述步骤S221a~步骤S221c进行特征提取的方式实现。通过对样本进行特征提取以及处理后对模型进行训练,能够使得预估模型的训练更准确高效。
实施例三
本申请第三实施例提供了一种翻译方法,该方法的执行主体可以是电子设备,该电子设备可以是服务器、台式电脑、笔记本电脑、智能移动终端、客户端设备等,也可以是其他具有数据处理能力的电子设备。本申请实施例提供的翻译方法可以应用于不同域数据之间的相互翻译场景,例如,将通过文字域搜索到的商品信息对应的搜索数据翻译为通过图片域搜索到的商品信息对应的搜索数据,或者,将用户在移动端的视频浏览信息翻译为用户在台式电脑端的视频浏览信息,也可以用于其他不同域之间进行数据翻译,本申请不具体限定。
如图6所示,本申请第三实施例提供的翻译方法包括以下步骤S310~步骤S320。
步骤S310:获取待翻译目标域数据。
待翻译目标域数据可以是待预估点击率的数据,也可以是其他数据。当待翻译目标域数据为待预估点击率的数据时,待翻译目标域数据可以包括用于预估点击率的数据以及用户的特征数据。
待翻译目标域数据可以是用户通过文字域搜索商品的搜索信息,也可以是用户通过图片域搜索商品的搜索信息,也可以是用户通过短视频或者音频等搜索商品的搜索信息;也可以是用户搜索电影的搜索信息,或者搜索小说的搜索信息,或者搜索电影的搜索信息,本申请不具体限定。
示例性地,以执行主体电子设备为服务器为例,服务器可以响应于接收到用户发送的搜索请求、检索请求、页面发送请求等请求信息,确定请求信息所请求的数据,并根据所请求的数据确定待翻译目标域数据。
具体的,服务器可以在接收到客户端发送的搜索请求后,查找与搜索请求相匹配的候选数据,根据候选数据以及发送搜索请求的用户特征确定待翻译的目标域数据。例如,对于网购平台,客户端向服务器发送了“女士外套”这一文字搜索请求,服务器可以查找到各女士外套,并将包含查找到的女士外套的特征、发送搜索请求的用户特征、用户发送的文字搜索域等信息的数据确定为待翻译目标域数据。
步骤S320:利用目标域翻译模型将待翻译目标域数据翻译为目标域翻译数据,所述目标域翻译数据与所述目标域数据的语义相关联、且满足源域数据对应的特征结构属性。
所述目标域翻译模型基于第一实施例中提供的任一翻译模型训练方法训练得到。
步骤S320中,可以直接将待翻译目标域数据输入翻译模型得到目标域翻译数据,也可以将待翻译目标域数据经过编码、特征提取等处理后再输入翻译模型得到目标域翻译数据。本申请不具体限定。
本申请实施例提供的翻译方法,能够准确地将待翻译目标域数据翻译为满足源域样本特征结构属性的目标域翻译数据,即本申请实施例提供的翻译方法能够将一个域的数据翻译为与另一个域结构特征一致的数据,这样,可以将翻译后的数据也用于对预估模型进行训练,从而可以丰富预估模型训练时的样本数据,使得预估模型学习到更多有效的特征,从而可能使得预估模型对点击率预估更准确;还能将翻译后的数据用于后续对数据的预估,提高了进行预估时的数据维度,从而提高了点击率预估的准确性。
在一种实施方式中,步骤S320可以按以下步骤S321~步骤S323实现。
步骤S321:利用特征提取模型对待翻译目标域数据进行特征提取,得到待翻译目标域提取数据。
所述特征提取模型基于第一实施例提供的对特征提取模型进行更新训练的方法训练得到。
步骤S322:根据待翻译目标域提取数据确定待翻译目标域特征数据。
步骤S323:利用目标域翻译模型将待翻译目标域特征数据翻译为目标域翻译数据。
步骤S321~步骤S323的执行过程可以参考第一实施例中步骤S121~步骤S123的执行过程,此处不再详述。
本实施方式通过特征提取模型对待翻译目标域数据进行了特征提取,由于特征提取模型是通过第一实施例中对特征提取模型的训练方式训练得到的,该特征提取模型在训练过程中共享了目标域样本与源域样本的参数特性,这样,通过特征提取模型所提取的数据能够更好地体现不同域的特征属性,更便于进行翻译时共享其他域的特征,使得翻译出的目标域翻译样本更准确。
在一种实施方式中,所述特征提取模型包括多个,通过多个所述特征提取模型得到的所述待翻译目标域提取数据包括多个。
步骤S322中,可以按以下步骤S322a~步骤S322b确定待翻译目标域特征数据。
步骤S322a:基于待翻译目标域数据确定多个特征提取模型的目标域权重,目标域权重用于表示特征提取模型对待翻译目标域数据的重要程度。
步骤S322b:根据特征提取模型对应的目标域权重对多个待翻译目标域提取数据进行加权处理,得到待翻译目标域特征数据。
步骤S322a~步骤S322b的执行过程可以参考第一实施例中步骤S122a~步骤S122b,此处不再详述。
由于不同域的数据进行翻译和预估时进行特征提取的侧重点不同,本实施例根据待翻译的目标域数据确定出了多个特征提取模型的目标域权重,以根据待翻译目标域数据自身的特点对不同特征提取模型所提取的特征进行取舍,可以使得翻译结果更准确。另外,本实施例使用多个特征提取模型对待翻译目标域数据进行特征提取,可以有效地捕捉到待翻译目标域样本中的不同特征,提高了预测精度和鲁棒性。
在一种实施方式中,步骤S322a可以按以下步骤实现:
将待翻译目标域数据输入目标域门控网络中,得到多个特征提取模型的目标域权重,目标域门控网络基于第一实施例提供的对目标域门控网络进行更新训练的方法训练得到。基于门控网络可以方便、快速、准确地得到每个特征提取模型的权重。
实施例四
本申请第四实施例提供了一种预估方法,该方法的执行主体可以是电子设备,该电子设备可以是服务器、台式电脑、笔记本电脑、智能移动终端、客户端设备等,也可以是其他具有数据处理能力的电子设备。本申请实施例提供的预估方法可以应用于预估用户点击待预估数据的点击率,或者预估用户对待预估数据的感兴趣程度,例如,预估用户点击候选商品的概率,预估用户点击候选文章的概率,预估用户对候选商品的感兴趣程度等,本申请不具体限定预估内容。
如图7所示,本申请第四实施例提供的预估方法包括以下步骤S410~步骤S430。
步骤S410:获取待预估目标域数据。
待预估目标域数据可以是用户通过文字域搜索商品的搜索信息,也可以是用户通过图片域搜索商品的搜索信息,也可以是用户通过短视频或者音频等搜索商品的搜索信息;也可以是用户搜索电影的搜索信息,或者搜索小说的搜索信息,或者搜索电影的搜索信息,本申请不具体限定。
示例性地,以执行主体电子设备为服务器为例,服务器可以响应于接收到用户发送的搜索请求、检索请求、页面发送请求等请求信息,确定请求信息所请求的数据,并根据所请求的数据确定待预估目标域数据。
具体的,服务器可以在接收到客户端发送的搜索请求后,查找与搜索请求相匹配的候选数据,根据候选数据以及发送搜索请求的用户特征确定待预估目标域数据。
步骤S420:将所述待预估目标域数据翻译为待预估目标域翻译数据,所述待预估目标域翻译数据与所述待预估目标域数据语义相关联、且满足源域数据对应的特征结构属性。
步骤S420中进行翻译的过程可以参考第二实施例中步骤S220将目标域样本翻译为目标域翻译样本的过程,此处不再详述。
步骤S430:基于所述待预估目标域数据与所述待预估目标域翻译数据,确定所述待预估目标域数据对应的预估结果。
具体的,可以利用预估模型,基于待预估目标域数据与所述待预估目标域翻译数据,确定所述待预估目标域数据对应的预估结果。也可以通过其他预估规则确定所述待预估目标域数据对应的预估结果,本申请不具体限定。
本申请提供的预估方法,将待预估目标域数据翻译为待预估目标域翻译数据后,由于待预估目标域翻译数据与待预估目标域数据语义相关联、且满足源域数据对应的特征结构属性,因此,基于待预估目标域数据与待预估目标域翻译数据进行预估时,能够使得预估所基于的数据更丰富,从而能够使得确定出的待预估目标域数据对应的预估结果更准确。
在一种实施方式中,步骤S420在将待预估目标域数据翻译为待预估目标域翻译数据时,可以基于第三实施例提供的翻译方法将所述待预估目标域数据翻译为待预估目标域翻译数据。
在一种实施方式中,步骤S430在基于待预估目标域数据与待预估目标域翻译数据确定待预估目标域数据对应的预估结果时,利用预估模型对待预估目标域数据与所述待预估目标域翻译数据进行预估,得到所述待预估目标域数据对应的预估结果,预估模型通过第二实施例提供的预估模型的训练方法训练得到。
在一种实施方式中,利用预估模型对待预估目标域数据与所述待预估目标域翻译数据进行预估,可以按以下方式实现:利用特征提取模型对待预估目标域数据进行特征提取,得到待预估目标域提取数据,根据待预估目标域提取数据确定待预估目标域特征数据,利用预估模型对待预估目标域特征数据与所述待预估目标域翻译数据进行预估。特征提取模型的训练方式为第一实施例中对特征提取模型的训练方式,此处不再赘述。
本实施例提供的预估方法的具体执行过程与第二实施例中预估模型的训练方法相似,具体预估方法可以参考第二实施例中预估模型的训练过程,此处不再赘述。
实施例五
本申请第五实施例提供了一种信息推荐方法,该方法的执行主体可以是电子设备,该电子设备可以是服务器、台式电脑、笔记本电脑、智能移动终端、客户端设备等,也可以是其他具有数据处理能力的电子设备。本申请实施例提供的信息推荐方法可以应用于向客户端推荐候选信息,例如,向用户推荐候选商品、向用户推荐候选文章等,本申请不具体限定推荐内容。
如图8所示,本申请实施例提供的信息推荐方法可以包括以下步骤S510~步骤S530。
步骤S510:响应于接收到信息获取请求,确定与所述信息获取请求匹配的候选数据。
上述信息获取请求可以是客户端发送的搜索请求、检索请求等。候选数据可以是候选商品、候选文章等。
步骤S520:对候选数据进行预估,得到预估结果。
步骤S520进行预估的方法为第四实施例提供的任一项预估方法。
上述预估结果可以为用户对候选数据的感兴趣程度、对候选数据的点击率等,本申请不具体限定。
步骤S530:基于预估结果向发送信息获取请求的客户端发送所述候选数据。
具体的,步骤S530可以是当预估结果满足预设条件时,向发送信息获取请求的客户端发送候选数据。
本步骤中,也可以基于预估结果确定候选数据发送给客户端后的显示位置,以使得预估结果中点击率高的候选数据排在点击率低的数据之前。
本申请提供的推荐方法在进行数据推荐时,由于在推荐过程中对候选数据进行了预估,且预估过程中将候选数据翻译成了不同领域的数据,因此,预估结果更准确,从而使得推荐更符合用户需求,提高了用户对推荐的数据的点击率。
实施例六
本申请第六实施例提供一种翻译模型的训练装置,由于本实施例基本相似于第一实施例的方法实施例,所以描述得比较简单,相关之处参见第一实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图9所示,本申请第六实施例提供的翻译模型的训练装置,包括:
第一获取单元601,用于获取目标域样本;
第一翻译单元602,用于利用待训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,以使所述目标域翻译样本与所述目标域样本的语义相关联、且满足源域样本对应的特征结构属性;
第一预估单元603,用于利用源域预估模型,对所述目标域翻译样本进行预估,得到第一源域预估结果;
第一训练单元604,用于基于所述第一源域预估结果对所述待训练的目标域翻译模型进行训练,得到训练后的目标域翻译模型。
可选地,所述第一训练单元具体用于:
基于所述第一源域预估结果以及所述目标域翻译样本对应的标签,对所述待训练的目标域翻译模型进行训练。
可选地,所述第一获取单元还用于:获取源域样本;
所述第一预估单元,还用于利用源域预估模型,对所述源域样本进行预估,得到第二源域预估结果;
所述第一训练单元,还用于基于所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域预估模型进行更新训练,得到更新训练后的源域预估模型。
可选地,所述第一训练单元具体用于:基于所述第一源域预估结果,以使所述目标域翻译模型满足正交约束规则为训练限制条件,对所述待训练的目标域翻译模型进行训练。
可选地,所述第一翻译单元还用于:利用待训练的源域翻译模型将所述源域样本翻译为源域翻译样本,以使所述源域翻译样本与所述源域样本的语义相关联、且满足所述目标域样本对应的特征结构属性;
所述第一预估单元还用于:利用目标域预估模型,对所述源域翻译样本进行预估,得到第一目标域预估结果;
所述第一训练单元还用于:基于所述第一目标域预估结果以及所述源域翻译样本对应的标签,对所述待训练的源域翻译模型进行训练,得到训练后的源域翻译模型。
可选地,所述第一预估单元还用于:利用目标域预估模型,对所述目标域样本进行预估,得到第二目标域预估结果;
所述第一训练单元,还用于基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域预估模型进行更新训练,得到更新训练后的目标域预估模型。
可选地,所述第一翻译单元具体用于:
利用特征提取模型对所述目标域样本进行特征提取,得到所述目标域样本对应的目标域提取样本;根据所述目标域提取样本确定目标域特征样本;利用待训练的目标域翻译模型将所述目标域特征样本翻译为目标域翻译样本;
利用所述特征提取模型对所述源域样本进行特征提取,得到所述源域样本对应的源域提取样本;根据所述源域提取样本确定源域特征样本;利用待训练的源域翻译模型将所述源域特征样本翻译为源域翻译样本。
可选地,所述特征提取模型包括多个,多个所述特征提取模型分别用于进行不同类型的特征提取,所述目标域样本对应多个目标域提取样本,所述源域样本对应多个源域提取样本;
所述第一翻译单元具体用于:基于所述目标域样本确定多个所述特征提取模型的目标域权重,所述目标域权重用于表示所述特征提取模型对所述目标域样本的重要程度;根据所述目标域权重对多个所述目标域提取样本进行加权处理,得到目标域特征样本;
基于所述源域样本确定多个所述特征提取模型的源域权重,所述源域权重用于表示所述特征提取模型对所述源域样本的重要程度;根据所述源域权重对多个所述源域提取样本进行加权处理,得到源域特征样本。
可选地,第一翻译单元具体用于:将所述目标域样本输入目标域门控网络中,得到多个所述特征提取模型的目标域权重;将所述源域样本输入源域门控网络中,得到多个所述特征提取模型的源域权重。
可选地,所述第一训练单元还用于:
基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域门控网络进行更新训练,得到更新训练后的源域门控网络;
基于所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域门控网络进行更新训练,得到更新训练后的目标域门控网络。
可选地,所述第一训练单元还用于:
基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签、第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述特征提取模型进行更新训练,得到更新训练后的特征提取模型。
可选地,所述第一翻译单元具体用于:
将所述目标域样本通过目标域编码模型进行数值化编码,得到目标域编码样本;利用待训练的目标域翻译模型将所述目标域编码样本翻译为目标域翻译样本;
将所述源域样本通过源域编码模型进行数值化编码,得到源域编码样本;利用待训练的源域翻译模型将所述源域编码样本翻译为源域翻译样本;
所述第一预估单元具体用于:利用源域预估模型对所述源域编码样本进行预估,得到第二源域预估结果;
利用目标域预估模型对所述目标域编码样本进行预估,得到第二目标域预估结果。
可选地,所述第一训练单元还用于:
根据所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域编码模型进行更新训练,得到更新训练后的源域编码模型;
根据所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域编码模型进行更新训练,得到更新训练后的目标域编码模型。
可选地,所述第一预估单元具体用于:将所述源域特征样本输入源域预估模型中,得到第二源域预估结果;
将所述目标域特征样本输入目标域预估模型中,得到第二目标域预估结果。
本申请第七实施例还提供一种预估模型的训练装置,所述装置包括:
第二获取单元,用于获取用于训练所述预估模型的目标域样本;
第二翻译单元,用于将所述目标域样本翻译为目标域翻译样本,所述目标域翻译样本与所述目标域样本的语义相关联、且满足源域样本对应的特征结构属性;
第二训练单元,用于基于所述目标域样本以及所述目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型。
本申请第八实施例还提供一种翻译装置,所述装置包括:
第三获取单元,用于获取待翻译目标域数据;
第三翻译单元,用于利用目标域翻译模型将所述待翻译目标域数据翻译为目标域翻译数据,所述目标域翻译数据与所述目标域数据的语义相关联、且满足源域数据对应的特征结构属性,所述翻译模型基于第一方面任一项所述的翻译模型训练方法训练得到。
本申请第九实施例提供一种预估装置,所述装置包括:
第四获取单元,用于获取待预估目标域数据;
第四翻译单元,用于将所述待预估目标域数据翻译为待预估目标域翻译数据,所述待预估目标域翻译数据与所述待预估目标域数据语义相关联、且满足源域数据对应的特征结构属性;
第四预估单元,用于基于所述待预估目标域数据与所述待预估目标域翻译数据,确定所述待预估目标域数据对应的预估结果。
本申请第十实施例提供一种信息推荐装置,所述装置包括:
确定单元,用于响应于接收到信息获取请求,确定与所述信息获取请求匹配的候选数据;
第五预估单元,用于基于第四方面任一项所述的预估方法,对所述候选数据进行预估,得到预估结果;
发送单元,用于基于所述预估结果向发送所述信息获取请求的客户端发送所述候选数据。
本申请第十一实施例还提供与上述方法实施例和装置实施例相对应的电子设备实施例,由于电子设备实施例基本相似于方法实施例,所以描述得比较简单,相关的技术特征的细节部分以及实现的效果请参见上述提供的方法实施例的对应说明即可,下述对电子设备实施例的描述仅仅是示意性的。该电子设备实施例如下:
请参考图10理解上述电子设备,图10为电子设备的示意图。本实施例提供的电子设备包括:处理器1001、存储器1002、通信总线1003、通信接口1004;
该存储器1002用于存储数据处理的计算机指令,该计算机指令在被处理器1001读取执行时,执行如上述第一实施例至第四实施例中任一方法实施例所示的步骤,在此不再赘述。
本申请第十二实施例还提供用于实现上述方法的计算机可读存储介质。本申请提供的计算机可读存储介质实施例描述得比较简单,相关部分请参见上述方法实施例的对应说明即可,下述描述的实施例仅仅是示意性的。
本实施例提供的计算机可读存储介质上存储有计算机指令,该指令被处理器执行时实现第一实施例至第五实施例所述的方法实施例所示的步骤,在此不再赘述。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (15)
1.一种翻译模型的训练方法,其特征在于,所述方法包括:
获取目标域样本;
利用待训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,以使所述目标域翻译样本与所述目标域样本的语义相关联、且满足源域样本对应的特征结构属性;
利用源域预估模型,对所述目标域翻译样本进行预估,得到第一源域预估结果;
基于所述第一源域预估结果对所述待训练的目标域翻译模型进行训练,得到训练后的目标域翻译模型。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一源域预估结果对所述待训练的目标域翻译模型进行训练,包括:
基于所述第一源域预估结果以及所述目标域翻译样本对应的标签,对所述待训练的目标域翻译模型进行训练。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取源域样本;
利用源域预估模型,对所述源域样本进行预估,得到第二源域预估结果;
基于所述第一源域预估结果与所述目标域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签,对所述源域预估模型进行更新训练,得到更新训练后的源域预估模型。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第一源域预估结果对所述待训练的目标域翻译模型进行训练,包括:
基于所述第一源域预估结果,以使所述目标域翻译模型满足正交约束规则为训练限制条件,对所述待训练的目标域翻译模型进行训练。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
利用待训练的源域翻译模型将所述源域样本翻译为源域翻译样本,以使所述源域翻译样本与所述源域样本的语义相关联、且满足所述目标域样本对应的特征结构属性;
利用目标域预估模型,对所述源域翻译样本进行预估,得到第一目标域预估结果;
基于所述第一目标域预估结果以及所述源域翻译样本对应的标签,对所述待训练的源域翻译模型进行训练,得到训练后的源域翻译模型。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
利用目标域预估模型,对所述目标域样本进行预估,得到第二目标域预估结果;
基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述目标域预估模型进行更新训练,得到更新训练后的目标域预估模型。
7.根据权利要求6所述的方法,其特征在于,所述利用待训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,包括:
利用特征提取模型对所述目标域样本进行特征提取,得到所述目标域样本对应的目标域提取样本;
根据所述目标域提取样本确定目标域特征样本;
利用待训练的目标域翻译模型将所述目标域特征样本翻译为目标域翻译样本;
所述利用待训练的源域翻译模型将所述源域样本翻译为源域翻译样本,包括:
利用所述特征提取模型对所述源域样本进行特征提取,得到所述源域样本对应的源域提取样本;
根据所述源域提取样本确定源域特征样本;
利用待训练的源域翻译模型将所述源域特征样本翻译为源域翻译样本。
8.根据权利要求7所述的方法,其特征在于,所述特征提取模型包括多个,多个所述特征提取模型分别用于进行不同类型的特征提取,所述目标域样本对应多个目标域提取样本,所述源域样本对应多个源域提取样本;
所述根据所述目标域提取样本确定目标域特征样本,包括:
基于所述目标域样本确定多个所述特征提取模型的目标域权重,所述目标域权重用于表示所述特征提取模型对所述目标域样本的重要程度;
根据所述目标域权重对多个所述目标域提取样本进行加权处理,得到目标域特征样本;
所述根据所述源域提取样本确定源域特征样本,包括:
基于所述源域样本确定多个所述特征提取模型的源域权重,所述源域权重用于表示所述特征提取模型对所述源域样本的重要程度;
根据所述源域权重对多个所述源域提取样本进行加权处理,得到源域特征样本。
9.根据权利要求8所述的方法,其特征在于,所述基于所述目标域样本确定多个所述特征提取模型的目标域权重,包括:
将所述目标域样本输入目标域门控网络中,得到多个所述特征提取模型的目标域权重;
所述基于所述源域样本确定多个所述特征提取模型的源域权重,包括:
将所述源域样本输入源域门控网络中,得到多个所述特征提取模型的源域权重。
10.根据权利要求7所述的方法,其特征在于,所述方法还包括:
基于所述第一目标域预估结果与所述源域翻译样本对应的标签、所述第二源域预估结果与所述源域样本对应的标签、第一源域预估结果与所述目标域翻译样本对应的标签、所述第二目标域预估结果与所述目标域样本对应的标签,对所述特征提取模型进行更新训练,得到更新训练后的特征提取模型。
11.根据权利要求6所述的方法,其特征在于,所述利用待训练的目标域翻译模型将所述目标域样本翻译为目标域翻译样本,包括:
将所述目标域样本通过目标域编码模型进行数值化编码,得到目标域编码样本;
利用待训练的目标域翻译模型将所述目标域编码样本翻译为目标域翻译样本;
所述利用待训练的源域翻译模型将所述源域样本翻译为源域翻译样本,包括:
将所述源域样本通过源域编码模型进行数值化编码,得到源域编码样本;
利用待训练的源域翻译模型将所述源域编码样本翻译为源域翻译样本;
所述利用源域预估模型,对所述源域样本进行预估,得到第二源域预估结果,包括:利用源域预估模型对所述源域编码样本进行预估,得到第二源域预估结果;
所述利用目标域预估模型,对所述目标域样本进行预估,得到第二目标域预估结果,包括:利用目标域预估模型对所述目标域编码样本进行预估,得到第二目标域预估结果。
12.一种预估模型的训练方法,其特征在于,所述方法包括:
获取用于训练所述预估模型的目标域样本;
将所述目标域样本翻译为目标域翻译样本,所述目标域翻译样本与所述目标域样本的语义相关联、且满足源域样本对应的特征结构属性;
基于所述目标域样本以及所述目标域翻译样本,对待训练的预估模型进行训练,得到训练后的预估模型。
13.一种翻译方法,其特征在于,所述方法包括:
获取待翻译目标域数据;
利用目标域翻译模型将所述待翻译目标域数据翻译为目标域翻译数据,所述目标域翻译数据与所述目标域数据的语义相关联、且满足源域数据对应的特征结构属性,所述目标域翻译模型基于权利要求1至11中任一项所述的翻译模型训练方法训练得到。
14.一种预估方法,其特征在于,所述方法包括:
获取待预估目标域数据;
将所述待预估目标域数据翻译为待预估目标域翻译数据,所述待预估目标域翻译数据与所述待预估目标域数据语义相关联、且满足源域数据对应的特征结构属性;
基于所述待预估目标域数据与所述待预估目标域翻译数据,确定所述待预估目标域数据对应的预估结果。
15.一种信息推荐方法,其特征在于,所述方法包括:
响应于接收到信息获取请求,确定与所述信息获取请求匹配的候选数据;
基于权利要求14所述的预估方法,对所述候选数据进行预估,得到预估结果;
基于所述预估结果向发送所述信息获取请求的客户端发送所述候选数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310814025.4A CN117034963A (zh) | 2023-07-04 | 2023-07-04 | 模型训练方法、翻译方法、预估方法、推荐方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310814025.4A CN117034963A (zh) | 2023-07-04 | 2023-07-04 | 模型训练方法、翻译方法、预估方法、推荐方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117034963A true CN117034963A (zh) | 2023-11-10 |
Family
ID=88601204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310814025.4A Pending CN117034963A (zh) | 2023-07-04 | 2023-07-04 | 模型训练方法、翻译方法、预估方法、推荐方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117034963A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117636909A (zh) * | 2024-01-26 | 2024-03-01 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及计算机可读存储介质 |
-
2023
- 2023-07-04 CN CN202310814025.4A patent/CN117034963A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117636909A (zh) * | 2024-01-26 | 2024-03-01 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及计算机可读存储介质 |
CN117636909B (zh) * | 2024-01-26 | 2024-04-09 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111581510B (zh) | 分享内容处理方法、装置、计算机设备和存储介质 | |
US20240078258A1 (en) | Training Image and Text Embedding Models | |
CN111339415B (zh) | 一种基于多交互式注意力网络的点击率预测方法与装置 | |
JP7564332B2 (ja) | 融合パラメータの特定方法及び装置、情報推奨方法及び装置、パラメータ測定モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
US20230205813A1 (en) | Training Image and Text Embedding Models | |
CN107644036B (zh) | 一种数据对象推送的方法、装置及系统 | |
CN110162693A (zh) | 一种信息推荐的方法以及服务器 | |
CN110909182A (zh) | 多媒体资源搜索方法、装置、计算机设备及存储介质 | |
CN111382555A (zh) | 数据处理方法、介质、装置和计算设备 | |
CN112907334B (zh) | 一种对象推荐方法及装置 | |
CN115062732B (zh) | 基于大数据用户标签信息的资源共享合作推荐方法及系统 | |
CN111695960A (zh) | 一种对象推荐系统、方法、电子设备及存储介质 | |
CN110413894A (zh) | 内容推荐模型的训练方法、内容推荐的方法及相关装置 | |
Ben-Shimon et al. | An ensemble method for top-N recommendations from the SVD | |
CN112749330A (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
CN117034963A (zh) | 模型训练方法、翻译方法、预估方法、推荐方法及装置 | |
Zhao et al. | Tag‐Aware Recommender System Based on Deep Reinforcement Learning | |
CN108389113B (zh) | 一种协同过滤推荐方法和系统 | |
WO2022001887A1 (zh) | 用于训练物品编码模型的方法和装置 | |
CN108717436A (zh) | 一种基于显著性检测的商品目标快速检索方法 | |
CN114329167A (zh) | 超参数学习、智能推荐、关键词和多媒体推荐方法及装置 | |
CN116957128A (zh) | 业务指标预测方法、装置、设备和存储介质 | |
Zeng et al. | User Personalized Recommendation Algorithm Based on GRU Network Model in Social Networks | |
CN114996578A (zh) | 模型训练方法、目标对象选取方法、装置及电子设备 | |
CN114298118B (zh) | 一种基于深度学习的数据处理方法、相关设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |