CN115905847A - 负样本选取方法、系统、可读存储介质及电子设备 - Google Patents
负样本选取方法、系统、可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN115905847A CN115905847A CN202111117363.XA CN202111117363A CN115905847A CN 115905847 A CN115905847 A CN 115905847A CN 202111117363 A CN202111117363 A CN 202111117363A CN 115905847 A CN115905847 A CN 115905847A
- Authority
- CN
- China
- Prior art keywords
- order
- determining
- node
- historical orders
- candidate historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种负样本选取方法、系统、可读存储介质及电子设备,所述方法包括:针对图谱网络中的抢单对象,根据该抢单对象的位置属性,召回多个候选历史订单;获取抢单对象对应的第一向量表示,和多个候选历史订单对应的多个第二向量表示;基于第一向量表示和多个第二向量表示,确定抢单对象的位置属性与多个候选历史订单的位置属性之间的相似度;基于抢单对象的接单情况与多个候选历史订单,确定抢单对象与多个候选历史订单之间的顺路度;基于相似度和顺路度,从多个候选历史订单中确定用于训练目标模型的负样本集合。通过本公开的技术方案,可以增加负样本的类型,从而提高模型的预测效果,进而提升抢单对象的订单接起效率。
Description
技术领域
本公开涉及计算机技术领域,具体地,涉及一种负样本选取方法、系统、可读存储介质及电子设备。
背景技术
随着互联网技术的发展,越来越多的应用平台需要进行订单分配。例如,打车平台、外卖平台及搬家平台等。应用平台可以利用预先训练好的抢单排序模型实现订单分配,例如,以外卖平台为例,相关技术中,可以基于正负样本以及骑手已有订单的分布情况训练得到抢单排序模型,以利用该抢单排序模型向骑手分配订单。其中,正样本为曝光并点击的订单,负样本为曝光未点击的订单。
然而,仅将曝光未点击的订单作为负样本并不准确,进一步地,使用该负样本训练得到的模型的预测效果也并不准确。
发明内容
本公开的目的是提供一种负样本选取方法、系统、可读存储介质及电子设备,以解决相关技术中的问题,提高模型的预测效果,并提升抢单对象的订单接起效率。
为了实现上述目的,第一方面,本公开提供一种负样本选取方法,所述方法包括:
针对图谱网络中的抢单对象,根据该抢单对象的位置属性,召回多个候选历史订单;其中,所述图谱网络是根据抢单对象以及历史订单之间的关联关系建立的,所述图谱网络包括抢单对象节点、历史订单节点以及用于表征所述抢单对象节点以及所述历史订单节点之间的关联关系的边;
获取所述抢单对象对应的第一向量表示,和所述多个候选历史订单对应的多个第二向量表示;其中,所述第一向量表示和所述多个第二向量表示为基于所述图谱网络对分类模型进行训练得到;
基于所述第一向量表示和所述多个第二向量表示,确定所述抢单对象的位置属性与所述多个候选历史订单的位置属性之间的相似度;
基于所述抢单对象的接单情况与所述多个候选历史订单,确定所述抢单对象与所述多个候选历史订单之间的顺路度;
基于所述相似度和所述顺路度,从所述多个候选历史订单中确定用于训练目标模型的负样本集合,其中,所述负样本集合中的负样本至少反映对应的所述候选历史订单的被抢分值及历史点击情况。
可选地,所述基于所述抢单对象的接单情况与所述多个候选历史订单,确定所述抢单对象与所述多个候选历史订单之间的顺路度,包括:
在所述抢单对象存在已接历史订单的情况下,基于所述已接历史订单中的最近起始位置和最远到达位置,确定第一路径向量,并基于所述多个候选历史订单各自的起始位置和到达位置,确定多个第二路径向量;
基于所述第一路径向量和所述多个第二路径向量,确定所述顺路度。
可选地,所述基于所述相似度和所述顺路度,从所述多个候选历史订单中确定用于训练目标模型的负样本集合,包括:
基于所述相似度和所述顺路度,确定所述多个候选历史订单的所述被抢分值;
基于所述被抢分值对所述多个候选历史订单进行排序,得到排序结果;
利用预设等级划分规则,基于所述排序结果对所述多个候选历史订单进行等级划分,并基于等级划分后的所述多个候选历史订单,选取用于训练所述目标模型的所述负样本集合。
可选地,所述第一向量表示和所述多个第二向量表示为训练好的所述分类模型的中间层的参数。
可选地,所述分类模型通过如下过程训练得到:
重复执行在所述图谱网络中选取起始节点,并基于预设移动规则确定与所述起始节点相关的邻接节点的过程,以得到至少一个样本序列;
基于预设选取规则,确定所述至少一个样本序列中多个样本节点中每个对应的多个正样本和多个负样本;
基于所述多个样本节点迭代更新初始分类模型的参数,以使各样本节点对应的损失函数值满足预设条件,得到所述训练好的所述分类模型;
其中,所述损失函数值基于所述样本节点的所述正样本的预测值和所述负样本的预测值的差异确定。
可选地,所述基于预设移动规则确定与所述起始节点相关的邻接节点,包括:
基于与所述起始节点直接或间接连接的所述边的权重,确定与所述起始节点直接或间接连接的所述邻接节点;其中,所述权重反映与所述边相关的节点之间连接的次数。
可选地,所述分类模型为跳字模型,所述损失函数为铰链损失函数。
第二方面,本公开还提供一种负样本选取系统,所述系统包括:
召回模块,用于针对图谱网络中的抢单对象,根据该抢单对象的位置属性,召回多个候选历史订单;其中,所述图谱网络是根据抢单对象以及历史订单之间的关联关系建立的,所述图谱网络包括抢单对象节点、历史订单节点以及用于表征所述抢单对象节点以及所述历史订单节点之间的关联关系的边;
获取模块,用于获取所述抢单对象对应的第一向量表示,和所述多个候选历史订单对应的多个第二向量表示;其中,所述第一向量表示和所述多个第二向量表示为基于所述图谱网络对分类模型进行训练得到;
相似度确定模块,用于基于所述第一向量表示和所述多个第二向量表示,确定所述抢单对象的位置属性与所述多个候选历史订单的位置属性之间的相似度;
顺路度确定模块,用于基于所述抢单对象的接单情况与所述多个候选历史订单,确定所述抢单对象与所述多个候选历史订单之间的顺路度;
负样本确定模块,用于基于所述相似度和所述顺路度,从所述多个候选历史订单中确定用于训练目标模型的负样本集合,其中,所述负样本集合中的负样本至少反映对应的所述候选历史订单的被抢分值及历史点击情况。
第三方面,本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
第四方面,本公开还提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面中任一项所述方法的步骤。
通过上述技术方案,通过基于不同被抢分值的候选历史订单构建负样本集合,实现了负样本的等级划分处理(即分层处理),同时,负样本反映了对应候选历史订单的历史点击情况。因此,将基于负样本集合构建的训练数据训练目标模型时,可以使目标模型学习不同类型的负样本的点击情况,保证模型在面对不同的负样本时,能具备良好的识别能力。因此,通过该负样本集合训练得到的目标模型提升了订单的召回排序的效果,进而提升了抢单对象的订单接起效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据本公开一示例性实施例示出的负样本选取方法的流程图;
图2是根据本公开一示例性实施例示出的图谱网络的结构示意图;
图3是根据本公开一示例性实施例示出的确定负样本集合的流程图;
图4是根据本公开一示例性实施例示出的训练分类模型的流程图;
图5是根据本公开一示例性实施例示出的负样本选取系统的框图;
图6是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
正如背景技术所言,在相关技术中,训练抢单排序模型的训练数据可以包括正样本和负样本,一般地,正样本为曝光并点击的订单,负样本为曝光未点击的订单。然而,由于推荐系统存在偏差,导致推荐系统未曝光的数据也可能是不会点击的样本,即未曝光的数据也可能是负样本。因此,仅将曝光未点击的订单作为负样本,导致训练得到的抢单排序模型对未学习到的数据(即未曝光的负样本)预测不准确。
有鉴于此,本公开实施例提供一种负样本选取方法、系统、可读存储介质及电子设备,以解决相关技术中存在的技术问题,对负样本的类型进行了扩充,提升了基于此负样本训练得到的模型的预测效果。
图1是根据本公开一示例性实施例示出的负样本选取方法的流程图。该方法可以应用于服务器,参照图1,该方法可以包括:
步骤102,针对图谱网络中的抢单对象,根据该抢单对象的位置属性,召回多个候选历史订单。
在一些实施例中,抢单对象可以是对应用平台分配的订单进行了选择的对象。可以理解的,不同的应用平台对应不同类型的抢单对象。例如,外卖平台的抢单对象为骑手,又例如,打车平台的抢单对象为司机等。本公开并不对抢单对象的类型做任何限制。
在一些实施例中,抢单对象可以基于历史订单确定。历史订单可以通过读取存储的数据、调用相关接口或其他方式获取。在一些实施例中,图谱网络可以是根据抢单对象以及历史订单之间的关联关系建立的。图谱网络可以包括抢单对象节点、历史订单节点以及用于表征抢单对象节点以及历史订单节点之间的关联关系的边。
在一些实施例中,图谱网络中的节点可以反映对应的信息。在一些实施例中,抢单对象节点至少可以反映抢单对象的位置属性。抢单对象的位置属性至少可以包括抢单对象的抢单位置所处的地理哈希(geohash)块。地理哈希(geohash)块可以是将地球理解为一个二维平面,将该二维平面递归分解而得到的子块,每个子块在一定经纬度范围内拥有相同的字符串编码。也即是说,每个子块内的所有点(即经纬度坐标点)都共享相同的geohash字符串。可以理解的,抢单对象的抢单位置所处的地理哈希(geohash)块可以是抢单位置的经纬度坐标点对应的geohash字符串。
在一些实施例中,历史订单节点至少可以反映历史订单的位置属性。在一些实施例中,历史订单的位置属性至少可以包括历史订单所处的POI(Point of Interest,兴趣点)、历史订单的相关位置的地理哈希(geohash)块、以及历史订单对应的用户所处的AOI(Area of Interest,兴趣面)。
在地理信息系统中,一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。在一些实施例中,历史订单所处的POI至少可以反映历史订单的起始位置所属的区域以及所属区域中的实体。例如,以历史订单为外卖订单为例,该历史订单所处的POI至少可以反映外卖订单的起始位置(或者外卖的商家)所属的商圈和所属商圈中的店铺。在一些实施例中,历史订单的相关位置的地理哈希块至少可以包括历史订单的起始位置和到达位置各自的经纬度坐标点对应的geohash字符串。在一些实施例中,AOI可以是指地图数据中的区域状的地理实体,历史订单对应的用户所处的AOI可以是下单用户的位置所处的区域。例如,下单用户的家或公司。
在一些实施例中,抢单对象和历史订单之间的关联关系至少可以包括选择关系,基于该选择关系,图谱网络中的抢单对象节点以及历史订单节点之间连接有对应的边。参考图2,图2示出了预先构建好的图谱网络,其中,抢单对象节点包括抢单对象1-3,历史订单节点包括历史订单1-5,由于抢单对象1对历史订单1和3进行了抢单(即对历史订单1和3进行了选择),则节点抢单对象1与节点历史订单1和3之间分别连接有边a和b;由于抢单对象2对历史订单1、2和5进行了抢单,则节点抢单对象2与节点历史订单1、2和5之间分别连接有边c、d和e;由于抢单对象3对历史订单4进行了抢单,则节点抢单对象3与节点历史订单4之间连接有边f。
在一些实施例中,召回多个候选历史订单可以是指根据抢单对象的位置属性,召回预设距离内的历史订单。预设距离可以根据实际情况具体设置,示例地,例如,6km或10km等。
步骤104,获取所述抢单对象对应的第一向量表示,和所述多个候选历史订单对应的多个第二向量表示;其中,所述第一向量表示和所述多个第二向量表示为基于所述图谱网络对分类模型进行训练得到。
在一些实施例中,分类模型可以是预先训练好的机器学习模型,分类模型可以基于图谱网络训练得到。训练好的分类模型可以将图谱网络中的任一节点作为输入,识别出该输入节点对应的正样本和负样本。正负样本可以根据分类模型的预测目标确定,例如,正样本可以是图谱网络中与输入节点具备相似性的其他节点,负样本可以是图谱网络中与输入节点不具备相似性的其他节点。关于正负样本及训练分类模型的具体细节可以参见图4及其相关描述,在此不再赘述。
在一些实施例中,分类模型可以是跳词(skip-gram,跳词)模型。跳词模型可以通过给定的输入词来预测上下文,对应的,在本说明书实施例中,跳词模型可以根据输入节点预测与其有上下文关系的其他节点,上下文关系可以反映输入节点与其他节点具备相似性。
在一些实施例中,训练好的分类模型的中间层的参数可以包括图谱网络中所有节点的词向量。例如,训练好的跳词模型的中间层可以输出所有节点的词向量,每个节点的词向量包含了其上下文的语义信息。在一些实施例中,抢单对象对应的第一向量表示和多个候选历史订单对应的多个第二向量表示可以通过训练好的分类模型直接获取。
步骤106,基于所述第一向量表示和所述多个第二向量表示,确定所述抢单对象的位置属性与所述多个候选历史订单的位置属性之间的相似度。
在一些实施例中,相似度可以通过向量表示之间的距离表征,其中,距离与相似度负相关,即距离越大,相似度越低。在一些实施例中,距离可以包括但不限于余弦距离、欧氏距离、曼哈顿距离、马氏距离或闵可夫斯基距离等。在一些实施例中,相似度的取值范围为[0,1]。可以理解的,相似度越大,可以表征抢单对象的位置与候选历史订单的位置越接近,进而抢单对象越可能选择对应的候选历史订单。
在本说明书实施例中,由于图谱网络反映节点之间的关联关系,通过该关联关系可以将未直接连接的节点建立连接(例如,以图2为例,历史订单1和历史订单3通过关联关系间接连接),从而针对每个节点可以尽可能的与其具备相似性(或具备上下文关系)的其他节点建立连接,使得分类模型的中间层输出的每个节点的向量表示不仅包含该节点的信息,还包含了与该节点具备相似性的其他节点的信息。进而,基于分类模型输出的第一向量表示和第二向量表示计算相似度,可以提高计算的相似度的准确性。
步骤108,基于所述抢单对象的接单情况与所述多个候选历史订单,确定所述抢单对象与所述多个候选历史订单之间的顺路度。
在一些实施例中,抢单对象的接单情况至少可以反映抢单对象是否存在已接历史订单。在一些实施例中,基于抢单对象的接单情况与多个候选历史订单,确定抢单对象与多个候选历史订单之间的顺路度,包括:在抢单对象存在已接历史订单的情况下,基于已接历史订单中的最近起始位置和最远到达位置,确定第一路径向量,并基于多个候选历史订单各自的起始位置和到达位置,确定多个第二路径向量;基于所述第一路径向量和所述多个第二路径向量,确定所述顺路度。在一些实施例中,路径向量可以基于起始位置和到达位置各自的经纬度坐标确定。例如,计算到达位置的经纬度坐标与起始位置的经纬度坐标之差,得到路径向量。
在一些实施例中,顺路度可以通过相似度表征,即抢单对象与多个候选历史订单之间的顺路度可以是第一路径向量和多个第二路径向量之间的相似度。关于相似度的计算细节可以参见上述步骤106,在此不再赘述。在一些实施例中,顺路度的取值范围为[0,1]。可以理解的,顺路度越大,可以表征抢单对象的已有订单与候选历史订单越顺路,进而抢单对象越可能选择对应的候选历史订单。
在一些实施例中,在抢单对象不存在已接历史订单的情况下,抢单对象与多个候选历史订单之间顺路度为1。
步骤110,基于所述相似度和所述顺路度,从所述多个候选历史订单中确定用于训练目标模型的负样本集合,其中,负样本至少反映对应的所述候选历史订单的被抢分值及历史点击情况。
目标模型可以根据实际情况具体设置。在一些实施例中,目标模型可以是用于向待抢单对象分配订单的模型。例如,目标模型可以是抢单排序模型,抢单排序模型可以用于以抢单概率高低对基于待抢单对象召回的候选订单进行排序,并向待抢单对象展示排序结果。
在一些实施例中,目标模型的正样本可以是曝光并点击的历史订单。在一些实施例中,目标模型的负样本集合可以包括不同被抢分值的候选历史订单。被抢分值可以表征抢单对象对候选历史订单的抢单概率,即点击概率,可以理解的,点击概率越高,则认为该候选历史订单在曝光后越容易被点击,此时,目标模型越容易将该候选历史订单识别为曝光并点击的正样本,越不容易将该候选历史订单正确识别为负样本。因此,负样本集合包括不同被抢分值的候选历史订单,相当于对负样本集合中的负样本进行了等级划分,不同等级表征目标模型将负样本进行正确识别的难易程度。在一些实施例中,可以基于相似度和顺路度计算被抢分值,关于计算被抢分值的具体细节可以参见步骤302及其相关描述,在此不再赘述。
在一些实施例中,历史点击情况可以反映抢单对象对候选历史订单是否进行了点击,历史点击情况可以根据候选历史订单确定。例如,以抢单对象和候选历史订单分别为前述示例的抢单对象1和历史订单1为例,则历史订单1的历史点击情况为点击。
在本说明书实施例中,负样本集合中的负样本反映对应的候选历史订单的被抢分值,可以使得负样本集合包括不同被抢分值的候选历史订单,即对负样本进行了等级划分处理(即分层处理),同时,负样本反映了对应候选历史订单的历史点击情况。因此,将基于负样本集合构建的训练数据训练目标模型时,可以使目标模型学习不同类型的负样本的点击情况,保证模型在面对不同的负样本时,能具备良好的识别能力。进而,通过该负样本集合训练得到的目标模型提升了订单的召回排序的效果,进而提升了抢单对象的订单接起效率。
图3是根据本公开一示例性实施例示出的确定负样本集合的流程图。参照图3,该流程可以包括:
步骤302,基于所述相似度和所述顺路度,确定所述多个候选历史订单的所述被抢分值。
步骤304,基于所述被抢分值对所述多个候选历史订单进行排序,得到排序结果。
步骤306,利用预设等级划分规则,基于所述排序结果对所述多个候选历史订单进行等级划分,并基于等级划分后的所述多个候选历史订单,选取用于训练所述目标模型的所述负样本集合。
在一些实施例中,可以对相似度和顺路度进行加权求平均运算,得到被抢分值。例如,被抢分值为(相似度+顺路度)/2。在一些实施例中,可以利用预设排序规则,基于被抢分值对多个候选历史订单进行排序。预设排序规则可以根据实际情况具体设置,例如,由高到低进行排序。
在一些实施例中,预设等级划分规则可以根据实际情况具体设置,例如,可以将排序结果为前20%的候选历史订单确定为困难负样本,将排序结果为后20%的候选历史订单确定为容易负样本,并将其余60%的候选历史订单确定为一般负样本。可以理解的,困难负样本表征目标模型将该样本准确识别为负样本的难易程度为困难,一般负样本表征目标模型将该样本准确识别为负样本的难易程度为一般,容易负样本表征目标模型将该样本准确识别为负样本的难易程度为容易。
在一些实施例中,可以基于不同比例从不同等级对应的候选历史订单选取负样本,确定负样本集合。例如,从困难负样本中选取20%的样本,从一般负样本中选取10%的样本,从容易负样本中选取10%的样本等。本公开并不对此做任何限制。
图4是根据本公开一示例性实施例示出的训练分类模型的流程图。参考图4,该流程可以包括:
步骤402,重复执行在所述图谱网络中选取起始节点,并基于预设移动规则确定与所述起始节点相关的邻接节点的过程,以得到至少一个样本序列。
在一些实施例中,起始节点可以通过预设方式在图谱网络中选取。例如,随机选取。在一些实施例中,与起始节点相关的邻接节点可以包括与起始节点直接或间接连接的邻接节点。例如,仍以图2的图谱网络为例,假设起始节点为历史订单1,由于历史订单1与抢单对象1和2直接连接,历史订单1与历史订单3之间通过抢单对象1间接连接,历史订单1与历史订单2和5之间通过抢单对象2间接连接,则该起始节点历史订单1的直接连接的邻接节点包括抢单对象1和2,间接连接的邻接节点可以包括历史订单2、3和5。
在一些实施例中,与起始节点间接连接的边可以是与起始节点的邻接节点直接连接,但与起始节点并未直接连接的边。例如,仍以起始节点为历史订单1为例,则与历史订单1直接连接的边包括a和c,与历史订单1间接连接的边包括b、d和e。
在一些实施例中,边的权重可以与边相关的节点之间连接的次数。在一些实施例中,边相关的节点可以包括抢单对象和历史订单,即边连接的节点,边相关的节点之间连接的次数可以表征对应的抢单对象对历史订单的抢单次数(即点击次数)。由前述可知,节点反映位置属性,则连接的次数可以反映区域内的抢单对象历史对相应位置处(或相应商圈)的订单的抢单次数。
在一些实施例中,基于预设移动规则确定与起始节点相关的邻接节点,可以包括:基于与起始节点直接或间接连接的边的权重,确定与起始节点直接或间接连接的邻接节点。在可能的实施方式中,可以基于起始节点直接或间接连接的边的权重,确定起始节点至图谱网络中各节点的移动路径,并基于移动路径确定与起始节点直接或间接连接的邻接节点。例如,可以对边的权重进行归一化,确定从当前节点出发向各条边移动的概率,从而确定起始节点与邻接节点之间的移动路径。
示例地,仍以起始节点为历史订单1为例,与历史订单1直接连接的边包括a和c,假设边c的权重最高,即从历史订单1出发向边c移动的概率最高,则从历史订单1出发可以移动至抢单对象2,此时与历史订单1间接连接的边包括d和e,若边d的权重最大,即从抢单对象2出发向边d移动的概率最高,则从抢单对象2出发可以移动至历史订单2。因此,起始节点与邻接节点之间的移动路径为:历史订单1→抢单对象2→历史订单2,由此确定的历史订单1的邻接节点可以包括抢单对象2和历史订单2。对应的,样本序列为:(历史订单1,抢单对象2,历史订单2)。通过起始节点的移动路径,可以快速找到与起始节点具备关联关系的邻接节点,且通过权重进行游走,可以找到与出发节点相关性更大的其他节点,进而基于该移动路径获取的样本序列能更准确的刻画序列中各节点的正样本和负样本。
步骤404,基于预设选取规则,确定所述至少一个样本序列中多个样本节点中每个对应的多个正样本和多个负样本。
在一些实施例中,与样本节点对应的正样本可以是指以样本节点为输入,模型输出的至少一个样本序列中的其他样本节点。对应的,与样本节点对应的负样本可以是指以样本节点为输入,模型未输出的至少一个样本序列中的其他样本节点。示例地,以分类模型为跳词模型为例,样本节点对应的正样本为与样本节点具备上下文关系的其他节点,样本节点对应的负样本为与样本节点不具备上下文关系的其他节点。
在一些实施例中,预设选取规则可以根据实际情况具体设置。预设选取规则可以包括:在样本节点对应的样本序列中,将样本节点的预设窗口内的其他样本节点确定为正样本,将该样本序列中除正样本以外的其他样本节点确定为负样本。示例地,以样本序列(X1,X2,X3,X4,X5)为例,假设样本节点为X2,预设窗口为2,则预设窗口内的样本节点X1、X3和X4为正样本,样本节点X5为负样本。
步骤406,基于所述多个样本节点迭代更新初始分类模型的参数,以使各样本节点对应的损失函数值满足预设条件,得到所述训练好的所述分类模型。
在一些实施例中,损失函数值可以基于样本节点的正样本的预测值和负样本的预测值的差异确定。由于铰链函数可以反映正样本的预测值和负样本的预测值之间的差异,损失函数可以是铰链损失函数。在一些实施例中,铰链损失函数可以通过如下公式(1)进行构建:
L(ypos,yneg)=max(0,margin-ypos+yneg) (1)
其中,ypos表示正样本的预测值;yneg表示负样本的预测值;L(ypos,yneg)表示铰链损失函数值;max表示取最大值;margin表示期望模型学习到的正负样本的差异度。在一些实施例中,margin为预设值。例如,为(0,1)的任意数值。
在一些实施例中,损失函数值满足预设条件可以是指铰链损失函数值为0。由上述公式(1)可知,当铰链损失函数值为0时,可以表征margin-ypos+yneg<0,即ypos-yneg>margin,此时,正样本的预测值和负样本的预测值得差异大于预设值margin,分类模型训练完成。
基于同一发明构思,本公开实施例还提供一种负样本选取系统。该系统可以通过软件、硬件或者两者结合的方式成为电子设备(比如服务器)的部分或者全部。参照图5,负样本选取系统500可以包括:
召回模块501,用于针对图谱网络中的抢单对象,根据该抢单对象的位置属性,召回多个候选历史订单;其中,所述图谱网络是根据抢单对象以及历史订单之间的关联关系建立的,所述图谱网络包括抢单对象节点、历史订单节点以及用于表征所述抢单对象节点以及所述历史订单节点之间的关联关系的边;
获取模块502,用于获取所述抢单对象对应的第一向量表示,和所述多个候选历史订单对应的多个第二向量表示;其中,所述第一向量表示和所述多个第二向量表示为基于所述图谱网络对分类模型进行训练得到;
相似度确定模块503,用于基于所述第一向量表示和所述多个第二向量表示,确定所述抢单对象的位置属性与所述多个候选历史订单的位置属性之间的相似度;
顺路度确定模块504,用于基于所述抢单对象的接单情况与所述多个候选历史订单,确定所述抢单对象与所述多个候选历史订单之间的顺路度;
负样本集合确定模块505,用于基于所述相似度和所述顺路度,从所述多个候选历史订单中确定用于训练目标模型的负样本集合,其中,所述负样本集合中的负样本至少反映对应的所述候选历史订单的被抢分值及历史点击情况。
可选地,所述顺路度模块503可以进一步用于:
在所述抢单对象存在已接历史订单的情况下,基于所述已接历史订单中的最近起始位置和最远到达位置,确定第一路径向量,并基于所述多个候选历史订单各自的起始位置和到达位置,确定多个第二路径向量;
基于所述第一路径向量和所述多个第二路径向量,确定所述顺路度。
可选地,所述负样本集合确定模块550可以进一步用于:
基于所述相似度和所述顺路度,确定所述多个候选历史订单的所述被抢分值;
基于所述被抢分值对所述多个候选历史订单进行排序,得到排序结果;
利用预设等级划分规则,基于所述排序结果对所述多个候选历史订单进行等级划分,并基于等级划分后的所述多个候选历史订单,选取用于训练所述目标模型的所述负样本集合。
可选地,所述第一向量表示和所述多个第二向量表示为训练好的所述分类模型的中间层的参数。
可选地,所述负样本选取系统500还可以包括训练模块,所述训练模块用于:
重复执行在所述图谱网络中选取起始节点,并基于预设移动规则确定与所述起始节点相关的邻接节点的过程,以得到至少一个样本序列;
基于预设选取规则,确定所述至少一个样本序列中多个样本节点中每个对应的多个正样本和多个负样本;
基于所述多个样本节点迭代更新初始分类模型的参数,以使各样本节点对应的损失函数值满足预设条件,得到所述训练好的所述分类模型;
其中,所述损失函数值基于所述样本节点的所述正样本的预测值和所述负样本的预测值的差异确定。
可选地,所述训练模块进一步用于:
基于与所述起始节点直接或间接连接的所述边的权重,确定与所述起始节点直接或间接连接的所述邻接节点;其中,所述权重反映与所述边相关的节点之间连接的次数。
可选地,所述分类模型为跳字模型,所述损失函数为铰链损失函数。
关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种电子设备600的框图。如图6所示,该电子设备600可以包括:处理器601,存储器602。该电子设备600还可以包括多媒体组件603,输入/输出(I/O)接口604,以及通信组件605中的一者或多者。
其中,处理器601用于控制该电子设备600的整体操作,以完成上述的负样本选取方法中的全部或部分步骤。存储器602用于存储各种类型的数据以支持在该电子设备600的操作,这些数据例如可以包括用于在该电子设备600上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口604为处理器601和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于该电子设备600与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件605可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,电子设备600可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的负样本选取方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的基于负样本选取方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器602,上述程序指令可由电子设备600的处理器601执行以完成上述的负样本选取方法。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (10)
1.一种负样本选取方法,其特征在于,所述方法包括:
针对图谱网络中的抢单对象,根据该抢单对象的位置属性,召回多个候选历史订单;其中,所述图谱网络是根据抢单对象以及历史订单之间的关联关系建立的,所述图谱网络包括抢单对象节点、历史订单节点以及用于表征所述抢单对象节点以及所述历史订单节点之间的关联关系的边;
获取所述抢单对象对应的第一向量表示,和所述多个候选历史订单对应的多个第二向量表示;其中,所述第一向量表示和所述多个第二向量表示为基于所述图谱网络对分类模型进行训练得到;
基于所述第一向量表示和所述多个第二向量表示,确定所述抢单对象的位置属性与所述多个候选历史订单的位置属性之间的相似度;
基于所述抢单对象的接单情况与所述多个候选历史订单,确定所述抢单对象与所述多个候选历史订单之间的顺路度;
基于所述相似度和所述顺路度,从所述多个候选历史订单中确定用于训练目标模型的负样本集合,其中,所述负样本集合中的负样本至少反映对应的所述候选历史订单的被抢分值及历史点击情况。
2.如权利要求1所述的方法,其特征在于,所述基于所述抢单对象的接单情况与所述多个候选历史订单,确定所述抢单对象与所述多个候选历史订单之间的顺路度,包括:
在所述抢单对象存在已接历史订单的情况下,基于所述已接历史订单中的最近起始位置和最远到达位置,确定第一路径向量,并基于所述多个候选历史订单各自的起始位置和到达位置,确定多个第二路径向量;
基于所述第一路径向量和所述多个第二路径向量,确定所述顺路度。
3.如权利要求1所述的方法,其特征在于,所述基于所述相似度和所述顺路度,从所述多个候选历史订单中确定用于训练目标模型的负样本集合,包括:
基于所述相似度和所述顺路度,确定所述多个候选历史订单的所述被抢分值;
基于所述被抢分值对所述多个候选历史订单进行排序,得到排序结果;
利用预设等级划分规则,基于所述排序结果对所述多个候选历史订单进行等级划分,并基于等级划分后的所述多个候选历史订单,选取用于训练所述目标模型的所述负样本集合。
4.如权利要求1所述的方法,其特征在于,所述第一向量表示和所述多个第二向量表示为训练好的所述分类模型的中间层的参数。
5.如权利要求4所述的方法,其特征在于,所述分类模型通过如下过程训练得到:
重复执行在所述图谱网络中选取起始节点,并基于预设移动规则确定与所述起始节点相关的邻接节点的过程,以得到至少一个样本序列;
基于预设选取规则,确定所述至少一个样本序列中多个样本节点中每个对应的多个正样本和多个负样本;
基于所述多个样本节点迭代更新初始分类模型的参数,以使各样本节点对应的损失函数值满足预设条件,得到所述训练好的所述分类模型;
其中,所述损失函数值基于所述样本节点的所述正样本的预测值和所述负样本的预测值的差异确定。
6.如权利要求5所述的方法,其特征在于,所述基于预设移动规则确定与所述起始节点相关的邻接节点,包括:
基于与所述起始节点直接或间接连接的所述边的权重,确定与所述起始节点直接或间接连接的所述邻接节点;其中,所述权重反映与所述边相关的节点之间连接的次数。
7.如权利要求5所述的方法,其特征在于,所述分类模型为跳字模型,所述损失函数为铰链损失函数。
8.一种负样本选取系统,其特征在于,所述系统包括:
召回模块,用于针对图谱网络中的抢单对象,根据该抢单对象的位置属性,召回多个候选历史订单;其中,所述图谱网络是根据抢单对象以及历史订单之间的关联关系建立的,所述图谱网络包括抢单对象节点、历史订单节点以及用于表征所述抢单对象节点以及所述历史订单节点之间的关联关系的边;
获取模块,用于获取所述抢单对象对应的第一向量表示,和所述多个候选历史订单对应的多个第二向量表示;其中,所述第一向量表示和所述多个第二向量表示为基于所述图谱网络对分类模型进行训练得到;
相似度确定模块,用于基于所述第一向量表示和所述多个第二向量表示,确定所述抢单对象的位置属性与所述多个候选历史订单的位置属性之间的相似度;
顺路度确定模块,用于基于所述抢单对象的接单情况与所述多个候选历史订单,确定所述抢单对象与所述多个候选历史订单之间的顺路度;
负样本集合确定模块,用于基于所述相似度和所述顺路度,从所述多个候选历史订单中确定用于训练目标模型的负样本集合,其中,所述负样本集合中的负样本至少反映对应的所述候选历史订单的被抢分值及历史点击情况。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111117363.XA CN115905847A (zh) | 2021-09-23 | 2021-09-23 | 负样本选取方法、系统、可读存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111117363.XA CN115905847A (zh) | 2021-09-23 | 2021-09-23 | 负样本选取方法、系统、可读存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115905847A true CN115905847A (zh) | 2023-04-04 |
Family
ID=86480226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111117363.XA Pending CN115905847A (zh) | 2021-09-23 | 2021-09-23 | 负样本选取方法、系统、可读存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115905847A (zh) |
-
2021
- 2021-09-23 CN CN202111117363.XA patent/CN115905847A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113038386B (zh) | 基于学习模型的设备定位 | |
CN106919957B (zh) | 处理数据的方法及装置 | |
KR20190139130A (ko) | 피셀 알고리즘을 이용하여 실시간 유동 인구 데이터의 제공이 가능한 유동인구 정보 분석 방법 | |
US20180340787A1 (en) | Vehicle routing guidance to an authoritative location for a point of interest | |
CN110515986B (zh) | 一种社交网络图的处理方法、装置及存储介质 | |
CN110956255A (zh) | 难样本挖掘方法、装置、电子设备及计算机可读存储介质 | |
CN111708876A (zh) | 生成信息的方法和装置 | |
JP6629935B2 (ja) | 文書のカテゴリ分類のためのディープラーニング学習方法およびそのシステム | |
Lin et al. | Inferring the home locations of Twitter users based on the spatiotemporal clustering of Twitter data | |
CN112115372B (zh) | 一种停车场的推荐方法及装置 | |
CN111695046A (zh) | 基于时空移动数据表征学习的用户画像推断方法及装置 | |
CN114357105A (zh) | 地理预训练模型的预训练方法及模型微调方法 | |
CN111141301A (zh) | 导航终点确定方法、装置、存储介质和计算机设备 | |
CN110263250B (zh) | 一种推荐模型的生成方法及装置 | |
CN110276387B (zh) | 一种模型的生成方法及装置 | |
CN110674208B (zh) | 用于确定用户的职住地信息的方法和装置 | |
KR102209076B1 (ko) | 가상 키보드 오타 보정을 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체 | |
CN112214677B (zh) | 一种兴趣点推荐方法、装置、电子设备及存储介质 | |
CN111782973A (zh) | 兴趣点状态预测方法、装置、电子设备及存储介质 | |
CN107766881B (zh) | 一种基于基础分类器的寻路方法、设备及存储设备 | |
CN108133234B (zh) | 基于稀疏子集选择算法的社区检测方法、装置及设备 | |
CN108229572B (zh) | 一种参数寻优方法及计算设备 | |
CN115905847A (zh) | 负样本选取方法、系统、可读存储介质及电子设备 | |
JP6557192B2 (ja) | クラスタリング装置およびクラスタリング方法 | |
CN117010480A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |