CN110533182A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN110533182A
CN110533182A CN201910705176.XA CN201910705176A CN110533182A CN 110533182 A CN110533182 A CN 110533182A CN 201910705176 A CN201910705176 A CN 201910705176A CN 110533182 A CN110533182 A CN 110533182A
Authority
CN
China
Prior art keywords
value
attribute value
error value
target data
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910705176.XA
Other languages
English (en)
Inventor
周越
李春苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910705176.XA priority Critical patent/CN110533182A/zh
Publication of CN110533182A publication Critical patent/CN110533182A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling

Abstract

本说明书公开了一种数据处理方法及装置,首先获取目标数据的特征,再将目标数据的特征输入到预先训练的预估模型,得到目标数据在指定维度上的预估属性值以及预估误差值,然后根据预估误差值对预估属性值进行补偿,得到最终属性值,最后根据最终属性值,对目标数据进行处理,由于本说明书提供的数据处理方法对预估属性值进行了补偿,因此得到的最终属性值相比于现有技术更加接近实际属性值,有效地提高了最终属性值的准确性,从而根据最终属性值对目标数据的处理相比于现有技术更加准确高效。

Description

一种数据处理方法及装置
技术领域
本申请涉及电子技术领域,尤其涉及一种数据处理方法及装置。
背景技术
当下,数据处理随处可见,通过处理有价值、有意义、准确性高的数据,进行某些特定的活动从而达到目的。
在现有技术中,一种数据处理方法,是利用历史数据的特征训练模型,通过训练后的模型预估在某一维度上的预估属性值,根据预估属性值对数据进行处理,这些模型一般包括梯度迭代决策树(Gradient Boosting Decision Tree,GBDT)或极端梯度提升(eXtreme Gradient Boosting,XGBOOST)或神经网络等模型。
然而,通过上述模型仅得到了数据的预估属性值,无法确定预估属性值的置信度,也无法确定预估属性值与实际的属性值之间的误差,从而无法确定准确的属性值。在实际应用中,由于无法得到准确的属性值而导致数据处理难以完成。
以外卖订餐为例,从接收到外卖订单的时间到商户将餐品制作完成的时间为商户的供货准备时间。商户的供货准备时间是配送调度系统的重要参数之一,预估供货准备时间的准确性直接影响压单的结果和派单的效率。商户在不同时间段内的供货准备时间有所不同,一般情况下,闲时的供货准备时间较为固定,高峰时段的供货准备时间波动较大。无法准确地预估供货准备时间可能导致当配送员根据订单信息到达商户时,商户尚未完成餐品制作,配送员需要等待餐品制作,无法立即取餐安排配送,从而影响订单配送效率。
发明内容
本说明书实施例提供一种数据处理方法及装置,以部分的解决现有技术存在的上述问题。
本说明书实施例采用下述技术方案:
本说明书提供的一种数据处理方法,所述方法包括:
获取目标数据的特征;
将所述目标数据的特征输入预估模型,得到所述目标数据在指定维度上的预估属性值以及预估误差值;
根据所述预估误差值对所述预估属性值进行补偿,得到最终属性值;
根据所述最终属性值,对所述目标数据进行处理。
可选地,预先训练预估模型,包括:
获取若干历史数据的特征;
将所述历史数据的特征输入待训练的预估模型,得到所述历史数据在指定维度上的待优化预估属性值以及待优化预估误差值;
根据所述待优化预估属性值以及所述历史数据在指定维度上的实际属性值,确定实际误差值;
根据所述待优化预估误差值以及所述实际误差值,确定损失;
以最小化损失为训练目标,对所述待训练的预估模型进行迭代训练。
可选地,所述根据所述待优化预估误差值以及所述实际误差值,确定损失,包括:
确定所述实际误差值的平方与所述待优化预估误差值的平方的比值;
确定所述待优化预估误差值的平方的对数;
根据所述比值与所述对数,确定损失。
可选地,所述根据所述比值与所述对数,确定损失,包括:
在预设的各系数中选择指定系数;
确定所述指定系数与所述待优化预估误差值的乘积;
确定所述比值、所述对数与所述乘积的和值,作为损失。
可选地,所述在预设的各系数中选择指定系数,包括:
针对预设的每个系数,确定该系数与所述待优化预估误差值的乘积,作为备选乘积,确定所述比值、所述对数与所述备选乘积的和值,作为备选损失,以最小化所述备选损失为训练目标,对所述待训练的预估模型进行指定次数的迭代训练,并确定训练后所述待训练的预估模型的准确度;
根据针对每个系数确定出的准确度,在预设的各系数中,选择准确度最高的系数作为指定系数。
可选地,所述根据所述预估误差值对所述预估属性值进行补偿,得到最终属性值,包括:
根据预设的各误差区间,确定所述预估误差值落入的误差区间;
根据预设的各误差区间与各补偿权重的对应关系,确定所述预估误差值落入的误差区间对应的补偿权重;
根据所述预估误差值和确定出的补偿权重,确定补偿值;
将所述补偿值与所述预估属性值的和值,确定为最终属性值。
可选地,所述目标数据包括:订单的数据;
所述目标数据在指定维度上的属性值包括:所述订单对应的配送物提供方的供货准备时间;
所述根据所述最终属性值,对所述目标数据进行处理,包括:
根据所述订单对应的配送物提供方的最终供货准备时间,对所述订单进行调度规划。
本说明书提供一种数据处理装置,所述装置包括:
获取模块,用于获取目标数据的特征;
预估模块,用于将所述目标数据的特征输入预估模型,得到所述目标数据在指定维度上的预估属性值以及预估误差值;
补偿模块,用于根据所述预估误差值对所述预估属性值进行补偿,得到最终属性值;
处理模块,用于根据所述最终属性值,对所述目标数据进行处理。
本说明书提供一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的数据处理方法。
本说明书提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述的数据处理方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
本说明书首先获取目标数据的特征,再将目标数据的特征输入到预先训练的预估模型,得到目标数据在指定维度上的预估属性值以及预估误差值,然后根据预估误差值对预估属性值进行补偿,得到最终属性值,最后根据最终属性值,对目标数据进行处理,由于本说明书提供的数据处理方法对预估属性值进行了补偿,因此得到的最终属性值相比于现有技术更加接近实际属性值,有效地提高了最终属性值的准确性,从而根据最终属性值对目标数据的处理相比于现有技术更加准确高效。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书实施例提供的数据处理方法流程图;
图2为本说明书实施例提供的一种补偿方法流程图;
图3为本说明书实施例提供的预先训练预估模型流程图;
图4为本说明书实施例提供的一种数据处理装置结构示意图;
图5为本说明书实施例提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。图1为本说明书实施例提供的数据处理方法流程图,具体可包括以下步骤:
S100:获取目标数据的特征。
在本说明书中,数据处理可应用于多种场景中,例如,在外卖配送场景中,商户的供货准备时间是配送调度系统的重要参数之一,供货准备时间是指从商户接收到外卖订单的时间到商户将餐品制作完成的时间,供货准备时间的准确性直接影响调度规划的结果以及订单的效率,服务器需要以供货准备时间为依据,为配送员分配订单,并规划任务以及配送路径等。
下面仅以外卖配送场景为例进行说明。
目标数据包括外卖订单数据,服务器可获取目标数据的特征,即获取外卖订单数据的特征,外卖订单数据的特征包括但不限于订单生成时间、餐品种类、餐品数目、商户名称、订单金额、配送距离等。S102:将所述目标数据的特征输入预估模型,得到所述目标数据在指定维度上的预估属性值以及预估误差值。
由于服务器中可能存储有功能不同的多种预估模型,因此,在本说明书中,需要从这些预估模型中,确定出用于预估目标数据在指定维度上的属性值的预估模型。确定出的预估模型是经过预先训练的,关于对预估模型的预先训练,将在下文中做出解释。
通过上述步骤S100,服务器获取到目标数据的特征后,可将目标数据的特征输入预估模型。本说明书中所述的预估模型用于预估目标数据在指定维度上的属性值,沿用上例,服务器可将外卖订单数据的特征输入所述预估模型,用以预估外卖订单数据中的供货准备时间。
进一步的,在本说明书中,上述的预估模型除了用于预估目标数据在指定维度上的属性值以外,还可用于预估上述预估模型所输出的预估属性值的误差值(下文称为预估误差值)。即,本说明书中,上述的预估模型可根据输入的目标数据的特征,输出预估属性值以及预估误差值。其中,预估误差值与预估属性值的置信度负相关。沿用上例,服务器将获取到的外卖订单数据的特征输入预估模型,即可得到预估供货准备时间以及预估误差值,预估误差值是预估供货准备时间的误差,预估误差值越小,预估供货准备时间的置信度越高,预估误差值越大,预估供货准备时间的置信度越低。
S104:根据所述预估误差值对所述预估属性值进行补偿,得到最终属性值。
通过上述步骤S102,服务器得到上述预估模型输出的预估属性值以及预估误差值后,可根据得到的预估误差值,对预估属性值进行补偿,经过补偿后的预估属性值的置信度更高、准确性更高,因此可将补偿后的预估属性值作为最终属性值。
沿用上例,服务器得到预估供货准备时间和预估供货准备时间误差后,可采用预估供货准备时间误差,对预估供货准备时间进行补偿,并将补偿后的供货准备时间作为最终供货准备时间,这样得到的最终供货准备时间准确性更高。
S106:根据所述最终属性值,对所述目标数据进行处理。
通过上述步骤S104,服务器得到最终属性值,对所述目标数据进行处理,沿用上例,服务器得到外卖订单数据中配送物提供方的最终供货准备时间,根据最终供货准备时间,对外卖订单进行调度规划,为配送员分配订单,并规划任务以及配送路径等。
在本说明书中,针对上述步骤S104,当上述预先训练的预估模型是以实际属性值与预估属性值的差值为预估误差值作为训练目标时,对预估属性值进行补偿的方法可以如图2所示。
图2为本说明书实施例提供的一种补偿方法流程图,包括以下步骤:
S1040:根据预设的各误差区间,确定所述预估误差值落入的误差区间。
由于预估误差值的取值范围理论上为零到无穷大,故可对预估误差值的取值范围设置区间,又因为预估误差值与预估属性值的置信度负相关,故对预估误差值设置误差区间时,可在预估误差值取值较小时,设置较多的区间,在预估误差值取值较大时,设置较少的区间,例如,设置误差区间为(0,100)、(101,250)、(251,500)、(501~1000)、(1001~∞)。也可根据每隔指定差值设置区间,例如,设置误差区间为(0,100)、(101~200)、(201,300)、(301~∞)。
S1042:根据预设的各误差区间与各补偿权重的对应关系,确定所述预估误差值落入的误差区间对应的补偿权重。
在本说明书中,可预先针对上述划分每个误差区间,设置对应的补偿权重,在预估误差值的取值较小时,可针对对应的误差区间设置较小补偿权重,随着预估误差值的取值逐渐增大,可针对对应的误差区间设置逐渐较大补偿权重。具体设置每个误差区间对应的补偿权重的方法可以是人为根据经验进行设置,本说明书对此不作限制。
S1044:根据所述预估误差值和确定出的补偿权重,确定补偿值。
针对上述步骤S1042确定出的补偿权重,确定预估误差值和补偿权重的乘积,作为补偿值。
S1046:将所述补偿值与所述预估属性值的和值,确定为最终属性值。
根据步骤S1040~S1044,最终属性值如公式(1)所示。
公式(1)中,y表示最终属性值,表示预估属性值,表示预估误差值,表示预估误差值所落入的误差区间对应的补偿权重。
另外,除了如上述图2所示的补偿方式以外,步骤S104所述的补偿方式还可以为:将预估误差值与预估属性值的乘积,确定为最终属性值。最终属性值如公式(2)所示。
采用上述公式(2)进行补偿时,上述预先训练的预估模型则是以预估误差值是实际属性值与预估属性值的商值为训练目标的。
当然,上述只是举例说明的两种补偿方式,在实际应用中,对预估属性值的补偿还可以通过其他补偿方式(如,直接将预估误差值与预估属性值之和作为最终属性值),从而使预估属性值经过补偿后确定为最终属性值,只要可以对预估属性值进行补偿,并使得到的最终属性值相比于预估属性值更加接近实际属性值的任何补偿方法均在本说明书的保护范围之内。
由上述数据处理过程可见,本说明书中所述的预估模型除了能够输出预估属性值以外,还可以输出用于补偿该预估属性值的预估误差值,则预先训练上述预估模型的方法可以如图3所示。
图3为本说明书实施例提供的预先训练预估模型流程图,包括以下步骤:
S300:获取若干历史数据的特征。
本说明书中,获取历史数据的特征与步骤S100获取目标数据的特征是一致的,获取到的历史数据即为训练预估模型所需的样本数据。
S302:将所述历史数据的特征输入待训练的预估模型,得到所述历史数据在指定维度上的待优化预估属性值以及待优化预估误差值。
S304:根据所述待优化预估属性值以及所述历史数据在指定维度上的实际属性值,确定实际误差值。
由于可预先确定历史数据在指定维度上的实际属性值,该实际属性值即为样本数据的标记,因此服务器可确定待优化预估属性值与实际属性值的差值,作为实际误差值。
S306:根据所述待优化预估误差值以及所述实际误差值,确定损失。
具体的,根据历史数据的特征及预设的第一预估模型参数,确定预估属性值函数,根据历史数据的特征及预设的第二预估模型参数,确定预估误差值函数,如公式(3)及公式(4)所示。
其中,x表示历史数据的特征,θ表示第一预估模型参数,η表示第二预估模型参数。
通过公式(3),可得到待优化预估属性值通过公式(4),可得到待优化预估误差值
进一步的,根据实际情况,历史数据中的预估属性值可能大于或者小于实际属性值,故预估误差值可能为负值或者正值,确定预估误差函数可对公式(4)取绝对值。
进一步的,确定所述实际误差值的平方与所述待优化预估误差值的平方的比值;确定所述待优化预估误差值的平方的对数;根据所述比值与所述对数,确定损失,损失如公式(5)所示。
公式(5)中,y′表示实际属性值。
进一步的,当历史数据为若干个时,可用所述比值的均值来表示,所述比值的均值越趋近于1时,说明预估误差值越准确,根据所述比值的均值与所述对数,确定损失。
S308:以最小化损失为训练目标,对所述待训练的预估模型进行迭代训练。
由于在公式(5)中,所述的预估模型以实际属性值与预估属性值的差值为预估误差值作为训练目标,当预估误差值越准确时,所述比值的结果越趋近于1,当预估误差值逐渐增大时,所述对数值逐渐增大,当预估误差值趋近于0(越接近0表示预估误差值越准确)时,所述对数值趋近于负无穷大。因此,根据公式(5),当损失趋近于负无穷大时,可判断预估误差值趋近于0,预估属性值越接近实际属性值,预估属性值的准确性越高,当损失越大时,可判断预估误差值越大,预估属性值与实际属性值的差值越大,预估属性值的准确性越低。
由此可见,通过以最小化上述如公式(5)所示的损失,可训练得到用于输出较为准确的预估属性值和预估误差值的预估模型。
另外,在上述步骤S306中,确定损失的方法还可以进一步包括:可在预设的各系数中选择指定系数;确定所述指定系数与所述待优化预估误差值的乘积;确定所述比值、所述对数与所述乘积的和值,作为损失如公式(6)所示。
公式(6)中,λ表示指定系数。
可预先设置多个不同的系数λ,在选择指定系数时,可针对预设的每个系数,确定该系数与所述待优化预估误差值的乘积,作为备选乘积,确定所述比值、所述对数与所述备选乘积的和值,作为备选损失,以最小化所述备选损失为训练目标,对所述待训练的预估模型进行指定次数的迭代训练,并确定训练后所述待训练的预估模型的准确度;根据针对每个系数确定出的准确度,在预设的各系数中,选择准确度最高的系数作为指定系数。也即,针对预设的每个系数,尝试通过以该系数和上述公式(6)确定出的损失训练预估模型,并确定其训练效果,最后选择训练效果最好的系数,作为通过上述公式(6)确定损失时所需的指定系数。
公式(6)相比于公式(5)增加了一项,其原因在于:所述对数的值随着预估误差值的增大而逐渐增大,由于对数的导数为负值,故随着预估误差值的增大,所述对数的增大速度逐渐降低,损失函数的收敛速度逐渐降低,导致对所述待训练的预估模型进行迭代训练的效果不明显,故增加指定系数与待优化预估误差值的乘积作为损失的第三项,可加快损失的收敛速度,具体表现为,当预估误差值趋近于0时,指数系数与预估误差值的乘积也随之趋近于0,损失趋近于负无穷大,当预估误差值逐渐增大时,指数系数与预估误差值的乘积随之增大,损失的收敛速度加快。
在通过上述公式(5)或公式(6),对所述待训练的预估模型进行迭代训练时,训练完成的条件(即,跳出迭代的条件)可包括:迭代训练的次数达到预设的最大迭代次数,或者预估模型的准确度已经达到预设的准确度等。
如上所述,本说明书提供一种配送订单数据处理方法,该方法可应用于外卖配送场景中,所述方法包括:获取配送订单数据的特征;将所述配送订单数据的特征输入预估模型,得到所述配送订单数据的预估供货准备时间以及预估误差值;根据所述预估误差值对所述预估供货准备时间进行补偿,得到最终供货准备时间;根据所述最终供货准备时间,对所述配送订单数据进行处理。
进一步的,预先训练预估模型,包括:获取若干历史配送订单数据的特征;将所述历史配送订单数据的特征输入待训练的预估模型,得到所述历史配送订单数据的待优化预估供货准备时间以及待优化预估误差值;根据所述待优化待优化预估供货准备时间以及所述历史配送订单数据的实际供货准备时间,确定实际误差值;根据所述待优化预估误差值以及所述实际误差值,确定损失;以最小化损失为训练目标,对所述待训练的预估模型进行迭代训练。
进一步的,所述根据所述待优化预估误差值以及所述实际误差值,确定损失,包括:确定所述实际误差值的平方与所述待优化预估误差值的平方的比值;确定所述待优化预估误差值的平方的对数;根据所述比值与所述对数,确定损失。
进一步的,所述根据所述比值与所述对数,确定损失,包括:在预设的各系数中选择指定系数;确定所述指定系数与所述待优化预估误差值的乘积;确定所述比值、所述对数与所述乘积的和值,作为损失。
进一步的,所述在预设的各系数中选择指定系数,包括:针对预设的每个系数,确定该系数与所述待优化预估误差值的乘积,作为备选乘积,确定所述比值、所述对数与所述备选乘积的和值,作为备选损失,以最小化所述备选损失为训练目标,对所述待训练的预估模型进行指定次数的迭代训练,并确定训练后所述待训练的预估模型的准确度;根据针对每个系数确定出的准确度,在预设的各系数中,选择准确度最高的系数作为指定系数。
进一步的,所述根据所述预估误差值对所述预估供货准备时间进行补偿,得到最终供货准备时间,包括:根据预设的各误差区间,确定所述预估误差值落入的误差区间;根据预设的各误差区间与各补偿权重的对应关系,确定所述预估误差值落入的误差区间对应的补偿权重;根据所述预估误差值和确定出的补偿权重,确定补偿值;将所述补偿值与所述预估供货准备时间的和值,确定为最终供货准备时间。
进一步的,所述配送订单数据包括:外卖配送订单的数据;所述配送订单数据的预估供货准备时间包括:所述外卖配送订单对应的配送物提供方的供货准备时间;所述根据所述最终供货准备时间,对所述配送订单数据进行处理,包括:根据所述外卖配送订单对应的配送物提供方的最终供货准备时间,将所述外卖配送订单分配给指定骑手进行配送,对所述指定骑手的所有已分配订单对应的任务点进行排序,并根据排序结果为所述指定骑手进行导航;其中,所述任务点包括取货点和送货点。
以上是仅以外卖配送场景为例进行说明的数据处理方法,本说明书提供的上述数据处理方法还可应用于其他场景。例如,在预约出行场景中,将出行订单数据的特征输入预先训练的预估模型,得到预估出行订单等车时间以及预估误差值,根据预估误差值对预估出行订单等车时间进行补偿,得到最终预估出行订单等车时间,服务器则以最终出行订单等车时间为依据,规划乘客合理出门时间,从而避免出现乘客与车辆在不同时刻到达上车点的情况,节省了乘客与司机的等待时间,达到高效出行的效果。
又如,在网上购物场景中,将网上购物订单数据的特征输入预先训练的预估模型,得到预估网上购物订单送达时间以及预估误差值,根据预估误差值对预估网上购物订单送达时间进行补偿,得到最终网上购物订单送达时间,服务器则以最终网上购物订单送达时间为依据,规划快递员合理配送时间,从而避免出现配送不及时的情况,提高了快递配送的效率。
本说明书提供的一种数据处理方法,可应用于多种场景中,针对不同场景的应用,这里就不再一一赘述。
基于图1所示的数据处理方法,本说明书实施例还对应提供一种数据处理装置结构示意图,如图4所示。
图4为本说明书实施例提供的一种数据处理装置结构示意图,所述装置包括:
获取模块401,用于获取目标数据的特征;
预估模块402,用于将所述目标数据的特征输入预估模型,得到所述目标数据在指定维度上的预估属性值以及预估误差值;
补偿模块403,用于根据所述预估误差值对所述预估属性值进行补偿,得到最终属性值;
处理模块404,用于根据所述最终属性值,对所述目标数据进行处理。
可选地,所述装置还包括:
训练模块405,用于预先获取若干历史数据的特征;将所述历史数据的特征输入待训练的预估模型,得到所述历史数据在指定维度上的待优化预估属性值以及待优化预估误差值;根据所述待优化预估属性值以及所述历史数据在指定维度上的实际属性值,确定实际误差值;根据所述待优化预估误差值以及所述实际误差值,确定损失;以最小化损失为训练目标,对所述待训练的预估模型进行迭代训练。
可选地,所述训练模块405具体用于,确定所述实际误差值的平方与所述待优化预估误差值的平方的比值;确定所述待优化预估误差值的平方的对数;根据所述比值与所述对数,确定损失。
可选地,所述训练模块405具体用于,在预设的各系数中选择指定系数;确定所述指定系数与所述待优化预估误差值的乘积;确定所述比值、所述对数与所述乘积的和值,作为损失。
可选地,所述训练模块405具体用于,针对预设的每个系数,确定该系数与所述待优化预估误差值的乘积,作为备选乘积,确定所述比值、所述对数与所述备选乘积的和值,作为备选损失,以最小化所述备选损失为训练目标,对所述待训练的预估模型进行指定次数的迭代训练,并确定训练后所述待训练的预估模型的准确度;根据针对每个系数确定出的准确度,在预设的各系数中,选择准确度最高的系数作为指定系数。
可选地,所述补偿模块403具体用于,根据预设的各误差区间,确定所述预估误差值落入的误差区间;根据预设的各误差区间与各补偿权重的对应关系,确定所述预估误差值落入的误差区间对应的补偿权重;根据所述预估误差值和确定出的补偿权重,确定补偿值;将所述补偿值与所述预估属性值的和值,确定为最终属性值。
可选地,所述目标数据包括:订单的数据;所述目标数据在指定维度上的属性值包括:所述订单对应的配送物提供方的供货准备时间;
所述处理模块404,用于根据所述最终属性值,对所述目标数据进行处理,包括:根据所述订单对应的配送物提供方的最终供货准备时间,对所述订单进行调度规划。
本说明书实施例还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的数据处理方法。
基于图1所示的数据处理方法,本说明书实施例还提出了图5所示的对应于图1的电子设备示意图,如图5,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的数据处理方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
获取目标数据的特征;
将所述目标数据的特征输入预估模型,得到所述目标数据在指定维度上的预估属性值以及预估误差值;
根据所述预估误差值对所述预估属性值进行补偿,得到最终属性值;
根据所述最终属性值,对所述目标数据进行处理。
2.如权利要求1所述的方法,其特征在于,预先训练预估模型,包括:
获取若干历史数据的特征;
将所述历史数据的特征输入待训练的预估模型,得到所述历史数据在指定维度上的待优化预估属性值以及待优化预估误差值;
根据所述待优化预估属性值以及所述历史数据在指定维度上的实际属性值,确定实际误差值;
根据所述待优化预估误差值以及所述实际误差值,确定损失;
以最小化损失为训练目标,对所述待训练的预估模型进行迭代训练。
3.如权利要求2所述的方法,其特征在于,所述根据所述待优化预估误差值以及所述实际误差值,确定损失,包括:
确定所述实际误差值的平方与所述待优化预估误差值的平方的比值;
确定所述待优化预估误差值的平方的对数;
根据所述比值与所述对数,确定损失。
4.如权利要求3所述的方法,其特征在于,所述根据所述比值与所述对数,确定损失,包括:
在预设的各系数中选择指定系数;
确定所述指定系数与所述待优化预估误差值的乘积;
确定所述比值、所述对数与所述乘积的和值,作为损失。
5.如权利要求4所述的方法,其特征在于,所述在预设的各系数中选择指定系数,包括:
针对预设的每个系数,确定该系数与所述待优化预估误差值的乘积,作为备选乘积,确定所述比值、所述对数与所述备选乘积的和值,作为备选损失,以最小化所述备选损失为训练目标,对所述待训练的预估模型进行指定次数的迭代训练,并确定训练后所述待训练的预估模型的准确度;
根据针对每个系数确定出的准确度,在预设的各系数中,选择准确度最高的系数作为指定系数。
6.如权利要求1所述的方法,其特征在于,所述根据所述预估误差值对所述预估属性值进行补偿,得到最终属性值,包括:
根据预设的各误差区间,确定所述预估误差值落入的误差区间;
根据预设的各误差区间与各补偿权重的对应关系,确定所述预估误差值落入的误差区间对应的补偿权重;
根据所述预估误差值和确定出的补偿权重,确定补偿值;
将所述补偿值与所述预估属性值的和值,确定为最终属性值。
7.如权利要求1~6任一所述的方法,其特征在于,所述目标数据包括:订单的数据;
所述目标数据在指定维度上的属性值包括:所述订单对应的配送物提供方的供货准备时间;
所述根据所述最终属性值,对所述目标数据进行处理,包括:
根据所述订单对应的配送物提供方的最终供货准备时间,对所述订单进行调度规划。
8.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取目标数据的特征;
预估模块,用于将所述目标数据的特征输入预估模型,得到所述目标数据在指定维度上的预估属性值以及预估误差值;
补偿模块,用于根据所述预估误差值对所述预估属性值进行补偿,得到最终属性值;
处理模块,用于根据所述最终属性值,对所述目标数据进行处理。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-7任一所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法。
CN201910705176.XA 2019-08-01 2019-08-01 一种数据处理方法及装置 Pending CN110533182A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910705176.XA CN110533182A (zh) 2019-08-01 2019-08-01 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910705176.XA CN110533182A (zh) 2019-08-01 2019-08-01 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN110533182A true CN110533182A (zh) 2019-12-03

Family

ID=68662093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910705176.XA Pending CN110533182A (zh) 2019-08-01 2019-08-01 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110533182A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598487A (zh) * 2020-06-22 2020-08-28 拉扎斯网络科技(上海)有限公司 数据处理和模型训练方法、装置、电子设备和存储介质
CN115432527A (zh) * 2022-09-30 2022-12-06 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 提升系统的控制方法、装置及提升系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598487A (zh) * 2020-06-22 2020-08-28 拉扎斯网络科技(上海)有限公司 数据处理和模型训练方法、装置、电子设备和存储介质
CN111598487B (zh) * 2020-06-22 2024-03-15 拉扎斯网络科技(上海)有限公司 数据处理和模型训练方法、装置、电子设备和存储介质
CN115432527A (zh) * 2022-09-30 2022-12-06 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 提升系统的控制方法、装置及提升系统
CN115432527B (zh) * 2022-09-30 2024-04-05 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 提升系统的控制方法、装置及提升系统

Similar Documents

Publication Publication Date Title
CN110414731A (zh) 订单分配的方法、装置、计算机可读存储介质及电子设备
CN109902819A (zh) 神经网络计算方法、装置、移动终端及存储介质
CN110231044A (zh) 一种路径规划方法及装置
CN108305158A (zh) 一种训练风控模型和风控的方法、装置及设备
CN106528067B (zh) 一种生成报表的方法及装置
CN109062782A (zh) 一种回归测试用例的选择方法、装置及设备
CN110378400A (zh) 一种用于图像识别的模型训练方法及装置
CN109426912A (zh) 风控系统优化方法、系统、装置以及电子设备
CN110533182A (zh) 一种数据处理方法及装置
CN109784599A (zh) 一种模型训练、风险识别的方法、装置及设备
CN107025137A (zh) 一种资源查询方法及装置
CN110400012A (zh) 一种确定配送路径的方法及装置
CN108460490A (zh) 一种业务发生量的预测方法、装置及设备
CN109584431A (zh) 一种优先排队的数据处理方法、装置及系统
CN108023834A (zh) 一种云资源自动分配方法及装置
CN109255629A (zh) 一种客户分群方法及装置、电子设备、可读存储介质
CN103886391B (zh) 业务量预测方法和装置
CN108920183A (zh) 一种业务决策方法、装置及设备
CN110363468B (zh) 采购订单的确定方法、装置、服务器及可读存储介质
CN110517095A (zh) 一种投放广告的方法及装置
CN107038127A (zh) 应用系统及其缓存控制方法和装置
CN110414572A (zh) 一种图像识别的方法及装置
CN109658187A (zh) 推荐云服务商的方法、装置、存储介质及电子设备
CN109376988A (zh) 一种业务数据的处理方法和装置
CN109919357A (zh) 一种数据确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination