CN111222663B - 数据处理方法及其系统、计算机系统及计算机可读介质 - Google Patents
数据处理方法及其系统、计算机系统及计算机可读介质 Download PDFInfo
- Publication number
- CN111222663B CN111222663B CN201811413283.7A CN201811413283A CN111222663B CN 111222663 B CN111222663 B CN 111222663B CN 201811413283 A CN201811413283 A CN 201811413283A CN 111222663 B CN111222663 B CN 111222663B
- Authority
- CN
- China
- Prior art keywords
- model
- target
- reference model
- training
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000009977 dual effect Effects 0.000 claims description 81
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种数据处理方法,包括:获取目标模型,其中,目标模型能够依据输入的目标对象的特征数据对目标对象的流量进行预测,目标对象包括流量不超过预设阈值的对象;获取参考模型,其中,参考模型能够与目标模型相互训练并能够依据输入的参考对象的特征数据和流量对参考对象的流量进行预测,参考对象包括流量超过预设阈值的对象;基于参考模型训练目标模型,以得到新目标模型;以及基于新目标模型对目标对象的流量进行预测。本公开通过学习参考模型,使目标模型可以从中得到反馈和增强,有效利用参考对象流量的自相关性,提高目标对象流量预测的准确性。此外,本公开还提供了一种数据处理系统,一种计算机系统以及一种计算机可读存储介质。
Description
技术领域
本公开涉及数据处理技术领域,更具体地,涉及一种数据处理方法及其系统,计算机系统及计算机可读介质。
背景技术
对于企业经营的大量商品,这些商品需要保持合理的库存,一方面,如果库存备货不足,则无法满足现货率;另一方面,如果库存备货太多,则会增加存货成本。为了保持合理的库存,减少存货成本,增加收益,需要对商品未来的销量进行预测,根据预测的未来销量实施补货策略。因此,销量预测的准确与否,对保持合理的库存至关重要。
然而,在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:相关技术中提供的预测模型,对没有足够的销量信息的商品,预测准确性不高。
针对相关技术中的上述问题,目前还未提出有效的解决方案。
发明内容
有鉴于此,本公开提供了一种数据处理方法及其系统,计算机系统及计算机可读介质。
本公开的一个方面提供了一种数据处理方法,包括:获取目标模型,其中,上述目标模型能够依据输入的目标对象的特征数据对上述目标对象的流量进行预测,上述目标对象包括流量不超过预设阈值的对象;获取参考模型,其中,上述参考模型能够与上述目标模型相互训练并能够依据输入的参考对象的特征数据和流量对上述参考对象的流量进行预测,上述参考对象包括流量超过预设阈值的对象;基于上述参考模型训练上述目标模型,以得到新目标模型;以及基于上述新目标模型对上述目标对象的流量进行预测。
根据本公开的实施例,上述基于上述参考模型训练上述目标模型,以得到新目标模型包括:基于上述参考模型,获取预设时间段内上述参考对象的预测流量;获取上述预设时间段内上述参考对象的实际流量;基于上述预测流量和上述实际流量确定的预测误差,训练上述参考模型的模型参数,以得到第一参考模型;以及基于上述第一参考模型训练上述目标模型,以得到新目标模型。
根据本公开的实施例,上述基于上述第一参考模型训练上述目标模型,以得到新目标模型包括:基于上述目标模型,获取上述预设时间段内上述目标对象的第一预测流量;基于上述第一预测流量和上述第一参考模型,获取上述目标对象的第二预测流量;以及基于上述第一预测流量和上述第二预测流量确定的预测误差,训练上述目标模型的模型参数,以得到上述新目标模型。
根据本公开的实施例,上述参考模型包括互为对偶的原始参考模型和对偶参考模型,上述预设时间段包括第一时间段和第二时间段,上述第一时间段早于上述第二时间段,上述基于上述参考模型训练上述目标模型,以得到新目标模型包括:基于上述原始参考模型,获取上述第二时间段内上述参考对象的第一预测流量;基于上述对偶参考模型,获取上述第一时间段内上述参考对象的第二预测流量;获取上述第二时间段内上述参考对象的第一实际流量;获取上述第一时间段内上述参考对象的第二实际流量;基于上述第一预测流量和上述第一实际流量确定的第一预测误差,训练上述原始参考模型的模型参数,以得到第一原始参考模型;基于上述第二预测流量和上述第二实际流量确定的第二预测误差,训练上述对偶参考模型的模型参数,以得到第一对偶参考模型;以及基于上述第一原始参考模型和上述第一对偶参考模型训练上述目标模型,以得到新目标模型。
根据本公开的实施例,上述基于上述第一参考模型训练上述目标模型,以得到新目标模型包括:基于上述目标模型,获取上述第一时间段内上述目标对象的第三预测流量和上述第二时间段内上述目标对象的第四预测流量;基于上述第三预测流量和上述第一原始参考模型,获取上述第二时间段内上述目标对象的第五预测流量;基于上述第四预测流量和上述第一对偶参考模型,获取上述第一时间段内上述目标对象的第六预测流量;以及基于上述第三预测流量和上述第五预测流量确定的第三预测误差以及上述第四预测流量和上述第六预测流量确定的第四预测误差,训练上述目标模型的模型参数,以得到上述新目标模型。
根据本公开的实施例,上述方法还包括:基于上述第五预测流量和上述第一对偶参考模型,获取上述第一时间段内上述目标对象的第七预测流量;基于上述第六预测流量和上述第一原始参考模型,获取上述第二时间段内上述目标对象的第八预测流量;基于上述第五预测流量和上述第七预测流量确定的第五预测误差,训练上述第一对偶参考模型的模型参数,以得到新对偶参考模型;基于上述第六预测流量和上述第八预测流量确定的第六预测误差,训练上述第一原始参考模型的模型参数,以得到新原始参考模型;以及基于上述新对偶参考模型和上述新原始参考模型训练上述新目标模型,以更新上述新目标模型。
本公开的另一个方面提供了一种数据处理系统,包括:第一获取模块,用于获取目标模型,其中,上述目标模型能够依据输入的目标对象的特征数据对上述目标对象的流量进行预测,上述目标对象包括流量不超过预设阈值的对象;第二获取模块,用于获取参考模型,其中,上述参考模型能够与上述目标模型相互训练并能够依据输入的参考对象的特征数据和流量对上述参考对象的流量进行预测,上述参考对象包括流量超过预设阈值的对象;训练模块,用于基于上述参考模型训练上述目标模型,以得到新目标模型;以及预测模块,用于基于上述新目标模型对上述目标对象的流量进行预测。
根据本公开的实施例,上述训练模块包括:第一获取子模块,用于基于上述参考模型,获取预设时间段内上述参考对象的预测流量;第二获取子模块,用于获取上述预设时间段内上述参考对象的实际流量;第一训练子模块,用于基于上述预测流量和上述实际流量确定的预测误差,训练上述参考模型的模型参数,以得到第一参考模型;以及第二训练子模块,用于基于上述第一参考模型,训练上述目标模型,以得到新目标模型。
根据本公开的实施例,上述第二训练子模块包括:第一获取单元,用于基于上述目标模型,获取在上述预设时间段内指定对象的第一预测流量,其中,上述指定对象包括参考对象和/或目标对象;第二获取单元,用于基于上述第一预测流量和上述第一参考模型,获取上述指定对象的第二预测流量;以及第一训练单元,用于基于上述第一预测流量和上述第二预测流量确定的预测误差,训练上述目标模型的模型参数,以得到上述新目标模型。
根据本公开的实施例,第一获取子模块,还用于基于上述原始参考模型,获取上述第二时间段内上述参考对象的第一预测流量;以及基于上述对偶参考模型,获取上述第一时间段内上述参考对象的第二预测流量;第二获取子模块,还用于获取上述第二时间段内上述参考对象的第一实际流量;以及获取上述第一时间段内上述参考对象的第二实际流量;第一训练子模块,还用于基于上述第一预测流量和上述第一实际流量确定的第一预测误差,训练上述原始参考模型的模型参数,以得到第一原始参考模型;以及用于基于上述第二预测流量和上述第二实际流量确定的第二预测误差,训练上述对偶参考模型的模型参数,以得到第一对偶参考模型;以及第二训练子模块,还用于基于上述第一原始参考模型和上述第一对偶参考模型训练上述目标模型,以得到新目标模型。
根据本公开的实施例,第一获取单元,还用于基于上述目标模型,获取上述第一时间段内上述目标对象的第三预测流量和上述第二时间段内上述目标对象的第四预测流量;第二获取单元,还用于基于上述第三预测流量和上述第一原始参考模型,获取上述第二时间段内上述目标对象的第五预测流量;以及基于上述第四预测流量和上述第一对偶参考模型,获取上述第一时间段内上述目标对象的第六预测流量;以及第一训练单元,还用于基于上述第三预测流量和上述第五预测流量确定的第三预测误差以及上述第四预测流量和上述第六预测流量确定的第四预测误差,训练上述目标模型的模型参数,以得到上述新目标模型。
根据本公开的实施例,上述系统还包括:第三获取单元,用于基于上述第五预测流量和上述第一对偶参考模型,获取上述第一时间段内上述目标对象的第七预测流量;以及基于上述第六预测流量和上述第一原始参考模型,获取上述第二时间段内上述目标对象的第八预测流量;第二训练单元,用于基于上述第五预测流量和上述第七预测流量确定的第五预测误差,训练上述第一对偶参考模型的模型参数,以得到新对偶参考模型;以及基于上述第六预测流量和上述第八预测流量确定的第六预测误差,训练上述第一原始参考模型的模型参数,以得到新原始参考模型;以及更新单元,用于基于上述新对偶参考模型和上述新原始参考模型训练上述新目标模型,以更新上述新目标模型。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,基于参考模型训练目标模型,使得目标模型可以学习到参考模型,从参考模型中得到反馈和增强,使得目标模型可以有效利用参考对象的流量的自相关性,以得到优化后的新目标模型,利用新目标模型对流量不超过预设阈值的目标对象的流量进行预测,可以至少部分克服相关技术提供的对目标对象进行流量预测方法,由于缺少对参考模型的数据的学习,无法从参考模型中得到反馈和增强,也无法使得目标模型有效利用参考对象的流量的自相关性,而导致预测结果准确性不高的技术问题,实现提高对目标对象进行流量预测的预测准确性的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1A示意性示出了根据本公开实施例的数据处理方法及其系统的系统架构;
图1B示意性示出了根据本公开实施例的数据处理方法及其系统的应用场景;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3A示意性示出了根据本公开实施例的基于参考模型训练目标模型,以得到新目标模型的流程图;
图3B示意性示出了根据本公开实施例的基于第一参考模型,训练目标模型,以得到新目标模型的流程图;
图3C示意性示出了根据本公开另一实施例的基于参考模型训练目标模型,以得到新目标模型的流程图;
图3D示意性示出了根据本公开另一实施例的基于参考模型训练目标模型,以得到新目标模型的示意图;
图3E示意性示出了根据本公开另一实施例的基于第一参考模型,训练目标模型,以得到新目标模型的流程图;
图3F示意性示出了根据本公开另一实施例的基于第一参考模型,训练目标模型,以得到新目标模型的示意图;
图3G示意性示出了根据本公开又一实施例的基于第一参考模型,训练目标模型,以得到新目标模型的流程图;
图3H示意性示出了根据本公开又一实施例的基于第一参考模型,训练目标模型,以得到新目标模型的示意图;
图4示意性示出了根据本公开实施例的数据处理系统的框图;
图5A示意性示出了根据本公开实施例的训练模块的框图;
图5B示意性示出了根据本公开实施例的第二训练子模块的框图;
图5C示意性示出了根据本公开另一实施例的数据处理系统的框图;以及
图6示意性示出了根据本公开实施例的适用于数据处理方法及其系统的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种数据处理方法,包括:获取目标模型,其中,目标模型能够依据输入的目标对象的特征数据对目标对象的流量进行预测,目标对象包括流量不超过预设阈值的对象;获取参考模型,其中,参考模型能够与目标模型相互训练并能够依据输入的参考对象的特征数据和流量对参考对象的流量进行预测,参考对象包括流量超过预设阈值的对象;基于参考模型训练目标模型,以得到新目标模型;以及基于新目标模型对目标对象的流量进行预测。
图1A示意性示出了根据本公开实施例的数据处理方法及其系统的系统架构100。需要注意的是,图1A所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1A所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1A中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图1B示意性示出了根据本公开实施例的数据处理方法及其系统的应用场景。
如图1B所示,根据该实施例的应用场景110可以包括目标模型111以及参考模型112。目标模型111能够依据输入的目标对象113的特征数据对目标对象113的流量进行预测,参考模型112能够与目标模型111相互训练并能够依据输入的参考对象114的特征数据和流量对参考对象114的流量进行预测,目标对象113包括流量不超过预设阈值的对象,参考对象114包括流量超过预设阈值的对象。
需要说明的是,“对象”和“商品”,“流量”和“销量”表示相同的意思,可以依据描述场景灵活选择。本公开应用场景仅以商品的销量预测为例说明,但并不是对本公开实施例可适于应用场景的限定和局限,本公开实施例可以适用于任何预测的场景,不仅限于流量预测。
下文涉及的术语包括时间序列模型和对偶学习。其中,时间序列模型是Encoder-Decoder结构的网络,输入是一个序列,输出也是一个序列,Encoder中将一个可变长度的信号序列变为固定长度的向量表达,Decoder将这个固定长度的向量变成可变长度的目标的信号序列。深度学习中时间序列模型一般是通过RNN循环神经网络实现。
对偶学习为一种新的机器学习范式,利用一对深度学习模型,一个是原始任务模型即原始参考模型,另一个是对偶任务的模型即对偶参考模型,通过同时训练,可以相互提供反馈,相互学习、相互提高。例如:英译汉-汉译英是一对对偶任务,可以同时训练这两个任务,使其相互一致,共同提高准确度。对偶学习的好处就是可以利用大量没有label的数据来强化、提高通过监督学习训练出来的原始模型。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示,该方法包括操作S210~S240。其中:
在操作S210,获取目标模型。
在操作S220,获取参考模型。
在操作S230,基于参考模型训练目标模型,以得到新目标模型。
在操作S240,基于新目标模型对目标对象的流量进行预测。
根据本公开的实施例,目标对象包括流量不超过预设阈值的对象,参考对象包括流量超过预设阈值的对象。
对商品来说,商品都有自己的生命周期,每一段时间都有商品不再销售,而有一些新的商品进入市场。而这些新的商品没有销售过,有的只销售过几次,没有足够的历史销量,称为目标对象(或新品)。而有历史销量的商品称为参考对象(或老品)。
根据本公开的实施例,目标模型能够依据输入的目标对象的特征数据对目标对象的流量进行预测,参考模型能够与目标模型相互训练并能够依据输入的参考对象的特征数据和流量对参考对象的流量进行预测。
相关技术中,大部分的销量预测模型都基于时间序列的分析,根据商品历史的销量来预测和其他信息来预测未来的销量。基于时间序列的预测模型就无法应用。而针对新品的预测模型可以是基于市场研究的方法,例如bass、ATAR预测模型,也可以基于相似品的预测方式,通过研究商品的属性,学习商品之间的相似度。预测新品销量的时候,先找到跟该新品相似的有历史销量的商品,根据相似品的历史销量,通过时间序列模型来预测新品的销量。而基于市场研究的方法:模型参数不容易学习,而且参数无法适应时间的变化,基于相似品的预测方法:商品的属性很多,根据所谓的“相似性”,很难得到未来销量的相似性;不同相似性度量方法,会产生不同的相似品,单独生成一个“相似性”的度量,意义不是很大。根据这样的相似品销量来预测未来向量,准确性不高。以上两种模型都没有从时间序列模型中得到反馈和增强,没有有效的利用商品销量时间序列的自相关性;没有利用无销量的数据分布增强模型。
根据本公开的实施例,目标模型是非时间序列模型,可以是普通的多层神经网络实现的预测模型,简称为MN,通过商品特征与销量进行映射,商品特征中不包含销量信息。
根据本公开的实施例,参考模型是时间序列模型,可以是深度学习循环神经网络(Recurrent Neural Network,简称为RNN)的时间序列预测模型,简称为SM。
根据本公开的实施例,以上模型使用的特征都包含多个维度的信息,可以包括但不限于商品基本属性,商品扩展属性,时间信息,促销、节日信息,历史销量信息。其中:
商品基本属性:例如:品类、品牌、价格等。
商品扩展属性:商品颜色、款式等;尺码、材质、风格。
时间信息:销量对应的时间,包括年、月、周(第多少周),日、以及星期几等属性。
促销、节日信息:大促、春节、大促前、大促后等。
历史销量信息:上月周均销量、上月月均销量等。
以上特征,除了销量信息,其他信息都可以在预测前已知。
模型的label为与模型在预设时间段内对象的实际销量。对应于目标模型,目标模型的label为在预设时间段内目标对象的实际销量,参考模型的label为在预设时间段内参考对象的实际销量。
根据本公开的实施例,利用目标模型和参考模型相结合对目标对象预测进行建模。目标模型不使用销量作为特征,根据对象的基本信息与流量进行映射。参考模型可以根据对象特征和流量进行流量的预测。
通过本公开的实施例,基于参考模型训练目标模型,使得目标模型可以学习到参考模型,从参考模型中得到反馈和增强,使得目标模型可以有效利用参考对象的流量的自相关性,以得到优化后的新目标模型,利用新目标模型对流量不超过预设阈值的目标对象的流量进行预测,可以至少部分克服相关技术提供的对目标对象进行流量预测方法,由于缺少对参考模型的数据的学习,无法从参考模型中得到反馈和增强,也无法使得目标模型有效利用参考对象的流量的自相关性,而导致预测结果准确性不高的技术问题,实现提高对目标对象进行流量预测的预测准确性的技术效果。
下面参考图3A~图3H,结合具体实施例对图2所示的方法做进一步说明。
图3A示意性示出了根据本公开实施例的基于参考模型训练目标模型,以得到新目标模型的流程图。
如图3A所示,前述操作S230(基于参考模型训练目标模型,以得到新目标模型)包括操作S311~S314。其中:
在操作S311,基于参考模型,获取预设时间段内参考对象的预测流量。
在操作S312,获取预设时间段内参考对象的实际流量。
在操作S313,基于预测流量和实际流量确定的预测误差,训练参考模型的模型参数,以得到第一参考模型。
在操作S314,基于第一参考模型训练目标模型,以得到新目标模型。
根据本公开的实施例,可以利用参考对象的特征信息训练目标模型和参考模型,训练数据的长度可以灵活选择,例如:使用历史两年的数据训练模型。构造时间序列预测模型时,可以使用历史任何时间销量构造特征,只要销量特征和label之间满足时间间隔即可,例如M-N,label和特征相隔M天。
根据本公开的实施例,可以利用参考模型,输入预设时间内参考对象的历史特征,得到参考对象预测销量,与实际销量对比,可以确定参考对象的预测误差,预测误差可以利用损失函数为参考来训练参考模型的模型参数,以得到第一参考模型。
具体损失函数可以根据需要使用绝对值loss或者平方loss等,以下同。目标模型的信息作为特征,预测当前销量,label就是目标对象当天真实销量。如果想预测一段时间的销量,例如时间点之后M+N天销量,只需构造对应M+N天的特征即可。
通过本公开的实施例,根据参考模型的预测结果和获取的实际结果确定的预测误差,对参考模型的模型参数进行训练,以优化参考模型,可以提高预测结果准确性。
图3B示意性示出了根据本公开实施例的基于第一参考模型,训练目标模型,以得到新目标模型的流程图。
如图3B所示,前述操作S314(基于第一参考模型训练目标模型,以得到新目标模型)包括操作S321~S323。其中:
在操作S321,基于目标模型,获取预设时间段内目标对象的第一预测流量。
在操作S322,基于第一预测流量和第一参考模型,获取目标对象的第二预测流量。
在操作S323,基于第一预测流量和第二预测流量确定的预测误差,训练目标模型的模型参数,以得到新目标模型。
根据本公开的实施例,还可以利用目标对象的特征信息训练目标模型。具体地,可以基于目标模型生成目标对象的预测流量,将预测流量传给第一参考模型,根据目标模型的预测结果和第一参考模型的预测结果确定的预测误差,更新目标模型的模型参数,可以不更新参考模型的模型参数。
通过本公开的实施例,根据目标模型的第一预测结果,以及基于第一预测结果和优化后的参考模型确定的第二预测结果确定的预测误差,进一步对目标模型的模型参数进行优化,可以进一步提高预测结果的准确性。
图3C示意性示出了根据本公开另一实施例的基于参考模型训练目标模型,以得到新目标模型的流程图。
根据本公开的实施例,应用了“对偶学习”思想,构建两个互为对偶的任务模型,即参考模型包括原始参考模型和对偶参考模型,其中,原始参考模型可以根据历史信息预测未来销量,对偶参考模型可以根据未来销量倒推历史销量,可以理解的是,原始参考模型可以根据未来销量倒推历史销量,对偶参考模型可以根据历史信息预测未来销量。预设时间段包括第一时间段和第二时间段,且第一时间段早于第二时间段。
前述操作S230(基于参考模型训练目标模型,以得到新目标模型)包括操作S311~S314。其中:
在操作S311,基于原始参考模型,获取第二时间段内参考对象的第一预测流量,基于对偶参考模型,获取第一时间段内参考对象的第二预测流量。
在操作S312,获取在第二时间段内参考对象的第一实际流量,获取在第一时间段内参考对象的第二实际流量;
在操作S313,基于第一预测流量和第一实际流量确定的第一预测误差,训练原始参考模型的模型参数,以得到第一原始参考模型,基于第二预测流量和第二实际流量确定的第二预测误差,训练对偶参考模型的模型参数,以得到第一对偶参考模型。
在操作S314,基于第一原始参考模型和第一对偶参考模型训练目标模型,以得到新目标模型。
图3D示意性示出了根据本公开另一实施例的基于参考模型训练目标模型,以得到新目标模型的示意图。
结合图3D所示的参考模型和目标模型,对基于参考模型训练目标模型,以得到新目标模型进行详细说明。
原始参考模型(SM1),对偶参考模型(SM2),预设时间段(M+N)可以包括第一时间段(M)和第二时间段(N)。
如图3D所示,通过RNN实现的时间序列预测模型SM1,M->N表示根据历史M天信息预测未来N天销量SM1n,label为未来N天的真实销量Tn,损失函数为L(SM1n,Tn)。通过RNN实现的时间序列预测模型SM2,但是跟SM1相反,互为对偶。N->M表示使用未来N天的特征,倒推历史M天的销量SM2m,label为历史M天的真实销量Tm,损失函数为L(SM2m,Tm)。通过目标模型MN,可以将商品的信息作为特征,预测当前销量MNd,label就是商品当天真实销量Td。预测一段时间的销量,例如一个时间点之后M+N天销量,只需构造对应M+N天的特征。
通过本公开的实施例,参考模块包括原始参考模型和对偶参考模型的情况下,根据互为对偶的参考模型的预测结果互相训练,提高对参考模型的优化结果,可以进一步提高预测结果的准确性。
图3E示意性示出了根据本公开另一实施例的基于第一参考模型,训练目标模型,以得到新目标模型的流程图。
前述操作S314(基于第一参考模型训练目标模型,以得到新目标模型)包括操作S321~S323。其中:
在操作S321,基于目标模型,获取第一时间段内目标对象的第三预测流量和第二时间段内目标对象的第四预测流量。
在操作S322,基于第三预测流量和第一原始参考模型,获取第二时间段内目标对象的第五预测流量,基于第四预测流量和第一对偶参考模型,获取第一时间段内目标对象的第六预测流量。
在操作S323,基于第三预测流量和第五预测流量确定的第三预测误差以及第四预测流量和第六预测流量确定的第四预测误差,训练目标模型的模型参数,以得到新目标模型。
图3F示意性示出了根据本公开另一实施例的基于第一参考模型,训练目标模型,以得到新目标模型的示意图。
根据本公开的实施例,利用目标对象的特征信息训练目标模型可以结合如图3F所示进行详细说明。
具体地,可以使用模型MN生成新品销量,借助SM1/SM2更新MN模型参数,步骤如下:
1)模型MN生成M+N天销量,MNm、MNn。
2)MNm传给SM1得到未来N天销量SM1n。
3)MNn传给SM2得到历史M天销量SM2m。
4)根据损失函数L(SM1n,MNn)+L(SM2m,MNm),更新MN的模型参数。注意:此时不更新两个seq2seq即SM1/SM2的模型参数。
通过本公开的实施例,将目标模型的预测结果,结合基于预测结果域互为对偶的两个参考模型的预测结果,对目标模型的模型参数进行调整优化,可以进一步提高预测结果的准确性。
图3G示意性示出了根据本公开又一实施例的基于第一参考模型,训练目标模型,以得到新目标模型的流程图。
如图3G所示,前述方法还包括操作S331~S333。其中:
在操作S331,基于第五预测流量和第一对偶参考模型,获取第一时间段内目标对象的第七预测流量,基于第六预测流量和第一原始参考模型,获取第二时间段内目标对象的第八预测流量。
在操作S332,基于第五预测流量和第七预测流量确定的第五预测误差,训练第一对偶参考模型的模型参数,以得到新对偶参考模型,基于第六预测流量和第八预测流量确定的第六预测误差,训练第一原始参考模型的模型参数,以得到新原始参考模型。
在操作S333,基于新对偶参考模型和新原始参考模型训练新目标模型,以更新新目标模型。
图3H示意性示出了根据本公开又一实施例的基于第一参考模型,训练目标模型,以得到新目标模型的示意图。
在参考模型的模型参数和目标模型的模型参数更新之后,还可以基于新品信息训练模型SM1/SM2。
如图3H所示,借助模型MN,更新SM1/SM2两个模型参数,步骤如下:
1)模型MN生成M+N天销量,MNm、MNn。
2)MNm传给SM1得到未来N天销量SM1n;SM1n传给SM2得到SM2m(SM1n)。
3)MNn传给SM2得到历史M天销量SM2m;SM2m传给SM1得到SM1n(SM2m)。
4)根据损失函数L(SM2m(SM1n)-NMm,SM1n(SM2m)-NMn)更新SM1、SM2的模型参数。
注意:此时不更新两个MN模型参数。由于两个seq2seq互为对偶,因此SM2m(SM1n)在理想状态先应该与NMm相等;SM1n(SM2m)在理想状态下应该与NMn相等。
通过本公开的实施例,两个互为对偶的参考模型互相调整优化,可以达到同时训练,相互提升预测结果的技术效果,可以进一步提高预测结果的准确性。
图4示意性示出了根据本公开实施例的数据处理系统的框图。
如图4所示,该数据处理系统400包括第一获取模块410、第二获取模块420、训练模块430以及预测模块440。其中:
第一获取模块410,用于获取目标模型,其中,目标模型能够依据输入的目标对象的特征数据对目标对象的流量进行预测,目标对象包括流量不超过预设阈值的对象。
第二获取模块420,用于获取参考模型,其中,参考模型能够与目标模型相互训练并能够依据输入的参考对象的特征数据和流量对参考对象的流量进行预测,参考对象包括流量超过预设阈值的对象。
训练模块430,用于基于参考模型训练目标模型,以得到新目标模型。
预测模块440,用于基于新目标模型对目标对象的流量进行预测。
通过本公开的实施例,基于参考模型训练目标模型,使得目标模型可以学习到参考模型,从参考模型中得到反馈和增强,使得目标模型可以有效利用参考对象的流量的自相关性,以得到优化后的新目标模型,利用新目标模型对流量不超过预设阈值的目标对象的流量进行预测,可以至少部分克服相关技术提供的对目标对象进行流量预测方法,由于缺少对参考模型的数据的学习,无法从参考模型中得到反馈和增强,也无法使得目标模型有效利用参考对象的流量的自相关性,而导致预测结果准确性不高的技术问题,实现提高对目标对象进行流量预测的预测准确性的技术效果。
图5A示意性示出了根据本公开实施例的训练模块的框图。
如图5A所示,训练模块430包括第一获取子模块511、第二获取子模块512、第一训练子模块513以及第二训练子模块514。其中:
第一获取子模块511,用于基于参考模型,获取预设时间段内参考对象的预测流量。
第二获取子模块512,用于获取预设时间段内参考对象的实际流量。
第一训练子模块513,用于基于预测流量和实际流量确定的预测误差,训练参考模型的模型参数,以得到第一参考模型。
第二训练子模块514,用于基于第一参考模型训练目标模型,以得到新目标模型
通过本公开的实施例,根据参考模型的预测结果和获取的实际结果确定的预测误差,对参考模型的模型参数进行训练,以优化参考模型,可以提高预测结果准确性。
图5B示意性示出了根据本公开实施例的第二训练子模块的框图。
如图5B所示,第二训练子模块514包括第一获取单元521、第二获取单元522以及第一训练单元523。其中:
第一获取单元521,用于基于目标模型,获取预设时间段内指定对象的第一预测流量,其中,指定对象包括参考对象和/或目标对象。
第二获取单元522,用于基于第一预测流量和第一参考模型,获取指定对象的第二预测流量。
第一训练单元523,用于基于第一预测流量和第二预测流量确定的预测误差,训练目标模型的模型参数,以得到新目标模型。
通过本公开的实施例,根据目标模型的第一预测结果,以及基于第一预测结果和优化后的参考模型确定的第二预测结果确定的预测误差,进一步对目标模型的模型参数进行优化,可以进一步提高预测结果的准确性。
根据本公开的实施例,第一获取子模块511,还用于基于原始参考模型,获取在第二时间段内参考对象的第一预测流量;以及基于对偶参考模型,获取在第一时间段内参考对象的第二预测流量。
第二获取子模块512,还用于获取在第二时间段内参考对象的第一实际流量;以及获取在第一时间段内参考对象的第二实际流量。
第一训练子模块513,还用于基于第一预测流量和第一实际流量确定的第一预测误差,训练原始参考模型的模型参数,以得到第一原始参考模型;以及用于基于第二预测流量和第二实际流量确定的第二预测误差,训练对偶参考模型的模型参数,以得到第一对偶参考模型。
第二训练子模块514,还用于基于第一原始参考模型和第一对偶参考模型,训练目标模型,以得到新目标模型。
通过本公开的实施例,参考模块包括原始参考模型和对偶参考模型的情况下,根据互为对偶的参考模型的预测结果互相训练,提高对参考模型的优化结果,可以进一步提高预测结果的准确性。
根据本公开的实施例,第一获取单元521,还用于基于目标模型,获取第一时间段内指定对象的第三预测流量和第二时间段内指定对象的第四预测流量,其中,指定对象包括参考对象和/或目标对象。
第二获取单元522,还用于基于第三预测流量和第一原始参考模型,获取第二时间段内指定对象的第五预测流量;以及基于第四预测流量和第一对偶参考模型,获取第一时间段内指定对象的第六预测流量。
第一训练单元523,还用于基于第三预测流量和第五预测流量确定的第三预测误差以及第四预测流量和第六预测流量确定的第四预测误差,训练目标模型的模型参数,以得到新目标模型。
通过本公开的实施例,将目标模型的预测结果,结合基于预测结果域互为对偶的两个参考模型的预测结果,对目标模型的模型参数进行调整优化,可以进一步提高预测结果的准确性。
图5C示意性示出了根据本公开另一实施例的数据处理系统的框图。
如图5C所示,第二训练子模块514除了包括第一获取单元521、第二获取单元522以及第一训练单元523之外,还可以包括第三获取单元531、第二训练单元532以及更新单元533。其中:
第三获取单元531,用于基于第五预测流量和第一对偶参考模型,获取第一时间段内目标对象的第七预测流量;以及基于第六预测流量和第一原始参考模型,获取第二时间段内目标对象的第八预测流量。
第二训练单元532,用于基于第五预测流量和第七预测流量确定的第五预测误差,训练第一对偶参考模型的模型参数,以得到新对偶参考模型;以及基于第六预测流量和第八预测流量确定的第六预测误差,训练第一原始参考模型的模型参数,以得到新原始参考模型。
更新单元533,用于基于新对偶参考模型和新原始参考模型训练新目标模型,以更新目标模型。
通过本公开的实施例,两个互为对偶的参考模型互相调整优化,可以达到同时训练,相互提升预测结果的技术效果,可以进一步提高预测结果的准确性。
根据本公开的实施例的模块、子模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块410、第二获取模块420、训练模块430以及预测模块440中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块410、第二获取模块420、训练模块430以及预测模块440中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块410、第二获取模块420、训练模块430以及预测模块440中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图6示意性示出了根据本公开实施例的适用于数据处理方法及其系统的方框图。图6示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,根据本公开实施例的计算机系统600包括处理器601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 603中,存储有系统600操作所需的各种程序和数据。处理器601、ROM 602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,系统600还可以包括输入/输出(I/O)接口605,输入/输出(I/O)接口605也连接至总线604。系统600还可以包括连接至I/O接口605的以下部件中的一项或多项:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (10)
1.一种数据处理方法,包括:
获取目标模型,其中,所述目标模型能够依据输入的目标对象的特征数据对所述目标对象的流量进行预测,所述目标对象包括流量不超过预设阈值的对象;
获取参考模型,其中,所述参考模型能够与所述目标模型相互训练并能够依据输入的参考对象的特征数据和流量对所述参考对象的流量进行预测,所述参考对象包括流量超过预设阈值的对象;
基于所述参考模型训练所述目标模型,以得到新目标模型;以及
基于所述新目标模型对所述目标对象的流量进行预测;
其中,所述基于所述参考模型训练所述目标模型,以得到新目标模型包括:
基于所述参考模型,获取预设时间段内所述参考对象的预测流量;
获取所述预设时间段内所述参考对象的实际流量;
基于所述预测流量和所述实际流量确定的预测误差,训练所述参考模型的模型参数,以得到第一参考模型;以及
基于所述第一参考模型训练所述目标模型,以得到新目标模型;
其中,所述基于所述第一参考模型训练所述目标模型,以得到新目标模型包括:
基于所述目标模型,获取所述预设时间段内所述目标对象的第一预测流量;
基于所述目标对象的第一预测流量和所述第一参考模型,获取所述目标对象的第二预测流量;以及
基于所述目标对象的第一预测流量和所述目标对象的第二预测流量确定的预测误差,训练所述目标模型的模型参数,以得到所述新目标模型。
2.根据权利要求1所述的方法,其中,所述参考模型包括互为对偶的原始参考模型和对偶参考模型,所述预设时间段包括第一时间段和第二时间段,所述第一时间段早于所述第二时间段,所述基于所述参考模型训练所述目标模型,以得到新目标模型包括:
基于所述原始参考模型,获取所述第二时间段内所述参考对象的第一预测流量;
基于所述对偶参考模型,获取所述第一时间段内所述参考对象的第二预测流量;
获取所述第二时间段内所述参考对象的第一实际流量;
获取所述第一时间段内所述参考对象的第二实际流量;
基于所述参考对象的第一预测流量和所述第一实际流量确定的第一预测误差,训练所述原始参考模型的模型参数,以得到第一原始参考模型;
基于所述参考对象的第二预测流量和所述第二实际流量确定的第二预测误差,训练所述对偶参考模型的模型参数,以得到第一对偶参考模型;以及
基于所述第一原始参考模型和所述第一对偶参考模型训练所述目标模型,以得到新目标模型。
3.根据权利要求2所述的方法,其中,所述基于所述第一参考模型训练所述目标模型,以得到新目标模型包括:
基于所述目标模型,获取所述第一时间段内所述目标对象的第三预测流量和所述第二时间段内所述目标对象的第四预测流量;
基于所述第三预测流量和所述第一原始参考模型,获取所述第二时间段内所述目标对象的第五预测流量;
基于所述第四预测流量和所述第一对偶参考模型,获取所述第一时间段内所述目标对象的第六预测流量;以及
基于所述第三预测流量和所述第五预测流量确定的第三预测误差以及所述第四预测流量和所述第六预测流量确定的第四预测误差,训练所述目标模型的模型参数,以得到所述新目标模型。
4.根据权利要求3所述的方法,其中,所述方法还包括:
基于所述第五预测流量和所述第一对偶参考模型,获取所述第一时间段内所述目标对象的第七预测流量;
基于所述第六预测流量和所述第一原始参考模型,获取所述第二时间段内所述目标对象的第八预测流量;
基于所述第五预测流量和所述第七预测流量确定的第五预测误差,训练所述第一对偶参考模型的模型参数,以得到新对偶参考模型;
基于所述第六预测流量和所述第八预测流量确定的第六预测误差,训练所述第一原始参考模型的模型参数,以得到新原始参考模型;以及
基于所述新对偶参考模型和所述新原始参考模型训练所述新目标模型,以更新所述新目标模型。
5.一种数据处理系统,包括:
第一获取模块,用于获取目标模型,其中,所述目标模型能够依据输入的目标对象的特征数据对所述目标对象的流量进行预测,所述目标对象包括流量不超过预设阈值的对象;
第二获取模块,用于获取参考模型,其中,所述参考模型能够与所述目标模型相互训练并能够依据输入的参考对象的特征数据和流量对所述参考对象的流量进行预测,所述参考对象包括流量超过预设阈值的对象;
训练模块,用于基于所述参考模型训练所述目标模型,以得到新目标模型;以及
预测模块,用于基于所述新目标模型对所述目标对象的流量进行预测;
其中,所述训练模块包括:
第一获取子模块,用于基于所述参考模型,获取预设时间段内所述参考对象的预测流量;
第二获取子模块,用于获取所述预设时间段内所述参考对象的实际流量;
第一训练子模块,用于基于所述预测流量和所述实际流量确定的预测误差,训练所述参考模型的模型参数,以得到第一参考模型;以及
第二训练子模块,用于基于所述第一参考模型训练所述目标模型,以得到新目标模型;
其中,所述第二训练子模块包括:
第一获取单元,用于基于所述目标模型,获取所述预设时间段内所述目标对象的第一预测流量;
第二获取单元,用于基于所述目标对象的第一预测流量和所述第一参考模型,获取所述目标对象的第二预测流量;以及
第一训练单元,用于基于所述目标对象的第一预测流量和所述目标对象的第二预测流量确定的预测误差,训练所述目标模型的模型参数,以得到所述新目标模型。
6.根据权利要求5所述的系统,其中,所述参考模型包括互为对偶的原始参考模型和对偶参考模型,所述预设时间段包括第一时间段和第二时间段,所述第一时间段早于所述第二时间段:
第一获取子模块,还用于基于所述原始参考模型,获取所述第二时间段内所述参考对象的第一预测流量;以及基于所述对偶参考模型,获取所述第一时间段内所述参考对象的第二预测流量;
第二获取子模块,还用于获取所述第二时间段内所述参考对象的第一实际流量;以及获取所述第一时间段内所述参考对象的第二实际流量;
第一训练子模块,还用于基于所述参考对象的第一预测流量和所述第一实际流量确定的第一预测误差,训练所述原始参考模型的模型参数,以得到第一原始参考模型;以及用于基于所述参考对象的第二预测流量和所述第二实际流量确定的第二预测误差,训练所述对偶参考模型的模型参数,以得到第一对偶参考模型;以及
第二训练子模块,还用于基于所述第一原始参考模型和所述第一对偶参考模型训练所述目标模型,以得到新目标模型。
7.根据权利要求6所述的系统,其中:
第一获取单元,还用于基于所述目标模型,获取所述第一时间段内所述目标对象的第三预测流量和所述第二时间段内所述目标对象的第四预测流量;
第二获取单元,还用于基于所述第三预测流量和所述第一原始参考模型,获取所述第二时间段内所述目标对象的第五预测流量;以及基于所述第四预测流量和所述第一对偶参考模型,获取所述第一时间段内所述目标对象的第六预测流量;以及
第一训练单元,还用于基于所述第三预测流量和所述第五预测流量确定的第三预测误差以及所述第四预测流量和所述第六预测流量确定的第四预测误差,训练所述目标模型的模型参数,以得到所述新目标模型。
8.根据权利要求6所述的系统,其中,所述系统还包括:
第三获取单元,用于基于第五预测流量和所述第一对偶参考模型,获取所述第一时间段内所述目标对象的第七预测流量;以及基于第六预测流量和所述第一原始参考模型,获取所述第二时间段内所述目标对象的第八预测流量;
第二训练单元,用于基于第五预测流量和所述第七预测流量确定的第五预测误差,训练所述第一对偶参考模型的模型参数,以得到新对偶参考模型;以及基于所述第六预测流量和所述第八预测流量确定的第六预测误差,训练所述第一原始参考模型的模型参数,以得到新原始参考模型;以及
更新单元,用于基于所述新对偶参考模型和所述新原始参考模型训练所述新目标模型,以更新所述新目标模型。
9.一种计算机系统,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现权利要求1至4中任一项的数据处理方法。
10.一种计算机可读介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至4中任一项的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811413283.7A CN111222663B (zh) | 2018-11-23 | 2018-11-23 | 数据处理方法及其系统、计算机系统及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811413283.7A CN111222663B (zh) | 2018-11-23 | 2018-11-23 | 数据处理方法及其系统、计算机系统及计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111222663A CN111222663A (zh) | 2020-06-02 |
CN111222663B true CN111222663B (zh) | 2023-12-08 |
Family
ID=70827560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811413283.7A Active CN111222663B (zh) | 2018-11-23 | 2018-11-23 | 数据处理方法及其系统、计算机系统及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111222663B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113762521B (zh) * | 2020-07-20 | 2024-05-21 | 北京沃东天骏信息技术有限公司 | 确定目标物品的方法和系统 |
CN113079033B (zh) * | 2021-03-08 | 2022-09-27 | 南京苏宁软件技术有限公司 | 一种流量控制方法、装置、电子设备及计算机可读介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200279A (zh) * | 2014-08-22 | 2014-12-10 | 北京京东尚科信息技术有限公司 | 商品首次需求预测方法和装置 |
CN107832336A (zh) * | 2017-10-10 | 2018-03-23 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统 |
CN108038292A (zh) * | 2017-12-06 | 2018-05-15 | 中国科学院力学研究所 | 一种基于双代理技术的高效自适应采样方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10360517B2 (en) * | 2017-02-22 | 2019-07-23 | Sas Institute Inc. | Distributed hyperparameter tuning system for machine learning |
-
2018
- 2018-11-23 CN CN201811413283.7A patent/CN111222663B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200279A (zh) * | 2014-08-22 | 2014-12-10 | 北京京东尚科信息技术有限公司 | 商品首次需求预测方法和装置 |
CN107832336A (zh) * | 2017-10-10 | 2018-03-23 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统 |
CN108038292A (zh) * | 2017-12-06 | 2018-05-15 | 中国科学院力学研究所 | 一种基于双代理技术的高效自适应采样方法 |
Non-Patent Citations (1)
Title |
---|
新品上市的CBR动态预测;吴迪;李苏剑;李海涛;;计算机仿真(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111222663A (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023061087A1 (zh) | 信息推荐方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
US11694109B2 (en) | Data processing apparatus for accessing shared memory in processing structured data for modifying a parameter vector data structure | |
US10853847B2 (en) | Methods and systems for near real-time lookalike audience expansion in ads targeting | |
CN112559007B (zh) | 多任务模型的参数更新方法、装置及电子设备 | |
CN104954410A (zh) | 消息推送方法、装置及服务器 | |
US20180276691A1 (en) | Metric Forecasting Employing a Similarity Determination in a Digital Medium Environment | |
US20150227964A1 (en) | Revenue Estimation through Ensemble Modeling | |
CN109961198B (zh) | 关联信息生成方法和装置 | |
US10445644B2 (en) | Anomaly detection for non-stationary data | |
US10817845B2 (en) | Updating messaging data structures to include predicted attribute values associated with recipient entities | |
CN110866040A (zh) | 用户画像生成方法、装置和系统 | |
Bayer et al. | Semi-closed form cubature and applications to financial diffusion models | |
CN111222663B (zh) | 数据处理方法及其系统、计算机系统及计算机可读介质 | |
CN110866625A (zh) | 促销指标信息生成方法和装置 | |
CN116091110A (zh) | 资源需求量预测模型训练方法、预测方法及装置 | |
CN109075987B (zh) | 优化数字组件分析系统 | |
CN112749323A (zh) | 一种构建用户画像的方法和装置 | |
US11979309B2 (en) | System and method for discovering ad-hoc communities over large-scale implicit networks by wave relaxation | |
CN112150184A (zh) | 点击率预估方法及其系统、计算机系统及计算机可读介质 | |
CN108985805B (zh) | 一种选择性执行推送任务的方法和装置 | |
CN116738081B (zh) | 一种前端组件绑定方法、装置及存储介质 | |
US20130339136A1 (en) | Detection of events from bursts of activity indicators | |
CN112288484A (zh) | 商品自动定价方法、装置、电子设备和存储介质 | |
CN112650942A (zh) | 产品推荐方法、装置、计算机系统和计算机可读存储介质 | |
US20140214844A1 (en) | Multiple classification models in a pipeline |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |