CN112836827B - 模型训练方法、装置以及计算机设备 - Google Patents
模型训练方法、装置以及计算机设备 Download PDFInfo
- Publication number
- CN112836827B CN112836827B CN201911165242.5A CN201911165242A CN112836827B CN 112836827 B CN112836827 B CN 112836827B CN 201911165242 A CN201911165242 A CN 201911165242A CN 112836827 B CN112836827 B CN 112836827B
- Authority
- CN
- China
- Prior art keywords
- training
- model
- data
- slice
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000012634 fragment Substances 0.000 claims abstract description 82
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000001550 time effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种模型训练方法，该方法包括：获取训练数据，将所述训练数据划分为多个数据分片，所述多个数据分片至少包括第一数据分片和第二数据分片；拉取第一训练模型；根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。本发明还提供一种模型训练装置、计算机设备以及计算机可读存储介质。本发明能够通过将训练数据划分为多个数据分片，然后同时进行训练，并将训练参数依次对训练模型进行优化，从而提高模型训练速度。
Description
技术领域
本发明涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、计算机设备及计算机可读存储介质。
背景技术
当前在广告营销、推荐、搜索等诸如类似场景中，普遍采用在线学习的线上模型训练方式。比如，当出现新的网络用语或者热词，在线学习模型能够快速学习到网络用语或者热词，为模型不断积累新的特征，然后在接收到用户的搜索关键字时才能够识别并精确反馈结果。
然而，在线学习是一个不断迭代的过程，模型累积的特征会越来越多。随着模型特征集中包含的特征越来越多，规模越来越大，导致模型训练的数据量大大增加，降低了模型训练速度。
发明内容
有鉴于此，本发明提出一种模型训练方法、装置、计算机设备及计算机可读存储介质，能够解决上述的模型训练速度慢的问题。
首先，为实现上述目的，本发明提供一种模型训练方法，所述方法包括：
获取训练数据，将所述训练数据划分为多个数据分片，所述多个数据分片至少包括第一数据分片和第二数据分片；拉取第一训练模型；根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。
在一个例子中，将所述训练数据划分为第一数据分片和第二数据分片包括：获取所述训练数据的采集时间，根据时间先后顺序将所述训练数据进行排列；将排列在前的训练数据归类为第一数据分片，并将排列在后的训练数据归类为第二数据分片。
在一个例子中，所述第一训练模型至少包括第一模型分片和第二模型分片，所述拉取第一训练模型包括：从多个模型服务器上拉取所述训练模型的所有模型分片，所述多个模型服务器至少包括第一模型服务器和第二模型服务器，每个模型服务器上存储至少一个模型分片。
在一个例子中，每个模型分片至少包括一个特征数据，且设置有哈希签名，所述哈希签名是根据所述模型分片计算出的哈希值进行设置的。
在一个例子中，所述训练参数为计算梯度，所述依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型包括：根据第一计算梯度对所述第一训练模型中的每个特征数据的权重值进行更新，得到第三训练模型；根据第二计算梯度对所述第三训练模型中的每个特征数据的权重值进行更新，得到第二训练模型。
在一个例子中，所述方法还包括：记录特征数据进行权重值更新的更新时间；计算所述更新时间与当前时间的时间差；当所述时间差大于或等于预设的时间阈值时，则将所述特征数据从所述第二训练模型中剔除。
此外，为实现上述目的，本发明还提供一种模型训练装置，所述装置包括：
获取模块，用于获取训练数据，将所述训练数据划分为至少包括第一数据分片和第二数据分片的多个数据分片；拉取模块，用于拉取第一训练模型；训练模块，用于根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；更新模块，用于依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。
在一个例子中，所述第一训练模型至少包括第一模型分片和第二模型分片，所述拉取模块还用于：从多个模型服务器上拉取所述训练模型的所有模型分片，所述多个模型至少包括第一模型服务器和第二模型服务器，每个模型服务器上存储至少一个模型分片。
进一步地，本发明还提出一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的模型训练方法的步骤。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的模型训练方法的步骤。
相较于现有技术，本发明所提出的模型训练方法、装置、计算机设备及计算机可读存储介质，能够获取训练数据后划分为至少包括第一数据分片和第二数据分片的多个数据分片；然后拉取第一训练模型，根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；最后依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。通过这种方式，能够通过将训练数据划分为多个数据分片，然后同时进行训练，并将训练参数依次对训练模型进行优化，从而提高模型训练速度。
附图说明
图1是本发明一实施例的应用环境示意图；
图2是本发明模型训练方法一具体实施例的流程示意图；
图3是图2步骤200中将所述训练数据划分为第一数据分片和第二数据分片一具体实施例的流程示意图；
图4是本发明根据数据分片拉取训练模型一具体实施例的效果图；
图5是图2步骤S206的一具体实施例的流程示意图；
图6是本发明根据训练数据得到训练模型一具体实施例的效果图；
图7是基于图2的一具体实施例的流程示意图；
图8是本发明判断特征数据是否大于时间阈值一具体实施例的效果图；
图9是本发明计算机设备一可选的硬件架构的示意图；
图10是本发明模型训练装置一实施例的程序模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
图1是本发明一实施例的应用环境示意图。参阅图1所示，所述计算机设备1与模型服务器连接，在接收训练数据之后，将所述训练数据划分成数据分片，然后依次对从模型服务器拉取的训练模型进行训练，从而优化所述训练模型。在本实施例中，所述计算机设备1可作为终端设备如训练服务器，移动终端，PC机等。在其他实施例中，所述计算机设备1也可以作为独立的功能模块，然后附加到训练服务器，移动终端，PC机上，以实现模型训练的功能，这里不做限制。
图2是本发明模型训练方法一实施例的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以图1所示的应用环境为例，以计算机设备为执行主体进行示例性描述。
如图2所示，所述模型训练方法可以包括步骤S200～S206，其中：
步骤S200，获取训练数据，将所述训练数据划分为多个数据分片，所述多个数据分片至少包括第一数据分片和第二数据分片。
具体的，所述计算机设备1可以通过连接到数据服务器，从而获取所述数据服务器采集的样本数据以作为训练数据。所述数据服务器可以是购物平台或者搜索引擎平台，所述数据服务器可以采集到大量的关于用户触发的点击信息，以及用户浏览过的网页信息，或者其他新闻信息等等以作为训练数据。所述计算机设备1则通过连接到所述数据服务器，从而获取所述训练数据。当然，在其他实施例中，所述计算机设备1也可以获取到本身采集或者存储的训练数据，这里不做限制。
在获取到训练数据之后，所述计算机设备1则将所述训练数据划分为多个数据分片。如图3所示，在一示例性实施例中，步骤S200中将所述训练数据划分为第一数据分片和第二数据分片包括步骤S300～S302。
步骤S300，获取所述训练数据的采集时间，根据时间先后顺序将所述训练数据进行排列。
步骤S302，将排列在前的训练数据归类为第一数据分片，并将排列在后的训练数据归类为第二数据分片。
具体地，由于训练数据是通过采样获得，因此，所述计算机设备1还会获取所述训练数据的采集时间，然后根据时间先后顺序将所述训练数据排列，从而将采集时间在前的训练数据归类为第一数据分片，将采集时间在后的训练数据归类为第二数据分片。根据时间先后进行数据分片，可以有效地将训练数据控制时效，然后根据时效对训练模型进行训练，从而得到一个相对于当前时段最精确的训练模型。
步骤S202，拉取第一训练模型。
具体地，所述计算机设备1在获取到所述第一数据分片和第二数据分片之后，则进一步从模型服务器拉取所述第一训练模型。在本实施例中，所述第一训练模型至少包括第一模型分片和第二模型分片，所述模型服务器也可以由多个模型服务器组成。因此，所述计算机设备1可以从所述多个模型服务器上拉取所述训练模型的所有模型分片，例如，所述多个模型服务器至少包括第一模型服务器和第二模型服务器，每个模型服务器上存储至少一个模型分片。那么，所述计算机设备1则可以从所述第一模型服务器拉取第一模型分片，从第二模型服务器拉取第二模型分片。由于训练模型一般都包括很多个特征数据，因此，训练模型规模比较大，需要占用较多的存储空间，这里通过将训练模型进行分片，然后存储到不同的模型服务器以解决该问题。当然，每个模型分片至少包括一个特征数据，且设置有哈希签名，所述哈希签名是根据所述模型分片计算出的哈希值进行设置的。因此，所述计算机设备1可以根据每个模型分片的哈希签名拉取对应的模型分片，从而不会重复拉取。
步骤S204，根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数。
具体地，所述计算机设备1在拉取到所述模型服务器中的多个模型分片之后，则进一步根据所述第一数据分片和所述第二数据分片依次对所述多个模型分片进行训练，从而得到对应的第一训练参数和第二训练参数。
在本实施例中，由于所述训练模型中包括第一模型分片和第二模型分片，而每个模型分片包括一个特征数据，因此，所述计算机设备1根据所述第一数据分片对所述训练模型执行训练后可以得到的第一训练参数包括对应第一模型分片的一个训练参数和对应第二模型分片的一个训练参数，根据所述第一数据分片对所述训练模型执行训练后得到的第二训练参数也包括对应第一模型分片的一个训练参数和对应第二模型分片的一个训练参数。
具体的，所述计算机设备1先根据第一数据分片对所述第一模型分片和第二模型分片中的所有特征数据进行训练，从而得到对应第一模型分片的第一A训练参数和对应第二模型分片的第一B训练参数。接着，所述计算机设备1根据第二数据分片对所述第一模型分片和第二模型分片中的所有特征数据进行训练，从而得到对应第一模型分片的第二A训练参数和对应第二模型分片的第二B训练参数。
当然，在其他实施例中，所述计算机设备1也可以由多个训练单元组成，所述多个训练单元可以同时对多个数据分片进行训练。请参阅图4，在一示例性实施例中，例如，所述计算机设备1由训练单元1，训练单元2和训练单元3组成，所述模型服务器由模型服务器1，模型服务器2和模型服务器3组成。当所述计算机设备1获取到训练数据之后，则可以将所述训练数据划分为3个数据分片并依次由训练单元1，训练单元2和训练单元3执行训练。因此，训练单元1，训练单元2和训练单元3则可以分别从模型服务器1，模型服务器2和模型服务器3上拉取训练模型包括的所有模型分片，然后再根据分配到的数据分片对所述训练模型的所有模型分片进行训练。最后，训练单元1，训练单元2和训练单元3分别执行训后，得到对应的训练参数1，训练参数2和训练参数3。其中，训练参数1，训练参数2和训练参数3均包括对应于模型服务器1，模型服务器2和模型服务器3存储的模型分片对应的三个训练参数。
步骤S206，依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。
具体地，所述计算机设备1在训练得到所述第一训练参数和所述第二训练参数之后，则根据依次将所述第一训练参数和第二训练参数对所述第一训练模型进行优化，最后得到优化后的第二训练模型。
在一具体实施例中，所述训练参数为计算梯度，参阅图5所示，在一示例性实施例中，步骤S206包括步骤S400～S402。
步骤S400，根据第一计算梯度对所述第一训练模型中的每个特征数据的权重值进行更新，得到第三训练模型。
步骤S402，根据第二计算梯度对所述第三训练模型中的每个特征数据的权重值进行更新，得到第二训练模型。
具体地，所述计算机设备1先后将所述第一计算梯度和第二计算梯度用于对所述第一训练模型中的每个特征数据的权重值进行更新，从而得到租后的第二训练模型。请参阅图6所示，在一具体实施例中，所述计算机设备1将所述训练数据按照时间先后划分为包括第一训练数据和第二训练数据的N个训练数据，然后依次执行训练，从而得到包括第一训练模型和第二训练模型的N个训练模型。由于训练数据是依照时间先后进行训练的，因此，第N个训练模型相对最后时间点，应该具有更高的精确度。
参阅图7所示，在一示例性实施例中，所述模型训练方法除了包括步骤S200～S206之外，还可以包括步骤S500～S504。
步骤S500，记录特征数据进行权重值更新的更新时间。
步骤S502，计算所述更新时间与当前时间的时间差。
步骤S504，当所述时间差大于或等于预设的时间阈值时，则将所述特征数据从所述第二训练模型中剔除。
具体地，由于训练数据是根据时间先后顺序分片后依次对所述第一训练模型进行训练，从而得到第二训练模型。那么，所述第二训练模型则包括所述训练数据包括的时间段，当这个时间段很长时，所述第二训练模型则会包括很多很多的特征数据，其中不乏一些过时而又不再使用的特征数据。因此，所述计算机设备1还设置有一个时间阈值，用于判断是否将所述训练模型中的很老的特征数据剔除。请参阅图8所示，在一具体实施例中，所述时间阈值为T，所述训练数据训练所述第一训练模型后，得到第二训练模型，所述第二训练模型中的特征数据的权重值更新时间依次为特征数据1，特征数据2，特征数据3，最后得到特征数据n。因此，所述计算机设备1则会将所有的特征数据的权重值更新时间分别与当前时间进行时间差计算，然后再判断每个特征数据的权重值更新时间与当前时间的时间差是否大于或者等于时间阈值T，当某个特征数据，例如特征数据1的权重值更新时间与当前时间的时间差大于T，因此，则会将特征数据1从所述第二训练模型中剔除。通过这种方式，可以有效剔除训练模型中的老旧特征数据，从而更加适用于当前的数据环境的数据识别。
从上文可知，本实施例所提出的模型训练方法能够获取训练数据后划分为至少包括第一数据分片和第二数据分片的多个数据分片；然后拉取第一训练模型，根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；最后依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。通过这种方式，能够通过将训练数据划分为多个数据分片，然后同时进行训练，并将训练参数依次对训练模型进行优化，从而提高模型训练速度。
此外，本发明还提供一种计算机设备，参阅图9所示，是本发明计算机设备一可选的硬件架构的示意图。
本实施例中，所述计算机设备1可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。所述计算机设备1通过网络接口13连接网络(图9未标出)，通过网络连接到服务器(图6未标出)进行数据交互。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication，GSM)、宽带码分多址(Wideband Code Division MultIPle Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
需要指出的是，图9仅示出了具有组件11-13的计算机设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述计算机设备1的内部存储单元，例如该计算机设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述计算机设备1的外部存储设备，例如该计算机设备1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述计算机设备1的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述计算机设备1的操作系统和各类应用软件，模型训练装置200的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述计算机设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述模型训练装置200的应用程序，这里不做限制。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述计算机设备1与服务器建立通信连接。
本实施例中，所述计算机设备1内安装并运行有模型训练装置200时，当所述模型训练装置200运行时，能够获取训练数据后划分为至少包括第一数据分片和第二数据分片的多个数据分片；然后拉取第一训练模型，根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；最后依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。通过这种方式，能够通过将训练数据划分为多个数据分片，然后同时进行训练，并将训练参数依次对训练模型进行优化，从而提高模型训练速度。
至此，己经详细介绍了本发明计算机设备的硬件结构和功能。下面，将基于上述计算机设备，提出本发明的各个实施例。
参阅图10所示，是本发明模型训练装置200一实施例的程序模块图。
本实施例中，所述模型训练装置200包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明实施例的模型训练功能。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，模型训练装置200可以被划分为一个或多个模块。例如，在图10中，所述模型训练装置200可以被分割成获取模块201、拉取模块202、训练模块203、更新模块204和剔除模块205。其中：
所述获取模块201，用于获取训练数据，将所述训练数据划分为多个数据分片，所述多个数据分片至少包括第一数据分片和第二数据分片。
具体的，所述计算机设备可以通过连接到数据服务器，从而获取所述数据服务器采集的样本数据以作为训练数据。所述数据服务器可以是购物平台或者搜索引擎平台，所述数据服务器可以采集到大量的关于用户触发的点击信息，以及用户浏览过的网页信息，或者其他新闻信息等等以作为训练数据。所述获取模块201获取所述训练数据。当然，在其他实施例中，所述获取模块201也可以获取到所述计算机设备本身采集或者存储的训练数据，这里不做限制。
在获取到训练数据之后，所述获取模块201则将所述训练数据划分为多个数据分片。在一具体实施例中，所述获取模块201获取所述训练数据的采集时间，并根据时间先后顺序将所述训练数据进行排列，然后将排列在前的训练数据归类为第一数据分片，并将排列在后的训练数据归类为第二数据分片。
具体地，由于训练数据是通过采样获得，因此，所述获取模块201还会获取所述训练数据的采集时间，然后根据时间先后顺序将所述训练数据排列，从而将采集时间在前的训练数据归类为第一数据分片，将采集时间在后的训练数据归类为第二数据分片。根据时间先后进行数据分片，可以有效地将训练数据控制时效，然后根据时效对训练模型进行训练，从而得到一个相对于当前时段最精确的训练模型。
所述拉取模块202，用于拉取第一训练模型。
具体地，所述获取模块201在获取到所述第一数据分片和第二数据分片之后，所述拉取模块202则进一步从模型服务器拉取所述第一训练模型。在本实施例中，所述第一训练模型至少包括第一模型分片和第二模型分片，所述模型服务器也可以由多个模型服务器组成。因此，所述拉取模块202可以从所述多个模型服务器上拉取所述训练模型的所有模型分片，例如，所述多个模型服务器至少包括第一模型服务器和第二模型服务器，每个模型服务器上存储至少一个模型分片。那么，所述拉取模块202则可以从所述第一模型服务器拉取第一模型分片，从第二模型服务器拉取第二模型分片。由于训练模型一般都包括很多个特征数据，因此，训练模型规模比较大，需要占用较多的存储空间，这里通过将训练模型进行分片，然后存储到不同的模型服务器以解决该问题。当然，每个模型分片至少包括一个特征数据，且设置有哈希签名，所述哈希签名是根据所述模型分片计算出的哈希值进行设置的。因此，所述拉取模块202可以根据每个模型分片的哈希签名拉取对应的模型分片，从而不会重复拉取。
所述训练模块203，用于根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数。
具体地，所述拉取模块202在拉取到所述模型服务器中的多个模型分片之后，所述训练模块203则进一步根据所述第一数据分片和所述第二数据分片依次对所述多个模型分片进行训练，从而得到对应的第一训练参数和第二训练参数。
在本实施例中，由于所述训练模型中包括第一模型分片和第二模型分片，而每个模型分片包括一个特征数据，因此，所述训练模块203根据所述第一数据分片对所述训练模型执行训练后可以得到的第一训练参数包括对应第一模型分片的一个训练参数和对应第二模型分片的一个训练参数，根据所述第一数据分片对所述训练模型执行训练后得到的第二训练参数也包括对应第一模型分片的一个训练参数和对应第二模型分片的一个训练参数。
具体的，所述训练模块203先根据第一数据分片对所述第一模型分片和第二模型分片中的所有特征数据进行训练，从而得到对应第一模型分片的第一A训练参数和对应第二模型分片的第一B训练参数。接着，所述计算机设备1根据第二数据分片对所述第一模型分片和第二模型分片中的所有特征数据进行训练，从而得到对应第一模型分片的第二A训练参数和对应第二模型分片的第二B训练参数。
当然，在其他实施例中，所述训练模块203也可以由多个训练单元组成，所述多个训练单元可以同时对多个数据分片进行训练。请参阅图4，在一示例性实施例中，例如，所述训练模块203由训练单元1，训练单元2和训练单元3组成，所述模型服务器由模型服务器1，模型服务器2和模型服务器3组成。当所述获取模块201获取到训练数据之后，则可以将所述训练数据划分为3个数据分片并依次由训练单元1，训练单元2和训练单元3执行训练。因此，训练单元1，训练单元2和训练单元3则可以分别从模型服务器1，模型服务器2和模型服务器3上拉取训练模型包括的所有模型分片，然后再根据分配到的数据分片对所述训练模型的所有模型分片进行训练。最后，训练单元1，训练单元2和训练单元3分别执行训后，得到对应的训练参数1，训练参数2和训练参数3。其中，训练参数1，训练参数2和训练参数3均包括对应于模型服务器1，模型服务器2和模型服务器3存储的模型分片对应的三个训练参数。
所述更新模块204，用于依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。
具体地，所述训练模块203在训练得到所述第一训练参数和所述第二训练参数之后，所述更新模块204则根据依次将所述第一训练参数和第二训练参数对所述第一训练模型进行优化，最后得到优化后的第二训练模型。在一具体实施例中，所述训练参数为计算梯度，所述更新模块204则先根据第一计算梯度对所述第一训练模型中的每个特征数据的权重值进行更新，得到第三训练模型，然后再根据第二计算梯度对所述第三训练模型中的每个特征数据的权重值进行更新，得到第二训练模型。
所述剔除模块205，用于记录特征数据进行权重值更新的更新时间，计算所述更新时间与当前时间的时间差，当所述时间差大于或等于预设的时间阈值时，则将所述特征数据从所述第二训练模型中剔除。
具体地，由于训练数据是根据时间先后顺序分片后依次对所述第一训练模型进行训练，从而得到第二训练模型。那么，所述第二训练模型则包括所述训练数据包括的时间段，当这个时间段很长时，所述第二训练模型则会包括很多很多的特征数据，其中不乏一些过时而又不再使用的特征数据。因此，所述计算机设备还设置有一个时间阈值，用于判断是否将所述训练模型中的很老的特征数据剔除。当所述剔除模块205判断出特征数据的权重值很久没有更新，那么这个特征数据属于老旧数据，那么，所述剔除模块205则会将所述特征数据从所述第二训练模型中剔除。
从上文可知，所述计算机设备能够获取训练数据后划分为至少包括第一数据分片和第二数据分片的多个数据分片；然后拉取第一训练模型，根据所述第一数据分片对所述第一训练模型执行训练得到对应的第一训练参数，以及根据所述第二数据分片对所述第一训练模型执行训练得到第二训练参数；最后依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型。通过这种方式，能够通过将训练数据划分为多个数据分片，然后同时进行训练，并将训练参数依次对训练模型进行优化，从而提高模型训练速度。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种模型训练方法，其特征在于，所述方法包括：
从网络平台采集并获取训练数据，所述训练数据包括点击数据、浏览数据或者新闻数据；将所述训练数据划分为多个数据分片，所述多个数据分片至少包括第一数据分片和第二数据分片；
拉取第一训练模型；所述第一训练模型包括多个模型分片；所述多个模型分片存储至不同的模型服务器；每个模型分片包括不同的特征数据；
根据所述第一数据分片分别对所述多个模型分片第一训练模型执行训练得到，获得对应的多个第一训练参数，以及根据所述第二数据分片分别对所述多个模型分片第一训练模型执行训练，获得对应的多个得到第二训练参数；
依次根据所述多个第一训练参数和所述多个第二训练参数对所述第一训练模型进行优化，得到第二训练模型；基于所述第二训练模型获得反馈结果。
2.如权利要求1所述的模型训练方法，其特征在于，将所述训练数据划分为第一数据分片和第二数据分片包括：
获取所述训练数据的采集时间，根据时间先后顺序将所述训练数据进行排列；
将排列在前的训练数据归类为第一数据分片，并将排列在后的训练数据归类为第二数据分片。
3.如权利要求1所述的模型训练方法，其特征在于，所述第一训练模型至少包括第一模型分片和第二模型分片，所述拉取第一训练模型包括：从多个模型服务器上拉取所述训练模型的所有模型分片，所述多个模型服务器至少包括第一模型服务器和第二模型服务器，每个模型服务器上存储至少一个模型分片。
4.如权利要求3所述的模型训练方法，其特征在于，每个模型分片至少包括一个特征数据，且设置有哈希签名，所述哈希签名是根据所述模型分片计算出的哈希值进行设置的。
5.如权利要求1所述的模型训练方法，其特征在于，所述训练参数为计算梯度，所述依次根据所述第一训练参数和所述第二训练参数对所述第一训练模型进行优化，得到第二训练模型包括：
根据第一计算梯度对所述第一训练模型中的每个特征数据的权重值进行更新，得到第三训练模型；
根据第二计算梯度对所述第三训练模型中的每个特征数据的权重值进行更新，得到第二训练模型。
6.如权利要求5所述的模型训练方法，其特征在于，所述方法还包括：
记录特征数据进行权重值更新的更新时间；
计算所述更新时间与当前时间的时间差；
当所述时间差大于或等于预设的时间阈值时，则将所述特征数据从所述第二训练模型中剔除。
7.一种模型训练装置，其特征在于，所述装置包括：
获取模块，用于从网络平台采集并获取训练数据，所述训练数据包括点击数据、浏览数据或者新闻数据；将所述训练数据划分为至少包括第一数据分片和第二数据分片的多个数据分片；
拉取模块，用于拉取第一训练模型；所述第一训练模型包括多个模型分片；所述多个模型分片存储至不同的模型服务器；每个模型分片包括不同的特征数据；
训练模块，用于根据所述第一数据分片分别对所述第一训练模型多个模型分片执行训练，得到获得对应的多个第一训练参数，以及根据所述第二数据分片分别对所述多个模型分片第一训练模型执行训练，得到获得对应的多个第二训练参数；
更新模块，用于依次根据所述多个第一训练参数和所述多个第二训练参数对所述第一训练模型进行优化，得到第二训练模型；基于所述第二训练模型获得反馈结果。
8.如权利要求7所述的模型训练装置，其特征在于，所述第一训练模型至少包括第一模型分片和第二模型分片，所述拉取模块还用于：从多个模型服务器上拉取所述训练模型的所有模型分片，所述多个模型至少包括第一模型服务器和第二模型服务器，每个模型服务器上存储至少一个模型分片。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-6任一项所述的模型训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-6中任一项所述的模型训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911165242.5A CN112836827B (zh) | 2019-11-25 | 2019-11-25 | 模型训练方法、装置以及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911165242.5A CN112836827B (zh) | 2019-11-25 | 2019-11-25 | 模型训练方法、装置以及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112836827A CN112836827A (zh) | 2021-05-25 |
| CN112836827B true CN112836827B (zh) | 2024-04-26 |
Family
ID=75922259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911165242.5A Active CN112836827B (zh) | 2019-11-25 | 2019-11-25 | 模型训练方法、装置以及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112836827B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827308B (zh) * | 2022-04-15 | 2023-11-17 | 支付宝(杭州)信息技术有限公司 | 一种模型训练数据传输方法、装置、设备和可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305158A (zh) * | 2017-12-27 | 2018-07-20 | 阿里巴巴集团控股有限公司 | 一种训练风控模型和风控的方法、装置及设备 |
| CN109189825A (zh) * | 2018-08-10 | 2019-01-11 | 深圳前海微众银行股份有限公司 | 横向数据切分联邦学习建模方法、服务器及介质 |
| CN109635948A (zh) * | 2018-12-19 | 2019-04-16 | 北京达佳互联信息技术有限公司 | 在线训练方法、装置、系统及计算机可读存储介质 |
| CN109885378A (zh) * | 2019-01-04 | 2019-06-14 | 平安科技（深圳）有限公司 | 模型训练方法、装置、计算机设备及计算机可读存储介质 |
-
2019
- 2019-11-25 CN CN201911165242.5A patent/CN112836827B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305158A (zh) * | 2017-12-27 | 2018-07-20 | 阿里巴巴集团控股有限公司 | 一种训练风控模型和风控的方法、装置及设备 |
| CN109189825A (zh) * | 2018-08-10 | 2019-01-11 | 深圳前海微众银行股份有限公司 | 横向数据切分联邦学习建模方法、服务器及介质 |
| CN109635948A (zh) * | 2018-12-19 | 2019-04-16 | 北京达佳互联信息技术有限公司 | 在线训练方法、装置、系统及计算机可读存储介质 |
| CN109885378A (zh) * | 2019-01-04 | 2019-06-14 | 平安科技（深圳）有限公司 | 模型训练方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112836827A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107844634B (zh) | 多元通用模型平台建模方法、电子设备及计算机可读存储介质 | |
| CN111860872B (zh) | 用于异常检测的系统和方法 | |
| CN107330459B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN111898739B (zh) | 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质 | |
| CN111368887B (zh) | 雷雨天气预测模型的训练方法及雷雨天气预测方法 | |
| CN112613938B (zh) | 模型训练方法、装置及计算机设备 | |
| WO2019062079A1 (zh) | 基于标签库的业务对象的切分方法、电子装置及存储介质 | |
| US11481810B2 (en) | Generating and utilizing machine-learning models to create target audiences with customized auto-tunable reach and accuracy | |
| CN110633594A (zh) | 一种目标检测方法和装置 | |
| CN111914159A (zh) | 一种信息推荐方法及终端 | |
| CN114861836A (zh) | 一种基于人工智能平台的模型部署方法及相关设备 | |
| CN112836827B (zh) | 模型训练方法、装置以及计算机设备 | |
| CN112994960B (zh) | 业务数据异常检测方法、装置及计算设备 | |
| CN108664605B (zh) | 一种模型评估方法及系统 | |
| CN113205130A (zh) | 一种数据审核方法、装置、电子设备及存储介质 | |
| CN109447694A (zh) | 一种用户特征分析方法及其系统 | |
| CN112488806A (zh) | 一种预测订单意愿的方法、装置、计算机设备及计算机可读存储介质 | |
| CN111414463A (zh) | 一种知识库更新方法、设备及存储介质 | |
| CN108566567B (zh) | 电影剪辑方法及装置 | |
| CN111723872B (zh) | 行人属性识别方法及装置、存储介质、电子装置 | |
| CN114004623A (zh) | 机器学习方法及系统 | |
| CN114048148A (zh) | 一种众包测试报告推荐方法、装置及电子设备 | |
| CN113343767A (zh) | 物流违规操作的识别方法、装置、设备和存储介质 | |
| CN112395261A (zh) | 业务推荐方法、装置、计算设备及计算机存储介质 | |
| CN113093702B (zh) | 故障数据的预测方法和装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |