CN111368991A - 深度学习模型的训练方法、装置及电子设备 - Google Patents

深度学习模型的训练方法、装置及电子设备 Download PDF

Info

Publication number
CN111368991A
CN111368991A CN201811593689.8A CN201811593689A CN111368991A CN 111368991 A CN111368991 A CN 111368991A CN 201811593689 A CN201811593689 A CN 201811593689A CN 111368991 A CN111368991 A CN 111368991A
Authority
CN
China
Prior art keywords
terminal equipment
training
idle
terminal device
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811593689.8A
Other languages
English (en)
Other versions
CN111368991B (zh
Inventor
张子敬
谢春宁
刘有文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811593689.8A priority Critical patent/CN111368991B/zh
Publication of CN111368991A publication Critical patent/CN111368991A/zh
Application granted granted Critical
Publication of CN111368991B publication Critical patent/CN111368991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供深度学习模型的训练方法、装置及电子设备，该方法包括：服务器基于接收到的审核指令从已标定的图像数据中确定出训练样本；将所述训练样本发送至空闲终端设备，以由所述空闲终端设备基于所述训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；服务器对所述空闲终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。本申请技术方案降低了人工成本，有效地利用了终端设备闲置的计算资源，从而减少了服务器上的计算资源的消耗。

Description

深度学习模型的训练方法、装置及电子设备
技术领域
本申请涉及深度学习领域，特别涉及深度学习模型的训练方法、装置及电子设备。
背景技术
服务器和终端设备结合的协同计算系统中，通常由服务器承载更多的计算任务。随着终端设备的计算性能逐步提升，终端设备可以承担更多的计算任务，从而解放服务器的计算资源。随着深度学习技术的发展，终端设备的智能化已是大势所趋。服务器将深度学习模型加载至终端设备后，终端设备可基于上述深度学习模型实现应用功能。
在相关技术中，服务器可将初步训练完成的深度学习模型加载至终端设备，终端设备在运行过程中可将采集到的图像数据反馈至服务器。运维人员将服务器获取到的图像数据进行标定后形成新的样本，使得服务器可以根据新的样本对深度学习模型再次进行训练，以获得性能更好的深度学习模型。服务器将重新训练过的深度学习模型加载至终端设备，使得终端设备可以进一步采集图像数据。参见图1，为本申请示出的一种深度学习模型的训练方法的示意图，如图1所示，终端设备向服务器发送采集到的图像数据；而服务器基于上述图像数据训练深度学习模型，并将训练后的深度学习模型加载至终端设备。这种方法经过反复迭代后，可不断提高深度学习模型的性能。
然后，上述训练方法需要依靠运维人员对终端设备采集到的图像数据进行标定，人工成本非常高昂；此外，服务器每次根据新的样本训练深度学习模型，极大地消耗了计算资源。
发明内容
有鉴于此，本申请提供深度学习模型的训练方法、装置及电子设备，用以降低云边结合的计算系统中，训练深度学习模型的人工成本和服务器的计算资源的消耗。
具体地，本申请是通过如下技术方案实现的：
本申请第一方面提供一种深度学习模型的训练方法，应用于协同计算系统的服务器，所述协同计算系统还包括终端设备，所述终端设备包括忙碌终端设备和空闲终端设备，包括：
基于接收到的审核指令从已标定的图像数据中确定出训练样本；其中，所述已标定的图像数据从所述忙碌终端设备获得；
将所述训练样本发送至所述空闲终端设备，以由所述空闲终端设备基于所述训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
对所述空闲终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
在所述深度学习模型的训练方法中，所述方法还包括：
在初始状态下，向所有终端设备发送深度学习模型和初始训练样本，以由各终端设备基于所述初始训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
对各终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
在所述深度学习模型的训练方法中，所述将所述训练样本发送至所述空闲终端设备，包括：
将所述训练样本发送至所述空闲终端设备中的指定终端设备；
所述对所述空闲终端设备返回的网络参数进行合并处理，包括：
对所述指定终端设备返回的网络参数进行合并处理；
所述指定终端设备通过以下方式确定：
向所有终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备；
若任一终端设备为空闲终端设备，将该终端设备加入至训练候选节点资源池；
以硬件计算能力的大小，对所述训练候选节点资源池中的终端设备进行排序；
选择排序结果中硬件计算能力最大的预设数量的终端设备，将选中的终端设备确定为指定终端设备。
在所述深度学习模型的训练方法中，所述方法还包括：
接收任一空闲终端设备在变为忙碌终端设备后发送的负载通告报文；
检查该空闲终端设备是否已加入所述训练候选节点资源池；
如果是，确定该空闲终端设备是否为指定终端设备；
若是，将该空闲终端设备从所述训练候选节点资源池中删除，并从所述训练获选节点资源池中选择新的空闲终端设备作为指定终端设备；
若否，将该空闲终端设备从所述训练候选节点资源池中删除。
在所述深度学习模型的训练方法中，所述方法还包括：
检查所述训练候选节点资源池中除指定终端设备以外的空闲终端设备的数量；
若除指定终端设备以外的空闲终端设备的数量小于预设的数量阈值，向所述训练候选节点资源池以外的各终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；
若任一终端设备为空闲终端设备，将该终端设备加入至所述训练候选节点资源池。
本申请第二方面提供一种深度学习模型的训练方法，应用于协同计算系统的终端设备，所述协同计算系统还包括服务器，所述终端设备包括忙碌终端设备和空闲终端设备，包括：
如果所述终端设备为空闲终端设备，接收所述服务器发送的训练样本；其中，所述训练样本由所述服务器基于接收到的审核指令，从所述忙碌终端设备发送的已标定的图像数据中确定得到；
如果所述终端设备为空闲终端设备，基于所述训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对所述网络参数合并处理、并将合并后的网络参数发送至所有终端设备；
如果所述终端设备为空闲终端设备，基于接收到的网络参数更新自身的深度学习模型。
在所述深度学习模型的训练方法中，所述方法还包括：
在初始状态下，接收所述服务器发送的深度学习模型和初始训练样本；
基于所述初始训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对各终端设备的网络参数进行合并、并向所有终端设备返回合并后的网络参数；
基于合并后的网络参数更新自身的深度学习模型。
在所述深度学习模型的训练方法中，所述方法还包括：
接收所述服务器发送的负载查询报文，向所述服务器返回自身的负载状态和硬件计算能力，以由所述服务器基于所述负载状态和所述硬件计算能力确定出指定终端设备；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备。
在所述深度学习模型的训练方法中，所述方法还包括：
负载状态发生改变时，向所述服务器发送负载通告报文。
在所述深度学习模型的训练方法中，所述深度学习模型包括预测模型和标定模型；所述方法还包括：
当所述终端设备为忙碌终端设备时，通过自身的预测模型对图像数据进行预测处理，并检查处理结果的置信度是否低于预设的置信度阈值；
当所述终端设备为忙碌终端设备时，若任一图像数据的处理结果的置信度低于所述置信度阈值，通过自身的标定模型对该图像数据进行处理，并将从所述标定模型获得的处理结果标定在该图像数据上；
当所述终端设备为忙碌终端设备时，将已标定的图像数据发送至所述服务器。
在所述深度学习模型的训练方法中，所述方法还包括：
在本地采集到连续的指定数量的图像数据中，检查是否有任一一帧图像数据存在变化；
若否，确定本地的负载状态表征自身为空闲终端设备；
若否，确定本地的负载状态表征自身为忙碌终端设备。
本申请第三方面提供一种深度学习模型的训练方法，应用于协同计算系统，所述协同计算系统包括服务器和终端设备，所述终端设备包括忙碌终端设备和空闲终端设备，包括：
所述服务器基于接收到的审核指令，从已标定的图像数据中确定出训练样本，并将所述训练样本发送至空闲终端设备；其中，所述已标定的图像数据从所述忙碌终端设备获得；
所述空闲终端设备基于所述训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数；
所述服务器对所述空闲终端设备返回的网络参数进行合并处理，并将合并后的网络参数发送至所述忙碌终端设备和所述空闲终端设备；
所述忙碌终端设备和所述空闲终端设备基于接收到的网络参数更新自身的深度学习模型。
在所述深度学习模型的训练方法中，所述深度学习模型包括预测模型和标定模型；所述方法还包括：
所述忙碌终端设备通过自身的预测模型对图像数据进行预测处理，并检查处理结果的置信度是否低于预设的置信度阈值；
若任一图像数据的处理结果的置信度低于所述置信度阈值，所述忙碌终端设备通过自身的标定模型对该图像数据进行处理，并将从所述标定模型获得的处理结果标定在该图像数据上；
所述忙碌终端设备将已标定的图像数据发送至所述服务器。
本申请第四方面提供一种深度学习模型的训练装置，应用于协同计算系统的服务器，所述协同计算系统还包括终端设备，所述终端设备包括忙碌终端设备和空闲终端设备，包括：
确定单元，用于基于接收到的审核指令从已标定的图像数据中确定出训练样本；其中，所述已标定的图像数据从所述忙碌终端设备获得；
发送单元，用于将所述训练样本发送至所述空闲终端设备，以由所述空闲终端设备基于所述训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
处理单元，用于对所述空闲终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
在所述深度学习模型的训练装置中，所述装置还包括：
所述发送单元，进一步用于在初始状态下，向所有终端设备发送深度学习模型和初始训练样本，以由各终端设备基于所述初始训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
合并单元，用于对各终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
在所述深度学习模型的训练装置中，所述发送单元，进一步用于：
将所述训练样本发送至所述空闲终端设备中的指定终端设备；
所述合并单元，进一步用于：
对所述指定终端设备返回的网络参数进行合并处理；
所述装置还包括：
查询单元，用于向所有终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备；
加入单元，用于若任一终端设备为空闲终端设备，将该终端设备加入至训练候选节点资源池；
排序单元，用于以硬件计算能力的大小，对所述训练候选节点资源池中的终端设备进行排序；
所述确定单元，进一步用于选择排序结果中硬件计算能力最大的预设数量的终端设备，将选中的终端设备确定为指定终端设备。
在所述深度学习模型的训练装置中，所述装置还包括：
所述查询单元，进一步用于接收任一空闲终端设备在变为忙碌终端设备后发送的负载通告报文；
检查单元，用于检查该空闲终端设备是否已加入所述训练候选节点资源池；如果是，确定该空闲终端设备是否为指定终端设备；
所述确定单元，进一步用于若是，将该空闲终端设备从所述训练候选节点资源池中删除，并从所述训练获选节点资源池中选择新的空闲终端设备作为指定终端设备；若否，将该空闲终端设备从所述训练候选节点资源池中删除。
在所述深度学习模型的训练装置中，所述装置还包括：
检查单元，用于检查所述训练候选节点资源池中除指定终端设备以外的空闲终端设备的数量；
所述查询单元，进一步用于若除指定终端设备以外的空闲终端设备的数量小于预设的数量阈值，向所述训练候选节点资源池以外的各终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；
所述加入单元，进一步用于若任一终端设备为空闲终端设备，将该终端设备加入至所述训练候选节点资源池。
本申请第五方面提供一种深度学习模型的训练装置，应用于协同计算系统的终端设备，所述协同计算系统还包括服务器，所述终端设备包括忙碌终端设备和空闲终端设备，包括：
接收单元，用于如果所述终端设备为空闲终端设备，接收所述服务器发送的训练样本；其中，所述训练样本由所述服务器基于接收到的审核指令，从所述忙碌终端设备发送的已标定的图像数据中确定得到；
训练单元，用于如果所述终端设备为空闲终端设备，基于所述训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对所述网络参数合并处理、并将合并后的网络参数发送至所有终端设备；
更新单元，用于如果所述终端设备为空闲终端设备，基于接收到的网络参数更新自身的深度学习模型。
在所述深度学习模型的训练装置中，所述装置还包括：
所述接收单元，进一步用于在初始状态下，接收所述服务器发送的深度学习模型和初始训练样本；
所述训练单元，进一步用于基于所述初始训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对各终端设备的网络参数进行合并、并向所有终端设备返回合并后的网络参数；
所述更新单元，进一步用于基于合并后的网络参数更新自身的深度学习模型。
在所述深度学习模型的训练装置中，所述装置还包括：
通知单元，用于接收所述服务器发送的负载查询报文，向所述服务器返回自身的负载状态和硬件计算能力，以由所述服务器基于所述负载状态和所述硬件计算能力确定出指定终端设备；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备。
在所述深度学习模型的训练装置中，所述装置还包括：
所述通知单元，进一步用于负载状态发生改变时，向所述服务器发送负载通告报文。
在所述深度学习模型的训练装置中，所述深度学习模型包括预测模型和标定模型；所述装置还包括：
处理单元，用于当所述终端设备为忙碌终端设备时，通过自身的预测模型对图像数据进行预测处理，并检查处理结果的置信度是否低于预设的置信度阈值；
标定单元，用于当所述终端设备为忙碌终端设备时，若任一图像数据的处理结果的置信度低于所述置信度阈值，通过自身的标定模型对该图像数据进行处理，并将从所述标定模型获得的处理结果标定在该图像数据上；
发送单元，用于当所述终端设备为忙碌终端设备时，将已标定的图像数据发送至所述服务器。
在所述深度学习模型的训练装置中，所述装置还包括：
检查单元，用于在本地采集到连续的指定数量的图像数据中，检查是否有任一一帧图像数据存在变化；
确定单元，用于若否，确定本地的负载状态表征自身为空闲终端设备；若否，确定本地的负载状态表征自身为忙碌终端设备。
一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的机器可执行指令，其中，所述机器可执行指令被处理器执行时实现本申请第一方面提供的所述的深度学习模型的训练方法。
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面提供的所述的深度学习模型的训练方法。
一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的机器可执行指令，其中，所述机器可执行指令被处理器执行时实现本申请第二方面提供的所述的深度学习模型的训练方法。
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请第二方面提供的所述的深度学习模型的训练方法。
在本申请技术方案中，服务器可以基于接收到的审核指令从已标定的图像数据中确定出训练样本；图像数据的标定直接由终端设备的标定模型完成，运维人员无需标定样本，只需对已标定的图像数据进行审核，人工成本大大降低；
服务器将上述训练样本发送至空闲终端设备，使得空闲终端设备可以基于上述训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；服务器对各终端设备返回的网络参数合并处理，并将合并后的网络参数返回至所有终端设备，使得各终端设备可以基于处理后的网络参数更新自身的深度学习模型；
由于对深度模型的训练任务分配至空闲终端设备，有效地利用了终端设备闲置的计算资源，从而减少了服务器上的计算资源的消耗。
附图说明
图1是本申请示出的一种深度学习模型的训练方法的示意图；
图2是本申请示出的一种深度学习模型的训练方法的流程图；
图3是本申请示出的另一种深度学习模型的训练方法的示意图；
图4是本申请示出的一种深度学习模型的训练装置的实施例框图；
图5是本申请示出的一种电子设备的硬件结构图；
图6是本申请示出的另一种深度学习模型的训练装置的实施例框图；
图7是本申请示出的另一种电子设备的硬件结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对现有技术方案和本发明实施例中的技术方案作进一步详细的说明。
为降低协同计算系统中训练深度学习模型的人工成本和服务器的计算资源，有效利用终端设备闲置的计算资源，本申请将训练深度学习模型的任务交由终端设备来完成，并通过终端设备的标定模型实现训练样本的标定。
为更清楚地说明本申请技术方案，可将整个方案划分为三个阶段：
第一阶段，初始状态下获得可执行应用功能以及可实现模型训练的终端设备。
第二阶段，服务器选择执行深度学习模型训练任务的终端设备。
第三阶段，通过选定的终端设备对深度学习模型进行迭代训练。
下面依次说明三个阶段的具体实现过程：
在本申请实施例中，首先，在初始状态下，服务器可以向所有终端设备发送深度学习模型和初始训练样本。
其中，上述深度学习模型可以包括预测模型和标定模型。预测模型和标定模型可实现相同的应用功能，考虑到边缘设备通过预测模型实现应用功能时涉及大量计算，为折中边缘设备的工作性能和工作耗时，预测模型的网络结构相比标定模型而言较为简单。而标定模型因有更为复杂的网络结构，在实现诸如检测、分类、分割和识别等应用功能时的处理效果优于预测模型。在本申请技术方案中，通过标定模型来标定图像数据形成训练样本，从而降低了标定训练样本的人工成本。
上述初始训练样本可以是人工预先标定的训练样本，用以让各终端设备训练出可使用的深度学习模型。
各终端设备接收到上述深度学习模型和上述初始训练样本后，可以基于上述初始训练样本对自身的深度学习模型进行训练，从而获得训练后深度学习模型的网络参数，并向上述服务器返回上述网络参数。
作为一种实施例，各终端设备可以利用上述初始训练样本分别对上述预测模型和上述标定模型分别进行训练，从而获得训练后的上述预测模型的网络参数和上述标定模型的网络参数。
各终端设备在训练完成后，可以通过已训练的预测模型或已训练的标定模型对采集到的图像数据进行处理。此外，各终端设备可以将上述预测模型的网络参数和上述标定模型的网络参数返回至上述服务器。
需要指出的是，终端设备利用一个批次的训练样本对自身的深度学习模型训练的过程中，可以持续更新网络参数。因此，终端设备可周期性地将最新的网络参数发送至上述服务器。
上述服务器接收到上述网络参数后，对各终端设备返回的网络参数进行合并处理。
作为一种实施例，上述服务器可以周期性地对各终端设备返回的网络参数计算平均数，然后将计算出的平均数作为处理后的网络参数。其中，上述周期时长可以是经验值，一般而言，服务器合并网络参数的周期时长可以等同于终端设备上传网络参数的周期时长。
作为另一种实施例，上述服务器可以周期性地选取各终端设备返回的网络参数中的中数，然后将选出的中数作为处理后的网络参数。其中，上述周期时长可以是经验值，一般而言，服务器合并网络参数的周期时长可以等同与终端设备上传网络参数的周期时长。
通过上述措施，上述服务器可将终端设备利用一个批次的训练样本训练得到的网络参数进行多次合并处理。
当然，还有其它合并处理的方式，在此不一一列举。
进一步地，上述服务器可将合并处理后的网络参数发送至所有终端设备。各终端设备接收到上述服务器返回的网络参数后，基于上述网络参数更新本地的深度学习模型。
需要指出的是，上述服务器每次合并处理后即可将网络参数发送至终端设备，因此，各终端设备利用一个批次的训练样本对自身的深度学习模型进行训练的过程中可以多次更新本地的深度学习模型。
通过上述训练流程，各终端设备上的深度学习模型可以实现应用功能。
至此，本申请方案的第一阶段介绍完毕。
下面介绍服务器选择执行深度学习模型训练任务的终端设备的过程。
在本申请实施例中，服务器选择没有执行应用功能的终端设备来训练深度学习模型，从而有效地利用终端设备闲置的计算资源。
各终端设备在基于深度学习模型实现应用功能时，可以判断当前是否需要执行应用功能。
作为一种实施例，各终端设备可以通过差帧法比较采集到的前后两帧图像是否存在变化，若连续的指定数量的图像均不存在变化，则当前无需执行应用功能，可以确定自身处于空闲状态，此时，自身的负载状态表征自身为空闲终端设备；若连续的指定数量的图像中的任一一帧图像存在变化，则当前需要执行应用功能，则可以确定自身处于忙碌状态，此时，自身的负载状态表征自身为忙碌终端设备。
各终端设备可以周期性判断当前是否需执行应用功能，或者，也可以在接收到服务器发送的负载查询报文后，判断是否执行应用功能。
一方面，当终端设备处于空闲状态时，则可以作为候选的空闲终端设备参与到后续的训练过程。
另一方面，当终端设备处于忙碌状态时，则可以在执行应用功能的过程中，确定采集到的图像数据是否可作为有价值的样本用于对深度学习模型的迭代训练。具体详见下文相关描述。
在本申请实施例中，上述服务器可以向所有终端设备发送负载查询报文。各终端设备接收到上述负载查询报文后，可以向上述服务器返回记录自身负载状态和硬件计算能力信息的负载通告报文。
上述服务器接收到各终端设备返回的负载通告报文，从而获知各终端设备的负载状态和硬件计算能力。
作为一种实施方式，上述服务器可选择所有空闲终端设备参与到后续的训练过程。
作为另一种实施方式，上述服务器可从空闲终端设备中选择一部分终端设备，作为指定终端设备参与到后续的训练过程。
在这种实施方式中，若任一终端设备的负载状态表征该终端设备为空闲终端设备，上述服务器可以将该终端设备加入至训练候选节点资源池。作为一种实施例，上述服务器可以通过训练资源表记录空闲终端设备的标识(比如：终端设备的地址)和硬件计算能力，从而将空闲终端设备加入训练候选节点资源池。
进一步地，上述服务器可以对训练候选节点资源池中各空闲终端设备的硬件计算能力进行排序，然后选择排序结果中硬件计算能力最大的预设数量的终端设备，将选中的终端设备确定为指定终端设备，以用于后续训练深度学习模型。
作为一种实施例，上述服务器可以为训练资源表中对应于指定终端设备的训练资源表项添加预设标识，从而将指定终端设备与训练候选节点资源池中的其它终端设备区分开。比如，预设标识可以是1，则对应于指定终端设备的表项的一个扩展字段中填1，而对应于其它终端设备的表项的一个扩展字段中填0。
在上述服务器选中指定终端设备后，即可实现本申请深度学习的训练方案。
至此，本申请方案的第二阶段介绍完毕。
下面介绍通过终端设备对深度学习模型进行迭代训练的过程。
参见图2，为本申请示出的一种深度学习的训练方法的流程图，该方法包括以下步骤：
步骤101：所述服务器基于接收到的审核指令，从已标定的图像数据中确定出训练样本，并将所述训练样本发送至空闲终端设备；其中，所述已标定的图像数据从所述忙碌终端设备获得。
上述方法可以应用于协同计算系统，该协同计算系统包括服务器和终端设备，上述终端设备包括忙碌终端设备和空闲终端设备。
上述服务器可以是传统服务器、服务器集群，也可以是云服务器。
上述终端设备可以是搭载AI芯片的高性能前端智能设备或其它高性能智能终端设备；当服务器为云服务器时，终端设备即为与云服务对接的边缘节点。
在本申请实施例中，忙碌终端设备在执行应用功能的过程中，可以确定采集到的图像数据是否可作为有价值的样本用于对深度学习模型的迭代训练。
作为一种实施例，忙碌终端设备通过预测模型输出任一帧图像数据的检测、分类、分割和识别等应用功能的处理结果包含对应的置信度。忙碌终端设备通过自身的预测模型对图形数据进行预测处理时，可检查处理结果的置信度是否低于预设的置信度阈值。
一种情况，该置信度不低于上述置信度阈值，则说明预测模型可以较为准确地计算得到该帧图像数据的处理结果，因此，该帧图像数据对深度学习模型的迭代训练效果不大，不能作为有价值的样本。
另一种情况，该置信度低于上述置信度阈值，则说明预测模型无法准确地计算得到该帧图像数据的处理结果，因此，该帧图像数据对深度学习模型的迭代训练会有实质作用。在这种情况下，忙碌终端设备可通过自身的标定模型对该帧图像数据进行处理，然后将从标定模型获得的处理结果标定在该帧图像数据上，并将已标定的该帧图像数据加入至用于模型调优的训练集中。
进一步地，忙碌终端设备可将本地训练集中已标定的图像数据发送至上述服务器。
由于标定模型在对图像数据执行业务功能，可能获得错误的处理结果，因此，运维人员可对服务器接收到的已标定图像数据进行审核，当发现存在标定错误的图像数据时下发审核指令来修正标定的处理结果。
上述服务器获取各终端设备发送的已标定的图像数据后，可接收运维人员下发针对上述图像数据的审核指令，并基于接收到的审核指令从上述图像数据中确定出训练样本。
具体地，上述服务器可基于上述审核指令修改标定错误的图像数据上的处理结果，并将修正后的已标定的图像数据和标定正确的图像数据作为训练样本。
通过该措施，运维人员无需人工标定图像数据，而只需对终端设备上传的已标定的图像数据进行审核，极大地降低了人工成本。
进一步地，上述服务器确定出上述训练样本后，可将上述训练样本发送至空闲终端设备。
在示出的一种实施方式中，若上述服务器从空闲终端设备中选择出指定终端设备参与到训练过程，则可将确定出的上述训练样本发送至上述指定终端设备。
步骤102：所述空闲终端设备基于所述训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数。
上述空闲终端设备接收到上述训练样本后，可基于上述训练样本对自身的深度学习模型进行训练。
在示出的一种实施方式中，上述空闲终端设备在每次接收到训练样本后，可以首先读取一定数量的训练样本到内存中，基于内存中的训练样本训练自身的预测模型；接着读取一定数量的训练样本到内存中，基于内存中的训练样本训练自身的标定模型；接着读取一定数量的训练样本到内存中，基于内存中的训练样本训练自身的预测模型；依此类推，直到利用接收到的所有训练样本分别训练了预测模型和标定模型。
在示出的另一种实施方式中，上述空闲终端设备在每次接收到训练样本后，可以首先读取一定数量的训练样本到内存中，基于内存中的训练样本先后训练自身的预测模型和标定模型；接着读取一定数量的训练样本到内存中，基于内存中的训练样本先后训练自身的预测模型和标定模型；重复上述过程，直到利用接收到的所有训练样本训练了预测模型和标定模型。
在这种实施方式中，通过训练样本复用，减少了空闲终端设备读取训练样本到内存中的次数，从而减少了训练的等待时长。
需要指出的是，与第一阶段的训练过程一样，空闲终端设备利用一个批次的训练样本对自身的深度学习模型训练的过程中，可以持续更新网络参数。因此，上述空闲终端设备可周期性地将最新的网络参数发送至上述服务器。
当然，若服务器将上述训练样本发送至上述指定终端设备，则步骤102的一系列执行逻辑由空闲终端设备中的指定终端设备来完成。
步骤103：所述服务器对所述空闲终端设备返回的网络参数进行合并处理，并将合并后的网络参数发送至所述忙碌终端设备和所述空闲终端设备。
上述服务器接收各空闲终端设备返回的网络参数后，可以对上述网络参数进行合并处理。
作为一种实施例，上述服务器可以周期性地对各空闲终端设备返回的网络参数计算平均数，然后将计算出的平均数作为合并后的网络参数。
作为另一种实施例，上述服务器可以周期性地选取各空闲终端设备返回的网络参数中的中数，然后将选出的中数作为处理后的网络参数。
通过上述措施，上述服务器可将空闲终端设备利用一个批次的训练样本训练得到的网络参数进行多次合并处理。
当然，还有其它合并处理的方式，在此不一一列举。
当然，若此前服务器将上述训练样本发送至上述指定终端设备，则上述服务器会接收各指定终端设备返回的网络参数，然后进行合并处理。
进一步地，上述服务器可以将合并后的网络参数发送至所有终端设备(包括空闲终端设备和忙碌终端设备)。
步骤104：所述忙碌终端设备和所述空闲终端设备基于接收到的网络参数更新自身的深度学习模型。
各终端设备接收到上述服务器返回的网络参数后，基于上述网络参数更新本地的深度学习模型，从而实现对深度学习模型的调优。
上述训练过程可反复迭代，使得各终端设备上搭载的深度学习模型可持续改进，从而使得终端设备可高效准确执行应用功能以及对图像数据进行标定。
为更清楚地说明深度学习模型的训练过程，请参见图3，为本申请示出的另一种深度学习模型的训练方法的示意图。如图3所示，执行应用功能的忙碌终端设备向服务器发送已标定的图像数据。服务器根据审核指令从已标定的图像数据中确定出样本图像，并将样本图像发送至参与训练的空闲终端设备。参与训练的空闲终端设备基于上述样本图像对自身的深度学习模型进行训练，得到深度学习的网络参数，并见上述网络参数发送至服务器。服务器接收到各参与训练的空闲终端设备返回的网络参数，并进行合并处理，然后将合并后的网络参数发送至所有终端设备。各终端设备接收到上述网络参数，基于上述网络参数对自身的深度学习模型进行更新。上述训练过程可多次循环，使得各终端设备的深度学习模型的准确性越来越高。
至此，本申请方案的第三阶段介绍完毕。
在本申请实施例中，如果通过候选节点资源池中选中的指定终端设备参与训练过程，由于各终端设备的负载状态会发生变化，因此，上述候选节点资源池中的终端设备也会改变。下面介绍服务器更新候选节点资源池中的终端设备以及更新指定终端设备的过程。
当空闲终端设备检测到需执行应用功能(比如：通过差帧法确定连续的指定数量的图像中的任一一帧图像存在变化)时，可以确定负载状态转为忙碌状态，即该终端设备变为忙碌终端设备，此时，可以向服务器发送记录自身负载状态的负载通告报文。
作为一种实施例，若该空闲终端设备正在执行深度学习模型的训练任务，为保证应用功能的正常实现，可以终止训练任务。
上述服务器接收到任一空闲终端设备在负载状态变为忙碌状态后发送的负载通告报文，首先需检查该空闲终端设备是否已加入至上述训练候选节点资源池。
一方面，该空闲终端设备尚未加入上述训练候选节点资源池。此时，可以不做处理。
另一方面，该空闲终端设备已经加入至上述训练候选节点资源池。此时，上述服务器需可以进一步判断该空闲终端设备是否为指定终端设备。
一种情况下，该空闲终端设备为指定终端设备，则上述服务器可以从上述训练候选节点资源池中选择新的空闲终端设备作为指定终端设备，以保证执行训练任务的终端设备的数量不变。此外，上述服务器可以将该空闲终端设备从上述训练候选节点资源池中删除。
作为一种实施例，上述服务器可以从训练资源表中删除该空闲终端设备对应的训练资源表项，然后为选中的新的空闲终端设备对应的训练资源表项添加预设标识。
另一种情况下，该空闲终端设备不为指定终端设备，则上述服务器可以直接将该空闲终端设备从上述训练候选节点资源池中删除。
作为一种实施例，上述服务器可以直接从训练资源表中删除该空闲终端设备对应的训练资源表项。
通过上述措施，上述服务器可以及时将转变为忙碌终端设备的空闲终端设备从训练候选节点资源池中删除，并在指定终端设备开始执行应用功能后不再向其分配训练任务，避免训练任务影响终端设备正常执行应用功能。
需要注意的是，若上述训练候选节点资源池中的多个终端设备转为忙碌终端设备，则后续服务器可能无法从训练候选节点资源池中选择新的空闲终端设备来分配训练任务。
为避免这种情况，在本申请中，服务器可以检查上述训练候选节点资源池中可供选择的空闲终端设备(即除指定终端设备以外的空闲终端设备)的数量是否低于预设的数量阈值。
作为一种实施例，服务器可以周期性检查上述训练候选节点资源池中可供选择的空闲终端设备的数量是否低于上述数量阈值。
作为另一种实施例，服务器在每次从上述训练节点资源池中删除终端设备后，检查上述训练候选节点资源池中可供选择的空闲终端设备的数量是否低于上述数量阈值。
一方面，如果否，则可不做处理。
另一方面，如果是，则可以向上述训练候选节点资源池以外的终端设备发送负载查询报文。
接收到上述负载查询报文的终端设备可以向上述服务器发送记录自身负载状态和硬件计算能力信息的负载通告报文。
上述服务器接收到各终端设备返回的负载通告报文，从而获知上述训练候选节点资源池以外的终端设备的负载状态和硬件计算能力。
进一步地，若任一终端设备的负载状态表征该终端设备为空闲终端设备，上述服务器可将该终端设备加入至上述候选节点资源池。
通过该措施，上述服务器可以保证上述候选节点资源池中的始终有足够数量的可选择的空闲终端设备，从而在指定终端设备的负载状态变为忙碌状态时，可以选择新的空闲终端设备作为指定终端设备，保证了深度学习模型的训练任务可由预设数量的终端设备来执行，有利于训练结果的准确性。
在本申请技术方案中，服务器可以基于接收到的审核指令从已标定的图像数据中确定出训练样本；图像数据的标定直接由忙碌终端设备的标定模型完成，运维人员无需标定样本，只需对已标定的图像数据进行审核，人工成本大大降低；
服务器将上述训练样本发送至空闲终端设备，使得空闲终端设备可以基于上述训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；服务器对各终端设备返回的网络参数合并处理，并将合并后的网络参数返回至所有终端设备，使得各终端设备可以基于处理后的网络参数更新自身的深度学习模型；
由于对深度模型的训练任务分配至空闲终端设备，有效地利用了空闲终端设备闲置的计算资源，从而减少了服务器上的计算资源的消耗；
此外，各终端设备可基于采集到的连续的指定数量的图像数据中是否有任一一帧图像数据是否存在变化，确定自身的负载状态，从而能够在处于空闲状态时执行训练深度学习模型的任务，有效地利用了闲置的计算资源；
执行应用功能的忙碌终端设备通过预测模型输出的处理结果的置信度确定图像数据是否可作为有价值的训练样本，从而使得空闲终端设备可以基于有价值的训练样本来训练深度学习模型，提高了训练效率，有助于提升深度学习模型的性能。
与前述深度学习模型的训练方法的实施例相对应，本申请还提供了深度学习模型的训练装置的实施例。
参见图4，为本申请示出的一种深度学习模型的训练装置的实施例框图：
如图4所示，该深度学习模型的训练装置40，包括：
确定单元410，用于基于接收到的审核指令从已标定的图像数据中确定出训练样本；其中，所述已标定的图像数据从所述忙碌终端设备获得；
发送单元420，用于将所述训练样本发送至所述空闲终端设备，以由所述空闲终端设备基于所述训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
处理单元430，用于对所述空闲终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
在本例中，所述装置还包括：
所述发送单元420，进一步用于在初始状态下，向所有终端设备发送深度学习模型和初始训练样本，以由各终端设备基于所述初始训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
合并单元440(图中未示出)，用于对各终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
在本例中，所述发送单元420，进一步用于：
将所述训练样本发送至所述空闲终端设备中的指定终端设备；
所述合并单元440(图中未示出)，进一步用于：
对所述指定终端设备返回的网络参数进行合并处理；
所述装置还包括：
查询单元450(图中未示出)，用于向所有终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备；
加入单元460(图中未示出)，用于若任一终端设备为空闲终端设备，将该终端设备加入至训练候选节点资源池；
排序单元470(图中未示出)，用于以硬件计算能力的大小，对所述训练候选节点资源池中的终端设备进行排序；
所述确定单元410，进一步用于选择排序结果中硬件计算能力最大的预设数量的终端设备，将选中的终端设备确定为指定终端设备。
在本例中，所述装置还包括：
所述查询单元450(图中未示出)，进一步用于接收任一空闲终端设备在变为忙碌终端设备后发送的负载通告报文；
检查单元480(图中未示出)，用于检查该空闲终端设备是否已加入所述训练候选节点资源池；如果是，确定该空闲终端设备是否为指定终端设备；
所述确定单元410，进一步用于若是，将该空闲终端设备从所述训练候选节点资源池中删除，并从所述训练获选节点资源池中选择新的空闲终端设备作为指定终端设备；若否，将该空闲终端设备从所述训练候选节点资源池中删除。
在本例中，所述装置还包括：
检查单元480(图中未示出)，用于检查所述训练候选节点资源池中除指定终端设备以外的空闲终端设备的数量；
所述查询单元450(图中未示出)，进一步用于若除指定终端设备以外的空闲终端设备的数量小于预设的数量阈值，向所述训练候选节点资源池以外的各终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；
所述加入单元460(图中未示出)，进一步用于若任一终端设备为空闲终端设备，将该终端设备加入至所述训练候选节点资源池。
本申请深度学习模型的训练装置可以应用于电子设备上，该电子设备可以是服务器或服务器集群中的成员设备或云服务器。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将机器可读存储介质中对应的机器可执行指令读取到内存中运行形成的。
从硬件层面而言，如图5所示，为本申请深度学习模型的训练装置所在电子设备的一种硬件结构图，该电子设备可包括处理器501、存储有机器可执行指令的的机器可读存储介质502。处理器501与机器可读存储介质502可经由系统总线503通信。处理器501通过加载并执行机器可读存储介质502存储的机器可执行指令，能够实现上述深度学习模型的训练。
本文中提到的机器可读存储介质502可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
参见图6，为本申请示出的一种深度学习模型的训练装置的实施例框图：
如图6所示，该深度学习模型的训练装置60，包括：
接收单元610，用于如果所述终端设备为空闲终端设备，接收所述服务器发送的训练样本；其中，所述训练样本由所述服务器基于接收到的审核指令，从所述忙碌终端设备发送的已标定的图像数据中确定得到；
训练单元620，用于如果所述终端设备为空闲终端设备，基于所述训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对所述网络参数合并处理、并将合并后的网络参数发送至所有终端设备；
更新单元630，用于如果所述终端设备为空闲终端设备，基于接收到的网络参数更新自身的深度学习模型。
在本例中，所述装置还包括：
所述接收单元610，进一步用于在初始状态下，接收所述服务器发送的深度学习模型和初始训练样本；
所述训练单元620，进一步用于基于所述初始训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对各终端设备的网络参数进行合并、并向所有终端设备返回合并后的网络参数；
所述更新单元630，进一步用于基于合并后的网络参数更新自身的深度学习模型。
在本例中，所述装置还包括：
通知单元640(图中未示出)，用于接收所述服务器发送的负载查询报文，向所述服务器返回自身的负载状态和硬件计算能力，以由所述服务器基于所述负载状态和所述硬件计算能力确定出指定终端设备；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备。
在本例中，所述装置还包括：
所述通知单元640(图中未示出)，进一步用于负载状态发生改变时，向所述服务器发送负载通告报文。
在本例中，所述深度学习模型包括预测模型和标定模型；所述装置还包括：
处理单元650(图中未示出)，用于当所述终端设备为忙碌终端设备时，通过自身的预测模型对图像数据进行预测处理，并检查处理结果的置信度是否低于预设的置信度阈值；
标定单元660(图中未示出)，用于当所述终端设备为忙碌终端设备时，若任一图像数据的处理结果的置信度低于所述置信度阈值，通过自身的标定模型对该图像数据进行处理，并将从所述标定模型获得的处理结果标定在该图像数据上；
发送单元670(图中未示出)，用于当所述终端设备为忙碌终端设备时，将已标定的图像数据发送至所述服务器。
在本例中，所述装置还包括：
检查单元680(图中未示出)，用于在本地采集到连续的指定数量的图像数据中，检查是否有任一一帧图像数据存在变化；
确定单元690(图中未示出)，用于若否，确定本地的负载状态表征自身为空闲终端设备；若否，确定本地的负载状态表征自身为忙碌终端设备。
本申请深度学习模型的训练装置可以应用于电子设备上，该电子设备可以是协同计算系统的终端设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将机器可读存储介质中对应的机器可执行指令读取到内存中运行形成的。
从硬件层面而言，如图7所示，为本申请深度学习模型的训练装置所在电子设备的一种硬件结构图，该电子设备可包括处理器701、存储有机器可执行指令的的机器可读存储介质702。处理器701与机器可读存储介质702可经由系统总线703通信。处理器701通过加载并执行机器可读存储介质702存储的机器可执行指令，能够实现上述深度学习模型的训练。
本文中提到的机器可读存储介质702可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (28)

1.一种深度学习模型的训练方法，应用于协同计算系统的服务器，所述协同计算系统还包括终端设备，所述终端设备包括忙碌终端设备和空闲终端设备，其特征在于，其特征在于，包括：
基于接收到的审核指令从已标定的图像数据中确定出训练样本；其中，所述已标定的图像数据从所述忙碌终端设备获得；
将所述训练样本发送至所述空闲终端设备，以由所述空闲终端设备基于所述训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
对所述空闲终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在初始状态下，向所有终端设备发送深度学习模型和初始训练样本，以由各终端设备基于所述初始训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
对各终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述训练样本发送至所述空闲终端设备，包括：
将所述训练样本发送至所述空闲终端设备中的指定终端设备；
所述对所述空闲终端设备返回的网络参数进行合并处理，包括：
对所述指定终端设备返回的网络参数进行合并处理；
所述指定终端设备通过以下方式确定：
向所有终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备；
若任一终端设备为空闲终端设备，将该终端设备加入至训练候选节点资源池；
以硬件计算能力的大小，对所述训练候选节点资源池中的终端设备进行排序；
选择排序结果中硬件计算能力最大的预设数量的终端设备，将选中的终端设备确定为指定终端设备。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
接收任一空闲终端设备在变为忙碌终端设备后发送的负载通告报文；
检查该空闲终端设备是否已加入所述训练候选节点资源池；
如果是，确定该空闲终端设备是否为指定终端设备；
若是，将该空闲终端设备从所述训练候选节点资源池中删除，并从所述训练获选节点资源池中选择新的空闲终端设备作为指定终端设备；
若否，将该空闲终端设备从所述训练候选节点资源池中删除。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
检查所述训练候选节点资源池中除指定终端设备以外的空闲终端设备的数量；
若除指定终端设备以外的空闲终端设备的数量小于预设的数量阈值，向所述训练候选节点资源池以外的各终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；
若任一终端设备为空闲终端设备，将该终端设备加入至所述训练候选节点资源池。
6.一种深度学习模型的训练方法，应用于协同计算系统的终端设备，所述协同计算系统还包括服务器，所述终端设备包括忙碌终端设备和空闲终端设备，其特征在于，包括：
如果所述终端设备为空闲终端设备，接收所述服务器发送的训练样本；其中，所述训练样本由所述服务器基于接收到的审核指令，从所述忙碌终端设备发送的已标定的图像数据中确定得到；
如果所述终端设备为空闲终端设备，基于所述训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对所述网络参数合并处理、并将合并后的网络参数发送至所有终端设备；
如果所述终端设备为空闲终端设备，基于接收到的网络参数更新自身的深度学习模型。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在初始状态下，接收所述服务器发送的深度学习模型和初始训练样本；
基于所述初始训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对各终端设备的网络参数进行合并、并向所有终端设备返回合并后的网络参数；
基于合并后的网络参数更新自身的深度学习模型。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
接收所述服务器发送的负载查询报文，向所述服务器返回自身的负载状态和硬件计算能力，以由所述服务器基于所述负载状态和所述硬件计算能力确定出指定终端设备；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
负载状态发生改变时，向所述服务器发送负载通告报文。
10.根据权利要求6所述的方法，其特征在于，所述深度学习模型包括预测模型和标定模型；所述方法还包括：
当所述终端设备为忙碌终端设备时，通过自身的预测模型对图像数据进行预测处理，并检查处理结果的置信度是否低于预设的置信度阈值；
当所述终端设备为忙碌终端设备时，若任一图像数据的处理结果的置信度低于所述置信度阈值，通过自身的标定模型对该图像数据进行处理，并将从所述标定模型获得的处理结果标定在该图像数据上；
当所述终端设备为忙碌终端设备时，将已标定的图像数据发送至所述服务器。
11.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在本地采集到连续的指定数量的图像数据中，检查是否有任一一帧图像数据存在变化；
若否，确定本地的负载状态表征自身为空闲终端设备；
若否，确定本地的负载状态表征自身为忙碌终端设备。
12.一种深度学习模型的训练方法，应用于协同计算系统，所述协同计算系统包括服务器和终端设备，所述终端设备包括忙碌终端设备和空闲终端设备，其特征在于，包括：
所述服务器基于接收到的审核指令，从已标定的图像数据中确定出训练样本，并将所述训练样本发送至空闲终端设备；其中，所述已标定的图像数据从所述忙碌终端设备获得；
所述空闲终端设备基于所述训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数；
所述服务器对所述空闲终端设备返回的网络参数进行合并处理，并将合并后的网络参数发送至所述忙碌终端设备和所述空闲终端设备；
所述忙碌终端设备和所述空闲终端设备基于接收到的网络参数更新自身的深度学习模型。
13.根据权利要求12所述的方法，其特征在于，所述深度学习模型包括预测模型和标定模型；所述方法还包括：
所述忙碌终端设备通过自身的预测模型对图像数据进行预测处理，并检查处理结果的置信度是否低于预设的置信度阈值；
若任一图像数据的处理结果的置信度低于所述置信度阈值，所述忙碌终端设备通过自身的标定模型对该图像数据进行处理，并将从所述标定模型获得的处理结果标定在该图像数据上；
所述忙碌终端设备将已标定的图像数据发送至所述服务器。
14.一种深度学习模型的训练装置，应用于协同计算系统的服务器，所述协同计算系统还包括终端设备，所述终端设备包括忙碌终端设备和空闲终端设备，其特征在于，包括：
确定单元，用于基于接收到的审核指令从已标定的图像数据中确定出训练样本；其中，所述已标定的图像数据从所述忙碌终端设备获得；
发送单元，用于将所述训练样本发送至所述空闲终端设备，以由所述空闲终端设备基于所述训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
处理单元，用于对所述空闲终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
所述发送单元，进一步用于在初始状态下，向所有终端设备发送深度学习模型和初始训练样本，以由各终端设备基于所述初始训练样本对自身的深度学习模型进行训练并返回训练后的网络参数；
合并单元，用于对各终端设备返回的网络参数进行合并处理，并将合并后的网络参数返回至所有终端设备，以由各终端设备基于处理后的网络参数更新自身的深度学习模型。
16.根据权利要求14所述的装置，其特征在于，所述发送单元，进一步用于：
将所述训练样本发送至所述空闲终端设备中的指定终端设备；
所述合并单元，进一步用于：
对所述指定终端设备返回的网络参数进行合并处理；
所述装置还包括：
查询单元，用于向所有终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备；
加入单元，用于若任一终端设备为空闲终端设备，将该终端设备加入至训练候选节点资源池；
排序单元，用于以硬件计算能力的大小，对所述训练候选节点资源池中的终端设备进行排序；
所述确定单元，进一步用于选择排序结果中硬件计算能力最大的预设数量的终端设备，将选中的终端设备确定为指定终端设备。
17.根据权利要求16所述的装置，其特征在于，所述装置还包括：
所述查询单元，进一步用于接收任一空闲终端设备在变为忙碌终端设备后发送的负载通告报文；
检查单元，用于检查该空闲终端设备是否已加入所述训练候选节点资源池；如果是，确定该空闲终端设备是否为指定终端设备；
所述确定单元，进一步用于若是，将该空闲终端设备从所述训练候选节点资源池中删除，并从所述训练获选节点资源池中选择新的空闲终端设备作为指定终端设备；若否，将该空闲终端设备从所述训练候选节点资源池中删除。
18.根据权利要求16所述的装置，其特征在于，所述装置还包括：
检查单元，用于检查所述训练候选节点资源池中除指定终端设备以外的空闲终端设备的数量；
所述查询单元，进一步用于若除指定终端设备以外的空闲终端设备的数量小于预设的数量阈值，向所述训练候选节点资源池以外的各终端设备发送负载查询报文，以获知各终端设备的负载状态和硬件计算能力；
所述加入单元，进一步用于若任一终端设备为空闲终端设备，将该终端设备加入至所述训练候选节点资源池。
19.一种深度学习模型的训练装置，应用于协同计算系统的终端设备，所述协同计算系统还包括服务器，所述终端设备包括忙碌终端设备和空闲终端设备，其特征在于，包括：
接收单元，用于如果所述终端设备为空闲终端设备，接收所述服务器发送的训练样本；其中，所述训练样本由所述服务器基于接收到的审核指令，从所述忙碌终端设备发送的已标定的图像数据中确定得到；
训练单元，用于如果所述终端设备为空闲终端设备，基于所述训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对所述网络参数合并处理、并将合并后的网络参数发送至所有终端设备；
更新单元，用于如果所述终端设备为空闲终端设备，基于接收到的网络参数更新自身的深度学习模型。
20.根据权利要求19所述的装置，其特征在于，所述装置还包括：
所述接收单元，进一步用于在初始状态下，接收所述服务器发送的深度学习模型和初始训练样本；
所述训练单元，进一步用于基于所述初始训练样本对自身的深度学习模型进行训练，并向所述服务器发送训练后的网络参数，以由所述服务器对各终端设备的网络参数进行合并、并向所有终端设备返回合并后的网络参数；
所述更新单元，进一步用于基于合并后的网络参数更新自身的深度学习模型。
21.根据权利要求19所述的装置，其特征在于，所述装置还包括：
通知单元，用于接收所述服务器发送的负载查询报文，向所述服务器返回自身的负载状态和硬件计算能力，以由所述服务器基于所述负载状态和所述硬件计算能力确定出指定终端设备；其中，所述负载状态表征终端设备为忙碌终端设备或空闲终端设备。
22.根据权利要求21所述的装置，其特征在于，所述装置还包括：
所述通知单元，进一步用于负载状态发生改变时，向所述服务器发送负载通告报文。
23.根据权利要求21所述的装置，其特征在于，所述深度学习模型包括预测模型和标定模型；所述装置还包括：
处理单元，用于当所述终端设备为忙碌终端设备时，通过自身的预测模型对图像数据进行预测处理，并检查处理结果的置信度是否低于预设的置信度阈值；
标定单元，用于当所述终端设备为忙碌终端设备时，若任一图像数据的处理结果的置信度低于所述置信度阈值，通过自身的标定模型对该图像数据进行处理，并将从所述标定模型获得的处理结果标定在该图像数据上；
发送单元，用于当所述终端设备为忙碌终端设备时，将已标定的图像数据发送至所述服务器。
24.根据权利要求21所述的装置，其特征在于，所述装置还包括：
检查单元，用于在本地采集到连续的指定数量的图像数据中，检查是否有任一一帧图像数据存在变化；
确定单元，用于若否，确定本地的负载状态表征自身为空闲终端设备；若否，确定本地的负载状态表征自身为忙碌终端设备。
25.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的机器可执行指令，其中，所述机器可执行指令被处理器执行时实现权利要求1-5任一所述的深度学习模型的训练方法。
26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的深度学习模型的训练方法。
27.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的机器可执行指令，其中，所述机器可执行指令被处理器执行时实现权利要求6-11任一所述的深度学习模型的训练方法。
28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求6-11任一所述的深度学习模型的训练方法。
CN201811593689.8A 2018-12-25 2018-12-25 深度学习模型的训练方法、装置及电子设备 Active CN111368991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811593689.8A CN111368991B (zh) 2018-12-25 2018-12-25 深度学习模型的训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811593689.8A CN111368991B (zh) 2018-12-25 2018-12-25 深度学习模型的训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111368991A true CN111368991A (zh) 2020-07-03
CN111368991B CN111368991B (zh) 2023-05-26

Family

ID=71208075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811593689.8A Active CN111368991B (zh) 2018-12-25 2018-12-25 深度学习模型的训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111368991B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990586A (zh) * 2021-03-22 2021-06-18 海南电网有限责任公司澄迈供电局 配网作业视频智能监控方法及系统
WO2022166886A1 (zh) * 2021-02-07 2022-08-11 展讯通信（上海）有限公司 一种数据获取方法及装置
WO2024067404A1 (zh) * 2022-09-27 2024-04-04 华为技术有限公司 一种模型训练管理的方法、装置和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297774A (zh) * 2015-05-29 2017-01-04 中国科学院声学研究所 一种神经网络声学模型的分布式并行训练方法及系统
US20170169358A1 (en) * 2015-12-09 2017-06-15 Samsung Electronics Co., Ltd. In-storage computing apparatus and method for decentralized machine learning
CN107766889A (zh) * 2017-10-26 2018-03-06 济南浪潮高新科技投资发展有限公司 一种云端边缘计算融合的深度学习计算系统和方法
CN107871164A (zh) * 2017-11-17 2018-04-03 济南浪潮高新科技投资发展有限公司 一种雾计算环境个性化深度学习方法
CN108427992A (zh) * 2018-03-16 2018-08-21 济南飞象信息科技有限公司 一种基于边缘云计算的机器学习训练系统及方法
CN108564164A (zh) * 2018-01-08 2018-09-21 中山大学 一种基于spark平台的并行化深度学习方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297774A (zh) * 2015-05-29 2017-01-04 中国科学院声学研究所 一种神经网络声学模型的分布式并行训练方法及系统
US20170169358A1 (en) * 2015-12-09 2017-06-15 Samsung Electronics Co., Ltd. In-storage computing apparatus and method for decentralized machine learning
CN107766889A (zh) * 2017-10-26 2018-03-06 济南浪潮高新科技投资发展有限公司 一种云端边缘计算融合的深度学习计算系统和方法
CN107871164A (zh) * 2017-11-17 2018-04-03 济南浪潮高新科技投资发展有限公司 一种雾计算环境个性化深度学习方法
CN108564164A (zh) * 2018-01-08 2018-09-21 中山大学 一种基于spark平台的并行化深度学习方法
CN108427992A (zh) * 2018-03-16 2018-08-21 济南飞象信息科技有限公司 一种基于边缘云计算的机器学习训练系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166886A1 (zh) * 2021-02-07 2022-08-11 展讯通信（上海）有限公司 一种数据获取方法及装置
CN112990586A (zh) * 2021-03-22 2021-06-18 海南电网有限责任公司澄迈供电局 配网作业视频智能监控方法及系统
WO2024067404A1 (zh) * 2022-09-27 2024-04-04 华为技术有限公司 一种模型训练管理的方法、装置和系统

Also Published As

Publication number Publication date
CN111368991B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
US20190279088A1 (en) Training method, apparatus, chip, and system for neural network model
EP3223209A1 (en) Methods for creating automated dynamic workflows of interoperable bots and devices thereof
US8904149B2 (en) Parallelization of online learning algorithms
CN111368991B (zh) 深度学习模型的训练方法、装置及电子设备
CN111047563B (zh) 一种应用于医学超声图像的神经网络构建方法
CN107908536B (zh) Cpu-gpu异构环境中对gpu应用的性能评估方法及系统
CN113821332B (zh) 自动机器学习系统效能调优方法、装置、设备及介质
US20150347470A1 (en) Run-time decision of bulk insert for massive data loading
CN110413282A (zh) 一种冗余资源处理方法、装置、设备及存储介质
CN112862112A (zh) 联邦学习方法、存储介质、终端、服务器、联邦学习系统
CN115905450B (zh) 一种基于无人机监控的水质异常溯源方法及系统
CN103457998A (zh) 一种图片分享的方法和装置
CN110457054A (zh) 一种UnityNGUI控件锚点更新模式优化方法及装置
CN117061365B (zh) 一种节点选择方法、装置、设备及可读存储介质
CN107679766B (zh) 一种群智任务动态冗余调度方法及装置
CN109460365A (zh) 一种系统性能测试方法、装置、设备及存储介质
CN115984022B (zh) 分布式支付系统统一对账方法和装置
CN110909072B (zh) 一种数据表建立方法、装置及设备
US9600517B2 (en) Convert command into a BULK load operation
CN113377683B (zh) 软件测试用例的生成方法、系统、设备、终端、介质及应用
Čakić et al. Developing object detection models for camera applications in smart poultry farms
CN114819442A (zh) 一种运筹优化方法、装置和计算设备
CN112860736A (zh) 大数据查询优化方法、设备及可读存储介质
CN112506957A (zh) 工作流依赖关系的确定方法及装置
CN114757244A (zh) 模型训练方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant