CN113805546A - 一种模型的部署方法、装置、计算机设备和存储介质 - Google Patents
一种模型的部署方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113805546A CN113805546A CN202111080269.1A CN202111080269A CN113805546A CN 113805546 A CN113805546 A CN 113805546A CN 202111080269 A CN202111080269 A CN 202111080269A CN 113805546 A CN113805546 A CN 113805546A
- Authority
- CN
- China
- Prior art keywords
- model
- target
- target model
- computing node
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012360 testing method Methods 0.000 claims abstract description 92
- 238000004519 manufacturing process Methods 0.000 claims abstract description 65
- 238000012216 screening Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000011144 upstream manufacturing Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000036541 health Effects 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims 1
- 241000287219 Serinus canaria Species 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 239000003795 chemical substances by application Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 241000287231 Serinus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种模型的部署方法、装置、计算机设备和存储介质，该方法包括：确定待针对自动化设备上线的目标模型，筛选可测试并运行目标模型的边缘计算节点，作为目标计算节点，校验边缘计算节点对于目标模型的安全性，若目标模型安全，则将目标模型部署至目标计算节点，在目标计算节点中，在隔离自动化设备所处的生产环境的条件下测试目标模型，若目标模型通过测试，则在边缘计算节点中将目标模型应用于生产环境，以向自动化设备提供自动化操作的运算服务，本实施例提供了基于可用性的测试环境和生产环境分离的发布流程，目标模型通过严格的测试环境稳定运行，再部署到生产环境，提高了适用于边缘计算的安全发布目标模型的流程，避免了出现重大的人身安全隐患。
Description
技术领域
本发明实施例涉及自动化的技术领域，尤其涉及一种模型的部署方法、装置、计算机设备和存储介质。
背景技术
在当今工业界，机器学习的模型部署和服务多是以云计算作为核心的架构，多应用分布式架构，通过中心化的方式来完成模型的部署和服务，如SageMaker、Cloud ML和Seldon Score等，虽然各大云平台在某些细节上的要求不同，但其总体架构仍然保持着高度的一致性。
而自动化设备多应用边缘计算(Edge computing)，是一种分散式运算的架构，将应用程序、数据资料与服务的运算，由中心计算节点，移往网络逻辑上的边缘计算节点来处理，但是，边缘计算因为设备性能、安全性等问题，难以应用通过中心化的方式来完成模型的部署和服务。
发明内容
本发明实施例提出了一种模型的部署方法、装置、计算机设备和存储介质，以解决边缘计算如何针对边缘计算部署模型的的问题。
第一方面，本发明实施例提供了一种模型的部署方法，包括：
确定待针对自动化设备上线的目标模型；
筛选可测试并运行所述目标模型的边缘计算节点，作为目标计算节点；
校验所述边缘计算节点对于所述目标模型的安全性；
若所述目标模型安全，则将所述目标模型部署至所述目标计算节点；
在所述目标计算节点中，在隔离所述自动化设备所处的生产环境的条件下测试所述目标模型；
若所述目标模型通过测试，则在所述边缘计算节点中将所述目标模型应用于所述生产环境，以向所述自动化设备提供自动化操作的运算服务。
第二方面，本发明实施例还提供了一种模型的部署装置，包括：
目标模型确定模块，用于确定待针对自动化设备上线的目标模型；
边缘计算节点筛选模块，用于筛选可测试并运行所述目标模型的边缘计算节点，作为目标计算节点；
安全性校验模块，用于校验所述边缘计算节点对于所述目标模型的安全性；
目标模型部署模块，用于若所述目标模型安全，则将所述目标模型部署至所述目标计算节点；
目标模型测试模块，用于在所述目标计算节点中，在隔离所述自动化设备所处的生产环境的条件下测试所述目标模型；
目标模型应用模块，用于若所述目标模型通过测试，则在所述边缘计算节点中将所述目标模型应用于所述生产环境，以向所述自动化设备提供自动化操作的运算服务。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的模型的部署方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的模型的部署方法。
在本实施例中，确定待针对自动化设备上线的目标模型，筛选可测试并运行目标模型的边缘计算节点，作为目标计算节点，校验边缘计算节点对于目标模型的安全性，若目标模型安全，则将目标模型部署至目标计算节点，在目标计算节点中，在隔离自动化设备所处的生产环境的条件下测试目标模型，若目标模型通过测试，则在边缘计算节点中将目标模型应用于生产环境，以向自动化设备提供自动化操作的运算服务，本实施例提供了基于可用性的测试环境和生产环境分离的发布流程，目标模型通过严格的测试环境稳定运行，再部署到生产环境，提高了适用于边缘计算的安全发布目标模型的流程，避免了出现重大的人身安全隐患。
附图说明
图1为本发明实施例一提供的一种模型的部署方法的流程图；
图2为本发明实施例一提供的一种控制-代理模式的架构图；
图3是本发明实施例二提供的一种模型的部署方法的流程图；
图4为本发明实施例三提供的一种模型的部署装置的结构示意图；
图5为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在工业界，机器学习的模型部署是指将机器学习的训练结果部署到生产环境使其能够在为实际的业务场景服务，从而为其他服务进行预测。当模型部署到生产环境中时，开始展现出自身的价值，而这也使得部署成为了一个关键的步骤。目前，机器学习的模型部署和服务的标准流程包括如下三点：
1、新模型的监控管理：监控指定的存储系统(如分布式文件系统或数据库)并管理新上传的模型，一旦发现一个新的模型，会为其添加版本号，表示此模型已经可以进行部署和服务。
2、模型部署流程管理：负责管理可以进行部署的模型，包括如何新的模型可以适应生产环境的硬件限制如硬盘空间，CPU(central processingunit，中央处理器)和内存占用率以及同其他各服务的平滑适配。
3、模型版本管理：包括如何在不影响产品稳定性的前提下，完成新版本模型无缝替换旧版本模型的过程，以及检测到新版本的模型存在缺陷是的版本回退。
具体而言，通过中心化的方式来完成模型的部署和服务的过程如下：
一、模型部署与验证
在云计算的架构下的模型部署流程，多使用金丝雀发布(CanaryRelease)的部署方法。
其中，金丝雀发布，又译为灰度发布，是主流的软件部署方式之一，其大致流程为：将新版本的软件部署到“金丝雀”服务器上，对“金丝雀”服务器上进行自动化和人工测试。测试通过后，将“金丝雀”服务器连接到生产环境，将少量生产流量导入到“金丝雀”服务器中。
如果“金丝雀”服务器在线测试出现问题，则通过把生产流量从“金丝雀”服务器中重新路由到老版本的服务器的方式进行回退，修复问题后重新进行发布。
如果“金丝雀”服务器在线测试顺利，则逐渐把生产流量按一定策略逐渐导入到新版本的服务器中。待新版本的服务器稳定运行后，关闭老版本的服务器的流量导入，新版本的软件取代老版本的软件进行生产环境服务的流程结束。
在部署模型时，将新版本的模型部署到“金丝雀”服务器上，将“金丝雀”服务器连接到生产环境，将少量生产流量导入到“金丝雀”服务器中进行测试。
当模型的安全性和推测指标符合预期的时候，逐渐把生产流量按一定策略逐渐导入到新版本的服务器中。待新版本的服务器稳定运行后，关闭老版本的服务器的流量导入，新版本取代老版本的服务器进行生产环境服务的流程结束。
通常情况下，新旧版本的模型会分别部署在两个互相独立的物理主机上，通过负载平衡服务发送HTTP(HyperTextTransferProtocol，超文本传输协议)协议或者RPC(Remote Procedure Call，远程过程调用协议)协议请求以达到流量导入和分离的目的，这样能够保证两个版本互不干扰。
二、模型服务
当生产流量导入后，按照两个质量指标来实时检测一个模型的性能，当模型安全性和推测指标低于预期，这个模型将自动被撤回，并通过告警的方式通知负责模型的责任人和相关团队，对模型异常进行检测和解决。
在云计算的架构下，是通过RPC通信机制来完成对模型以及分布式文件系统来存储模型所需的输入数据。
以用于对图像数据进行识别的模型为例，客户端(如手机的应用)通过HTTP协议将图像数据上传至分布文件存储系统来存储，在调用模型进行预测的时候，通过RPC通信将图像数据下载到部署了模型的服务器中进行预测。
在预测过程中，将预测的结果和各项性能指标，如上述提到的质量指标等，通过另一个RPC请求，用来进行指标监控。最后再通过HTTP协议将预测的结果发送给客户端。
和传统的中心化思维不同，边缘计算将原本完全由中心计算节点处理大型服务加以分解，切割成更小与更容易管理的部分，分散到边缘计算节点去处理，这使得在服务的响应性能和可靠性方面都高于传统中心化的云计算概念。
目前边缘计算应用非常广泛，如智慧城市、自动驾驶、智能制造和智能家居等自动化的领域。边缘计算强调靠近移动用户以减少网络操作和服务交付的时延。移动边缘计算使传统无线网具备了业务本地化和近距离部署的条件，其技术特征主要体现为：邻近性、低时延、高带宽和位置认知。
边缘计算无法应用诸如分布式架构等基于云计算架构部署模型的方法：
1、基于云计算的模型服务，超过边缘计算的硬件资源。
边缘计算受限于硬件资源，通常情况下，边缘设备通常为单台计算机，无法使用基于分布式架构下的模型部署和服务方式。
2、基于分布式架构的模型部署，无法满足边缘计算的安全性要求。
基于分布式架构的模型部署采用金丝雀的模型部署方式，是通过流量控制的方式将新版本的模型在生产环境进行测试，并观测测试结果，虽然有完善的测试监控和版本回退机制，但边缘计算对于模型以及设备的安全性要求极高，此方法仍可能对人身安全造成不可挽回的影响。
例如，在公共安全领域，如果将新开发的模型直接投入到生产环境，哪怕只有一个高清摄像头出现了故障，那么都有可能导致公共安全产生不可挽回的损失。
又如，针对自动驾驶的车辆，如果模型给出的预测结果有误差，即使只有一次误差，也可能会对车上的乘客和路上的行人产生无法挽回的损失，甚至是付出生命的代价。
再如，在智能机器人领域，如果模型不能把机械旋臂的旋转角度给出预测结果，那么可能会对附近的工作人员造成生命威胁。
3、基于云计算的模型服务，无法满足边缘计算要求的低时延性。
基于云计算的模型多采用HTTP或者RPC协议将数据上传到云端，但边缘计算对模型推测的时延有极高的要求，且边缘计算节点在移动过程中的难以保证其网络的连通性始终顺畅。
例如，自动驾驶的车辆在高速移动状态下与云端交互大量信息特别是传感器数据，依靠现有网络和现有云计算基础设施难以完成。
车辆监测到前方有障碍物或者临时状况时，录制视频数据并于上传到云端，云端瞬间完成运算，并将指令瞬间下传至车辆，车辆随即按指令做出躲避、刹车等动作。
如果无法在边缘计算节点上处理，或者信息传递过程中有极小的延迟，都有可能导致车祸的发生。
在此要求之下，处于边缘的车辆无法按照上述提到的方法，通过HTTP或者RPC等协议在毫秒级的时间限制内完成指定的任务。
又如，在公共安全领域，每一个高清摄像头都需要2M的带宽来传输视频数据，这样的一个摄像头一天就可以产生以G单位的大量数据，如果这样的数据全部传到数据中心进行分析存储的话，数据的反复传递造成了较高的延时。
实施例一
图1为本发明实施例一提供的一种模型的部署方法的流程图，本实施例可适用于基于边缘计算部署模型的情况，该方法可以由模型的部署装置来执行，该模型的部署装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑，等等，具体包括如下步骤：
步骤101、确定待针对自动化设备上线的目标模型。
针对不同业务领域的服务需求，可以在离线的环境中为自动化设备更新已有的模型，或者，训练新的模型，记为目标模型，等待上线进入自动化设备的生产环境，为自动化设备提供自动化操作的运算服务。
其中，所谓自动化设备，可以指至少自行执行部分操作的设备。
例如，自动化设备为自动驾驶的车辆(Self-drivingCar)，是指车辆能够依据自身对周围环境的感知、理解，自行进行运动控制，且能达到人类驾驶水平。自动驾驶计数包含的技术范畴很广，是一门交叉学科，包含多传感器融合技术、信号处理技术、通信技术、人工智能技术，计算机技术等。即，通过多种车在传感器(如摄像头、激光雷达、毫米波雷达、GPS(Global Positioning System，全球定位系统)、惯性传感器等)来识别车辆所处的周边环境和状态，并根据所获得的环境信息(包括道路信息、交通信息、车辆位置和障碍物信息等)自主作出分析和判断，从而控制车辆运动，最终实现自动驾驶。
又例如，自动化设备为工业机器人，工业机器人是面向工业领域的多关节机械手或多自由度的机械装置，它能自动执行工作，是靠自身动力和控制能力来实现各种功能的一种机器。它可以接受人类指挥，也可以按照预先编排的程序运行，现代的工业机器人还可以根据人工智能技术制定的原则纲领行动，实现既具备机器人的肢体又具备类人智慧的机器人是人工智能和机器人发展的终极目标。
针对不同的业务领域的自动化设备，可以设置不同的目标模型，例如，针对自动驾驶的车辆，目标模型可用于检测交通信号灯，检测车道线，检测车辆，检测行人、规划路线，等等，针对工业机器人，目标模型可用于检测目标的位置，规划各个关节的路径，等等。
目标模型的结构不局限于人工设计的神经网络，也可以通过模型量化方法优化的神经网络，通过NAS(神经网络结构搜索)方法针对自动化设备的特性搜索的神经网络，等等，本实施例对此不加以限制。
步骤102、筛选可测试并运行目标模型的边缘计算节点，作为目标计算节点。
自动化设备配置有边缘计算架构，在该边缘计算架构中具有多个边缘计算节点。
以自动驾驶为例，自动驾驶的边缘计算架构依赖于边云协同和LTE(Long TermEvolution，长期演进)/5G提供的通信基础设施和服务。边缘侧主要指车载边缘计算单元、RSU(Road Side Unit，路侧单元)或MEC(Mobile Edge Computing，移动边缘计算)服务器等。其中，车载单元是环境感知、决策规划和车辆控制的主体，但依赖于RSU或MEC服务器的协作，如RSU给车载单元提供了更多关于道路和行人的信息。但是，有些功能运行在云端更加合适甚至无法替代，例如，车辆远程控制、车辆模拟仿真和验证、节点管理、数据的持久化保存和管理等。
针对不同的边缘节点，可以实时对其进行监控，与目标模型的要求进行比较，筛选满足可测试目标模型，并且，可运行目标模型的边缘计算节点，记为目标计算节点。
在本发明的一个实施例中，步骤102包括如下步骤：
步骤1021、确定目标模型要求的质量规范。
在具体实现中，计算机设备具备配置管理器(Config Management)，为目标模型提供了关于质量的规格清单配置，记为质量规范，当目标模型准备部署的时候，完成对质量规范的配置。
在一个示例中，质量规范包括如下的至少一种：
1、业务指标business metric
目标模型对边缘计算节点的业务指标(business metric)具有影响，目标模型应通过质量规范，说明目标模型对于边缘计算节点的业务的影响，以及这些影响是否是预期的。
以自动驾驶中的车辆为例，目标模型应当说明其对车辆关注的各项指标的影响，例如，将通常状态下的速度(业务指标)进行了改变，那么在部署目标模型的测试阶段，就可以检测出其配置是否符合预期或者是缺陷(bug)。
在带有视觉和机械臂的工业机器人，目标模型应说明其对机械臂旋转角度和速度等业务指标的影响，例如，将机械旋臂的速度和角度改变了，那么就可以检测出其配置是否符合预期。
2、资源指标resource metric
目标模型对边缘计算节点的资源指标(resource metric)具有影响，目标模型应通过质量规范，说明目标模型对于边缘计算节点的资源的影响，以及这些影响是否符合预期。
以自动驾驶领域的车辆为例，目标模型应说明对于车辆资源的占用影响，如中央控制单元(CPU)、内存(Memory)以及图形处理器资源(GPU)的占用。当目标模型使用了超出其所声明的资源时，目标模型将被认定为会影响边缘计算节点的安全性。
步骤1022、采集各个边缘计算节点的状态。
在本实施例中，可以对各个边缘计算节点进行监测，从而采集各个边缘计算节点的状态。
在一种监测方式中，如图2所示，可以基于控制-代理(Controller-Agent)模式进行监测，即，在本地部署状态控制器Status Controller 201，在各个边缘计算节点部署状态状态代理Status Agent 202，在启动时，启动状态控制器Status Controller 201。
状态代理Status Agent 202在边缘计算节点运行后，可以不断地在网络条件允许的情况下，将边缘计算节点的状态上传给状态控制器Status Controller 201。
那么，调用状态控制器Status Controller 201接收各个边缘结算节点在状态发生变化时，以状态代理Status Agent 202的方式上报的状态，从而对边缘计算节点标记该状态，并存储在数据库203中，便于对边缘计算节点进行完备的追踪和管理。
在一个示例中，边缘计算节点的状态是有三个维度的矩阵共同决定：
矩阵的第一个维度为边缘计算节点的商用状态：
| 使用状态 | 说明 |
| 商用 | 不允许进行任何测试的相关工作 |
| 测试 | 可以进行测试的相关工作 |
| 装配 | 不允许进行测试的相关工作，因为边缘计算节点并不稳定 |
第二个维度为边缘计算节点的运行状态：
| 运行状态 | 说明 |
| 忙碌 | 设备处于忙碌中，无法支持测试的相关工作 |
| 空闲 | 空闲状态的设备在停机之后，可用于测试 |
| 维修 | 不允许进行测试的相关工作 |
| 停机 | 不允许进行测试的相关工作，但可以进行部署的相关工作 |
第三个维度为边缘计算节点的健康状态：
其中，资源状态可以包括磁盘空间占有率、内存使用率，等等，磁盘空间决定了目标模型是否能够部署到边缘计算节点，当内存使用率高于目标模型对于内存使用率的要求时，模型无法部署。
硬件状态可以包括硬件(如摄像头的镜头)的精度，版本信息，等等。
步骤1023、查找状态满足测试目标模型、且满足质量规范的边缘计算节点，作为目标计算节点。
对各个边缘计算节点的状态进行是否可以测试的检测，以及，将各个边缘计算节点的状态与质量规范进行比较，从而筛选出状态满足测试目标模型、且满足质量规范的边缘计算节点，作为目标计算节点。
在具体实现中，若使用状态为测试、运行状态为空闲，则确定边缘计算节点可测试目标模型。
若使用状态为商用或装配，或者，运行状态为忙碌、维修、停机，则确定边缘计算节点不可测试目标模型。
针对可测试目标模型的边缘计算节点，将硬件状态与业务指标进行匹配，将资源状态与资源指标进行匹配。
若硬件状态满足业务指标，资源状态满足资源指标，则确定边缘计算节点为目标计算节点。
若硬件状态未满足业务指标，或者，资源状态为满足资源指标，则确定边缘计算节点不为目标计算节点。
步骤103、校验边缘计算节点对于目标模型的安全性。
在本实施例中，可以启动模型部署服务，由模型部署服务校验边缘计算节点对于目标模型的安全性，即，目标模型部署在边缘计算节点是否安全。
在具体实现中，计算机设备具备配置管理器(Config Management)，为目标模型提供了关于安全的规格清单配置，记为安全规范，当目标模型准备部署的时候，完成对安全规范的配置。
安全规范包括如下几点：
1、目标模型训练过程中的元数据(metadata)，例如，所使用的机器学习框架的版本信息、训练数据的对应信息，所使用的依赖软件或框架的信息，等等。
元数据被认定为安全性标准的原因是，降低了在部署的过程中出现因学习框架的版本等不匹配而引起的系统崩溃(system crash)风险。
2、目标模型对于输入的数据和输出的数据的要求(data dependencies)，通常情况下，目标模型都对于输入的数据和输出的数据格式有明确的要求，满足了要求的情况下保证目标模型能够稳定给出推测的结果。
其中，数据格式包括如下至少一种：
dimension data format(维度数据格式)，output data format(输出数据格式)，output predict types(输出预测类型)。
3、目标模型对于上游和/或下游的模块的依赖关系，例如，上游和/或下游的模块是否停止，或者，上游和/或下游的模块是否等待，以及等待的时间，等等。
在具体实现中，可以确定训练目标模型的元数据，目标模型对于输入的数据和/或输出的数据的要求，目标模型对于上游和/或下游的模块的依赖关系。
若边缘计算节点与元数据匹配、满足于输入的数据和/或输出的数据的要求、满足依赖关系，则确定边缘计算节点对于目标模型安全，允许线上测试。
若边缘计算节点与元数据不匹配，或者，不满足于输入的数据和/或输出的数据的要求，或者，不满足依赖关系，则确定边缘计算节点对于目标模型不安全，禁止线上测试。
在本发明的一个实施例中，模型部署服务除了校验边缘计算节点对于目标模型的安全性之外，还可以对目标模型进行性能的校验。
在本实施例中，查询原始模型，目标模型与原始模型属于同一模型的不同版本，即，目标模型为同一模型的最新版本，原始模型为同一模型的老旧版本，一般情况下，原始模型为同一模型上一应用于自动化设备的生产环境的版本。
获取目标模型执行自动化操作的运算时的第一指标(如延时、精确度、召回率等)、原始模型执行自动化操作的运行时的第二指标(如延时、精确度、召回率等)。
若第一指标差于第二指标，且第一指标与第二指标之间的差异大于预设的阈值，即，第一指标相比于第二指标明显下降，则禁止部署目标模型。
在本实施例中，提供了端到端的参数化的模型策略和质量标准配置框架，通过这种方式，目标模型从线下测试完成后到最后部署到生产环境这一完整的生命周期都可以随时通过对比各项指标来判断目标模型是否具备了运行在生产环境的条件。
步骤104、若目标模型安全，则将目标模型部署至目标计算节点。
如果目标计算节点相对于目标模型安全，则可以将目标模型部署至目标计算节点，将目标模型加载至目标计算节点的内存中。
步骤105、在目标计算节点中，在隔离自动化设备所处的生产环境的条件下测试目标模型。
当一个新的模型(即目标模型)成功部署到边缘计算节点后，不同于通常的蓝绿部署或者金丝雀部署直接将新的模型(即目标模型)暴露给生产环境，本实施例中将新的模型(即目标模型)下载到目标计算节点上，在隔离自动化设备所处的生产环境的条件下测试目标模型。
在具体实现中，数据存储和管理服务是测试的重要功能，可以在目标计算节点中查找历史传输和/或存储的原始数据，通过数据重放(Replay)，通过这种方式，可以有效地将传感器数据等对测试来说重要的数据用于测试。
进一步而言，可以在原始数据中查找符合满足输入目标模型要求的目标数据，从而将目标数据输入目标模型中执行自动化操作的运算，获得运算结果，如交通信号灯的区域、交通信号灯的颜色、障碍物的类型，等等。
若运算结果高于预设的期望值，且未引发自动化设备发生事故，则确定目标模型通过测试。
若运算结果低于预设的期望值，或引发自动化设备发生事故，则确定目标模型未通过测试。
目标计算节点一般为基于共享内存的集中式单机架构，因此，在测试时，可以在目标计算节点中，启动多个隔离自动化设备所处的生产环境的进程，由多个进程共享目标计算节点本地的内存进行数据交换，以测试目标模型，未使用复杂的操作系统调用、TCP/IP协议、网卡、网线、交换机等处理流程，这样才能减少进程间数据交换环节，提高数据交换速度，实现低延迟和高吞吐量。
步骤106、若目标模型通过测试，则在边缘计算节点中将目标模型应用于生产环境，以向自动化设备提供自动化操作的运算服务。
若目标模型通过测试，则在边缘计算节点中将目标模型应用于生产环境，将生产环境中的流量导入该边缘计算节点的目标模型，从而向自动化设备提供自动化操作的运算服务，即，使用在生产环境中产生的数据(如传感器数据)对自动化操作(如自动驾驶车辆的刹车、启动，工业机器人的机械臂旋转等)提供计算支持。
在具体实现中，如果目标模型通过测试，则可以标记该目标模型为可用，在边缘计算节点启动时，响应于可用的标记，将目标模型应用于生产环境，以向自动化设备提供自动化操作的运算服务。
此外，将原始模型标记为删除，目标模型与原始模型属于同一模型的不同版本，在边缘计算节点启动时，响应于删除的标记，销毁原始模型，实现目标模型替换原始模型，以节省边缘计算节点的资源。
在本实施例中，确定待针对自动化设备上线的目标模型，筛选可测试并运行目标模型的边缘计算节点，作为目标计算节点，校验边缘计算节点对于目标模型的安全性，若目标模型安全，则将目标模型部署至目标计算节点，在目标计算节点中，在隔离自动化设备所处的生产环境的条件下测试目标模型，若目标模型通过测试，则在边缘计算节点中将目标模型应用于生产环境，以向自动化设备提供自动化操作的运算服务，本实施例提供了基于可用性的测试环境和生产环境分离的发布流程，目标模型通过严格的测试环境稳定运行，再部署到生产环境，提高了适用于边缘计算的安全发布目标模型的流程，避免了出现重大的人身安全隐患。
实施例二
图3为本发明实施例二提供的一种模型的部署方法的流程图，本实施例以前述实施例为基础，进一步增加回退的操作，该方法具体包括如下步骤：
步骤301、确定待针对自动化设备上线的目标模型。
步骤302、筛选可测试并运行目标模型的边缘计算节点，作为目标计算节点。
步骤303、校验边缘计算节点对于目标模型的安全性。
步骤304、若目标模型安全，则将目标模型部署至目标计算节点。
步骤305、在目标计算节点中，在隔离自动化设备所处的生产环境的条件下测试目标模型。
步骤306、若目标模型通过测试，则在边缘计算节点中将目标模型应用于生产环境，以向自动化设备提供自动化操作的运算服务。
步骤307、当目标模型发生异常，或目标模型运行时占用的资源超过对目标模型设置的资源指标，则将原始模型部署至目标计算节点。
其中，目标模型与原始模型属于同一模型的不同版本。
步骤308、在边缘计算节点中将原始模型应用于生产环境，以替代目标模型向自动化设备提供自动化操作的运算服务。
步骤309、在目标计算节点销毁目标模型。
传统部署模型的服务是基于分布式架构的，但是在边缘计算的端侧设备上，例如，自动驾驶领域的计算机，机器人系统的控制系统，基本都是基于单机的运行环境，无法通过分布式的方式进行模型服务。因为边缘计算的端侧的目标模型是建立在集中式的架构。
因此，无法保证通过的测试之后，目标模型已经全部覆盖了所有生产环境的情况，因此，回退是保证安全的一个流程，当发现目标模型出现了任何异常情况的时候，回退的流程就将启动。
如果目标模型出现崩溃或者在运行时对硬件的资源的占有量超出了资源指标的时候，将生产环境中的流量发送给原始模型，与此同时，将目标模型归档、销毁，上报事故。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例三
图4为本发明实施例三提供的一种模型的部署装置的结构框图，具体可以包括如下模块：
目标模型确定模块401，用于确定待针对自动化设备上线的目标模型；
边缘计算节点筛选模块402，用于筛选可测试并运行所述目标模型的边缘计算节点，作为目标计算节点；
安全性校验模块403，用于校验所述边缘计算节点对于所述目标模型的安全性；
目标模型部署模块404，用于若所述目标模型安全，则将所述目标模型部署至所述目标计算节点；
目标模型测试模块405，用于在所述目标计算节点中，在隔离所述自动化设备所处的生产环境的条件下测试所述目标模型；
目标模型应用模块406，用于若所述目标模型通过测试，则在所述边缘计算节点中将所述目标模型应用于所述生产环境，以向所述自动化设备提供自动化操作的运算服务。
在本发明的一个实施例中，所述边缘计算节点筛选模块402包括：
质量规范确定模块，用于确定所述目标模型要求的质量规范；
状态采集模块，用于采集各个边缘计算节点的状态；
目标计算节点查找模块，用于查找所述状态满足测试所述目标模型、且满足所述质量规范的边缘计算节点，作为目标计算节点。
在本发明的一个实施例中，所述状态采集模块包括：
状态控制器启动模块，用于启动状态控制器；
状态接收模块，用于调用所述状态控制器接收各个边缘结算节点在状态发生变化时，以状态代理的方式上报的状态；
状态记录模块，用于对所述边缘计算节点标记所述状态。
在本发明的一个实施例中，所述状态包括如下的至少一种：
使用状态、运行状态、健康状态；
其中，所述使用状态包括商用、测试、装配，所述运行状态包括忙碌、空闲、维修、停机，所述健康状态包括资源状态、硬件状态、预留位；
所述质量规范包括如下的至少一种：
业务指标、资源指标；
所述目标计算节点查找模块包括：
测试确定模块，用于若所述使用状态为测试、所述运行状态为空闲，则确定所述边缘计算节点可测试所述目标模型；
状态匹配模块，用于针对可测试所述目标模型的所述边缘计算节点，将所述硬件状态与所述业务指标进行匹配，将所述资源状态与所述资源指标进行匹配；
目标计算节点确定模块，用于若所述硬件状态满足所述业务指标，所述资源状态满足所述资源指标，则确定所述边缘计算节点为目标计算节点。
在本发明的一个实施例中，所述安全性校验模块403包括：
元数据确定模块，用于确定训练所述目标模型的元数据，所述目标模型对于输入的数据和/或输出的数据的要求，所述目标模型对于上游和/或下游的模块的依赖关系；
安全确定模块，用于若所述边缘计算节点与所述元数据匹配、满足于输入的数据和/或输出的数据的要求、满足所述依赖关系，则确定所述边缘计算节点对于所述目标模型安全。
在本发明的一个实施例中，还包括：
原始模型查询模块，用于查询原始模型，所述目标模型与所述原始模型属于同一模型的不同版本；
指标获取模块，用于获取所述目标模型执行自动化操作的运算时的第一指标、所述原始模型执行自动化操作的运行时的第二指标；
部署禁止模块，用于若所述第一指标差于所述第二指标，且所述第一指标与所述第二指标之间的差异大于预设的阈值，则禁止部署所述目标模型。
在本发明的一个实施例中，所述目标模型测试模块405包括：
原始数据查找模块，用于在所述目标计算节点中查找历史传输和/或存储的原始数据；
目标数据查找模块，用于在所述原始数据中查找符合满足输入所述目标模型要求的目标数据；
运算结果获得模块，用于将所述目标数据输入所述目标模型中执行自动化操作的运算，获得运算结果；
测试通过模块，用于若所述运算结果高于预设的期望值，且未引发所述自动化设备发生事故，则确定所述目标模型通过测试；
测试未通过模块，用于若所述运算结果低于预设的期望值，或引发所述自动化设备发生事故，则确定所述目标模型未通过测试。
在本发明的一个实施例中，所述目标模型测试模块405包括：
进程启动模块，用于在所述目标计算节点中，启动多个隔离所述自动化设备所处的生产环境的进程；
数据交换模块，用于由多个所述进程共享所述目标计算节点的内存进行数据交换，以测试所述目标模型。
在本发明的一个实施例中，所述目标模型应用模块406包括：
可用标记模块，用于标记所述目标模型为可用；
目标模型启用模块，用于在所述边缘计算节点启动时，响应于所述可用的标记，将所述目标模型应用于所述生产环境，以向所述自动化设备提供自动化操作的运算服务；
删除标记模块，用于将原始模型标记为删除，所述目标模型与所述原始模型属于同一模型的不同版本；
原始模型销毁模块，用于在所述边缘计算节点启动时，响应于所述删除的标记，销毁所述原始模型。
在本发明的一个实施例中，还包括：
原始模块部署模块，用于当所述目标模型发生异常，或所述目标模型运行时占用的资源超过对所述目标模型设置的资源指标，则将原始模型部署至所述目标计算节点，所述目标模型与所述原始模型属于同一模型的不同版本；
原始模型应用模块，用于在所述边缘计算节点中将所述原始模型应用于所述生产环境，以替代所述目标模型向所述自动化设备提供自动化操作的运算服务。
目标模型销毁模块，用于在所述目标计算节点销毁所述目标模型。
本发明实施例所提供的模型的部署装置可执行本发明任意实施例所提供的模型的部署方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的模型的部署方法。
实施例五
本发明实施例五还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述模型的部署方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (13)
1.一种模型的部署方法，其特征在于，包括：
确定待针对自动化设备上线的目标模型；
筛选可测试并运行所述目标模型的边缘计算节点，作为目标计算节点；
校验所述边缘计算节点对于所述目标模型的安全性；
若所述目标模型安全，则将所述目标模型部署至所述目标计算节点；
在所述目标计算节点中，在隔离所述自动化设备所处的生产环境的条件下测试所述目标模型；
若所述目标模型通过测试，则在所述边缘计算节点中将所述目标模型应用于所述生产环境，以向所述自动化设备提供自动化操作的运算服务。
2.根据权利要求1所述的方法，其特征在于，所述筛选可测试并运行所述目标模型的边缘计算节点，作为目标计算节点，包括：
确定所述目标模型要求的质量规范；
采集各个边缘计算节点的状态；
查找所述状态满足测试所述目标模型、且满足所述质量规范的边缘计算节点，作为目标计算节点。
3.根据权利要求2所述的方法，其特征在于，所述采集各个边缘计算节点的状态，包括：
启动状态控制器；
调用所述状态控制器接收各个边缘结算节点在状态发生变化时，以状态代理的方式上报的状态；
对所述边缘计算节点标记所述状态。
4.根据权利要求2所述的方法，其特征在于，所述状态包括如下的至少一种：
使用状态、运行状态、健康状态；
其中，所述使用状态包括商用、测试、装配，所述运行状态包括忙碌、空闲、维修、停机，所述健康状态包括资源状态、硬件状态、预留位；
所述质量规范包括如下的至少一种：
业务指标、资源指标；
所述查找所述状态满足测试所述目标模型、且满足所述质量规范的边缘计算节点，作为目标计算节点，包括：
若所述使用状态为测试、所述运行状态为空闲，则确定所述边缘计算节点可测试所述目标模型；
针对可测试所述目标模型的所述边缘计算节点，将所述硬件状态与所述业务指标进行匹配，将所述资源状态与所述资源指标进行匹配；
若所述硬件状态满足所述业务指标，所述资源状态满足所述资源指标，则确定所述边缘计算节点为目标计算节点。
5.根据权利要求1所述的方法，其特征在于，所述校验所述边缘计算节点对于所述目标模型的安全性，包括：
确定训练所述目标模型的元数据，所述目标模型对于输入的数据和/或输出的数据的要求，所述目标模型对于上游和/或下游的模块的依赖关系；
若所述边缘计算节点与所述元数据匹配、满足于输入的数据和/或输出的数据的要求、满足所述依赖关系，则确定所述边缘计算节点对于所述目标模型安全。
6.根据权利要求1所述的方法，其特征在于，在所述筛选可测试并运行所述目标模型的边缘计算节点，作为目标计算节点之后，还包括：
查询原始模型，所述目标模型与所述原始模型属于同一模型的不同版本；
获取所述目标模型执行自动化操作的运算时的第一指标、所述原始模型执行自动化操作的运行时的第二指标；
若所述第一指标差于所述第二指标，且所述第一指标与所述第二指标之间的差异大于预设的阈值，则禁止部署所述目标模型。
7.根据权利要求1所述的方法，其特征在于，所述在所述目标计算节点中，在隔离所述自动化设备所处的生产环境的条件下测试所述目标模型，包括：
在所述目标计算节点中查找历史传输和/或存储的原始数据；
在所述原始数据中查找符合满足输入所述目标模型要求的目标数据；
将所述目标数据输入所述目标模型中执行自动化操作的运算，获得运算结果；
若所述运算结果高于预设的期望值，且未引发所述自动化设备发生事故，则确定所述目标模型通过测试；
若所述运算结果低于预设的期望值，或引发所述自动化设备发生事故，则确定所述目标模型未通过测试。
8.根据权利要求1所述的方法，其特征在于，所述在所述目标计算节点中，在隔离所述自动化设备所处的生产环境的条件下测试所述目标模型，包括：
在所述目标计算节点中，启动多个隔离所述自动化设备所处的生产环境的进程；
由多个所述进程共享所述目标计算节点的内存进行数据交换，以测试所述目标模型。
9.根据权利要求1所述的方法，其特征在于，所述在所述边缘计算节点中将所述目标模型应用于所述生产环境，以向所述自动化设备提供自动化操作的运算服务，包括：
标记所述目标模型为可用；
在所述边缘计算节点启动时，响应于所述可用的标记，将所述目标模型应用于所述生产环境，以向所述自动化设备提供自动化操作的运算服务；
将原始模型标记为删除，所述目标模型与所述原始模型属于同一模型的不同版本；
在所述边缘计算节点启动时，响应于所述删除的标记，销毁所述原始模型。
10.根据权利要求1-9中任一项所述的方法，其特征在于，还包括：
当所述目标模型发生异常，或所述目标模型运行时占用的资源超过对所述目标模型设置的资源指标，则将原始模型部署至所述目标计算节点，所述目标模型与所述原始模型属于同一模型的不同版本；
在所述边缘计算节点中将所述原始模型应用于所述生产环境，以替代所述目标模型向所述自动化设备提供自动化操作的运算服务。
在所述目标计算节点销毁所述目标模型。
11.一种模型的部署装置，其特征在于，包括：
目标模型确定模块，用于确定待针对自动化设备上线的目标模型；
边缘计算节点筛选模块，用于筛选可测试并运行所述目标模型的边缘计算节点，作为目标计算节点；
安全性校验模块，用于校验所述边缘计算节点对于所述目标模型的安全性；
目标模型部署模块，用于若所述目标模型安全，则将所述目标模型部署至所述目标计算节点；
目标模型测试模块，用于在所述目标计算节点中，在隔离所述自动化设备所处的生产环境的条件下测试所述目标模型；
目标模型应用模块，用于若所述目标模型通过测试，则在所述边缘计算节点中将所述目标模型应用于所述生产环境，以向所述自动化设备提供自动化操作的运算服务。
12.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一项所述的模型的部署方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的模型的部署方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111080269.1A CN113805546B (zh) | 2021-09-15 | 2021-09-15 | 一种模型的部署方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111080269.1A CN113805546B (zh) | 2021-09-15 | 2021-09-15 | 一种模型的部署方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113805546A true CN113805546A (zh) | 2021-12-17 |
| CN113805546B CN113805546B (zh) | 2023-07-07 |
Family
ID=78941156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111080269.1A Active CN113805546B (zh) | 2021-09-15 | 2021-09-15 | 一种模型的部署方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113805546B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109347834A (zh) * | 2018-10-24 | 2019-02-15 | 广东工业大学 | 物联网边缘计算环境中异常数据的检测方法、装置及设备 |
| CN109814877A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于环境管理的项目部署方法及其装置 |
| US10459444B1 (en) * | 2017-11-03 | 2019-10-29 | Zoox, Inc. | Autonomous vehicle fleet model training and testing |
| US20200218937A1 (en) * | 2019-01-03 | 2020-07-09 | International Business Machines Corporation | Generative adversarial network employed for decentralized and confidential ai training |
| CN111506508A (zh) * | 2020-04-17 | 2020-08-07 | 北京百度网讯科技有限公司 | 边缘计算测试方法、装置、设备和可读存储介质 |
| CN111930521A (zh) * | 2020-09-23 | 2020-11-13 | 北京百度网讯科技有限公司 | 用于部署应用的方法、装置、电子设备及可读存储介质 |
| CN112860411A (zh) * | 2021-03-12 | 2021-05-28 | 中国人民解放军93114部队 | 一种基于模型压缩和服务分发的边缘计算方法及系统 |
| CN113128532A (zh) * | 2019-12-31 | 2021-07-16 | 北京超星未来科技有限公司 | 一种训练样本数据的获取方法、处理方法、装置及系统 |
-
2021
- 2021-09-15 CN CN202111080269.1A patent/CN113805546B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10459444B1 (en) * | 2017-11-03 | 2019-10-29 | Zoox, Inc. | Autonomous vehicle fleet model training and testing |
| CN109347834A (zh) * | 2018-10-24 | 2019-02-15 | 广东工业大学 | 物联网边缘计算环境中异常数据的检测方法、装置及设备 |
| CN109814877A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于环境管理的项目部署方法及其装置 |
| US20200218937A1 (en) * | 2019-01-03 | 2020-07-09 | International Business Machines Corporation | Generative adversarial network employed for decentralized and confidential ai training |
| CN113128532A (zh) * | 2019-12-31 | 2021-07-16 | 北京超星未来科技有限公司 | 一种训练样本数据的获取方法、处理方法、装置及系统 |
| CN111506508A (zh) * | 2020-04-17 | 2020-08-07 | 北京百度网讯科技有限公司 | 边缘计算测试方法、装置、设备和可读存储介质 |
| KR20210040884A (ko) * | 2020-04-17 | 2021-04-14 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 엣지 컴퓨팅 테스트 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 매체 |
| JP2021103571A (ja) * | 2020-04-17 | 2021-07-15 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | エッジコンピューティングテスト方法、装置、機器及び読み取り可能な記憶媒体 |
| CN111930521A (zh) * | 2020-09-23 | 2020-11-13 | 北京百度网讯科技有限公司 | 用于部署应用的方法、装置、电子设备及可读存储介质 |
| CN112860411A (zh) * | 2021-03-12 | 2021-05-28 | 中国人民解放军93114部队 | 一种基于模型压缩和服务分发的边缘计算方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 张展;张宪琦;左德承;付国栋;: "面向边缘计算的目标追踪应用部署策略研究" * |
| 张燕咏;张莎;张昱;吉建民;段逸凡;黄奕桐;彭杰;张宇翔;: "基于多模态融合的自动驾驶感知及计算" * |
| 熊金波;毕仁万;陈前昕;刘西蒙;: "边缘协作的轻量级安全区域建议网络" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113805546B (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11829896B2 (en) | Uncertainty-based data filtering in a vehicle | |
| US20210011908A1 (en) | Model-based structured data filtering in an autonomous vehicle | |
| CN111881520B (zh) | 一种自动驾驶测试的异常检测方法、装置、计算机设备及存储介质 | |
| US11962664B1 (en) | Context-based data valuation and transmission | |
| US11961337B2 (en) | Self-maintaining autonomous vehicle procedure | |
| US20230013544A1 (en) | Method, Apparatus and System for Detecting Abnormal Operating States of a Device | |
| US11775400B2 (en) | Redundant processing fabric for autonomous vehicles | |
| CN111680362A (zh) | 一种自动驾驶仿真场景获取方法、装置、设备及存储介质 | |
| JP6501675B2 (ja) | 設定可能な搭載型の情報処理 | |
| CN112698618A (zh) | 一种基于机器视觉技术的服务器告警识别系统 | |
| CN115599694A (zh) | 一种自动驾驶软件版本集成测试方法 | |
| CN114783188A (zh) | 巡检方法和装置 | |
| CN113805546B (zh) | 一种模型的部署方法、装置、计算机设备和存储介质 | |
| CN114323693B (zh) | 车路云感知系统的测试方法、装置、设备及存储介质 | |
| CN116432392A (zh) | 自动驾驶仿真测试方法及测试装置 | |
| Correa-Jullian et al. | Modeling fleet operations of autonomous driving systems in mobility as a service for safety risk analysis | |
| Nice et al. | Enabling mixed autonomy traffic control | |
| CN114987494A (zh) | 驾驶场景处理方法、装置及电子设备 | |
| CN111865699A (zh) | 故障识别方法、装置、计算设备和介质 | |
| CN117724693B (zh) | 自动驾驶软件的开发方法、系统、计算机设备及存储介质 | |
| US11907050B1 (en) | Automated event analysis | |
| US20240289252A1 (en) | Deferred creation of remote debugging sessions | |
| US20240289258A1 (en) | Remote debugging sessions for flaky tests | |
| CN118013209A (zh) | 数据恢复方法和装置 | |
| CN117420814A (zh) | 一种基于电气测试台架的测试方法、电气测试台架及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |