CN114048023A - 一种基于计算资源共享的工业视觉检测系统 - Google Patents

Abstract

本发明涉及一种计算资源共享的工业视觉检测系统，包括：资源池，包括若干台工控机设备；计算资源管理中心，用于对资源池中若干台工控机设备的忙闲状态进行管理；图像采集设备，用于采集产品图像；网关设备，用于接收产品图像，并通过计算资源管理中心将产品图像发送给资源池中的其中一台有多余计算资源且可用的工控机设备；工控机设备用于对产品图像进行视觉分析，并将视觉分析结果发送给网关设备；网关设备还用于接收视觉分析结果，并将视觉分析结果发送给分检设备；分检设备，用于根据视觉分析结果对产品进行分检。通过采用消费级工控机设备构成的资源池进行资源共享，提高设备的有效利用率及降低视觉检测的成本。

Description

一种基于计算资源共享的工业视觉检测系统

技术领域

本发明涉及工业控制技术领域，具体地，涉及一种基于计算资源共享的工业视觉检测系统。

背景技术

当前，在推进工业制造数字化升级、实施智能制造的过程中，其关键问题之一就是对于生产线上所制造工业产品的质量，如何用自动化的技术对其进行质量检测，从而实现从原料加工、生产到后端质量检测的端到端的自动化生产线。随着计算机视觉技术的发展，有很多企业已经开始通过图像检测的方法来自动发现产品的缺陷并进行分检。近几年来，由于深度学习算法稳定及准确的识别效果，越来越多的工厂开始采用基于深度学习的方法取代基于传统图像分析的方法，并取得了非常不错的应用效果。不同于其他领域的视觉检测方法，工业视觉检测往往具有以下几个特点：

1、实时性要求高，在工业视觉检测中，为了与实际的工业系统对接，满足实际工业生产的生产节奏，对于每一个产品图像的分析，都必须进行实时分析，并在生产节奏允许的范围内完成分析返回结果，不同图像分析任务之间没有高低优先级之分；

2、稳定性要求高，任何一个图像分析的失败或者分析过程卡顿，都可能导致正常生产节奏被打乱或者停顿，影响生产的进行，更为严重的，还有可能会引起前后不同产品分析结果的错位或者丢失，从而导致良品与次品的分检错误。

因此，在实际的视觉分析中，往往都会采用将一张图像的分析只在一个硬件设备上进行，而不采用多个硬件设备的模型调度架构。因为如果采用多个硬件设备组合分析单张图像的模型调度架构，对一张图像，为了保证实时性，就需要保证能够在不同模型之间实时传输图像，从而硬件设备之间的网络连接就需要采用万兆网甚至更加昂贵的网络连接，这样的实施费用反而比增强单台设备的配置更加昂贵，而且通过网络连接的方式也进一步加大了出错的可能性，降低了分析的稳定性。

在基于单台设备进行深度学习的计算机视觉质检方法中，为了提高推理的速度，更普遍的仍是采用基于GPU(Graphics Processing Unit，图形处理器)的方式进行深度学习模型的推理运算，因此为了满足工业生产线上实时控制和稳定性的需求，现有的做法是在一个机台放置一台带有GPU的工控机，通过该工控机直接连接相机，获取拍摄的图像，同时利用工控机调用质检算法进行分析，并根据分析结果通过工控机与机台上的分检设备对接，直接发送分检信号到分检设备，实现对分检设备的控制。而对于在每一个机台放置一个工控机的方法，由于GPU的成本比较昂贵，因此其成本相对较高，要运维这样一台GPU，难度相对较高，一旦一台GPU出现故障，就很容易造成大面积的机器无法使用在实际生产中很难进行大规模推广，针对这个问题，通用的方案是将深度学习模型移植到更为便宜的硬件设备上如NUC或者是基于ARM架构硬件设备进行推理的方法来降低硬件的成本，但是，目前便宜硬件的计算能力一般都相对较弱，对于需要较高运算资源的视觉质检算法来说，是没有办法通过这种移植来进行替换的；另一方面，由于视觉质检算法的计算比较密集，功耗也相对较高，对于资源的需求也相对较高，因此，在长时间运行后比较容易出现异常，对于一个机台一个计算硬件的方案来说，很容易出现单点故障，一旦计算资源出现异常，该机台也就无法进行正常分析，这种现象在夏天天气较热的情况下就更容易出现了。

发明内容

本发明旨在克服上述现有技术中至少一种缺陷，提供一种基于计算资源共享的工业视觉检测系统，采用消费级工控机设备构成的资源池进行资源共享，提高设备的有效利用率及降低视觉检测的成本。

本发明采取的方案为：

提供一种基于计算资源共享的工业视觉检测系统，包括：

若干台图像采集设备、若干台网关设备、一计算资源管理中心、一资源池和若干台分检设备，一台所述网关设备分别与一台或多台所述图像采集设备、一台所述分检设备连接，若干台所述网关设备分别与计算资源管理中心连接，所述资源池包括若干台工控机设备；

所述计算资源管理中心用于对所述资源池中若干台所述工控机设备的计算资源进行管理；

所述图像采集设备用于采集产品图像，并将采集的所述产品图像发送给所述网关设备；

所述网关设备用于接收所述产品图像，通过所述计算资源管理中心将所述产品图像发送给所述资源池中的一台有多余计算资源且可用的工控机设备，并与所述工控机设备保持连接，以将后续的所述产品图像直接发送给所述工控机设备；

所述工控机设备用于对所述产品图像进行视觉分析，并将视觉分析结果以及自身当前的负载情况和健康状况发送给所述网关设备；

所述网关设备还用于接收所连接的所述工控机设备发送的所述视觉分析结果以及所述当前的负载情况和健康状况，将所述视觉分析结果发送给所述分检设备，并根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常，若是，则断开与所述工控机设备的连接，在下一次发送产品图像时，通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备，并与另一台所述工控机设备保持连接，以将后续的所述产品图像直接发送给另一台所述工控机设备；

所述分检设备用于根据所述视觉分析结果对产品进行分检。

在每一个机台的位置都放置一个网关设备替代现有技术中的工控机设备，相比于现有技术中由云端与所有分检设备连接的方式，一台网关设备与一台分检设备连接的方式稳定性更高，网关设备将图像采集设备采集的产品图像通过计算资源管理中心发送给资源池中一台有多余计算资源且可用的工控机设备，在工控机设备对产品图像进行视觉分析后，由网关设备将该视觉分析结果发送给分检设备，以使分检设备根据视觉分析结果进行分检，从而可以对每一个产品图像进行实时的视觉分析，满足实际工业生产的生产节奏和实时性要求；由于网关设备不带GPU，只需比较低配置的CPU、内存和硬盘配置即可满足其通信及存储功能；工控机设备在反馈视觉分析结果给网关设备的同时，还把自身的负载情况及健康状况一同发送给网关设备，当网关设备判断所连接的工控机设备有异常时，主动切换到另一台有多余计算资源且可用的工控机设备，从而可以使得在没有额外增加通信成本的情况下，保证生产节奏不因工控机设备异常而被打断；采用消费级的若干台工控机设备构成资源池且该资源池在不同机台间共享计算资源，对外提供视觉分析服务，从而可以提高工控机设备的有效利用率，减少设备采购费用，降低视觉质检的硬件成本。

进一步地，所述网关设备用于接收所述产品图像，通过所述计算资源管理中心将所述产品图像发送给所述资源池中的一台有多余计算资源且可用的工控机设备，包括：

所述网关设备用于接收所述产品图像，根据所述产品图像生成视觉分析请求，并将所述产品图像及所述视觉分析请求发送给所述计算资源管理中心，以使所述计算资源管理中心接收所述视觉分析请求，并根据所述视觉分析请求从所述资源池中获取一台有多余计算资源且可用的工控机设备，生成反馈信息给所述网关设备；

所述网关设备还用于根据所述反馈信息将所述产品图像发送给所述有多余计算资源且可用的工控机设备；

所述网关设备还用于根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常，若是，则断开与所述工控机设备的连接，并在下一次发送产品图像时，通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备，包括：

所述网关设备还用于根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常；

若是，则断开与所述工控机设备的连接，在下一次发送产品图像时生成切换请求，并将所述切换请求发送给所述计算资源管理中心，以使所述计算资源管理中心接收所述切换请求，根据所述切换请求从所述资源池中重新获取一台有多余计算资源且可用的工控机设备，生成新的反馈信息给所述网关设备；

所述网关设备还用于根据所述新的反馈信息将下一次发送的产品图像发送给所述有多余计算资源且可用的工控机设备。

网关设备通过计算资源管理中心获取一台有多余计算资源且可用的工控机设备，并在后续发送中仍然保持与该工控机设备的连接，将后续接收到的产品图像直接发送给该工控机设备，保证网关设备与计算资源管理中心一定程度的松耦合连接，使得在正常生产过程中，即便计算资源管理中心出现短暂异常也不影响生产的正常进行。

进一步地，所述网关设备用于接收所述产品图像，通过所述计算资源管理中心将所述产品图像发送给所述资源池中的一台有多余计算资源且可用的工控机设备，包括：

所述网关设备用于接收所述产品图像，根据所述产品图像生成视觉分析请求，并将所述产品图像及所述视觉分析请求发送给所述计算资源管理中心，以使所述计算资源管理中心接收所述视觉分析请求，并根据所述视觉分析请求从所述资源池中获取一台有多余计算资源且可用的工控机设备，生成反馈信息，并将所述产品图像发送给所述有多余计算资源且可用的工控机设备，将所述反馈信息发送给所述网关设备，以使所述网关设备根据所述反馈信息与对应的工控机设备连接；

所述网关设备还用于根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常，若是，则断开与所述工控机设备的连接，并在下一次发送产品图像时，通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备，包括：

所述网关设备还用于根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常；

若是，则断开与所述工控机设备的连接，在下一次发送产品图像时生成切换请求，并将所述切换请求发送给所述计算资源管理中心，以使所述计算资源管理中心接收所述切换请求，根据所述切换请求从所述资源池中重新获取一台有多余计算资源且可用的工控机设备，生成新的反馈信息给所述网关设备，并将所述产品图像发送给所述有多余计算资源且可用的工控机设备，将所述新的反馈信息发送给所述网关设备，以使所述网关设备根据所述新的反馈信息与对应的工控机设备连接。

网关设备通过将产品图像发送给计算资源管理中心，由计算资源管理中心将产品图像发送给资源池中一台有多余计算资源且可用的工控机设备，从而每一个产品图像都可以发送到资源池中有多余计算资源且可用的工控机设备，由工控机设备进行实时的视觉分析，满足实际工业生产的生产节奏和实时性要求。

进一步地，所述工控机设备还用于在对所述产品图像进行视觉分析有异常时，生成视觉分析异常结果给所述网关设备；

所述网关设备还用于当所述产品图像发送给工控机设备失败或者接收到所述视觉分析异常结果时，发送切换请求给所述计算资源管理中心，以通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备。

在将产品图像发送给有多余计算资源且可用的工控机设备失败时，网关设备发送切换请求给计算资源管理中心以切换另一台有多余计算资源且可用的工控机设备，通过这种自动切换机制，可以确保当一些工控机设备发生异常时，前端网关设备仍然可以找到可用的工控机设备进行连接，以实现对产品图像进行视觉分析，从而从机台角度保证了其生产过程是连续的，不会因某台工控机设备异常而导致生成中断，确保生产节奏的正常进行，满足工业视觉检测稳定性高的要求。

进一步地，所述计算资源管理中心用于对所述资源池中若干台所述工控机设备的计算资源进行管理，包括：

所述计算资源管理中心用于获取所述资源池中若干台所述工控机设备的心跳及负载情况，并根据所述工控机设备的心跳及负载情况确定所述工控机设备的计算资源。

计算资源管理中心通过获取资源池中若干台工控机设备的心跳及负载情况，从而可以实时根据工控机设备的心跳及负载情况确定工控机设备的资源，以便于对资源池的计算资源进行管理和分配。

进一步地，所述计算资源管理中心还用于判断是否有新的工控机设备与其连接，若是，则将所述新的工控机设备加入到所述资源池中。

当判断有新的工控机设备与计算资源管理中心连接时，将新的工控机设备加入到资源池中，以便于资源池的计算资源能满足生产要求。

进一步地，所述工控机设备还用于按预设周期检测其自身的运行情况，根据所述运行情况生成健康状态，并将所述健康状态上报给所述计算资源管理中心；

所述工控机设备还用于当检测到其自身的运行情况处于异常时，根据所述运行情况采取对应的修复动作进行自动修复；

所述工控机设备在与所述网关设备连接后，还用于当检测到其自身的运行情况异常时，发送检测异常结果给网关设备，以使所述网关设备断开与所述工控机设备的连接，并在下一次发送产品图像时通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备。

工控机设备定期检测自身的运行情况，并当检测到其自身运行情况处于异常时，根据运行情况采取对应的修复动作进行自动修复，从而能够及时且快速恢复正常，保证资源池有足够的工控机设备处于可用状态，满足生产的计算要求。

进一步地，所述计算资源管理中心还用于根据所述工控机设备的健康状态判断所述工控机设备是否异常，若是，则将异常的工控机设备从所述资源池中移除。

当根据工控机设备的健康状态判定工控机设备有异常时，将异常的工控机设备从资源池中移除，尽可能确保资源池中的工控机设备正常可用。

进一步地，所述工控机设备还用于按预设周期检测其自身的运行情况，包括：所述工控机设备还用于按预设周期检测其自身的GPU当前的运行状态和/或其自身的视觉检测模型当前的运行情况，所述视觉检测模型用于对所述产品图像进行视觉分析。

工控机设备定期从硬件和软件两个层面检测其自身的运行情况，并在检测到异常时采用对应的修复动作进行修复，以使工控机设备的硬件和软件两个层面均处于正常状态。

进一步地，所述工控机设备用于对所述产品图像进行视觉分析，包括：

所述工控机设备用于调用视觉检测模型对所述产品图像进行视觉分析。

与现有技术相比，本发明的有益效果为：

本发明通过在每一个机台的位置都放置一个网关设备替代现有技术中的工控机设备，相比于现有技术中由云端与所有分检设备连接的方式，一台网关设备与一台分检设备连接的方式稳定性更高，网关设备将图像采集设备采集的产品图像通过计算资源管理中心发送给资源池中一台有多余计算资源且可用的工控机设备，在工控机设备对产品图像进行视觉分析后，由网关设备将该视觉分析结果发送给分检设备，以使分检设备根据视觉分析结果进行分检，从而可以对每一个产品图像进行实时的视觉分析，满足实际工业生产的生产节奏和实时性要求。

工控机设备在反馈视觉分析结果给网关设备的同时，还把自身的负载情况及健康情况一同发送给网关设备，当网关设备判断所连接的工控机设备有异常时，主动切换到另一台有多余计算资源且可用的工控机设备，从而可以使得在没有额外增加通信成本的情况下，保证生产节奏不因工控机设备异常而被打断。

由于网关设备不带GPU，只需比较低配置的CPU、内存和硬盘配置即可满足其通信及存储功能，采用消费级的若干台工控机设备构成资源池且该资源池在不同机台间共享计算资源，对外提供视觉分析服务，从而可以提高工控机设备的有效利用率，减少设备采购费用，降低视觉质检的硬件成本。

在将产品图像发送给有多余计算资源且可用的工控机设备失败时，网关设备发送切换请求给计算资源管理中心以切换另一台有多余计算资源且可用的工控机设备，通过这种自动切换机制，可以确保当一些工控机设备发生异常时，能够自动切换到正常可用的工控机设备以对产品图像进行视觉分析，从而从机台角度保证了其生产过程是连续的，不会因某台工控机设备异常而导致生成中断，满足工业视觉检测稳定性高的要求。

通过工控机设备定期检测自身的运行情况，并当检测到其自身运行情况处于异常时，根据运行情况采取对应的修复动作进行修复，从而能够及时且快速恢复正常，保证资源池有足够的工控机设备处于可用状态，满足生产的计算要求。

附图说明

图1为实施例所述的基于计算资源共享的工业视觉检测系统的模块示意图。

附图标记：图像采集设备100，网关设备200，计算资源管理中心300，资源池400，工控机设备410，分检设备500。

具体实施方式

本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

由于现有技术为了提高推理的速度、满足工业生产线上实时控制和稳定性的需求，采用的方法为在每一个机台放置一台带有GPU的工控机，通过该工控机连接相机获取拍摄的图像，同时利用工控机调用质检算法进行分析，并根据分析结果通过工控机与机台上的分检装置对接，直接发送分检信号到分检装置，实现对分检装置的控制；虽然这种方法可以满足实时性和稳定性的要求，但由于GPU的成本较高，从而每个机台都配备一台带有GPU的工控机则会导致生产的成本非常高，难以在实际生产中进行大规模推广。

为了解决上述问题，在本实施例中，如图1所示，提供一种基于计算资源共享的工业视觉检测系统，包括：

若干台图像采集设备100、若干台网关设备200、一计算资源管理中心300、一资源池400和若干台分检设备500，一台网关设备200分别与一台或者多台图像采集设备100、一台分检设备500连接，若干台网关设备200分别与计算资源管理中心300连接，资源池400包括若干台工控机设备410；

计算资源管理中心300用于对资源池400中若干台工控机设备410的计算资源进行管理；

图像采集设备100用于采集产品图像，并将采集的产品图像发送给网关设备200；

网关设备200用于接收产品图像，通过计算资源管理中心300将产品图像发送给资源池400中的一台有多余计算资源且可用的工控机设备410，并与工控机设备410保持连接，以将后续的产品图像直接发送给工控机设备410；

工控机设备410用于对产品图像进行视觉分析，并将视觉分析结果以及自身当前的负载情况和健康状况发送给所连接的网关设备200；

网关设备200还用于接收所连接的工控机设备410发送的视觉分析结果以及当前的负载情况和健康状况，将视觉分析结果发送给分检设备500，并根据工控机设备410当前的负载情况和健康状况判断工控机设备410是否异常，若是，则断开与工控机设备410的连接，在下一次发送产品图像时，通过计算资源管理中心300将下一次发送的产品图像发送给资源池400中另一台有多余计算资源且可用的工控机设备410，并与另一台工控机设备410保持连接，以将后续的产品图像直接发送给另一台工控机设备410；

分检设备500用于根据视觉分析结果对产品进行分检。

具体的，在每一个机台的位置都放置一个网关设备200，该网关设备200只用于连接机台上的外界设备，如图像采集设备100、分检设备500、计算资源管理中心300、工控机设备410等，可以理解的是，网关设备200可以通过无线或有线的方式与机台上的外接设备连接，由于网关设备200不带GPU，只需比较低配置的CPU、内存和硬盘配置即可满足其通信及存储功能，从而可以降低成本；所有的网关设备200以及资源池400都共同连接到一个计算资源管理中心300上，该资源池400由若干台工控机设备410组成，也即所有的网关设备200以及所有的工控机设备410都连接到一个计算资源管理中心300上，由计算资源中心对资源池400的所有工控机设备410进行统一管理，其中，工控机设备410采用消费级的即可，采用消费级的若干台工控机设备410构成资源池400且该资源池400在不同机台间共享计算资源，对外提供视觉分析服务，可以提高工控机设备410的有效利用率，减少设备采购费用，降低视觉质检的硬件成本。

具体的，图像采集设备100可以是相机，图像采集设备100在采集产品图像后将该产品图像发送给网关设备200，网关设备200将产品图像通过计算资源管理中心300发送给资源池400中一台有多余计算资源且的工控机设备410，在工控机设备410对产品图像进行视觉分析后，工控机设备410将视觉分析效果及其自身当前的负载情况及健康状况一同发送给网关设备200；由网关设备200将该视觉分析结果发送给分检设备500，以使分检设备500根据视觉分析结果进行分检，从而可以对每一个产品图像进行实时的视觉分析，满足实际工业生产的生产节奏和实时性要求；当网关设备200根据工控机设备410的负载情况及健康状况判断所连接的工控机设备410有异常时，主动切换到另一台有多余计算资源且可用的工控机设备410，从而可以使得在没有额外增加通信成本的情况下，保证生产节奏不因工控机设备410异常而被打断；可以理解的是，对于需要多张产品图像才能覆盖的产品，网关设备200则会合并多张产品图像的视觉分析结果，形成整个产品的视觉分析结果后再发送给分检设备500。

在一个实施例中，网关设备200用于接收产品图像，通过计算资源管理中心300将产品图像发送给资源池400中的一台有多余计算资源且可用的工控机设备410，包括：

以使计算资源管理中心300接收视觉分析请求，并根据视觉分析请求从资源池400中获取一台有多余计算资源且可用的工控机设备410，生成反馈信息给网关设备200；

网关设备200还用于根据反馈信息将产品图像发送给有多余计算资源且可用的工控机设备410；

网关设备200还用于根据工控机设备410当前的负载情况和健康状况判断工控机设备410是否异常，若是，则断开与工控机设备410的连接，并在下一次发送产品图像时，通过计算资源管理中心300将下一次发送的产品图像发送给资源池中另一台有多余计算资源且可用的工控机设备，包括：

网关设备200还用于根据工控机设备410当前的负载情况和健康状况判断工控机设备410是否异常；

若是，则断开与工控机设备410的连接，并在下一次发送产品图像时生成切换请求，并将切换请求发送给计算资源管理中心300，以使计算资源管理中心300接收切换请求，根据切换请求从资源池400中重新获取一台有多余计算资源且可用的工控机设备410，并生成新的反馈信息给网关设备200；

网关设备200还用于根据新的反馈信息将下一次发送的产品图像发送给有多余计算资源且可用的工控机设备410。

网关设备200通过计算资源管理中心300获取一台有多余计算资源且可用的工控机设备410，并在后续发送中仍然保持与该工控机设备410的连接，将后续接收到的产品图像直接发送给该工控机设备410，保证网关设备200与计算资源管理中心300一定程度的松耦合连接，使得在正常生产过程中，即便计算资源管理中心300出现短暂异常也不影响生产的正常进行。

在一个实施例中，网关设备200用于接收产品图像，通过计算资源管理中心300将产品图像发送给资源池400中的一台有多余计算资源且可用的工控机设备410，包括：

网关设备200用于接收产品图像，根据产品图像生成视觉分析请求，并将产品图像及视觉分析请求发送给计算资源管理中心300，以使计算资源管理中心300接收视觉分析请求，并根据视觉分析请求从资源池400中获取一台有多余计算资源且可用的工控机设备410，生成反馈信息，并将产品图像发送给有多余计算资源且可用的工控机设备410，将反馈信息发送给网关设备200，以使网关设备200根据反馈信息与对应的工控机设备410连接；

网关设备200还用于根据工控机设备410当前的负载情况和健康状况判断工控机设备410是否异常，若是，则断开与工控机设备410的连接，并在下一次发送产品图像时，通过计算资源管理中心300将下一次发送的产品图像发送给资源池400中另一台有多余计算资源且可用的工控机设备410，包括：

网关设备200还用于根据工控机设备410当前的负载情况和健康状况判断工控机设备410是否异常；

若是，则断开与工控机设备410的连接，在下一次发送产品图像时生成切换请求，并将切换请求发送给计算资源管理中心300，以使计算资源管理中心300接收切换请求，并根据切换请求从资源池400中重新获取一台有多余计算资源且可用的工控机设备410，生成新的反馈信息给网关设备200，并将产品图像发送给有多余计算资源且可用的工控机设备410，将新的反馈信息发送给网关设备200，以使网关设备200根据新的反馈信息与对应的工控机设备410连接。

网关设备200通过将产品图像发送给计算资源管理中心300，由计算资源管理中心300将产品图像发送给资源池400中一台有多余计算资源且可用的工控机设备410，从而每一个产品图像都可以发送到资源池400中有多余计算资源且可用的工控机设备410，由工控机设备410进行实时的视觉分析，满足实际工业生产的生产节奏和实时性要求。

具体的，当图像采集设备100发送产品图像给网关设备200后，网关设备200会通过如下两种方式中的一种获取用于视觉分析的工控机设备410，具体采用哪一种方式，可以根据实际情况通过网关设备200和计算资源管理中心300的配置设定，第一种方式为网关设备200接收产品图像后，生成视觉分析请求，并直接将产品图像和视觉分析请求发送给计算资源管理中心300，由计算资源管理中心300根据各台工控机设备410的计算资源，将产品图像发送给其中一台有多余计算资源且可用的工控机设备410进行视觉分析；第二种方式为网关设备200接收产品图像后，生成视觉分析请求，将视觉分析请求发送给计算资源管理中心300后通过计算资源管理中心300获取一台有多余计算资源且可用的工控机设备410，然后直接将产品图像发送给该台有多余计算资源且可用的工控机设备410；无论采用哪种方式，网关设备200都会通过计算资源管理中心300自动从资源池400中获取可用的工控机设备410来对当前产品图像进行视觉分析。

在一个实施例中，工控机设备410还用于在对产品图像进行视觉分析有异常时，生成视觉分析异常结果给网关设备200；

网关设备200还用于当产品图像发送给工控机设备410失败或者接收到视觉分析异常结果时，发送切换请求给计算资源管理中心300，以通过计算资源管理中心300将下一次发送的产品图像发送给资源池400中另一台有多余计算资源且可用的工控机设备410。

在将产品图像发送给有多余计算资源且可用的工控机设备410失败时，网关设备200发送切换请求给计算资源管理中心300以切换另一台有多余计算资源且可用的工控机设备410，通过这种自动切换机制，可以确保当一些工控机设备410发生异常时，能够自动切换到正常可用的工控机设备410以对产品图像进行视觉分析，从而从机台角度保证了其生产过程是连续的，不会因某台工控机设备410异常而导致生成中断，确保生产节奏的正常进行，满足工业视觉检测稳定性高的要求。

在一个实施例中，计算资源管理中心300用于对资源池400中若干台工控机设备410的计算资源进行管理，包括：

计算资源管理中心300用于获取资源池400中若干台工控机设备410的心跳及负载情况，并根据工控机设备410的心跳及负载情况确定工控机设备410的计算资源。

在一个实施例中，计算资源管理中心300还用于判断是否有新的工控机设备410与其连接，若是，则将新的工控机设备410加入到资源池400中。

具体的，计算资源管理中心300在接收到网关设备200发送的视觉分析请求后，会从资源池400中获取一台有多余计算资源且可用的工控机设备410对当前的产品图像进行视觉分析，同时，计算资源管理中心300会保持与资源池400中的每台工控机设备410的心跳连接，并获取每台工控机设备410的负载情况，一旦发现一台工控机设备410存在异常时，则会将其从资源池400中移除，一旦有新的可用工控机设备410与计算资源管理中心300连接时，则会自动将新的工控机设备410加入资源池400，通过获取资源池400中若干台工控机设备410的心跳及负载情况，从而可以实时根据工控机设备410的心跳及负载情况确定工控机设备410的计算资源，以便于对资源池400的计算资源进行管理和分配；当判断有新的工控机设备410与计算资源管理中心300连接时，将新的工控机设备410加入到资源池400中，以便于资源池400的计算资源能满足生产要求。

在一个实施例中，工控机设备410还用于按预设周期检测其自身的运行情况，根据运行情况生成健康状态，并将健康状态上报给计算资源管理中心300；

工控机设备410还用于当检测到其自身的运行情况处于异常时，根据运行情况采取对应的修复动作进行自动修复；

工控机设备410在与网关设备200连接后，还用于当检测到其自身的运行情况处于异常时，发送检测异常结果给网关设备200，以使网关设备200断开与工控机设备410的连接，并在下一次发送产品图像时通过计算资源管理中心300将下一次发送的产品图像发送给资源池400中另一台有多余计算资源且可用的工控机设备410。

工控机设备410定期检测自身的运行情况，并当检测到其自身运行情况处于异常时，根据运行情况采取对应的修复动作进行自动修复，从而能够及时且快速恢复正常，保证资源池400有足够的工控机设备410处于可用状态，满足生产的计算要求。

在一个实施例中，计算资源管理中心300还用于根据工控机设备410的健康状态判断工控机设备410是否异常，若是，则将异常的工控机设备410从资源池400中移除。

当根据工控机设备410的健康状态判定工控机设备410有异常时，将异常的工控机设备410从资源池400中移除，尽可能确保资源池400中的工控机设备410正常可用。

在一个实施例中，工控机设备410还用于按预设周期检测其自身的运行情况，包括：工控机设备410还用于按预设周期检测其自身的GPU当前的运行状态和/或其自身的视觉检测模型当前的运行情况，视觉检测模型用于对产品图像进行视觉分析。

具体的，资源池400中的每一台工控机设备410都会按设定的周期对自身的健康状态做检查，一旦发现处于非健康状态时，则会根据不同情况采取相应的修复动作，以保持工控机设备410自身的可用性，这些健康检查内容包括两个层面，第一个层面是硬件层面：自动检查GPU当前的运行状态，具体包括GPU当前是否在线、是否可用、GPU的负载是否合理、GPU的温度是否超限等；一旦发现GPU掉线不可用或温度超限时，则会自动将整台工控机设备410重启，以从硬件层面上恢复；一旦发现负载较高或者温度较高，则会自动产生异常告警事件提醒管理员；第二个层面是软件层面：自动检查其自身的视觉检测模型当前的运行情况，一旦发现当前的运行有异常时，则立即重启软件，从软件及模型层面恢复工控机设备410；工控机设备410定期从硬件和软件两个层面检测其自身的运行情况，并在检测到异常时采用对应的修复动作进行修复，以使工控机设备410的硬件和软件两个层面均处于正常状态。

在一个实施例中，工控机设备410用于对产品图像进行视觉分析，包括：

工控机设备410用于调用视觉检测模型对产品图像进行视觉分析。视觉检测模型包括剪裁算法以及深度学习模型，当工控机设备410接收到待分析的产品图像后，则自动调用剪裁算法以及深度学习模型对产品图像进行视觉分析，并在完成视觉分析后，直接将视觉分析结果发送给对应的网关设备200。

显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于计算资源共享的工业视觉检测系统，其特征在于，包括：若干台图像采集设备、若干台网关设备、一计算资源管理中心、一资源池和若干台分检设备，一台所述网关设备分别与一台或多台所述图像采集设备、一台所述分检设备连接，若干台所述网关设备分别与计算资源管理中心连接，所述资源池包括若干台工控机设备；

所述计算资源管理中心用于对所述资源池中若干台所述工控机设备的计算资源进行管理；

所述图像采集设备用于采集产品图像，并将采集的所述产品图像发送给所述网关设备；

所述网关设备用于接收所述产品图像，通过所述计算资源管理中心将所述产品图像发送给所述资源池中的一台有多余计算资源且可用的工控机设备，并与所述工控机设备保持连接，以将后续的所述产品图像直接发送给所述工控机设备；

所述工控机设备用于对所述产品图像进行视觉分析，并将视觉分析结果以及自身当前的负载情况和健康状况发送给所连接的所述网关设备；

所述网关设备还用于接收所连接的所述工控机设备发送的所述视觉分析结果以及所述当前的负载情况和健康状况，将所述视觉分析结果发送给所述分检设备，并根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常，若是，则断开与所述工控机设备的连接，在下一次发送产品图像时，通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备，并与另一台所述工控机设备保持连接，以将后续的所述产品图像直接发送给另一台所述工控机设备；

所述分检设备用于根据所述视觉分析结果对产品进行分检。

2.根据权利要求1所述的一种基于计算资源的工业视觉检测系统，其特征在于，所述网关设备用于接收所述产品图像，通过所述计算资源管理中心将所述产品图像发送给所述资源池中一台有多余计算资源且可用的工控机设备，包括：

所述网关设备用于接收所述产品图像，根据所述产品图像生成视觉分析请求发送给所述计算资源管理中心，以使所述计算资源管理中心接收所述视觉分析请求，并根据所述视觉分析请求从所述资源池中获取一台有多余计算资源且可用的工控机设备，生成反馈信息给所述网关设备；

所述网关设备还用于根据所述反馈信息将所述产品图像发送给所述有多余计算资源且可用的工控机设备；

所述网关设备还用于根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常，若是，则断开与所述工控机设备的连接，并在下一次发送产品图像时，通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备，包括：

所述网关设备还用于根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常；

若是，则断开与所述工控机设备的连接，在下一次发送产品图像时生成切换请求，并将所述切换请求发送给所述计算资源管理中心，以使所述计算资源管理中心接收所述切换请求，根据所述切换请求从所述资源池中重新获取一台有多余计算资源且可用的工控机设备，并生成新的反馈信息给所述网关设备；

所述网关设备还用于根据所述新的反馈信息将下一次发送的产品图像发送给所述有多余计算资源且可用的工控机设备。

3.根据权利要求1所述的一种基于计算资源的工业视觉检测系统，其特征在于，所述网关设备用于接收所述产品图像，通过所述计算资源管理中心将所述产品图像发送给所述资源池中的一台有多余计算资源且可用的工控机设备，包括：

所述网关设备用于接收所述产品图像，根据所述产品图像生成视觉分析请求，并将所述产品图像及所述视觉分析请求发送给所述计算资源管理中心，以使所述计算资源管理中心接收所述视觉分析请求，并根据所述视觉分析请求从所述资源池中获取一台有多余计算资源且可用的工控机设备，生成反馈信息，并将所述产品图像发送给所述有多余计算资源且可用的工控机设备，将所述反馈信息发送给所述网关设备，以使所述网关设备根据所述反馈信息与对应的工控机设备连接；所述网关设备还用于根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常，若是，则断开与所述工控机设备的连接，并在下一次发送产品图像时，通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备，包括：

所述网关设备还用于根据所述工控机设备当前的负载情况和健康状况判断所述工控机设备是否异常；

若是，则断开与所述工控机设备的连接，在下一次发送产品图像时生成切换请求，并将所述切换请求发送给所述计算资源管理中心，以使所述计算资源管理中心接收所述切换请求，并根据所述切换请求从所述资源池中重新获取一台有多余计算资源且可用的工控机设备，生成新的反馈信息给所述网关设备，并将所述产品图像发送给所述有多余计算资源且可用的工控机设备，将所述新的反馈信息发送给所述网关设备，以使所述网关设备根据所述新的反馈信息与对应的工控机设备连接。

4.根据权利要求1-3任一项所述的一种基于计算资源共享的工业视觉检测系统，其特征在于，所述工控机设备还用于在对所述产品图像进行视觉分析有异常时，生成视觉分析异常结果给所述网关设备；

所述网关设备还用于当所述产品图像发送给工控机设备失败或者接收到所述视觉分析异常结果时，发送切换请求给所述计算资源管理中心，以通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备。

5.根据权利要求1所述的一种基于计算资源共享的工业视觉检测系统，其特征在于，所述计算资源管理中心用于对所述资源池中若干台所述工控机设备的计算资源进行管理，包括：

所述计算资源管理中心用于获取所述资源池中若干台所述工控机设备的心跳及负载情况，并根据所述工控机设备的心跳及负载情况确定所述工控机设备的计算资源。

6.根据权利要求5所述的一种基于计算资源共享的工业视觉检测系统，其特征在于，所述计算资源管理中心还用于判断是否有新的工控机设备与其连接，若是，则将所述新的工控机设备加入到所述资源池中。

7.根据权利要求1所述的一种基于计算资源共享的工业视觉检测系统，其特征在于，所述工控机设备还用于按预设周期检测其自身的运行情况，根据所述运行情况生成健康状态，并将所述健康状态上报给所述计算资源管理中心；

所述工控机设备还用于当检测到其自身的运行情况处于异常时，根据所述运行情况采取对应的修复动作进行自动修复；

所述工控机设备在与所述网关设备连接后，还用于当检测到其自身的运行情况处于异常时，发送检测异常结果给网关设备，以使所述网关设备断开与所述工控机设备的连接，并在下一次发送产品图像时通过所述计算资源管理中心将下一次发送的产品图像发送给所述资源池中另一台有多余计算资源且可用的工控机设备。

8.根据权利要求7所述的一种基于计算资源共享的工业视觉检测系统，其特征在于，所述计算资源管理中心还用于根据所述工控机设备的健康状态判断所述工控机设备是否异常，若是，则将异常的工控机设备从所述资源池中移除。

9.根据权利要求7所述的一种基于计算资源共享的工业视觉检测系统，其特征在于，所述工控机设备还用于按预设周期检测其自身的运行情况，包括：所述工控机设备还用于按预设周期检测其自身的GPU当前的运行状态和/或其自身的视觉检测模型当前的运行情况，所述视觉检测模型用于对所述产品图像进行视觉分析。

10.根据权利要求1所述的一种基于计算资源共享的工业视觉检测系统，其特征在于，所述工控机设备用于对所述产品图像进行视觉分析，包括：

所述工控机设备用于调用视觉检测模型对所述产品图像进行视觉分析。

Images