CN113449701B - 一种工业物联网下基于视觉的轻量级产能管控方法 - Google Patents

Abstract

本发明公开一种工业物联网下基于视觉的轻量级产能管控方法，含边缘计算智能盒控制系统和边服务系统，在产线上部署一或多个摄像头，一或多个边缘计算智能盒；摄像头发绑定请求，边缘计算智能盒收请求，边缘计算智能盒和摄像头绑定；边缘计算智能盒发初始化配置请求，边服务系统收请求；边缘计算智能盒从边服务系统上获取对应的模型地址并下载模型；边缘计算智能盒从边服务系统上获取边缘计算智能盒配置信息；边缘计算智能盒截取摄像头发过来的实时视频流数据并运行模型，得到模型识别结果；边缘计算智能盒将模型识别结果上报给边服务系统，边服务系统收到该模型识别结果进行处理。该方法提高数字化工厂的效率，降低成本，提高产能管控水平。

Description

一种工业物联网下基于视觉的轻量级产能管控方法

技术领域

本发明涉及数字化工厂产能管控的技术领域，尤其是一种工业物联网下基于视觉的轻量级产能管控方法。

背景技术

目前，在复杂的工业物联网场景下，针对数字化工厂的产能管控问题,通常的解决方案是对接第三方系统（例如：MES、CRM、ERP等信息系统）。这种解决方案,一定程度上能解决数字化工厂下如产量统计、良品数统计、设备状态实时统计、机器或者人工操作是否规范等问题，但是这种产能管控方式并不能显著提高数字化工厂的产能管控水平，也无法提升数字化工厂的效率，同时还增加了数字化工厂的成本。

发明内容

本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种工业物联网下基于视觉的轻量级产能管控方法，极大地提高数字化工厂的效率，降低数字化工厂的成本，提高数字化工厂的产能管控水平。

本发明解决其技术问题所采用的技术方案是：一种工业物联网下基于视觉的轻量级产能管控方法，包含边缘计算智能盒控制系统和边服务系统，具体步骤如下：

第1步骤、在产线上部署一个或者多个摄像头，一个或者多个边缘计算智能盒；

第2步骤、摄像头发起绑定请求，边缘计算智能盒收到该绑定请求，边缘计算智能盒和摄像头绑定成功；

第3步骤、边缘计算智能盒发起初始化配置请求，边服务系统收到该初始化配置请求，边服务系统保存边缘计算智能盒与摄像头的对应关系；

第4步骤、边缘计算智能盒根据某项模型能力ID和边缘计算智能盒ID从边服务系统上获取对应的模型地址，并下载对应的模型；

第5步骤、边缘计算智能盒根据边缘计算智能盒ID从边服务系统上获取边缘计算智能盒对应的配置信息；

第6步骤、边缘计算智能盒截取摄像头发过来的实时视频流图像，并运行模型，得到模型识别结果；

第7步骤、边缘计算智能盒将模型识别结果上报给边服务系统，边服务系统收到该模型识别结果进行处理，完成持久化存储，并将处理结果返回给边缘计算智能盒。

进一步具体地限定，上述技术方案中，所述的边缘计算智能盒控制系统包括绑定模块、初始化模块、模型下载模块、获取配置信息模块、截取视频流模块、模型识别模块和模型识别结果上报模块；所述的绑定模块用于实现边缘计算智能盒与摄像头之间的绑定；所述的初始化模块用于将边缘计算智能盒与摄像头的配对信息发送给边服务系统；所述的模型下载模块用于边缘计算智能盒根据当前场景的需要从边服务系统下载某项能力的模型；所述的获取配置信息模块用于边缘计算智能盒向边服务系统获取相关配置信息；所述的截取视频流模块用于将从摄像头拉取的视频流中截取一些帧并保存为图像信息；所述的模型识别模块用于在边缘计算智能盒端运行某项能力的算法模型，从截取的视频流图像中识别出该项能力下的对应的图像标注信息；所述的模型识别结果上报模块用于将边缘计算智能盒上运行的模型识别结果上报给边服务系统，然后边服务系统收到识别结果后，经过一些处理，保存在数字化工厂的云端。

进一步具体地限定，上述技术方案中，所述的边服务系统包括边缘计算智能盒配置管理模块、算法模型管理模块、模型能力管理模块和模型检测结果处理模块；所述的边缘计算智能盒配置管理模块用于将边缘计算智能盒和摄像头相关的配置信息进行统一管理；所述的算法模型管理模块用于边服务系统将各种算法对应的模型相关文件进行统一管理；所述的模型能力管理模块用于边服务系统将各种模型能力进行统一管理；所述的模型检测结果处理模块用于边服务系统将模型检测的结果进行统一处理。

进一步具体地限定，上述技术方案中，在模型下载模块中，如当前关心的是每天产出多少良品数，则边缘计算智能盒需要向边服务系统申请下载质量检测能力的模型；如当前关心的是每天的产量，则边缘计算智能盒需要向边服务系统申请下载分类统计能力模型；如当前关心的是设备实时状态，则边缘计算智能盒需要向边服务系统申请下载识别设备状态能力模型；如当前关心的是机器操作或者人工操作是否规范，则边缘计算智能盒需要向边服务系统申请下载动作识别能力模型。

进一步具体地限定，上述技术方案中，在获取配置信息模块中，当想获取设备的实时状态情况，通过模型下载模块，得到了实时识别设备状态能力的模型，该识别设备状态能力模型配置的是设备状态的规则；当想获取每天的产量情况，通过模型下载模块，得到了分类统计能力模型，该分类统计能力模型配置的是视频监控区域内的计数规则；当想获取每天产出的良品数情况，通过模型下载模块，得到了质量检测能力的模型，该质量检测能力模型配置的是视频监控区域内的计数规则；当想获取机器操作或者人工操作是否规范的情况，通过模型下载模块，得到了动作识别能力模型，该动作识别能力模型配置的是视频监控区域内的动作活动和轨迹的规则。

进一步具体地限定，上述技术方案中，在模型识别模块中，当是设备实时状态获取，则边缘计算智能盒从视频流中识别出工位坐标标识、工位上设备状态指示灯的颜色标识和对应的坐标标识；当是每天的产量获取，则边缘计算智能盒从视频流中完成识别实时产量计数；当是每天产出的良品数获取，则边缘计算智能盒从视频流中完成识别实时良品计数；当是机器操作或者人工操作是否规范的获取，则边缘计算智能盒从视频流中完成识别动作是否规范。

本发明的有益效果是：本发明提供的一种工业物联网下基于视觉的轻量级产能管控方法，通过采用基于视觉的轻量级产能管控解决方案，解决了复杂的工业物联网场景下数字化工厂的产能管控问题，这种轻量级的产能管控解决方案，只需要在产线上部署一个或者多个摄像头，一个或者多个边缘计算智能盒，不对接任何第三方系统如MES、CRM、ERP等信息系统，就能通过基于图像识别的方式来解决数字化工厂下如产量统计、良品数统计、设备状态实时统计、机器或者人工操作是否规范等问题，一方面极大地提高数字化工厂的效率，降低数字化工厂的成本，提高数字化工厂的产能管控水平，另一方面也能为传统的非数字化工厂的转型升级提供参考和借鉴意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的时序图；

图2是边缘计算智能盒控制系统的模块图；

图3是边服务系统的模块图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

见图1、图2和图3，本发明的一种工业物联网下基于视觉的轻量级产能管控方法，包含边缘计算智能盒控制系统和边服务系统，具体步骤如下：

第1步骤、在产线上部署一个或者多个摄像头，一个或者多个边缘计算智能盒；

第2步骤、摄像头发起绑定请求，边缘计算智能盒收到该绑定请求，边缘计算智能盒和摄像头绑定成功；

第3步骤、边缘计算智能盒发起初始化配置请求，边服务系统收到该初始化配置请求，边服务系统保存边缘计算智能盒与摄像头的对应关系；

第4步骤、边缘计算智能盒根据某项模型能力ID和边缘计算智能盒ID从边服务系统上获取对应的模型地址，并下载对应的模型；

第5步骤、边缘计算智能盒根据边缘计算智能盒ID从边服务系统上获取边缘计算智能盒对应的配置信息；

第6步骤、边缘计算智能盒截取摄像头发过来的实时视频流图像，并运行模型，得到模型识别结果；

第7步骤、边缘计算智能盒将模型识别结果上报给边服务系统，边服务系统收到该模型识别结果进行处理，完成持久化存储，并将处理结果返回给边缘计算智能盒。

边缘计算智能盒控制系统包括绑定模块、初始化模块、模型下载模块、获取配置信息模块、截取视频流模块、模型识别模块和模型识别结果上报模块。

绑定模块用于实现边缘计算智能盒与摄像头之间的绑定，具体地，摄像头通过蓝牙或者其他通信模块发起绑定请求，请求的内容主要包括摄像头编号、摄像头名称和摄像头包含的视频流地址，边缘计算智能盒收到绑定请求后，完成和摄像头的通信配对，并最终完成绑定。

初始化模块用于将边缘计算智能盒与摄像头的配对信息发送给边服务系统，具体地，边缘计算智能盒和摄像头完成绑定后，将配对信息发送给边服务系统，这些配对信息主要包括摄像头编号、摄像头名称、摄像头包含的视频流地址和边缘计算智能盒的唯一编号，边服务系统收到这些配置信息后，将保存在数字化工厂的云端。

模型下载模块用于边缘计算智能盒根据当前场景的需要从边服务系统下载某项能力的模型，具体地，由于数字化工厂中，产能管控主要是对人、机器设备、产品以及物料等相关因素的管理，因此配备在各产线的视觉轻量级方案也各不相同，比如某条产线上，当前关心的是每天产出多少良品数，那针对这个场景，算法模型就应该能通过分析附加在这条产线上的视频流信息，识别出这条产线上的实时良品数，这时，边缘计算智能盒需要向边服务系统申请下载质量检测能力的模型，边服务系统收到该请求后，将对应模型的地址返回给边缘计算智能盒，边缘计算智能盒主动下载该模型，下载成功后并完成部署。

如当前关心的是每天的产量，那针对这个场景，首先边缘计算智能盒需要向边服务系统申请下载分类统计能力模型的地址；然后边缘计算智能盒从获取的模型地址中下载分类统计能力模型；最后将分类统计能力模型在边缘计算智能盒上完成部署。

如当前关心的是设备实时状态，那针对这个场景，首先边缘计算智能盒需要向边服务系统申请下载识别设备状态能力模型的地址；然后边缘计算智能盒从获取的模型地址中下载识别设备状态能力模型；最后将识别设备状态能力模型在边缘计算智能盒上完成部署。

如当前关心的是机器操作是否规范，那针对这个场景，首先边缘计算智能盒需要向边服务系统申请下载机器操作是否规范对应动作识别能力模型的地址；然后边缘计算智能盒从获取的模型地址中下载动作识别能力模型；最后将动作识别能力模型在边缘计算智能盒上完成部署。

如当前关心的是人工操作是否规范，那针对这个场景，首先边缘计算智能盒需要向边服务系统申请下载人工操作是否规范对应动作识别能力模型的地址；然后边缘计算智能盒从获取的模型地址中下载动作识别能力模型；最后将动作识别能力模型在边缘计算智能盒上完成部署。

获取配置信息模块用于边缘计算智能盒向边服务系统获取相关配置信息，具体地，该模块的主要功能就是将边缘计算智能盒相关的视频流信息及与视频流信息相关的配置信息，主要包括视频流标识ID、视频流ID、该视频流监控的工位信息、该视频流包含的算法能力信息以及该项算法能力下的图像区域标注信息和规则信息，比如当前数字化工厂的某条产线上，想获取设备的实时状态情况，通过模型下载模块，已经得到了实时识别设备状态能力的模型，然后，边缘计算智能盒需要向边服务系统获取相关配置信息，这些配置信息主要包括：该视频流监控的工位信息(工位在视频流图像中的坐标位置)、图像区域内的标注信息(设备状态指示灯在视频流图像中的坐标位置)、事件的上报频率(边缘计算智能盒上报模型识别结果的频率)以及设备状态的规则(如设备状态指示灯亮红色，标识故障；设备状态指示灯亮绿色，标识正常；设备状态指示灯亮黄色，标识待机)。即当想获取设备的实时状态情况，通过模型下载模块，得到了实时识别设备状态能力的模型，该识别设备状态能力模型配置的是设备状态的规则。

当想获取每天的产量情况，通过模型下载模块，得到了分类统计能力模型，该分类统计能力模型配置的是视频监控区域内的计数规则，某个区域内的产品才算有效，其它区域的产品就不计算。

当想获取每天产出的良品数情况，通过模型下载模块，得到了质量检测能力的模型，该质量检测能力模型配置的是视频监控区域内的计数规则，某个区域内的良品才算有效，其它区域的良品就不计算。

当想获取机器操作或者人工操作是否规范的情况，通过模型下载模块，得到了动作识别能力模型，该动作识别能力模型配置的是视频监控区域内的动作活动和轨迹的规则，某个区域内的某些动作才算是规范操作，其它区域的操作都是非规范操作。

截取视频流模块用于将从摄像头拉取的视频流中截取一些帧并保存为图像信息。

模型识别模块用于在边缘计算智能盒端运行某项能力的算法模型，从截取的视频流图像中识别出该项能力下的对应的图像标注信息，比如是设备实时状态获取，则需要边缘计算智能盒运行设备状态识别模型，然后从摄像头拉取的视频流中识别出工位坐标标识、工位上设备状态指示灯的颜色标识和对应的坐标标识。

比如是每天的产量获取，就是边缘计算智能盒截取视频流图像并通过分类统计能力模型完成识别实时产量计数。

比如是每天产出的良品数获取，就是边缘计算智能盒截取视频流图像并通过质量检测能力模型完成识别实时良品计数。

比如是机器操作或者人工操作是否规范的获取，就是边缘计算智能盒截取视频流图像并通过动作识别能力模型完成识别动作是否规范。

模型识别结果上报模块用于将边缘计算智能盒上运行的模型识别结果上报给边服务系统，然后边服务系统收到识别结果后，经过一些处理，保存在数字化工厂的云端。

边服务系统包括边缘计算智能盒配置管理模块、算法模型管理模块、模型能力管理模块和模型检测结果处理模块。

边缘计算智能盒配置管理模块用于将边缘计算智能盒和摄像头相关的配置信息进行统一管理，具体地，该模块的主要功能就是将边缘计算智能盒和摄像头相关的配置信息，如视频流标识ID、视频流ID、该视频流监控的工位信息、该视频流包含的算法能力信息以及该项算法能力下的图像区域标注信息和规则信息进行统一管理。

算法模型管理模块用于边服务系统将各种算法对应的模型相关文件进行统一管理，具体地，如模型文件、训练模型时的各种参数、模型的训练集以及模型的测试集进行统一管理。

模型能力管理模块用于边服务系统将各种模型能力进行统一管理，具体地，如目标检测能力(对工位上的产品/零部件进行识别)、分类统计能力(对工位上的产品/零部件数量进行统计)、质量检测能力(对工位上的产品/零部件进行粗粒度级别的外观检查)、分割计量能力(对指定空间中的物品进行量化)、动作识别能力(识别机器/人体的动作活动和轨迹)、识别设备状态能力(识别颜色、条形码、二维码、位置等状态信息)进行统一管理。

模型检测结果处理模块用于边服务系统将模型检测的结果进行统一处理，具体地，进行各种统计、分类、计算等处理，如将数字化工厂下某条产线上的边缘计算智能盒上报的实时设备状态按小时、天、月等维度，分类统计好各产线下的设备状态。

如将数字化工厂下某条产线上的边缘计算智能盒上报的每天产量情况，就是边服务系统在收到边缘计算智能盒发送的实时产量后，按天统计好这条产线上的产量。

如将数字化工厂下某条产线上的边缘计算智能盒上报的每天产出的良品数情况，就是边服务系统在收到边缘计算智能盒发送的实时良品数后，按天统计好这条产线上的良品数。

如将数字化工厂下某条产线上的边缘计算智能盒上报的机器操作或者人工操作是否规范的情况，就是边服务系统在收到边缘计算智能盒发送的机器或人工操作是否规范数据后，按小时、天、月等维度统计好这条产线上的发生过的机器操作或人工操作是否规范的数据。

该工业物联网下基于视觉的轻量级产能管控方法，通过采用基于视觉的轻量级产能管控解决方案，解决了复杂的工业物联网场景下数字化工厂的产能管控问题，这种轻量级的产能管控解决方案，只需要在产线上部署一个或者多个摄像头，一个或者多个边缘计算智能盒，不对接任何第三方系统如MES、CRM、ERP等信息系统，就能通过基于图像识别的方式来解决数字化工厂下如产量统计、良品数统计、设备状态实时统计、机器或者人工操作是否规范等问题，一方面极大地提高数字化工厂的效率，降低数字化工厂的成本，提高数字化工厂的产能管控水平，另一方面也能为传统的非数字化工厂的转型升级提供参考和借鉴意义。

以上的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种工业物联网下基于视觉的轻量级产能管控方法，其特征在于：包含边缘计算智能盒控制系统和边服务系统；

所述的边缘计算智能盒控制系统包括绑定模块、初始化模块、模型下载模块、获取配置信息模块、截取视频流模块、模型识别模块和模型识别结果上报模块；

所述的绑定模块用于实现边缘计算智能盒与摄像头之间的绑定；

所述的初始化模块用于将边缘计算智能盒与摄像头的配对信息发送给边服务系统；

所述的模型下载模块用于边缘计算智能盒根据当前场景的需要从边服务系统下载某项能力的模型；

所述的获取配置信息模块用于边缘计算智能盒向边服务系统获取相关配置信息，该配置信息包括视频流标识ID、视频流ID、该视频流监控的工位信息、该视频流包含的算法能力信息以及该项算法能力下的图像区域标注信息和规则信息；

所述的截取视频流模块用于将从摄像头拉取的视频流中截取一些帧并保存为图像信息；

所述的模型识别模块用于在边缘计算智能盒端运行某项能力的算法模型，从截取的视频流图像中识别出该项能力下的对应的图像标注信息；

所述的模型识别结果上报模块用于将边缘计算智能盒上运行的模型识别结果上报给边服务系统，然后边服务系统收到识别结果后，经过一些处理，保存在数字化工厂的云端；

所述边服务系统包括边缘计算智能盒配置管理模块、算法模型管理模块、模型能力管理模块和模型检测结果处理模块；

所述边缘计算智能盒配置管理模块用于将边缘计算智能盒和摄像头相关的配置信息进行统一管理，统一管理的内容包括视频流标识ID、视频流ID、该视频流监控的工位信息、该视频流包含的算法能力信息以及该项算法能力下的图像区域标注信息和规则信息；

具体步骤如下：

第1步骤、在产线上部署一个或者多个摄像头，一个或者多个边缘计算智能盒；

第2步骤、摄像头发起绑定请求，边缘计算智能盒收到该绑定请求，边缘计算智能盒和摄像头绑定成功；

第3步骤、边缘计算智能盒发起初始化配置请求，边服务系统收到该初始化配置请求，边服务系统保存边缘计算智能盒与摄像头的对应关系；

第4步骤、边缘计算智能盒根据某项模型能力ID和边缘计算智能盒ID从边服务系统上获取对应的模型地址，并下载对应的模型；

第5步骤、边缘计算智能盒根据边缘计算智能盒ID从边服务系统上获取边缘计算智能盒对应的配置信息；

第6步骤、边缘计算智能盒截取摄像头发过来的实时视频流图像，并运行模型，得到模型识别结果；

第7步骤、边缘计算智能盒将模型识别结果上报给边服务系统，边服务系统收到该模型识别结果进行处理，完成持久化存储，并将处理结果返回给边缘计算智能盒。

2.根据权利要求1所述的一种工业物联网下基于视觉的轻量级产能管控方法，其特征在于：所述的边服务系统包括边缘计算智能盒配置管理模块、算法模型管理模块、模型能力管理模块和模型检测结果处理模块；所述的边缘计算智能盒配置管理模块用于将边缘计算智能盒和摄像头相关的配置信息进行统一管理；所述的算法模型管理模块用于边服务系统将各种算法对应的模型相关文件进行统一管理；所述的模型能力管理模块用于边服务系统将各种模型能力进行统一管理；所述的模型检测结果处理模块用于边服务系统将模型检测的结果进行统一处理。

3.根据权利要求2所述的一种工业物联网下基于视觉的轻量级产能管控方法，其特征在于：在模型下载模块中，如当前关心的是每天产出多少良品数，则边缘计算智能盒需要向边服务系统申请下载质量检测能力的模型；如当前关心的是每天的产量，则边缘计算智能盒需要向边服务系统申请下载分类统计能力模型；如当前关心的是设备实时状态，则边缘计算智能盒需要向边服务系统申请下载识别设备状态能力模型；如当前关心的是机器操作或者人工操作是否规范，则边缘计算智能盒需要向边服务系统申请下载动作识别能力模型。

4.根据权利要求3所述的一种工业物联网下基于视觉的轻量级产能管控方法，其特征在于：在获取配置信息模块中，当想获取设备的实时状态情况，通过模型下载模块，得到了实时识别设备状态能力的模型，该识别设备状态能力模型配置的是设备状态的规则；当想获取每天的产量情况，通过模型下载模块，得到了分类统计能力模型，该分类统计能力模型配置的是视频监控区域内的计数规则；当想获取每天产出的良品数情况，通过模型下载模块，得到了质量检测能力的模型，该质量检测能力模型配置的是视频监控区域内的计数规则；当想获取机器操作或者人工操作是否规范的情况，通过模型下载模块，得到了动作识别能力模型，该动作识别能力模型配置的是视频监控区域内的动作活动和轨迹的规则。

5.根据权利要求4所述的一种工业物联网下基于视觉的轻量级产能管控方法，其特征在于：在模型识别模块中，当是设备实时状态获取，则边缘计算智能盒从视频流中识别出工位坐标标识、工位上设备状态指示灯的颜色标识和对应的坐标标识；当是每天的产量获取，则边缘计算智能盒从视频流中完成识别实时产量计数；当是每天产出的良品数获取，则边缘计算智能盒从视频流中完成识别实时良品计数；当是机器操作或者人工操作是否规范的获取，则边缘计算智能盒从视频流中完成识别动作是否规范。

Images