CN113191252A - 一种用于生产管控的视觉识别系统及生产管控方法 - Google Patents

Abstract

本发明提供的用于生产管控的视觉识别系统及生产管控方法，包括：边端和管理中心；边端包括源数据侧模块、数据接入模块和数据处理模块；管理中心包括数据存储模块和应用服务模块。本发明提供的用于生产管控的视觉识别系统及生产管控方法，具备数据接入、设备管理、监控画面展示、模型分析、数据展示、算法训练、算法市场等功能，提供的算法运行环境系统及配套装置，结合具体业务场景及管控需求，可以实现重要环节的全时检测，克服了目前生产过程中人工巡检不及时、存在疏忽遗漏、以及伴随的安全风险问题，能够有效地提高安全管理水平，显著降低事故发生概率。

Description

一种用于生产管控的视觉识别系统及生产管控方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种用于生产管控的视觉识别系统及生产管控方法。

背景技术

工业企业为了满足生产需要，配置有大量的工艺设备，绝大部分工业企业在实际生产过程中，需要配置巡检人员，以点巡检的方式在现场检查设备的运行状态，并进行操作调整以满足生产工艺要求。在整个生产过程中需要切实保障设备安全、人员安全和环境安全。

部分企业通过人工查看监控视频的方式进行安全检查，但由于人工巡检存在时间差，不能做到全时检测，极大可能会因为疏漏造成检测不到位的情况发生。由于安全事故的发生，一般都是由小隐患引起的或是由于操作人员疏忽导致的，如果巡检人员或操作人员责任心不强，小隐患若未及时发现，就有可能会引起安全事故，甚至会带来人身伤害。部分安全事件造成的泄漏事故还会带来环境风险，此类事故风险会给企业造成一定的经济损失。

有鉴于此，亟需改进目前采用人工巡检进行生产管控的方式，以切实提高生产管控的管理水平。

发明内容

针对现有的人工点巡检所存在的安全问题，本发明实施例提供一种用于生产管控的视觉识别系统及生产管控方法。

本发明提供一种用于生产管控的视觉识别系统，包括：边端和管理中心；所述边端包括源数据侧模块、数据接入模块和数据处理模块；所述管理中心包括数据存储模块和应用服务模块；所述源数据侧模块，用于采集生产管控过程中的图像数据、生产数据及业务数据；所述数据接入模块，包括视频转换器及应用程序接口；所述视频转换器用于对所述图像数据进行转码、抽帧以生成图片文件；所述应用程序接口用于接入、调用所述生产数据及业务数据，以将所述图片文件、所述生产数据及业务数据上传至所述数据存储模块；所述数据存储模块，用于接收并存储所述图片文件、所述生产数据及业务数据，以供所述数据处理模块调用；所述数据处理模块，包含有算法引擎、算法库以及业务规则服务库，用于调用所述图片文件以生成异常目标信息；所述异常目标信息包括异常目标位置和异常目标识别结果；所述应用服务模块，用于根据所述异常目标信息，进行实时视频服务及场景应用。

根据本发明提供的用于生产管控的视觉识别系统，所述数据处理模块集成于边缘计算一体机；所述边缘计算一体机与装设于监控区域内的视频摄像头通信连接，以根据所述视频摄像头采集的图像数据，生成各监控区域的图片文件；所述数据处理模块中装载有预先训练好的至少一种深度神经网络分类器；所述深度神经网络分类器包括基于区域提名的目标识别模型和基于端到端无需区域提名的目标识别模型。

根据本发明提供的用于生产管控的视觉识别系统，所述边缘计算一体机中还集成有图形处理器模块；所述图形处理器模块，用于对所述图像数据进行背景建模目标检测处理，以获取异常的目标图片文件，以供所述数据处理模块对所述目标图片文件进行分类识别。

根据本发明提供的用于生产管控的视觉识别系统，所述源数据侧模块与可编程逻辑控制器以及分散控制系统通信连接，以获取所述生产数据；所述源数据侧模块与实验室信息管理系统以及制造企业生产过程执行管理系统通信连接，以获取所述业务数据；相应地，所述数据处理模块，还用于基于算法库以及业务规则服务库，对所述生产数据和所述业务数据进行检测。

根据本发明提供的用于生产管控的视觉识别系统，所述实时视频服务包括以下视频服务中的至少一种：视频下载、实时视频、视频回放；所述场景应用包括以下应用中的至少一种：安全帽佩戴检测、跑冒滴漏检测、仪表识别、周界闯入、烟火检测。

根据本发明提供的用于生产管控的视觉识别系统，所述数据存储模块接收并存储所述图片文件、所述生产数据及业务数据的具体方式为：接收由视频转换器上传的所述图片文件，并将所述图片文件经Kafka，存储至内存数据库Redis；接收由数采link所接收的所述生产数据，并将所述生产数据通过消息队列遥测传输MQTT，传输至Kafka后存入时序数据库InfluxDB；接收由应用程序接口调用的业务数据，并将所述业务数据存入结构化数据库MariaDB。

根据本发明提供的用于生产管控的视觉识别系统，所述数据存储模块还用于接收异常的目标图片文件，并将所述目标图片文件存入结构化数据库MariaDB。

根据本发明提供的用于生产管控的视觉识别系统，所述应用服务模块，还用于提供根据所述异常目标信息作出短信告警和/或邮件告警。

根据本发明提供的用于生产管控的视觉识别系统，所述基于区域提名的目标识别模型，包括以下网络模型中的至少一种：Region-CNN、Fast RCNN、Faster RCNN；所述基于端到端无需区域提名的目标识别模型，包括以下网络模型中的至少一种：YOLO，SSD。

本发明还提供一种基于上述任一实施例所提供的视觉识别系统的生产管控方法，包括：从数据存储模块调取图片文件，或接收由图形处理器模块上传的图片文件；对所述图片文件进行背景建模目标检测处理，以获取目标图片文件；根据所述目标图片文件的图像特征，选择预先训练好的目标神经网络分类器；将所述目标图片文件输入至所述目标神经网络分类器，以获取异常目标信息，并将所述异常目标信息发送给所述应用服务模块。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于生产管控的视觉识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于生产管控的视觉识别方法的步骤。

本发明提供的用于生产管控的视觉识别系统及生产管控方法，具备数据接入、设备管理、监控画面展示、模型分析、数据展示、算法训练、算法市场等功能，提供的算法运行环境系统及配套装置，结合具体业务场景及管控需求，可以实现重要环节的全时检测，克服了目前生产过程中人工巡检不及时、存在疏忽遗漏、以及伴随的安全风险问题，能够有效地提高安全管理水平，显著降低事故发生概率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的用于生产管控的视觉识别系统的结构示意图；

图2是本发明提供的视觉识别系统的数据流程示意图；

图3是本发明提供的背景建模目标检测处理的流程示意图；

图4是本发明提供的目标神经网络分类器的训练流程示意图

图5是本发明提供的视觉识别系统的功能架构示意图；

图6是本发明提供的视觉识别系统中数据处理模块的结构示意图；

图7是本发明提供的生产管控方法的流程示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合图1-图8描述本发明实施例所提供的用于生产管控的视觉识别系统及生产管控方法。

图1是本发明提供的用于生产管控的视觉识别系统的结构示意图，如图1所示，包括但不限于边端和管理中心，其中：

边端主要包括源数据侧模块、数据接入模块和数据处理模块；管理中心主要包括数据存储模块和应用服务模块。

其中，源数据侧模块主要用于采集生产管控过程中的图像数据、生产数据及业务数据。

数据接入模块主要包括视频转换器及应用程序接口(Application ProgrammingInterface，API)；其中，视频转换器主要用于对图像数据进行转码、抽帧以生成图片文件；API主要用于接入、调用生产数据及业务数据，以将图片文件、生产数据及业务数据上传至数据存储模块。

数据存储模块主要用于接收并存储图片文件、生产数据及业务数据，以供数据处理模块调用。

数据处理模块主要包含有算法引擎、算法库以及业务规则服务库，用于调用图片文件以生成异常目标信息；所述异常目标信息包括异常目标位置和异常目标识别结果、

应用服务模块主要用于根据异常目标信息，进行实时视频服务及场景应用。

图2是本发明提供的视觉识别系统的数据流程示意图，如图2所示，本发明所提供的视觉识别系统，可以应用于工业企业或者物流等企业的安全生产管控，对此本发明不作具体的限定。

本发明提供的视觉识别系统，其技术方案的业务流程主要按照边端和管理中心的功能划分。其中，边端主要用于识别生成异常目标信息、形成告警信息、进行视频回放、查看实时视频、提供视频下载等。

管理中心则主要用于监控管理、研判指挥，如：基础数据管理、设备管理、监测区域管理(测点管理)、权限管理、用户管理、生产数据管理、预警数据管理、任务管理、认证管理等。

视觉识别系统，主要包括源数据侧模块、数据接入模块、数据存储模块、数据处理模块及应用服务模块，其中：

源数据侧模块主要实现图像数据的采集、生产数据的采集及业务数据的采集等。具体来说，源数据侧模块主要用于对用户侧的相关数据进行采集，包括：摄像头的视频信号采集，支持主流品牌、多种类型的摄像头的图像信号采集。

数据接入模块主要包括：视频转换器及API接口，主要用于衔接源数据侧模块与数据存储模块。其中，视频转换器主要用于对视频数据(包含连续的图像数据)进行转码、抽帧，并将视频信号转换为相应的图片文件，并能够支持抽帧频率自定义。数采link用于对生产数据进行接入；对于业务系统的业务数据，则支持以API接口的方式进行调用。

数据存储模块主要用于实现图片数据等非结构化数据存储，以及生产数据及业务数据等结构化数据的存储。数据存储模块用于衔接数据接入模块和数据处理模块，

数据处理模块中包含有算法引擎、算法库以及业务规则服务库，主要用于承载算法，并集成算法库和业务规则服务库。其中，算法用于对目标图片进行检测，以根据规则识别出异常目标位置、异常目标结果等异常目标信息，还可以对异常图片进行标记。

其中，所述异常目标是指生产管控的对象中出现异常的部分对象，如发生了变化或移动的对象、存在滴液或漏液的对象等，可以根据实际检测的需要进行设定。

应用服务模块主要包括实时视频服务、场景应用等。相当于应用服务模块主要用于承载具体场景应用，如安全帽佩戴检测、跑冒滴漏检测、仪表识别、周界闯入、烟火检测等具体应用。

本发明提供的用于生产管控的视觉识别系统，具备数据接入、设备管理、监控画面展示、模型分析、数据展示、算法训练、算法市场等功能，提供的算法运行环境系统及配套装置，结合具体业务场景及管控需求，可以实现重要环节的全时检测，克服了目前生产过程中人工巡检不及时、存在疏忽遗漏、以及伴随的安全风险问题，能够有效地提高安全管理水平，显著降低事故发生概率。

基于上述实施例的内容，作为一种可选实施例，本发明提供的视觉识别系统的数据处理模块集成于边缘计算一体机；边缘计算一体机与装设于监控区域内的视频摄像头通信连接，以根据视频摄像头采集的图像数据，生成各监控区域的图片文件；数据处理模块中装载有预先训练好的至少一种深度神经网络分类器；深度神经网络分类器包括基于区域提名的目标识别模型和基于端到端无需区域提名的目标识别模型。

本发明提供的用于生产管控的视觉识别系统，可以将其中的数据处理模块集成于边缘计算一体机，所述边缘计算一体机可以是工业计算机。

相应地，运行于数据处理模块的异常目标信息识别的算法的流程，包括数据采集、数据预处理、构建模型、模型评估、模型部署等均均可以部署于该边缘计算一体机上。

边缘计算一体机可以用于衔接视频采集摄像头和系统应用服务器，每个边缘计算一体机可接入多个视频摄像头，按照监控区域设定的规则对目标区域进行检测，完成本地化的AI识别，并将检测识别结果传输给系统应用服务器。

可选地，上述数据采集是指接收或者调用图片文件(以保障能够被准确识别为像素最低要求)。数据预处理主要包括根据获取到的图片文件，创建用于模型预训练的样本集，并进行样本标注和样本分类。构建模型主要是对所有构建的深度神经网络分类器分别进行预训练。模型评估主要是指评估训练后的深度神经网络分类器的准确率和速度。模型部署可采用本地部署深度神经网络分类器，也可通过离线的软件开发工具包(softwaredevelopment kit，SDK)的方式部署，或利用API接口服务的模式实现，在本发明后续实施例中所采取的部署方式为本地部署，其不视为对本发明保护范围的具体限定。

作为一种可选的实施例，上述基于区域提名的目标识别模型，包括以下网络模型中的至少一种：Region-CNN、Fast RCNN、Faster RCNN等；上述基于端到端无需区域提名的目标识别模型，包括以下网络模型中的至少一种：YOLO，SSD等。

需要说明的是，在数据处理模块中所存储的深度神经网络分类器，一般来说是经过预先训练好的，即本发明为保证准确率，采用人工定期训练的方式，而不选择模型自优化方式来实现深度神经网络分类器的更新与优化训练。

本发明提供的用于生产管控的视觉识别系统，采用了边缘计算一体机模式，以实现在边缘侧完成企业生产活动中目异常目标信息的识别及检测，由边缘计算一体机将识别及检测结果返回至视觉识别系统，减少了视频或图像数据传输的压力。

并且，本发明提供生产管控的视觉识别系统，通过将数据处理模块集成于边缘计算一体机，可以根据实际管控的需要，向其中装载各种训练好的深度神经网络分类器，提供了智能分析的插件集成，插件化算法模型库(即各深度神经网络分类器构成的模型库)，可根据具体项目提供不同算法模块(深度神经网络分类器)，基于视频AI引擎，可动态更新算法，算法可以快速接入和融合。故本发明提供的视觉识别系统，由于采用了轻量化的设计理念，不绑定特定硬件，可以在客户机器上轻松运行，实现了轻量化部署。

综上所述，本发明提供的用于生产管控的视觉识别系统，通过机器视觉与人工智能相结合的技术手段，通过视频监控实时采集图像数据，并进行图像识别，一旦发现不安全事件，可以自动报警，以及时发现并制止违规现象、解决安全隐患。通过机器视觉自动识别，替代人工抽查监控和人工就地巡检，高效便捷。

同时还可以通过算法库以及业务规则服务库，对生产数据及业务数据进行数据分析，确保了厂区的整体安全。

基于上述实施例的内容，作为一种可选实施例，边缘计算一体机中还集成有图形处理器模块(Graphics Processing Unit，GPU)；GPU主要用于对图像数据进行背景建模目标检测处理，以获取异常的目标图片文件，以供数据处理模块对目标图片文件进行分类识别。

本发明的数据处理模块放置在边缘设备，如边缘计算一体机中，边缘设备中设置有GPU，故可以在边缘设备中实现异常目标信息的检测。

其中，背景建模目标检测处理的主要目的是：从图像数据中分割出场景中发生变化、或者有移动的区域内的图像文件，这些被检测出来的区域，有些是真实的目标，有些是背景(比如场景中发生了光照变化)，但真实的滴液、漏液等不会被漏检。

深度神经网络分类器则为整个视觉识别系统，提供了对任一目标图片文件进行分类的能力。可以根据场景的不同，采用不同的深度神经网络分类器对目标图片文件进行识别，得到所需的分类结果，以生成异常目标信息。其中，所运用的深度神经网络分类器可以是卷积神经网络模型等，通过深度神经网络分类器可实现滴液、漏液识别等功能。

例如，当厂区内任一监控区域内的管道存在漏液时，首先对采集的图像数据进行转码、抽帧以生成图片文件，然后采用背景建模目标检测处理图片文件，以检测出漏气的区域获取目标图片文件，然后使用深度神经网络分类器对目标图片文件进行识别，判断该区域是否为滴液、漏液。

现以本发明提供的视觉识别系统对工厂里面的跑冒滴漏检测为例进行说明，具体实施步骤可以为：

(1)图像采集，通过GPU对可能存在跑气、冒水、滴液、漏液等事件的目标监控区域的图像数据(或视频)进行解码、抽帧或直接通过摄像头SDK直接获取目标监控区域的图片文件。

(2)目标检测：因摄像头焦距小、视场角大、监控覆盖面积大，跑气、冒水、滴液、漏液等事件的区域的成像较小，为了确定出场景中发生变化或是有移动的区域以避免漏检。图3是本发明提供的背景建模目标检测处理的流程示意图，如图3所示，本发明采用背景建模目标检测处理的方法，提取出前景目标之后，再采用机器学习分类的方式对可疑目标进行识别，若识别结果为存在跑气、冒水、滴液、漏液等情况，则推送报警。

(3)模型预训练：图4是本发明提供的目标神经网络分类器的训练流程示意图，如图4所示，首先构建用于训练的样本集，其中包括正样本和负样本，其中正样本是指包含异常目标信息的样本，如存在滴液、漏液等异常情况的图片文件，负样本指不包含上述异常目标信息的任意图片文件，如背景图片等。

可选地，对上述正样本和负样本进行如滤波、消除模糊、减少噪声、纠正几何失真等预处理，再进行深度特征提取。根据不同的深度神经网络分类器，运用相应的算法，在候选区域中提取出每个目标区域的深度特征，然后对提取的深度特征进行分类，以根据分类结果和每个样本的标签，对深度神经网络分类器的模型参数进行调整，迭代执行上述过程直至训练结果收敛为止，则可以得到泛化能力较强且模型精度较高的深度神经网络分类器。

(4)目标识别：实时接收待识别的图像数据或视频，并对其进行转码、抽帧、预处理后，获取图片文件，从图片文件确定出目标区域，并将目标区域从背景中分割出来，生成目标图片文件。

将目标图片文件输入至与之相关的训练好的深度神经网络分类器中(该深度神经网络分类器被预先存储至数据存储模块)，以提取出目标区域的特征信息，通过分类器判断目标区域是否满足所设定条件，并输出识别结果。

(5)定位到应用服务模块，以根据预设的程序设计做出响应(即执行实时视频服务及场景应用)。

本发明将异常目标信息识别相关的机器视觉算法部署在边缘设备中，由于算法下沉在边缘侧，使得边缘设备仅需向视觉识别系统返检测识别的结果，能够减少企业带宽要求。

需要说明的是，本发明所提供的生产管控的视觉识别系统，在实际运用的过程中，可以根据企业的实际需要或实现的功能不同、场景不同等，选择采用的不同的目标检测流程以及不同的深度神经网络分类器。

上述源数据侧模块与可编程逻辑控制器(Programmable Logic Controller，PLC)以及分散控制系统(Distributed Control System，DCS)通信连接，以获取生产数据。

源数据侧模块与实验室信息管理系统(Laboratory Information ManagementSystem，LIMS)以及制造企业生产过程执行管理系统(E-works，MES)通信连接，以获取业务数据。

相应地，所述数据处理模块还用于基于算法库以及业务规则服务库，对生产数据和业务数据进行检测。

作为一种可选地实施例，所述实时视频服务包括以下视频服务中的至少一种：视频下载、实时视频、视频回放；场景应用包括以下应用中的至少一种：安全帽佩戴检测、跑冒滴漏检测、仪表识别、周界闯入、烟火检测。

图5是本发明提供的视觉识别系统的功能架构示意图，作为一种可选实施例，如图5所示，本发明提供的视觉识别系统，其整个业务流程包括：视频采集、媒体接入、图像处理、视频管理、视图库、业务应用等。

其中，视频采集可通过摄像头，包括但不限于光学摄像头、红外摄像头、网络视频录像机(Network Video Recorder，NVR)或其它视频采集装置完成视频信号的采集。

媒体接入主要包括：信令分发(即视觉识别系统的控制)、流媒体服务、视频存储等。

图像处理主要包括：视频解码、鉴权、抽帧、目标检测、图像切割、目标识别、布控模型和底库布控。

视频管理主要包括：视频下载、实时视频、视频回放。

视图库主要用于给相关告警模块提供信息，包括：识别的异常目标信息和形成告警信息。

业务应用包括实时监控、短信告警、邮件告警等。

基于上述实施例的内容，作为一种可选实施例，所述数据存储模块接收并存储图片文件、生产数据及业务数据的具体方式为：

接收由视频转换器上传的图片文件，并将图片文件经Kafka，存储至内存数据库Redis；接收由数采link所接收的所述生产数据，并将生产数据通过消息队列遥测传输MQTT，传输至Kafka后存入时序数据库InfluxDB；接收由应用程序接口调用的业务数据，并将所述业务数据存入结构化数据库MariaDB。

其中，Kafka是一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

内存数据库Redis(Remote Dictionary Server)，是一种远程字典服务库。

消息队列遥测传输(Message Queuing Telemetry Transport，MQTT)，是ISO标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议。

InfluxDB是一个开源分布式时序、事件和指标数据库。

MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护。

图6是本发明提供的视觉识别系统中数据处理模块的结构示意图，如图6所示，经过视频转换器输出的图片类数据经Kafka送入内存数据库Redis，经过数采link的生产数据通过MQTT消息队列传输给Kafka后存入时序数据库InfluxDB，通过API调用的业务数据存入结构化数据库MariaDB。

可选地，所述数据存储模块还用于接收异常的目标图片文件，并将所述目标图片文件存入结构化数据库MariaDB。即本发明经过数据处理模块识别并标记为异常的图片文件也需存入MariaDB，实现数据的采集。

可选地，应用服务模块还用于提供根据异常目标信息作出短信告警和/或邮件告警。

本发明提供的生产管控的视觉识别系统，还可以包括告警单元，在接收到应用服务模块的告警信息后，以生成告警信号(如声光信号)。

可选地，本发明所提供的视觉识别系统，还可以采用跨浏览器技术。其中，客户端(browser/server，b/s)的视频插件可以采用HTML5技术，能够支持IE、Chrome等多种浏览器。

本发明提供的软视觉识别系统，可以采用低耦合思想，将业务控制与媒体承载相分离，将会话管理与业务控制相分离，将系统功能与管理平面相分离。

图7是本发明提供的生产管控方法的流程示意图，如图7所示，包括但不限于以下步骤：

步骤S1，从数据存储模块调取图片文件，或接收由图形处理器模块上传的图片文件；

步骤S2，对所述图片文件进行背景建模目标检测处理，以获取目标图片文件；

步骤S3，根据所述目标图片文件的图像特征，选择预先训练好的目标神经网络分类器；

步骤S4，将所述目标图片文件输入至所述目标神经网络分类器，以获取异常目标信息，并将所述异常目标信息发送给所述应用服务模块。

本发明提供的生产管控方法，可以用于企业生产中的安全帽佩戴检测、跑冒滴漏检测、仪表识别、周界闯入、烟火检测等业务场景中，其步骤主要包括：图片文件的采集、目标区域检测以获取目标图片文件、分类模型训练并装载至数据处理模块、异常目标信息的识别。

首先，采集目标图片文件，可通过GPU从摄像头直采或从视频存储服务器进行采集，采集过程的主要工作是对视频进行解码处理，随后进行抽帧，获取目标检测所需的图片文件。

采集到目标图片后，需要采用基于深度学习的目标识别算法对目标图片文件进行检测，主要流程分为两个部分：模型训练部分和测试部分。

训练部分用于训练的样本，分正样本和负样本，提取深度特征，输入深度神经网络中训练得到深度神经网络分类器。测试部分用于对输入的图像文件或视频文件进行识别，提取深度特征，再运用分类器判断是否满足条件，输出测试结果。如果测试结果的准确率满足要求，则可以交于应用服务模块进行应用。

需要说明的是，本发明实施例提供的用于生产管控的方法，在具体运行时，可以基于上述任一实施例所述的用于生产管控的视觉识别系统来实现，对此本实施例不作赘述。

图8是本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行生产管控方法，该方法包括：从数据存储模块调取图片文件，或接收由图形处理器模块上传的图片文件；对所述图片文件进行背景建模目标检测处理，以获取目标图片文件；根据所述目标图片文件的图像特征，选择预先训练好的目标神经网络分类器；将所述目标图片文件输入至所述目标神经网络分类器，以获取异常目标信息，并将所述异常目标信息发送给所述应用服务模块。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的生产管控方法，该方法包括：从数据存储模块调取图片文件，或接收由图形处理器模块上传的图片文件；对所述图片文件进行背景建模目标检测处理，以获取目标图片文件；根据所述目标图片文件的图像特征，选择预先训练好的目标神经网络分类器；将所述目标图片文件输入至所述目标神经网络分类器，以获取异常目标信息，并将所述异常目标信息发送给所述应用服务模块。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的生产管控方法，该方法包括：从数据存储模块调取图片文件，或接收由图形处理器模块上传的图片文件；对所述图片文件进行背景建模目标检测处理，以获取目标图片文件；根据所述目标图片文件的图像特征，选择预先训练好的目标神经网络分类器；将所述目标图片文件输入至所述目标神经网络分类器，以获取异常目标信息，并将所述异常目标信息发送给所述应用服务模块。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种用于生产管控的视觉识别系统，其特征在于，包括：边端和管理中心；

所述边端包括源数据侧模块、数据接入模块和数据处理模块；

所述管理中心包括数据存储模块和应用服务模块；

所述源数据侧模块，用于采集生产管控过程中的图像数据、生产数据及业务数据；

所述数据接入模块，包括视频转换器及应用程序接口；所述视频转换器用于对所述图像数据进行转码、抽帧以生成图片文件；所述应用程序接口用于接入、调用所述生产数据及业务数据，以将所述图片文件、所述生产数据及业务数据上传至所述数据存储模块；

所述数据存储模块，用于接收并存储所述图片文件、所述生产数据及业务数据，以供所述数据处理模块调用；

所述数据处理模块，包含有算法引擎、算法库以及业务规则服务库，用于调用所述图片文件以生成异常目标信息；所述异常目标信息包括异常目标位置和异常目标识别结果；

所述应用服务模块，用于根据所述异常目标信息，进行实时视频服务及场景应用。

2.根据权利要求1所述的用于生产管控的视觉识别系统，其特征在于，所述数据处理模块集成于边缘计算一体机；

所述边缘计算一体机与装设于监控区域内的视频摄像头通信连接，以根据所述视频摄像头采集的图像数据，生成各监控区域的图片文件；

所述数据处理模块中装载有预先训练好的至少一种深度神经网络分类器；所述深度神经网络分类器包括基于区域提名的目标识别模型和基于端到端无需区域提名的目标识别模型。

3.根据权利要求2所述的用于生产管控的视觉识别系统，其特征在于，所述边缘计算一体机中还集成有图形处理器模块；

所述图形处理器模块，用于对所述图像数据进行背景建模目标检测处理，以获取异常的目标图片文件，以供所述数据处理模块对所述目标图片文件进行分类识别。

4.根据权利要求1所述的用于生产管控的视觉识别系统，其特征在于，所述源数据侧模块与可编程逻辑控制器以及分散控制系统通信连接，以获取所述生产数据；

所述源数据侧模块与实验室信息管理系统以及制造企业生产过程执行管理系统通信连接，以获取所述业务数据；

相应地，所述数据处理模块，还用于基于算法库以及业务规则服务库，对所述生产数据和所述业务数据进行检测。

5.根据权利要求1所述的用于生产管控的视觉识别系统，其特征在于，

所述实时视频服务包括以下视频服务中的至少一种：视频下载、实时视频、视频回放；

所述场景应用包括以下应用中的至少一种：安全帽佩戴检测、跑冒滴漏检测、仪表识别、周界闯入、烟火检测。

6.根据权利要求1所述的用于生产管控的视觉识别系统，其特征在于，所述数据存储模块接收并存储所述图片文件、所述生产数据及业务数据的具体方式为：

接收由视频转换器上传的所述图片文件，并将所述图片文件经Kafka存储至内存数据库Redis；

接收由数采link所接收的所述生产数据，并将所述生产数据通过消息队列遥测传输MQTT，传输至Kafka后存入至时序数据库InfluxDB；

接收由应用程序接口调用的业务数据，并将所述业务数据存入结构化数据库MariaDB。

7.根据权利要求3所述的用于生产管控的视觉识别系统，其特征在于，所述数据存储模块还用于接收异常的目标图片文件，并将所述目标图片文件存入结构化数据库MariaDB。

8.根据权利要求5所述的用于生产管控的视觉识别系统，其特征在于，所述应用服务模块，还用于提供根据所述异常目标信息作出短信告警和/或邮件告警。

9.根据权利要求2所述的用于生产管控的视觉识别系统，其特征在于，所述基于区域提名的目标识别模型，包括以下网络模型中的至少一种：Region-CNN、Fast RCNN、FasterRCNN；

所述基于端到端无需区域提名的目标识别模型，包括以下网络模型中的至少一种：YOLO，SSD。

10.一种基于权力要求1-9任一所述视觉识别系统的生产管控方法，其特征在于，包括：

从数据存储模块调取图片文件，或接收由图形处理器模块上传的图片文件；

对所述图片文件进行背景建模目标检测处理，以获取目标图片文件；

根据所述目标图片文件的图像特征，选择预先训练好的目标神经网络分类器；

将所述目标图片文件输入至所述目标神经网络分类器，以获取异常目标信息，并将所述异常目标信息发送给所述应用服务模块。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求10所述的生产管控方法的步骤。

12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求10所述生产管控方法的步骤。

Images