CN111698418A - 基于深度学习组态云平台的工业智能相机系统 - Google Patents

Abstract

本发明为基于深度学习组态云平台的工业智能相机系统，结构包括工业智能相机、基于深度学习的组态云平台、配套上位机软件；其实施方法分为上传、训练和部署阶段。在上传阶段，工业智能相机为采集模式，采集现场图像并发送至上位机软件，上位机软件对图像进行数据清洗，形成数据集并上传至组态云平台；在训练阶段，组态云平台利用数据集进行深度学习模型训练，将训练后的分类模型发送到上位机软件；在部署阶段，工业智能相机为工作模式，接收上位机发送的分类模型并进行应用，对现场采集的图像进行实时处理。本发明通过组态云平台对现场图像进行深度学习训练，加以验证即能完成机器视觉应用，实现简单、方便的二次开发，硬件成本低，能大规模推广。

Description

基于深度学习组态云平台的工业智能相机系统

技术领域

本发明属于机器学习与图像处理技术，具体为基于深度学习组态云平台的工业智能相机系统。

背景技术

现有的传统型工业智能相机系统，为高度集成化的微小型机器视觉系统，将图像的采集、处理与通信功能集成于单一相机内，从而提供了具有多功能、模块化、高可靠性、易于实现的机器视觉解决方案；所采用的二次开发与组态方式为：使用智能工业相机产商提供的软件进行流程化的图像算法设计，或进行源码级的开发。存在二次开发难度大，需要用户具有一定的图像算法处理基础和经验，应用难度较大等缺点；此外，由于产商提供的软件内置图像算法库有限，只能用于特定的应用场合，应用算法的移植难度较大，不方便大规模地推广到工业应用中。

如今越来越多的行业正在转向深度学习技术，以解决对于传统机器视觉编程过于复杂、耗时且成本高昂的制造检查问题，具备深度学习功能的学习型机器视觉系统应运而生，例如学习型工业智能相机系统。具备深度学习功能的学习型机器视觉系统将深度学习技术和图像分析技术结合在一起，二次开发与组态方式使用系统产商提供的软件，进行相机的配置、图像的采集、深度学习训练及模型的部署；能够解决对于传统机器视觉系统而言过于困难、繁重或昂贵的复杂应用，以及解决使用传统算法难以编程的视觉应用问题，可有效处理容易混淆的背景和糟糕的图像质量，可以进行快速设置，易于部署和维护，无需特殊的专业知识，非视觉专家即可使用。由于学习型工业智能相机系统使用现场深度学习训练的方式，对工控PC电脑的性能要求非常高，导致整机价格昂贵；学习型工业智能相机系统提供的软件，除了工业智能相机的基本配置功能外，还需要集成深度学习的训练环境，软件结构庞大及臃肿，使用复杂，同时开发与封装的难度大，对现场调试电脑的性能需求高。

发明内容

为了解决现有技术所存在的问题，本发明提出基于深度学习组态云平台的工业智能相机系统，只需要采集到现场图像，通过云平台进行深度学习训练，加以验证即能完成机器视觉应用，所以本发明能够实现简单、方便的二次开发，不需要图像处理专家的参与。

根据本发明的基于深度学习组态云平台的工业智能相机系统，包括工业智能相机、基于深度学习的组态云平台、用于配置工业智能相机以及连接云平台的上位机软件。

工业智能相机包括图像采集模块、图像处理模块、网络通信模块、输入输出模块、现场通讯总线和深度学习模型应用模块。

工业智能相机的工作模式分为采集模式及工作模式；在采集模式下，图像采集模块采集现场图像并发送至上位机软件，由上位机软件对现场图像进行数据清洗形成数据集；在工作模式下，深度学习模型应用模块应用最终的分类模型，对现场采集的图像进行分析和处理，得出分类结果，按照配置要求输出分析数据；

基于深度学习的组态云平台包括：GPU云服务器、深度学习训练环境的搭建、与上位机的通讯接口及人机交互端口，其中通讯接口包括数据集接收端口和深度学习分类模型发送端口；人机交互端口功能包括网络通讯参数配置、云平台基本参数配置和分类模型初始化。

基于深度学习的组态云平台的功能是对数据集进行深度学习模型训练，在接收由上位机传输的数据集和对分类模型初始化后，利用数据集对分类模型进行深度学习的训练，对分类模型的参数进行迭代、更新，得到最终的分类模型并通过上位机传输给工业智能相机。

上位机软件可以用于配置工业智能相机，包括：修改曝光时间、图像分辨率、通讯方法和格式等参数，调整工业智能相机的采集模式、工作模式。

上位机软件由现场操作人员使用，根据检测工艺要求，对图像进行分类，形成数据集。

上位机软件通过互联网远程连接组态云平台，向组态云平台发送所形成的数据集，接收组态云平台发送的进行深度学习训练后的分类模型。

本发明基于深度学习组态云平台的工业智能相机系统工作在三个阶段，分别为上传阶段、训练阶段和部署阶段；

上传阶段的工作包括以下步骤：

步骤11、相机架设，操作人员将工业智能相机架设到工业现场，通过以太网连接，将相机与上位机软件进行连接；

步骤12、相机调整，将相机设置为采集模式，调整相机的参数，包括：曝光时间、图像分辨率等参数，直至可以清晰地采集到被检测目标的图像；

步骤13、图像采集，相机采集足够的图像，实时地发送至上位机软件；

步骤14、数据清洗，操作人员根据检测工艺要求，在上位机软件中对采集的图像进行分类，形成数据集；

步骤15、数据集上传，通过互联网连接，上传数据集至组态云平台；

训练阶段的工作包括以下步骤：

步骤21、接收数据集，通过互联网连接，组态云平台接收上位机软件发送过来的数据集；

步骤22、初始化分类模型，通过数据集的特征，初始化分类模型，包括神经网络结构的层数、节点、权重、连接结构等参数；

步骤23、深度学习模型训练，利用数据集的训练集图像进行深度学习模型训练，对模型的参数进行更新、迭代，得出训练后的分类模型；

步骤24、分类验证，使用分类模型对数据集的测试集图像进行分类，并人工判断该模型是否能够准确地对验证集图像进行准确分类，若能够准确分类，即通过分类验证，进入步骤5，若不能准确分类，即不通过分类验证，回到步骤22调整分类模型参数继续训练模型；

步骤25、发送分类模型，将通过分类验证后的分类模型发送至上位机软件；

部署阶段的工作包括以下步骤：

步骤31、接收分类模型，上位机软件通过互联网连接接收组态云平台发送的分类模型；

步骤32、集成分类模型，上位机软件通过以太网连接将分类模型发送到工业智能相机；

步骤33、使用分类模型，工业智能相机调整为工作模型，在开机上电后，自动加载分类模型，在采集图像后，实时地应用分类模型对图像进行分析和处理，得出分类后的结果。

与现有技术相比，本发明取得了如下优点及有益效果：

1、区别于传统的工业智能相机系统使用的流程化或源码级的二次开发方式，本发明使用深度学习技术，只需要采集到现场图像，进行深度学习训练，加以验证即能完成机器视觉应用，所以本发明能够实现简单、方便的二次开发，不需要图像处理专家，都能够使用本发明的系统。

2、本发明使用深度学习技术，采用经典的基于规则的算法，能够解决传统图像处理算法难以编程，检查、分类和定位困难的视觉应用问题。且深度学习训练全部在云计算平台中实现，提供给用户的软件不需要集成深度学习环境，结构简单，使用方便，能够实现现场调试的电脑、软件轻量化。

3、由于深度学习训练对电脑的性能有较高的要求，每套现有学习型工业智能相机系统的使用，需要配备一台高性能的工控PC电脑进行深度学习训练；本发明使用云计算平台进行深度学习训练，不需要每个机器视觉应用都配备一台高性能的工控PC电脑，大大减少硬件成本。

4、本发明的工业智能相机集成图像采集、处理及通讯功能，同时内部配置输入输出接口以及工业通讯接口，支持外触发及外部闪光灯接口，工作过程可完全脱离PC机，与生产线上其它设备连接方便。

附图说明

图1是本发明基于深度学习组态云平台的工业智能相机系统结构框图；

图2是本发明系统实施方法上传阶段的流程图；

图3是本发明系统实施方法训练阶段的流程图；

图4是本发明系统实施方法部署阶段的流程图。

具体实施方式

为使本发明的目的、技术方案更加清楚明白，以下结合附图及实施例对本发明进行详细说明；所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

本发明基于深度学习组态云平台的工业智能相机系统的架构上包括带图像采集、处理及通讯功能的工业智能相机，用于深度学习训练的组态云平台，以及用于连接与配置的上位机软件。

工业智能相机经过现场配置完成后，通过以太网连接将现场图像发送到上位机软件，根据检测工艺要求，经操作人员操作上位机软件进行数据清洗形成数据集，并通过互联网将数据集发送到组态云平台，组态云平台根据应用需求，按需初始化分类模型参数，进行深度学习模型训练，再讲训练后的分类模型通过互联网发送至上位机软件，由上位机软件将分类模型集成到工业智能相机中，实现机器视觉应用。

可见，本发明所采用的二次开发与组态方式为：使用上位机软件进行工业智能相机的配置和图像的传输，图像传输到组态云平台后，由组态云平台进行深度学习训练，训练后的模型发送至上位机软件，通过上位机软件部署到工业智能相机中。本发明相关的名词解释如下：

(1)深度学习(Deep Learning)，是机器学习的一个分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。

(2)数据清洗：对图像进行分类，分类后得到不同类型的图像，进而得到数据集。

(3)数据集：分为训练集、验证集和测试集。训练集和验证集用于深度学习的模型训练，测试集在分类模型验证时使用，通过应用分类模型对测试集进行分类，判断该分类模型能够满足应用需求。

(4)分类模型：是一种深度学习神经网络的配置参数，包括节点、权重、连接结构等。深度学习的模型训练，就是通过对数据集，对分类模型的参数进行不断的更新、迭代，进而得到一个最终的分类模型。对于本发明来说，模型是一个数据文件，可以在工业智能相机、上位机和组态云平台上进行传输，在组态云平台进行深度学习训练，在工业智能相机中进行应用。

概括而言，本发明基于深度学习组态云平台的工业智能相机系统，主要利用云计算平台，集成深度学习的训练环境，实现利用组态云平台对工业智能相机采集到的现场图像进行深度学习训练，并将训练后的分类模型集成到工业智能相机，实现机器视觉的应用。如图1所示，在架构上主要包括三部分：工业智能相机、基于深度学习的组态云平台、用于配置工业智能相机以及连接云平台的上位机。

工业智能相机主要包括图像采集模块、图像处理模块、网络通信模块、深度学习模型应用模块、输入输出端口模块以及现场通信总线。图像采集模块对现场图像进行采集，并通过通讯模块上传到上位机软件；深度学习模型应用模块可以自动加载深度学习模型，根据对图像进行实时地处理，通过输入输出端口或现场通信总线输出分类结果；图像处理模块可以对图像内置简单预处理算法，如目标定位、边缘锐化、图像切割等。工业智能相机的工作模式分为采集模式及工作模式。在采集模式下，连接上位机软件，采集现场图像并发送至上位机软件。在工作模式下，集成深度学习分类模型后，对现场采集的图像进行分析和处理，按照配置要求输出分析数据。工业智能相机运行在工作模式的时候，会开机自动加载分类模型，实时地应用分类模型对图像进行分析和处理，得出分类后的结果。

基于深度学习的组态云平台主要包括以下几个部分：GPU云服务器、深度学习训练环境、与上位机的通讯接口及人机交互端口，其中通讯接口包括现场数据集接收端口和深度学习分类模型发送端口；人机交互端口包括网络通讯参数配置、云平台基本参数配置和分类模型初始化等。云平台中主要进行分类模型的初始化和训练。在接收了现场的数据集(已经由上位机中数据清洗模块进行分类的现场图像)和对分类模型初始化(初始化包括配置分类模型神经网络结构的层数、节点、权重、连接结构等参数)后，就进行深度学习模型训练(利用数据集，对分类模型的参数进行迭代、更新)，最后得出最终的分类模型，并把分类模型通过上位机软件传输给工业智能相机。

上位机软件主要用于连接、配置工业智能相机和组态云平台。对于工业智能相机，上位机软件能够接收和显示相机的图像，配置相机的参数和工作状态，以及传送训练后的分类模型等功能；对于组态云平台，上位机软件能够发送数据集，接收深度学习训练后的分类模型；除此之外，上位机软件能够对接收的图像进行数据清洗，形成数据集。

总的来说，上位机软件主要是工业智能相机与组态云平台的通讯工具，具体实现的功能有：

a、配置工业智能相机，包括：曝光时间、图像分辨率、工业智能相机的采集模式、通讯格式等基本参数。这些基本参数，是根据实际应用中，检测目标的特征进行设置的。比如根据检测目标的大小和相机安装的高度调整视场大小，根据检测精度要求调整图像分辨率，根据现场光源的环境和检测的时间要求调整曝光时间，根据现场需要的通讯协议，调整通讯格式等。

b、通过以太网连接工业智能相机，接收并显示工业智能相机采集的现场图像；

c、数据清洗：对工业智能相机所采集的现场图像进行分类，形成数据集；

d、通过互联网远程连接组态云平台，向组态云平台发送所形成的数据集；

e、通过互联网远程连接组态云平台，接收组态云平台发送的分类模型；

f、部署工业智能相机，将最终的分类模型集成到工业智能相机，并调整工业智能相机工作模式。部署的过程主要是将深度学习训练后得到的分类模型发送到工业智能相机；深度学习训练后的分类模型是一个数据文件，通过上位机软件发送到工业智能相机，工业智能相机在开机的时候会自动载入，在图像实时处理过程中进行调用，实现图像的分类。

本发明系统的实施方法，主要有上传、训练与部署三大阶段，具体过程如下：

一、上传阶段，如图2所示，上传阶段包括图像采集和数据清洗。

步骤11、相机架设，操作人员将工业智能相机架设到工业现场，通过以太网连接，将相机与上位机软件进行连接；

步骤12、相机调整，将相机设置为采集模式，调整相机的参数，包括：曝光时间、图像分辨率等参数，直至可以清晰地采集到被检测目标的图像；

步骤13、图像采集，相机采集足够的图像，实时地发送至上位机软件；

步骤14、数据清洗，操作人员根据检测工艺要求，在上位机软件中对采集的图像进行分类，形成数据集。

步骤15、数据集上传，通过互联网连接，上传数据集至组态云平台。

二、训练阶段，如图3所示，训练阶段包括初始化分类模型，以及对分类模型的训练，形成最终的分类模型。

步骤21、接收数据集，通过互联网连接，组态云平台接收上位机软件发送过来的数据集；

步骤22、初始化分类模型，通过数据集的特征，初始化分类模型，包括神经网络结构的层数、节点、权重、连接结构等参数。

步骤23、深度学习模型训练，利用数据集的训练集图像进行深度学习模型训练，对模型的参数进行更新、迭代，得出训练后的分类模型。

步骤24、分类验证，使用分类模型对数据集的测试集图像进行分类，并人工判断该模型是否能够准确地对验证集图像进行准确分类，若能够准确分类，即通过分类验证，进入步骤5，若不能准确分类，即不通过分类验证，回到步骤22调整分类模型参数继续训练模型。

步骤25、发送分类模型，将通过分类验证后的分类模型发送至上位机软件。

三、部署阶段，如图4所示，主要为下述步骤：

步骤31、接收分类模型，上位机软件通过互联网连接接收组态云平台发送的分类模型。

步骤32、集成分类模型，上位机软件通过以太网连接将分类模型发送到工业智能相机。

步骤33、使用分类模型，工业智能相机调整为工作模型，在开机上电后，自动加载分类模型，在采集图像后，实时地应用分类模型对图像进行分析和处理，得出分类后的结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习组态云平台的工业智能相机系统，其特征在于，包括工业智能相机、基于深度学习的组态云平台、用于配置工业智能相机以及连接云平台的上位机软件。

2.根据权利要求1所述的基于深度学习组态云平台的工业智能相机系统，其特征在于，工业智能相机包括图像采集模块、图像处理模块、网络通信模块、输入输出模块、现场通讯总线和深度学习模型应用模块。

3.根据权利要求1所述的基于深度学习组态云平台的工业智能相机系统，其特征在于，工业智能相机的工作模式分为采集模式及工作模式；在采集模式下，图像采集模块采集现场图像并发送至上位机软件，由上位机软件对现场图像进行数据清洗形成数据集；在工作模式下，深度学习模型应用模块应用最终的分类模型，对现场采集的图像进行分析和处理，得出分类结果，按照配置要求输出分析数据。

4.根据权利要求1所述的基于深度学习组态云平台的工业智能相机系统，其特征在于，基于深度学习的组态云平台包括：GPU云服务器、深度学习训练环境的搭建、与上位机的通讯接口及人机交互端口，其中通讯接口包括数据集接收端口和深度学习分类模型发送端口；人机交互端口功能包括网络通讯参数配置、云平台基本参数配置和分类模型初始化。

5.根据权利要求1所述的基于深度学习组态云平台的工业智能相机系统，其特征在于，基于深度学习的组态云平台的功能是对数据集进行深度学习模型训练，在接收由上位机传输的数据集和对分类模型初始化后，利用数据集对分类模型进行深度学习的训练，对分类模型的参数进行迭代、更新，得到最终的分类模型并通过上位机传输给工业智能相机。

6.根据权利要求1所述的基于深度学习组态云平台的工业智能相机系统，其特征在于，上位机软件可以用于配置工业智能相机，包括：修改曝光时间、图像分辨率、通讯方法和格式等参数，调整工业智能相机的采集模式、工作模式。

7.根据权利要求1所述的基于深度学习组态云平台的工业智能相机系统，其特征在于，上位机软件通过以太网连接工业智能相机，实时地接收并显示工业智能相机采集的现场图像。

8.根据权利要求1所述的基于深度学习组态云平台的工业智能相机系统，其特征在于，上位机软件由现场操作人员使用，根据检测工艺要求，对图像进行预分类，形成数据集。

9.根据权利要求1所述的基于深度学习组态云平台的工业智能相机系统，其特征在于，上位机软件通过互联网远程连接组态云平台，向组态云平台发送所形成的数据集，接收组态云平台发送的进行深度学习训练后的分类模型。

10.根据权利要求1所述的基于深度学习组态云平台的工业智能相机系统，基于深度学习组态云平台的工业智能相机系统的使用方法，其特征在于，所述系统的实施方法主要分为三个阶段，分别为上传阶段、训练阶段和部署阶段；

上传阶段的工作包括以下步骤：

步骤11、相机架设，操作人员将工业智能相机架设到工业现场，通过以太网连接，将相机与上位机软件进行连接；

步骤12、相机调整，将相机设置为采集模式，调整相机的参数，包括：曝光时间、图像分辨率等参数，直至可以清晰地采集到被检测目标的图像；

步骤13、图像采集，相机采集足够的图像，实时地发送至上位机软件；

步骤14、数据清洗，操作人员根据检测工艺要求，在上位机软件中对采集的图像进行分类，形成数据集。

步骤15、数据集上传，通过互联网连接，上传数据集至组态云平台；

训练阶段的工作包括以下步骤：

步骤21、接收数据集，通过互联网连接，组态云平台接收上位机软件发送过来的数据集；

步骤22、初始化分类模型，通过数据集的特征，初始化分类模型，包括神经网络结构的层数、节点、权重、连接结构等参数；

步骤23、深度学习模型训练，利用数据集的训练集图像进行深度学习模型训练，对模型的参数进行更新、迭代，得出训练后的分类模型；

步骤24、分类验证，使用分类模型对数据集的测试集图像进行分类，并人工判断该模型是否能够准确地对验证集图像进行准确分类，若能够准确分类，即通过分类验证，进入步骤5，若不能准确分类，即不通过分类验证，回到步骤22调整分类模型参数继续训练模型；

步骤25、发送分类模型，将通过分类验证后的分类模型发送至上位机软件；

部署阶段的工作包括以下步骤：

步骤31、接收分类模型，上位机软件通过互联网连接接收组态云平台发送的分类模型；

步骤32、集成分类模型，上位机软件通过以太网连接将分类模型发送到工业智能相机；

步骤33、使用分类模型，工业智能相机调整为工作模型，在开机上电后，自动加载分类模型，在采集图像后，实时地应用分类模型对图像进行分析和处理，得出分类后的结果。

Images