CN108764105B - 流水线工件识别方法、服务器及终端 - Google Patents

Abstract

本发明实施例提供一种流水线工件识别方法、服务器及终端，属于流水线视觉检测领域。所述流水线工件识别方法包括：获取关于流水线上的工件的多张工件照片，其中该工件照片是由安装在流水线上方的不同的工业相机所拍摄的；根据同一拍摄时刻所对应的工件照片生成待识别的工件图像；响应于用户操作，确定在所述工件图像中待检测区域和工件类型；基于所确定的工件类型调用相应的终端识别算法，检测并识别所述待检测区域以生成针对所述工件中的检测对象的识别结果。由此，实现了在柔性化生产链中识别工件中的检测对象。

Description

流水线工件识别方法、服务器及终端

技术领域

本发明涉及流水线视觉检测领域，具体地涉及一种流水线工件识别方法、服务器及终端。

背景技术

随着生产自动化集成度的不断提升，视觉检测通常被应用在产品流水线生产、装配或包装中。视觉检测技术是指利用科技手段来代替人眼来对生产线生产的产品进行测量和判断。

目前市面上的工业视觉检测设备，一般需要采用机械装置对检测对象进行定位，然后采集检测对象的图像，再利用传统图像算法进行检测。此类设备柔性差，很难兼顾外形不同的产品，同时也容易受光照和定位精度等因素影响，鲁棒性差。

采用机械定位拍摄检测的方式无法保证柔性化或流水线生产的要求，为了适应多品种的检测需求而一味的增加相机数量会带来设备结构上的臃肿、维护的不方便以及成本的增加，另外增加机械定位装置往往需要改动线体，大大增加了项目施工难度和成本，并且定位检测要求产品在线体上停止流动，降低了生产效率。

发明内容

本发明实施例的目的是提供一种流水线工件识别方法、服务器及终端，用以至少解决现有技术中因机械定位拍摄检测的方式无法保证柔性化或流水线生产的要求的技术问题。

为了实现上述目的，本发明实施例提供一种流水线工件识别方法，包括：获取关于流水线上的工件的多张工件照片，其中该工件照片是由安装在流水线上方的不同的工业相机所拍摄的；根据同一拍摄时刻所对应的工件照片生成待识别的工件图像；响应于用户操作，确定在所述工件图像中待检测区域和工件类型；基于所确定的工件类型调用相应的终端识别算法，检测并识别所述待检测区域以生成针对所述工件中的检测对象的识别结果。

可选的，在生成所述识别结果之后，该方法还包括：当所述识别结果指示成功识别所述检测对象时，标注该检测对象在所述工件图像中的标注位置；发送经标注的工作图像和所述识别结果至服务器，以被所述服务器用于训练云端识别算法；以及从所述服务器接收所述云端识别算法以更新所述终端识别算法。

可选的，该方法包括：根据对应不同拍摄时刻的多个所述待识别的工件图像，生成工件图像序列；基于所述待检测区域和所述工件图像序列，确定待检测区域序列；以及基于所确定的工件类型调用相应的所述终端识别算法，检测并识别待检测区域序列以生成用于指示是否成功识别所述检测对象的识别结果。

可选的，在所述生成所述识别结果之后，该方法还包括：当所述识别结果指示成功识别所述检测对象时，对所述工件图像序列中的多个工件图像执行以下中的一者或多者的处理：标注所述检测对象在工件图像的位置、筛选工件图像和裁剪工件图像；将经处理的所述工件图像序列发送至服务器，以被所述服务器用于训练云端识别算法。

本发明实施例另一方面提供一种流水线工件识别装置，包括：照片获取单元，用于获取关于流水线上的工件的多张工件照片，其中该工件照片是由安装在流水线上方的不同的工业相机所拍摄的；工件图像生成单元，用于根据同一拍摄时刻所对应的工件照片生成待识别的工件图像；响应单元，用于响应于用户操作，确定在所述工件图像中待检测区域和工件类型；检测识别单元，用于基于所确定的工件类型调用相应的终端识别算法，检测并识别所述待检测区域以生成针对所述工件中的检测对象的识别结果。

可选的，该装置还包括：图像标注单元，用于当所述识别结果指示成功识别所述检测对象时，标注该检测对象在所述工件图像中的标注位置；图像发送单元，用于发送经标注的工作图像和所述识别结果至服务器，以被所述服务器用于训练云端识别算法；以及终端算法更新单元，用于从所述服务器接收所述云端识别算法以更新所述终端识别算法。

可选的，该装置还包括：图像序列生成单元，用于根据对应不同拍摄时刻的多个所述待识别的工件图像，生成工件图像序列；检测序列生成单元，用于基于所述待检测区域和所述工件图像序列，确定待检测区域序列；以及检测识别单元，用于基于所确定的工件类型调用相应的所述终端识别算法，检测并识别待检测区域序列以生成用于指示工件中是否成功识别所述检测对象的识别结果。

可选的，该装置还包括：图像序列处理单元，用于当所述识别结果指示成功识别所述检测对象时，对所述工件图像序列中的多个工件图像执行以下中的一者或多者的处理：标注检测对象在工件图像的位置、筛选工件图像和裁剪工件图像；以及图像序列发送单元，用于将经处理的所述工件图像序列发送至服务器，以被所述服务器用于训练云端识别算法。

通过上述技术方案，实现了在流水线作业的过程中对完整工件图像的获取，能够在产品于线体上流动的过程中，在不干预产品的情况下拍照实施检测，并调用对应于工件类型的识别算法来识别工件中的检测对象，实现了在柔性化生产链中识别工件。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例的流水线工件识别方法的流程图；

图2是本发明一实施例的流水线省的工业相机的安装示意图；

图3是本发明一实施例的流水线工件识别方法的流程图；

图4是本发明一实施例的流水线工件识别装置的结构框图。

附图标记说明

10 终端 20 工业相机

30 服务器 40 流水线工件识别装置

401 照片获取单元 402 工件图像生成单元

403 响应单元 404 检测识别单元

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，本发明一实施例的流水线工件识别方法，该方法应用在终端10和工业相机20之间，该方法包括：

S1、工业相机20拍摄流水线上的工件以得到多张工件照片。

需说明的是，对流水线作业中的产品进行检测时，其是动态检测过程，若采用固定安装的单个相机拍摄流水线作业中的产品，会导致存在曝光量不够等情况而导致图像识别的可靠性不高。因此，通过安装在流水线上的多个工业相机所拍摄的多张照片能够相互补偿，保障产品相片的质量。

如图2所示，本发明一实施例的流水线上的工业相机20，其示出了位于流水线A上的两个工业相机20，用于检测待检测的流水线上的产品B。需说明的是，工业相机20排列固定安装在流水线体上方，相机数量根据产品大小和检测精度而定，目的是使相机的有效视场可以覆盖待检测区域。当被检测产品进入相机视场时，相机开始快速连续拍照，当产品离开相机视场时，相机停止拍照。

S2、不同的工业相机20将所拍摄的工件照片发送至终端10。

具体的，终端10可以是流水线中的工控机、计算机等设备中的任意一者，在此并不作具体限定。

S3、生成工件图像。

具体的，终端10会将多张分别来自不同的工业相机20的照片进行汇总，以生成工件图像，例如如果使用了两个或者两个以上的相机，则可以是将对应同一拍摄时刻的工件照片进行拼接，以生成工件图像。

S4、响应于用户操作，确定待检测区域和工件类型。

具体的，用户通过对终端进行交互操作，来选定工件图像中的对应于检测对象的待检测区域和工件所对应的工件类型。

S5、基于该工件类型，调用终端识别算法识别待检测区域。

具体的，在终端存储有多种终端识别算法，且每一终端识别算法都分别对应于唯一的工件类型，例如该工件类型可以是螺钉、数据信息、标签或光学字符等。相应的，识别结果可以是对应工件中任意的检测对象的，例如该识别结果可以是用于指示工件上的螺钉有无、标签是否正确和光学字符是否能被正常读取等等，且都属于本发明的保护范围内。在一种应用场景下，当接收到的工件类型是螺钉时，调用螺钉识别算法来识别待检测区域上，以判断工件上是否存在螺钉。

优选地，当识别结果指示在待检测区域中成功识别检测对象时，标注检测对象(例如螺钉、标签等)在工件图像中的标注位置。

S6、终端10发送识别结果和经标注的工件图像至服务器30。

S7、服务器30训练云端识别算法。

具体的，可以是服务器接收到识别结果和经标注的工件图像之后，会将其作为训练云端识别算法的数据源，其中该云端识别算法与终端识别算法相关联，由此丰富了云端识别算法的数据源，能够优化云端识别算法的识别率。

S8、服务器30发送云端识别算法至终端10。

S9、终端10基于所接收的云端识别算法来同步迭代更新终端识别算法，以保障终端识别的识别率。

如上所描述的，对照同一时刻可以生成工件图像。因此，在一些实施方式中，可以对照不同的时刻来生成多个工件图像，并进一步组成工件图像序列。进一步的，可以是通过检测工件图像序列中是否存在检测对象，以判断工件是否存在检测对象，能够保障识别结果的可靠性。

具体的，如图3所示，本发明一实施例的流水线工件识别方法，应用于工控机终端，该方法包括：

S31、根据对应不同拍摄时刻的多个所述待识别的工件图像，生成工件图像序列。

具体的，可以是将多个工件图像按照拍摄时刻的先后顺序进行排列，以生成工件图像序列。

S32、基于待检测区域和工件图像序列，确定待检测区域序列。

具体的，可以是通过用户对第一时刻的工件图像中的待检测区域的划定，并结合流水线移速，推测之后不同时刻所对应的工件图像中待检测区域的位置，并将该所推测的多个待检测区域图像进行拼接，以确定相应的待检测区域序列。

S33、基于所确定的工件类型调用相应的终端识别算法，检测并识别待检测区域序列以生成用于指示是否成功识别检测对象的识别结果。

作为示例，当检测到关于一个工件的待检测区域序列(例如可以是线性分布的待检测区域)中存在检测对象(如螺钉)时，则可以确定工件中存在螺钉而没有工件缺陷。由此，通过对图像序列序列进行检测，能够避免遗漏存在检测对象的工件图像，增大识别结果的可靠性。

在一些优选实施方式中，当所述识别结果指示在待检测区域序列中检测到工件时，对所述工件图像序列中的多个工件图像执行以下中的一者或多者的处理：标注工件在工件图像的位置、筛选工件图像和裁剪工件图像；以及将经处理的所述工件图像序列发送至服务器，以被服务器用于训练云端识别算法。在本实施例中，在将数据传输至服务器之前对无用的数据进行裁剪(例如可以是对工件在工件图像的位置进行标注，并基于该标注位置实施裁剪操作)或筛选处理，降低传输至服务器的数据量，提高了训练数据源的传输效率；并且，当服务器所接收到的数据均是包含检测对象的有效数据时，能够提高服务器训练云端识别算法的效率和精确度，并能保障同步更新之后的终端能够精确地识别出检测对象。

关于终端应用终端检测算法来检测工件图像中的待检测区域，以识别工件中的检测对象的流程可以是通过如下方式来实现的：

如上所述的，终端识别算法可以与云端识别算法同步，并且云端识别算法可以是基于神经网络技术来实现的。具体的，该神经网络可以是BLSTM(bidirectional longshort-term memory)+CNN(Convolutional Neural Networks)基于双向长短时记忆的卷积神经网络，能够更充分地利用数据进行训练，并能有效提高识别效率。

在本发明一实施例的生产线工件识别过程中，生产线端的设备有工业相机、工控机及相关机械设备，工业相机采集设备，通过工控机前端软件的定位切割，再经过现场网关，传给应用服务器，在传输前让每个用户根据公司名、工厂、产线申请工厂产线ID，并根据生产线的识别类别(比如，螺钉、OCR等)分配识别的类别ID。在应用服务器收到图片后，根据此工厂产线ID和类别ID会把图片转存到相应的存储服务器，存储服务器会为每个不同的工厂产线ID和类别ID分配一个存储路径，图片存到存储服务器后，基于每张图片的种类、分类做标签，作为训练的数据，训练后对每种分类和每段字段预测；每张图片存储或者存储前都可以输入到服务器内集成的算法，可以是使用BLSTM+CNN神经网络做标签检测，使用服务器接口调用caffe里的神经网络算法。然后，调用算法输出结果，如识别错误，经过应用服务器后返回给前端产线，工控机前端软件提示图片识别失败；如识别成功，返回给前端应用服务器识别成功后，存储图片到存储服务器。同时存储服务器会单独建立一个数据库，存储图片到存储服务器时创建该张图片的信息到数据库。用户后期可以根据自己需要查询识别结果，并进一步对识别结果实施校准操作，并且该经过校准操作之后的识别结果能够连同图像来充当神经网络的训练源。

具体的，该应用服务器可以利用springboot、redis，并且可以内置tomcat容器，而无需另外配置tomcat；另外，服务器的数据库使用的MYSQL.数据库存储每个用户工厂的ID信息，并且存储每张图的信息，比如，时间、文件类型，并开放接口给上层软件，由此上层软件可以根据时间或者用户名查询数据库的信息。

如图4所示，本发明一实施例的流水线工件识别装置40，包括：照片获取单元401，用于获取关于流水线上的工件的多张工件照片，其中该工件照片是由安装在流水线上方的不同的工业相机所拍摄的；工件图像生成单元402，用于根据同一拍摄时刻所对应的工件照片生成待识别的工件图像；响应单元403，用于响应于用户操作，确定在所述工件图像中待检测区域和工件类型；检测识别单元404，用于基于所确定的工件类型调用相应的终端识别算法，检测并识别所述待检测区域以生成用于针对所述工件中的检测对象的识别结果。

在一些实施方式中，该装置还包括：图像标注单元，用于当所述识别结果指示成功识别所述检测对象时，标注该工件缺陷所对应的检测对象在所述工件图像中的标注位置；图像发送单元，用于发送经标注的工作图像和所述识别结果至服务器，以被所述服务器用于训练云端识别算法；以及终端算法更新单元，用于从所述服务器接收所述云端识别算法以更新所述终端识别算法。

在一些实施方式中，该装置还包括：图像序列生成单元，用于根据对应不同拍摄时刻的多个所述待识别的工件图像，生成工件图像序列；检测序列生成单元，用于基于所述待检测区域和所述工件图像序列，确定待检测区域序列；以及检测识别单元，用于基于所确定的工件类型调用相应的所述终端识别算法，检测并识别待检测区域序列以生成用于指示是否成功识别所述检测对象的识别结果。

在一些实施方式中，该装置还包括：图像序列处理单元，用于当所述识别结果指示成功识别所述检测对象时，对所述工件图像序列中的多个工件图像执行以下中的一者或多者的处理：标注所述工件缺陷所对应的检测对象在工件图像的位置、筛选工件图像和裁剪工件图像；以及图像序列发送单元，用于将经处理的所述工件图像序列发送至服务器，以被所述服务器用于训练云端识别算法。

关于本本装置实施例的具体的细节和效果，可以参照上文关于方法实施例中关于终端的相关描述，在此便不赘述。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (8)

1.一种流水线工件识别方法，包括：

获取关于流水线上的工件的多张工件照片，其中该工件照片是由安装在流水线上方的不同的工业相机所拍摄的；

根据同一拍摄时刻所对应的工件照片生成待识别的工件图像；

响应于用户操作，确定在所述工件图像中待检测区域和工件类型；

基于所确定的工件类型调用相应的终端识别算法，检测并识别所述待检测区域以生成针对所述工件中的检测对象的识别结果。

2.根据权利要求1所述的方法，其特征在于，在生成所述识别结果之后，该方法还包括：

当所述识别结果指示成功识别所述检测对象时，标注该检测对象在所述工件图像中的标注位置；

发送经标注的工作图像和所述识别结果至服务器，以被所述服务器用于训练云端识别算法；以及

从所述服务器接收所述云端识别算法以更新所述终端识别算法。

3.根据权利要求1所述的方法，其特征在于，该方法包括：

根据对应不同拍摄时刻的多个所述待识别的工件图像，生成工件图像序列；

基于所述待检测区域和所述工件图像序列，确定待检测区域序列；以及

基于所确定的工件类型调用相应的所述终端识别算法，检测并识别待检测区域序列以生成用于指示是否成功识别所述检测对象的识别结果。

4.根据权利要求3所述的方法，其特征在于，在所述生成所述识别结果之后，该方法还包括：

当所述识别结果指示成功识别所述检测对象时，对所述工件图像序列中的多个工件图像执行以下中的一者或多者的处理：标注所述检测对象在工件图像的位置、筛选工件图像和裁剪工件图像；

将经处理的所述工件图像序列发送至服务器，以被所述服务器用于训练云端识别算法。

5.一种流水线工件识别装置，包括：

照片获取单元，用于获取关于流水线上的工件的多张工件照片，其中该工件照片是由安装在流水线上方的不同的工业相机所拍摄的；

工件图像生成单元，用于根据同一拍摄时刻所对应的工件照片生成待识别的工件图像；

响应单元，用于响应于用户操作，确定在所述工件图像中待检测区域和工件类型；

检测识别单元，用于基于所确定的工件类型调用相应的终端识别算法，检测并识别所述待检测区域以生成针对所述工件中的检测对象的识别结果。

6.根据权利要求5所述的装置，其特征在于，该装置还包括：

图像标注单元，用于当所述识别结果指示成功识别所述检测对象时，标注该检测对象在所述工件图像中的标注位置；

图像发送单元，用于发送经标注的工作图像和所述识别结果至服务器，以被所述服务器用于训练云端识别算法；以及

终端算法更新单元，用于从所述服务器接收所述云端识别算法以更新所述终端识别算法。

7.根据权利要求5所述的装置，其特征在于，该装置还包括：

图像序列生成单元，用于根据对应不同拍摄时刻的多个所述待识别的工件图像，生成工件图像序列；

检测序列生成单元，用于基于所述待检测区域和所述工件图像序列，确定待检测区域序列；以及

检测识别单元，用于基于所确定的工件类型调用相应的所述终端识别算法，检测并识别待检测区域序列以生成用于指示是否成功识别所述检测对象的识别结果。

8.根据权利要求7所述的装置，其特征在于，该装置还包括：

图像序列处理单元，用于当所述识别结果指示成功识别所述检测对象时，对所述工件图像序列中的多个工件图像执行以下中的一者或多者的处理：标注该检测对象在工件图像的位置、筛选工件图像和裁剪工件图像；以及

图像序列发送单元，用于将经处理的所述工件图像序列发送至服务器，以被所述服务器用于训练云端识别算法。

Images