CN108830833B - 工件识别项目的在线评估方法、服务器及终端 - Google Patents

Abstract

本发明实施例提供一种工件识别项目的在线评估方法、服务器及终端，属于生产线工件识别领域。应用于服务器的工件识别项目的在线评估方法包括：从移动终端接收工件的工件信息，该工件信息包括种类标识码和工件图像；通过与工件信息中的种类标识码相对应的识别算法来识别工件图像，以生成针对所述工件的识别结果，其中该识别算法唯一对应于种类标识码；基于所述识别结果和所述工件图像，评估所述工件识别项目的可行性。由此，将云技术应用至生产线工件识别领域，能够实现在线评估工件识别项目的可行性，降低了前期项目在评估方面的人力和经济投入。

Description

工件识别项目的在线评估方法、服务器及终端

技术领域

本发明涉及生产线工件识别领域，具体地涉及一种工件识别项目的在线评估方法、服务器及终端。

背景技术

随着生产自动化集成度的不断提升，视觉检测通常被应用在产品生产线生产、装配或包装中。视觉检测技术是指利用科技手段来代替人眼来对生产线生产的产品进行测量和判断。

目前，在生产线的工件识别项目建设完成之后，需要对该工件识别项目的性能进行评估，但是目前的工件识别项目的在线评估需要评估人员去生产线现场，并通过现场调试、采图，实验室打光，导致开发速度太慢，效率差，人员投入多。并且，有可能因一线施工而致使项目失败，使得前期项目的评估投入过多而造成的时间和经济损失。

发明内容

本发明实施例的目的是提供一种工件识别项目的在线评估方法、服务器及终端，用以至少解决现有技术中的工件识别项目评估的资金和人员投入过大的技术问题。

为了实现上述目的，本发明实施例提供一种工件识别项目的在线评估方法，应用于服务器，该方法包括：从移动终端接收工件的工件信息，该工件信息包括种类标识码和工件图像；通过与所述工件信息中的所述种类标识码相对应的识别算法来识别所述工件图像，以生成针对所述工件的识别结果，其中该识别算法唯一对应于种类标识码；基于所述识别结果和所述工件图像，评估所述工件识别项目的可行性。

可选的，所述基于所述识别结果和所述工件图像评估所述工件识别项目的可行性包括：关联存储所述识别结果和所述工件图像，以令平台用户能够基于所关联存储的所述识别结果和所述工件图像来评估工件识别项目的可行性。

可选的，在所述生成针对所述工件的识别结果之后，该方法还包括：发送所述识别结果至所述移动终端。

本发明实施例一方面提供一种工件识别项目的在线评估方法，应用于移动终端，该方法包括：拍摄工件以生成工件图像；获取关于所述工件的种类标识码，并根据所述工件图像和所述种类标识码生成工件信息；发送所述工件信息至服务器；从所述服务器接收基于识别算法而响应所述工件信息的识别结果，其中该识别算法唯一对应于种类标识码。

本发明实施例一方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的工件识别项目的在线评估方法。

本发明实施例一方面提供一种服务器，包括：工件信息接收单元，用于从移动终端接收工件的工件信息，该工件信息包括种类标识码和工件图像；识别单元，用于通过与所述工件信息中的所述种类标识码相对应的识别算法来识别所述工件图像，以生成针对所述工件的识别结果，其中该识别算法唯一对应于种类标识码；评估单元，用于基于所述识别结果和所述工件图像，评估所述工件识别项目的可行性。

可选的，所述评估单元包括：关联存储模块，用于在所述生成针对所述工件的识别结果之后，关联存储所述识别结果和所述工件图像，以令平台用户能够基于所关联存储的所述识别结果和所述工件图像来评估工件识别项目的可行性。

可选的，所述服务器还包括：识别结果发送单元，用于发送识别结果至所述移动终端。

本发明实施例一方面提供一种移动终端，包括：拍摄单元，用于拍摄工件以生成工件图像；工件信息生成单元，用于获取关于所述工件的种类标识码，并根据所述工件图像和所述种类标识码生成工件信息；工件信息发送单元，用于发送所述工件信息至服务器；识别结果接收单元，用于从所述服务器接收基于识别算法而响应所述工件信息的识别结果，其中该识别算法唯一对应于种类标识码。

可选的，所述移动终端包括手机和/或电脑。

通过上述技术方案，移动终端将工件的工件图像和其相应的种类标识码发送至服务器，并由服务器来调用其所配置的识别算法来识别工件并产生相应的识别结果，进而根据识别结果和工件图像来评估工件识别项目的可行性。由此，相比于现有技术中利用在生产线现场的识别终端来识别工件，本申请一方面将云技术应用到了工件识别领域，提高了识别效率；另一方面，能够在线评估工件识别项目的可行性，降低了前期项目在评估方面的人力和经济投入。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例的生产线工件识别方法的流程图；

图2是本发明一实施例的工件识别方法的流程原理示意图；

图3是本发明一实施例的服务器的结构框图；

图4是本发明一实施例的移动终端的结构框图。

附图标记说明

10 服务器 20 移动终端

101 工件信息接收单元 102 识别单元

201 拍摄单元 204 识别结果接收单元

202 工件信息生成单元 203 工件信息发送单元

103 评估单元

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，本发明一实施例的生产线工件识别方法，该方法涉及服务器10、终端20之间的数据处理及信息交互。该方法包括：

S1、移动终端20拍摄工件图像。

具体的，关于移动终端的形式，其可以是手机、平板电脑、笔记本电脑等配置有拍照模块的移动终端，在此应不限定。

S2、移动终端20获取种类标识码。

关于该种类标识码的获取方式，可以是移动终端自动获取的，也可以是由用户操作所获取的。作为示例，可以是在移动终端的用户界面上通过选择或键入来实现移动终端对种类标识码的获取。

S3、移动终端20生成工件信息。

可以理解的是，工件信息除了种类标识码和工件图像之外还可以包括其他的信息，例如生产线ID等，且都属于本发明的保护范围内。

S4、移动终端20将该工件信息发送至服务器10。

S5、服务器10调用识别算法识别所接收到的工件图像，并生成相应的识别结果。

具体的，服务器10可以是配置有多种识别算法，该识别算法与与种类标识码之间是一一对应的关系，例如服务器10中配置有对应于螺钉安装有无的螺钉识别算法，对应于标签是否正确的标签识别算法；在服务器接收到该工件信息之后，确定与该工件图像相关的种类标识码，并将调用该种类标识码所对应的那一个识别算法来识别工件，例如可以是调用螺钉识别算法来识别工件上是否存在螺钉。并且，该识别结果还可用来指示工件是否存在缺陷(例如螺钉缺失)，工件编号、铭牌是否正确，光学字符和数据信息是否能被正常读取等等，其不应视为是对本发明保护范围的限制。

通过本发明实施例的上述步骤，评估人员可以从服务器端在线评价工件识别项目的可行性。优选地，该在线评估方法还包括以下步骤：

S6、服务器10基于识别结果，评估工件识别项目的可行性

在具体实施的一方面，可以是服务器统计识别结果，并解析出对应于工件图像的识别成功率。当该识别成功率过小时，确定项目可行性低；当该识别成功率高时，确定项目可行性高，并可以以此判定当前服务器的配置是能够完成该工件识别项目的，并以此来判定是否能够接下该识别订单，其中识别成功率的高低可以是基于预定阈值来界定的。由此，实现了在线云端自动化评估工件识别项目实施的可行性。

在具体实施的另一方面，可以是服务器关联存储识别结果和工件图像，由此平台用户(例如行业专家或开发人员)可以调用该识别结果和工件图像，并且平台用户可以据此来评估工件识别项目的可行性，例如可以是解析多个识别结果和工件图像的匹配度等。由此，专家不用去生产线现场实施评估，可以采用云端评估的方式，从而节约了评估成本。

在一些优选实施方式中、服务器10可以将识别结果发送至移动终端20。由此，生产线用户可以评估项目实施的可行性。具体的，识别结果可以是指示工件存在工件的某一方面是否被成功识别了，并且生产线用户在收到自服务器的该识别结果之后，可以将工件实际的情况(例如是否存在缺陷)与该识别结果进行对比，以判断识别率如何，并据此判断生产线工件识别项目实施的可行性，实现了评估人员不需要去工程现场运行评估设备来实施评估，并使得生产线用户只需要操作移动终端就能够在线评估生产线工件识别项目的可行性，提高了评估效率并减少了评估人员和资金的大量投入。

如图2所示，本发明一实施例的工件识别方法，其具体可以是借助安装了特定的应用程序的手机。在手机运行该应用程序时，首先提示用户进行拍照，并在用户拍完照之后，在手机用户界面上可以出现一些供用户操作的交互控件，这些交互控件可以是分别对应于不同的种类标识码，当生产线用户点击交互控件时，移动终端会生成与该点击相对应的种类标识码，并会将该种类标识码连同工件图像一起发送至服务器。服务器会根据此种类标识码为工件图像适配不同的识别算法，比如螺钉、光学字符OCR、数据信息、名牌标识的识别所对应的算法，进而应用算法对工件图像进行识别。之后，服务器会生成识别结果，并不论该识别结果是识别成功还是识别失败，都可以是将该识别结果反馈至应用服务器并将其与图像关联存储至存储服务器。具体的，在服务器接收到工件图像时，其能够通过JNI接口调用已经打包到链接库的opencv和caffe算法，并返回所识别的结果；关于该服务器所应用的识别算法可以是各种算法，例如神经网络算法或opencv算法，另外其还可以是直接将原应用于终端的识别算法存储至云服务器中等，且都属于本发明的保护范围内。

优选的，服务器中还可以是将工件图像与其所对应的识别结果进行关联存储，以令平台用户能够查看服务器所存储的相关联的识别结果和工件图像。由此，使得开人员或行业专家可以直接在服务器平台上通过查看工件图像和识别结果，从而做出业务判断，判定该项目的难度及可行性，以在云端就能够确定平台是否需要或能够接下此订单，极大地节省了人力和成本；另外，服务器还可以是将关联的识别结果和图像存储至作为识别算法所应用的数据源，由此能够利用海量数据来训练并优化服务器所应用的识别算法。

作为本发明实施例的一种优选实施方式，该神经网络可以是BLSTM(bidirectional long short-term memory)+CNN(Convolutional Neural Networks)基于双向长短时记忆的卷积神经网络，能够更充分地利用数据进行训练，并能有效提高识别效率。

在本发明一实施例的生产线工件识别过程中，生产线端的设备有工业相机、工控机及相关机械设备，工业相机采集设备，通过工控机前端软件的定位切割，再经过现场网关，传给应用服务器，在传输前让每个用户根据公司名、工厂、产线申请工厂产线ID，并根据生产线的识别类别(比如，螺钉、OCR等)分配识别的类别ID。在应用服务器收到图片后，根据此工厂产线ID和类别ID会把图片转存到相应的存储服务器，存储服务器会为每个不同的工厂产线ID和类别ID分配一个存储路径，图片存到存储服务器后，基于每张图片的种类、分类做标签，作为训练的数据，训练后对每种分类和每段字段预测；每张图片存储或者存储前都可以输入到服务器内集成的算法，可以是使用BLSTM+CNN神经网络做标签检测，使用服务器接口调用caffe里的神经网络算法。然后，调用算法输出结果，如识别错误，经过应用服务器后返回给前端产线，工控机前端软件提示图片识别失败；如识别成功，返回给前端应用服务器识别成功后，存储图片到存储服务器。同时存储服务器会单独建立一个数据库，存储图片到存储服务器时创建该张图片的信息到数据库。用户后期可以根据自己需要查询识别结果，并进一步对识别结果实施校准操作，并且该经过校准操作之后的识别结果能够连同图像来充当神经网络的训练源。

具体的，该应用服务器可以利用springboot、redis，并且可以内置tomcat容器，而无需另外配置tomcat；另外，服务器的数据库使用的MYSQL.数据库存储每个用户工厂的ID信息，并且存储每张图的信息，比如，时间、文件类型，并开放接口给上层软件，由此上层软件可以根据时间或者用户名查询数据库的信息。

本发明实施例另一方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的工件识别项目的在线评估方法。

如图3所示，本发明一实施例的服务器10，包括工件信息接收单元101、识别单元102和评估单元103，其中所述工件信息接收单元101用于从移动终端接收工件的工件信息，该工件信息包括种类标识码和工件图像；所述识别单元102用于通过与所述工件信息中的所述种类标识码相对应的识别算法来识别所述工件图像，以生成针对所述工件的识别结果，其中该识别算法唯一对应于种类标识码；评估单元103，用于基于所述识别结果和所述工件图像，评估所述工件识别项目的可行性。

在一些实施方式中，所述评估单元103包括：关联存储模块，用于在所述生成针对所述工件的识别结果之后，关联存储所述识别结果和所述工件图像，以令平台用户能够基于所关联存储的所述识别结果和所述工件图像来评估工件识别项目的可行性。

在一些实施方式中，所述服务器10还包括：识别结果发送单元，用于发送识别结果至所述移动终端。

如图4所示，本发明一实施例的移动终端20，包括：拍摄单元201，用于拍摄工件以生成工件图像；工件信息生成单元202用于获取关于所述工件的种类标识码，并根据所述工件图像和所述种类标识码生成工件信息；工件信息发送单元203用于发送所述工件信息至服务器；识别结果接收单元204，用于从所述服务器接收基于识别算法而响应所述工件信息的识别结果，其中该识别算法唯一对应于种类标识码。

在一些实施方式中，所述移动终端包括手机和/或电脑。

关于本发明装置实施例中所描述的服务器和移动终端可以参照上文方法实施例的描述，在此便不赘述。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种工件识别项目的在线评估方法，应用于服务器，该方法包括：

从移动终端接收工件的工件信息，该工件信息包括种类标识码和工件图像；

通过与所述工件信息中的所述种类标识码相对应的识别算法来识别所述工件图像，以生成针对所述工件的识别结果，其中该识别算法唯一对应于种类标识码；

基于所述识别结果和所述工件图像，评估所述工件识别项目的可行性。

2.根据权利要求1所述的方法，其特征在于，所述基于所述识别结果和所述工件图像评估所述工件识别项目的可行性包括：

关联存储所述识别结果和所述工件图像，以令平台用户能够基于所关联存储的所述识别结果和所述工件图像来评估工件识别项目的可行性。

3.根据权利要求1所述的方法，其特征在于，在所述生成针对所述工件的识别结果之后，该方法还包括：发送所述识别结果至所述移动终端。

4.一种工件识别项目的在线评估方法，应用于移动终端，该方法包括：

拍摄工件以生成工件图像；

获取关于所述工件的种类标识码，并根据所述工件图像和所述种类标识码生成工件信息；

发送所述工件信息至服务器；

从所述服务器接收基于识别算法而响应所述工件信息的识别结果，其中该识别算法唯一对应于种类标识码。

5.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-4中任一项所述的工件识别项目的在线评估方法。

6.一种服务器，包括：

工件信息接收单元，用于从移动终端接收工件的工件信息，该工件信息包括种类标识码和工件图像；

识别单元，用于通过与所述工件信息中的所述种类标识码相对应的识别算法来识别所述工件图像，以生成针对所述工件的识别结果，其中该识别算法唯一对应于种类标识码；

评估单元，用于基于所述识别结果和所述工件图像，评估所述工件识别项目的可行性。

7.根据权利要求6所述的服务器，其特征在于，所述评估单元包括：

关联存储模块，用于在所述生成针对所述工件的识别结果之后，关联存储所述识别结果和所述工件图像，以令平台用户能够基于所关联存储的所述识别结果和所述工件图像来评估工件识别项目的可行性。

8.根据权利要求6所述的服务器，其特征在于，所述服务器还包括：

识别结果发送单元，用于发送识别结果至所述移动终端。

9.一种移动终端，包括：

拍摄单元，用于拍摄工件以生成工件图像；

工件信息生成单元，用于获取关于所述工件的种类标识码，并根据所述工件图像和所述种类标识码生成工件信息；

工件信息发送单元，用于发送所述工件信息至服务器；

识别结果接收单元，用于从所述服务器接收基于识别算法而响应所述工件信息的识别结果，其中该识别算法唯一对应于种类标识码。

10.根据权利要求9所述的移动终端，其特征在于，所述移动终端包括手机和/或电脑。

Images