CN112711603A - 基于云端的工件检测方法及系统、计算机可读存储介质 - Google Patents

基于云端的工件检测方法及系统、计算机可读存储介质 Download PDF

Info

Publication number
CN112711603A
CN112711603A CN202011615596.8A CN202011615596A CN112711603A CN 112711603 A CN112711603 A CN 112711603A CN 202011615596 A CN202011615596 A CN 202011615596A CN 112711603 A CN112711603 A CN 112711603A
Authority
CN
China
Prior art keywords
model
terminal
workpiece
cloud
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011615596.8A
Other languages
English (en)
Inventor
钟景伟
钟北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Yueyun Industrial Internet Innovation Technology Co ltd
Original Assignee
Guangdong Yueyun Industrial Internet Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Yueyun Industrial Internet Innovation Technology Co ltd filed Critical Guangdong Yueyun Industrial Internet Innovation Technology Co ltd
Priority to CN202011615596.8A priority Critical patent/CN112711603A/zh
Publication of CN112711603A publication Critical patent/CN112711603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2425—Iterative querying; Query formulation based on the results of a preceding query
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Factory Administration (AREA)

Abstract

本申请公开了一种基于云端的工件检测方法及系统、计算机可读存储介质。该基于云端的工件检测方法包括：第一终端主动向云端分享AI模型；第二终端向云端发送下载请求；云端根据下载请求从与第二终端对应的AI模型库中查找与AI模型；响应于查找失败，云端从与第一终端对应的AI模型库中查找与AI模型，并将AI模型下发给第二终端；第二终端利用AI模型对工件进行检测。通过这种方式，能够实现工件检测AI模型的共享及提高工件的检测精准度。

Description

基于云端的工件检测方法及系统、计算机可读存储介质
技术领域
本申请涉及工件检测技术领域，特别是涉及一种基于云端的工件检测方法及系统、计算机可读存储介质。
背景技术
在工业生产过程中，工件检测是工件质量检测及分类等环节极其重要的步骤。工件检测是将工件表面图像信息等经过人工智能(Artificial Intelligence，AI)模型处理，以识别缺陷工件或对工件进行分类。
为提高AI模型的检测精准度，用户需要利用大量的训练数据对AI模型进行训练，以实现其深度学习；因此，对于一些具有类似检测功能需求但不具备足够训练数据的用户，其AI模型的检测精准度比较低。
发明内容
本申请主要解决的技术问题是如何实现工件检测AI模型的共享及提高工件的检测精准度。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于云端的工件检测方法。该基于云端的工件检测方法包括：第一终端主动向云端分享AI模型；第二终端向云端发送下载请求；云端根据下载请求从与第二终端对应的AI模型库中查找与AI模型；响应于查找失败，云端从与第一终端对应的AI模型库中查找与AI模型，并将AI模型下发给终端；终端利用AI模型对工件进行检测。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种基于云端的工件检测系统。该基于云端的工件检测系统包括：第一终端、第二终端及分别与第一终端和第二终端通信的云端；其中，第一终端主动向云端分享AI模型；第二终端向云端发送下载请求；云端根据下载请求从与第二终端对应的AI模型库中查找与AI模型；响应于查找失败，云端从与第一终端对应的AI模型库中查找与AI模型，并将AI模型下发给终端；终端利用AI模型对工件进行检测。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质。该计算机可读存储介质存储有程序指令，程序指令能够被执行以实现上述工件检测方法。
本申请实施例的有益效果是：本申请基于云端的工件检测方法包括：第一终端主动向云端分享AI模型；第二终端向云端发送下载请求；云端根据下载请求从与第二终端对应的AI模型库中查找与AI模型；响应于查找失败，云端从与第一终端对应的AI模型库中查找与AI模型，并将AI模型下发给终端；终端利用AI模型对工件进行检测。通过这种方式，本申请的第一终端主动向云端分享AI模型，能够使第二终端在从其对应的AI库中找不到与所需的AI模型(AI模型不存在或者训练数据较少)时，云端可以从第一终端的AI库获取AI模型，因此，能够实现AI模型的共享，且能够解决具有类似检测功能需求但不具备足够训练数据的终端采用自身对应的AI模型进行工件检测，导致检测精准度较低的问题；因此，本申请能够实现AI模型的共享及提高工件的检测精准度。且本申请AI模型对工件的检测在终端进行，终端无需将获取的大量的工件特征信息发送给云端，不仅能够节约网络资源，而且能够避免因工厂网络环境差，云端接收不到工件特征信息，不能采用AI模型进行工件检测的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请基于云端的工件检测系统一实施例的结构示意图；
图2是图1实施例基于云端的工件检测系统的架构示意图；
图3是图1实施例基于云端的工件检测系统的功能架构示意图；
图4是图1实施例基于云端的工件检测系统的一应用场景功能架构示意图；
图5是图1实施例基于云端的工件检测系统的一应用交互时序示意图；
图6是本申请基于云端的工件检测方法一实施例的流程示意图；
图7是本申请基于云端的工件检测方法一实施例的流程示意图；
图8是本申请基于云端的工件检测方法一实施例的流程示意图；
图9是本申请基于云端的工件检测方法一实施例的流程示意图；
图10是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
AI技术已经成为一种基础技术，其在很多行业已经发挥着越来越大的作用，例如自动驾驶、围棋、人脸识别等技术的应用都离不开AI技术。但AI技术在传统工业的检测领域的应用相对比较滞后，传统工业的检测中的很多问题尚未得到解决，将AI技术应用到传统工业的检测当中已经成为一项迫切的需求，且实现传统的工业领域的智能制造更需要AI技术的支持。
传统工业的检测方法存在算法特征提取和调试困难、适用性差的问题，产业的升级需要引入新技术来解决现有问题，从而带动整个产业的发展。AI技术中的深度学习算法能很好的这些解决。深度学习方法是一种端到端的学习方法，针对特定问题往往只需要关注样品的数据收集，问题的定义，而无须过多关注其训练过程都能得到较好的结果。
目前虽有AI技术在工业质检中的应用，但其对使用人员的要求比较高，往往需要使用人员具备一定的AI知识，同时还要懂得一定的硬件知识，其对AI技术的推广和应用很不利，在制造业中很多一线人员并不具备这些AI知识，而具备AI知识能力的人并不一定懂得一线工人的AI需求。所以提供一种简单、易用、无需专业知识的AI工具已经成为现阶段急需解决的问题。
为解决上述问题，本申请提出一种基于云端的工件检测系统，该工件检测系统是基于深度学习的软硬件结合的AI套件检测系统，一方面，能够为用户提供低门槛的AI能力，无需具备硬件软件方面的专业知识只需要根据业务场景需求进行模型训练便可；另一方面，傻瓜式一键训练模型、易操作部署应用、多用户多场景的实时监测监控能够解放用户场所限制，同时能够提高工作效率，能够为用户及运维人员的使用提供可靠性保障。
本申请基于云端的工件检测系统为模型、数据的管理提供了两种方式，开发了基于移动端的应用程序(Application，APP)应用和基于个人计算机(Personal Computer，PC)端的全球广域网(World Wide Web，web)应用。用户可以通过两种方式进行登录云端，在联网的情况下可以全天候的进行访问。无论是PC端还是移动端都可以进行账号的注册、登录，数据的上传、下载、标注，模型的训练、测试、下载和更新等操作。
云端与终端之间可以通过传输控制协议/网际协议(Transmission ControlProtocol/Internet Protocol，TCP/IP)等网络协议进行通信，在终端上安装设备管理软件，该软件通过唯一识别码绑定终端(如mac地址)，进而把终端识别码存储于云平台，云平台便可对该设备进行管理，包括软件、模型的更新等。
当需要下载模型的时候，通过终端的下载功能接口(对用户来说可能是一个界面按钮)，发送下载请求给云端，云端接收到下载请求后会把模型文件传输到终端上。模型既可以在云端上主动的更新，也可以在终端的管理软件上进行。上传和训练可以通过为用户提供的PC端的web和App操作界面进行。
本申请首先提出一种基于云端的工件检测系统，如图1至图3所示的，图1是本申请基于云端的工件检测系统一实施例的结构示意图；图2是图1实施例基于云端的工件检测系统的架构示意图；图3是图1实施例基于云端的工件检测系统的功能架构示意图。本实施例基于云端的工件检测系统10包括：第一终端20、第二终端21及分别与第一终端20和第二终端21通信的云端30；其中，第一终端20主动向云端30分享AI模型；第二终端21向云端30发送下载请求；云端30根据下载请求从与第二终端21对应的AI模型库中查找AI模型；响应于查找失败，云端30从与第一终端20对应发AI模型库中获取AI模型，并将AI模型下发给终端20；终端20利用AI模型对工件进行检测。
在一些应用场景中，云端30设置有模型分享市场，第一终端20主动向云端30的模型分享市场分享AI模型时，开可以设置分享条件，例如收费、验证等，只有在第二终端21满足分享条件后，云端30才获取AI模型给第二终端21。
AI模型即AI算法，本实施例的AI算法可以传统算法(如：高斯滤波、中值滤波sift特征提取、canny边缘检测算法、霍夫变换等)，或者基于深度学习算法(如：resnet残差网络、mobilenet网络、faster-rcnn网络、SSD网络、YOLOV3网络、deeplabv3网络、mask-rcnn网络等)，具体不做限定；本实施例的AI算法主要用于根据工件的图像信息识别出工件的特征信息，并将特征信息与预设特征信息进行匹配，以识别出具有缺陷的工件，或者对工件进行分类等。
本实施例还可以用于工件分割、人脸识别等应用场景中。
区别于现有技术，本实施例的第一终端20主动向云端30分享AI模型，能够使第二终端21在从其对应的AI库中找不到与所需的AI模型(AI模型不存在或者训练数据较少)时，云端30可以从第一终端20的AI库获取第二终端21所需的AI模型，因此，能够实现AI模型的共享，且能够解决具有类似检测功能需求但不具备足够训练数据的终端20采用自身对应的AI模型进行工件检测，导致检测精准度较低的问题；因此，本实施例能够实现AI模型的共享及提高工件的检测精准度。且本实施例AI模型对工件的检测在终端20进行，终端20无需将获取的大量的工件特征信息发送给云端30，不仅能够节约网络资源，而且能够避免因工厂网络环境差，云端30接收不到工件特征信息，不能采用AI模型进行工件检测的问题。
进一步地，云端30将工件的工件类型与预设类型进行匹配；响应于匹配成功，云端30计算工件的特征信息与预设特征信息的匹配度；响应于匹配度大于预设值，云端30判定查找成功。
进一步地，响应于查找成功，云端30获取与预设特征信息对应的AI模型的模型参数，将模型参数下发给第二终端21；第二终端21利用模型参数更新已下载的AI模型，并利用更新后的AI模型对工件进行检测，能够节约网络资源存储资源。
进一步地，响应于查找成功，云端30向第二终端21下发查找指令；第二终端21根据查找指令获取已下载的AI模型及用已下载的AI模型对应的已检测工件的第一特征信息；第二终端21获取待检测工件的第二特征信息，并计算第一特征信息与第二特征信息的匹配度，并将匹配度发送云端30；响应于匹配度大于预设值，云端30获取与已检测工件的工件类型对应的AI模型的模型参数，并将模型参数下发给第二终端21；第二终端21利用模型参数更新已下载的AI模型，并利用更新后的AI模型对待检测工件进行检测。
进一步地，响应于匹配度小于或等于预设值，云端30将与已检测工件的工件类型对应的AI模型下发给第二终端21。
本实施例基于云端的工件检测系统10还用于实现下述方法，可参阅下文。
可选地，本实施例的工件检测系统10进一步包括辅助设备40，与第二终端21通信，用于采集工件的特征信息，并将特征信息传输给第二终端21，以使第二终端210利用AI模型对特征信息进行检测。
本实施例的第二终端21及辅助设备40属工件检测系统的硬件设备70。
其中，本实施例的第二终端21可以为AI盒子，AI盒子是一中AI超级计算机，它接口丰富，外形小巧，性能强大。AI盒子可运行更庞大、更深层的神经网络，使设备更加智能，从而实现更高的精度和更快的响应；在其它实施例中，第二终端还可以是设有AI模型的移动终端或者其它电子设备。
其中，本实施例的辅助设备40包括：图像传感器(图未标)、光源410、视觉控制器420；图像传感器用于采集工件的图像信息，以使第二终端21从图像信息中获取工件的特征信息；光源410用于为图像传感器提供光补偿；视觉控制器420用于实现对图像传感器的控制及对图像信息的分析；其中，图像传感器包括相机430和镜头440。
本实施例的辅助设备40进一步包括：光源控制器450、辅件460及网络设备470等；其中，光源控制器450用于控制光源410的开启、光强度、位置及光束方向角度等；辅件460可以包括上下料组件、滚轮、传送带及驱动件等，主要用于转运工件；网络设备470主要用于实现第二终端21与云端30之间的通信。
可选地，本实施例基于云端的工件检测系统10进一步包括管理系统50，管理系统50可以集成于第二终端21或者云端30；其中，管理系统50包括：设备管理模块51、AI模型管理模块52及界面管理模块53；其中，设备管理模块51用于实现第二终端21及辅助设备40的管理；AI模型管理模块52用于实现AI模型的管理；界面管理模块53用于实现基于云端的工件检测系统10的界面管理。
当然，在其它实施例中，管理系统还可以部分集成于云端，部分集成于第二终端。
其中，设备管理模块51包括：设备注册管理子模块511、运转状态管理子模块512及在线更新管理子模块513；设备注册管理子模块511用于实现第二终端21、图像传感器、光源410、视觉控制器420、光源控制器450、辅件460及网络设备470等设备的注册管理；运转状态管理子模块512用于实现终端20、图像传感器、光源410、视觉控制器420、光源控制器450、辅件460及网络设备470等设备的工作状态及异常状态的管理；在线更新管理子模块513用于实现终端20、图像传感器、光源410、视觉控制器420、光源控制器450、辅件460及网络设备470等设备的SDK(Software Development Kit，SDK)在线更新、维护及更换等管理。
在一应用场景中，用户首先通过设备注册管理子模块511进行注册，然后设备管理模块51统一对设备进行管理，包括实时查看设备的运行状态，实现在线更新功能。
新设备需要进行注册，注册完成设备具有位移的唯一系列号；在联网的情况下后台可以实时监控设备运行状态，断网情况，然后以日志形式进行保存。
其中，AI模型管理模块52包括：AI模型部署管理子模块521、AI模型更新管理子模块522、AI推理管理子模块523；AI模型部署管理子模块521用于实现多个AI模型的部署和操作，每次启动，软件都会默认自动加载模型，加载模型成功后则启动操作界面成功；AI模型更新管理子模块522用于实现在联网情况下，后台可以在线更新，同时也提供复制模型文件的离线更新；AI推理管理子模块523用于实现对工件图像信息的检测，通过接受输入图像信息进行检测。
在一应用场景中，通过AI模型管理模块52可以实现对图像进行检测，其包括但不限于图像分类、图像分割、目标检测等算法功能。用户根据需要配置不同的算法而实现工业质检和其他一些定制化功能。
其中，界面管理模块53包括：日志管理子模块531、结果统计子模块532、AI模型管理子模块533及技术支持子模块534。
本实施例的基于云端的工件检测系统10进一步包括屏端60，屏端60可以是设置于第二终端21上的APP显示界面，或者是与管理系统50通信的独立PC端的显示界面；日志管理子模块531主要包括统计检测结果和结果导出；结果统计子模块532用于统计工件测试结果，并将测试结果显示在屏端60；AI模型管理子模块533用于将AI模型的信息显示在屏端60，实现AI模型的部署、管理及更新等；技术支持子模块534用于为运维人员提供操作界面；当然，普通用户或者运维人员还可以通过屏端60实现与管理系统50、第二终端21及云端30之间其它信息的交互。
界面管理模块53进一步包括图片(图像)检测模块，用于实现打开图片，打开摄像头及测试图片和保存图片等功能；用户打开一张图片后，则摄像头就会相继打开，然后后台就会把显示的图片发给AI模型进行检测，最后把AI的检测结果图保存下来。
可选地，本实施例的云端30包括：数据库31、Hadoop分布式文件系统(HadoopDistributed Filesystem，HDFS)32及AI模块33。
其中，云端可以是服务器、计算机等。数据库31用于存储AI模型库及工件的特征信息；本实施例的数据库31可以为MySQL、MariaDB等。HDFS32用于实现对数据库31的访问；HDFS32被设计成适合运行在通用硬件上的分布式文件系统，它是一个高度容错性的系统，适合部署在廉价的机器上，它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。AI模块33用于实现AI模型的更新及训练。
进一步地，本实施例的云端30进一步包括：UI模块34及用户管理模块35，用于与管理系统50交互，用于实现系统界面及用户的管理，且相关数据存储于数据库31。
如图3所示，本实施例基于云端的工件检测系统10能够同时实现设备管理、AI算法及操作界面的功能，能够集设备注册、设备运行状态管理、设备在线更新、(AI)模型部署、(AI)模型更新、(AI)模型推理、图片检测、(AI)模型管理及技术支持等功能为一体，能够实现工件检测所需功能。
本实施例基于云端的工件检测系统面向的用户主要分为两类，不同的用户的权限是不一样的，普通用户其操作包含本地界面和云端30，运维人员管理所有设备和处理一些用户反馈问题。
如图4所示，普通用户可以通过屏端60的本地用户界面与基于云端的工件检测系统10进行结果显示、检测结果统计、模型部署、模型更新及信息反馈等操作，以实现对AI模块的数据管理、一键训练及模型管理；其中数据管理包括图片上传、图片标注及数据集管理等，模型管理包括模型更新、模型部署、模型测试及模型导出等。
运维人员与普通用户具有不同的权限，运维人员可以通过屏端60与管理系统50中设备管理模块51进行状态查看、SDK(设备或者AI模型的SDK)更新、设备维护、信息处理及用户管理等操作，以实现对AI模块的一键训练及模型管理；其中模型管理包括模型更新、模型部署、模型测试及模型导出等。
如图5所示，在一应用场景中，用户可以双击操作界面，后台操作软件会加载模型，加载成功后则会打开操作界面软件，然后摄像头也会被打开，当摄像头打开后会实时拍摄工件的图像，并将图像传输给模型进行推理，然后将推理结果显示在屏幕上提醒用户；最后可以根据推理结果更新模型。
本实施例的第一终端20的结构及工作原理与第二终端21类似，这里不赘述；且的第二终端21还可以将自己的AI模型主动分享至云端30。
本申请进一步提出一种基于云端的工件检测方法，如图6所示，图6是本申请基于云端的工件检测方法一实施例的流程示意图。本实施例的工件检测方法可以用于上述基于云端的工件检测系统10。本实施例基于云端的工件检测方法具体包括以下步骤：
步骤S601：第一终端20主动向云端30分享AI模型。
第一终端20通过网络设备470或者第一终端20的网络端口先与云端30建立有线或者无线通信连接；建立通信连接后，主动向云端30分享AI模型。
步骤S602：第二终端21向云端30发送下载请求。
第二终端21通过网络设备470或者第二终端21的网络端口先与云端30建立有线或者无线通信连接；建立通信连接后，第二终端21向云端30发送AI模型的下载请求。
步骤S603：云端30根据下载请求从与第二终端21对应的AI模型库中查找与AI模型。
云端30对该下载请求进行验证，并在验证成功后从与第二终端21对应的AI模型库中查找AI模型。具体地，下载请求包括第二终端21的标识信息；其中，第二终端21的标识信息可以是第二终端21的序列号或者MAC地址等；云端30可以从管理系统50中的设备注册管理子模块511及数据库31中获取已注册设备的标识信息，并将第二终端21的标识信息与已注册设备的标识信息进行匹配，若匹配成功，则向云端30发送下载请求的第二终端21具有下载AI模型的权限，此时验证成功。
步骤S604：响应于查找失败，云端30从与第一终端20对应的AI模型库中查找AI模型，并将AI模型下发给第二终端21。
第一终端20主动向云端分享AI模型，云端30可以从与第一终端20对应的AI模型库中查找AI模型。
步骤S605：第二终端21利用AI模型对工件进行检测。
辅助设备40获取工件的图像信息，并将图像传送给第二终端21，第二终端21利用AI模型从图像信息中识别工件的特征信息，并根据特征信息识别出缺陷工件或者对工件进行分类。
区别于现有技术，本实施例的第一终端20主动向云端30分享AI模型，能够使第二终端21在从其对应的AI库中找不到与所需的AI模型(AI模型不存在或者训练数据较少)时，云端30可以从第一终端20的AI库获取第二终端21所需的AI模型，因此，能够实现AI模型的共享，且能够解决具有类似检测功能需求但不具备足够训练数据的终端20采用自身对应的AI模型进行工件检测，导致检测精准度较低的问题；因此，本实施例能够实现AI模型的共享及提高工件的检测精准度。且本实施例AI模型对工件的检测在终端20进行，终端20无需将获取的大量的工件特征信息发送给云端30，不仅能够节约网络资源，而且能够避免因工厂网络环境差，云端30接收不到工件特征信息，不能采用AI模型进行工件检测的问题。
进一步地，为提高检测精准度，终端20中存储有预设特征信息及其与AI模型之间的映射关系；终端20工件的图像信息进行识别，获得特征信息，并将特征信息与预设特征信息进行匹配，在匹配成功后，根据该映射关系从下载的AI模型中获取与该预设特征信息对应的AI模型，并利用该AI模型对工件进行检测。
本实施例首先将工件的特征信息与预设特征信息进行匹配，并在匹配成功后选择与预设特征信息对应的AI模型对工件进行检测，因此，可以针对具有不同特征信息的工件选择不同的AI模型进行检测，不仅能够提高工件检测的精准度，而且能够降低AI模型的复杂度，提高其检测效率。
本申请进一步提出另一实施例基于云端的工件检测方法，如图7所示，本实施例的工件检测方法可以用于上述基于云端的工件检测系统10。本实施例基于云端的工件检测方法具体包括以下步骤：
步骤S701：第一终端20主动向云端30分享AI模型。
步骤S701与上述步骤S601类似，这里不赘述。
步骤S702：第二终端21向云端30发送下载请求。
本实施例的下载请求包括下载请求指令、工件的特征信息及工件的工件类型。
其中，本申请工件类型是指工件的种类或者工件的型号等；特征信息至少包括标识信息、轮廓信息、形状、颜色或者尺寸中的任一种。
在其它实施例中，该特征信息还可以是工件的名称、型号等，或者还可以根据用户的选择对特征信息进行设置，即终端获取用户选择的特征信息。
步骤S702与上述步骤S602类似，这里不赘述。
步骤S703：云端30将工件类型与预设类型进行匹配。
本实施例是根据工件的工件类型与AI模型进行关联，即根据工件类型选择AI模型。
当然，在其它实施例中，还可以根据终端的标识信息与AI模型进行关联，即根据终端的标识信息选择AI模型。
步骤S704：响应于匹配成功，云端30计算特征信息与预设特征信息的匹配度。
通常工件需要通过多个特征信息才能与其它工件区分，因此，云端30分别获取工件的多个特征信息，并相应获取多个匹配度，根据多个匹配度获取总匹配度，例如获取多个匹配度的加权值；每个特征信息的匹配度可以根据该特征信息对工件类型的影响进行设置；若总匹配度大于预设值，则认为工件的特征信息与预设特征信息匹配成功，否则，认为工件的特征信息与预设特征信息匹配失败。
当然，也可以为重要的特征信息设置较大的预设值，在重要特征信息的匹配度大于其预设值且总匹配度大于预设值时，才判定工件的特征信息与预设特征信息匹配。
步骤S705：响应于匹配度大于预设值，云端30判定查找成功。
若工件的工件类型与预设类型匹配，且工件的特征信息与预设特征信息的匹配度大于预设值，则认为云端30中存在能够对工件进行精准检测的AI模型。
步骤S706：响应于匹配度小于或者等于预设值，云端30判定查找失败。
若工件的特征信息与预设特征信息的匹配度小于或等于预设值，或者工件的工件类型与预设类型不匹配，则认为云端30中不存在能够对工件进行精准检测的AI模型。
步骤S707：响应于查找失败，云端30从与第一终端20对应的AI模型库中查找AI模型，并将AI模型下发给第二终端21。
步骤S707与上述步骤S604类似，这里不赘述。
步骤S708：响应于查找成功，云端30获取与预设特征信息对应的AI模型的模型参数。
步骤S709：云端30将模型参数下发给第二终端21。
不同种类工件之间往往具有共性，多种AI模型之间也会具有相同的参数，因此云端30可以仅将AI模型的模型参数下发给第二终端21，以使第二终端21通过模型参数实现AI模型转换。
步骤S710：第二终端21利用模型参数更新已下载的AI模型，并利用更新后的AI模型对工件进行检测。
因不用从云端30下载及存储整个AI模型，因此能够节约网络资源和存储资源。且本实施例根据工件的工件类型及特征信息对AI模型进行选择，能够提高工件的检测精准度及效率。
本申请进一步提出另一实施例基于云端的工件测试方法，如图8所示，本实施例的工件检测方法可以用于上述基于云端的工件检测系统10。本实施例基于云端的工件检测方法具体包括以下步骤：
步骤S801：第一终端20主动向云端30分享AI模型。
步骤S801与上述步骤S601类似，这里不赘述。
步骤S802：第二终端21向云端30发送下载请求。
本实施例的下载请求包括下载请求指令和工件的工件类型。
步骤S802与上述步骤S602类似，这里不赘述。
步骤S803：云端30根据下载请求从与第二终端21对应的AI模型库中查找与下载请求对应的AI模型。
步骤S803与上述步骤S603类似，这里不赘述。
步骤S804：响应于查找失败，云端30从与第一终端20对应的AI模型库中查找AI模型，并将AI模型下发给第二终端21。
步骤S804与上述步骤S604类似，这里不赘述。
步骤S805：响应于查找成功，云端30向第二终端21下发查找指令。
若与第二终端21对应的AI模型库中存在与所需的AI模型，则向第二终端21下发查找指令。
步骤S806：第二终端21根据查找指令获取已下载的AI模型及用已下载的AI模型对应的已检测工件的第一特征信息。
步骤S807：第二终端21获取待检测工件的第一特征信息，并计算第一特征信息与第二特征信息的匹配度，并将匹配度发送云端30。
本实施例采用步骤S805和步骤S806计算终端20已检测的工件与待检测的工件的相似度，从而确定能否采用已下载的AI模型对待检测工件进行检测。
步骤S808：响应于匹配度大于预设值，云端30获取与已检测工件的工件类型对应的AI模型的模型参数，并将模型参数下发给第二终端21。
若已检测的工件与待检测的工件的相似度较高，则认为能采用已下载的AI模型对待检测工件进行检测。
为节约网络资源及存储资源，第二终端21可以仅下载AI模型的模型参数。
步骤S809：第二终端21利用模型参数更新已下载的AI模型，并利用更新后的AI模型对工件进行检测。
本实施例的工件检测方法进一步包括步骤S809和步骤S810。
步骤S810：响应于匹配度小于或等于预设值，云端30将与已检测工件的工件类型对应的AI模型下发给第二终端21。
若已检测工件与待检测工件的相似度较低，则认为不能采用已下载的AI模型对待检测工件进行检测，则云端30将与已检测工件的工件类型对应的AI模型下发给第二终端21。
步骤S811：第二终端21利用已检测工件的工件类型对应的AI模型对工件进行检测。
步骤S811与上述步骤S605类似，这里不赘述。
本实施例是在第二终端21获取工件的特征信息之间的匹配度，以根据匹配度来对AI模型进行选择。
本申请进一步提出另一实施例基于云端的工件检测方法，如图9所示，本实施例的工件检测方法可以用于上述基于云端的工件检测系统10。本实施例基于云端的工件检测方法具体包括以下步骤：
步骤S901：第一终端20主动向云端30分享AI模型。
步骤S902：第二终端21向云端30发送下载请求。
步骤S903：云端30根据下载请求从与第二终端21对应的AI模型库中查找AI模型。
步骤S904：响应于查找失败，云端30从与第一终端20对应的AI模型库中查找AI模型，并将AI模型下发给第二终端21。
步骤S905：第二终端21利用AI模型对工件进行检测。
步骤S901至步骤S905与上述步骤S601至步骤S605类似，这里不赘述。
步骤S906：第二终端21将检测结果发送给云端30。
步骤S907：云端30利用检测结果对与工件类型对应的AI模型进行训练更新。
具体地，云端30利用其AI模块33对AI模型进行训练，以更新AI模型，实现AI模型的深度学习。
本申请进一步提出一种计算机可读存储介质，如图10所示，本实施例计算机可读存储介质80用于存储上述实施例的程序指令810，程序指令810能够被执行以上述方法实施例的方法。程序指令810已在上述方法实施例中进行了详细的叙述，这里不赘述。
本实施例计算机可读存储介质80可以是但不局限于U盘、SD卡、PD光驱、移动硬盘、大容量软驱、闪存、多媒体记忆卡、服务器等。
区别于现有技术，本申请基于云端的工件检测方法包括：第一终端主动向云端分享AI模型；第二终端向云端发送下载请求；云端根据下载请求从与第二终端对应的AI模型库中查找与AI模型；响应于查找失败，云端从与第一终端对应的AI模型库中查找与AI模型，并将AI模型下发给终端；终端利用AI模型对工件进行检测。通过这种方式，本申请的第一终端主动向云端分享AI模型，能够使第二终端在从其对应的AI库中找不到与所需的AI模型(AI模型不存在或者训练数据较少)时，云端可以从第一终端的AI库获取AI模型，因此，能够实现AI模型的共享，且能够解决具有类似检测功能需求但不具备足够训练数据的终端采用自身对应的AI模型进行工件检测，导致检测精准度较低的问题；因此，本申请能够实现AI模型的共享及提高工件的检测精准度。且本申请AI模型对工件的检测在终端进行，终端无需将获取的大量的工件特征信息发送给云端，不仅能够节约网络资源，而且能够避免因工厂网络环境差，云端接收不到工件特征信息，不能采用AI模型进行工件检测的问题。
另外，上述功能如果以软件功能的形式实现并作为独立产品销售或使用时，可存储在一个移动终端可读取存储介质中，即，本申请还提供一种存储有程序数据的存储装置，所述程序数据能够被执行以实现上述实施例的方法，该存储装置可以为如U盘、光盘、服务器等。也就是说，本申请可以以软件产品的形式体现出来，其包括若干指令用以使得一台智能终端执行各个实施例所述方法的全部或部分步骤。
在本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、机构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、机构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(可以是个人计算机，服务器，网络设备或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效机构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种基于云端的工件检测方法，其特征在于，包括：
第一终端主动向云端分享AI模型；
第二终端向所述云端发送下载请求；
所述云端根据所述下载请求从与所述第二终端对应的AI模型库中查找与所述AI模型；
响应于查找失败，所述云端从与所述第一终端对应的AI模型库中获取所述AI模型，并将所述AI模型下发给所述第二终端；
所述第二终端利用所述AI模型对所述工件进行检测。
2.根据权利要求1所述的工件检测方法，其特征在于，所述下载请求包括所述工件的工件类型及特征信息，所述云端根据所述下载请求从所述第二终端对应的AI模型库中查找与所述下载请求对应的AI模型包括：
所述云端将所述工件类型与预设类型进行匹配；
响应于匹配成功，所述云端计算所述特征信息与预设特征信息的匹配度；
响应于所述匹配度大于预设值，所述云端判定查找成功；
响应于所述匹配度小于或者等于所述预设值，所述云端判定查找失败。
3.根据权利要求2所述的工件检测方法，其特征在于，进一步包括：
响应于查找成功，所述云端获取与所述预设特征信息对应的AI模型的模型参数；
所述云端将所述模型参数下发给所述终端；
所述第二终端利用所述AI模型对所述工件进行检测包括：
所述第二终端利用所述模型参数更新已下载的AI模型，并利用更新后的AI模型对所述工件进行检测。
4.根据权利要求1所述的工件检测方法，其特征在于，所述下载请求包括所述工件的工件类型，所述工件检测方法进一步包括：
响应于查找成功，所述云端向所述第二终端下发查找指令；
所述第二终端根据所述查找指令获取已下载的AI模型及用所述已下载的AI模型对应的已检测工件的第一特征信息；
所述第二终端获取待检测工件的第二特征信息，并计算所述第一特征信息与所述第二特征信息的匹配度，并将所述匹配度发送所述云端；
响应于所述匹配度大于预设值，所述云端获取与所述已检测工件的工件类型对应的AI模型的模型参数，并将所述模型参数下发给所述第二终端；
所述第二终端利用所述AI模型对所述工件进行检测包括：
所述第二终端利用所述模型参数更新所述已下载的AI模型，并利用更新后的AI模型对所述待检测工件进行检测。
5.根据权利要求4所述的工件检测方法，其特征在于，所述工件检测方法进一步包括：
响应于所述匹配度小于或等于所述预设值，所述云端将与所述已检测工件的工件类型对应的AI模型下发给所述第二终端。
6.一种基于云端的工件检测系统，其特征在于，包括：第一终端、第二终端及分别与所述第一终端和所述第二终端通信的云端；其中，所述第一终端主动向所述云端分享AI模型；所述第二终端向所述云端发送下载请求；所述云端根据所述下载请求从与所述第二终端对应的AI模型库中查找所述与所述AI模型；响应于查找失败，所述云端从与所述第一终端对应的AI模型库中查找所述与所述AI模型，并将所述AI模型下发给所述第二终端；所述第二终端利用所述AI模型对所述工件进行检测。
7.根据权利要求6所述的工件检测系统，其特征在于，进一步包括辅助设备，与所述第二终端通信，用于采集所述工件的特征信息，并将所述特征信息传输给所述终端，以使所述第二终端利用所述AI模型对根据所述特征信息进行检测。
8.根据权利要求7所述的工件检测系统，其特征在于，所述辅助设备包括：
图像传感器，用于采集所述工件的图像信息，以使所述第二终端从所述图像信息中获取所述特征信息；
光源，用于为所述图像传感器提供光补偿；
视觉控制器，用于实现对所述图像传感器的控制及对所述图像信息的分析。
9.根据权利要求7所述的工件检测系统，其特征在于，进一步包括管理系统，集成于所述第二终端或所述云端，其中，所述管理系统包括：
设备管理模块，用于实现所述第二终端及所述辅助设备的管理；
AI模型管理模块，用于实现所述AI模型的管理；
界面管理模块，用于实现所述基于云端的工件检测系统的界面管理。
10.根据权利要求9所述的工件检测系统，其特征在于，所述云端包括：数据库，用于存储所述AI模型库及所述特征信息；
HDFS，用于实现对所述数据库的访问；
AI模块，用于实现对所述AI模型的更新及训练。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序指令，所述程序指令能够被执行以实现权利要求1-5任一项所述的工件检测方法。
CN202011615596.8A 2020-12-30 2020-12-30 基于云端的工件检测方法及系统、计算机可读存储介质 Pending CN112711603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011615596.8A CN112711603A (zh) 2020-12-30 2020-12-30 基于云端的工件检测方法及系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011615596.8A CN112711603A (zh) 2020-12-30 2020-12-30 基于云端的工件检测方法及系统、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112711603A true CN112711603A (zh) 2021-04-27

Family

ID=75547418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011615596.8A Pending CN112711603A (zh) 2020-12-30 2020-12-30 基于云端的工件检测方法及系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112711603A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040885A1 (zh) * 2021-09-18 2023-03-23 维沃移动通信有限公司 参数选择方法、参数配置方法、终端及网络侧设备
WO2023195247A1 (ja) * 2022-04-06 2023-10-12 ソニーセミコンダクタソリューションズ株式会社 センサ装置、制御方法、情報処理装置、情報処理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019178820A1 (zh) * 2018-03-22 2019-09-26 深圳达闼科技控股有限公司 物质检测信息的上传及上传权限的确定方法、系统及装置
CN110567974A (zh) * 2019-09-30 2019-12-13 华中科技大学 一种基于云端人工智能表面缺陷检测系统
CN111833303A (zh) * 2020-06-05 2020-10-27 北京百度网讯科技有限公司 产品的检测方法、装置、电子设备及存储介质
CN111915604A (zh) * 2020-08-20 2020-11-10 魏小燕 一种互联网人工智能电子零配件识别与检测系统
CN112082999A (zh) * 2020-07-27 2020-12-15 深检数据科技(江苏)有限公司 一种工业产品缺陷检测方法和工业智能相机
CN112102263A (zh) * 2020-08-31 2020-12-18 深圳思谋信息科技有限公司 缺陷检测模型生成系统、方法、装置和计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019178820A1 (zh) * 2018-03-22 2019-09-26 深圳达闼科技控股有限公司 物质检测信息的上传及上传权限的确定方法、系统及装置
CN110567974A (zh) * 2019-09-30 2019-12-13 华中科技大学 一种基于云端人工智能表面缺陷检测系统
CN111833303A (zh) * 2020-06-05 2020-10-27 北京百度网讯科技有限公司 产品的检测方法、装置、电子设备及存储介质
CN112082999A (zh) * 2020-07-27 2020-12-15 深检数据科技(江苏)有限公司 一种工业产品缺陷检测方法和工业智能相机
CN111915604A (zh) * 2020-08-20 2020-11-10 魏小燕 一种互联网人工智能电子零配件识别与检测系统
CN112102263A (zh) * 2020-08-31 2020-12-18 深圳思谋信息科技有限公司 缺陷检测模型生成系统、方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040885A1 (zh) * 2021-09-18 2023-03-23 维沃移动通信有限公司 参数选择方法、参数配置方法、终端及网络侧设备
WO2023195247A1 (ja) * 2022-04-06 2023-10-12 ソニーセミコンダクタソリューションズ株式会社 センサ装置、制御方法、情報処理装置、情報処理システム

Similar Documents

Publication Publication Date Title
CN112712504B (zh) 基于云端的工件检测方法及系统、计算机可读存储介质
CN112871703B (zh) 一种智能管理选煤平台及其方法
CN112711603A (zh) 基于云端的工件检测方法及系统、计算机可读存储介质
CN111080775A (zh) 一种基于人工智能的服务器巡检方法及系统
CN113989503A (zh) 一种生产线巡检系统、方法、电子设备及存储介质
CN113160021A (zh) 一种基于多源异构数据联邦学习的安全生产预警系统
CN115695541A (zh) 基于边缘计算的网点巡检监测方法、装置、设备及存储介质
Variz et al. Machine learning applied to an intelligent and adaptive robotic inspection station
CN112712505A (zh) 基于云端的工件检测方法及系统、计算机可读存储介质
Bhargava et al. A study on potential of big visual data analytics in construction Arena
CN103913150A (zh) 智能电能表电子元器件一致性检测方法
WO2021030322A1 (en) System and method of object detection using ai deep learning models
CN111696095A (zh) 用于检测物体表面缺陷的方法及装置
US11961218B2 (en) Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images
CN114550107A (zh) 基于无人机集群的桥梁联动智能巡检方法、系统及云平台
CN114218430A (zh) 远程协作设备运维系统、方法及装置
CN112631272A (zh) 一种远程恢复机器人动力的方法以及设备
Hegiste et al. Federated object detection for quality inspection in shared production
US20230245433A1 (en) Systems and Methods for Implementing a Hybrid Machine Vision Model to Optimize Performance of a Machine Vision Job
CN110252686A (zh) 遥控器质量的确定方法及装置
Mukhametshin et al. Sensor tag detection, tracking and recognition for AR application
CN116703905B (zh) 空料检测方法、装置、电子设备和计算机可读存储介质
US20220245274A1 (en) System and method for detection of patterns in application for application transformation and applying those patterns for automated application transformation
US20230095647A1 (en) Systems and Methods for Precise Anomaly Localization Within Content Captured by a Machine Vision Camera
KR102623979B1 (ko) 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination