CN115065708B - 基于机器视觉检测的工业物联网系统及其控制方法 - Google Patents

基于机器视觉检测的工业物联网系统及其控制方法 Download PDF

Info

Publication number
CN115065708B
CN115065708B CN202210983679.5A CN202210983679A CN115065708B CN 115065708 B CN115065708 B CN 115065708B CN 202210983679 A CN202210983679 A CN 202210983679A CN 115065708 B CN115065708 B CN 115065708B
Authority
CN
China
Prior art keywords
data
image
platform
image data
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210983679.5A
Other languages
English (en)
Other versions
CN115065708A (zh
Inventor
邵泽华
刘彬
张磊
李勇
魏小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Qinchuan IoT Technology Co Ltd
Original Assignee
Chengdu Qinchuan IoT Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Qinchuan IoT Technology Co Ltd filed Critical Chengdu Qinchuan IoT Technology Co Ltd
Priority to CN202210983679.5A priority Critical patent/CN115065708B/zh
Publication of CN115065708A publication Critical patent/CN115065708A/zh
Priority to US18/048,024 priority patent/US11640660B2/en
Application granted granted Critical
Publication of CN115065708B publication Critical patent/CN115065708B/zh
Priority to US18/184,645 priority patent/US11908127B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于机器视觉检测的工业物联网及控制方法,提供了一种根据生产线上机器视觉数据采集时产生的图像信息进行生产线参数适时调整的技术方案,其通过不同工艺步骤对应的图像信息的差异,获取不同工艺步骤的加工情况,从而可以在不增加系统复杂度的情况下实现更精确的生产线参数调整,有效降低了工业物联网开发成本,提高了智能制造控制的精确度。

Description

基于机器视觉检测的工业物联网系统及其控制方法
技术领域
本发明涉及工业物联网技术领域,具体涉及基于机器视觉检测的工业物联网系统及其控制方法。
背景技术
机器视觉是用于在工业上通常为自动检查、过程控制和机器人引导等应用提供基于图像的自动检查和分析的技术和方法。机器视觉技术是工业物联网上非常重要的环节,目前机器视觉主要应用在物料抓取、摆放、对齐等各种需要进行物料调整的场景中。目前对于工业物联网来说,智能控制主要依赖于对生产线上参数的反馈进行,没有充分利用机器视觉产生的数据,反而让过多的传感器增加了系统复杂度。
发明内容
为了至少克服现有技术中的上述不足,本申请的目的在于提供基于机器视觉检测的工业物联网及控制方法。
第一方面,本申请实施例提供了基于机器视觉检测的工业物联网,包括:依次交互的服务平台、管理平台和传感网络平台,所述传感网络平台包括传感网络总平台和多个传感网络分平台;
其中:
传感网络分平台,被配置为:
接收生产线上工艺步骤结束时产品的图像信息作为第一图像数据;每个所述传感网络分平台接收不同工艺步骤对应的所述第一图像数据;
识别所述第一图像数据的第一特征信息,并根据所述第一特征信息和基准特征信息矫正所述第一图像数据形成第二图像数据;
将所述第二图像数据发送至所述传感网络总平台;
传感网络总平台,被配置为:
接收所述的第二图像数据,并将所述第二图像数据按照生产线工艺步骤排序形成第一图像数据库;
将所述第一图像数据库发送至所述管理平台;
管理平台,被配置为:
识别所述第一图像数据库中相邻的所述第二图像数据的差异作为第一图像差异数据;
根据所述第一图像差异数据生成生产线设备的控制参数并修正后作为第一参数,并通过所述传感网络平台将所述第一参数下发至生产线设备;
将所述第一图像数据库和所述第一图像差异数据通过所述服务平台发送至用户平台进行展示。
现有技术中,对于生产线智能调整的反馈控制主要基于生产线上相关传感器检测的数据进行。但是在生产实践中,发明人发现为了获取更准确的生产线反馈,就需要更多的传感器;然而增加传感器数量不但会增加系统复杂度,有时还会造成后续数据处理的过拟合,反而降低控制精度。
本申请实施例实施时,提供了一种根据生产线上机器视觉数据采集时产生的图像信息进行生产线参数适时调整的技术方案,其通过不同工艺步骤对应的图像信息的差异,获取不同工艺步骤的加工情况,从而可以在不增加系统复杂度的情况下实现更精确的生产线参数调整,有效降低了工业物联网开发成本,提高了智能制造控制的精确度。
本申请实施例中,传感网络总平台和传感网络分平台均被配置为网关服务器,服务平台被配置为第一服务器,管理平台被配置为第二服务器。传感网络分平台接收的第一图像数据,一般采用在工艺步骤结束进行转运、对齐或者其他操作时获取的机器视觉使用的图像数据,为了提高识别和校对效率,每个传感网络分平台接收不同工艺步骤对应第一图像数据进行处理。其中处理过程是通过识别第一图像数据的第一特征信息,并通过预设于传感网络分平台的基准特征信息进行图像校正,每个传感网络分平台所识别的第一特征信息可以相同,也可以存在差异,本申请实施例在此不多做限定,只需要每个传感网络分平台校正后形成的第二图像数据具有相同的产品尺寸和方向即可。
在本申请实施例中,传感网络总平台在收到第二图像数据时,根据生产线工艺步骤进行排序,排序方式可以根据第二图像数据的拍摄设备ID进行,也可以根据传感网络分平台的通信ID进行,本申请实施例在此不多做限定。排序的计算量较小,普通的智能网关设备完全可以胜任。
在本申请实施例中,管理平台是进行参数处理的最主要的平台,其需要识别第一图像数据库中相邻第二图像数据的差异,由于传感网络总平台是根据生产线工艺步骤排序生成的第一图像数据库,所以采用管理平台在识别所述差异后,可以获取任一产品在经过任一工艺环节时产生的变化,该变化即表征了该工艺环节的生产过程。通过对这一生产过程的检测,即可对生产线的控制参数进行修正。同时这些图像还可以通过服务平台向用户平台进行展示。
在一种可能的实现方式中,所述服务平台包括服务总平台和多个服务分平台;
其中:
服务分平台,被配置为:
接收所述第一图像差异数据;每个所述服务分平台接收同一个生产线上不同产品对应的所述第一图像差异数据;
将所有的所述第一图像差异数据转发至所述服务总平台;
服务总平台,被配置为:
计算不同产品的所述第一图像差异数据中对应数据的差异作为第二图像差异数据;
将所述第二图像差异数据发送至所述管理平台;
所述管理平台根据所述第二图像差异数据修正所述控制参数形成所述第一参数。
在一种可能的实现方式中,所述管理平台还被配置为:
将所述第一图像差异数据与配置于所述管理平台的基准图像差异数据进行比对生成第三图像差异数据;
将所述第三图像差异数据输入反演模型生成所述控制参数,并将所述第二图像差异数据输入反演模型生成第二参数;所述反演模型的输入数据为图像差异数据,所述反演模型的输出数据为生产线参数;
计算所述控制参数和所述第二参数的均值形成所述第一参数。
在一种可能的实现方式中,所述传感网络分平台还被配置为:
将所述第一特征信息进行缩放和旋转至与所述基准特征信息完全对齐,并记录缩放和旋转对应的数据作为处理数据;
根据所述处理数据对所述第一图像数据进行矫正处理形成第二图像数据。
在一种可能的实现方式中,所述管理平台还被配置为:
将相邻的所述第二图像数据中处于生产线上游的图像数据作为上游图像数据,并将相邻的所述第二图像数据中处于生产线下游的图像数据作为下游图像数据;
获取所述上游图像数据中的边缘数据作为上边缘数据,并获取所述下游图像数据中的边缘数据作为下边缘数据;从所述下边缘数据中筛选出所述上边缘数据中不存在的边缘作为差异边缘;
从所述下游图像数据中选出与所述上游图像数据像素值差异大于预设值的像素作为预选像素,并从所述预选像素中筛选出与所述差异边缘关联的像素形成所述第一图像差异数据;与所述差异边缘关联为位于闭合的所述差异边缘内或位于所述差异边缘与图形边界之间。
第二方面,本申请实施例提供了基于机器视觉检测的工业物联网控制方法,应用于依次交互的服务平台、管理平台和传感网络平台,所述传感网络平台包括传感网络总平台和多个传感网络分平台;
所述方法包括:
所述传感网络分平台接收生产线上工艺步骤结束时产品的图像信息作为第一图像数据;每个所述传感网络分平台接收不同工艺步骤对应的所述第一图像数据;
所述传感网络分平台识别所述第一图像数据的第一特征信息,并根据所述第一特征信息和基准特征信息矫正所述第一图像数据形成第二图像数据;
所述传感网络分平台将所述第二图像数据发送至所述传感网络总平台;
所述传感网络总平台接收所述的第二图像数据,并将所述第二图像数据按照生产线工艺步骤排序形成第一图像数据库;
所述传感网络总平台将所述第一图像数据库发送至所述管理平台;
所述管理平台识别所述第一图像数据库中相邻的所述第二图像数据的差异作为第一图像差异数据;
所述管理平台根据所述第一图像差异数据生成生产线设备的控制参数并修正后作为第一参数,并通过所述传感网络平台将所述第一参数下发至生产线设备;
所述管理平台将所述第一图像数据库和所述第一图像差异数据通过所述服务平台发送至用户平台进行展示。
在一种可能的实现方式中,所述服务平台包括服务总平台和多个服务分平台;
所述方法还包括:
所述服务分平台接收所述第一图像差异数据;每个所述服务分平台接收同一个生产线上不同产品对应的所述第一图像差异数据;
所述服务分平台将所有的所述第一图像差异数据转发至所述服务总平台;
所述服务总平台计算不同产品的所述第一图像差异数据中对应数据的差异作为第二图像差异数据;
所述服务总平台将所述第二图像差异数据发送至所述管理平台;
所述管理平台根据所述第二图像差异数据修正所述控制参数形成所述第一参数。
在一种可能的实现方式中,所述管理平台将所述第一图像差异数据与配置于所述管理平台的基准图像差异数据进行比对生成第三图像差异数据;
所述管理平台将所述第三图像差异数据输入反演模型生成所述控制参数,并将所述第二图像差异数据输入反演模型生成第二参数;所述反演模型的输入数据为图像差异数据,所述反演模型的输出数据为生产线参数;
所述管理平台计算所述控制参数和所述第二参数的均值形成所述第一参数。
在一种可能的实现方式中,所述传感网络分平台将所述第一特征信息进行缩放和旋转至与所述基准特征信息完全对齐,并记录缩放和旋转对应的数据作为处理数据;
所述传感网络分平台根据所述处理数据对所述第一图像数据进行矫正处理形成第二图像数据。
在一种可能的实现方式中,所述管理平台将相邻的所述第二图像数据中处于生产线上游的图像数据作为上游图像数据,并将相邻的所述第二图像数据中处于生产线下游的图像数据作为下游图像数据;
所述管理平台获取所述上游图像数据中的边缘数据作为上边缘数据,并获取所述下游图像数据中的边缘数据作为下边缘数据;从所述下边缘数据中筛选出所述上边缘数据中不存在的边缘作为差异边缘;
所述管理平台从所述下游图像数据中选出与所述上游图像数据像素值差异大于预设值的像素作为预选像素,并从所述预选像素中筛选出与所述差异边缘关联的像素形成所述第一图像差异数据;与所述差异边缘关联为位于闭合的所述差异边缘内或位于所述差异边缘与图形边界之间。
本发明与现有技术相比,具有如下的优点和有益效果:
本发明基于机器视觉检测的工业物联网及控制方法,提供了一种根据生产线上机器视觉数据采集时产生的图像信息进行生产线参数适时调整的技术方案,其通过不同工艺步骤对应的图像信息的差异,获取不同工艺步骤的加工情况,从而可以在不增加系统复杂度的情况下实现更精确的生产线参数调整,有效降低了工业物联网开发成本,提高了智能制造控制的精确度。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明实施例系统结构示意图;
图2为本发明方法步骤示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其它操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
为了便于对上述的基于机器视觉检测的工业物联网进行阐述,请结合参考图1,提供了本发明实施例所公开的基于机器视觉检测的工业物联网的通信架构示意图。其中,所述基于机器视觉检测的工业物联网可以包括:依次交互的服务平台、管理平台和传感网络平台,其中,服务平台还交互于作为用户终端的用户平台,传感网络平台还交互于作为生产线的对象平台,所述传感网络平台包括传感网络总平台和多个传感网络分平台;
其中:
传感网络分平台,被配置为:
接收生产线上工艺步骤结束时产品的图像信息作为第一图像数据;每个所述传感网络分平台接收不同工艺步骤对应的所述第一图像数据;
识别所述第一图像数据的第一特征信息,并根据所述第一特征信息和基准特征信息矫正所述第一图像数据形成第二图像数据;
将所述第二图像数据发送至所述传感网络总平台;
传感网络总平台,被配置为:
接收所述的第二图像数据,并将所述第二图像数据按照生产线工艺步骤排序形成第一图像数据库;
将所述第一图像数据库发送至所述管理平台;
管理平台,被配置为:
识别所述第一图像数据库中相邻的所述第二图像数据的差异作为第一图像差异数据;
根据所述第一图像差异数据生成生产线设备的控制参数并修正后作为第一参数,并通过所述传感网络平台将所述第一参数下发至生产线设备;
将所述第一图像数据库和所述第一图像差异数据通过所述服务平台发送至用户平台进行展示。
现有技术中,对于生产线智能调整的反馈控制主要基于生产线上相关传感器检测的数据进行。但是在生产实践中,发明人发现为了获取更准确的生产线反馈,就需要更多的传感器;然而增加传感器数量不但会增加系统复杂度,有时还会造成后续数据处理的过拟合,反而降低控制精度。
本申请实施例实施时,提供了一种根据生产线上机器视觉数据采集时产生的图像信息进行生产线参数适时调整的技术方案,其通过不同工艺步骤对应的图像信息的差异,获取不同工艺步骤的加工情况,从而可以在不增加系统复杂度的情况下实现更精确的生产线参数调整,有效降低了工业物联网开发成本,提高了智能制造控制的精确度。
本申请实施例中,传感网络总平台和传感网络分平台均被配置为网关服务器,服务平台被配置为第一服务器,管理平台被配置为第二服务器。传感网络分平台接收的第一图像数据,一般采用在工艺步骤结束进行转运、对齐或者其他操作时获取的机器视觉使用的图像数据,为了提高识别和校对效率,每个传感网络分平台接收不同工艺步骤对应第一图像数据进行处理。其中处理过程是通过识别第一图像数据的第一特征信息,并通过预设于传感网络分平台的基准特征信息进行图像校正,每个传感网络分平台所识别的第一特征信息可以相同,也可以存在差异,本申请实施例在此不多做限定,只需要同一个传感网络分平台校正后形成的第二图像数据具有相同的产品尺寸和方向即可。
在本申请实施例中,传感网络总平台在收到第二图像数据时,根据生产线工艺步骤进行排序,排序方式可以根据第二图像数据的拍摄设备ID进行,也可以根据传感网络分平台的通信ID进行,本申请实施例在此不多做限定。排序的计算量较小,普通的智能网关设备完全可以胜任。
在本申请实施例中,管理平台是进行参数处理的最主要的平台,其需要识别第一图像数据库中相邻第二图像数据的差异,由于传感网络总平台是根据生产线工艺步骤排序生成的第一图像数据库,所以采用管理平台在识别所述差异后,可以获取任一产品在经过任一工艺环节时产生的变化,该变化即表征了该工艺环节的生产过程。通过对这一生产过程的检测,即可对生产线的控制参数进行修正。同时这些图像还可以通过服务平台向用户平台进行展示。
在一种可能的实现方式中,所述服务平台包括服务总平台和多个服务分平台;
其中:
服务分平台,被配置为:
接收所述第一图像差异数据;每个所述服务分平台接收同一个生产线上不同产品对应的所述第一图像差异数据;
将所有的所述第一图像差异数据转发至所述服务总平台;
服务总平台,被配置为:
计算不同产品的所述第一图像差异数据中对应数据的差异作为第二图像差异数据;
将所述第二图像差异数据发送至所述管理平台;
所述管理平台根据所述第二图像差异数据修正所述控制参数形成所述第一参数。
本申请实施例实施时,在实践中发明人发现,对于生产线生产参数的控制不只需要考虑产品加工情况,还需要考虑加工成品的稳定性,所以在本申请实施例中通过服务分平台接收同一个生产线上不同产品的第一图像差异数据,并通过服务总平台进行第一图像差异数据之间的比对;其中同一个生产线生产同一种产品时,同一个生产线上不同产品指同一种产品的不同的产品个体。而服务总平台所计算的第一图像差异数据中对应数据的差异是指,不同产品在同一个工艺步骤中产生的差异数据。
示例的,生产线上存在连续的工艺步骤A、工艺步骤B和工艺步骤C,此时产品A先经过工艺步骤A拍摄了图像AA,再经过工艺步骤B拍摄了图像AB,再经过工艺步骤C拍摄了图像AC;产品B先经过工艺步骤A拍摄了图像BA,经过工艺步骤B拍摄了图像BB,再经过工艺步骤C拍摄了图像BC;那么产品A所对应的第一图像差异数据为图像A1和图像A2,其中图像A1是图像AB与图像AA进行了非运算的结果,图像A2是图像AC与图像AB进行了非运算的结果;产品B所对应的第一图像差异数据为图像B1和图像B2,其中图像B1是图像BB与图像BA进行了非运算的结果,图像B2是图像BC与图像BB进行了非运算的结果;此时第一图像差异数据中对应数据的差异为图像A1与图像B1的差异,图像A2与图像B2的差异。
不同产品在同一个工艺步骤中产生的差异数据表征了该工艺步骤加工的稳定性,即在同样的生产参数下,加工出产品的状态。所以在本申请实施例中,管理平台通过第二图像差异数据对控制参数进行修正,可以在修正后的控制参数下发之后维持生产线的稳定性。
在一种可能的实现方式中,所述管理平台还被配置为:
将所述第一图像差异数据与配置于所述管理平台的基准图像差异数据进行比对生成第三图像差异数据;
将所述第三图像差异数据输入反演模型生成所述控制参数,并将所述第二图像差异数据输入反演模型生成第二参数;所述反演模型的输入数据为图像差异数据,所述反演模型的输出数据为生产线参数;
计算所述控制参数和所述第二参数的均值形成所述第一参数。
本申请实施例实施时,通过预设反演模型的方式进行生产线参数的计算,其中反演模型可以通过样本进行模型训练,应当理解的是,现有技术中通过样本进行模型训练的技术是非常成熟的,无论采用何种模型都应当在本申请实施例的保护范围之内。在本申请实施例中,为了减少管理平台的计算量,设置了基准图像差异数据,这样使得只通过一个反演模型进行可以对第三图像差异数据和第二图像差异数据进行分别计算,有效减少了管理平台的模型读取时间。在本申请实施例中,通过第三图像差异数据计算出的控制参数和通过第二图像差异数据计算出的第二参数需要进行综合才能生成第一参数进行下发,具体的,采用均值计算的方式来生成第一参数,可以在生产线的运行过程中,对第一参数进行迭代修正,在满足生产工艺要求的情况下,尽量稳定生产线的生产过程。应当理解的是,在本申请实施例中所提到的计算所述控制参数和所述第二参数的均值,应当是计算同一种参数的均值。
在一种可能的实现方式中,所述传感网络分平台还被配置为:
将所述第一特征信息进行缩放和旋转至与所述基准特征信息完全对齐,并记录缩放和旋转对应的数据作为处理数据;
根据所述处理数据对所述第一图像数据进行矫正处理形成第二图像数据。
在一种可能的实现方式中,所述管理平台还被配置为:
将相邻的所述第二图像数据中处于生产线上游的图像数据作为上游图像数据,并将相邻的所述第二图像数据中处于生产线下游的图像数据作为下游图像数据;
获取所述上游图像数据中的边缘数据作为上边缘数据,并获取所述下游图像数据中的边缘数据作为下边缘数据;从所述下边缘数据中筛选出所述上边缘数据中不存在的边缘作为差异边缘;
从所述下游图像数据中选出与所述上游图像数据像素值差异大于预设值的像素作为预选像素,并从所述预选像素中筛选出与所述差异边缘关联的像素形成所述第一图像差异数据;与所述差异边缘关联为位于闭合的所述差异边缘内或位于所述差异边缘与图形边界之间。
本申请实施例实施时,提供了一种更具体的差异数据获取方式。在生产实践中发明人发现,机器视觉所应用的图像缺少景深信息,而且不同位置的图像光照信息也有差异。为了减少上述信息对差异数据计算的影响,采用了一种边缘加差异像素综合识别的方法,由于边缘识别不受光照差异影响,差异边缘的识别一般都较为准确,再结合由像素值识别出的图块,即可确定具体的第一图像差异数据,其有效的提高了识别的准确度。
在上述基础上,请结合参阅图2,为本发明实施例所提供的基于机器视觉检测的工业物联网控制方法的流程示意图,所述基于机器视觉检测的工业物联网控制方法可以应用于图1中的基于机器视觉检测的工业物联网,进一步地,所述基于机器视觉检测的工业物联网控制方法具体可以包括以下步骤S1-步骤S8所描述的内容。
S1:所述传感网络分平台接收生产线上工艺步骤结束时产品的图像信息作为第一图像数据;每个所述传感网络分平台接收不同工艺步骤对应的所述第一图像数据;
S2:所述传感网络分平台识别所述第一图像数据的第一特征信息,并根据所述第一特征信息和基准特征信息矫正所述第一图像数据形成第二图像数据;
S3:所述传感网络分平台将所述第二图像数据发送至所述传感网络总平台;
S4:所述传感网络总平台接收所述的第二图像数据,并将所述第二图像数据按照生产线工艺步骤排序形成第一图像数据库;
S5:所述传感网络总平台将所述第一图像数据库发送至所述管理平台;
S6:所述管理平台识别所述第一图像数据库中相邻的所述第二图像数据的差异作为第一图像差异数据;
S7:所述管理平台根据所述第一图像差异数据生成生产线设备的控制参数并修正后作为第一参数,并通过所述传感网络平台将所述第一参数下发至生产线设备;
S8:所述管理平台将所述第一图像数据库和所述第一图像差异数据通过所述服务平台发送至用户平台进行展示。
在一种可能的实现方式中,所述服务平台包括服务总平台和多个服务分平台;
所述方法还包括:
所述服务分平台接收所述第一图像差异数据;每个所述服务分平台接收同一个生产线上不同产品对应的所述第一图像差异数据;
所述服务分平台将所有的所述第一图像差异数据转发至所述服务总平台;
所述服务总平台计算不同产品的所述第一图像差异数据中对应数据的差异作为第二图像差异数据;
所述服务总平台将所述第二图像差异数据发送至所述管理平台;
所述管理平台根据所述第二图像差异数据修正所述控制参数形成所述第一参数。
在一种可能的实现方式中,所述管理平台将所述第一图像差异数据与配置于所述管理平台的基准图像差异数据进行比对生成第三图像差异数据;
所述管理平台将所述第三图像差异数据输入反演模型生成所述控制参数,并将所述第二图像差异数据输入反演模型生成第二参数;所述反演模型的输入数据为图像差异数据,所述反演模型的输出数据为生产线参数;
所述管理平台计算所述控制参数和所述第二参数的均值形成所述第一参数。
在一种可能的实现方式中,所述传感网络分平台将所述第一特征信息进行缩放和旋转至与所述基准特征信息完全对齐,并记录缩放和旋转对应的数据作为处理数据;
所述传感网络分平台根据所述处理数据对所述第一图像数据进行矫正处理形成第二图像数据。
在一种可能的实现方式中,所述管理平台将相邻的所述第二图像数据中处于生产线上游的图像数据作为上游图像数据,并将相邻的所述第二图像数据中处于生产线下游的图像数据作为下游图像数据;
所述管理平台获取所述上游图像数据中的边缘数据作为上边缘数据,并获取所述下游图像数据中的边缘数据作为下边缘数据;从所述下边缘数据中筛选出所述上边缘数据中不存在的边缘作为差异边缘;
所述管理平台从所述下游图像数据中选出与所述上游图像数据像素值差异大于预设值的像素作为预选像素,并从所述预选像素中筛选出与所述差异边缘关联的像素形成所述第一图像差异数据;与所述差异边缘关联为位于闭合的所述差异边缘内或位于所述差异边缘与图形边界之间。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显然本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.基于机器视觉检测的工业物联网系统,包括:依次交互的服务平台、管理平台和传感网络平台,其特征在于,所述传感网络平台包括传感网络总平台和多个传感网络分平台;
其中:
传感网络分平台,被配置为:
接收生产线上工艺步骤结束时产品的图像信息作为第一图像数据;每个所述传感网络分平台接收不同工艺步骤对应的所述第一图像数据;
识别所述第一图像数据的第一特征信息,并根据所述第一特征信息和基准特征信息矫正所述第一图像数据形成第二图像数据;
将所述第二图像数据发送至所述传感网络总平台;
传感网络总平台,被配置为:
接收所述的第二图像数据,并将所述第二图像数据按照生产线工艺步骤排序形成第一图像数据库;
将所述第一图像数据库发送至所述管理平台;
管理平台,被配置为:
识别所述第一图像数据库中相邻的所述第二图像数据的差异作为第一图像差异数据;
根据所述第一图像差异数据生成生产线设备的控制参数并修正后作为第一参数,并通过所述传感网络平台将所述第一参数下发至生产线设备;
将所述第一图像数据库和所述第一图像差异数据通过所述服务平台发送至用户平台进行展示。
2.根据权利要求1所述的基于机器视觉检测的工业物联网系统,其特征在于,所述服务平台包括服务总平台和多个服务分平台;
其中:
服务分平台,被配置为:
接收所述第一图像差异数据;每个所述服务分平台接收同一个生产线上不同产品对应的所述第一图像差异数据;
将所有的所述第一图像差异数据转发至所述服务总平台;
服务总平台,被配置为:
计算不同产品的所述第一图像差异数据中对应数据的差异作为第二图像差异数据;
将所述第二图像差异数据发送至所述管理平台;
所述管理平台根据所述第二图像差异数据修正所述控制参数形成所述第一参数。
3.根据权利要求2所述的基于机器视觉检测的工业物联网系统,其特征在于,所述管理平台还被配置为:
将所述第一图像差异数据与配置于所述管理平台的基准图像差异数据进行比对生成第三图像差异数据;
将所述第三图像差异数据输入反演模型生成所述控制参数,并将所述第二图像差异数据输入反演模型生成第二参数;所述反演模型的输入数据为图像差异数据,所述反演模型的输出数据为生产线参数;
计算所述控制参数和所述第二参数的均值形成所述第一参数。
4.根据权利要求1所述的基于机器视觉检测的工业物联网系统,其特征在于,所述传感网络分平台还被配置为:
将所述第一特征信息进行缩放和旋转至与所述基准特征信息完全对齐,并记录缩放和旋转对应的数据作为处理数据;
根据所述处理数据对所述第一图像数据进行矫正处理形成第二图像数据。
5.根据权利要求1所述的基于机器视觉检测的工业物联网系统,其特征在于,所述管理平台还被配置为:
将相邻的所述第二图像数据中处于生产线上游的图像数据作为上游图像数据,并将相邻的所述第二图像数据中处于生产线下游的图像数据作为下游图像数据;
获取所述上游图像数据中的边缘数据作为上边缘数据,并获取所述下游图像数据中的边缘数据作为下边缘数据;从所述下边缘数据中筛选出所述上边缘数据中不存在的边缘作为差异边缘;
从所述下游图像数据中选出与所述上游图像数据像素值差异大于预设值的像素作为预选像素,并从所述预选像素中筛选出与所述差异边缘关联的像素形成所述第一图像差异数据;与所述差异边缘关联为位于闭合的所述差异边缘内或位于所述差异边缘与图形边界之间。
6.基于机器视觉检测的工业物联网系统控制方法,应用于依次交互的服务平台、管理平台和传感网络平台,其特征在于,所述传感网络平台包括传感网络总平台和多个传感网络分平台;
所述方法包括:
所述传感网络分平台接收生产线上工艺步骤结束时产品的图像信息作为第一图像数据;每个所述传感网络分平台接收不同工艺步骤对应的所述第一图像数据;
所述传感网络分平台识别所述第一图像数据的第一特征信息,并根据所述第一特征信息和基准特征信息矫正所述第一图像数据形成第二图像数据;
所述传感网络分平台将所述第二图像数据发送至所述传感网络总平台;
所述传感网络总平台接收所述的第二图像数据,并将所述第二图像数据按照生产线工艺步骤排序形成第一图像数据库;
所述传感网络总平台将所述第一图像数据库发送至所述管理平台;
所述管理平台识别所述第一图像数据库中相邻的所述第二图像数据的差异作为第一图像差异数据;
所述管理平台根据所述第一图像差异数据生成生产线设备的控制参数并修正后作为第一参数,并通过所述传感网络平台将所述第一参数下发至生产线设备;
所述管理平台将所述第一图像数据库和所述第一图像差异数据通过所述服务平台发送至用户平台进行展示。
7.根据权利要求6所述的基于机器视觉检测的工业物联网系统控制方法,其特征在于,所述服务平台包括服务总平台和多个服务分平台;
所述方法还包括:
所述服务分平台接收所述第一图像差异数据;每个所述服务分平台接收同一个生产线上不同产品对应的所述第一图像差异数据;
所述服务分平台将所有的所述第一图像差异数据转发至所述服务总平台;
所述服务总平台计算不同产品的所述第一图像差异数据中对应数据的差异作为第二图像差异数据;
所述服务总平台将所述第二图像差异数据发送至所述管理平台;
所述管理平台根据所述第二图像差异数据修正所述控制参数形成所述第一参数。
8.根据权利要求7所述的基于机器视觉检测的工业物联网系统控制方法,其特征在于,所述管理平台将所述第一图像差异数据与配置于所述管理平台的基准图像差异数据进行比对生成第三图像差异数据;
所述管理平台将所述第三图像差异数据输入反演模型生成所述控制参数,并将所述第二图像差异数据输入反演模型生成第二参数;所述反演模型的输入数据为图像差异数据,所述反演模型的输出数据为生产线参数;
所述管理平台计算所述控制参数和所述第二参数的均值形成所述第一参数。
9.根据权利要求6所述的基于机器视觉检测的工业物联网系统控制方法,其特征在于,所述传感网络分平台将所述第一特征信息进行缩放和旋转至与所述基准特征信息完全对齐,并记录缩放和旋转对应的数据作为处理数据;
所述传感网络分平台根据所述处理数据对所述第一图像数据进行矫正处理形成第二图像数据。
10.根据权利要求6所述的基于机器视觉检测的工业物联网系统控制方法,其特征在于,所述管理平台将相邻的所述第二图像数据中处于生产线上游的图像数据作为上游图像数据,并将相邻的所述第二图像数据中处于生产线下游的图像数据作为下游图像数据;
所述管理平台获取所述上游图像数据中的边缘数据作为上边缘数据,并获取所述下游图像数据中的边缘数据作为下边缘数据;从所述下边缘数据中筛选出所述上边缘数据中不存在的边缘作为差异边缘;
所述管理平台从所述下游图像数据中选出与所述上游图像数据像素值差异大于预设值的像素作为预选像素,并从所述预选像素中筛选出与所述差异边缘关联的像素形成所述第一图像差异数据;与所述差异边缘关联为位于闭合的所述差异边缘内或位于所述差异边缘与图形边界之间。
CN202210983679.5A 2022-08-17 2022-08-17 基于机器视觉检测的工业物联网系统及其控制方法 Active CN115065708B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210983679.5A CN115065708B (zh) 2022-08-17 2022-08-17 基于机器视觉检测的工业物联网系统及其控制方法
US18/048,024 US11640660B2 (en) 2022-08-17 2022-10-19 Industrial internet of things, control methods and storage medium based on machine visual detection
US18/184,645 US11908127B2 (en) 2022-08-17 2023-03-15 Internet of Things systems for industrial data processing, control methods, and storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210983679.5A CN115065708B (zh) 2022-08-17 2022-08-17 基于机器视觉检测的工业物联网系统及其控制方法

Publications (2)

Publication Number Publication Date
CN115065708A CN115065708A (zh) 2022-09-16
CN115065708B true CN115065708B (zh) 2022-11-18

Family

ID=83207289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210983679.5A Active CN115065708B (zh) 2022-08-17 2022-08-17 基于机器视觉检测的工业物联网系统及其控制方法

Country Status (2)

Country Link
US (2) US11640660B2 (zh)
CN (1) CN115065708B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115065708B (zh) * 2022-08-17 2022-11-18 成都秦川物联网科技股份有限公司 基于机器视觉检测的工业物联网系统及其控制方法
CN115877808B (zh) 2023-01-30 2023-05-16 成都秦川物联网科技股份有限公司 用于薄片工件加工的工业物联网及控制方法
CN115847488B (zh) * 2023-02-07 2023-05-02 成都秦川物联网科技股份有限公司 用于协作机器人监测的工业物联网系统及控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105991946A (zh) * 2015-03-16 2016-10-05 三星电子株式会社 图像信号处理器和包括该图像信号处理器的装置
JP2019049978A (ja) * 2017-09-11 2019-03-28 株式会社リコー 通信端末、通信システム、画像処理方法、及びプログラム
KR20200029646A (ko) * 2018-09-03 2020-03-19 광주과학기술원 사물인터넷 시스템
CN111738960A (zh) * 2020-06-30 2020-10-02 珠海奔图电子有限公司 图像处理设备、方法及图像形成装置
CN111753005A (zh) * 2020-06-04 2020-10-09 上海电气集团股份有限公司 一种数据接入方法及设备
CN112257759A (zh) * 2020-09-27 2021-01-22 华为技术有限公司 一种图像处理的方法以及装置
CN113744332A (zh) * 2021-09-07 2021-12-03 汇顶科技(成都)有限责任公司 图像校正方法、存储方法、装置、电子设备以及存储介质
CN114414157A (zh) * 2022-03-29 2022-04-29 大鼎油储有限公司 一种基于物联网的储运船监控系统
CN114862860A (zh) * 2022-07-11 2022-08-05 成都秦川物联网科技股份有限公司 基于平台联动的工业物联网及控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509459B2 (en) * 2016-05-19 2019-12-17 Scenera, Inc. Scene-based sensor networks
JP7142698B2 (ja) * 2017-07-25 2022-09-27 シックスス エナジー テクノロジーズ プライベート リミテッド 環境における事象をモニタ及び制御するためのモノのインターネット(IoT)に基づく統合デバイス
US11079400B2 (en) * 2018-01-31 2021-08-03 Hewlett Packard Enterprise Development Lp Monitoring a product build process via a smart tray
IL260417B (en) * 2018-07-04 2021-10-31 Tinyinspektor Ltd System and method for automatic visual inspection
US10887582B2 (en) * 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
CN112241934B (zh) * 2019-07-19 2024-05-14 华为技术有限公司 一种图像处理方法以及相关设备
CN112132125B (zh) * 2020-09-29 2024-05-28 Oppo(重庆)智能科技有限公司 指纹识别校准方法以及装置、电子装置和可读存储介质
CN114596375A (zh) * 2020-11-19 2022-06-07 英业达科技有限公司 产生重建影像的方法
CN113535379A (zh) * 2020-12-21 2021-10-22 南方电网数字电网研究院有限公司 一种基于物联网的变电边缘计算方法、系统及设备
CN112581463B (zh) * 2020-12-25 2024-02-27 北京百度网讯科技有限公司 图像缺陷的检测方法、装置、电子设备、存储介质及产品
CN115065708B (zh) * 2022-08-17 2022-11-18 成都秦川物联网科技股份有限公司 基于机器视觉检测的工业物联网系统及其控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105991946A (zh) * 2015-03-16 2016-10-05 三星电子株式会社 图像信号处理器和包括该图像信号处理器的装置
JP2019049978A (ja) * 2017-09-11 2019-03-28 株式会社リコー 通信端末、通信システム、画像処理方法、及びプログラム
KR20200029646A (ko) * 2018-09-03 2020-03-19 광주과학기술원 사물인터넷 시스템
CN111753005A (zh) * 2020-06-04 2020-10-09 上海电气集团股份有限公司 一种数据接入方法及设备
CN111738960A (zh) * 2020-06-30 2020-10-02 珠海奔图电子有限公司 图像处理设备、方法及图像形成装置
CN112257759A (zh) * 2020-09-27 2021-01-22 华为技术有限公司 一种图像处理的方法以及装置
CN113744332A (zh) * 2021-09-07 2021-12-03 汇顶科技(成都)有限责任公司 图像校正方法、存储方法、装置、电子设备以及存储介质
CN114414157A (zh) * 2022-03-29 2022-04-29 大鼎油储有限公司 一种基于物联网的储运船监控系统
CN114862860A (zh) * 2022-07-11 2022-08-05 成都秦川物联网科技股份有限公司 基于平台联动的工业物联网及控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Analysis of eight data mining algorithms for smarter Internet of Things(IoT);Alam F;《Procedia computer science》;20161231;全文 *
多传感器数据分类与目标检测方法研究;范嘉玮;《中国优秀硕士学位论文全文数据库》;20220315;全文 *
面向城市交通的智能图像处理关键技术研究;谢元芒;《中国博士学位论文全文数据库》;20220115;全文 *

Also Published As

Publication number Publication date
US11908127B2 (en) 2024-02-20
US11640660B2 (en) 2023-05-02
CN115065708A (zh) 2022-09-16
US20230237645A1 (en) 2023-07-27
US20230057878A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
CN115065708B (zh) 基于机器视觉检测的工业物联网系统及其控制方法
CN105118044B (zh) 一种轮形铸造产品缺陷自动检测方法
CN114637270B (zh) 基于集散控制的智能制造工业物联网及控制方法
CN106920219A (zh) 物品缺陷检测方法、图像处理系统与计算机可读记录介质
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN116152261B (zh) 一种印刷制品质量的视觉检测系统
CN115953373B (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
CN111539927A (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法
CN113066088A (zh) 工业检测中的检测方法、检测装置和存储介质
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN115512134A (zh) 快件堆积异常预警方法、装置、设备及存储介质
CN111814776A (zh) 一种图像处理方法、设备、服务器及存储介质
CN114462646A (zh) 一种基于接触网安全巡检的杆号牌识别方法及系统
CN114187247A (zh) 一种基于图像配准的安瓿瓶印刷字缺陷检测方法
CN111612681A (zh) 数据获取方法、水印识别方法、水印去除方法及装置
CN113095445A (zh) 一种目标识别方法及装置
CN115953427A (zh) 一种小样本训练的动态目标实时跟踪方法及装置
CN113077002B (zh) 基于空间外差拉曼光谱的机器嗅觉可视化传感数据分析方法
CN113469991B (zh) 一种锂电池极耳激光焊点视觉在线检测方法
CN115909157A (zh) 一种基于机器视觉的识别检测方法、装置、设备及介质
CN112052727B (zh) 一种基于大数据的人像识别分析系统及方法
CN113804702A (zh) 一种基于视觉智能分析的铜线排线检测方法
CN113610184B (zh) 一种基于迁移学习的木材纹理分类方法
CN110826504A (zh) 一种结合细粒度分类的视觉识别方法、装置及计算机设备
US20230316718A1 (en) Learning model generating method and inspection device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant