CN113821009B - 一种边缘控制器和质量检测系统 - Google Patents
一种边缘控制器和质量检测系统 Download PDFInfo
- Publication number
- CN113821009B CN113821009B CN202111397664.2A CN202111397664A CN113821009B CN 113821009 B CN113821009 B CN 113821009B CN 202111397664 A CN202111397664 A CN 202111397664A CN 113821009 B CN113821009 B CN 113821009B
- Authority
- CN
- China
- Prior art keywords
- product
- virtual
- controller
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 230000002950 deficient Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32204—Performance assurance; assure certain level of non-defective products
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- General Factory Administration (AREA)
Abstract
本文公开一种边缘控制器和质量检测系统，包括：虚拟化设置的一个以上虚拟边缘计算节点和一个以上虚拟控制器；其中，虚拟边缘计算节点设置为：对待质检产品的图像进行处理，获得缺陷产品的图像识别结果；虚拟控制器设置为：根据图像识别结果生成第一控制指令；根据第一控制指令控制终端侧执行设备处理产品；其中，一个虚拟边缘计算节点和一个虚拟控制器用于对一个工序的产品进行质量检测。本发明实施例在边缘控制器设置虚拟边缘计算节点和虚拟控制器，实现了图像识别和产品处理的一体化部署，减少了数据通信时长，同时部署多个工序的虚拟边缘计算节点和虚拟控制器，减少了硬件设备，提高了硬件资源的利用率。
Description
技术领域
本文涉及但不限于自动化技术，尤指一种边缘控制器和质量检测系统。
背景技术
随着工业互联网、工业4.0技术的发展，制造业的智能化转型升级正在使物理世界与虚拟世界之间的界限变得越来越模糊，这要求自动化技术（OT）和信息化技术（IT）进一步深度融合和智能化协同，形成一个高效、实时、灵活、安全的新型工业自动化体系，促进工业生产的智能化水平和生产效率的不断提高。
工业产品质量检测是工业生产中的重要环节，直接影响到产品的品质。相关技术中的工业产品质量检测主要有以下几类：
（1）依靠质检人员的工作经验，通过目测进行产品质量检测；由于质检人员的能力和经验有限，这种通过人工进行质量检测的方法效率较低，漏检率高，对于细小的质量缺陷，人工方式很难实现检测。
（2）利用工业相机采集产品的图像数据，通过网络上传图像数据到云端，利用部署在云端的图像识别算法进行分析和识别，然后将识别结果反馈给制造执行系统（MES）等上层应用。当质检发现缺陷产品时，由MES系统向运动控制器发出控制命令，由运动控制器控制机械臂设备对缺陷产品执行处理操作；该方法利用云端强大的算力进行人工智能（AI）计算，实现基于机器视觉的产品质量检测，但是需要将图像数据上传云端才可以进行分析识别，整个过程的时延较大，难以满足实时性要求较高的场景需求，且该方法对带宽资源消耗较大，网络成本高。
（3）在工业现场部署边缘计算服务器，将图像识别算法部署到边缘计算服务器上，在工业现场进行产品的图像数据直接进行分析和识别；当发现缺陷产品时，边缘计算服务器将识别结果反馈给运动控制器，再由运动控制器控制机械臂设备对缺陷产品执行处理操作。该方法通过边缘计算服务器在工业现场侧完成缺陷产品的识别和处理，降低了传输时延和网络传输成本，但采用分散式的部署方式，需同时部署边缘计算服务器和运动控制器，使得部署成本和运营成本较高，资源利用率低。此外，目前的基于边缘计算的产品质检系统可检测的产品单一，只能用在特定的场景中针对特定的产品检测特定的外观问题，可扩展性和适应性较差。
综上，相关技术中的工业产品质量检测存在检测效率低、成本高、资源利用率低和可检测产品单一等缺点，一种更加高效的工业产品质检系统，成为工业产品质检迫切需求。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供一种边缘控制器和质量检测系统，能够提升系统的适用性和产品的质量检测效率。
本发明实施例提供了一种边缘控制器，包括：虚拟化设置的一个以上虚拟边缘计算节点和一个以上虚拟控制器；其中，
虚拟边缘计算节点加载用于产品质量检测的图像识别模型，设置为：对待质检产品的图像进行处理，获得产品的图像识别结果；
虚拟控制器加载有运动控制算法，设置为：根据图像识别结果生成对终端侧执行设备进行控制的第一控制指令；发送第一控制指令到终端侧执行设备，以通过终端侧执行设备对合格产品和缺陷产品执行移动处理；
其中，一个所述虚拟边缘计算节点和一个虚拟控制器用于对一个工序的产品进行质量检测；所述图像识别结果包括：产品为合格产品或缺陷产品。
本发明实施例还提供一种质量检测系统，包括边缘控制器，边缘控制器包括虚拟化设置的一个以上虚拟边缘计算节点和一个以上虚拟控制器；其中，
虚拟边缘计算节点加载用于产品质量检测的图像识别模型，设置为：对待质检产品的图像进行处理，获得产品的图像识别结果；
虚拟控制器加载有运动控制算法，设置为：根据图像识别结果生成对终端侧执行设备进行控制的第一控制指令；发送第一控制指令到终端侧执行设备，以通过终端侧执行设备对合格产品和缺陷产品执行移动处理；
其中，一个所述虚拟边缘计算节点和一个虚拟控制器用于对一个工序的产品进行质量检测；所述图像识别结果包括：产品为合格产品或缺陷产品。
本申请技术方案包括：虚拟化设置的一个以上虚拟边缘计算节点和一个以上虚拟控制器；其中，虚拟边缘计算节点加载用于产品质量检测的图像识别模型，设置为：对待质检产品的图像进行处理，获得产品的图像识别结果；虚拟控制器加载有运动控制算法，设置为：根据图像识别结果生成对终端侧执行设备进行控制的第一控制指令；发送第一控制指令到终端侧执行设备，以通过终端侧执行设备对合格产品和缺陷产品执行移动处理；其中，一个所述虚拟边缘计算节点和一个虚拟控制器用于对一个工序的产品进行质量检测；所述图像识别结果包括：产品为合格产品或缺陷产品。本发明实施例通过在边缘控制器中虚拟化一个以上虚拟边缘计算节点和一个以上虚拟控制器，实现了图像识别处理和运动控制的一体化部署，减少了图像识别和运动控制的单元之间数据通信时长，一个边缘控制器上同时部署多个工序的虚拟边缘计算节点和虚拟控制器，减少了硬件设备的数量，实现了多个工序产品质检的同步进行，提高了硬件设备资源的利用率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为边缘控制器的结构框图；
图2为本发明实施例边缘控制器的架构图；
图3为本发明实施例图像识别模型的更新流程图；
图4为本发明实施例质量检测系统的组成框图；
图5为本发明实施例实现产品质量检测的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为边缘控制器的结构框图，如图1所示，包括：虚拟化设置的一个以上虚拟边缘计算节点和一个以上虚拟控制器；其中，
虚拟边缘计算节点加载用于产品质量检测的图像识别模型，设置为：对待质检产品的图像进行处理，获得产品的图像识别结果；
虚拟控制器加载有运动控制算法，设置为：根据图像识别结果生成对终端侧执行设备进行控制的第一控制指令；发送第一控制指令到终端侧执行设备，以通过终端侧执行设备对合格产品和缺陷产品执行移动处理；
其中，一个虚拟边缘计算节点和一个虚拟控制器用于对一个工序的产品进行质量检测；图像识别结果包括：产品为合格产品或缺陷产品。
在一种示例性实例中，本发明实施例对产品进行移动处理包括：将缺陷产品从生产线上移除到指定工作台；将合格产品移动到下一道处理工序的生产线。在一种示例性实例中，将缺陷产品从生产线上移除到指定工作台，本发明实施例终端侧执行设备可以参照相关技术进行预设方式的告警。
本发明实施例通过在边缘控制器中虚拟化一个以上虚拟边缘计算节点和一个以上虚拟控制器，实现了图像识别处理和运动控制的一体化部署，减少了图像识别和运动控制的单元之间数据通信时长，一个边缘控制器上同时部署多个工序的虚拟边缘计算节点和虚拟控制器，减少了硬件设备的数量，实现了多个工序产品质检的同步进行，提高了硬件设备资源的利用率。
在一种示例性实例中，本发明实施例边缘控制器的硬件资源包括：计算资源、存储资源、网络资源和外设输入/输出（I/O）资源；其核心计算单元可以采用多核中央处理器（CPU）、图形处理器（GPU）和/或现场可编程门阵列（FPGA）的混合异构架构，根据不同的任务处理需求，调用不同的计算资源以实现实时运动控制和边缘计算等功能；其中，实时运动控制任务调用FPGA 和CPU资源实现低时延的实时运动控制需求，边缘计算、工业机器视觉任务调用GPU资源满足高复杂性任务、低时延的处理需求；存储资源包括双倍速率同步动态随机存储器（DDR）内存、闪存（Flash）存储器和硬盘等。网络资源包括高速实时网络、工业现场总线、以太网等。外设I/O资源包括模拟量输入（AI）/模拟量输出（AO）、数字信号输入（DI）/数字信号输出（DO）等接口。此外，边缘控制器还提供多种通信接口，包括：千兆以太网口、串行数据通信的接口、第四代移动通信（4G）、无线热点（WiFi）、长期演进技术（LTE）无线传输接口、通用串行总线（USB）口、视频图形阵列（VGA）和高清多媒体接口（HDMI）接口等，支持多种常用的工业通信协议。
在一种示例性实例中，本发明实施例根据不同的边缘侧计算任务需求，利用资源虚拟化技术配置硬件资源，构建具有差异化算力的虚拟边缘计算节点，在虚拟边缘计算节点上运行非实时操作系统Linux后，部署基于机器视觉的用于产品缺陷识别的图像识别模型，基于图像识别模型在边缘侧实现对产品缺陷的自动识别。
在一种示例性实例中，本发明实施例根据不同的控制需求，利用资源虚拟化技术配置硬件资源，构建具有差异化算力的虚拟控制器，并在虚拟控制器上加载工业实时操作系统（RTOS）和部署运动控制算法，实现对终端侧执行设备的运动控制。
在一种示例性实例中，本发明实施例在边缘控制器硬件资源基础上，部署资源虚拟化层的虚拟机监视器（Hypervisor），利用虚拟CPU内核调度、超级调用、内存地址映射管理、IO句柄和配置器等技术，实现硬件资源的虚拟化映射和调度管理。根据对资源的配置需求，构建虚拟边缘计算节点和虚拟控制器两类虚拟机，建立虚拟机中的虚拟资源与物理硬件资源的映射和调度关系，并在两类虚拟机上分别运行实时和非实时操作系统，实现实时控制和非实时边缘计算的功能。
图2为本发明实施例边缘控制器的架构图，如图2所示，在计算资源、存储资源、网络资源和外设输入/输出（I/O）资源基础上，通过部署在资源虚拟化层的虚拟机监视器（Hypervisor），一个以上虚拟边缘计算节点和一个以上虚拟控制器的虚拟化设置；虚拟边缘计算节点上运行非实时操作系统Linux后，部署图像识别模型；虚拟控制器上加载工业实时操作系统（RTOS）后，部署运动控制算法；基于上述设计，实现了虚拟边缘计算节点和虚拟控制器的虚拟化的一体化部署；一个虚拟边缘计算节点和一个虚拟控制器用于对一个工序的产品进行质量检测，通过同时部署的多个工序的虚拟边缘计算节点和虚拟控制器，实现了多个工序的产品的同步质量检测。在一种示例性实例中，本发明实施例中的终端侧执行设备包括：机械臂和伺服电机。
在一种示例性实例中，本发明实施例虚拟边缘计算节点还设置为：发送缺陷产品的图像到预设的服务器，以使服务器根据接收到的缺陷产品的图像训练用于更新的图像识别模型。
图3为本发明实施例图像识别模型的更新流程图，如图3所示，包括：
步骤301、虚拟边缘计算节点根据图像识别结果确定缺陷产品的图像，发送缺陷产品的图像到服务器；
步骤302、服务器将预设时长内接收的缺陷产品的图像作为新增样本，对图像识别模型进行更新训练；
步骤303、服务器将训练获得的图像识别模型发往虚拟边缘计算节点，以对虚拟边缘计算节点上加载的图像识别模型进行更新。
本发明实施例虚拟边缘计算节点更新图像识别模型后，采用更新后的图像识别模型进行产品的质量检测。
在一种示例性实例中，本发明实施例中的服务器包括云端服务器。
在一种示例性实例中，本发明实施例虚拟控制器是设置为：
建立一个以上终端侧执行设备的信息模型；
根据图像识别结果和信息模型生成第一控制指令。
在一种示例性实例中，本发明实施例中的终端侧执行设备包括以下一种或任意组合：机械臂和/或伺服电机。
本发明实施例信息模型是终端侧执行设备的数字化描述，信息模型为终端侧执行设备的数字孪生体，通过数字孪生体与物理设备之间的状态同步机制，实现对终端侧执行设备的柔性调节和灵活配置，满足了柔性生产制造的需求，实现了智能化、柔性化、自适应的工业产品质量检测。
在一种示例性实例中，本发明实施例终端侧执行设备的信息模型中包终端侧执行设备的以下一项或任意组合的信息：
身份标识、属性和驱动信息；
其中，属性包括以下一项或任意组合：制造商、设备尺寸、通讯接口、第一控制指令格式和运行参数信息。
在一种示例性实例中，本发明实施例虚拟控制器还设置为：
建立获取图像的图像采集装置的信息模型；
根据信息模型和预先确定的待质检产品的位置和尺寸信息，生成对图像采集装置进行控制的第二控制指令；
其中，第二控制指令包括：控制图像采集装置对待质检产品进行图像采集的指令。
在一种示例性实例中，本发明实施例图像采集装置包括工业相机。
在一种示例性实例中，本发明实施例图像采集装置的信息模型包括图像采集装置的以下一项或任意组合的信息：
身份标识、属性、被拍摄的待质检产品和驱动信息；
其中，属性包括以下一项或任意组合：分辨率、最大帧速率和通讯接口、第二控制指令格式、工作状态和拍摄角度。
在一种示例性实例中，本发明实施例对终端侧执行设备和/或图像采集装置的身份标识、属性、驱动信息等相关信息按照一定的规则进行标准的数字化抽象语义描述，并利用资源描述框架语言（RDF）对信息模型进行形式化表达，形成机器能理解的语言表达形式，获得信息模型。在信息模型中，身份标识是对终端侧执行设备和/或图像采集装置身份的唯一性标记；属性是对终端侧执行设备和/或图像采集装置基本信息的描述，包括静态属性和动态属性，静态属性是对终端侧执行设备和/或图像采集装置静态性质及关系的描述，动态属性是对终端侧执行设备和/或图像采集装置动态性质及关系的描述；驱动信息是对终端侧执行设备和/或图像采集装置执行的操作和行为的描述；信息模型中一些属性的修改可以实时转化为对终端侧执行设备的控制和调节。因此，可以针对不同场景下多种产品的多种外观的质量问题进行质量检测；虚拟控制器基于信息模型生成控制命令，实现了对终端侧执行设备的柔性调节和参数灵活配置；例如，根据指令检测需求调节工业相机的拍摄角度和焦距；根据产品大小控制调节机械臂的夹取角度和夹口大小等。信息模型作为终端侧执行设备和/或图像采集装置的数字孪生体，解决了质量检测系统检测产品单一的问题，扩大了质量检测系统的适用范围。以下通过示例说明工业相机、机械臂、伺服电机的信息模型包含的内容：
工业相机的信息模型包括以下信息：1）工业相机的标识（例如，工业相机的ID）；2）静态属性：分辨率、最大帧速率和通讯接口等；3）动态属性：控制指令、工作状态和拍摄角度等；4）相机操作的驱动信息；5）被拍摄的待质检产品（采集对象的信息）。
机械臂的信息模型包括以下信息：1）机械臂的ID；2）静态属性：制造商、臂长和通讯接口等；3）动态属性：控制指令、夹取角度和夹口大小等；4）操作驱动信息；5）伺服驱动信息。
伺服电机的信息模型包括以下信息：1）伺服电机的ID；2）静态属性：制造商、尺寸和通讯接口等；3）动态属性：控制指令、转速和转向等；4）操作驱动信息；5）主轴驱动信息。
在一种示例性实例中，本发明实施例虚拟边缘计算节点还设置为：
统计待质检产品和缺陷产品的数量信息，并根据统计出的数量信息确定产品质量信息；
通过预设的交互界面显示产品质量信息；
其中，产品质量信息包括：产品合格率和/或产品次品率。
图4为本发明实施例质量检测系统的组成框图，如图4所示，包括边缘控制器，边缘控制器包括虚拟化设置的一个以上虚拟边缘计算节点和一个以上虚拟控制器；其中，
虚拟边缘计算节点加载用于产品质量检测的图像识别模型，设置为：对待质检产品的图像进行处理，获得产品的图像识别结果；
虚拟控制器加载有运动控制算法，设置为：根据图像识别结果生成对终端侧执行设备进行控制的第一控制指令；发送第一控制指令到终端侧执行设备，以通过终端侧执行设备对合格产品和缺陷产品执行移动处理；
其中，一个虚拟边缘计算节点和一个虚拟控制器用于对一个工序的产品进行质量检测；图像识别结果包括：产品为合格产品或缺陷产品。
在一种示例性实例中，本发明实施例质量检测系统还包括服务器；
虚拟边缘计算节点还设置为：发送缺陷产品的图像到预设的服务器；
服务器设置为：接收缺陷产品的图像；将预设时长内接收到的缺陷产品的图像新增为模型训练的样本；根据新增的模型训练的样本对图像识别模型重新进行训练；将重新训练获得的图像识别模型发送至虚拟边缘计算节点，以对虚拟边缘计算节点加载的图像识别模型进行更新。
本发明实施例服务器为云端服务器时，边缘控制器、终端侧执行设备和云端服务器组成实现产品质量检测的系统，系统按照网络组成可以划分为端侧、边缘侧和云端侧；其中，
端侧包括：工业相机、伺服电机、机械臂等安装在工业现场的生产线上的感知和执行设备。工业相机负责采集产品外观的图像数据；伺服电机和机械臂负责接收并执行虚拟控制器下发的控制指令，根据图像识别结果，将正常产品流入下一个工序，将识别出的存在缺陷的产品按照控制指令取出放到指定位置并报警。端侧的设备可以通过高速以太网、现场总线、WiFi、USB等接入边缘控制器；
边缘侧包括边缘控制器，可以安装在车间的机房或者生产线附近；边缘控制器上设置有一个以上虚拟边缘计算节点和一个以上虚拟控制器，主要用于执行以下处理：1）虚拟边缘计算节点中加载图像识别模型，接收工业相机采集的产品外观的图像，对图像进行分析和识别，识别存在缺陷的产品；2）虚拟控制器中部署运动控制算法，根据图像识别结果生成控制命令，控制端侧的伺服电机和机械臂等执行产品处理；3）通过预先构建的端侧设备的数字化信息模型，对端侧设备的运行参数进行设置和调整，以适应不同场景、不同类型、不同大小的工业产品，满足柔性生产制造的需求；4）将缺陷产品的图像发送到预设的云端服务器（可以是工业互联网云平台中的服务器），根据预设周期由云端服务器对图像识别模型进行重新训练，以对图像识别模型进行更新；通过图像识别模型的更新，提高缺陷产品识别的准确率；5）按照预设周期统计产品的合格率、次品率等产品质量信息，通过预设交互界面显示产品质量信息；在一种示例性实例中，本发明实施例还可以将产品质量信息发送到云端服务器，供上层的制造企业生产过程执行系统（MES）、 企业资源管理系统（ERP）等使用。本发明实施例边缘控制器能够支持多种通信接口、支持多种工业通信协议，可以兼容不同厂家设备的互联互通。边缘控制器可以通过核心网接入云端服务器；
云端主要包括云端服务器，通常部署在公有云上，主要用于执行以下处理：进行图像识别算法的模型训练。将接收到的缺陷产品的图像更新至训练样本库，按预设周期定期对图像识别模型进行重新训练，将重新训练获得的图像识别模型发送至虚拟边缘计算节点，以对虚拟边缘计算节点加载的图像识别模型进行更新，以此提高模型的鲁棒性和准确率。
以下对基于图4系统实现产品质量检测的过程进行示例说明，图5为本发明实施例实现产品质量检测的流程图，如图5所示，包括：
步骤501、工业相机采集待质检产品的图像，将采集的图像发往虚拟边缘计算节点；
步骤502、虚拟边缘计算节点通过图像识别模型对接收的图像进行图像分析，判断产品是否为合格产品；
确定产品为合格产品时，执行步骤5030；确定产品为缺陷产品时，执行步骤5040和步骤5050；其中，步骤5040用于对缺陷产品进行处理；步骤5050用于根据缺陷产品的图像对图像识别模型进行更新训练；
步骤5030、通过终端侧执行设备将合格产品送入下一道工序；
步骤5040、通过终端侧执行设备将缺陷产品取出到预设位置并告警；
步骤5041、统计待质检产品和缺陷产品的数量信息，并根据统计出的数量信息确定产品质量信息；其中，产品质量信息包括：产品合格率和/或产品次品率。
需要说明的是，本发明实施例步骤5041可以根据待质检产品和合格产品的数量确定产品质量信息；也可以根据缺陷产品和合格产品的数量确定产品质量信息；
步骤5042、通过预设的交互界面显示产品质量信息。
步骤5050、发送缺陷产品的图像到预设的服务器；
步骤5051、服务器将预设时长内接收到缺陷产品的图像新增为模型训练的样本，对图像识别模型进行更新训练；
步骤5052、服务器将更新训练获得的图像识别模型发送至虚拟边缘计算节点，以对虚拟边缘计算节点加载的图像识别模型进行更新；虚拟边缘计算节点加载更新的图像识别模型后，重新通过步骤502确定产品是否为合格产品。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于 RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (11)
1.一种边缘控制器，包括：虚拟化设置的一个以上虚拟边缘计算节点和一个以上虚拟控制器；其中，
虚拟边缘计算节点加载用于产品质量检测的图像识别模型，设置为：对待质检产品的图像进行处理，获得产品的图像识别结果；
虚拟控制器加载有运动控制算法，设置为：根据图像识别结果生成对终端侧执行设备进行控制的第一控制指令；发送第一控制指令到终端侧执行设备，以通过终端侧执行设备对合格产品和缺陷产品执行移动处理；
其中，一个所述虚拟边缘计算节点和一个虚拟控制器用于对一个工序的产品进行质量检测；所述图像识别结果包括：产品为合格产品或缺陷产品；
一个所述边缘控制器上同时部署多个工序的所述虚拟边缘计算节点和所述虚拟控制器。
2.根据权利要求1所述的边缘控制器，其特征在于，所述虚拟边缘计算节点还设置为：发送所述缺陷产品的图像到预设的服务器，以使所述服务器根据接收到的所述缺陷产品的图像训练用于更新的图像识别模型。
3.根据权利要求2所述的边缘控制器，其特征在于，所述服务器包括云端服务器。
4.根据权利要求1~3任一项所述的边缘控制器，其特征在于，所述虚拟控制器是设置为根据图像识别结果生成对终端侧执行设备进行控制的第一控制指令：
建立一个以上终端侧执行设备的信息模型；
根据所述图像识别结果和所述信息模型，生成所述第一控制指令。
5.根据权利要求4所述的边缘控制器，其特征在于，所述终端侧执行设备包括：机械臂和/或伺服电机。
6.根据权利要求4所述的边缘控制器，其特征在于，根据以下一项或任意组合的终端侧执行设备的信息建立所述信息模型：
身份标识、属性和驱动信息；
其中，所述属性包括以下一项或任意组合：制造商、设备尺寸、通讯接口、第一控制指令格式和运行参数信息。
7.根据权利要求1~3任一项所述的边缘控制器，其特征在于，所述虚拟控制器还设置为：
建立获取所述图像的图像采集装置的信息模型；
根据所述信息模型和预先确定的所述待质检产品的位置和尺寸信息，生成对所述图像采集装置进行控制的第二控制指令；
其中，所述第二控制指令包括：控制所述图像采集装置对所述待质检产品进行图像采集的指令。
8.根据权利要求7所述的边缘控制器，其特征在于，根据以下一项或任意组合的图像采集装置的信息建立所述信息模型：
身份标识、属性、被拍摄的待质检产品和驱动信息；
其中，所述属性包括以下一项或任意组合：分辨率、最大帧速率和通讯接口、第二控制指令格式、工作状态和拍摄角度。
9.根据权利要求1~3任一项所述的边缘控制器，其特征在于，所述虚拟边缘计算节点还设置为：
统计所述待质检产品和所述缺陷产品的数量信息，并根据统计出的数量信息确定产品质量信息；
通过预设的交互界面显示所述产品质量信息；
其中，所述产品质量信息包括：产品合格率和/或产品次品率。
10.一种质量检测系统，包括边缘控制器，边缘控制器包括虚拟化设置的一个以上虚拟边缘计算节点和一个以上虚拟控制器；其中，
虚拟边缘计算节点加载用于产品质量检测的图像识别模型，设置为：对待质检产品的图像进行处理，获得产品的图像识别结果；
虚拟控制器加载有运动控制算法，设置为：根据图像识别结果生成对终端侧执行设备进行控制的第一控制指令；发送第一控制指令到终端侧执行设备，以通过终端侧执行设备对合格产品和缺陷产品执行移动处理；
其中，一个所述虚拟边缘计算节点和一个虚拟控制器用于对一个工序的产品进行质量检测；所述图像识别结果包括：产品为合格产品或缺陷产品；
一个所述边缘控制器上同时部署多个工序的所述虚拟边缘计算节点和所述虚拟控制器。
11.根据权利要求10所述的质量检测系统，其特征在于，所述质量检测系统还包括服务器；
所述虚拟边缘计算节点还设置为：发送所述缺陷产品的图像到预设的服务器；
服务器设置为：接收所述缺陷产品的图像；将预设时长内接收到的所述缺陷产品的图像新增为模型训练的样本；根据新增的所述模型训练的样本对所述图像识别模型重新进行训练；将重新训练获得的图像识别模型发送至所述虚拟边缘计算节点，以对所述虚拟边缘计算节点加载的图像识别模型进行更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111397664.2A CN113821009B (zh) | 2021-11-24 | 2021-11-24 | 一种边缘控制器和质量检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111397664.2A CN113821009B (zh) | 2021-11-24 | 2021-11-24 | 一种边缘控制器和质量检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113821009A CN113821009A (zh) | 2021-12-21 |
| CN113821009B true CN113821009B (zh) | 2022-03-11 |
Family
ID=78919719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111397664.2A Active CN113821009B (zh) | 2021-11-24 | 2021-11-24 | 一种边缘控制器和质量检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113821009B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004548B (zh) * | 2021-12-31 | 2022-03-18 | 北京瑞莱智慧科技有限公司 | 一种基于边缘计算的生产线管控方法、装置及介质 |
| CN115097788A (zh) * | 2022-06-15 | 2022-09-23 | 昆明理工大学 | 一种基于数字孪生工厂的智能管控平台 |
| CN115857459A (zh) * | 2023-02-10 | 2023-03-28 | 北京和利时系统工程有限公司 | 一种油气生产管控系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108449399A (zh) * | 2018-03-09 | 2018-08-24 | 武汉邮电科学研究院有限公司 | 适合于智能化生产的边缘计算节点 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5543762B2 (ja) * | 2009-11-25 | 2014-07-09 | オリンパスイメージング株式会社 | カメラシステム |
| CN111402250A (zh) * | 2020-03-26 | 2020-07-10 | 中国联合网络通信集团有限公司 | 基于边缘计算的机器视觉缺陷检测方法和平台 |
| CN111693535A (zh) * | 2020-06-19 | 2020-09-22 | 河北网视科技股份有限公司 | 基于机器视觉分析的触摸屏缺陷检测设备及方法 |
| CN111800506B (zh) * | 2020-07-06 | 2023-09-19 | 深圳市网心科技有限公司 | 一种边缘计算节点部署方法及相关装置 |
| CN113075877B (zh) * | 2021-03-09 | 2022-11-18 | 北京和利时系统工程有限公司 | 一种轨道交通综合监控系统 |
| CN113566864A (zh) * | 2021-09-03 | 2021-10-29 | 合肥米克光电技术有限公司 | 一种基于5g和边缘计算的分布式机器视觉系统 |
-
2021
- 2021-11-24 CN CN202111397664.2A patent/CN113821009B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108449399A (zh) * | 2018-03-09 | 2018-08-24 | 武汉邮电科学研究院有限公司 | 适合于智能化生产的边缘计算节点 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113821009A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113821009B (zh) | 一种边缘控制器和质量检测系统 | |
| JP6921241B2 (ja) | ディスプレイスクリーン品質検査方法、装置、電子機器及び記憶媒体 | |
| US20180275631A1 (en) | Control system, control device, and control method | |
| EP4002189A1 (en) | Industrial network communication emulation | |
| EP3002649A2 (en) | Industrial simulation using redirected i/o module configurations | |
| JP2020530125A (ja) | ディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器及び記憶媒体 | |
| KR102536763B1 (ko) | 인공 지능을 위한 프로그래밍가능 로직 제어기-기반 모듈식 가속 모듈 | |
| CN107984471B (zh) | 机器人工作状态的确定方法和装置及机器人 | |
| CN108337125A (zh) | 智能硬件设备测试方法、云平台及后台控制器 | |
| CN115121451A (zh) | 点胶机驱控方法、装置、终端设备以及存储介质 | |
| CN106940533B (zh) | 一种基于云超实时仿真平台与硬件在环的实时决策方法 | |
| CN111506393B (zh) | 一种基于arm的虚拟化装置及其使用方法 | |
| Hu et al. | The scheme and system architecture of product quality inspection based on software-defined edge intelligent controller (SD-EIC) in industrial internet of things | |
| CN107953330A (zh) | 机器人及其控制方法和装置 | |
| US20190004506A1 (en) | Method for controlling an automation system | |
| CN114896168A (zh) | 用于自动驾驶算法开发的快速调试系统、方法以及存储器 | |
| CN114679569A (zh) | 基于三维建模的产线可视化监控方法、系统和存储介质 | |
| Hu et al. | The product quality inspection scheme based on software-defined edge intelligent controller in industrial internet of things | |
| CN114661003A (zh) | 基于边缘计算的生产方法、边缘计算设备、工站及系统 | |
| CN112395176A (zh) | 实现针对分布式云存储性能进行测试的方法、装置、系统、设备、处理器及其存储介质 | |
| CN105653386A (zh) | 一种进程崩溃处理方法及终端设备 | |
| EP4336358A1 (en) | Parallel emulation for controls testing | |
| US11835942B2 (en) | Real-time high-speed clock signal for industrial network emulation | |
| CN116475081B (zh) | 一种基于云边协同的工业产品分拣控制方法、装置及系统 | |
| Banús Paradell et al. | Design and Deployment of a Generic Software for Managing Industrial Vision Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |