CN116777375B - 一种基于机器视觉的工业互联网系统 - Google Patents
一种基于机器视觉的工业互联网系统 Download PDFInfo
- Publication number
- CN116777375B CN116777375B CN202310734277.6A CN202310734277A CN116777375B CN 116777375 B CN116777375 B CN 116777375B CN 202310734277 A CN202310734277 A CN 202310734277A CN 116777375 B CN116777375 B CN 116777375B
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- module
- industrial
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000004519 manufacturing process Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000013439 planning Methods 0.000 claims abstract description 13
- 238000009776 industrial production Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 60
- 238000007726 management method Methods 0.000 claims description 49
- 239000000047 product Substances 0.000 claims description 31
- 238000005516 engineering process Methods 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 22
- 230000007547 defect Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000013523 data management Methods 0.000 claims description 12
- 238000007619 statistical method Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 8
- 230000006872 improvement Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000002994 raw material Substances 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000003908 quality control method Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 239000011265 semifinished product Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- RVCKCEDKBVEEHL-UHFFFAOYSA-N 2,3,4,5,6-pentachlorobenzyl alcohol Chemical compound OCC1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl RVCKCEDKBVEEHL-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- General Factory Administration (AREA)
Abstract
本发明涉及工业互联网技术领域，具体公开了一种基于机器视觉的工业互联网系统，包括工业设备RTU测控模块，是在工业的生产设备、装卸搬运产品的机器人及检测设备中，内嵌置入智能传感器和RTU，通过智能传感器采集工业设备实时数据后，将数据通过通信线路发送到RTU进行处理，用于实时采集、处理、监测和控制工业自动化设备的数据；本发明通过采用CloudFactory平台，结合工业设备生产过程的时间维度，实现了考核生产的成本，进度与质量，为企业采购，销售与计划部门提供决策功能，通过插入SnapCheck视觉软件，利用其模块化设计，拖拽配置，参数驱动，实现了远程调试部署和浏览器运行界面的功能。
Description
技术领域
本发明涉及工业互联网技术领域，具体涉及一种基于机器视觉的工业互联网系统。
背景技术
随着5G等新一代通信与信息技术的不断发展，制造业企业实现数字化网络化的工业智能制造，随着用工成本和原材料价格上升，环保要求的提高、制造企业的经营模式逐渐细化，迫切需要提升单位产值，增加自身的竞争力，在数字化建设上，现有的制造业企业通过互联网技术，在硬件设备上添加智能芯片及其算法，实现设备运行的自动化，以及采用摄像监控技术，利用图形处理算法进行工业设备的信息反馈，因此工业互联网技术被广泛应用于生产线监控、质量控制、设备维护和预测性维修的领域，但是传统的工业互联网系统往往存在数据采集不准确、实时性差、可靠性低的问题，严重影响了其在实际生产过程中的应用效果。
例如，申请号为CN202111029683.X公开了一种5G+工业互联网的机器视觉检测系统及方法中，包括影像采集模块、面部检测模块、人体检测模块、车辆检测模块及流量分析模块组成，通过将采集的单向人车混行区域的监控影像，并通过5G网络传输采集的监控影像；再基于所述监控影像对所述监控影像中的面部、人体和车辆进行识别并追踪，得到面部检测结果、人体检测结果以及车辆检测结果，用于避免了行人检测中存在的将车辆内的驾驶员和乘客重复计数，存在不能嵌入式运用在工业生产设备上，和不能利用图像处理技术分析设备运行缺陷和产品工艺问题，以及存在该系统支持一个人车路口，不能兼顾多个交通要道的人车采集，导致采集信息为碎片化，运行效率低的问题。
综上，工业发展现有技术中，存在不能满足下游客户对企业生产能力预测与质量追溯的要求，不支持小批量，多批次的柔性生产模式下的生产流程与成本核算管理，以及OT与IT难以融合导致工业生产制造的工艺水平低问题，以及存在企业IT的信息碎片化、信息孤岛、重复建设、安全问题和低效运维的问题。
发明内容
针对现有技术的不足，本发明提供了一种基于机器视觉的工业互联网系统，通过在设置工业设备RTU测控模块，增加了工业设备的RTU测控，以及在机器视觉系统利用CloudFactory平台进行工业数据管理、计算、存储及监控，增设SnapCheck视觉软件，实现了工业机器视觉化的图像信息处理，解决了背景技术中提出的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种基于机器视觉的工业互联网系统，包括工业设备RTU测控模块，是在工业的生产设备、装卸搬运产品的机器人及检测设备中，内嵌置入智能传感器和RTU，通过智能传感器采集工业设备实时数据后，将数据通过通信线路发送到RTU进行处理，用于实时采集、处理、监测和控制工业自动化设备的数据；
手持终端数据采集模块，是利用PDA对工业生产设备进行现场数据采集、处理、通信、检修、调试和管理，用于对设备采集的数据进行实时监测和分析，协助工业管理人员快速判断问题并采取相应的处理措施，PDA具有便携、高效、易操作，采集数据安全性和稳定性的特点；
网络通信模块，在计算机网络中，对工业设备RTU测控模块和手持终端数据采集模块的运行系统进行数据传输和交换，网络通信技术采用TCP/IP、HTTP、FTP、SMTP中任意一种或几种组合，用于实现信息获取、数据共享及远程控制；
CloudFactory平台，是由Docker容器技术打包的一系列微服务组成，向拥有大量工作需求的企业提供人工智能数据处理服务的云计算平台，通过网络通信模块接收工业设备RTU测控模块和手持终端数据采集模块采集的信息进行虚拟化处理和管理，用于将人工智能、自动化和云计算技术相结合，其中，所述CloudFactory提供的人工处理服务包括：数据录入和处理、数据标注和分类、数据验证和审核及数据加工和集成；
信息反馈模块，是利用计算机、手机的可视化移动终端，及网络通信技术将CloudFactory平台处理的数据信息进行图片可视化处理，并通过终端显示出来；
SnapCheck视觉软件，是安装在信息反馈模块内，对工业设备进行视觉检测，自动化识别和判断工业制品的缺陷、尺寸和外观质量的基于Windows操作的视觉检测软件，该软件提供图形化界面，通过该界面进行参数设置、图像调整的功能，以及提供若干图像处理算法和自定义设置选项，用于满足不同的工业场景和具有不同检测需求的生产流程，满足各种需求的工业视觉检测任务。
进一步地，所述工业设备RTU测控模块是由生产设备、AOI检测设备、智能传感器及RTU组成，所述生产设备是工业中用于生产、加工原材料的仪器、机器和机械设备，包括制造加工设备、成型设备、特种设备、检测设备及控制设备；所述AOI检测设备是用于采集生产设备的工作状态数据和图像信息；所述智能传感器接收AOI检测设备采集的数据信息，能够感知各种物理量并将感知的物理量转化为电信号、数字信号或其他信号进行输出，用于测量、检测和感知环境中的物理量与参数，具体将感知的信号传输到RTU中进行处理、计算、分析和控制操作，其中，物理量包括工业设备的温度、压力、湿度、光线、声音、磁场、加速度等；智能传感器是由感受器、转换器、信号处理电路和输出器组成；所述RTU接收智能传感器传输的数据信息进行控制处理。
进一步地，所述AOI检测设备是利用计算机视觉和图像处理技术，对PCB、电子元器件进行非接触式、高精度、高效率的自动化检测，其是由软、硬件架构组成，软件包括利用机器学习和深度学习功能实现图像处理算法和人机界面；硬件包括光源、相机、镜头、扫描臂及机器人，用于检测PCB的电气连接不良、短路、开路、反向及杂散的各种缺陷，具体检测过程是通过将PCB与已知良品的印刷电路板进行比对，对检测出的缺陷进行分类和标记，为后续的维修和改进提供基础数据；所述AOI检测设备是内嵌图像处理和检测算法的软件，其中，图像处理是基于图像处理的规则检测、统计学分类、神经网络分类技术，进行图像采集和预处理，实现图像的卡尺校正，去除图像中的噪点和干扰，增强图像的对比度和亮度的功能，用于为后续的缺陷检测提供更清晰、准确的输入图像信息；检测算法是能够识别出PCBA表面上的各种结构、元器件、标识和连接线路，并自动分析判断其是否存在开路、短路、焊点偏差、元器件缺失的缺陷，所述软件为ValorNPI、SprintSeries、ViTrox-AOI及Omron-AOI任意一种。
进一步地，所述RTU是在在工业自动化设备中，将智能传感器采集的数据经过Linux操作处理，并根据处理结果，控制工业设备的产品上下料、运输、切割和加工制造的生产过程进行自动化运行，同时能够通过网络通信线路将数据传输到计算机、手机及CloudFactory平台的控制中心进行处理和分析；其中，RTU处理智能传感器采集的工业设备数据，包括以下步骤：数据采集、数据预处理、数据输入和存储、数据传输、数据处理和控制设备。
进一步地，所述CloudFactory平台包括主数据管理单元、生产计划与执行单元、仓储管理单元、产品质量管理单元及设备监测单元，所述主数据管理单元在工业云平台中综合性管理企业的各种主数据，用于消除数据冗余，提高数据质量，加强数据治理，从而有效地让企业进行业务流程管理和决策，提高企业的运营和管理效率，主数据管理具体包括组织架构与员工；设备、辅材和工具；原材料、产品和BOM；可视化工艺流程配置；工艺节点数据采集与流程控制；工厂、车间、产线、仓库和AGV；以及客户与供应商订单管理；所述生产计划与执行单元是帮助企业合理安排和调度生产任务，具有生产排程、生产监控、质量管理及库存管理功能，用于管理和优化生产过程，生产计划与执行具体包括订单、销售单和工单；工单进度跟踪；员工和工业设备排班；生产数据上报；加工与组装料件批次关联；逆向生产工艺；质量数据采集。
进一步地，所述仓储管理单元是对企业生产制造的物料、半成品及成品的入库、出库、查询及存储进行计划、组织、调度、控制、协调的信息管理操作，仓储管理具体包括出入库、上下架、盘点、调拨、出入库规则和库存预警；所述产品质量管理单元是对产品质量进行直接的、间接的测定及事先加以控制，产品质量管理具体包括质量检测模版配置、质量检测报告、批次与实例产品追溯、供应商来料问题追溯、设备与工装夹具问题追溯、工艺配置问题追溯；所述设备监测单元是在CloudFactory平台中监测工业设备的状态数据，用于故障报警，降低企业损失。
进一步地，所述信息反馈模块是经过云存储信息共享到计算机、手机等可视化移动终端，所述云存储信息共享是将CloudFactory平台的云计算、云存储的数据信息，采用共享链接、共享文件夹及协作文档的方式，并设置访问权限，通过网络传输到计算机和手机中需要的人，使得系统中若干工业管理人员能够同时查看、编辑和共享数据内容；其中，所述共享链接是将云存储中的文件生成一个共享链接，发送给需要查看和下载文件的人，便于控制访问权限；所述共享文件夹是将需要共享的文件放在一个共享的online文件夹中，设置访问权限，并将文件夹共享给需要的人；所述协作文档使用支持若干人协作的云存储服务，将需要共同协作的文档存储在云中，若干人可以同时编辑文档并实时更新。
进一步地，所述SnapCheck视觉软件包括配置模块、检测模块、图像算法模块、AI模块、统计分析模块及设备控制模块，所述配置模块是配置和管理系统的基本参数，包括图像采集和处理参数、算法和模型参数，并将配置参数传输到检测模块进行数据计算处理；其中，配置模块是采用计算机语言进行代码编辑，用户获取配置参数名称、描述信息及类型接口可自定义编程，包括
/***@brief配置变量的基类*/
classConfigVarBase{public:
typedefstd::shared_ptr<ConfigVarBase>ptr；/**
*@brief构造函数
*@param[in]name配置参数名称
*@param[in]description配置参数描述*/
ConfigVarBase(conststd::string&name,conststd::string&descripti on＝""):m_name(name),m_description(description){
std::transform(m_name.begin(),m_name.end(),m_name.begin(),::tolower)；}
/***@brief析构函数*/
virtual～ConfigVarBase(){}
/***@brief返回配置参数名称*/
conststd::string&getName()const{returnm_name；}
/***@brief返回配置参数的描述*/
conststd::string&getDescription()const{returnm_description；}
/***@brief转成字符串*/
virtualstd::stringtoString()＝0；
/***@brief从字符串初始化值*/
virtualboolfromString(conststd::string&val)＝0；
/***@brief返回配置参数值的类型名称*/
virtualstd::stringgetTypeName()const＝0；
protected:
///配置参数的名称
std::stringm_name；
///配置参数的描述
std::stringm_description；}；所述检测模块是基于人工智能技术的图形分类算法、图像匹配算法和目标跟踪算法，来对配置模块中的数据目标进行关键特征点定位，用于识别和检测图像中的目标对象；其中，图形分类算法包括SVM、KNN、CNN及RNN算法，通过对图像进行特征提取和分类，识别图像中的不同对象，从而将给定的图像分为不同的预定义类别，对于CNN计算公式为式中，yk是网络的输出值，xi是输入的图像像素值，wi,k是卷积核的权重，bk是偏置项，σ是激活函数。
进一步地，所述图像算法模块是利用数字信号处理技术，处理检测模块采集到的图像中的信息，包括频率域滤波、图像增强、几何变换和形态学处理，所述频率域滤波是对图像的傅里叶变换计算，将图像转换到频域，进行滤波操作后再转换回时域，用于去除噪声和锐化图像；所述图像增强是采用直方图均衡化、灰度变换算法，将改善图像质量，使图像中的信息更容易观察；所述几何变换是采用缩放、旋转、仿射变换和投影变换模型改变图像的几何形状；所述形态学处理是采用腐蚀、膨胀、开运算和闭运算对像素点的分类、连接、分离、填补以及重构；所述AI模块是运用深度学习算法，通过大量的图像数据训练模型，对图像算法模块计算的图像数据进行训练，实现所需目标的智能判断和识别，并将训练结果结合图像算法处理信息传输到统计分析模块中进行下一步的分析；所述深度学习算法是利用算法公式对图像数据中提取特征数据进行处理和分析，并用于训练模型以识别和分类不同的图像，算法公式包括卷积神经网络、残差网络、循环神经网络、长短期记忆网络、生成对抗网络、神经网络语言模型及自编码器。
进一步地，所述统计分析模块是接收图像算法模块和AI模块处理的信息，通过采集工业装置中的缺陷和异常检测、质量控制和工艺改进的实际状态数据并进行分析和统计，并将分析结果传输到设备控制模块中进行控制管理，用于优化生产效率和提高产品质量；所述设备控制模块是接收统计分析模块的指令，控制和管理工业互联网的机器视觉系统的相机、光源、机器的硬件设备。
本发明提供了一种基于机器视觉的工业互联网系统，相对于现有技术，具备以下有益效果：
本发明通过采用CloudFactory平台，结合工业设备生产过程的时间维度，实现了考核生产的成本，进度与质量，为企业采购，销售与计划部门提供决策功能，通过插入SnapCheck视觉软件，利用其模块化设计和深度学习算法，拖拽配置，参数驱动及建模计算，实现了远程调试部署和浏览器运行界面的功能，达到了满足下游客户对企业生产能力预测与质量追溯的要求；支持小批量，多批次的柔性生产模式下的生产流程与成本核算管理；引进先进的软件开发与运维能力，实现OT与IT融合，提高工艺水平的效果。
附图说明
图1为本发明的基于机器视觉的工业互联网系统框图。
图2为本发明的工业设备RTU测控模块流程图。
图3为本发明的CloudFactory平台示意图。
图4为本发明的信息反馈模块流程图。
图5为本发明的SnapCheck视觉软件框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-5，本发明提供一种基于机器视觉的工业互联网系统，包括工业设备RTU测控模块，是在工业的生产设备、装卸搬运产品的机器人及检测设备中，内嵌置入智能传感器和RTU，通过智能传感器采集工业设备实时数据后，将数据通过通信线路发送到RTU进行处理，用于实时采集、处理、监测和控制工业自动化设备的数据；
手持终端数据采集模块，是利用PDA对工业生产设备进行现场数据采集、处理、通信、检修、调试和管理，用于对设备采集的数据进行实时监测和分析，协助工业管理人员快速判断问题并采取相应的处理措施，PDA具有便携、高效、易操作，采集数据安全性和稳定性的特点；
网络通信模块，在计算机网络中，对工业设备RTU测控模块和手持终端数据采集模块的运行系统进行数据传输和交换，网络通信技术采用TCP/IP、HTTP、FTP、SMTP中任意一种或几种组合，用于实现信息获取、数据共享及远程控制；
CloudFactory平台，是由Docker容器技术打包的一系列微服务组成，向拥有大量工作需求的企业提供人工智能数据处理服务的云计算平台，通过网络通信模块接收工业设备RTU测控模块和手持终端数据采集模块采集的信息进行虚拟化处理和管理，用于将人工智能、自动化和云计算技术相结合，为企业提供高质量、高可靠性、高效率的数据处理服务，其中，所述CloudFactory提供的人工处理服务包括：数据录入和处理、数据标注和分类、数据验证和审核及数据加工和集成；
信息反馈模块，是利用计算机、手机的可视化移动终端，及网络通信技术将CloudFactory平台处理的数据信息进行图片可视化处理，并通过终端显示出来，用于企业管理人员对信息进行相互制约地输入输出，直观控制系统中设备的运行状态；
SnapCheck视觉软件，是安装在信息反馈模块内，对工业设备进行视觉检测，自动化识别和判断工业制品的缺陷、尺寸和外观质量的基于Windows操作的视觉检测软件，该软件提供图形化界面，通过该界面进行参数设置、图像调整的功能，以及提供若干图像处理算法和自定义设置选项，用于满足不同的工业场景和具有不同检测需求的生产流程，满足各种需求的工业视觉检测任务。
在一个优选的实施例中，所述工业设备RTU测控模块是由生产设备、AOI检测设备、智能传感器及RTU组成，所述生产设备是工业中用于生产、加工原材料的仪器、机器和机械设备，包括制造加工设备、成型设备、特种设备、检测设备及控制设备；所述AOI检测设备是用于采集生产设备的工作状态数据和图像信息；所述智能传感器是接收AOI检测设备采集的数据信息，够感知各种物理量并将感知的物理量转化为电信号、数字信号或其他信号进行输出，用于测量、检测和感知环境中的物理量与参数，具体将感知的信号传输到RTU中进行处理、计算、分析和控制操作，其中，物理量包括工业设备的温度、压力、湿度、光线、声音、磁场、加速度等；智能传感器是由感受器、转换器、信号处理电路和输出器组成，具有高灵敏度、高精度、快速响应、可靠性高、易于集成的特点；所述RTU接收智能传感器传输的数据信息进行控制处理。
在一个优选的实施例中，所述AOI检测设备是利用计算机视觉和图像处理技术，对PCB、电子元器件进行非接触式、高精度、高效率的自动化检测，其是由软、硬件架构组成，软件包括利用机器学习和深度学习功能实现图像处理算法和人机界面；硬件包括光源、相机、镜头、扫描臂及机器人，用于检测PCB的电气连接不良、短路、开路、反向及杂散的各种缺陷，具体检测过程是通过将PCB与已知良品的印刷电路板进行比对，对检测出的缺陷进行分类和标记，为后续的维修和改进提供基础数据，其具有检测速度快、精度高、效率高、成本低的特点；所述AOI检测设备是内嵌图像处理和检测算法的软件，其中，图像处理是基于图像处理的规则检测、统计学分类、神经网络分类技术，进行图像采集和预处理，实现图像的卡尺校正，去除图像中的噪点和干扰，增强图像的对比度和亮度的功能，用于为后续的缺陷检测提供更清晰、准确的输入图像信息；检测算法是能够识别出PCBA表面上的各种结构、元器件、标识和连接线路，并自动分析判断其是否存在开路、短路、焊点偏差、元器件缺失的缺陷，所述软件为ValorNPI、SprintSeries、ViTrox-AOI及Omron-AOI任意一种。
在一个优选的实施例中，所述RTU是在在工业自动化设备中，将智能传感器采集的数据经过Linux操作处理，并根据处理结果，控制工业设备的产品上下料、运输、切割和加工制造的生产过程进行自动化运行，同时能够通过网络通信线路将数据传输到计算机、手机及CloudFactory平台的控制中心进行处理和分析；其中，RTU处理智能传感器采集的工业设备数据，包括以下步骤：数据采集、数据预处理、数据输入和存储、数据传输、数据处理和控制设备；所述数据采集是利用智能传感器持续采集工业设备的运行数据；所述预处理时RTU对传感器采集到的设备数据进行去噪和滤波处理，避免数据受到噪声和干扰而导致的误差；所述数据输入和存储是将处理好的数据输入到RTU，并保存到使用的储存器上；所述数据传输是将储存好的数据通过网络传输到上级CloudFactory平台控制中心及其他计算设备；所述数据处理是通过上级CloudFactory平台控制中心及其他计算设备将采集到的数据进行分类、分析、转化、显示处理；所述控制设备是控制中心对处理好的数据进行分析和决策，并执行对工业设备的控制和调整。
在一个优选的实施例中，所述CloudFactory平台包括主数据管理单元、生产计划与执行单元、仓储管理单元、产品质量管理单元及设备监测单元，所述主数据管理单元在工业云平台中综合性管理企业的各种主数据，用于消除数据冗余，提高数据质量，加强数据治理，从而有效地让企业进行业务流程管理和决策，提高企业的运营和管理效率，主数据管理具体包括组织架构与员工；设备、辅材和工具；原材料、产品和BOM；可视化工艺流程配置；工艺节点数据采集与流程控制；工厂、车间、产线、仓库和AGV；以及客户与供应商订单管理；所述生产计划与执行单元是帮助企业合理安排和调度生产任务，具有生产排程、生产监控、质量管理及库存管理功能，用于管理和优化生产过程，生产计划与执行具体包括订单、销售单和工单；工单进度跟踪；员工和工业设备排班；生产数据上报；加工与组装料件批次关联；逆向生产工艺；质量数据采集。
在一个优选的实施例中，所述仓储管理单元是对企业生产制造的物料、半成品及成品的入库、出库、查询及存储进行计划、组织、调度、控制、协调的信息管理操作，仓储管理具体包括出入库、上下架、盘点、调拨、出入库规则和库存预警；所述产品质量管理单元是对产品质量进行直接的、间接的测定及事先加以控制，产品质量管理具体包括质量检测模版配置、质量检测报告、批次与实例产品追溯、供应商来料问题追溯、设备与工装夹具问题追溯、工艺配置问题追溯；所述设备监测单元是在CloudFactory平台中监测工业设备的状态数据，用于故障报警，降低企业损失。
在一个优选的实施例中，所述信息反馈模块是经过云存储信息共享到计算机、手机等可视化移动终端，所述云存储信息共享是将CloudFactory平台的云计算、云存储的数据信息，采用共享链接、共享文件夹及协作文档的方式，并设置访问权限，通过网络传输到计算机和手机中需要的人，使得系统中若干工业管理人员能够同时查看、编辑和共享数据内容，用于加快了工作进度，提高了工作效率；其中，所述共享链接是将云存储中的文件生成一个共享链接，发送给需要查看和下载文件的人，便于控制访问权限；所述共享文件夹是将需要共享的文件放在一个共享的online文件夹中，设置访问权限，并将文件夹共享给需要的人；所述协作文档使用支持若干人协作的云存储服务，将需要共同协作的文档存储在云中，若干人可以同时编辑文档并实时更新。
在一个优选的实施例中，所述SnapCheck视觉软件包括配置模块、检测模块、图像算法模块、AI模块、统计分析模块及设备控制模块，所述配置模块是配置和管理系统的基本参数，包括图像采集和处理参数、算法和模型参数，并将配置参数传输到检测模块进行数据计算处理；其中，配置模块是采用计算机语言进行代码编辑，用户获取配置参数名称、描述信息及类型接口可自定义编程，包括
/***@brief配置变量的基类*/
classConfigVarBase{public:
typedefstd::shared_ptr<ConfigVarBase>ptr；/**
*@brief构造函数
*@param[in]name配置参数名称
*@param[in]description配置参数描述*/
ConfigVarBase(conststd::string&name,conststd::string&descripti on＝""):m_name(name),m_description(description){
std::transform(m_name.begin(),m_name.end(),m_name.begin(),::tolower)；}
/***@brief析构函数*/
virtual～ConfigVarBase(){}
/***@brief返回配置参数名称*/
conststd::string&getName()const{returnm_name；}
/***@brief返回配置参数的描述*/
conststd::string&getDescription()const{returnm_description；}
/***@brief转成字符串*/
virtualstd::stringtoString()＝0；
/***@brief从字符串初始化值*/
virtualboolfromString(conststd::string&val)＝0；
/***@brief返回配置参数值的类型名称*/
virtualstd::stringgetTypeName()const＝0；
protected:
///配置参数的名称
std::stringm_name；
///配置参数的描述
std::stringm_description；}；所述检测模块是基于人工智能技术的图形分类算法、图像匹配算法和目标跟踪算法，来对配置模块中的数据目标进行关键特征点定位，用于识别和检测图像中的目标对象；其中，图形分类算法包括SVM、KNN、CNN及RNN算法，通过对图像进行特征提取和分类，识别图像中的不同对象，从而将给定的图像分为不同的预定义类别，对于CNN计算公式为式中，yk是网络的输出值，xi是输入的图像像素值，wi,k是卷积核的权重，bk是偏置项，σ是激活函数；图像匹配算法是采用SIFT算法和SURF算法，前者是基于特征点的图像匹配算法，根据特征点检测、描述、匹配，利用尺度不变的高斯拉普拉斯算子和欧氏距离进行特征点匹配计算，后者是改进SURF算法，通过计算Haar小波特征值构成的向量结合欧氏距离进行特征点匹配；目标跟踪算法是利用视频或图像序列的上下文信息,对目标的外观和运动信息进行建模,从而对目标运动状态进行预测并标定目标的位置，其建立的模型包括光流法、粒子滤波及深度学习跟踪算法。
在一个优选的实施例中，所述图像算法模块是利用数字信号处理技术，处理检测模块采集到的图像中的信息，包括频率域滤波、图像增强、几何变换和形态学处理，所述频率域滤波是对图像的傅里叶变换计算，将图像转换到频域，进行滤波操作后再转换回时域，用于去除噪声和锐化图像；所述图像增强是采用直方图均衡化、灰度变换算法，将改善图像质量，使图像中的信息更容易观察；所述几何变换是采用缩放、旋转、仿射变换和投影变换模型改变图像的几何形状；所述形态学处理是采用腐蚀、膨胀、开运算和闭运算对像素点的分类、连接、分离、填补以及重构；所述AI模块是运用深度学习算法，通过大量的图像数据训练模型，对图像算法模块计算的图像数据进行训练，实现所需目标的智能判断和识别，并将训练结果结合图像算法处理信息传输到统计分析模块中进行下一步的分析；所述深度学习算法是利用算法公式对图像数据中提取特征数据进行处理和分析，并用于训练模型以识别和分类不同的图像，算法公式包括卷积神经网络、残差网络、循环神经网络、长短期记忆网络、生成对抗网络、神经网络语言模型及自编码器。
在一个优选的实施例中，所述统计分析模块是接收图像算法模块和AI模块处理的信息，通过采集工业装置中的缺陷和异常检测、质量控制和工艺改进的实际状态数据并进行分析和统计，并将分析结果传输到设备控制模块中进行控制管理，用于优化生产效率和提高产品质量；所述设备控制模块是接收统计分析模块的指令，控制和管理工业互联网的机器视觉系统的相机、光源、机器的硬件设备。
需要补充说明的是CloudFactory平台汇聚大量半导体芯片的操作处理方法，实现了半导体生产与组装柔性数字化管理，并与生产设备集成；建立了科学的数据采集，存储，分析能力，支持企业客户前后段≥200个工艺节点的生产与控制，通过配置适应企业现有的生产管理模式，能够将工业中的物料，工艺，系统层面配置粒度不同的物料规则，流程管控，和数据采集参数，实现运用数字化管理模式，以及通过配置，支持不同的工艺生产流程，包括线束连接器，高功率PDU连接器，液冷连接器，机加工操作，其结合SnapCheck视觉软件和网络通信技术，全面构造工业设备的机器视觉系统，其部署方式支持企业内网，外网专属，或者SaaS共享的模式，且CloudFactory平台和SnapCheck视觉软件结合通信技术，适用于工业自动化线视觉产线、自动调试机及汽车行驶记录仪生产的视觉定位的各个领域中。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(randomaccessmemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现而已，并不用于限制本发明，凡在本发明的精神和原则之内，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，所作的任何修改等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于机器视觉的工业互联网系统，其特征在于：包括工业设备RTU测控模块，通过智能传感器采集工业设备实时数据后，将数据通过通信线路发送到RTU进行处理，用于实时采集、处理、监测和控制工业自动化设备的数据；
手持终端数据采集模块，是利用PDA对工业生产设备进行现场数据采集、处理、通信、检修、调试和管理，用于对设备采集的数据进行实时监测和分析，协助工业管理人员快速判断问题并采取相应的处理措施；
网络通信模块，在计算机网络中，对工业设备RTU测控模块和手持终端数据采集模块的运行系统进行数据传输和交换，用于实现信息获取、数据共享及远程控制；
CloudFactory平台，是向拥有大量工作需求的企业提供人工智能数据处理服务的云计算平台，通过网络通信模块接收工业设备RTU测控模块和手持终端数据采集模块采集的信息进行虚拟化处理和管理，用于将人工智能、自动化和云计算技术相结合；
信息反馈模块，是将CloudFactory平台处理的数据信息进行图片可视化处理，并通过终端显示出来；
SnapCheck视觉软件，是安装在信息反馈模块内，对工业设备进行视觉检测，提供图形化界面，通过该界面进行参数设置、图像调整的功能，以及提供若干图像处理算法和自定义设置选项；
所述SnapCheck视觉软件包括配置模块、检测模块、图像算法模块、AI模块、统计分析模块及设备控制模块，所述配置模块是配置和管理系统的基本参数，包括图像采集和处理参数、算法和模型参数，并将配置参数传输到检测模块进行数据计算处理；所述检测模块是基于人工智能技术的图形分类算法、图像匹配算法和目标跟踪算法，来对配置模块中的数据目标进行关键特征点定位，用于识别和检测图像中的目标对象；
所述图像算法模块是利用数字信号处理技术，处理检测模块采集到的图像中的信息，包括频率域滤波、图像增强、几何变换和形态学处理；所述AI模块是运用深度学习算法，通过大量的图像数据训练模型，对图像算法模块计算的图像数据进行训练，实现所需目标的智能判断和识别，并将训练结果结合图像算法处理信息传输到统计分析模块中进行下一步的分析；
所述统计分析模块是接收图像算法模块和AI模块处理的信息，通过采集工业装置中的缺陷和异常检测、质量控制和工艺改进的实际状态数据并进行分析和统计，并将分析结果传输到设备控制模块中进行控制管理，用于优化生产效率和提高产品质量；所述设备控制模块是接收统计分析模块的指令，控制和管理工业互联网的机器视觉系统的相机、光源、机器的硬件设备；
所述工业设备RTU测控模块是由生产设备、AOI检测设备、智能传感器及RTU组成，所述生产设备是工业中用于生产、加工原材料的仪器、机器和机械设备；所述AOI检测设备是用于采集生产设备的工作状态数据和图像信息；所述智能传感器接收AOI检测设备采集的数据信息，能够感知各种物理量并将感知的物理量转化为电信号、数字信号或其他信号进行输出，用于测量、检测和感知环境中的物理量与参数，具体将感知的信号传输到RTU中进行处理、计算、分析和控制操作；所述RTU接收智能传感器传输的数据信息进行控制处理；
所述AOI检测设备是利用计算机视觉和图像处理技术，对PCB、电子元器件进行非接触式、高精度、高效率的自动化检测，用于检测PCB的电气连接不良、短路、开路、反向及杂散的各种缺陷；所述AOI检测设备是内嵌图像处理和检测算法的软件，其中，所述软件为ValorNPI、SprintSeries、ViTrox-AOI及Omron-AOI中任意一种。
2.根据权利要求1所述的基于机器视觉的工业互联网系统，其特征在于：所述RTU是在在工业自动化设备中，将智能传感器采集的数据经过Linux操作处理，并根据处理结果，控制工业设备的产品上下料、运输、切割和加工制造的生产过程进行自动化运行，同时能够通过网络通信线路将数据传输到计算机、手机及CloudFactory平台的控制中心进行处理和分析。
3.根据权利要求1所述的基于机器视觉的工业互联网系统，其特征在于：所述CloudFactory平台包括主数据管理单元、生产计划与执行单元、仓储管理单元、产品质量管理单元及设备监测单元，所述主数据管理单元在工业云平台中综合性管理企业的各种主数据，用于消除数据冗余，提高数据质量，加强数据治理；所述生产计划与执行单元是帮助企业合理安排和调度生产任务，用于管理和优化生产过程。
4.根据权利要求3所述的基于机器视觉的工业互联网系统，其特征在于：所述仓储管理单元是对企业生产制造的物料、半成品及成品的入库、出库、查询及存储进行计划、组织、调度、控制、协调的信息管理操作；所述产品质量管理单元是对产品质量进行直接的、间接的测定及事先加以控制；所述设备监测单元是在CloudFactory平台中监测工业设备的状态数据，利用机器学习算法的对比实现和训练，用于故障报警。
5.根据权利要求1所述的基于机器视觉的工业互联网系统，其特征在于：所述信息反馈模块是经过云存储信息共享到计算机、手机等可视化移动终端，所述云存储信息共享是将CloudFactory平台的云计算、云存储的数据信息，采用共享链接、共享文件夹及协作文档的方式，并设置访问权限，通过网络传输到计算机和手机中需要的人，使得系统中若干工业管理人员能够同时查看、编辑和共享数据内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310734277.6A CN116777375B (zh) | 2023-06-20 | 2023-06-20 | 一种基于机器视觉的工业互联网系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310734277.6A CN116777375B (zh) | 2023-06-20 | 2023-06-20 | 一种基于机器视觉的工业互联网系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116777375A CN116777375A (zh) | 2023-09-19 |
| CN116777375B true CN116777375B (zh) | 2024-02-23 |
Family
ID=87989036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310734277.6A Active CN116777375B (zh) | 2023-06-20 | 2023-06-20 | 一种基于机器视觉的工业互联网系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777375B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117952562A (zh) * | 2024-03-15 | 2024-04-30 | 厦门美契信息技术有限公司 | 一种基于mes和agv的工业智能制造管理系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104993984A (zh) * | 2015-06-05 | 2015-10-21 | 西安交通大学 | 一种物联网视觉智能感知系统及方法 |
| CN109782707A (zh) * | 2018-12-24 | 2019-05-21 | 北京航天智造科技发展有限公司 | 一种适用于工业互联网的工业现场监测方法 |
| CN210518601U (zh) * | 2019-11-27 | 2020-05-12 | 深圳智本科技有限公司 | 一种基于人脸识别的执法记录仪数据采集站 |
| CN111415323A (zh) * | 2019-01-04 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 图像的检测方法及装置，神经网络的训练方法及装置 |
| CN112857255A (zh) * | 2021-03-01 | 2021-05-28 | 江苏中设集团股份有限公司 | 一种基于三维激光扫描技术的智能监测系统及方法 |
| CN113310897A (zh) * | 2021-05-31 | 2021-08-27 | 广东骏亚电子科技股份有限公司 | 基于5g算法的ai视觉检测系统应用 |
| WO2021208018A1 (zh) * | 2020-04-14 | 2021-10-21 | 江苏天人工业互联网研究院有限公司 | 一种基于人工智能算法的工业大数据处理系统 |
| CN114124973A (zh) * | 2021-09-27 | 2022-03-01 | 烽火通信科技股份有限公司 | 一种面向多云场景的镜像同步方法和装置 |
-
2023
- 2023-06-20 CN CN202310734277.6A patent/CN116777375B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104993984A (zh) * | 2015-06-05 | 2015-10-21 | 西安交通大学 | 一种物联网视觉智能感知系统及方法 |
| CN109782707A (zh) * | 2018-12-24 | 2019-05-21 | 北京航天智造科技发展有限公司 | 一种适用于工业互联网的工业现场监测方法 |
| CN111415323A (zh) * | 2019-01-04 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 图像的检测方法及装置，神经网络的训练方法及装置 |
| CN210518601U (zh) * | 2019-11-27 | 2020-05-12 | 深圳智本科技有限公司 | 一种基于人脸识别的执法记录仪数据采集站 |
| WO2021208018A1 (zh) * | 2020-04-14 | 2021-10-21 | 江苏天人工业互联网研究院有限公司 | 一种基于人工智能算法的工业大数据处理系统 |
| CN112857255A (zh) * | 2021-03-01 | 2021-05-28 | 江苏中设集团股份有限公司 | 一种基于三维激光扫描技术的智能监测系统及方法 |
| CN113310897A (zh) * | 2021-05-31 | 2021-08-27 | 广东骏亚电子科技股份有限公司 | 基于5g算法的ai视觉检测系统应用 |
| CN114124973A (zh) * | 2021-09-27 | 2022-03-01 | 烽火通信科技股份有限公司 | 一种面向多云场景的镜像同步方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116777375A (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Javaid et al. | Exploring impact and features of machine vision for progressive industry 4.0 culture | |
| Soori et al. | Internet of things for smart factories in industry 4.0, a review | |
| US10890898B2 (en) | Traceability systems and methods | |
| Jung et al. | Appropriate smart factory for SMEs: concept, application and perspective | |
| Rath et al. | The role of Internet of Things (IoT) technology in Industry 4.0 economy | |
| Subakti et al. | Indoor augmented reality using deep learning for industry 4.0 smart factories | |
| Silva et al. | Machine vision systems for industrial quality control inspections | |
| Arey et al. | Lean industry 4.0: a digital value stream approach to process improvement | |
| Forkan et al. | An industrial IoT solution for evaluating workers' performance via activity recognition | |
| CN110065068B (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
| CN116777375B (zh) | 一种基于机器视觉的工业互联网系统 | |
| Oh et al. | Adaptive SVM-based real-time quality assessment for primer-sealer dispensing process of sunroof assembly line | |
| Konstantinidis et al. | A technology maturity assessment framework for industry 5.0 machine vision systems based on systematic literature review in automotive manufacturing | |
| Saif et al. | Development of a smart system based on STEP-NC for machine vision inspection with IoT environmental | |
| Tseng et al. | E-quality control: A support vector machines approach | |
| Pham et al. | A YOLO-based real-time packaging defect detection system | |
| Kumar et al. | Machine Vision in Industry 4.0: Applications, Challenges and Future Directions | |
| Alsakka et al. | Computer vision-based process time data acquisition for offsite construction | |
| Knoch et al. | Sensor-based human–process interaction in discrete manufacturing | |
| Capela et al. | Engine labels detection for vehicle quality verification in the assembly line: a machine vision approach | |
| Sanders et al. | Improving automatic robotic welding in shipbuilding through the introduction of a corner-finding algorithm to help recognise shipbuilding parts | |
| Oks et al. | Embedded vision device integration via OPC UA: Design and evaluation of a neural network-based monitoring system for Industry 4.0 | |
| Chmiel et al. | Workflow management system with smart procedures | |
| CN112558554A (zh) | 任务追踪方法和系统 | |
| Vongbunyong et al. | Vision System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |