CN114820461A - 基于图像识别算法的表面瑕疵质检平台及方法 - Google Patents
基于图像识别算法的表面瑕疵质检平台及方法 Download PDFInfo
- Publication number
- CN114820461A CN114820461A CN202210345674.XA CN202210345674A CN114820461A CN 114820461 A CN114820461 A CN 114820461A CN 202210345674 A CN202210345674 A CN 202210345674A CN 114820461 A CN114820461 A CN 114820461A
- Authority
- CN
- China
- Prior art keywords
- information
- flaw
- defect
- nmh
- nmw
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 44
- 230000007547 defect Effects 0.000 claims abstract description 388
- 238000001514 detection method Methods 0.000 claims abstract description 335
- 238000004519 manufacturing process Methods 0.000 claims abstract description 62
- 238000003860 storage Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000002950 deficient Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 239000013589 supplement Substances 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000004744 fabric Substances 0.000 description 91
- 238000004364 calculation method Methods 0.000 description 30
- 239000000047 product Substances 0.000 description 26
- 238000005070 sampling Methods 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 22
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 22
- 238000007726 management method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 15
- 230000003993 interaction Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000009941 weaving Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 5
- 238000007619 statistical method Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012372 quality testing Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 239000011265 semifinished product Substances 0.000 description 3
- 239000004566 building material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于图像识别算法的表面瑕疵质检平台及方法,平台包括:后台中心、云中心、互联网终端以及生产车间设备;其中,生产车间设备用于采集待检测物体的图像,将待检测物体的图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息,将检测到的物体图像信息、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息发送到云中心;云中心用于将接收的数据发送到后台中心;后台中心用于对接收到的数据进行统计,生成物体瑕疵检测报告;互联网终端用于查询物体瑕疵检测报告。根据该质检平台,可以自动准确的识别生产过程中的瑕疵类型、瑕疵位置以及瑕疵尺寸等信息,为企业节省大量的人工管理成本。
Description
技术领域
本发明涉及工厂质检技术领域,特别涉及一种基于图像识别算法的表面瑕疵质检平台及方法。
背景技术
在布匹、家具等的生产过程中,由于各方面影响,会产生各种瑕疵。为保证生产质量,瑕疵识别成为纺织行业等领域生产和质量管理的重要环节。
目前这种高强度、高重复性的工作基本上只能靠人工检测完成,根据质量检测要求的严格性,人工进行质量检测的进度一般都比较缓慢,检测的过程也容易出现漏检或错检的问题。所以人工检测的合格率很难达到100%。由此可见,支撑质量检测工作需要大量的人力成本和管理成本,同时也需要耗费大量的时间成本,最终的检测结果却难以保证“零缺陷”,因此给企业带来更大的压力。
发明内容
本申请实施例提供了一种基于图像识别算法的表面瑕疵质检平台及方法。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
第一方面,本申请实施例提供了一种基于图像识别算法的表面瑕疵质检平台,包括:
后台中心、云中心、互联网终端以及生产车间设备;
其中,生产车间设备用于采集待检测物体的图像,将待检测物体的图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息,将检测到的物体图像信息、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息发送到云中心;
云中心用于将接收的物体图像信息、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息发送到后台中心;
后台中心用于对物体图像信息、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息进行统计,生成物体瑕疵检测报告;
互联网终端用于查询物体瑕疵检测报告。
在一个实施例中,生产车间设备,包括:
摄像机,用于采集待检测的物体图像;
质检处理器,用于将待检测的物体图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息;
综合交换机,用于与云中心进行网络互连,将物体图像、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息发送到云中心;
补光灯,用于为摄像机提供光源;
声光报警器,用于当检测出瑕疵信息之后,发出声光报警信息。
在一个实施例中,质检处理器具体用于对待检测的物体图像进行格式转换,得到转换后的物体图像;
对转换后的物体图像进行平均分割,得到多个长宽相等的图像块;
计算每个图像块的像素点的特征值,根据计算出来的特征值确定不同类型的瑕疵点;
对不同类型的瑕疵点进行分类标注,根据标注框的坐标信息以及尺寸信息确定每个瑕疵点的位置信息和尺寸信息。
在一个实施例中,生产车间设备还包括:
质检值班管理平台,与云中心连接,用于查看、统计云中心存储的数据;还用于监管生产车间设备。
在一个实施例中,生产车间设备还包括:
质检操作平台,用于实时显示物体图像和瑕疵图像;还用于远程设置摄像机采集图像的参数;还用于控制电机转动;还用于控制补光灯以及声光报警器。
在一个实施例中,后台中心,包括:
智慧服务器组,用于根据预设的评分规则以及瑕疵类型信息、瑕疵尺寸信息对每一个瑕疵点进行评分,得到瑕疵分值;
用于统计物体中瑕疵的分值信息、类型信息、位置信息、数量信息以及尺寸信息,并确定物体质量等级;
用于根据物体的图像信息、生产批次信息以及质量等级信息生成物体检测报告。
在一个实施例中,后台中心,还包括:
存储服务器组,用于存储物体中瑕疵类型信息、瑕疵尺寸信息、瑕疵位置信息、瑕疵数量信息、瑕疵分值信息、物体图像信息、瑕疵图像信息、物体质量等级信息、生产批次信息以及出入库记录信息;
还用于根据存储的数据进行数据融合,生成结构化的数据报表。
在一个实施例中,互联网终端,包括:
质检监管手机终端和质检监管计算机终端,用于查询物体瑕疵检测报告以及数据报表,还用于紧急情况预警,还用于监管生产流程。
第二方面,本申请实施例提供了一种基于图像识别算法的表面瑕疵质检方法,方法包括:
获取待检测的物体图像;
将待检测的物体图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息;
对瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息进行统计,生成瑕疵检测报告。
在一个实施例中,将待检测的物体图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息,包括:
瑕疵检测模型对待检测的物体图像进行格式转换,得到转换后的物体图像;
对转换后的物体图像进行平均分割,得到多个长宽相等的图像块;
计算每个图像块的像素点的特征值,根据计算出来的特征值确定不同类型的瑕疵点;
对不同类型的瑕疵点进行分类标注,根据标注框的坐标信息以及尺寸信息确定每个瑕疵点的位置信息和尺寸信息。
本申请实施例提供的技术方案可以包括以下有益效果:
根据本申请实施例提供的瑕疵检测方法,可以自动对布匹、家具等物体的表面瑕疵类型、瑕疵位置、瑕疵尺寸等数据进行识别处理,自动对质量检测过程中的数据进行分类、统计,生成检测报告。该方法具有较高的准确性、实时性、稳定性,大大提高了生产效率以及生产的自动化程度,有效降低生产的人力成本,提高生产品质。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于图像识别算法的表面瑕疵质检方法的流程示意图;
图2是根据一示例性实施例示出的一种基于图像识别算法的表面瑕疵质检方法的示意图;
图3是根据一示例性实施例示出的一种数据存储方法的示意图;
图4是根据一示例性实施例示出的一种基于图像识别算法的表面瑕疵质检平台的结构示意图;
图5是根据一示例性实施例示出的一种基于图像识别算法的表面瑕疵质检平台的结构示意图;
图6是根据一示例性实施例示出的一种织布质检平台的示意图;
图7是根据一示例性实施例示出的一种验布质检平台的示意图;
图8是根据一示例性实施例示出的一种成品质检平台的示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在一个示例性场景中,布匹质量检测时,采用视觉识别系统进行检测,主要的难点有以下几点:(1)准确性,布匹瑕疵、杂质的类型众多,形状、尺寸不一,难以事先完全确定,但是必须要求能够准确发现并标记所有的缺陷处。(2)实时性,机器在高速运转的过程中,要求视觉识别算法处理的速度足够快。(3)统计分析,标记产品的缺陷位置,对产品的缺陷位置、数量等信息进行统计分析,为生产管理提供更高效的方法。(4)稳定性,要求可连续工作,在较为极端的场景下也必须可以正常工作或保证数据的不丢失。(5)操作便捷,功能操作界面简单,容易上手。
本申请则对应解决了上述的难点问题。通过原创瑕疵识别处理算法,不依赖任何第三方的算法库,利用C/C++从底层构建算法。第三方图像算法库大多数不开源,代码封装层次较深,导致代码执行处理效率较低,在实时性要求非常严格的应用场景下并不实用,并且部分算法库的开发语言并不完全统一,在软件或系统的兼容性方面较差。本申请的视觉识别处理算法由于采用C/C++语言从底层进行构建,代码封装层次较低,其具有兼容性更强、冗余性更低、处理速度更快的特点,能够满足质量检测的实时性要求。
本申请的瑕疵识别算法能够对布匹图像进行各类特征的提取,筛选瑕疵、杂质等特征,进行智能统计分析,能够实现高精度的瑕疵识别并标记,能够对算法库未记录的瑕疵类型进行学习并记录,逐步提高检测的精度。在瑕疵检测的过程中,系统后台对于识别检测的过程及结果数据进行智能的统计分析,对大数据进行融合处理,提供各类型生产管理的数据报表。操作终端界面根据功能需求进行定制,界面简洁,操作便利,基本上只包含设置布匹信息、采样、开始、停止这几个操作,简单易理解,操作稳定。
下面将结合附图对本申请实施例提供的基于图像识别算法的表面瑕疵质检方法进行详细介绍,如图1所示,该方法包括如下步骤:
S101获取待检测的物体图像。
在一种可能的实现方式中,可以对布匹生产时的瑕疵进行检测,获取布匹图像,还可以对铝材、家具建材生产时的瑕疵进行检测,获取铝材图像、家具图像等。
本申请实施例以布匹图像进行说明,例如,通过工业高速摄像机从检验台快速移动的布匹采集到稳定清晰的图像。其中,本申请实施例中采用的工业高速摄像机帧数最高可达到90帧,完全可以对布匹图像进行准确无误、实时稳定的采集。
S102将待检测的物体图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息。
在一种可能的实现方式中,将待检测的布匹图像输入预设的瑕疵检测模型,瑕疵检测模型对待检测的布匹图像进行格式转换,得到转换后的布匹图像;对转换后的布匹图像进行平均分割,得到多个长宽相等的图像块;计算每个图像块的像素点的特征值,根据计算出来的特征值确定不同类型的瑕疵点;对不同类型的瑕疵点进行分类标注,根据标注框的坐标信息以及尺寸信息确定每个瑕疵点的位置信息和尺寸信息。
其中,计算每个图像块的像素点的特征值,根据计算出来的特征值确定不同类型的瑕疵点,包括:计算每个图像块中所有像素点的目标类型的特征值,包括计算每个图像块中所有像素点的红色特征值、绿色特征值、蓝色特征值、黄色特征值、青色特征值、紫色特征值、白色特征值、黑色特征值、最大特征值、最小特征值、平均特征值。可根据不同类型的特征值的计算情况确定不同类型的瑕疵。
进一步地,根据目标类型的特征值计算目标类型的特征值的检测值;根据目标类型的特征值的检测值计算目标类型的特征值的统计平均值;根据目标类型的特征值的统计平均值,确定目标类型的疑似瑕疵点;当图像块的目标区域内目标类型的疑似瑕疵点的个数大于预设阈值时,确定该目标区域为目标类型的瑕疵点。
在一个示例性实施例中,瑕疵检测算法的具体步骤如下所示:
(1)图像格式转换;
通过利用开发工具Qt软件的方法QImage,将JPG图像转换为RGB图像数据,并保存至于容器A,其中图像宽度为nW,图像高度为nH。每个图像像素点为3个字节,因此容器A的取值范围为3*nW*nH。
(2)特征值提取;
第一步:将RGB图像帧数据进行平均分割,图像宽度平均分割为nmw=256份,图像高度平均分割为nmh=256份,由此可得到分割后nmh*nmw个图像块,并保存至于容器B。
一个图像块的宽度为:w=nW/nmh。
一个图像块的高度为:h=nH/nmw。
第二步:从容器B中提取出单个图像块保存至容器C,单个图像块所有的像素点相当于一个h行w列的数表,起始像素点为(a1,b1),a等于w,b等于h,如下:
C11,C12,C13,...,C1w
C21,C22,C23,…,C2w
C31,C32,C33,…,C3w
…
Ch1,Ch2,Ch3,…,Chw
第三步:从容器C中提取像素点进行特征提取,分别对红、绿、蓝、黄、青、紫、白、黑8种颜色和像素的最大值、最小值、平均值,对11种特征值进行提取,如下:
a)红色特征值:如果像素点X(i,j)的R、G、B值关系满足如下公式:
RnH*nW(X)>GnH*nW(X)且RnH*nW(X)>BnH*nW(X)
则计算该像素点红色特征值,计算公式如下:
BTRnH*nW(X)=((RnH*nW(X)-GnH*nW(X))+(RnH*nW(X)-GnH*nW(X)))
否则BTRnH*nW(X)=0,
统计该图像块中所有像素点的红色特征值,统计的公式如下:
b)绿色特征值:如果像素点X(i,j)的R、G、B值关系满足如下公式:
GnH*nW(X)>RnH*nW(X)且GnH*nW(X)>BnH*nW(X)
则计算该像素点绿色特征值,计算公式如下:
BTGnH*nW(X)=((GnH*nW(X)-RnH*nW(X))+(GnH*nW(X)-BnH*nW(X)))
否则BTGnH*nW(X)=0,
统计该图像块中所有像素点的绿色特征值,统计的公式如下:
c)蓝色特征值:如果像素点X(i,j)的R、G、B值关系满足如下公式:
BnH*nW(X)>RnH*nW(X)且BnH*nW(X)>GnH*nW(X)
则计算该像素点蓝色特征值,计算公式如下:
BTBnH*nW(X)=((BnH*nW(X)-RnH*nW(X))+(BnH*nW(X)-GnH*nW(X)))
否则BTBnH*nW(X)=0,
统计该图像块中所有像素点的蓝色特征值,统计的公式如下:
d)黄色特征值:如果像素点X(i,j)的R、G、B值关系满足如下公式:
RnH*nW(X)>BnH*nW(X)且GnH*nW(X)>BnH*nW(X)
则计算该像素点黄色特征值,计算公式如下:
BTHnH*nW(X)=((RnH*nW(X)-BnH*nW(X))+(GnH*nW(X)-BnH*nW(X)))
否则BTHnH*nW(X)=0,
统计该图像块中所有像素点的黄色特征值,统计的公式如下:
e)青色特征值:如果像素点X(i,j)的R、G、B值关系满足如下公式:
RnH*nW(X)>GnH*nW(X)且BnH*nW(X)>GnH*nW(X)
则计算该像素点青色特征值,计算公式如下:
BTTnH*nW(X)=((RnH*nW(X)-GnH*nW(X))+(BnH*nW(X)-GnH*nW(X)))
否则BTTnH*nW(X)=0,
统计该图像块中所有像素点的青色特征值,统计的公式如下:
f)紫色特征值:如果像素点X(i,j)的R、G、B值关系满足如下公式:
GnH*nW(X)>RnH*nW(X)且BnH*nW(X)>RnH*nW(X)
则计算该像素点紫色特征值,计算公式如下:
BTZnH*nW(X)=((GnH*nW(X)-RnH*nW(X))+(BnH*nW(X)-RnH*nW(X)))
否则BTZnH*nW(X)=0,
统计该图像块中所有像素点的紫色特征值,统计的公式如下:
g)白色特征值:如果像素点X(i,j)的R、G、B值关系满足如下公式:
GnH*nW(X)=RnH*nW(X)且BnH*nW(X)=RnH*nW(X)
统计该图像块中所有像素点的白色特征值,统计的公式如下:
h)黑色特征值:如果像素点X(i,j)的R、G、B值关系满足如下公式:
GnH*nW(X)=RnH*nW(X)且BnH*nW(X)=RnH*nW(X)
统计该图像块中所有像素点的黑色特征值,统计的公式如下:
i)最小值特征值:统计该图像块中所有像素点的特征值,统计的公式如下:
j)最大值特征值:统计该图像块中所有像素点的特征值,统计的公式如下:
AT1nmh*nmw(a1,b1)
k)平均值特征值:统计该图像块中前面10种特征值的平均值,统计的公式如下:
(3)差异值构建新的11个特征值;
根据第(2)步计算的特征值,重新构建新的11个特征值,分别对红、绿、蓝、黄、青、紫、白、黑、最小值、最大值、平均值的特征值重新构建,如下:
a)红色差异特征值:重新构建红色特征值,计算公式如下:
b)绿色差异特征值:重新构建绿色特征值,计算公式如下:
c)蓝色差异特征值:重新构建蓝色特征值,计算公式如下:
d)黄色差异特征值:重新构建黄色特征值,计算公式如下:
e)青色差异特征值:重新构建青色特征值,计算公式如下:
f)紫色差异特征值:重新构建紫色特征值,计算公式如下:
g)白色差异特征值:重新构建白色特征值,计算公式如下:
h)黑色差异特征值:重新构建黑色特征值,计算公式如下:
i)最小值差异特征值:重新构建最小值特征值,计算公式如下:
j)最大值差异特征值:重新构建最大值特征值,计算公式如下:
k)平均值差异特征值:统计该图像块中前面10种差异特征值的平均值,统计的公式如下:
(4)求左右边缘值;
A:若背景为白色,以最大值差异特征值为依据,求各行边缘值;
B:若背景为黑色,以最小值差异特征值为依据,求各行边缘值;
求边缘值公式如下:
a)求特征值PB1nmh*nmw(i,j)平均值PBT=ATA,设边缘的阈值为:a=PBT/2
b)求左边缘,若连续有5个BT1nmh*nmw(i,j)>a,BLnmh(i)=j
c)求右边缘,从右边开始有连续5个BT1nmh*nmw(i,j)>a,BRnmh(i)>nmw-j
d)左、右边缘之外的值个特征清零:
(5)求各特征值最大值,采样时保存各最大值;
a)红色特征值最大值,计算公式如下:
设最大值MaxBTR=0,
采样时保存该特征最大值:MaxBTR0=MaxBTR
b)绿色特征值最大值,计算公式如下:
设最大值MaxBTG=0,
采样时保存该特征最大值:MaxBTG0=MaxBTG
c)蓝色特征值最大值,计算公式如下:
设最大值MaxBTB=0,
采样时保存该特征最大值:MaxBTB0=MaxBTB
d)黄色特征值最大值,计算公式如下:
设最大值MaxBTH=0,
采样时保存该特征最大值:MaxBTH0=MaxBTH
e)青色特征值最大值,计算公式如下:
设最大值MaxBTT=0,
采样时保存该特征最大值:MaxBTT0=MaxBTT
f)紫色特征值最大值,计算公式如下:
设最大值MaxBTZ=0,
采样时保存该特征最大值:MaxBTZ0=MaxBTZ
g)白色特征值最大值,计算公式如下:
设最大值MaxBT1R=0,
采样时保存该特征最大值:MaxBT1R0=MaxBT1R
h)黑色特征值最大值,计算公式如下:
设最大值MaxBT1G=0,
采样时保存该特征最大值:MaxBT1G0=MaxBT1G
i)最小值特征值最大值,计算公式如下:
设最大值MaxBT1B=0,
采样时保存该特征最大值:MaxBT1B0=MaxBT1B
j)最大值特征值最大值,计算公式如下:
设最大值MaxBT1=0,
采样时保存该特征最大值:MaxBT10=MaxBT1
k)平均值特征值最大值,计算公式如下:
设最大值MaxBTA=0,
采样时保存该特征最大值:MaxBTA0=MaxBTA
l)红色差异特征值最大值,计算公式如下:
设最大值MaxBTRD=0,
求最大值
采样时保存该特征最大值:MaxBTRD0=MaxBTRD
m)绿色差异特征值最大值,计算公式如下:
设最大值MaxBTGD=0,
求最大值
采样时保存该特征最大值:MaxBTGD0=MaxBTGD
n)蓝色差异特征值最大值,计算公式如下:
设最大值MaxBTBD=0,
求最大值
采样时保存该特征最大值:MaxBTBD0=MaxBTBD
o)黄色差异特征值最大值,计算公式如下:
设最大值MaxBTHD=0,
求最大值
采样时保存该特征最大值:MaxBTHD0=MaxBTHD
p)青色差异特征值最大值,计算公式如下:
设最大值MaxBTTD=0,
求最大值
采样时保存该特征最大值:MaxBTTD0=MaxBTTD
q)紫色差异特征值最大值,计算公式如下:
设最大值MaxBTZD=0,
求最大值
采样时保存该特征最大值:MaxBTZD0=MaxBTZD
r)白色差异特征值最大值,计算公式如下:
设最大值MaxBT1RD=0,
求最大值
采样时保存该特征最大值:MaxBT1RD0=MaxBT1RD
s)黑色差异特征值最大值,计算公式如下:
设最大值MaxBT1GD=0,
求最大值
采样时保存该特征最大值:MaxBT1GD0=MaxBT1GD
t)最小值差异特征值最大值,计算公式如下:
设最大值MaxBT1BD=0,
求最大值
采样时保存该特征最大值:MaxBT1BD0=MaxBT1BD
u)最大值差异特征值最大值,计算公式如下:
设最大值MaxBT1D=0,
求最大值
采样时保存该特征最大值:MaxBT1D0=MaxBT1D
v)平均值差异特征值最大值,计算公式如下:
设最大值MaxBTAD=0,
求最大值
采样时保存该特征最大值:MaxBTAD0=MaxBTAD
(6)质检时,按以下方法获取n*m图像块中11个特征值的检测值;
a)求红色特征检测值DTRnmh*nmw(i,j),当RTR(i,j)>MaxBTR0时,
否则,DTRnmh*nmw(i,j)=0
b)求红色差异特征检测值DTRDnmh*nmw(i,j),当RTRd(i,j)>MaxBTR0时,
否则,DTRDnmh*nmw(i,j)=0
c)求绿色特征检测值DTGnmh*nmw(i,j),当RTG(i,j)>MaxBTG0时,
否则,BTGnmh*nmw(i,j)=0
d)求绿色差异特征检测值DTGDnmh*nmw(i,j),当RTGd(i,j)>MaxBTG0时,
否则,DTGDnmh*nmw(i,j)=0
e)求蓝色特征检测值DTBnmh*nmw(i,j),当RTB(i,j)>MaxBTB0时,
否则,DTBnmh*nmw(i,j)=0
f)求蓝色差异特征检测值DTBDnmh*nmw(i,j),当RTBd(i,j)>MaxBTB0时,
否则,DTBDnmh*nmw(i,j)=0
g)求黄色特征检测值DTHnmh*nmw(,j),当RTH(i,j)>MaxBTH0时,
否则,DTHnmh*nmw(i,j)=0
h)求黄色差异特征检测值DTHDnmh*nmw(,j),当RTHd(i,j)>MaxBTH0时,
否则,DTHDnmh*nmw(i,j)=0
i)求青色特征检测值DTTnmh*nmw(,j),当RTT(i,j)>MaxBTT0时,
否则,DTTnmh*nmw(i,j)=0
j)求青色差异特征检测值DTTDnmh*nmw(i,j),当RTTd(i,j)>MaxBTT0时,
否则,DTTDnmh*nmw(i,j)=0
k)求紫色特征检测值DTZnmh*nmw(i,j),当RTZ(i,j)>MaxBTZ0时,
否则,DTZnmh*nmw(i,j)=0
l)求紫色差异特征检测值DTZDnmh*nmw(i,j),当RTZd(i,j)>MaxBTZ0时,
否则,DTZDnmh*nmw(i,j)=0
m)求白色特征检测值DT1Rnmh*nmw(i,j),当RT1R(i,j)>MaxBT1R0时,
否则,DT1Rnmh*nmw(i,j)=0
n)求白色差异特征检测值DT1RDnmh*nmw(i,j),当RT1Rd(i,j)>MaxBT1R0时,
否则,DT1RDnmh*nmw(i,j)=0
o)求黑色特征检测值DT1Gnmh*nmw(i,j),当RT1G(i,j)>MaxBT1G0时,
否则,DT1Gnmh*nmw(i,j)=0
p)求黑色差异特征检测值DT1GDnmh*nmw(i,j),当RT1Gd(i,j)>MaxBT1G0时,
否则,DT1GDnmh*nmw(i,j)=0
q)求最小值特征检测值DT1Bnmh*nmw(i,j),当RTB(i,j)>MaxBTB0时,
否则,DT1Bnmh*nmw(i,j)=0
r)求最小值差异特征检测值DT1BDnmh*nmw(i,j),当RTBd(i,j)>MaxBTB0时,
否则,DT1BDnmh*nmw(i,j)=0
s)求最大值特征检测值DT1nmh*nmw(i,j),当RT1(i,j)>MaxBT10时,
否则,DT1nmh*nmw(i,j)=0
t)求最大值差异特征检测值DT1Dnmh*nmw(i,j),当RT1d(i,j)>MaxBT10时,
否则,DT1Dnmh*nmw(i,j)=0
u)求平均值特征检测值DTAnmh*nmw(i,j),当RTA(i,j)>MaxBTA0时,
否则,DTAnmh*nmw(i,j)=0
v)求平均值差异特征检测值DTADnmh*nmw(i,j),当RTAd(i,j)>MaxBTA0时,
否则,DTADnmh*nmw(i,j)=0
(7)按11种分区统计方式,分别求22种特征检测值的统计平均值;
①4*4分区
②8*2分区
③2*8分区;
④1*16分区;
⑤16*1分区;
(8)根据各特征检测值的统计平均值求疑似疵点;
设该判断阈值detm=1,根据不同的分区情况判断疑似疵点如下:
①4*4分区;
②8*2分区;
③2*8分区;
④1*16分区;
⑤16*1分区
(9)按16*16分块统计各块疑似疵点的个数,若数量大于阈值detnm≥3,则该块为疵点;
(10)标出疵点,并计算标出疵点个数;
a)红色疵点,设阈值detnn=1,疵点个数numberr=0
b)红色差异疵点,设阈值detnn=1,疵点个数numberrd=0
c)绿色疵点,设阈值detnn=1,疵点个数numberg=0
d)绿色差异疵点,设阈值detnn=1,疵点个数numbergd=0
e)蓝色疵点,设阈值detnn=1,疵点个数numberb=0
f)蓝色差异疵点,设阈值detnn=1,疵点个数numberbd=0
g)黄色疵点,设阈值detnn=1,疵点个数numberh=0
h)黄色差异疵点,设阈值detnn=1,疵点个数numberhd=0
i)青色疵点,设阈值detnn=1,疵点个数numbert=0
j)青色差异疵点,设阈值detnn=1,疵点个数numbertd=0
k)紫色疵点,设阈值detnn=1,疵点个数numberz=0
l)紫色差异疵点,设阈值detnn=1,疵点个数numberzd=0
m)白色疵点,设阈值detnn=1,疵点个数number1r=0
n)白色差异疵点,设阈值detnn=1,疵点个数number1rd=0
o)黑色疵点,设阈值detnn=1,疵点个数number1g=0
p)黑色差异疵点,设阈值detnn=1,疵点个数number1gd=0
q)最小值疵点,设阈值detnn=1,疵点个数number1b=0
r)最小值差异疵点,设阈值detnn=1,疵点个数number1bd=0
s)最大值疵点,设阈值detnn=1,疵点个数number1=0
t)最大值差异疵点,设阈值detnn=1,疵点个数number1d=0
u)平均值疵点,设阈值detnn=1,疵点个数numbera=0
v)平均值差异疵点,设阈值detnn=1,疵点个数numberad=0
通过上述算法,可得到不同颜色标注的瑕疵,不同的颜色对应不同的瑕疵类型,例如,红色对应的瑕疵类型为漏纱,绿色对应的瑕疵类型为烂洞等,可根据具体的特征值计算方法具体对应。还可根据标注框的大小和坐标得到瑕疵的位置信息以及尺寸信息,还可根据标注出来的瑕疵得到瑕疵的图像信息。
可选地,根据生产过程的需要,可在织布过程、半成品、成品、成品入库这四个环节对布匹进行瑕疵算法识别,从而提高疵点检测准确率。
可选地,系统质检过程中出现无法判断类型的疵点时,系统自动将图像疵点位置放大,并上传提交到管理平台,由值班人员对疵点的图片复核并对疵点的类型进行描述。
根据本申请实施例提供的瑕疵检测算法,可以以足够快的速度对获得的图像数据进行运算,提取该帧图像中布面特征信息,采用的算法是以上百万个像素点进行分析、统计,进而对布面瑕疵进行识别,发现疵点并定位,记录瑕疵的类型信息、尺寸信息、位置信息以及图像信息等,解决了现有技术中对布面瑕疵的准确快速识别的问题。
S103对瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息进行统计,生成瑕疵检测报告。
在一个实施例中,得到瑕疵的检测信息后,还可以对布匹的瑕疵信息进行统计。
具体地,根据预设的评分规则以及瑕疵类型信息、瑕疵尺寸信息对每一个瑕疵点进行评分,得到瑕疵分值。西欧和美国常用的疵点评分标准主要有“十分制评分法”和“四分制评分法”这两种。这两种都指的是对于单一疵点的最高评分为十分或者四分。可根据疵点的类型及疵点的尺寸大小对每一个疵点进行评分。疵点评分类型可分为漏纱、紧纱、烂洞、连线、漏针、切烂、牙边等。
进一步地,统计布匹中瑕疵的分值信息、类型信息、位置信息、数量信息以及尺寸信息,并确定布匹质量等级,通过对整卷布匹的所有疵点进行综合评分,根据预设的布匹质量标准自动分析统计得出该卷布匹的质量等级。根据布匹的图像信息、生产批次信息、瑕疵图像信息以及质量等级信息等数据生成布匹检测报告。
在一个可选地实施例中,还包括记录布匹信息,对每卷布匹根据转动速度,按照一定的图幅尺寸采集布匹的全部布面信息,并将布面图像、质检实时统计数据、批次数据等信息上传存储到私有云中心存储服务器,便于后期查看、统计整卷布匹的布面信息。
在一个可选地实施例中,还可以记录布匹的出入库信息,布匹入库前,自动调取平台后台中心的存储服务器相关布匹信息进行最后一次疵点分析,提高对疵点的检测准确率。还可提供每一卷入库、出库的布匹信息,信息主要包括整卷布匹的画面信息、瑕疵图片信息、疵点类型和尺寸统计信息、疵点评分信息、布匹评分信息、布匹检测报告等信息。以上信息可根据半成品、成品等不同的材料对其进行入库的信息查看。
在一个可选地实施例中,客户还可以进行产品质量追溯,客户可以通过产品追溯码或者二维码查询到产品的批次、产品名称、产品编码、生产工厂、生产批次、生产日期、报关、离境信息以及产品的入库时图形信息记录。产品质量追溯反映了企业管理水平的信息化程度,产品质量追溯除了对产品的整个生命周期的存档、跟踪、反馈、查询、管理,也大大便利了产品的质量跟踪和售后服务。一旦出现质量纠纷或者问题,可提供有效证据或迅速找到质量的问题原因,有助于提高国际品牌的效应或质量问题的解决。
为了便于理解本申请实施例提供的表面瑕疵的实时检测方法,下面结合附图2进行说明。如图2所示,该方法包括如下步骤。
首先,获取布面图像,可通过工业高速摄像机从检验台快速移动的布匹采集到稳定清晰的图像。对每卷布匹根据转动速度,按照一定的图幅尺寸采集布匹的全部布面信息,并记录采集的布面信息。
进一步地,将获取的布面图像输入瑕疵检测算法,可通过智能的瑕疵检测算法对布面图像中的瑕疵进行识别,得到瑕疵的类型信息、尺寸信息以及位置信息等,对于未知类型的瑕疵,可将未知类型的瑕疵发送到管理平台进行人工复核。并将识别到的瑕疵信息保存在存储服务器中。
进一步地,可通过西欧和美国常用的“十分制评分法”或“四分制评分法”,根据瑕疵的类型、尺寸等信息对每一个瑕疵进行评分。
进一步地,还可以对布匹进行评分,通过对整卷布匹的所有疵点进行综合评分,根据预设的布匹质量标准自动分析统计得出该卷布匹的质量等级并生成布匹的检测报告。
进一步地,本申请实施例是多层检测,根据生产过程的需要,可在织布过程、半成品、成品、成品入库这四个环节对布匹进行多层算法识别,从而提高疵点检测准确率。
进一步地,还包括记录布匹的出入库信息,以及客户可以通过查询二维码进行产品质量追溯。
本申请实施例提供的瑕疵识别算法,不仅可以对布匹瑕疵进行检测,还可以对铝材、家具建材等物体的瑕疵进行检测,只需调整对应的瑕疵类型即可,本申请实施例不再详细描述。
本申请实施例还提供一种基于图像识别算法的表面瑕疵质检平台,如图4所示,该平台包括:后台中心、云中心、互联网终端以及生产车间设备;后台中心、生产车间设备与云中心连接,互联网终端与后台中心连接。平台中各类设备之间的数据交互通过网络传输实现,数据的传输采用TCP/IP网络协议,能够在协议底层保证数据传输的稳定性。
其中,生产车间设备用于采集待检测物体的图像,将待检测物体的图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息,将检测到的物体图像信息、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息发送到云中心。
具体地,生产车间设备包括:质检值班管理平台、质检设备以及综合交换机。
其中,质检值班管理平台与云中心连接,用于查看、统计云中心存储的数据;还用于监管生产车间设备。主要通过网络接入云中心,可通过平台操作界面对车间所有质量检测设备进行监管,远程实时监管质量检测的各个流程,同时也可以对云中心的数据信息进行查看、统计、导出等,为生产管理提供相应的数据信息支撑。
质检设备属于一套检测设备,包括质检操作平台、质检处理器、接入交换机、图像识别摄像机、质检控制器、补光灯以及声光报警器。
质检设备的操作流程如图5所示,生产车间的生产设备通过加装图像识别摄像机进行图像采集,并将摄像机的图像信息通过USB协议传输至质检处理器,为满足快速及稳定的传输图像信息,USB接口协议采用的是USB 3.0的协议,传输速率可达5.0Gbps,即速率达到了500MB/S的速度。根据生产机器的类型及生产布匹的尺寸,一台生产设备可配置多支图像识别摄像机,为达到快速、稳定识别采集到图像,每支图像识别摄像机配置独立的质检处理器。
质检处理器对采集到的布面信息进行疵点识别处理,布面疵点识别是由内置的瑕疵检测算法进行检测,瑕疵检测算法对光线要求非常高,通过安装补光灯设备于受检测的布面正上方,对光线进行均匀补偿。补光灯电源开启及关闭由质检操作平台进行控制。为加快布匹的检测速度,将布匹的检测面积分为若干个小的检测面,并每个小的检测面各用一台质检处理器进行运行瑕疵识别算法程序。由多台质检处理器对布面进行疵点检测比独立采用一台高性能的计算机,疵点检测速度更快、硬件成本更低。多台质检处理器通过接入交换机进行联网。
质检操作平台主要功能有四方面。第一方面是对实时画面显示、布匹的样图采样、疵点画面的显示。第二方面是通过质检操作平台远程设置摄像机采集图像的参数、布匹批次信息等。第三方面是通过质检控制器控制电机转动,从而控制验布机器的前进、后退、停止控制。第四方面是通过质检操作平台的显示界面操作及搭配的质检控制器对声光报警及补光等进行控制。质检操作平台发现疵点时及时通过质检控制器对传动电机进行停止控制及发出声光警报,待操作人员对疵点进行确认并对电机进行启动操作。每一套质检操作平台均包括质检操作平台、质检控制器、声光报警器、电机控制接口。
接入交换机是为质检操作平台与质检处理器之间网络连接提供接口,统一接入云中心,并为各类设备提供稳定的数据信息传输功能。接入交换机是采用存储和转发数据方式,当接入交换机与云中心网络出现故障时,质检设备可以正常工作,待网络故障恢复后自动上传数据至云中心。
综合交换机属于通用型千兆/万兆网络交换机,将车间中所有检测设备与私有云中心设备进行网络互联,进行数据的转发传输。
其中,后台中心包括解析服务器组、智慧服务器组、存储服务器组、局域网终端。后台中心的网络连接是通过核心交换机将各类设备的数据信息互联,实现数据的交互。
解析服务器组主要是负责局域网终端和云服务器设备的接入管理,进行互联网与局域网数据的转换交互传输,初步解析筛选数据,过滤无效或非法数据,保证后台数据中心的安全、稳定。
智慧服务器组属于系统数据处理中心,主要负责对数据进行网络交互传输,对数据进行融合和统计分析,自行智能处理某些问题。通过云计算技术以及独有的数据处理算法,能够快速对系统数据进行融合、统计分析,实现各类功能;同时,结合内置的专家系统,在出现紧急情况时,智能匹配应急预案并进行事件处理,第一时间发现问题并解决问题。
例如,根据预设的评分规则以及瑕疵类型信息、瑕疵尺寸信息对每一个瑕疵点进行评分,得到瑕疵分值;统计物体中瑕疵的分值信息、类型信息、位置信息、数量信息以及尺寸信息,并确定物体质量等级;根据物体的图像信息、生产批次信息以及质量等级信息生成物体检测报告。
存储服务器组是数据的存储中心,主要负责对系统数据的快速存储、快速查询的功能。采用专有编码的数据仓技术,快速构建多维存储空间,结合私有云操作系统数据通信协议,进行系统数据的快速编码、分类存储、精确查询,为系统提供高效、稳定的数据存储保障。
例如,用于存储物体中瑕疵类型信息、瑕疵尺寸信息、瑕疵位置信息、瑕疵数量信息、瑕疵分值信息、物体图像信息、瑕疵图像信息、物体质量等级信息、生产批次信息以及出入库记录信息;还用于根据存储的数据进行数据融合,生成结构化的数据报表。
局域网终端是关联平台系统的管理终端,其中包含平台维护管理终端、质检平台管理终端等。平台维护管理终端主要负责整个平台系统的设备配置、设备监管(运行状态、故障等)、软件远程升级更新、统计报表查询等功能;质检平台管理终端主要负责各个生产车间的管理以及生产流程监管,远程管理车间质检设备等功能。
其中,云中心用于将接收的物体图像信息、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息发送到后台中心。
云中心是系统互联网中心的接入端。云中心通过互联网网络通信技术管理接入的后台解析服务器、各类互联网终端、各生产车间的质检设备,通过私有云操作系统数据通信协议实现数据的交互传输,解决各类功能终端用户和功能数据快速接入的问题。同时,通过系统数据交互的规则,通过算法自动调控系统数据的传输方向、传输速度、传输数据量,有效降低了公网带宽和流量的消耗。
其中,互联网终端主要提供的是质检生产流程的远程监管,其中包括质检监管手机终端和质检监管终端。这两类终端的职能相同,不同之处是质检监管手机终端为手机移动端,质检监管终端为PC端,所提供的功能主要有车间生产流程监管、紧急情况预警通知、统计报表查询等。
在一个可选地实施例中,针对丝织品布料生产各个环节的布面疵点检测,主要包括了织布过程布面疵点检测、胚布疵点检测、成品疵点检测。因此,本申请的质检平台主要包括织布质检平台,如图6所示,主要是布匹织布过程中的疵点检测平台,根据布匹产品设备类型、布匹尺寸,采用了4套照明和成像系统为视觉系统,4套布匹图像处理系统及1套质检操作平台,布匹传动系统由工厂的织布生产设备的电机提供,电机控制信号接入质检控制器的电机控制接口即可。照明系统采用的射灯的方式。
还可以包括验布质检平台,如图7所示,主要是布匹质量检测过程中的疵点检测平台,添加质检平台可以由原人工检测方式升级为智能检测方式,该检测主要是对染色、印花等工序后的质量检测。验布质检平台根据布匹产品设备类型、布匹尺寸,采用了4套照明和成像系统为视觉系统、4套布匹图像处理系统及1套质检操作平台,布匹传动系统由工厂的织布生产设备的电机提供,电机控制信号接入质检控制器的电机控制接口即可。照明系统采用的射灯的方式。
还可以包括成品质检平台,如图8所示,主要是为布匹质量检测的最后一道工序,该检测主要是裁剪后的布匹进行质量检测。成品质检平台根据布匹产品设备类型、布匹尺寸,采用了1套照明和成像系统为视觉系统、1套布匹图像处理系统及1套质检操作平台,布匹传动系统由工厂的织布生产设备的电机提供,电机控制信号接入质检控制器的电机控制接口即可。照明系统采用的灯盘的方式。
在一个实施例中,私有云操作系统的核心是系统的数据通信协议,系统中各类设备之间的数据交互必须严格按照规范进行,各层相互独立的物理网络设备之间的通信协议信息互不相同,各自之间存在对应规则所生成的动态信息码,跨设备之间无法解析与自身设备无关的信息码,并且动态信息码有一定的生存周期,私有云操作系统会不定时更新各自的动态信息码。通过这种方式在软件层面保证了数据安全、数据准确性的问题,提高系统的稳定性和可靠性。
功能协议方面则根据系统所需解决的问题进行功能和数据的分类、解析、融合,各级设备进行多级的功能解析融合,保证系统功能的稳定性。
其中,云中心作为互联网终端的接口,在私有云操作系统中终端与云中心之间的数据通信设置动态信息码,双方之间通过设备编号(源设备编号和云服务器编号)和终端网三级动态信息码进行系统数据的交互。若信息码正确,进行功能协议解析和数据处理;若信息码错误,则将该数据丢弃或隔离,并做记录备案。
其中,云中心作为互联网终端的接口,解析服务器作为后台中心的接口设备,在私有云操作系统中云中心与解析服务器之间的数据通信设置动态信息码,双方之间通过接入网三级动态信息码进行系统数据的交互。若信息码正确,进行功能协议解析和数据处理;若信息码错误,则将该数据丢弃或隔离,并做记录备案。
其中,解析服务器作为后台中心的接口设备,智慧服务器作为系统数据融合处理中心,在私有云操作系统中解析服务器与智慧服务器之间的数据通信设置动态信息码,双方之间通过智慧网三级动态信息码进行系统数据的交互。若信息码正确,进行功能协议解析和数据处理;若信息码错误,则将该数据丢弃或隔离,并做记录备案。
其中,智慧服务器作为系统数据融合处理中心,存储服务器作为系统的数据存储中心,在私有云操作系统中智慧服务器与存储服务器之间的数据通信设置动态信息码,双方之间通过存储网三级动态信息码进行系统数据的交互。若信息码正确,进行功能协议解析和数据处理;若信息码错误,则将该数据丢弃或隔离,并做记录备案。
在一个实施例中,系统采用自适应虚拟网技术构建数据传输的虚拟通道,根据数据分类分配独立的虚拟通道,不同类型的数据通过不同的虚拟通道传输,通过不同虚拟通道的有效组合实现数据的快速交互、可控交互,这样不仅能解决数据粘包问题,同时也解决了数据安全传输的问题。
自适应虚拟通道的构建方法及工作模式如下:
(1)设备备案上传,系统自动分配数据、图像、语音三个独立的虚拟通道。
(2)实时监管虚拟通道(循环检测),根据不同时段的数据量情况自动调整数据的传输流量,充分利用系统资源,保证数据的稳定传输。
(3)解析有效数据,根据数据分类分别解析不同虚拟通道的数据,提取有效数据,去除无效数据。
(4)转发有效数据,通过对应的虚拟通道转发传输有效数据,丢弃或记录无效数据,减少传输的数据量,节省系统资源。
(5)存储有效数据,根据从不同虚拟通道获取的数据快速分类存储,只存储有效数据,节省存储空间。
(6)融合有效数据,得出功能数据。
(7)发送功能数据。
(8)展示功能数据。
根据系统设备或用户的数量,灵活分配虚拟通道并使用,避免造成资源浪费和资源不足的矛盾;同时通过自适应调整数据传输的流量,充分利用系统资源和保证数据传输的稳定。
根据本申请实施例提供的基于图像识别算法的表面瑕疵平台,为机械自动化工厂植入视觉识别、云计算、大数据技术,使其升级为智能化工厂。该平台可以有效降低生产的人力成本、减少对肉眼损伤、提高生产品质、提高生产效率。因人工检测速度慢,需要消耗大量的人力,而且由于主观因素影响,使得质量检测缺乏一致性和准确性。为了模拟人工检测过程,利用机器视觉技术来代替人工视觉对物体进行图像采集,利用视觉识别算法和云计算技术可以把物体表面疵点检测及定位出来,利用大数据技术对每个疵点进行记录和分析、物体的评分评等、出入库跟踪、产品质量追溯等。
需要说明的是,上述实施例提供的基于图像识别算法的表面瑕疵质检平台在执行基于图像识别算法的表面瑕疵质检方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于图像识别算法的表面瑕疵质检平台与基于图像识别算法的表面瑕疵质检方法实施例属于同一构思。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于图像识别算法的表面瑕疵质检平台,其特征在于,所述平台包括:
后台中心、云中心、互联网终端以及生产车间设备;
其中,所述生产车间设备用于采集待检测物体的图像,将待检测物体的图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息,将检测到的物体图像信息、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息发送到云中心;
所述云中心用于将接收的物体图像信息、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息发送到后台中心;
所述后台中心用于对所述物体图像信息、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息进行统计,生成物体瑕疵检测报告;
所述互联网终端用于查询所述物体瑕疵检测报告。
2.根据权利要求1所述的平台,其特征在于,所述生产车间设备,包括:
摄像机,用于采集待检测的物体图像;
质检处理器,用于将待检测的物体图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息;
综合交换机,用于与云中心进行网络互连,将所述物体图像、瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息发送到云中心;
补光灯,用于为所述摄像机提供光源;
声光报警器,用于当检测出瑕疵信息之后,发出声光报警信息。
3.根据权利要求2所述的平台,其特征在于,所述质检处理器具体用于对所述待检测的物体图像进行格式转换,得到转换后的物体图像;
对所述转换后的物体图像进行平均分割,得到多个长宽相等的图像块;
计算每个图像块的像素点的特征值,根据计算出来的特征值确定不同类型的瑕疵点;
对不同类型的瑕疵点进行分类标注,根据标注框的坐标信息以及尺寸信息确定每个瑕疵点的位置信息和尺寸信息。
4.根据权利要求2所述的平台,其特征在于,所述生产车间设备还包括:
质检值班管理平台,与云中心连接,用于查看、统计云中心存储的数据;还用于监管生产车间设备。
5.根据权利要求2所述的平台,其特征在于,所述生产车间设备还包括:
质检操作平台,用于实时显示所述物体图像和瑕疵图像;还用于远程设置摄像机采集图像的参数;还用于控制电机转动;还用于控制补光灯以及声光报警器。
6.根据权利要求1所述的平台,其特征在于,所述后台中心,包括:
智慧服务器组,用于根据预设的评分规则以及所述瑕疵类型信息、瑕疵尺寸信息对每一个瑕疵点进行评分,得到瑕疵分值;
用于统计物体中瑕疵的分值信息、类型信息、位置信息、数量信息以及尺寸信息,并确定物体质量等级;
用于根据物体的图像信息、生产批次信息以及质量等级信息生成物体检测报告。
7.根据权利要求1所述的平台,其特征在于,所述后台中心,还包括:
存储服务器组,用于存储物体中瑕疵类型信息、瑕疵尺寸信息、瑕疵位置信息、瑕疵数量信息、瑕疵分值信息、物体图像信息、瑕疵图像信息、物体质量等级信息、生产批次信息以及出入库记录信息;
还用于根据存储的数据进行数据融合,生成结构化的数据报表。
8.根据权利要求1所述的平台,其特征在于,所述互联网终端,包括:
质检监管手机终端和质检监管计算机终端,用于查询物体瑕疵检测报告以及数据报表,还用于紧急情况预警,还用于监管生产流程。
9.一种基于图像识别算法的表面瑕疵质检方法,其特征在于,所述方法包括:
获取待检测的物体图像;
将所述待检测的物体图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息;
对所述瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息进行统计,生成瑕疵检测报告。
10.根据权利要求9所述的方法,其特征在于,将所述待检测的物体图像输入预设的瑕疵检测模型,得到检测出来的瑕疵类型信息、瑕疵位置信息以及瑕疵尺寸信息,包括:
所述瑕疵检测模型对所述待检测的物体图像进行格式转换,得到转换后的物体图像;
对所述转换后的物体图像进行平均分割,得到多个长宽相等的图像块;
计算每个图像块的像素点的特征值,根据计算出来的特征值确定不同类型的瑕疵点;
对不同类型的瑕疵点进行分类标注,根据标注框的坐标信息以及尺寸信息确定每个瑕疵点的位置信息和尺寸信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2022103008207 | 2022-03-25 | ||
CN202210300820 | 2022-03-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114820461A true CN114820461A (zh) | 2022-07-29 |
Family
ID=82532398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210345674.XA Pending CN114820461A (zh) | 2022-03-25 | 2022-04-02 | 基于图像识别算法的表面瑕疵质检平台及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114820461A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115147A (zh) * | 2023-10-19 | 2023-11-24 | 山东华盛创新纺织科技有限公司 | 一种基于机器视觉的纺织品检测方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0742431A1 (en) * | 1995-05-10 | 1996-11-13 | Mahlo GmbH & Co. KG | Method and apparatus for detecting flaws in moving fabrics or the like |
CN103207186A (zh) * | 2013-04-08 | 2013-07-17 | 北京经纬纺机新技术有限公司 | 自动验布机疵点检测识别方法及其系统 |
CN109610056A (zh) * | 2018-12-10 | 2019-04-12 | 江南大学 | 一种环锭细纱机物联网生产监控管理系统 |
CN110033434A (zh) * | 2019-03-04 | 2019-07-19 | 南京航空航天大学 | 一种基于纹理显著性的表面缺陷检测方法 |
CN110084246A (zh) * | 2019-04-17 | 2019-08-02 | 江南大学 | 一种色织物疵点自动识别方法 |
-
2022
- 2022-04-02 CN CN202210345674.XA patent/CN114820461A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0742431A1 (en) * | 1995-05-10 | 1996-11-13 | Mahlo GmbH & Co. KG | Method and apparatus for detecting flaws in moving fabrics or the like |
CN103207186A (zh) * | 2013-04-08 | 2013-07-17 | 北京经纬纺机新技术有限公司 | 自动验布机疵点检测识别方法及其系统 |
CN109610056A (zh) * | 2018-12-10 | 2019-04-12 | 江南大学 | 一种环锭细纱机物联网生产监控管理系统 |
CN110033434A (zh) * | 2019-03-04 | 2019-07-19 | 南京航空航天大学 | 一种基于纹理显著性的表面缺陷检测方法 |
CN110084246A (zh) * | 2019-04-17 | 2019-08-02 | 江南大学 | 一种色织物疵点自动识别方法 |
Non-Patent Citations (1)
Title |
---|
李春雷等: "应用方向梯度直方图和低秩分解的织物疵点检测算法", ·《纺织学报》, vol. 38, no. 3, 15 March 2017 (2017-03-15), pages 149 - 154 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115147A (zh) * | 2023-10-19 | 2023-11-24 | 山东华盛创新纺织科技有限公司 | 一种基于机器视觉的纺织品检测方法及系统 |
CN117115147B (zh) * | 2023-10-19 | 2024-01-26 | 山东华盛创新纺织科技有限公司 | 一种基于机器视觉的纺织品检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110826538A (zh) | 一种用于电力营业厅的异常离岗识别系统 | |
CN108312456B (zh) | 一种注塑机产品工艺品质监控系统以及监控方法 | |
CN112966772A (zh) | 一种多人在线的图像半自动标注方法及系统 | |
CN107144992A (zh) | 基于aoi技术的全自动化lcd检测控制系统及方法 | |
US11657599B2 (en) | Method for detecting appearance of six sides of chip multi-layer ceramic capacitor based on artificial intelligence | |
CN115150589A (zh) | 一种用于煤矿企业的视频监控运维管理系统 | |
CN112770088A (zh) | 一种ai视频联动感知监控系统 | |
CN114219799A (zh) | 一种智能制造用次品分析方法及系统 | |
CN112560816A (zh) | 一种基于YOLOv4的设备指示灯识别方法及系统 | |
CN110796754A (zh) | 一种基于图像处理技术的机房巡检方法 | |
CN111624970A (zh) | 一种信息上报方法、装置、设备及生产控制系统 | |
CN114820461A (zh) | 基于图像识别算法的表面瑕疵质检平台及方法 | |
CN112485935A (zh) | 液晶显示屏缺陷自动检测调整系统 | |
CN113780594A (zh) | 一种服务器智能识别与巡检系统 | |
CN113592852A (zh) | 一种碳纤维碳丝质量在线检测系统和方法 | |
CN113588653A (zh) | 一种检测和追踪铝用阳极炭块质量的系统及方法 | |
CN114708584A (zh) | 基于大数据的卷烟产品质量缺陷防控学习系统及方法 | |
CN105744261B (zh) | 机顶盒前面板的测试系统及测试方法 | |
CN114858806A (zh) | 一种卷烟质量检验数据分析系统与方法 | |
CN117114420B (zh) | 一种基于图像识别的工贸安全事故风险管控系统和方法 | |
CN117037059A (zh) | 基于巡检监控的设备管理方法、装置及电子设备 | |
CN116934674A (zh) | 一种基于YOLOv8网络的大粒度硅料检测与清除系统 | |
CN116840240A (zh) | 电源分配器视觉检测系统 | |
CN116311053A (zh) | 一种缺陷检测方法、系统及其应用 | |
CN110087066B (zh) | 一种应用于网上巡查的一键自动巡检方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |