CN105044126A - 宽幅连续表面缺陷视觉检测系统 - Google Patents

宽幅连续表面缺陷视觉检测系统 Download PDF

Info

Publication number
CN105044126A
CN105044126A CN201510433740.9A CN201510433740A CN105044126A CN 105044126 A CN105044126 A CN 105044126A CN 201510433740 A CN201510433740 A CN 201510433740A CN 105044126 A CN105044126 A CN 105044126A
Authority
CN
China
Prior art keywords
server
data
detection system
wide cut
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510433740.9A
Other languages
English (en)
Inventor
韩芳芳
张宝峰
朱均超
夏青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Ruian City Quality And Technical Supervision And Inspection Institute
Military Transportation University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruian City Quality And Technical Supervision And Inspection Institute, Military Transportation University of PLA filed Critical Ruian City Quality And Technical Supervision And Inspection Institute
Priority to CN201510433740.9A priority Critical patent/CN105044126A/zh
Publication of CN105044126A publication Critical patent/CN105044126A/zh
Pending legal-status Critical Current

Links

Abstract

本发明涉及一种宽幅连续表面缺陷视觉检测系统,采用服务器/客户端模式的分布式架构的视觉检测系统,该检测系统由一台服务器和多个图像处理子系统构成,各图像处理子系统在服务器的调度下并行完成一定区域内相对独立的检测任务,服务器是整个检测系统的控制管理单元和人机接口,在完成检测任务调度的同时,用于设定检测参数,接收并在屏幕上进行实时显示客户端上传的图像数据和缺陷数据,将缺陷信息存入缺陷数据库中。本发明将FPGA+DSP的智能相机模式和基于计算机/服务器的处理模式结合,增加处理器数目;而且根据宽幅表面检测需求,增加并行处理的组数,进一步提高数据处理能力。

Description

宽幅连续表面缺陷视觉检测系统
技术领域
[0001] 本发明属于工业检测领域,涉及机器视觉技术,尤其是一种宽幅连续表面缺陷视觉检测系统。
背景技术
[0002] 产品表面缺陷检测对保证产品深加工质量、提高产品商业价值具有重要意义,成为现代生产制造行业关注的热点问题。
[0003] 产品表面质量的传统检测方法是人眼目测法。但受人的心理、心情等因素影响,人工检测缺少客观一致性,给产品质量控制带来许多不稳定和不可靠因素;另一方面,受人生理条件的限制,人眼的时间分辨率(物体速度在50m/min以上时,人眼无法分辨比较细微的形态)和空间分辨率(缺陷目标一般大于0.5mm时,人眼才能有效分辨)有限,且人的体力有限,无法实现产品高速生产时的连续、在线检测,无法满足对生产质量全过程的实时监控。探索客观、有效、高速、可靠的质量控制方案,寻求新的产品表面缺陷检测系统来替代传统的人工检测成为许多企业迫切需要解决的问题之一。
[0004] 机器视觉技术将计算机的快速性、可靠性,结果的可重复性与人类视觉的高度智能化结合起来,以其自动化、客观、非接触和高精度的特点在众多工业生产领域取得了广泛的应用。视觉检测技术为产品表面缺陷检测提供了客观、有效的手段。
[0005] 宽幅、连续表面是指幅面宽(2米以上),且在生产线上无间断、源源产出的产品,如钢板、玻璃、布匹等。在生产制造领域,宽幅连续表面的材料通常是进行其它工业产品生产的原材料,生产宽幅连续表面材料的行业通常都是国民经济的支柱性产业。因此,提高这类产品的生产速度和产品质量,对提高我国工业化水平和促进国民经济发展具有重要意义。
[0006] 宽幅、连续表面意味着被检表面面积大,这给表面图像的大视场均匀照明、图像采集、检测精度与处理数据量大小、图像处理算法复杂度与处理速度都带来了设计上的压力与挑战。特别是与工业生产相结合时,还要在保证检测准确率的情况下,使检测速度与高速工业生产线的生产速度相符合。因此,宽幅、连续表面缺陷的视觉在线检测相比于小视觉检测系统的难度大大增加。
发明内容
[0007] 本发明的目的在于克服现有技术不足,提供一种系统检测面积大,实时性强的宽幅连续表面缺陷视觉检测系统。
[0008] 本发明采用的技术方案是:
[0009] —种宽幅连续表面缺陷视觉检测系统,采用服务器/客户端模式的分布式架构的视觉检测系统,该检测系统由一台服务器和多个图像处理子系统构成,各图像处理子系统在服务器的调度下并行完成一定区域内相对独立的检测任务,服务器是整个检测系统的控制管理单元和人机接口,在完成检测任务调度的同时,用于设定检测参数,接收并在屏幕上进行实时显示客户端上传的图像数据和缺陷数据,将缺陷信息存入缺陷数据库中。
[0010] 而且,每个所述图像处理子系统均由一台CMP计算机,两条线光源、两台线扫描相机、两块DSP+FPGA处理卡构成,每个相机配置一块图像采集处理卡,两块采集处理卡的信息送入一台CMP计算机,各CMP计算机将最终得到的缺陷图像数据和检测信息送入服务器作进一步处理。
[0011 ] 而且,所述服务器是工业计算机。
[0012] 上述宽幅连续表面缺陷视觉检测系统的建立步骤为:
[0013] ⑴针对连续运行的被测产品,采用线阵工业相机扫描方式获取产品表面图像数据;
[0014] ⑵配合线阵工业相机,采用线光源照明模式;
[0015] ⑶采用多个线阵相机在幅宽方向拼接的方式,构成对宽幅表面的检测;
[0016] ⑷采用多处理器的拓扑结构,实现对宽幅表面图像数据的处理。
[0017] 而且,所述线阵相机由扫描线拼接成图像,由算法控制图像采集的起始和结束行,由此实现纵向分割图像,多个线阵相机在幅宽方向拼接的方式,构成对宽幅表面的检测。
[0018] 而且,所述对宽幅表面图像数据的处理为:每个线阵工业相机扫描到的原始图像数据由DSP控制FPGA采集,在FPGA经ROI检测后,非可疑数据放弃不再进行后续处理,可疑数据送入DSP进行进一步分析,实现第一次数据降维;在05?中实现图像预处理和缺陷分害J,将分割出的缺陷数据送入多核计算机,实现第二次数据降维;缺陷数据在多核计算机中进行缺陷融合、特征提取选择和模式分类判别,最后将缺陷信息数据和缺陷图像数据送入服务器;把每一个处理器都作为一个处理节点,从一个处理节点到另一个处理节点采用双缓存的乒乓结构。
[0019] 本发明优点和积极效果为:
[0020] 本发明着眼于“宽幅、连续运动产品表面”,这类产品通常与国民经济的支柱性产业相关,这类产品的表面缺陷检测具有重要意义。提出基于多FPGA、DSP、CMP计算机、月艮务器计算机多处理器的图像数据处理方案。目前视觉检测主要基于两种模式结构:基于FPGA+DSP的智能相机模式和基于计算机/服务器的处理模式。本项目将二者结合,增加处理器数目;而且根据宽幅表面检测需求,增加并行处理的组数,进一步提高数据处理能力。
附图说明
[0021] 图1是宽幅连续表面缺陷检测系统的结构图。
[0022] 图2是图像处理子系统结构图。
[0023] 图3是多处理器数据处理流程图。
[0024] 图4是处理节点间的乒乓缓存结构图。
具体实施方式
[0025] 下面通过附图结合具体实施例对本发明作进一步详述,以下实施例只是描述性的,不是限定性的,不能以此限定本发明的保护范围。
[0026] —、系统总体构成及工作方式
[0027] —种宽幅连续表面缺陷视觉检测系统构成如图1所示,由一台服务器和多个图像处理子系统构成,服务器为工业用计算机,各图像处理子系统在服务器的调度下并行完成一定区域内相对独立的检测任务。
[0028] 每个图像处理子系统由线阵工业相机作为图像采集设备、线光源作为图像照明设备、图像采集处理卡作为图像处理设备构成,该图像处理子系统通过以太网和现场总线作为网络传输模块与服务器连接。
[0029] 针对连续运行的被测产品,采用线阵工业相机扫描方式获取产品表面图像数据,具体为:
[0030] 检测支架固定安装于被测产品上方,被测产品在传送带上连续运行。线阵工业相机固定安装在支架上,由被测产品的运动而使得二者产生相对运动从而形成采集的图像。
[0031] 配合线阵工业相机,采用线光源照明模式,具体为:
[0032] 每个线阵工业相机配备一个线光源,由线光源负责照明,线光源与线阵相机以一定角度固定安装,形成低角度或高角度等特定的照明模式。
[0033] 采用多个线阵相机在幅宽方向拼接的方式,构成对宽幅表面的检测,具体为:
[0034] 对于宽幅表面,由多个线阵工业相机并行拼接采集被测物表面图像。每两个相机采集到的图像,送入一个图像处理子系统进行处理进行分析处理。多个图像处理子系统的处理结果,送入服务器计算机进行数据融合;同时,由服务器计算机负责检测任务调度、检测参数设定,接收并在屏幕上进行实时显示客户端上传的图像数据和缺陷数据,并将缺陷信息存入缺陷数据库中。采用千兆以太网传递图像数据和检测信息,以现场总线为媒介传递控制信号。
[0035] 二、图像处理子系统的构成
[0036] 为实现宽幅表面的检测,需要多个图像处理子系统并行处理,各图像处理子系统在服务器的调度下并行完成一定区域内相对独立的检测任务。如图2所示,为图像处理子系统结构图,两个相机的数据送入一个图像处理子系统,每个图像处理子系统由两块图像采集处理卡和一台CMP (Chip Mult1-processor,单芯片多处理器)计算机构成。图像采集处理卡基于FPGA+DSP (Digital Signal Processor,数字信号处理器;Field ProgrammableGate Array,现场可编程门阵列)结构,每个相机配置一块图像采集处理卡,两块采集处理卡的信息送入一台CMP计算机,各CMP计算机将最终得到的缺陷图像数据和检测信息送入服务器作进一步处理。
[0037] 三、数据处理流程
[0038] 采用多处理器的拓扑结构,实现对宽幅表面图像数据的高效处理,具体为:
[0039] 以4线阵相机系统结构为例,数据处理流程安排如图3所示。采用四层处理结构。每相机扫描到的原始图像数据由DSP控制FPGA采集,在FPGA经ROI (Reg1n of Interest,可疑区域)检测后,非可疑数据放弃不再进行后续处理,可疑数据送入DSP进行进一步分析,实现第一次数据降维;在05?中实现图像预处理和缺陷分割,将分割出的缺陷数据送入多核计算机,实现第二次数据降维;缺陷数据在多核计算机中进行缺陷融合、特征提取选择和模式分类判别,最后将缺陷信息数据和缺陷图像数据送入服务器,以备存储、查询、通信等操作。FPGA中操作的数据量最大,但算法简单,可以利用FPGA的硬件资源并行处理;数据越向后进行,数据量越小,但算法越复杂。
[0040] 对于检测区重叠区域的处理问题安排如下。1、2检测区重叠区域的缺陷融合在I号CMP计算机实现;3、4检测区重叠区域的缺陷融合在2号CMP计算机实现;2、3检测区重叠区域的缺陷融合判定问题交给后端服务器处理。缺陷的特征提取、特征选择和模式分类依然在各自的CMP计算机中进行,送入服务器后,由坐标位置判断为是处于2、3检测区域重叠区域的缺陷,再进行融合判定。因为在重叠区域出现缺陷的几率本身就很小,且服务器只处理偶数重叠区域的缺陷融合,不进行其它计算,所以不会增加太多服务器处理压力,使其主要精力还是放在数据传输、存储和任务调度上。
[0041] 把每一个处理器都作为一个处理节点,从一个处理节点到另一个处理节点采用双缓存的乒乓结构。如图4所示,从前一个处理器处理完成的数据存入标志为“空”的缓存,存满后给出一个“满”标志,告诉后面的处理器可以从这个缓存中读入数据进行进一步处理;后一个处理器从标志为“满”的缓存中读取数据,处理完成后给该缓存一个“空”标志,告诉前一个处理器可以向这个缓存中再次送入数据。这样,一个处理器的对数据的处理运行不会耽误另一个处理器的运行,各处理器达到并行运算。在硬件条件允许的情况下,可以增加缓存数目,给各处理器更充足的计算时间,可以使各处理器充分运转,提高处理速度。
[0042] 尽管为说明目的公开了本发明的实施例和附图,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换、变化和修改都是可能的,因此,本发明的范围不局限于实施例和附图所公开的内容。

Claims (5)

1.一种宽幅连续表面缺陷视觉检测系统,其特征在于:采用服务器/客户端模式的分布式架构的视觉检测系统,该检测系统由一台服务器和多个图像处理子系统构成,各图像处理子系统在服务器的调度下并行完成一定区域内相对独立的检测任务,服务器是整个检测系统的控制管理单元和人机接口,在完成检测任务调度的同时,用于设定检测参数,接收并在屏幕上进行实时显示客户端上传的图像数据和缺陷数据,将缺陷信息存入缺陷数据库中。
2.根据权利要求1所述的宽幅连续表面缺陷视觉检测系统,其特征在于:每个所述图像处理子系统均由一台CMP计算机,两条线光源、两台线扫描相机、两块DSP+FPGA处理卡构成,每个相机配置一块图像采集处理卡,两块采集处理卡的信息送入一台CMP计算机,各CMP计算机将最终得到的缺陷图像数据和检测信息送入服务器作进一步处理。
3.根据权利要求2所述的宽幅连续表面缺陷视觉检测系统,其特征在于:所述服务器是工业计算机。 上述宽幅连续表面缺陷视觉检测系统的建立步骤为: ⑴针对连续运行的被测产品,采用线阵工业相机扫描方式获取产品表面图像数据; ⑵配合线阵工业相机,采用线光源照明模式; ⑶采用多个线阵相机在幅宽方向拼接的方式,构成对宽幅表面的检测; ⑷采用多处理器的拓扑结构,实现对宽幅表面图像数据的处理。
4.根据权利要求3所述的宽幅连续表面缺陷视觉检测系统,其特征在于:所述线阵相机由扫描线拼接成图像,由算法控制图像采集的起始和结束行,由此实现纵向分割图像,多个线阵相机在幅宽方向拼接的方式,构成对宽幅表面的检测。
5.根据权利要求3所述的宽幅连续表面缺陷视觉检测系统,其特征在于:所述对宽幅表面图像数据的处理为:每个线阵工业相机扫描到的原始图像数据由DSP控制FPGA采集,在FPGA经ROI检测后,非可疑数据放弃不再进行后续处理,可疑数据送入DSP进行进一步分析,实现第一次数据降维;在05?中实现图像预处理和缺陷分割,将分割出的缺陷数据送入多核计算机,实现第二次数据降维;缺陷数据在多核计算机中进行缺陷融合、特征提取选择和模式分类判别,最后将缺陷信息数据和缺陷图像数据送入服务器;把每一个处理器都作为一个处理节点,从一个处理节点到另一个处理节点采用双缓存的乒乓结构。
CN201510433740.9A 2015-07-22 2015-07-22 宽幅连续表面缺陷视觉检测系统 Pending CN105044126A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510433740.9A CN105044126A (zh) 2015-07-22 2015-07-22 宽幅连续表面缺陷视觉检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510433740.9A CN105044126A (zh) 2015-07-22 2015-07-22 宽幅连续表面缺陷视觉检测系统

Publications (1)

Publication Number Publication Date
CN105044126A true CN105044126A (zh) 2015-11-11

Family

ID=54450839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510433740.9A Pending CN105044126A (zh) 2015-07-22 2015-07-22 宽幅连续表面缺陷视觉检测系统

Country Status (1)

Country Link
CN (1) CN105044126A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489989A (zh) * 2018-03-28 2018-09-04 苏州巨能图像检测技术有限公司 基于多相机拼接成像检测的光伏组件双面外观检测仪
CN108508022A (zh) * 2018-03-28 2018-09-07 苏州巨能图像检测技术有限公司 多相机拼接成像检测方法
CN108760767A (zh) * 2018-05-31 2018-11-06 电子科技大学 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN108931526A (zh) * 2018-05-28 2018-12-04 中冶南方工程技术有限公司 基于多任务调度机制的带钢表面缺陷检测方法
CN110146508A (zh) * 2019-05-06 2019-08-20 无锡先导智能装备股份有限公司 缺料检测方法
CN110618134A (zh) * 2019-09-16 2019-12-27 山西大数据产业发展有限公司 钢板表面质量缺陷检测评级系统及方法
CN111031240A (zh) * 2019-12-06 2020-04-17 凌云光技术集团有限责任公司 基于fpga的多模式图像处理方法及装置
CN114104856A (zh) * 2021-12-28 2022-03-01 天津工业大学 基于机器视觉的纱线张力非接触实时检测控制系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266138B1 (en) * 1999-10-12 2001-07-24 Perceptron, Inc. System and method for detecting defects in a surface of a workpiece
DE10153281A1 (de) * 2001-10-29 2003-05-08 Guenter Fendt Vorrichtung zur Überwachung von Speichermedien bzw. Oberflächen von Trägern, auf denen sich Speicherelemente oder Speicherzellen befinden
CN101988907A (zh) * 2010-09-16 2011-03-23 无锡动视科技有限公司 一种卷材表面检测用的图像处理系统
CN202221415U (zh) * 2011-09-03 2012-05-16 山东轻工业学院 宽幅面纸张表面缺陷在线检测系统
CN103175850A (zh) * 2011-12-21 2013-06-26 北京兆维电子(集团)有限责任公司 宽幅面高速生产线材料表面瑕疵检测方法及系统
CN103399016A (zh) * 2013-07-26 2013-11-20 齐鲁工业大学 冷轧铝板表面缺陷在线检测系统及其检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266138B1 (en) * 1999-10-12 2001-07-24 Perceptron, Inc. System and method for detecting defects in a surface of a workpiece
DE10153281A1 (de) * 2001-10-29 2003-05-08 Guenter Fendt Vorrichtung zur Überwachung von Speichermedien bzw. Oberflächen von Trägern, auf denen sich Speicherelemente oder Speicherzellen befinden
CN101988907A (zh) * 2010-09-16 2011-03-23 无锡动视科技有限公司 一种卷材表面检测用的图像处理系统
CN202221415U (zh) * 2011-09-03 2012-05-16 山东轻工业学院 宽幅面纸张表面缺陷在线检测系统
CN103175850A (zh) * 2011-12-21 2013-06-26 北京兆维电子(集团)有限责任公司 宽幅面高速生产线材料表面瑕疵检测方法及系统
CN103399016A (zh) * 2013-07-26 2013-11-20 齐鲁工业大学 冷轧铝板表面缺陷在线检测系统及其检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾义芳: "《DSP开发应用技术》", 31 January 2008, 北京航空航天大学出版社 *
胡亮等: "基于FPGA图像处理技术在钢板表面缺陷检测系统中的应用", 《传感技术学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489989A (zh) * 2018-03-28 2018-09-04 苏州巨能图像检测技术有限公司 基于多相机拼接成像检测的光伏组件双面外观检测仪
CN108508022A (zh) * 2018-03-28 2018-09-07 苏州巨能图像检测技术有限公司 多相机拼接成像检测方法
CN108508022B (zh) * 2018-03-28 2021-07-13 苏州巨能图像检测技术有限公司 多相机拼接成像检测方法
CN108931526A (zh) * 2018-05-28 2018-12-04 中冶南方工程技术有限公司 基于多任务调度机制的带钢表面缺陷检测方法
CN108931526B (zh) * 2018-05-28 2021-02-09 中冶南方工程技术有限公司 基于多任务调度机制的带钢表面缺陷检测方法
CN108760767A (zh) * 2018-05-31 2018-11-06 电子科技大学 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN108760767B (zh) * 2018-05-31 2020-07-17 电子科技大学 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN110146508A (zh) * 2019-05-06 2019-08-20 无锡先导智能装备股份有限公司 缺料检测方法
CN110146508B (zh) * 2019-05-06 2022-07-22 无锡先导智能装备股份有限公司 缺料检测方法
CN110618134A (zh) * 2019-09-16 2019-12-27 山西大数据产业发展有限公司 钢板表面质量缺陷检测评级系统及方法
CN111031240A (zh) * 2019-12-06 2020-04-17 凌云光技术集团有限责任公司 基于fpga的多模式图像处理方法及装置
CN114104856A (zh) * 2021-12-28 2022-03-01 天津工业大学 基于机器视觉的纱线张力非接触实时检测控制系统及方法

Similar Documents

Publication Publication Date Title
CN105044126A (zh) 宽幅连续表面缺陷视觉检测系统
CN103399016A (zh) 冷轧铝板表面缺陷在线检测系统及其检测方法
CN107643295A (zh) 一种基于机器视觉的布匹缺陷在线检测的方法和系统
CN205643194U (zh) 一种基于机器视觉的触控ito薄膜导电层缺陷检测系统
CN202221415U (zh) 宽幅面纸张表面缺陷在线检测系统
CN204924967U (zh) 全自动aoi整机的图像采集机构
CN103163141A (zh) 基于嵌入式图像处理系统的带钢表面在线检测系统及方法
CN103743748A (zh) 一种快速、低成本机器视觉在线检测系统
CN107561737B (zh) 一种aoi系统ipc参数自动调整的方法、装置及工具
CN105004727A (zh) 电路板检测方法及系统
CN103630544A (zh) 一种视觉在线检测系统
CN102175692A (zh) 织物坯布疵点快速检测系统及方法
CN103344648A (zh) 一种基于gpu的钢板表面质量检测方法及系统
CN102879404B (zh) 工业结构化场景中医用胶囊缺陷自动检测的系统
CN102721702A (zh) 基于嵌入式处理器的分布式纸病检测系统及方法
CN103076345A (zh) 一种ito导电玻璃的检测方法及其全自动光学检测系统
CN202770781U (zh) 一种基于机器视觉的织物疵点在线检测装置
CN109507205A (zh) 一种视觉检测系统及其检测方法
CN104048966A (zh) 一种基于大律法的布面疵点检测及分类方法
Foglia et al. An inspection system for pharmaceutical glass tubes
CN105548950A (zh) 一种智能电能表在线检测装置及方法
CN102141379A (zh) 新型玻璃瓶罐检测装置
CN203908956U (zh) 一种用于检测工件表面缺陷的系统
CN202433316U (zh) 塑料片材表面缺陷在线检测装置
CN204287062U (zh) Wis在线缺陷检测系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171215

Address after: 300384 Tianjin city Xiqing District West Binshui Road No. 391

Applicant after: Tianjin University of Technology

Address before: 325204 Zhejiang city of Wenzhou province Ruian City Tangxia town Beiyang Industrial Zone

Applicant before: RUIAN CITY QUALITY AND TECHNICAL SUPERVISION AND INSPECTION INSTITUTE

Applicant before: College of Military Traffic, PLA

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20151111

RJ01 Rejection of invention patent application after publication