CN105136804B - 高速带钢表面图像采集及图像处理装置和方法 - Google Patents

Abstract

本发明公开了一种高速带钢表面图像采集及图像处理装置和方法。本发明装置的输入输出接口模块（11）包括：若干路标准接口（111）或标准网络接口（112）实现与图像传感器连接，I/O接口（113）实现与现场生产信号连接，并将信号传送至速度信号整合模块；速度信号整合模块（12）对生产速度信号进行分频或组频，在速度脉冲间隔下触发相机采集图像；图像采集接口模块（13）按照相机的接口协议接收图像传感器输出的图像数据，并接受速度信号整合模块输出信号；图像处理模块（14）对图像采集接口模块传送来的图像数据进行处理，完成实时异常图像过滤和异常区域的检出功能，通过标准网络接口（114）将具有异常的带钢表面图像输出。

Description

高速带钢表面图像采集及图像处理装置和方法

技术领域

本发明涉及一种机器视觉检测领域，尤其涉及一种机器视觉检测带材表面质量的在线检测领域。

背景技术

带钢表面缺陷检测系统以图像为基础媒介，进行图像采集、传输和分析，计算并评价带钢表面质量的状况，可以生成定量化、文本化的质量报告。随着客户对带钢表面质量要求的不断提高及带钢的生产速度不断提高（冷轧线最高速度达到1800米/分钟），高速和精细化成像导致图像数据量的急剧增加。在关键成像器件能够逐渐提高图像采集速度的同时，检测系统对高速、海量图像数据的传输和处理能力面临严重的挑战。以往基于多PC并行图像处理模式在海量图像处理、灵活控制图像处理流程的优势继续体现，但是多PC的图像处理构架和海量图像数据的远距离传输的方法复杂，影响了系统的鲁棒性，提高了系统维护的难度。就近相机进行图像数据处理、减少数据传输距离，对于提高系统的稳定性具有重要意义，但这方面的公开的技术几乎没有。

检索现有的专利文献，没有检索到直接针对高速带钢表面质量检测技术专用图像处理装置的文献。中国专利200510010049.6公开了一种线阵图像式带钢表面在线缺陷检测装置及其检测方法，该专利提出了表面质量检测系统的框架和基于ＰＣ阵列并行图像处理模式。中国专利200610081711.1和中国专利200410080132.6等文献公开的则是针对通用图像编码和解码的应用。

发明内容

本发明的目的在于提供一种高速带钢表面图像采集及图像处理装置和方法，能实现高速带钢图像采集和处理功能，通过对实时图像经过预处理判断有缺陷的图像向上位机传输，减轻了检测系统的传输压力。

为了实现上述技术目的，本发明采用如下技术方案：

一种高速带钢表面图像采集及图像处理装置，包括：输入输出接口模块、速度信号整合模块、图像采集接口模块和图像处理模块；

所述输入输出接口模块包括：配置若干路标准接口或者标准网络接口，实现与图像传感器的连接，实现图像数据和图像采集控制信号传送；配置I/O接口，实现与现场生产信号连接，接受生产的速度信号与钢卷的分卷信号，并将信号传送至速度信号整合模块；输出信号通过输出的标准网络接口实现，仅将具有异常的带钢表面图像进行输出；

所述速度信号整合模块是指对生产速度信号的分频或组频，以在代表一定长度的速度脉冲间隔下触发相机采集图像；

所述图像采集接口模块按照相机的接口协议接收图像数据，接收图像传感器输出的图像数据，并接受速度信号整合模块输出信号；

所述图像处理模块对图像采集接口模块传送来的图像数据进行处理，完成实时异常图像过滤和异常区域的检出功能，然后通过输出的标准网络接口将具有异常的带钢表面图像输出。

进一步，所述输出的标准网络接口同时作为双向通道，作为上位机配置图像处理模块参数的通道。

进一步，所述图像处理模块与SRAM存储器和SDRAM存储器进行数据存储与读取。

所述图像采集接口模块、图像处理模块、速度信号整合模块由FPGA硬件电路组成。

一种高速带钢表面图像采集及图像处理方法，其步骤是：

第一，图像数据拼接：通过标准接口或者标准网络接口连接多路相机，经图像采集接口模块进行图像数据采集后，输入多路相机图像至图像处理模块内按宽度进行图像拼接，宽度方向上根据相邻相机之间的成像重叠度，设置拼接参数；长度方向上根据相机采集图像速度上的差异进行微调，以实现多相机图像拼接在内容上的完整；

第二，现场信号处理：接受来自生产现场的速度信号和换卷信号；速度信号整合模块能对速度信号进行分频或组频，实现单个脉冲宽度代表一定的运行长度，实现在设计分辨率条件下以整合的速度信号触发相机采集图像，并使图像采集与生产速度同步；

第三，实时图像处理：通过FPGA硬件电路实现实时图像处理过程包括：边缘检测、图像滤波、梯度运算、图像二值化和图像聚类的算法，最后根据聚类结果判断图像中是否存在异常，存在异常图像需要进一步处理，而没有异常的图像则做放弃处理；异常图像存储在图像处理模块的缓存队列内，通过设置的图像输出端口进行图像输出。

进一步，通过对图像处理模块的参数配置实现多种处理流程算法组合，实现合理的检测流程和检测性能。

进一步，在离线状态下将现有的典型缺陷的图像通过输出的标准网络接口上传到图像处理模块的存储器内，图像处理模块以这部分数据作为数据源进行图像处理，通过对已有缺陷图像的测试和分析，调试和优化检测系统的参数配置；优化后参数配置能够直接适用于实施采集的图像。

对速度脉冲计数并将该信息融入到带钢图像数据中，用来精确计算带钢图像中发生缺陷的物理位置；接收的带钢换卷信号则用来对计数器清零，从而重新对带钢长度计数。

本发明的图像采集及图像处理装置包括了FPGA（现场可编程门陈列）硬件电路，能实现高速带钢图像采集和处理功能，本发明装置就近安装于成像模块（相机）处，有助于减轻图像传输的压力。本发明的图像处理方法借助FPGA硬件电路在数据处理速度优势来解决高速图像处理的问题，硬件电路图像处理采用流水线的数据处理模式，在处理带宽满足要求的条件下，实现实时图像处理，包括实时图像在线检测和分析，输出图像上的异常区域，实现带钢表面质量检测系统对于高速带钢表面图像的采集和处理。

本发明的图像处理方法仅将经过预处理判断有缺陷的图像向上位机传输，减轻了检测系统的传输压力，同时也增加了后续系统可实时数据处理的能力。本发明装置及图像处理方法的应用，有助于简化系统的结构，增强系统的稳定行、集成性和可维护性，突破现有基于PC实现图像处理在海量图像数据处理速度上的瓶颈。

本发明能实现适合高速、连续生产带材表面质量检测的高速图像采集和处理功能。

附图说明

图1为本发明高速带钢表面图像采集及图像处理装置逻辑框图；

图2为本发明的图像处理流程示意图；

图3为本发明的一个实施例。

图中：1速度编码器，2换卷信号，3上位图像处理计算机，4本发明的图像采集及图像处理装置（简称本发明装置），5相机防护箱体，6相机，7系统服务器；11输入输出接口模块，12速度信号整合模块，13图像采集接口模块，14图像处理模块，15SRAM存储器，16SDRAM存储器，17故障诊断模块；111标准接口，112标准网络接口，113 I/O接口，114标准网络接口。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

参见图1，一种高速带钢表面图像采集及图像处理装置，包括：输入输出接口模块11、速度信号整合模块12、图像采集接口模块13和图像处理模块14；

所述输入输出接口模块11包括：第一，配置4路标准的CamLink接口111或者一个标准的千兆网络接口112，实现与图像传感器的连接，实现图像数据和图像采集控制信号传送。本文中图像传感器主要指相机，两者可以通用。第二，配置I/O接口113，实现与现场生产信号连接，接受生产的速度信号与钢卷的分卷信号，并将信号传送至速度信号整合模块12。第三，输出信号通过输出的标准的千兆网络接口114实现，仅将具有异常的带钢表面图像进行输出。所述输出的标准的千兆网络接口114同时作为双向通道，也作为上位机配置图像处理模块参数的通道。

所述速度信号整合模块12是指对生产速度信号的分频或组频，以在代表一定长度的速度脉冲间隔下触发相机采集图像。

所述图像采集接口模块13按照相机的接口协议接收图像数据，接收图像传感器输出的图像数据，并接受速度信号整合模块12输出信号。

所述图像处理模块14对图像采集接口模块13传送来的图像数据进行处理，完成实时异常图像过滤和异常区域的检出功能，然后通过输出的标准的千兆网络接口114将具有异常的带钢表面图像输出，图像处理模块14与SRAM存储器15和SDRAM存储器16进行数据存储与读取。

所述图像采集接口模块13、图像处理模块14、速度信号整合模块12由FPGA硬件电路组成。

一种高速带钢表面图像采集及图像处理方法，其步骤是：

第一，图像数据拼接：通过标准协议的CamLink接口111或者标准网络接口112连接1-4路相机，经图像采集接口模块13进行图像数据采集后，输入多路相机图像至图像处理模块14内按宽度进行图像拼接，宽度方向上根据相邻相机之间的成像重叠度，设置拼接参数；长度方向上根据相机采集图像速度上的差异进行微调，以实现多相机图像拼接在内容上的完整，达到无缝拼接，参见图1。

第二，现场信号处理：接受来自生产现场的速度信号和换卷信号；速度信号整合模块12能对速度信号进行分频或组频，实现单个脉冲宽度代表一定的运行长度，实现在设计分辨率条件下以整合的速度信号触发相机采集图像，并使图像采集与生产速度同步，参见图1。对速度脉冲计数并将该信息融入到带钢图像数据中，用来精确计算带钢图像中发生缺陷的物理位置。接收的带钢换卷信号则用来对计数器清零，从而重新对带钢长度计数。

第三，实时图像处理：通过FPGA硬件电路实现实时图像处理过程包括：边缘检测、图像滤波、梯度运算、图像二值化和图像聚类的算法，最后根据聚类结果判断图像中是否存在异常，存在异常图像需要进一步处理，而没有异常的图像则做放弃处理；异常图像存储在图像处理模块14的缓存队列内，通过设置的图像输出端口114进行图像输出，具体图像处理流程如图2所示。异常图像需要进一步处理，本发明的图像处理方法是将异常图像挑出来。

在第三步中，通过对图像处理模块14的参数配置实现多种处理流程算法组合，实现合理的检测流程和检测性能。

本发明的图像处理方法是借助FPGA（现场可编程门陈列）硬件电路在数据处理速度优势来解决高速图像处理的问题。硬件电路的图像处理采用流水线的数据处理模式，在处理带宽满足要求的条件下，实现实时图像处理。FPGA硬件电路主要包括图像采集接口模块13、图像处理模块14、速度信号整合模块12、故障诊断模块17，FPGA硬件电路经输入输出接口模块11端连接相机采集图像，在内部通过硬件电路逻辑实现实时图像的在线检测和分析，输出图像上的异常区域。

本发明装置既可以完成在线图像的采集和处理功能，也可以实现对离线图像的测试功能。在离线状态下将现有的典型缺陷的图像通过输出的标准网络接口114上传到图像处理模块14的存储器内，图像处理模块14以这部分数据作为数据源进行图像处理，通过对已有缺陷图像的测试和分析，调试和优化检测系统的参数配置；优化后参数配置能够直接适用于实施采集的图像。

本发明的图像处理方法能通过参数设置可以控制图像处理时流程及配置数据转换的算法参数，以增加硬件图像处理的灵活性和扩展性。参数配置包括图像输入和输出的接口通道和接口模式设置；包括图像处理流程、图像处理算法参数的具体配置。

本发明的图像处理方法还具备故障诊断的功能，如果自身或者相机不工作，需要时能够发出故障报警信号。

实施例，参见图3，本发明高速带钢表面图像采集及图像处理装置和处理方法的目的是为了解决高速带钢表面质量检测系统前端大数据量图像数据获取、传输困难的问题，通过在图像采集近端过滤大部分正常表面图像，仅传输和进一步处理剩下的可疑图像（异常图像）来实现高速带钢表面缺陷的实时监测。

本发明装置4靠近图像采集传感器（相机6）安装，与相机6一同安装于现场的相机防护箱体5内，本发明装置4经输入输出接口模块接受带钢输入速度编码器1和带钢换卷信号2。靠近相机安装的方式能降低远距离、大数据量传输的不可靠性。经过本发明装置4的处理流程向上位图像处理计算机3继续传递的信息将大大减少，通过本发明装置4的标准的千兆网络接口输出处理结果。上位图像处理计算机3连接系统服务器7。

本发明装置整合现场的带钢分卷信号和速度进行采集图像，实现对相机采集图像的速度进行控制的同时，累计速度脉冲信号用来计算每卷带钢的长度，并写入到采集图像数据中，根据该信息能够确定图像取自实际带钢长度方向的位置，进而确定缺陷发生的长度位置。带钢分卷信号则用作对长度统计的清零信号。

本发明装置输出的检测结果以可疑图像为主，该部分图像在上位机的图像处理计算机进一步进行处理。处理结果会在检测终端进行显示。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种高速带钢表面图像采集及图像处理装置，其特征是：

包括：输入输出接口模块、速度信号整合模块、图像采集接口模块和图像处理模块；

所述输入输出接口模块包括：配置若干路标准接口，实现与图像传感器的连接，实现图像数据和图像采集控制信号传送；配置I/O接口，实现与现场生产信号连接，接受生产的速度信号与钢卷的分卷信号，并将信号传送至速度信号整合模块；输出信号通过输出的标准网络接口实现，仅将具有异常的带钢表面图像进行输出；

所述速度信号整合模块是指对生产速度信号的分频或组频，以在代表一定长度的速度脉冲间隔下触发相机采集图像；对速度脉冲计数并将计数信息融入到带钢图像数据中，用来精确计算带钢图像中发生缺陷的物理位置；接收的带钢换卷信号则用来对计数器清零，从而重新对带钢长度计数；

所述图像采集接口模块按照相机的接口协议接收图像数据，接收图像传感器输出的图像数据，并接受速度信号整合模块输出信号；

所述图像处理模块对图像采集接口模块传送来的图像数据进行处理，完成实时异常图像过滤和异常区域的检出功能，然后通过输出的标准网络接口将具有异常的带钢表面图像输出。

2.根据权利要求1所述的高速带钢表面图像采集及图像处理装置，其特征是：所述输出的标准网络接口同时作为双向通道，作为上位机配置图像处理模块参数的通道。

3.根据权利要求1所述的高速带钢表面图像采集及图像处理装置，其特征是：所述图像处理模块与SRAM存储器和SDRAM存储器进行数据存储与读取。

4.根据权利要求1所述的高速带钢表面图像采集及图像处理装置，其特征是：所述图像采集接口模块、图像处理模块、速度信号整合模块由FPGA硬件电路组成。

5.一种采用权利要求1至4中任一项的所述的高速带钢表面图像采集及图像处理装置的高速带钢表面图像采集及图像处理方法，其特征是：

第一，图像数据拼接：通过标准接口连接多路相机，经图像采集接口模块进行图像数据采集后，输入多路相机图像至图像处理模块内按宽度进行图像拼接，宽度方向上根据相邻相机之间的成像重叠度，设置拼接参数；长度方向上根据相机采集图像速度上的差异进行微调，以实现多相机图像拼接在内容上的完整；

第二，现场信号处理：接受来自生产现场的速度信号和换卷信号；速度信号整合模块能对速度信号进行分频或组频，实现单个脉冲宽度代表一定的运行长度，实现在设计分辨率条件下以整合的速度信号触发相机采集图像，并使图像采集与生产速度同步；对速度脉冲计数并将计数信息融入到带钢图像数据中，用来精确计算带钢图像中发生缺陷的物理位置；接收的带钢换卷信号则用来对计数器清零，从而重新对带钢长度计数；

第三，实时图像处理：通过FPGA硬件电路实现实时图像处理过程包括：边缘检测、图像滤波、梯度运算、图像二值化和图像聚类的算法，最后根据聚类结果判断图像中是否存在异常，存在异常图像需要进一步处理，而没有异常的图像则做放弃处理；异常图像存储在图像处理模块的缓存队列内，通过设置的图像输出端口进行图像输出。

6.根据权利要求5所述的高速带钢表面图像采集及图像处理方法，其特征是：通过对图像处理模块的参数配置实现多种处理流程算法组合，实现合理的检测流程和检测性能。

7.根据权利要求5所述的高速带钢表面图像采集及图像处理方法，其特征是：在离线状态下将现有的典型缺陷的图像通过输出的标准网络接口上传到图像处理模块的存储器内，图像处理模块以这部分数据作为数据源进行图像处理，通过对已有缺陷图像的测试和分析，调试和优化检测系统的参数配置；优化后参数配置能够直接适用于实施采集的图像。