CN114460094A - 视觉缺陷检测的数据处理方法、装置、fpga芯片、检测系统 - Google Patents

Abstract

本发明公开了一种视觉缺陷检测的数据处理方法，包括当线阵相机摄像头和待测物之间相对移动至不同位置时，通过线阵相机摄像头采集每个位置多个不同光场照射待测物的图像数据；将同一光场下采集的不同位置的图像数据存储在同一缓存空间；将各个缓存空间的图像数据上传至上位机，以便上位机基于同一光场对应的图像数据拼接形成待测物的检测图像并进行待测物的缺陷分析。本申请中对待测物的同一位置的不同光场均进行一组图像数据的采集，避免因光照不合理导致缺陷在图像中显现不明显的问题；并将图像数据按照不同光场进行分区存储，减少了上位机的运算量。本申请还公开了一种视觉缺陷检测的数据处理装置、FPGA芯片以及视觉缺陷检测系统。

Description

视觉缺陷检测的数据处理方法、装置、FPGA芯片、检测系统

技术领域

本发明涉及视觉检测领域，特别是涉及一种视觉缺陷检测的数据处理方法、装置、FPGA芯片、视觉缺陷检测系统。

背景技术

视觉缺陷检测是利用相机拍摄扫描获得待测物表面的视觉图像，再基于图像识别技术分析获得待测物表面的缺陷信息。但在实际进行待测物的视觉图像采集拍摄时，往往会因为拍摄角度、光照角度等问题对待测物表面的缺陷的图像采集产生干扰。

为了更全面的采集待测物表面的图像信息，可以采用多个线阵相机从各个不同角度分别对待测物表面的图像进行拍摄，并在进行图像拍摄过程中控制线阵相机和待测物之间相对移动，进而获得待测物更清晰全面的视觉图像。但是这种图像采集方式必然也导致视觉图像的数据量相对较大，使得对视觉图像进行图像识别分析的上位机的运算压力相对较大。

发明内容

本发明的目的是提供一种视觉缺陷检测的数据处理方法、装置、FPGA芯片、视觉缺陷检测系统，在提升待测物缺陷检测准确性的基础上，降低上位机的运算量。

为解决上述技术问题，本发明提供一种视觉缺陷检测的数据处理方法，包括：

当线阵相机摄像头和待测物之间相对移动至不同位置时，通过所述线阵相机摄像头采集每个位置多个不同光场照射所述待测物的图像数据；

将同一光场下采集的不同位置的图像数据存储在同一缓存空间；

将各个所述缓存空间的图像数据上传至上位机，以便所述上位机基于同一光场对应的所述图像数据拼接形成所述待测物的检测图像并进行所述待测物的缺陷分析。

在本申请的一种可选地实施例中，还包括：

预先划分和所述光场的光场数量相同数量的所述缓存空间。

在本申请的一种可选地实施例中，所述上位机接收到所述图像数据之后，还包括：

根据所述图像数据中每个光场对应的图像数据所占行数，分别读取各个光场对应的图像数据，以对各个光场分别对应的图像数据进行算法处理。

在本申请的一种可选地实施例中，通过所述线阵相机摄像头采集每个位置多个不同光场照射所述待测物的图像数据，包括：

通过所述线阵相机摄像头采集每个位置的不同角度不同亮度的光场照射所述待测物的图像数据。

一种视觉缺陷检测的数据处理装置，包括：

数据采集模块，当线阵相机摄像头和待测物之间相对移动至不同位置时，通过所述线阵相机摄像头采集每个位置多个不同光场照射所述待测物的图像数据；

数据缓存模块，用于将同一光场下采集的不同位置的图像数据存储在同一缓存空间；

数据上传模块，用于将各个所述缓存空间的图像数据上传至上位机，以便所述上位机基于同一光场对应的所述图像数据拼接形成所述待测物的检测图像并进行所述待测物的缺陷分析。

一种FPGA芯片，应用于线阵相机，包括和线阵相机的CCD芯片相连接的Cam_If数据同步接收模块、TRowBuf数据缓存模块、多个FIFO单元、DDR内存数据读写模块、GigE网络接口；

所述Cam_If数据同步接收模块用于接收所述CCD芯片在线阵相机摄像头和待测物之间相对移动至不同位置时，通过采集每个位置多个不同光场照射所述待测物的图像数据，并通过所述MM2S_Bridge总线桥传输至所述TRowBuf数据缓存模块；

所述TRowBuf数据缓存模块用于将同一光场下采集的不同位置的图像数据存储在同一所述FIFO单元中；

所述DDR内存数据读写模块用于读取不同光场分别对应的图像数据；并通过所述GigE网络接口上传至上位机，以便所述上位机基于同一光场对应的所述图像数据拼接形成所述待测物的检测图像并进行所述待测物的缺陷分析。

在本申请的一种可选地实施例中，所述Cam_If数据同步接收模块和所述TRowBuf数据缓存模块之间通过MM2S_Bridge总线桥相连接。

在本申请的一种可选地实施例中，还包括GigEVision协议打包模块，用于将所述DDR内存数据读写模块读取的所述图像数据进行打包，并通过GigE网络接口上传至上位机。

一种视觉缺陷检测系统，包括多个线阵相机，上位机，光源设备；每个所述线阵相机中分别内置有如上任一项所述的FPGA芯片，所述FPGA芯片用于实现如上任一项所述的视觉缺陷检测的数据处理方法的步骤；

其中，所述光源设备用于切换输出不同光场的照明光线；

每个所述线阵相机分别用于当线阵相机摄像头和待测物之间相对移动至不同位置时，采集每个位置多个不同光场照射所述待测物的图像数据，并上传至所述上位机；

所述上位机根据所述图像数据对所述待测物进行缺陷分析。

本发明所提供的视觉缺陷检测的数据处理方法，包括：当线阵相机摄像头和待测物之间相对移动至不同位置时，通过线阵相机摄像头采集每个位置多个不同光场照射待测物的图像数据；将同一光场下采集的不同位置的图像数据存储在同一缓存空间；将各个缓存空间的图像数据上传至上位机，以便上位机基于同一光场对应的图像数据拼接形成待测物的检测图像并进行待测物的缺陷分析。

本申请中在线阵相机的摄像头和待测物之间相对移动至不同位置时，针对每一位置，均对待测物提供多种不同的光照以形成多种不同的光场，并在同一位置的每种不同的光场条件下均进行一组图像数据的采集，进而在一定程度上避免光线照射方向或亮度的干扰导致某些缺陷无法在图像中显现的问题；在此基础上，为了减少上位机处理图像数据的运算量，每个线阵相机将图像数据上传至上位机之前，将图像数据按照不同光场进行分区存储，使得同一光场对应的图像数据能够拼接成一副完整的监测图像，使得上位机无需对每个线阵相机的各个光场的图像数据进行区分，在很大程度上减少了上位机的运算量，降低对上位机的运算能力的需求，进而降低视觉缺陷技术应用的成本。

本申请还公开了一种视觉缺陷检测的数据处理装置、FPGA芯片以及视觉缺陷检测系统。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种视觉缺陷检测的数据处理方法的流程示意图；

图2为未进行分光场存储的图像数据存储分布的示意图；

图3为本申请实施例提供的一种图像数据存储分布的示意图；

图4为本发明实施例提供的视觉缺陷检测的数据处理装置的结构框图；

图5为本申请实施例提供的FPGA芯片的架构示意图。

具体实施方式

线阵相机是一种拍摄相对狭小区域画面的相机，在利用线阵相机对待测物进行拍摄时，要采集待测物完整的图像就需要控制线阵相机和待测物之间相对移动，随着二者的相对移动分别采集待测物不同部位的图像最终拼接形成待测物的完整图像。

在此基础上，本申请进一步地考虑到，待测物的表面如果存在凹陷、凸起、缝隙等不同的缺陷时，可能因为光照角度或亮度等等各种方便的原因，出现某些缺陷在图像中无法明确显现的问题。

为此，本申请中进一步地想到可以在线阵相机和待测物之间每相对移动至一个位置时，分别切换不同的照明光线进而形成不同的光场，在不同的光场照射下分别对同一位置采集多个图像数据，以实现更全面的图像监测。

但是，这也必然导致每个线阵相机上传至上位机的图像数据流是多个光场分别对应的图像数据交替排布的，这也就造成上位机需要对每个光场条件下分别对应的图像数据流进行不同光场的区分，而面对数量众多的线阵相机分别输出的数据量庞大的图像数据流，显然给上位机带来较大的运算压力。

为此，本申请中提出了一种视觉缺陷检测的技术方案，能够在一定程度上降低上位机的运算压力。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1为本申请实施例提供的一种视觉缺陷检测的数据处理方法的流程示意图，包括：

S11：当线阵相机摄像头和待测物之间相对移动至不同位置时，通过线阵相机摄像头采集每个位置多个不同光场照射待测物的图像数据。

本实施例中的所指的不同光场可以是指不同亮度、不用角度的光线照射形成的光场。但是在实际应用中，也可以针对实际的待测物的不同选择其他不同特定的光场，例如还可以考虑红外光和可见光分别照射形成的光场，甚至基于待测物的颜色不同，还可以考虑采用不同颜色的光照形成的光场等等，只要最终目的是为了待测物表面轮廓以及其缺陷信息能够更好的显现即可。

S12：将同一光场下采集的不同位置的图像数据存储在同一缓存空间。

S13：将各个缓存空间的图像数据上传至上位机，以便上位机基于同一光场对应的图像数据拼接形成待测物的检测图像并进行待测物的缺陷分析。

需要说明的是，对于单个的线阵相机而言，其摄像头采集图像数据的过程中，线阵相机和待测物之间相对移动，本实施例中以待测物移动，而线阵相机不动为例进行说明，可以理解的是，在实际应用过程中，也可以是线阵相机移动而待测物保持不动。

在待测物移动的过程中，待测物每移动一定距离，光源系统可以依次输出不同的光场，每输出一种光场，线阵相机进行一次拍摄，直到所有的光场切换完成，线阵相机针对待测物这一位置的图像数据也就采集完成；再移动待测物继续移动一定距离后，再次切换光场依次完成各不同光场的图像数据的扫描拍摄。当然在实际应用中待测物也可能并不是直线移动，也可能是自转、旋转等，以便线性相机能够完整拍摄待测物不同表面、不同角度的图像。

但是无论待测物如何运动，对于线阵相机而言，如果仅仅以图像数据采集的顺序在同一空间依次存储，显然各个不同光场分别对应的图像数据必然交错排布。在上位机进行图像识别过程中，需要将待测物分别位于各个不同位置对应的图像进行拼接形成完整的待测物图像，再进行图像识别。但显然，只有同一光场分别在不同位置采集的图像数据才能拼接形成待测物的完整可视化图像。参照图2，图2中以三种不同的光场为例进行说明，其示出了线阵相机基于图像数据产生的先后顺序向上位机上传图像数据的数据流时，上位机接收到的图像数据分布情况。显然当线阵相机将如图2所示的图像数据的数据流上传至上位机之后，上位机需要识别每一段数据流分别对应哪一个光场的图像数据，以实现各个不同光场的区分后，再将同一光场图像数据进行拼接形成不同光场下的待测物图像。但是对于上位机而言，其往往需要同时完成多个线阵相机的图像数据的处理，这也就导致上位机对各个线阵相机的数据流进行不同光场区分的运算量相对较大。

为此，本申请中为了能够在一定程度上降低上位机的运算量，在各个线阵相机的存储模块中预先划分多个不同的存储空间，其中每个存储空间用于存储一种光场对应的图像数据，由此在每采集待测物在某一位置在一种光场照射下的图像数据之后，即可将该图像数据存储到对应的存储空间，当光场发生切换时，采集完成该光场下的图像数据后，再次将该光场的图像数据存储在其对应的存储空间，依次类推，随着待测物的移动，即可实现将待测物所有位置的同一光场下的所有图像数据存储于同一存储空间。参照图3，图3为本申请实施例提供的一种图像数据存储分布的示意图；和图2类似，图3中也即示出了线阵相机先对不同光场的图像数据分区存储后，再将各个区域的图像数据按照数据流的形式上传至上位机，上位机接收到的图像数据的分布结构示意图。在图3所示的实施例中，同一光场的图像数据存储于同一存储空间。显然将各个光场的图像数据的数据流上传至上位机之后，上位机无需在数据流中进行各个不同光场数据的划分以及同一光场数据的拼接，由此在一定程度上减少上位机的运算量。

上位机在接收到各个不同光场的数据流之后，基于每个光场对应的图像数据的数据量，以每行数据的数据量即可确定每个光程差对应的图像数据所占行数，由此将对应行的图像数据进行读取获得一个光场的图像数据之后，即可进行图像识别算法处理进而实现待测物的缺陷检测。

另外，需要说明的是，对于存储空间数量的划分，可以和待测物每个位置需要采集拍摄图像数据的光场数量相等，也可以大于光场数量，对此本申请中不做具体限制。

更进一步地，在本申请的具体实施例中，执行完成上述视觉缺陷检测的数据处理方法的可以是内置于线阵相机内部的处理芯片完成，也可以是类似于FPGA芯片等硬件电路完成上述方法，相对于处理器芯片而言，FPGA芯片等硬件电路架构具有更稳定的运行性能，能够在一定程度上保证各个线阵相机的图像数据处理性能。

综上所述，本申请中在对待测物进行视觉图像数据采集过程中，对待测物相对于线阵相机的每个位置分别采用多个光场分别照射待测物，并在每个光场照射下各采集一幅图像数据，由此实现待测物表面图像更为全面的检测，有利于待测物的缺陷在图像中更明显的显现，进而提升待测物的缺陷的检测识别精度；在此基础上，还进一步地将每个光场分别对应的图像数据进行分区缓存，实现同一光场数据在同一存储空间内存储，进而使得上位机在接收到图像数据后，无需对各个不同光场的数据进行不同光场的区分，进而在一定程度上减少上位机的运算工作量，由此简化上位机进行待测物缺陷识别的步骤。

下面对本发明实施例提供的视觉缺陷检测的数据处理装置进行介绍，下文描述的视觉缺陷检测的数据处理装置与上文描述的视觉缺陷检测的数据处理方法可相互对应参照。

图4为本发明实施例提供的视觉缺陷检测的数据处理装置的结构框图，参照图4的视觉缺陷检测的数据处理装置可以包括：

数据采集模块100，用于当线阵相机摄像头和待测物之间相对移动至不同位置时，通过所述线阵相机摄像头采集每个位置多个不同光场照射所述待测物的图像数据；

数据缓存模块200，用于将同一光场下采集的不同位置的图像数据存储在同一缓存空间；

数据上传模块300，用于将各个所述缓存空间的图像数据上传至上位机，以便所述上位机基于同一光场对应的所述图像数据拼接形成所述待测物的检测图像并进行所述待测物的缺陷分析。

在本申请的一种可选的实施例中，还包括空间划分模块，用于预先划分和所述光场的光场数量相同数量的所述缓存空间。

在本申请的一种可选的实施例中，数据采集模块100，用于通过所述线阵相机摄像头采集每个位置的不同角度不同亮度的光场照射所述待测物的图像数据。

本实施例的视觉缺陷检测的数据处理装置用于实现前述的视觉缺陷检测的数据处理方法，因此视觉缺陷检测的数据处理装置中的具体实施方式可见前文中的视觉缺陷检测的数据处理方法的实施例部分，在此不再赘述。

如前所述，对于上述视觉缺陷检测的数据处理方法，可以是通过内置于线阵相机中的FPGA芯片等硬件电路实现，为此，在本申请的一种可选的实施例中，还可以进一步地包括一种FPGA芯片的实施例，该FPGA芯片可以内置于线性相机中，参照图5，图5为本申请实施例提供的FPGA芯片的架构示意图，该FPGA芯片可以包括：

和线阵相机的CCD芯片相连接的Cam_If数据同步接收模块、TRowBuf数据缓存模块、多个FIFO单元、DDR内存数据读写模块、GigE网络接口；

Cam_If数据同步接收模块用于接收CCD芯片在线阵相机摄像头和待测物之间相对移动至不同位置时，通过采集每个位置多个不同光场照射待测物的图像数据，并通过MM2S_Bridge总线桥传输至TRowBuf数据缓存模块；

TRowBuf数据缓存模块用于将同一光场下采集的不同位置的图像数据存储在同一FIFO单元中；

DDR内存数据读写模块用于读取不同光场分别对应的图像数据；并通过GigE网络接口上传至上位机，以便上位机基于同一光场对应的图像数据拼接形成待测物的检测图像并进行待测物的缺陷分析。

进一步地，在Cam_If数据同步接收模块和TRowBuf数据缓存模块之间可以通过MM2S_Bridge总线桥相连接。

此外，DDR内存数据读写模块读取图像数据之后，还可以进一步的通过GigEVision协议打包模块进行打包后，通过GigE网络接口上传至上位机。

本实施例中的线阵相机为GigE线阵相机，其可完成各个不同光场的图像数据的划分，在上位机调用SDK帧回调注册函数里直接可将各光场的图像数据放入后续图像处理流程内存单元，避免了上位机的CPU时间的消耗。

FPGA芯片的硬件电路处理流程如图5所示。Cam_If数据同步接收模块为CCD芯片的数据同步接收模块，接收的图像数据通过MM2S_Bridge总线桥将图像数据缓存入TRowBuf数据缓存模块，其中TRowBuf数据缓存模块会根据光场数N分别将各光场对应的图像数据缓存入各FIFO单元。ImgWR_DDR为DDR内存数据读写模块，负责实时从TRowBuf数据缓存模块中已按光场场序分配好的FIFO地址把图像数据搬入DDR内存中。GigE_Vision_Proces为集成的GigE Vision协议打包模块，负责从DDR中读取各光场的图像数据并根据一帧设定的行数，按照GigEVision标准协议发往GigE网络接口，以上传至上位机。

本申请还公开了一种视觉缺陷检测系统的实施例，该系统可以包括：

多个线阵相机，上位机，光源设备；每个线阵相机中分别内置有如上任一项的FPGA芯片，FPGA芯片用于实现如上任一项所述的视觉缺陷检测的数据处理方法的步骤；

其中，光源设备用于切换输出不同光场的照明光线；

每个线阵相机分别用于当线阵相机摄像头和待测物之间相对移动至不同位置时，采集每个位置多个不同光场照射待测物的图像数据，并上传至上位机；

上位机根据图像数据对待测物进行缺陷分析。

本实施例中的光源设备可提供多种不同的光照，进而使得线阵相机可以采集获得待测物在各种不同光场照射下的图像数据，提高了图像数据采集的全面性和可靠性；并且每个线阵相机中均内置有能够将线阵相机在不同光场下采集的图像数据进行分区域缓存的FPGA芯片，进而在后续将图像数据上传至上位机之后，上位机无需对每个线阵相机的图像数据进行对应光场的区分，在很大程度上减少上位机的运算量，降低待测物缺陷分析的难度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种视觉缺陷检测的数据处理方法，其特征在于，包括：

当线阵相机摄像头和待测物之间相对移动至不同位置时，通过所述线阵相机摄像头采集每个位置多个不同光场照射所述待测物的图像数据；

将同一光场下采集的不同位置的图像数据存储在同一缓存空间；

将各个所述缓存空间的图像数据上传至上位机，以便所述上位机基于同一光场对应的所述图像数据拼接形成所述待测物的检测图像并进行所述待测物的缺陷分析。

2.如权利要求1所述的视觉缺陷检测的数据处理方法，其特征在于，还包括：

预先划分和所述光场的光场数量相同数量的所述缓存空间。

3.如权利要求1所述的视觉缺陷检测的数据处理方法，其特征在于，所述上位机接收到所述图像数据之后，还包括：

所述上位机根据所述图像数据中每个所述光场对应的图像数据所占行数，分别读取各个所述光场对应的图像数据，以对各个所述光场分别对应的图像数据进行算法处理。

4.如权利要求1所述的视觉缺陷检测的数据处理方法，其特征在于，通过所述线阵相机摄像头采集每个位置多个不同光场照射所述待测物的图像数据，包括：

通过所述线阵相机摄像头采集每个位置的不同角度不同亮度的光场照射所述待测物的图像数据。

5.一种视觉缺陷检测的数据处理装置，其特征在于，包括：

数据采集模块，当线阵相机摄像头和待测物之间相对移动至不同位置时，通过所述线阵相机摄像头采集每个位置多个不同光场照射所述待测物的图像数据；

数据缓存模块，用于将同一光场下采集的不同位置的图像数据存储在同一缓存空间；

数据上传模块，用于将各个所述缓存空间的图像数据上传至上位机，以便所述上位机基于同一光场对应的所述图像数据拼接形成所述待测物的检测图像并进行所述待测物的缺陷分析。

6.一种FPGA芯片，其特征在于，应用于线阵相机，包括和线阵相机的CCD芯片相连接的Cam_If数据同步接收模块、TRowBuf数据缓存模块、多个FIFO单元、DDR内存数据读写模块、GigE网络接口；

所述Cam_If数据同步接收模块用于接收所述CCD芯片在线阵相机摄像头和待测物之间相对移动至不同位置时，通过采集每个位置多个不同光场照射所述待测物的图像数据，并通过所述MM2S_Bridge总线桥传输至所述TRowBuf数据缓存模块；

所述TRowBuf数据缓存模块用于将同一光场下采集的不同位置的图像数据存储在同一所述FIFO单元中；

所述DDR内存数据读写模块用于读取不同光场分别对应的图像数据；并通过所述GigE网络接口上传至上位机，以便所述上位机基于同一光场对应的所述图像数据拼接形成所述待测物的检测图像并进行所述待测物的缺陷分析。

7.如权利要求6所述的FPGA芯片，其特征在于，所述Cam_If数据同步接收模块和所述TRowBuf数据缓存模块之间通过MM2S_Bridge总线桥相连接。

8.如权利要求6所述的FPGA芯片，其特征在于，还包括GigE Vision协议打包模块，用于将所述DDR内存数据读写模块读取的所述图像数据进行打包，并通过GigE网络接口上传至上位机。

9.一种视觉缺陷检测系统，其特征在于，包括多个线阵相机，上位机，光源设备；每个所述线阵相机中分别内置有如权利要求6至8任一项所述的FPGA芯片，所述FPGA芯片用于实现如权利要求1至4任一项所述的视觉缺陷检测的数据处理方法的步骤；

其中，所述光源设备用于切换输出不同光场的照明光线；

每个所述线阵相机分别用于当线阵相机摄像头和待测物之间相对移动至不同位置时，采集每个位置多个不同光场照射所述待测物的图像数据，并上传至所述上位机；

所述上位机根据所述图像数据对所述待测物进行缺陷分析。

Images