CN116346999B - 图像采集系统及图像采集方法 - Google Patents

Abstract

本发明公开了一种图像采集系统及图像采集方法；本发明保留了基于黑白相机检测精度高、成本低的优质特性，同时在基于黑白相机的视觉检测系统上，通过用红、绿、蓝三基色分别成像的图片，合成一张彩色图像，用于检测色差，实现了黑白相机成像彩色图片的技术效果，解决了同一时刻检测出瑕疵、颜色种类、产品景深高低的问题；同时，本发明的黑白相机通过预分频同步控制相机和光源，在一次信号输入下，相机可实现在不同光源点亮且曝光时间不同的情况下的多次拍摄效果，以降低传统的检测信号交互时间，大幅提高检测效率。

Description

图像采集系统及图像采集方法

技术领域

本发明涉及机器视觉检测技术领域，尤其是一种图像采集系统及图像采集方法。

背景技术

在智能制造的工业背景下，机器视觉检测系统已经得以广泛应用。搭建机器视觉系统的首要核心是工业相机的选型，从图像输出颜色来区分，有黑白工业相机以及彩色工业相机，与黑白相机相比，两者的区别是彩色相机成本显著提高，同时彩色相机中的彩色滤光片会降低相机的敏感度，如果被测物体不需要检查色差，黑白相位机会是更好的选择，特别是对于物体表面检测，黑白相机拍摄的图像的准确性和细节表现通常较彩色相机高许多。

但是在目前的机器视觉检测系统中，针对产品的一些瑕疵点，需要利用黑白相机检测精度高的特性，在各种光源角度下采集待检测物的图像信息，形成数据集，才能凸显出来对比度，从而精确捕捉瑕疵和缺陷；现有的机器视觉检测需要在同一时刻检测出瑕疵、颜色种类、产品景深高低，而工业相机的选型无法在黑白相机和彩色相机之间兼得，因此如何开发一套既能够利用黑白相机对瑕疵、缺陷检测精度高的特性，又具备颜色种类检测的机器视觉系统（图像采集系统）成为了行业痛点。

发明内容

本申请针对上述现有技术中的缺陷，提供了一种图像采集系统及图像采集方法，基于该系统能够用红绿蓝三基色分别成像的图片，合成一张彩色图像，用于检测色差，实现了黑白相机成像彩色图片的技术效果，解决了同一时刻高精度地检测出瑕疵、颜色种类、产品景深高低的问题，同时在一次外部信号下，能够采集多组不同光源状态下的图像。

本发明解决上述技术问题所采用的技术方案如下：

一种图像采集系统，其包括：

黑白相机，所述黑白相机被配置为采集待检测件的图像信息；

多个相机光源，所述相机光源被配置用于图像采集时提供合适的光源强度和颜色；

相机光源控制器，所述相机光源控制器被配置用于接受外部信号并预分频输出至黑白相机和相机光源，同步控制黑白相机和相机光源；

图像输出端，用于输出显示黑白相机采集的图像信息；

所述相机光源控制器在一次外部输入信号下，经预分频同步控制黑白相机和相机光源后，对同一待检测件在曝光期间提供多组光源状态并采集多组图像信息，所述光源状态包括光源角度和光源颜色，通过多组不同基础色光源状态下的图像合成彩色图像。

进一步地，所述相机光源被配置为红、绿、蓝三种基础色光源。

进一步地，所述黑白相机为线扫描式黑白相机。

进一步地，所述相机光源控制器通过配置使能信号和拍照行信号控制线扫描式黑白相机的拍照次数。

进一步地，所述黑白相机为面阵式黑白相机。

进一步地，所述相机光源控制器通过配置使能信号控制面阵式黑白相机的拍照次数。

进一步地，所述彩色图像合成算法，其包括如下步骤：

a）在RGB三基色光源下，黑白相机采集三基色反射图，获取RGB三基色的图像数据；

b）RGB三基色的图像数据计算方式为：R:=、G:=、B:=/>；

c)获取三基色图像数据源后，校正三基色下的白平衡，白平衡计算方法为：Raver=intensity(R)、Gaver=intensity(G)、Baver=intensity(B)；

d）计算白平衡校正后的RGB三基色均值图像数据，计算方法为：K=(Raver+Gaver+Baver)/3，“K”表示三基色均值图像数据的平均数据组合；

e）计算三基色均值图像数据的平均数据组合与三基色图像均值的增益值，计算方法为:Kr=K/Raver、Kg=K/Gaver、Kb=K/Baver，“Kr，Kg，Kb”表示三基色均值图像数据的平均数据组合与三基色图像均值的增益值；

f）获取增益值后，求出新的三基色图像数据组合，计算方法为：Rnew= 、Gnew= />、Bnew= />；

g)求解基于新三基色图像数据组合合成的彩色图像，计算方法为：ImgColor=compose3 (Rnew, Gnew, Bnew）。

本发明还提供了一种图像采集方法，其包括如下步骤：

S1：基于图像采集系统，在一次外部输入电平信号下，通过相机光源控制器预分频为多个信号，同步传递至黑白相机和相机光源；

S2：光源和黑白相机同步被控制后，相机光源控制器利用线速度和检测精度的数据计算出曝光时间；

S3：在S2的曝光时间下，相机光源提供不同的光源状态，黑白相机在一次输入信号下采集多组图像信息；

S4：采集的多组黑白图像信息，获取采集到的RGB三基色图像数据的均值、组合值和增益值，获取增益值数据后，得到新的三基色图像数据组合，合成彩色图像。

进一步地，所述相机光源控制器配置有有宽电压功能，兼容5~60伏DC。

进一步地，所述相机光源控制器配置至少1路相机以及8路相机光源。

本发明的有益效果如下：

相比现有技术，本发明保留了基于黑白相机检测精度高、成本低的优质特性，同时在基于黑白相机的视觉检测系统开发上，通过用红、绿、蓝三基色分别成像的图片，合成一张彩色图像，用于检测色差，实现了黑白相机成像彩色图片的技术效果，解决了同一时刻检测出瑕疵、颜色种类、产品高低景深的问题。

在解决上述现有技术痛点的同时，本发明的黑白相机检测产品表面缺陷、瑕疵上的检测效率比现有的黑白相机视觉系统检测效率更高；以半导体晶圆盘外观AOI检测为例，黑白相机为面阵式黑白相机，现有技术的晶圆盘面上的几万至几十万颗晶体由传统的一次给相机一个信号，配置光源的不同数量点亮，及切换来实现图像采集及检测；本发明系统通过预分频以及相机接受信号的特性，在一次输入信号下，相机可实现在不同光源点亮且曝光时间不同的情况下的多次拍摄效果，达到降低传统的信号交互时间，提高检测效率的效果。因此，本发明提供了更加显著的效果展示，由传统的定点多次拍摄方式改进为一次信号下多次拍摄采集的方式，可大幅度降低检测时间，提升晶圆盘外观AOI检测效率。

附图说明

图1为本发明中图像采集系统的硬件框图；

图2为本发明的中预分频信号的示意图；

图3为本发明中线扫描式黑白相机的工作逻辑原理图；

图4为电池硅片检测的展示图；

图5为本发明中面阵式黑白相机的工作逻辑原理图；

图6为本发明中半导体晶圆盘外观AOI检测的第一展示图；

图7为本发明中半导体晶圆盘外观AOI检测的第二展示图；

图8为本发明中线扫描相机获取图像对比特征点的展示图；

图9为本发明中用亮度图图像表达式的原始图；

图10为基于图9具有XYZ轴的数据的亮度图；

图11为图9的亮度图；

图12为本发明中通过亮度图图像表达式获取的对比图，其中，图12-a为标准图，图12-b为光泽图，图12-c为镜面图，图12-d为漫反图，图12-e为凸点图；

其中：1、黑白相机；2、相机光源；3、图像输出端；4、相机光源控制器。

具体实施方式

下面结合附图，对本发明的技术方案做进一步地说明。

实施例1：图像采集系统，其包括：黑白相机1、多个相机光源2、图像输出端3、相机光源控制器4；

如图1所示，所述黑白相机1被配置用于采集待检测件的图像信息；

多个相机光源2，相机光源2被配置用于图像采集时提供合适的光源角度、光源强度和基础光源颜色；相机光源2包括但不限于LED光源，以配置不同的LED峰值亮度，光源颜色配置红绿蓝三基色。图像输出端3，包括不限于使用电脑，用于输出显示黑白相机1采集的图像信息；

相机光源控制器4，相机光源控制器4被配置用于接受外部信号并预分频输出至黑白相机1和相机光源2，同步控制黑白相机1和相机光源2；相机光源控制器4优选设计为多通道，采用FPGA开发，编程门电路，实现多阵列控制，响应时间50纳秒；

可选的，相机光源2驱动器优选驱动1路黑白相机1和驱动8路相机光源2；基于该FPGA开发的相机光源控制器4，其配置的黑白相机1和相机光源2通道数量在此不作限定，使用者能够基于系统软件设计1路相机和8路光源同时使用，也可相互嵌套使用，以构建灵活的应用场景。

特别的是，本实施例中相机光源控制器4设计有宽电压功能，兼容5~60V DC，用于实现光源在1~4微秒达到亮度顶峰值。

特别的是，相机光源控制器4的系统软件设计有预分频，倍频，分频功能，预分频可以实现奇偶分频，根据预分频所得数，实现图像的几次拍摄和图片的奇数行，偶数行，以及1+n行的图片数据拆分，构建新的图片数据。

通过相机光源控制器4对信号预分频并同步控制黑白相机1以及相机光源2的原理如下：工业相机自身具有低延时高响应的能力且曝光时间低至1微秒，其利用这1微秒的曝光时间，将其光源亮度达到LED特性的最高值，并且需要将相机和光源同步时间控制在50纳秒。

将外部设备提供的电平信号在一个方波周期内分成事先设置好的预分频参数。如图2所示，然后将每个信号同时输出给黑白相机1和相机光源2。由于是线扫描式的黑白相机1，根据外部使能信号，外部脉冲信号，来实现线扫描相机的分时拍摄，其中信号逻辑是，根据预分频设置参数，将外部脉冲信号一个脉宽周期分为预分频设置参数的多个脉宽，最大预分频脉宽为4个，然后再将预分频之后的脉冲发送给相机和光源，从而达到相机和光源的同步控制。详细的脉冲数据使用逻辑分析仪器采集后呈现的效果可达到设计要求；预分频的外部脉冲信号在一个脉宽内，实现4次脉宽重新生成，让相机拍照并且相互之间独立，延迟时间小于20ns。获取预分频的图像数据后，再将这些数据重新排列，提取所需的图像数据。

根据以下计算方式将数据源分成数组A，B，C，D，四个通道的新数据组合。

A:=

B:=

C:=

D:=

得到新的数据组合后，由于相机自身已经规定好数据的XY坐标位置，我们只需将所得到的新数据组合，按固定的XY坐标位置显示出，即可得到新的MONO8图像。

光源和相机同步被控制后，相机光源控制器4利用线速度和检测精度的数据可以计算出合理的曝光时间，并在曝光时间期间提供高强度的光亮，即可获取多通道的对比图片。

本实施例中的黑白相机1为线扫描式黑白相机1，以如图3所示的线扫描式黑白相机1工作原理图为例：相机光源控制器4在一次外部输入信号下，经预分频后，分频信号经高速MOS管同步控制黑白相机1和相机光源2，对同一待检测件在曝光期间提供多组光源状态并采集多组图像信息；由于线扫描相机的控制方式需要同时具备开始拍照信号（即使能信号）和拍照行信号（即外部行信号，亦即单次拍照信号，本实施例优选为422差分信号）才能开始完整的出图，本发明利用的相机可接收的信号，通过发出想要的信号模式，实现控制相机的拍摄次数，并且相机的拍照次数还要与外部的相机光源2系统绑定一致。从而实现了线扫描相机在各行图像上体现出不同的目标对比度。在实际生产过程中，产品可在流动状态下实现多图像数据的采集，为后台视觉算法提供更多的数据集合，用于分析；

以电池硅片检测为例，彩色合成图像的采集过程包括原件-三基色图像拆分采集-合成彩色图像；具体过程为电池硅片（即原件）在系统运行状态下，通过配置不同的光源状态，红绿蓝光源分别点亮且对应线扫描相机的独立行拍照，实现了一次外部信号下，缺陷瑕疵在不同光源下的成像对比（多次采集），并且视觉系统（图像采集系统）可以用红绿蓝三基色，采集原始数据集（即三基色的分别采集），并通过彩色图像合成算法，合成一张彩色图像（即最后彩色图像合成），合成图片如图4所示，从而达到了使用黑白相机也能检测色差的技术目的；实现了黑白线扫描相机出彩色图片，降低采购彩色相机成本，又保留了黑白相机1瑕疵检测精度高的特性，提高检测效率。

实施例2：图像采集系统：本实施例与实施例1的区别在于提供了一种基于面阵式黑白相机1的应用实施例。

如图5所示为本系统基于面阵式黑白相机1的工作逻辑原理图，面阵相机的控制方式相比线扫描相机，只需要接收外部的一个开始拍照信号（使能信号）即可拍摄图片，通过分频（原理不再赘述，与实施例1同理），实现相机在固定曝光时间内，实现快拍慢传，让物体在一次外部信号下，配置不同状态的相机光源2并切换，并多次拍照采集。

如图6和图7，以目前市面上半导体晶圆盘外观AOI检测为例，本发明提供了更加显著的效果展示，提升了晶圆盘外观AOI检测效率，降低了检测时间，由传统的定点多次拍摄方式，改为本申请的运动一次拍摄方式。其中图6为半导体晶圆盘外观表面线路和蹦边的效果展示，配置为：背面光和同轴光源同时点亮，背面光曝光时间为50μs，同轴光源曝光时间为100μs。

其中，图7为半导体晶圆盘色彩和线路的外观图像采集，配置为：背面光、同轴光源以及环形光同时点亮，背面光源曝光时间为30μs，环形光曝光时间为50μs，同轴光源曝光时间为20μs。

根据上述实例效果，在实际应用中，一个晶圆盘面上的几万至几十万颗晶体即可由传统的拍摄中，一次给相机一个信号，配置光源的不同数量点亮及切换，在每次信号下单独采集图像（定点多次拍摄），变为本发明系统的给一次信号即可实现在配置不同光源状态的情况下的多次图像采集，且曝光时间不同的相机拍摄效果。达到降低传统的信号交互时间，提高生产效率。

需要说明的是，实施例1中，后台凸显拆解可以将综合数据集合分辨为应用者想要的图像呈现方式，原理为：本发明和线扫描式黑白相机1配合的情况下获取的图片是各个光源条件下的综合数据源，需要应用者独立的将图像拆分出来，图像采集系统在应用端也做了软件抽图算法，将综合图像综合数据集按1+n的方式抽取图像，直接反馈给应用者。如图8所示，本发明将一个综合数据集合的图片拆分成了8张不同光源角度下的独立图像，可以呈现线扫描相机在运动条件下，实现多数据获取，再根据获取的图像处理出明显的特征点。

图像采集方法，其包括如下步骤：

S1：基于图像采集系统，在一次外部输入电平信号下，通过相机光源控制器4预分频为多个信号，同步传递至黑白相机1和相机光源2；

S2：光源和黑白相机1同步被控制后，相机光源控制器4利用线速度和检测精度的数据计算出曝光时间；

S3：在S2的曝光时间下，相机光源2提供不同的光源状态，黑白相机1在一次输入信号下采集多组图像信息；

S4：采集的多组黑白图像信息，获取采集到的RGB三基色图像数据的均值、组合值和增益值，获取增益值数据后，得到新的三基色图像数据组合，合成彩色图像。

本发明和线扫描相机配合的情况下获取的图片是各个光源条件下的综合数据源。需要应用者独立的将图像拆分出来。因此，本发明基于线扫描式黑白相机1的图像采集系统，在应用端也做了软件抽图算法，将综合图像综合数据集按1+n的方式抽取图像，直接反馈给应用者。

软件抽图算法

步骤如下：

A1）基于图像采集系统，获取待检测物的在不同光源角度下的多个独立图像；

A2）对每个独立图像的图片表达模式采用亮度图的模式；

A3)将Mono 8位图变为一张具有XYZ轴数据的亮度图；

A4）以其中X、Y、Z任意轴方向的一个数据基准，形成新的亮度图；

A5）基于A4，将多个独立图像一一提取三轴数据形成对比。

本发明将一个综合数据集合的图片拆分成了8张不同光源角度下的独立图像，可以呈现线扫描相机在运动条件下，实现多数据获取，再根据获取的图像处理出明显的特征点，实际应用展示如图8所示。

软件抽图算法以原始图图9为例，机器视觉的图片表达式可以是亮度图的模式，图9的图像像素是216X266，X轴坐标是216像素,Y轴坐标266个像素，每一个像素的数据还是按0~255表示的在Mono8的图片中，将0~255数据转换为Y轴的高度，就将Mono 8位图变为一张具有XYZ轴的数据的亮度图（图10）。

根据亮度图10可得，图片像素数字为0和255在Z轴中表示高低不同。根据这个原理就可以将不同Z轴高度的数据单独提出形成新的图片，那么图9 的亮度图如图11。

亮度图11表达高度数据形状，看上去很像正弦波形；则Z轴数据即可提取出来，形成新的图片对比，如图12所示。

根据上述图像效果即产品在运动的时候本发明即可给出多种原始图像的数据收集，数据拆解，数据合成，从而提供更好的机器视觉处理办法。

彩色图像合成算法，其包括如下步骤：

如我们使用RGB三基础颜色（B或b即blue，R或r即red，G或g即green）的光源照射到物体表面后，反射出的光波被黑白相机1的COMS芯片接收到后，就能形成三基色物体反射图，使用算法进行如下操作，分别获取RGB三基色的图像数据。

a）在RGB三基色光源下，黑白相机1采集三基色反射图，获取RGB三基色的图像数据；

b）RGB三基色的图像数据计算方式为：R:=、G:=、B:=/>；

c)获取三基色图像数据源后，校正三基色下的白平衡，白平衡计算方法为：Raver=intensity(R)、Gaver=intensity(G)、Baver=intensity(B)；

d）计算白平衡校正后的RGB三基色均值图像数据，计算方法为：K=(Raver+Gaver+Baver)/3，“K”表示三基色均值图像数据的平均数据组合；

e）计算三基色均值图像数据的平均数据组合与三基色图像均值的增益值，计算方法为:Kr=K/Raver、Kg=K/Gaver、Kb=K/Baver，“Kr，Kg，Kb”表示三基色均值图像数据的平均数据组合与三基色图像均值的增益值；

f）获取增益值后，求出新的三基色图像数据组合，计算方法为：Rnew= 、Gnew= />、Bnew= />；

g)求解基于新三基色图像数据组合合成的彩色图像，计算方法为：ImgColor=compose3 (Rnew, Gnew, Bnew）。

最后彩色图像的合成例，以电池硅片为例，其通过原件-采集三张基色图-合成彩色图像，效果如图4所示。

应当说明的是，以上描述仅作为对本发明的解释，不是对发明的限定，本发明所限定的范围参见权利要求，在本发明的保护范围之内，可以作任何形式的修改。

Claims (5)

1.图像采集系统，其特征在于：包括：

黑白相机(1)，所述黑白相机(1)被配置为采集待检测件的图像信息；

多个相机光源(2)，所述相机光源(2)被配置用于图像采集时提供合适的光源强度和颜色；

相机光源控制器(4)，所述相机光源控制器(4)被配置用于接受外部输入电平信号并预分频输出至黑白相机(1)和相机光源(2)，同步控制黑白相机(1)和相机光源(2)；

图像输出端(3)，用于输出显示黑白相机(1)采集的图像信息；

所述相机光源控制器(4)在一次外部输入电平信号下，经预分频同步控制相机光源(2)和黑白相机(1)对同一待检测件在曝光期间提供多组光源状态并采集多组不同光源状态下的图像信息，所述光源状态包括光源角度和光源颜色，所述相机光源(2)被配置为红、绿、蓝三种基础色光源，通过多组不同基础色光源状态下的图像合成彩色图像；

所述黑白相机(1)为线扫描式黑白相机(1)；

所述相机光源控制器(4)通过配置使能信号和拍照行信号控制线扫描式黑白相机(1)的拍照次数；

将外部设备提供的外部输入电平信号在一个方波周期内进行预分频，再将预分频之后的脉冲发送给黑白相机(1)和相机光源(2)，从而达到黑白相机(1)和相机光源(2)的同步控制。

2.如权利要求1所述的图像采集系统，其特征在于：所述彩色图像合成的算法步骤如下：

a)在RGB三基色光源下，黑白相机(1)采集三基色反射图，获取RGB三基色的图像数据；

b)RGB三基色的图像数据计算方式为：

c)获取三基色图像数据源后，校正三基色下的白平衡，白平衡计算方法为：

Raver＝intensity(R)、Gaver＝intensity(G)、Baver＝intensity(B)；

d)计算白平衡校正后的RGB三基色均值图像数据，计算方法为：K＝(Raver+Gaver+Baver)/3，“K”表示三基色均值图像数据的平均数据组合；

e)计算三基色均值图像数据的平均数据组合与三基色图像均值的增益值，计算方法为:Kr＝K/Raver、Kg＝K/Gaver、Kb＝K/Baver，“Kr，Kg，Kb”表示三基色均值图像数据的平均数据组合与三基色图像均值的增益值；

f)获取增益值后，求出新的三基色图像数据组合，计算方法为：Rnew＝R×Kr、Gnew＝R×Kg、Bnew＝R×Kb；

g)求解基于新三基色图像数据组合合成的彩色图像，计算方法为：ImgColor＝compose3(Rnew,Gnew,Bnew)。

3.图像采集方法，应用于权利要求1或2所述的图像采集系统，其特征在于：包括如下步骤：

S1：基于图像采集系统，在一次外部输入电平信号下，通过相机光源控制器(4)预分频为多个信号，同步传递至黑白相机(1)和相机光源(2)；

S2：光源和黑白相机(1)同步被控制后，相机光源控制器(4)利用线速度和检测精度的数据计算出曝光时间；

S3：在S2的曝光时间下，相机光源(2)提供不同的光源状态，黑白相机(1)在一次外部输入电平信号下采集多组图像信息；

S4：采集多组黑白图像信息，获取采集到的RGB三基色图像数据的均值、组合值和增益值，获取增益值数据后，得到新的三基色图像数据组合，合成彩色图像。

4.如权利要求3所述的图像采集方法，其特征在于：所述相机光源控制器(4)配置有宽电压功能，兼容5～60伏DC。

5.如权利要求3所述的图像采集方法，其特征在于：所述相机光源控制器(4)配置至少1路黑白相机(1)以及8路相机光源(2)。