CN105203045B

CN105203045B - 一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法

Info

Publication number: CN105203045B
Application number: CN201510380865.XA
Authority: CN
Inventors: 胡燕翔
Original assignee: Tianjin Normal University
Current assignee: Tianjin Normal University
Priority date: 2015-07-02
Filing date: 2015-07-02
Publication date: 2018-07-06
Anticipated expiration: 2035-07-02
Also published as: CN105203045A

Abstract

本发明公开了一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法。包括系统整体结构、产品外形完整性检查的算法；其中系统整体结构包括采用时域视觉传感器的相机、含有缓存和计算单元的处理部分；软件算法以TVS输出的活跃事件为输入，这些地址与时间离散的AE集合代表在流水线上移动的实际产品；根据每个AE集合的地址分布情况，计算出该移动物体的外形参数，通过将这些反映产品外形的参数与完整产品的外形参数进行比对，实现产品外形完整性进行检查。与现有系统相比，本发明具有显著的性能和成本优势，具有广阔的应用前景。

Description

一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法

技术领域

本发明涉及机器视觉、数字图像处理以及电路设计等多个技术领域。更具体的说是一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法。

背景技术

外形完整性检查是工业产品质量检查的重要内容之一。对于简单的工业流水线产品，例如药片、香烟、小型机械零件等，通过使用计算机对其图像进行处理分析，能够自动准确地对形状完整性进行判断，极大地提升了工作效率，降低生产成本。工业相机中以及其中的图像传感器是整个机器视觉系统中的核心部件。目前机器视觉系统中使用的图像传感器都是基于“帧采样”方式的，其成像原理是：

1、所有像素同时复位后开始感光（收集光电荷），在达到设定曝光时间后停止感光；

2、依次读出每个像素所收集的光电荷，并将其转换为电压；

3、该电压经模数转换后变为数字量，输出后存储。该数字量即为该点的亮度值。所有像素亮度值组成的二维矩阵即为所拍摄图像。

在使用上述“帧采样”图像传感器（相机）的机器视觉系统中，计算机依次处理相机拍摄的图像序列（通常为几十帧/秒），提取图像中的目标并进行判别与分析。

上述“帧采样”成像方式对于运动目标识别与分析存在的缺点：

（1）数据冗余。相邻两帧间存在大量冗余，完全相同的背景区域被重复采样读出。随着图像分辨率的提高，这些冗余信息对系统带来了巨大的处理和存储压力；

（2）大延迟。场景中发生的变化并不能被马上感知并输出，而必须按照“曝光时间”的节奏在曝光结束后输出。这种“变化—感知”间的大延迟对于高速运动目标的检测与识别带来很大困难，拍摄帧频越低且运动速度越快，则检测的间断性越明显。如果采用更高帧频的拍摄速度，则由（1）带来的处理与存储压力会更加巨大。

在生物视觉系统中不存在“帧”的概念，视觉感光细胞只对变化敏感，并将这种变化以神经脉冲的方式传递到大脑视皮层进行处理。近年来，研究者依据生物视觉“变化采样”的原理，提出了采用超大规模集成电路（VLSI）技术实现的“视觉传感器（VisionSensor, VS）”。原理包括：

(1)、VS像素只对场景中的“变化事件（Activity Event， AE）”敏感并采样输出。AE可分为空间变化（某像素与其周边像素的亮度关系发生变化）和时间变化（像素自身的亮度发生变化）两类。对时域变化敏感的视觉传感器中最重要的一个分类是时域视觉传感器（Temporal Vision Sensor，TVS）；

（2）TVS中的各像素自主地检测所感受的光强是否发生变化。如果发生变化，则像素产生的AE通过芯片级的串行总线输出，像素间互不关联。AE表示为AE=（x,y,P）,其中（x,y）为该像素在VS像素阵列中的地址，P表示该AE的极性，例如光强增加为“1”，光强减小为“0”。这种采用地址来表示AE的方法称为地址事件表示（Address-Event-Representation，AER）。

（3）只有拍摄场景中的运动物体的边界（轮廓）才会产生AE（改变所经过位置的光线反射强度），具有一致颜色的物体内部则不会产生AE。本发明正是基于这一特点来进行物体外形的判断。

（4）由于TVS中所有像素均使用同一组串行总线输出AE，因此需要使用仲裁器来判决同时发生AE的像素的输出顺序。因此属于一个移动目标的AE并不是被连续输出的，即两个相邻输出的AE可能并不属于同一个运动目标。

（5）TVS输出的每1个AE被相机接口控制器赋予一个时间戳T，该时间戳指出事件的具体输出时间，因此AE表示为AE=（x,y,P,T）。

综上所述，TVS由于只对场景中的变化敏感，因此具有实时响应的特点，非常适合于在机器视觉领域中的应用，同时大大减少的输出数据量对系统的处理能力与存储量要求也大为降低。

发明内容

为实现上述目的，本发明公开了如下的技术内容：

一种使用TVS进行工业流水线产品外形完整性检查的方法，该方法包括系统整体结构、产品外形完整性检查的算法；其中系统整体结构包括采用时域视觉传感器的相机、含有缓存和计算单元的处理部分；软件算法以TVS输出的活跃事件为输入，这些地址与时间离散的AE集合代表在流水线上移动的实际产品；根据每个AE集合的地址分布情况，计算出该移动物体的外形参数，通过将这些反映产品外形的参数与完整产品的外形参数进行比对，实现产品外形完整性进行检查。

本发明更加详细的描述如下：

一、该系统整体结构包括：

（1）像素阵列、输出仲裁电路模块，像素独立感知场景光照强度的变化，并产生AE经仲裁后串行输出；接口控制器通过改写TVS的控制寄存器来改变TVS的工作参数，为将TVS输出的串行数据组合起来进行形状判断，在相机端需要赋予每个AE一个“时间戳”，表示此AE被输出的时间；

（2）使用SDRAM构成的FIFO，作为相机与后端处理系统的中间缓冲，保存按时间排序的AE队列，其容量与TVS的像素阵列大小和场景中的光强变化程度有关，通常情况下TVS输出的数据量仅为具有同样大小像素阵列的帧采样图像传感器的5~10%，因此通常情况下32M SDRAM能够完全满足要求；

（3）基于DSP或嵌入式处理器的处理器模块：读取FIFO中缓存的AE队列，执行外形完整性检查算法，并根据检查结果发出相应的控制信号；

（4）显示与IO设备；

二、产品外形完整性检查的算法包括：

（1）目标检测：当一个目标产品经过视场时会产生大量AE，而当没有目标通过时则基本无AE产生，因此通过检测AE流的密集程度可以将目标AE分裂出来，即位于时间间隔（Ti,Ti +ΔT）内的AE由运动目标产生

（式1）

ΔT可以通过实验测得，且在流水线速度固定的情况下保持不变；

（2）噪声删除：计算AE的平均位置和平均位置偏差（σx，σy）：

（式2）

位置为（Xi, Yi）的AE为噪声的条件是：

（式3）

上式中K为经验参数，取K_σ=3；

（3）边缘减薄：为了计算出准确的外形参数，需要对边缘进行减薄，使每个边缘点只产生一个AE；

（4）边缘参数提取：采用“圆拟合”方法提取目标形状参数信息；圆拟合的基本公式为：

（式4）

上式中，（x,y）为AE坐标，(x_c,y_c)为圆中心，由于所有AE具有同等的权值，因此使用所有AE的重心作为圆心，即：

（式5）

为拟合圆的等效半径，非圆形物体AE的拟合圆半径r是一个变量；

（5）目标形状参数：

对于任意形状物体的等效半径r，可以使用最大半径、最小半径、平均半径、等效半径直方图、等效半径-圆心角分布图来描述其变化与分布情况，几种典型的规则形状，包括正方形、三角形和环形的等效半径直方图以及等效半径随圆心角的变化

通过比较以下指标来判断其外形的完整性：

1）最大半径、最小半径和平均半径；公式如下：

以上各式中N为AE总数。

2）等效半径直方图：横坐标为等效半径，纵坐标为AE数，表明具有不同等效半径的AE数量；

（式9）

3）等效半径-圆心角对应图：横坐标为圆心角，纵坐标为此角度下的等效半径，表明等效半径随圆心角的变化规律。在此分布图的计算中，取圆中心的横坐标为0度角方向；

（式10）

（6）形状完整性判断：

1）、使用标准形状在实际工作环境中建立标准参数库；

2）、按照上述处理过程获取运动目标的外形参数，将计算所得的实际形状参数与标准参数进行比较：

（式13）

式中：M为测量得到的最大、最小和平均半径，

S为标准参数；K₁、K₂为经验参数，K₁=0.2，K₂=0.1。

2.2等效半径直方图的比较：

等效半径直方图用于比较测试形状与标准形状的等效半径分布差异，公式如下：

上式中，Hist_M为测试形状的等效半径直方图，Hist_S为标准形状的等效直方图，为等效半径直方图分布差；

2.3等效半径-圆心角对应图的比较：

等效半径-圆心角对应图用于比较等效半径随圆心角的分布变化情况。由于起始圆心角与目标的摆放有关，因此需要考虑起始圆心角不一致的情况。以标准形状的等效半径-圆心角对应图为参照，算法如下：

、设R为标准形状的等效半径-圆心角对应图中0度圆心角对应的半径；

、在测试标准形状的等效半径-圆心角对应图查找半径为的角度，标记为K3为比例系数，根据目标的具体形状确定；

、逐个计算以为0度角的等效半径-圆心角对应序列与标准参照序列的平均误差比例

3、完整性判断

满足以下全部条件：

（式21）

（式22）

K4、K5为经验参数，取K4=K5=0.1~0.2。

本发明给出了使用TVS进行工业流水线产品外形完整性识别系统的硬件框架；以及外形完整性检查算法：根据上述硬件模块产生的AE序列，对具有规则形状的流水线产品外形完整性检查判断。

本发明公开的基于异步时域视觉传感器的产品形状完整性检测系统及检查方法原有技术相比所具有的优点和积极效果在于：

本发明使用TVS进行机器视觉领域的算法设计。由于TVS具有与传统“帧采样”图像传感器完全不同的成像原理，因此本发明与传统机器视觉目标识别算法的实现原理与过程是不同的。TVS采用变化采样、异步输出、地址事件表示的成像原理，因此具有极低数据冗余、高实时性与时间分辨率的特殊优势，非常适合应用于工业流水线上具有规则形状产品的外形完整性检查，显著优点是：

（1）TVS的数据输出量通常只有“帧采样”图像传感器的5-10%，因此对于后端计算机系统的计算和存储要求大为降低；

（2）同时由于采用“变化采样+像素异步输出”的采样原理，因此场景中的变化能够以微秒级、毫秒级被感知和输出，相当于帧采样模式下的几千~几万帧/每秒，实时性高。

（3）本发明将TVS应用于机器视觉领域中的产品外观检查，给出实用化的系统硬件架构以及核心算法，为实用化的机器视觉设计提供了详细方法。

附图说明：

图1为本发明提出的使用TVS进行物体外形完整性检查的系统框图，包括采用时域视觉传感器的相机、含有缓存和计算单元的处理部分；

图2为本发明应用过程中的信息处理示意图；系统对相机所获得的视觉信息进行处理，提取外形尺寸参数及其分布规律，通过与标准参数比较来进行完整性判断；

图3给出了本发明的完整性检查算法流程图，包括了目标时段提取、噪声滤除、边缘减薄以及外形参数提取与比较等步骤；

图4给出了自AE流中提取目标时段的原理图；这一步骤将代表运动目标的AE从时间连续的AE流中分离出来；

图5为算法中运动目标边缘减薄的原理图。目标在视场中运动时会产生连续的AE，在进行外形参数提取时每个边缘点只能具有一个对应的AE，因此需要删除同属于一个边缘点的多余AE；

图6为正方形“圆拟合”等效半径的分布图其中(a).物体形状，(b).等效半径直方图，(c).等效半径随角度的变化；

图7为三角形“圆拟合”等效半径的分布图；其中(a).物体形状，(b).等效半径直方图，(c).等效半径随角度的变化；

图8为环形“圆拟合”等效半径的分布图；其中(a).物体形状，(b).等效半径直方图，(c).等效半径随角度的变化；

其中6-8给出三种典型的规则形状（正方形、三角形和环形）的外形参数，包括“圆拟合”等效半径、等效半径-AE数直方图以及等效半径-圆心角分布图，这些参数表征了运动目标的外形特征，通过与标准参数进行比对来完成完整性检查；

图9为本发明与传统方法的应用比较示意图，从比较图中可以看出：

（1）由于DVS只是对亮度变化敏感并采样输出，因此只是输出的信息主要是物体运动过程中边缘产生的AE，数据量通常只是传统帧采样方式的5·10%，排除了冗余信息；

（2）由于只对亮度变化敏感，因此场景中由物体运动产生的能够被实时感知，有利于高速产品流水线使用；

（3）很小的输出信息量对于后端系统的处理能力和存储容量要求大为降低，进而降低系统成本。

具体实施方式

以下参照附图及实施例对本发明进行详细的说明。下述各实施例仅用于说明本发明而并非对本发明的限制。下述实施例中的实验方法，如无特殊说明，均为常规方法。

实施例1

一、使用TVS进行工业流水线产品外形完整性检查系统的硬件框架

图1为使用TVS进行工业流水线产品外形完整性检查系统的整体框图，包括以下部分：

1、基于TVS的工业相机，对工业流水线上串行移动的产品逐个拍照，由于拍摄背景固定，环境照明恒定，因此输出数据只由产品所运动，包括：

（1）TVS，包括像素阵列、输出仲裁电路等模块，像素独立感知场景光照强度的变化，并产生AE经仲裁后串行输出；

（2）接口控制器。接口控制器的功能之一是接收TVS的AE并对其进行时间标记后予以输出；功能之二是接收外部控制信号，通过改写TVS的控制寄存器来改变TVS的工作参数。为将TVS输出的串行数据组合起来进行形状判断，在相机端需要赋予每个AE一个“时间戳”，表示此AE被输出的时间。

2、使用SDRAM构成的FIFO，作为相机与后端处理系统的中间缓冲，保存按时间排序的AE队列。其容量与TVS的像素阵列大小和场景中的光强变化程度有关，通常情况下TVS输出的数据量仅为具有同样大小像素阵列的帧采样图像传感器的5~10%，因此通常情况下32MSDRAM能够完全满足要求；

3、基于DSP或嵌入式处理器的处理器模块：读取FIFO中缓存的AE队列，执行外形完整性检查算法，并根据检查结果发出相应的控制信号；

4、显示与IO设备。

二、物体外形完整性检查算法

本算法的作用是读入具有相同时间戳的AE队列，按照其地址来计算产生AE的物体外形参数，并将计算所得参数与标准参数相比较来判断产品外形的完整性。图3给出完整性检查算法流程图，下面对算法的各个步骤进行具体说明。

a)从FIFO读取以时间戳排序的AE队列；

2、目标检测，在VTS的视场中只有单行恒速移动的产品，且产品间保持一定的间距。由于只有移动的边缘产生AE，因此AE的分布具有周期性爆发的特点，如图4所示。图4中，当一个目标（产品）经过视场时会产生大量AE，而当没有目标通过时则基本无AE产生，因此通过检测AE流的密集程度可以将目标AE分裂出来，即位于时间间隔（Ti,Ti +ΔT）内的AE由运动目标产生：

（式1）

（4）噪声删除：

为提高形状参数的准确性，需要对由于电路噪声产生的AE进行删除。基于噪声AE地址的随机性，采用位置判断法。计算AE的平均位置和平均位置偏差（σx，σy）：

（式2）

位置为（Xi, Yi）的AE为噪声的条件是：

（式3）

上式中K为经验参数，取K_σ=3。

（5）边缘减薄：

目标物体的边缘点在视场中运动时会连续不断产生AE，如图5所示。为了计算出准确的外形参数，需要对边缘进行减薄，使每个边缘点只产生一个AE。本步骤的原理是对噪声删除后的AE进行过滤：具有相同地址的AE只保留1次（第1次），并根据x坐标进行排序。

（6）边缘参数提取；

本算法采用“圆拟合”方法提取目标形状参数信息，这种方法适用于具有外形的物体。

4.1 基本原理

“圆拟合”是将由物体边缘产生的AE数据拟合为一个概念上的圆，使用这个“拟合圆”计算出这些AE分布的信息，例如中心、等效半径、最大最小半径、极值点位置分布状况，从而使用这些信息来判断物体的外形。圆拟合的基本公式为：

（式4）

（式5）

为拟合圆的等效半径，非圆形物体AE的拟合圆半径r是一个变量。

4.2目标形状参数

对于任意形状物体的等效半径r，可以使用最大半径、最小半径、平均半径、等效半径直方图、等效半径-圆心角分布图来描述其变化与分布情况，几种典型的规则形状，包括正方形、三角形和环形的等效半径直方图以及等效半径随圆心角的变化如图6、图7和图8所示。

由图6-8可见，外形规则物体的“圆拟合”等效半径的分布具有明显规律。对于任意一种确定的形状，可通过比较以下指标来判断其外形的完整性：

a)最大半径、最小半径和平均半径；公式如下：

以上各式中N为AE总数。

2、等效半径直方图：横坐标为等效半径，纵坐标为AE数，表明具有不同等效半径的AE数量；

（式9）

3、等效半径-圆心角对应图：横坐标为圆心角，纵坐标为此角度下的等效半径，表明等效半径随圆心角的变化规律。在此分布图的计算中，取圆中心的横坐标为0度角方向。

（式10）

4、对于具有复杂外形的物体，可以设计与上述参数类似的针对性指标。

4.3形状完整性判断

1、使用标准形状在实际工作环境中建立标准参数库；

2、按照上述处理过程获取运动目标的外形参数，将计算所得的实际形状参数与标准参数进行比较：

式中：M为测量得到的最大、最小和平均半径，

S为标准参数；K₁、K₂为经验参数，K₁=0.2，K₂=0.1。

2.2等效半径直方图的比较：

2.3 等效半径-圆心角对应图的比较：

、在测试标准形状的等效半径-圆心角对应图查找半径为的角度，标记为；K3为比例系数，根据目标的具体形状确定；

3、完整性判断

满足以下全部条件：

K4、K5为经验参数，取K4=K5=0.1~0.2。

Claims

1.一种基于异步时域视觉传感器的产品形状完整性检查方法，其特征在于：该方法以TVS输出的活跃事件为输入，这些地址与时间离散的AE集合代表在流水线上移动的实际产品；根据每个AE集合的地址分布情况，计算出该流水线上移动实际产品的外形参数；通过将这些反映产品外形的参数与完整产品的外形参数进行比对，实现产品外形完整性进行检查，其具体步骤如下：

（1）目标检测：当一个目标产品经过视场时会产生大量AE，而当没有目标通过时则基本无AE产生，因此通过检测AE流的密集程度可以将目标AE分裂出来，即位于时间间隔（Ti,Ti+ΔT）内的AE由运动目标产生

（式1）

（2）噪声删除：计算AE的平均位置和平均位置偏差：

（式2）

n为此AE事件群中的AE总数

位置为（Xi,Yi）的AE为噪声的条件是：

（式3）

上式中为经验参数，取=3；

（3）边缘减薄：对边缘进行减薄，使每个边缘点只产生一个AE；

（式4）

其中r为圆拟合等效半径

上式中，（x,y）为AE坐标，(xc,yc)为圆中心，由于所有AE具有同等的权值，因此使用所有AE的重心作为圆心，即：

（式5）

指的是虚拟圆中心横坐标；指的是虚拟圆中心纵坐标；

r为圆拟合等效半径，非圆形物体AE的圆拟合等效半径r是一个变量；

（5）目标形状参数确定：对于任意形状物体的圆拟合等效半径r，使用最大半径、最小半径、平均半径、等效半径直方图、等效半径-圆心角分布图来描述其变化与分布情况，几种典型的规则形状，包括正方形、三角形和环形的等效半径直方图以及等效半径随圆心角的变化通过比较以下指标来判断其外形的完整性：最大半径、最小半径和平均半径；

1）公式如下：

以上各式中N为AE总数；

（式9）

其中指的是：圆拟合等效半径，K指的是：K个AE的圆拟合等效半径；

指的是圆拟合等效半径为Ri的AE共有k个，表示为1…k；

3）等效半径-圆心角对应图：横坐标为圆心角，纵坐标为此角度下的等效半径，表明等效半径随圆心角的变化规律；在此分布图的计算中，取圆中心的横坐标为0度角方向；

（式10）

指的是虚拟圆中心的横坐标和纵坐标；

（6）形状完整性：

1）、使用标准形状在实际工作环境中建立标准参数库；

2.1

式中：R_max_M、R_min_M及R_avg_M为测量得到的最大、最小和平均半径，R_max_S、R_min_S及R_avg_S为测试得到的标准参数；K1、K2为经验参数，K1=0.2，K2=0.1；

2.2等效半径直方图的比较：等效半径直方图用于比较测试形状与标准形状的等效半径分布差异，公式如下：

（式14）

（式15）

其中R1指的是实测形状最小圆拟合等效半径与标准形状最小圆拟合等效半径相比的小值；

R2指的是为实测形状最大圆拟合等效半径与标准形状最大圆拟合等效半径相比的大值；

D_R指的是圆拟合等效半径直方图分布差；

2.3等效半径-圆心角对应图的比较：

等效半径-圆心角对应图用于比较等效半径随圆心角的分布变化情况；由于起始圆心角与目标的摆放有关，因此需要考虑起始圆心角不一致的情况；以标准形状的等效半径-圆心角对应图为参照，算法如下：

a、设R为标准形状的等效半径-圆心角对应图中0度圆心角对应的半径；

在测试标准形状的等效半径-圆心角对应图查找半径为[(1-K₃)*R，(1+K₃)*R]的角度，标记为{θ1，θ2,……, θn}；

b、K3为比例系数，根据目标的具体形状确定；

c、逐个计算以0度角的等效半径-圆心角对应序列与标准参照序列的平均误差比例：

（式16）

（式17）

为圆拟合等效半径-圆心角对应图比较的依据；

3）、完整性判断满足以下全部条件，说明产品外形完整：

K4、K5为经验参数，取K4=K5=0.1~0.2。