CN107403429A - 一种周期序列图像模型参数的快速自动获取方法 - Google Patents

Abstract

本发明涉及计算机图像处理技术和机器视觉技术领域，尤其涉及一种周期序列图像模型参数的快速自动获取方法，在生产线上获取周期序列图像帧并将其帧拼接成完整图像，在图像中截取若干个具有特定高度、宽度和位置的局部图像，将这些局部图像划分成若干列具有相同高度、相同步距、相同列宽度的列图像，对所划分的列图像完成搜索，获取模型参数。本发明的有益效果是：实现了周期序列图像模型参数的快速自动获取，具有成本低、结构简单、通用性好、灵活性强，便于产品的不断更新换代和技术升级等显著特点。

Description

一种周期序列图像模型参数的快速自动获取方法

技术领域

本发明涉及计算机图像处理技术和机器视觉技术领域，尤其涉及一种周期序列图像模型参数的快速自动获取方法。

背景技术

近年来，机器视觉检测系统已经愈来愈广泛地应用在包装材料及印刷生产线，这类视觉检测系统是通过高速相机扫描及获得实时的图像采集，然后经过计算机对实时采集的图像进行处理和分析，完成对生产线上的产品的表面扫描和检测。

当应用在这类产品的生产线上时，视觉检测系统采集到的图像是周期序列图像，即是沿生产线运行方向以一定的周期重复出现的连续图像。相应的重复周期称为版周高度。

在这类产品的生产线上，一般来说，当版周高度>400毫米时，为了保证印刷套色的精确度，在产品印刷区域的外边缘一侧或双侧会印刷Mark标识区，以依赖于此实现印刷套色的配准。这些Mark标识区在采集图像中重复出现的周期就等于版周高度。

同时，产品表面及采集图像中，也就相应存在着印刷和检测的有效区和无效区。有效区是指产品表面真正有效、需要被保留并进一步加工的印刷区域，在采集图像中这部分区域需要进行实时处理和检测分析，而无效区则指的是没有使用价值在后期将被裁剪掉的区域，采集图像中的这部分区域不需要进行处理和检测分析。

当Mark标识区被印刷在在产品表面的外边缘双侧时，产品表面及采集图像中处于双侧Mark标识区之内(不含Mark标识区)的那部分区域就是有效区。

此外，对于这类产品，一个版周高度一般大于400毫米，在这样大的一个版周高度中，往往会包含多个相同的印刷区域，且与版周高度相类似，这些印刷区域也是沿生产线运行方向具有周期重复的特性，这种处于同一版周高度内且以一个小于版周高度的周期重复的印刷区域和图像区域称为小张，其重复的周期称为小张周期高度。

对于应用在这类产品的生产线上的视觉检测系统，为完成视觉检测，在检测开始前，需要先对要检测的采集图像进行建模。由于这类产品的生产线的采集图像是周期序列图像，所以建模的目的之一就是从采集的周期序列图像中提取一个具有标准周期高度的图像作为基准图像。为了提取基准图像，需要对采集到的周期序列图像计算其版周高度、Mark标识区、有效区、小张周期高度，这4个参数作为最基本的模型参数。在获取到这4个参数之后，就可以根据这4个参数从周期序列图像中截取出基准图像。

此外，使用上述基准图像完成对周期序列图像的视觉检测过程，首要前提是必须先完成基准图像与周期序列图像之间的图像配准。所以，建模的目的之二是在获取基准图像之后，还要从基准图像中提取出图像配准区域，也称为图像配准定位区或简称定位区。

综上，版周高度、Mark标识区、有效区、小张周期高度、定位区共同构成了周期序列图像的模型参数，对周期序列图像进行检测的前提是须先获取这五个模型参数。

在目前涉及周期序列图像的产品的生产线上的视觉检测系统，常见的获取模型参数的方式为纯手工设置模型参数或半手工设置模型参数，即由操作人员完全通过手工在采集图像中勾画出版周高度、Mark标识区、有效区、小张周期高度、定位区，而半手工设置方式是由人员手工划定Mark标识区、有效区以及大致的版周高度、小张周期高度，再由计算机基于手工划定Mark标识区、有效区、定位区以及大致的版周高度、小张周期高度，计算出准确的版周高度、小张周期高度及定位区。这二者都属于比较初级的获取模型参数的方式，目前国产的视觉检测系统多还是采用半手工设置方式。

为了解决现有系统及技术方案存在的上述问题，本发明给出一种新的周期序列图像模型参数的快速自动获取方法。

发明内容

针对上述方案的缺点，本发明提出一种周期序列图像模型参数的快速自动获取方法。

本发明技术方案是：一种周期序列图像模型参数的快速自动获取方法，在生产线上获取周期序列图像帧并将其帧拼接成完整图像，在图像中截取若干个具有特定高度、宽度和位置的局部图像，将这些局部图像划分成若干列具有相同高度、相同步距、相同列宽度的列图像，对所划分的列图像完成搜索，获取模型参数。

优选的，所述模型参数包括：Mark标记区、有效区、版周高度、小张周期高度、定位区。

优选的，所述搜索方式包括前向搜索和后向搜索，前向搜索的搜索方向是自左向右进行搜索，后向搜索的搜索方向是自右向左进行搜索。

优选的，所述搜索包括：初始搜索、Mark搜索、小张搜索以及定位区搜索。

优选的，所述初始搜索的方法为：1)设定三个阈值N1、N2、M0，其中N1、N2是针对列图像特征点数量定义的阈值，N2<N1/10,M0是针对连续列图像数量定义的阈值；2)对截取图像划分的列图像完成特征点检测，并得到特征点数量和特征点坐标；3)检查每一列图像的特征点数量，若其中某一列图像K的特征点数量>N1，或者从某一列图像K开始沿搜索方向存在有连续M列图像的特征点数量>N2且M>M0，则停止该方向的搜索，同时若处于前向搜索中，则将该列图像K的左边界坐标作为初始起始位置，反之，若是处于后向搜索中，则将该列图像K的右边界坐标作为初始结束位置。

优选的，所述Mark搜索的方法为：1)完成对由截取图像划分的列图像的周期高度的计算；2)检查相邻列图像的特征点数量以及列周期高度；3)当在某一方向的搜索中检测到相邻列图像的特征点数量以及列周期高度均接近相等时，就结束该方向的搜索；4)对该方向搜索出的所有列周期高度值及出现频度进行统计，取出其中出现频度最高的列周期高度值，并将该方向搜索出的所有列周期高度值等于该出现频度最高的列周期高度值的列图像分布的坐标范围作为该方向的Mark标记区；5)Mark标记区内的每一列图像的列周期高度值进行逐列核对，并对相同的列周期高度值的出现频度分别进行累计，从中找出出现频度累计值最大的一个列周期高度作为版周高度；6)根据已经获得的Mark标记区和版周高度来确定有效区。

优选的，所述小张搜索的方法为：1)完成对由截取图像划分的列图像的周期高度的计算；2)对最新获得的该列图像的列周期高度值进行核对，将该列周期高度出现频度值与小张搜索中记录的同一周期高度值的出现频度累计值进行累加，再用这个累加结果替换原来的小张搜索中记录的同一周期高度值的出现频度累计值；3)在完成上述出现频度累计值的更新之后，检查小张搜索中记录的全部周期高度出现频度累计值，一旦发现其中存在有某一周期高度出现频度的累计值超过规定阈值，就结束该方向的搜索，否则继续该方向的搜索；4)当完成搜索后，从全部的周期高度出现频度的累计值中找出出现频度累计值最大的一个列周期高度作为小张周期高度；5)在计算出小张周期高度后，进一步完成对小张周期高度的正确性的验证。

优选的，在Mark搜索和小张搜索的搜索过程中，计算列图像的列周期高度的方法为：1)对特征点数量、特征点坐标、特征匹配距离进行筛选，取出所有匹配距离<设定的最大匹配距离阈值的特征点对作为该列图像的匹配特征点对；2)计算出全部匹配特征点对之间坐标距离；3)对计算出的全部匹配特征点对之间坐标距离进行统计，将统计结果中出现频度最高的匹配点对距离作为该列的周期高度，同时也将该出现频度作为该列周期高度的出现频度；4)计算出每一列的特征点数量、列周期高度、列周期高度的出现频度。

优选的，所述定位区搜索的方法为：1)如果验证发现小张周期高度不正确，则从Mark标记区中选择包含列图像个数较多、宽度较宽的一个Mark标记区作为定位区；2)在验证小张周期高度正确后，对由截取图像划分的列图像完成特征点检测；3)将每一列图像沿其高度方向按分片步距和片高度分成若干片，其中每一片具有相同的高度，相邻片之间具有相同的步距；4)统计每一列图像中的每一片包含的特征点数量，同时还统计在每一列图像中的每一片包含的特征点数量大于规定阈值的片数，记录各列的统计；5)检查对各列图像的统计，找出其中每一片包含的特征点数量均值最大且包含的每一片包含的特征点数量大于规定阈值的片数最多的列图像，将该列图像所在的坐标范围作为定位区

优选的，所述根据已经获得的Mark标记区和版周高度来确定有效区的方法为：a.对高度偏差的阈值A、任意的两个周期高度1和周期高度2，做如下定义：如果周期高度1周期高度2之间的误差≤阈值A，则记作：周期高度1≈周期高度2；如果周期高度1与周期高度2之间的误差>阈值A，则记作：周期高度1≠周期高度2；

b.在Mark搜索获得版周高度和Mark标识区后，再按照以下准则确定有效区：

1)当版周高度<规定的最小版周高度时：则将左侧Mark标识区的左边界作为有效区的左边界,右侧Mark标识区的右边界作为有效区的右边界；

2)当版周高度≥规定的最小版周高度时：

①如果小张周期高度≠版周高度：

i.如果左侧Mark标识区的周期高度≈小张周期高度，则将左侧Mark标识区的左边界作为有效区的左边界，反之，如果左侧Mark标识区的周期高度≈版周高度，则将左侧Mark标识区的右边界作为有效区的左边界；

ii.如果右侧Mark标识区的周期高度≈小张周期高度，则将右侧Mark标识区的右边界作为有效区的右边界，反之，如果右侧Mark标识区的周期高度≈版周高度，则将右侧Mark标识区的左边界作为有效区的左边界；

②如果小张周期高度≈版周高度：

i.如果左侧Mark标识区的宽度<列图像宽度/2且列图像最大特征点数≤事先规定的一个阈值，则将左侧Mark标识区的右边界作为有效区的左边界，反之，如果左侧Mar标识区的宽度≥列图像宽度/2或列图像最大特征点数>上述事先规定的阈值，则将左侧Mark标识区的左边界作为有效区的左边界；

ii.如果右侧Mark标识区的宽度<列图像宽度/2且列图像最大特征点数≤上述事先规定的阈值，则将右侧Mark标识区的左边界作为有效区的右边界，反之，如果右侧Mark标识区的宽度≥列图像宽度/2或列图像最大特征点数>上述事先规定的阈值，则将右侧Mark标识区的右边界作为有效区的右边界。

优选的，所述验证小张周期高度的正确性的方法为：1)从拼接图像截取图像，该截取图像处于前向Mark标识区右边界与后向Mark标识区左边界之间的区域，该截取图像的高度＝版周高度+小张周期高度，截取图像的宽度＝后向Mark标识区左边界坐标-前向Mark标识区右边界坐标；2)将该截取图像分成上下2个高度相等、宽度相等图像，其中上部的那一个图像的高度范围是从截取图像的最顶边至距最顶边的距离等于版周高度的位置，作为待检图像，处于下部的另一个图像高度范围是从截取图像距最顶边的距离等于小张周期高度的位置至截取图像的最底边，作为标准图像；3)对该标准图像分别做形态学扩张dilate和形态学腐蚀erode，形态学扩张或腐蚀的形变宽度在7～13之间，形变高度在30～50之间，从而得到2张结果图像，由扩张处理得到的是扩张图像，由腐蚀处理得到的是腐蚀图像；4)将上述的扩张图像作为上门限图像，上述的腐蚀图像作为下门限图像，待检图像分别对这两张门限图像做门限过滤处理，得到一张新的二值化的结果图像，如果该二值化图像中某一坐标处的像素值等于0，则表示待检图像内同一坐标处的像素值落入由上门限图像和下门限图像内相应坐标处的像素值所确定的像素值范围内，反之，若该二值化图像中某一坐标处的像素值等于255，则表示待检图像内同一坐标处的像素值或者是大于上门限图像相应坐标处的像素值，或者是小于下门限图像内相应坐标处的像素值；5)统计上述二值化图像中的像素值大于0的像素个数，如果个数大于结果图像像素总数的千分之一，则确定该小张周期高度非正确，即结束验证过程；6)反之，如果上述二值化图像中的像素值大于0的像素个数小于图像像素总数的千分之一，则进一步完成验证过程的第六步，是再对上述二值化图像做blob分析，如果blob分析的结果是发现其中存在有尺寸大小超过一定阈值的blob，则确定该小张周期高度非正确，反之则确定该小张周期高度正确。

优选的，所述Mark搜索中计算版周高度的的方法为：1)将Mark搜索中搜索出的所有列按其周期高度值分成若干组集合，每组集合内的每一元素是一个特定的列周期高度值，且同一组集合内各个元素的值与该集合所有元素的均值之间的偏差≤阈值A，而各组集合内的元素总数则是Mark搜索中搜索出的所有与分组集合元素均值之间的偏差≤A的列周期高度的出现频度的累计值，作为分组集合总出现频度；2)计算出上述每一分组集合元素均值，同时也计算出每一分组集合总出现频度；3)从上述分组集合中找出分组集合元素均值≥minH且分组集合总出现频度值最大的一个分组集合，将其分组集合元素均值作为版周高度。

优选的，所述小张搜索中计算小张周期高度的方法为：1)对所有在小张搜索阶段计算出的列周期高度及其对应的集合的元素个数进行统计，将小张搜索阶段搜索出的所有列按其周期高度值分成若干组集合，每组集合内的每一元素是一个特定的列周期高度值，且同一组集合内各个元素的值与该集合所有元素的均值之间的偏差≤阈值A，而各组集合内的元素总数则是小张搜索中搜索出的所有与分组集合元素均值之间的偏差≤A的列周期高度的出现频度的累计值，称为分组集合总出现频度；2)计算出上述每一分组集合元素均值，同时也计算出每一分组集合总出现频度；3)从上述分组集合中找出分组集合元素均值≥minH且分组集合总出现频度值最大的一个分组集合，将其分组集合元素均值作为小张周期高度。

本发明的有益效果是：实现了周期序列图像模型参数的快速自动获取，具有成本低、结构简单、通用性好、灵活性强，便于产品的不断更新换代和技术升级等显著特点。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例的主要流程图；

图2是本发明实施例的硬件组成框图；

图3是本发明实施例中初始搜索阶段截取的图像及对截取图像划分成列图像的示意图；

图4是本发明实施例中前-后搜索示意图；

图5是本发明实施例中初始搜索阶段的流程图；

图6是本发明实施例中初始搜索阶段是,提前结束某一方向的搜索的流程图。

图7是本发明实施例中计算列图像周期高度的流程图；

图8是本发明实施例中Mark搜索阶段的流程图；

图9是本发明实施例中小张搜索阶段的流程图；

图10是本发明实施例中在小张搜索阶段的前-后搜索阶段中如何判断提前结束某一方向的搜索的流程图；

图11是本发明实施例中定位区搜索阶段的流程图。

具体实施方式

以下结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

本发明从周期序列图像中快速获取的模型参数包括Mark标记区、有效区、版周高度、小张周期高度、定位区。

结合附图1，本发明将获取模型参数的过程的阶段分成图像采集、图像拼接、初始搜索、Mark搜索、小张搜索、定位区搜索六个阶段。

结合附图2，使用本发明的技术方案的视觉检测系统的主要硬件组成包括相机、cameralink线或以太网线、计算机，该计算机内部包含图像采集卡、显卡GPU，其中图像采集卡和GPU是插在计算机PCIE卡槽内。对于使用网线的相机，是不需要cameralink线和图像采集卡的，相机和计算机通过网线完成数据传输，网线分别插在相机的网口和计算机网口。本文仅以使用cameralink线的相机为例来描述，也就是图1的描述。在图1中，相机将采集图像通过cameralink线传输到图像采集卡，图像采集卡将图像组成帧，通过PCIE总线传送给CPU，组成帧的图像是缓存在计算机内存中。图1中仅画出了CPU，但实际上图中的CPU同时表示了CPU和计算机内存，因为二者密不可分。

对于采用自动建模的视觉检测系统，CPU在接收到组成帧的图像后，先是缓存在计算机内存中，然后通过数据总线以DMA直接内存存取的方式，将缓存的图像帧读出，并通过PCIE总线写入到GPU内存，GPU在接收到图像帧后，随即在其自身的内存中将图像帧按照顺序拼接构成一幅完整图像。

一般地，在图像采集阶段，计算机CPU会控制图像采集卡通过相机采集12～16帧图像，每帧图像的高度可以是1000行像素高度。采集到的这些图像帧会先保存在计算机内存中，当全部图像帧都采集完成，CPU会将所有图像帧逐帧地依次送入到GPU。

本发明在获取模型参数的过程中，图像采集阶段是获取模型参数的过程最先完成的阶段，在图像采集阶段，计算机中央处理器单元CPU依次接收来自图像采集卡输出的周期序列图像帧,然后依次传送给GPU；图像拼接阶段是在图像采集阶段完成后进行，在图像拼接阶段，使用图像处理单元GPU来完成图像拼接，并对图像完成特征点检测以及对检测出的特征点完成计算特征匹配距离；GPU将来自CPU传送的上述图像帧拼接构成一幅完整图像。

结合附图3，在初始搜索、Mark搜索、小张搜索、定位区搜索四个阶段中的每一个阶段的最开始，GPU都先从上述完整的拼接图像中截取出一个不同的具有特定的高度、宽度和位置的局部图像，并将这些截取图像划分成若干列具有相同的高度、相同的步距、相同的列宽度且列宽度为192～256像素宽度的列图像。结合附图3来说，该图中的上半部分，示意的是初始搜索阶段截取的图像；此阶段截取的是GPU内存中的整个拼接图像，所以在图3中的上方标注出初始搜索阶段的截取图像宽度＝拼接图像宽度；而截取图像高度＝拼接图像高度；在实际系统中，可以将列图像的宽度设置成192像素宽度；在初始搜索阶段，列图像之间的步距是列图像宽度的1/2，也就是说，可以设置成96像素宽度。

具体的，在初始搜索阶段，截取的是GPU中的整个拼接图像，该截取图像的高度＝整个拼接图像高度，截取图像的宽度＝整个拼接图像宽度，然后对这个截取图像划分列图像，相邻列图像之间的列步距为列图像宽度的1/2，每列图像的宽度在192～256像素宽度之间，每列图像的高度等于截取图像的高度。

在Mark搜索阶段，截取的是GPU中的拼接图像处于初始起始位置与初始结束位置之间的区域，该截取图像的高度＝整个拼接图像高度，截取图像的宽度＝初始结束位置-初始起始位置，然后对这个截取图像划分列图像，相邻列图像之间的列步距为列图像宽度的1/24，每列图像的宽度与初始搜索阶段的列图像的宽度相同，每列图像的高度等于截取图像的高度。

在小张搜索阶段，截取的是GPU中的拼接图像处于前向Mark标识区右边界与后向Mark标识区左边界之间的区域，前向Mark标识区是Mark搜索阶段的前向搜索过程获得，而后向Mark标识区是Mark搜索阶段的后向搜索过程获得，该截取图像的高度＝版周高度+周期序列图像的帧高度，截取图像的宽度＝后向Mark标识区左边界坐标-前向Mark标识区右边界坐标，然后对这个截取图像划分列图像，相邻列图像之间的列步距为列图像宽度的1/2，每列图像的宽度与初始搜索阶段的列图像的宽度相同，每列图像的高度等于截取图像的高度。

在定位区搜索阶段，截取的是GPU中的拼接图像处于前向Mark标识区右边界与后向Mark标识区左边界之间的区域，该截取图像的高度＝小张周期高度，截取图像的宽度＝后向Mark标识区左边界坐标-前向Mark标识区右边界坐标，然后对这个截取图像划分列图像，相邻列图像之间的列步距为列图像宽度的1/4，每列图像的宽度与初始搜索阶段的列图像的宽度相同，每列图像的高度等于截取图像的高度。

结合附图4，初始搜索、Mark搜索、小张搜索、定位区搜索四个阶段中的每一个阶段，GPU和CPU对该阶段所划分的列图像完成前向-后向搜索，以实现仅须搜索一部分图像即可获取模型参数。前向-后向搜索简称为前-后搜索，每一阶段的前-后搜索包括一个前向搜索和一个后向搜索,前向搜索的搜索方向是自左向右进行搜索，后向搜索的搜索方向是自右向左进行搜索，二者最多仅搜索到列图像的序号下标等于列图像总数的1/2的列图像就自动结束。

结合附图5-6，初始搜索阶段的方法为：1)初始搜索阶段是在图像拼接阶段完成后进行；2)在初始搜索阶段，先规定三个阈值N1、N2、M0，其中N1、N2是针对列图像特征点数量定义的阈值，N2<N1/10,M0是针对连续列图像数量定义的阈值；3)处于初始搜索阶段的GPU，在此阶段的前-后搜索过程中，对于由截取图像划分的列图像仅完成特征点检测并将检测出的特征点数量和特征点坐标发送给CPU；4)而处于初始搜索阶段的CPU在前-后搜索中检查GPU传送的每一列图像的特征点数量；5)一旦在其中某个方向的搜索中CPU发现某一列图像K的特征点数量>N1，或者是发现自从某一列图像K开始沿搜索方向存在有连续M列图像的特征点数量>N2且M>M0，就停止该方向的搜索，同时若处于前向搜索中，则将该列图像K的左边界坐标作为初始起始位置，反之，若是处于后向搜索中，则将该列图像K的右边界坐标作为初始结束位置。

结合附图7，在Mark搜索和小张搜索阶段的前-后搜索过程，GPU和CPU须计算出列图像的周期高度，其方法为：1)计算列周期高度须要用到三个阈值，在Mark搜索阶段的最开始设定，第一个是特征匹配的最大匹配距离阈值thrs，第二个是最小周期高度的阈值minH，以及第三个是关于高度偏差的阈值A；2)GPU在前-后搜索中对由截取图像划分的列图像完成特征点检测、计算特征描述矢量、计算特征匹配距离，并将检测出的特征点数量、特征点坐标、特征匹配距离传送给CPU；3)CPU在前-后搜索中对来自GPU的特征点数量、特征点坐标、特征匹配距离进行筛选，取出所有匹配距离<规定的最大匹配距离阈值的特征点对作为该列图像的匹配特征点对；4)CPU再计算出全部匹配特征点对之间坐标距离，简称为列图像匹配点对距离；5)CPU对计算出的列图像匹配点对距离进行统计，将统计结果中出现频度最高的匹配点对距离作为该列的周期高度，同时也将该出现频度作为该列周期高度的出现频度；6)CPU记录计算出的每一列的特征点数量、列周期高度、列周期高度的出现频度。

结合附图8，Mark搜索阶段的方法为：1)Mark搜索阶段是在初始搜索阶段完成后进行；2)在Mark搜索阶段的最开始，先规定用于计算列周期高度的三个阈值，第一个是特征匹配的最大匹配距离阈值thrs，第二个是最小周期高度的阈值minH，以及第三个是关于高度偏差的阈值A；3)在Mark搜索阶段的前-后搜索过程中，GPU和CPU完成对由截取图像划分的列图像的周期高度的计算；4)在Mark搜索阶段的前-后搜索过程中，CPU检查相邻列图像的特征点数量以及列周期高度；5)当在某一方向的搜索中CPU检测到相邻列图像的特征点数量以及列周期高度均接近相等时，CPU就结束该方向的搜索；6)然后CPU对该方向搜索出的所有列周期高度值及出现频度进行统计，取出其中出现频度最高的列周期高度值，并将该方向搜索出的所有列周期高度值等于该出现频度最高的列周期高度值的列图像分布的坐标范围作为该方向的Mark标记区；7)当完成前-后搜索时，CPU对前向和后向的Mark标记区内的每一列图像的列周期高度值进行逐列核对，并对相同的列周期高度值的出现频度分别进行累计，从中找出出现频度累计值最大的一个列周期高度作为版周高度；8)最后，CPU根据已经获得的Mark标记区和版周高度来确定有效区。

结合附图9-10，小张搜索阶段的方法为：1)小张搜索阶段是在Mark搜索阶段完成后进行；2)在小张搜索阶段的最开始，先规定一个周期高度出现频度的累计值的阈值；3)在小张搜索阶段的前-后搜索过程中，GPU和CPU首先完成由截取图像划分的列图像的周期高度的计算；4)然后CPU对最新获得的该列图像的列周期高度值进行核对，将该列周期高度出现频度值与小张搜索阶段记录的同一周期高度值的出现频度累计值进行累加，再用这个累加结果替换原来的小张搜索阶段记录的同一周期高度值的出现频度累计值；5)在完成上述出现频度累计值的更新之后，CPU检查小张搜索阶段记录的全部周期高度出现频度累计值，一旦发现其中存在有某一周期高度出现频度的累计值超过规定阈值，就结束该方向的搜索，否则继续该方向的搜索；6)当完成前-后搜索时，CPU从小张搜索阶段记录的全部的周期高度出现频度的累计值中找出出现频度累计值最大的一个列周期高度作为小张周期高度；7)CPU在计算出小张周期高度后，须进一步完成对小张周期高度的正确性的验证。

结合附图11，定位区搜索阶段的方法为：1)只有在完成小张搜索阶段并验证小张周期高度正确后，才进行定位区搜索；2)如果验证发现小张周期高度不正确，则从Mark标记区中选择包含列图像个数较多、宽度较宽的一个Mark标记区作为定位区；3)在验证小张周期高度正确后，进入定位区搜索阶段，在此阶段的前-后搜索过程中，GPU对于由截取图像划分的列图像仅完成特征点检测并将检测出的特征点数量和特征点坐标发送给CPU；4)在定位区搜索阶段的最开始，先规定将列图像沿其高度方向进行分片的分片步距和片高度；同时还规定一个每片包含特征点数的阈值；5)在此阶段的前-后搜索过程中，CPU将每一列图像沿其高度方向按分片步距和片高度分成若干片，其中每一片具有相同的高度，相邻片之间具有相同的步距；6)在此阶段的前-后搜索过程中，CPU统计每一列图像中的每一片包含的特征点数量，将各片包含特征点数简称片点数，同时CPU还统计在每一列图像中出现的片点数大于规定阈值的片数，将这两项统计合并简称为片统计，CPU记录各列的片统计；7)在定位区搜索完成前-后搜索后，CPU检查对各列图像的片统计，找出其中片点数均值最大且包含的片点数大于规定阈值的片数最多的列图像，将该列图像所在的坐标范围作为定位区。

本实施例中Mark搜索阶段确定有效区的方法为：

a.在Mark搜索阶段，确定有效区之前，先规定一个关于高度偏差的阈值A，例如，可以定义A＝30～50像素高度；继而再对任意的两个周期高度1和周期高度2，做如下定义：

①如果周期高度1与周期高度2之间的误差≤阈值A，则用符号≈来表示这一情形，记作：周期高度1≈周期高度2；

②如果周期高度1与周期高度2之间的误差>阈值A，则用符号≠来表示这一情形，记作：周期高度1≠周期高度2；

b.CPU在Mark搜索阶段获得版周高度和Mark标识区后，CPU再按照以下准则确定有效区：

1)当版周高度<规定的最小版周高度时：则将左侧Mark标识区的左边界作为有效区的左边界，右侧Mark标识区的右边界作为有效区的右边界；

2)当版周高度≥规定的最小版周高度时：

①如果小张周期高度≠版周高度：

i.如果左侧Mark标识区的周期高度≈小张周期高度，则将左侧Mark标识区的左边界作为有效区的左边界，反之，如果左侧Mark标识区的周期高度≈版周高度，则将左侧Mark标识区的右边界作为有效区的左边界；

ii.如果右侧Mark标识区的周期高度≈小张周期高度，则将右侧Mark标识区的右边界作为有效区的右边界，反之，如果右侧Mark标识区的周期高度≈版周高度，则将右侧Mark标识区的左边界作为有效区的左边界；

②如果小张周期高度≈版周高度：

i.如果左侧Mark标识区的宽度<列图像宽度/2且列图像最大特征点数≤事先规定的一个阈值，则将左侧Mark标识区的右边界作为有效区的左边界，反之，如果左侧Mark标识区的宽度≥列图像宽度/2或列图像最大特征点数>上述事先规定的阈值，则将左侧Mark标识区的左边界作为有效区的左边界；

ii.如果右侧Mark标识区的宽度<列图像宽度/2且列图像最大特征点数≤上述事先规定的阈值，则将右侧Mark标识区的左边界作为有效区的右边界，反之，如果右侧Mark标识区的宽度≥列图像宽度/2或列图像最大特征点数>上述事先规定的阈值，则将右侧Mark标识区的右边界作为有效区的右边界。

在初始搜索、Mark搜索、小张搜索、定位区搜索四个阶段，GPU对列图像检测特征点和计算特征匹配距离时使用的算法：

a.GPU对列图像检测特征点时使用的算法为Fast算法,Fast英文全称是Featuresfrom Accelerated Segment Test，可译成基于加速分割测试的特征检测算法，简称Fast算法,Fast算法是图像处理及机器视觉领域的一个常用算法；

b.GPU对列图像中的特征点计算特征描述矢量时使用的算法是Surf算法，Surf英文全称是speeded up robust features，可译成加速稳健特征描述算法，简称Surf算法，Surf算法是图像处理及机器视觉领域的一个常用算法；

c.GPU对列图像中的特征描述矢量计算特征匹配距离时使用的算法是BruteForce算法，可译成暴力匹配算法，也称为简单匹配算法，简称BF算法，BF算法是图像处理及机器视觉领域的一个常用算法。

对小张搜索后验证小张周期高度的正确性的方案为：

a.从GPU中的拼接图像截取图像，该截取图像处于前向Mark标识区右边界与后向Mark标识区左边界之间的区域，该截取图像的高度＝版周高度+小张周期高度，截取图像的宽度＝后向Mark标识区左边界坐标-前向Mark标识区右边界坐标；

b.将该截取图像分成上下2个高度相等、宽度相等图像，其中上部的那一个图像的高度范围是从截取图像的最顶边至距最顶边的距离等于版周高度的位置，作为待检图像，处于下部的另一个图像高度范围是从截取图像距最顶边的距离等于小张周期高度的位置至截取图像的最底边，作为标准图像；

c.对该标准图像分别做形态学扩张dilate和形态学腐蚀erode，形态学扩张或腐蚀的形变宽度在7～13之间，形变高度在30～50之间，从而得到2张结果图像，由扩张处理得到的是扩张图像，由腐蚀处理得到的是腐蚀图像；

d.将上述的扩张图像作为上门限图像，上述的腐蚀图像作为下门限图像，待检图像分别对这两张门限图像做门限过滤处理，得到一张新的二值化的结果图像，如果该二值化图像中某一坐标处的像素值等于0，则表示待检图像内同一坐标处的像素值落入由上门限图像和下门限图像内相应坐标处的像素值所确定的像素值范围内，反之，若该二值化图像中某一坐标处的像素值等于255，则表示待检图像内同一坐标处的像素值或者是大于上门限图像相应坐标处的像素值，或者是小于下门限图像内相应坐标处的像素值；

e.统计上述二值化图像中的像素值大于0的像素个数，如果个数大于结果图像像素总数的千分之一，则确定该小张周期高度非正确，即结束验证过程；

f.反之，如果上述二值化图像中的像素值大于0的像素个数小于图像像素总数的千分之一，则进一步完成验证过程的第六步，是再对上述二值化图像做blob分析，如果blob分析的结果是发现其中存在有尺寸大小超过一定阈值的blob，则确定该小张周期高度非正确，反之则确定该小张周期高度正确。

在Mark搜索、小张搜索阶段计算列周期高度的方法为：

a.在计算列周期高度之前，先规定一个关于特征匹配的最大匹配距离阈值thrs，和一个最小周期高度的阈值minH，以及上述四中所述的关于高度偏差的阈值A；

b.在Mark搜索阶段和小张搜索阶段的每一个方向的搜索过程中，CPU接收到GPU检测出的列图像的特征点数量、特征点坐标、特征匹配结果之后，从中滤除所有特征匹配距离>thrs的特征匹配结果，仅保留特征匹配距离≤thrs的特征匹配结果，作为该列图像的匹配特征点对；

c.CPU再计算出全部匹配特征点对之间坐标距离，简称为列图像匹配点对距离，列图像匹配点对距离包括点对x距离和点对y距离，点对x距离＝匹配特征点之间的x坐标差的绝对值，点对y距离＝匹配特征点之间的y坐标差的绝对值；

d.计算出全部列图像匹配点对距离之后，CPU检查其中所有的点对x距离和点对y距离，滤除点对x距离＝0且点对y距离＝0对应的匹配结果，因为这样的结果是同一特征点对其自身的匹配结果；

e.然后CPU再滤除其中点对x距离>40像素宽度的匹配结果，因为符合该条件的匹配结果对于周期序列图像而言并均属于不具备真实周期性的特征点；

f.在完成上述过滤之后，CPU再对上述过滤后留下的匹配结果，根据点对y距离值的不同分成若干组集合，各组集合内的每一元素都是一个点对y距离值，且同一组集合内的各个元素的值与该组集合元素均值之间的偏差≤A；

g.CPU对上述每一分组集合计算出其包含的元素的均值；

h.CPU从上述所有分组集合中找出分组集合均值≥minH且包含元素个数最多的一个分组集合，将其均值作为该列图像的周期高度值，将其包含的元素个数作为该周期高度值的出现频度；

i.CPU在完成该列图像的周期高度的计算之后，不仅记录该周期高度值，而且记录该列周期高度值的出现频度，留待随后进一步计算版周高度和小张周期高度时使用。

在Mark搜索阶段计算版周高度的方法为：

a.Mark搜索阶段计算版周高度时须要用到上述七中的阈值minH和阈值A；

b.在Mark搜索阶段完成前向-反向搜索后，CPU对所有在Mark搜索阶段计算出的列周期高度及其出现频度进行统计，具体做法是将Mark搜索阶段搜索出的所有列按其周期高度值分成若干组集合，每组集合内的每一元素是一个特定的列周期高度值，且同一组集合内各个元素的值与该集合所有元素的均值(称之为分组集合元素均值)之间的偏差≤阈值A，而各组集合内的元素总数则是Mark搜索阶段搜索出的所有与分组集合元素均值之间的偏差≤A的列周期高度的出现频度的累计值，称为分组集合总出现频度；

c.CPU计算出上述每一分组集合元素均值，同时也计算出每一分组集合总出现频度；

d.CPU从上述分组集合中找出分组集合元素均值≥minH且分组集合总出现频度值最大的一个分组集合，将其分组集合元素均值作为版周高度。

在小张搜索阶段计算小张周期高度的方法为：

a.小张搜索阶段计算小张周期高度时须要用到上述七中的阈值minH和阈值A；

b.在小张搜索阶段完成前向-反向搜索后，CPU对所有在小张搜索阶段计算出的列周期高度及其对应的集合的元素个数进行统计，具体做法与上述计算版周高度的过程相类似，将小张搜索阶段搜索出的所有列按其周期高度值分成若干组集合，每组集合内的每一元素是一个特定的列周期高度值，且同一组集合内各个元素的值与该集合所有元素的均值(称之为分组集合元素均值)之间的偏差≤阈值A，而各组集合内的元素总数则是小张搜索阶段搜索出的所有与分组集合元素均值之间的偏差≤A的列周期高度的出现频度的累计值，称为分组集合总出现频度；

c.CPU计算出上述每一分组集合元素均值，同时也计算出每一分组集合总出现频度；

d.CPU从上述分组集合中找出分组集合元素均值≥minH且分组集合总出现频度值最大的一个分组集合，将其分组集合元素均值作为小张周期高度。

实现获取模型参数的快速性的技术措施：

a.第一个技术措施是：将对列图像的特征点检测、计算特征描述矢量、计算特征匹配距离交由GPU来完成；

b.第二个技术措施是：初始搜索阶段和定位区搜索阶段仅检测特征点，且GPU采用Fast算法完成图像的特征点检测，Fast算法是目前已知的唯一一种具有实时性完成检测图像特征点的性能的算法；

c.第三个技术措施是：通过图像采集、图像拼接、初始搜索、Mark搜索、小张搜索、定位区搜索六个阶段来获取模型参数，其中在后四个阶段截取和搜索图像尺寸逐步减小，例如Mark搜索的图像尺寸比初始搜索的小，小张搜索的图像尺寸比Mark搜索的小，定位区搜索的图像尺寸比小张搜索的小；

d.第四个技术措施是：在初始搜索、Mark搜索、小张搜索三个阶段，仅搜索截取图像的一部分；例如，在初始搜索阶段，一旦在其中某个方向的搜索中CPU发现某一列图像K的特征点数量>N1，或者是发现自从某一列图像K开始沿搜索方向存在有连续M列图像的特征点数量>N2且M>M0，就停止该方向的搜索；在Mark搜索阶段，当在某一方向的搜索中CPU检测到相邻列图像的特征点数量以及列周期高度均接近相等时，CPU就结束该方向的搜索；在小张搜索阶段，CPU在前-后搜索过程中，检查记录的全部周期高度出现频度累计值，一旦发现其中存在有某一周期高度出现频度的累计值超过规定阈值，就结束该方向的搜索；

e.第五个技术措施是：初始搜索阶段、小张搜索阶段将截取图像划分成列图像时所使用的列步距较大，为列图像宽度/2，这样可将拼接图像划分成较少数量的列图像，压缩了初始搜索过程的耗时；

f.第六个技术措施是：定位区搜索的图像较小，图像高度仅为小张周期高度，同时划分成列图像时所使用的列步距较大，为列图像宽度/4，这也明显压缩了定位区搜索过程的耗时。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (13)

1.一种周期序列图像模型参数的快速自动获取方法，其特征在于，在生产线上获取周期序列图像帧并将其帧拼接成完整图像，在图像中截取若干个具有特定高度、宽度和位置的局部图像，将这些局部图像划分成若干列具有相同高度、相同步距、相同列宽度的列图像，对所划分的列图像完成搜索，获取模型参数。

2.根据权利要求1所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述模型参数包括：Mark标记区、有效区、版周高度、小张周期高度、定位区。

3.根据权利要求1所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述搜索方式包括前向搜索和后向搜索，前向搜索的搜索方向是自左向右进行搜索，后向搜索的搜索方向是自右向左进行搜索。

4.根据权利要求3所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述搜索包括：初始搜索、Mark搜索、小张搜索以及定位区搜索。

5.根据权利要求4所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述初始搜索的方法为：1)设定三个阈值N1、N2、M0，其中N1、N2是针对列图像特征点数量定义的阈值，N2<N1/10,M0是针对连续列图像数量定义的阈值；2)对截取图像划分的列图像完成特征点检测，并得到特征点数量和特征点坐标；3)检查每一列图像的特征点数量，若其中某一列图像K的特征点数量>N1，或者从某一列图像K开始沿搜索方向存在有连续M列图像的特征点数量>N2且M>M0，则停止该方向的搜索，同时若处于前向搜索中，则将该列图像K的左边界坐标作为初始起始位置，反之，若是处于后向搜索中，则将该列图像K的右边界坐标作为初始结束位置。

6.根据权利要求5所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述Mark搜索的方法为：1)完成对由截取图像划分的列图像的周期高度的计算；2)检查相邻列图像的特征点数量以及列周期高度；3)当在某一方向的搜索中检测到相邻列图像的特征点数量以及列周期高度均接近相等时，就结束该方向的搜索；4)对该方向搜索出的所有列周期高度值及出现频度进行统计，取出其中出现频度最高的列周期高度值，并将该方向搜索出的所有列周期高度值等于该出现频度最高的列周期高度值的列图像分布的坐标范围作为该方向的Mark标记区；5)Mark标记区内的每一列图像的列周期高度值进行逐列核对，并对相同的列周期高度值的出现频度分别进行累计，从中找出出现频度累计值最大的一个列周期高度作为版周高度；6)根据已经获得的Mark标记区和版周高度来确定有效区。

7.根据权利要求6所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述小张搜索的方法为：1)完成对由截取图像划分的列图像的周期高度的计算；2)对最新获得的该列图像的列周期高度值进行核对，将该列周期高度出现频度值与小张搜索中记录的同一周期高度值的出现频度累计值进行累加，再用这个累加结果替换原来的小张搜索中记录的同一周期高度值的出现频度累计值；3)在完成上述出现频度累计值的更新之后，检查小张搜索中记录的全部周期高度出现频度累计值，一旦发现其中存在有某一周期高度出现频度的累计值超过规定阈值，就结束该方向的搜索，否则继续该方向的搜索；4)当完成搜索后，从全部的周期高度出现频度的累计值中找出出现频度累计值最大的一个列周期高度作为小张周期高度；5)在计算出小张周期高度后，进一步完成对小张周期高度的正确性的验证。

8.根据权利要求6或7所述的周期序列图像模型参数的快速自动获取方法，其特征在于，在Mark搜索和小张搜索的搜索过程中，计算列图像的列周期高度的方法为：1)对特征点数量、特征点坐标、特征匹配距离进行筛选，取出所有匹配距离<设定的最大匹配距离阈值的特征点对作为该列图像的匹配特征点对；2)计算出全部匹配特征点对之间坐标距离；3)对计算出的全部匹配特征点对之间坐标距离进行统计，将统计结果中出现频度最高的匹配点对距离作为该列的周期高度，同时也将该出现频度作为该列周期高度的出现频度；4)计算出每一列的特征点数量、列周期高度、列周期高度的出现频度。

9.根据权利要求8所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述定位区搜索的方法为：1)如果验证发现小张周期高度不正确，则从Mark标记区中选择包含列图像个数较多、宽度较宽的一个Mark标记区作为定位区；2)在验证小张周期高度正确后，对由截取图像划分的列图像完成特征点检测；3)将每一列图像沿其高度方向按分片步距和片高度分成若干片，其中每一片具有相同的高度，相邻片之间具有相同的步距；4)统计每一列图像中的每一片包含的特征点数量，同时还统计在每一列图像中的每一片包含的特征点数量大于规定阈值的片数，记录各列的统计；5)检查对各列图像的统计，找出其中每一片包含的特征点数量均值最大且包含的每一片包含的特征点数量大于规定阈值的片数最多的列图像，将该列图像所在的坐标范围作为定位区。

10.根据权利要求6所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述根据已经获得的Mark标记区和版周高度来确定有效区的方法为：a.对高度偏差的阈值A、任意的两个周期高度1和周期高度2，做如下定义：如果周期高度1周期高度2之间的误差≤阈值A，则记作：周期高度1≈周期高度2；如果周期高度1与周期高度2之间的误差>阈值A，则记作：周期高度1≠周期高度2；

b.在Mark搜索获得版周高度和Mark标识区后，再按照以下准则确定有效区：1)当版周高度<规定的最小版周高度时：则将左侧Mark标识区的左边界作为有效区的左边界,右侧Mark标识区的右边界作为有效区的右边界；

2)当版周高度≥规定的最小版周高度时：

①如果小张周期高度≠版周高度：

i.如果左侧Mark标识区的周期高度≈小张周期高度，则将左侧Mark标识区的左边界作为有效区的左边界，反之，如果左侧Mark标识区的周期高度≈版周高度，则将左侧Mark标识区的右边界作为有效区的左边界；

ii.如果右侧Mark标识区的周期高度≈小张周期高度，则将右侧Mark标识区的右边界作为有效区的右边界，反之，如果右侧Mark标识区的周期高度≈版周高度，则将右侧Mark标识区的左边界作为有效区的左边界；

②如果小张周期高度≈版周高度：

i.如果左侧Mark标识区的宽度<列图像宽度/2且列图像最大特征点数≤事先规定的一个阈值，则将左侧Mark标识区的右边界作为有效区的左边界，反之，如果左侧Mar标识区的宽度≥列图像宽度/2或列图像最大特征点数>上述事先规定的阈值，则将左侧Mark标识区的左边界作为有效区的左边界；

ii.如果右侧Mark标识区的宽度<列图像宽度/2且列图像最大特征点数≤上述事先规定的阈值，则将右侧Mark标识区的左边界作为有效区的右边界，反之，如果右侧Mark标识区的宽度≥列图像宽度/2或列图像最大特征点数>上述事先规定的阈值，则将右侧Mark标识区的右边界作为有效区的右边界。

11.根据权利要求7所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述验证小张周期高度的正确性的方法为：1)从拼接图像截取图像，该截取图像处于前向Mark标识区右边界与后向Mark标识区左边界之间的区域，该截取图像的高度＝版周高度+小张周期高度，截取图像的宽度＝后向Mark标识区左边界坐标-前向Mark标识区右边界坐标；2)将该截取图像分成上下2个高度相等、宽度相等图像，其中上部的那一个图像的高度范围是从截取图像的最顶边至距最顶边的距离等于版周高度的位置，作为待检图像，处于下部的另一个图像高度范围是从截取图像距最顶边的距离等于小张周期高度的位置至截取图像的最底边，作为标准图像；3)对该标准图像分别做形态学扩张dilate和形态学腐蚀erode，形态学扩张或腐蚀的形变宽度在7～13之间，形变高度在30～50之间，从而得到2张结果图像，由扩张处理得到的是扩张图像，由腐蚀处理得到的是腐蚀图像；4)将上述的扩张图像作为上门限图像，上述的腐蚀图像作为下门限图像，待检图像分别对这两张门限图像做门限过滤处理，得到一张新的二值化的结果图像，如果该二值化图像中某一坐标处的像素值等于0，则表示待检图像内同一坐标处的像素值落入由上门限图像和下门限图像内相应坐标处的像素值所确定的像素值范围内，反之，若该二值化图像中某一坐标处的像素值等于255，则表示待检图像内同一坐标处的像素值或者是大于上门限图像相应坐标处的像素值，或者是小于下门限图像内相应坐标处的像素值；5)统计上述二值化图像中的像素值大于0的像素个数，如果个数大于结果图像像素总数的千分之一，则确定该小张周期高度非正确，即结束验证过程；6)反之，如果上述二值化图像中的像素值大于0的像素个数小于图像像素总数的千分之一，则进一步完成验证过程的第六步，是再对上述二值化图像做blob分析，如果blob分析的结果是发现其中存在有尺寸大小超过一定阈值的blob，则确定该小张周期高度非正确，反之则确定该小张周期高度正确。

12.根据权利要求6所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述Mark搜索中计算版周高度的的方法为：1)将Mark搜索中搜索出的所有列按其周期高度值分成若干组集合，每组集合内的每一元素是一个特定的列周期高度值，且同一组集合内各个元素的值与该集合所有元素的均值之间的偏差≤阈值A，而各组集合内的元素总数则是Mark搜索中搜索出的所有与分组集合元素均值之间的偏差≤A的列周期高度的出现频度的累计值，作为分组集合总出现频度；2)计算出上述每一分组集合元素均值，同时也计算出每一分组集合总出现频度；3)从上述分组集合中找出分组集合元素均值≥minH且分组集合总出现频度值最大的一个分组集合，将其分组集合元素均值作为版周高度。

13.根据权利要求7所述的周期序列图像模型参数的快速自动获取方法，其特征在于，所述小张搜索中计算小张周期高度的方法为：1)对所有在小张搜索阶段计算出的列周期高度及其对应的集合的元素个数进行统计，将小张搜索阶段搜索出的所有列按其周期高度值分成若干组集合，每组集合内的每一元素是一个特定的列周期高度值，且同一组集合内各个元素的值与该集合所有元素的均值之间的偏差≤阈值A，而各组集合内的元素总数则是小张搜索中搜索出的所有与分组集合元素均值之间的偏差≤A的列周期高度的出现频度的累计值，称为分组集合总出现频度；2)计算出上述每一分组集合元素均值，同时也计算出每一分组集合总出现频度；3)从上述分组集合中找出分组集合元素均值≥minH且分组集合总出现频度值最大的一个分组集合，将其分组集合元素均值作为小张周期高度。