CN114663540A - 一种基于CUDA的Golden模板图生成方法及可读存储介质 - Google Patents

Abstract

本发明公开了一种基于CUDA的Golden模板图生成方法，包括如下步骤：步骤一，基于现场设备扫描多份相同产品图，人工确定一幅模板作为基准图；步骤二，基于上一步骤提取到的数据，以及基准模板图，传输至显存中；步骤三，基于CUDA，提出了一种快速对数据、模板图进行带旋转式的亚像素下采样模板匹配模型，其运行在GPU中，通过CUDA的并行架构实现高速的图像处理，快速解决实现Golden所有模板图定位提取，快速并准确实现模板图融合，同时自动分离噪声、瑕疵等问题。

Description

一种基于CUDA的Golden模板图生成方法及可读存储介质

技术领域

本发明涉及图像处理技术领域，具体为一种基于CUDA的Golden模板图生成方法。

背景技术

Golden模板图主要应用于半导体等精密或复杂的图像数据场景领域，在实际生产过程中通过Golden图自动对待检测目标进行匹配定位，并实现瑕疵的检测和定位。Golden模板图主要有图片数据大、样本少、位置角度不固定等特点，并伴有计算速度快、准确性高等需求，以满足高速计算的生产场景。

目前，Golden模板图的生成主要基于CUDA的金字塔亚像素下采样的模板匹配技术和多层图像聚类融合技术实现，传统的Golden图生成的一般方法主要基于CPU通过人工抠出样本图然后进行图片数据整合，现有方法主要有以下几种缺陷：

1)操作过程较为复杂，数量量比较大，导致处理速度较慢，并且对样本图搜集要求较高，需要样本图有较高的位置准确度；智能化程度不高，对日益快速的生产需求造成了很大影响。

2)对大型Golden模板图片数据的处理不够理想，难以实现自动化高速精准提取。

3)一般采用CPU进行图片融合，并且需要人工输入阈值，导致大图计算效率不高。

因此，发明人提出一种基于CUDA的Golden模板图生成方法，采用自动化阈值对噪声过滤，一键生成Golden模板图，操作更便捷，满足高速成产环境的需求。

发明内容

本发明的目的在于提供一种基于CUDA的Golden模板图生成方法，以解决上述背景技术中提出的目前在现有Golden模板图的生成方法中存在的处理速度较慢，并且对样本图搜集要求较高、采样过程中信息易丢失导致最终结果精度不高的问题，以及传统模板匹配方法中存在的匹配效率偏低的问题。

为实现上述目的，本发明提供如下技术方案：一种基于CUDA的Golden模板图生成方法，其特征在于，包括以下步骤：

步骤一：基准图确定，基于现场设备扫描多份相同产品图，人工确定其中一幅模板作为基准图；

步骤二，将提取到的数据，以及步骤一中人工确定的基准图传输至显存中；

步骤三，基于CUDA架构，建立快速对数据、模板图进行带旋转式的亚像素下采样模板匹配模型；

其中，带旋转的金字塔亚像素下采样模型公式如下：

式中，W、H分别表示模板图像的宽和高，org、res分别表示原始图像、下采样旋转后图像，x、y表示像素位置，θ表示旋转角度(顺时针为正方向)，n为采样级数，x_org、y_org为原始图像的像素位置，该像素位置为亚像素，其像素值由所在区域插值得到，为了便于CUDA多线程并行运算，基于BiCubic改进的插值函数如下：

其中，x表示像素点与亚像素的位置差，

由此公式可得不同距离下的像素权重，带入亚像素灰度值公式进行计算，该公式满足任意区域半径下的插值计算，具体公式如下：

其中r表示插值区域半径大小，(x_float,y_float)为亚像素位置，(x_int,y_int)为向下取整像素位置，f(x,y)表示像素值；

改进的相关系数模板匹配模型公式如下：

式中，I(x,y)表示检测图像像素位置，T(x′,y′)表示模板图像像素位置，w,h表示模板图像宽和高，

表示当前检测位置下区域的像素均值，

表示模板图像像素均值；

步骤四，基于CUDA架构进行聚类；

步骤五，根据步骤四得到的聚类结果，计算该聚类范围内的最大、最小、均值图，即为Golden模板图。

优选的，步骤四中，聚类操作包括以下步骤：

a)计算数据集的均值以及方差、标准差，以方差与标准差的比例阈值，扩大或者缩小标准差作为聚类动态阈值；

b)当符合目标类的质心的阈值范围内(其中阈值即为上一过程中得到的阈值)则归为该类，并更新该类质心位置；

c)循环遍历所有数据集，直至聚类所有数据集，分析所有簇的大小，以均值大小进行过滤噪声，得到最终聚类结果。

一种可读存储介质，可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器运行时，执行上述方法中的步骤。

与现有技术相比，本发明的有益效果是：

(1)首次提出将CUDA与含旋转的金字塔亚像素下采样模型进行融合的方法，相较于传统方法不仅能大幅度提高计算精度，对图像的损失降到最低，还基于CUDA对每个像素独立进行并行计算，大幅度提升计算效率。

(2)将亚像素下采样模型与改进的相关系数模板匹配方法相结合，采用金字塔自上而下的匹配方式，由粗匹配至精匹配的过程，减少了不必要的计算量，提高了计算效率。

(3)提出了基于CUDA改进的像素聚类方法，优化掉了人为配置参数所造成的误差，快速实现了自动过滤噪声、瑕疵的Golden模板图制作。

附图说明

图1为本发明中一种基于CUDA的金字塔亚像素下采样匹配模型实现方法过程的示意图；

图2为本发明实施例中提出的基于CUDA改进的像素聚类方法中针对某一个像素位置的聚类实现过程示意图；

图3为采样原始图；

图4为传统下采样方法的采样效果图；

图5为采用本方案的采样方法的采样效果图；

图6为第一原始含噪声瑕疵图；

图7为采用本方案的方法对第一原始含噪声瑕疵图聚类去噪后的Golden图；

图8为第二原始含噪声瑕疵图；

图9为采用本方案的方法对第二原始含噪声瑕疵图聚类去噪后的Golden图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：该方法主要运行在GPU中，通过CUDA的并行架构实现高速的图像处理，快速解决实现Golden所有模板图定位提取，快速并准确实现模板图融合，同时自动分离噪声、瑕疵等问题，主要流程包括：

步骤一，基于现场设备扫描多份相同产品图，人工确定一幅模板作为基准图；

步骤二，基于上一步骤提取到的数据，以及基准模板图，传输至显存中；

步骤三，基于CUDA，提出了一种快速对数据、模板图进行带旋转式的亚像素下采样模板匹配模型；

a)带旋转的金字塔亚像素下采样模型，不仅可以实现多角度的数据、模板检测，而且可以避免下采样过程中信息丢失的问题。

式中，W、H分别表示模板图像的宽和高，org、res分别表示原始图像、下采样旋转后图像，x、y表示像素位置，θ表示旋转角度(顺时针为正方向)，n为采样级数，x_org、y_org为原始图像的像素位置，一般该像素位置为亚像素，其像素值由所在区域插值得到，为了便于CUDA多线程并行运算，基于BiCubic改进的插值函数如下：

其中，x表示像素点与亚像素的位置差，由此公式可得不同距离下的像素权重，带入亚像素灰度值公式进行计算，该公式满足任意区域半径下的插值计算，具体公式如下：

其中r表示插值区域半径大小，(x_float,y_float)为亚像素位置，(x_int,y_int)为向下取整像素位置，f(x,y)表示像素值。

b)改进的相关系数模板匹配模型公式如下：

式中，I(x,y)表示检测图像像素位置，T(x′,y′)表示模板图像像素位置，w,h表示模板图像宽和高，

表示当前检测位置下区域的像素均值，

表示模板图像像素均值，在CUDA计算过程中，无需遍历所有像素位置，可以根据数据量大小合理添加步长可以减少计算量，对检测效果影响较小。

步骤四，基于CUDA架构，提出了一种针对多模板图融合而改进的聚类方法，通过该类数据集的方差和标准差的动态阈值倍数作为聚类阈值，该方法不仅减少了计算量，无需人为设置容忍参数，而且对噪声、瑕疵有着很好的抑制作用。本方案中改进的聚类方式：

1.计算数据集的均值以及方差、标准差，以方差与标准差的比例阈值，扩大或者缩小标准差作为聚类动态阈值。

2.当符合目标类的质心的阈值范围内(其中阈值即为上一过程中得到的阈值)则归为该类，并更新该类质心位置。

3.循环遍历所有数据集，直至聚类所有数据集，分析所有簇的大小，以均值大小进行过滤噪声，得到最终聚类结果。

步骤五，根据上一步骤得到的聚类结果，计算该聚类范围内的最大、最小、均值图即为Golden模板图。

相比于传统方法，本方案首次提出将CUDA与含旋转的金字塔亚像素下采样模型进行融合的方法，相较于传统方法不仅能大幅度提高计算精度，对图像的损失降到最低，还基于CUDA对每个像素独立进行并行计算，大幅度提升计算效率；同时，将亚像素下采样模型与改进的相关系数模板匹配方法相结合，采用金字塔自上而下的匹配方式，由粗匹配至精匹配的过程，减少了不必要的计算量，提高了计算效率；并且提出了基于CUDA改进的像素聚类方法，优化掉了人为配置参数所造成的误差，快速实现了自动过滤噪声、瑕疵的Golden模板图制作。

为了验证本发明的计算效率，本实施例对4852*12480的25张图像数据，制作4504*4758的Goden图进行实验，由表1计算效率实验数据分析可知，受GPU多线程并行计算的特性，相对于CPU的计算效率有很大的提升，本发明中的基于CUDA的金字塔亚像素下采样匹配模型，在金字塔向下匹配过程中大幅度缩小了检测范围，简化了不必要的检测位置，随着向下层数叠加，匹配位置逐步精确，最终实现更高效的检测算法；下采样效果相较于传统下采样方法在效率上有很大的提升；基于CUDA的本发明聚类算法，由于GPU的特性聚类计算效率得到了大幅度提升。

表1计算效率实验数据

为了验证本发明中采用的下采样方法的效果，对原始图进行4层下采样效果对比，传统基于OPENCV的下采样出现明显模糊，丢失细节纹理特征信息；而本发明中采用的下采样方法，因为融合了亚像素的插值算法，虽然图像质量有所下降，但是整体呈现较为清晰的状态，并且支持含角度的下采样。对比分析可得本发明中的带旋转的亚像素下采样算法更快且效果更好。具体可以对比图3至图5，原始图分辨率为2252*2379，图像数据量较大图像清晰，采用传统采样方法后，分辨率降低为141*149，细节纹理丢失图像呈现模糊状态；而采用本方案的采样方法后，分辨率为140*14，图像有所下降，但是整体呈现较为清晰状态；

为了验证聚类效果，选取两组聚类前后的图作为对比，图6为第一原始含噪声瑕疵图；图7为采用本方案的方法对第一原始含噪声瑕疵图聚类去噪后的Golden图；图8为第二原始含噪声瑕疵图；图9为采用本方案的方法对第二原始含噪声瑕疵图聚类去噪后的Golden图。对比结果显示，经过本发明聚类方法，成功实现噪声、瑕疵的去除，且去除效果较好，满足实际生产需求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于CUDA的Golden模板图生成方法，其特征在于，包括以下步骤：

步骤一：基准图确定，基于现场设备扫描多份相同产品图，人工确定其中一幅模板作为基准图；

步骤二，将提取到的数据，以及步骤一中人工确定的基准图传输至显存中；

步骤三，基于CUDA架构，建立快速对数据、模板图进行带旋转式的亚像素下采样模板匹配模型；

其中，带旋转的金字塔亚像素下采样模型公式如下：

式中，W、H分别表示模板图像的宽和高，org、res分别表示原始图像、下采样旋转后图像，x、y表示像素位置，θ表示旋转角度(顺时针为正方向)，n为采样级数，x_org、y_org为原始图像的像素位置，该像素位置为亚像素，其像素值由所在区域插值得到，为了便于CUDA多线程并行运算，基于BiCubic改进的插值函数如下：

其中，x表示像素点与亚像素的位置差，

由此公式可得不同距离下的像素权重，带入亚像素灰度值公式进行计算，该公式满足任意区域半径下的插值计算，具体公式如下：

其中r表示插值区域半径大小，(x_float,y_float)为亚像素位置，(x_int,y_int)为向下取整像素位置，f(x,y)表示像素值；

改进的相关系数模板匹配模型公式如下：

式中，I(x,y)表示检测图像像素位置，T(x′,y′)表示模板图像像素位置，w,h表示模板图像宽和高，

表示当前检测位置下区域的像素均值，

表示模板图像像素均值；

步骤四，基于CUDA架构进行聚类；

步骤五，根据步骤四得到的聚类结果，计算该聚类范围内的最大、最小、均值图，即为Golden模板图。

2.根据权利要求1所述的一种基于CUDA的Golden模板图生成方法，其特征在于，所述步骤四中，聚类操作包括以下步骤：

a)计算数据集的均值以及方差、标准差，以方差与标准差的比例阈值，扩大或者缩小标准差作为聚类动态阈值；

b)当符合目标类的质心的阈值范围内(其中阈值即为上一过程中得到的阈值)则归为该类，并更新该类质心位置；

c)循环遍历所有数据集，直至聚类所有数据集，分析所有簇的大小，以均值大小进行过滤噪声，得到最终聚类结果。

3.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1～2中任一项所述方法中的步骤。

Images