CN109612400A - 一种基于视觉跟踪的材料形变程度动态测量方法及系统 - Google Patents

Abstract

本发明公开了一种基于视觉跟踪的材料形变程度动态测量方法及系统，该方法包括如下步骤：步骤S1，将被测材料置于实验台进行拉伸试验，并采集图片进行保存；步骤S2，于一图片中选取需要跟踪的对象，创建标志模板；步骤S3，利用创建的标志模板对剩下的所有图片进行匹配，获得各标志模板于图片中的目标区域，并获得每个目标区域的中心点坐标；步骤S4，对步骤S3中获取的所有坐标点进行计算，计算出几何中心；步骤S5，重复步骤S3和步骤S4直至所有图片加载完成，根据坐标点绘制坐标图，观察几何中心的位移情况，从而判断材料形变，通过本发明，可实现材料形变程度测量的目的。

Description

一种基于视觉跟踪的材料形变程度动态测量方法及系统

技术领域

本发明涉及于材料形变程度测量技术领域，特别是涉及一种基于视觉跟踪的材料形变程度动态测量方法及系统。

背景技术

材料变形测量是表征材料性能的基础。视频引伸计因采用非接触式测量方式，几乎适用于大部分材料变形测量且测量精度高，已成为材料变形测量的主要工具。目前，视频引伸计一般是在被测试样的上、下端口印制标记，在拉伸过程中实时跟踪上、下两标记的位移，然后根据数字图像处理方法获得两者的位移差即为图像空间中材料形变量，最后采用相机标定技术转换为材料的实际形变量。

然而，传统的引伸计只能测量材料横向或者纵向单一的距离变化，并不能测量出材料的形变程度。然而，实际在做拉伸试验的过程中，不仅仅需要检测其垂直方向上的唯一，还需要参考材料被拉伸的形变情况，因此，实有必要提出一种技术手段，以解决上述问题。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于视觉跟踪的材料形变程度动态测量方法及系统，以实现材料形变程度测量的目的。

为达上述及其它目的，本发明提出一种基于视觉跟踪的材料形变程度动态测量方法，包括如下步骤：

步骤S1，将被测材料置于实验台进行拉伸试验，并采集图片进行保存；

步骤S2，于一图片中选取需要跟踪的对象，创建标志模板；

步骤S3，利用创建的标志模板对剩下的所有图片进行匹配，获得各标志模板于图片中的目标区域，并获得每个目标区域的中心点坐标；

步骤S4，对步骤S3中获取的所有坐标点进行计算，计算出几何中心；

步骤S5，重复步骤S3和步骤S4直至所有图片加载完成，根据坐标点绘制坐标图，观察几何中心的位移情况，从而判断材料形变。

优选地，于步骤S2中，于图片中选好需要跟踪的位置，剪切保存并创建成标志模板。

优选地，所述标志模板为一个或多个。

优选地，所述标志模板为NCC模板。

优选地，步骤S3进一步包括：

步骤S300，加载一保存的图片；

步骤S301，将该已加载的图片与每一个标志模板匹配，每一个标志模快于该图片中匹配出一个目标区域，该目标区域为每个标志模板匹配的区域中分值最大的区域；

步骤S302，将获得各标志模板的目标区域的分数值Score与一预设的分值阈值进行对比，根据比对结果进行相应处理，确定是保存本组数据还是加载下一张图片进行相应处理。

优选地，步骤S301进一步包括：

步骤S300a，设置模板匹配模式，

步骤S300b，根据设置的模式，将每个标志模板在加载的图片中从左到右，从上到下各个像素点进行对比，并计算出一个分值；

步骤S300c，根据每个标志模板于已加载的图片中匹配出的每个区域的分值获得每个标志模板的目标区域。

优选地，步骤S302进一步包括：

步骤S302a，对比步骤S301获得的各目标区域的分值Score和预设的分值阈值Score_threshold；

步骤S302b，若各目标区域的分值Score均大于Score_threshold，则保存各目标区域的位置数据，即各目标区域的中心点坐标，

步骤S302c，若各目标区域的分值Score不都大于Score_threshold，则不保存本组目标区域的数据，并返回上一张图片将其已经匹配出的所有目标区域剪切出来作为新的模板用于剩余图片的匹配，并返回步骤S300加载下一张图片处理。

优选地，于步骤S4中，所有坐标点(x_i，y_i)几何中心的计算公式如下：

优选地，于步骤S2之前，还包括包括如下步骤：

对采集后的图像利用标定板标定，以消除图片的畸变影响。

为达到上述目的，本发明还提供一种基于视觉跟踪的材料形变程度动态测量系统，包括：

图像采集单元，用于将被测材料置于实验台进行拉伸试验，并采集图片进行保存；

模板创建单元，用于于一图片中选取需要跟踪的对象，创建标志模板；

匹配单元，利用创建的标志模板对剩下的所有图片进行匹配，获得各标志模板于图片中的目标区域，并获得每个目标区域的中心点坐标；

几何中心计算单元，对所述匹配单元获取的所有坐标点进行计算，计算出几何中心；

材料形变判断单元，用于重复所述匹配单元和所述几何中心计算单元直至所有图片加载完成，根据坐标点绘制坐标图，观察几何中心的位移情况，从而判断材料形变。

与现有技术相比，本发明一种基于视觉跟踪的材料形变程度动态测量方法及系统通过采用基于视觉的算法跟踪监测材料拉伸过程中不同的方向和位置上的形变变化，即选取材料上任意需要跟踪的位置，求出所有跟踪点的几何中心的位移，实现了对材料形变程度测量的目的

附图说明

图1为本发明一种基于视觉跟踪的材料形变程度动态测量方法的步骤流程图；

图2为本发明具体实施例中基于视觉跟踪的材料形变程度动态测量流程图；

图3为本发明一种基于视觉跟踪的材料形变程度动态测量系统的系统结构图；

图4为本发明具体实施例中匹配单元的细部结构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于视觉跟踪的材料形变程度动态测量方法的步骤流程图。如图1所示，本发明一种基于视觉跟踪的材料形变程度动态测量方法，包括如下步骤：

步骤S1，将被测材料置于实验台进行拉伸试验，并采集图片进行保存。在本发明具体实施例中，将被测材料固定于实验台上，然后进行拉伸试验，利用红色LED光源对实验中的被测材料进行照射，并用工业相机拍摄并将拍摄的图片进行保存。

步骤S2，于一图片中选取需要跟踪的对象，创建标志模板。具体地，于图片中选好需要跟踪的位置，剪切保存并创建成标志模板，标志模板的数量不限，其可以为一个，也可以为多个，设置为区域A₁、A₂......A_i。在本发明具体实施例中，所创建的标志模板为NCC模板，以便后续基于NCC算法进行匹配。NCC(Normalized Cross Correlation，归一化积相关算法)是一种基于统计学计算两组样本数据相关性的算法，其取值范围为[-1,1]之间，而对图像来说，每个像素点都可以看出是RGB数值，这样整幅图像就可以看成是一个样本数据的集合，如果它有一个子集与另外一个样本数据相互匹配则它的ncc值为1，表示相关性很高，如果是-1则表示完全不相关，基于这个原理，实现图像基于模板匹配识别算法，由于NCC算法为现有技术，在此不予赘述。

步骤S3，利用创建的标志模板对剩下的所有图片进行匹配，获得各标志模板于图片中的目标区域，并获得每个目标区域的中心点坐标。

具体地，步骤S3进一步包括：

步骤S300，加载一保存的图片；

步骤S301，将该已加载的图片与每一个标志模板匹配，每一个标志模快于该图片中匹配出一个目标区域，该目标区域为每个标志模板匹配的区域中分值最大的区域。具体地，步骤S301进一步包括：

步骤S300a，设置模板匹配模式，

步骤S300b，根据设置的模式，将每个标志模板在加载的图片中从左到右，从上到下各个像素点进行对比，并计算出一个分值，该分值表示模板经过的区域内的所有像素于模板内像素的一致度，完全一致则为100％，完全不一致则为0，将该分值命名为Score值，本步骤的目的是将每个标志模板对整张图片进行地毯式扫描，以找到与其最相似的一块区域。

步骤S300c，根据每个标志模板于已加载的图片中匹配出的每个区域的分值获得每个标志模板的目标区域。在本发明具体实施例中，目标区域为分值Score最大的那个区域，即每个标志模板于已加载的图片中会匹配出多个区域，每个区域都有一个分值，选择分值最大的那个区域作为其目标区域。

步骤S302，将获得各标志模板的目标区域的分数值Score与一预设的分值阈值进行对比，根据比对结果进行相应处理，确定是否保存本组数据。

具体的，于步骤S302中，需先人为设置一个分值阈值Score_threshold，用于判断步骤S301获得各标志模板的目标区域是否符合条件，理论上Score_threshold值设置越大精度越高，但这样模板更新越快，耗时越大，同时由于自然光影响，本身具有误差不可能100％匹配，因此过高也会导致匹配不成功，较佳地，于本发明具体实施例中，该预设的分值阈值Score_threshold可在[0.93-0.98]之间进行选择，在以螺纹钢为材料的拉伸试验中，默认设置为0.93，同时亦可以通过多次实验选择最优值，本发明不以此为限。

具体地，步骤S302进一步包括：

步骤S302a，对比步骤S301获得的各目标区域的分值Score和预设的分值阈值Score_threshold；

步骤S302b，若各目标区域的分值Score均大于Score_threshold，则表示所有数据可用，保存各目标区域的位置数据，即各目标区域的中心点坐标，

步骤S302c，若各目标区域的分值Score不都大于Score_threshold，则表示本组所有数据全不可用，不保存本组目标区域的数据，并返回上一张图片将其已经匹配出的所有目标区域剪切出来作为新的模板用于剩余图片的匹配，并返回步骤S300。

步骤S4，对步骤S3中获取的所有坐标点进行计算，计算出几何中心。在本发明具体实施例中，所有坐标点(x_i，y_i)几何中心的计算公式如下：

步骤S5，重复步骤S3和步骤S4，并根据坐标点绘制坐标图，观察几何中心的位移情况，从而判断材料形变。

较佳地，于步骤S2之前，还包括如下步骤：

对采集后的图像利用标定板标定，以消除图片的畸变影响。标定板(CalibrationTarget)在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变；确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。标定板指的是带有固定间距图案阵列的平板。由于如何采用标定板标定是现有技术，在此不予赘述。

图2为本发明具体实施例中基于视觉跟踪的材料形变程度动态测量流程图。如图2所示，在本发明具体实施例中，以被测材料为螺纹钢为例，其动态测量过程如下：

步骤1：将螺纹钢固定于实验台准备进行实验；

步骤2：开始拉伸试验，采用红色LED光源以及工业相机采集图片；

步骤3：对经步骤2采集后的图像用标定板标定，消除图片的畸变影响；

步骤4：对经过步骤3处理后的图片中选好需要实时跟踪的对象，即跟踪的位置，数量不限，并创建成NCC匹配模板；

步骤5：利用经步骤4获取的NCC匹配模板逐一对剩下所有图片进行匹配，具体过程如下：

步骤5-1，于步骤4中创建模板后，设置模板匹配的模式，并将各模板与图片一一匹配，其匹配过程为每一个模板在采集的图片中从左到右，从上到下各个像素点进行对比，并计算出一个分值Score值，每个模板匹配出的Score值最大的区域即是其匹配出来对应的目标区域；

步骤5-2：所有模板都匹配完后，保留所有目标区域的坐标(即中心点坐标)以及匹配的分数Score值，进行判断。

步骤5-3：人为设置一个分值阈值Score_threshold值，用于判断步骤5-2获得的目标区域是否符合条件，理论上Score值设置越大精度越高，但模板更新越快，耗时越大，同时由于自然光影响，本身具有误差不可能100％匹配，因此过高会导致匹配不成功。在以螺纹钢为材料的拉伸试验中，默认设置为0.93，同时亦可以通过多次实验选择最优值。

步骤5-4-1：对比步骤5-2获得各目标区域的分值与设定的分值阈值的大小，若均大于分值阈值则表示所有数据可用，保存目标区域坐标点，若不全大于设定值，则本组所有数据全不可用；

步骤5-4-2：当目标区域的分值不全大于Score设定值，则不保存数据，并返回上一张图片将其已经匹配出的所有目标区域剪切出来作为新的模板用于剩余图片的匹配。

5-4-3：利用更新后的模板对剩余图片进行匹配，并返回步骤5-1；

步骤6：对经过步骤5中获取的所有坐标点进行计算，并计算出几何中心，计算公式为：

步骤7：重复步骤5和步骤6，并根据坐标点绘制坐标图，观察几何中心的位移情况，从而判断材料形变。

图3为本发明一种基于视觉跟踪的材料形变程度动态测量系统的系统结构图。如图3所示，本发明一种基于视觉跟踪的材料形变程度动态测量系统，包括：

图像采集单元301，用于将被测材料置于实验台进行拉伸试验，并采集图片进行保存。在本发明具体实施例中，将被测材料固定于实验台上，然后进行拉伸试验，利用红色LED光源对实验中的被测材料进行照射，并利用工业相机拍摄并将拍摄的图片进行保存。

模板创建单元302，用于于一图片中选取需要跟踪的对象，创建标志模板。具体地，于一图片中选好需要跟踪的位置，剪切保存并创建成标志模板，标志模板的数量不限，其可以为一个，也可以为多个。在本发明具体实施例中，所创建的标志模板为NCC模板，以便后续基于NCC算法进行匹配。NCC(Normalized Cross Correlation，归一化积相关算法)是一种基于统计学计算两组样本数据相关性的算法，其取值范围为[-1,1]之间，而对图像来说，每个像素点都可以看出是RGB数值，这样整幅图像就可以看成是一个样本数据的集合，如果它有一个子集与另外一个样本数据相互匹配则它的ncc值为1，表示相关性很高，如果是-1则表示完全不相关，基于这个原理，实现图像基于模板匹配识别算法，由于NCC算法为现有技术，在此不予赘述。

匹配单元303，用于利用创建的标志模板对剩下的所有图片进行匹配，获得各标志模板于图片中的目标区域，并获得每个目标区域的中心点坐标。

具体地，如图4所示，匹配单元303进一步包括：

图片加载单元3031，用于加载一保存的图片；

模板匹配单元3032，用于将该已加载的图片与每一个标志模板匹配，每一个标志模板于该图片中匹配出一个目标区域，该目标区域为每个标志模板匹配的区域中分值最大的区域。模板匹配单元3032具体用于：

设置模板匹配模式，

根据设置的模式，将每个标志模板在加载的图片中从左到右，从上到下各个像素点进行对比，并计算出一个分值，该分值表示模板经过的区域内的所有像素于模板内像素的一致度，完全一致则为100％，完全不一致则为0，将该分值命名为Score值，本步骤的目的是将每个标志模板对整张图片进行地毯式扫描，以找到与其最相似的一块区域。

根据每个标志模板于已加载的图片中匹配出的每个区域的分值获得每个标志模板的目标区域。在本发明具体实施例中，目标区域为分值Score最大的那个区域，即每个标志模板于已加载的图片中会匹配出多个区域，每个区域都有一个分值，选择分值最大的那个区域作为其目标区域。

分值比对单元3033，用于将获得各标志模板的目标区域的分数值Score与一预设的分值阈值进行对比，根据比对结果进行相应处理，确定是否保存本组数据。

具体的，于步骤S302中，需先人为设置一个分值阈值Score_threshold，用于判断步骤S301获得各标志模板的目标区域是否符合条件，理论上Score_threshold值设置越大精度越高，但这样模板更新越快，耗时越大，同时由于自然光影响，本身具有误差不可能100％匹配，因此过高也会导致匹配不成功，较佳地，于本发明具体实施例中，该预设的分值阈值Score_threshold可在[0.93-0.98]之间进行选择，在以螺纹钢为材料的拉伸试验中，默认设置为0.93，同时亦可以通过多次实验选择最优值，本发明不以此为限。

分值比对单元3033具体用于：

对比模板匹配单元3032获得的各目标区域的分值Score和预设的分值阈值Score_threshold；

若各目标区域的分值Score均大于Score_threshold，则表示所有数据可用，保存各目标区域的位置数据，即各目标区域的中心点坐标，

若各目标区域的分值Score不都大于Score_threshold，则表示本组所有数据全不可用，不保存本组目标区域的数据，并返回上一张图片将其已经匹配出的所有目标区域剪切出来作为新的模板用于剩余图片的匹配，并返回图片加载单元加载下一张图片。

几何中心计算单元304，用于对匹配单元303获取的所有坐标点进行计算，计算出几何中心。在本发明具体实施例中，所有坐标点(x_i，y_i)几何中心的计算公式如下：

材料形变判断单元305，用于重复匹配单元303以及几何中心计算单元304直至所有图片加载完成，观察几何中心的位移情况，从而判断材料形变。

较佳地，本发明之基于视觉跟踪的材料形变程度动态测量系统，还包括：

图像标定处理单元，用于对图像采集单元301采集的图像利用标定板标定，以消除图片的畸变影响。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于视觉跟踪的材料形变程度动态测量方法，包括如下步骤：

步骤S1，将被测材料置于实验台进行拉伸试验，并采集图片进行保存；

步骤S2，于一图片中选取需要跟踪的对象，创建标志模板；

步骤S3，利用创建的标志模板对剩下的所有图片进行匹配，获得各标志模板于图片中的目标区域，并获得每个目标区域的中心点坐标；

步骤S4，对步骤S3中获取的所有坐标点进行计算，计算出几何中心；

步骤S5，重复步骤S3和步骤S4直至所有图片加载完成，根据坐标点绘制坐标图，观察几何中心的位移情况，从而判断材料形变。

2.如权利要求1所述的一种基于视觉跟踪的材料形变程度动态测量方法，其特征在于：于步骤S2中，于图片中选好需要跟踪的位置，剪切保存并创建成标志模板。

3.如权利要求2所述的一种基于视觉跟踪的材料形变程度动态测量方法，其特征在于：所述标志模板为一个或多个。

4.如权利要求3所述的一种基于视觉跟踪的材料形变程度动态测量方法，其特征在于：所述标志模板为NCC模板。

5.如权利要求1所述的一种基于视觉跟踪的材料形变程度动态测量方法，其特征在于：步骤S3进一步包括：

步骤S300，加载一保存的图片；

步骤S301，将该已加载的图片与每一个标志模板匹配，每一个标志模快于该图片中匹配出一个目标区域，该目标区域为每个标志模板匹配的区域中分值最大的区域；

步骤S302，将获得各标志模板的目标区域的分数值Score与一预设的分值阈值进行对比，根据比对结果进行相应处理，确定是保存本组数据还是加载下一张图片进行相应处理。

6.如权利要求5所述的一种基于视觉跟踪的材料形变程度动态测量方法，其特征在于，步骤S301进一步包括：

步骤S300a，设置模板匹配模式，

步骤S300b，根据设置的模式，将每个标志模板在加载的图片中从左到右，从上到下各个像素点进行对比，并计算出一个分值；

步骤S300c，根据每个标志模板于已加载的图片中匹配出的每个区域的分值获得每个标志模板的目标区域。

7.如权利要求5所述的一种基于视觉跟踪的材料形变程度动态测量方法，其特征在于，步骤S302进一步包括：

步骤S302a，对比步骤S301获得的各目标区域的分值Score和预设的分值阈值Score_threshold；

步骤S302b，若各目标区域的分值Score均大于Score_threshold，则保存各目标区域的位置数据，即各目标区域的中心点坐标，

步骤S302c，若各目标区域的分值Score不都大于Score_threshold，则不保存本组目标区域的数据，并返回上一张图片将其已经匹配出的所有目标区域剪切出来作为新的模板用于剩余图片的匹配，并返回步骤S300加载下一张图片处理。

8.如权利要求7所述的一种基于视觉跟踪的材料形变程度动态测量方法，其特征在于，于步骤S4中，所有坐标点(x_i，y_i)几何中心的计算公式如下：

9.如权利要求7所述的一种基于视觉跟踪的材料形变程度动态测量方法，其特征在于，于步骤S2之前，还包括包括如下步骤：

对采集后的图像利用标定板标定，以消除图片的畸变影响。

10.一种基于视觉跟踪的材料形变程度动态测量系统，包括：

图像采集单元，用于将被测材料置于实验台进行拉伸试验，并采集图片进行保存；

模板创建单元，用于于一图片中选取需要跟踪的对象，创建标志模板；

匹配单元，利用创建的标志模板对剩下的所有图片进行匹配，获得各标志模板于图片中的目标区域，并获得每个目标区域的中心点坐标；

几何中心计算单元，对所述匹配单元获取的所有坐标点进行计算，计算出几何中心；

材料形变判断单元，用于重复所述匹配单元和所述几何中心计算单元直至所有图片加载完成，根据坐标点绘制坐标图，观察几何中心的位移情况，从而判断材料形变。