CN109708585A - 一种基于视觉跟踪的无标记引伸计动态测量及系统 - Google Patents

Abstract

本发明公开了一种基于视觉跟踪的无标记引伸计动态测量方法及系统，所述方法包括：步骤S1，将被测材料置于实验台进行拉伸试验，并采集图片进行保存；步骤S2，根据图片选择两处区域创建两个标志模板，以用于匹配已保存的图片；步骤S3，根据两个标志模板匹配已保存的图片，以找到图片中相应的两个标志点的坐标；步骤S4，对获取的两个标志点坐标进行相减，计算得出两个标志点的距离；步骤S5，重复步骤S3和步骤S4直至所有图片加载完成，保存引伸计的拉力数据以及两个标示点的距离数据；步骤S6，利用步骤S5的数据绘制拉伸曲线，从而获得被测材料的特性，通过本发明，可在不给拉伸材料添加任何标记的情况下实现持续跟踪目标区域目的。

Description

一种基于视觉跟踪的无标记引伸计动态测量及系统

技术领域

本发明涉及于引伸计测量技术领域，特别是涉及一种基于视觉跟踪的无标记引伸计动态测量方法及系统。

背景技术

材料变形测量是表征材料性能的基础。视频引伸计因采用非接触式测量方式，几乎适用于大部分材料变形测量且测量精度高，已成为材料变形测量的主要工具。目前，视频引伸计一般是在被测试样的上、下端口印制标记，在拉伸过程中实时跟踪上、下两标记的位移，然后根据数字图像处理方法获得两者的位移差即为图像空间中材料形变量，最后采用相机标定技术转换为材料的实际形变量。

目前，对视频引伸计中相机标定处理方式大致分两类情况：一类是相机未标定的测量方法：由于相机标定过程繁琐复杂，使用视频引伸计测量材料变形量时省略相机标定过程，用图像空间中的材料形变量代替实际运动空间中的材料形变量，该方法不能获得材料的真实变形量，测量结果存在误差；另一类是相机标定的测量方法：在材料变形量测量时，采用各种相机标定技术完成相机标定过程，实现材料实际形变量的计算，其中以张正友标定法为典型代表，利用多幅标定平面模板实现对相机内外参数的标定，再利用此内外参数获得材料的实际形变量。但这些方法需要设计相机标定模板和标定算法，且在重复实验中相机位置、焦距等参数会发生改变，因此需重新标定，这使得测量过程繁琐复杂且引入误差。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于视觉跟踪的无标记引伸计动态测量方法及系统，以在不给拉伸材料添加任何标记的情况下实现持续跟踪目标区域目的。

为达上述及其它目的，本发明提出一种基于视觉跟踪的无标记引伸计动态测量方法，包括如下步骤：

步骤S1，将被测材料置于实验台进行拉伸试验，并采集图片进行保存；

步骤S2，根据图片选择两处区域创建两个标志模板，以用于匹配已保存的图片；

步骤S3，根据两个标志模板匹配已保存的图片，以找到图片中相应的两个标志点的坐标；

步骤S4，对获取的两个标志点坐标进行相减，计算得出两个标志点的距离；

步骤S5，保存引伸计的拉力数据以及两个标志点的距离数据，并重复步骤S3和步骤S4直至所有图片加载完成；

步骤S6，利用步骤S5的数据绘制拉伸曲线，从而获得被测材料的特性。

优选地，于步骤S2中，采用如下两种方法之一制作标志模板：

1)所需将模板提前制作好,运行中直接调用即可；

2)临时创建模板图像，即在匹配运行前对第一张图片中的目标区域截取保存并制作成模板，在后续匹配过程中调用此模板。

优选地，所述标志模板为NCC模板。

优选地，步骤S3进一步包括：

步骤S300，加载一保存的图片；

步骤S301，将加载的图片与已创建的两个标志模板匹配，于图片中匹配出两个目标区域，获得两个目标区域的分数值；

步骤S302，将获得的两个目标区域的分数值与一预设的分值阈值进行对比，根据比对结果进行相应处理，以获得两个标志点。

优选地，步骤S301包括：

步骤S301a；设置模板的匹配模式，

步骤S301b，根据设置的模式，将两个标志模板依次于加载的图片中从左到右，从上到下各个像素点进行对比，并计算出相应分值，将该分值命名为Score值。

步骤S301c，根据两个标志模板于已加载的图片中匹配出两个目标区域，并显示两个目标区域的分数值Score值，分别为数值A与数值B。

优选地，步骤S302进一步包括：

步骤S302a，对比步骤S301获得的目标区域的最大分数值A和B和预设的分值阈值Score_threshold；

步骤S302b，若AB均大于Score_threshold，则记录保存该目标区域的数据。

步骤S302c，若AB不都大于Score_threshold，则不保存该目标区域的数据，并返回上一张图片将其已经匹配出的两个目标区域剪切出来作为新的模板用于剩余图片的匹配，并返回步骤S2。

优选地，所述分值阈值Score_threshold处于0.93～0.98之间。

优选地，于步骤S2之前，还包括包括如下步骤：

对采集后的图像利用标定板标定，以消除图片的畸变影响。

优选地，于步骤S1中，采用红色LED光源以及工业相机采集被测材料的图片。

为达到上述目的，本发明还提供一种基于视觉跟踪的无标记引伸计的动态测量系统，包括：

图像采集单元，用于将被测材料置于实验台进行拉伸试验，并采集图片进行保存；

标志模板创建单元，用于根据图片选择两处区域创建标志模板，以用于匹配已保存的图片；

匹配单元，用于根据两个标志模板匹配已保存的图片，以找到图片中两个标志点的坐标；

距离计算单元，用于对获取的两个标志点坐标进行相减，计算得出两个标志点的距离；

数据记录保存单元，用于保存引伸计的拉力数据以及两个标示点的距离数据，并重复所述匹配单元和距离计算单元直至所有图片加载完成；

拉伸曲线绘制单元，用于利用所述数据记录保存单元的数据绘制拉伸曲线，从而获得材料的特性。

与现有技术相比，本发明一种基于视觉跟踪的无标记引伸计的动态测量方法及系统可在不给拉伸材料添加任何标记的情况下实现持续跟踪目标区域目的，相比现有技术，本发明的应用场合范围更加广泛。

附图说明

图1为本发明一种基于视觉跟踪的无标记引伸计动态测量方法的步骤流程图；

图2为本发明具体实施例中无标记引伸计的动态测量流程图；

图3为本发明一种基于视觉跟踪的无标记引伸计动态测量系统的系统架构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于视觉跟踪的无标记引伸计动态测量方法的步骤流程图。如图1所示，本发明一种基于视觉跟踪的无标记引伸计动态测量方法，包括如下步骤：

步骤S1，将被测材料置于实验台进行拉伸试验，并采集图片进行保存。在本发明具体实施例中，将被测材料，例如螺纹钢固定于实验台上，然后进行拉伸试验，利用红色LED光源对实验中的被测材料进行照射，并用工业相机拍摄并将拍摄的图片进行保存。

步骤S2，根据图片选择两处区域创建标志模板，以用于匹配已保存的图片。在本发明具体实施例中，所创建的标志模板为NCC模板，以便后续基于NCC算法进行匹配。NCC(Normalized Cross Correlation，归一化积相关算法)是一种基于统计学计算两组样本数据相关性的算法，其取值范围为[-1,1]之间，而对图像来说，每个像素点都可以看出是RGB数值，这样整幅图像就可以看成是一个样本数据的集合，如果它有一个子集与另外一个样本数据相互匹配则它的ncc值为1，表示相关性很高，如果是-1则表示完全不相关，基于这个原理，实现图像基于模板匹配识别算法，由于NCC算法为现有技术，在此不予赘述。

在本发明具体实施例中，标志模板必须创建两个，且不能在材料断裂处选取，因为断裂时时间极短，会影响随后匹配，具体地，可采用如下两种方法之一制作标志模板：

1)根据所需将模板提前制作好，运行中直接调用即可；

2)临时创建模板图像，即在匹配运行前对第一张图片中的目标区域截取保存并制作成模板，在后续匹配过程中调用此模板。

步骤S3，根据两个标志模板匹配已保存的图片，以找到图片中两个标志点的位置。

具体地，步骤S3进一步包括：

步骤S300，加载一保存的图片；

步骤S301，将该已加载的图片与已创建的两个标志模板匹配，于图片中匹配出两个目标区域，并得到两个目标区域的最大分数值；具体地，步骤S301进一步包括：

步骤S300a,设置模板匹配模式，

步骤S300b，根据设置的模式，将两个标志模板依次于加载的图片中从左到右，从上到下各个像素点进行对比，并计算出一个分值，该分值表示模板经过的区域内的所有像素于模板内像素的一致度，完全一致则为100％，完全不一致则为0，将该分值命名为Score值，即将标志模板对整张图片进行地毯式扫描，以找到与其最相似的一块区域。

步骤S300c，根据两个标志模板于已加载的图片中匹配出两个目标区域(即相似度的区域，也就是Score值最大的区域)，并显示两个目标区域的Score值分别为数值A与数值B。

步骤S302，将获得的目标区域的分数值Score与一预设的分值进行对比，根据比对结果进行相应处理，以获得两个标志点。

具体的，于步骤S302中，需先人为设置一个分值阈值Score_threshold，用于判断步骤S301获得的目标区域是否符合条件，理论上Score_threshold值设置越大精度越高，但这样模板更新越快，耗时越大，同时由于自然光影响，本身具有误差不可能100％匹配，因此过高也会导致匹配不成功，较佳地，于本发明具体实施例中，该预设的分值阈值Score_threshold可在[0.93-0.98]之间进行选择，同时也可以通过多次实验选择最优值。

具体地，步骤S302进一步包括：

步骤S302a，对比步骤S301获得区域的分数值A和B和预设的分值阈值Score_threshold；

步骤S302b，若A与B均大于Score_threshold，则记录保存该目标区域的数据，即该目标区域的中心点，也就是标志点，即目标区域的位置数据。

步骤S302c，若AB不都大于Score_threshold，则不保存该目标区域的数据，并返回上一张图片将其已经匹配出的两个目标区域剪切出来作为新的模板用于剩余图片的匹配，并返回步骤S2。

步骤S4，对获取的两个标志点坐标进行相减，计算得出两个标志点的距离。

步骤S5，保存引伸计的拉力数据以及两个标示点的距离数据，并重复步骤S3和步骤S4直至所有图片加载完成。

步骤S6，利用步骤S5的数据绘制拉伸曲线，从而获得材料的特性。

较佳地，于步骤S2之前，包括如下步骤：

对采集后的图像利用标定板标定，以消除图片的畸变影响。标定板(CalibrationTarget)在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变；确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。标定板指的是带有固定间距图案阵列的平板。由于如何采用标定板标定是现有技术，在此不予赘述。

图2为本发明具体实施例中无标记引伸计的动态测量流程图。如图2所示，在本发明具体实施例中，以被测材料为螺纹钢为例，其动态测量过程如下：

步骤1：如图2所示，将螺纹钢固定于实验台准备进行实验；

步骤2：开始拉伸试验，采用红色LED光源以及工业相机采集图片；

步骤3：对经步骤2采集后的图像用标定板标定，消除图片的畸变影响；

步骤4：对经过步骤3处理后的图像预处理并创建两个NCC模板，模板1和模板2，本发明有两种方法制作模板：其一，提前将所需模板制作好并保存于内存当中；其二，临时创建模板图像，即是在正式运行前在第一张图片中截取保存并制作成模板。本发明中，标志模板必须创建两个，且不能再材料断裂处选取，因为断裂时时间极短，会影响随后匹配；

步骤5：加载一张图片；

步骤6，于加载的图片中匹配两个已创建的NCC模板，并将已匹配到的图片位置显示出来，并判断匹配到的区域(目标区域)的分数值Score与预设的分值阈值Score_threshold的大小，以获得对应的两个标志点；步骤6具体为：

6-1：设置模板匹配的模式，即匹配过程为模板在采集的图片中从左到右，从上到下各个像素点进行对比，并计算出一个分值，Score值；

6-2：两个模板匹配出两个区域，并计算得到最大分数值的目标区域，其最大分数值为A和B；

6-3：预先设置一个Score_threshold值，用于判断步骤6-2获得的目标区域是否符合条件，理论上Score_threshold值设置越大精度越高，但模板更新越快，耗时越大，同时由于自然光影响，本身具有误差不可能100％匹配，因此过高会导致匹配不成功，一般Score_threshold在[0.93-0.98]之间选择，在本实施例中，Score_threshold为0.93；

6-4，对比步骤6-2获得的目标区域的最大分数值A和B和步骤6-3的Score_threshold值；

6-5，若AB均大于Score_threshold值则记录保存数据；

6-6，若AB不全大于Score_threshold值，则不保存数据，并返回上一张图片将其已经匹配出的两个区域剪切出来作为新的模板用于剩余图片的匹配，并返回步骤步骤4，以利用更新后的模板对剩余图片进行匹配，并不断重复上述步骤进行判断；

步骤7，对经过步骤6中获取的标志点坐标进行相减，计算得两个标志点的距离。

步骤8，重复步骤6和步骤7，保存引伸计的拉力数据以及两个标示点的距离数据；

步骤9，利用步骤8的数据绘制拉伸曲线，从而计算材料的特性。

图3为本发明一种基于视觉跟踪的无标记引伸计的动态测量系统的系统结构图。如图3所示，本发明一种基于视觉跟踪的无标记引伸计的动态测量系统，包括：

图像采集单元301，用于将被测材料置于实验台进行拉伸试验，并采集图片进行保存。在本发明具体实施例中，将被测材料，例如螺纹钢固定于实验台上，然后进行拉伸试验，利用红色LED光源对实验中的被测材料进行照射，并利用工业相机拍摄并将拍摄的图片进行保存。

标志模板创建单元302，用于根据图片选择两处区域创建标志模板，以用于匹配已保存的图片。在本发明具体实施例中，标志模板创建单元302创建的标志模板为NCC模板，以便后续基于NCC算法进行匹配。NCC(Normalized Cross Correlation，归一化积相关算法)是一种基于统计学计算两组样本数据相关性的算法，其取值范围为[-1,1]之间，而对图像来说，每个像素点都可以看出是RGB数值，这样整幅图像就可以看成是一个样本数据的集合，如果它有一个子集与另外一个样本数据相互匹配则它的ncc值为1，表示相关性很高，如果是-1则表示完全不相关，基于这个原理，实现图像基于模板匹配识别算法，由于NCC算法为现有技术，在此不予赘述。

在本发明具体实施例中，标志模板必须创建两个，且不能在材料断裂处选取，因为断裂时时间极短，会影响随后匹配，具体地，可采用如下两种方法之一制作标志模板：

1)根据所需将模板提制作好，运行中直接调用即可；

2)临时创建模板图像，即在匹配运行前对第一张图片中的目标区域截取保存并制作成模板，在后续匹配过程中调用此模板。

匹配单元303，用于根据两个标志模板匹配已保存的图片，以找到图片中两个标志点的位置。

具体地，匹配单元303进一步包括：

图片加载单元，加载一保存的图片；

模板匹配单元，用于将加载的图片与已创建的两个标志模板匹配，于图片中匹配出两个目标区域，并得到两个目标区域的最大分数值；具体地，模板匹配单元具体用于：

设置模板匹配模式；

根据设置的模式，将两个标志模板依次于加载的图片中从左到右，从上到下各个像素点进行对比，并计算出一个分值，该分值表示模板经过的区域内的所有像素于模板内像素的一致度，完全一致则为100％，完全不一致则为0，将该分值命名为Score值，即将标志模板对整张图片进行地毯式扫描，以找到与其最相似的一块区域。

根据两个标志模板于已加载的图片中匹配出两个目标区域(即相似度的区域，也就是Score值最大的区域)，并显示两个目标区域的分数值Score，分别为数值A与数值B。

分值对比单元，用于将获得的目标区域的分数值与一预设的分值阈值进行对比，根据比对结果进行相应处理，以获得两个标志点。

具体的，于分值对比单元中，需先人为设置一个分值阈值Score_threshold，用于判断模板匹配单元获得的目标区域是否符合条件，理论上Score_threshold值设置越大精度越高，但这样模板更新越快，耗时越大，同时由于自然光影响，本身具有误差不可能100％匹配，因此过高也会导致匹配不成功，较佳地，于本发明具体实施例中，该预设的分值阈值Score_threshold可在[0.93-0.98]之间进行选择，同时也可以通过多次实验选择最优值。

在本发明具体实施例中，分值对比单元具体用于：

对比模板匹配单元获得的区域的分数值A和B和预设的分值阈值Score_threshold；

若AB均大于Score_threshold，则记录保存该目标区域的数据,即即该目标区域的中心点，也就是标志点，即目标区域的位置数据。

若AB不都大于Score_threshold，则不保存该目标区域的数据，并返回上一张图片将其已经匹配出的两个目标区域剪切出来作为新的模板用于剩余图片的匹配，并返回标志模板创建单元302。

距离计算单元304，用于对获取的两个标志点坐标进行相减，计算得出两个标志点的距离。

数据记录保存单元305，用于保存引伸计的拉力数据以及两个标示点的距离数据，并重复匹配单元303和距离计算单元304直至所述图片加载完成，。

拉伸曲线绘制单元306，用于利用数据记录保存单元305的数据绘制拉伸曲线，从而获得材料的特性。

优选地，本发明之基于视觉跟踪的无标记引伸计的动态测量还包括

图像标定处理单元，用于对图像采集单元301采集的图像利用标定板标定，以消除图片的畸变影响。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于视觉跟踪的无标记引伸计动态测量方法，包括如下步骤：

步骤S1，将被测材料置于实验台进行拉伸试验，并采集图片进行保存；

步骤S2，根据图片选择两处区域创建两个标志模板，以用于匹配已保存的图片；

步骤S3，根据两个标志模板匹配已保存的图片，以找到图片中相应的两个标志点的坐标；

步骤S4，对获取的两个标志点坐标进行相减，计算得出两个标志点的距离；

步骤S5，保存引伸计的拉力数据以及两个标志点的距离数据，并重复步骤S3和步骤S4直至所有图片加载完成，；

步骤S6，利用步骤S5的数据绘制拉伸曲线，从而获得被测材料的特性。

2.如权利要求1所述的一种基于视觉跟踪的无标记引伸计动态测量方法，其特征在于：于步骤S2中，采用如下两种方法之一制作标志模板：

1)所需将模板提前制作好,运行中直接调用即可；

2)临时创建模板图像，即在匹配运行前对第一张图片中的目标区域截取保存并制作成模板，在后续匹配过程中调用此模板。

3.如权利要求2所述的一种基于视觉跟踪的无标记引伸计动态测量方法，其特征在于：所述标志模板为NCC模板。

4.如权利要求1所述的一种基于视觉跟踪的无标记引伸计动态测量方法，其特征在于，步骤S3进一步包括：

步骤S300，加载一保存的图片；

步骤S301，将加载的图片与已创建的两个标志模板匹配，于图片中匹配出两个目标区域，获得两个目标区域的分数值；

步骤S302，将获得的两个目标区域的分数值与一预设的分值阈值进行对比，根据比对结果进行相应处理，以获得两个标志点。

5.如权利要求4所述的一种基于视觉跟踪的无标记引伸计动态测量方法，其特征在于，步骤S301包括：

步骤S301a；设置模板的匹配模式，

步骤S301b，根据设置的模式，将两个标志模板依次于加载的图片中从左到右，从上到下各个像素点进行对比，并计算出相应分值，将该分值命名为Score值。

步骤S301c，根据两个标志模板于已加载的图片中匹配出两个目标区域，并显示两个目标区域的分数值Score值，分别为数值A与数值B。

6.如权利要求5所述的一种基于视觉跟踪的无标记引伸计动态测量方法，其特征在于，步骤S302进一步包括：

步骤S302a，对比步骤S301获得的目标区域的最大分数值A和B和预设的分值阈值Score_threshold；

步骤S302b，若AB均大于Score_threshold，则记录保存该目标区域的数据。

步骤S302c，若AB不都大于Score_threshold，则不保存该目标区域的数据，并返回上一张图片将其已经匹配出的两个目标区域剪切出来作为新的模板用于剩余图片的匹配，并返回步骤S2。

7.如权利要求6所述的一种基于视觉跟踪的无标记引伸计动态测量方法，其特征在于，所述分值阈值Score_threshold处于0.93～0.98之间。

8.如权利要求1所述的一种基于视觉跟踪的无标记引伸计动态测量方法，其特征在于，于步骤S2之前，还包括包括如下步骤：

对采集后的图像利用标定板标定，以消除图片的畸变影响。

9.如权利要求1所述的一种基于视觉跟踪的无标记引伸计动态测量方法，其特征在于：于步骤S1中，采用红色LED光源以及工业相机采集被测材料的图片。

10.一种基于视觉跟踪的无标记引伸计的动态测量系统，包括：

图像采集单元，用于将被测材料置于实验台进行拉伸试验，并采集图片进行保存；

标志模板创建单元，用于根据图片选择两处区域创建标志模板，以用于匹配已保存的图片；

匹配单元，用于根据两个标志模板匹配已保存的图片，以找到图片中两个标志点的坐标；

距离计算单元，用于对获取的两个标志点坐标进行相减，计算得出两个标志点的距离；

数据记录保存单元，用于保存引伸计的拉力数据以及两个标示点的距离数据，并重复所述匹配单元和距离计算单元直至所有图片加载完成；

拉伸曲线绘制单元，用于利用所述数据记录保存单元的数据绘制拉伸曲线，从而获得材料的特性。