CN113723179B - 一种使用目标跟踪算法的数显仪表数据记录方法 - Google Patents

Abstract

本发明公开了一种使用目标跟踪算法的数显仪表数据记录方法，所述方法可以在需要对无数据输出接口的数显仪表数据进行记录时使用。使用目标跟踪算法，可以实时跟踪连续图像帧内需要记录的仪表数显窗口。将图像帧内的跟踪窗口裁剪后，送至后端进行光学字符识别并进行数据记录，降低了后端数据处理量，避免无关背景对光学字符识别造成的影响。本发明使用操作简便，方便了野外或临时需要对数显仪表数据记录等情况下，使用手持摄像设备对数显仪表数据进行记录。

Description

一种使用目标跟踪算法的数显仪表数据记录方法

技术领域

本发明涉及一种仪器仪表数据获取方法，尤其涉及一种使用目标跟踪算法的 数显仪表数据记录方法。

背景技术

在进行工程测试、仪器调试的过程中，往往需要对仪器仪表的测量数据进行 记录，这种记录包括短时的单个数值记录与长时的连续数据记录。对于带有数据 输出接口的仪器仪表，进行上述数据存储记录十分方便。然而对于野外作业、或 一些不带有数据输出接口的仪器仪表，只能够通过其数显窗口进行人工记录操作。 在一些长时间的数据记录过程中，人工记录工作会变得十分繁重，并且对于一些 变化较为频繁的数值难以快速、准确的进行记录。为此，引入智能化数显仪表数 据记录手段是一种极大提升测试记录效率、解放劳动力的方法。

现有的一些手段为通过手持设备录像，后期回放，人工读值或光学字符识别。 这种方法对于图像帧内数显仪表密集、周边环境复杂、录制抖动明显的情况适用 性较差。人工读值时需要在帧与帧之间重复寻找待记录的数显仪表，而复杂的环 境或周边其他非读取目标的数显仪表可能会对光学字符识别造成干扰。因此，有 必要设计一种使用更加方便，能极大提升光学字符识别效果的数显仪表数据记录 方法。

发明内容

本发明所解决的技术问题是，针对现有技术的不足，提供一种高效准确的数 显仪表数据记录方法。通过目标跟踪算法，跟踪并截取视频图像帧中的感兴趣区 域。将该区域裁剪后输出到后端进行光学字符识别，可以降低后端数据处理量， 避免无关背景对光学字符识别造成的影响。

为了实现上述目的，本发明采用如下技术方案：

本发明公开了一种使用目标跟踪算法的数显仪表数据记录方法，具体包括：

(1)初始化步骤：输入视频文件，选取其中某帧作为初始图像帧，标记选 定位置作为待跟踪区域z；

(2)跟踪步骤：

(2.1)使用卷积神经网络δ提取步骤(1)中标记的待跟踪区域z的图像特征 δ(z)；

(2.2)读取视频流中的下一帧图像x，使用卷积神经网络δ提取图像x中的图 像特征δ(x)；

(2.3)将图像特征δ(z)作为卷积核，在图像特征δ(x)的特征图上进行卷积 操作，得到相似度得分图；

(2.4)从得分图的左上角开始搜索，找到图上相似度得分最高的单个点， 若相似度得分有多个点同为最高值，取这些点组成的区域的中心进行下一步运算；

(2.5)使用神经网络层级间的卷积操作与池化操作参数，从步骤(2.4)得 到的点位置逐步向前推算，得到待跟踪区域z在图像x中的位置与大小，裁剪该区 域；

(2.6)对裁剪出的区域进行光学字符识别，转换为数据进行存储，以供后 端查询或绘图；

(2.7)若视频序列中存在后续可读取的帧，返回步骤2.2，否则程序结束。

其中，步骤(1)中，用户可以自由选取任意大小的区域来标识待跟踪的数 显仪表对象。

其中，步骤(2.5)中，区域位置与大小的计算如下：

·区域位置通过上采样算法，将得分图变换到与输入图像相同的尺寸， 得分图上相似度最高的点即被变换为一块矩形区域，取矩形区域中 心点为最终位置。

·区域大小通过如下方式进行计算。我们从卷积神经网络δ深层(k)向 原图的浅层(k+1)进行递推计算：

其中，f_k+1为第k+1层的卷积或池化操作的核大小，s_i为第i层卷 积或池化操作的步长,l_k+1为计算得到的第k+1层的区域边长。在进 行第一步运算时，取得分图上得分最高区域的边长作为l₁进行计算，f₁为δ(z)的边长，s₁为1。得到卷积神经网络δ的最末端特征图上的 区域边长l₂后，依此类推，直至计算得到原图区域边长l_k。

其中，步骤(2.6)中，光学字符识别结果输出为ASCII字符。

有益效果：

本发明设计了一种使用目标跟踪算法的数显仪表数据记录方法。即使待提取 的数显仪表位置在视频帧间产生了偏移，经过本发明中的跟踪算法处理后，依然 可以裁剪得到一个稳定的目标图像输出。相比传统直接对全局视频帧图像进行光 学字符识别的方案，本方法方便了后端进行光学字符识别提取操作，由于目标跟 踪算法的裁剪过程，输入后端进行光学字符识别部分的图像区域始终是稳定的， 不会随着视频中目标的偏移而发生变化，降低了后端数据处理量，避免无关背景 对光学字符识别造成的影响。

附图说明：

图1为本发明提供的使用目标跟踪算法的数显仪表数据记录方法的程序流 程图；

图2为本发明提供的使用目标跟踪算法的数显仪表数据记录方法的处理流 程图；

图3为本发明中提供的目标跟踪算法的计算流程图；

图4为本发明中提供的目标跟踪算法的区域边长计算示意图；

图5为本发明中提供的目标跟踪算法在约1200帧图像序列上进行处理，每 帧所花费的处理时间示意图；

图6为本发明实施例中采用的程控电源界面实拍图；

图7为本发明与现有技术识别得到的数值与实际数值的差异对比表格。

具体实施方式：

以下结合附图和具体实施方式对本发明进行进一步具体说明。

实施例1

图1为本发明提供的使用目标跟踪算法的数显仪表数据记录方法的计算流 程图，在一定时间内，用户使用手持设备对一台程控电源的界面拍摄实时图像(录 制时需拍下以下步骤中需要数据处理的数显仪表)，在拍摄期间程控电源界面数 值保持不变，待记录的数显值为界面左下角窗口所示数值“1.00”，程控电源界 面如图6所示，所得视频采用本发明公开的使用目标跟踪算法的数显仪表数据记 录方法进行处理，再送入一预训练好的数显仪表数字识别网络进行光学字符识别 处理，具体包括如下步骤：

(1)初始化步骤：将用户使用手持设备拍摄的实时图像视频，或从本地读 取一个已录制的视频文件中某帧作为初始图像帧，标记需要跟踪的数显仪表区域 z，在本实施例中为图2左下角的数显窗口(1.000外的框)；

(2)跟踪步骤：如图3所示，为步骤(2)的计算流程图；

(2.1)使用卷积神经网络δ提取步骤(1)中标记的待跟踪区域z的图像特征 δ(z)；

(2.2)读取视频流中的下一帧图像x，使用卷积神经网络δ提取图像x中的图 像特征δ(x)；

(2.3)将图像特征δ(z)作为卷积核，在图像特征δ(x)的特征图上进行卷积 操作，得到相似度得分图；

(2.4)从步骤(2.3)所得相似度得分图的左上角开始搜索，找到图上相似 度得分最高的单个点，若相似度得分有多个点同为最高值，取这些点组成的区域 的中心作为相似度得分最高的点进行下一步运算；

(2.5)参照图4，从步骤(2.4)所得相似度得分最高的点位置逐步向前推 算，使用神经网络层级间的卷积操作与池化操作参数，得待跟踪区域z在图像x中 的位置与大小，裁剪该区域；

(2.6)对裁剪出的区域进行光学字符识别，转换为数据进行存储，以供后 端查询或绘图；

(2.7)若视频序列中存在后续可读取的帧，返回步骤2.2，否则程序结束。

其中，步骤(1)中，用户可以自由选取任意大小的区域来标识待跟踪的数 显仪表对象。

其中，步骤(2.5)中，区域位置与大小的计算如下：

·区域位置通过上采样算法，将得分图变换到与输入图像相同的尺寸， 得分图上相似度最高的点即被变换为一块矩形区域，取矩形区域中 心点为最终位置。

·区域大小通过如下方式进行计算。我们从卷积神经网络δ深层(k)向 原图的浅层(k+1)进行递推计算：

其中，f_k+1为第k+1层的卷积或池化操作的核大小，s_i为第i层卷积或池化 操作的步长,l_k+1为计算得到的第k+1层的区域边长。在进行第一步运算时，取 得分图上得分最高区域的边长作为l₁进行计算，f₁为δ(z)的边长，s₁为1。得到卷 积神经网络δ的最末端特征图上的区域边长l₂后，依此类推，直至计算得到原图 区域边长l_k。

其中，步骤(2.6)中，光学字符识别结果输出为ASCII字符。

对比例

为进行验证，我们设计了如下的对比实验，针对同一段预先录制好的视 频，使用传统的数显仪表数据记录方法进行处理，送入与实施例1相同的预训 练好的数显仪表数字识别网络进行光学字符识别处理，对比经过两方法后识别 得到的数值与实际数值的差异，结果如图7所示。

由图7可知，传统方法的识别数据除了含有“1.000”数值，还将显示数显 仪表上的其他干扰数据，但若我们所希望提取这个被包围在其他不相干的识别 结果之中的“1.000”，通过本发明的方法将方便识别图像中特定区域内的数 据，因为该区域是可以由用户任意框选指定的，在数值为任意长度，或其他无 关数显区域遭到遮挡，导致识别结果出现变化时，是没有办法从传统方法的识 别结果中对我们希望识别的特定区域内的数据进行提取的。本发明在视频中的 数显仪表发生左右偏移，前后距离改变时，仍能准确的跟踪目标，在部分传统 方法无法正确识别指定窗口的数显数值时，本方法能避免视野中其他数显窗口 的干扰，裁剪后的结果可以为后端的文字识别网络提供一个稳定的输入，得到一个相对准确的结果。

Claims (2)

1.一种使用目标跟踪算法的数显仪表数据记录方法，其特征在于，包括如下步骤：

(1)初始化：输入视频文件，选取其中某帧作为初始图像帧，标记选定位置作为待跟踪区域z；

(2)跟踪：利用卷积神经网络对视频文件进行跟踪，裁剪步骤(1)选定位置的区域，进行光学字符识别，具体为：

(2.1)使用卷积神经网络δ提取步骤(1)中标记的待跟踪区域z的图像特征δ(z)；

(2.2)读取视频流中的下一帧图像x，使用卷积神经网络δ提取图像x中的图像特征δ(x)；

(2.3)将图像特征δ(z)作为卷积核，在图像特征δ(x)的特征图上进行卷积操作，得到相似度得分图；

(2.4)从得分图的左上角开始搜索，找到图上相似度得分最高的单个点，若相似度得分有多个点同为最高值，取这些点组成的区域的中心进行下一步运算；

(2.5)使用神经网络层级间的卷积操作与池化操作参数，从步骤(2.4)得到的点位置逐步向前推算，得到待跟踪区域z在图像x中的位置与大小，裁剪该区域，所述区域位置通过上采样算法，将得分图变换到与输入图像相同的尺寸，得分图上相似度最高的点即被变换为一块矩形区域，取矩形区域中心点为最终位置；所述区域大小通过如下方式进行计算：

我们从卷积神经网络δ深层(k)向原图的浅层(k+1)进行递推计算：

其中，f_k+1为第k+1层的卷积或池化操作的核大小，s_i为第i层卷积或池化操作的步长,l_k+1为计算得到的第k+1层的区域边长；

在进行第一步运算时，取得分图上得分最高区域的边长作为l₁进行计算，f₁为δ(z)的边长，s₁为1，得到卷积神经网络δ的最末端特征图上的区域边长l₂后，依此类推，直至计算得到原图区域边长l_k；

(2.6)对裁剪出的区域进行光学字符识别，转换为数据进行存储，以供后端查询或绘图；

(2.7)若视频序列中存在后续可读取的帧，返回步骤2.2，否则程序结束；

其中，步骤(1)中，用户可以自由选取任意大小的区域来标识待跟踪的数显仪表对象。

2.根据权利要求1所述的使用目标跟踪算法的数显仪表数据记录方法，其特征在于，步骤(2.6)中，光学字符识别结果输出为ASCII字符。