CN110009611A - 一种面向图像序列的视觉目标动态计数方法及系统 - Google Patents

Abstract

本发明公开了面向图像序列的视觉目标动态计数方法及系统，涉及计算机视觉技术领域，所述方法包括步骤：构建用于检测图像中目标位置的深度卷积网络，构建用于对图像中目标进行跟踪的目标跟踪器；使用所述目标跟踪器跟踪上一帧图像中出现的目标，得到每一个目标在当前帧图像中的位置；根据跟踪得到的每一个目标在当前帧图像中的位置，判断每一个目标是否通过预设的计数线，得到通过计数线的目标的个数，并相应增加目标计数值；将当前帧图像输入到已完成学习训练的深度卷积网络，计算深度卷积网络的输出，检测每一个目标可能出现的位置；去除检测得到的目标和跟踪得到的目标中相互重叠的目标，得到新增的目标；根据新增的目标，更新目标跟踪器。

Description

一种面向图像序列的视觉目标动态计数方法及系统

技术领域

本发明涉及计算机视觉领域，具体涉及一种面向图像序列的视觉目标动态计数方法及系统。

背景技术

在计算机视觉领域中，从单幅图像中检测特定的视觉目标，并对图像序列中出现的目标进行视觉跟踪，是一种非常重要的技术。基于视觉图像的目标检测和跟踪技术只需要目标的视觉图像作为输入，不需要依赖其他的硬件设备，而可见光或者红外摄像设备已经在工业生产中得到广泛应用，因此基于该技术实现的设备更容易实现和维护。

随着工业生产规模的迅速扩大，工业产品生产过程中的自动化和智能化程度也需要不断提高。一种常见的自动化生产需求是对现代化工业生产流水线上的产品进行精确计数，从而实现对产品的自动化打包生产，显著提高生产过程中的自动化和智能化程度。

传统的计数方式为人工计数，该人工计数的方法会明显提高生产人力成本，并且不适用于一些对人有危害的产品计数。可见，实现对工业生产流水线上的产品进行自动化计数对提高工业生产效率具有重大意义。

现有技术中，自动化计数方法通常有两种，一种是基于激光信号来实现产品计数，一种是基于机械结构来实现产品计数，但是，这两种方法均存在如下两方面的缺陷，不具备广泛的适用性。

一方面，这两种计数方法都需要对现有的生产流水线进行特定的改造，不仅会增加生产成本，而且改造后的流水线后期维护和扩展难度较大，另一方面，这两种计数方法针对不同的产品需要进行重新的改造设计，限制了其适应性，导致其适用范围较窄，不利于市场推广。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种面向图像序列的视觉目标动态计数方法，只需输入视频图像即可，方法简单，适用范围较广。

为达到以上目的，本发明采取的技术方案是：

一种面向图像序列的视觉目标动态计数方法，包括步骤：

A1：构建用于检测图像中目标位置的深度卷积网络，对该深度卷积网络进行学习训练；构建用于对图像中目标进行跟踪的目标跟踪器；设置目标计数值的初始值；

A2：输入一幅待计数图像，将其作为当前帧图像，使用所述目标跟踪器跟踪上一帧图像中出现的目标，得到每一个目标在当前帧图像中的位置；

A3：根据跟踪得到的每一个目标在当前帧图像中的位置，判断每一个目标是否通过预设的计数线，得到通过计数线的目标的个数，并相应增加目标计数值，同时，去除对通过计数线的目标的下一次跟踪；

A4：将当前帧图像输入到已完成学习训练的深度卷积网络，计算深度卷积网络的输出，检测每一个目标可能出现的位置；

A5：去除检测得到的目标和跟踪得到的目标中相互重叠的目标，得到新增的目标；

A6：根据新增的目标，更新目标跟踪器；

A7：输入下一幅待计数图像，重复步骤A2～A6，直至停止目标计数。

在上述技术方案的基础上，所述构建用于检测图像中目标位置的深度卷积网络，对该深度卷积网络进行学习训练的具体步骤包括：

A101：准备一幅图像，用矩形框在该图像中标注出每一个目标出现的位置，并将标注后的图像作为训练图像；

A102：构建用于检测目标位置的深度卷积网络；

A103：将所述训练图像输入到所述深度卷积网络中，计算得到该深度卷积网络的输出结果；

A104：根据该深度卷积网络的输出结果与训练图像中标注得到的目标位置，计算得到深度卷积网络输出结果的误差、以及深度卷积网络的参数；

A105：利用梯度下降算法更新深度卷积网络的参数，完成深度卷积网络的更新；

A106：重复上述步骤A103～A105，直至深度卷积网络输出结果的误差小于预设的阈值，完成深度卷积网络的学习训练。

在上述技术方案的基础上，所述使用目标跟踪器跟踪上一帧图像中出现的目标，得到每一个目标在当前帧图像中的位置的具体步骤包括：

A201：从上一帧图像出现的目标中随机选择一个；

A202：根据该目标在上一帧图像中的位置选择候选的搜索区域，计算搜索区域的方向梯度直方图特征z；

A203：根据目标线性分类的核化系数α和目标原始特征x，计算目标可能出现的位置概率图，公式如下：

f(z)＝F^-1(F(k(x,z))⊙α)

找出位置概率图的峰值位置，即为目标在当前帧图像中的预测位置；

A204：根据目标在当前帧图像中的预测位置，重新计算目标线性分类的核化系数α_t和目标原始特征x_t；

A205：更新并保存该目标的线性分类核化系数α和钢筋原始特征x：

α＝(1-η)α_t-1+ηα_t

x＝(1-η)x_t-1+ηx_t

式中，η为学习因子，α_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数，α_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数，x_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数目标原始特征，x_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数目标原始特征；

A206：重复步骤A201～A205，至所有目标都已跟踪完成，得到目标在当前帧图像中的位置。

在上述技术方案的基础上，上述步骤A4中检测每一个目标可能出现的位置的具体步骤包括：

从输入的当前帧图像中提取待检测区域图像块，并输入到已完成学习训练的深度卷积网络；

通过前向传播计算深度卷积网络的输出，输出结果中每一个网格都对可能出现的钢筋的位置和大小进行了预测；

剔除预测结果中相互重叠的候选钢筋目标；

对所有预测结果中的候选钢筋目标，根据预测的可信度进行从高到低的排序，将可信度前若干名的候选钢筋作为钢筋检测结果。

在上述技术方案的基础上，所述更新目标跟踪器的具体过程为：

根据输入的当前帧图像、以及检测到的新增的目标，提取目标的方向梯度直方图特征x；

生成线性分类器训练样本的标签，该线性分类器中所有样本都是通过原始的目标样本经过循环移动产生的，这些样本对应的标签可以通过一个二维高斯函数来实现；

求解线性分类器w使得线性回归函数f(x)＝w^Tx在x_m,n上的响应与y_m,n的平方误差最小，即：

其中λ是正则化系数，w为线性分类器，y_m,n为横坐标为m、纵坐标为n处的回归目标，f(x_m,n)横坐标为m、纵坐标为n处的线性回归函数；

通过核化处理，该线性分类器可以通过下式求解：

其中F(·)和F^-1(·)分别表示二维傅里叶变换和二维逆傅里叶变换。

保存线性分类核化系数α和目标特征x，为后续的目标跟踪做准备。

本发明还提供了一种面向图像序列的视觉目标动态计数系统，包括：

初始化模块，其用于：构建用于检测图像中目标位置的深度卷积网络，对该深度卷积网络进行学习训练；构建用于对图像中目标进行跟踪的目标跟踪器；设置目标计数值的初始值；

跟踪模块，其用于：输入一幅待计数图像，将其作为当前帧图像，使用所述目标跟踪器跟踪上一帧图像中出现的目标，得到每一个目标在当前帧图像中的位置；

计数模块，其用于：根据跟踪得到的每一个目标在当前帧图像中的位置，判断每一个目标是否通过预设的计数线，得到通过计数线的目标的个数，并相应增加目标计数值，同时，去除对通过计数线的目标的下一次跟踪；

检测模块，其用于：将当前帧图像输入到已完成学习训练的深度卷积网络，计算深度卷积网络的输出，检测每一个目标可能出现的位置；

处理模块，其用于：去除检测得到的目标和跟踪得到的目标中相互重叠的目标，得到新增的目标；

更新模块，其用于：根据新增的目标，更新目标跟踪器；

在上述技术方案的基础上，所述初始化模块具体用于：

准备一幅图像，用矩形框在该图像中标注出每一个目标出现的位置，并将标注后的图像作为训练图像；

构建用于检测目标位置的深度卷积网络；

将所述训练图像输入到所述深度卷积网络中，计算得到该深度卷积网络的输出结果；

根据该深度卷积网络的输出结果与训练图像中标注得到的目标位置，计算得到深度卷积网络输出结果的误差、以及深度卷积网络的参数；

利用梯度下降算法更新深度卷积网络的参数，完成深度卷积网络的更新；

重复计算得到深度卷积网络输出结果的误差，直至深度卷积网络输出结果的误差小于预设的阈值，完成深度卷积网络的学习训练。

在上述技术方案的基础上，所述跟踪模块具体用于：

从上一帧图像出现的目标中随机选择一个；

根据该目标在上一帧图像中的位置选择候选的搜索区域，计算搜索区域的方向梯度直方图特征z；

根据目标线性分类的核化系数α和目标原始特征x，计算目标可能出现的位置概率图，公式如下：

f(z)＝F^-1(F(k(x,z))⊙α)

找出位置概率图的峰值位置，即为目标在当前帧图像中的预测位置；

根据目标在当前帧图像中的预测位置，重新计算目标线性分类的核化系数α_t和目标原始特征x_t；

更新并保存该目标的线性分类核化系数α和钢筋原始特征x：

α＝(1-η)α_t-1+ηα_t

x＝(1-η)x_t-1+ηx_t

式中，η为学习因子，α_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数，α_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数，x_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数目标原始特征，x_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数目标原始特征；

重复更新目标的线性分类核化系数α和钢筋原始特征x，至所有目标都已跟踪完成，得到目标在当前帧图像中的位置。

在上述技术方案的基础上，所述检测模块具体用于：

从输入的当前帧图像中提取待检测区域图像块，并输入到已完成学习训练的深度卷积网络；

通过前向传播计算深度卷积网络的输出，输出结果中每一个网格都对可能出现的钢筋的位置和大小进行了预测；

剔除预测结果中相互重叠的候选钢筋目标；

对所有预测结果中的候选钢筋目标，根据预测的可信度进行从高到低的排序，将可信度前若干名的候选钢筋作为钢筋检测结果。

在上述技术方案的基础上，所述更新模块具体用于：

根据输入的当前帧图像、以及检测到的新增的目标，提取目标的方向梯度直方图特征x；

生成线性分类器训练样本的标签，该线性分类器中所有样本都是通过原始的目标样本经过循环移动产生的，这些样本对应的标签可以通过一个二维高斯函数来实现；

求解线性分类器w使得线性回归函数f(x)＝w^Tx在x_m,n上的响应与y_m,n的平方误差最小，即：

其中λ是正则化系数，w为线性分类器，y_m,n为横坐标为m、纵坐标为n处的回归目标，f(x_m,n)横坐标为m、纵坐标为n处的线性回归函数；

通过核化处理，该线性分类器可以通过下式求解：

其中F(·)和F^-1(·)分别表示二维傅里叶变换和二维逆傅里叶变换。

保存线性分类核化系数α和目标特征x，为后续的目标跟踪做准备。

与现有技术相比，本发明的优点在于：本发明的面向图像序列的视觉目标动态计数方法，只需输入视频图像即可实现产品的动态计数，无需对现有设备进行改造，方法简单，而且适用于大多数视觉目标的产品计数，适用范围较广，具有更好的应用价值和市场前景。

附图说明

图1为本发明实施例中面向图像序列的视觉目标动态计数方法的流程图；

图2是本发明实施例中钢筋目标的红外图像示意图；

图3是本发明实施例中训练图像示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供了一种面向图像序列的视觉目标动态计数方法，包括步骤：

A1：构建用于检测图像中目标位置的深度卷积网络，对该深度卷积网络进行学习训练；构建用于对图像中目标进行跟踪的目标跟踪器；设置目标计数值的初始值；

A2：输入一幅待计数图像，将其作为当前帧图像，使用所述目标跟踪器跟踪上一帧图像中出现的目标，得到每一个目标在当前帧图像中的位置；

A3：根据跟踪得到的每一个目标在当前帧图像中的位置，判断每一个目标是否通过预设的计数线，得到通过计数线的目标的个数，并相应增加目标计数值，同时，去除对通过计数线的目标的下一次跟踪；

A4：将当前帧图像输入到已完成学习训练的深度卷积网络，计算深度卷积网络的输出，检测每一个目标可能出现的位置；

A5：去除检测得到的目标和跟踪得到的目标中相互重叠的目标，得到新增的目标；

A6：根据新增的目标，更新目标跟踪器；

A7：输入下一幅待计数图像，重复步骤A2～A6，直至停止目标计数。

本发明实施例提供的面向图像序列的视觉目标动态计数方法，只需输入视频图像即可实现产品的动态计数，无需对现有设备进行改造，方法简单，而且适用于大多数视觉目标的产品计数，适用范围较广，具有更好的应用价值和市场前景。

更为具体地，参见图1所示，本发明实施例提供一种面向图像序列的视觉目标动态计数方法，包括步骤：

S1：构建用于检测图像中目标位置的深度卷积网络，对该深度卷积网络进行学习训练；

构建用于对图像中目标进行跟踪的目标跟踪器，所述目标跟踪器利用基于核化滤波模型的视觉目标跟踪算法进行视觉目标跟踪；

设置目标计数值的初始值，输入初始化图像；

S2：输入一幅待计数图像J2，将其作为当前帧图像J2；

S3：使用所述目标跟踪器跟踪上一帧图像J1中出现的目标，得到每一个目标在当前帧图像J2中的位置；

在本发明实施例中，刚开始进行目标计数时，目标计数值的初始值设为0，上一帧图像J1即为初始化图像；

S4：根据跟踪得到的每一个目标在当前帧图像J2中的位置，判断每一个目标是否通过预设的计数线，得到通过计数线的目标的个数，并相应增加目标计数值，同时，去除对通过计数线的目标的下一次跟踪；

本发明实施例中，计数线应理解为在图像中设置的一条参考线，计数线的设置根据实际情况而定，由于检测产品的不同，也会有所不同。

S5：将当前帧图像J2输入到已完成学习训练的深度卷积网络，计算深度卷积网络的输出，检测每一个目标可能出现的位置；

S6：确定是否继续计数，若是，则转入步骤S7，若否，则转入步骤S9；

S7：去除检测得到的目标和跟踪得到的目标中相互重叠的目标，得到新增的目标，具体过程为：

判断步骤S5中检测得到的目标是否与步骤S3中跟踪得到的其中一个目标为相同的目标，实现过程为判断两个目标矩形框的重叠率是否超过预设的阈值，

当两个目标的矩形框的重叠率超过预设的阈值时，认为两个目标为相同的目标，表明，检测到的该目标已经在跟踪得到的目标中出现过，则将该目标去除；

当两个目标的矩形框的重叠率未超过预设的阈值时，认为两个目标不为相同的目标，表明，检测到的该目标为新增的目标，则将该目标保存；

在本发明实施例中，优选地，预设的阈值为0.5；

S8：根据新增的目标，更新目标跟踪器，转至步骤S2；

S9：输出目标动态计数结果。

在实际使用中，上述面向图像序列的视觉目标动态计数方法是由计算机来完成的，对应地，根据计算机操作指令来确定是否继续计数，并由计算机输出目标动态计数结果。

在本发明实施例中，以钢筋目标为例，对上述面向图像序列的视觉目标动态计数方法进行说明。

进一步地，构建用于检测钢筋目标位置的深度卷积网络，并对该深度卷积网络进行学习训练，具体过程包括步骤：

S101：准备钢筋目标的红外图像，如图2所示，用矩形框在该图像中标注出每一个钢筋目标出现的位置，并将标注后的图像作为训练图像，如图3所示；

S102：构建用于检测钢筋目标位置的深度卷积网络，该网络包含若干用于提取图像深度卷积特征的卷积层，网络的输出将图像分割为7×7的网格，每一个网格中包含了对目标出现可能性的预测、以及该目标最可能出现的位置(x，y)和大小(w，h)；

S103：将所述训练图像输入到所述深度卷积网络中，计算得到该深度卷积网络的输出结果；

S104：根据该深度卷积网络的输出结果与训练图像中标注得到的目标位置，计算得到深度卷积网络输出结果的误差、以及深度卷积网络的参数；

S105：利用梯度下降算法更新深度卷积网络的参数，完成深度卷积网络的更新；

S106：重复上述步骤S103～S105，直至深度卷积网络输出结果的误差小于预设的阈值，完成深度卷积网络的学习训练。

更进一步地，上述步骤S3可以实现钢筋目标跟踪，具体过程包括步骤：

S301：从上一帧图像J1出现的钢筋中随机选择一个；

S302：根据该钢筋在上一帧图像J1中的位置选择候选的搜索区域，计算搜索区域的方向梯度直方图特征z；

S303：根据目标线性分类的核化系数α和目标原始特征x，计算目标可能出现的位置概率图，公式如下：

f(z)＝F^-1(F(k(x,z))⊙α)

找出位置概率图的峰值位置，即为钢筋目标在当前帧图像J2中的预测位置，此处预测位置应理解为该钢筋在当前帧图像J2中最有可能的位置；

S304：根据钢筋目标在当前帧图像J2中的预测位置，重新计算目标线性分类的核化系数α_t和目标原始特征x_t；

S305：更新并保存该钢筋目标的线性分类核化系数α和钢筋原始特征x：

α＝(1-η)α_t-1+ηα_t

x＝(1-η)x_t-1+ηx_t

式中，η为学习因子，α_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数，α_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数，x_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数目标原始特征，x_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数目标原始特征。

S306：重复步骤S301～S305，至所有钢筋都已跟踪完成，得到钢筋目标在当前帧图像J2中的位置。

更进一步地，上述步骤S5可以实现了钢筋检测，具体过程如下：

S501：从输入的当前帧图像J2中提取待检测区域图像块，并输入到已完成学习训练的深度卷积网络；

S502：通过前向传播计算深度卷积网络的输出，输出结果中每一个网格都对可能出现的钢筋的位置和大小进行了预测；

S503：剔除预测结果中相互重叠的候选钢筋目标；

S504：对所有预测结果中的候选钢筋目标，根据预测的可信度进行从高到低的排序，将可信度前若干名的候选钢筋作为钢筋检测结果。

更进一步地，上述步骤S8更新目标跟踪器的具体过程为：

S801：根据输入的当前帧图像、以及检测到的新增的目标，提取目标的方向梯度直方图特征x；

S802：生成线性分类器训练样本的标签，该线性分类器中所有样本都是通过原始的目标样本经过循环移动产生的，这些样本对应的标签可以通过一个二维高斯函数来实现；

S803：求解线性分类器w使得线性回归函数f(x)＝w^Tx在x_m,n上的响应与y_m,n的平方误差最小，即：

其中λ是正则化系数，w为线性分类器，y_m,n为横坐标为m、纵坐标为n处的回归目标，f(x_m,n)横坐标为m、纵坐标为n处的线性回归函数；

通过核化处理，该线性分类器可以通过下式求解：

其中F(·)和F^-1(·)分别表示二维傅里叶变换和二维逆傅里叶变换。

S804：保存线性分类核化系数α和目标特征x，为后续的目标跟踪做准备。

本发明实施例还提供了一种面向图像序列的视觉目标动态计数系统，包括：

初始化模块，其用于：构建用于检测图像中目标位置的深度卷积网络，对该深度卷积网络进行学习训练；构建用于对图像中目标进行跟踪的目标跟踪器；设置目标计数值的初始值；

跟踪模块，其用于：输入一幅待计数图像，将其作为当前帧图像，使用所述目标跟踪器跟踪上一帧图像中出现的目标，得到每一个目标在当前帧图像中的位置；

计数模块，其用于：根据跟踪得到的每一个目标在当前帧图像中的位置，判断每一个目标是否通过预设的计数线，得到通过计数线的目标的个数，并相应增加目标计数值，同时，去除对通过计数线的目标的下一次跟踪；

检测模块，其用于：将当前帧图像输入到已完成学习训练的深度卷积网络，计算深度卷积网络的输出，检测每一个目标可能出现的位置；

处理模块，其用于：去除检测得到的目标和跟踪得到的目标中相互重叠的目标，得到新增的目标；

更新模块，其用于：根据新增的目标，更新目标跟踪器；

本发明实施例提供的面向图像序列的视觉目标动态计数系统，只需输入视频图像即可实现产品的动态计数，无需对现有设备进行改造，方法简单，而且适用于大多数视觉目标的产品计数，适用范围较广，具有更好的应用价值和市场前景。

更进一步地，所述初始化模块具体用于：

准备一幅图像，用矩形框在该图像中标注出每一个目标出现的位置，并将标注后的图像作为训练图像；

构建用于检测目标位置的深度卷积网络；

将所述训练图像输入到所述深度卷积网络中，计算得到该深度卷积网络的输出结果；

根据该深度卷积网络的输出结果与训练图像中标注得到的目标位置，计算得到深度卷积网络输出结果的误差、以及深度卷积网络的参数；

利用梯度下降算法更新深度卷积网络的参数，完成深度卷积网络的更新；

重复计算得到深度卷积网络输出结果的误差，直至深度卷积网络输出结果的误差小于预设的阈值，完成深度卷积网络的学习训练。

更进一步地，所述跟踪模块具体用于：

从上一帧图像出现的目标中随机选择一个；

根据该目标在上一帧图像中的位置选择候选的搜索区域，计算搜索区域的方向梯度直方图特征z；

根据目标线性分类的核化系数α和目标原始特征x，计算目标可能出现的位置概率图，公式如下：

f(z)＝F^-1(F(k(x,z))⊙α)

找出位置概率图的峰值位置，即为目标在当前帧图像中的预测位置；

根据目标在当前帧图像中的预测位置，重新计算目标线性分类的核化系数α_t和目标原始特征x_t；

更新并保存该目标的线性分类核化系数α和钢筋原始特征x：

α＝(1-η)α_t-1+ηα_t

x＝(1-η)x_t-1+ηx_t

式中，η为学习因子，α_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数，α_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数，x_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数目标原始特征，x_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数目标原始特征；

重复更新目标的线性分类核化系数α和钢筋原始特征x，至所有目标都已跟踪完成，得到目标在当前帧图像中的位置。

更进一步地，所述检测模块具体用于：

从输入的当前帧图像中提取待检测区域图像块，并输入到已完成学习训练的深度卷积网络；

通过前向传播计算深度卷积网络的输出，输出结果中每一个网格都对可能出现的钢筋的位置和大小进行了预测；

剔除预测结果中相互重叠的候选钢筋目标；

对所有预测结果中的候选钢筋目标，根据预测的可信度进行从高到低的排序，将可信度前若干名的候选钢筋作为钢筋检测结果。

更进一步地，所述更新模块具体用于：

根据输入的当前帧图像、以及检测到的新增的目标，提取目标的方向梯度直方图特征x；

生成线性分类器训练样本的标签，该线性分类器中所有样本都是通过原始的目标样本经过循环移动产生的，这些样本对应的标签可以通过一个二维高斯函数来实现；

求解线性分类器w使得线性回归函数f(x)＝w^Tx在x_m,n上的响应与y_m,n的平方误差最小，即：

其中λ是正则化系数，w为线性分类器，y_m,n为横坐标为m、纵坐标为n处的回归目标，f(x_m,n)横坐标为m、纵坐标为n处的线性回归函数；

通过核化处理，该线性分类器可以通过下式求解：

其中F(·)和F^-1(·)分别表示二维傅里叶变换和二维逆傅里叶变换。

保存线性分类核化系数α和目标特征x，为后续的目标跟踪做准备。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种面向图像序列的视觉目标动态计数方法，其特征在于，包括步骤：

A1：构建用于检测图像中目标位置的深度卷积网络，对该深度卷积网络进行学习训练；构建用于对图像中目标进行跟踪的目标跟踪器；设置目标计数值的初始值；

A2：输入一幅待计数图像，将其作为当前帧图像，使用所述目标跟踪器跟踪上一帧图像中出现的目标，得到每一个目标在当前帧图像中的位置；

A3：根据跟踪得到的每一个目标在当前帧图像中的位置，判断每一个目标是否通过预设的计数线，得到通过计数线的目标的个数，并相应增加目标计数值，同时，去除对通过计数线的目标的下一次跟踪；

A4：将当前帧图像输入到已完成学习训练的深度卷积网络，计算深度卷积网络的输出，检测每一个目标可能出现的位置；

A5：去除检测得到的目标和跟踪得到的目标中相互重叠的目标，得到新增的目标；

A6：根据新增的目标，更新目标跟踪器；

A7：输入下一幅待计数图像，重复步骤A2～A6，直至停止目标计数。

2.如权利要求1所述的面向图像序列的视觉目标动态计数方法，其特征在于，所述构建用于检测图像中目标位置的深度卷积网络，对该深度卷积网络进行学习训练的具体步骤包括：

A101：准备一幅图像，用矩形框在该图像中标注出每一个目标出现的位置，并将标注后的图像作为训练图像；

A102：构建用于检测目标位置的深度卷积网络；

A103：将所述训练图像输入到所述深度卷积网络中，计算得到该深度卷积网络的输出结果；

A104：根据该深度卷积网络的输出结果与训练图像中标注得到的目标位置，计算得到深度卷积网络输出结果的误差、以及深度卷积网络的参数；

A105：利用梯度下降算法更新深度卷积网络的参数，完成深度卷积网络的更新；

A106：重复上述步骤A103～A105，直至深度卷积网络输出结果的误差小于预设的阈值，完成深度卷积网络的学习训练。

3.如权利要求1所述的面向图像序列的视觉目标动态计数方法，其特征在于，所述使用目标跟踪器跟踪上一帧图像中出现的目标，得到每一个目标在当前帧图像中的位置的具体步骤包括：

A201：从上一帧图像出现的目标中随机选择一个；

A202：根据该目标在上一帧图像中的位置选择候选的搜索区域，计算搜索区域的方向梯度直方图特征z；

A203：根据目标线性分类的核化系数α和目标原始特征x，计算目标可能出现的位置概率图，公式如下：

f(z)＝F^-1(F(k(x,z))⊙α)

找出位置概率图的峰值位置，即为目标在当前帧图像中的预测位置；

A204：根据目标在当前帧图像中的预测位置，重新计算目标线性分类的核化系数α_t和目标原始特征x_t；

A205：更新并保存该目标的线性分类核化系数α和钢筋原始特征x：

α＝(1-η)α_t-1+ηα_t

x＝(1-η)x_t-1+ηx_t

式中，η为学习因子，α_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数，α_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数，x_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数目标原始特征，x_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数目标原始特征；

A206：重复步骤A201～A205，至所有目标都已跟踪完成，得到目标在当前帧图像中的位置。

4.如权利要求1所述的面向图像序列的视觉目标动态计数方法，其特征在于，上述步骤A4中检测每一个目标可能出现的位置的具体步骤包括：

从输入的当前帧图像中提取待检测区域图像块，并输入到已完成学习训练的深度卷积网络；

通过前向传播计算深度卷积网络的输出，输出结果中每一个网格都对可能出现的钢筋的位置和大小进行了预测；

剔除预测结果中相互重叠的候选钢筋目标；

对所有预测结果中的候选钢筋目标，根据预测的可信度进行从高到低的排序，将可信度前若干名的候选钢筋作为钢筋检测结果。

5.如权利要求1所述的面向图像序列的视觉目标动态计数方法，其特征在于，所述更新目标跟踪器的具体过程为：

根据输入的当前帧图像、以及检测到的新增的目标，提取目标的方向梯度直方图特征x；

生成线性分类器训练样本的标签，该线性分类器中所有样本都是通过原始的目标样本经过循环移动产生的，这些样本对应的标签可以通过一个二维高斯函数来实现；

求解线性分类器w使得线性回归函数f(x)＝w^Tx在x_m,n上的响应与y_m,n的平方误差最小，即：

其中λ是正则化系数，w为线性分类器，y_m,n为横坐标为m、纵坐标为n处的回归目标，f(x_m,n)横坐标为m、纵坐标为n处的线性回归函数；

通过核化处理，该线性分类器可以通过下式求解：

其中F(·)和F^-1(·)分别表示二维傅里叶变换和二维逆傅里叶变换。

保存线性分类核化系数α和目标特征x，为后续的目标跟踪做准备。

6.一种面向图像序列的视觉目标动态计数系统，其特征在于，包括：

初始化模块，其用于：构建用于检测图像中目标位置的深度卷积网络，对该深度卷积网络进行学习训练；构建用于对图像中目标进行跟踪的目标跟踪器；设置目标计数值的初始值；

跟踪模块，其用于：输入一幅待计数图像，将其作为当前帧图像，使用所述目标跟踪器跟踪上一帧图像中出现的目标，得到每一个目标在当前帧图像中的位置；

计数模块，其用于：根据跟踪得到的每一个目标在当前帧图像中的位置，判断每一个目标是否通过预设的计数线，得到通过计数线的目标的个数，并相应增加目标计数值，同时，去除对通过计数线的目标的下一次跟踪；

检测模块，其用于：将当前帧图像输入到已完成学习训练的深度卷积网络，计算深度卷积网络的输出，检测每一个目标可能出现的位置；

处理模块，其用于：去除检测得到的目标和跟踪得到的目标中相互重叠的目标，得到新增的目标；

更新模块，其用于：根据新增的目标，更新目标跟踪器。

7.如权利要求6所述的面向图像序列的视觉目标动态计数系统，其特征在于，所述初始化模块具体用于：

准备一幅图像，用矩形框在该图像中标注出每一个目标出现的位置，并将标注后的图像作为训练图像；

构建用于检测目标位置的深度卷积网络；

将所述训练图像输入到所述深度卷积网络中，计算得到该深度卷积网络的输出结果；

根据该深度卷积网络的输出结果与训练图像中标注得到的目标位置，计算得到深度卷积网络输出结果的误差、以及深度卷积网络的参数；

利用梯度下降算法更新深度卷积网络的参数，完成深度卷积网络的更新；

重复计算得到深度卷积网络输出结果的误差，直至深度卷积网络输出结果的误差小于预设的阈值，完成深度卷积网络的学习训练。

8.如权利要求6所述的面向图像序列的视觉目标动态计数系统，其特征在于，所述跟踪模块具体用于：

从上一帧图像出现的目标中随机选择一个；

根据该目标在上一帧图像中的位置选择候选的搜索区域，计算搜索区域的方向梯度直方图特征z；

根据目标线性分类的核化系数α和目标原始特征x，计算目标可能出现的位置概率图，公式如下：

f(z)＝F^-1(F(k(x,z))⊙α)

找出位置概率图的峰值位置，即为目标在当前帧图像中的预测位置；

根据目标在当前帧图像中的预测位置，重新计算目标线性分类的核化系数α_t和目标原始特征x_t；

更新并保存该目标的线性分类核化系数α和钢筋原始特征x：

α＝(1-η)α_t-1+ηα_t

x＝(1-η)x_t-1+ηx_t

式中，η为学习因子，α_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数，α_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数，x_t-1为根据钢筋目标在上一帧图像J1中的预测位置重新计算目标线性分类的核化系数目标原始特征，x_t为根据钢筋目标在当前帧图像J2中的预测位置重新计算目标线性分类的核化系数目标原始特征；

重复更新目标的线性分类核化系数α和钢筋原始特征x，至所有目标都已跟踪完成，得到目标在当前帧图像中的位置。

9.如权利要求6所述的面向图像序列的视觉目标动态计数方法，其特征在于，所述检测模块具体用于：

从输入的当前帧图像中提取待检测区域图像块，并输入到已完成学习训练的深度卷积网络；

通过前向传播计算深度卷积网络的输出，输出结果中每一个网格都对可能出现的钢筋的位置和大小进行了预测；

剔除预测结果中相互重叠的候选钢筋目标；

对所有预测结果中的候选钢筋目标，根据预测的可信度进行从高到低的排序，将可信度前若干名的候选钢筋作为钢筋检测结果。

10.如权利要求6所述的面向图像序列的视觉目标动态计数系统，其特征在于，所述更新模块具体用于：

根据输入的当前帧图像、以及检测到的新增的目标，提取目标的方向梯度直方图特征x；

生成线性分类器训练样本的标签，该线性分类器中所有样本都是通过原始的目标样本经过循环移动产生的，这些样本对应的标签可以通过一个二维高斯函数来实现；

求解线性分类器w使得线性回归函数f(x)＝w^Tx在x_m,n上的响应与y_m,n的平方误差最小，即：

其中λ是正则化系数，w为线性分类器，y_m,n为横坐标为m、纵坐标为n处的回归目标，f(x_m,n)横坐标为m、纵坐标为n处的线性回归函数；

通过核化处理，该线性分类器可以通过下式求解：

其中F(·)和F^-1(·)分别表示二维傅里叶变换和二维逆傅里叶变换；

保存线性分类核化系数α和目标特征x，为后续的目标跟踪做准备。