CN105741325B - 一种跟踪移动目标的方法及移动目标跟踪设备 - Google Patents

Abstract

本发明公开了一种跟踪移动目标的方法及移动目标跟踪设备，属于机器视觉技术领域；方法包括：步骤S1，采用图像采集装置对移动目标进行采集；步骤S2，确定采集到的移动目标在第一帧图像中的初始位置；步骤S3，根据当前帧图像中移动目标的位置，处理得到下一帧图像中移动目标的预测位置；步骤S4，结合预测位置，处理得到移动目标在下一帧图像中的真实位置；步骤S5，根据真实位置，对每个转向控制装置进行控制，以使每个图像采集装置对移动目标进行跟踪，随后返回步骤S3。上述技术方案的有益效果是：解决跟踪高速移动的目标时目标发生形变导致的目标定位失败等问题，提升跟踪采集高速移动目标的图像信息的准确性。

Description

一种跟踪移动目标的方法及移动目标跟踪设备

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种跟踪移动目标的方法及移动目标跟踪设备。

背景技术

主动视觉的概念最早于20世纪80年代被提出，其主要思想是通过算法控制改变相机的参数，以实现视觉系统的主动化，大多数主动视觉的机器系统被运用于机器人、驾驶辅助以及目标跟踪等领域。

现有技术中，应用主动视觉的目标跟踪处理方法主要包括1)基于颜色的定位跟踪方法；2)利用相邻帧之间的差异来实现定位跟踪的方法；3)利用均值飘移的算法达到定位并跟踪的目的的方法；4)利用预设模板在图像中搜索匹配从而实现定位并跟踪的目的的方法。上述几种目标跟踪处理方法均具有其固有的局限性，利用上述几种目标跟踪处理方法在较为复杂的场景下对高速的移动目标进行定位跟踪时，往往会因为目标高速移动下发生形变，或者受到复杂背景噪声的影响而容易出现目标丢失的情况，或者因此降低目标跟踪的精确度。换言之，现有技术中存在的上述几种目标跟踪方法都无法适用于在较为复杂的场景下对高速的移动目标进行定位跟踪的情形。

发明内容

根据现有技术中存在的上述问题，现提供一种跟踪移动目标的方法及移动目标跟踪设备的技术方案，旨在解决跟踪高速移动的目标时目标发生形变导致的目标定位失败等问题，能够提升跟踪采集高速移动目标的图像信息的准确性；

上述技术方案具体包括：

一种跟踪移动目标的方法，适用于工业生产领域；其中，固定设置多个图像采集装置，每个所述图像采集装置设置在一对应的转向控制装置，还包括：

步骤S1，采用多个图像采集装置分别对所述移动目标进行采集；

步骤S2，针对每个所述图像采集装置，分别确定采集到的所述移动目标在第一帧图像中的初始位置；

步骤S3，针对每个所述图像采集装置，分别根据当前帧图像中所述移动目标的位置，处理得到下一帧图像中所述移动目标的预测位置；

步骤S4，结合每个所述图像采集装置对应的所述预测位置，处理得到所述移动目标在所述下一帧图像中的真实位置；

步骤S5，根据所述真实位置，分别对每个所述转向控制装置进行控制，以分别使每个所述图像采集装置对所述移动目标进行跟踪，随后返回所述步骤S3。

优选的，该跟踪移动目标的方法，其中，所述图像采集装置为相机，所述转向控制装置为提供多维度转向功能的云台装置。

优选的，该跟踪移动目标的方法，其中，所述步骤S2具体包括：

步骤S21，分别获取每个所述图像采集装置采集得到的所述第一帧图像；

步骤S22，分别对每个所述第一帧图像进行全局搜索；

步骤S23，根据搜索结果分别确认所述移动目标于每个所述第一帧图像中的所述初始位置。

优选的，该跟踪移动目标的方法，其中，所述步骤S3中：

若所述当前帧图像为所述第一帧图像，则以所述初始位置为依据处理得到所述下一帧图像中的所述预测位置；

若所述当前帧图像不为所述第一帧图像，则以关联于所述当前帧图像的所述预测位置为依据处理得到所述下一帧图像中的所述预测位置。

优选的，该跟踪移动目标的方法，其中，对于所述移动目标，预设一最大移动速度

所述步骤S3具体包括：

步骤S31，根据所述当前帧图像中所述移动目标的位置以及所述最大移动速度处理得到所述下一帧图像中所述移动目标的潜在位置区域；

步骤S32，分别计算得到所述潜在位置区域内的每个像素点的梯度值；

步骤S33，根据所述梯度值，在所述潜在位置区域内进行椭圆拟合定位，以在所述下一帧图像中找到所述移动目标的所述预测位置。

优选的，该跟踪移动目标的方法，其中，所述步骤S33中，所述椭圆拟合定位的方法包括：

步骤S331，于所述潜在位置区域内确定一个所述像素点作为椭圆的中心位置；

步骤S332，设定关联于所述椭圆的x轴方向的第一轴长，以及关联于所述椭圆的y轴方向的第二轴长；

所述第一轴长包括在一预设的第一轴长范围内，所述第二轴长包括在一预设的第二轴长范围内；

步骤S333，将所述椭圆的圆周上所有所述像素点的坐标记录在一坐标集合中：

C＝{p₁,p₂,p₃……p_N}；

其中，

C表示所述坐标集合；

p₁,p₂,p₃……p_N分别表示所述圆周上的每个所述像素点的坐标；

下标N表示所述圆周上的所述像素点的数量；

步骤S334，根据下述公式计算得到所述椭圆的权值并记录：

其中，

表示所述椭圆的所述权值；

p_i表示所述坐标集合中的第i个所述像素点的坐标；

dir_i表示第i个所述像素点的所述梯度值；

Sqrt表示平方根运算；

步骤S335，判断所述潜在位置区域中是否存在尚未被选择作为所述中心位置的所述像素点：

若是，则返回所述步骤S1；

步骤S336，选择所述权值最大的所述椭圆，以作为所述下一帧图像中的所述移动目标的所述预测位置。

优选的，该跟踪移动目标的方法，其中，所述图像采集装置的数量为两个；

所述步骤S4具体包括：

步骤S41，分别计算得到所述移动目标所在的图像坐标系与每个所述图像采集装置所在的相机坐标系之间的转换关系；

步骤S42，分别计算得到每个所述图像采集装置所在的所述相机坐标系与世界坐标系之间的转换关系；

步骤S43，分别将每个所述图像采集装置对应的所述下一帧图像中处理得到的所述预测位置转换成处于所述世界坐标系中的所述真实位置。

优选的，该跟踪移动目标的方法，其中，所述步骤S5具体包括：

步骤S51，分别根据所述真实位置确定每个所述图像采集装置的第一转向状态；

步骤S52，分别根据每个所述图像采集装置与对应的所述转向控制装置的位置关系，确定对应每个所述图像采集装置的所述转向控制装置的第二转向状态；

步骤S53，分别根据每个所述第二转向状态生成对应的转向控制指令，并向每个所述转向控制装置下发所述转向控制指令，以对每个所述转向控制装置进行控制。

一种移动目标跟踪设备，适用于工业生产领域；其中，包括：

多个图像采集装置，每个所述图像采集装置设置在一个对应的转向控制装置上；

指令控制装置，分别连接每个所述转向控制装置；

所述指令控制装置采用如权利要求1-8所述的跟踪移动目标的方法分别对每个所述转向控制装置进行控制，以分别使每个所述图像采集装置对所述移动目标进行跟踪。

优选的，该移动目标跟踪设备，其中，所述图像采集装置为相机，所述转向控制装置为提供多维度转向功能的云台装置。

上述技术方案的有益效果是：

1)提供一种跟踪移动目标的方法，能够解决跟踪高速移动的目标时目标发生形变导致的目标定位失败等问题，提升跟踪采集高速移动目标的图像信息的准确性；

2)提供一种移动目标跟踪设备，能够支持实现上述跟踪移动目标的方法。

附图说明

图1是本发明的较佳的实施例中，一种跟踪移动目标的方法的总体流程示意图；

图2是本发明的较佳的实施例中，于图1的基础上，获取第一帧图像中移动目标的初始位置的流程示意图；

图3是本发明的较佳的实施例中，于图1的基础上，处理得到每帧图像中的预测位置的流程示意图；

图4是本发明的较佳的实施例中，于图3的基础上，进行椭圆拟合定位的流程示意图；

图5是本发明的较佳的实施例中，于图1的基础上，根据预测位置转换得到移动目标的真实位置的流程示意图；

图6是本发明的较佳的实施例中，于图1的基础上，根据真实位置对转向控制装置进行控制的流程示意图；

图7是本发明的较佳的实施例中，一种移动目标跟踪设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

在描述本发明的具体内容之前，首先将现有技术中存在的上述几种目标跟踪方法做详细的描述：

1)基于颜色的定位跟踪方法。这种方法通常通过训练样本的反复训练对移动目标区域内的像素点颜色进行建模，采用获得的模型对图像进行二值化处理，随后通过联通区域检测方法提取出目标。

这种目标跟踪方法可以实现高速的目标跟踪，并且能够在背景较为简单的场景下准确定位出移动目标。但是这种方法受背景噪声以及光照变化的影响较大，无法在背景较为复杂的场景下使用。

2)利用相邻帧之间的差异来实现定位跟踪的方法，也即帧差法。这种方法主要通过计算相邻帧之间的差异，并提取差异相关的像素，再通过连通区域检测并提取正在运动的目标，以实现目标定位并跟踪的目的。

帧差法能够在背景静止的情景下精确定位目标，但是该定位过程的时间效率较低，难以满足在动态背景中对移动目标进行跟踪的要求。

3)利用均值飘移的算法达到定位并跟踪的目的的方法，也即MeanShift算法。这种方法是通过人机交互的方式对被跟踪的目标进行初始化，对于选择区域内的所有像素点进行颜色直方图的统计，并以统计结果作为特征对移动目标进行跟踪。MeanShift方法中，利用相似性函数度量初始帧的目标木星和当前帧的候选模型之间的相似性，并通过求相似性函数最大的方式得到关于目标的MeanShift向量，这个向量即为目标从初始位置向正确位置转移的向量。由于MeanShift算法具有收敛性的特点，因此不断迭代计算MeanShift向量能够在当前帧中得到最终目标，该最终目标会收敛到目标的真实位置，从而可以达到跟踪移动目标的目的。

MeanShift算法能够在一定程度上克服复杂背景的场景下对移动目标的跟踪问题，但是该算法本身较容易出现目标丢失的情况，尤其在目标高速移动的情形下定位目标的精确度较低。

4)利用预设模板在图像中搜索匹配从而实现定位并跟踪的目的的方法，也即模版匹配算法。在这种方法中，首先目标的图像模板，随后在图像指定的搜索区域内寻找与该模板匹配度最高的区域，并将该区域作为目标区域输出。在该算法中，通常采用图像间的相关函数来反映匹配程度。

模板匹配算法可以在较为复杂的背景条件下精确定位目标，但是其定位过程的处理时间较长，处理效率较低，难以满足高速的移动目标的跟踪要求，并且难以识别在高速移动中形态动态变化的目标。

综上，现有技术中尚未存在一种有效的目标跟踪方法应用在背景复杂的场景下对高速移动的目标进行定位跟踪的情形。

则本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种跟踪移动目标的方法，该方法适用于工业生产领域，进一步地，该方法应用主动视觉对高速的移动目标进行跟踪。

本发明的较佳的实施例中，应用上述方法，需要首先固定设置多个图像采集装置，每个图像采集装置设置在一对应的转向控制装置。

进一步地，本发明的较佳的实施例中，上述图像采集装置为相机，上述转向控制装置为云台装置。换言之，应用上述方法需要首先固定设置多个相机，每个相机分别设置在对应的云台装置上。

更进一步地，本发明的较佳的实施例中，上述多个图像采集装置可以为两个高速相机，相应地对应相机设置的云台装置为四维度的高速云台。

所谓高速相机，其帧频可以达到1000FPS(Frames Per Second，每秒传输帧数)，即该相机可以支持在复杂背景的场景下以1000FPS的高帧频实时跟踪高速的移动目标。

所谓四维度的高速云台，可以为在四个维度上自由转动的云台装置，支持将云台装置上的相机移动至任意位置，以及转动至任意方位进行拍摄。

所谓固定设置，是指上述每个相机固定安装在对应的云台装置上。云台装置在其可运动的维度上转动或者移动，以带动相机运动。

本发明的较佳的实施例中，如图1所示，上述跟踪移动目标的方法具体包括：

步骤S1，采用多个图像采集装置分别对移动目标进行采集；

步骤S2，针对每个图像采集装置，分别确定采集到的移动目标在第一帧图像中的初始位置；

步骤S3，针对每个图像采集装置，分别根据当前帧图像中移动目标的位置，处理得到下一帧图像中移动目标的预测位置；

步骤S4，结合每个图像采集装置对应的预测位置，处理得到移动目标在下一帧图像中的真实位置；

步骤S5，根据真实位置，分别对每个转向控制装置进行控制，以分别使每个图像采集装置对移动目标进行跟踪，随后返回步骤S3。

在一个具体实施例中，首先采用多个图像采集装置，以不同的角度获取高速运动的移动目标的第一帧图像，并从该第一帧图像中获取到当前的移动目标所在的位置，以作为初始位置。

该实施例中，在分别确定针对每个第一帧图像的初始位置后，分别针对每个图像采集装置，根据当前帧图像中移动目标的位置，处理得到下一帧图像中移动目标的预测位置。具体地，若当前帧为第一帧图像，则上述当前帧图像中移动目标的位置即为第一帧图像中的初始位置；若当前帧不为第一帧图像，则上述当前帧图像中移动目标的位置即为对应当前帧图像的预测位置。进一步地，所谓当前帧图像，是指当前时刻正在处理的帧图像，所谓下一帧图像，是指该当前帧图像之后的一帧图像，下文中不再赘述。

该实施例中，确定下一帧图像的预测位置后，根据该预测位置转换得到该移动目标在实际场景下的真实位置，该真实位置的获得是通过坐标系转换的方式实现的，具体实现方式在下文中会详述。

该实施例中，确定该移动目标在下一帧图像中对应的真实位置后，分别对每个转向控制装置进行控制，以分别使每个图像采集装置对移动目标进行跟踪，此时对移动目标的采集进入到下一帧图像，则将该下一帧图像作为当前帧图像，并返回上述步骤S3，以继续对高速的移动目标进行跟踪。

该实施例中，上述循环过程可以持续到该移动目标停止移动为止。

本发明的较佳的实施例中，如图2所示，上述步骤S2具体包括：

步骤S21，分别获取每个图像采集装置采集得到的第一帧图像；

步骤S22，分别对每个第一帧图像进行全局搜索；

步骤S23，根据搜索结果分别确认移动目标于每个第一帧图像中的初始位置。

具体地，本发明的较佳的实施例中，上述步骤S21-S23中，针对每个图像采集装置，首先获取该图像采集装置采集得到的第一帧图像。对于图像采集装置采集到的第一帧图像而言，对应的时刻通常为移动目标尚未开始移动的时刻。换言之，此时该移动目标处于静止状态，较容易捕捉到该移动目标在整个图像中的位置。因此，上述步骤S22中，捕捉到第一帧图像之后对其进行全局搜索，以搜索得到第一帧图像中移动目标的初始位置。上述全局扫描并确定第一帧图像中的移动目标的初始位置的方法在现有技术中有较多的实现方式，在此不再赘述。

本发明的较佳的实施例中，对于移动目标，预设一最大移动速度；

则上述步骤S3如图3所示，具体包括：

步骤S31，根据当前帧图像中移动目标的位置以及最大移动速度处理得到下一帧图像中移动目标的潜在位置区域；

步骤S32，分别计算得到潜在位置区域内的每个像素点的梯度值；

步骤S33，根据梯度值，在潜在位置区域内进行椭圆拟合定位，以在下一帧图像中找到移动目标的预测位置。

具体地，本发明的较佳的实施例中，上述最大移动速度可以为5m/s。所谓预设的最大移动速度，是指使用者根据图像采集装置可以承受的移动速度的范围设置的上述移动目标的最大移动速度。换言之，将移动目标的移动速度限制在该预设的最大移动速度之内，可以保证图像采集装置(例如高速相机)能够精确地定位和跟踪移动目标。

在本发明技术方案中定义预设的最大移动速度并不意味着移动目标就不是“高速移动”。相反，移动目标的移动速度可以达到最大移动速度例如5m/s，本质上就说明了该移动目标是“高速移动”的。

则本发明的较佳的实施例中，上述步骤S31中，首先根据当前帧图像中得到的移动目标的位置以及预设的最大移动速度，可以处理得到在下一帧图像中移动目标的潜在位置区域，记为ROI。

附带地，由于移动目标在高速移动时与图像采集装置之间的距离会有变化，与图像采集装置之间形成的夹角也会变化，因此会造成同一个移动目标在不同的帧图像中的目标尺寸不一样，因此同样可以根据当前帧图像中得到的移动目标的位置以及预设的最大移动速度，得到目标尺寸的变化范围，记为[r_min,r_max]，其中r_min表示变化范围内目标尺寸的可能的最小半径，相应地，r_max表示变化范围内目标尺寸的可能的最大半径。

本发明的较佳的实施例中，上述步骤S32中，在得到上述潜在位置区域后，对该潜在位置区域内的每个像素点均做梯度值的计算，第i个像素点的梯度值记为d_i，以便后续定位部分使用。

本发明的较佳的实施例中，上述步骤S33中，最后根据上述计算得到的梯度值，以及上述潜在位置区域内的像素点的分布，在潜在位置区域内进行椭圆拟合定位，以在下一帧图像中找到移动目标的预测位置。

进一步地，本发明的较佳的实施例中，上述步骤S33中，椭圆拟合定位的方法如图4所示，包括：

步骤S331，于潜在位置区域内确定一个像素点作为椭圆的中心位置；

具体地，本发明的较佳的实施例中，上述步骤S331中，确定一个像素点o∈ROI，并将该点o作为一个椭圆的中心点。

步骤S332，设定关联于椭圆的x轴方向的第一轴长，以及关联于椭圆的y轴方向的第二轴长；

第一轴长包括在一预设的第一轴长范围内，第二轴长包括在一预设的第二轴长范围内；

本发明的较佳的实施例中，上述预设的第一轴长范围可以为[x_min,x_max]，即预设一个x轴方向(水平方向)的轴长取值范围。上述预设的第二轴长范围可以为[y_min,y_max]，即预设一个y轴方向(垂直方向)的轴长取值范围。则上述以点o作为中心点的椭圆满足下述公式(1)：

其中，r_x表示上述第一轴长，r_y表示上述第二轴长。

本发明的较佳的实施例中，上述预设的第一轴长范围[x_min,x_max]和上述预设的第二轴长范围[y_min,y_max]均可以通过事先多次实验后得到的实验数据分析获得，以将这两个轴长范围限定为比较合理的数值范围。

综上，上述步骤S331-S332中，在潜在位置区域ROI中确定作为椭圆中心点的点o，以及确定椭圆的x轴方向轴长和y轴方向轴长，从而在下一帧图像中确定一个椭圆的区域。

步骤S333，将椭圆的圆周上所有像素点的坐标记录在一坐标集合中；

上述坐标集合如下所示：C＝{p₁,p₂,p₃……p_N}；

其中，

C表示坐标集合；

p₁,p₂,p₃……p_N分别表示圆周上的每个像素点的坐标；

下标N表示圆周上的像素点的数量，即在一个预设的椭圆的圆周上包括N个像素点；

本发明的较佳的实施例中，上述步骤S333中，可以采用图形学的方法找到以o为椭圆的中心位置，分别以r_x和r_y作为椭圆的轴长的椭圆。

本发明的较佳的实施例中，为了减少运算量，节省运算时间，在上述步骤S333中，可以采用查表法的方式计算得到每个像素点的坐标以形成坐标集合。例如，预先实验得到其中存储有相对坐标的表格，并在初始化部分通过查表计算得到上述坐标集合。

进一步地，本发明的较佳的实施例中，在对坐标集合C中的坐标进行采样时，可以采用隔点采样的方法来进行，即不对圆周上的所有像素点的坐标进行采样，而是相隔一个像素点采样一次坐标，这样做可以在保证椭圆轮廓特征的同时，减少一半的计算量，从而提升计算效率。

步骤S334，计算得到椭圆的权值并记录；

具体地，本发明的较佳的实施例中，上述步骤S334中，采用下述公式计算椭圆的权值：

其中，

表示椭圆的权值；

p_i表示上述坐标集合C中第i个像素点的坐标；

dir_i表示上述坐标集合C中第i个像素点的梯度值；

Sqrt表示平方根运算。

本发明的较佳的实施例中，上述公式(2)中，进行平方根运算的目的在于减少背景噪声的影响，上述公式(2)可以通过哈希表(Hash)的形式进行加速运算，从而节省运算时间。

步骤S335，判断潜在位置区域中是否存在尚未被选择作为中心位置的像素点：

若是，则返回步骤S1；

本发明的较佳的实施例中，步骤S335的目的在于在上述潜在位置区域内进行椭圆的中心位置点o的枚举，以覆盖移动目标的任何可能存在的位置。

步骤S336，选择权值最大的椭圆，以作为下一帧图像中的移动目标的预测位置。

本发明的较佳的实施例中，在上述步骤S336中，找到权值最大的椭圆，则该椭圆就为拟合出的移动目标在下一帧图像中的预测位置，因此将该椭圆对应的中心位置o、轴长r_x和r_y作为该移动目标在下一帧图像中的定位结果，即作为表示预测位置的数值组合输出。

本发明的较佳的实施例中，在理论上存在一种可能，即：在某一帧图像中无法找到移动目标的位置，但是由于上述步骤S336中必定会输出一个权值最大的椭圆作为预测位置，该预测位置就可能是不准确的。为了在理论上杜绝这种可能性，在上述步骤S336中，找到权值最大的椭圆之后，首先判断该权值是否大于一预设的第一阈值th1：

若是，则表示该椭圆为下一帧图像中移动目标的预测位置；

若否，则表示下一帧图像中无法预测得到该移动目标的预测位置，此时直接跳转至下下帧图像，即跳过无法预测得到移动目标的预测位置的该帧图像，并继续根据当前帧图像中移动目标的位置对下下帧图像中移动目标的预测位置进行处理。例如，当前帧为第二帧，而根据第二帧图像中移动目标的位置无法预测得到在第三帧中移动目标的预测位置，则直接跳转至第四帧进行预测，即根据第二帧图像中移动目标的位置预测第四帧图像中移动目标的预测位置，以此类推。

本发明的较佳的实施例中，为了减少运算量，节省运算时间，在对椭圆的中心位置进行枚举时运用剪枝法进行运算，即：

若被枚举的椭圆对应的圆周上前20％的像素点的权值统计的结果小于一预设的第二阈值th2，则直接跳过该椭圆的枚举，而进入下一组椭圆中心位置和轴长的枚举。换言之，在上述步骤S334中，若根据上述坐标集合C中所有像素点进行的权值的统计结果小于上述第二阈值th2，则放弃该枚举的椭圆，并直接返回上述步骤S331，以将潜在位置区域内的另一个像素点作为椭圆的中心位置并进行枚举。

本发明的较佳的实施例中，上述图像采集装置的数量为两个，例如两个高速相机(帧频达1000FPS)；

则上述步骤S4如图5所示，具体包括：

步骤S41，分别计算得到移动目标所在的图像坐标系与每个图像采集装置所在的相机坐标系之间的转换关系；

步骤S42，分别计算得到每个图像采集装置所在的相机坐标系与世界坐标系之间的转换关系；

步骤S43，分别将每个图像采集装置对应的下一帧图像中处理得到的预测位置转换成处于世界坐标系中的真实位置。

具体地，本发明的较佳的实施例中，利用两台图像采集装置得到同一目标在同一时刻下不同视角的图像，分别在图像中定位得到图像像素的坐标系(图像坐标系)之后，利用射线交汇法结合图像采集装置的标定参数(每台相机的标定参数)，得到图像坐标系与相机坐标系之间的转换关系。

随后，本发明的较佳的实施例中，计算相机坐标系与世界坐标系的关系，最终根据上述计算结果，结合图像坐标系与世界坐标系之间的转换关系，将下一帧图像中移动目标的预测位置转换成移动目标位于实际场景中的真实位置。

现有技术中存在较多可以用来实现上述坐标系转换过程的方法，在此不再赘述。

本发明的较佳的实施例中，如图6所示，上述步骤S5具体包括：

步骤S51，分别根据真实位置确定每个图像采集装置的第一转向状态；

步骤S52，分别根据每个图像采集装置与对应的转向控制装置的位置关系，确定对应每个图像采集装置的转向控制装置的第二转向状态；

步骤S53，分别根据每个第二转向状态生成对应的转向控制指令，并向每个转向控制装置下发转向控制指令，以对每个转向控制装置进行控制。

具体地，本发明的较佳的实施例中，所谓第一转向状态，是指根据处理得到的下一帧图像中移动目标对应在实际场景中的真实位置，图像采集装置相应调整形成的一个转向状态，包括图像采集装置需要在哪个维度上转向，转向角度为多少等。

本发明的较佳的实施例中，所谓第二转向状态，是指转向控制装置的转向状态。具体地，可以根据图像采集装置与转向控制装置之间的手眼关系(位置关系)，以及根据上述图像采集装置的第一转向状态，确定转向控制装置的第二转向状态，该第二转向状态同样包括转向控制装置需要在哪个维度上转向，以及转向角度为多少等。对于可以进行上下移动的转向控制装置而言，还可以包括控制上下移动的控制杆的高低位置变化等。

本发明的较佳的实施例中，通过处理得到上述第二转向状态后，根据该第二转向状态向对应的转向控制装置发送转向控制指令，该转向控制指令中可以只给出绝对角度，由转向控制装置自身判断达到该绝对角度需要进行何种转向操作。

综上所述，本发明技术方案中，提供一种跟踪高速的移动目标的方法，该方法中，采用椭圆拟合定位的方式，以当前帧图像中移动目标的位置来预测下一帧图像中移动目标的预测位置，并根据该预测位置实时调整图像采集装置的转向角度及位置。该技术方案能够适应曲率半径不断变化的椭圆目标，能够实时动态提取高速运动目标的三维信息，具有良好的实时性和精确性。同时，针对该技术方案中的上述计算过程的特点设计了很多算法优化方案，可以在不影响预测精度的前提下提高运算效率。因此，本发明技术方案能够解决在较为复杂背景的场景下对高速移动目标进行定位和跟踪的问题。

本发明的较佳的实施例中，基于上文中所述的跟踪移动目标的方法，还提供一种移动目标跟踪设备，该设备同样适用于工业生产领域；

则该设备的结构如图7所示，具体包括：

多个图像采集装置1，每个图像采集装置1设置在一个对应的转向控制装置2上；

指令控制装置3，分别连接每个转向控制装置2；

本发明的较佳的实施例中，上述指令控制装置3采用上文中所述的跟踪移动目标的方法分别对每个转向控制装置进行控制，以分别使每个图像采集装置对移动目标进行跟踪。

本发明的较佳的实施例中，如上文中所述，上述图像采集装置为相机，上述转向控制装置为提供多维度转向功能的云台装置。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (9)

1.一种跟踪移动目标的方法，适用于工业生产领域；其特征在于，固定设置多个图像采集装置，每个所述图像采集装置设置在一对应的转向控制装置，还包括：

步骤S1，采用多个图像采集装置分别对所述移动目标进行采集；

步骤S2，针对每个所述图像采集装置，分别确定采集到的所述移动目标在第一帧图像中的初始位置；

步骤S3，针对每个所述图像采集装置，分别根据当前帧图像中所述移动目标的位置，处理得到下一帧图像中所述移动目标的预测位置；

步骤S4，结合每个所述图像采集装置对应的所述预测位置，处理得到所述移动目标在所述下一帧图像中的真实位置；

步骤S5，根据所述真实位置，分别对每个所述转向控制装置进行控制，以分别使每个所述图像采集装置对所述移动目标进行跟踪，随后返回所述步骤S3；

对于所述移动目标，预设一最大移动速度；

所述步骤S3具体包括：

步骤S31，根据所述当前帧图像中所述移动目标的位置以及所述最大移动速度处理得到所述下一帧图像中所述移动目标的潜在位置区域；

步骤S32，分别计算得到所述潜在位置区域内的每个像素点的梯度值；

步骤S33，根据所述梯度值，在所述潜在位置区域内进行椭圆拟合定位，以在所述下一帧图像中找到所述移动目标的所述预测位置。

2.如权利要求1所述的跟踪移动目标的方法，其特征在于，所述图像采集装置为相机，所述转向控制装置为提供多维度转向功能的云台装置。

3.如权利要求1所述的跟踪移动目标的方法，其特征在于，所述步骤S2具体包括：

步骤S21，分别获取每个所述图像采集装置采集得到的所述第一帧图像；

步骤S22，分别对每个所述第一帧图像进行全局搜索；

步骤S23，根据搜索结果分别确认所述移动目标于每个所述第一帧图像中的所述初始位置。

4.如权利要求1所述的跟踪移动目标的方法，其特征在于，所述步骤S3中：

若所述当前帧图像为所述第一帧图像，则以所述初始位置为依据处理得到所述下一帧图像中的所述预测位置；

若所述当前帧图像不为所述第一帧图像，则以关联于所述当前帧图像的所述预测位置为依据处理得到所述下一帧图像中的所述预测位置。

5.如权利要求4所述的跟踪移动目标的方法，其特征在于，所述步骤S33中，所述椭圆拟合定位的方法包括：

步骤S331，于所述潜在位置区域内确定一个所述像素点作为椭圆的中心位置；

步骤S332，设定关联于所述椭圆的x轴方向的第一轴长，以及关联于所述椭圆的y轴方向的第二轴长；

所述第一轴长包括在一预设的第一轴长范围内，所述第二轴长包括在一预设的第二轴长范围内；

步骤S333，将所述椭圆的圆周上所有所述像素点的坐标记录在一坐标集合中：

C＝{p₁,p₂,p₃……p_N}；

其中，

C表示所述坐标集合；

p₁,p₂,p₃……p_N分别表示所述圆周上的每个所述像素点的坐标；

下标N表示所述圆周上的所述像素点的数量；

步骤S334，根据下述公式计算得到所述椭圆的权值并记录：

其中，

表示所述椭圆的所述权值，o表示所述椭圆的所述中心位置；

p_i表示所述坐标集合中的第i个所述像素点的坐标；

dir_i表示第i个所述像素点的所述梯度值；

Sqrt表示平方根运算；

步骤S335，判断所述潜在位置区域中是否存在尚未被选择作为所述中心位置的所述像素点：

若是，则返回所述步骤S1；

步骤S336，选择所述权值最大的所述椭圆，以作为所述下一帧图像中的所述移动目标的所述预测位置。

6.如权利要求1所述的跟踪移动目标的方法，其特征在于，所述图像采集装置的数量为两个；

所述步骤S4具体包括：

步骤S41，分别计算得到所述移动目标所在的图像坐标系与每个所述图像采集装置所在的相机坐标系之间的转换关系；

步骤S42，分别计算得到每个所述图像采集装置所在的所述相机坐标系与世界坐标系之间的转换关系；

步骤S43，分别将每个所述图像采集装置对应的所述下一帧图像中处理得到的所述预测位置转换成处于所述世界坐标系中的所述真实位置。

7.如权利要求1所述的跟踪移动目标的方法，其特征在于，所述步骤S5具体包括：

步骤S51，分别根据所述真实位置确定每个所述图像采集装置的第一转向状态；

步骤S52，分别根据每个所述图像采集装置与对应的所述转向控制装置的位置关系，确定对应每个所述图像采集装置的所述转向控制装置的第二转向状态；

步骤S53，分别根据每个所述第二转向状态生成对应的转向控制指令，并向每个所述转向控制装置下发所述转向控制指令，以对每个所述转向控制装置进行控制。

8.一种移动目标跟踪设备，适用于工业生产领域；其特征在于，包括：

多个图像采集装置，每个所述图像采集装置设置在一个对应的转向控制装置上；

指令控制装置，分别连接每个所述转向控制装置；

所述指令控制装置采用如权利要求1-7中任意一项所述的跟踪移动目标的方法分别对每个所述转向控制装置进行控制，以分别使每个所述图像采集装置对所述移动目标进行跟踪。

9.如权利要求8所述的移动目标跟踪设备，其特征在于，所述图像采集装置为相机，所述转向控制装置为提供多维度转向功能的云台装置。