CN106530328A - 一种基于视频图像对运动目标检测和平滑跟随的方法 - Google Patents

Abstract

本发明提供了一种基于视频图像对运动目标检测和平滑跟随的方法，其包括以下步骤：对图像序列进行预处理得到前景图；采用轮廓识别的方法筛选出所有运动目标；通过降维度来快速计算运动物体的水平位置；通过边界层策略来平滑目标的运动状态；生成模特机器人跟随运动的角速度曲线。本发明的优势在于，算法简单易行，能够快速识别移动目标，并且对硬件配置环境要求较低，可以广泛的应用在模特机器人视觉系统中，在实现模特机器人平滑跟随移动目标运动的同时也避免了抖动的现象。

Description

一种基于视频图像对运动目标检测和平滑跟随的方法

技术领域

本发明涉及视频图像处理技术领域，特别涉及一种基于视频图像对运动目标检测和平滑跟随的方法。

背景技术

传统的橱窗模特只能静态的展示衣物，将模特机器人用于时尚展示，则可以通过机器人与顾客的互动，来吸引顾客驻足，从而大大增加客流量。本发明提供了一种基于视频图像对运动目标检测和平滑跟随的方法，应用于模特机器人的视觉系统中，实现其对运动目标的识别和平滑跟随，当行人出现或在模特前面经过时，模特机器人可以做出转体跟随或其它交互形式。

比较常见的基于视频的目标跟踪方法，是通过特征提取和目标跟踪来实现对确定目标的检测和跟踪，但商场橱窗中的模特面对的行人在不断变化，无法提前预设确定的目标。更普遍的基于机器学习的神经网络、深度学习及SVM等方法，通过大量行人或人脸样本对分类器进行训练，再对视频图像进行检测，但对硬件环境的运算速度有较高的要求。

本发明提供的方法无需预设目标特征，通过优化计算使运动目标的识别速度大大提高，降低了对硬件配置的要求，实现了模特机器人对运动目标的跟随互动。

发明内容

本发明提供了一种用于模特机器人的运动目标快速识别和平滑跟随的方法，降低了算法对图像分辨率和硬件运算速度的依赖，实现了对运动目标的实时平滑跟踪，其具体包括步骤如下：

步骤一，对图像序列进行预处理得到前景图。

在预处理环节中，为了增加后续运算的效率，可以对数字视频图像的大小进行调整，减少像素点的数量。

步骤二，采用轮廓识别的方法筛选出所有运动目标。具体流程如下：

对步骤一得到的前景图分别进行形态学的开运算和闭运算，用于消除和填充图像的细小空洞；然后将过滤掉细小空洞的前景图，依次提取所有运动物体的轮廓；再将这些轮廓进行像素填充，使其成为图像实体；最后根据实体面积选择合适的阈值，过滤掉尺寸较小噪声点。

步骤三，通过降维度来快速计算运动物体的水平位置。进一步包括如下步骤：

(1)，生成出运动目标像素的水平坐标直方图。

将步骤二得到的含有所有运动目标的图像投影到其水平方向，并沿着水平方向统计运动物体所占像素的数量，形成像素的水平坐标直方图。

(2)，根据上述直方图，选取合适的阈值，确定运动目标的边界。

首先，过滤小尺寸的运动物体，根据运动物体像素的水平坐标直方图，选择合适的竖直方向像素数量为阈值，从而过滤掉尺寸较小的运动物体。然后，合并被空洞分离的运动物体，根据所有运动物体水平方向的距离，选择合适的阈值，将距离相近的运动物体合并为一个整体，从而将由于运动物体中间空洞引起分离的运动物体合并为一个统一体。接下来，过滤微小摆动的物体，根据合并后的运动物体在水平方向的长度，选择合适的阈值，过滤掉运动幅度较小的运动物体。最后，确定运动物体中心位置，根据项目实际场景需要，使用对应策略来选择对应的运动物体，最终作为待跟踪的运动目标。

(3)，过滤噪声并最终确定运动目标的中心位置。通过运动目标最近几次的历史位置数据，对当前运动物体的位置进行中值滤波，实现对非线性噪声的过滤，然后再对中值滤波结果进行均值滤波，从而对静态位置实现平滑处理，最终确定运动物体的水平位置。

步骤四，通过边界层的控制策略来平滑目标的运动状态。为了避免运动物体在小范围摆动时模特的小幅度抖动，使用边界层控制策略进行高频滤波，实现对运动目标运动状态的平滑处理，通过增加区间的数量可以提高跟踪精度，反之亦然。

为了更精确的指向运动目标所在的角度，可以将图像像素坐标转化为摄像头视角处理，运动目标在视野中出现的角度计算公式如下：

β₁本次的目标角度，β₀为当前所在角度，θ＝Φ/N为各等分区间对应角度，Φ为摄像头视角，N为等分的区间份数，Δ＝ρ×θ为缓冲带对应角度，ρ为缓冲带长度占区间比例，ρ为经验值，γ为本次检测到的运动物体所在角度，其计算原理如下：

W为图像压缩后的宽度，A为运动物体检测到的实际像素位置。

步骤五，生成模特机器人跟随运动的角速度曲线。根据运动目标的运动状态，对模特机器人进行轨迹规划，实现其对运动目标的平滑转动跟随，跟随的过程中不会抖动。

通过以上步骤，能够快速识别移动目标，选取有效的区域值，提高了模特机器人对运动物体的反应速度，计算效率高，并且对硬件配置环境要求较低，可以广泛的应用在模特机器人视觉系统中，实现了模特机器人对运动目标的平稳、平滑跟随和互动，且成本低，容易为市场所接受。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的操作流程示意图；

图2是计算运动物体水平位置的流程示意图；

图3是区间控制策略的模型示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的技术方案更清晰，下面将结合本发明的方法流程，参见图1，对发明实施中的技术实施细节做进一步详细的描述和解释。

第一，对图像序列进行预处理得到前景图，即通过摄像头取像，本发明使用了640*480分辨率的USB摄像头。

使用高斯混合模型，提取当前帧彩色图像的前景图像，作为之后处理的二值图像。由于模特跟随对于运动目标位置的精度的要求不高，为了减少后续图像的计算量，在提取前景图像前，可以先将摄像头获取的视频图像的大小等比例调整到指定宽度，本发明调整后的图像分辨率为400*300。

第二，采用轮廓识别的方法筛选出所有运动目标。

首先，对第二步得到的二值前景图像分别进行形态学的开运算和闭运算，用于消除和填充图像的细小空洞；其次，依次提取出前景图像中所有运动物体的轮廓，根据轮廓形状使用近似多边形结构构成封闭实体；然后，取得多边形的最小内切矩形，对于矩形面积不在有效范围(【200，30000】)内运动物体的进行舍弃，从而过滤掉尺寸较小噪声点；最后，填充筛选过后的所有运动目标的轮廓，将轮廓填充为运动目标图像实体。

第三，通过降维度来快速计算运动物体的水平位置。

(1)，使用第三步得到的运动目标实体图像，沿着图像水平方向依次统计运动目标像素的水平坐标直方图，将运动目标的二值图像投影到其水平方向，并沿着水平方向统计运动物体所占像素的数量，形成运动目标像素的水平坐标直方图。

(2)，过滤小尺寸的运动物体，根据图像在竖直方向的像素数量，对于每个像素数量不在有效范围(【20，280】)内的水平坐标进行过滤，认为是运动目标的有效坐标值。

(3)，合并被空洞分离的运动物体，运动目标在水平方向的投影长度反映了到摄像头的距离或者在水平方向的运动幅度，根据水平方向的连续有效坐标确定所有可能的有效区域，各区域边界为所有可能运动物体在水平方向的边界，合并区域边界间隔长度小于阈值(15像素)的区域，作为同一个连通区域，即如果出现不小于阈值(15像素)列没在有效范围内，则认为阈值(15像素)列前是上一个运动目标的结束位置，直到遇到下一个像素值在有效范围的列，则认为是新的运动目标的起点。

(4)，过滤微小摆动的物体，根据运动物体在水平方向的长度，舍弃掉水平方向长度不在有效范围(【30，200】)内的所有运动物体，来过滤掉运动幅度较小的运动物体和光亮突变或摄像头抖动导致的视屏整个画面被作为运动目标的情况。

(5)，确定运动物体中心位置，对于所有运动物体的水平方向的长度，根据项目实际场景需要，找到对应的目标区间作为运动物体在水平方向的有效范围，本发明选择距离摄像头最近或者在水平方向运动幅度最大的运动目标作为待跟踪对象，即选择水平方向长度最大的运动目标，并取其中间点作为运动物体的中心位置。如果应用需要对所有运动物体进行标识，则可以将当前筛选出的所有运动物体作为被跟踪对象。

(6)，去除中心位置的非线性噪声信号，对检测到的运动物体在图像中的位置，使用运动目标的历史像素位置对当前位置进行中值滤波，中值滤波表达式如下：

B₀＝Med{x₀，x₁，…，x_m-1}

B0为中值滤波结果，m为中值滤波窗口长度，为奇数的经验值(5)，经过对比选择5已经可以很好的抑制非线性噪声，x_i为当前视频帧往前第i次检测到的运动目标位置，x₀为当前帧图像，i＝0,1,…,m-1。

(7)，运动目标中心位置的平滑处理，使用运动目标的历史平滑处理结果和当前中值滤波结果，进行均值滤波，均值滤波表达式如下：

A为均值滤波结果，n为均值滤波窗口(3)，A_i为当前视频帧往前第i次计算得到的均值。

(8)，过滤运动目标的小幅抖动，如果均值滤波的结果距离跟踪设备的当前像素绝对位置的间距小于阈值(2像素)，则认为是小幅度抖动从而忽略本次运动目标的转动跟随。

第四，通过边界层的控制策略来平滑目标的运动状态。

为了更精确的指向到运动目标所在的角度，可以将图像像素坐标值转化为摄像头视角处理。为了避免运动物体在小范围摆动时模特的小幅度抖动，使用边界层控制策略实现高频滤波，使得模特的跟随仅为跨区间运动，实现对运动目标运动状态的平滑处理，通过增加区间的数量可以提高跟随精度，反之亦然。边界层控制策略的模型结构，参考图3，将摄像头视角等分为多个区间及缓冲带，模特机器人跟随当前运动目标转动的目标角度计算公式如下：

β₁本次的目标角度，β₀为当前所在角度，θ＝Φ/N为各等分区间对应角度，Φ为摄像头视角，本实例中的USB摄像头为60度视角，N为等分的区间份数，作为经验值本实例为10，Δ＝ρ×θ为缓冲带对应角度，ρ为缓冲带长度占区间比例，ρ作为经验值本实例为10％，γ为本次检测到的运动物体所在角度，其计算原理如下：

W为图像压缩后的宽度，本实例中计算使用的压缩后图像宽度为400像素，A为均值滤波结果，即运动物体检测到的实际像素位置。

第五，生成模特机器人跟随运动的角速度曲线。

根据运动目标的运动状态，对模特机器人进行轨迹规划，实现其对运动目标的转动跟随。本实例中转体跟随角速度使用了跟角度最简单的线性关系，即使用了固定的时间进行跟随，直到模特机器人转动的剩余角度小于一个角速度单位停止，本实例中规划的角速度表达式如下：

t为固定的转动时间，本实例使用1s，ω为跟随角速度，意味着任何角度差都会在一秒中转到，角度大的时候转动快，角度小的时候转动慢，也符合一般人对于运动目标的跟随形态,本设计举例在模特机器人的识别、判断、跟随运动，但是不应该局限于本发明所列举的实施例，其它等同的实施方式，也应该属于本发明的保护范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于视频图像对运动目标检测和平滑跟随的方法，其特征在于，包括以下步骤：

步骤一：对图像序列进行预处理得到前景图；

步骤二：采用轮廓识别的方法筛选出所有运动目标；

步骤三：通过降维度来快速计算运动物体的水平位置，具体包括：(1)生成运动目标像素的水平坐标直方图；(2)根据上述直方图，选取合适的阈值，确定运动目标的边界；(3)过滤噪声并最终确定运动目标的中心位置；

步骤四：通过边界层策略来平滑目标的运动状态，边界层策略是通过高频滤波的方式，实现对运动目标运动状态的平滑处理；

步骤五：生成模特机器人跟随运动的角速度曲线。

2.根据权利要求1所述的基于视频图像对运动目标检测和平滑跟随的方法，其特征在于，通过降维度方法，将图像投影到水平坐标方向，降低图像后续的计算量。

3.根据权利要求1所述的基于视频图像对运动目标检测和平滑跟随的方法，其特征在于，步骤四中，使用边界层控制策略实现高频滤波，实现对运动目标运动状态的平滑处理，通过增加区间的数量可以提高跟踪精度，为了更精确的指向运动目标所在的角度将图像像素坐标转化为摄像头视角处理，运动目标在视野中出现的角度计算公式如下：

${\mathrm{\&beta;}}_1=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_0,& |\mathrm{\&gamma;}-{\mathrm{\&beta;}}_0|<0.5\&times;(\mathrm{\&theta;}+\mathrm{\&Delta;})\\ (i-0.5)\&times;\mathrm{\&theta;},& |\mathrm{\&gamma;}-{\mathrm{\&beta;}}_0|>=0.5\&times;(\mathrm{\&theta;}+\mathrm{\&Delta;})\\ & i=\&lsqb;\frac{\mathrm{\&gamma;}}{\mathrm{\&theta;}}\&rsqb;+1\end{array}\right.$

β₁本次的目标角度，β₀为当前所在角度，θ＝Φ/N为各等分区间对应角度，Φ为摄像头视角，N为等分的区间份数，Δ＝ρ×θ为缓冲带对应角度，ρ为缓冲带长度占区间比例，ρ为经验值，γ为本次检测到的运动物体所在角度，其计算原理如下：

$\mathrm{\&gamma;}=\arctan \&lsqb;A\&times;\frac{2\&times;\tan (0.5\&times;\mathrm{\&Phi;})}{W}\&rsqb;$

W为图像压缩后的宽度，A为运动物体检测到的实际像素位置。

4.根据权利要求1所述的基于视频图像对运动目标检测和平滑跟随的方法，其特征在于，根据运动目标的运动状态，对模特机器人进行轨迹规划，实现其对运动目标平滑的跟随转动。