CN102360423A - 一种人体智能跟踪方法 - Google Patents

Abstract

本发明公开了一种人体智能跟踪方法，对图像进行处理获取跟踪对象当前帧位置，并预测跟踪对象运动方向；判断所述跟踪对象当前帧位置是否在当前画面的中心区域，如果是，则不调整摄像头；如果否，根据所述跟踪对象运动方向调整摄像头；根据所述跟踪对象当前帧位置，设置第三阈值的范围作为感兴趣区域，在所述感兴趣区域内对跟踪对象进行跟踪。本发明不需要任何辅助定位装置，不受跟踪角度的限制，能全方位地跟踪人体，鲁棒性不受外界的影响；本发明实施例不局限于教学录播，还适用于室内且人体不密集的环境下，比如会议、室内人体跟踪和室内监控等相关应用。

Description

一种人体智能跟踪方法

技术领域

本发明涉及智能跟踪，特别涉及一种人体智能跟踪方法。

背景技术

图像跟踪技术是重要技术之一，在采集的图像中检测出人体所在位置，控制相应摄像头的运动，使跟踪对象始终保持在画面中间。当前图像跟踪方法有红外探测技术和超声波探测技术等，其中红外探测技术采用跟踪对象佩戴红外发射装置，摄像机根据红外接收装置接收的红外信号，决定摄像机的拍摄位置。但红外跟踪存在的问题是抗干扰性差，易受环境中的可见光、日光灯等热光源的影响，而且需辅助装置，当跟踪对象转身时会造成红外信号的丢失，无法判断拍摄方向，影响定位的准确性和实时性。超声波探测技术将多个具有特殊频率的超声波发射和超声波接收装置安装在跟踪对象的附近，根据超声波接收装置接收的反射波变化判定跟踪对象的位置，决定摄像机拍摄的方向。由于超声波的发射角度比较大，因此拍摄方位的角度不太高，不能360度跟踪目标。另外，此技术也需要辅助设备，且长时间的超声波辐射对人体健康有害。

发明人实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

红外探测技术和超声波探测技术都有跟踪角度的限制，鲁棒性受外界的影响。

发明内容

本发明要解决的技术问题在于提供一种人体智能跟踪方法，本发明通过运动目标检测和人体分级检测，实现了较准确地检测出人体正面、人体侧面及人体背面，在人体转身和走动时，能准确地定位和全方位的跟踪，且不受环境光线变化的影响；在多人的情况下，可选择不同的策略选定跟踪对象，结合方向预测调整摄像头的位置，实现平滑的跟踪效果，详见下文描述：

一种人体智能跟踪方法，所述方法包括以下步骤：

对图像进行处理获取跟踪对象当前帧位置，并预测跟踪对象运动方向；

判断所述跟踪对象当前帧位置是否在当前画面的中心区域，如果是，则不调整摄像头；如果否，根据所述跟踪对象运动方向调整摄像头；

根据所述跟踪对象当前帧位置，设置第三阈值的范围作为感兴趣区域，在所述感兴趣区域内对跟踪对象进行跟踪。

所述对图像进行处理获取跟踪对象当前帧位置，并预测跟踪对象运动方向具体包括：对所述图像进行处理提取包含人体的候选运动区域；在所述候选运动区域中，获取人体目标；根据所述人体目标，确定跟踪对象，获取并记录跟踪对象当前帧位置；根据所述跟踪对象当前帧位置预测所述跟踪对象运动方向。

所述根据所述跟踪对象当前帧位置预测所述跟踪对象运动方向具体包括：

设跟踪对象当前帧位置为(x_k，y_k)，前一帧位置为(x_k-1，y_k-1)，如果x_k-x_k-1＞0，运动方向为水平正方向；如果x_k-x_k-1＜0，运动方向为水平反方向；如果y_k-y_k-1＞0，运动方向为垂直正方向；如果y_k-y_k-1＜0，运动方向为垂直反方向。

所述对所述图像进行处理提取包含人体的候选运动区域具体包括：

通过所述图像获取差分图像；对所述差分图像进行处理获取一个或多个连通区域；对所述连通区域进行分析判断，舍去小于第二阈值的连通区域，获取所述候选运动区域。

所述在所述候选运动区域中，获取人体目标具体包括：

1)对所述候选运动区域进行检测，判断是否检测到人的正脸，如果是，获取人体目标；如果否，执行步骤2)；

2)对所述候选运动区域进行检测，判断是否检测到人的侧脸，如果是，获取人体目标；如果否，执行步骤3)；

3)在获取的所述一个或多个连通区域里进行头肩轮廓提取，判断是否提取成功，如果是，获取人体目标；如果否，则不存在人体目标。

所述根据所述人体目标，确定跟踪对象具体为：

1)判断人体数目是否是一个，如果是，则所述人体目标作为跟踪对象，如果否，执行步骤2)；

2)判断是否对多个所述人体目标进行策略跟踪，如果是，执行步骤3)；如果否，执行步骤4)；

3)根据设置的策略，选择跟踪对象；

4)将摄像头切换到全景画面，等待一定时间后，重新通过摄像头获取图像。

所述设置的策略具体包括：

如果策略为身高特征，选择最高或最矮的目标作为跟踪对象；如果策略为肤色特征，选择偏黄肤色、黑肤色或偏白肤色的目标作为跟踪对象。

本发明提供的一种人体智能跟踪方法，与现有技术相比具有如下的优点：

本发明通过运动目标检测和人体分级检测，较准确地检测出人体正面、人体侧面及人体背面，在人体转身和走动时，能准确地定位和全方位的跟踪，且不受环境光线变化的影响；在多人的情况下，可选择不同的策略选定跟踪对象，结合方向预测调整摄像头的位置，实现平滑的跟踪效果，本发明不需要任何辅助定位装置，不受跟踪角度的限制，能全方位地跟踪人体，鲁棒性不受外界的影响；本发明实施例不局限于教学录播，还适用于室内且人体不密集的环境下，比如会议、室内人体跟踪和室内监控等相关应用。

附图说明

图1为本发明提供的一种人体智能跟踪方法的流程图；

图2为本发明提供的一种人体智能跟踪方法的另一流程图；

图3为本发明提供的获取候选运动区域的原理图；

图4为本发明提供的获取人体目标的原理图；

图5为本发明提供的获取跟踪对象的原理图；

图6为本发明提供的感兴趣区域的设置示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

101：对图像进行处理获取跟踪对象当前帧位置，并预测跟踪对象运动方向；

102：判断跟踪对象当前帧位置是否在当前画面的中心区域，如果是，则不调整摄像头；如果否，根据跟踪对象运动方向调整摄像头；

103：根据跟踪对象当前帧位置，设置第三阈值的范围作为感兴趣区域，在感兴趣区域内对跟踪对象进行跟踪。

其中，步骤101中对图像进行处理获取跟踪对象当前帧位置，并预测跟踪对象运动方向具体包括：

对图像进行处理提取包含人体的候选运动区域；在候选运动区域中，获取人体目标；根据人体目标，确定跟踪对象，获取并记录跟踪对象当前帧位置；根据跟踪对象当前帧位置预测跟踪对象运动方向。

其中，根据跟踪对象当前帧位置预测跟踪对象运动方向具体包括：

设跟踪对象当前帧位置为(x_k，y_k)，前一帧位置为(x_k-1，y_k-1)，如果x_k-x_k-1＞0，运动方向为水平正方向；如果x_k-x_k-1＜0，运动方向为水平反方向；如果y_k-y_k-1＞0，运动方向为垂直正方向；如果y_k-y_k-1＜0，运动方向为垂直反方向。

其中，对图像进行处理提取包含人体的候选运动区域具体包括：

通过图像获取差分图像；对差分图像进行处理获取一个或多个连通区域；对连通区域进行分析判断，舍去小于第二阈值的连通区域，获取候选运动区域。

其中，在候选运动区域中，获取人体目标具体包括：

1)对候选运动区域进行检测，判断是否检测到人的正脸，如果是，获取人体目标；如果否，执行步骤2)；

2)对候选运动区域进行检测，判断是否检测到人的侧脸，如果是，获取人体目标；如果否，执行步骤3)；

3)在获取的一个或多个连通区域里进行头肩轮廓提取，判断是否提取成功，如果是，获取人体目标；如果否，则不存在人体目标。

其中，根据人体目标，确定跟踪对象具体为：

1)判断人体数目是否是一个，如果是，则人体目标作为跟踪对象，如果否，执行步骤2)；

2)判断是否对多个人体目标进行策略跟踪，如果是，执行步骤3)；如果否，执行步骤4)；

3)根据设置的策略，选择跟踪对象；

4)将摄像头切换到全景画面，等待一定时间后，重新通过摄像头获取图像。

其中，设置的策略具体包括：

如果策略为身高特征，选择最高或最矮的目标作为跟踪对象；如果策略为肤色特征，选择偏黄肤色、黑肤色或偏白肤色的目标作为跟踪对象。

综上所述，本发明实施例通过运动目标检测和人体分级检测，较准确地检测出人体正面、人体侧面及人体背面，在人体转身和走动时，能准确地定位和全方位的跟踪，且不受环境光线变化的影响；在多人的情况下，可选择不同的策略选定跟踪对象，结合方向预测调整摄像头的位置，实现平滑的跟踪效果，本发明实施例不需要任何辅助定位装置，不受跟踪角度的限制，能全方位地跟踪人体，鲁棒性不受外界的影响。

实施例2

下面结合图2详细描述人体智能跟踪方法的过程，通过图像获取差分图像以高斯滤波处理为例、获取一个或多个连通区域的步骤以二值运算为例进行说明，具体实现时还可以采用其他的处理方法，本发明实施例对此不做限制，详见下文描述：

201：通过摄像头获取图像；

其中，通过摄像头获取到的图像通常包括：人体、讲台和黑板等。

202：对图像进行处理提取包含人体的候选运动区域；

其中，参见图3，该步骤具体为：

(1)将图像转换为灰度图像；

(2)对灰度图像进行高斯滤波处理，获取平滑灰度图像；

(3)对相隔N帧的两个平滑灰度图像进行差分，获取差分图像；

令I_k(x，y)为第k帧图像，I_k+N(x，y)为第(k+N)帧图像，D_k(x，y)为差分图像，用以下公式表示：

D_k(x，y)＝|I_k+N(x，y)-I_k(x，y)|，

其中，N为设置的帧间隔，N的取值根据实际应用中的需要进行设定，通常取值为大于等于1的整数，具体实现时，本发明实施例对此不做限制。

(4)根据第一阈值对差分图像D_k(x，y)进行二值化处理，获取二值图像T_k(x，y)；其中， $T_k(x,y)=\left\{\begin{array}{cc}1,& D_k(x,y)>T\\ 0,& D_k(x,y)\≤T\end{array}\right.,$ T为第一阈值。

当差分图像中的像素灰度值大于第一阈值T，则将该像素划分为运动目标点，否则，划分为非运动目标点。为了减少运动目标的丢失，T的取值不应取得太大，具体实现时，本发明实施例对此不做限制。

(5)对二值图像T_k(x，y)进行腐蚀运算，获取一个或多个连通区域；

其中，通过对二值图像T_k(x，y)进行腐蚀运算，消除出现的缝隙和空洞，从而得到一个或多个连通区域。

(6)对连通区域进行分析判断，舍去小于第二阈值的连通区域，获取候选运动区域。

其中，第二阈值的取值根据摄像头距离人体目标的远近而确定。

203：在候选运动区域中，对人体进行检测，获取人体目标；

其中，参见图4，该步骤具体为：

(1)对候选运动区域进行检测，判断是否检测到人的正脸，如果是，则存在人体目标，获取人体目标；如果否，执行步骤(2)；

其中，该步骤中可以采用正面人脸分类器对候选运动区域进行检测或其他任何可行的检测方法，例如：基于haar特征的正面人脸分类器，具体实现时，本发明实施例对此不做限制。

(2)对候选运动区域进行检测，判断是否检测到人的侧脸，如果是，则存在人体目标，获取人体目标；如果否，执行步骤(3)；

其中，该步骤中可以采用侧面人脸分类器对候选运动区域进行检测或其他任何可行的检测方法，例如：基于haar特征的侧面人脸分类器，具体实现时，本发明实施例对此不做限制。

(3)在获取的一个或多个连通区域里进行头肩轮廓提取，判断是否提取成功，如果是，则存在人体目标，获取人体目标；如果否，则当前图像帧不存在人体目标。

其中，在步骤203中如果没有检测到人体目标，则等待一定时间t后，重新执行步骤201，进行候选区域的获取和分级检测。

204：根据获取到的人体目标，确定跟踪对象；

其中，参见图5，该步骤具体为：

(1)根据获取到的人体目标，判断人体数目是否是一个，如果是，则该人体目标作为跟踪对象，如果否，执行步骤(2)；

(2)判断是否对多个人体目标进行策略跟踪，如果是，执行步骤(3)；如果否，执行步骤(4)；

(3)根据设置的策略，选择跟踪对象；

(4)将摄像头切换到全景画面，等待一定时间t后，重新执行步骤201。

205：获取并记录跟踪对象当前帧位置(x_k，y_k)；

206：根据跟踪对象当前帧位置(x_k，y_k)预测跟踪对象运动方向；

将跟踪对象运动方向作为跟踪对象下次的移动方向，使摄像头处于预备状态，从而在以后的跟踪时能及时地调整运动方向。

207：判断跟踪对象当前帧位置(x_k，y_k)是否在当前画面的中心区域，如果是，则不调整摄像头；如果否，根据跟踪对象运动方向调整摄像头的位置，直至跟踪对象位于画面的中心区域；

其中，如果否时，根据跟踪对象运动方向调整摄像头的位置以及跟踪对象当前帧位置与上次位置的变化，调整摄像机朝某个方向运动特定角度，直至跟踪对象位于画面的中心区域。

208：设置帧间隔N，每隔N帧对图像进行处理；

其中，该步骤考虑到教学录播的应用环境中，人体多为慢速移动，相邻两帧的变化比较小，不需对每一帧都进行处理，可以减少处理时间，避免由于目标人体的微小运动造成跟踪画面的抖动。为此，设置了帧间隔N，处理完当前帧后，获取下一帧，如果满足帧间隔，即与当前帧相差N个帧时刻，则进行处理。

209：根据每帧检测到的跟踪对象当前帧位置(x_k，y_k)位置，设置第三阈值的范围作为感兴趣区域，在感兴趣区域内对跟踪对象进行跟踪。

其中，参见图6，设置感兴趣区域是为了减少检测的时间，提高实时性。第三阈值的大小可根据实际的应用进行设置，具体实现时，本发明实施例对此不做限制。例如：如果以正脸检测和侧脸检测为主，可以设置比头部长度稍大的宽度；如果考虑到背面人体，根据检测到的人体目标位置和人体各部分的比例，设置以人体上半身长度作为矩形宽度。通过提取的头肩轮廓和人体部分的比例，设置感兴趣区域。由于物体遮挡，无法提取整个人体的区域，而只能提取头肩部分，就要根据人体各部位的比例，增加或减少感兴趣区域的大小。

综上所述，本发明实施例提供了一种人体智能跟踪方法，本发明实施例通过运动目标检测和人体分级检测，较准确地检测出人体正面、人体侧面及人体背面，在人体转身和走动时，能准确地定位和全方位的跟踪，且不受环境光线变化的影响；在多人的情况下，可选择不同的策略选定跟踪对象，结合方向预测调整摄像头的位置，实现平滑的跟踪效果，本发明实施例不需要任何辅助定位装置，不受跟踪角度的限制，能全方位地跟踪人体，鲁棒性不受外界的影响，本发明实施例不局限于教学录播，此方法还适用于室内且人体不密集的环境下，比如会议、室内人体跟踪和室内监控等相关应用。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种人体智能跟踪方法，其特征在于，所述方法包括以下步骤：

对图像进行处理获取跟踪对象当前帧位置，并预测跟踪对象运动方向；

判断所述跟踪对象当前帧位置是否在当前画面的中心区域，如果是，则不调整摄像头；如果否，根据所述跟踪对象运动方向调整摄像头；

根据所述跟踪对象当前帧位置，设置第三阈值的范围作为感兴趣区域，在所述感兴趣区域内对跟踪对象进行跟踪。

2.根据权利要求1所述的人体智能跟踪方法，其特征在于，所述对图像进行处理获取跟踪对象当前帧位置，并预测跟踪对象运动方向具体包括：

对所述图像进行处理提取包含人体的候选运动区域；在所述候选运动区域中，获取人体目标；根据所述人体目标，确定跟踪对象，获取并记录跟踪对象当前帧位置；根据所述跟踪对象当前帧位置预测所述跟踪对象运动方向。

3.根据权利要求2所述的人体智能跟踪方法，其特征在于，所述根据所述跟踪对象当前帧位置预测所述跟踪对象运动方向具体包括：

设跟踪对象当前帧位置为(x_k，y_k)，前一帧位置为(x_k-1，y_k-1)，如果x_k-x_k-1＞0，运动方向为水平正方向；如果x_k-x_k-1＜0，运动方向为水平反方向；如果y_k-y_k-1＞0，运动方向为垂直正方向；如果y_k-y_k-1＜0，运动方向为垂直反方向。

4.根据权利要求2所述的人体智能跟踪方法，其特征在于，所述对所述图像进行处理提取包含人体的候选运动区域具体包括：

通过所述图像获取差分图像；对所述差分图像进行处理获取一个或多个连通区域；对所述连通区域进行分析判断，舍去小于第二阈值的连通区域，获取所述候选运动区域。

5.根据权利要求2所述的人体智能跟踪方法，其特征在于，所述在所述候选运动区域中，获取人体目标具体包括：

1)对所述候选运动区域进行检测，判断是否检测到人的正脸，如果是，获取人体目标；如果否，执行步骤2)；

2)对所述候选运动区域进行检测，判断是否检测到人的侧脸，如果是，获取人体目标；如果否，执行步骤3)；

3)在获取的所述一个或多个连通区域里进行头肩轮廓提取，判断是否提取成功，如果是，获取人体目标；如果否，则不存在人体目标。

6.根据权利要求3所述的人体智能跟踪方法，其特征在于，所述根据所述人体目标，确定跟踪对象具体为：

1)判断人体数目是否是一个，如果是，则所述人体目标作为跟踪对象，如果否，执行步骤2)；

2)判断是否对多个所述人体目标进行策略跟踪，如果是，执行步骤3)；如果否，执行步骤4)；

3)根据设置的策略，选择跟踪对象；

4)将摄像头切换到全景画面，等待一定时间后，重新通过摄像头获取图像。

7.根据权利要求6所述的人体智能跟踪方法，其特征在于，所述设置的策略具体包括：

如果策略为身高特征，选择最高或最矮的目标作为跟踪对象；如果策略为肤色特征，选择偏黄肤色、黑肤色或偏白肤色的目标作为跟踪对象。

Images