CN105956586A - 一种基于tof 3d摄像机的智能跟踪系统 - Google Patents

Abstract

本发明公开了一种基于TOF3D摄像机的智能跟踪系统，包括定位系统、处理系统和拍摄系统，定位系统采用了基于TOF的3D摄像机，处理系统为主机服务器；并依据该设备，制定了两种方案，一种为通过3D摄像机获取深度图像，经过分析选定跟踪目标后，对目标人物的坐标进行转换及距离计算，再由拍摄摄像机进行拍摄，另一种即在通过3D摄像机获取深度图像，并进行分析后，通过给人物标定ID，根据ID锁定目标，并存储轨迹，经过一系列的处理，实时地、准确地将信息传递给主机服务器，可以实现对目标的跟踪，并且可以得到目标的活动轨迹，这样的方式不受外界因素的影响，且为全自动跟踪，精度高，操作简单方便。

Description

一种基于TOF 3D摄像机的智能跟踪系统

技术领域

本发明涉及一种录播跟踪技术领域，尤其涉及一种基于TOF 3D摄像机的智能跟踪系统。

背景技术

随着新课改的深入，教师课堂教学越来越追求可视化，学生课堂学习要求探究合作化，然而这些要求的实现，很大程度上要借助于现代化的信息技术设施，特别是课堂教学的可视化。这种课堂教学的可视化，一般通过录像来实现，从而促成全自动录播跟踪系统技术的发展。

目前市场上的录播跟踪系统基本上有3种控制原理：超声波跟踪切换技术、红外跟踪技术和图像识别分析技术。超声波定位模式的缺点是当老师离开讲台到台下和学生进行互动时，摄像机就会失去跟踪目标；学生走上讲台和老师进行互动时，跟踪系统无法同时获取两个目标，造成跟踪错误。红外跟踪定位模式的问题是外界射入的光线会导致跟踪定位系统失灵，其他遮挡物，如讲台上放置的水杯、粉笔盒等也会导致定位错误。图像识别跟踪方法的缺点是容易受到周围环境的影响，如讲台上如果放着一张凳子，就可能会造成跟踪不准确，使跟踪系统误判；容易受到触摸屏、投影机的光线干扰，导致跟踪不准确；对光线的要求较高，容易受日光管或者阳光的影响，其影子容易造成跟踪产生多目标的误判，导致跟踪不准确；学生跟踪尤其复杂，学生的高度和行为都不一样，图像算法没有办法明确区分这些细节，导致跟踪不准确。

发明内容

针对上述技术中存在的不足之处，本发明提供本发明提供一种基于TOF3D摄像机的智能跟踪系统，包括

定位系统：利用安装在拍摄区域的中间位置上方的基于TOF3D摄像机拍摄区域内的深度图像，采用骨骼跟踪法，识别动作达到阀值的目标人物，并确定该目标人物与3D摄像机之间的距离，并将坐标信息发送至处理系统；

处理系统：由主机服务器接收目标人物的坐标信息，判断所属区域，同时进行坐标转换，将目标人物的位置信息传递给所属区域的拍摄摄像机；

拍摄系统：由固定在拍摄区域的不同的拍摄摄像机组成，位于所属区域的拍摄摄像机接收到主机服务器的信号，对目标人物进行拍摄，并将拍摄的图像回传至主机服务器中保存以供远程客户端读取图像信息。

其中，所述定位系统识别目标人物包括：

深度图像获取：由3D摄像机获取拍摄区域内所有目标人物的深度图像，并确定各个目标人物与3D摄像机之间的距离；

深度数据分析：3D摄像机内部控制系统采用骨骼跟踪法，对目标人物的深度图像进行数据分析，得到人体骨架模型；

选定跟踪目标：选定具有行为特征的目标进行跟踪，设定具有起立、走动、举手的行为作为跟踪的目标，并将坐标信息传送到处理系统中。

其中，所述主机服务器根据坐标信息判断出目标人物所属区域，以3D摄像机为原点O，通过空间几何转换，将接收到的坐标转换成以拍摄摄像机为原点O’的坐标，并计算出距离，所获得的坐标信息传送给拍摄系统。

其中，所述拍摄摄像机接收到主机服务器的信号，自动将画面缩放到合适的比例，对目标人物进行特写摄像，图像数据实时传送到主机服务器中。

其中，所述人体骨架模型的获取步骤为：

提取特征：从深度图像中将人体从背景环境中区分出来，并逐点扫描，将人体的各个部位识别出来；

构造人体骨架：进一步识别人体的关节点，根据骨骼跟踪的关节点生成一幅骨架系统以用来判断人体的实际位置；

数据滤波：进行噪声滤除，判断人体表面特征点是噪声还是真实存在，并得到人的头部、肩部、手臂的部位；

数据筛选：通过对人体关节角度的计算，采用空间向量法，针对具有起立、走动和举手的目标人物进行跟踪。

本发明还提供一种基于TOF3D摄像机的智能跟踪系统，

定位系统：采用安装在拍摄区域的中间位置上方的基于TOP3D摄像机拍摄区域内的深度图像，采用骨骼跟踪法，构造出区域内所有人物目标的人体模型，同时对每个目标人物的行为进行分析，所述3D摄像机内保存有所述拍摄区域内每位真实人物的标定ID号，所述3D摄像机将目标人物的ID号以及行为分析信息发送到处理系统。

处理系统：由主机服务器接收目标人物的行为分析信息，并保存目标人物的行为轨迹，以供远程客户端读取查询。

其中，所述定位系统识别目标人物包括：

深度图像获取：由3D摄像机获取拍摄区域内所有目标人物的深度图像，并确定各个目标人物与3D摄像机之间的距离；

深度数据分析：3D摄像机内部控制系统采用骨骼跟踪法，对目标人物的深度图像进行数据分析，得到人体骨架模型，同时对每个目标人物的行为进行分析；

目标标定：根据目标人物的特征，匹配所述目标人物的ID号，将这个ID号和目标人物对应的行为轨迹信息传送到处理系统的主机服务器中。

其中，所述真实人物的ID号的人物特征包括该人物的人体轮廓、三维位置及其活动轨迹的信息。

其中，所述主机服务器与远程客户端无线连接，远程客户端通过ID号查询该ID号被拍摄的信息。

本发明的有益效果是：与现有技术相比，本发明提供的基于TOF3D摄像机的智能跟踪系统，通过基于TOF技术的3D摄像机，且3D摄像机与拍摄摄像机结合起来，由3D摄像机进行定位跟踪，传递定位信号给主机服务器，主机服务器将定位信号转化成拍摄摄像机的坐标，驱动相应区域的拍摄摄像机进行拍摄，拍摄摄像机依据物体的距离放大到合适的倍数，并对目标进行快速定位拍摄，各个摄像机分工合作，不受外界射入的光线以及灯光的影响，大大提高了拍摄的精准度，且多个摄像机同时工作，同时拍摄图像，并统一进行合成处理，拍摄范围更大。3D摄像机利用人体骨骼跟踪法对目标人物进行行为分析，极大地保护了个人隐私。

附图说明

图1为本发明的第一实施例的各系统设备关系图；

图2为本发明的第一实施例的步骤示意图；

图3为本发明的第一实施例工作流程示意图；

图4为本发明的实施例中骨架系统关节点结构示意图；

图5为本发明的实施例中的空间坐标系示意图；

图6为本发明的第一实施例的几何空间坐标转换图；

图7为本发明的第二实施例的各系统设备关系图；

图8为本发明的第二实施例的步骤示意图；

图9为本发明的第二实施例的工作流程示意图。

主要元件符号说明如下：

1、3D摄像机 2、主机服务器

3、拍摄摄像机。

具体实施方式

鉴于现有技术存在的问题，我们提出一种新的应用，采用基于TOF(Time offlight的简写，直译为飞行时间的意思)技术开发的3D摄像机与拍摄摄像机搭配，在教室、培训室中应用。TOF 3D摄像机采用主动光探测方式，利用入射光信号与反射光信号的变化来进行距离测量，TOF的照射单元都是对光进行高频调制之后再进行发射，比如采用LED或激光二极管发射的脉冲光，脉冲可达到100MHz。与普通摄像机类似，TOF3D摄像机芯片前端需要一个搜集光线的镜头，需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。作为TOF摄像机的核心，TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。

利用LED或激光作为发射光源，在现有TOF技术下，测量距离只有5米左右，距离比较短。而教室的空间较大，提高发射光源的功率可以提升测量的距离，但这样使得整个设备的功率加大，温度过高，会影响设备的受命，不能通过增强发射光源的功率来提升测量距离。本发明采用基于TOF3D摄像机的智能跟踪系统，通过3D摄像机为拍摄摄像机提供物体的深度信息，拍摄摄像机根据物体的距离放大到合适的倍数，并且对目标进行快速定位跟踪。

为了更清楚地表述本发明，下面结合附图对本发明作进一步地描述。

请参阅图1，本发明的基于TOF3D摄像机的智能跟踪系统包括定位系统、处理系统和拍摄系统，定位系统与处理系统无线通讯，处理系统与拍摄系统无线通讯，定位系统采用了基于TOF的3D摄像机，拍摄系统采用了拍摄摄像机，拍摄摄像机不少于一台，可以根据室内空间的大小以及布局，自由确定和安装拍摄摄像机的位置，本发明中的处理系统为主机服务器，主机服务器与远程客户端进行无线通讯。

请参阅图2-图3，依据上述设备，本发明提供了两种实现方法，本实施例一采用基于TOF 3D摄像机捕获到场景内所有目标的深度图像数据，3D摄像机经过一系列处理，得到人体骨架模型，然后选定具有起立、走动、举手的行为作为跟踪的目标，并将该目标的坐标传给主机服务器，主机服务器经过坐标转换，得到以拍摄摄像机为原点的坐标，并驱动目标所在区域的拍摄摄像机进行拍摄。拍摄摄像机根据坐标信息，将该区域的跟踪目标缩放到合适的比例，并且进行拍摄，图像数据传送回主机服务器。

其具体的工作步骤为：

A1、深度图像获取

系统开始工作后，首先3D摄像机获取到教室内目标的深度图像；3D摄像机对区域内的目标进行拍摄，得到区域内所有目标的图像，同时也得到了所有目标与3D摄像机之间的距离。

A2、深度数据进行分析

采用骨骼跟踪法，对深度数据进行分析，分为四步：提取特征；构造人体骨架；数据滤波；数据筛选,经过这四个步骤的数据分析，可以得到基本的人体骨架模型。

1)提取特征

识别人体的第一步是从深度图像中将人体从背景环境中区分出来，这是一个从噪声中提炼有用信息的过程，系统会首先分析比较接近的区域。接着逐点扫描这些区域深度图像的像素，从深度图像中将人体各个部位识别出来，人体部位是通过特征值来快速分类的。

2)构造人体骨架

接下来要进一步识别人体的关节点，系统根据“骨骼跟踪”的20个关节点来生成一幅骨架系统，请参阅图4，通过这种方式能够基于充分的信息最准确地评估人体实际所处的位置。

关于人体关节点的识别，采用的是OpenNI(Open Natural Interaction，开放式的自然交互)提供的骨骼算法库予以完成，其识别算法依赖于所采集到的深度图像，OpenNI骨骼识别算法库内部实现原理为根据获取到的深度图像，分离前景与背景，并利用模版匹配的方式，定位人体不同的关节。

通过OpenNI骨骼算法库获取到的人体关节点包括两部分内容，一部分是骨骼点的空间坐标，另一部分是这个关节点的确认度。

3)数据滤波:

从深度图像中识别出人体骨骼后，可以进一步构造丰满的肢体，构建的整个过程类似人体素描，先勾勒出人体骨骼，再画出肌肉。采用泊松方程等算法进行噪声滤除，通过这种方法可判断人体表面特征点是噪声还是真实存在。从技术算法层面上来看，先抓取特征点周边表面的角度和朝向，进而判断该点可能存在于空间的位置。同时根据朝向判断，在特征点周围形成一个虚拟的距离场。再利用平滑算法，判断漏洞附近的表面朝向，进而实现自动修补，从而粗糙变平滑、缺陷自动补齐。这样就可以得到虚拟人,关键是得到人体的头部、肩部、手臂部位。

4)数据筛选

人的行为具有多样性，有针对性的对某些行为进行过滤，要不然就会容易出现跟踪画面来回切换，只针对起立、走动、举手进行跟踪。

对人体关节角度的计算，采用空间向量法。所使用的空间坐标系不同于常见的空间坐标系，其x轴与y轴的零点与传统空间坐标系相同，但其z轴坐标零点3D摄像机，正方向为传感器指向的正前方。

具体地，请参阅图5，由向量的可平移性质及方向性，可以推导出坐标系中任意两个不重合的坐标点A(x₁,y₁,z₁)，B(x₂,y₂,z₂)，经过变换，可转化到传统空间坐标系中，对其组成的向量可以认为是从坐标轴零点引出。转化公式为：

$\stackrel{\→}{AB}=(x_2-x_1,y_2-y_1,z_2-z_1)$

根据上述性质，可以将人体关节角度计算简化为对空间向量夹角的计算。

A3、选定跟踪目标

3D摄像机通过计算关节角度可以判断人的行为变化，同时设定起立、走动、举手作为跟踪阀值，3D摄像机捕捉到这些行为后，将有该行为的人作为跟踪的目标，并主动跟踪目标。3D摄像机选定跟踪目标后，实时地将该目标的坐标信息传送到主机服务器。

A4、坐标转换及距离计算

请参阅图6，主机服务器根据坐标信息可以判断出目标所在的区域，以3D摄像机为原点O，通过空间几何转换，将接收到的坐标转换成以拍摄摄像机为原点O，的坐标，并计算出距离。

具体换算方法如下：

假设空间长为L，宽为W，α,β,δ,为>0且≤1的常数，具体数值与TOF 3D摄像机和拍摄摄像机的安装位置来确定。

假定目标在3D摄像机上的坐标为：(x₀,y₀,z₀)，映射到拍摄摄像机上的坐标则为(x’₀,y’₀,z’₀)，因为同一个目标相对3D摄像机和拍摄摄像机的高度是一样的，所以z轴的坐标存在固定的关系，当|x₀|<αW-βW时，经坐标转换，可以得到以拍摄摄像机原点的坐标为并得到目标的距离为：

当|x₀|≥αW-βW时

拍摄摄像机原点的坐标为并得到目标的距离为：

主机服务器将换算后的坐标和距离传送给目标所在区域的拍摄摄像机进行拍摄并存储于主机服务器中。

A5、拍摄目标

拍摄摄像机接收到主机服务器的信号，根据坐标和距离，将画面缩放到合适的比例，对目标进行特写摄像，图像数据实时传送到主机服务器。

请参阅图7，本发明还提供另一种基于TOF3D摄像机的智能跟踪系统实现方法，即实施例二，在本实施例中，3D摄像机捕获到场景内所有目标的深度图像数据，3D摄像机经过一系列处理，得到人体骨架模型，并对每个目标人物的行为进行分析，同时将所有人体模型分配一个ID号，再经过存储模块，只有深度数据描绘的人体轮廓及其活动轨迹，按ID号，将每个目标三围位置及其活动轨迹独立保存起来，可以通过ID号来查询各个目标的活动轨迹。

具体步骤和工作流程图请参阅图8-图9，

B1、深度图像获取：

系统开始工作后，首先3D摄像机获取到教室内目标的深度图像；3D摄像机对区域内的目标进行拍摄，得到区域内所有目标的图像，同时也得到了所有目标与3D摄像机之间的距离。

B2、深度数据进行分析：

采用骨骼跟踪法，对深度数据进行分析，分为四步：提取特征；构造人体骨架；数据滤波；行为分析。经过这四个步骤的数据分析，可以得到基本的人体骨架模型。

1)提取特征：

识别人体的第一步是从深度图像中将人体从背景环境中区分出来，这是一个从噪声中提炼有用信息的过程，系统会首先分析比较接近的区域。接着逐点扫描这些区域深度图像的像素，从深度图像中将人体各个部位识别出来，人体部位是通过特征值来快速分类的。

2)构造人体骨架：

接下来要进一步识别人体的关节点，系统根据“骨骼跟踪”的20个关节点来生成一幅骨架系统，通过这种方式能够基于充分的信息最准确地评估人体实际所处的位置。

关于人体关节点的识别，采用的是OpenNI提供的骨骼算法库予以完成，其识别算法依赖于所采集到的深度图像，OpenNI骨骼识别算法库内部实现原理为根据获取到的深度图像，分离前景与背景，并利用模版匹配的方式，定位人体不同的关节。

通过OpenNI骨骼算法库获取到的人体关节点包括两部分内容，一部分是骨骼点的空间坐标，另一部分是这个关节点的确认度。

3)数据滤波：

从深度图像中识别出人体骨骼后，可以进一步构造丰满的肢体，构建的整个过程类似人体素描，先勾勒出人体骨骼，再画出肌肉。采用泊松方程等算法进行噪声滤除，通过这种方法可判断人体表面特征点是噪声还是真实存在。从技术算法层面上来看，先抓取特征点周边表面的角度和朝向，进而判断该点可能存在于空间的位置。同时根据朝向判断，在特征点周围形成一个虚拟的距离场。再利用平滑算法，判断漏洞附近的表面朝向，进而实现自动修补，从而粗糙变平滑、缺陷自动补齐。这样就可以得到虚拟人。关键是得到人体的头部、肩部、手臂部位。

4)行为分析：

对人体关节角度的计算，采用空间向量法。所使用的空间坐标系不同于常见的空间坐标系，其x轴与y轴的零点与传统空间坐标系相同，但其z轴坐标零点第一摄像机，正方向为传感器指向的正前方。空间坐标系参阅图5：

由向量的可平移性质及方向性，可以推导出坐标系中任意两个不重合的坐标点A(x₁,y₁,z₁)，B(x₂,y₂,z₂)，经过变换，可转化到传统空间坐标系中，对其组成的向量可以认为是从坐标轴零点引出。转化公式为：

$\stackrel{\&RightArrow;}{AB}=(x_2-x_1,y_2-y_1,z_2-z_1)$

根据上述性质，可以将人体关节角度计算简化为对空间向量夹角的计算。

这样得到人体的关节角度，可以对人体的各个行为进行识别、分析。

B3、目标标定：

将人体模型标定ID号，利于目标的区分。

B4、存储轨迹：

将已标定ID号的目标的三维位置及其活动轨迹保存，以便做查询用，

本发明的优势在于：

1)定位准确，快速：通过基于TOF技术的3D摄像机，且3D摄像机与拍摄摄像机结合起来，由3D摄像机进行定位跟踪，传递定位信号给拍摄摄像机进行拍摄，拍摄摄像机依据物体的距离放大到合适的倍数，并对目标进行快速定位跟踪拍摄，各个摄像机分工合作，不受外界射入的光线以及灯光的影响，大大提高了拍摄的精准度；

2)且多个摄像机同时工作，同时拍摄图像，并统一进行合成处理，拍摄范围更大。

3)3D摄像机利用人体骨骼跟踪法对目标人物进行行为分析，极大地保护了个人隐私。

以上公开的仅为本发明的几个具体实施例，但是本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种基于TOF3D摄像机的智能跟踪系统，其特征在于，包括

定位系统：利用安装在拍摄区域的中间位置上方的基于TOF3D摄像机拍摄区域内的深度图像，采用骨骼跟踪法，识别动作达到阀值的目标人物，并确定该目标人物与3D摄像机之间的距离，并将坐标信息发送至处理系统；

处理系统：由主机服务器接收目标人物的坐标信息，判断所属区域，同时进行坐标转换，将目标人物的位置信息传递给所属区域的拍摄摄像机；

拍摄系统：由固定在拍摄区域的不同的拍摄摄像机组成，位于所属区域的拍摄摄像机接收到主机服务器的信号，对目标人物进行拍摄，并将拍摄的图像回传至主机服务器中保存以供远程客户端读取图像信息。

2.根据权利要求1所述的一种基于TOF3D摄像机的智能跟踪系统，其特征在于，所述定位系统识别目标人物包括：

深度图像获取：由3D摄像机获取拍摄区域内所有目标人物的深度图像，并确定各个目标人物与3D摄像机之间的距离；

深度数据分析：3D摄像机内部控制系统采用骨骼跟踪法，对目标人物的深度图像进行数据分析，得到人体骨架模型；

选定跟踪目标：选定具有行为特征的目标进行跟踪，设定具有起立、走动、举手的行为作为跟踪的目标，并将坐标信息传送到处理系统中。

3.根据权利要求1所述的一种基于TOF3D摄像机的智能跟踪系统，其特征在于，所述主机服务器根据坐标信息判断出目标人物所属区域，以3D摄像机为原点O，通过空间几何转换，将接收到的坐标转换成以拍摄摄像机为原点O，的坐标，并计算出距离，所获得的坐标信息传送给拍摄系统。

4.根据权利要求1所述的一种基于TOF3D摄像机的智能跟踪系统，其特征在于，所述拍摄摄像机接收到主机服务器的信号，自动将画面缩放到合适的比例，对目标人物进行特写摄像，图像数据实时传送到主机服务器中。

5.根据权利要求2所述的一种基于TOF3D摄像机的智能跟踪系统，其特征在于，所述人体骨架模型的获取步骤为：

提取特征：从深度图像中将人体从背景环境中区分出来，并逐点扫描，将人体的各个部位识别出来；

构造人体骨架：进一步识别人体的关节点，根据骨骼跟踪的关节点生成一幅骨架系统以用来判断人体的实际位置；

数据滤波：进行噪声滤除，判断人体表面特征点是噪声还是真实存在，并得到人的头部、肩部、手臂的部位；

数据筛选：通过对人体关节角度的计算，采用空间向量法，针对具有起立、走动和举手的目标人物进行跟踪。

6.一种基于TOF3D摄像机的智能跟踪系统，其特征在于，

定位系统：采用安装在拍摄区域的中间位置上方的基于TOP3D摄像机拍摄区域内的深度图像，采用骨骼跟踪法，构造出区域内所有人物目标的人体模型，同时对每个目标人物的行为进行分析，所述3D摄像机内保存有所述拍摄区域内每位真实人物的标定ID号，所述3D摄像机将目标人物的ID号以及行为分析信息发送到处理系统。

处理系统：由主机服务器接收目标人物的行为分析信息，并保存目标人物的行为轨迹，以供远程客户端读取查询。

7.根据权利要求6所述的一种基于TOF3D摄像机的智能跟踪系统，其特征在于，所述定位系统识别目标人物包括：

深度图像获取：由3D摄像机获取拍摄区域内所有目标人物的深度图像；

深度数据分析：3D摄像机内部控制系统采用骨骼跟踪法，对目标人物的深度图像进行数据分析，得到人体骨架模型，并对目标人物的行为进行分析；

目标标定：根据目标人物的特征，匹配所述目标人物的ID号，将这个ID号和目标人物对应的行为轨迹信息传送到处理系统的主机服务器中。

8.根据权利要求7所述的一种基于TOF3D摄像机的智能跟踪系统，其特征在于，所述真实人物的ID号的人物特征包括该人物的人体轮廓、三维位置及其活动轨迹的信息。

9.根据权利要求6所述的一种基于TOF3D摄像机的智能跟踪系统，其特征在于，所述主机服务器与远程客户端无线连接，远程客户端通过ID号查询该ID号被拍摄的信息。