CN102968615A - 一种具有密集人流中的抗干扰功能的三维人体数据识别方法 - Google Patents

Abstract

本发明公开了一种具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，该方法通过三维人体数据跟踪识别和二维人脸位置信息跟踪识别相结合，确定主目标人后，对主目标人体的动作进行跟踪识别。其中对主目标人的确定包括寻找当前主目标人、当有新目标出现时判断新目标是否为主目标人，若是则更新当前主目标人以及若当前主目标人丢失时重新找回当前主目标人。本发明的方法使得三维人体数据跟踪识别在密集人流的公共场合，能够稳定的锁定主目标人，将背景和围观的人群有效地区分开，从而保证跟踪识别在密集人流的多目标背景下具有抗干扰功能。

Description

一种具有密集人流中的抗干扰功能的三维人体数据识别方法

技术领域

本发明涉及三维图像处理领域，尤其涉及一种具有密集人流中的抗干扰功能的三维人体数据跟踪识别方法。

背景技术

人机凌空互动是指用户不用实际接触任何显示设备，就可对该显示设备进行操作和控制，给用户带来神奇和科幻的体验感。随着硬件和软件技术的成熟，凌空互动技术日渐成熟。凌空互动系统具有新颖、容易实现和维护、方便灵活等特点。

凌空互动技术可以应用在很多领域。从广告宣传的角度来说，商家可以跟消费者互动的方式来展现他们的商品，互动的过程可以增强消费者的兴趣以及购买欲，同时商家也可以省去描述的痛苦。撇去传统的鼠标和键盘，这种技术可以创造一种新型的控制手段，手术医生可以在手术期间凌空翻动手术所需要的资料，这样省却了额外的细菌感染。在很多不适合人类工作的场合，机器人具有很高的应用价值，这种技术可以提供方式控制机器人。对爱好网络购物的人来说，能在家试一下网店的衣服将是非常诱人的想法，这种技术也提供了这个想法实现的可能性。

采用三维摄像机对人体三维数据进行识别和跟踪，可以使用人体的三维数据来非接触式的控制数字屏幕。但是这种技术往往只能用于简单背景的家庭环境，在密集人流的场景下，很难将控制人和背景围观人群进行区分，因此很难用于公共商业场合。

景深摄像头利用红外原理形成三维成像，因为其简单且有效的技术，近几年引起了很多人的关注。跟普通摄像头不同的是，景深摄像头考虑了物体与摄像头的距离，因此，比起多个普通摄像头的信息融合，它省去了算法上的麻烦。普通的RGB摄像头则具有价格便宜，且数字图像技术发展迅速。将两者结合有效地结合，能很好地实现运动物体检测、识别和跟踪。

各种基于景深摄像头的研究层出不穷，景深摄像头与普通RGB摄像头的校准匹配，基于景深摄像头的三维重建、手势识别一直是科学家们在致力研究的课题。基于三维的手势识别比传统的二维处理增加了手势的类型，对三维空间的应用更灵活。随着微软的Kinect的面世，更加深了对体感应用的开发。然而要确保各种研究的精度，一般都应用在简单的背景下，具有干扰的复杂背景下，这些系统方法往往会不尽人意。

因此在密集人流的复杂背景下的抗干扰方法以及多目标的检测、跟踪，是比较难却有意义的课题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种在多目标的密集人流的背景下能够稳定地锁定主目标人，将背景和围观的人群有效地区分开的具有密集人流中抗干扰功能的三维人体数据跟踪识别方法。

为实现上述目的，本发明提供了一种具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其特征在于，采用三维人体数据跟踪识别和人脸数据跟踪识别相结合，具体包括如下步骤：

1)确定作为跟踪和识别对象的主目标人；

2)对步骤1)中所确定的主目标人的动作进行跟踪识别；

其中，所述步骤1)包括：寻找主目标人，当有新的目标出现时判断所述新目标是否为新的主目标人，若是则更新主目标人，否则保持原有主目标人以及当前主目标人丢失时重新找回主目标人，所述寻找主目标人是根据三维摄像头捕捉的三维人体数据来进行的，所述判断新的目标是否为新的主目标人是采用三维摄像头捕捉的三维人体数据和RGB摄像头捕捉的人脸数据相结合进行的，所述重新找回主目标人是采用三维摄像头捕捉的三维人体数据和RGB摄像头捕捉的人脸数据相结合进行的。

进一步地，所述三维人体数据是由三维摄像头捕捉的图像得到的，人脸数据是由RGB摄像头捕捉的图像得到的。

进一步地，所述步骤1)中的所述寻找主目标人是根据所述三维摄像头捕捉到的多个目标人体的三维数据集合中所对应的景深最小的三维数据所对应的目标人体作为主目标人的。

进一步地，所述步骤1)中的所述判断新目标是否为新的主目标人的步骤是通过两个目标人的人脸是否遮挡为原则来判断的。

进一步地，所述重新找回主目标人的步骤是重新找回主目标人的算法来实现的。

进一步地，人脸数据跟踪识别中的主目标人的确定是由所述步骤1)中根据三维摄像头捕捉的三维人体数据所确定的主目标人在三维成像中的位置信息再根据三维成像的位置坐标与RGB成像的位置坐标的一一对应关系得到主目标人的RGB成像位置坐标，再经过人脸检测得到人脸位置信息和人脸大小信息而实现的。

进一步地，所述人脸是否遮挡是以新目标人与摄像头的距离是否小于主目标人与摄像头的距离并且两个目标人的脸部在水平面上是否重叠为原则来判断的。

进一步地，所述重新找回主目标人的算法是根据目标人的RGB成像在跟踪识别中的大小的变化估算出目标人与RGB摄像头之间的距离，从而进一步得到目标人的三维成像的位置坐标来实现的。

进一步地，当出现新目标并且经过人脸是否遮挡判断所述新目标为主目标人时，更新所述三维人体数据中的主目标人信息和人脸数据中的主目标人信息。

本发明的有益效果在于：本发明的具有密集人流中抗干扰功能的三维人体数据识别方法通过三维人体数据跟踪识别和人脸数据跟踪识别相结合，使得三维人体数据跟踪识别在密集人流的公共场合，能够稳定的锁定主目标人，将背景和围观的人群有效地区分开，从而保证三维人体数据跟踪识别在密集人流的多目标背景下具有抗干扰功能。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1为本发明的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法的处理流程图；

图2为本发明的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法中的新目标与主目标人是否人脸遮挡的处理流程图；

图3是本发明的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法中的找回主目标人的处理流程图。

具体实施方式

下面结合附图来具体说明本发明的实施例。

如图1所示，一种具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，采用三维人体数据跟踪识别和人脸数据跟踪识别相结合，具体包括如下步骤：

1)确定作为跟踪和识别对象的主目标人；

包括寻找当前主目标人，当有新的目标出现时判断所述新目标是否为新的主目标人，若是则更新当前主目标人，以及当前主目标人丢失时重新找回当前主目标人。

三维摄像头捕捉到多个目标人的三维人体数据集D及其对应的景深集Z后，根据以下准则来从多目标中寻找当前主目标人：

$c=\underset{m\≤M}{\arg }\min \left(Z\right)$

则主目标人在三维成像中的坐标位置确定为D_c＝{U_c，V_c}，将上述坐标位置信息作为当前主目标人的位置信息保存，其它目标人则看作干扰，同时，利用确定的三维成像中的主目标人信息确定人脸数据中的主目标人信息。当有新的目标出现并且新目标的景深集与当前主目标人的景深集满足Z_new＜Z_c时，判断新目标与当前主目标人是否产生人脸遮挡以确定其是新的主目标人还是干扰源，若判断为是新的主目标人，则更新三维成像中的主目标人信息和人脸数据中的主目标人信息，否则保持原有主目标人。当前主目标人突然丢失时，利用人脸数据和三维人体数据来重新找回当前主目标人。

2)对步骤1)中所确定的主目标人的动作进行跟踪识别；

在上一步中确定了当前主目标人后，根据当前主目标人的三维人体数据D_c，可以得到当前主目标人的骨骼结构，根据骨骼结构的变化可以进行当前主目标人的动作识别。譬如根据骨骼变化可以识别是抬左手还是前推，还是抬右手等等，从而进行动作识别。对当前主目标人的跟踪则根据主目标人的景深Z_c，设定一个允许的偏差值范围，只要在当前主目标人的景深在其上下允许的偏差范围之内，则锁定跟踪当前主目标人。

其中，三维人体数据是由三维摄像头捕捉的图像得到的，人脸数据是由RGB摄像头捕捉的图像得到的。

上述步骤1)中的利用确定的三维成像中的主目标人信息确定人脸数据中的主目标人信息具体为：假设主目标人在三维成像中的位置坐标为D_c＝{u_c，V_c}，根据三维成像的位置坐标与RGB成像的位置坐标的一一对应关系，可以得到主目标人的RGB成像的位置坐标为D’_c＝{u’_c，v’_c}。

其中，上述三维成像的位置坐标与RGB成像的位置坐标的一一对应关系具体为：

用f表示摄像头的焦距，o表示摄像头的主点，Z_3D表示某个坐标点的三维成像的景深，Z_2D表示某个坐标点的RGB成像的景深，需要说明的是，理论上来讲，RGB成像是不存在景深的，但是，此处用Z_2D表示某个目标点距离RGB摄像头的距离。假设某个目标点在三维摄像头中的位置坐标为{X，Y，Z}，在RGB摄像头中的位置坐标为{X’，Y’，Z’}，根据针孔相机模型，该目标点在三维成像中的位置坐标和在RGB成像中的位置坐标分别为{U_3D，V_3D}和{U_2D，V_2D}，于是有：

$z_{3D}\left[\begin{array}{c}{U}_{3D}\\ V_{3D}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_{x,3D}& 0& o_{x,3D}\\ 0& f_{y,3D}& o_{y,3D}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$

$z_{2D}\left[\begin{array}{c}{U}_{2D}\\ V_{2D}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_{x,2D}& 0& o_{x,2D}\\ 0& f_{y,2D}& o_{y,2D}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]$

如果两个摄像头在三维方向上的位移偏差分别为Δx、Δy和Δz，则目标点在三维摄像头中的位置坐标和在RGB摄像头中的位置坐标的关系为：

$\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\\ \mathrm{\Δz}\end{array}\right]=z_{3D}\left[\begin{array}{ccc}{f}_{x,3D}^{-1}& 0& o_{x,3D}{f}_{x,3D}^{-1}\\ 0& f_{y,3D}^{-1}& o_{y,3D}{f}_{y,3D}^{-1}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{U}_{3D}\\ V_{3D}\\ 1\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\\ \mathrm{\Δz}\end{array}\right]$

由上式可得：

$X^{\′}=z_{3D}(f_{x,3D}^{-1}{U}_{3D}+o_{x,3D}{f}_{x,3D}^{-1})+\mathrm{\Δx}$

$Y^{\′}=z_{3D}(f_{y,3D}^{-1}{V}_{3D}+o_{y,3D}{f}_{y,3D}^{-1})+\mathrm{\Δy}$

Z′＝Z_3D+Δz

根据以上推导可得，RGB成像的位置坐标与三维成像的位置坐标的一一对应关系为：

$U_{2D}=f_{x,2D}\·X^{\′}/Z^{\′}+o_{x,2D}=f_{x,2D}\·\frac{z_{3D}(f_{x,3D}^{-1}{U}_{3D}+o_{x,3D}{f}_{x,3D}^{-1})+\mathrm{\Δx}}{z_{3D}+\mathrm{\Δz}}+o_{x,2D}$

$V_{2D}=f_{y,2D}\·Y^{\′}/Z^{\′}+o_{y,2D}=f_{y,2D}\·\frac{z_{3D}(f_{y,3D}^{-1}{V}_{3D}+o_{y,3D}{f}_{y,3D}^{-1})+\mathrm{\Δy}}{z_{3D}+\mathrm{\Δz}}+o_{y,2D}$

作为RGB成像的位置坐标与三维成像的位置坐标的一一对应关系的一个特定实施例，当三维摄像头和RGB摄像头水平对齐放置，即以上各式中Δy和Δz都为0时，则上述表示RGB成像的位置坐标与在三维成像的位置坐标的一一对应关系的关系式为：

$U_{2D}=f_{x,2D}\·X^{\′}/Z^{\′}+o_{x,2D}=f_{x,2D}\·\frac{z_{3D}(f_{x,3D}^{-1}{U}_{3D}+o_{x,3D}{f}_{x,3D}^{-1})+\mathrm{\Δx}}{z_{3D}}+o_{x,2D}$

$V_{2D}=f_{y,2D}\·Y^{\′}/Z^{\′}+o_{y,2D}=f_{y,2D}\·\frac{z_{3D}(f_{y,3D}^{-1}{V}_{3D}+o_{y,3D}{f}_{y,3D}^{-1})}{z_{3D}}+o_{y,2D}$

因此，根据以上RGB成像的位置坐标与三维成像的位置坐标的一一对应关系就可以得到主目标人在RGB成像中的位置坐标。

得到主目标人的RGB成像的位置坐标后，再根据人脸检测算法，就可以得到主目标人的人脸位置信息{U_f，V_f}及人脸大小信息(w，h)，从而得到当前主目标人的人脸数据。

上述步骤1)中的人脸是否遮挡原则具体为以下：

当出现新目标时，如图2所示，首先判断新目标与三维摄像头之间的距离是否小于主目标人与三维摄像头之间的距离。判断的依据是看新目标人的景深与主目标人的景深是否满足Z_new＜Z_c，如果满足，则可判断为新目标与三维摄像头之间的距离小于主目标人与三维摄像头之间的距离。接着进行水平面上是否重叠的判断。利用新目标在三维成像中的位置坐标，再根据三维成像的位置坐标与RGB成像的位置坐标的一一对应关系，就可以得到新目标的RGB成像的位置坐标，再根据人脸检测算法可以得到新目标的人脸位置信息和人脸大小信息。判断新目标与主目标人的人脸区域在水平面上是否重叠是以以下条件来判断的：

当v_f≤v_fnew时， $\left\{\begin{array}{c}{u}_f-\frac{w}{2}<u_{\mathrm{fnew}}<u_f+\frac{w}{2}\\ v_f-\frac{h}{2}<v_{\mathrm{fnew}}<v_f+\frac{h}{2}\end{array}\right.$

当v_f＞v_fnew时， $\begin{array}{c}{u}_{\mathrm{fnew}}-\frac{w^{\&prime;}}{2}<u_{\mathrm{fnew}}+\frac{w^{\&prime;}}{2}\\ v_{\mathrm{fnew}}-\frac{h^{\&prime;}}{2}<v_f<v_{\mathrm{fnew}}+\frac{h^{\&prime;}}{2}\end{array}$

其中，{U_f，v_f}为主目标人的人脸位置坐标，{U_fnew，v_fnew}为新目标的人脸位置坐标，(w，h)为主目标人的人脸大小信息，w为主目标人的人脸宽度，h为主目标人的人脸长度。(w’，h’)为新目标的人脸大小信息，w’为新目标的人脸宽度，h’为新目标的人脸长度。

若新目标与主目标人的人脸区域满足上述条件，则可判断为水平面上的重叠。

至此，若同时满足新目标人与三维摄像头之间的距离小于当前主目标人与三维摄像头之间的距离并且两个目标人的人脸区域在水平面上重叠，则可判定为人脸遮挡。

当通过人脸是否遮挡判断新目标为当前主目标人时，更新三维人体数据中的当前主目标人信息和人脸数据中的当前主目标人信息。

步骤1)中的重新找回三维成像中的主目标人信息是以如下方法实现的：

如图3所示，根据主目标人的RGB成像中人脸长度在跟踪中大小的变化估算出主目标人与RGB摄像头之间的距离，从而进一步得到主目标人的三维成像的位置坐标，进而找回三维成像中的主目标人信息。具体为：

因为RGB摄像头的各种参数是固定的，根据成像原理，RGB成像中的人脸长度与RGB摄像头到RGB成像之间的距离的比值，等于人脸的实际长度与主目标人到RGB摄像头的距离的比值；估算的RGB成像中的人脸长度与RGB摄像头到RGB成像之间的距离的比值，等于人脸的实际长度与估算的主目标人到RGB摄像头的距离的比值。由此原理，可以推得估算的主目标人到RGB摄像头的距离。而此估算的主目标人到RGB摄像头的距离正是主目标人在RGB摄像头中的位置坐标为{X’，Y’，Z’}中的Z’，然后再根据上述RGB成像的位置坐标与三维成像的位置坐标的一一对应关系，就可以得到主目标人的三维成像的位置坐标，重新找到主目标人。

上述重新找回主目标人的方法是在RGB摄像头正常跟踪识别的情况下三维摄像头因为多目标的干扰失去了主目标人的情况下找回主目标人的方法。

至此，详细介绍了本发明的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法。本发明的方法利用三维人体数据跟踪识别和人脸数据跟踪识别相结合，实现在多目标的密集人流的背景中，能够准确锁定主目标人，防止其他目标人的干扰，并能够在出现新目标人的情况下，及时判断并更新主目标人，对目标人的动作进行跟踪和识别。将利用此方法的装置连接于显示装置，可以实现在密集人流的多目标背景下，通过对目标人的识别锁定，并对其动作的识别与跟踪，实现对显示装置的凌空操控，例如目标人抬右手则显示装置的屏幕进行向后翻页，目标人双手前推，则显示装置的屏幕进行回车确定等等。应用本发明的方法还可以实现数字屏幕与智能手机之间的信息交互，例如将利用本方法的装置连接于数字屏幕，该利用本方法的装置感应到目标人体的手势，可以将数字屏幕中相应的数据发送到智能手机，从而实现远距离地凌空抓取数字屏幕的信息到智能手机等等。当然，本发明的方法的应用不仅限于此。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域的技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其特征在于，采用三维人体数据跟踪识别和人脸数据跟踪识别相结合，具体包括如下步骤：

1)确定作为跟踪和识别对象的主目标人；

2)对步骤1)中所确定的主目标人的动作进行跟踪识别；

其中，所述步骤1)包括：寻找主目标人，当有新的目标出现时判断所述新目标是否为新的主目标人，若是则更新主目标人，否则保持原有主目标人以及当前主目标人丢失时重新找回主目标人，所述寻找主目标人是根据三维摄像头捕捉的三维人体数据来进行的，所述判断新目标是否为新的主目标人是采用三维摄像头捕捉的三维人体数据和RGB摄像头捕捉的人脸数据相结合进行的，所述重新找回主目标人是采用三维摄像头捕捉的三维人体数据和RGB摄像头捕捉的人脸数据相结合进行的。

2.如权利要求1所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述三维人体数据是由三维摄像头捕捉的图像得到的，人脸数据是由RGB摄像头捕捉的图像得到的。

3.如权利要求2所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述步骤1)中的所述寻找主目标人是以所述三维摄像头捕捉到的多个目标人体的三维数据集合中所对应的景深最小的三维数据所对应的目标人体作为主目标人的。

4.如权利要求3所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述步骤1)中的所述判断新目标是否为新的主目标人的步骤是通过两个目标人的人脸是否遮挡为原则来判断的。

5.如权利要求4所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述重新找回主目标人的步骤是通过重新找回主目标人的算法来实现的。

6.如权利要求5所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，人脸数据跟踪识别中的主目标人的确定是由所述步骤1)中由三维摄像头捕捉的三维人体数据所确定的主目标人在三维成像中的位置信息再根据三维成像的位置坐标与RGB成像的位置坐标的一一对应关系得到主目标人的RGB成像的位置坐标，再经过人脸检测得到人脸位置信息和人脸大小信息而实现的。

7.如权利要求6所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述人脸是否遮挡是以新目标人与摄像头的距离是否小于主目标人与摄像头的距离并且两个目标人的脸部在水平面上是否重叠为原则来判断的。

8.如权利要求7所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述重新找回主目标人的算法是根据主目标人的RGB成像在跟踪识别中的大小的变化估算出主目标人与RGB摄像头之间的距离，从而进一步得到目标人的三维成像的位置坐标来实现的。

9.如权利要求8所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，当出现新的目标并且经过人脸是否遮挡判断所述新的目标为主目标人时，更新所述三维人体数据中的主目标人信息和人脸数据中的主目标人信息。

Images