CN103747196B - 一种基于Kinect传感器的投影方法 - Google Patents

Abstract

本发明公开了一种基于Kinect传感器的投影方法。使用本发明能够利用Kinect使得投影能够自动追踪人体，产生丰富多彩的舞台效果。本发明利用Kinect传感器获得人体骨骼数据流和深度数据流，然后根据深度图像空间、真实三维空间、投影空间之间的转换关系，将骨骼数据流和深度数据流变换到投影空间中，并根据骨骼点在投影空间中进行人体投影设置，再经投影仪投影至真实三维空间，产生丰富多彩的舞台效果。本发明不要演员随身携带设备，也不需要多台投影设备，设备简单，使用方便、可靠。

Description

一种基于Kinect传感器的投影方法

技术领域

本发明涉及自动化投影技术领域，具体涉及一种基于Kinect传感器的投影方法。

背景技术

传统的舞台追光灯绝大多数是由操作员手动操作，不仅费时费力，对操作员的操作水平要求较高，而且容易产生操作错误。而现今新出现的舞台自动追光灯，都是舞台演员身上携带无线发射器等设备，计算机通过判断设备的位置从而判断人的位置，然后追光灯将光投向该位置；因而若演员不小心将设备遗落，追光灯便会无法判断人的位置，进而将光投向错误的位置，可靠性差。

Kinect是微软推出的一款游戏传感器，它可以自动识别人体，并得到人体20个骨骼点(如头部、颈部、腕部、腰部等)相对于Kinect的坐标，因此，该传感器可以应用于其他领域，如自动化投影技术领域。

发明内容

有鉴于此，本发明提供了一种基于Kinect传感器的投影方法，利用Kinect使得投影能够自动追踪人体。

本发明的基于Kinect传感器的投影方法，包括如下步骤：

步骤1，将Kinect传感器与投影仪放置在待投影的真实三维空间前方；

其中，由Kinect传感器获得的深度数据流形成的深度图像定义为深度图像空间，其左上角为原点；定义计算机屏幕为投影空间，其左上角为原点；定义投影仪的投影区域为真实三维空间，其左上角为真实三维空间原点；投影空间的原点经投影仪投射在真实三维空间的原点；

步骤2，利用Kinect传感器获得人体骨骼数据流和深度数据流，利用深度图像空间、真实三维空间、投影空间之间的转换关系，将骨骼数据流和深度数据流变换到投影空间中；

步骤3，根据骨骼点在投影空间中进行人体投影设置，再经投影仪投影至真实三维空间。

其中，所述步骤2中，人体骨骼数据流和深度数据流变换到投影空间中的方法如下：

步骤2.1，利用Kinect for windows SDK程序开发包将骨骼数据流和深度数据流变换到深度图像空间；

步骤2.2，根据深度图像空间与真实三维空间的坐标转换关系，以及投影空间与真实三维空间的坐标转换关系，得到深度图像空间与投影空间之间的转换关系，利用深度图像空间与投影空间之间的转换关系将人体骨骼点映射到投影空间上。

其中，所述步骤2.2中深度图像空间与真实三维空间的坐标转换关系为线性关系：

其中，(D_x、D_y)为深度图像空间中的点的坐标；(P_x、P_y)为真实三维空间中的点的坐标；k₁₁、k₁₂、b₁₁、b₁₂为系数；

投影空间与真实三维空间的坐标转换关系为线性关系：

其中，(T_x、T_y)为投影空间中的点的坐标；k₂₁、k₂₂为系数；

则深度空间与投影空间的坐标转换关系为：

其中，

k_x＝1/k₁₁k₂₁

k_y＝1/k₁₂k₂₂

b_x＝-b₁₁/(k₁₁k₂₁)

b_y＝-b₁₂/(k₁₂k₂₂) (4)

其中，k₁₁、k₁₂、b₁₁、b₁₂、k₂₁、k₂₂通过实验测量计算获得。

其中，k₁₁、k₁₂、b₁₁、b₁₂、k₂₁、k₂₂的获取方法如下：

①在与系统距离为L的墙面不同位置放置2个立方体小盒，其在真实三维空间的坐标分别为(P_x1，P_y1，L)和(P_x2，P_y2，L)；

②在深度图像中找到2个立方体小盒对应的像素点坐标(D_x1，D_y1)和(D_x2，D_y2)；

③利用(D_xi,D_yi)和(P_xi,P_yi)之间的关系，i＝1，2，确定出(1)式的参数k₁₁、k₁₂、b₁₁、b₁₂；

④令投影空间右下角坐标为(320，240)，用米尺测量出真实三维空间中投影区域右下角坐标为(P_xb，P_yb，L)，得到k₂₁＝P_xb/320，k₂₂＝P_yb/240；

⑤将实验得到的参数k₁₁、k₁₂、b₁₁、b₁₂、k₂₁、k₂₂代入式(4)，得到距离L下的式(3)的参数值k_x、k_y、b_x、b_y；

在投影空间中，以需要跟踪的骨骼点的坐标为圆心，画一个光斑，该光斑经投影仪投影在真实三维空间中。

在投影空间中，以人体骨骼为分界点将人体分为多个部位，并设置人体不同部位显示不同的颜色，再经投影仪投影至真实三维空间。

有益效果：

本发明利用Kinect传感器对人体各部位进行投影追踪，仅需要一台Kinect传感器实现，不要演员随身携带设备，设备简单，使用方便、可靠，可有效实现对人体的丰富投影。可以实现对人体的追踪，或者对人体不同部位投射不同颜色，不需要多台投影设备，设备简单，使用方便、可靠。

附图说明

图1为本发明流程图。

图2为Kinect传感器与投影仪。

图3为采用本发明对人体头部进行光斑跟踪的效果图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于Kinect传感器的投影方法，将Kinect传感器、计算机与便携式投影仪相结合，实现自动追踪人体功能。本发明原理如下：利用Kinect识别人体并得到人体骨骼点的坐标，计算机对人体骨骼坐标信息进行处理并显示在计算机屏幕上，在计算机屏幕上对骨骼点进行投影处理，骨骼点经投影仪投影到真实三维空间中便自动完成跟踪功能。

Kinect传感器可以得到深度数据流和基于人体的骨骼数据流。其中深度数据流中的每一个像素点包含该点与Kinect传感器的距离信息，并且每个像素点上都有一个索引值，指示该像素点在真实空间中对应的点是否属于人体。骨骼数据流包含了真实三维空间中人体20个骨骼点相对于Kincet传感器的三维坐标信息。本发明利用计算机上的visiualstudio 2010软件以及Kinect传感器自带的Kinect for windows SDK程序开发包，对Kinect返回的深度数据流和骨骼数据流进行处理，进而产生最终的投影图像。

深度数据流形成的深度图像是一个320*240的像素阵列，定义其为深度图像空间，其左上角为原点，右下角为(320，240)。骨骼数据流中的人体骨骼坐标点可以通过Kinectfor windows SDK开发包中自带的函数转换到深度图像空间中。计算机屏幕上的图像通过投影仪投影到三维空间中，定义计算机屏幕为投影空间，左上角为原点，右下角规定为(320，240)。定义投影仪的投影区域为真实三维空间，且左上角为真实三维空间原点，测量投影区域的右下角坐标为(P_xb,P_yb,P_z)，其中P_z是传感器与投影平面的距离。计算机屏幕(投影空间)的原点，经投影仪投射后恰好投射到真实三维空间的原点。

首先需要实验测定真实三维空间、深度图像空间和投影空间的坐标转换关系。

对于真实三维空间中的一点，例如该点是人体的头部A_P(P_x,P_y,P_z)，A_P点在深度图像空间对应的位置为A_D(D_x,D_y),利用空间变换关系将深度空间中的点A_D线性变换到投影空间(即计算机屏幕)上的点A_T(T_x,T_y)，屏幕上A_T点所对应的光经投影仪投射后恰好投射到三维空间中的点A_P(P_x,P_y,P_z)。因此首先需要测定出深度图像空间和投影空间的坐标转换关系。

当Kinect传感器与真实三维空间中的点A_p(P_x，P_y)的距离为P_z1时，点A_p(P_x，P_y)经过线性映射变换到深度图像空间的某一像素点(D_x，D_y)上，假定其线性映射转换关系为：

其中，k₁₁、k₁₂、b₁₁、b₁₂为系数。

当投影仪与真实三维空间中的点A_p(P_x，P_y)的距离为P_z2时，计算机屏幕(投影空间)上的点(T_x，T_y)经过投影仪线性投射到真实三维空间(P_x，P_y)，假定其线性映射转换关系为：

其中，k₂₁、k₂₂、b₂₁、b₂₂为系数。

由于传感器与Kinect传感器固连，P_z1＝P_z2＝P_z。且由于投影空间原点经投影仪投射后，恰好投射到三维空间原点，因此b₂₁＝b₂₂＝0。

通过以上两式可以得到深度空间与投影空间的关系也为线性关系。且关系式如下：

其中：

k_x＝1/k₁₁k₂₁

k_y＝1/k₁₂k₂₂

b_x＝-b₁₁/(k₁₁k₂₁)

b_y＝-b₁₂/(k₁₂k₂₂) (4)

因此只需通过实验测定出(1)和(2)的参数便可计算出(3)的参数。

即对于深度数据流中的一点A_D(D_x,D_y)，经过(3)式变换到计算机屏幕上的点A_T＝(T_x,T_y)后，A_T经过投影仪投射，便可投射到三维空间中点A_P＝(P_x,P_y,P_z)。

实验测定步骤如下：

①在与系统距离为L的墙面不同位置放置两个立方体小盒。其坐标分别为：(P_xi,P_yi,L)i＝1,2；

②在深度图像中找到2个小盒对应的像素点坐标：(D_xi,D_yi)i＝1,2；

③利用(D_xi,D_yi)和(P_xi,P_yi)之间的关系，确定出(1)式的参数k₁₁、k₁₂、b₁₁、b₁₂；

④用米尺测量出投影区域右下角坐标(P_x0,P_y0,L)，得到k₂₁＝P_x/320、k₂₂＝P_y/240

⑤将实验得到的参数k₁₁、k₁₂、b₁₁、b₁₂、k₂₁、k₂₂代入式(4)，得到距离L下的(3)式的参数值k_x、k_y、b_x、b_y。

可以在第①步中在不同位置多设置几个立方体小盒进行计算，以提高计算精度。

本发明的基于Kinect传感器的投影追踪方法，包括如下步骤：

步骤1，将Kinect传感器与投影仪放置在待投影的真实三维空间前方，如图2所示，Kinect传感器、投影仪与计算机相连；其中，Kinect传感器的中轴与投影仪的中轴重合，Kinect传感器的前端与投影仪的前端的距离为13cm，Kinect传感器的上端与投影仪的上端的距离为9cm，实验获得式(3)的系数为：

k_x＝1.05，b_x＝-30，k_y＝1.4，b_y＝15

改变人体距离Kinect传感器的距离L，计算得出的式(3)中的系数不变，由此可以看出，k_x、k_y、b_x、b_y的值与人体距离Kinect传感器的距离L无关。

步骤2，Kinect传感器探测真实三维空间中的人体，获得骨骼数据流和深度数据流，将骨骼数据流和深度数据流变换到投影空间中。

步骤2.1，Kinect传感器将骨骼数据流和深度数据流传输给计算机，计算机利用Kinect for windows SDK程序开发包将骨骼数据流和深度数据流变换到深度图像空间；如人体头部骨骼点坐标为A_h(h_x,h_y,h_z)，利用Kinect for windows SDK开发包中自带的函数转换到深度图像上得到点A_D(D_x,D_y)。

步骤2.2，利用式(3)将深度图像空间上的人体20个骨骼点(D_x，D_y)映射到投影空间(计算机屏幕)上，获得其在投影空间中的坐标(T_x，T_y)；

步骤3，在投影空间中对20个骨骼点进行投影处理。

如果需要对人体某个部位进行光斑跟踪，如对人体进行头部追踪，则在投影空间中，以头部骨骼点坐标为圆心，画一个光斑，该光斑经过投影仪投影后，便可以自动追踪人体头部，如图3所示。

如果需要对人体各部位投射不同颜色的光，如对头部投射橙色光、上身投射蓝色，下身投射绿色，则对最新的一帧深度图像中的所有像素点进行扫描，利用深度数据流中各像素点的索引值判断该点是否属于人体，若该像素点属于人体，那么利用(3)式将其映射到投影空间中的相应的点。深度图像中所有属于人身体上的点映射到投影空间后，构成点集Ω。以骨骼点为分界点，例如以头部、颈部和腰部三个骨骼点为分界点，将人体分为头部、上身和下身，将Ω中的点在屏幕上显示三种不同的颜色，利用投影仪将这些带有颜色的点集进行投影。于是站在真实三维空间中的人体的不同部位便被投射上了不同颜色的光。当人体在前方移动时，Ω点集的位置也会随之改变，从而跟随人体的移动，保证对人体的自动追光。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于Kinect传感器的投影方法，其特征在于，包括如下步骤：

步骤1，将Kinect传感器与投影仪放置在待投影的真实三维空间前方；

其中，由Kinect传感器获得的深度数据流形成的深度图像定义为深度图像空间，其左上角为原点；定义计算机屏幕为投影空间，其左上角为原点；定义投影仪的投影区域为真实三维空间，其左上角为真实三维空间原点；投影空间的原点经投影仪投射在真实三维空间的原点；

步骤2，利用Kinect传感器获得人体骨骼数据流和深度数据流，利用深度图像空间、真实三维空间、投影空间之间的转换关系，将骨骼数据流和深度数据流变换到投影空间中；

其中，人体骨骼数据流和深度数据流变换到投影空间中的方法如下：

步骤2.1，利用Kinect for windows SDK程序开发包将骨骼数据流和深度数据流变换到深度图像空间；

步骤2.2，根据深度图像空间与真实三维空间的坐标转换关系，以及投影空间与真实三维空间的坐标转换关系，得到深度图像空间与投影空间之间的转换关系，利用深度图像空间与投影空间之间的转换关系将人体骨骼点映射到投影空间上；

所述步骤2.2中深度图像空间与真实三维空间的坐标转换关系为线性关系：

$\begin{array}{c}{D}_x=k_{11}{P}_x+b_{11}\\ D_y=k_{12}{P}_y+b_{12}\end{array}---\left(1\right)$

其中，(D_x、D_y)为深度图像空间中的点的坐标；(P_x、P_y)为真实三维空间中的点的坐标；k₁₁、k₁₂、b₁₁、b₁₂为系数；

投影空间与真实三维空间的坐标转换关系为线性关系：

$\begin{array}{c}{P}_x=k_{21}{T}_x\\ P_y=k_{22}{T}_y\end{array}---\left(2\right)$

其中，(T_x、T_y)为投影空间中的点的坐标；k₂₁、k₂₂为系数；

则深度空间与投影空间的坐标转换关系为：

$\begin{array}{c}{T}_x=k_x{D}_x+b_x\\ T_y=k_y{D}_y+b_y\end{array}---\left(3\right)$

其中，

k_x＝1/k₁₁k₂₁

k_y＝1/k₁₂k₂₂

b_x＝-b₁₁/(k₁₁k₂₁)

b_y＝-b₁₂/(k₁₂k₂₂) (4)

其中，k₁₁、k₁₂、b₁₁、b₁₂、k₂₁、k₂₂的获取方法如下：

①在与系统距离为L的墙面不同位置放置2个立方体小盒，其在真实三维空间的坐标分别为(P_x1，P_y1，L)和(P_x2，P_y2，L)；其中，所述系统为由Kinect传感器、投影仪与计算机组成的系统；

②在深度图像中找到2个立方体小盒对应的像素点坐标(D_x1，D_y1)和(D_x2，D_y2)；

③利用(D_xi,D_yi)和(P_xi,P_yi)之间的关系，i＝1，2，确定出(1)式的参数k₁₁、k₁₂、b₁₁、b₁₂；

④令投影空间右下角坐标为(320，240)，用米尺测量出真实三维空间中投影区域右下角坐标为(P_xb，P_yb，L)，得到k₂₁＝P_xb/320，k₂₂＝P_yb/240；

⑤将实验得到的参数k₁₁、k₁₂、b₁₁、b₁₂、k₂₁、k₂₂代入式(4)，得到距离L下的式(3)的参数值k_x、k_y、b_x、b_y；

步骤3，根据骨骼点在投影空间中进行人体投影设置，再经投影仪投影至真实三维空间。

2.如权利要求1所述的基于Kinect传感器的投影方法，其特征在于，在投影空间中，以需要跟踪的骨骼点的坐标为圆心，画一个光斑，该光斑经投影仪投影在真实三维空间中。

3.如权利要求1所述的基于Kinect传感器的投影方法，其特征在于，在投影空间中，以人体骨骼为分界点将人体分为多个部位，并设置人体不同部位显示不同的颜色，再经投影仪投影至真实三维空间。