CN102778953A - 基于Kinect的皮影戏远程数字表演的体感控制方法 - Google Patents

Abstract

本发明公开了一种基于Kinect的皮影戏远程数字表演的体感控制方法，该方法首先构建演员的手势信息；再由演员的人体各关节点位置，通过人体到皮影的映射运算，生成数字皮影人物图片形象数据，通过因特网使远程客户端观赏到皮影戏的表演。本发明能够使演员在kinect摄像头前，通过挥动双手配合肢体运动来操控皮影人物动作，使得皮影戏数字化表演成为了现实。

Description

基于Kinect的皮影戏远程数字表演的体感控制方法

技术领域

本发明涉及计算机数字多媒体及人机交互技术领域，具体地说是一种基于体感摄像头（Kinect）的皮影戏远程数字表演的体感控制方法。

背景技术

皮影戏作为世界非物质文化遗产，是我国的艺术瑰宝。传统的皮影戏表演方法主要依靠实体舞台和演员用线控制皮影做出动作进行表演。然而由于舞台大小、演员数量等因素的制约，目前皮影戏艺术的推广和传播仅仅局限于相对较少的人群中。为了能够借助计算机数字化地对皮影戏艺术文化的传播和发扬，现有的技术通常将舞台的皮影戏录制，并单纯地以视频的方式借助计算机网络进行数字传播。然而，这种简单地录制皮影戏视频的方法，无法满足观众演员互动、灵活可变表演等现代的观演需求。因此，在对皮影戏数字化的进程中，中国传统皮影戏爱好者与艺术家们迫切需要一套将皮影戏表演完全数字化的解决方案。

体感控制是目前计算机人机交互领域的热门研究方向。传统的人机交互方法通常依赖于触摸传感器、键盘和鼠标，这样的传统交互方式逐渐无法满足用户更直观更真实地控制计算机的需求。而新生的体感控制方法，其核心思想在于通过检测和识别人体肢体动作，如躯干的伸展收缩、手势变化和人位置移动等，在计算机端对人体动作做出解释和反应，以达到更真实地操控计算机的目的。体感控制通常需要传感器或者摄像头等辅助设备，而目前市面上较为流行的体感设备主要有Kinect，Asus Xtion，PS Move等。Kinect体感摄像头是微软公司为Windows和Xbox平台提供的体感控制辅助设备。通过Kinect体感摄像头，计算机软件和游戏开发人员可以实时地获得摄像头面前物体的深度图像、色彩RGB图像以及摄像头面前所站人体各个关节的三维位置坐标（三维为：上下，左右和前后三个维度），并对这些图像和坐标信息进行处理、解释，从而制作出对人体动作做出相应反应的计算机软件或游戏。

虽然利用微软公司Kinect摄像头可以方便地获取人体骨骼各关节节点位置，然而对于利用Kinect进行人体手势细节信息（如单个手指的伸展弯曲，手掌轮廓图案等细节），因为涉及到细节识别、模式匹配等难题，包括微软公司在内的各大公司目前都没有提供完善的解决方法。现有的一些手势识别理论研究，通常利用含有大批量手势模型的数据库，对计算机进行模式训练（Computer Training），使得计算机能够掌握各个特定手势的基本规律。这样，当像计算机输入新的手势时，这种方法会根据此手势与数据库中的各手势进行匹配，并将数据库中与此输入手势最为接近的手势作为识别结果输出。这种基于机器学习的算法，非常依赖于现有的手势数据库，但不能够主动地分析手势的具体信息（如各个手指所指的方向、手指的数量、掌心位置或手掌宽度等），因此其扩展性较差，所成的结果也非常不直观。

远程桌面是一种成熟的借助因特网TCP/IP协议进行计算机远程访问的方法。目前主流的操作系统，如微软视窗（windows）操作系统、Linux系统等都支持远程桌面的协议。通过远程桌面技术，客户计算机可以访问服务器主机，对服务器主机进行操作以及观看服务器主机的视频输出等。

二值图像即数字黑白图像，图像中所有的像素的色彩信息均由黑（1）或白（0）两个值表示，因此被称为二值图像。在数字图像处理中，二值图像通常被广泛运用在图像分割中，有用的需要被保留的信息为黑色，而无用的信息则通通被置为白色背景。这样，需要被分割出来的子图会以极高的对比度被清晰地表现出来。因为二值图像黑色信息与白色背景的交接非常直接明显，因此二值图像也被运用在目标物体的轮廓识别上。

发明内容

本发明的目的是针对现有技术的不足而提供的一种基于Kinect的皮影戏远程数字表演的体感控制方法，该方法能使演员在kinect摄像头前，通过挥动双手配合肢体运动来操控皮影人物动作，使得皮影戏数字化表演成为了现实。

本发明的目的是这样实现的：

一种基于Kinect的皮影戏远程数字表演的体感控制方法，该方法包括以下步骤：

a、将Kinect体感摄像头连接至主机服务器计算机，并将Kinect体感摄像头置于演员正面，演员伸出手臂使得手掌以垂直于地面的角度靠近Kinect体感摄像头，Kinect体感摄像头生成了演员人体各关节位置信息； 

b、从Kinect体感摄像头的各关节位置信息中读取演员手的位置坐标，并通过Kinect输出的深度图像检测演员的手势信息，具体包括； 

ⅰ）从Kinect摄像头输出的深度图像中读取与手腕所在位置深度相同的子图，并将子图的像素灰度值置为1，图像中其余部分像素灰度值设为0，得到演员手的轮廓二值黑白图像； 

ⅱ）在演员手轮廓图像中作最大内切圆，定义此内切圆的圆心即为掌心位置所在，定义此内切圆的直径为手掌宽度，定义此时手指个数为0； 

ⅲ）以掌心位置为圆心作手轮廓的切割圆，此圆半径以手掌宽度的1/2为初始值，不断增大；

ⅳ）当某一时刻切割圆与手轮廓图像相交，在形成的长度不等的交线线段中，选择一条交线线段长度大于1/5手掌宽度且小于1/3手掌宽度，认定此交线为某一根手指的切割线段； 

ⅴ）以此切割线段为界，将手掌轮廓面积分割为两部分：定义面积较大的部分为手掌图像部分，面积较小的部分为手指图像部分，手指个数加一；

ⅵ）根据手指图像部分各像素点同掌心位置的距离的大小比较，取得手指图像中距离掌心最远的点，定义此点为指尖，取其位置为此根手指尖的位置；

ⅶ）将此手指图像部分从演员手轮廓图像中消除，返回本步骤 ⅲ）继续检测其余手指，直至切割圆的半径增大至手掌宽度的3/2，则停止检测；

ⅷ）至此，掌心位置、手指个数、各手指位置全部检测完毕，构成演员的手势信息；

c、由Kinect体感摄像头得到演员的人体各关节点位置，通过人体到皮影的映射运算，生成数字皮影人物图片形象数据，具体包括： 

ⅰ）从Kinect体感摄像头中读取演员各关节节点的三维位置信息；

ⅱ）将所有关节节点三维位置信息中的Z轴信息删除，得到演员关节节点的二维位置信息；

ⅲ）将各关节节点二维位置形成树状结构，其中臀部关节位置为肩膀关节位置和左右膝盖位置的父节点位置；肩膀关节位置为左右肘关节位置和头关节位置的父节点位置；左肘关节位置为左手腕关节位置的父节点位置；右肘关节位置为右手腕关节位置的父节点位置；左膝盖关节位置为左脚踝关节位置的父节点位置；右膝盖关节位置为右脚踝关节位置的父节点位置；

ⅳ）根据树状的层次关系，将子节点位置与父节点位置求差，得到演员人体十块骨骼向量，其十块骨骼分别为：头部关节节点与肩膀关节节点所夹骨骼为头骨骼，肩膀关节节点与臀部关节节点所夹骨骼为躯干骨骼，左右肘关节节点与肩膀关节节点所夹骨骼分别为左右上臂骨骼，左右手腕关节节点与左右肘关节节点所夹骨骼分别为左右下臂骨骼，左右膝盖关节节点与臀部关节节点所夹骨骼分别为左右大腿骨骼，左右脚踝关节节点与左右膝盖关节节点所夹骨骼分别为左右小腿骨骼；

ⅴ）定义各骨骼向量与竖直方向的夹角为此骨骼的旋转角θ；

ⅵ）将传统皮影戏人物道具拆解，形成十块骨骼，分别是头、躯干、左右上臂、左右下臂、左右大腿及左右小腿骨骼，扫描入计算机，形成十幅数字皮影人物骨骼图片；

ⅶ）由演员人体头、躯干、左右上臂、左右大腿六块骨骼的旋转角度信息及数字皮影人物中对应骨骼的长度值，通过以下公式，计算得到数字皮影人物的六个关键轴承点的位置坐标，其六个关键轴承点为：数字皮影人物的肩膀、臀部、左右肘关节及左右膝盖关节位置；                                                

其中：child为此块骨骼的末梢节点，father为此块骨骼的上端节点，Lchild→father为数字皮影人物中子节点与父节点所夹骨骼的长度值，θ为演员人体骨骼向量与竖直方向的夹角；

ⅷ）将十幅数字皮影人物骨骼图片分别平移至各自骨骼的父节点即关键轴承点位置，分别为：头部平移至肩膀关节处；左上臂平移至肩膀关节处；右上臂平移至肩膀关节处；左下臂平移至左肘关节处；右下臂平移至右肘关节处；躯干平移至臀部关节；左大腿平移至臀部关节处；右大腿平移至臀部关节处；左小腿平移至左膝关节处；右小腿平移至右膝关节处；

ⅸ）将平移至各关节处的十幅数字皮影人物骨骼图片分别根据十块演员人体骨骼的旋转角度、以数字皮影人物各骨骼对应的关节处为旋转中心，进行旋转，在主机服务器计算机内生成数字皮影人物图片形象数据；

d、演员通过手激活步骤b第ⅷ）步的手势信息控制主机服务器计算机进行皮影戏的表演，利用因特网连接远程客户端计算机，使远程客户端计算机屏幕可观赏到皮影戏的表演。

本发明解决了演员数字化表演国粹皮影戏的难题，使得中国的传统艺术瑰宝皮影戏得以借助计算机这个高科技平台进行传播和发展。演员仅需要用肢体做出相应的动作即可指挥皮影人物，因此传统演员可以在保留原有表演方式的前提下无需培训即可参与数字化表演，使得表演皮影戏的方法更简单直观。而且由于本发明实现了因特网远程表演，因此只要有网络的地方即可观看数字皮影戏，大大扩大了皮影戏的影响范围。

附图说明

图1为本发明手型的二值图；

图2为本发明树状结构示意图。

具体实施方式

本发明包括以下步骤：

a、将Kinect体感摄像头连接至主机服务器计算机，并将Kinect体感摄像头置于演员正面，演员伸出手臂使得手掌以垂直于地面的角度靠近Kinect体感摄像头，Kinect体感摄像头生成了演员人体各关节位置信息； 

b、从Kinect体感摄像头的各关节位置信息中读取演员手的位置坐标，并通过Kinect输出的深度图像检测演员的手势信息。

为了能够正确地得到手势信息，首先需要分割出只含有手的图像，而将无关的图像信息删除。因为从微软Kinect摄像头的输出骨骼坐标中能够得到手腕的位置，近似地认为手掌手指与手腕的位置大致相同。又因为在Kinect摄像头中输出的深度图像中，相同深度的点坐标中，Z轴（深度轴）的数值非常接近，因此，只要得到手腕的位置，并根据手腕所在位置的深度值，对图像中所有的点进行筛选，就可以得到与手腕深度相同的所有的点所组成的图像。由于手掌手指与手腕非常靠近，深度值往往近似相同，因此这样能够很准确地分割出手掌手指的图像。分割手掌手指的操作具体为； 

ⅰ）从Kinect摄像头输出的深度图像中读取与手腕所在位置深度相同的子图，并将子图的像素灰度值置为1，图像中其余部分像素灰度值设为0，得到演员手的轮廓二值黑白图像； 

ⅱ）在得到手的二值图像之后，还需得到手掌的掌心。由于人类手的形状特征，只有手掌部分与圆的形状最为吻合，在演员手轮廓图像中作最大内切圆（图1中圆A），定义此内切圆的圆心即为掌心位置所在，定义此内切圆的直径为手掌宽度，定义此时手指个数为0； 

ⅲ）由于各手指总是以长条形，以掌心为中心向外伸张，以掌心为圆心做半径较大的圆，则手指必定会切割一部分的圆弧长。因此，以掌心位置为圆心作手轮廓的切割圆（图1中圆B），此圆半径以手掌宽度的1/2为初始值，不断增大，来检测各个手指；

ⅳ）当某一时刻切割圆与手轮廓图像相交，在形成的长度不等的交线线段中，选择一条交线线段长度大于1/5手掌宽度且小于1/3手掌宽度，认定此交线为某一根手指的切割线段（图1中线段C）； 

ⅴ）以此切割线段为界，将手掌轮廓面积分割为两部分：定义面积较大的部分为手掌图像部分（图1中面积E），面积较小的部分为手指图像部分（图1中面积D），手指个数加一；

ⅵ）根据手指图像部分各像素点同掌心位置的距离的大小比较，取得手指图像中距离掌心最远的点，定义此点为指尖，取其位置为此根手指尖的位置；

ⅶ）将此手指图像部分从演员手轮廓图像中消除，返回本步骤 ⅲ）继续检测其余手指，直至切割圆的半径增大至手掌宽度的3/2，则停止检测；

ⅷ）至此，掌心位置、手指个数、各手指位置全部检测完毕，构成演员的手势信息；

c、由Kinect体感摄像头得到演员的人体各关节点位置，通过人体到皮影的映射运算，生成数字皮影人物图片形象数据。

由于皮影人物归根到底即为真实人的抽象，将演员的骨骼、动作完全映射为数字皮影人物的动作，演员以躯体动作方便地控制皮影人物进行表演。但是从Kinect摄像头中读取的演员骨骼信息并不完全与数字皮影人物吻合，因为：

1. 演员各骨骼的长度与皮影骨骼不符；

2. 演员的关节数目要远多于皮影人物；

3. 演员骨骼信息为三维坐标，而皮影表演则为二维平面图像。

因此，提取演员的各关节节点的二维信息，通过极坐标公式，计算各骨骼的夹角，然后根据这些夹角旋转皮影任务的各个骨骼，这样，皮影人物既可以准确地反映演员的动作特征，又能够保持皮影人物特有的身体比例。具体实现包括： 

ⅰ）从Kinect体感摄像头中读取演员各关节节点的三维位置信息；

ⅱ）将所有关节节点三维位置信息中的Z轴信息删除，得到演员关节节点的二维位置信息；

ⅲ）将各关节节点二维位置形成树状结构（参阅图2），其中臀部关节位置为肩膀关节位置和左右膝盖位置的父节点位置；肩膀关节位置为左右肘关节位置和头关节位置的父节点位置；左肘关节位置为左手腕关节位置的父节点位置；右肘关节位置为右手腕关节位置的父节点位置；左膝盖关节位置为左脚踝关节位置的父节点位置；右膝盖关节位置为右脚踝关节位置的父节点位置；

ⅳ）根据树状的层次关系，将子节点位置与父节点位置求差，得到演员人体十块骨骼向量，其十块骨骼分别为：头部关节节点与肩膀关节节点所夹骨骼为头骨骼，肩膀关节节点与臀部关节节点所夹骨骼为躯干骨骼，左右肘关节节点与肩膀关节节点所夹骨骼分别为左右上臂骨骼，左右手腕关节节点与左右肘关节节点所夹骨骼分别为左右下臂骨骼，左右膝盖关节节点与臀部关节节点所夹骨骼分别为左右大腿骨骼，左右脚踝关节节点与左右膝盖关节节点所夹骨骼分别为左右小腿骨骼；

ⅴ）定义各骨骼向量与竖直方向的夹角为此骨骼的旋转角θ；

ⅵ）将传统皮影戏人物道具拆解，形成十块骨骼，分别是头、躯干、左右上臂、左右下臂、左右大腿及左右小腿骨骼，扫描入计算机，形成十幅数字皮影人物骨骼图片；

ⅶ）由演员人体头、躯干、左右上臂、左右大腿六块骨骼的旋转角度信息及数字皮影人物中对应骨骼的长度值，通过以下公式，计算得到数字皮影人物的六个关键轴承点的位置坐标，其六个关键轴承点为：数字皮影人物的肩膀、臀部、左右肘关节及左右膝盖关节位置；

其中：child为此块骨骼的末梢节点，father为此块骨骼的上端节点，Lchild→father为数字皮影人物中子节点与父节点所夹骨骼的长度值，θ为演员人体骨骼向量与竖直方向的夹角；

ⅷ）将十幅数字皮影人物骨骼图片分别平移至各自骨骼的父节点即关键轴承点位置，分别为：头部平移至肩膀关节处；左上臂平移至肩膀关节处；右上臂平移至肩膀关节处；左下臂平移至左肘关节处；右下臂平移至右肘关节处；躯干平移至臀部关节；左大腿平移至臀部关节处；右大腿平移至臀部关节处；左小腿平移至左膝关节处；右小腿平移至右膝关节处；

ⅸ）将平移至各关节处的十幅数字皮影人物骨骼图片分别根据十块演员人体骨骼的旋转角度、以数字皮影人物各骨骼对应的关节处为旋转中心，进行旋转，在主机服务器计算机内生成数字皮影人物图片形象数据；

d、为了能够远距离地表演以及更广泛地传播，远程表演是皮影戏现代化不可或缺的部分。基于远程桌面技术，可以将主机服务器计算机同客户计算机通过因特网连接，使得主机服务器计算机端进行的皮影表演实时地传送到远端的客户端主机上，让客户端用户能够观赏皮影戏表演；演员通过手激活步骤b第ⅷ）步的手势信息控制主机服务器计算机进行皮影戏的表演，远程客户端计算机屏幕可观赏到皮影戏的表演。

Claims (1)

1.一种基于Kinect的皮影戏远程数字表演的体感控制方法，其特征在于该方法包括以下步骤：

a、将Kinect体感摄像头连接至主机服务器计算机，并将Kinect体感摄像头置于演员正面，演员伸出手臂使得手掌以垂直于地面的角度靠近Kinect体感摄像头，Kinect体感摄像头生成了演员人体各关节位置信息； 

b、从Kinect体感摄像头的各关节位置信息中读取演员手腕关节的位置坐标，并通过Kinect输出的深度图像检测演员的手势信息，具体包括； 

ⅰ）从Kinect摄像头输出的深度图像中分割出与手腕所在位置深度相同的子图，并将子图的像素灰度值置为1，图像中其余部分像素灰度值设为0，得到演员手的轮廓二值黑白图像； 

ⅱ）在演员手轮廓图像中作最大内切圆，定义此内切圆的圆心即为掌心位置所在，定义此内切圆的直径为手掌宽度，定义此时手指个数为0； 

ⅲ）以掌心位置为圆心作手轮廓的切割圆，此圆半径以手掌宽度的1/2为初始值，不断增大；

ⅳ）当某一时刻切割圆与手轮廓图像相交，在形成的长度不等的交线线段中，选择一条交线线段长度大于1/5手掌宽度且小于1/3手掌宽度，认定此交线为某一根手指的切割线段； 

ⅴ）以此切割线段为界，将手掌轮廓面积分割为两部分：定义面积较大的部分为手掌图像部分，面积较小的部分为手指图像部分，手指个数加一；

ⅵ）根据手指图像部分各像素点同掌心位置的距离的大小比较，取得手指图像中距离掌心最远的点，定义此点为指尖，取其位置为此根手指尖的位置；

ⅶ）将此手指图像部分从演员手轮廓图像中消除，返回本步骤 ⅲ）继续检测其余手指，直至切割圆的半径增大至手掌宽度的3/2，则停止检测；

ⅷ）至此，掌心位置、手指个数、各手指位置全部检测完毕，构成演员的手势信息；

c、由Kinect体感摄像头得到演员的人体各关节点位置，通过人体到皮影的映射运算，生成数字皮影人物图片形象数据，具体包括： 

ⅰ）从Kinect体感摄像头中读取演员各关节节点的三维位置信息；

ⅱ）将所有关节节点三维位置信息中的Z轴信息删除，得到演员关节节点的二维位置信息；

ⅲ）将各关节节点二维位置形成树状结构，其中臀部关节位置为肩膀关节位置和左右膝盖位置的父节点位置；肩膀关节位置为左右肘关节位置和头关节位置的父节点位置；左肘关节位置为左手腕关节位置的父节点位置；右肘关节位置为右手腕关节位置的父节点位置；左膝盖关节位置为左脚踝关节位置的父节点位置；右膝盖关节位置为右脚踝关节位置的父节点位置；

ⅳ）根据树状的层次关系，将子节点位置与父节点位置求差，得到演员人体十块骨骼向量，其十块骨骼分别为：头部关节节点与肩膀关节节点所夹骨骼为头骨骼，肩膀关节节点与臀部关节节点所夹骨骼为躯干骨骼，左右肘关节节点与肩膀关节节点所夹骨骼分别为左右上臂骨骼，左右手腕关节节点与左右肘关节节点所夹骨骼分别为左右下臂骨骼，左右膝盖关节节点与臀部关节节点所夹骨骼分别为左右大腿骨骼，左右脚踝关节节点与左右膝盖关节节点所夹骨骼分别为左右小腿骨骼；

ⅴ）定义各骨骼向量与竖直方向的夹角为此骨骼的旋转角θ；

ⅵ）将传统皮影戏人物道具拆解，形成十块骨骼，分别是头、躯干、左右上臂、左右下臂、左右大腿及左右小腿骨骼，扫描入计算机，形成十幅数字皮影人物骨骼图片；

ⅶ）由演员人体头、躯干、左右上臂、左右大腿六块骨骼的旋转角度信息及数字皮影人物中对应骨骼的长度值，通过以下公式，计算得到数字皮影人物的六个关键轴承点的位置坐标，其六个关键轴承点为：数字皮影人物的肩膀、臀部、左右肘关节及左右膝盖关节位置；

                                                

其中：child为此块骨骼的末梢节点，father为此块骨骼的上端节点，Lchild→father为数字皮影人物中子节点与父节点所夹骨骼的长度值，θ为演员人体骨骼向量与竖直方向的夹角；

ⅷ）将十幅数字皮影人物骨骼图片分别平移至各自骨骼的父节点即关键轴承点位置，分别为：头部平移至肩膀关节处；左上臂平移至肩膀关节处；右上臂平移至肩膀关节处；左下臂平移至左肘关节处；右下臂平移至右肘关节处；躯干平移至臀部关节；左大腿平移至臀部关节处；右大腿平移至臀部关节处；左小腿平移至左膝关节处；右小腿平移至右膝关节处；

ⅸ）将平移至各关节处的十幅数字皮影人物骨骼图片分别根据十块演员人体骨骼的旋转角度、以数字皮影人物各骨骼对应的关节处为旋转中心，进行旋转，在主机服务器计算机内生成数字皮影人物图片形象数据；

d、演员通过手激活步骤b第ⅷ）步的手势信息控制主机服务器计算机进行皮影戏的表演，利用因特网连接远程客户端计算机，使远程客户端计算机屏幕可观赏到皮影戏的表演。

Images