CN104536562A - 一种基于体感技术及云计算的文件传输方法 - Google Patents

Abstract

本发明涉及一种基于体感技术及云计算的文件传输方法。所述方法包括体感操作和网络云文件传输。体感操作包括：Kinect设备初始化；跟踪人体骨骼数据，选择最近的人体骨架作为主控者；根据人体头部位置和双手位置进行空间坐标转换，使手部移动范围可以铺满整个屏幕；跟踪双手位置变化，切换左右手模式；识别手势实现主控手做出抓取或放开的动作；将人手的动作与鼠标功能对应。网络云文件传输包括：向用户使用的网盘服务上进行第三方应用授权，获得对用户网络文件的操作权限；登陆网盘获取文件列表；上传文件；下载和打开文件。应用本发明可以通过手势操控电脑，通过特定的肢体动作进入到用户个人的网络云空间中进行上传和下载。

Description

一种基于体感技术及云计算的文件传输方法

技术领域

本发明涉及人机交互界面和云计算技术领域，具体涉及采用自然用户界面实现网络云存储的方法。

背景技术

在人机交互界面设计的发展过程中，鼠标和键盘一直是我们与计算机沟通的主要输入设备，而屏幕就一直是计算机信息的最主要输出设备，所以在人机交互作品的创作过程中经常会使用“鼠标经过”、“鼠标点击”、“键盘按下”等事件来判断用户的行为与指令，而鼠标和键盘就成了传达指令的“传令官”。但这种方式并不是人类沟通的原有方式，这是计算机强加给我们的要求，用户无法以更自然、更直观、更接近人类行为方式的自然用户界面(NUI)来操控计算机。

近年来，为了摆脱鼠标、键盘的限制，人们开始关注更接近人类行为的人机交互方式。目前，人机交互技术正处于由图形用户界面向自然交互界面转化的阶段。但是目前为止还没有人将网络云存储技术结合到自然交互界面上，文件传输不够方便，还不能做到通过手势操作在网络云空间中进行上传和下载。

发明内容

为了解决上述问题，本发明利用Kinect摄像头获得的深度数据流和骨骼数据流以及网络云存储技术，提供一种基于Kinect无接触性操作控制计算机和网络云存储技术来实现文件的传输和操作功能的方法。

一种基于体感技术及云计算的文件传输方法，具体按以下步骤进行：

步骤1，体感操作。

步骤1.1，将Kinect接入计算机系统，检查Kinect设备的连接情况，并进行初始化。

步骤1.2，跟踪人体骨骼数据，选择最近的人体骨架作为主控者。

步骤1.3，根据人体头部位置和双手位置进行空间坐标的转换，使得手部的移动范围可以铺满整个屏幕。

步骤1.4，跟踪双手的位置变化，切换左右手模式。

步骤1.5，识别手势，实现主控手做出抓取或放开的动作。

步骤1.6，使用Windows Native API，将人手的动作与鼠标功能对应。

步骤2，网络云文件传输。

步骤2.1，向用户使用的网盘服务上进行第三方应用授权，获得对用户网络文件的操作权限。

步骤2.2，登陆网盘，并获取文件列表。

步骤2.3，上传文件。

步骤2.4，下载和打开文件。

与现有技术相比，本发明具有以下优点：

应用本发明可以通过手势操控电脑，通过特定的肢体动作进入到用户个人的网络云空间中进行上传和下载的操作。本发明适用于从家庭、学校、到工作等场景，用户不必再使用优盘来存放需要携带的文件，只需站在Kinect体感摄像头前挥动手臂，就能轻松存放和获取云端的文件。给用户带来新颖的使用体验，简便人们的日常生活及办公。

附图说明

图1为Kinect人体骨骼追踪示意图；

图2为Kinect骨骼跟踪20个关节点示意图；

图3为Kinect骨骼坐标系；

图4为从骨骼坐标系到鼠标绝对坐标系的转换；

图5为授权和登陆功能流程图；

图6为OAuth协议基本流程图；

图7为获取文件列表流程图；

图8为本发明所述方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

一种基于体感技术及云计算的文件传输方法，流程图如图8所示，具体按以下步骤进行：

步骤1，体感操作。

步骤1.1，将Kinect接入计算机系统，检查Kinect设备的连接情况，并进行初始化。在初始化Kinect设备之后，进行一些交互的基本设置：首先需要获得Kinect连接状态和数量，选择使用的Kinect设备，设置摄像头仰角，打开颜色数据流、深度数据流、骨骼数据流和交互数据流。

步骤1.2，Kinect跟踪人体骨骼数据，选择最近的人体骨架作为主控者。

如图1、2所示，Kinect最多可以跟踪2个骨骼，可以最多检测6个人。站立模式可以跟踪20个关节点，坐着模式可以跟踪10个关节点。

NUI骨骼跟踪分主动和被动两种模式，提供最多两副完整的骨骼跟踪数据。主动模式下需要调用相关帧读取函数获得用户骨骼数据，而被动模式下还支持额外最多四人的骨骼跟踪，但是在该模式下仅包含了用户的位置信息，不包括详细的骨骼数据。对于所有获取的骨骼数据，其至少包含以下信息：

相关骨骼的跟踪状态，被动模式时仅包括位置数据(用户所在位置)，主动模式包括完整的骨骼数据(用户20个关节点的空间位置信息)。

分配给视野中的每个用户的唯一的骨骼跟踪ID，即前述深度数据中的ID，用于区分当前骨骼数据属于哪个用户的。

用户质心位置，该值仅在被动模式下可用(就是标示用户所在位置的)。

Kinect跟踪的用户的各关节点位置用三维骨骼坐标(x,y,z)表示，与深度图像空间坐标不同的是，该坐标单位是米。这个坐标系是右手螺旋的，Kinect感应器处于原点上，z坐标轴则与Kinect感应的朝向一致。y轴正半轴向上延伸，x轴正半轴(从Kinect感应器的视角来看)向左延伸，如图3所示。为了方便讨论，称这个坐标系为骨骼坐标系。

由于Kinect感应器位于骨骼坐标系的原点，Kinect放置的位置会影响生成的图像和数据。例如，Kinect可能被放置在非水平表面上或者有可能在垂直方向上进行了旋转调整来优化视野范围。在这种情况下，y轴就往往不是相对地面垂直的，或者不与重力方向平行。最终得到的图像中，尽管人笔直站立，在图像中也会显示出是倾斜的。

步骤1.3，根据人体头部位置和双手位置进行空间坐标的转换，使得手部的移动范围可以铺满整个屏幕。

这是为了根据空间坐标的信息确定出手部操控的范围，从而实现对手部动作的细节捕捉。

步骤1.4，跟踪双手的位置变化，切换左右手模式。方法与步骤1.2中的骨骼跟踪模式相同。

步骤1.5，识别手势，实现主控手做出抓取或放开的动作。

在许多不同的学科中，手势(gesture)有着其独特的含义，可能这些含义之间有某些异同。在艺术领域，手势被用来传达舞蹈中最富表现力的部分，特别是在亚洲舞蹈艺术中，手势被作为某些宗教符号或象征。在人机交互领域，手势通常有一些含义，表示有意让某些事情发生。手势是一种指令。当通过鼠标或者触控板去点击GUI界面上的按钮时，希望按钮会触发其背后的事件。通常，按钮上会有一个标签来指示按钮的功能，如：开始，取消，打开，关闭。我们的手势操作就是想要实现这些事件。

手势的一个特点是比较随意(arbitrary)。手势有限定的领域，那么在该领域之外没有任何意义。令人惊讶的是除了指向(pointing)和耸肩(shurg)，人类学家没有发现任何可以称之为一种通用手势的东西。然而，在计算机的UI中，指向(pointing)通常被认为是直接操作因为它牵涉到跟踪，同时耸肩的含义太微妙而不好辨识。所以，想要使用任何Kinect手势必须基于应用程序的用户和应用程序的设计和开发者之间就某种手势代表的含义达成一致。

手势识别功能的实现是根据关节坐标与Kinect的距离来判定是左手还是右手来操作鼠标，兼容左右手习惯。首先查找离Kinect最近的被跟踪的骨骼，然后获得离Kinect距离最近被骨骼跟踪的用户，根据与Kinect的距离来判定是左手还是右手来操作鼠标，如果没有伸出手，则不作跟踪，而是以头部的坐标为参照点模拟鼠标移动。然后通过骨骼跟踪事件，捕捉到用户左手或右手的空间坐标(x，y，z)。由于鼠标移动的绝对坐标系和屏幕坐标系不完全一致，鼠标绝对坐标系的X轴、Y轴的点坐标为Int型，值范围是(0～65535)，因此需要进行变换：X＝(x*65536/screenWidth)，Y＝(y*65536/screenHeight)，将屏幕坐标(x，y)转换成鼠标移动的绝对坐标(X，Y)。其中，screenWidth和screenHeight分别为屏幕的长和宽。如图4所示。

这样，操控者就可以通过左右手的抓握和放开来进行对电脑的鼠标操控。

步骤1.6，使用Windows Native API，将人手的动作与鼠标功能对应。

通过骨骼跟踪事件，首先捕捉到用户左手或右手的空间坐标(x，y，z)；其次，将(x，y，z)的XY平面坐标部分映射为屏幕坐标。这一过程可以使用Coding4Fun.Kinect工具包，引用其中的扩展方法Joint.ScaleTo，该方案将骨骼坐标映射为屏幕坐标。

步骤2，网络云文件传输。

步骤2.1，向用户使用的网盘服务上进行第三方应用授权，获得对用户网络文件的操作权限。

在MainPage.Xaml.cs中，当程序启动后先检查有没有已获取的Access Token，若无已获取的Access Token就跳转到授权页面。本实施例采用OAuth 2.0协议进行授权验证，用户只需在此登录自己的账号密码就可以完成授权过程。授权成功后，应用获取并保存Access Token值，作为后续操作的请求参数。反之，不用重复执行登录操作，应用启动后自动获取文件列表和执行后续操作。登录及授权部分的流程图如图5所示。

本实施例作为第三方应用需要通过OAuth 2.0协议进行授权验证，授权成功后得到AccessToken，作为使用云平台数据的“许可证”。如图6所示，协议的基本流程如下：

(1)Client请求RO的授权，请求中一般包含：要访问的资源路径，操作类型，Client的身份等信息。

(2)RO批准授权，并将“授权证据”发送给Client。至于RO如何批准，这个是协议之外的事情。典型的做法是，AS提供授权审批界面，让RO显式批准。

(4)Client向AS请求访问令牌(Access Token)。此时，Client需向AS提供RO的授权证据，以及Client自己身份的凭证。

(5)AS验证通过后，向Client返回访问令牌。访问令牌也有多种类型，若为bearer类型，那么谁持有访问令牌，谁就能访问资源。

(6)Client携带“访问令牌”访问RS上的资源。在令牌的有效期内，Client可以多次携带令牌去访问资源。

(7)RS验证令牌的有效性，比如是否伪造、是否越权、是否过期，验证通过后，才能提供服务。

步骤2.2，登陆网盘，并获取文件列表。

用户成功登陆后将会自动获取用户存放在云端的文件列表：首先，组合URL字符串，并使用HttpWebRequest发送请求数据；然后，应用从服务器获取返回的jason数据，并进行数据解析，生成FileList文件列表结构体。之后对文件列表进行循环处理，不同的文件类型将对应的处理方式不同。最后，将所有文件以自定义控件的形式加载在用户界面中的文件列表区。获取文件列表部分流程图如图7所示。

步骤2.3，上传文件。

文件上传方式有两种，一种为拍照上传，另一种为使用文件选择器选择文件上传。

实现文件上传的关键过程需要将拍摄好的图片或者选择的文件传输给云存储服务端，该过程使用了PCSUploader类完成操作。通过PCS个人云存储开放API接口，以PUT方式发送上传文件请求的，将文件内容传输给服务器。

步骤2.4，下载和打开文件。

当用户想要获取到指定文件的时候，需要执行文件下载操作。下载操作的实现方式与获取缩略图的方法类似，首先使用HttpClient发送请求数据，之后获取返回的数据流并进行处理。只不过这个过程返回的是作为文件的数据流，与之前的缩略图的处理方式不同，这里使用到了StorageStream来新建本地文件，并将获取的数据写入。

经过以上步骤就可以让用户成功利用体感技术及云计算的文件传输方法操作自然用户界面实现网络云存储功能。

Claims (4)

1.一种基于体感技术及云计算的文件传输方法，其特征在于，利用Kinect获得的深度数据流和骨骼数据流以及网络云存储技术实现文件的传输，所述方法包括以下步骤：

步骤1，体感操作；

步骤1.1，将Kinect接入计算机系统，Kinect进行初始化；初始化后，进行交互设置：获得Kinect连接状态和数量，选择使用的Kinect设备，设置摄像头仰角，打开颜色数据流、深度数据流、骨骼数据流和交互数据流；

步骤1.2，Kinect跟踪人体骨骼数据，选择最近的人体骨架作为主控者；

步骤1.3，根据人体头部位置和双手位置进行空间坐标的转换，使得手部的移动范围可以铺满整个屏幕；

步骤1.4，跟踪双手的位置变化，切换左右手模式；方法与步骤1.2中的骨骼跟踪模式相同；

步骤1.5，识别手势，实现主控手做出抓取或放开的动作；

首先查找离Kinect最近的被跟踪的骨骼，然后获得离Kinect距离最近被骨骼跟踪的用户，根据与Kinect的距离来判定是左手还是右手来操作鼠标，如果没有伸出手，则不作跟踪，而是以头部的坐标为参照点模拟鼠标移动；然后通过骨骼跟踪事件，捕捉到用户左手或右手的空间坐标(x，y，z)，进行变换X＝(x*65536/screenWidth)，Y＝(y*65536/screenHeight)，将屏幕坐标(x，y)转换成鼠标移动的绝对坐标(X，Y)，从而实现操控者通过左右手的抓握和放开来进行对电脑的鼠标操控；其中，screenWidth和screenHeight分别为屏幕的长和宽；

步骤1.6，使用Windows Native API，将人手的动作与鼠标功能对应；

通过骨骼跟踪事件，首先捕捉到用户左手或右手的空间坐标(x，y，z)；其次将(x，y，z)的XY平面坐标部分映射为屏幕坐标；

步骤2，网络云文件传输；

步骤2.1，向用户使用的网盘服务上进行第三方应用授权，获得对用户网络文件的操作权限；

步骤2.2，登陆网盘，并获取文件列表；

步骤2.3，上传文件；

文件上传方式有两种，一种为拍照上传，另一种为使用文件选择器选择文件上传；

实现文件上传的关键过程需要将拍摄好的图片或者选择的文件传输给云存储服务端，该过程使用了PCSUploader类完成操作；通过PCS个人云存储开放API接口，以PUT方式发送上传文件请求，将文件内容传输给服务器；

步骤2.4，下载和打开文件；

当用户想要获取到指定文件的时候，需要执行文件下载操作；下载操作的实现方式与获取缩略图的方法类似，首先使用HttpClient发送请求数据，之后获取返回的数据流并进行处理；只不过这个过程返回的是作为文件的数据流，与之前的缩略图的处理方式不同，这里使用到了StorageStream来新建本地文件，并将获取的数据写入。

2.根据权利要求1所述的一种基于体感技术及云计算的文件传输方法，其特征在于，步骤1.2所述的Kinect跟踪人体骨骼数据，最多跟踪2个骨骼，最多检测6个人；站立模式最多跟踪20个关节点，坐着模式最多跟踪10个关节点；所述骨骼跟踪包括主动和被动两种模式，提供最多两副完整的骨骼跟踪数据；主动模式下通过调用相关帧读取函数获得用户骨骼数据，而被动模式下还支持额外最多4个人的骨骼跟踪，但是在该模式下仅包含了用户的位置信息，不包括详细的骨骼数据；对于所有获取的骨骼数据，其至少包含以下信息：

相关骨骼的跟踪状态，被动模式时仅包括位置数据，即用户所在位置；主动模式包括完整的骨骼数据，即用户20个关节点的空间位置信息；

分配给视野中的每个用户的唯一的骨骼跟踪ID，即前述深度数据中的ID，用于区分当前骨骼数据属于哪个用户；

用户质心位置，该值仅在被动模式下使用，用于标示用户所在位置；

Kinect跟踪的用户的各关节点位置采用骨骼坐标系下的三维骨骼坐标(x,y,z)表示；坐标系符合右手螺旋定则，Kinect感应器处于原点，z轴正向与Kinect感应朝向一致，y轴正向向上，x轴正向从Kinect感应器的视角来看向左。

3.根据权利要求1所述的一种基于体感技术及云计算的文件传输方法，其特征在于，步骤2.1所述的第三方应用采用OAuth 2.0协议进行授权验证，授权成功后得到AccessToken，作为使用云平台数据的“许可证”；协议的基本流程如下：

(1)Client请求RO的授权，所述请求包含：要访问的资源路径，操作类型，Client的身份；

(2)RO批准授权，并将“授权证据”发送给Client：AS提供授权审批界面，由RO显式批准；

(4)Client向AS请求“访问令牌Access Token”；此时，Client向AS提供RO的“授权证据”，以及Client自己身份的凭证；

(5)AS验证通过后，向Client返回“访问令牌”；访问令牌有多种类型，若为bearer类型，持有访问令牌就能访问资源；

(6)Client携带“访问令牌”访问RS上的资源；在令牌的有效期内，Client可以多次携带令牌去访问资源；

(7)RS验证令牌的有效性，包括是否伪造、是否越权、是否过期。

4.根据权利要求1所述的一种基于体感技术及云计算的文件传输方法，其特征在于，步骤2.2所述获取文件列表的方法如下：

首先，组合URL字符串，并使用HttpWebRequest发送请求数据；然后，应用从服务器获取返回的jason数据，并进行数据解析，生成FileList文件列表结构体；之后对文件列表进行循环处理，不同的文件类型将对应的处理方式不同；最后，将所有文件以自定义控件的形式加载在用户界面中的文件列表区。