CN103309446B - 以人类双手为载体的虚拟数据获取与传递系统 - Google Patents

Abstract

本发明提供一种以人类双手为载体的虚拟数据获取与传递系统，其中：客户端包括人脸检测模块和动作识别模块，动作识别模块包括基于触屏的手势识别模块和基于实时景深感应摄像头的手势识别模块，服务器端包括人脸识别模块和数据缓存模块；人脸检测模块利用人脸检测算法在影像图片中搜索脸部图片，将检测到的人脸图片发送至人脸识别模块；人脸识别模块记录有用户的脸部数据，当接受到客户端发来的人脸图片后，会计算分析该图片，并将识别出的用户名发回至客户端；动作识别模块捕捉用户的运动信息，并识别用户动作。本发明让用户可不用携带任何附加设备，即可快速流畅地识别用户身份，检测出用户动作的意图，同时完成用户所期望的数据传输效果。

Description

以人类双手为载体的虚拟数据获取与传递系统

技术领域

本发明涉及计算机交互技术领域，具体地，涉及一种以人类双手为载体的虚拟数据获取与传递系统。

背景技术

目前数字信息都是以计算机和网络系统中的物理介质得以读取和传递，而用户若想要获取和传输这些数字信息，就只能利用某些文件系统的功能来完成目标。传统的数据访问或传输方式是基于计算机原语的操作，包括计算机本地的“读/写”原语和网络层上的“发送/接收”原语。

现有技术中也存在动作识别方法，比如中国专利公开号为200610058529的专利发明，提供一种数据获取装置、数据获取方法以及程序。解决以下问题：由于按指定的获取顺序获取素材数据，因此，当获取顺序不连续时，需要多次安装或者重新指定相同记录介质。根据获取队列获取素材数据的数据获取装置由以下部分构成：（ａ）文件检索部，在被指定为素材数据的获取源的记录介质的范围中，与由获取队列指定的获取顺序无关地检索预定获取的素材文件；（ｂ）检索结果显示部，当存在预定获取的素材文件时，将相应的全部素材文件作为优先获取对象，显式地显示在操作画面上。

又如中国专利公开号为201110278157的专利发明，提供了一种无线网络通信系统及其数据传输方法。该方法主要包括：通过光纤将REC、RE和交换网络相互连接，一个所述REC管理至少一个所述RE，一个所述RE归属于一个所述REC管理，所述REC和所述RE之间、所述REC两两之间通过所述交换网络进行相互间通信。

目前的虚拟数据获取和传递方式的缺陷在于，基于计算机原语的方式让机器而非人作为数据传播的主导者，而指令化的操作对于人类来说并非直观、过于复杂，需要经过一定量的学习，而非天性所能掌握。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种以人类双手为载体的虚拟数据获取与传递系统，让用户可以不用携带任何附加设备，系统即可快速流畅地识别用户身份，检测出用户动作的意图，同时完成用户所期望的数据传输效果。

为实现上述目的，本发明所述的以人类双手为载体的虚拟数据获取与传递系统，所述系统包括客户端和服务器端，所述服务器为云服务器；所述客户端包括人脸检测模块和动作识别模块，所述服务器端包括人脸识别模块和数据缓存模块；其中：

人脸检测模块：人脸检测模块位于客户端，通过装配在客户端上的摄像头拍摄用户影像，利用人脸检测算法在影像图片中搜索脸部图片，人脸检测模块会将影像图片中检测得到的人脸图片发送至服务器端的人脸识别模块；

人脸识别模块：人脸识别模块位于服务器端，人脸识别模块记录有用户的脸部数据，当接受到客户端发来的人脸图片后，人脸识别模块会计算分析该图片，并将识别出的结果（即用户名）发回至客户端；当前用户名为服务器端人脸识别模块分析所得结果，当客户端接收到服务器端返回来的用户名后，客户端中的当前用户就会被修改为该用户名；

动作识别模块：动作识别模块位于客户端，它由基于触屏的手势识别模块和基于实时景深感应摄像头的手势识别模块两部分构成，可以根据使用场景的不同，选择通过体实时景深感应摄像头或多点触摸屏设备来捕捉用户的动作，进而识别用户动作；一旦动作识别模块检测到发生了某个定义好的动作，客户端会将动作模块识别到的动作和人脸识别模块所识别到的当前用户的身份传送到服务器端，同时与相关动作对应的，所涉及的文件与文件的信息也会被传送到服务器端，由服务器端的数据缓存模块对收到的数据进行处理；具体的，

基于触屏的手势识别模块：通过触屏获得手指在触屏上的数量以及各自的位置实时信息，进而判断用户是否做出了“抓”或者“放”的手势，以及当前用户在屏幕上的手是左手还是右手；

基于实时景深感应摄像头的手势识别模块：通过实时景深感应摄像头来捕捉人体各关节实时运动信息，进而分析出当前用户是否做出了“抓”，“放”，“给”或“扔”的动作，此外，该模块支持多用户的同时使用，为了区分每个用户，该模块将摄像头范围内检测到的每个人体骨架和其对应的头部图片标定编号，并等待人脸检测模块和人脸识别模块识别出每个头部图片属于哪个用户，以此得知每个人体骨架对应哪个用户；

数据缓存模块：数据缓存模块位于服务器端，接收客户端发来的数据，对数据进行相应的计算，将相关信息进行存储，并将结果返回给客户端。客户端的动作识别模块会将识别到的动作发送给服务器端。如果相关动作需要的话，所涉及的文件与文件的信息也会被传送到服务器端。根据不同的动作，服务器端会进行不同的处理，最后返回处理的结果。

优选地，所述动作识别模块，其中用户动作为动作识别模块所识别出的用户动作意义，用户动作包括“抓”、“放”、“给”、“扔”，其中：

“抓”的文件：当用户动作被识别为“抓”时，屏幕上显示的位于“抓”动作范围内的文件即为被抓取到的文件，被抓取到的文件将被发送到服务器端；

“放”的文件：当用户动作被识别为“放”时，客户端会向服务器索求用户所欲“放”的文件，如果服务器中的数据缓存模块存有用户手中的文件，服务器会将该文件发回，即为“放”的文件；

“给”的文件：当用户的动作被识别为“给”时，客户端会向服务器发送产生“给”操作的两个用户的用户名，如果服务器的数据缓存模块发现两个用户中一个用户手中是有文件的，另一个用户手中是空的，那么服务器端会将有文件的用户的手上的文件复制到空手的用户的手上。

“扔”的文件：当用户的动作被识别为“扔”时，服务器端在收到客户端的请求之后，如果服务器追踪的数据缓存模块存有用户手中的文件，服务器端将会将其删除。

本发明系统具体工作过程：

1.在使用系统之前，新用户需要做注册工作，即将用户名和自己的脸部图片输入到服务器端。人脸识别模块会保存用户名和相应的脸部数据。

2.系统客户端会不断搜寻摄像头捕捉到的人脸图片。人脸检测模块负责提取摄像头捕捉到的影像图片中人脸的部分。客户端每隔S秒会将期间检测到的所有人脸图片一起发送至服务器端。服务器端的人脸识别模块会对收到的脸部图片进行分析，计算这些脸部图片所对应的用户名，将出现次数最多的用户名发送回客户端。客户端接收到服务器端发来的用户名后，会更新识别到的用户身体对应的当前用户名。

3.客户端时刻监控用户的动作，一旦用户做了某个特定手势，客户端会向服务器发送相应请求。在系统中，如果用户做了“抓”手势，客户端会向服务器端发送请求名称（即手势名称）、用户名、左手或右手、“抓”的文件；如果用户做了“放”或“扔”手势，客户端会向服务器端发送请求名称（即手势名称）、用户名、左手或右手；如果用户做了“给”手势，客户端会向服务器端发送请求名称（即手势名称）、两个用户名、分别使用左手还是右手。

4.服务器会将客户端发送来的文件和请求缓存在服务器中。如果接收到“抓”的请求，就在数据缓存模块表格中添加一条新数据，包括用户名、手、文件、添加时间；如果接收到“放”的请求，就去搜索数据缓存模块表格中该用户的相应手中是否存在文件，如果存在就将该文件发回至请求客户端；如果接收到“给”的请求，会先检查数据缓存模块表格中这两个用户对应的两个手是否一个存有文件而另一个不存有文件，如果是，则新添一条缓存信息，将该文件的复制文件连同原来手中无文件的用户的用户名以及左右手作为一条新缓存添加入表格中；如果接收到“扔”的请求，则搜索数据缓存模块表格，将符合该用户名和相应手的数据删掉。此外，一旦数据缓存表格中有数据被使用，如被发送到客户端，或是被复制（即“放”或“扔”），则相应的缓存信息中的“最近操作时间”将会被更新为当前时间。

5.数据缓存模块每隔一段时间就会检查一次数据缓存表，将最近操作时间距离当前时刻大于设定时间的数据删掉。

与现有技术相比，本发明具有如下的有益效果：

本发明可以实现人类通过自己的身体，特别是双手，凭借自然的动作完成电子设备之间，甚至人与人之间的数字信息的获取和共享，通过本发明中用户实时动作识别模块、基于人脸识别的实时用户身份认证模块和数据存储与传输模块的交互和协调工作，让用户可以不用携带任何附加设备，系统即可快速流畅地识别用户身份，检测出用户动作的意图，同时完成用户所期望的数据传输效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明系统架构图；

图2为本发明实施例中基于人脸识别用户身份认证系统流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种以人类双手为载体的虚拟数据获取与传递系统，又称为“指尖快递”系统。本系统的结构为CS结构，客户端包含了人脸检测模块、动作识别模块，服务器端包含了人脸识别模块和数据缓存模块。在“指尖快递”系统中，使用云作为服务器。

人脸检测模块：人脸检测模块位于客户端，通过装配在客户端上的摄像头拍摄用户影像，利用人脸检测算法在影像图片中搜索脸部图片。人脸检测模块会将影像图片中检测得到的人脸图片发送至服务器端的人脸识别模块。

人脸识别模块：人脸识别模块位于服务器端。人脸识别模块记录有用户的脸部数据。当接受到客户端发来的人脸图片后，人脸识别模块会计算分析该图片，并将识别出的结果（即用户名）发回至客户端。当前用户名为服务器端人脸识别模块分析所得结果。当客户端接收到服务器端返回来的用户名后，客户端中的当前用户就会被修改为该用户名。

动作识别模块：动作识别模块位于客户端，它由基于触屏的手势识别模块和基于实时景深感应摄像头的手势识别模块两部分构成。可以根据使用场景的不同，选择通过体实时景深感应摄像头或多点触摸屏设备来捕捉用户的手部动作或全身动作，进而识别用户手势。一旦动作识别模块检测到发生了某个定义好的动作，客户端会将动作模块识别到的动作和人脸识别模块所识别到的当前用户的身份传送到服务器端，同时与相关动作对应的，所涉及的文件与文件的信息也会被传送到服务器端，由服务器端的数据缓存模块对收到的数据进行处理。

基于触屏的手势识别模块：通过触屏获得手指在触屏上的数量以及各自的位置实时信息，进而判断用户是否做出了“抓”或者“放”的手势，以及当前用户在屏幕上的手是左手还是右手。

基于实时景深感应摄像头的手势识别模块：通过实时景深感应摄像头来捕捉人体各关节实时运动信息，进而分析出当前用户是否做出了“抓”，“放”，“给”或“扔”的动作。此外，该模块支持多用户的同时使用，为了区分每个用户，该模块将摄像头范围内检测到的每个人体骨架和其对应的头部图片标定编号，并等待人脸检测模块和人脸识别模块识别出每个头部图片属于哪个用户，以此得知每个人体骨架对应哪个用户。

当然，更加具体的手势识别方法，现有技术已经存在很多，比如利用状态机定义的动作识别方法或利用模式识别的动作识别方法可以根据自身开发能力选用，以上主要介绍了Get&Put动作识别的部分。

本发明中，用户的手势包括触屏情况下的手势和非触屏情况下的手势。基于基于触屏的手势识别是仅识别手部动作，而基于实时景深感应摄像头的手势识别需要识别全身动作。

用户手势：用户手势为动作识别模块所识别出的用户动作意义。在本系统中，包括“抓”“放”“给”“扔”。

“抓”的文件：当用户动作被识别为“抓”时，屏幕上显示的位于“抓”动作范围内的文件即为被抓取到的文件，被抓取到的文件将被发送到服务器端。

“放”的文件：当用户动作被识别为“放”时，客户端会向服务器索求用户所欲“放”的文件。如果服务器中的数据缓存模块存有用户手中的文件，服务器会将该文件发回，即为“放”的文件。

“给”的文件：当用户的动作被识别为“给”时，客户端会向服务器发送产生“给”操作的两个用户的用户名，如果服务器的数据缓存模块发现两个用户中一个用户手中是有文件的，另一个用户手中是空的，那么服务器端会将有文件的用户的手上的文件复制到空手的用户的手上。

“扔”的文件：当用户的动作被识别为“扔”时，服务器端在收到客户端的请求之后，如果服务器追踪的数据缓存模块存有用户手中的文件，服务器端将会将其删除。

如图2所示，本实施例具体工作的流程：

1.在系统使用之前，用户需要先将用户名和自己的脸部图片输入到服务器端。人脸识别模块会保存用户名和相应的脸部数据。

2.系统客户端会不断搜寻摄像头捕捉到的人脸图片。人脸检测模块负责提取摄像头捕捉到的影像图片中人脸的部分。客户端每隔S秒会将期间检测到的所有人脸图片一起发送至服务器端。服务器端的人脸识别模块会对收到的脸部图片进行分析，计算这些脸部图片所对应的用户名，将出现次数最多的用户名发送回客户端。客户端接收到服务器端发来的用户名后，会更新识别到的用户身体对应的当前用户名。

3.客户端时刻监控用户的动作，一旦用户做了某个特定手势，客户端会向服务器发送相应请求。在“指尖快递”系统中，如果用户做了“抓”手势，客户端会向服务器端发送请求名称（即手势名称）、用户名、左手或右手、“抓”的文件；如果用户做了“放”或“扔”手势，客户端会向服务器端发送请求名称（即手势名称）、用户名、左手或右手；如果用户做了“给”手势，客户端会向服务器端发送请求名称（即手势名称）、两个用户名、分别使用左手还是右手。

4.服务器会将客户端发送来的文件和请求缓存在服务器中。如果接收到“抓”的请求，就在数据缓存模块表格中添加一条新数据，包括用户名、手、文件、添加时间；如果接收到“放”的请求，就去搜索数据缓存模块表格中该用户的相应手中是否存在文件，如果存在就将该文件发回至请求客户端；如果接收到“给”的请求，会先检查数据缓存模块表格中这两个用户对应的两个手是否一个存有文件而另一个不存有文件，如果是，则新添一条缓存信息，将该文件的复制文件连同原来手中无文件的用户的用户名以及左右手作为一条新缓存添加入表格中；如果接收到“扔”的请求，则搜索数据缓存模块表格，将符合该用户名和相应手的数据删掉。此外，一旦数据缓存表格中有数据被使用，如被发送到客户端，或是被复制（即“放”或“扔”），则相应的缓存信息中的“最近操作时间”将会被更新为当前时间。

5.数据缓存模块每隔T时间就会检查一次数据缓存表，将最近操作时间距离当前时刻大于时间T1的数据删掉。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种以人类双手为载体的虚拟数据获取与传递系统，所述系统包括客户端和服务器端，所述服务器为云服务器；其特征在于，所述客户端包括人脸检测模块和动作识别模块，所述服务器端包括人脸识别模块和数据缓存模块；其中：

人脸检测模块：人脸检测模块位于客户端，通过装配在客户端上的摄像头拍摄用户影像，利用人脸检测算法在影像图片中搜索脸部图片，人脸检测模块会将影像图片中检测得到的人脸图片发送至服务器端的人脸识别模块；

人脸识别模块：人脸识别模块位于服务器端，人脸识别模块记录有用户的脸部数据，当接受到客户端发来的人脸图片后，人脸识别模块会计算分析该图片，并将识别出的结果即用户名发回至客户端；当前用户名为服务器端人脸识别模块分析所得结果，当客户端接收到服务器端返回来的用户名后，客户端中的当前用户就会被修改为该用户名；

动作识别模块：动作识别模块位于客户端，它由基于触屏的手势识别模块和基于实时景深感应摄像头的手势识别模块两部分构成，根据使用场景的不同，选择通过实时景深感应摄像头或多点触摸屏设备来捕捉用户的动作，进而识别用户动作；一旦动作识别模块检测到发生了某个定义好的动作，客户端会将动作模块识别到的动作和人脸识别模块所识别到的当前用户的身份传送到服务器端，同时与相关动作对应的，所涉及的文件与文件的信息也会被传送到服务器端，由服务器端的数据缓存模块对收到的数据进行处理；具体的：

基于触屏的手势识别模块：通过触屏获得手指在触屏上的数量以及各自的位置实时信息，进而判断用户是否做出了“抓”或者“放”的手势，以及当前用户在屏幕上的手是左手还是右手；

基于实时景深感应摄像头的手势识别模块：通过实时景深感应摄像头来捕捉人体各关节实时运动信息，进而分析出当前用户是否做出了“抓”，“放”，“给”或“扔”的动作，此外，该模块支持多用户的同时使用，为了区分每个用户，该模块将摄像头范围内检测到的每个人体骨架和其对应的头部图片标定编号，并等待人脸检测模块和人脸识别模块识别出每个头部图片属于哪个用户，以此得知每个人体骨架对应哪个用户；

数据缓存模块：数据缓存模块位于服务器端，接收客户端发来的数据，对数据进行相应的计算，将相关信息进行存储，并将结果返回给客户端，客户端的动作识别模块会将识别到的动作发送给服务器端，同时与相关动作对应的，所涉及的文件与文件的信息也会被传送到服务器端，根据不同的动作服务器端会进行不同的处理，最后返回处理的结果。

2.根据权利要求1所述的以人类双手为载体的虚拟数据获取与传递系统，其特征在于，所述系统使用之前，用户需要先将用户名和自己的脸部图片输入到服务器端，人脸识别模块会保存用户名和相应的脸部数据；用户进入到客户端感知范围后，人脸检测模块开始不断捕捉用户的脸部图片，并将人脸图片发送至服务器，服务器端的人脸识别模块会对收到的脸部图片进行分析，计算该脸部图片所对应的用户名，并将该用户名发送回客户端，客户端接收到服务器端发来的用户名后，会更新识别到的用户身体对应的当前用户名。

3.根据权利要求1所述的以人类双手为载体的虚拟数据获取与传递系统，其特征在于，所述动作识别模块，识别出用户动作的意义，所述用户动作包括“抓”、“放”、“给”、“扔”，其中：

“抓”的文件：当用户动作被识别为“抓”时，屏幕上显示的位于“抓”动作范围内的文件即为被抓取到的文件，被抓取到的文件将被发送到服务器端；

“放”的文件：当用户动作被识别为“放”时，客户端会向服务器索求用户所欲“放”的文件，如果服务器中的数据缓存模块存有用户手中的文件，服务器会将该文件发回，即为“放”的文件；

“给”的文件：当用户的动作被识别为“给”时，客户端会向服务器发送产生“给”操作的两个用户的用户名，如果服务器的数据缓存模块发现两个用户中一个用户手中是有文件的，另一个用户手中是空的，那么服务器端会将有文件的用户的手上的文件复制到空手的用户的手上；

“扔”的文件：当用户的动作被识别为“扔”时，服务器端在收到客户端的请求之后，如果服务器追踪的数据缓存模块存有用户手中的文件，服务器端将会将其删除。

4.根据权利要求1-3任一项所述的以人类双手为载体的虚拟数据获取与传递系统，其特征在于，所述客户端时刻监控用户的动作，一旦用户做了某个手势，客户端会向服务器发送相应请求，如果用户做了“抓”手势，客户端会向服务器端发送请求名称即手势名称、用户名、左手或右手、“抓”的文件；如果用户做了“放”或“扔”手势，客户端会向服务器端发送请求名称即手势名称、用户名、左手或右手；如果用户做了“给”手势，客户端会向服务器端发送请求名称即手势名称、两个用户名、分别使用左手还是右手。

5.根据权利要求1-3任一项所述的以人类双手为载体的虚拟数据获取与传递系统，其特征在于，所述服务器会将客户端发送来的文件和请求缓存在服务器中，如果接收到“抓”的请求，就在数据缓存模块表格中添加一条新数据，包括用户名、手、文件、添加时间；如果接收到“放”的请求，就去搜索数据缓存模块表格中该用户的相应手中是否存在文件，如果存在就将该文件发回至请求客户端；如果接收到“给”的请求，会先检查数据缓存模块表格中这两个用户对应的两个手是否一个存有文件而另一个不存有文件，如果是，则新添一条缓存信息，将该文件的复制文件连同原来手中无文件的用户的用户名以及左右手作为一条新缓存添加入表格中；如果接收到“扔”的请求，则搜索数据缓存模块表格，将符合该用户名和相应手的数据删掉；此外，一旦数据缓存表格中有数据被使用，如被发送到客户端，或是被复制即“放”或“扔”，则相应的缓存信息中的“最近操作时间”将会被更新为当前时间。

6.根据权利要求5所述的以人类双手为载体的虚拟数据获取与传递系统，其特征在于，所述数据缓存模块每隔一段时间就会检查一次数据缓存表，将最近操作时间距离当前时刻大于设定时间的数据删掉。