CN111142664B - 一种多人实时手部追踪系统及追踪方法 - Google Patents

Abstract

本申请公开了一种多人实时手部追踪系统及其追踪方法，该方法包括如下步骤：获得手势检测数据；将手势检测数据传输到服务器引擎端的插件中；引擎端插件判断手势是否有变化；在手势有变化时，根据反向动力学确定抓取动作；客户端输出手势抓取动作。通过本申请，可保证在较少数据传输的情况下，实现实时的多人手部追踪。

Description

一种多人实时手部追踪系统及追踪方法

技术领域

本申请涉及计算机领域，特别的涉及一种多人实时手部追踪系统及追踪方法。

背景技术

近几年，智能手机、平板以及一体机的普及使触屏类手势交互成为研究热点。手势追踪是手势交互不可缺少的关键技术，也是这种交互能否推广应用的瓶颈问题之一。

在现有的手势处理中，用户的任何手势操作需要首先向服务端发送请求，然后等待服务端的响应，根据服务端的响应，客户端做出相应的反馈。例如，用户在客户端想移动一个单位，需要先向服务端通知，服务端反馈给客户端结果，从而使得客户端在100ms的延迟之后才能执行移动一个单位的操作。

现有的手部追踪模式，在单人、单机操作时这种延迟已经令用户无法忍受，如果在多人、多机的环境下，服务器需要运行并读取多人交互的过程中，如果服务器传输的数据慢，或者在服务器响应到用户的操作时用户已经进行了下一次的操作，也就是客户端无法给服务端传输一个操作的时候，客户端所接受的数据将会出现错误，严重影响多人交互数据。

发明内容

本申请请求保护一种多人实时手部追踪系统及追踪方法，解决现有的多人手势识别中无法精确识别手势的技术问题。

本申请提供一种多人实时手部追踪方法，包括如下步骤：获得手势检测数据；将手势检测数据传输到服务器引擎端的插件中；引擎端插件判断手势是否有变化；在手势有变化时，根据反向动力学确定抓取动作；客户端输出手势抓取动作。

优选的，其中服务器创建多个线程，分别处理接收到的手势检测数据。优选的，其中服务器引擎端插件通过客户端的网络IP地址和端口号识别客户端，通过手势检测数据中携带的客户端识别码识别用户，服务器引擎端为每一个用户建立数据源驱动引擎内角色，同时根据手势检测数据确定角色运动。

优选的，其中使用二进制编码进行数据的传输。

优选的，其中引擎端插件在确定抓取动作之后，将抓取动作抽象化为结构化数据，并发送动作命令编码至客户端。

本申请还提供一种多人实时手部追踪系统，包括：客户端，获得手势检测数据，将手势检测数据发送到服务器，并根据服务器返回的数据输出手势抓取动作；服务器，包括如下部件：通信部件，接收客户端发送的数据，将手势检测数据传输到服务器引擎端的插件中；将确定的抓取动作返回客户端；服务器引擎端插件，依据手势检测数据，判断手势是否有变化；在手势有变化时，根据反向动力学确定抓取动作。

优选的，其中服务器创建多个线程，分别处理接收到的手势检测数据。

优选的，其中服务器引擎端插件通过客户端的网络IP地址和端口号识别客户端，通过手势检测数据中携带的客户端识别码识别用户，服务器引擎端为每一个用户建立数据源驱动引擎内角色，同时根据手势检测数据确定角色运动。

优选的，其中使用二进制编码进行数据的传输。

优选的，其中引擎端插件在确定抓取动作之后，将抓取动作抽象化为结构化数据，并发送动作命令编码至客户端。

本申请的服务器采用多线程方式，采用二进制编码发送数据实现了多台客户端同时连接，传输数据不卡顿。

角色动作同步采用动作编码发送，不用实时传输骨骼动作的位置，实现了保证角色动作的状态下更少数据量数据传输。

通过本申请，可保证在较少数据传输的情况下，实现实时的多人手部追踪。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请多人实时手势识别系统的系统结构图；

图2是本申请服务器的系统结构图；

图3是本申请多人实时手势识别系统的方法流程图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本申请公开了一种多人实时手势识别系统100，包括如下装置：

客户端110，图1中示出了一个客户端110，但是本领域技术人员可以理解，客户端110可包括多个，客户端110与与服务器120通信，实现信息交互，获得手势检测数据，将手势检测数据发送到服务器120，并根据服务器120返回的数据输出手势抓取动作。

服务器120，包括如图2所示的部件：

通信部件210，实现与客户端110的通信，接收客户端发送的数据，将手势检测数据传输到服务器引擎端的插件中；将确定的抓取动作返回客户端；

服务器引擎端插件220，依据手势检测数据，判断手势是否有变化；在手势有变化时，根据反向动力学确定抓取动作。

下面结合图3详细描述该多人实时手势识别系统100的工作方法，包括如下步骤：

步骤S310、获得手势检测数据；包括如下子步骤：

步骤S3101、获得手部图像；

其中使用传感器获得手部图像。

步骤S3102、将手部图像与背景图像分离，获得手部数据；

步骤S3103、对手部数据执行去噪处理，获得手势检测数据。

进一步，可选的，手势检测数据中仅需包括手部的位移和旋转数据，而无需包括手部的其他数据。从而大大减少了网络数据的传输量，并保证了多人手部追踪中的实时性。

进一步的，可选的，将手势检测数据变换为结构化数据，例如Json数据。

进一步的，可选的，将结构化数据以二进制编码形式传输，从而使得数据传输速度加快，解决了多客户端的数据传输延迟问题。

步骤S320、将手势检测数据传输到服务器引擎端插件中；

服务器与客户端建立连接，服务器为每一个客户端生成独立的处理线程，从而实现对多个客户端的并行处理。每个客户端的线程接收到传输的手势检测数据时，将其发送到运行于服务器中的服务器引擎端插件中。

服务器引擎端插件是用于处理客户端发送的手势检测数据的插件，其工作流程如下所示：

步骤P110、服务器引擎端插件通过客户端的网络IP地址和端口号识别客户端；

步骤P120、通过客户端发送的手势检测数据中携带的客户端识别码识别用户；

步骤P130、服务器引擎端插件为每一个用户建立数据源驱动引擎内角色；

步骤P140、根据接收的客户端的用户的手势检测数据确定角色运动。

其中预先在服务器引擎端插件中实现手势检测数据接口，通过该手势检测数据接口将手势检测数据传递到服务器引擎端插件中。在手势检测数据接口接收到客户端发送的位移和旋转数据之后，

进一步的，位移和旋转接口为共享接口，共享接口指在不同的角色中实现同类功能的接口，其可表达各自的特点，比如，两个角色都有在三维空间中变换的功能，在接口中定义一个变换函数，两个角色通过包含这个接口，并实现各自的变换功能。

步骤S330、服务器引擎端插件判断手势是否有变化；

步骤S340、在手势有变化时，根据反向动力学确定抓取动作；

进一步的，确定的抓取动作以命令编码形式表示，进一步降低数据传输量，减少服务器数据传输压力。

进一步的，每个客户端对应的处理线程在接收到服务器引擎端插件返回的处理数据时，将数据进行结构化处理，例如构造Json数据，将所述结构化数据以二进制代码形式发送回客户端。

步骤S350、客户端输出手势抓取动作。

客户端在接收到服务器发送回的结构化数据时，反序列化数据，获得其中的命令编码，并根据命令编码驱动相应的骨骼运动，从而输出手势抓取动作。

其中驱动相应的骨骼运动，包括依照命令编码给骨骼链一个运动目标，即提供骨骼链末端应该到达的位置信息，据此旋转骨骼，使得骨骼链在目标位置停止。

对应于图3中的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述安全控制的方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述在线签发eSIM证书的方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种多人实时手部追踪方法，包括如下步骤：

获得手势检测数据；

将手势检测数据传输到服务器引擎端的插件中；

引擎端插件判断手势是否有变化；

在手势有变化时，根据反向动力学确定抓取动作；

客户端输出手势抓取动作；

其中服务器创建多个线程，分别处理接收到的手势检测数据；

其中，获得手势检测数据的方法包括：

获得手部图像；

将手部图像与背景图像分离，获得手部数据；

对手部数据执行去噪处理，获得手势检测数据；手势检测数据中仅包括手部的位移和旋转数据。

2.如权利要求1所述的多人实时手部追踪方法，其中服务器引擎端插件通过客户端的网络IP地址和端口号识别客户端，通过手势检测数据中携带的客户端识别码识别用户，服务器引擎端为每一个用户建立数据源驱动引擎内角色，同时根据手势检测数据确定角色运动。

3.如权利要求1所述的多人实时手部追踪方法，其中使用二进制编码进行数据的传输。

4.如权利要求1所述的多人实时手部追踪方法，其中引擎端插件在确定抓取动作之后，将抓取动作抽象化为结构化数据，并发送动作命令编码至客户端。

5.一种多人实时手部追踪系统，包括：

客户端，获得手势检测数据，将手势检测数据发送到服务器，并根据服务器返回的数据输出手势抓取动作；

服务器，包括如下部件：

通信部件，接收客户端发送的数据，将手势检测数据传输到服务器引擎端的插件中；将确定的抓取动作返回客户端；

服务器引擎端插件，依据手势检测数据，判断手势是否有变化；在手势有变化时，根据反向动力学确定抓取动作；

其中服务器创建多个线程，分别处理接收到的手势检测数据；

其中，获得手势检测数据的方法包括：

获得手部图像；

将手部图像与背景图像分离，获得手部数据；

对手部数据执行去噪处理，获得手势检测数据；手势检测数据中仅包括手部的位移和旋转数据。

6.如权利要求5所述的多人实时手部追踪系统，其中服务器引擎端插件通过客户端的网络IP地址和端口号识别客户端，通过手势检测数据中携带的客户端识别码识别用户，服务器引擎端为每一个用户建立数据源驱动引擎内角色，同时根据手势检测数据确定角色运动。

7.如权利要求5所述的多人实时手部追踪系统，其中使用二进制编码进行数据的传输。

8.如权利要求5所述的多人实时手部追踪系统，其中引擎端插件在确定抓取动作之后，将抓取动作抽象化为结构化数据，并发送动作命令编码至客户端。