CN109213309A - 一种手势识别方法及装置、系统 - Google Patents

一种手势识别方法及装置、系统 Download PDF

Info

Publication number
CN109213309A
CN109213309A CN201710527063.6A CN201710527063A CN109213309A CN 109213309 A CN109213309 A CN 109213309A CN 201710527063 A CN201710527063 A CN 201710527063A CN 109213309 A CN109213309 A CN 109213309A
Authority
CN
China
Prior art keywords
equipment
gesture
message
information
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710527063.6A
Other languages
English (en)
Inventor
刘海军
董振江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201710527063.6A priority Critical patent/CN109213309A/zh
Publication of CN109213309A publication Critical patent/CN109213309A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种手势识别方法及装置、系统，所述方法包括：第一设备获取第二设备支持的手势列表；所述第一设备接收服务器发送的所述第二设备的虚拟现实VR数据，并对所述VR数据进行显示；所述第一设备采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；所述第一设备将所述手势消息发送给所述第二设备。

Description

一种手势识别方法及装置、系统
技术领域
本发明涉及通信与信息领域，尤其涉及一种虚拟现实(VR，Virtual Reality)的手势识别方法及装置、系统。
背景技术
数字设备和网络的发展，给人们日常生活增添了很多方便。例如在数字多媒体领域，目前的技术让人们在家里能够观看高清电视，电视节目的来源可能来自数字光盘、有线电视、互联网等等，能够体验立体声、5.1声道、7.1声道乃至更逼真的声音效果，而且人们还能够使用平板电子设备(PAD)、手机来实现这些体验。此外，人们能够通过网络在不同设备之间转移数字内容的播放，以及通过遥控器、手势控制一个多媒体设备的播放，例如控制切换上一频道节目、下一频道节目等等。一些空调、冰箱也提供网络控制功能。
手势控制是当前比较新颖的一种设备控制方式：一台设备上的摄像头监视手势动作并进行分析识别，最后转换成对该设备的控制；或者用户使用可穿戴设备，通过在手上、手臂上以及身体上穿戴类似指环、手表、背心等等类似的设备，识别用户动作，也能够实现对设备的控制。使用手势控制技术，一些产品能够让人们通过手势来操控设备，例如，在电视机上增加一个摄像头，用于采集、识别人的手势，然后按照预先定义的手势与操控命令对应关系，达到手势操控电视机的效果，已经实现的操控包括更换频道、改变音量等。
在手势识别技术中，一种方式是要求被操控的设备要具有一个摄像头，用于计算机视觉识别。在某些环境中(如家庭环境中)，可能有设备并不具备摄像头，例如由于设备尺寸原因、成本原因，但是这些设备希望也能够由用户通过手势来操作，希望另外的摄像头把手势信息传达给本设备，从而达到用户使用手势来控制本设备。
为此，基于网络在不同设备之间传递控制信息技术，由受控设备在网络中发布支持的手势的清单、和/或支持的手势对应的指令的清单；手势采集装置通过网络获取受控设备支持的手势的清单、和/或支持的手势对应的指令的清单。手势采集装置采集手势，将所采集的手势发送至受控设备。上述方案在实施时，需要用户面对受控设备，否则用户见不到对设备的控制操作结果，使用时并不方便。
发明内容
为解决上述技术问题，本发明实施例提供了一种手势识别方法及装置、系统。
本发明实施例提供了一种手势识别方法，包括：
第一设备获取第二设备支持的手势列表；
所述第一设备接收服务器发送的所述第二设备的VR数据，并对所述VR数据进行显示；
所述第一设备采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；
所述第一设备将所述手势消息发送给所述第二设备。
本发明实施例中，所述第一设备获取第二设备支持的手势列表，包括：
所述第一设备接收所述第二设备发送的所述第二设备支持的手势列表；或者，
所述第一设备接收服务器发送的所述第二设备支持的手势列表，其中，所述服务器中存储有所述第二设备支持的手势列表。
本发明实施例中，所述第一设备接收服务器发送的所述第二设备的虚拟现实VR数据之前，所述方法还包括：
所述第一设备接收所述第二设备发送的启动手势控制消息；
所述第一设备向所述服务器认证所述第二设备；
所述服务器认证所述第二设备成功后，所述第一设备接收所述服务器发送的所述第二设备的VR数据，其中，所述VR数据为VR图像数据或VR视频数据。
本发明实施例中，所述第一设备接收所述第二设备发送的启动手势控制消息之前，所述方法还包括：
第一设备发出查询广播或多播消息，以对第二设备进行设备发现；或者，第一设备在收到第二设备发出的查询广播或多播消息后，响应所述查询广播或多播消息；
在第一设备与第二设备完成设备发现后，所述第一设备与所述第二设备建立网络连接。
本发明实施例中，所述第一设备接收所述第二设备发送的启动手势控制消息之前，所述方法还包括：
第一设备通过第二设备的网络地址与所述第二设备建立网络连接。
本发明实施例中，所述第二设备中存储有如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；
所述启动手势控制消息中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息。
本发明实施例中，所述第一设备向所述服务器认证所述第二设备，包括：
所述第一设备向所述服务器发送网络报文，所述网络报文中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；其中，所述服务器地址用于表明所述网络报文的目的地址，所述标识信息和所述密钥信息用于服务器对所述第二设备进行认证。
本发明实施例中，所述服务器中存储有如下信息的至少之一：第二设备的标识信息、密钥信息、所述第二电子设备的VR数据。
本发明实施例中，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
本发明实施例中，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
本发明实施例中，所述方法还包括：
所述第一设备将所述手势信息发送给服务器，接收所述服务器对所述手势信息进行识别得到的控制信息；所述第一设备通过所述手势消息将所述控制信息发送给所述第二设备；或者，
所述第一设备对所述手势信息进行识别得到所述控制信息，通过所述手势消息将所述控制信息发送给所述第二设备。
本发明另一实施例提供的手势识别方法，包括：
第二设备向第一设备和/或服务器发送所述第二设备支持的手势列表，其中，所述第一设备能够显示所述第二设备的VR数据以及采集并识别手势；
所述第二设备接收所述第一设备发送的手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息。
本发明实施例中，所述方法还包括：
所述第二设备向第一设备发送启动手势控制消息；
所述第二设备通过所述第一设备接收所述服务器的认证，其中，在所述服务器对所述第二设备认证成功后，所述第一设备接收所述服务器发送的VR数据。
本发明实施例中，所述第二设备向第一设备发送启动手势控制消息之前，所述方法还包括：
第二设备发出查询广播或多播消息，以对第一设备进行设备发现；或者，第二设备在收到第一设备发出的查询广播或多播消息后，响应所述查询广播或多播消息；
在第二设备与第一设备完成设备发现后，所述第二设备与所述第一设备建立网络连接。
本发明实施例中，所述第二设备向第一设备发送启动手势控制消息之前，所述方法还包括：
第二设备通过第一设备的网络地址与所述第一设备建立网络连接。
本发明实施例中，所述第二设备中存储有如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；
所述启动手势控制消息中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息。
本发明实施例中，所述方法还包括：
所述第二设备接收所述第一设备发送的手势消息后，执行与所述手势消息相应的控制指令。
本发明实施例提供的手势识别装置应用于第一设备，所述装置包括：
通信单元，用于获取第二设备支持的手势列表；接收服务器发送的所述第二设备的VR数据；
显示单元，用于对所述VR数据进行显示；
采集识别单元，用于采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；
所述通信单元，还用于将所述手势消息发送给所述第二设备。
本发明实施例中，所述装置还包括：
认证单元，用于接收所述第二设备发送的启动手势控制消息；向所述服务器认证所述第二设备。
本发明实施例中，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
本发明实施例中，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
本发明另一实施例提供的手势识别装置应用于第二设备，所述装置包括：
通信单元，用于向第一设备和/或服务器发送所述第二设备支持的手势列表，其中，所述第一设备能够显示所述第二设备的VR数据以及采集并识别手势；接收所述第一设备发送的手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息。
本发明实施例中，所述装置还包括：
认证单元，用于向第一设备发送启动手势控制消息；通过所述第一设备接收所述服务器的认证。
本发明实施例中，所述装置还包括：
存储单元，用于存储如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；
所述启动手势控制消息中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息。
本发明实施例中，所述装置还包括：
执行单元，用于执行与所述手势消息相应的控制指令。
本发明实施例提供的手势识别系统包括：第一设备、第二设备、服务器；其中，
第一设备，用于获取第二设备支持的手势列表；接收服务器发送的所述第二设备的虚拟现实VR数据，并对所述VR数据进行显示；采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；将所述手势消息发送给所述第二设备；
所述第二设备，用于向第一设备和/或服务器发送所述第二设备支持的手势列表，其中，所述第一设备能够显示所述第二设备的VR数据以及采集并识别手势；所述第二设备接收所述第一设备发送的手势消息。
本发明实施例中，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
本发明实施例中，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
本发明实施例的技术方案中，第一设备获取第二设备支持的手势列表；所述第一设备接收服务器发送的所述第二设备的虚拟现实VR数据，并对所述VR数据进行显示；所述第一设备采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；所述第一设备将所述手势消息发送给所述第二设备。采用本发明的方法，使用者不必面对被操作的目标设备，就可以使得不具有手势识别部件的设备也能够被手势控制，操作上更自动化、更人性化，人们方便地使用手势操控被操控的设备，不但使得人们的生活更轻松、更享受，且掌握这种功能、使用这类设备时也容易理解、容易上手，还降低了产业链上各方的成本。
附图说明
附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本发明实施例的场景示意图；
图2为本发明实施例的VR头显设备的示意图；
图3为本发明实施例的VR头显设备与受控设备的示意图；
图4为本发明实施例的手势识别方法的流程示意图一；
图5为本发明实施例的手势识别方法的流程示意图二；
图6为本发明实施例的消息交互示意图一；
图7为本发明实施例的消息交互示意图二；
图8为本发明实施例的VR头显设备的事件触发动作示意图；
图9为本发明实施例的VR头显设备的流程示意图；
图10为本发明实施例的受控设备的流程示意图；
图11为本发明实施例的手势识别装置的结构组成示意图一；
图12为本发明实施例的手势识别装置的结构组成示意图二；
图13为本发明实施例的手势识别系统的结构组成示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。
图1为本发明实施例的场景示意图，如图1所示，本发明实施例涉及到3个设备，分别是：第一设备、第二设备、服务器。其中，第一设备具体指VR显示与手势识别设备(后续简称为VR头显设备)；第二设备具体指受控设备，如电视机；服务器具体指远端运营服务器。
在图1所示的场景中，电视机支持手势控制功能，但没有用于采集手势的摄像头；在物理位置上，电视机可以不在VR头显设备的视觉捕获范围内，例如，使用者戴着VR头显设备在客厅，准备控制放置在卧室里的电视机。此外，在图1所示的场景中，仅画出了一个受控设备，实际应用时，VR头显设备可以控制不止一个受控设备，且无需受控设备位于VR头显设备的视觉捕捉范围内，这为使用者操控受控设备提供了更多的方便。
在图1所示的场景中，远端运营服务器位于互联网中，支持VR头显设备连接到服务器；远端运营服务器可以是服务器集群、虚拟机集群等等。在实际应用时，服务器支持不止一个VR头显设备的接入，向VR头显设备提供视频数据。此外，VR头显设备的形态可以是头盔状或者眼镜状，受控设备可以是任何的消费电子设备、信息设备，例如冰箱、空调、洗衣机、打印机、音视频播放器等等。
在图1所示的场景中，三个设备上都有网络接口，例如VR头显设备、受控设备支持IEEE 802.11b/g/n或者IEEE 802.3，从而可以连接到IP网络。各个设备内均包含有一控制模块，能控制本设备与其它设备发送消息、接收消息以及处理操控指令或转发操控指令。
VR头显设备和受控设备在网络上的互相发现、连接、发送消息与接收消息能力，可以使用通用即插即用(UPnP，Universal Plug and Play)技术实现，也可以使用多播域名系统(mDNS，multicast Domain Name System)和基于域名系统的服务发现(DNS-SD，DomainName System-Service Discovery)技术实现。上述技术用在IP网络中，以单播、多播查询方式，按照预先定义的报文格式响应查询、提供功能调用。例如，UPnP技术规定了媒体显示设备(如TV)、服务器(如DVD播放器、家庭存储服务器)如何响应查询、提供哪些调用功能。此外，还可以在本地设备中输入目的设备的IP地址、域名等直接查找某一设备，例如在VR头显设备连接的键盘上输入电视机的IP地址，从而建立VR头显设备与电视机的网络连接。
在一实施例中，电视机为了支持手势控制，电视机内存储了一个本设备所支持的手势清单，包括：支持的手势编号，例如1表示五指张开，2表示两个指头，10表示拳头，20表示摇动手臂等等；还可以包括：手势对应的控制含义，例如1表示开机，10表示开机等等；还可以包括：手势参数，例如手势动作持续时间等等。当电视机收到这些手势时，执行相应的功能操作。作为另一实施例，电视机内也可以不存储任何手势清单。
在一实施例中，VR头显设备、电视机可以通过家庭互联网网关互联、并且VR头显设备通过家庭互联网网关连接到服务器。其中，VR头显设备或电视机本身可以是一家庭互联网网关。作为另一个实施例，VR头显设备、电视机还可以通过指定域名或网络地址直接建立网络连接。
在一实施例中，远端运营服务器内预先存储了受控设备(如电视机)的设备标识，例如惟一的序列号、或设备类别号等等，还存储了受控设备对应的VR图像数据、鉴权密钥、最新的手势清单等等。其中，VR图像可以是受控设备的全景360°外观图像，VR图像数据可以是一个图像文件，也可以是多个文件。VR图像将通过网络从服务器传送到VR头显设备进行显示。鉴权密钥包括公钥、私钥。当运营商(可以同时是设备制造商)支持或变更手势支持功能时，只需更新手势清单即可。
图2为本发明实施例的VR头显设备的示意图。如图2所示，VR头显设备在外观形态上类似于普通的VR头显，包含有：(1)图像显示器，能够以液晶显示器或投影方式显示VR图像/视频；(2)具有图像/视频采集能力的摄像头，以及红外测距模块，采集到的图像/视频及位置数据能够用于进行手势识别；实际应用时，可以装配不只一个摄像头，例如还包括识别使用者眼球动作的摄像头；(3)网络模块，提供与其它设备的网络互联功能，例如与受控设备的网络连接、以及与服务器的网络连接；(4)陀螺仪，用于测量使用者头部运动数据，这些数据用于判断使用者的头部动作，例如转头、低头、抬头等等。此外，VR头显设备还包括一些结构部件，方便使用者佩戴。
在本实施例中，VR头显设备可以识别其视觉范围内的手势，实现方法是摄像头、测距模块在其三维空间内采集图像，在采集的图像中分析，识别出手势。
作为另一种实施例，VR头显设备也可以是连接一种可穿戴设备来采集并识别手势，例如戴在手上的指环式设备、戴在手上的手套设备、戴在手臂上的手表式设备，这种可穿戴设备能够识别出用户的手指、手臂动作，这些动作作为手势传输给VR头显设备。
需要说明的是，本发明实施例仅为了方便理解，以VR头显设备的方式作为本发明的实施例。实际上，头部运动跟踪模块、眼球跟踪模块、内容显示模块、手势识别模块、网络模块、各类结构模块等等完全可以通过其它组合方式，来支持本发明实施例的功能。例如，独立的摄像头跟踪识别头部运动、手势运动且无须佩戴于使用者头部，内容显示模块另外安装于球形空间等等。
图3为本发明实施例的VR头显设备与受控设备的示意图。图3分别示意了是受控设备和VR头显设备的功能模块。其中：
受控设备和VR头显设备上都有网络单元，网络单元例如支持IEEE802.11b/g/n，或者支持IEEE 802.3，从而可以将设备连接到IP网络。本发明实施例中，两个设备通过网络单元相互连接。各个网络单元内包含有控制模块，能控制本地设备与其它设备发送消息、接收消息。
网络单元为设备提供在网络上的互相发现、连接、发送消息与接收消息能力，可以使用现有的UPnP技术实现，也可以使用mDNS和DNS-SD技术实现，这一类技术用在IP网络中，以单播、多播查询方式，按照预先定义的报文格式响应查询、提供功能调用。例如，UPnP技术规定了媒体显示设备(如TV)、服务器(如DVD播放器、家庭存储服务器)如何响应查询、提供哪些调用功能。
受控设备包括存储单元，存储单元中可选地存储了受控设备所支持的手势清单，还存储了设备ID、运营服务器地址。受控设备内的控制执行单元在收到手势消息或手势信息后，执行预先定义的功能操作，例如更换频道、调整音量、调整空调温度等等。受控设备内的安全单元存储了鉴权密钥，鉴权密钥可以只存储公钥、或私钥或两者都存储，所有的鉴权密钥、设备ID、运营服务器地址皆由运营服务器(运营商)分配。安全单元还提供使用密钥加密、解密的功能。
VR头显设备内的视觉数据采集单元用于捕获采集使用者的手势图像(包括视频片断)；视觉识别单元存储了算法程序，能够从手势图像中识别出手势，包括识别出手势形状、手势位置信息、手势运动方向等等。图像显示单元用于在收到VR图像后，把VR图像显示在屏幕上、或投影在使用者眼前，为使用者提供手势操作的视觉参考，例如显示一幅电视机的正面图形，方便使用者指向电视机的相关区域，做出手势，表达操控电视机的意图。位置检测单元检测使用者的头部、眼球运动，识别使用者视点，以供图像显示单元调整VR图像显示，以及作为手势信息的一部分传递给运营服务器。存储单元可以存储收到的运营服务器订阅的手势清单，以及缓存VR图像等。
下面基于以上各个设备的具体功能，提出本发明实施例的手势识别方法。
图4为本发明实施例的手势识别方法的流程示意图一，如图4所示，所述方法包括以下步骤：
步骤401：第一设备获取第二设备支持的手势列表。
本发明实施例中，所述第一设备获取第二设备支持的手势列表，包括：
所述第一设备接收所述第二设备发送的所述第二设备支持的手势列表；或者，
所述第一设备接收服务器发送的所述第二设备支持的手势列表，其中，所述服务器中存储有所述第二设备支持的手势列表。
本发明实施例中，所述第一设备接收服务器发送的所述第二设备的虚拟现实VR数据之前，所述方法还包括：
所述第一设备接收所述第二设备发送的启动手势控制消息；
所述第一设备向所述服务器认证所述第二设备；
所述服务器认证所述第二设备成功后，所述第一设备接收所述服务器发送的所述第二设备的VR数据，其中，所述VR数据为VR图像数据或VR视频数据。
本发明实施例中，所述第二设备中存储有如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；
所述启动手势控制消息中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息。
所述第一设备向服务器认证所述第二设备，包括：
所述第一设备向所述服务器发送网络报文，所述网络报文中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；其中，所述服务器地址用于表明所述网络报文的目的地址，所述标识信息和所述密钥信息用于服务器对所述第二设备进行认证。
在一实施例中，所述第一设备接收所述第二设备发送的启动手势控制消息之前，所述方法还包括：
第一设备发出查询广播或多播消息，以对第二设备进行设备发现；或者，第一设备在收到第二设备发出的查询广播或多播消息后，响应所述查询广播或多播消息；
在第一设备与第二设备完成设备发现后，所述第一设备与所述第二设备建立网络连接。
在另一实施例中，所述第一设备接收所述第二设备发送的启动手势控制消息之前，所述方法还包括：
第一设备通过第二设备的网络地址与所述第二设备建立网络连接。
步骤402：所述第一设备接收服务器发送的所述第二设备的VR数据，并对所述VR数据进行显示。
本发明实施例中，所述服务器中存储有如下信息的至少之一：第二设备的标识信息、密钥信息、所述第二电子设备的VR数据。
当服务器根据密钥信息对第二设备认证成功后，便向第一设备发送第二设备的VR数据。
步骤403：所述第一设备采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息。
上述方案中，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
上述方案中，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
步骤404：所述第一设备将所述手势消息发送给所述第二设备。
本发明实施例中，所述第一设备将所述手势信息发送给服务器，接收所述服务器对所述手势信息进行识别得到的控制信息；所述第一设备通过所述手势消息将所述控制信息发送给所述第二设备；或者，
所述第一设备对所述手势信息进行识别得到所述控制信息，通过所述手势消息将所述控制信息发送给所述第二设备。
图5为本发明实施例的手势识别方法的流程示意图二，如图5所示，所述方法包括以下步骤：
步骤501：第二设备向第一设备和/或服务器发送所述第二设备支持的手势列表，其中，所述第一设备能够显示所述第二设备的VR数据以及采集并识别手势。
本发明实施例中，所述方法还包括：
所述第二设备向第一设备发送启动手势控制消息；
所述第二设备通过所述第一设备接收所述服务器的认证，其中，在所述服务器对所述第二设备认证成功后，所述第一设备接收所述服务器发送的VR数据。
在一实施例中，第二设备向第一设备发送启动手势控制消息之前，所述方法还包括：
第二设备发出查询广播或多播消息，以对第一设备进行设备发现；或者，第二设备在收到第一设备发出的查询广播或多播消息后，响应所述查询广播或多播消息；
在第二设备与第一设备完成设备发现后，所述第二设备与所述第一设备建立网络连接。
在另一实施例中，第二设备向第一设备发送启动手势控制消息之前，所述方法还包括：
第二设备通过第一设备的网络地址与所述第一设备建立网络连接。
本发明实施例中，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
步骤502：所述第二设备接收所述第一设备发送的手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息。
所述第二设备接收所述第一设备发送的手势消息后，执行与所述手势消息相应的控制指令。
本发明实施例中，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
这里，手势信息具体可以通过以下方式得到：
第一设备将所述手势信息发送给服务器，接收所述服务器对所述手势信息进行识别得到的控制信息；所述第一设备通过所述手势消息将所述控制信息发送给所述第二设备；或者，
第一设备对所述手势信息进行识别得到所述控制信息，通过所述手势消息将所述控制信息发送给所述第二设备。
下面结合具体应用对本发明实施例的手势识别方法作进一步详细描述。
图6为本发明实施例的消息交互示意图一；在本实施例中，受控设备向VR头显设备发起手势识别控制功能。受控设备上没有存储手势清单，手势清单存储在运营服务器上。如图6所示，本示例的处理流程包括：
1)受控设备与VR头显设备完成设备发现与连接。
具体可通过UPnP、mDNS、手工输入IP查找等方式来实现设备的发现与连接。最后，受控设备与VR头显设备建立网络连接。
2)受控设备向VR头显设备发起手势识别控制功能。作为一种实施方式，在发送的报文消息中指示该功能。报文中还包含了运营服务器地址、本设备的设备标识，可选地，还包括本设备的密钥如公钥。
3)VR头显设备根据受控设备提供的运营服务器地址，向运营服务器发送网络消息报文，报文中还包含了手势受控设备的设备标识，若手势受控设备提供了密钥，则还包括该密钥。
运营服务器收到VR头显设备的网络消息报文后，对受控设备初步鉴权，即检查受控设备的标识是否已经存储在本服务器，若提供了密钥则继续检查密钥是否与设备标识一致。若初步鉴权失败，则响应失败消息，结束全部流程。
如果服务器初步鉴权成功，则生成随机字符串，使用受控设备的私钥加密，把经私钥加密的字符串响应给VR头显设备。VR头显设备转发运营服务器的报文给受控设备，受控设备通过其安全单元解密字符串，并响应给VR头显设备，VR头显设备再转发到运营服务器。运营服务器验证受控设备解密的字符串无误后，向VR头显设备发送手势订阅清单消息。消息内容是手势能力清单。手势能力的清单实施例，例如：支持的手势编号，例如1表示五指张开，2表示两个指头，10表示拳头，20表示摇动手臂等等；还可以包括：手势对应的控制含义，例如1表示开机，10表示开机等等；还可以包括：手势参数，例如手势动作持续时间等等。当受控设备收到这些手势的时候，执行相应的功能操作。
在一示例中，服务器向VR头显设备订阅的手势信息还可以指定包括视频流，即要求VR头显设备采集相关视频流。
在一示例中，VR头显设备响应受控设备，确认支持的手势等。响应消息包括一个确认的手势信息清单。服务器发送的订阅消息中包括发送VR图像的通讯地址与端口等信息。该信息通知VR头显设备获取VR图像。
4)运营服务器向VR头显设备发送VR图像。
VR头显设备在完成步骤3)之后，即准备接收VR图像。运营服务器则在发送成功手势清单订阅消息后，或收到可选的VR头显设备的订阅响应消息后，即向VR头显设备发送VR图像。出于效率与带宽的考虑，传送手势消息与发送VR图像采用不同的网络地址、或不同的端口。
VR头显设备接收VR图像后，VR头显设备向使用者显示VR内容。使用者在观看VR图像的过程中，可以做出手势，VR头显设备捕获并识别使用者的手势。从而，使用者无须面对受控设备物理实体，也能够像面对物理实体一样做出手势。
在这一实施例中，VR图像技术包括：全景图像技术、跟踪使用者头部运动技术、使用者眼球视点的图像显示技术。
5)VR头显设备识别使用者手势。
VR头显设备利用装备的摄像头、或可穿戴设备，捕获使用者的手势并识别为计算机表示。识别成功后，与订阅的手势清单进行比较，若识别的手势是订阅的手势清单中的手势，则转下一步，否则持续捕获手势并识别手势。
6)VR头显设备向服务器发送手势信息。
其中，手势信息至少包括如下内容之一：
支持的手势编号，例如1表示五指张开，2表示两个指头，10表示拳头，20表示摇动手臂等等；
手势对应的控制含义，例如1表示开机，10表示开机等等；
手势参数，例如手势动作持续时间等等。
当前图像参数：捕获手势时，当前向使用者显示的图像位置数据，例如当前帧图像左上角像素点在整个全景图像中的坐标位置、图像尺寸数据。
可选地，还可以包括手势在当前图像上的位置映射参数。
以及手势信息还可以包括连续采集的视频流；对应地，发送的手势信息由受控设备进行手势分析、手势位置分析、身体姿势分析等其它分析。
除了上述手势信息发送于受控设备与VR头显设备之间，作为另一实施例，VR头显设备可以对手势进行预定义，并映射为指令编码，这种映射也可以由使用者重新指定；例如映射一个拇指表示“确定”，立起所有手指的手掌表示“取消”，一个食指表示“1”，等等。受控设备可以直接订阅这些映射，进而提高操控体验。
服务器接收到上述手势信息后，向VR头显设备发送对受控设备的控制指令消息，例如改变音量、改变工作模式等等；VR头显设备收到后，转发给受控设备，由受控设备执行指令，从而达到使用者的控制目的或效果。
7)如果使用者持续做出手势，则VR头显设备继续发送手势信息。
8)如果受控设备决定结束手势控制流程，则向VR头显设备发送结束订阅手势信息，从而结束手势控制，断开两者连接。VR头显设备则负责断开与运营服务器的连接，还包括结束VR图像的显示。从而全部流程正常结束。
图7为本发明实施例的消息交互示意图二；在本实施例中，受控设备向VR头显设备发起手势识别控制功能。受控设备上存储了手势清单，运营服务器上没有存储手势清单。如图7所示，本示例的处理流程包括：
1)受控设备与VR头显设备之间完成设备发现与连接。
具体可通过UPnP、mDNS、手工输入IP查找等方式来实现设备的发现与连接。最后，受控设备与VR头显设备建立网络连接。
2)受控设备向VR头显设备发起手势识别控制功能。作为一种实施方式，在发送的报文消息中指示该功能。报文中还包含了运营服务器地址、本设备的设备标识，可选地，还包括本设备的密钥如公钥。
3)VR头显设备根据受控设备提供的运营服务器地址，向运营服务器发送网络消息报文，报文中还包含了受控设备的设备标识，若受控设备提供了密钥，则还包括该密钥。
运营服务器收到VR头显设备的网络消息报文后，对受控设备初步鉴权，即检查受控设备的标识是否已经存储在本服务器，若提供了密钥则继续检查密钥是否与设备标识一致。若初步鉴权失败，则响应失败消息，结束全部流程。
如果服务器初步鉴权成功，则生成随机字符串，使用受控设备的私钥加密，把经私钥加密的字符串响应给VR头显设备。VR头显设备转发运营服务器的报文给受控设备，受控设备通过其安全单元解密字符串，并响应给VR头显设备，VR头显设备再转发到运营服务器。运营服务器验证受控设备解密的字符串无误后，向VR头显设备发送鉴权成功消息，VR头显设备向受控设备转发鉴权成功消息。
在服务器向VR头显设备发送的鉴权成功消息中，包含了发送VR图像的通讯地址与端口等信息。该信息通知VR头显设备获取VR图像。
受控设备在鉴权成功步骤之后，向VR头显设备发送手势订阅清单消息。消息内容是手势能力清单。手势能力的清单实施例，例如：支持的手势编号，例如1表示五指张开，2表示两个指头，10表示拳头，20表示摇动手臂等等；还可以包括：手势对应的控制含义，例如1表示开机，10表示开机等等；还可以包括：手势参数，例如手势动作持续时间等等。当受控设备收到这些手势的时候，执行相应的功能操作。
在一示例中，上述订阅的手势信息还可以指定包括视频流，即要求VR头显设备采集相关视频流。
在一示例中，VR头显设备响应受控设备，确认支持的手势等。响应消息包括一个确认的手势信息清单。
4)运营服务器向VR头显设备发送VR图像。
VR头显设备在完成步骤3)之后，即准备接收VR图像。运营服务器则在发送鉴权成功消息后，即向VR头显设备发送VR图像。出于效率与带宽的考虑，传送手势消息与发送VR图像采用不同的网络地址、或不同的端口。
VR头显设备接收VR图像后，VR头显设备向使用者显示VR内容。使用者在观看VR图像的过程中，可以做出手势，VR头显设备捕获并识别使用者的手势。从而，使用者无须面对受控设备物理实体，也能够像面对物理实体一样做出手势。
在这一实施例中，VR图像技术包括：全景图像技术、跟踪使用者头部运动技术、使用者眼球视点的图像显示技术。
5)VR头显设备识别使用者手势。
VR头显设备利用装备的摄像头、或可穿戴设备，捕获使用者的手势并识别为计算机表示。识别成功后，与订阅的手势清单进行比较，若识别的手势是订阅的手势清单中的手势，则转下一步，否则持续捕获手势并识别手势。
6)VR头显设备向受控设备送手势信息。
其中，手势信息包括如下内容：
支持的手势编号，例如1表示五指张开，2表示两个指头，10表示拳头，20表示摇动手臂等等；
手势对应的控制含义，例如1表示开机，10表示开机等等；
手势参数，例如手势动作持续时间等等。
当前图像参数：捕获手势时，当前向使用者显示的图像位置数据，例如当前帧图像左上角像素点在整个全景图像中的坐标位置、图像尺寸数据。
可选地，包括手势在当前图像上的位置映射参数。
发送的手势信息还可以包括连续采集的视频流，由受控设备进行手势分析、手势位置分析、身体姿势分析等其它分析。
除了上述手势信息发送于受控设备与VR头显设备之间，作为另一实施例，VR头显设备可以对手势进行预定义，并映射为指令编码，这种映射也可以由使用者重新指定；例如映射一个拇指表示“确定”，立起所有手指的手掌表示“取消”，一个食指表示“1”，等等。受控设备可以直接订阅这些映射，进而提高操控体验。
受控设备接收到手势信息后，分析手势信息，进而对应的执行指令，从而达到使用者的控制目的或效果。
如果需要更新VR图像显示，VR头显设备向服务器发送VR图像更新请求消息，服务器发送更新的VR图像。
7)如果使用者持续做出手势，则VR头显设备继续发送手势信息。
8)如果受控设备决定结束手势控制流程，则向VR头显设备发送结束订阅手势信息，从而结束手势控制，断开两者连接。VR头显设备则负责断开与运营服务器的连接，还包括结束VR图像的显示。从而全部流程正常结束。
图8为本发明实施例的VR头显设备的事件触发动作示意图。如图8所示：VR头显设备启动后，通过事件触发程序功能，执行本发明实施例中给出的功能。事件包括：收到VR图像(流)；检测到手势；检测到头/眼球(眼瞳)运动。检测到事件后，参见图6或图7，触发程序执行：显示/播放图像；识别手势，计算手势信息，然后发送手势信息；调整显示/播放VR图像。
图9为本发明实施例的VR头显设备的流程示意图。本实施例描述了VR头显设备工作的流程图。如图9所示，本示例的流程包括：
1)设备发现与连接。
VR头显设备可以首先发出查询广播或多播消息；也可以在收到网络中受控设备的查询广播或多播消息后，响应广播或多播消息。在完成发现功能之后，可以主动或被动建立与受控设备的连接。
建立连接后，作为一个实施例，VR头显设备可以作为一个HTTP服务器，以RESTful方式向作为HTTP客户端的受控设备响应HTTP请求。当然，本领域技术人员应当理解，也可以设置受控设备作为HTTP服务器，VR头显设备作为HTTP客户端。
2)协助安全认证。
在本步骤中，VR头显设备接收到受控设备提供的运营服务器地址，如图6、图7的实施例描述，协助运营服务器对受控设备的鉴权认证。
3)接收订阅手势信息。
在本步骤中，VR头显设备接收来自运营服务器或受控设备提供的订阅手势信息，如图6、图7实施例所述。作为一个实施例，在建立HTTP连接后，受控设备向VR头显设备发送POST请求消息，提供受控设备的手势信息列表。
这里的订阅手势信息包括一组手势描述信息，参见前述实施例。
在本步骤中，VR头显设备还从远程服务器获得接收后续服务器发送VR图像的地址与端口。这些地址与端口等参数来自服务器发送的消息，参见图6、图7的实施例。VR头显设备接收并保存这些信息。VR头显设备向发送VR图像的地址与端口建立网络连接。接收VR图像与接收订阅手势信息可以使用不同的网络端口。
3)接收VR图像。
作为一实施方式，传送VR图像的协议可以是流媒体传输协议如HLS、RSTP、DASH，或者通过HTTP下载文件。
4)显示VR图像。
VR头显设备通过显示屏或投影部件，把接收到的VR图像呈现给使用者，或者把需要更新的图像内容呈现给使用者。
5)若检测到头/瞳运动，则转步骤4)。
VR头显设备根据检测数据计算用户位姿，确定应向使用者显示的图像。例如，随着使用抬头/眼球向上，则把图像更上部分的内容显示给使用者。
6)采集并识别手势信息。
VR头显设备通过摄像头或可穿戴设备、或其它计算机视觉采集部件，捕获使用者的手势，并分析识别手势，从而得到手势信息。
7)发送手势信息。
其中，手势信息包括：
支持的手势编号，例如1表示五指张开，2表示两个指头，10表示拳头，20表示摇动手臂等等；
手势对应的控制含义，例如1表示开机，10表示开机等等；
手势参数，例如手势动作持续时间等等。
当前图像参数：捕获手势时，当前向使用者显示的图像位置数据，例如当前帧图像左上角像素点在整个全景图像中的坐标位置、图像尺寸数据。
可选地，包括手势在当前图像上的位置映射参数。
作为一个实施例，VR头显设备可以使用HTTP PUT或HTTP POST消息向受控设备发送手势信息。
8)若未收到受控设备的指示消息时，转步骤5)。
VR头显设备收到受控设备的响应消息后，如果分析发现没有进一步的指示信息，则继续转步骤5继续检测使用者行为、识别手势。
9)若收到受控设备的指示信息，若受控设备的指示信息指示要结束手势识别，则结束流程，否则转步骤3)。
图10为本发明实施例的受控设备的流程示意图。本实施例描述了受控设备的工作流程图。如图10所示，本示例的流程包括：
1)设备发现与连接。
受控设备可以首先发出查询广播或多播消息；也可以在收到网络中VR头显设备的查询广播或多播消息后，响应广播或多播消息。在完成发现功能之后，可以主动或被动建立与VR头显设备的连接。
建立连接后，作为一个实施例，受控设备可以作为一个HTTP服务器，以RESTful方式响应VR头显设备的HTTP请求。当然，本领域技术人员应当理解，也可以设置受控设备作为HTTP客户端，VR头显设备作为HTTP服务器端。也可以使用任何其它网络协议，例如在基于TCP/IP的网络协议上定义专门的通讯报文格式。
2)安全认证。
在这一步骤，受控设备经VR头显设备中转与运营服务器交互实现安全认证。受控设备提供地址，如图6、图7的实施例如述，运营服务器完成对受控设备的鉴权认证。
3)接收手势控制指令信息。
本实施例与图6的实施例对应，受控设备不提供手势清单、VR图像，而是由运营服务器提供。
受控设备上的HTTP服务器等待接VR头显设备消息。当VR头显设备接收到来自运营服务器对受控设备的手势控制指令消息后，向受控设备发送这些指令信息，例如通过HTTPPUT消息或HTTP POST消息向受控设备发送消息。受控设备接收这些手势指令信息。这些手势控制指令的例子如电视机调整音量，空调升高/降低温度，打开/关闭/调亮/调暗灯光等等，即启动执行手势对应的控制功能。
4)根据接收到的控制指令，执行对应的功能。
受控设备可以持续地接收指令信息，执行对应的功能。
5)若受控设备决定结束手势控制过程，则发送消息到VR头显设备请求结束过程。
作为一个实施例，最终，受控设备关闭与VR头显设备的地址、端口连接。
上述实施例中，电视机、播放机、存储服务器被作为受控设备，而本发明并不限定于受控设备是实施例中提到的这样设备，电脑、音响、音箱、投影仪、机顶盒等等都可以作为受控设备，甚至工业上其它设备如汽车、机床、轮船等等都可以由VR头显设备来操控。
上述实施例中，VR头显设备的摄像头可以是各种规格，例如可以是固定焦距或变焦距的，旋转空间可以是上下左右各个角度的，或只支持左右角度，只需要配置的一摄像头，具有实施例中描述的各种能力。测距单元可以使用激光红外线测距，也可以用其它波段的光测量，可以使用3摄像头计算测距，也可以使用更多摄像头用加权调整等方法计算测距。
上述流程，是实现本发明的实施例，并不是限定只能用实施例来实现，也不是用来限定具体流程执行的方法，本发明还可以用类似的方式实现，比如表示单元的名字、各种消息的类型等，那不过是命名形式、具体的报文内容等有所不同。
上述实施例，网络相关的，可适用于基于IEEE 802.3、IEEE 802.11b/g/n、POWELINE、CABLE、PSTN、第三代合作伙伴计划(3GPP，3rd Generation PartnershipProject)网络、3GPP2网络等通讯网络所支持的IP网络，各装置的操作系统可适用于UNIX类操作系统、WINDOWS类操作系统、ANDROID类操作系统、IOS操作系统，对消费者接口可适用于JAVA语言接口等。
图11为本发明实施例的手势识别装置的结构组成示意图一，应用于第一设备，如图11所示，所述装置包括：
通信单元1101，用于获取第二设备支持的手势列表；接收服务器发送的所述第二设备的VR数据；
显示单元1102，用于对所述VR数据进行显示；
采集识别单元1103，用于采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；
所述通信单元1101，还用于将所述手势消息发送给所述第二设备。
本发明实施例中，所述通信单元1101，具体用于：接收所述第二设备发送的所述第二设备支持的手势列表；或者，接收服务器发送的所述第二设备支持的手势列表，其中，所述服务器中存储有所述第二设备支持的手势列表。
本发明实施例中，所述装置还包括：
认证单元1104，用于接收所述第二设备发送的启动手势控制消息；向所述服务器认证所述第二设备。
所述通信单元1101，具体用于：所述服务器认证所述第二设备成功后，接收所述服务器发送的所述第二设备的VR数据，其中，所述VR数据为VR图像数据或VR视频数据。
所述通信单元1101，具体用于：发出查询广播或多播消息，以对第二设备进行设备发现；或者，在收到第二设备发出的查询广播或多播消息后，响应所述查询广播或多播消息；在与第二设备完成设备发现后，与所述第二设备建立网络连接。或者，通过第二设备的网络地址与所述第二设备建立网络连接。
所述认证单元1104，具体用于：向所述服务器发送网络报文，所述网络报文中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；其中，所述服务器地址用于表明所述网络报文的目的地址，所述标识信息和所述密钥信息用于服务器对所述第二设备进行认证。
本发明实施例中，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
本发明实施例中，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
本发明实施例中，所述通信单元1101，具体用于：将所述手势信息发送给服务器，接收所述服务器对所述手势信息进行识别得到的控制信息；所述第一设备通过所述手势消息将所述控制信息发送给所述第二设备；或者，对所述手势信息进行识别得到所述控制信息，通过所述手势消息将所述控制信息发送给所述第二设备。
本领域技术人员应当理解，图11所示的手势识别装置中的各单元的实现功能可参照前述手势识别方法的相关描述而理解。
本发明实施例的技术方案，无须受控设备增加较多成本，让用户不需要直接面对受控设备也能够对设备进行手势控制，而且操控多设备时同样简单方便，使得人们的娱乐生活更轻松、更享受，人们不需要学习掌握更多的使用方法，还能够降低企业生产成本及用户消费成本。
图12为本发明实施例的手势识别装置的结构组成示意图二，应用于第二设备，如图12所示，所述装置包括：
通信单元1201，用于向第一设备和/或服务器发送所述第二设备支持的手势列表，其中，所述第一设备能够显示所述第二设备的VR数据以及采集并识别手势；接收所述第一设备发送的手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息。
本发明实施例中，所述装置还包括：
认证单元1202，用于向第一设备发送启动手势控制消息；通过所述第一设备接收所述服务器的认证。
本发明实施例中，所述装置还包括：
存储单元1203，用于存储如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；
所述启动手势控制消息中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息。
本发明实施例中，所述装置还包括：
执行单元1204，用于执行与所述手势消息相应的控制指令。
本发明实施例中，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
本发明实施例中，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
本领域技术人员应当理解，图12所示的手势识别装置中的各单元的实现功能可参照前述手势识别方法的相关描述而理解。
图13为本发明实施例的手势识别系统的结构组成示意图，所述系统包括：第一设备1301、第二设备1302、服务器1303；其中，
第一设备1301，用于获取第二设备1302支持的手势列表；接收服务器1303发送的所述第二设备1302的虚拟现实VR数据，并对所述VR数据进行显示；采集并识别手势，基于所述第二设备1302支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；将所述手势消息发送给所述第二设备1302；
所述第二设备1302，用于向第一设备1301和/或服务器1303发送所述第二设备1302支持的手势列表，其中，所述第一设备1301能够显示所述第二设备1302的VR数据以及采集并识别手势；所述第二设备1302接收所述第一设备1301发送的手势消息。
本发明实施例中，所述手势列表包括以下至少之一：所述第二设备1302支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
本发明实施例中，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
本发明实施例的技术方案，对不具备手势识别部件的设备(例如未配备摄像头的设备)，无须使用者面对该设备，也能够通过手势对该设备进行控制(例如选择功能、配置参数等)，且该设备本身增加成本较低。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (28)

1.一种手势识别方法，其特征在于，所述方法包括：
第一设备获取第二设备支持的手势列表；
所述第一设备接收服务器发送的所述第二设备的虚拟现实VR数据，并对所述VR数据进行显示；
所述第一设备采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；
所述第一设备将所述手势消息发送给所述第二设备。
2.根据权利要求1所述的手势识别方法，其特征在于，所述第一设备获取第二设备支持的手势列表，包括：
所述第一设备接收所述第二设备发送的所述第二设备支持的手势列表；或者，
所述第一设备接收服务器发送的所述第二设备支持的手势列表，其中，所述服务器中存储有所述第二设备支持的手势列表。
3.根据权利要求1所述的手势识别方法，其特征在于，所述第一设备接收服务器发送的所述第二设备的虚拟现实VR数据之前，所述方法还包括：
所述第一设备接收所述第二设备发送的启动手势控制消息；
所述第一设备向所述服务器认证所述第二设备；
所述服务器认证所述第二设备成功后，所述第一设备接收所述服务器发送的所述第二设备的VR数据，其中，所述VR数据为VR图像数据或VR视频数据。
4.根据权利要求3所述的手势识别方法，其特征在于，所述第一设备接收所述第二设备发送的启动手势控制消息之前，所述方法还包括：
第一设备发出查询广播或多播消息，以对第二设备进行设备发现；或者，第一设备在收到第二设备发出的查询广播或多播消息后，响应所述查询广播或多播消息；
在第一设备与第二设备完成设备发现后，所述第一设备与所述第二设备建立网络连接。
5.根据权利要求3所述的手势识别方法，其特征在于，所述第一设备接收所述第二设备发送的启动手势控制消息之前，所述方法还包括：
第一设备通过第二设备的网络地址与所述第二设备建立网络连接。
6.根据权利要求3所述的手势识别方法，其特征在于，所述第二设备中存储有如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；
所述启动手势控制消息中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息。
7.根据权利要求6所述的手势识别方法，其特征在于，所述第一设备向所述服务器认证所述第二设备，包括：
所述第一设备向所述服务器发送网络报文，所述网络报文中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；其中，所述服务器地址用于表明所述网络报文的目的地址，所述标识信息和所述密钥信息用于服务器对所述第二设备进行认证。
8.根据权利要求1所述的手势识别方法，其特征在于，所述服务器中存储有如下信息的至少之一：第二设备的标识信息、密钥信息、所述第二电子设备的VR数据。
9.根据权利要求1所述的手势识别方法，其特征在于，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
10.根据权利要求1所述的手势识别方法，其特征在于，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
11.根据权利要求1所述的手势识别方法，其特征在于，所述方法还包括：
所述第一设备将所述手势信息发送给服务器，接收所述服务器对所述手势信息进行识别得到的控制信息；所述第一设备通过所述手势消息将所述控制信息发送给所述第二设备；或者，
所述第一设备对所述手势信息进行识别得到所述控制信息，通过所述手势消息将所述控制信息发送给所述第二设备。
12.一种手势识别方法，其特征在于，所述方法包括：
第二设备向第一设备和/或服务器发送所述第二设备支持的手势列表，其中，所述第一设备能够显示所述第二设备的VR数据以及采集并识别手势；
所述第二设备接收所述第一设备发送的手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息。
13.根据权利要求12所述的手势识别方法，其特征在于，所述方法还包括：
所述第二设备向第一设备发送启动手势控制消息；
所述第二设备通过所述第一设备接收所述服务器的认证，其中，在所述服务器对所述第二设备认证成功后，所述第一设备接收所述服务器发送的VR数据。
14.根据权利要求13所述的手势识别方法，其特征在于，所述第二设备向第一设备发送启动手势控制消息之前，所述方法还包括：
第二设备发出查询广播或多播消息，以对第一设备进行设备发现；或者，第二设备在收到第一设备发出的查询广播或多播消息后，响应所述查询广播或多播消息；
在第二设备与第一设备完成设备发现后，所述第二设备与所述第一设备建立网络连接。
15.根据权利要求13所述的手势识别方法，其特征在于，所述第二设备向第一设备发送启动手势控制消息之前，所述方法还包括：
第二设备通过第一设备的网络地址与所述第一设备建立网络连接。
16.根据权利要求13所述的手势识别方法，其特征在于，所述第二设备中存储有如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；
所述启动手势控制消息中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息。
17.根据权利要求12所述的手势识别方法，其特征在于，所述方法还包括：
所述第二设备接收所述第一设备发送的手势消息后，执行与所述手势消息相应的控制指令。
18.一种手势识别装置，其特征在于，应用于第一设备，所述装置包括：
通信单元，用于获取第二设备支持的手势列表；接收服务器发送的所述第二设备的VR数据；
显示单元，用于对所述VR数据进行显示；
采集识别单元，用于采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；
所述通信单元，还用于将所述手势消息发送给所述第二设备。
19.根据权利要求18所述的手势识别装置，其特征在于，所述装置还包括：
认证单元，用于接收所述第二设备发送的启动手势控制消息；向所述服务器认证所述第二设备。
20.根据权利要求18所述的手势识别装置，其特征在于，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
21.根据权利要求18所述的手势识别装置，其特征在于，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
22.一种手势识别装置，其特征在于，应用于第二设备，所述装置包括：
通信单元，用于向第一设备和/或服务器发送所述第二设备支持的手势列表，其中，所述第一设备能够显示所述第二设备的VR数据以及采集并识别手势；接收所述第一设备发送的手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息。
23.根据权利要求22所述的手势识别装置，其特征在于，所述装置还包括：
认证单元，用于向第一设备发送启动手势控制消息；通过所述第一设备接收所述服务器的认证。
24.根据权利要求23所述的手势识别装置，其特征在于，所述装置还包括：
存储单元，用于存储如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息；
所述启动手势控制消息中携带如下信息的至少之一：服务器地址、第二设备的标识信息、密钥信息。
25.根据权利要求23所述的手势识别装置，其特征在于，所述装置还包括：
执行单元，用于执行与所述手势消息相应的控制指令。
26.一种手势识别系统，其特征在于，所述系统包括：第一设备、第二设备、服务器；其中，
第一设备，用于获取第二设备支持的手势列表；接收服务器发送的所述第二设备的虚拟现实VR数据，并对所述VR数据进行显示；采集并识别手势，基于所述第二设备支持的手势列表生成手势消息，所述手势消息携带如下信息的至少之一：手势信息、控制信息；将所述手势消息发送给所述第二设备；
所述第二设备，用于向第一设备和/或服务器发送所述第二设备支持的手势列表，其中，所述第一设备能够显示所述第二设备的VR数据以及采集并识别手势；所述第二设备接收所述第一设备发送的手势消息。
27.根据权利要求26所述的手势识别系统，其特征在于，所述手势列表包括以下至少之一：所述第二设备支持的手势编号、手势编号对应的手势特征数据、手势编号对应的手势控制指令。
28.根据权利要求26所述的手势识别系统，其特征在于，所述手势信息包括以下至少之一：手势编号、手势参数、采集手势时的当前图像参数、手势在当前图像上的位置映射参数、连续采集的手势视频流、预定义的指令编码。
CN201710527063.6A 2017-06-30 2017-06-30 一种手势识别方法及装置、系统 Pending CN109213309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710527063.6A CN109213309A (zh) 2017-06-30 2017-06-30 一种手势识别方法及装置、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710527063.6A CN109213309A (zh) 2017-06-30 2017-06-30 一种手势识别方法及装置、系统

Publications (1)

Publication Number Publication Date
CN109213309A true CN109213309A (zh) 2019-01-15

Family

ID=64961288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710527063.6A Pending CN109213309A (zh) 2017-06-30 2017-06-30 一种手势识别方法及装置、系统

Country Status (1)

Country Link
CN (1) CN109213309A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530061A (zh) * 2013-10-31 2014-01-22 京东方科技集团股份有限公司 显示装置及控制方法、手势识别方法、头戴显示装置
US20140068526A1 (en) * 2012-02-04 2014-03-06 Three Bots Ltd Method and apparatus for user interaction
CN104866084A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 手势识别方法、装置和系统
CN104977904A (zh) * 2014-04-04 2015-10-14 浙江大学 一种可见即可控的智能家居控制系统及控制方法
CN105549408A (zh) * 2015-12-31 2016-05-04 歌尔声学股份有限公司 可穿戴设备、智能家居服务器及其控制方法和系统
CN205334371U (zh) * 2015-12-16 2016-06-22 深圳智能表芯科技有限公司 一种手势遥控家电的可穿戴设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140068526A1 (en) * 2012-02-04 2014-03-06 Three Bots Ltd Method and apparatus for user interaction
CN103530061A (zh) * 2013-10-31 2014-01-22 京东方科技集团股份有限公司 显示装置及控制方法、手势识别方法、头戴显示装置
CN104866084A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 手势识别方法、装置和系统
CN104977904A (zh) * 2014-04-04 2015-10-14 浙江大学 一种可见即可控的智能家居控制系统及控制方法
CN205334371U (zh) * 2015-12-16 2016-06-22 深圳智能表芯科技有限公司 一种手势遥控家电的可穿戴设备
CN105549408A (zh) * 2015-12-31 2016-05-04 歌尔声学股份有限公司 可穿戴设备、智能家居服务器及其控制方法和系统

Similar Documents

Publication Publication Date Title
CN105141899B (zh) 一种养老服务机器人的交互方法及系统
JP6374052B2 (ja) デジタルメディアコンテンツ再生を転送する方法、装置およびシステム
CN105741525B (zh) 遥控器绑定的处理方法、装置和设备
US20150185856A1 (en) Method for Transferring Playing of Digital Media Contents and Playing Device and System
JP7242850B2 (ja) サーバシステムとビデオゲームコントローラとの間の直接的な通信を確立するためのシステム及び方法
US10198083B2 (en) Hand gesture recognition method, device, system, and computer storage medium
US9485465B2 (en) Picture control method, terminal, and video conferencing apparatus
CN105247881B (zh) 信息处理设备、显示控制方法以及程序
WO2017215308A1 (zh) 电器设备控制方法、装置及系统
US20150100463A1 (en) Collaborative home retailing system
US10591999B2 (en) Hand gesture recognition method, device, system, and computer storage medium
EP3032838A1 (en) Message processing method, device, gateway, set-top box and internet protocol television system
CN113377472B (zh) 一种账号登录方法及三维显示设备、服务器
CN110337098B (zh) 一种通信连接的建立方法及装置
CN106034251B (zh) 一种机顶盒的控制方法及装置
WO2015035247A1 (en) Virtual window
JP6807744B2 (ja) 画像表示方法及び装置
WO2016062191A1 (zh) 信息发布方法、信息接收方法、装置及信息共享系统
CN109213307A (zh) 一种手势识别方法及装置、系统
CN112148182B (zh) 一种交互控制方法、终端以及存储介质
US10929703B2 (en) Method apparatus and program product for enabling two or more electronic devices to perform operations based on a common subject
US20140313279A1 (en) Method for Controlling Visual Light Source, Terminal, and Video Conference System
CN109213309A (zh) 一种手势识别方法及装置、系统
TWI530178B (zh) 網路攝影機及其網路連線設定方法
CN117915135A (zh) 数据共享处理方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination