CN105988583A - 手势控制方法及虚拟现实显示输出设备 - Google Patents
手势控制方法及虚拟现实显示输出设备 Download PDFInfo
- Publication number
- CN105988583A CN105988583A CN201510797333.6A CN201510797333A CN105988583A CN 105988583 A CN105988583 A CN 105988583A CN 201510797333 A CN201510797333 A CN 201510797333A CN 105988583 A CN105988583 A CN 105988583A
- Authority
- CN
- China
- Prior art keywords
- gesture
- user
- scene
- instruction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种用于虚拟现实显示输出设备的手势控制方法及虚拟现实显示输出设备，方法包括：收集多个用户手势，获取每个用户手势被收集时所述虚拟现实显示输出设备的使用场景作为用户手势对应的使用场景，获取与每个用户手势对应的执行指令；将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的指令模型；获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到关于当前用户手势在当前使用场景下的执行指令；执行所述执行指令。本发明对用户手势采用相关的使用场景配合进行训练，从而基于使用场景下建立用户手势与执行指令之间的精确关系，提高设备对用户手势的识别率。
Description
技术领域
本发明涉及虚拟现实相关技术领域，特别是一种用于虚拟现实显示输出设备的手势控制方法及虚拟现实显示输出设备。
背景技术
虚拟现实(Virtual Reality System，VR)系统，就是利用电脑或其他智能计算设为核心结合光电传感技术生成逼真的视、听、触一体化的特定范围内虚拟的环境。在虚拟现实系统中主要包括输入设备和输出设备。头戴式显示器简称HMD即是一种虚拟现实显示输出设备，配合输入设备的交互能够让用户产生独立封闭的沉浸式交互体验。
然而，用户的手势多种多样，设备的识别能力较差，导致虚拟现实产品的用户学习成本高，产品难以普及。
发明内容
基于此，有必要针对现有技术对用户的手势识别能力差的技术问题，提供一种用于虚拟现实显示输出设备的手势控制方法及虚拟现实显示输出设备。
本发明提供一种用于虚拟现实显示输出设备的手势控制方法，包括：
训练数据收集步骤，包括：收集多个用户手势，获取每个用户手势被收集时所述虚拟现实显示输出设备的使用场景作为用户手势对应的使用场景，获取与每个用户手势对应的执行指令；
指令模型训练步骤，包括：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的指令模型；
指令获取步骤，包括：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到关于当前用户手势在当前使用场景下的执行指令；
指令执行步骤，包括：执行所述执行指令。
进一步的：
所述指令模型训练步骤，具体包括：以用户手势以及相应的使用场景作为训练样本，以相应的执行指令对所述训练样本进行监督反馈，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个用户手势在每个使用场景下与每个执行指令关联的概率；
所述指令获取步骤，具体包括：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下所关联的最大概率的执行指令作为当前用户手势的执行指令。
进一步的：
所述指令模型训练步骤，具体包括：对相同使用场景下的多个用户手势采用无监督的机器学习方式进行归类训练，得到相同使用场景下每个用户手势的手势类型，计算每个手势类型在每个使用场景下与每个执行指令关联的概率，得到经过训练后的指令模型；
所述指令获取步骤，具体包括：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下的手势类型作为当前手势类型，得到当前手势类型在当前使用场景下关联的最大概率的执行指令作为当前用户手势的执行指令。
进一步的，还包括：
手势模型训练步骤，包括：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的手势模型；
手势获取步骤，包括：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到关于所述用户查询指令在所述当前场景下的推荐手势；
手势显示步骤，包括：显示所述推荐手势。
更进一步的：
所述手势模型训练步骤，具体包括：手势模型训练步骤，包括：以执行指令以及相应的使用场景作为训练样本，以相应的用户手势作为所述训练样本的目标，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个执行指令在每个使用场景下关联每个用户手势的概率；
所述手势获取步骤，具体包括：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到用户查询指令在当前使用场景下关联的最大概率的用户手势作为所述用户查询指令在所述当前场景下的推荐手势。
本发明提供一种虚拟现实显示输出设备，包括：
训练数据收集模块，用于：收集多个用户手势，获取每个用户手势被收集时所述虚拟现实显示输出设备的使用场景作为用户手势对应的使用场景，获取与每个用户手势对应的执行指令；
指令模型训练模块，用于：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的指令模型；
指令获取模块，用于：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到关于当前用户手势在当前使用场景下的执行指令；
指令执行模块，用于：执行所述执行指令。
进一步的：
所述指令模型训练模块，具体用于：以用户手势以及相应的使用场景作为训练样本，以相应的执行指令对所述训练样本进行监督反馈，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个用户手势在每个使用场景下与每个执行指令关联的概率；
所述指令获取模块，具体用于：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下所关联的最大概率的执行指令作为当前用户手势的执行指令。
进一步的：
所述指令模型训练模块，具体用于：对相同使用场景下的多个用户手势采用无监督的机器学习方式进行归类训练，得到相同使用场景下每个用户手势的手势类型，计算每个手势类型在每个使用场景下与每个执行指令关联的概率，得到经过训练后的指令模型；
所述指令获取模块，具体用于：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下的手势类型作为当前手势类型，得到当前手势类型在当前使用场景下关联的最大概率的执行指令作为当前用户手势的执行指令。
进一步的，还包括：
手势模型训练模块，用于：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的手势模型；
手势获取模块，用于：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到关于所述用户查询指令在所述当前场景下的推荐手势；
手势显示模块，用于：显示所述推荐手势。
更进一步的：
所述手势模型训练模块，具体用于：手势模型训练模块，用于：以执行指令以及相应的使用场景作为训练样本，以相应的用户手势作为所述训练样本的目标，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个执行指令在每个使用场景下关联每个用户手势的概率；
所述手势获取模块，具体用于：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到用户查询指令在当前使用场景下关联的最大概率的用户手势作为所述用户查询指令在所述当前场景下的推荐手势。
本发明对用户手势采用相关的使用场景配合进行训练，从而基于使用场景下建立用户手势与执行指令之间的精确关系，提高设备对用户手势的识别率。
附图说明
图1为本发明一种用于虚拟现实显示输出设备的手势控制方法的工作流程图；
图2为本发明最佳实施例的工作流程图；
图3为本发明一种虚拟现实显示输出设备的结构模块图；
图4为本发明虚拟现实显示输出设备的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1所示为本发明一种用于虚拟现实显示输出设备的手势控制方法的工作流程图，包括：
步骤S101，包括：收集多个用户手势，获取每个用户手势被收集时所述虚拟现实显示输出设备的使用场景作为用户手势对应的使用场景，获取与每个用户手势对应的执行指令；
步骤S102，包括：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的指令模型；
步骤S103，包括：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到关于当前用户手势在当前使用场景下的执行指令；
步骤S104，包括：执行所述执行指令。
在步骤S101中，获取用户手势以及相应的使用场景和执行指令，以在步骤S102中建模。使用场景指的是在获取用户手势时，用户使用虚拟现实显示输出设备所进行的操作，例如用户使用什么样的VR系统，需要进行哪些操作，当前正在用VR系统做些什么事情等等。例如，某用户正在用VR系统看电影，用户做出一个挥手动作以进行快进，则看电影为使用场景，挥手动作则为用户手势，快进为执行指令。在步骤S101中，由于是进行训练所收集的内容，因此其用户手势、使用场景和执行指令均可以是在实验室中预先保存多个操作，然后用户在观看电影的场景中做出上述挥手动作时，指定执行指令为快进。通过收集多个用户手势以及相应的使用场景和执行指令以形成训练集。
通过步骤S102建模后，则可以在步骤S103中获取用户的实际手势作为当前用户手势以及实际的使用场景作为当前使用场景，并输入指令模型获取对应的执行指令，并在步骤S104中执行该执行指令。
同一个手势在不同的使用场景下想要执行的操作并不一定相同，例如在观看视频的使用场景下，挥手这个用户手势用户想要执行的执行指令可以为快进，而在游戏的使用场景下，挥手这个用户手势用户想要执行的执行指令可能是挥动虚拟武器。因此，本发明对用户手势专门针对相关的使用场景配合进行训练，从而基于使用场景下建立用户手势与执行指令之间的精确关系，提高设备对用户手势的识别率。
在其中一个实施例中：
所述步骤S102，具体包括：以用户手势以及相应的使用场景作为训练样本，以相应的执行指令对所述训练样本进行监督反馈，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个用户手势在每个使用场景下与每个执行指令关联的概率；
所述步骤S103，具体包括：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下所关联的最大概率的执行指令作为当前用户手势的执行指令。
本实施例采用有监督方式的机器学习进行训练，通过步骤S101所获取的执行指令对用户手势以及相应的使用场景进行监督反馈，具体来说，将一个用户手势与一个使用场景作为一种模式，通过分类器对所有的模式基于执行指令的数量进行分类，使得分类后相对于执行指令所产生的错误概率最小。即特定用户手势在特定使用场景下关联特定执行指令的概率，具有最大概率的执行指令即为所关联的用户手势在所关联的使用场景下最应该执行的执行指令。分类器可以采用贝叶斯分类器、高斯模型、或者直接统计概率等，根据最大似然法或贝叶斯学习估计出指令模型的条件概率密度函数的参数，则在步骤S103中，只要将具体的当前用户手势、当前使用场景以及可能的执行指令输入函数即可得出该执行指令的概率，通过计算关于当前用户手势和当前使用场景的多个执行指令的概率，从中选择最大概率的执行指令。在计算的过程中，可以将用户手势、使用场景和执行指令转换为特定的编码以进行运算。
本实施例通过监督方式，使得特定用户手势在特定使用场景下所选择的执行指令更为准确。
例如，将用户手势A和使用场景a作为一种模式，其关联的执行指令为aa，将用户手势B和使用场景b作为一种模式，其关联的执行指令为bb。由于不同模式下还可能会有相同的执行指令。因此当有n种模式，其会有m种关联的执行指令，m小于或等于n。通过分类器对上述n中模式关于m种执行指令进行分类，获得每种模式关于每个执行指令的概率。
在其中一个实施例中
所述步骤S102，具体包括：对相同使用场景下的多个用户手势采用无监督的机器学习方式进行归类训练，得到相同使用场景下每个用户手势的手势类型，计算每个手势类型在每个使用场景下与每个执行指令关联的概率，得到经过训练后的指令模型；
所述步骤S103，具体包括：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下的手势类型作为当前手势类型，得到当前手势类型在当前使用场景下关联的最大概率的执行指令作为当前用户手势的执行指令。
本实施例采用无监督机器学习方法进行分类：
首先，按照使用场景进行区分，将相同使用场景下的多个用户手势采用无监督机器学习方法进行分类，具体来说，可以为每个用户手势预先选择一种编码，使用例如邻近算法，或者说K最近邻(KNN，k-NearestNeighbor)分类算法等方式进行归类，将多个用户手势归类为一种手势类型，则每个使用场景均包括至少一个手势类型。编码的选择可以根据用户手势的参数进行编码，例如，手势的速度，手势的动作，手势的幅度等，例如，对于一个手势可以设定其编码为(112)，其中第一个参数表示手势的速度为1等级，不同等级表示一定范围内的速度，第二个参数表示手势的动作，例如1代表向左挥手，2代表向右挥手等，第三个参数表示手势的幅度为2等级，不同等级表示一定范围的挥手幅度，将编码作为向量，采用KNN计算相同使用场景下的向量之间的距离并进行归类；
再次，由于每个用户手势和每个使用场景均与一种执行指令关联，因此对每个使用场景下的每个手势类型所包括的用户手势其关联的执行指令计算概率。
例如，将对于使用场景P，其包括有多个不同的手势类型，其中手势类型C包括用户手势d、用户手势e和用户手势f，而用户手势d对应的执行指令为dd，用户手势e对应的执行指令为dd，用户手势f对应的执行指令为ff，则在使用场景P下手势类型C所关联执行指令dd的概率为2/3，关联执行指令dd的概率为1/3。
当执行步骤S103时，则先查找模型中的当前使用场景，然后对当前用户手势采用无监督机器学习方法，例如KNN算法，将其归类到当前使用场景中相应的手势类型中，然后找出当前使用场景下其所归类的手势类型中关联的最大概率的执行指令作为当前用户手势的执行指令。
本实施例采用无监督的机器学习方式，使得手势识别更为灵活。
在其中一个实施例中，还包括：
手势模型训练步骤，包括：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的手势模型；
手势获取步骤，包括：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到关于所述用户查询指令在所述当前场景下的推荐手势；
手势显示步骤，包括：显示所述推荐手势。
本实施例中，用户通过输入装置，例如输入面板、触摸屏等，输入其想查询的指令，将用户想查询的指令输入指令模型，得到推荐手势并显示。推荐手势为在特定使用场景下，如果用户希望执行特定操作，其最应该使用的手势。通过收集多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，使得推荐手势更符合广大用户的需求。
在其中一个实施例中：
所述手势模型训练步骤，具体包括：手势模型训练步骤，包括：以执行指令以及相应的使用场景作为训练样本，以相应的用户手势作为所述训练样本的目标，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个执行指令在每个使用场景下关联每个用户手势的概率；
所述手势获取步骤，具体包括：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到用户查询指令在当前使用场景下关联的最大概率的用户手势作为所述用户查询指令在所述当前场景下的推荐手势。
本实施例通过步骤S101所获取的执行指令对执行指令以及相应的使用场景进行监督反馈，具体来说，将一个执行指令与一个使用场景作为一种模式，通过分类器对所有的模式基于用户手势的数量进行分类，使得分类后相对于用户手势所产生的错误概率最小。即特定执行指令在特定使用场景下关联特定用户手势的概率，具有最大概率的用户手势即为所关联的执行指令在所关联的使用场景下最应该采用的用户手势。分类器可以采用贝叶斯分类器、高斯模型、或者直接统计概率等，根据最大似然法或贝叶斯学习估计出指令模型的条件概率密度函数的参数，则在手势获取步骤中，只要将具体的用户查询指令、当前使用场景以及可能的用户手势输入函数即可得出该用户手势的概率，通过计算关于用户查询指令和当前使用场景的多个用户手势的概率，从中选择最大概率的用户手势。在计算的过程中，可以将用户查询指令、使用场景和用户手势转换为特定的编码以进行运算。
本实施例通过监督方式，使得特定用户查询指令在特定使用场景下所选择的用户手势更为准确。
如图2所示为本发明最佳实施例的工作流程图，包括：
步骤S201，视频采集：
此时，要设定用户的使用场景。包括，用户使用什么样的VR系统，需要进行哪些操作，当前正在用VR系统做些什么事情等等。所要采集的数据包括用户手势、使用场景以及用户所希望执行的执行指令。例如，某用户正在用VR系统看电影，获取用户想做哪些操作以及做了哪些操作，或者，某用户正在用VR系统看电影，在快进的设定情境下，获取用户所有的手势。
步骤S202，用户行为建模：
可以进行两种角度的分析建模：一是针对特定场景的特定执行指令，对用户所有的手势进行分析建模；二是针对特定场景下的所有手势，对用户所有的执行指令进行建模。建模的方法，可以采用统计学上的概率模型，如高斯模型进行分析，或者直接统计概率以进行分类。
步骤S203，显示推荐手势或者执行指令。
一是针对特定场景下的特定执行指令，推荐用户采用最合适的特定手势；二是针对特定场景下的特定手势，判断用户最想表达的意愿，以执行相应的指令。
在进行上述分析时，采集样本需要对用户进行科学的分类，以期样本能够最大限度地代表用户群。
如图3所示为本发明一种虚拟现实显示输出设备的结构模块图，包括：
训练数据收集模块301，用于：收集多个用户手势，获取每个用户手势被收集时所述虚拟现实显示输出设备的使用场景作为用户手势对应的使用场景，获取与每个用户手势对应的执行指令；
指令模型训练模块302，用于：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的指令模型；
指令获取模块303，用于：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到关于当前用户手势在当前使用场景下的执行指令；
指令执行模块304，用于：执行所述执行指令。
在其中一个实施例中：
所述指令模型训练模块302，具体用于：以用户手势以及相应的使用场景作为训练样本，以相应的执行指令对所述训练样本进行监督反馈，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个用户手势在每个使用场景下与每个执行指令关联的概率；
所述指令获取模块303，具体用于：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下所关联的最大概率的执行指令作为当前用户手势的执行指令。
在其中一个实施例中：
所述指令模型训练模块302，具体用于：对相同使用场景下的多个用户手势采用无监督的机器学习方式进行归类训练，得到相同使用场景下每个用户手势的手势类型，计算每个手势类型在每个使用场景下与每个执行指令关联的概率，得到经过训练后的指令模型；
所述指令获取模块303，具体用于：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下的手势类型作为当前手势类型，得到当前手势类型在当前使用场景下关联的最大概率的执行指令作为当前用户手势的执行指令。
在其中一个实施例中，还包括：
手势模型训练模块，用于：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的手势模型；
手势获取模块，用于：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到关于所述用户查询指令在所述当前场景下的推荐手势；
手势显示模块，用于：显示所述推荐手势。
在其中一个实施例中：
所述手势模型训练模块，具体用于：手势模型训练模块，用于：以执行指令以及相应的使用场景作为训练样本，以相应的用户手势作为所述训练样本的目标，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个执行指令在每个使用场景下关联每个用户手势的概率；
所述手势获取模块，具体用于：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到用户查询指令在当前使用场景下关联的最大概率的用户手势作为所述用户查询指令在所述当前场景下的推荐手势。
如图4所示为本发明虚拟现实显示输出设备的结构示意图。虚拟现实显示输出设备可以是利用PC计算能力接入方式的PC头盔显示设备、或者基于手机的计算处理能力的便携式头盔显示设备、或者是头盔显示设备自带计算处理能力，其主要包括：处理器401、存储器402、显示屏403、摄像机404、输入装置405等。
其中存储器402中存储前述方法的具体代码以及指令模型和手势模型，由处理器401具体执行，通过摄像机404捕捉用户手势并由处理器401根据前述方法进行处理后执行具体指令，或者从输入装置405接收查询指令后，由处理器401根据前述方法进行处理后在显示屏403上显示推荐手势。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种用于虚拟现实显示输出设备的手势控制方法，其特征在于，包括：
训练数据收集步骤，包括：收集多个用户手势，获取每个用户手势被收集时所述虚拟现实显示输出设备的使用场景作为用户手势对应的使用场景，获取与每个用户手势对应的执行指令；
指令模型训练步骤，包括：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的指令模型；
指令获取步骤，包括：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到关于当前用户手势在当前使用场景下的执行指令；
指令执行步骤，包括：执行所述执行指令。
2.根据权利要求1所述的用于虚拟现实显示输出设备的手势控制方法，其特征在于：
所述指令模型训练步骤，具体包括：以用户手势以及相应的使用场景作为训练样本，以相应的执行指令对所述训练样本进行监督反馈，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个用户手势在每个使用场景下与每个执行指令关联的概率；
所述指令获取步骤，具体包括：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下所关联的最大概率的执行指令作为当前用户手势的执行指令。
3.根据权利要求1所述的用于虚拟现实显示输出设备的手势控制方法，其特征在于：
所述指令模型训练步骤，具体包括：对相同使用场景下的多个用户手势采用无监督的机器学习方式进行归类训练，得到相同使用场景下每个用户手势的手势类型，计算每个手势类型在每个使用场景下与每个执行指令关联的概率，得到经过训练后的指令模型；
所述指令获取步骤，具体包括：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下的手势类型作为当前手势类型，得到当前手势类型在当前使用场景下关联的最大概率的执行指令作为当前用户手势的执行指令。
4.根据权利要求1所述的用于虚拟现实显示输出设备的手势控制方法，其特征在于，还包括：
手势模型训练步骤，包括：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的手势模型；
手势获取步骤，包括：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到关于所述用户查询指令在所述当前场景下的推荐手势；
手势显示步骤，包括：显示所述推荐手势。
5.根据权利要求4所述的用于虚拟现实显示输出设备的手势控制方法，其特征在于：
所述手势模型训练步骤，具体包括：手势模型训练步骤，包括：以执行指令以及相应的使用场景作为训练样本，以相应的用户手势作为所述训练样本的目标，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个执行指令在每个使用场景下关联每个用户手势的概率；
所述手势获取步骤，具体包括：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到用户查询指令在当前使用场景下关联的最大概率的用户手势作为所述用户查询指令在所述当前场景下的推荐手势。
6.一种虚拟现实显示输出设备，其特征在于，包括：
训练数据收集模块，用于：收集多个用户手势，获取每个用户手势被收集时所述虚拟现实显示输出设备的使用场景作为用户手势对应的使用场景，获取与每个用户手势对应的执行指令；
指令模型训练模块，用于：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的指令模型；
指令获取模块，用于：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到关于当前用户手势在当前使用场景下的执行指令；
指令执行模块，用于：执行所述执行指令。
7.根据权利要求6所述的虚拟现实显示输出设备，其特征在于：
所述指令模型训练模块，具体用于：以用户手势以及相应的使用场景作为训练样本，以相应的执行指令对所述训练样本进行监督反馈，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个用户手势在每个使用场景下与每个执行指令关联的概率；
所述指令获取模块，具体用于：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下所关联的最大概率的执行指令作为当前用户手势的执行指令。
8.根据权利要求6所述的虚拟现实显示输出设备，其特征在于：
所述指令模型训练模块，具体用于：对相同使用场景下的多个用户手势采用无监督的机器学习方式进行归类训练，得到相同使用场景下每个用户手势的手势类型，计算每个手势类型在每个使用场景下与每个执行指令关联的概率，得到经过训练后的指令模型；
所述指令获取模块，具体用于：获取当前用户手势以及所述虚拟现实显示输出设备的当前使用场景输入所述指令模型，得到当前用户手势在当前使用场景下的手势类型作为当前手势类型，得到当前手势类型在当前使用场景下关联的最大概率的执行指令作为当前用户手势的执行指令。
9.根据权利要求6所述的虚拟现实显示输出设备，其特征在于，还包括：
手势模型训练模块，用于：将多个用户手势以及相应的使用场景和执行指令作为训练集进行建模训练，得到经过训练后的手势模型；
手势获取模块，用于：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到关于所述用户查询指令在所述当前场景下的推荐手势；
手势显示模块，用于：显示所述推荐手势。
10.根据权利要求9所述的虚拟现实显示输出设备，其特征在于：
所述手势模型训练模块，具体用于：手势模型训练模块，用于：以执行指令以及相应的使用场景作为训练样本，以相应的用户手势作为所述训练样本的目标，采用有监督的机器学习方式进行训练，得到指令模型，所述指令模型包括每个执行指令在每个使用场景下关联每个用户手势的概率；
所述手势获取模块，具体用于：响应于包括用户查询指令的用户查询指令请求，获取所述虚拟现实显示输出设备的当前使用场景，将所述用户查询指令和所述当前使用场景输入所述指令模型，得到用户查询指令在当前使用场景下关联的最大概率的用户手势作为所述用户查询指令在所述当前场景下的推荐手势。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510797333.6A CN105988583A (zh) | 2015-11-18 | 2015-11-18 | 手势控制方法及虚拟现实显示输出设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510797333.6A CN105988583A (zh) | 2015-11-18 | 2015-11-18 | 手势控制方法及虚拟现实显示输出设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105988583A true CN105988583A (zh) | 2016-10-05 |
Family
ID=57040638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510797333.6A Pending CN105988583A (zh) | 2015-11-18 | 2015-11-18 | 手势控制方法及虚拟现实显示输出设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105988583A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106527709A (zh) * | 2016-10-28 | 2017-03-22 | 惠州Tcl移动通信有限公司 | 一种虚拟场景调整方法及头戴式智能设备 |
| CN107704190A (zh) * | 2017-11-06 | 2018-02-16 | 广东欧珀移动通信有限公司 | 手势识别方法、装置、终端及存储介质 |
| CN108227924A (zh) * | 2018-01-02 | 2018-06-29 | 联想(北京)有限公司 | 用于电子设备的方法及电子设备 |
| CN108815845A (zh) * | 2018-05-15 | 2018-11-16 | 百度在线网络技术（北京）有限公司 | 人机交互的信息处理方法及装置、计算机设备及可读介质 |
| WO2018223605A1 (zh) * | 2017-06-06 | 2018-12-13 | 歌尔股份有限公司 | 一种输入方法、装置和系统 |
| CN109254650A (zh) * | 2018-08-02 | 2019-01-22 | 阿里巴巴集团控股有限公司 | 一种人机交互方法和装置 |
| CN111414944A (zh) * | 2020-03-11 | 2020-07-14 | 北京声智科技有限公司 | 一种电子设备控制方法及电子设备 |
| CN111522442A (zh) * | 2020-04-09 | 2020-08-11 | 中国电子科技集团公司第三十八研究所 | iOS设备上ARKit增强现实环境的交互方法及装置 |
| CN113190106A (zh) * | 2021-03-16 | 2021-07-30 | 青岛小鸟看看科技有限公司 | 手势识别方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102339125A (zh) * | 2010-07-23 | 2012-02-01 | 夏普株式会社 | 信息设备及其控制方法和系统 |
| CN102693007A (zh) * | 2011-03-04 | 2012-09-26 | 微软公司 | 姿势检测和识别 |
| US20140241617A1 (en) * | 2013-02-22 | 2014-08-28 | Microsoft Corporation | Camera/object pose from predicted coordinates |
| CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
-
2015
- 2015-11-18 CN CN201510797333.6A patent/CN105988583A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102339125A (zh) * | 2010-07-23 | 2012-02-01 | 夏普株式会社 | 信息设备及其控制方法和系统 |
| CN102693007A (zh) * | 2011-03-04 | 2012-09-26 | 微软公司 | 姿势检测和识别 |
| US20140241617A1 (en) * | 2013-02-22 | 2014-08-28 | Microsoft Corporation | Camera/object pose from predicted coordinates |
| CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018076912A1 (zh) * | 2016-10-28 | 2018-05-03 | 捷开通讯(深圳)有限公司 | 一种虚拟场景调整方法及头戴式智能设备 |
| CN106527709A (zh) * | 2016-10-28 | 2017-03-22 | 惠州Tcl移动通信有限公司 | 一种虚拟场景调整方法及头戴式智能设备 |
| WO2018223605A1 (zh) * | 2017-06-06 | 2018-12-13 | 歌尔股份有限公司 | 一种输入方法、装置和系统 |
| US10897530B2 (en) | 2017-06-06 | 2021-01-19 | Goertek Inc. | Input method, device and system |
| CN107704190B (zh) * | 2017-11-06 | 2020-07-10 | Oppo广东移动通信有限公司 | 手势识别方法、装置、终端及存储介质 |
| CN107704190A (zh) * | 2017-11-06 | 2018-02-16 | 广东欧珀移动通信有限公司 | 手势识别方法、装置、终端及存储介质 |
| CN108227924A (zh) * | 2018-01-02 | 2018-06-29 | 联想(北京)有限公司 | 用于电子设备的方法及电子设备 |
| CN108815845A (zh) * | 2018-05-15 | 2018-11-16 | 百度在线网络技术（北京）有限公司 | 人机交互的信息处理方法及装置、计算机设备及可读介质 |
| CN108815845B (zh) * | 2018-05-15 | 2019-11-26 | 百度在线网络技术（北京）有限公司 | 人机交互的信息处理方法及装置、计算机设备及可读介质 |
| CN109254650A (zh) * | 2018-08-02 | 2019-01-22 | 阿里巴巴集团控股有限公司 | 一种人机交互方法和装置 |
| CN109254650B (zh) * | 2018-08-02 | 2021-02-09 | 创新先进技术有限公司 | 一种人机交互方法和装置 |
| CN111414944A (zh) * | 2020-03-11 | 2020-07-14 | 北京声智科技有限公司 | 一种电子设备控制方法及电子设备 |
| CN111414944B (zh) * | 2020-03-11 | 2023-09-15 | 北京声智科技有限公司 | 一种电子设备控制方法及电子设备 |
| CN111522442A (zh) * | 2020-04-09 | 2020-08-11 | 中国电子科技集团公司第三十八研究所 | iOS设备上ARKit增强现实环境的交互方法及装置 |
| CN113190106A (zh) * | 2021-03-16 | 2021-07-30 | 青岛小鸟看看科技有限公司 | 手势识别方法、装置及电子设备 |
| CN113190106B (zh) * | 2021-03-16 | 2022-11-22 | 青岛小鸟看看科技有限公司 | 手势识别方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105988583A (zh) | 手势控制方法及虚拟现实显示输出设备 | |
| CN110765967B (zh) | 一种基于人工智能的动作识别方法和相关装置 | |
| Markovitz et al. | Graph embedded pose clustering for anomaly detection | |
| Materzynska et al. | The jester dataset: A large-scale video dataset of human gestures | |
| EP3198373B1 (en) | Tracking hand/body pose | |
| Xia et al. | Multi-scale mixed dense graph convolution network for skeleton-based action recognition | |
| CN104573706A (zh) | 一种物体图像识别方法及其系统 | |
| CN111552888A (zh) | 内容推荐方法、装置、设备及存储介质 | |
| Stern et al. | Optimal consensus intuitive hand gesture vocabulary design | |
| KR102663375B1 (ko) | 음성 및 영상 자동 포커싱 방법 및 장치 | |
| CN105589553A (zh) | 一种智能设备的手势控制方法和系统 | |
| Ibañez et al. | Approximate string matching: A lightweight approach to recognize gestures with Kinect | |
| CN110427831B (zh) | 一种基于融合特征的人体动作分类方法 | |
| Kosmopoulos et al. | A system for multicamera task recognition and summarization for structured environments | |
| CN113254491A (zh) | 一种信息推荐的方法、装置、计算机设备及存储介质 | |
| CN112288699A (zh) | 图像相对清晰度的评估方法、装置、设备和介质 | |
| Wang et al. | Will you ever become popular? Learning to predict virality of dance clips | |
| Sooai et al. | Comparison of recognition accuracy on dynamic hand gesture using feature selection | |
| Lu et al. | Picking out the impurities: Attention-based push-grasping in dense clutter | |
| Nikpour et al. | Deep reinforcement learning in human activity recognition: A survey | |
| CN108875445A (zh) | 一种行人再识别方法及装置 | |
| Gao et al. | Automatic modelling for interactive action assessment | |
| CN115016641A (zh) | 基于手势识别的会议控制方法、装置、会议系统和介质 | |
| Bagane et al. | Facial Emotion Detection using Convolutional Neural Network | |
| CN114360053A (zh) | 一种动作识别方法、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161005 |
|
| WD01 | Invention patent application deemed withdrawn after publication |