CN110568929B - 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备 - Google Patents

一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备 Download PDF

Info

Publication number
CN110568929B
CN110568929B CN201910840364.3A CN201910840364A CN110568929B CN 110568929 B CN110568929 B CN 110568929B CN 201910840364 A CN201910840364 A CN 201910840364A CN 110568929 B CN110568929 B CN 110568929B
Authority
CN
China
Prior art keywords
virtual
hand
virtual scene
gesture
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910840364.3A
Other languages
English (en)
Other versions
CN110568929A (zh
Inventor
唐溢辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nobarrier Hangzhou Technology Co ltd
Original Assignee
Nobarrier Hangzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nobarrier Hangzhou Technology Co ltd filed Critical Nobarrier Hangzhou Technology Co ltd
Priority to CN201910840364.3A priority Critical patent/CN110568929B/zh
Publication of CN110568929A publication Critical patent/CN110568929A/zh
Application granted granted Critical
Publication of CN110568929B publication Critical patent/CN110568929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种基于虚拟键盘的虚拟场景交互方法,显示虚拟场景和对所述虚拟场景进行操作的虚拟手,获取手部动作在手臂处产生的肌电信号,识别肌电信号对应的手势,根据识别到的所述手势同步调整所述虚拟手的手势,在虚拟手的手势满足预设条件时,虚拟场景响应虚拟手的操作。根据手部动作在手臂处产生的肌电信号识别手部动作,来同步调整虚拟手的手势,使得在虚拟场景中完成虚拟手与真实手部的同步,而在虚拟手的手势满足一定条件时,表示真实手部完成了交互动作,这时的手势可以触发虚拟场景进行响应,此时,虚拟场景响应虚拟手的操作,便可以准确地进行交互,从而提高了虚拟场景的交互体验。

Description

一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
技术领域
本申请涉及计算机领域,尤其涉及一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备。
背景技术
随着虚拟技术的发展,虚拟现实和增强现实为人们所知(比如VR眼镜、AR眼镜),虚拟现实和增强现实都是为用户展示虚拟的画面,营造虚拟的场景。
而在利用虚拟技术进行交互时,则不仅需要展示虚拟画面,还需要对虚拟环境进行操控,来显示交互的结果。
现有技术对虚拟环境的操控,通常是利用手柄、手套,或基于摄像头的视觉方案来读取或识别相关位置信息,从而达到操控的目的。前两种方案是通过手持或佩戴第三方工具来进行交互,未解放双手;第三种方案受到场景及光线的限制,体验较差。
发明内容
本说明书实施例提供一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备,用以解决现有技术中虚拟场景交互体验差的问题。
本申请提供一种基于虚拟键盘的虚拟场景交互方法,包括:
显示虚拟场景和对所述虚拟场景进行操作的虚拟手;
获取肌电信号,所述肌电信号为手部动作在手臂处产生的肌电信号;
识别所述肌电信号对应的手势;
根据识别到的所述手势同步调整所述虚拟手的手势,使所述虚拟手对所述虚拟场景进行操作;
在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作。
可选地,所述虚拟场景中具有虚拟键盘;
所述在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作,包括:
在所述虚拟手与所述虚拟键盘中的预设位置接触时,根据接触的位置进行信息的录入。
可选地,所述虚拟场景中具有显示的图像;
所述在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作,包括:
在所述虚拟手接触到所述图像并进行显示状态调整操作时,调整所述图像的显示状态,所述显示状态调整操作包括滑动、缩放中的至少一个。
可选地,所述获取肌电信号,包括:
获取从多个通道提取的肌电信号;
所述识别所述肌电信号对应的手势,包括:
根据多个通道的肌电信号组合的整体特征识别对应的手势。
可选地,在所述根据多个通道的肌电信号组合的整体特征识别对应的手势之前,还包括:
对各通道的肌电信号分别进行整流、滤波和归一化处理,得到处理后的肌电信号。
可选地,在显示虚拟场景和对所述虚拟场景进行操作的虚拟手之前,还可以包括:
校正虚拟手在虚拟场景中的位置。
可选地,所述获取肌电信号,包括:
获取在预设时刻采集的肌电信号。
本说明书实施例还提供一种基于虚拟键盘的虚拟场景交互装置,包括:
显示模块,用于显示虚拟场景和对所述虚拟场景进行操作的虚拟手;
获取模块,用于获取肌电信号,所述肌电信号为手部动作在手臂处产生的肌电信号;
交互模块,用于识别所述肌电信号对应的手势;
根据识别到的所述手势同步调整所述虚拟手的手势,使所述虚拟手对所述虚拟场景进行操作;
在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作。
可选地,所述虚拟场景中具有虚拟键盘;
所述交互模块,用于在所述虚拟手与所述虚拟键盘中的预设位置接触时,根据接触的位置进行信息的录入。
可选地,所述虚拟场景中具有显示的图像;
所述交互模块,用于在所述虚拟手接触到所述图像并进行显示状态调整操作时,调整所述图像的显示状态,所述显示状态调整操作包括滑动、缩放中的至少一个。
可选地,所述获取肌电信号,包括:
获取从多个通道提取的肌电信号;
所述识别所述肌电信号对应的手势,包括:
根据多个通道的肌电信号组合的整体特征识别对应的手势。
可选地,在所述根据多个通道的肌电信号组合的整体特征识别对应的手势之前,还包括:
对各通道的肌电信号分别进行整流、滤波和归一化处理,得到处理后的肌电信号。
可选地,在显示虚拟场景和对所述虚拟场景进行操作的虚拟手之前,还可以包括:
校正虚拟手在虚拟场景中的位置。
本说明书实施例还提供一种电子设备,其中,该电子设备包括:
处理器;以及,
存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行上述任一项方法。
本说明书实施例还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现上述任一项方法。
本说明书记载的各种技术方案根据手部动作在手臂处产生的肌电信号识别手部动作,来同步调整虚拟手的手势,使得在虚拟场景中完成虚拟手与真实手部的同步,而在虚拟手的手势满足一定条件时,表示真实手部完成了交互动作,这时的手势可以触发虚拟场景进行响应,此时,虚拟场景响应虚拟手的操作,便可以准确地进行交互,从而提高了虚拟场景的交互体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书实施例提供的一种基于虚拟键盘的虚拟场景交互系统的结构示意图;
图2为本说明书实施例提供的一种基于虚拟键盘的虚拟场景交互方法的原理示意图;
图3为本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
为了改善虚拟场景的体验,申请人想到,如果能够直接识别用户的手势,根据识别的结果来控制虚拟手,则用户不需要操控第三方工具,而可以直接以真实手部动作表达要进行的操作,从而可以使虚拟场景中的虚拟手达到与真实手部动作的同步。
通过图像识别的方式可以识别到手势的变化,然而,由于手部是立体的,因此,为了识别手部动作,需要对手部进行标记、定位,通过采集双目视图的图像,才能还原出手部在立体空间中的动作,由于图像方式受到场景的限制,而且受到光线的影响,动作识别容易出错或者延迟,使这种方式进行交互受限,准确率低。
申请人想到,如果改变图像识别的思路,以手部动作在手臂处产生的肌电信号来识别动作,进而与虚拟场景进行交互,则可以规避这种弊端。
然而,如果根据手的姿势变化直接与虚拟场景进行交互,会导致交互场景的混乱,这是因为,在现实中,每个交互过程中,用户都需要进行连续的手势变化,而触发人手与真实场景交互的动作,实质上是特定的有效动作,因此,如果识别的手势是未完成的动作,并以此触发虚拟场景与虚拟手的交互,往往会出现重复操作、识别错误等较差的体验。
因此,本说明书实施例提供一种基于虚拟键盘的虚拟场景交互方法,包括:
显示虚拟场景和对所述虚拟场景进行操作的虚拟手;
获取肌电信号,所述肌电信号为手部动作在手臂处产生的肌电信号;
识别所述肌电信号对应的手势;
根据识别到的所述手势同步调整所述虚拟手的手势,使所述虚拟手对所述虚拟场景进行操作;
在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作。
根据手部动作在手臂处产生的肌电信号识别手部动作,来同步调整虚拟手的手势,使得在虚拟场景中完成虚拟手与真实手部的同步,而在虚拟手的手势满足一定条件时,表示真实手部完成了交互动作,这时的手势可以触发虚拟场景进行响应,此时,虚拟场景响应虚拟手的操作,便可以准确地进行交互,从而提高了虚拟场景的交互体验。
本说明书实施例提供一种基于虚拟键盘的虚拟场景交互系统,图1为本说明书实施例提供的一种基于虚拟键盘的虚拟场景交互系统的结构示意图,该系统可以包括:
信号采集模块101,采集肌电信号,所述肌电信号为手部动作在手臂处产生的肌电信号,发送采集到的肌电信号;
获取模块102,用于获取肌电信号;
交互模块103,用于识别所述肌电信号对应的手势;
根据识别到的所述手势同步调整所述虚拟手的手势,使所述虚拟手对所述虚拟场景进行操作;
在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作;
显示模块104,用于显示虚拟场景和对所述虚拟场景进行操作的虚拟手。
其中,信号采集模块可以位于手臂佩戴的臂环中,通过传感器采集肌肉表面的肌电信号,因此,所述肌电信号可以为通过佩戴在手臂上的臂环采集的手部动作在手臂处产生的肌电信号。
获取模块102、交互模块103和显示模块可以位于虚拟场景的显示设备中,比如虚拟现实眼镜、增强现实眼镜等,在此不做具体阐述。
其中,可选地,信号采集模块101可以与获取模块102建立无线通信连接,比如蓝牙连接,从而使虚拟场景的显示设备获取到肌电信号,在此不做具体阐述。
基于上述交互系统的构思,本说明书实施例提供一种基于虚拟键盘的虚拟场景交互方法,图2为本说明书实施例提供的一种基于虚拟键盘的虚拟场景交互方法的原理示意图,该方法可以包括:
S201:显示虚拟场景和对所述虚拟场景进行操作的虚拟手。
在本说明书实施例中,虚拟场景中可以具有图像,这可以是二维图像,也可以是立体图像,用于展示虚拟的场景,虚拟场景中可以具有虚拟手,虚拟手被操控从而与用户的真实手部相同步。
可选的,虚拟场景中可以具有虚拟键盘等信息输入图像,这样,可以同步模拟出虚拟手对虚拟键盘进行操作的场景。
可选地,虚拟场景中的图像的显示状态可以被调整,显示状态可以是显示的尺寸,显示的图像部位,显示图像的空间位置等,以模拟用户对虚拟图像进行显示状态调整的操作,比如,滑动图像,缩放图像等,在此不做具体阐述。
可以预先构建虚拟场景和虚拟手的模型,使虚拟场景可以对虚拟手的特定操作作出响应,也可以识别肌电信号对应的手势,以及根据识别到的手势控制虚拟手在虚拟场景中进行操作,在此不做具体阐述。
这样,根据该模型,便可以显示显示虚拟场景和对所述虚拟场景进行操作的虚拟手。
在本说明书实施例中,在显示虚拟场景和对所述虚拟场景进行操作的虚拟手之前,还可以包括:
校正虚拟手在虚拟场景中的位置。
S202:获取肌电信号,所述肌电信号为手部动作在手臂处产生的肌电信号,识别所述肌电信号对应的手势。
在本说明书实施例中,可以通过传感器采集肌肉表面的肌电信号,由于手臂、手指的动作实际上是由肌肉的收缩来完成的,而肌肉的收缩会表现出肌电信号的变化,因此,通过肌电信号,便可以确定肌肉的状态,进而对应到手势动作。
考虑到实际场景中,手势所表示的动作有扩张和收缩,而不论是扩张还是收缩,大多数动作都是由多个肌肉的收缩形成的,因此,每个动作都可以与多个肌肉的肌电信号的组合相关联,不同的组合方式,表示不同的动作,因此,可以根据多个肌电信号识别手势,将这多个肌电信号均作为有效的肌电信号,提高识别的准确率。
因此,所述获取肌电信号,可以包括:
获取从多个通道提取的肌电信号;
这样,识别所述肌电信号对应的手势,包括:
根据多个通道的肌电信号组合的整体特征识别对应的手势。
在本说明书实施例中,由于肌电信号作为生物信号,可以先对其进行处理,在根据处理得到的肌电信号进行识别。
因此,在所述根据多个通道的肌电信号组合的整体特征识别对应的手势之前,还可以包括:
对各通道的肌电信号分别进行整流、滤波和归一化处理,得到处理后的肌电信号。
所述获取肌电信号,包括:
获取在预设时刻采集的肌电信号。
可选的,其中预设时刻可以预先设定,也可以根据手势变化的速度实时调整,比如,在手势变化较快时,以较大的频率采集肌电信号。
在识别到肌电信号对应的手势后,可以根据该手势调整虚拟手的手势。
其中,对于识别肌电信号对应的手势的方法,可以利用监督学习的方式,构建识别模型,既而根据识别模型来识别而手势。
S203:根据识别到的所述手势同步调整所述虚拟手的手势,使所述虚拟手对所述虚拟场景进行操作。
可以将调整手势的前后的虚拟手的图像显示在虚拟场景中,实现虚拟手与真实手臂和手指的同步。
S204:在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作。
为了实现虚拟场景的交互,在调整虚拟手的手势之外,还需要在虚拟手的手势满足预设条件时,使虚拟场景对虚拟手进行响应。
在一种应用场景中,为了实现控制虚拟手实现打字功能,虚拟场景中可以具有虚拟键盘;
这样,在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作,可以包括:
在所述虚拟手与所述虚拟键盘中的预设位置接触时,根据接触的位置进行信息的录入。
在另一种应用场景中,为了实现虚拟手进行图片缩放等操作,虚拟场景中可以具有显示的图像;
这样,在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作,可以包括:
在所述虚拟手接触到所述图像并进行显示状态调整操作时,调整所述图像的显示状态,所述显示状态调整操作包括滑动和缩放中的至少一个。
在使用时,用户可以只需要直接控制手部进行打字操作或者显示状态调整操作,便可以看到虚拟场景中虚拟手同步的动作,也可以看到打字结果或者图片显示状态的变化。
虚拟场景对虚拟手的响应,也可以包括显示的画面,该方法可以实时持续地处理肌电信号,以及实时的根据肌电信号调整虚拟手,使得交互的流畅度较好。
根据手部动作在手臂处产生的肌电信号识别手部动作,来同步调整虚拟手的手势,使得在虚拟场景中完成虚拟手与真实手部的同步,而在虚拟手的手势满足一定条件时,表示真实手部完成了交互动作,这时的手势可以触发虚拟场景进行响应,此时,虚拟场景响应虚拟手的操作,便可以准确地进行交互,从而提高了虚拟场景的交互体验。
基于同一发明构思,本说明书实施例提供一种基于虚拟键盘的虚拟场景交互装置,该装置包括图1所示的系统中的:
获取模块102,用于获取肌电信号;
交互模块103,用于识别所述肌电信号对应的手势;
根据识别到的所述手势同步调整所述虚拟手的手势,使所述虚拟手对所述虚拟场景进行操作;
在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作;
显示模块104,用于显示虚拟场景和对所述虚拟场景进行操作的虚拟手。
用户可以使用该装置可以与信号采集模块101共同完成虚拟场景的交互。
作为一种实施方式,该装置可以是虚拟现实眼镜,信号采集模块可以是臂环。
在使用时,用户先佩戴臂环,通过蓝牙将臂环和虚拟现实眼镜连接,臂环以给定频率采集手臂表面的肌电信号并处理,并将处理后的肌电信号传递给虚拟现实眼镜。
对于虚拟现实眼镜,则显示虚拟场景和虚拟手,校正虚拟手在虚拟场景中的位置,比如,校正虚拟手与虚拟场景中显示的虚拟键盘的位置关系。
既而,通过获取模块,使得肌电信号传递到虚拟现实眼镜,虚拟现实眼睛中的交互模块便可以对肌电信号进行处理、分析和识别,识别到肌电信号对应的手势,在识别到手势变化时,便更新虚拟场景中虚拟手的手势。
用户通过显示的虚拟手和虚拟键盘的位置关系,判断敲击特定的键所需要移动的距离,而且虚拟手可以同步真实手部的动作,使得用户可以准确的进行键盘敲击操作。这种操作产生了肌电信号,虚拟现实眼镜便可以通过获取并识别设备采集的肌电信号,得到肌电信号对应的手势,进而进行响应,根据眼镜中内置的输入法获取用户操作所输入的信息,同时,虚拟场景中同步显示虚拟手敲击虚拟键盘的手势,从而实现打字功能。
在另一种实施方式中,为了实现图像缩放等功能,虚拟现实眼镜可以识别到显示状态调整操作对应的手势,既而根据识别到的手势调整图像的显示状态,在虚拟场景中实现与真实手部同步的图像缩放操作。
可选地,虚拟场景中具有虚拟键盘;
交互模块,用于在虚拟手与虚拟键盘中的预设位置接触时,根据接触的位置进行信息的录入。
可选地,虚拟场景中具有显示的图像;
交互模块103,用于在所述虚拟手接触到所述图像并进行显示状态调整操作时,调整图像的显示状态,显示状态调整操作包括滑动、缩放中的至少一个。
可选地,获取肌电信号,包括:
获取从多个通道提取的肌电信号;
识别肌电信号对应的手势,包括:
根据多个通道的肌电信号组合的整体特征识别对应的手势。
可选地,在根据多个通道的肌电信号组合的整体特征识别对应的手势之前,还包括:
对各通道的肌电信号分别进行整流、滤波和归一化处理,得到处理后的肌电信号。
可选地,在显示虚拟场景和对虚拟场景进行操作的虚拟手之前,还可以包括:
校正虚拟手在虚拟场景中的位置。
基于同一发明构思,本说明书实施例还提供一种电子设备。
下面描述本发明的电子设备实施例,该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节,应视为对于上述方法或装置实施例的补充;对于在本发明电子设备实施例中未披露的细节,可以参照上述方法或装置实施例来实现。
图3为本说明书实施例提供的一种电子设备的结构示意图。下面参照图3来描述根据本发明该实施例的电子设备300。图3显示的电子设备300仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300以通用计算设备的形式表现。电子设备300的组件可以包括但不限于:至少一个处理单元310、至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330、显示单元340等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元310执行,使得所述处理单元310执行本说明书上述处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元310可以执行如图1所示的步骤。
所述存储单元320可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202,还可以进一步包括只读存储单元(ROM)3203。
所述存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204,这样的程序模块3205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备300也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备300交互的设备通信,和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。并且,电子设备300还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器360可以通过总线330与电子设备300的其它模块通信。应当明白,尽管图3中未示出,可以结合电子设备300使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,本发明描述的示例性实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时,使得该计算机可读介质能够实现本发明的上述方法,即:如图1所示的方法。
所述计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述,本发明可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,本发明不与任何特定计算机、虚拟装置或者电子设备固有相关,各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种基于虚拟键盘的虚拟场景交互方法,包括:
显示虚拟场景和对所述虚拟场景进行操作的虚拟手;
根据手势变化的速度实时调整预设时刻,获取在预设时刻采集的肌电信号,所述肌电信号佩戴在手臂处的臂环所检测到的肌电信号;
识别所述肌电信号对应的手势;
根据识别到的所述手势同步调整所述虚拟手的手势,使所述虚拟手对所述虚拟场景进行操作;
在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作;
所述虚拟场景中具有虚拟键盘;
所述在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作,包括:
在所述虚拟手与所述虚拟键盘中的预设位置接触时,根据接触的位置进行信息的录入;
所述虚拟场景中具有虚拟现实眼镜;
用户通过所述虚拟现实眼镜显示的所述虚拟手和虚拟键盘的位置关系,判断敲击所述虚拟键盘中特定的键所需要移动的距离,所述虚拟手同步真实手部的动作对所述虚拟键盘进行敲击操作,所述虚拟眼镜获取并识别所述敲击操作产生的肌电信号,得到所述敲击操作产生的肌电信号所对应的手势,并进行响应;根据眼镜中内置的输入法获取所述敲击操作所输入的信息,同时,所述虚拟场景中同步显示所述虚拟手敲击虚拟键盘的手势进行打字。
2.根据权利要求1所述的方法,其特征在于,所述虚拟场景中具有显示的图像;
所述在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作,包括:
在所述虚拟手接触到所述图像并进行显示状态调整操作时,调整所述图像的显示状态,所述显示状态调整操作包括滑动、缩放中的至少一个。
3.根据权利要求1所述的方法,其特征在于,所述获取肌电信号,包括:
获取从多个通道提取的肌电信号;
所述识别所述肌电信号对应的手势,包括:
根据多个通道的肌电信号组合的整体特征识别对应的手势。
4.根据权利要求3所述的方法,其特征在于,在所述根据多个通道的肌电信号组合的整体特征识别对应的手势之前,还包括:
对各通道的肌电信号分别进行整流、滤波和归一化处理,得到处理后的肌电信号。
5.根据权利要求1所述的方法,其特征在于,在显示虚拟场景和对所述虚拟场景进行操作的虚拟手之前,还可以包括:
校正虚拟手在虚拟场景中的位置。
6.一种基于虚拟键盘的虚拟场景交互装置,包括:
显示模块,用于显示虚拟场景和对所述虚拟场景进行操作的虚拟手;
获取模块,用于根据手势变化的速度实时调整预设时刻,获取在预设时刻采集的肌电信号,所述肌电信号为佩戴在手臂处的臂环所检测到的肌电信号;
交互模块,用于识别所述肌电信号对应的手势;
根据识别到的所述手势同步调整所述虚拟手的手势,使所述虚拟手对所述虚拟场景进行操作;
在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作;
所述虚拟场景中具有虚拟键盘;
所述在所述虚拟手的手势满足预设条件时,所述虚拟场景响应所述虚拟手的操作,包括:
在所述虚拟手与所述虚拟键盘中的预设位置接触时,根据接触的位置进行信息的录入;
所述虚拟场景中具有虚拟现实眼镜;
用户通过所述虚拟现实眼镜显示的所述虚拟手和虚拟键盘的位置关系,判断敲击所述虚拟键盘中特定的键所需要移动的距离,所述虚拟手同步真实手部的动作对所述虚拟键盘进行敲击操作,所述虚拟眼镜获取并识别所述敲击操作产生的肌电信号,得到所述敲击操作产生的肌电信号所对应的手势,并进行响应;根据眼镜中内置的输入法获取所述敲击操作所输入的信息,同时,所述虚拟场景中同步显示所述虚拟手敲击虚拟键盘的手势进行打字。
7.根据权利要求6所述的装置,其特征在于,所述虚拟场景中具有显示的图像;
所述交互模块,用于在所述虚拟手接触到所述图像并进行显示状态调整操作时,调整所述图像的显示状态,所述显示状态调整操作包括滑动、缩放中的至少一个。
8.根据权利要求6所述的装置,其特征在于,所述获取肌电信号,包括:
获取从多个通道提取的肌电信号;
所述识别所述肌电信号对应的手势,包括:
根据多个通道的肌电信号组合的整体特征识别对应的手势。
9.根据权利要求6所述的方法,其特征在于,在显示虚拟场景和对所述虚拟场景进行操作的虚拟手之前,还可以包括:
校正虚拟手在虚拟场景中的位置。
10.一种电子设备,其中,该电子设备包括:
处理器;以及,
存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行根据权利要求1-5中任一项所述的方法。
11.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现权利要求1-5中任一项所述的方法。
CN201910840364.3A 2019-09-06 2019-09-06 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备 Active CN110568929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910840364.3A CN110568929B (zh) 2019-09-06 2019-09-06 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910840364.3A CN110568929B (zh) 2019-09-06 2019-09-06 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN110568929A CN110568929A (zh) 2019-12-13
CN110568929B true CN110568929B (zh) 2023-04-25

Family

ID=68778042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910840364.3A Active CN110568929B (zh) 2019-09-06 2019-09-06 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN110568929B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766947A (zh) * 2020-06-30 2020-10-13 歌尔科技有限公司 一种显示方法、装置、可穿戴设备及介质
CN111783056B (zh) * 2020-07-06 2024-05-14 诺百爱(杭州)科技有限责任公司 一种基于肌电信号识别用户身份的方法、装置和电子设备
CN113419622A (zh) * 2021-05-25 2021-09-21 西北工业大学 基于手势操作的潜艇作战指控系统交互方法及设备
CN114035677A (zh) * 2021-10-25 2022-02-11 中冶智诚(武汉)工程技术有限公司 一种用于双手与虚拟手套外设交互的通用接口实现方法
CN114138111B (zh) * 2021-11-11 2022-09-23 深圳市心流科技有限公司 一种肌电智能仿生手的全系统控制交互方法
CN117311486A (zh) * 2022-06-22 2023-12-29 京东方科技集团股份有限公司 一种用于光场显示器的交互方法、装置、光场显示器系统
CN115904077A (zh) * 2022-11-28 2023-04-04 南方电网储能股份有限公司 用于电力交互课件的数据手套接口实现方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3101511A1 (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
CN107203272A (zh) * 2017-06-23 2017-09-26 山东万腾电子科技有限公司 基于肌电感知技术的可穿戴增强现实作业指导系统及方法
CN107479712A (zh) * 2017-08-18 2017-12-15 北京小米移动软件有限公司 基于头戴式显示设备的信息处理方法及装置
CN108985157A (zh) * 2018-06-07 2018-12-11 北京邮电大学 一种手势识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3101511A1 (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
CN107203272A (zh) * 2017-06-23 2017-09-26 山东万腾电子科技有限公司 基于肌电感知技术的可穿戴增强现实作业指导系统及方法
CN107479712A (zh) * 2017-08-18 2017-12-15 北京小米移动软件有限公司 基于头戴式显示设备的信息处理方法及装置
CN108985157A (zh) * 2018-06-07 2018-12-11 北京邮电大学 一种手势识别方法和装置

Also Published As

Publication number Publication date
CN110568929A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110568929B (zh) 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
CN114341779B (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
CN111694429A (zh) 虚拟对象驱动方法、装置、电子设备及可读存储
US11947729B2 (en) Gesture recognition method and device, gesture control method and device and virtual reality apparatus
Cabral et al. On the usability of gesture interfaces in virtual reality environments
US20130010071A1 (en) Methods and systems for mapping pointing device on depth map
US11782514B2 (en) Wearable device and control method thereof, gesture recognition method, and control system
JP2019535055A (ja) ジェスチャに基づく操作の実施
US11893702B2 (en) Virtual object processing method and apparatus, and storage medium and electronic device
US9063573B2 (en) Method and system for touch-free control of devices
US10488918B2 (en) Analysis of user interface interactions within a virtual reality environment
US20150241984A1 (en) Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities
KR20170009979A (ko) 터치 입력을 위한 방법 및 시스템
CN112270711A (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
CN113289327A (zh) 移动终端的显示控制方法及装置、存储介质及电子设备
WO2020260085A1 (en) Method, computer program and head-mounted device for triggering an action, method and computer program for a computing device and computing device
CN106502401B (zh) 一种图像控制方法及装置
WO2023240999A1 (zh) 虚拟现实场景确定方法、装置及系统
CN108874141A (zh) 一种体感浏览方法和装置
US20240096043A1 (en) Display method, apparatus, electronic device and storage medium for a virtual input device
CN117826977A (zh) 交互方法、装置、电子设备、存储介质及计算机程序产品
CN118210376A (zh) 在增强现实环境下基于徒手交互的低代码可视化创建系统
CN117991967A (zh) 虚拟键盘交互方法、装置、设备、存储介质和程序产品
Keshav Kolla et al. Interaction Modalities for Augmented Reality Applications in Manufacturing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant