CN111475132A - 虚拟或增强现实文字输入方法、系统及存储介质 - Google Patents

虚拟或增强现实文字输入方法、系统及存储介质 Download PDF

Info

Publication number
CN111475132A
CN111475132A CN202010266594.6A CN202010266594A CN111475132A CN 111475132 A CN111475132 A CN 111475132A CN 202010266594 A CN202010266594 A CN 202010266594A CN 111475132 A CN111475132 A CN 111475132A
Authority
CN
China
Prior art keywords
virtual
voice
augmented reality
input
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010266594.6A
Other languages
English (en)
Inventor
包追军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JRD Communication Shenzhen Ltd
Jiekai Communications Shenzhen Co Ltd
Original Assignee
Jiekai Communications Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiekai Communications Shenzhen Co Ltd filed Critical Jiekai Communications Shenzhen Co Ltd
Priority to CN202010266594.6A priority Critical patent/CN111475132A/zh
Priority to US17/995,308 priority patent/US20230161552A1/en
Priority to EP20929799.3A priority patent/EP4134809A4/en
Priority to PCT/CN2020/089593 priority patent/WO2021203511A1/zh
Publication of CN111475132A publication Critical patent/CN111475132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

本申请提供一种虚拟或增强现实文字输入方法、系统及存储介质。本申请通过第一设备与第二设备建立连接，并使用第二设备中的惯性测量仪模拟空鼠实现光标在第一设备的虚拟界面移动，并且通过语音输入方式在虚拟界面的文本输入框中输入文本内容，以解决虚拟或增强现实设备通过手柄上的方向按键操作虚拟键盘进行文本输入所带来的操作繁琐以及耗时长的问题，以方便用户，提升用户体验。

Description

虚拟或增强现实文字输入方法、系统及存储介质
技术领域
本申请涉及移动通信技术领域，具体涉及一种虚拟或增强现实文字输入方法、系统及存储介质。
背景技术
虚拟或增强现实头戴式设备在很多应用领域上被证明是非常有价值的，尤其是在个人娱乐系统领域。戴上虚拟或增强现实头戴式设备可能是令人兴奋的体验的开始，相较其他数字娱乐或者模拟体验更具身临其境。但令人遗憾的是，在佩戴虚拟或增强现实头戴设备时，用户的交互效率较低，特别是在某些输入交互上(例如：在特定文本输入框中输入文字)，常见的做法是用手柄控制光标移动到文本输入框，然后系统弹出虚拟键盘，再通过手柄艰难地输入相应的文字。
用户在输入时，通过简易手柄上的方向按键“上下左右”来操作光标，移动到需要输入的位置，按确认按键调出虚拟键盘，然后再使用手柄上的方向键来进行选择完成输入。这种操作非常的不方便，且速度比较慢。
因此，本申请提供一种虚拟或增强现实文字输入方法、系统及存储介质，以解决上述问题。
发明内容
本申请实施例提供一种虚拟或增强现实文字输入方法、系统及存储介质，解决虚拟或增强现实设备通过手柄上的方向按键操作虚拟键盘进行文本输入所带来的操作繁琐以及耗时长的问题。
根据本申请的第一方面，本申请实施例一种虚拟或增强现实文字输入方法，应用于虚拟或增强现实文字输入系统，所述系统包括第一设备和与所述第一设备通信的第二设备，所述虚拟或增强现实文字输入方法包括：通过惯性测量仪移动虚拟界面中的光标至一控件上，其中所述惯性测量仪设置于所述第二设备中，所述虚拟界面显示于所述第一设备中；通过所述第二设备检测是否存在按压事件；当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容；以及当所述按压事件结束之后，通过所述第一设备对所述语音内容进行识别，并得到识别结果。
进一步地，在当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容的步骤中包括：检测所述光标在所述虚拟界面中所指的控件是否允许输入文本内容；以及当检测到所述控件允许输入文本内容，则启动语音侦听，并且接收输入的语音内容。
进一步地，在当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容的步骤之后，还包括：判断所述按压事件是否满足预设条件；当判断出所述按压事件满足所述预设条件，且直至所述按压事件结束之后，对所述语音内容进行识别，得到识别结果。
进一步地，所述预设条件包括：所述按压事件的持续时长达到预设时间。
进一步地，在当所述按压事件结束之后，通过所述第一设备中对所述语音内容进行识别，并得到识别结果的步骤中，包括：对所述语音内容进行语音识别，得到所述语音内容对应的文字内容。
根据本申请的第二方面，本申请实施例提供一种虚拟或增强现实文字输入系统，所述系统包括第一设备和与所述第一设备通信的第二设备，所述系统包括：移动光标模块，用于通过惯性测量仪移动虚拟界面中的光标至一控件上，其中所述惯性测量仪设置于所述第二设备中，所述虚拟界面显示于所述第一设备中；检测事件模块，用于通过所述第二设备检测是否存在按压事件；语音输入模块，用于当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容；以及语音识别模块，用于当所述按压事件结束之后，通过所述第一设备对所述语音内容进行识别，并得到识别结果。
进一步地，所述语音输入模块包括：检测单元，用于检测所述光标在所述虚拟界面中所指的控件是否允许输入文本内容。
进一步地，所述系统还包括：判断条件模块，用于判断所述按压事件是否满足预设条件。
进一步地，所述语音识别模块包括：语音识别单元，用于对所述语音内容进行语音识别，得到所述语音内容对应的文字内容。
根据本申请的第三方面，本申请实施例提供一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述的虚拟或增强现实文字输入方法。
本申请实施例提供一种虚拟或增强现实文字输入方法、系统及存储介质，通过第一设备与第二设备建立连接，并使用第二设备中的惯性测量仪模拟空鼠实现光标在第一设备的虚拟界面移动，并且通过语音输入方式在虚拟界面的文本输入框中输入文本内容，以解决虚拟或增强现实设备通过手柄上的方向按键操作虚拟键盘进行文本输入所带来的操作繁琐以及耗时长的问题，以方便用户，提升用户体验。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1为本申请实施例提供的一种虚拟或增强现实文字输入方法的步骤流程示意图。
图2为本申请实施例提供的一种场景交互示意图。
图3为本申请实施例提供的另一种虚拟或增强现实文字输入方法的步骤流程示意图。
图4为本申请实施例提供的一种虚拟或增强现实文字输入系统的结构示意图。
图5为图4所示的语音输入模块的结构示意图。
图6为图4所示的语音识别模块的结构示意图。
图7为本申请实施例提供的第一设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
在具体实施方式中，下文论述的附图以及用来描述本申请公开的原理的各实施例仅用于说明，而不应解释为限制本申请公开的范围。所属领域的技术人员将理解，本申请的原理可在任何适当布置的系统中实施。将详细说明示例性实施方式，在附图中示出了这些实施方式的实例。附图中的相同附图标号指代相同的元件。
本具体实施方式中使用的术语仅用来描述特定实施方式，而并不意图显示本申请的概念。除非上下文中有明确不同的意义，否则，以单数形式使用的表达涵盖复数形式的表达。在本申请说明书中，应理解，诸如“包括”、“具有”以及“含有”等术语意图说明存在本申请说明书中揭示的特征、数字、步骤、动作或其组合的可能性，而并不意图排除可存在或可添加一个或多个其他特征、数字、步骤、动作或其组合的可能性。附图中的相同参考标号指代相同部分。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
具体的，请参阅图1，本申请实施例提供一种虚拟或增强现实文字输入方法，所述虚拟或增强现实文字输入方法应用于虚拟或增强现实文字输入系统，所述系统包括第一设备和与所述第一设备通信的第二设备。所述方法包括以下步骤。
步骤S11，通过惯性测量仪移动虚拟界面中的光标至一控件上，其中所述惯性测量仪设置于所述第二设备中，所述虚拟界面显示于所述第一设备中。
在本申请实施例中，第一设备可以为虚拟或增强现实头戴式设备，第二设备可以为手持式智能手柄，第一设备和第二设备一般通过蓝牙连接进行通信，通信操作主要包括蓝牙配对、断线重连、连接保持，数据传输等。通过对手柄中的惯性测量仪的原始数据用算法进行处理，使得手柄可以模拟为一个空鼠设备，并且将上下左右的移动通过蓝牙上报至头戴式设备的系统。虚拟或增强现实Android APP可以通过系统获取到左右移动信息。
步骤S12，通过所述第二设备检测是否存在按压事件。
在本申请实施例中，此步骤主要由第二设备中的压力触控输入模块完成。压力触控模块可以由触摸板和压力传感器组成。当用户按压该触摸板时，该压力传感器可以获取到用户按压的强度。通过该第二设备的事件系统，将用户的按压事件上报给第一设备。
步骤S13，当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容。
在本申请实施例中，当用户按压触摸板产生按压事件，触发第一设备的语音交互功能，第一设备启动语音侦听，并且接收输入的语音内容。
步骤S14，当所述按压事件结束之后，通过所述第一设备对所述语音内容进行识别，并得到识别结果。
在本申请实施例中，若用户触发第一设备的语音交互功能后，持续按压该第二设备的触摸板，则默认用户还未完成语音输入，并持续开启语音侦听。当该第二设备检测到该按压事件结束，则该第二设备判断出用户已完成语音输入，并关闭语音侦听，以及对用户已经输入的语音内容执行下一步的识别操作并得到识别结果。
在其他实施例中，为了节约第二设备的功耗，该第二设备可以设置一个按压事件持续时长的上限阈值，比如两分钟。当该按压事件的持续时长超过该上限阈值，则认为该按压事件属于用户误触，而不是用户想要执行的触发第二设备的语音交互的操作。
参阅图2，本申请实施例提供一种场景交互图。
用户201戴上头戴式设备202，用户201手持已经与头戴式设备202蓝牙连接配对的智能手柄101，在虚拟或增强现实UI界面204中通过智能手柄101移动来控制指示光标203到输入控件205位置，用户201按压智能手柄101的触控输入模块103，此时手柄指示光标203下方出现语音输入提示动画207和语音转文本内容结果框208，用户201进行语音输入，说出“最近的餐厅”，同时的语音输入提示动画207不断播放动画，语音转文本内容结果框208实时显示用户输入的内容“最近的餐厅”，用户201释放智能手柄101的触控输入模块103，如果在2秒内用户201控制智能手柄101移动手柄指示光标203到语音转文本内容结果框208并按压智能手柄101的触控输入模块103时，用户201可以对正在输入的内容进行修正更改，否则语音转文本结果框208的内容“最近的餐厅”自动填充到输入控件205中，并且输入控件205中的光标206移动到输入内容的末尾，表示用户201即完成输入。
参阅图3，本申请实施例提供另一种虚拟或增强现实文字输入方法，所述虚拟或增强现实文字输入方法应用于虚拟或增强现实文字输入系统，所述系统包括第一设备和与所述第一设备通信的第二设备。所述方法包括以下步骤。
步骤S31，通过惯性测量仪移动虚拟界面的光标至一控件上。
在本申请实施例中，所述惯性测量仪设置于所述第二设备中，所述虚拟界面显示于所述第一设备中。第一设备可以为虚拟或增强现实头戴式设备，第二设备可以为手持式智能手柄，第一设备和第二设备一般通过蓝牙连接进行通信，通信操作主要包括蓝牙配对、断线重连、连接保持，数据传输等。通过对手柄中的惯性测量仪的原始数据用算法进行处理，使得手柄可以模拟为一个空鼠设备，并且将上下左右的移动通过蓝牙上报至头戴式设备的系统。虚拟或增强现实Android APP可以通过系统获取到左右移动信息。
步骤S32，通过所述第二设备检测是否存在按压事件。如果是，则执行步骤S33，否则返回步骤S31。
在本申请实施例中，此步骤主要由第二设备中的压力触控输入模块完成。压力触控模块可以由触摸板和压力传感器组成。当用户按压该触摸板时，该压力传感器可以获取到用户按压的强度，通过该第二设备的事件系统，将用户按压事件上报给第一设备。
步骤S33，检测所述光标在所述虚拟界面中所指的控件是否允许输入文本内容。如果是，则执行步骤S34，否则返回步骤S31。
步骤S34，启动语音侦听，并且接受输入的语音内容。
在本申请实施例中，当用户按压触摸板产生按压事件，触发第一设备的语音交互功能，第一设备启动语音侦听，并且接收输入的语音内容。
步骤S35，按压事件是否满足预设条件。如果是，则执行步骤S36，否则返回步骤S34。
在本申请实施例中，为避免第一设备将用户误触操作误判为语音交互的触发信号，可以设置一个预设条件。若该按压事件满足该预设条件，则该第二设备将该按压事件识别为语音交互的触发信号，执行下一步操作；若该按压事件不满足该预设条件，则该第二设备不将该按压事件识别为语音交互的触发信号，继续检测下一个按压事件。
在一种实施方式中，可以将该预设条件设为该按压事件的持续时长达到预设时间，亦即为该按压事件的持续时长设置一个下限阈值。当用户按压该第二设备的触摸板的时间超过该下限阈值时，该第一设备将确认用户需要采用语音交互。
步骤S36，按压事件是否结束。如果是，则执行步骤S37，否则返回步骤S34。
在本申请实施例中，若用户触发第一设备的语音交互后，持续按压该第二设备的触摸板，则默认用户还未完成语音输入，并持续开启语音侦听。当该第二设备检测到该按压事件结束，则该第二设备判断出用户已完成语音输入，并关闭语音侦听。
步骤S37，对所述语音内容进行语音识别。
在本申请实施例中，当按压事件结束后，第一设备默认用户已完成语音输入，并关闭语音侦听，以及对用户所输入的语音内容进行语音识别，得到该语音内容相对应的文字内容。此步骤设置一个超时期限，例如2秒，在这个超时期限内，检测光标是否移动到语音转换结果文本框内，如果光标位于语音转换结果文本框内，则进入修改模式，并返回步骤S31进行语音输入；否则结束流程。
在一种实施方式中，该语音识别过程可以由第一设备本地的离线语音识别模型完成；在另一种实施方式中，该语音识别过程也可以由云端语音识别服务器完成。
参阅图4，本申请实施例提供一种虚拟或增强现实文字输入系统，所述系统包括第一设备和与所述第一设备通信的第二设备。所述虚拟或增强现实文字输入系统包括：移动光标模块401、检测事件模块402、语音输入模块403、判断条件模块404以及语音识别模块405。
移动光标模块401，用于通过惯性测量仪移动虚拟界面中的光标至一控件上，其中所述惯性测量仪设置于所述第二设备中，所述虚拟界面显示于所述第一设备中。
在本申请实施例中，第一设备可以为虚拟或增强现实头戴式设备，第二设备可以为手持式智能手柄，第一设备和第二设备一般通过蓝牙连接进行通信，通信操作主要包括蓝牙配对、断线重连、连接保持，数据传输等。通过对手柄中的惯性测量仪的原始数据用算法进行处理，使得手柄可以模拟为一个空鼠设备，并且将上下左右的移动通过蓝牙上报至头戴式设备的系统。虚拟或增强现实Android APP可以通过系统获取到左右移动信息。
检测事件模块402，用于通过所述第二设备检测是否存在按压事件。
在本申请实施例中，此步骤主要由第二设备中的压力触控输入模块完成。压力触控模块可以由触摸板和压力传感器组成。当用户按压该触摸板时，该压力传感器可以获取到用户按压的强度。通过该第二设备的事件系统，将用户按压事件上报给第一设备。
语音输入模块403，用于当检测到按压事件时，通过所述第一设备启动语音侦听功能，并且接收输入的语音内容。参阅图5，语音输入模块403包括检测单元501，检测单元501用于检测所述光标在所述虚拟界面中所指的控件是否允许输入文本内容。
在本申请实施例中，当用户按压触摸板产生按压事件，触发第一设备的语音交互功能，第一设备启动语音侦听，并且接收输入的语音内容。
判断条件模块404，用于判断所述按压事件是否满足预设条件。
在本申请实施例中，为避免第一设备将用户误触操作误判为语音交互的触发信号，可以设置一个预设条件。若该按压事件满足该预设条件，则该第二设备将该按压事件识别为语音交互的触发信号，执行下一步操作；若该按压事件不满足该预设条件，则该第二设备不将该按压事件识别为语音交互的触发信号，继续检测下一个按压事件。
在一种实施方式中，可以将该预设条件设为该按压事件的持续时长达到预设时间，亦即为该按压事件的持续时长设置一个下限阈值。当用户按压该第二设备的触摸板的时间超过该下限阈值时，该第一设备将确认用户需要采用语音交互。
语音识别模块405，用于当所述按压事件结束之后，通过所述第一设备对所述语音内容进行识别，并得到识别结果。参阅图6，语音识别模块405包括语音识别单元601，语音识别单元用于对所述语音内容进行语音识别，得到所述语音内容对应的文字内容。
在本申请实施例中，若用户触发第一设备的语音交互功能后，持续按压该第二设备的触摸板，则默认用户还未完成语音输入，并持续开启语音侦听。当该第二设备检测到该按压事件结束，则该第二设备判断出用户已完成语音输入，并关闭语音侦听，以及对用户已经输入的语音内容执行下一步的识别操作并得到识别结果。设置一个超时期限，例如2秒，在这个超时期限内，检测光标是否移动到语音转换结果文本框内，如果光标位于语音转换结果文本框内，则进入修改模式。
在其他实施例中，为了节约第二设备的功耗，该第二设备可以设置一个按压事件持续时长的上限阈值，比如两分钟。当该按压事件的持续时长超过该上限阈值，则认为该按压事件属于用户误触，而不是用户想要执行的触发第二设备的语音交互的操作。
参阅图7，本申请实施例还提供一种第一设备700，该第一设备700可以是手机、平板以及电脑等设备。如图7所示，第一设备700包括处理器701、存储器702。其中，处理器701与存储器702电性连接。
处理器701是第一设备700的控制中心，利用各种接口和线路连接整个第一设备的各个部分，通过运行或加载存储在存储器702内的应用程序，以及调用存储在存储器702内的数据，执行第一设备的各种功能和处理数据，从而对第一设备进行整体监控。
在本实施例中，该第一设备700设有多个存储分区，该多个存储分区包括系统分区和目标分区，第一设备700中的处理器701会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能：
通过惯性测量仪移动虚拟界面中的光标至一控件上，其中所述惯性测量仪设置于所述第二设备中，所述虚拟界面显示于所述第一设备中；
通过所述第二设备检测是否存在按压事件；
当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容；以及
当所述按压事件结束之后，通过所述第一设备对所述语音内容进行识别，并得到识别结果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读的存储介质中，并由处理器进行加载和执行。为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种虚拟或增强现实文字输入方法中的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种虚拟或增强现实文字输入方法中的步骤，因此，可以实现本申请实施例所提供的任一种虚拟或增强现实文字输入方法所能实现的有益效果，详见前面的实施例，在此不再赘述。以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本申请实施例提供一种虚拟或增强现实文字输入方法、系统及存储介质，通过第一设备与第二设备建立连接，并使用第二设备中的惯性测量仪模拟空鼠实现光标在第一设备的虚拟界面移动，并且通过语音输入方式在虚拟界面的文本输入框中输入文本内容，以解决虚拟或增强现实设备通过手柄上的方向按键操作虚拟键盘进行文本输入带来的操作繁琐以及耗时长的问题，以方便用户，提升用户体验。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种虚拟或增强现实文字输入方法、系统及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (10)

1.一种虚拟或增强现实文字输入方法，应用于虚拟或增强现实文字输入系统，所述系统包括第一设备和与所述第一设备通信的第二设备，其特征在于，所述虚拟或增强现实文字输入方法包括：
通过惯性测量仪移动虚拟界面中的光标至一控件上，其中所述惯性测量仪设置于所述第二设备中，所述虚拟界面显示于所述第一设备中；
通过所述第二设备检测是否存在按压事件；
当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容；以及
当所述按压事件结束之后，通过所述第一设备对所述语音内容进行识别，并得到识别结果。
2.如权利要求1所述的虚拟或增强现实文字输入方法，其特征在于，在当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容的步骤中包括：
检测所述光标在所述虚拟界面中所指的控件是否允许输入文本内容；以及
当检测到所述控件允许输入文本内容，则启动语音侦听，并且接收输入的语音内容。
3.如权利要求1所述的虚拟或增强现实文字输入方法，其特征在于，在当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容的步骤之后，还包括：
判断所述按压事件是否满足预设条件；
当判断出所述按压事件满足所述预设条件，且直至所述按压事件结束之后，对所述语音内容进行识别，得到识别结果。
4.如权利要求3所述的虚拟或增强现实文字输入方法，其特征在于，所述预设条件包括：
所述按压事件的持续时长达到预设时间。
5.如权利要求1所述的虚拟或增强现实文字输入方法，其特征在于，在当所述按压事件结束之后，通过所述第一设备中对所述语音内容进行识别，并得到识别结果的步骤中，包括：
对所述语音内容进行语音识别，得到所述语音内容对应的文字内容。
6.一种虚拟或增强现实文字输入系统，所述系统包括第一设备和与所述第一设备通信的第二设备，其特征在于，所述系统包括：
移动光标模块，用于通过惯性测量仪移动虚拟界面中的光标至一控件上，其中所述惯性测量仪设置于所述第二设备中，所述虚拟界面显示于所述第一设备中；
检测事件模块，用于通过所述第二设备检测是否存在按压事件；
语音输入模块，用于当检测到按压事件时，通过所述第一设备启动语音侦听，并且接收输入的语音内容；以及
语音识别模块，用于当所述按压事件结束之后，通过所述第一设备对所述语音内容进行识别，并得到识别结果。
7.如权利要求6所述的虚拟或增强现实文字输入系统，其特征在于，所述语音输入模块包括：
检测单元，用于检测所述光标在所述虚拟界面中所指的控件是否允许输入文本内容。
8.如权利要求6所述的虚拟或增强现实文字输入系统，其特征在于，所述系统还包括：
判断条件模块，用于判断所述按压事件是否满足预设条件。
9.如权利要求6所述的虚拟或增强现实文字输入系统，其特征在于，所述语音识别模块包括：
语音识别单元，用于对所述语音内容进行语音识别，得到所述语音内容对应的文字内容。
10.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至5任一项所述的虚拟或增强现实文字输入方法。
CN202010266594.6A 2020-04-07 2020-04-07 虚拟或增强现实文字输入方法、系统及存储介质 Pending CN111475132A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010266594.6A CN111475132A (zh) 2020-04-07 2020-04-07 虚拟或增强现实文字输入方法、系统及存储介质
US17/995,308 US20230161552A1 (en) 2020-04-07 2020-05-11 Virtual or augmented reality text input method, system and non-transitory computer-readable storage medium
EP20929799.3A EP4134809A4 (en) 2020-04-07 2020-05-11 METHOD AND SYSTEM FOR TEXT ENTRY USING VIRTUAL OR AUGMENTED REALITY AND STORAGE MEDIUM
PCT/CN2020/089593 WO2021203511A1 (zh) 2020-04-07 2020-05-11 虚拟或增强现实文字输入方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010266594.6A CN111475132A (zh) 2020-04-07 2020-04-07 虚拟或增强现实文字输入方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN111475132A true CN111475132A (zh) 2020-07-31

Family

ID=71750222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010266594.6A Pending CN111475132A (zh) 2020-04-07 2020-04-07 虚拟或增强现实文字输入方法、系统及存储介质

Country Status (4)

Country Link
US (1) US20230161552A1 (zh)
EP (1) EP4134809A4 (zh)
CN (1) CN111475132A (zh)
WO (1) WO2021203511A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385886A (zh) * 2020-10-19 2022-04-22 聚好看科技股份有限公司 一种内容搜索方法及三维显示设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070118357A1 (en) * 2005-11-21 2007-05-24 Kas Kasravi Word recognition using ontologies
CN106531168A (zh) * 2016-11-18 2017-03-22 北京云知声信息技术有限公司 一种语音识别方法及装置
CN107436749A (zh) * 2017-08-03 2017-12-05 安徽智恒信科技有限公司 基于三维虚拟现实场景的文字输入方法及系统
CN109313495A (zh) * 2016-06-09 2019-02-05 微软技术许可有限责任公司 融合惯性手持控制器与手动跟踪的六自由度混合现实输入

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6986106B2 (en) * 2002-05-13 2006-01-10 Microsoft Corporation Correction widget
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US20160077793A1 (en) * 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US20160103655A1 (en) * 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
US20160364460A1 (en) * 2015-06-11 2016-12-15 Gary Shuster Methods of aggregating and collaborating search results
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
US10509469B2 (en) * 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
WO2017201162A1 (en) * 2016-05-17 2017-11-23 Google Llc Virtual/augmented reality input device
US10409488B2 (en) * 2016-06-13 2019-09-10 Microsoft Technology Licensing, Llc Intelligent virtual keyboards
CN106980368A (zh) * 2017-02-28 2017-07-25 深圳市未来感知科技有限公司 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
CN108932100A (zh) * 2017-05-26 2018-12-04 成都理想境界科技有限公司 一种虚拟键盘的操作方法及头戴式显示设备
US10635895B2 (en) * 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
CN110928432B (zh) * 2019-10-24 2023-06-23 中国人民解放军军事科学院国防科技创新研究院 指环鼠标、鼠标控制装置及鼠标控制系统
US11126320B1 (en) * 2019-12-11 2021-09-21 Amazon Technologies, Inc. User interfaces for browsing objects in virtual reality environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070118357A1 (en) * 2005-11-21 2007-05-24 Kas Kasravi Word recognition using ontologies
CN109313495A (zh) * 2016-06-09 2019-02-05 微软技术许可有限责任公司 融合惯性手持控制器与手动跟踪的六自由度混合现实输入
CN106531168A (zh) * 2016-11-18 2017-03-22 北京云知声信息技术有限公司 一种语音识别方法及装置
CN107436749A (zh) * 2017-08-03 2017-12-05 安徽智恒信科技有限公司 基于三维虚拟现实场景的文字输入方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385886A (zh) * 2020-10-19 2022-04-22 聚好看科技股份有限公司 一种内容搜索方法及三维显示设备

Also Published As

Publication number Publication date
WO2021203511A1 (zh) 2021-10-14
EP4134809A1 (en) 2023-02-15
EP4134809A4 (en) 2024-03-20
US20230161552A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
EP2250798B1 (en) Portable device with a single touch-sensitive area
CN108710615B (zh) 翻译方法及相关设备
KR20190051368A (ko) 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법
CN110413315B (zh) 一种应用程序控制方法及电子设备
CN102609091A (zh) 一种移动终端以及启动移动终端语音操作的方法
CN108108142A (zh) 语音信息处理方法、装置、终端设备及存储介质
KR20120063982A (ko) 시각장애 사용자를 위한 인터페이스 장치 및 방법
JP2006352869A (ja) 通信端末機及び通信端末機における通話内容送信方法
US20130225140A1 (en) Apparatus and Method Pertaining to Multi-Party Conference Call Actions
CA3174742A1 (en) Systems and methods for operating an interactive voice response system
CN110233933A (zh) 一种通话方法及终端设备
CN111475132A (zh) 虚拟或增强现实文字输入方法、系统及存储介质
CN110381200B (zh) 灭屏控制方法及移动终端
CN111369994A (zh) 语音处理方法及电子设备
CA3022320A1 (en) Remote control by way of sequences of keyboard codes
CN106657647A (zh) 来电处理方法、装置及移动终端
CN108270928B (zh) 一种语音识别的方法及移动终端
CN106531168A (zh) 一种语音识别方法及装置
CN108513216A (zh) 一种信息处理的方法及一种线控耳机
KR101337420B1 (ko) 감성대화단말기
CN109743606A (zh) 语音输入方法、语音输入装置及存储介质
EP2632134A9 (en) Method and apparatus pertaining to processing incoming calls
US8761743B2 (en) Method and apparatus pertaining to multiple-call processing
CN102451557A (zh) 游戏声控操控装置及其实现方法
CN106775743B (zh) 一种底部托盘与虚拟按键显示方法、装置和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200731