CN110517683A - 头戴式vr/ar设备及其控制方法 - Google Patents

头戴式vr/ar设备及其控制方法 Download PDF

Info

Publication number
CN110517683A
CN110517683A CN201910832720.7A CN201910832720A CN110517683A CN 110517683 A CN110517683 A CN 110517683A CN 201910832720 A CN201910832720 A CN 201910832720A CN 110517683 A CN110517683 A CN 110517683A
Authority
CN
China
Prior art keywords
wear
type
equipment
voice
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910832720.7A
Other languages
English (en)
Inventor
周海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Liugan Technology Co Ltd
Original Assignee
Shanghai Liugan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Liugan Technology Co Ltd filed Critical Shanghai Liugan Technology Co Ltd
Priority to CN201910832720.7A priority Critical patent/CN110517683A/zh
Publication of CN110517683A publication Critical patent/CN110517683A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本发明涉及一种头戴式VR/AR设备及其控制方法，其中所述头戴式VR/AR设备，包括：语音信号获取器，用于供用户向所述头戴式VR/AR设备内输入语音信号；控制器，连接至所述语音信号获取器，用于根据字所述语音信号获取器输入的语音信号，生成相应的控制信号以控制所述头戴式VR/AR设备进行不同的操作。所述头戴式VR/AR设备及其控制方法具有语音控制的功能，能够更便利的对该头戴式VR/AR设备进行控制。并且，由于所述头戴式VR/AR设备还具有眼部动作检测的功能，因此在对所述头戴式VR/AR设备进行控制时，可以同时结合语音信号的控制和眼部动作信号的控制，以获取更好的控制效果，更佳的交互体验。

Description

头戴式VR/AR设备及其控制方法
技术领域
本发明涉及连接件领域，具体涉及一种头戴式VR/AR设备及其控制方法。
背景技术
现有技术中，VR/AR设备的应用逐渐广泛，但人们使用VR/AR设备时，往往需要持续用眼，或使用一些能被VR/AR设备检测到的手部动作进行相应控制，对用户视力要求较高，且用户需要具备能够进行手部动作的条件，大大阻碍了VR/AR设备的操作便利性，用户的使用体验不佳。
发明内容
本发明的目的在于提供一种头戴式VR/AR设备及其控制方法，提高了VR/AR设备的操作便利性，优化了用户的使用体验。
为了解决上述技术问题，以下提供了一种头戴式VR/AR设备，包括：语音信号获取器，用于供用户向所述头戴式VR/AR设备内输入语音信号；控制器，连接至所述语音信号获取器，用于根据字所述语音信号获取器输入的语音信号，生成相应的控制信号以控制所述头戴式VR/AR设备进行不同的操作。
可选的，所述控制器包括：语音转换模块，连接至所述语音信号获取器，用于将自所述语音信号获取器输入的语音信号转换为文字信号；文字识别模块，连接至所述语音转换模块，用于根据所述语音转换模块输出的文字信号生成相应的控制指令，以控制所述头戴式VR/AR设备进行不同的操作。
可选的，还包括：显示屏，连接至所述控制器，用于显示虚拟对象和现实对象，且所述现实对象由该头戴式VR/AR设备的第一图像采集器件获取；所述显示屏能够根据所述文字识别模块生成的控制指令显示不同的内容。
可选的，还包括：语音识别开启按键，连接至所述控制器，用于控制所述语音识别功能的开启和关闭。
可选的，还包括第二图像采集器件，在所述头戴式VR/AR设备被用户佩戴时朝向人眼设置，用于采集用户的视线方向，从而生成相应的控制指令，对所述头戴式VR/AR设备进行不同的操作。
可选的，所述控制指令包括：打开一个或多个功能入口；点选一个或多个所述显示屏当前显示的虚拟对象或应用程序；点选一个或多个所述显示屏当前未显示的虚拟对象或应用程序；挪移一个或多个所述显示屏当前显示的虚拟对象或应用程序。
可选的，所述语音信号获取器包括话筒，且所述语音信号获取器持续获取用户输入的语音信号。
为了解决上述技术问题，以下还提供了一种头戴式VR/AR设备的控制方法，包括以下步骤：向所述头戴式VR/AR设备中输入语音信号；将语音信号转换成控制信号，所述控制信号用于控制所述头戴式VR/AR设备进行不同的操作。
可选的，将语音信号转换成控制信号时，包括以下步骤：将语音信号转换为文字信号；将文字信号转换为对应的控制信号。
可选的，还包括以下步骤：注视所述头戴式VR/AR设备的显示屏内显示的一虚拟对象，向所述头戴式VR/AR设备内输入眼部动作信号；将所述眼部动作信号转换为控制信号，所述控制信号用于控制所述头戴式VR/AR设备进行不同的操作。
可选的，所述语音信号对所述头戴式VR/AR设备的控制包括：打开一个或多个功能入口；点选一个或多个所述显示屏当前显示的虚拟对象或应用程序；点选一个或多个所述显示屏当前未显示的虚拟对象或应用程序；挪移一个或多个所述显示屏当前显示的虚拟对象或应用程序。
可选的，所述头戴式VR/AR设备时刻处于监听状态，以获取用户输入的语音信号。
所述头戴式VR/AR设备及其控制方法具有语音控制的功能，能够更便利的对该头戴式VR/AR设备进行控制。并且，由于所述头戴式VR/AR设备还具有眼部动作检测的功能，因此在对所述头戴式VR/AR设备进行控制时，可以同时结合语音信号的控制和眼部动作信号的控制，以获取更好的控制效果，更佳的交互体验。
附图说明
图1至图8为一种具体实施方式中所述头戴式VR/AR设备的显示内容示意图。
具体实施方式
以下结合附图和具体实施方式对本发明提出的一种头戴式VR/AR设备及其控制方法作进一步详细说明。
请参阅图1至图8，为一种具体实施方式中所述头戴式VR/AR设备的显示内容示意图。
在该具体实施方式中，提供了一种头戴式VR/AR设备，包括：语音信号获取器，用于供用户向所述头戴式VR/AR设备内输入语音信号；控制器，连接至所述语音信号获取器，用于根据字所述语音信号获取器输入的语音信号，生成相应的控制信号以控制所述头戴式VR/AR设备进行不同的操作。
在该具体实施方式中，所述头戴式VR/AR设备提供了能够用于系统全局输入的语音信号获取器，由用户提供语音信号，所述语音信号被用作用于机器理解的声源，被控制器转化成机器语言。使用该语音信号获取器，可对所述头戴式VR/AR设备进行系统空间层或系统空间范围层的语音输入。语音信号被转换成所述头戴式VR/AR设备能够理解的控制指令，用于执行相关的界面操作。
在一种具体实施方式中，所述控制器包括：语音转换模块，连接至所述语音信号获取器，用于将自所述语音信号获取器输入的语音信号转换为文字信号；文字识别模块，连接至所述语音转换模块，用于根据所述语音转换模块输出的文字信号生成相应的控制指令，以控制所述头戴式VR/AR设备进行不同的操作。
在一种具体实施方式中，还包括：显示屏，连接至所述控制器，用于显示虚拟对象和现实对象，且所述现实对象由该头戴式VR/AR设备的第一图像采集器件获取；所述显示屏能够根据所述文字识别模块生成的控制指令显示不同的内容。
在一种具体实施方式中，还包括：语音识别开启按键，连接至所述控制器，用于控制所述语音识别功能的开启和关闭。
在一种具体实施方式中，还包括第二图像采集器件，在所述头戴式VR/AR设备被用户佩戴时朝向人眼设置，用于采集用户的视线方向，从而生成相应的控制指令，对所述头戴式VR/AR设备进行不同的操作。
在一种具体实施方式中，用户在一个场景中将看到一个或多个的虚拟对象或物理对象。例如：用户在一个场景(如房间、隔间、室外等)中使用一个或多个的虚拟对象或应用。
在一种具体实施方式中，所述控制指令包括：打开一个或多个功能入口；点选一个或多个所述显示屏当前显示的虚拟对象或应用程序；点选一个或多个所述显示屏当前未显示的虚拟对象或应用程序；挪移一个或多个所述显示屏当前显示的虚拟对象或应用程序。
在一种具体实施方式中，能利用输入的语音信号进行当前层的语音交互。所述当前层的语音交互是指用户不用必须将视线瞄向目标从而改善语音交互体验。需要注意的是当前层级是指用户眼睛视线注视的层级。并且当前层级包括一个或多个的虚拟对象，如一个或多个的功能入口、图标、图像、视频和三维对象时，对每一个或多个功能入口、图标、图像、视频和三维对象进行控制时，各个功能入口、图标、图像、视频和三维对象都有相应的属性名称。
在一种具体实施方式中，当用户利用输入语音信号来进行当前层的语音交互时，也有可能会需要用户视线停留在当前层的范围内，以结合输入的语音信号进行相应控制。例如：用户注视相册，并说出“打开相册”或“相册”，以执行打开一个相册的命令。
实际上，也可仅凭语音信号来控制，而无需注视用户想要进行控制的虚拟对象。但在该具体实施方式中，该虚拟对象应当也处在所述显示屏的显示范围层内。
在进行语音信号的分析时，以打开相册为实施例。在所述控制器听取到用户的语音命令词包括：“打开”；“打开相册“；“相册”。这样，进行语音控制时，用户输入的语音信号通常是由一个“动词”+“目标名词”组成。
在一种具体实施方式中，为了便于用户使用，通常在用户眼睛注视了某一虚拟对象，且该注视的动作被所述头戴式VR/AR设备获取到以后，就在该虚拟对象下方显示一语音信号输入提示语，引导用户完成准确的语音输入，如用户注视相册，相册下方显示：“打开”、“打开相册”、“相册”，这样，用户根据提示说出“打开”、“打开相册”或“相册”，即可执行打开相册的命令。
所述头戴式VR/AR设备将用户当前所述的语音信号转化为相应的执行命令。包括的范围例如：来电时的“接听”、“挂断”和“静音”命令；包含“虚拟对象的名称”的命令；包含“应用的名称”的命令；包含“应用层一个或多个的虚拟对象、文本、图像、视频、三维对象、图标、按钮等相应的名称”的命令。
在一种具体实施方式中，当用户视线范围层处于Home主页时，可以在Home主页通过语音信号的输入(即说出“打开相册”、“相册”等)，成功打开相册应用。且用户在相册列表显示界面，能够通过注视其中一张照片图像，并结合语音说出“打开”的命令，将相册当前层级从相册模式跳转到照片单张预览模式。在当前照片单张预览的模式下，用户通过语音说出“返回”命令即可返回至上一层的相册列表。需要注意的是。语音的“返回”命令同“Back短按”键功能保持一致。所述的功能包括当前层返回至上一层、关闭当前层的弹窗、返回至上一步等。
在一种具体实施方式中，当用户的视线范围层中有相册和视频应用时，相册为GT对象，视频为WT对象。WT是指World tracking，是指虚拟信息或对象在显示屏上的定位，坐标系固定在空间内。GT是Glass tracking，是指虚拟信息或对象跟随头戴式VR/AR设备的状态，当用户朝任意方向移动时，虚拟的坐标系都和眼镜保持同步。此种应用模式下，用户的视线处于相册层级。由于相册跟随用户移动，如果相册层与视频层产生碰撞，视频层的Opacity＝0，即不透明度为0，因此用户仍可以与GT模式的相册进行语音交互。
在该具体实施方式中，用户的视线注视范围可以在相册层和视频层做出移动和方向的改变，因此用户可以与WT模式的相册层和视频层进行语音交互。需要注意的是，由于用户视线注视范围层中可以包括一个或多个WT虚拟对象或物理对象，如：所述的WT模式的相册和视频，因此，一个或多个WT虚拟对象或物理对象将与用户视线产生优先级关系。比如用户视线注视停留在WT层时，将优先与相册层建立语音交互关系。用户说出的语音命令词将对用户当前视线注视的层类交互内容信息生效。
在一种具体实施方式中，用户视线范围层处于相册主页，且相册内容由于显示器FOV的限制，多个相册内容不在显示器FOV额外区域显示。FOV指的视场角。视场角是人眼能感知的范围。用户需要将视线注视到列表区域内。通过语音说出“向上”、“向下”的命令滚动隐藏在显示器FOV额外的相册内容，将内容合理的呈现在显示器FOV正常的范围内。需要注意的是。所述语音“向左”、“向下”、“向左”、“向右”的命令同“TP前后滑”以及一些手势操作的功能保持一致。且用户语音控制成功的反馈形式为整页内容朝正确方向推动。所述的浏览形式适用于相册、视频、应用橱窗等多个整页推动的布局结构对象对于轴式翻滚形式的布局结构，用户说出：“向左”、“向右”的命令，即可以朝相应的方向一个一个的替换轴式翻滚，完成准确的交互结果。
在一种具体实施方式中，通过语音信号控制所述头戴式VR/AR设备时，还包括以下操作：用户视线注视在Store(商店)层，用户说出：“搜索”或“打开；搜索”，即可跳转至搜索界面层执行语音识别过程(自动弹出语音的用户交互界面)。且文本输入默认处于激活状态(激活效果)和语音图标默认处于激活状态(激活效果)。再例如：用户说出：“功夫熊猫”，则控制器将用户说出的“功夫熊猫”语音转化为文本形式，并将文本信号自动呈现在文本输入框中。如果用户发觉说出的语句有错误或者被语音引擎识别出错，用户可以说出“撤销”语音命令词撤销前段输入。实际上，在设置有按钮时，用户完成了一个正确的语音转文本交互后，可通过点击相应的按钮来进行进一步的控制。如点按搜索按钮跳转到搜索结果页面。
在一种具体实施方式中，所述头戴式VR/AR设备并非时刻处于语音信号监听模式，而是需要通过点选相应的语音图标进行语音信号的输入，这给了所述语音信号获取器件一个开始信号，告知所述语音信号获取器件，开始获取语音信号。
具体的，点按所述语音图标，进入一语音识别界面。如图8所示。
在一种具体实施方式中，在某些应用的文本输入框一侧，设置有一话筒状的语音图标。例如：Video里的搜索输入框或Store里的搜索输入框一侧。
在一些具体实施方式中，当用户将视线注视在语音图标上，并说出“语音输入”或“打开”，或者用户在当前的视线层级范围里说出“语音输入”后，即可激活文本输入框的语音识别输入。
在一种具体实施方式中，设置有取消按钮，以将当前语音识别界面关闭掉。也可以通过回退返回上一步的方式，来关闭当前语音识别界面。而点击文本输入框中的语音图标可关闭语音识别界面，如果为关闭语音识别界面。用户再次点击语音图标可打开语音识别界面。
用户在进行语音信号的输入时，若没有结合眼部动作一起使用，则需对行为的语音命令词加上名词或完整的语句。例如：“搜索；功夫熊猫”。智能化的语音输入可以提前完成用户的预期，增强用户操作的效率。
确认通过语音在某些层执行语音转文本输入，前提条件是用户视线范围具有能被语音识别的文本输入功能。例如用户视线处于Store主页或Video主页，Store提供一个方便用户搜索的功能入口，比如搜索图标，由于语音引擎在系统中处于监听状态。用户在所述层中说出“搜索”或相应的文本输入目标词，例如：用户在评论区说“评论”也可以唤醒评论的语音转文本输入。并用语音命令打开或跳转至搜索界面层或在不进行跳转的层激活文本输入框，并且默认执行语音输入过程。
在一种具体实施方式中，还设置有反馈提示，用于在用户成功进行了某项控制之后反馈用户当前操作已完成，例如设置“打开目标”成功的音效。具体的，当用户视线注视在当前层的某个目标，并说出一个语音命令词，如“打开”，且该语音命令词被控制器识别成功后，将执行该“打开目标”成功的音效，以通知用户该目标打开成功。
所述反馈提示还包括用于供用户判断语音识别是否成功的反馈提示，例如，用户说“关闭”，若控制器对语音信号的处理成功，则所述控制器反馈给用户一反馈提示，将语音识别的结果将展现在当前用户视线层级之上。
在该具体实施方式中，还包括一些其他的语音交互反馈，例如提示是否接入网络的语音交互反馈提示。这有助于实现所述头戴式VR/AR设备的智能化语音识别功能。
所述头戴式VR/AR设备的智能化语音识别功能是指所述头戴式VR/AR设备在进行语音识别时，借助本地语音库和云端共同配合，以使控制器在进行语音识别时具有更加准确的识别能力。这需要在联网的情况下进行。系统在使用该功能时，应当先检测网络服务是否连接或断开。这时，就需要及时向用户反馈，使用户能够及时获知当前是否能够进行智能化语音识别。
这种情况下提供的语音交互反馈如：在系统处于无网络状态时，在当前层上弹出断网提示，并结合音箱进行相应的语音提示。
在弹出一些语音交互反馈时，用户可以选择关闭弹窗或设置网络以进行下一步的语音识别过程。如需在不连接网络情况下执行语音识别功能，用户可以关闭断网提示弹窗执行语音识别功能。
在一种具体实施方式中，所述头戴式VR/AR设备提供了一个或多供控制器自动识别的语言包。例如：中文；英文；法文等。优先提供常用语言包，如中文和英文。用户如需要其他语言包完成接下来的操作，需要前往设置界面下载相应的语言包。用户在实际的语音输入转文本过程中，能同时识别多种语言，例如用户说“你好”；“Hello”。可以被语音引擎理解中文和英文的区别，从而准确的将语音转化成文本。
在一种具体实施方式中，在虚拟对象遮挡影响到用户的交互体验时，用户可调整虚拟对象在显示屏中显示的位置。例如：当语音识别界面叠加在当前层前方，用户可通过语音控制的形式，将所述界面移指空间范围层其他位置。需要注意的是，如果当前层属于GT模式，语音识别界面保持跟随GT对象。如果当前层属于WT模式，语音识别界面为GT模式。
在一种具体实施方式中，所述语音信号获取器包括话筒，且所述语音信号获取器持续获取用户输入的语音信号。
为了解决上述技术问题，以下还提供了一种头戴式VR/AR设备的控制方法，包括以下步骤：向所述头戴式VR/AR设备中输入语音信号；将语音信号转换成控制信号，所述控制信号用于控制所述头戴式VR/AR设备进行不同的操作。
在一种具体实施方式中，将语音信号转换成控制信号时，包括以下步骤：将语音信号转换为文字信号；将文字信号转换为对应的控制信号。
在一种具体实施方式中，还包括以下步骤：注视所述头戴式VR/AR设备的显示屏内显示的一虚拟对象，向所述头戴式VR/AR设备内输入眼部动作信号；将所述眼部动作信号转换为控制信号，所述控制信号用于控制所述头戴式VR/AR设备进行不同的操作。
在一种具体实施方式中，所述语音信号对所述头戴式VR/AR设备的控制包括：打开一个或多个功能入口；点选一个或多个所述显示屏当前显示的虚拟对象或应用程序；点选一个或多个所述显示屏当前未显示的虚拟对象或应用程序；挪移一个或多个所述显示屏当前显示的虚拟对象或应用程序。
在一种具体实施方式中，所述头戴式VR/AR设备时刻处于监听状态，以获取用户输入的语音信号。
所述头戴式VR/AR设备及其控制方法具有语音控制的功能，能够更便利的对该头戴式VR/AR设备进行控制。并且，由于所述头戴式VR/AR设备还具有眼部动作检测的功能，因此在对所述头戴式VR/AR设备进行控制时，可以同时结合语音信号的控制和眼部动作信号的控制，以获取更好的控制效果，更佳的交互体验。
请参阅图1至图8中的实施例：
图1为所述显示屏上显示的视频详情页。
图2为用户发送语音“返回”命令，从视频详情页跳转到视频主页面。
图3的说明如下：01.所述显示屏上显示被用户注视的相册层(GT对象)，并将相册层移至到视频位置；02.用户视线注视相册层其中一张照片，并通过发送语音“打开”命令打开被注视的照片；03.跳转至单张照片预览模式，显示屏上显示被打开的照片。
图4的说明如下：01.用户视线注视空间范围层；02.用户视线注视空间范围层移至视频层；03.用户将视线注视至视频层其中一张“功夫熊猫”的电影海报，并发送语音“打开，功夫熊猫”指令，打开“功夫熊猫”。
图5的说明如下：01.用户注视相册主页，并通过发送语音“向上”指令，控制相册主页向上滑动；02.相册主页滑动到第二页。
图6的说明如下：01.显示屏显示Store(商店)的主页，用户发出语音“搜索”指令；02.显示屏显示语音识别引擎的UI形式；03.用户发出语音“功夫熊猫”指令，并转换成文本填入所述语音识别引擎的UI形式；04.显示屏显示“功夫熊猫”的搜索结果。
图7的说明如下：显示屏上显示视频层和语音层两个对象，语音层叠加在视频层前方。语音层可以属于(GT模式)跟随用户视线方向移动。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种头戴式VR/AR设备，其特征在于，包括：
语音信号获取器，用于供用户向所述头戴式VR/AR设备内输入语音信号；
控制器，连接至所述语音信号获取器，用于根据字所述语音信号获取器输入的语音信号，生成相应的控制信号以控制所述头戴式VR/AR设备进行不同的操作。
2.根据权利要求1所述的头戴式VR/AR设备，其特征在于，所述控制器包括：语音转换模块，连接至所述语音信号获取器，用于将自所述语音信号获取器输入的语音信号转换为文字信号；
文字识别模块，连接至所述语音转换模块，用于根据所述语音转换模块输出的文字信号生成相应的控制指令，以控制所述头戴式VR/AR设备进行不同的操作。
3.根据权利要求2所述的头戴式VR/AR设备，其特征在于，还包括：
显示屏，连接至所述控制器，用于显示虚拟对象和现实对象，且所述现实对象由该头戴式VR/AR设备的第一图像采集器件获取；
所述显示屏能够根据所述文字识别模块生成的控制指令显示不同的内容。
4.根据权利要求1所述的头戴式VR/AR设备，其特征在于，还包括：
语音识别开启按键，连接至所述控制器，用于控制所述语音识别功能的开启和关闭。
5.根据权利要求1所述的头戴式VR/AR设备，其特征在于，还包括第二图像采集器件，在所述头戴式VR/AR设备被用户佩戴时朝向人眼设置，用于采集用户的视线方向，从而生成相应的控制指令，对所述头戴式VR/AR设备进行不同的操作。
6.根据权利要求1所述的头戴式VR/AR设备，其特征在于，所述控制指令包括：
打开一个或多个功能入口；
点选一个或多个所述显示屏当前显示的虚拟对象或应用程序；
点选一个或多个所述显示屏当前未显示的虚拟对象或应用程序；
挪移一个或多个所述显示屏当前显示的虚拟对象或应用程序。
7.根据权利要求1所述的头戴式VR/AR设备，其特征在于，所述语音信号获取器包括话筒，且所述语音信号获取器持续获取用户输入的语音信号。
8.一种头戴式VR/AR设备的控制方法，其特征在于，包括以下步骤：
向所述头戴式VR/AR设备中输入语音信号；
将语音信号转换成控制信号，所述控制信号用于控制所述头戴式VR/AR设备进行不同的操作。
9.根据权利要求8所述的头戴式VR/AR设备的控制方法，其特征在于，将语音信号转换成控制信号时，包括以下步骤：
将语音信号转换为文字信号；
将文字信号转换为对应的控制信号。
10.根据权利要求8所述的头戴式VR/AR设备的控制方法，其特征在于，还包括以下步骤：
注视所述头戴式VR/AR设备的显示屏内显示的一虚拟对象，向所述头戴式VR/AR设备内输入眼部动作信号；
将所述眼部动作信号转换为控制信号，所述控制信号用于控制所述头戴式VR/AR设备进行不同的操作。
11.根据权利要求8所述的头戴式VR/AR设备的控制方法，其特征在于，所述语音信号对所述头戴式VR/AR设备的控制包括：
打开一个或多个功能入口；
点选一个或多个所述显示屏当前显示的虚拟对象或应用程序；
点选一个或多个所述显示屏当前未显示的虚拟对象或应用程序；
挪移一个或多个所述显示屏当前显示的虚拟对象或应用程序。
12.根据权利要求8所述的头戴式VR/AR设备的控制方法，其特征在于，所述头戴式VR/AR设备时刻处于监听状态，以获取用户输入的语音信号。
CN201910832720.7A 2019-09-04 2019-09-04 头戴式vr/ar设备及其控制方法 Pending CN110517683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910832720.7A CN110517683A (zh) 2019-09-04 2019-09-04 头戴式vr/ar设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910832720.7A CN110517683A (zh) 2019-09-04 2019-09-04 头戴式vr/ar设备及其控制方法

Publications (1)

Publication Number Publication Date
CN110517683A true CN110517683A (zh) 2019-11-29

Family

ID=68629732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910832720.7A Pending CN110517683A (zh) 2019-09-04 2019-09-04 头戴式vr/ar设备及其控制方法

Country Status (1)

Country Link
CN (1) CN110517683A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405184A (zh) * 2020-03-27 2020-07-10 深圳光启超材料技术有限公司 多媒体信息的确定方法、头戴设备、存储介质及电子设备
CN112613389A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 眼部手势控制方法和系统及其vr眼镜
CN112631424A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 手势优先级控制方法和系统及其vr眼镜
CN117052605A (zh) * 2023-08-23 2023-11-14 三峡新能源清水发电有限公司 一种风力发电机组安全作业的处理系统及其实现方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558310A (zh) * 2016-10-14 2017-04-05 北京百度网讯科技有限公司 虚拟现实语音控制方法及装置
CN106648111A (zh) * 2017-01-03 2017-05-10 京东方科技集团股份有限公司 虚拟现实装置
CN107122039A (zh) * 2017-03-15 2017-09-01 苏州大学 一种智能视觉辅助增强系统及其使用方法
CN107533360A (zh) * 2015-12-07 2018-01-02 华为技术有限公司 一种显示、处理的方法及相关装置
CN107589846A (zh) * 2017-09-20 2018-01-16 歌尔科技有限公司 场景切换方法、装置及电子设备
CN107832036A (zh) * 2017-11-22 2018-03-23 北京小米移动软件有限公司 语音控制方法、装置及计算机可读存储介质
CN108073432A (zh) * 2016-11-07 2018-05-25 亮风台（上海）信息科技有限公司 一种头戴式显示设备的用户界面显示方法
CN108874363A (zh) * 2018-07-03 2018-11-23 百度在线网络技术（北京）有限公司 用于ar场景的对象控制方法、装置、设备及存储介质
CN108958463A (zh) * 2017-05-26 2018-12-07 深圳纬目信息技术有限公司 一种带有眼控和语音识别的头戴式设备和交互方法
CN108957761A (zh) * 2012-12-18 2018-12-07 精工爱普生株式会社 显示装置及其控制方法、头戴式显示装置及其控制方法
CN109219795A (zh) * 2016-07-05 2019-01-15 深圳脑穿越科技有限公司 页面切换方法、装置、终端以及存储介质
CN110134197A (zh) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 可穿戴式控制设备、虚拟/增强现实系统及控制方法
CN110136702A (zh) * 2018-02-09 2019-08-16 宏碁股份有限公司 语音识别系统及其方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957761A (zh) * 2012-12-18 2018-12-07 精工爱普生株式会社 显示装置及其控制方法、头戴式显示装置及其控制方法
CN107533360A (zh) * 2015-12-07 2018-01-02 华为技术有限公司 一种显示、处理的方法及相关装置
CN109219795A (zh) * 2016-07-05 2019-01-15 深圳脑穿越科技有限公司 页面切换方法、装置、终端以及存储介质
CN106558310A (zh) * 2016-10-14 2017-04-05 北京百度网讯科技有限公司 虚拟现实语音控制方法及装置
CN108073432A (zh) * 2016-11-07 2018-05-25 亮风台（上海）信息科技有限公司 一种头戴式显示设备的用户界面显示方法
CN106648111A (zh) * 2017-01-03 2017-05-10 京东方科技集团股份有限公司 虚拟现实装置
CN107122039A (zh) * 2017-03-15 2017-09-01 苏州大学 一种智能视觉辅助增强系统及其使用方法
CN108958463A (zh) * 2017-05-26 2018-12-07 深圳纬目信息技术有限公司 一种带有眼控和语音识别的头戴式设备和交互方法
CN107589846A (zh) * 2017-09-20 2018-01-16 歌尔科技有限公司 场景切换方法、装置及电子设备
CN107832036A (zh) * 2017-11-22 2018-03-23 北京小米移动软件有限公司 语音控制方法、装置及计算机可读存储介质
CN110136702A (zh) * 2018-02-09 2019-08-16 宏碁股份有限公司 语音识别系统及其方法
CN108874363A (zh) * 2018-07-03 2018-11-23 百度在线网络技术（北京）有限公司 用于ar场景的对象控制方法、装置、设备及存储介质
CN110134197A (zh) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 可穿戴式控制设备、虚拟/增强现实系统及控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405184A (zh) * 2020-03-27 2020-07-10 深圳光启超材料技术有限公司 多媒体信息的确定方法、头戴设备、存储介质及电子设备
CN112613389A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 眼部手势控制方法和系统及其vr眼镜
CN112631424A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 手势优先级控制方法和系统及其vr眼镜
CN117052605A (zh) * 2023-08-23 2023-11-14 三峡新能源清水发电有限公司 一种风力发电机组安全作业的处理系统及其实现方法

Similar Documents

Publication Publication Date Title
CN110517683A (zh) 头戴式vr/ar设备及其控制方法
CN104468964B (zh) 移动终端及其控制方法
CN103150010B (zh) 控制电子设备的方法和应用该方法的电子设备
JP5819269B2 (ja) 電子装置及びその制御方法
JP5746111B2 (ja) 電子装置及びその制御方法
EP2555537A1 (en) Electronic apparatus and method for providing user interface thereof
US11146771B2 (en) Display control device, display control method, and program
CN104505091B (zh) 人机语音交互方法及系统
EP2555538A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
AU2012336602A1 (en) Electronic apparatus and method for controlling thereof
WO2018230160A1 (ja) 情報処理システム、情報処理方法、およびプログラム
CN113918077A (zh) 投影方法及投影控制方法和相关装置、投影仪、存储介质
WO2019190769A1 (en) Non-disruptive nui command
JPWO2017104089A1 (ja) ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置
CN109739462A (zh) 一种内容输入的方法及装置
CN112764549B (zh) 翻译方法、装置、介质和近眼显示设备
CN111107283B (zh) 一种信息显示方法、电子设备及存储介质
US20230401795A1 (en) Extended reality based digital assistant interactions
WO2020158218A1 (ja) 情報処理装置、情報処理方法及びプログラム
Ding User-generated vocabularies on Assistive/Access Technology
CN117956216A (zh) 一种字幕的展示方法、装置、电子设备和存储介质
WO2023220198A1 (en) Multi-stage summarization for customized, contextual summaries
CN115437501A (zh) 一种眼动辅助的语音交互意图识别方法
Griffiths The. Use. of.‘Stalking. Horse’. Evaluation. Prototypes. for. Probing. DTV. Accessibility. Requirements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129

RJ01 Rejection of invention patent application after publication