CN112558767A - 多个功能界面处理的方法和系统及其ar眼镜 - Google Patents
多个功能界面处理的方法和系统及其ar眼镜 Download PDFInfo
- Publication number
- CN112558767A CN112558767A CN202011445798.2A CN202011445798A CN112558767A CN 112558767 A CN112558767 A CN 112558767A CN 202011445798 A CN202011445798 A CN 202011445798A CN 112558767 A CN112558767 A CN 112558767A
- Authority
- CN
- China
- Prior art keywords
- glasses
- interface
- real
- scene
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 74
- 230000008859 change Effects 0.000 claims description 24
- 238000012216 screening Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 18
- 210000001508 eye Anatomy 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种多个功能界面处理的方法和系统及其AR眼镜，包括：通过AR眼镜向AR眼镜佩戴者显示多个功能界面；根据AR眼镜佩戴者的注视点来选中功能界面；对于选中的界面，利用AR眼镜佩戴者的呼吸特征进行处理。本发明利用呼吸动作实现手势控制，在AR眼镜佩戴者双手均提有重物不便挥手时，仍然可通过本发明对AR眼镜进行控制。
Description
技术领域
本发明涉及AR眼镜领域，具体地，涉及多个功能界面处理的方法和系统及其AR眼镜。
背景技术
专利文献CN210720884U提供了一种AR眼镜，包括：间隔设置的两块AR镜片，以及固定AR镜片的镜架；镜架的内部设有容纳微处理器的腔体，AR镜片背向人眼的一侧均设有显示器，显示器与微处理器电连接；镜架上设有用来采集佩戴者可视范围内的图像的第一摄像头和第二摄像头，以及采集佩戴者手势动作的第三摄像头，第一摄像头、第二摄像头和第三摄像头分别与微处理器电连接。本实用新型结构简洁，通过两个摄像头采集三维实景，通过第三个摄像头进行手势识别，适于检测位于眼镜前方的手势动作，并对应地产生控制命令，从而实现人们在现实场景中与虚拟对象进行互动，体验到现实和虚拟世界的融合。
现有技术的不足之处是，需要用到手部动作在眼镜前方进行手势。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种多个功能界面处理的方法和系统及其AR眼镜。
根据本发明提供的一种多个功能界面处理的方法，包括：
多功能界面显示步骤：通过AR眼镜向AR眼镜佩戴者显示多个功能界面；
界面选中步骤：根据AR眼镜佩戴者的注视点来选中功能界面；
选中界面处理步骤：对于选中的界面，利用AR眼镜佩戴者的呼吸特征进行处理。
优选地，所述多功能界面显示步骤，包括：
场景预置步骤：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取步骤：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配步骤：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒步骤：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述选中界面处理步骤，包括：
呼吸特征手势获取步骤：在功能界面被选中之后的第一时间段内，若检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化；
呼吸特征声音获取步骤：在功能界面被选中之后的第一时间段内，若AR眼镜检测到AR眼镜佩戴者的呼吸特征声音，且没有检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面；其中，所述呼吸特征声音是指AR眼镜佩戴者叹气或者深呼吸时发出的声音。
优选地，已显示时间超过第二时间段的功能界面自动关闭；其中，第二时间段大于第一时间段。
优选地，在所述界面选中步骤中，功能界面受到注视点的注视时间超过设定时间值，则认为被选中。
优选地，所述多功能界面显示步骤，包括：
场景预置步骤：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取步骤：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配步骤：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒步骤：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述多个功能界面处理的方法，包括：
界面全选处理步骤：对于已显示的多个功能界面，若AR眼镜佩戴者的注视点没有落在任何一个功能界面上，并且检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的全部功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化。
根据本发明提供的一种多个功能界面处理的系统，包括：
多功能界面显示模块：通过AR眼镜向AR眼镜佩戴者显示多个功能界面；
界面选中模块：根据AR眼镜佩戴者的注视点来选中功能界面；
选中界面处理模块：对于选中的界面，利用AR眼镜佩戴者的呼吸特征进行处理。
优选地，所述多功能界面显示模块，包括：
场景预置模块：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取模块：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配模块：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒模块：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述选中界面处理模块，包括：
呼吸特征手势获取模块：在功能界面被选中之后的第一时间段内，若检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化；
呼吸特征声音获取模块：在功能界面被选中之后的第一时间段内，若AR眼镜检测到AR眼镜佩戴者的呼吸特征声音，且没有检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面；其中，所述呼吸特征声音是指AR眼镜佩戴者叹气或者深呼吸时发出的声音。
优选地，已显示时间超过第二时间段的功能界面自动关闭；其中，第二时间段大于第一时间段。
优选地，在所述界面选中模块中，功能界面受到注视点的注视时间超过设定时间值，则认为被选中。
优选地，所述多功能界面显示模块，包括：
场景预置模块：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取模块：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配模块：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒模块：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述多个功能界面处理的方法，包括：
界面全选处理模块：对于已显示的多个功能界面，若AR眼镜佩戴者的注视点没有落在任何一个功能界面上，并且检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的全部功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现多个功能界面处理的方法的步骤。
根据本发明提供的一种AR眼镜，包括多个功能界面处理的系统，或者存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
本发明利用呼吸特征实现手势控制，在AR眼镜佩戴者双手均提有重物不便挥手时，仍然可通过本发明对AR眼镜进行控制，并且对于多个功能界面时能够提高操作效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的方法步骤流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种多个功能界面处理的方法，包括：
多功能界面显示步骤：通过AR眼镜向AR眼镜佩戴者显示多个功能界面；具体地，多个功能界面相互之间无重叠分布，功能界面为人机交互界面。
界面选中步骤：根据AR眼镜佩戴者的注视点来选中功能界面；具体地，注视点的实现至少可参考专利文献CN111757090A，其提供了一种基于注视点信息的实时VR图像过滤方法、系统和存储介质，包括：通过头戴显示设备(例如AR眼镜)中高速相机捕捉人眼图像，从该人眼图像中提取眼球的注视点信息；根据该头戴显示设备的头部方位信息确定观察视角，并渲染出该观察视角观看到的VR画面；根据该注视点信息确定该VR画面的注视点区域，根据该注视点区域选定该VR画面的非注视点区域，并对该非注视点区域进行过滤。在所述界面选中步骤中，功能界面受到注视点的注视时间超过设定时间值，则认为被选中。
选中界面处理步骤：对于选中的界面，利用AR眼镜佩戴者的呼吸特征进行处理。从而AR眼镜佩戴者在不需要手部动作的情况下，仅通过呼吸，即可实现两种不同的操作指令，分别指示将所述实时现实图像与所述预置场景定义为非匹配关系并隐藏已显示的功能界面、将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面。
所述多功能界面显示步骤，包括：
场景预置步骤：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；具体地，预置场景包括场景图像，场景图像可以是彩色渲染图，也可以是边缘特征图，也可以是灰度直方图，即场景图像为能够体现预置场景特征的图像，以作为匹配的比较对象。
图像获取步骤：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；AR眼镜上设置有摄像头，摄像头拍摄实时画面作为实时现实图像，例如微信视频聊天时就利用了智能手机上设置的前置或后置摄像头。AR眼镜具有的摄像头的朝向与AR眼镜的正前方同轴设置或平行设置。AR眼镜前方的视角取决于摄像头的取景视角，例如若摄像头的镜头为广角镜，则AR眼镜前方的视角相对于标准镜头要大。
场景匹配步骤：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；具体地，通过图像对比的方式进行匹配，将匹配度最高的预置场景记为匹配场景，例如将实时现实图像与各个预置场景的场景图像进行图像对比匹配，以筛选出匹配度最高的场景图像，将匹配度最高的场景图像对应的预置场景作为匹配场景。
唤醒步骤：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面。例如，AR眼镜佩戴者站在十字路口处，则匹配场景为道路路口，功能界面为电子地图导航功能的界面。
所述选中界面处理步骤，包括：
呼吸特征手势获取步骤：在功能界面被选中之后的第一时间段内，若检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化。具体地，AR眼镜佩戴者随时随地在呼吸，胸腔扩张收缩的起伏会引起头部的运动，叹气和深呼吸时的起伏规律与普通呼吸时的起伏规律不同，相应的头部的运动也不同。因此通过检测头部运动能够得到相应的起伏规律，从而得知AR眼镜佩戴者的叹气和深呼吸动作。
呼吸特征声音获取步骤：在功能界面被选中之后的第一时间段内，若AR眼镜检测到AR眼镜佩戴者的呼吸特征声音，且没有检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面；其中，所述呼吸特征声音是指AR眼镜佩戴者叹气或者深呼吸时发出的声音。具体地，AR眼镜佩戴者随时随地在呼吸，胸腔扩张收缩吸气呼气会发出声音，叹气和深呼吸时的声音规律与普通呼吸时的声音规律是不同的。因此通过检测呼吸的声音能够得知AR眼镜佩戴者的叹气和深呼吸动作。若AR眼镜检测到AR眼镜佩戴者的呼吸特征声音，且没有检测到AR眼镜佩戴者的呼吸特征手势，则认为AR眼镜佩戴者在刻意控制头部运动，例如保持头部静止，这构成操作指令，该操作指令指示将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面。
所述虚拟对象包括多个功能界面，所述多个功能界面以第一时间段为间隔，依次显示。这样，每一个功能界面可以依次收到AR眼镜佩戴者的操作控制。
第一时间段可以为AR眼镜佩戴者正常呼吸2-5次的时间，例如3次正常呼吸的时间。
已显示时间超过第二时间段的功能界面自动关闭；其中，第二时间段大于第一时间段。
在优选例中，所述多功能界面显示步骤，包括：
场景预置步骤：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取步骤：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配步骤：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒步骤：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述多个功能界面处理的方法，包括：
界面全选处理步骤：对于已显示的多个功能界面，若AR眼镜佩戴者的注视点没有落在任何一个功能界面上，并且检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的全部功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化。这样，实现了对多个功能界面统一的快速操作处理。
本发明提供的多个功能界面处理的方法可以作为多个功能界面处理的系统的实施例，所述多个功能界面处理的系统能够通过执行多个功能界面处理的方法的步骤流程实现。
根据本发明提供的一种多个功能界面处理的系统，包括：
多功能界面显示模块：通过AR眼镜向AR眼镜佩戴者显示多个功能界面；具体地，多个功能界面相互之间无重叠分布，功能界面为人机交互界面。
界面选中模块：根据AR眼镜佩戴者的注视点来选中功能界面；具体地，注视点的实现至少可参考专利文献CN111757090A，其提供了一种基于注视点信息的实时VR图像过滤系统、系统和存储介质，包括：通过头戴显示设备(例如AR眼镜)中高速相机捕捉人眼图像，从该人眼图像中提取眼球的注视点信息；根据该头戴显示设备的头部方位信息确定观察视角，并渲染出该观察视角观看到的VR画面；根据该注视点信息确定该VR画面的注视点区域，根据该注视点区域选定该VR画面的非注视点区域，并对该非注视点区域进行过滤。在所述界面选中模块中，功能界面受到注视点的注视时间超过设定时间值，则认为被选中。
选中界面处理模块：对于选中的界面，利用AR眼镜佩戴者的呼吸特征进行处理。从而AR眼镜佩戴者在不需要手部动作的情况下，仅通过呼吸，即可实现两种不同的操作指令，分别指示将所述实时现实图像与所述预置场景定义为非匹配关系并隐藏已显示的功能界面、将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面。
所述多功能界面显示模块，包括：
场景预置模块：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；具体地，预置场景包括场景图像，场景图像可以是彩色渲染图，也可以是边缘特征图，也可以是灰度直方图，即场景图像为能够体现预置场景特征的图像，以作为匹配的比较对象。
图像获取模块：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；AR眼镜上设置有摄像头，摄像头拍摄实时画面作为实时现实图像，例如微信视频聊天时就利用了智能手机上设置的前置或后置摄像头。AR眼镜具有的摄像头的朝向与AR眼镜的正前方同轴设置或平行设置。AR眼镜前方的视角取决于摄像头的取景视角，例如若摄像头的镜头为广角镜，则AR眼镜前方的视角相对于标准镜头要大。
场景匹配模块：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；具体地，通过图像对比的方式进行匹配，将匹配度最高的预置场景记为匹配场景，例如将实时现实图像与各个预置场景的场景图像进行图像对比匹配，以筛选出匹配度最高的场景图像，将匹配度最高的场景图像对应的预置场景作为匹配场景。
唤醒模块：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面。例如，AR眼镜佩戴者站在十字路口处，则匹配场景为道路路口，功能界面为电子地图导航功能的界面。
所述选中界面处理模块，包括：
呼吸特征手势获取模块：在功能界面被选中之后的第一时间段内，若检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化。具体地，AR眼镜佩戴者随时随地在呼吸，胸腔扩张收缩的起伏会引起头部的运动，叹气和深呼吸时的起伏规律与普通呼吸时的起伏规律不同，相应的头部的运动也不同。因此通过检测头部运动能够得到相应的起伏规律，从而得知AR眼镜佩戴者的叹气和深呼吸动作。
呼吸特征声音获取模块：在功能界面被选中之后的第一时间段内，若AR眼镜检测到AR眼镜佩戴者的呼吸特征声音，且没有检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面；其中，所述呼吸特征声音是指AR眼镜佩戴者叹气或者深呼吸时发出的声音。具体地，AR眼镜佩戴者随时随地在呼吸，胸腔扩张收缩吸气呼气会发出声音，叹气和深呼吸时的声音规律与普通呼吸时的声音规律是不同的。因此通过检测呼吸的声音能够得知AR眼镜佩戴者的叹气和深呼吸动作。若AR眼镜检测到AR眼镜佩戴者的呼吸特征声音，且没有检测到AR眼镜佩戴者的呼吸特征手势，则认为AR眼镜佩戴者在刻意控制头部运动，例如保持头部静止，这构成操作指令，该操作指令指示将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面。
所述虚拟对象包括多个功能界面，所述多个功能界面以第一时间段为间隔，依次显示。这样，每一个功能界面可以依次收到AR眼镜佩戴者的操作控制。
第一时间段可以为AR眼镜佩戴者正常呼吸2-5次的时间，例如3次正常呼吸的时间。
已显示时间超过第二时间段的功能界面自动关闭；其中，第二时间段大于第一时间段。
在优选例中，所述多功能界面显示模块，包括：
场景预置模块：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取模块：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配模块：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒模块：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述多个功能界面处理的系统，包括：
界面全选处理模块：对于已显示的多个功能界面，若AR眼镜佩戴者的注视点没有落在任何一个功能界面上，并且检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的全部功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化。这样，实现了对多个功能界面统一的快速操作处理。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种多个功能界面处理的方法，其特征在于，包括：
多功能界面显示步骤：通过AR眼镜向AR眼镜佩戴者显示多个功能界面；
界面选中步骤：根据AR眼镜佩戴者的注视点来选中功能界面；
选中界面处理步骤：对于选中的界面，利用AR眼镜佩戴者的呼吸特征进行处理。
2.根据权利要求1所述的多个功能界面处理的方法，其特征在于，
所述多功能界面显示步骤，包括：
场景预置步骤：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取步骤：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配步骤：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒步骤：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述选中界面处理步骤，包括：
呼吸特征手势获取步骤：在功能界面被选中之后的第一时间段内，若检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化；
呼吸特征声音获取步骤：在功能界面被选中之后的第一时间段内，若AR眼镜检测到AR眼镜佩戴者的呼吸特征声音，且没有检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面；其中，所述呼吸特征声音是指AR眼镜佩戴者叹气或者深呼吸时发出的声音。
3.根据权利要求2所述的多个功能界面处理的方法，其特征在于，
已显示时间超过第二时间段的功能界面自动关闭；其中，第二时间段大于第一时间段；在所述界面选中步骤中，功能界面受到注视点的注视时间超过设定时间值，则认为被选中。
4.根据权利要求1所述的多个功能界面处理的方法，其特征在于，
所述多功能界面显示步骤，包括：
场景预置步骤：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取步骤：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配步骤：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒步骤：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述多个功能界面处理的方法，包括：
界面全选处理步骤：对于已显示的多个功能界面，若AR眼镜佩戴者的注视点没有落在任何一个功能界面上，并且检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的全部功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化。
5.一种多个功能界面处理的系统，其特征在于，包括：
多功能界面显示模块：通过AR眼镜向AR眼镜佩戴者显示多个功能界面；
界面选中模块：根据AR眼镜佩戴者的注视点来选中功能界面；
选中界面处理模块：对于选中的界面，利用AR眼镜佩戴者的呼吸特征进行处理。
6.根据权利要求5所述的多个功能界面处理的系统，其特征在于，
所述多功能界面显示模块，包括：
场景预置模块：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取模块：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配模块：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒模块：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述选中界面处理模块，包括：
呼吸特征手势获取模块：在功能界面被选中之后的第一时间段内，若检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化；
呼吸特征声音获取模块：在功能界面被选中之后的第一时间段内，若AR眼镜检测到AR眼镜佩戴者的呼吸特征声音，且没有检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为高匹配关系，并保留已显示的功能界面；其中，所述呼吸特征声音是指AR眼镜佩戴者叹气或者深呼吸时发出的声音。
7.根据权利要求6所述的多个功能界面处理的系统，其特征在于，
已显示时间超过第二时间段的功能界面自动关闭；其中，第二时间段大于第一时间段；在所述界面选中模块中，功能界面受到注视点的注视时间超过设定时间值，则认为被选中。
8.根据权利要求5所述的多个功能界面处理的系统，其特征在于，
所述多功能界面显示模块，包括：
场景预置模块：建立预置场景库，其中，所述预置场景库包括一个或多个预置场景；
图像获取模块：AR眼镜通过所具有的摄像头获取AR眼镜前方的实时的现实环境的图像，得到实时现实图像；
场景匹配模块：从预置场景库中筛选出与所述实时现实图像匹配的预置场景，记为匹配场景；
唤醒模块：通过AR眼镜向AR眼镜佩戴者显示所述匹配场景对应的虚拟对象，其中，所述虚拟对象包括多个功能界面；
所述多个功能界面处理的方法，包括：
界面全选处理模块：对于已显示的多个功能界面，若AR眼镜佩戴者的注视点没有落在任何一个功能界面上，并且检测到AR眼镜佩戴者的呼吸特征手势，则将所述实时现实图像与所述预置场景定义为非匹配关系，并隐藏已显示的全部功能界面；其中，所述呼吸特征手势是指AR眼镜佩戴者叹气或者深呼吸时引起头部空间位置的变化，而引起的AR眼镜的空间位置的变化。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
10.一种AR眼镜，其特征在于，包括权利要求5-8中任一项所述的多个功能界面处理的系统，或者包括权利要求9所述的存储有计算机程序的计算机可读存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011445798.2A CN112558767A (zh) | 2020-12-11 | 2020-12-11 | 多个功能界面处理的方法和系统及其ar眼镜 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011445798.2A CN112558767A (zh) | 2020-12-11 | 2020-12-11 | 多个功能界面处理的方法和系统及其ar眼镜 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112558767A true CN112558767A (zh) | 2021-03-26 |
Family
ID=75061210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011445798.2A Pending CN112558767A (zh) | 2020-12-11 | 2020-12-11 | 多个功能界面处理的方法和系统及其ar眼镜 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112558767A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105992986A (zh) * | 2014-01-23 | 2016-10-05 | 索尼公司 | 图像显示装置和图像显示方法 |
| CN107678546A (zh) * | 2017-09-26 | 2018-02-09 | 歌尔科技有限公司 | 虚拟场景切换方法及头戴显示设备 |
| CN109144265A (zh) * | 2018-08-30 | 2019-01-04 | Oppo广东移动通信有限公司 | 显示切换方法、装置、穿戴式设备及存储介质 |
| CN110456501A (zh) * | 2019-08-07 | 2019-11-15 | 广东技术师范大学天河学院 | 一种行为数据采集的ar眼镜装置及其实现方法 |
| US20200175761A1 (en) * | 2018-12-04 | 2020-06-04 | Curious Company, LLC | Directional instructions in an hybrid reality system |
-
2020
- 2020-12-11 CN CN202011445798.2A patent/CN112558767A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105992986A (zh) * | 2014-01-23 | 2016-10-05 | 索尼公司 | 图像显示装置和图像显示方法 |
| CN107678546A (zh) * | 2017-09-26 | 2018-02-09 | 歌尔科技有限公司 | 虚拟场景切换方法及头戴显示设备 |
| CN109144265A (zh) * | 2018-08-30 | 2019-01-04 | Oppo广东移动通信有限公司 | 显示切换方法、装置、穿戴式设备及存储介质 |
| US20200175761A1 (en) * | 2018-12-04 | 2020-06-04 | Curious Company, LLC | Directional instructions in an hybrid reality system |
| CN110456501A (zh) * | 2019-08-07 | 2019-11-15 | 广东技术师范大学天河学院 | 一种行为数据采集的ar眼镜装置及其实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3479202B1 (en) | Augmenting virtual reality content with real world content | |
| US20200387226A9 (en) | Systems and methods for monitoring a user's eye | |
| US10182720B2 (en) | System and method for interacting with and analyzing media on a display using eye gaze tracking | |
| US20170046871A1 (en) | System and Method for Rendering Dynamic Three-Dimensional Appearing Imagery on a Two-Dimensional User Interface | |
| US9076033B1 (en) | Hand-triggered head-mounted photography | |
| JP2019092170A (ja) | ３ｄプレノプティックビデオ画像を作成するためのシステムおよび方法 | |
| KR20180096434A (ko) | 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치 | |
| US11487354B2 (en) | Information processing apparatus, information processing method, and program | |
| CN112183200B (zh) | 一种基于视频图像的眼动追踪方法和系统 | |
| JP6294054B2 (ja) | 映像表示装置、映像提示方法及びプログラム | |
| CN111880654A (zh) | 一种图像显示方法、装置、穿戴设备及存储介质 | |
| US20210278671A1 (en) | Head wearable device with adjustable image sensing modules and its system | |
| JP5103682B2 (ja) | インタラクティブ看板システム | |
| US11287881B2 (en) | Presenting images on a display device | |
| CN110796116A (zh) | 多面板显示系统、具有多面板显示系统的车辆及显示方法 | |
| CN109255838B (zh) | 避免增强现实显示设备观看重影的方法及设备 | |
| US11328187B2 (en) | Information processing apparatus and information processing method | |
| CN112558767A (zh) | 多个功能界面处理的方法和系统及其ar眼镜 | |
| US20230244307A1 (en) | Visual assistance | |
| CN112558768A (zh) | 功能界面占比控制方法和系统及其ar眼镜 | |
| CN111651043B (zh) | 一种支持定制化多通道交互的增强现实系统 | |
| CN112558766A (zh) | 场景唤醒功能界面的方法和系统及其ar眼镜 | |
| US10783853B2 (en) | Image provision device, method and program that adjusts eye settings based on user orientation | |
| WO2021044732A1 (ja) | 情報処理装置、情報処理方法及び記憶媒体 | |
| EP4261768A1 (en) | Image processing system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |